《Java互联网架构-分布式架构Mycat的前世今生》要点：
本文介绍了Java互联网架构-分布式架构Mycat的前世今生，希望对您有用。如果有疑问，可以联系我们。
欢迎参与《Java互联网架构-分布式架构Mycat的前世今生》讨论，分享您的想法，编程之家PHP学院为您提供专业教程。
概述
Mycat是一个开源的分布式数据库系统,其核心功能是分表分库,即将一个大表水平分割为多个小表,存储在后端MysqL或者其他数据库里.取名Mycat原因一是简单好记,另一个则是希望未来能够入驻 Apache,Apache的开源产物Tomcat也是一只猫.
一丶 MyCAT猫的前世
最近猫为什么这么火,Apache的猫,MyCAT的猫.
差不多都长这个样
MyCAT本来本没有想着来生做猫的,因为他的前世是阿里的Cobar,
转世之后,成为了MyCAT,而且开源了,就立志做一个中国的Apache猫.
说道他的前世是阿里的Cobar,Cobar的作者离职了以后,Cobar就几乎没有进行后续开发和维护了,
后来转为开源的MyCAT,又进行了迅速的发展,现在初步统计有超过300个项目使用mycat,其中包含:
中国电信／中国联通／蒲公英传媒／天狮集团等等
为什么有这么多的知名公司使用mycat 呢,我们看看他们的业务量,
1.安智账户系统,数据量单表6000万条,20多张表,上亿条数据,系统运行良好,偶尔有sql操作缓慢的现象.
2.公安项目,20个表,30多亿条数据,选取适合的业务使用mycat
从这些项目中我们可以看出,mycat长于对上亿条单表数据量的处理,并提供良好的实时查询服务.
而我们知道,MysqL的库中很难处理上亿条数据的查询工作,MYCAT提高了MysqL数据库的处理才能,
从官方的解释来看,MYCAT适合处置千亿条以下的数据,千亿条以上的数据更适合HADOOP这些系统来处置.
说了半天,什么是MYCAT呢?
MYCAT便是一个虚拟的MysqL SERVER,这么说可能不太理解,但是对于应用来说,他便是一个MysqL SERVER,
应用就像连接普通的MysqL数据库一样的 去连接他,SQL查询、操作等等一模一样.
而MYCAT把数据库复杂的架构,以及背后复杂的分表分库的逻辑全部透明化了,MYCAT中间件连接多个MysqL数据库,
多个数据库之间还可以做主从同步,而这一切的一切,对应用来说,只有一个数据库,那便是MYCAT.
二丶 MyCAT猫的此生
MYCAT发展到现在已经不仅仅是MysqL的代理了,它还支持sqlSERVER/ORACLE/DB2/POSTGREsql等主流数据库.
MYCAT还可以将一个表定义为任何一种MYCAT支持的存储方式,好比MysqL的MyISAM 表、内存表、或者MongDB这种
内存数据库上.
MYCAT这么强大,那么他的原理是不是特其余复杂,非也,Mycat 的原理可以用一个动词来形容：”拦截“
它拦截应用发送过来的sql,并对sql语句进行一些特定的阐发：分片阐发、路由阐发、读写分离阐发、缓存阐发等,然后将
分析后的sql分别发送到分歧的真实数据库,最后对数据库返回的结果进行处理,返回给用户.
下面列举几个MYCAT 典型的应用场景：
· 单纯的读写分离,在下面我们会有讲解如何进行Mycat下面的读写分离的配置
· 分表分库,对于跨越1000万的表进行分片,最大支持1000亿的单表分片
· 多租户应用,每个应用一个库,但应用程序只连接MYCAT,从而不改变程序自己,实现多租户
· 报表系统,借助于MYCAT的分表才能,处理大规模报表的统计
· 替代HBase,阐发大数据
· 作为海量数据实时查询的一种简单有效的办理方案,比如100亿条数据需要在3秒内实时查询出来,此时可以考虑MYCAT
现在MYCAT社区活跃,MYCAT 周边的系统也慢慢衍生出来,慢慢的形成了MYCAT生态圈了,像MYCAT-WEB 监控,MYCAT-HA
高可用方案等等,所以MYCAT还是很值得我们学习和研究的.
三丶 十分钟安装使用
MYCAT虽然强大,但是他的安装却十分简单,下面我们进入我们十分钟安装教程：
1.下载MYCAT安装包
在GitHub 的 MyCATApache项目下,我们找到
https://github.com/MyCATApache/Mycat-download/tree/master/1.5-RELEASE
选取 Mycat-server-1.5.1-RELEASE-20160929233042-linux.tar.gz
linux 版本进行 下载
目前1.6版本部分功能还在开发中,1.5版本比拟稳定,建议下载1.5用于生产环境使用
2. 解压运行MYCAT安装包
下载文件是一个tar的linux压缩包,用解压命令
tar -zxvf Mycat-server-1.5.1-RELEASE-20160929233042-linux.tar.gz
启动命令
./mycat start|restart|stop|console 常用几项内容
日志文件
logs/wrapper.log mycat服务器日志
logs/mycat.log 数据库操作日志,阐发数据库操作路由使用.
启动MyCat最主要的几个配置文件：
conf/server.xml 服务器用户、虚拟Sechma、端口等配置信息.
conf/sechma.xml 物理数据库映射.
使用MyCAT来说的话,最主要的便是修改这两个文件,接下来我们实现MYCAT下的读写分离.
四丶 MYCAT下实现读写分离
首先参考上一节MysqL配置主从复制,配置好主从数据库之间的数据复制功能.
MysqL> show master status;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| MysqL-bin.000010 | 106 | db1,db2,db3 | MysqL |
+------------------+----------+--------------+------------------+
2.查看Slave机有没有配置胜利：
MysqL> show slave status\G
以下两个参数必需为YES：
Slave_IO_Running: Yes
Slave_sql_Running: Yes
3.MyCAT的配置
不使用Mycat托管的 MysqL主从服务器
schema.xml
<datanode name="dn1" dataHost="localhost1" database="db1" />
<datanode name="dn2" dataHost="localhost1" database="db2" />
<datanode name="dn3" dataHost="localhost1" database="db3" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="MysqL" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM" url="172.19.4.239:3306" user="root" password="123456"></writeHost>
</dataHost>
支持MysqL主从复制状态绑定的读写分离机制,让读更加平安可靠,配置如下
<datanode name="dn1" dataHost="localhost1" database="db1" />
<datanode name="dn2" dataHost="localhost1" database="db2" />
<datanode name="dn3" dataHost="localhost1" database="db3" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="MysqL" dbDriver="native" switchType="2" slaveThreshold="100">
<heartbeat>show slave status</heartbeat>
<writeHost host="hostM" url="172.19.4.239:3306" user="root" password="123456">
<readHost host="hostS" url="172.19.4.240:3306" user="root" password="123456" />
</writeHost>
</dataHost>
设置 balance="1"与writeType="0"
Balance参数设置：
1. balance=“0”,所有读操作都发送到当前可用的writeHost上.
2. balance=“1”,所有读操作都随机的发送到readHost.
3. balance=“2”,所有读操作都随机的在writeHost、readhost上分发
WriteType参数设置：
1. writeType=“0”,所有写操作都发送到可用的writeHost上.
2. writeType=“1”,所有写操作都随机的发送到readHost.
3. writeType=“2”,所有写操作都随机的在writeHost、readhost分上发.
这样配置了以后,就已经实现了读写分离的功能,还可以对数据库进行负载均衡
启动mycat,用应用或者Navicat等工具 连接mycat,端口是 8066
insert,select 进行测试.
五丶MyCAT中分表分库策略
上面只是实现了如何进行读写分离,基于数据库的主从同步复制的原理,我们在之前的课程里已经知道,
主从同步复制的数据是,保证从数据库和主库的数据一模一样,也便是说数据是多复制了一份出来,
而MYCAT 只所以能支持上百亿的数据量,在于他的另一个功能：分表分库策略
分表分库简单来说,就是MYCAT 下面连接的数据库节点,打比喻说有dn1,dn2,dn3,他们每个库中的数据
是各不相同的.
把MYCAT当做一个虚拟数据库来看,travelrecord 是MYCAT下面建的一张表,应用调用MYCAT
库可以调用到整张表的数据,但是如果查询某一个节点dn1,则只能查询到一部门数据(通常是1/3)的数据
dn1,dn3 各自存储了一部门的数据,但是可以通过MYCAT 来查询到整张表的数据,
这样增强了每个数据库的数据存储处理能力,这就是MYCAT的高明之处,也就是为什么他能够处理上百亿条数据的奇妙.
这里列出一个简单的分表分库的配置：
schema.xml
<table name="travelrecord" datanode="dn1,dn3" rule="auto-sharding-long" />
在schema中 我们必要配置mycat 中的虚拟表table,以及他的rule,分表规则
auto-sharding-long 的意思是 事先已经定义好每个dn的 范围,根据范围划分,这个规则在rule.xml中进行配置.
datanode 的配置：
<datanode name="dn1" dataHost="localhost1" database="db1" />
<datanode name="dn2" dataHost="localhost2" database="db2" />
<datanode name="dn3" dataHost="localhost3" database="db3" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="MysqL" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="172.19.4.3:3306" user="root" password="123456"></writeHost>
</dataHost>
<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="MysqL" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM2" url="172.19.4.201:3306" user="root" password="123456"></writeHost>
</dataHost>
<dataHost name="localhost3" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="MysqL" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM2" url="172.19.4.86:3306" user="root" password="123456"></writeHost>
</dataHost>
这样数据便是自动切分到这3个不同的datanode中了,select 取出来也是完整的数据.
分表分库还有一点窍门便是,你的数据是纵向来切,还是横向来切,
上面讲的那个是 横向来切：便是把一张表的数据 切到不同的 数据库中.
纵向切更简单,便是以表来分库,不同的表 放到不同的库中,表中的数据在某个库中是完整的.
六丶 MyCAT的五脏六腑
学会了MYCAT来做读写分离和分表分库的使用以后,我们应该更深入MYCAT的五脏六腑,了解MYCAT的运行机制,这样对线上的应用处置一些
应急事故,以及办理一些问题提供思路,非常的有帮助,有能力的童鞋还可以参与到MYCAT的后续开发中来.
MYCAT 的后端通信采纳了NIO非阻塞 和AIO 异步通信方式,使得通信效率更高
sql解析这一块用到了阿里的Druid进行解析
协议这一块,对于MysqL数据库采纳原生的二进制协议,还支持驱动方式的连接
而且MYCAT还增加order by,group by,limit 等聚合功能的支持.
总结
到这里,分布式架构Mycat的前世今生就结束了,不足之处还望大家多多原谅!!觉得收获的话可以点个关注收藏转发一波喔,谢谢大佬们支持.(吹一波,233~~)
下面和大家交流几点编程的经验：
2丶 测试、测试再测试,如果你不彻底测试本身的代码,那恐怕你开发的就不只是代码,可能还会声名狼藉.
3丶 简化编程,加快速度,代码风骚,在你完成编码后,应回头而且优化它.从长远来看,这里或那里一些的改进,会让后来的支持人员更加轻松.
最后,每一位读到这里的网友,感谢你们能耐心地看完.希望在成为一名更优秀的Java法式员的道路上,我们可以一起学习、一起进步.
内部交流群469717771 欢迎各位前来交流和分享,验证：(007)
Java小马哥,头条出品,每天一篇干货,喜欢就收藏＋存眷
