学会数据库读写分离、分表分库——用Mycat

MySQL 前端之家
前端之家收集整理的这篇文章主要介绍了学会数据库读写分离、分表分库——用Mycat，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

系统开发中，数据库是非常重要的一个点。除了程序的本身的优化，如：sql语句优化、代码优化，数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件，已经在很多产品上进行使用了。希望通过这篇文章的介绍，能学会Mycat的使用。

Mycat官网：
可以了解下Mycat的背景和应用情况，这样使用起来比较有信心。

Mycat下载地址：
官网有个文档，属于详细的介绍，初次入门，看起来比较花时间。

下载：
建议大家选择 1.6-RELEASE 版本，毕竟是比较稳定的版本。

安装：
根据不同的系统选择不同的版本。包括linux、windows、mac,作者考虑还是非常周全的，当然，也有源码版的。（ps:源码版的下载后，只要配置正确，就可以正常运行调试，这个赞一下。）

Mycat的安装其实只要解压下载的目录就可以了，非常简单。
安装完成后，目录如下：

目录 说明 </tr>
<tr class="even">
<td>catlet</td>
<td>catlet为Mycat的一个扩展功能</td>

</tr>
<tr class="odd">
<td>conf</td>
<td>Mycat 配置信息,重点关注</td>

</tr>
<tr class="even">
<td>lib</td>
<td>Mycat引用的jar包，Mycat是java开发的</td>

</tr>
<tr class="odd">
<td>logs</td>
<td>日志文件，包括Mycat启动的日志和运行的日志。</td>

</tr>

Mycat的配置文件都在conf目录里面，这里介绍几个常用的文件：

文件 说明 配置文件，设置账号、参数等</tr>
<tr class="even">
<td>schema.xml</td>
<td>Mycat对应的物理数据库和数据库表的配置</td>

</tr>
<tr class="odd">
<td>rule.xml</td>
<td>Mycat分片（分库分表）规则</td>

</tr>

Mycat的架构其实很好理解，Mycat是代理，Mycat后面就是物理数据库。和Web服务器的Nginx类似。对于使用者来说，访问的都是Mycat，不会接触到后端的数据库。
我们现在做一个主从、读写分离，简单分表的示例。结构如下图：

服务器 IP 说明 数据库时，连接此服务器</tr>
<tr class="even">
<td>database1</td>
<td>192.168.0.3</td>
<td>物理数据库1，真正存储数据的数据库</td>

</tr>
<tr class="odd">
<td>database2</td>
<td>192.168.0.4</td>
<td>物理数据库2，真正存储数据的数据库</td>

</tr>

Mycat作为主数据库中间件，肯定是与代码弱关联的，所以代码是不用修改的，使用Mycat后，连接数据库是不变的，默认端口是8066。连接方式和普通数据库一样，如：jdbc:MysqL://192.168.0.2:8066/

server.xml

示例

    <!-- 表级 DML 权限设置 -->
    <!--        
    <privileges check="false"&gt;
        <schema name="TESTDB" dml="0110" >
            <table name="tb01" dml="0000"&gt;</table&gt;
            <table name="tb02" dml="1111"&gt;</table&gt;
        </schema>
    </privileges>       
     -->
</user></pre>

 





重点关注下面这段，其他默认即可。

参数
说明


用户配置节点登录的用户名，也就是连接Mycat的用户名登录的密码，也就是连接Mycat的密码数据库名，这里会和schema.xml中的配置关联，多个用逗号分开，例如需要这个用户需要管理两个数据库db1,db2，则配置db1,dbs用户针对表的增删改查的权限，具体见文档吧
我这里配置了一个账号test 密码也是test,针对数据库lunch,读写权限都有，没有针对表做任何特殊的权限。


schema.xml
schema.xml是最主要的配置项，首先看我的配置文件。



 "schema.dtd">


<schema name="lunch" check<a href="/tag/sql/" target="_blank" class="keywords">sql</a>schema="false" <a href="/tag/sql/" target="_blank" class="keywords">sql</a>MaxLimit="100"&gt;
    <table name="lunchmenu" dataNode="dn1"  />
    <table name="restaurant" dataNode="dn1"  />
    <table name="userlunch" dataNode="dn1"  />
    <table name="users" dataNode="dn1"  />
    <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" />


</schema>



<dataNode name="dn1" dataHost="test1" database="lunch" />
<dataNode name="dn2" dataHost="test2" database="lunch" />



<dataHost name="test1" maxCon="1000" minCon="10" balance="0"  writeType="0" dbType="<a href="/tag/MysqL/" target="_blank" class="keywords">MysqL</a>" dbDriver="native"&gt;
    <heartbeat>select user();</heartbeat>
    <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"&gt;  
    </writeHost>
</dataHost>

<dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="<a href="/tag/MysqL/" target="_blank" class="keywords">MysqL</a>" dbDriver="native"&gt;
    <heartbeat>select user();</heartbeat>
    <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456"&gt;  
    </writeHost>
</dataHost>





 


Meta"> 



参数
说明


数据库设置，此数据库为逻辑数据库，name与server.xml中schema对应atanode数据库，真正存储数据的数据库
每个节点的属性逐一说明：


schema:

属性
说明


数据库名，与server.xml中的schema对应sqlschema数据库前缀相关设置，建议看文档，这里暂时设为folsesqlMaxLimit查询全表
table:

属性
说明


数据库中表名atanodeatanode设置的name自动生成主键时需要设置
datanode

属性
说明


atanode对应数据库名，与datahost中name对应数据库中数据库名
dataHost

属性
说明


数据库名，与datanode中dataHost对应负载的方式数据库类型


数据库分表分库">数据库分表分库


配置如下：



 "schema.dtd">


<schema name="lunch" check<a href="/tag/sql/" target="_blank" class="keywords">sql</a>schema="false" <a href="/tag/sql/" target="_blank" class="keywords">sql</a>MaxLimit="100"&gt;
    <table name="lunchmenu" dataNode="dn1"  />
    <table name="restaurant" dataNode="dn1"  />
    <table name="userlunch" dataNode="dn1"  />
    <table name="users" dataNode="dn1"  />
    <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" />


</schema>



<dataNode name="dn1" dataHost="test1" database="lunch" />
<dataNode name="dn2" dataHost="test2" database="lunch" />



<dataHost name="test1" maxCon="1000" minCon="10" balance="0"  writeType="0" dbType="<a href="/tag/MysqL/" target="_blank" class="keywords">MysqL</a>" dbDriver="native"&gt;
    <heartbeat>select user();</heartbeat>
    <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"&gt;  
    </writeHost>
</dataHost>

<dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="<a href="/tag/MysqL/" target="_blank" class="keywords">MysqL</a>" dbDriver="native"&gt;
    <heartbeat>select user();</heartbeat>
    <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456"&gt;  
    </writeHost>
</dataHost>





 


Meta"> 




我在192.168.0.2、192.168.0.3均有数据库lunch。
lunchmenu、restaurant、userlunch、users这些表都只写入节点dn1，也就是192.168.0.2这个服务，而dictionary写入了dn1、dn2两个节点，也就是192.168.0.2、192.168.0.3这两台服务器。分片的规则为：mod-long。
主要关注rule属性，rule属性的内容来源于rule.xml这个文件，Mycat支持10种分表分库的规则，基本能满足你所需要的要求，这个必须赞一个，其他数据库中间件好像都没有这么多。
table中的rule属性对应的就是rule.xml文件中tableRule的name,具体有哪些分表和分库的实现，建议还是看下文档。我这里选择的mod-long就是将数据平均拆分。因为我后端是两台物理库，所以rule.xml中mod-long对应的function count为2，见下面部分代码：



            id
            mod-long
        
    

<<span style="color: #0000ff;">function name="mod-long" <span style="color: #0000ff;">class="io.mycat.route.function.PartitionByMod">

        

    <property name="count"&gt;2</property>
</<span style="color: #0000ff;"&gt;function</span>></pre>




 






数据库读写分离">数据库读写分离


配置如下：



 "schema.dtd">


<schema name="lunch" check<a href="/tag/sql/" target="_blank" class="keywords">sql</a>schema="false" <a href="/tag/sql/" target="_blank" class="keywords">sql</a>MaxLimit="100"&gt;
    <table name="lunchmenu" dataNode="dn1"  />
    <table name="restaurant" dataNode="dn1"  />
    <table name="userlunch" dataNode="dn1"  />
    <table name="users" dataNode="dn1"  />
    <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1"  />


</schema>



<dataNode name="dn1" dataHost="test1" database="lunch" />



<dataHost name="test1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="<a href="/tag/MysqL/" target="_blank" class="keywords">MysqL</a>" dbDriver="native"&gt;
    <heartbeat>select user();</heartbeat>
    <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"&gt;  
    <readHost host="hostM1" url="192.168.0.3:3306" user="root" password="123456"&gt;   
    </readHost>
    </writeHost>
</dataHost>





 


Meta"> 




这样的配置与前一个示例配置改动如下：
删除了table分配的规则,以及datanode只有一个
datahost也只有一台，但是writehost总添加了readhost,balance改为1，表示读写分离。
以上配置达到的效果就是102.168.0.2为主库，192.168.0.3为从库。


注意：Mycat主从分离只是在读的时候做了处理，写入数据的时候，只会写入到writehost，需要通过mycat的主从复制将数据复制到readhost，这个问题当时候我纠结了好久，数据写入writehost后，readhost一直没有数据，以为是自己配置的问题，后面才发现Mycat就没有实现主从复制的功能，毕竟数据库本身自带的这个功能才是最高效稳定的。




至于其他的场景，如同时主从和分表分库也是支持的了，只要了解这个实现以后再去修改配置，都是可以实现的。而热备及故障专业官方推荐使用haproxy配合一起使用，大家可以试试。






Mycat的启动也很简单，启动命令在Bin目录：



<span style="color: #008000;">#<span style="color: #008000;">#停止

<span style="color: #000000;">mycat stop


<span style="color: #008000;">#<span style="color: #008000;">#重启

mycat restart




 




如果在启动时发现异常，在logs目录中查看日志。


    

  • wrapper.log 为程序启动的日志，启动时的问题看这个
    • 

  • mycat.log 为脚本执行时的日志，sql脚本执行报错后的具体错误内容,查看这个文件。mycat.log是最新的错误日志，历史日志会根据时间生成目录保存。
    • 



mycat启动后，执行命令不成功，可能实际上配置有错误，导致后面的命令没有很好的执行。


Mycat带来的最大好处就是使用是完全不用修改原有代码的，在mycat通过命令启动后，你只需要将数据库连接切换到Mycat的地址就可以了。如下面就可以进行连接了：


MysqL -h192.168.0.1 -P8806 -uroot -p123456



 




连接成功后可以执行sql脚本了。
所以，可以直接通过sql管理工具（如：navicat、datagrip）连接，执行脚本。我一直用datagrip来进行日常简单的管理，这个很方便。


Mycat还有一个管理的连接，端口号是9906.


MysqL -h192.168.0.1 -P9906 -uroot -p123456



sql">sql hljs"> 




连接后可以根据管理命令查看Mycat的运行情况，当然，喜欢UI管理方式的人，可以安装一个Mycat-Web来进行管理，有兴趣自行搜索。


简而言之，开发中使用Mycat和直接使用MysqL机会没有差别。




使用Mycat后总会遇到一些坑，我将自己遇到的一些问题在这里列一下，希望能与大家有共鸣：


      

      
                 
              
            
          
          
          
          

            

              




            

          


          

            

              

                  
    
猜你在找的MySQL相关文章



                                    
Mysql通过frm和ibd恢复数据库

                                
昨天的考试过程中，有个考点的服务器蓝屏重启后发现Mysql启动不了(5.6.45 x32版本，使用in...

                                
                                
                            



                                    
MySQL 数据库中的数据类型

                                
整数类型 标准 SQL 中支持 INTEGER 和 SMALLINT 这两种类型，MySQL 数据库除了支持这两种类...

                                
                                
                            



                                    
MySQL Select 语句执行顺序

                                
一条 SQL 查询语句结构如下： SELECT DISTINCT &lt;select_list&gt; FROM &lt...

                                
                                
                            



                                    
MySQL 数据备份与恢复

                                
数据备份 1. 备份数据库 使用 mysqldump 命令可以将数据库中的数据备份成一个文本文件，表...

                                
                                
                            



                                    
MySQL 大表拆分

                                
概述 在实际工作中，在关系数据库（MySQL、PostgreSQL）的单表数据量上亿后，往往会出现查...

                                
                                
                            







                                    
MySQL 索引详解

                                
索引的含义和特点 索引是创建在表上的，是对数据库表中一列或多列的值进行排序的一种数据结...

                                
                                
                            



                                    
MySQL 索引失效场景总结

                                
查询条件有 or 假设在 customer_name 字段设置了普通索引，执行以下 sql： # type: ref, p...

                                
                                
                            



                                    
MySQL 主从复制

                                
概述 MySQL 的高可用主要通过主从复制来实现，同时在主从复制的基础上可以构建一个 MySQL ...

                                
                                
                            



                                    
MySQL 日志管理

                                
概述 日志文件记录 MySQL 数据库运行期间发生的变化，当数据库遭到意外的损害时，可以通过...

                                
                                
                            



                                    
MySQL 事务和锁

                                
事务概述 当多个用户访问同一份数据时，一个用户在更改数据的过程中，可能有其他用户同时发...

                                
                                
                            







            

          

        
        
        
        
        

          
          

            

              

                
                
MySQLMsSQLOracleSqlitePostgre SQLMariadbMongoDBNoSQLHBaseJDBC

                

              

            

          

          
         
          

            

              
 



              

            

          

          
          
          
          

            

              

                
                
              

            

          

          


          
          

            

              

                
                
undo日志persistent-cmysql-error-postal-codesql-match-almysql-5.6mysql-8.0database-tri安装路径系统错误data_dir丢失文件主从同步sql_mode数据库目录匿名用户character_seID归零数据库位置查询表重复字段查询字段截断日志SUSPECT7391Remote ServeLinked Serve玄学问题登录不上开启远程访问