前面一篇文章将MySql主从复制模式就搭建完毕了,但是在主从复制模式情况下不能解决单表数据量大了的性能问题,如一张表书记量太大了,查询效率会比较低,那么此时就需要对数据进行分片处理,每个MySql就只存储部分数据,接下来就是MySql分库分表!MySql分库分表会采用MyCat或者ShardingSphere!
以上内容均来自shardingsphere官方文档
下面根据上面这张架构图使用Sharding-Proxy实现分库分表,读写分离
1.下载Sharding-Proxy中间件 下载地址 下载后的文件解压 2.修改配置 这里简单介绍一下配置 server.yaml
#权限验证 #用于执行登录Sharding Proxy的权限验证。配置用户名、密码、可访问的数据库后,必须使用正确的用户名、密码才可登录Proxy。 authentication: users: root: # 自定义用户名 password: root # 自定义用户名 sharding: # 自定义用户名 password: sharding #自定义用户名 authorizedSchemas: sharding_db 该用户授权可访问的数据库,多个用逗号分隔。缺省将拥有root权限,可访问全部数据库。 props: # max.connections.size.per.query: 1 # acceptor.size: 16 #用于设置接收客户端请求的工作线程个数,默认为CPU核数*2 executor.size: 16 # Infinite by default. # proxy.frontend.flush.threshold: 128 # 对于单个大查询,每多少个网络包返回一次 # # LOCAL: Proxy will run with LOCAL transaction. # # XA: Proxy will run with XA transaction. # # BASE: Proxy will run with B.A.S.E transaction. # proxy.transaction.type: LOCAL #默认为LOCAL事务,允许LOCAL,XA,BASE三个值,XA采用Atomikos作为事务管理器,BASE类型需要拷贝实现ShardingTransactionManager的接口的jar包至lib目录中 # proxy.opentracing.enabled: false #是否开启链路追踪功能,默认为不开启。详情请参见[链路追踪](/cn/features/orchestration/apm/) # query.with.cipher.column: true sql.show: false #控制台打印SQLconfig-sharding.yaml
schemaName: sharding_db #逻辑数据源名称 # dataSources: #数据源配置,可配置多个data_source_name ds_0: #与Sharding-JDBC配置不同,无需配置数据库连接池 url: jdbc:mysql://192.168.0.177:3307/demo_ds_0?serverTimezone=UTC&useSSL=false #数据库url连接 username: root #数据库用户名 password: root #数据库密码 connectionTimeoutMilliseconds: 30000 #连接超时毫秒数 idleTimeoutMilliseconds: 60000 #空闲连接回收超时毫秒数 maxLifetimeMilliseconds: 1800000 #连接最大存活时间毫秒数 maxPoolSize: 50 #最大连接数 ds_1: url: jdbc:mysql://192.168.0.177:3307/demo_ds_1?serverTimezone=UTC&useSSL=false username: root password: root connectionTimeoutMilliseconds: 30000 idleTimeoutMilliseconds: 60000 maxLifetimeMilliseconds: 1800000 maxPoolSize: 50 # shardingRule: tables: t_order: actualDataNodes: ds_${0..1}.t_order_${0..1} tableStrategy: inline: shardingColumn: order_id algorithmExpression: t_order_${order_id % 2} keyGenerator: type: SNOWFLAKE column: order_id t_order_item: actualDataNodes: ds_${0..1}.t_order_item_${0..1} tableStrategy: inline: shardingColumn: order_id algorithmExpression: t_order_item_${order_id % 2} keyGenerator: type: SNOWFLAKE column: order_item_id bindingTables: - t_order,t_order_item defaultDatabaseStrategy: inline: shardingColumn: user_id algorithmExpression: ds_${user_id % 2} defaultTableStrategy: none:config-sharding.yaml-配置介绍
dataSources: #数据源配置,可配置多个data_source_name <data_source_name>: #<!!数据库连接池实现类> `!!`表示实例化该类 driverClassName: #数据库驱动类名 url: #数据库url连接 username: #数据库用户名 password: #数据库密码 # ... 数据库连接池的其它属性 shardingRule: tables: #数据分片规则配置,可配置多个logic_table_name <logic_table_name>: #逻辑表名称 actualDataNodes: #由数据源名 + 表名组成,以小数点分隔。多个表以逗号分隔,支持inline表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点,用于广播表(即每个库中都需要一个同样的表用于关联查询,多为字典表)或只分库不分表且所有库的表结构完全一致的情况 databaseStrategy: #分库策略,缺省表示使用默认分库策略,以下的分片策略只能选其一 standard: #用于单分片键的标准分片场景 shardingColumn: #分片列名称 preciseAlgorithmClassName: #精确分片算法类名称,用于=和IN。。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器 rangeAlgorithmClassName: #范围分片算法类名称,用于BETWEEN,可选。。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器 complex: #用于多分片键的复合分片场景 shardingColumns: #分片列名称,多个列以逗号分隔 algorithmClassName: #复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器 inline: #行表达式分片策略 shardingColumn: #分片列名称 algorithmInlineExpression: #分片算法行表达式,需符合groovy语法 hint: #Hint分片策略 algorithmClassName: #Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器 none: #不分片 tableStrategy: #分表策略,同分库策略 keyGenerator: column: #自增列名称,缺省表示不使用自增主键生成器 type: #自增列值生成器类型,缺省表示使用默认自增列值生成器。可使用用户自定义的列值生成器或选择内置类型:SNOWFLAKE/UUID props: #属性配置, 注意:使用SNOWFLAKE算法,需要配置worker.id与max.tolerate.time.difference.milliseconds属性。若使用此算法生成值作分片值,建议配置max.vibration.offset属性 <property-name>: 属性名称 bindingTables: #绑定表规则列表 - <logic_table_name1, logic_table_name2, ...> - <logic_table_name3, logic_table_name4, ...> - <logic_table_name_x, logic_table_name_y, ...> broadcastTables: #广播表规则列表 - table_name1 - table_name2 - table_name_x defaultDataSourceName: #未配置分片规则的表将通过默认数据源定位 defaultDatabaseStrategy: #默认数据库分片策略,同分库策略 defaultTableStrategy: #默认表分片策略,同分库策略 defaultKeyGenerator: #默认的主键生成算法 如果没有设置,默认为SNOWFLAKE算法 type: #默认自增列值生成器类型,缺省将使用org.apache.shardingsphere.core.keygen.generator.impl.SnowflakeKeyGenerator。可使用用户自定义的列值生成器或选择内置类型:SNOWFLAKE/UUID props: <property-name>: #自增列值生成器属性配置, 比如SNOWFLAKE算法的worker.id与max.tolerate.time.difference.milliseconds masterSlaveRules: #读写分离规则,详见读写分离部分 <data_source_name>: #数据源名称,需要与真实数据源匹配,可配置多个data_source_name masterDataSourceName: #详见读写分离部分 slaveDataSourceNames: #详见读写分离部分 loadBalanceAlgorithmType: #详见读写分离部分 props: #读写分离负载算法的属性配置 <property-name>: #属性值 props: #属性配置 sql.show: #是否开启SQL显示,默认值: false executor.size: #工作线程数量,默认值: CPU核数 max.connections.size.per.query: # 每个查询可以打开的最大连接数量,默认为1 check.table.metadata.enabled: #是否在启动时检查分表元数据一致性,默认值: falseconfig-master_slave.yaml
schemaName: sharding_db_1 dataSources: master_ds_1: url: jdbc:mysql://192.168.0.177:3307/demo_ds_1?serverTimezone=UTC&useSSL=false username: root password: root connectionTimeoutMilliseconds: 30000 idleTimeoutMilliseconds: 60000 maxLifetimeMilliseconds: 1800000 maxPoolSize: 50 slave_ds_1: url: jdbc:mysql://192.168.0.177:3317/demo_ds_1?serverTimezone=UTC&useSSL=false username: root password: root connectionTimeoutMilliseconds: 30000 idleTimeoutMilliseconds: 60000 maxLifetimeMilliseconds: 1800000 maxPoolSize: 50 masterSlaveRule: name: ms_ds_1 masterDataSourceName: master_ds_1 slaveDataSourceNames: - slave_ds_1config-master_slave.yaml-配置介绍
ataSources: #省略数据源配置,与数据分片一致 masterSlaveRule: name: #读写分离数据源名称 masterDataSourceName: #主库数据源名称 slaveDataSourceNames: #从库数据源名称列表 - <data_source_name1> - <data_source_name2> - <data_source_name_x> loadBalanceAlgorithmType: #从库负载均衡算法类型,可选值:ROUND_ROBIN,RANDOM。若`loadBalanceAlgorithmClassName`存在则忽略该配置 props: #读写分离负载算法的属性配置 <property-name>: #属性值注意:config-master_slave.yaml配置时需要注意,主从数据源不要写在同一个配置文件中,如果异常情况下 创建两个config-master_slave-0.yaml、config-master_slave-1.yaml配置文件 config-master_slave-0.yaml config-master_slave-1.yaml shardingsphere官方配置模板
3.导入mysql驱动 连接地址
解压将圈起来的mysql-connector-java-5.1.47.jar文件复制到Shardingsphere目录的lib目录
注意:如果启动报什么类什么类找不到的话,请检查lib目录的jar包是否是jar结尾,如果不是将结尾改为jar即可
4.启动 启动之前需要先确保MySql数据库中存在需要分库分表的实际数据库,而且主从节点同步监听的库需要加上 1.点击start.bat启动 2.CMD启动
指定端口启动 start.bat 33885.连接测试 这里SQLyog是无法连接上Shardingsphere,需要使用其他连接工具!
6.创建任意表测试 在navicat客户端中创建任意数据表测试 这里在sharding_db.sql在创建的表都会主从复制,同时也会分库分表!