MySql集群搭建

MySql集群原理

MySQL-MMM(mysql主主复制管理器) 的简称,是Google的开源项目(Perl脚本) .MMM基于MSQLReplication做的扩展架构,主要用来监控mysa!主主复制并做失败转移。其原理是将真实数据库节点的IP (RIP) 映射为處拟IP (VIP)集。mysal-mmm的监管端会提供多个虚拟IP(VIP)，包括一个可写VIP，多个可读VIP,通过监管的管理,这些IP会绑定在可用mysql之上,当某一台mysq!启机时,监管会将VIP迁移至其他mysal。在整个监管过程中,需要在mysal中添加相关授权用户,以便让mysal可以支持监理机的维护。授权的用户包括一个mmm-monitor用户和一个mmm-agent用户,如果想使用mmm的备份工具则还要添加一个mmm-tools用户。

Monitor（监控器），MySql（主Master1，备主Master2，从Slave），这种架构下从（Slave）只是用来复制主（Master1）上的数据的，当前存在两个Master节点，当然只有Master1是当前真正的主节点，Master2是备用的主节点，在没有故障的情况下是一主（Master1）两从（Master2，Slave），这里MMM架构是利用Monitor监控器，为了达到失败的容错，Monitor为这些MySql创建VIP也就是虚拟IP，如这里分配3个虚拟IP0.0.0.1-Master1、0.0.0.2-Master2、0.0.0.3-Slave，Master1是主MySql分配有0.1的IP这个IP只能用于写的，如果客户端需要增删改的话就连向0.1这个IP，如果客户端需要读取查询那么就连向0.2、0.3的IP，相当于做了读写分离，那么这里出现问题了核心就再Monitor中的虚拟IP上面，Monitor对MySql节点做的监控，当Master1挂了，那么原来Master1的0.1ip就会被拿过来分配到新的备主节点Master2上面，这个操作叫做IP漂移，客户端实际正删改连接写的IP不变，但是集群中实际造作的MySql已经发生变化了，这些操作都是由Monitor来处理！

MHA (Master High Availability) 目前在MySQL高可用方面是一个相对成熟的解决方案,由日本DeNA公司youshimaton (现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中,MHA能做到在0-30秒之内自动完成数据库的故障切换操作(以2019年的眼光来说太慢了) ,并且在进行故障切换的过程中, MHA能在最大程度上保证数据的一致性,以达到真正意义上的高可用。

InnoDB Cluster （官方支持）支持自动Failover、强一致性、读写分离、读库高可用、读请求负载均衡,横向扩展的特性,是比较完备的一套方案。但是部署起来复杂,想要解决router单点问题好需要新增组件,如没有其他更好的方案可考虑该方案。InnoDB Cluster主DE要由MySQL Shell. MySQL Router和MySQL服务器集群组成,三者协同工作,共同为MySQL提供完整的高可用性解决方案。MySQL Shell对管理人员提供管理接口,可以.很方便的对集群进行配置和管理MySQL Router可以根据部署的集群状况自动的初始化,是客户端连接实例。如果有节点down机,集群会自动更新配置。集群包含单点写入和多点写入两种模式。在单主模式下,如果主节点down掉,从节点自动替换上来,MySQL Router会自动探测,并将客户端连接到新节点。 详细介绍

企业中常用数据库解决方案 应用程序不在直接连接MySql数据库，而是变相的连接数据库代理如DBProxy、MyCat，这里也防止数据库代理宕机，所以这里也做了热备，连接上数据库连接后，读写请求分离，写操作交给Master1节点，读交给Slave1、Slave2、Slave3、Slave4、Slave5，如果存在宕机，从节点一定是来同步主节点Master1的，主节点的数据从节点一定都会同步的，多台从节点还能进行角色拆分，如Slave1、Slave2、Slave3就是面向公众用户访问的，如Slave4节点就是提供后台管理系统访问的，Slave5就是用来数据备份的，无论多少从节点，都是需要从主节点中同步数据的，当主节点出现奔溃问题的时候，这里需要准备Master2备主节点，如果Master1主节点出现奔溃后，Master2就会接任Master1 的任务，成为新的主节点，因为刚开始Master2就对Master1的数据进行同步了所以数据是一致的，当主节点变更为Master2 后所有的Slave从节点就会同步迁移到Master2上面，这里在Master1和Master2存活检测和切换在MySql里面不是使用InnoDB Cluster的话之前是没有提供这种机制的，之前要达到这种效果需要使用keepaliver来检查存活来进行热备，之前很多种解决方案都是要基于keepaliver来处理的，这中模式会存在数据容量限制的问题，如果想要更大容量的存储数据，那么就需要对MySql的数据进行分片存储，如一个此架构的MySql集群分为一个片区；

MySql集群搭建

1.拉取、启动MySql

主节点 docker run -p 3307:3306 --name mysql-master -v /data/mysql/mysql3307/log:/var/log/mysql -v /data/mysql/mysql3307/data:/var/lib/mysql -v /data/mysql/mysql3307/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7 从节点 docker run -p 3317:3306 --name mysql-master -v /data/mysql/mysql3317/log:/var/log/mysql -v /data/mysql/mysql3317/data:/var/lib/mysql -v /data/mysql/mysql3317/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7

2.修改配置文件 上面直接在外部挂载目录，这里需要在两台mysql挂载的conf目录下创建my.cnf配置文件 主节点

[client] default-character-set=utf8 [mysql] default-character-set=utf8 [mysqld] init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8' character-set-server=utf8 collation-server=utf8_unicode_ci skip-character-set-client-handshake skip-name-resolve server_id=1 log-bin=mysql-bin #是否只读 0=false 1=true read-only=0 #需要同步的表数据 binlog-do-db=you_tab #排除同步的表数据 replicate-ignore-db=mysql replicate-ignore-db=sys replicate-ignore-db=performance_schema replicate-ignore-db=information_schema

从节点

[client] default-character-set=utf8 [mysql] default-character-set=utf8 [mysqld] init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8' character-set-server=utf8 collation-server=utf8_unicode_ci skip-character-set-client-handshake skip-name-resolve server_id=2 log-bin=mysql-bin #是否只读 0=false 1=true read-only=1 #需要同步的表数据 binlog-do-db=you_tab #排除同步的表数据 replicate-ignore-db=mysql replicate-ignore-db=sys replicate-ignore-db=performance_schema replicate-ignore-db=information_schema

3.重启主从节点

docker restart xxx

4.主节点创建授权 可以在mysql容器里面

docker exec -it 容器名 /bin/bash

也可以在客户端SQLyou

创建授权用户backup密码为123456，可以是任何主机*.* GRANT REPLICATION SLAVE ON *.* TO 'backup'@'%' IDENTIFIED BY '123456' 查看主节点状态 SHOW MASTER STATUS

5.从节点改变连接

#改变slave连接 CHANGE MASTER TO MASTER_HOST='192.168.0.177',MASTER_USER='backup',MASTER_PASSWORD='123456',MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=0,MASTER_PORT=3307; #开始同步 start slave; #查看当前slave的状态 show slave status;

这里圈起来的两个yes必须的，否者主从搭建失败

那么到这里基本的主从复制模式就搭建完毕！但是在主从复制模式情况下不能解决单表数据量大了的性能问题，如一张表书记量太大了，查询效率会比较低，那么此时就需要对数据进行分片处理，每个MySql就只存储部分数据，也就是MySql分库分表！