MySQL高可用之MHA集群


theme: vue-pro

一、MHA概述

1.1 什么是 MHA

MHA(MasterHigh Availability)是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。

MHA 的出现就是解决MySQL 单点故障的问题。

MySQL故障切换过程中,MHA能做到0-30秒内自动完成故障切换操作。

MHA能在故障切换的过程中最大程度上保证数据的一致性,以达到真正意义上的高可用。

1.2 MHA 的组成

1)MHA Node(数据节点)

  • MHA Node 运行在每台 MySQL 服务器上。

2)MHA Manager(管理节点)

  • MHA Manager 可以单独部署在一台独立的机器上,管理多个 master-slave 集群;也可以部署在一台 slave 节点上。
  • MHA Manager 会定时探测集群中的 master 节点。当 master 出现故障时,它可以自动将最新数据的 slave 提升为新的 master, 然后将所有其他的 slave 重新指向新的 master。整个故障转移过程对应用程序完全透明。

1.3 MHA 的特点

  • 自动故障切换过程中,MHA试图从宕机的主服务器上保存二进制日志,最大程度的保证数据不丢失
  • 使用半同步复制,可以大大降低数据丢失的风险,如果只有一个slave已经收到了最新的二进制日志,MHA可以将最新的二进制日志应用于其他所有的slave服务器上,因此可以保证所有节点的数据一致性。
  • 目前MHA支持一主多从架构,最少三台服务器,即一主两从

012.png

二、MySQL MHA搭建准备

2.1 实验思路

1)MHA架构:①数据库安装 ②一主两从 ③MHA搭建

2)故障模拟:①主库失效 ②备选主库成为主库 ③原故障主库恢复重新加入到MHA成为从库

2.2 实验准备

节点服务器 系统 主机名 IP地址 安装工具及服务
MHA manager 服务器 CentOS7.4(64 位) manager 192.168.72.40 MHA node 和 manager 组件
Master 服务器 CentOS7.4(64 位) mysql1 192.168.72.192 MHA node 组件
Slave1 服务器 CentOS7.4(64 位) mysql2 192.168.72.60 MHA node 组件
Slave2 服务器 CentOS7.4(64 位) mysql3 192.168.72.80 MHA node 组件

MHA一主两从高可用集群示意图:

1.png

三、搭建 MySQL MHA

3.1 配置主从复制

1、四台服务器都关闭防火墙

  1. systemctl disable --now firewalld
  2. setenforce 0

2-1.png

2、修改 Master、Slave1、Slave2 节点的主机名

  1. ##Master 节点##
  2. hostnamectl set-hostname mysql1
  3. su
  4. ##Slave1节点##
  5. hostnamectl set-hostname mysql2
  6. su
  7. ##Slave2节点##
  8. hostnamectl set-hostname mysql3
  9. su

2-2.png

2-3.png

2-4.png

3、 在Master、Slave1、Slave2添加主机映射关系

  1. #三台添加同样的配置
  2. vim /etc/hosts
  3. 192.168.72.192 mysql1
  4. 192.168.72.60 mysql2
  5. 192.168.72.80 mysql3

2-5.png

2-6.png

4、修改 Master、Slave1、Slave2 节点的 Mysql主配置文件/etc/my.cnf

Master节点,开启二进制日志。

Slave1、Slave2 节点,开启二进制日志和中继日志。

  1. ##Master 节点##
  2. vim /etc/my.cnf
  3. [mysqld]
  4. server-id = 1
  5. log_bin = master-bin #开启二进制日志,指定存放位置
  6. log-slave-updates = true #允许slave从master复制数据时可以写入到自己的二进制日志中
  7. systemctl restart mysqld #重启mysql
  8. ##Slave1节点##
  9. vim /etc/my.cnf
  10. [mysqld]
  11. server-id = 2 #三台服务器的 server-id 不能相同
  12. log_bin = master-bin
  13. relay-log = relay-log-bin
  14. relay-log-index = slave-relay-bin.index
  15. systemctl restart mysqld
  16. ##Slave2节点##
  17. vim /etc/my.cnf
  18. [mysqld]
  19. server-id = 3 #三台服务器的 server-id 不能相同
  20. log_bin = master-bin
  21. relay-log = relay-log-bin
  22. relay-log-index = slave-relay-bin.index
  23. systemctl restart mysqld #重启mysql

2-7.png

2-8.png

2-9.png

2-10.png

5、在 Master、Slave1、Slave2 节点上都创建两个软链接

  1. ln -s /usr/local/mysql/bin/mysql /usr/sbin/
  2. ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/
  3. ls /usr/sbin/mysql* #查看软链接

2-11.png

6、登录数据库进行授权

对slave和manager进行授权。

  1. ##----(1)所有数据库节点进行mysql主从同步的授权------##
  2. grant replication slave on *.* to myslave@192.168.72.% identified by 123123; #从服务器同步使用
  3. ##---(2)所有数据库节点,授权给manager服务器-----##
  4. grant all privileges on *.* to mha@192.168.72.% identified by manager;
  5. #为了防止因主机名导致的连接不上问题,再次对登录地址进行授权
  6. grant all privileges on *.* to mha@mysql1 identified by manager;
  7. grant all privileges on *.* to mha@mysql2 identified by manager;
  8. grant all privileges on *.* to mha@mysql3 identified by manager;
  9. flush privileges; #刷新权限

所有数据库节点进行mysql主从同步的授权:

2-12.png

所有数据库节点,授权给manager服务器:

2-13.png

7、配置主从同步

在 Master 节点查看二进制文件和同步点(即偏移量),在 Slave1、Slave2 节点执行同步操作。

  1. ##(1)在 Master 节点查看二进制文件和同步点(即偏移量)##
  2. show master status;
  3. +-------------------+----------+--------------+------------------+--
  4. | File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
  5. +-------------------+----------+--------------+------------------+--
  6. | mysql-bin.000012| 773 | | |
  7. +-------------------+----------+--------------+------------------+--
  8. ##(2)在 Slave1、Slave2 节点执行同步操作##
  9. change master to master_host=192.168.72.192,master_user=myslave,master_password=123123,master_log_file=mysql-bin.000012,master_log_pos=773;
  10. start slave; #开启同步,如有报错执行 reset slave;
  11. ##(3)在 Slave1、Slave2 查看节点状态##
  12. show slave status\G
  13. //确保 IO 和 SQL 线程都是 Yes,代表同步正常。
  14. Slave_IO_Running: Yes
  15. Slave_SQL_Running: Yes
  16. #一般 "Slave_IO_Running: No" 的可能原因:
  17. 1. 网络不通
  18. 2. my.cnf配置有问题(server-id重复)
  19. 3. 密码、file文件名、pos偏移量不对
  20. 4. 防火墙没有关闭
  21. ##(4)两个从库必须设置为只读模式##
  22. set global read_only=1;
  23. ##(5)在Master主库插入数据,测试数据库同步##
  24. create database test1;
  25. use test1;
  26. create table shop(id int);
  27. insert into shop values (1);
  28. #从数据库中验证是否同步成功
  29. select * from test1.shop;

1)在 Master 节点查看二进制文件和同步点:

2-14.png

2)在 Slave1、Slave2 节点执行同步操作:

2-15.png

2-16.png

3)两个从库必须设置为只读模式:

2-17.png

4)在Master主库插入数据,slave中验证数据同步:

2-18.png

2-20.png

2-21.png

3.2 配置MHA

1、所有服务器安装MHA软件

  • 对于每个操作系统版本不一样,这里 CentOS7.4 必须选择 0.57 版本。
  • 在所有服务器上必须先安装 node 组件,最后在 MHA-manager 节点上安装 manager 组件,因为 manager组件 依赖 node 组件。
  1. ##(1)所有服务器上都安装 MHA 依赖的环境,首先安装 epel 源##
  2. yum install epel-release --nogpgcheck -y
  3. #安装 MHA依赖环境
  4. yum install -y perl-DBD-MySQL \
  5. perl-Config-Tiny \
  6. perl-Log-Dispatch \
  7. perl-Parallel-ForkManager \
  8. perl-ExtUtils-CBuilder \
  9. perl-ExtUtils-MakeMaker \
  10. perl-CPAN
  11. ##(2)安装 MHA 软件包,必须先在所有服务器上安装 node 组件##
  12. #将安装包上传到/opt/目录中,解压安装node组件##
  13. cd /opt/
  14. tar zxvf mha4mysql-node-0.57.tar.gz
  15. cd mha4mysql-node-0.57
  16. perl Makefile.PL
  17. make && make install
  18. ##(3)最后在 MHA manager 节点上安装 manager 组件##(manager组件依赖node 组件)
  19. cd /opt/
  20. tar zxvf mha4mysql-manager-0.57.tar.gz
  21. cd mha4mysql-manager-0.57
  22. perl Makefile.PL
  23. make && make install
  24. ------------------虚线以内是注释--------------------------------------------------
  25. #manager 组件安装后在/usr/local/bin 下面会生成几个工具,主要包括以下几个:
  26. masterha_check_ssh #检查 MHA 的 SSH 配置状况
  27. masterha_check_repl #检查 MySQL 复制状况
  28. masterha_manger #启动 manager的脚本
  29. masterha_check_status #检测当前 MHA 运行状态
  30. masterha_master_monitor #检测 master 是否宕机
  31. masterha_master_switch #控制故障转移(自动或者手动)
  32. masterha_conf_host #添加或删除配置的 server 信息
  33. masterha_stop #关闭manager
  34. #node 组件安装后也会在/usr/local/bin 下面会生成几个脚本(这些工具通常由 MHAManager 的脚本触发,无需人为操作)主要如下:
  35. save_binary_logs #保存和复制 master 的二进制日志
  36. apply_diff_relay_logs #识别差异的中继日志事件并将其差异的事件应用于其他的 slave
  37. filter_mysqlbinlog #去除不必要的 ROLLBACK 事件(MHA 已不再使用这个工具)
  38. purge_relay_logs #清除中继日志(不会阻塞 SQL 线程)
  39. ----------------------------------------------------------------------------------------------------------

(1)所有服务器上首先安装 epel 源,之后安装 MHA 依赖的环境:

3-1.png

3-2.png

(2)先在所有服务器上安装 node 组件:

3-3.png

3-4.png

(3)最后在 MHA manager 节点上安装 manager 组件:

3-5.png

3-6.png

小贴士:

manager 组件安装后在/usr/local/bin/ 下面会生成几个工具,主要包括以下几个:

工具 说明
masterha_check_ssh 检查 MHA 的 SSH 配置状况
masterha_check_repl 检查 MySQL 复制状况
masterha_manger 启动 manager的脚本
masterha_check_status 检测当前 MHA 运行状态
masterha_master_monitor 检测 master 是否宕机
masterha_master_switch 控制故障转移(自动或者手动)
masterha_conf_host 添加或删除配置的 server 信息
masterha_stop 关闭manager

node 组件安装后也会在/usr/local/bin/ 下面会生成几个脚本(这些工具通常由 MHAManager 的脚本触发,无需人为操作)主要如下:

工具 说明
save_binary_logs 保存和复制 master 的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的 slave
filter_mysqlbinlog 去除不必要的 ROLLBACK 事件(MHA 已不再使用这个工具)
purge_relay_logs 清除中继日志(不会阻塞 SQL 线程)

2、在所有服务器上配置无密码认证

  1. ##(1)在 manager 节点上配置到所有数据库节点的无密码认证
  2. ssh-keygen -t rsa #一路按回车键,生成密钥。"-t rsa"指定密钥的类型。
  3. ssh-copy-id 192.168.72.192 #将公钥传给所有数据库节点,形成免密码连接登录
  4. ssh-copy-id 192.168.72.60
  5. ssh-copy-id 192.168.72.80
  6. ##(2)在 mysql1 上配置到数据库节点 mysql2 和 mysql3 的无密码认证
  7. ssh-keygen -t rsa
  8. ssh-copy-id 192.168.72.60 #将公钥传给两个从节点,形成免密码连接登录
  9. ssh-copy-id 192.168.72.80
  10. ##(3)在 mysql2 上配置到数据库节点 mysql1 和 mysql3 的无密码认证
  11. ssh-keygen -t rsa
  12. ssh-copy-id 192.168.72.192
  13. ssh-copy-id 192.168.72.80
  14. ##(4)在 mysql3 上配置到数据库节点 mysql1 和 mysql2 的无密码认证
  15. ssh-keygen -t rsa
  16. ssh-copy-id 192.168.72.192
  17. ssh-copy-id 192.168.72.60

(1)在 manager 节点上配置到所有数据库节点的无密码认证

3-7.png

3-8.png

3-9.png

(2)在 mysql1 上配置到数据库节点 mysql2 和 mysql3 的无密码认证

3-10.png

3-11.png

(3)在 mysql2 上配置到数据库节点 mysql1 和 mysql3 的无密码认证

3-12.png

3-13.png

(4)在 mysql3 上配置到数据库节点 mysql1 和 mysql2 的无密码认证

3-14.png

3-15.png

3、在 manager 节点上配置 MHA

  1. ##(1)在 manager 节点上复制相关脚本到/usr/local/bin 目录
  2. cp -rp /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin
  3. #拷贝后会有四个执行文件
  4. ll /usr/local/bin/scripts/
  5. ------------ 虚线内是注释 -------------------------------------------------------
  6. master_ip_failover #自动切换时 VIP 的管理脚本
  7. master_ip_online_change #在线切换时 VIP 的管理脚本
  8. power_manager #故障发生后关闭主机的脚本
  9. send_report #因故障切换后发送报警的脚本
  10. --------------------------------------------------------------------------------
  11. ##(2)复制上述的自动切换时 VIP 的管理脚本到 /usr/local/bin 目录,这里使用master_ip_failover脚本来管理 VIP 和故障切换
  12. cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin
  13. ##(3)修改内容如下:(删除原有内容,直接复制并修改vip相关参数。可在拷贝前输入 :set paste 解决vim粘贴乱序问题)
  14. vim /usr/local/bin/master_ip_failover
  15. #!/usr/bin/env perl
  16. use strict;
  17. use warnings FATAL => all;
  18. use Getopt::Long;
  19. my (
  20. $command, $ssh_user, $orig_master_host, $orig_master_ip,
  21. $orig_master_port, $new_master_host, $new_master_ip, $new_master_port
  22. );
  23. #############################添加内容部分#########################################
  24. my $vip = 192.168.72.100; #指定vip的地址
  25. my $brdc = 192.168.72.255; #指定vip的广播地址
  26. my $ifdev = ens33; #指定vip绑定的网卡
  27. my $key = 1; #指定vip绑定的虚拟网卡序列号
  28. my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip"; #代表此变量值为ifconfig ens33:1 192.168.72.100
  29. my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down"; #代表此变量值为ifconfig ens33:1 192.168.72.100 down
  30. my $exit_code = 0; #指定退出状态码为0
  31. #my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
  32. #my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
  33. ##################################################################################
  34. GetOptions(
  35. command=s => $command,
  36. ssh_user=s => $ssh_user,
  37. orig_master_host=s => $orig_master_host,
  38. orig_master_ip=s => $orig_master_ip,
  39. orig_master_port=i => $orig_master_port,
  40. new_master_host=s => $new_master_host,
  41. new_master_ip=s => $new_master_ip,
  42. new_master_port=i => $new_master_port,
  43. );
  44. exit &main();
  45. sub main {
  46. print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
  47. if ( $command eq "stop" || $command eq "stopssh" ) {
  48. my $exit_code = 1;
  49. eval {
  50. print "Disabling the VIP on old master: $orig_master_host \n";
  51. &stop_vip();
  52. $exit_code = 0;
  53. };
  54. if ($@) {
  55. warn "Got Error: $@\n";
  56. exit $exit_code;
  57. }
  58. exit $exit_code;
  59. }
  60. elsif ( $command eq "start" ) {
  61. my $exit_code = 10;
  62. eval {
  63. print "Enabling the VIP - $vip on the new master - $new_master_host \n";
  64. &start_vip();
  65. $exit_code = 0;
  66. };
  67. if ($@) {
  68. warn $@;
  69. exit $exit_code;
  70. }
  71. exit $exit_code;
  72. }
  73. elsif ( $command eq "status" ) {
  74. print "Checking the Status of the script.. OK \n";
  75. exit 0;
  76. }
  77. else {
  78. &usage();
  79. exit 1;
  80. }
  81. }
  82. sub start_vip() {
  83. `ssh $ssh_user@$new_master_host " $ssh_start_vip "`;
  84. }
  85. ## A simple system call that disable the VIP on the old_master
  86. sub stop_vip() {
  87. `ssh $ssh_user@$orig_master_host " $ssh_stop_vip "`;
  88. }
  89. sub usage {
  90. print
  91. "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
  92. }

(1)在 manager 节点上复制相关脚本到/usr/local/bin/ 目录。

4-1.png

(2)将master_ip_failover(自动切换时 VIP 的管理脚本)复制到/usr/local/bin 目录,这里使用master_ip_failover脚本来管理 VIP 和故障切换。

4-2.png

(3)修改/usr/local/bin/master_ip_failover 脚本,删除原有内容,所有内容全都重新添加。

4-3.png

4、 manager节点编辑配置文件,管理 mysql 节点服务器

创建 MHA 软件目录并拷贝配置文件,这里使用app1.cnf配置文件来管理 mysql 节点服务器。

  1. mkdir /etc/masterha
  2. cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha/ #复制配置文件
  3. vim /etc/masterha/app1.cnf #删除原有内容,直接复制并修改节点服务器的IP地址
  4. [server default]
  5. manager_log=/var/log/masterha/app1/manager.log
  6. manager_workdir=/var/log/masterha/app1
  7. master_binlog_dir=/usr/local/mysql/data
  8. master_ip_failover_script=/usr/local/bin/master_ip_failover
  9. master_ip_online_change_script=/usr/local/bin/master_ip_online_change
  10. user=mha
  11. password=manager
  12. ping_interval=1
  13. remote_workdir=/tmp
  14. repl_password=123
  15. repl_user=myslave
  16. secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.72.60 -s 192.168.72.80
  17. shutdown_script=""
  18. ssh_user=root
  19. user=mha
  20. [server1]
  21. hostname=192.168.72.192
  22. port=3306
  23. [server2]
  24. candidate_master=1
  25. check_repl_delay=0
  26. hostname=192.168.72.60
  27. port=3306
  28. [server3]
  29. hostname=192.168.72.80
  30. port=3306

4-4.png

编辑配置文件 /etc/masterha/app1.cnf

4-5.png

app1.cnf配置文件注释:

  1. [server default]
  2. manager_log=/var/log/masterha/app1/manager.log   #manager日志
  3. manager_workdir=/var/log/masterha/app1        #manager工作目录
  4. master_binlog_dir=/usr/local/mysql/data/       #master保存binlog的位置,这里的路径要与master里配置的binlog的路径一致,以便MHA能找到
  5. master_ip_failover_script=/usr/local/bin/master_ip_failover  #设置自动failover时候的切换脚本,也就是上面的那个脚本
  6. master_ip_online_change_script=/usr/local/bin/master_ip_online_change  #设置手动切换时候的切换脚本
  7. user=mha #设置mysql用户,给manager授权时创建的用户
  8. password=manager #设置mysql用户的密码,这个密码是前文中创建监控用户的那个密码
  9. ping_interval=1 #设置监控主库,发送ping包的时间间隔,默认是3秒,尝试三次没有回应的时候自动进行failover
  10. remote_workdir=/tmp #设置远端mysql在发生切换时binlog的保存位置
  11. repl_password=123123 #设置复制用户的密码(主从同步授权时创建的用户和密码)
  12. repl_user=myslave #设置复制用户的用户
  13. report_script=/usr/local/send_report   #设置发生切换后发送的报警的脚本
  14. secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.72.60 -s 192.168.72.80 #指定检查的从服务器IP地址
  15. shutdown_script="" #设置故障发生后关闭故障主机脚本(该脚本的主要作用是关闭主机防止发生脑裂,这里没有使用,可以使用系统自带的power_manager )
  16. ssh_user=root #设置ssh的登录用户名
  17. [server1] #master
  18. hostname=192.168.72.192
  19. port=3306
  20. [server2] #slave1
  21. hostname=192.168.72.60
  22. port=3306
  23. candidate_master=1
  24. #设置为候选master,设置该参数以后,发生主从切换以后将会将此从库提升为主库,即使这个从库不是集群中最新的slave
  25. check_repl_delay=0
  26. #默认情况下如果一个slave落后master 超过100M的relay logs的话,MHA将不会选择该slave作为一个新的master, 因为对于这个slave的恢复需要花费很长时间;通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时,这个参数对于设置了candidate_master=1的主机非常有用,因为这个候选主在切换的过程中一定是新的master
  27. [server3] #slave2
  28. hostname=192.168.72.80
  29. port=3306

5、第一次配置需要在 Master 节点上手动开启虚拟IP

  1. /sbin/ifconfig ens33:1 192.168.72.100/24

4-6.png

6、在 manager 节点上测试 ssh 无密码认证

在 manager 节点上测试 ssh 无密码认证,如果正常最后会输出 successfully,如下所示。

  1. masterha_check_ssh -conf=/etc/masterha/app1.cnf
  2. Sun Jun 12 22:44:40 2022 - [debug] Connecting via SSH from root@192.168.72.192(192.168.72.192:22) to root@192.168.72.60(192.168.72.60:22)..
  3. Sun Jun 12 22:44:41 2022 - [debug] ok.
  4. Sun Jun 12 22:44:41 2022 - [debug] Connecting via SSH from root@192.168.72.192(192.168.72.192:22) to root@192.168.72.80(192.168.72.80:22)..
  5. Sun Jun 12 22:44:42 2022 - [debug] ok.
  6. Sun Jun 12 22:44:43 2022 - [debug]
  7. Sun Jun 12 22:44:41 2022 - [debug] Connecting via SSH from root@192.168.72.60(192.168.72.60:22) to root@192.168.72.192(192.168.72.192:22)..
  8. Sun Jun 12 22:44:42 2022 - [debug] ok.
  9. Sun Jun 12 22:44:42 2022 - [debug] Connecting via SSH from root@192.168.72.60(192.168.72.60:22) to root@192.168.72.80(192.168.72.80:22)..
  10. Sun Jun 12 22:44:42 2022 - [debug] ok.
  11. Sun Jun 12 22:44:43 2022 - [debug]
  12. Sun Jun 12 22:44:41 2022 - [debug] Connecting via SSH from root@192.168.72.80(192.168.72.80:22) to root@192.168.72.192(192.168.72.192:22)..
  13. Sun Jun 12 22:44:42 2022 - [debug] ok.
  14. Sun Jun 12 22:44:42 2022 - [debug] Connecting via SSH from root@192.168.72.80(192.168.72.80:22) to root@192.168.72.60(192.168.72.60:22)..
  15. Sun Jun 12 22:44:43 2022 - [debug] ok.
  16. Sun Jun 12 22:44:43 2022 - [info] All SSH connection tests passed successfully.

4-7.png

7、在 manager 节点上测试 mysql 主从连接情况

在 manager 节点上测试 mysql 主从连接情况,最后出现MySQL Replication Health is OK 字样说明正常。如下所示。

  1. masterha_check_repl -conf=/etc/masterha/app1.cnf
  2. Sun Jun 12 22:47:28 2022 - [info] Slaves settings check done.
  3. Sun Jun 12 22:47:28 2022 - [info]
  4. 192.168.72.192(192.168.72.192:3306) (current master)
  5. +--192.168.72.60(192.168.72.60:3306)
  6. +--192.168.72.80(192.168.72.80:3306)
  7. Sun Jun 12 22:47:28 2022 - [info] Checking replication health on 192.168.72.60..
  8. Sun Jun 12 22:47:28 2022 - [info] ok.
  9. Sun Jun 12 22:47:28 2022 - [info] Checking replication health on 192.168.72.80..
  10. Sun Jun 12 22:47:28 2022 - [info] ok.
  11. Sun Jun 12 22:47:28 2022 - [info] Checking master_ip_failover_script status:
  12. Sun Jun 12 22:47:28 2022 - [info] /usr/local/bin/master_ip_failover --command=status --ssh_user=root --orig_master_host=192.168.72.192 --orig_master_ip=192.168.72.192 --orig_master_port=3306
  13. IN SCRIPT TEST====/sbin/ifconfig ens33:1 down==/sbin/ifconfig ens33:1 192.168.72.100===
  14. Checking the Status of the script.. OK
  15. Sun Jun 12 22:47:28 2022 - [info] OK.
  16. Sun Jun 12 22:47:28 2022 - [warning] shutdown_script is not defined.
  17. Sun Jun 12 22:47:28 2022 - [info] Got exit code 0 (Not master dead).
  18. MySQL Replication Health is OK. #出现该字样说明主从连接正常

4-8.png

4-9.png

8、在 manager 节点上启动 MHA

  1. nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
  2. ------------------------------以下都是注释-----------------------------------------------------------
  3. --remove_dead_master_conf #该参数代表当发生主从切换后,老的主库的 ip 将会从配置文件中移除。
  4. --manger_log #日志存放位置。
  5. --ignore_last_failover #在缺省情况下,如果 MHA 检测到连续发生宕机,且两次宕机间隔不足 8 小时的话,则不会进行 Failover, 之所以这样限制是为了避免 ping-pong 效应(来回切换导致脑裂)。该参数代表忽略上次 MHA 触发切换产生的文件,默认情况下,MHA 发生切换后会在 app1.failover.complete 日志文件中记录,下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换, 除非在第一次切换后删除该文件,为了方便,这里设置为--ignore_last_failover。
  6. -------------------------------------------------------------------------------------
  7. ●使用&后台运行程序:结果会输出到终端;使用Ctrl+C发送SIGINT信号,程序免疫;关闭session发送SIGHUP信号,程序关闭。
  8. ●使用nohup运行程序:结果默认会输出到nohup.out;使用Ctrl+C发送SIGINT信号,程序关闭;关闭session发送SIGHUP信号,程序免疫。
  9. ●使用nohup和&配合来启动程序 nohup ./test &:同时免疫SIGINTSIGHUP信号。
  10. -------------------------------------------------------------------------------------

4-10.png

9、在 manager 节点上查看 MHA 状态 和 MHA 日志,可以看到 master的地址

  1. #查看 MHA 状态,可以看到当前的 master 是 Mysql1 节点。
  2. masterha_check_status --conf=/etc/masterha/app1.cnf
  3. #查看 MHA 日志,也可以看到当前的 master 是 192.168.72.192
  4. cat /var/log/masterha/app1/manager.log | grep "current master"

4-11.png

10、在Mysql1上查看 VIP 地址 192.168.72.100 是否存在

查看 Mysql1 的 VIP 地址 192.168.72.100 是否存在,这个 VIP 地址不会因为 manager 节点停止 MHA 服务而消失。

  1. ifconfig
  2. #若要关闭 manager 服务,可以使用如下命令。
  3. masterha_stop --conf=/etc/masterha/app1.cnf
  4. #或者可以直接采用 kill 进程 ID 的方式关闭。

4-12.png

3.3 故障模拟

在Mysql1上停止mysql服务,MHA 会自动修改 app1.cnf 文件内容,将宕机的 mysql1 节点删除。 mysql2 会自动接管 VIP,成为新的master。

  1. ##(1)在 Master 节点 Mysql1 上停止mysql服务
  2. systemctl stop mysqld
  3. pkill -9 mysql
  4. ##(2)在 manager 节点上监控观察日志记录
  5. tail -f /var/log/masterha/app1/manager.log
  6. Master 192.168.72.192(192.168.72.192:3306) is down! #监控到master宕机
  7. Selected 192.168.72.60(192.168.72.60:3306) as a new master. #选举mysql2成功新的master
  8. ##(3)正常自动切换一次后,MHA 进程会退出。MHA 会自动修改 app1.cnf 文件内容,将宕机的 mysql1 节点删除。
  9. vim /etc/masterha/app1.cnf #查看manager节点的配置文件
  10. ##(4)查看 mysql2 是否接管 VIP
  11. ifconfig
  12. ------------------------故障切换备选主库的算法------------------------
  13. 故障切换备选主库的算法:
  14. 1.一般判断从库的是从(position/GTID)判断优劣,数据有差异,最接近于masterslave,成为备选主。
  15. 2.数据一致的情况下,按照配置文件顺序,选择备选主库。
  16. 3.设定有权重(candidate_master=1),按照权重强制指定备选主。
  17. 1)默认情况下如果一个slave落后master 100Mrelay logs的话,即使有权重,也会失效。
  18. 2)如果 check_repl_delay=0 的话,即使落后很多日志,也强制选择其为备选主。

(1)在 Master 节点 Mysql1 上停止mysql服务:

5-1.png

(2)在 manager 节点上监控观察日志记录,manager选举了mysql2作为新的主服务器:

5-2.png

5-3.png

(3)查看manager节点的配置文件。MHA 会自动修改 app1.cnf 文件内容,将宕机的 mysql1 节点删除。

5-4.png

(4) mysql2 已接管 VIP

5-5.png

3.4 故障修复

1)修复mysql1(即修复原来的主节点)

  1. systemctl restart mysqld

6-1.png

2)修复主从数据

  1. #在新的主库服务器 Mysql2 中查看二进制日志文件和同步点
  2. show master status;
  3. +-------------------+----------+--------------+------------------+
  4. | File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
  5. +-------------------+----------+--------------+------------------+
  6. | master-bin.000002 | 1745 | | |
  7. +-------------------+----------+--------------+------------------+
  8. #在原主库服务器 mysql1 执行同步操作,同步现在主库中的数据
  9. change master to master_host=192.168.72.60,master_user=myslave,master_password=123123,master_log_file=master-bin.000002,master_log_pos=1745;
  10. start slave;

在新的主库服务器 Mysql2 查看二进制日志文件和同步点:

6-2.png

在原主库服务器 mysql1 执行同步操作,同步现在主库中的数据:

6-3.png

3)在 manager 节点上修改配置文件app1.cnf

重新把三台mysql节点服务器这个记录添加进去,因为它检测到主节点失效时候会自动删除主节点。

将mysql1添加为新的候选master。

  1. vi /etc/masterha/app1.cnf
  2. ......
  3. secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.72.192 -s 192.168.72.80
  4. ......
  5. [server1]
  6. hostname=192.168.72.60
  7. port=3306
  8. [server2]
  9. candidate_master=1
  10. check_repl_delay=0
  11. hostname=192.168.72.192
  12. port=3306
  13. [server3]
  14. hostname=192.168.72.80
  15. port=3306

6-4.png

4)在 manager 节点上启动 MHA

  1. nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

6-5.png

小贴士

解决中英字符不兼容报错的问题,可执行如下语句:

  1. dos2unix /usr/local/bin/master_ip_failover

文章标签:

原文连接:https://juejin.cn/post/7108390910676697118

相关推荐

管正雄:基于预训练模型、智能运维的QA生成算法落地

这个好用的办公网优化工具,官宣免费了

不割韭菜,纯分享:剖析HTML中的类,运维开发必备前端技能,我们一起坚持。

FTP服务配置

【云原生】Docker部署数据库的持久化

从运维到运维大神,只需要一个正确的选择

远程控制软件也要有plan B备选方案

CentOS7 离线安装 Zabbix5.0

centos7基础操作

Docker 简介

Google 为造芯再掀“抢人大战”,英特尔 17 年老将加入

编程技巧│超实用 nginx 中常见的配置合集

云原生(三十六) | Kubernetes篇之Harbor入门和安装

Docker从入门到精通|2022版

开发者,Docker镜像,容器和仓库到底是什么?

【云原生Kubernetes系列第五篇】kubeadm v1.20 部署K8S 集群架构(人生这道选择题,总会有遗憾)

Linux——进程的概念(万字总结)

开发者,熊二都会的Linux入门

vue入门,从启动项目开始,做完得物App的用户登录(前端!)

运维-技能大杂烩