CN112667440A - 一种高可用MySQL的异地灾备方法 - Google Patents

Abstract

本发明提供了一种高可用MySQL的异地灾备方法，包括中心控制区、数据中心A和数据中心B，数据中心A中部署了一套HA的MySQL实例，数据中心B中部署一套单节点的MySQL实例，中心控制区部署了高可用的同步服务Server和同步服务client，同步服务Server和数据中心A、同步服务client和数据中心B都是通过专网连接的，同步服务Server模拟MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议，MySQL master收到dump请求，开始推送binary log给slave，同步服务Client则从Server处获取需要同步的数据，并且发送给数据中心B进行备份。本发明所述的高可用MySQL的异地灾备方法，能做到低时延，甚至没有时延的实时同步。

Description

一种高可用MySQL的异地灾备方法

技术领域

本发明属于数据处理技术领域，尤其是涉及一种高可用MySQL的异地灾备方法。

背景技术

随着业务的发展，用户对业务系统的高可用要求越来越高，已经不满足于只能做到跨可用区的容灾，用户希望即使某个地域的系统都不可用了，还可用通过其它地域的系统继续提供服务，这就是跨地域容灾。目前常见的异地灾备方法分为本地主备和异地灾备两种，大多数是本地主备，本地主备的形式为：一主一备或者一主多备，传统的本地主备(如双机热备)并不能有效应对数据或者软件逻辑故障所造成的意外宕机情况，如人为误操作、网络病毒攻击等，异地灾备是将主库和备库放置在不同地方，并通过跨IDC同步，这种方法的缺点是延迟高，做不到实时的备份。

发明内容

有鉴于此，本发明旨在提出一种高可用MySQL的异地灾备方法，以有效的实现异地数据备份，同时实现服务的迅速恢复。

为达到上述目的，本发明的技术方案是这样实现的：

一种高可用MySQL的异地灾备方法，包括数据中心和中心控制区，数据中心分为物理隔离的数据中心A和数据中心B，数据中心A中部署了一套HA的MySQL实例，为一主N从的架构，且N≥1，数据中心B中部署一套单节点的MySQL实例，用于异地备份数据中心A中的MySQL实例的数据，中心控制区部署了高可用的同步服务Server和同步服务client，同步服务Server和数据中心A、同步服务client和数据中心B都是通过专网连接的，同步服务Server模拟MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议，MySQL master收到dump请求，开始推送binary log给slave，同步服务Client则从Server处获取需要同步的数据，并且发送给数据中心B进行备份。

进一步的，所述中心控制区是一个逻辑区域，部署在一个数据中心。

进一步的，所述中心控制区是一个逻辑区域，是多个数据中心中部门主机或虚机。

进一步的，所述服务server采用集群部署的方式，一般是大于3的奇数个服务server组成服务server集群。

进一步的，所述中心控制区同步服务Server和同步服务client的工作流程为：

①Server在启动的时候首先会向Zookeeper进行一次尝试启动判断；

②哪个Sever创建临时节点成功，Zookeeper会通知Server启动成功，并设置该Server状态为Running。Sever就会启动对数据中心A中MySQL数据库的监听，获取binlog；

③其他的Server没有创建成功临时节点，设置该Server状态为Standby，并且监听创建成功的临时节点，以便Running状态的Server宕机后，及时补位，这就是Sever的主备切换；

④Client在启动的时候，首先会从Zookeeper上获取当前处于Running状态的Server，同时，Client会将自己的信息注册到Zookeeper的临时节点中。并且Client需要注册上述临时节点的监听，这样当Sever主备切换的时候，Client可以获取通知，以此来做相应的修改，连接新的Server；

⑤Client连接对应的Running状态的Server，消费Sever获取到的binlog，然后通知异地的备份库进行binlog追齐。

进一步的，所述步骤①中，Server在启动的时候首先会向Zookeeper进行一次尝试启动判断的具体做法是：Server向Zookeeper创建一个相同的临时节点，哪个Server创建成功了，则让哪个Server启动，这里Zookeeper自己的机制可以保障有且只有一个Sever创建临时节点成功。

进一步的，所述MySQL master收到dump请求，开始推送binary log给slave的具体方法为：

S1、MySQL master将数据变更写入二进制日志；

S2、MySQL slave将master的binary log events拷贝到它的中继日志；

S3、MySQL slave重放relay log中事件，将数据变更反映它自己的数据。

相对于现有技术，本发明所述的高可用MySQL的异地灾备方法具有以下优势：

(1)本发明所述的高可用MySQL的异地灾备方法，能做到低时延，甚至没有时延的实时同步。

(2)本发明所述的高可用MySQL的异地灾备方法，保证业务不中断的高可用，异地灾备，可以实现灾难恢复

(3)本发明所述的高可用MySQL的异地灾备方法，支持多种MySQL的HA架构，一主一从或一主多从等。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的高可用MySQL的异地灾备方法的流程图；

图2为本发明实施例所述的MySQL主从同步流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

名词解释：

高可用性(High Availability，简称HA)：指的是通过技术手段，尽量缩短因日常维护操作(计划)和突发的系统崩溃(非计划)所导致的停机时间，以提高系统和应用的可用性。业界的通行做法是采用群集系统(Cluster)，将各个主机系统、网络系统、存储设备(部分高可用系统包含存储设备的高可用)等通过各种手段有机地组成一个群体，共同对外提供服务。通过创建群集系统(采用实现高可用性的软件)将冗余的高可用性的硬件组件和软件组件组合起来，以达到消除单点故障、减少设备意外发生时的宕机时间。一般说，高可用技术通过对网卡、CPU、内存、系统软件设置不同的可用性监测点，在这些节点发生故障时实现冗余切换，持续提供服务。

灾难恢复(DR)(国内通常简称为灾备或容灾)属于业务连续性的技术层面。在信息服务中断后，调动资源，在异地重建信息技术服务平台(包括基础架构、通信、系统、应用及数据)，灾难恢复也包括本地的恢复与重建。目前，流行的灾备系统往往包括本地的HA集群和异地的DR数据中心。从故障角度，HA主要处理单组件的故障导致负载在集群内的服务器之间的切换，DR则是应对大规模的故障导致负载在数据中心之间做切换。

MySQL是最流行的关系型数据库管理系统，在WEB应用方面MySQL是最好的。

RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。

一种高可用MySQL的异地灾备方法，如图1所示，包括数据中心和中心控制区，

数据中心分为物理隔离的数据中心A和数据中心B，

数据中心A中部署了一套HA的MySQL实例，为一主N从的架构，且N≥1，数据中心B中部署一套单节点的MySQL实例，用于异地备份数据中心A中的MySQL实例的数据，中心控制区部署了高可用的同步服务Server和同步服务client，同步服务Server和数据中心A、同步服务client和数据中心B都是通过专网连接的，同步服务Server模拟MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议，MySQL master收到dump请求，开始推送binary log给slave(即同步服务Server)，同步服务Client则从Server处获取需要同步的数据，并且发送给数据中心B(即异地灾备的实例)进行备份。

中心控制区是一个逻辑区域，根据业务或架构，可能是部署在一个数据中心，也可能是多个数据中心中部门主机或虚机。但是无论哪种架构，中心控制区和数据中心A、数据中心B都是通过专网连接的，专网是低延时网络。

数据中心A中部署了一套HA的MySQL实例，为一主一从的架构，本方法可以支持多种架构的HA-MySQL实例，实现原理是一样的，可以是一主一从或也可以是一主多从，这里以一主一从为例。

MySQL slave：主流关系型数据库都提供了主从热备功能，通过配置两台(或多台)数据库的主从关系，可以将一台数据库服务器的数据更新同步到另一台服务器上。以此来实现读写分离或本地灾备。MySQL数据库也支持主从结构，本方案以一主一从的MySQL的主从结构，主节点称为MySQLMaster，从节点称为MySQL slave。注意：最近，MySQL团队将Master改成source，slave改成replic，所以为了避免歧义，专利中MySQL slave可以改为MySQL从节点；MySQL master可以改为MySQL主节点。

为了减少对mysql dump的请求，不同同步服务server同一时间只能有一个处于running，其他的处于standby状态。

为了保证有序性，同一时间只能由一个同步服务client进行get/ack/rollback操作，否则客户端接收无法保证有序。这里改成“同一时间只能由一个同步服务client工作，否则无法保证同步数据的有序性。”这里get、ack、Rollback都是服务client的主要功能和工作内容。

mysql dump用于数据的备份、恢复和同步。因为用mysqlbaimp备份或导出成sql语句，速度较慢，占用资源较多，所以为了不影响MySQL主节点的性能，要尽量减少mysql dump的频率，这里只留一个running状态的服务server，MySQL主节点只需要一次mysql dump。

服务server的状态：包括

Running：运行中，执行数据同步的逻辑。

Standby：准备中，随时准备，如果running中的服务server出现异常，standby状态的服务server可以直接转换为running状态，这样可以保证整改服务server集群尽可能处于工作状态。

Termination：终止，服务server处于不可用状态。

为了保证服务server的高可用，服务server采用集群部署的方式，一般是大于3的奇数个服务server组成服务server集群。

中心控制区同步服务Server和同步服务client的工作流程为：

①尝试启动。Server在启动的时候首先会向Zookeeper进行一次尝试启动判断。具体做法是向Zookeeper创建一个相同的临时节点，哪个Server创建成功了，则让哪个Server启动，这里Zookeeper自己的机制可以保障有且只有一个Sever创建临时节点成功。

②启动成功。哪个Sever创建临时节点成功，Zookeeper会通知Server启动成功，并设置该Server状态为Running。Sever就会启动对数据中心A中MySQL数据库的监听，获取binlog。

③启动失败。其他的Server没有创建成功临时节点。设置该Server状态为Standby，并且监听创建成功的临时节点，以便Running状态的Server宕机后，及时补位，这就是Sever的主备切换。

④从Zookeeper中读取当前处于Running状态的Server，Client在启动的时候，首先会从Zookeeper上获取当前处于Running状态的Server，同时，Client会将自己的信息注册到Zookeeper的临时节点中。并且Client需要注册上述临时节点的监听，这样当Sever主备切换的时候，Client可以获取通知，以此来做相应的修改，连接新的Server。

⑤连接对应的Running状态的Server，消费Sever获取到的binlog，然后通知异地的备份库进行binlog追齐。

上文所说的Server主备切换：在Sever运行过程中难免会发生一些异常情况导致其无法正常工作，这个时候就需要进行主备切换了。基于Zookeeper临时节点的特性，当原本处于Running状态的Sever因为挂掉或网络等原因端口了与Zookeeper的连接，那么创建的临时节点就会消失。由于之前处于Standby状态的所有Server已经对该节点进行了监听，因此它们在接收到Zookeeper发送过来的节点删除或消失的通知后，会重复步骤①，以此实现主备切换。

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。这里zookeeper是为了保证服务server集群中同时有且只有一个服务server处于running状态；并且保证如果running状态的服务server异常或者宕机之后，处于standby状态的服务server可以通过zookeeper选出新的服务server，让这个服务server转换为running状态，为服务client提供服务。

如图2MySQL主从同步流程图所示，所述MySQL master收到dump请求，开始推送binary log给slave(即同步服务Server)的具体方法为：

S1、MySQL master将数据变更写入二进制日志(binary log,其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看)；Binarylog，也称为Binlog，二进制日志：MySQL的二进制日志binlog可以说是MySQL最重要的日志，它记录了所有的DDL和DML语句(除了数据查询语句select、show等)，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。binlog的主要目的是复制和恢复。

Binlog日志的两个最重要的使用场景：

MySQL主从复制：MySQL Replication在Master端开启binlog，Master把它的二进制日志传递给slaves来达到master-slave数据一致的目的；

数据恢复：通过使用mysqlbinlog工具来使恢复数据。这里将数据中心A中的MySQL主节点的binlog拿到，通过本专利方法传给数据中心B的MySQL实例，数据中心B的MySQL实例就可以根据binlog恢复数据。

S2、MySQL slave将master的binary log events拷贝到它的中继日志(relaylog)；

S3、MySQL slave重放relay log中事件，将数据变更反映它自己的数据。

MySQL从节点中运行着多个线程(Thread)，这多个线程共同完成MySQL从节点的工作。其中I/O Thread(读写线程)作用是实现数据库中数据的读写、从主节点读取binarylog(二进制日志)；SQL Thread线程，作用是执行binarylog中的SQL语句，完成数据的持久化；

Relay log：中继日志是连接master和slave的核心；

I/O Thread从MySQL主节点获取binlog之后，首先缓存到relay log中，SQLThread从relay log中获取SQL并执行持久化，relay log启到了缓存的作用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种高可用MySQL的异地灾备方法，其特征在于：包括数据中心和中心控制区，数据中心分为物理隔离的数据中心A和数据中心B，数据中心A中部署了一套HA的MySQL实例，为一主N从的架构，且N≥1，数据中心B中部署一套单节点的MySQL实例，用于异地备份数据中心A中的MySQL实例的数据，中心控制区部署了高可用的同步服务Server和同步服务client，同步服务Server和数据中心A、同步服务client和数据中心B都是通过专网连接的，同步服务Server模拟MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议，MySQL master收到dump请求，开始推送binary log给slave，同步服务Client则从Server处获取需要同步的数据，并且发送给数据中心B进行备份。

2.根据权利要求1所述的一种高可用MySQL的异地灾备方法，其特征在于：中心控制区是一个逻辑区域，部署在一个数据中心。

3.根据权利要求1所述的一种高可用MySQL的异地灾备方法，其特征在于：中心控制区是一个逻辑区域，是多个数据中心中部门主机或虚机。

4.根据权利要求1所述的一种高可用MySQL的异地灾备方法，其特征在于：服务server采用集群部署的方式，一般是大于3的奇数个服务server组成服务server集群。

5.根据权利要求1所述的一种高可用MySQL的异地灾备方法，其特征在于：中心控制区同步服务Server和同步服务client的工作流程为：

①Server在启动的时候首先会向Zookeeper进行一次尝试启动判断；

②哪个Sever创建临时节点成功，Zookeeper会通知Server启动成功，并设置该Server状态为Running。Sever就会启动对数据中心A中MySQL数据库的监听，获取binlog；

③其他的Server没有创建成功临时节点，设置该Server状态为Standby，并且监听创建成功的临时节点，以便Running状态的Server宕机后，及时补位，这就是Sever的主备切换；

④Client在启动的时候，首先会从Zookeeper上获取当前处于Running状态的Server，同时，Client会将自己的信息注册到Zookeeper的临时节点中。并且Client需要注册上述临时节点的监听，这样当Sever主备切换的时候，Client可以获取通知，以此来做相应的修改，连接新的Server；

⑤Client连接对应的Running状态的Server，消费Sever获取到的binlog，然后通知异地的备份库进行binlog追齐。

6.根据权利要求5所述的一种高可用MySQL的异地灾备方法，其特征在于：所述步骤①中，Server在启动的时候首先会向Zookeeper进行一次尝试启动判断的具体做法是：Server向Zookeeper创建一个相同的临时节点，哪个Server创建成功了，则让哪个Server启动，这里Zookeeper自己的机制可以保障有且只有一个Sever创建临时节点成功。

7.根据权利要求1所述的一种高可用MySQL的异地灾备方法，其特征在于：所述MySQLmaster收到dump请求，开始推送binary log给slave的具体方法为：

S1、MySQL master将数据变更写入二进制日志；

S2、MySQL slave将master的binary log events拷贝到它的中继日志；

S3、MySQL slave重放relay log中事件，将数据变更反映它自己的数据。

Images