CN104317803B - 数据库集群的数据存取系统和方法 - Google Patents
数据库集群的数据存取系统和方法 Download PDFInfo
- Publication number
- CN104317803B CN104317803B CN201410489395.6A CN201410489395A CN104317803B CN 104317803 B CN104317803 B CN 104317803B CN 201410489395 A CN201410489395 A CN 201410489395A CN 104317803 B CN104317803 B CN 104317803B
- Authority
- CN
- China
- Prior art keywords
- server
- database
- group
- master
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种数据库集群的数据存取系统，包括：每一组服务器都具有主服务器和备份服务器的数据库服务器集群、数据库客户端、数据库监控模块、分布式配置管理服务模块和分布式配置管理客户端。本发明采用的另一个技术方案为：一种数据库集群的数据存取方法。本发明的有益效果在于：通过采用设置主服务器和备份服务器这，使得本申请的数据库集群的数据存取具有容灾性、维护性、可扩展性和可靠性好的优点，保证了数据存取服务的可靠性和发生灾难性事故时的恢复能力。
Description
技术领域
本发明涉及数据存取技术领域，尤其涉及数据库集群的数据存取系统和方法。
背景技术
目前在数据库集群的数据存取技术领域使用较为广泛的技术和软件产品有很多，它们各有特点，但无一不在实际应用过程暴露了所存在的不同缺陷，例如很难同时满足高并发、高速、高可靠性以及易扩展、易维护的要求。
发明内容
本发明所要解决的技术问题是，针对背景技术的问题提供一种数据库集群的数据存取系统和方法，充分满足使用者对高并发、高速、高可靠性以及易扩展、易维护的缓存使用需求。
为了解决上述技术问题，本发明采用的技术方案为：一种数据库集群的数据存取系统，包括：
数据库服务器集群，用于进行数据存取；其中，所述数据库服务器集群中的每组服务器都设有一个主服务器和一个备份服务器，所述主服务器用于处理数据存取请求，所述备份服务器用于使用数据库的复制功能与主服务器进行数据同步；
数据库客户端，用于与数据库服务器集群连接以进行实际的业务层数据存取；
数据库监控模块，用于监控所述主服务器，以及当主服务器异常时将主服务器切换至备份服务器或切换到另一组服务器的主服务器以保持正常的数据存取；
分布式配置管理服务模块，用于当所述数据库监控模块对数据库服务器集群进行切换后发送通知；
分布式配置管理客户端，用于接收所述分布式配置管理服务模块发送的通知，并根据所述通知使所述数据库客户端连接到切换后的服务器。
本发明采用的另一个技术方案为：一种数据库集群的数据存取方法，其包括步骤：
提供数据库服务器集群进行数据存取，所述数据库服务器集群中的每组服务器都设有一个主服务器和一个备份服务器，所述主服务器用于处理数据存取请求，所述备份服务器用于使用数据库的复制功能与主服务器进行数据同步；
提供数据库客户端与数据库服务器集群连接以进行实际的业务层数据存取；
提供数据库监控模块对所述主服务器的集群进行监控，若主服务器异常，将主服务器切换至备份服务器或切换到另一组服务器的主服务器以保持正常的数据存取；
提供分布式配置管理服务模块在所述数据库监控模块对数据库服务器集群进行切换后发送通知；
提供分布式配置管理客户端接收所述分布式配置管理服务模块发送的通知，并根据所述通知使所述数据库客户端连接到切换后的服务器。
本发明的有益效果在于：通过采用设置主服务器和备份服务器这一主从模式，使得本申请的数据库集群的数据存取具有容灾性、维护性、可扩展性和可靠性好的优点，保证了数据存取服务的可靠性和发生灾难性事故时的恢复能力；具体地，当数据库服务器集群发生单点故障的时候，可通过迅速切换服务器来保持数据存取不中断，对线上业务影响很小，且切换过程可通过数据库监控模块来完成，无需人工操作；集群扩展时也只需前期的少量人工操作来添置物理服务器，后期实际拓展中同样可通过数据库监控模块来完成，无需人工干预，实现平滑扩展集群规模。
附图说明
图1为本发明实施例的数据库集群的数据存取系统的系统框图。
图2为本发明实施例的数据库集群的数据存取方法的主要流程图。
标号说明：10、数据库服务器集群；11，11’、主服务器；12、备份服务器；20、数据库客户端；30、数据库监控模块；40、分布式配置管理服务模块；50、分布式配置管理客户端。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
本发明最关键的构思在于：在数据库服务器集群中的每组服务器都设置主服务器和备份服务器来保证主服务器异常时还有备份服务器能够使用，且服务器的切换采用数据库监控模块来自动完成，满足缓存组的数据存取对高并发、高速、高可靠性以及易扩展、易维护的要求。
请参阅图1，一种数据库集群的数据存取系统，包括数据库服务器集群10、数据库客户端20、数据库监控模块30、分布式配置管理服务模块40和分布式配置管理客户端50。
所述数据库服务器集群10用于进行数据存取。其中，数据库服务器集群10中的每组服务器都设有一个主服务器11和一个备份服务器12，所述主服务器11用于处理数据存取请求，所述备份服务器12用于使用数据库的复制功能与主服务器进行数据同步。
所述数据库客户端20用于与数据库服务器集群10连接以进行实际的业务层数据存取。
所述数据库监控模块30用于监控所述主服务器11，以及当主服务器11异常时将主服务器11切换至备份服务器12或切换到另一组服务器的主服务器以保持正常的数据存取。
所述分布式配置管理服务模块40用于当数据库监控模块30对数据库服务器集群10进行切换后发送通知。
所述分布式配置管理客户端50用于接收分布式配置管理服务模块40发送的通知，并根据所述通知使数据库客户端20连接到切换后的服务器。
从上述描述可知，本发明的有益效果在于：通过采用设置主服务器和备份服务器这一主从模式，使得本申请的数据库集群的数据存取具有容灾性、维护性、可扩展性和可靠性好的优点，保证了数据存取服务的可靠性和发生灾难性事故时的恢复能力；具体地，当数据库服务器集群发生单点故障的时候，可通过切换服务器来保持数据存取不中断，对线上业务影响很小，且切换过程可通过数据库监控模块来完成，无需人工操作；集群扩展时也只需前期的少量人工操作来添置物理服务器，后期实际拓展中同样可通过数据库监控模块来完成，无需人工干预，实现平滑扩展集群规模。
进一步地，所述主服务器异常包括主服务器连接失败或主服务器的容量达到预设临界值。
通过上述描述可知，连接失败时可切换至备份服务器；容量达到预设临界值可切换到另一组服务器的主服务器，保证数据存取的可靠性。
进一步地，所述数据库监控模块还用于当检测到主服务器异常时，对同组的备份服务器进行检测。
通过上述描述可知，这样可确保备份服务器能够正常工作。
进一步地，所述通知的具体内容包括：备份服务器的URL或另一组服务器的主服务器的URL。
通过上述描述可知，通过URL使数据库客户端快速连接到切换后的服务器。
请参阅图2，一种数据库集群的数据存取方法，包括步骤：
S10、提供数据库服务器集群进行数据存取，所述数据库服务器集群中的每组服务器都设有一个主服务器和一个备份服务器，所述主服务器用于处理数据存取请求，所述备份服务器用于使用数据库的复制功能与主服务器进行数据同步；
S20、提供数据库客户端与数据库服务器集群连接以进行实际的业务层数据存取；
S30、提供数据库监控模块对所述主服务器的集群进行监控，若主服务器异常，将主服务器切换至备份服务器或切换到另一组服务器的主服务器以保持正常的数据存取；
S40、提供分布式配置管理服务模块在所述数据库监控模块对数据库服务器集群进行切换后发送通知；
S50、提供分布式配置管理客户端接收所述分布式配置管理服务模块发送的通知，并根据所述通知使所述数据库客户端连接到切换后的服务器。
进一步地，在上述步骤S30中，当所述主服务器异常为主服务器连接失败时，则切换至备份服务器；或者，当所述主服务器异常为主服务器的容量达到预设临界值，则切换到另一组服务器的主服务器。
进一步地，在上述步骤S30中，当所述数据库监控模块检测到主服务器异常后，还对同组的备份服务器进行检测，若备份服务器正常，则切换至备份服务器；若备份服务器也异常，则不作切换。
进一步地，在上述步骤S40中，所述通知的具体内容包括：备份服务器的URL或另一组服务器的主服务器的URL。
请参阅图1并结合图2的流程，本发明的实施例1为：一种数据库集群的数据存取系统，包括数据库服务器集群10、数据库客户端20、数据库监控模块30、分布式配置管理服务模块40和分布式配置管理客户端50。
所述数据库服务器集群10用于进行数据存取。其中，数据库服务器集群10中的每组服务器都设有一个主服务器11和一个备份服务器12，所述主服务器11用于处理数据存取请求，所述备份服务器12用于使用数据库的复制功能与主服务器进行数据同步。
所述数据库客户端20用于与数据库服务器集群10连接以进行实际的业务层数据存取。
所述数据库监控模块30用于监控所述主服务器11的集群，监控的方式为通过定期向数据库服务器集群10的主服务器11发送测试包来实现连通状态检测，当检测到某一主服务器11连接失败时(即发送测试包失败)，数据库监控模块30对备份服务器12进行检测，若检测正常则将主服务器11切换至备份服务器12，若同样检测到连接失败，则不进行切换；或者，当期检测到主服务器11的容量达到预设临界值时，将主服务器11切换到另一组服务器的主服务器11’。
所述分布式配置管理服务模块40用于当数据库监控模块30对数据库服务器集群10进行切换后发送备份服务器12的URL或另一组服务器的主服务器的URL。
所述分布式配置管理客户端50用于接收分布式配置管理服务模块40发送的URL，并根据所述URL使数据库客户端20连接到切换后的服务器。
本发明的实施例2为：一种数据库集群扩展方式，包括2n组分别部署在2m台物理服务器上的数据库服务器，其中m台物理服务器作为主集群，m台作为备份集群，每个主集群和备份集群都包含n组数据库服务器实例。当某数据库服务器组A的主服务器容量到达一定临界值时(例如最大容量的70％；由于备份服务器上的数据来自对主服务器的备份，因此备份服务器容量必然也达到临界值)，则另外部署一组新的数据库服务器组B(包含主备两组，并且容量大于A)，然后将A的数据同步至B的主服务器，监控服务判断同步进度是否完成，完成之后禁止写入A，同时允许写入B的主服务器，再通过将分布式配置管理服务模块中A所在的数据库分组的URL为B的URL并通过分布式配置管理客户端通知到所有订阅了该节点的数据库客户端，使数据库客户端断开与A的连接并与B建立连接，这样就实现了集群能力的扩展。
综上所述，本发明提供的数据库集群的数据存取系统和方法具有容灾性、维护性、可扩展性和可靠性好的优点，能够保证数据存取服务的可靠性和发生灾难性事故时的恢复能力。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种数据库集群的数据存取系统，其特征在于，包括：
数据库服务器集群，用于进行数据存取；其中，所述数据库服务器集群中的每组服务器都设有一个主服务器和一个备份服务器，所述主服务器用于处理数据存取请求，所述备份服务器用于使用数据库的复制功能与主服务器进行数据同步；
数据库客户端，用于与数据库服务器集群连接以进行实际的业务层数据存取；
数据库监控模块，用于监控所述主服务器，以及当主服务器异常时将主服务器切换至备份服务器或切换到另一组服务器的主服务器以保持正常的数据存取；
分布式配置管理服务模块，用于当所述数据库监控模块对数据库服务器集群进行切换后发送通知；
分布式配置管理客户端，用于接收所述分布式配置管理服务模块发送的通知，并根据所述通知使所述数据库客户端连接到切换后的服务器；
所述主服务器异常包括主服务器连接失败或主服务器的容量达到预设临界值；
当某数据库服务器组A的主服务器容量到达一定临界值时，则另外部署一组新的数据库服务器组B，然后将数据库服务器组A的数据同步至新的数据库服务器组B的主服务器，监控服务判断同步进度是否完成，完成之后禁止写入数据库服务器组A，同时允许写入数据库服务器组B，再通过将分布式配置管理服务模块中数据库服务器组A所在的数据库分组的URL转为数据库服务器组B的URL并通过分布式配置管理客户端通知所有订阅了数据库服务器组A的节点的数据库客户端，使数据库客户端断开与数据库服务器组A的连接，并与新的数据库服务器组B建立连接；其中，新的数据库服务器组B包含主备两组，并且容量大于数据库服务器组A。
2.根据权利要求1所述的数据库集群的数据存取系统，其特征在于，所述数据库监控模块还用于当检测到主服务器异常时，对同组的备份服务器进行检测。
3.根据权利要求1所述的数据库集群的数据存取系统，其特征在于，所述通知的具体内容包括：备份服务器的URL或另一组服务器的主服务器的URL。
4.一种数据库集群的数据存取方法，其特征在于，包括步骤：
提供数据库服务器集群进行数据存取，所述数据库服务器集群中的每组服务器都设有一个主服务器和一个备份服务器，所述主服务器用于处理数据存取请求，所述备份服务器用于使用数据库的复制功能与主服务器进行数据同步；
提供数据库客户端与数据库服务器集群连接以进行实际的业务层数据存取；
提供数据库监控模块对所述主服务器的集群进行监控，若主服务器异常，将主服务器切换至备份服务器或切换到另一组服务器的主服务器以保持正常的数据存取；
提供分布式配置管理服务模块在所述数据库监控模块对数据库服务器集群进行切换后发送通知；
提供分布式配置管理客户端接收所述分布式配置管理服务模块发送的通知，并根据所述通知使所述数据库客户端连接到切换后的服务器；
所述主服务器异常为主服务器连接失败时，则切换至备份服务器；或者，所述主服务器异常为主服务器的容量达到预设临界值，则切换到另一组服务器的主服务器；
当某数据库服务器组A的主服务器容量到达一定临界值时，则另外部署一组新的数据库服务器组B，然后将数据库服务器组A的数据同步至新的数据库服务器组B的主服务器，监控服务判断同步进度是否完成，完成之后禁止写入数据库服务器组A，同时允许写入数据库服务器组B，再通过将分布式配置管理服务模块中数据库服务器组A所在的数据库分组的URL转为数据库服务器组B的URL并通过分布式配置管理客户端通知所有订阅了数据库服务器组A的节点的数据库客户端，使数据库客户端断开与数据库服务器组A的连接，并与新的数据库服务器组B建立连接；其中，新的数据库服务器组B包含主备两组，并且容量大于数据库服务器组A。
5.根据权利要求4所述的数据库集群的数据存取方法，其特征在于，所述步骤“提供数据库监控模块对所述主服务器进行监控，若主服务器异常，将主服务器切换至备份服务器”中，当所述数据库监控模块检测到主服务器异常后，还对同组的备份服务器进行检测，若备份服务器正常，则切换至备份服务器；若备份服务器也异常，则不作切换。
6.根据权利要求4所述的数据库集群的数据存取方法，其特征在于，所述通知的具体内容包括：备份服务器的URL或另一组服务器的主服务器的URL。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410489395.6A CN104317803B (zh) | 2014-09-23 | 2014-09-23 | 数据库集群的数据存取系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410489395.6A CN104317803B (zh) | 2014-09-23 | 2014-09-23 | 数据库集群的数据存取系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104317803A CN104317803A (zh) | 2015-01-28 |
| CN104317803B true CN104317803B (zh) | 2017-11-28 |
Family
ID=52373035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410489395.6A Active CN104317803B (zh) | 2014-09-23 | 2014-09-23 | 数据库集群的数据存取系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104317803B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354111A (zh) * | 2015-10-29 | 2016-02-24 | 国电南瑞科技股份有限公司 | 一种适用于广域分布式实时数据库的冗余备份方法 |
| CN105871806A (zh) * | 2015-12-11 | 2016-08-17 | 乐视云计算有限公司 | 流媒体文件切片的方法、装置及系统 |
| CN106021395A (zh) * | 2016-05-12 | 2016-10-12 | 成都鼎智汇科技有限公司 | 物联网环境下的药品信息存储方法 |
| CN108154045B (zh) * | 2016-12-02 | 2019-11-26 | 中科星图股份有限公司 | 一种创建可靠数据库的方法 |
| CN106790563B (zh) * | 2016-12-27 | 2019-11-15 | 浙江省公众信息产业有限公司 | 分布式存储系统和方法 |
| CN108933803B (zh) * | 2017-05-26 | 2021-11-19 | 杭州海康威视数字技术股份有限公司 | 前端设备、云存储服务器、流数据直存方法及系统 |
| CN107329853A (zh) * | 2017-06-13 | 2017-11-07 | 上海微烛信息技术有限公司 | 数据库集群的备份方法、备份系统及电子设备 |
| CN111459903A (zh) * | 2019-01-21 | 2020-07-28 | 顺丰科技有限公司 | 数据库管理系统及方法 |
| CN111404807B (zh) * | 2020-03-25 | 2023-07-28 | 论客科技（广州）有限公司 | 一种邮件服务器自动切换方法、装置及存储介质 |
| CN113672681A (zh) * | 2021-07-29 | 2021-11-19 | 珠海许继芝电网自动化有限公司 | 配电网数据实时同步方法及系统 |
| CN114625738A (zh) * | 2022-03-18 | 2022-06-14 | 四川新网银行股份有限公司 | 一种数据动态分布方法、分布系统及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667181A (zh) * | 2008-09-05 | 2010-03-10 | 华为技术有限公司 | 一种数据容灾的方法、装置及系统 |
| CN102467508A (zh) * | 2010-11-04 | 2012-05-23 | 中兴通讯股份有限公司 | 提供数据库服务的方法及数据库系统 |
| CN103475696A (zh) * | 2013-08-23 | 2013-12-25 | 汉柏科技有限公司 | 云计算集群服务器状态监控系统和方法 |
| CN103763383A (zh) * | 2014-01-27 | 2014-04-30 | 西安雷迪维护系统设备有限公司 | 一体化云存储系统及其存储方法 |
| CN103812674A (zh) * | 2012-11-07 | 2014-05-21 | 北京信威通信技术股份有限公司 | 一种服务器主备替换的方法 |
-
2014
- 2014-09-23 CN CN201410489395.6A patent/CN104317803B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667181A (zh) * | 2008-09-05 | 2010-03-10 | 华为技术有限公司 | 一种数据容灾的方法、装置及系统 |
| CN102467508A (zh) * | 2010-11-04 | 2012-05-23 | 中兴通讯股份有限公司 | 提供数据库服务的方法及数据库系统 |
| CN103812674A (zh) * | 2012-11-07 | 2014-05-21 | 北京信威通信技术股份有限公司 | 一种服务器主备替换的方法 |
| CN103475696A (zh) * | 2013-08-23 | 2013-12-25 | 汉柏科技有限公司 | 云计算集群服务器状态监控系统和方法 |
| CN103763383A (zh) * | 2014-01-27 | 2014-04-30 | 西安雷迪维护系统设备有限公司 | 一体化云存储系统及其存储方法 |
Non-Patent Citations (1)
| Title |
|---|
| 数据库服务器实时备份与故障自动切换系统的构建;肖航;《东南传播》;20090430(第4期);第151-153页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104317803A (zh) | 2015-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104317803B (zh) | 数据库集群的数据存取系统和方法 | |
| CN103346903B (zh) | 一种双机备份的方法和装置 | |
| CN104378232B (zh) | 主备集群组网模式下的脑裂发现、恢复方法及装置 | |
| CN103559108B (zh) | 一种基于虚拟化实现主备故障自动恢复的方法及系统 | |
| WO2018036148A1 (zh) | 一种服务器集群系统 | |
| CN102006189B (zh) | 用于双机冗余备份的主用接入服务器确定方法及装置 | |
| CN103873336B (zh) | 分布式弹性网络互连的业务承载方法及装置 | |
| CN109471759B (zh) | 一种基于sas双控设备的数据库故障切换方法及设备 | |
| CN106533736B (zh) | 一种网络设备重启方法和装置 | |
| CN105335256B (zh) | 在整机柜服务器中切换备份磁盘的方法、装置和系统 | |
| CN102355369A (zh) | 虚拟化集群系统及其处理方法和设备 | |
| TWI701916B (zh) | 用於在分布式系統中使管理能力自恢復的方法和裝置 | |
| CN105337780B (zh) | 一种服务器节点配置方法及物理节点 | |
| CN106970861A (zh) | 一种虚拟机容错方法和系统 | |
| CN108469996A (zh) | 一种基于自动快照的系统高可用方法 | |
| CN104317679B (zh) | 一种scada系统基于线程冗余的通信容错方法 | |
| CN105915426B (zh) | 环形网络的故障恢复方法及装置 | |
| CN104469699A (zh) | 集群仲裁方法和多集群配合系统 | |
| CN101056254B (zh) | 一种网络存储设备的扩展方法、系统及其装置 | |
| CN105068763B (zh) | 一种针对存储故障的虚拟机容错系统和方法 | |
| CN112527567A (zh) | 系统容灾方法、装置、设备以及存储介质 | |
| CN109921942A (zh) | 云平台切换控制方法、装置、系统及电子设备 | |
| CN106598700A (zh) | 基于pacemaker的虚拟机的秒级高可用实现方法 | |
| CN102111281A (zh) | 一种实现双机热备系统的热备方法 | |
| CN105577444A (zh) | 一种无线控制器管理方法及无线控制器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 361000 Fujian province Xiamen Software Park Road No. 4 103 two expected Patentee after: Xiamen Meishao Co., Ltd. Address before: 361000 Fujian province Xiamen Software Park Road No. 4 103 two expected Patentee before: Xiamen Mei You Information technology company limited |
|
| CP01 | Change in the name or title of a patent holder |