[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112055054B - 基于多种一致性协议的多边缘集群数据同步的方法及系统 - Google Patents

基于多种一致性协议的多边缘集群数据同步的方法及系统 Download PDF

Info

Publication number
CN112055054B
CN112055054B CN202010788464.9A CN202010788464A CN112055054B CN 112055054 B CN112055054 B CN 112055054B CN 202010788464 A CN202010788464 A CN 202010788464A CN 112055054 B CN112055054 B CN 112055054B
Authority
CN
China
Prior art keywords
data synchronization
edge
management
edge cluster
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010788464.9A
Other languages
English (en)
Other versions
CN112055054A (zh
Inventor
崔广章
王拓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202010788464.9A priority Critical patent/CN112055054B/zh
Publication of CN112055054A publication Critical patent/CN112055054A/zh
Application granted granted Critical
Publication of CN112055054B publication Critical patent/CN112055054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于多种一致性协议的多边缘集群数据同步的方法及系统，每个边缘集群包括至少一个管理节点和至少一个工作节点，该方法包括：边缘集群内部管理节点之间采用强一致性协议实现数据同步；边缘集群内部的管理节点与工作节点之间数据同步采用局域网弱一致性协议；不同边缘集群的管理节点之间数据同步采用广域网弱一致性协议。本发明针对同边缘集群管理节点之间、同边缘集群管理节点与工作节点之间、不同边缘集群管理节点之间三个范围分别使用不同的一致性协议，实现了边缘多边缘集群的边缘集群内及边缘集群间高效的数据同步，降低了延迟，增强了稳定性。

Description

基于多种一致性协议的多边缘集群数据同步的方法及系统
技术领域
本发明涉及边缘计算技术领域，尤其涉及一种基于多种一致性协议的多边缘集群数据同步的方法及系统。
背景技术
随着AR/VR、高清视频、自动驾驶等新业务的孕育兴起，网络正在面临实时计算能力、超低时延、超大带宽等新的挑战。促进边缘计算产业发展，构建健康的生态环境，才能使终端用户获取新业务带来的极致体验，更加丰富的应用以及更安全可靠的使用。近年来，包括移动运营商、网络设备供应商、应用开发商，内容提供商在内的产业链各方纷纷加速边缘计算推进，促使这一技术获得了快速发展。边缘计算源自技术实践和商业实践，不仅是一项新兴技术和部署方式，更重要的是实现网络的底层开放，从而推动移动通信网络、互联网和物联网的深度融合。
传统云计算数据中心的数据同步机制只适合管理单个或少量大规模集群，无法很好地对布局分散、数量巨大的小规模边缘集群进行数据同步。
发明内容
本发明实施例的目的是提供一种基于多种一致性协议的多边缘集群数据同步的方法及系统，以解决传统云计算数据中心的集群数据同步机制只适合单个或少量大规模边缘集群，无法高效地对布局分散、数量巨大的小规模边缘集群进行高效地数据同步的问题。
为了达到上述目的，本发明实施例所采用的技术方案如下：
第一方面，本发明实施例提供一种基于多种一致性协议的多边缘集群数据同步的方法，每个边缘集群包括至少一个管理节点和至少一个工作节点，该方法包括：
边缘集群内部管理节点之间采用强一致性协议实现数据同步；
边缘集群内部的管理节点与工作节点之间数据同步采用局域网弱一致性协议；
不同边缘集群的管理节点之间数据同步采用广域网弱一致性协议。
进一步地，边缘集群内部管理节点之间采用强一致性协议实现数据同步时，只有当边缘集群中半数以上的管理节点数据达到一致，本次数据同步才算成功，否则即为失败。
进一步地，所述管理节点的数量为奇数个。
进一步地，通过局域网弱一致性协议以传染式的数据同步方法来实现同边缘集群管理节点与工作节点之间的数据同步。
进一步地，通过广域网弱一致性协议以传染式的方法来实现不同边缘集群间管理节点的数据同步，广域网弱一致性协议不阻塞、容忍延迟，允许不同边缘集群间的请求转发。
第二方面，本发明实施例还提供一种基于多种一致性协议的多边缘集群数据同步的系统，该系统包括：多个边缘集群，每个边缘集群包括至少一个管理节点和至少一个工作节点，边缘集群内部管理节点之间采用强一致性协议实现数据同步；边缘集群内部的管理节点与工作节点之间数据同步采用局域网弱一致性协议；不同边缘集群的管理节点之间数据同步采用广域网弱一致性协议。
根据以上技术方案，本发明的有益效果是：本发明将边缘集群内部管理节点之间采用强一致性协议实现数据同步；边缘集群内部的管理节点与工作节点之间数据同步采用局域网弱一致性协议；不同边缘集群的管理节点之间数据同步采用广域网弱一致性协议，能够对分散的、数量众多的边缘集群进行高效的数据同步，在确保边缘集群内部管理节点能够稳定运行的同时，边缘集群内、边缘集群间数据同步不会出现阻塞，还可以在不同边缘集群之前做请求转发，实现了边缘多边缘集群的统一管理。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例中边缘同边缘集群管理节点之间强一致性数据同步、选举示意图；
图2本发明实施例中边缘同边缘集群管理节点与工作节点之间局域网弱一致性数据同步、成员管理示意图；
图3本发明实施例中不同边缘集群管理节点之间广域网弱一致性数据同步、请求转发示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1-图3，本发明实施例提供一种基于多种一致性协议的多边缘集群数据同步的方法，每个边缘集群包括至少一个管理节点和至少一个工作节点，该方法包括：
边缘集群内部管理节点之间采用强一致性协议实现数据同步；
边缘集群内部的管理节点与工作节点之间数据同步采用局域网弱一致性协议；
不同边缘集群的管理节点之间数据同步采用广域网弱一致性协议。
其中管理节点和工作节点可以是一台物理机，也可以是一台虚拟机，管理节点是边缘集群的控制节点，每个边缘集群中至少有一个管理节点来负责整个边缘集群的管理和控制；工作节点负责执行来自管理节点的工作负载。
本实施例中，构建系统时，首先用节点构建若干边缘集群，这些边缘集群通常位于不同的地理区域，每个边缘集群中都至少有一个管理节点和若干工作节点，组成边缘集群的所有节点都要符合边缘集群的认证和授权方式。为了保障管理节点的高可用，边缘集群中会部署多个管理节点(一般为奇数个，如1，3，5，7…)来对边缘集群进行管理，其中一个为主管理节点，其余为备份管理节点，主管理节点由边缘集群中的全体管理节点通过Raft协议选举产生。
多个边缘集群的边缘集群内及边缘集群间的数据同步分为三个层次：同边缘集群管理节点之间的数据同步、同边缘集群管理节点与工作节点之间的数据同步以及不同边缘集群管理节点间的数据同步。
层次一：如图1所示，同边缘集群管理节点之间空间距离较近，网络质量较好，而且管理节点数量有限，采用强一致性协议进行数据同步：当同边缘集群半数以上的管理节点达到一致时即认为数据同步完成，边缘集群方可进行接下来的工作，否则边缘集群将会一直阻塞。具体步骤如下：
在启动之前，同边缘集群内所有的管理节点IP地址和端口信息都已经确定，在每个管理节点启动时，通过命令行参数或配置文件将所有的管理节点信息传入，所有的管理节点启动以后，会选出主管理节点管理该边缘集群，其他管理节点作为备用管理节点。
层次二：如图2所示，同边缘集群内管理节点与工作节点之间采用局域网弱一致性协议，通过“传染式”的方法实现数据同步，即数据变更节点挑选若干临近节点进行数据同步，之后就可以进行其他工作，而无需阻塞等待所有节点全部完成数据同步，才进行其他工作。具体步骤如下：
(1)根据实际环境设置同边缘集群的工作节点，并启动；
(2)在知道任何一个管理节点的IP地址和端口的时，在工作节点主机上通过命令行便可加入管理节点形成边缘集群。
层次三：如图3所示，不同边缘集群管理节点之间采用广域网弱一致性协议，通过“传染式”的方法实现数据同步。需要进行数据同步的边缘集群首先随机通知临近的几个边缘集群进行数据同步，通知完成后就可以去执行其他任务而不需要阻塞。广域网弱一致性协议对网络延迟有更高的容忍度，适合于边缘集群空间距离大，网络质量不可控，网络延迟高的环境，同时广域网弱一致性协议还支持不同边缘集群间的访问请求转发。具体步骤如下：
不同边缘集群的管理节点之间，在知道其他边缘集群的任何一个管理节点的IP地址和端口，便可通过命令行加入其他边缘集群管理节点，形成多边缘集群。
本发明实施例还提供一种基于多种一致性协议的多边缘集群数据同步的系统，该系统包括：多个边缘集群，每个边缘集群包括至少一个管理节点和至少一个工作节点，边缘集群内部管理节点之间采用强一致性协议实现数据同步；边缘集群内部的管理节点与工作节点之间数据同步采用局域网弱一致性协议；不同边缘集群的管理节点之间数据同步采用广域网弱一致性协议。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多种一致性协议的多边缘集群数据同步的方法，其特征在于，每个边缘集群包括至少一个管理节点和至少一个工作节点，该方法包括：
边缘集群内部管理节点之间采用强一致性协议实现数据同步；
边缘集群内部的管理节点与工作节点之间数据同步采用局域网弱一致性协议；
不同边缘集群的管理节点之间数据同步采用广域网弱一致性协议。
2.根据权利要求1所述的方法，其特征在于，边缘集群内部管理节点之间采用强一致性协议实现数据同步时，只有当边缘集群中半数以上的管理节点数据达到一致，本次数据同步才算成功，否则即为失败。
3.根据权利要求1所述的方法，其特征在于，所述管理节点的数量为奇数个。
4.根据权利要求1所述的方法，其特征在于，通过局域网弱一致性协议以传染式的数据同步方法来实现同边缘集群管理节点与工作节点之间的数据同步。
5.根据权利要求1所述的方法，其特征在于，通过广域网弱一致性协议以传染式的方法来实现不同边缘集群间管理节点的数据同步，广域网弱一致性协议不阻塞、容忍延迟，允许不同边缘集群间的请求转发。
6.一种基于多种一致性协议的多边缘集群数据同步的系统，其特征在于，该系统包括：多个边缘集群，每个边缘集群包括至少一个管理节点和至少一个工作节点，边缘集群内部管理节点之间采用强一致性协议实现数据同步；边缘集群内部的管理节点与工作节点之间数据同步采用局域网弱一致性协议；不同边缘集群的管理节点之间数据同步采用广域网弱一致性协议。
7.根据权利要求6所述的系统，其特征在于，所述管理节点的数量为奇数个。
8.根据权利要求6所述的系统，其特征在于，边缘集群内部管理节点之间采用强一致性协议实现数据同步时，只有当边缘集群中半数以上的管理节点数据达到一致，本次数据同步才算成功，否则即为失败。
9.根据权利要求6所述的系统，其特征在于，通过局域网弱一致性协议以传染式的数据同步方法来实现同边缘集群管理节点与工作节点之间的数据同步。
10.根据权利要求6所述的系统，其特征在于，通过广域网弱一致性协议以传染式的方法来实现不同边缘集群间管理节点的数据同步，广域网弱一致性协议不阻塞、容忍延迟，允许不同边缘集群间的请求转发。
CN202010788464.9A 2020-08-07 2020-08-07 基于多种一致性协议的多边缘集群数据同步的方法及系统 Active CN112055054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010788464.9A CN112055054B (zh) 2020-08-07 2020-08-07 基于多种一致性协议的多边缘集群数据同步的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010788464.9A CN112055054B (zh) 2020-08-07 2020-08-07 基于多种一致性协议的多边缘集群数据同步的方法及系统

Publications (2)

Publication Number Publication Date
CN112055054A CN112055054A (zh) 2020-12-08
CN112055054B true CN112055054B (zh) 2023-04-07

Family

ID=73601279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010788464.9A Active CN112055054B (zh) 2020-08-07 2020-08-07 基于多种一致性协议的多边缘集群数据同步的方法及系统

Country Status (1)

Country Link
CN (1) CN112055054B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436366A (zh) * 2011-08-22 2012-05-02 华为技术有限公司 数据同步方法和装置
CN102592420A (zh) * 2011-12-30 2012-07-18 北京理工大学 具有微硬盘及数据同步能力的无线传感器网络测试节点
CN102681937A (zh) * 2012-05-15 2012-09-19 浪潮电子信息产业股份有限公司 一种缓存一致性协议正确性验证方法
CN104360981A (zh) * 2014-11-12 2015-02-18 浪潮(北京)电子信息产业有限公司 面向多核多处理器平台的Cache一致性协议的设计方法
CN104915756A (zh) * 2015-05-22 2015-09-16 电信科学技术第五研究所 数据一致性云稽核系统及实现方法
CN106254413A (zh) * 2015-06-09 2016-12-21 哈曼国际工业有限公司 数据同步
CN109271433A (zh) * 2018-09-03 2019-01-25 中新网络信息安全股份有限公司 一种集群数据同步方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908564B2 (en) * 2010-06-28 2014-12-09 Avaya Inc. Method for Media Access Control address learning and learning rate suppression
US8898728B2 (en) * 2011-09-23 2014-11-25 Oracle International Corporation System and method of real-time change propagation and activation using a distributed object cache

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436366A (zh) * 2011-08-22 2012-05-02 华为技术有限公司 数据同步方法和装置
CN102592420A (zh) * 2011-12-30 2012-07-18 北京理工大学 具有微硬盘及数据同步能力的无线传感器网络测试节点
CN102681937A (zh) * 2012-05-15 2012-09-19 浪潮电子信息产业股份有限公司 一种缓存一致性协议正确性验证方法
CN104360981A (zh) * 2014-11-12 2015-02-18 浪潮(北京)电子信息产业有限公司 面向多核多处理器平台的Cache一致性协议的设计方法
CN104915756A (zh) * 2015-05-22 2015-09-16 电信科学技术第五研究所 数据一致性云稽核系统及实现方法
CN106254413A (zh) * 2015-06-09 2016-12-21 哈曼国际工业有限公司 数据同步
CN109271433A (zh) * 2018-09-03 2019-01-25 中新网络信息安全股份有限公司 一种集群数据同步方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于RDMA和NVM的大数据系统一致性协议研究";吴昊，陈康，武永卫，郑纬民;《大数据》;20190531;全文 *
"消息中间件元数据管理模块及发布订阅接口的设计与实现";姚思明;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20171231;全文 *

Also Published As

Publication number Publication date
CN112055054A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
Yang et al. Blockchain-based secure distributed control for software defined optical networking
WO2019101020A1 (zh) 多终端协同工作的方法，终端设备以及多终端协同系统
US20160080483A1 (en) Method for setting gateway device identity, and management gateway device
WO2017036288A1 (zh) 一种网元升级方法及设备
CN103118148B (zh) 一种arp缓存更新方法和设备
WO2015101260A1 (zh) 对即时通讯业务进行处理的方法及系统
CN112636989B (zh) 一种联邦学习通信方法及装置
US9538440B2 (en) Method and system of changing service points
WO2018121201A1 (zh) 分布式集群服务结构及节点协同方法和装置、终端及介质
CN111638957A (zh) 一种集群共享式公有云负载均衡的实现方法
CN103631652A (zh) 虚拟机迁移的实现方法及系统
CN117296304A (zh) 利用vpn客户端管理两个同时vpn连接的数据业务
CN111083177B (zh) 基于协同网关的跨域协同交互方法
CN115955456A (zh) 基于IPv6的企业园区网及组网方法
US20190036793A1 (en) Network service implementation method, service controller, and communications system
CN112055054B (zh) 基于多种一致性协议的多边缘集群数据同步的方法及系统
CN107483628B (zh) 基于dpdk的单向代理方法及系统
CN104601412A (zh) 一种独立测试网络系统及其建立方法
CN108200221A (zh) 一种网络地址转换环境中转换规则同步方法及装置
CN111880932A (zh) 一种基于多网口的数据存储方法及装置
CN107968825B (zh) 一种报文转发控制方法及装置
CN111600795A (zh) 虚拟边缘设备的建立方法、控制器和服务器
KR20070052994A (ko) 지능형 분산 서버 시스템 및 이의 운용방법
CN105376231A (zh) 一种实现业务隔离的方法及装置
CN113630481B (zh) Sdn中一种自动带内控制面构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant