CN108011929B - 数据请求处理方法、装置、计算机设备和存储介质 - Google Patents
数据请求处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN108011929B CN108011929B CN201711122222.0A CN201711122222A CN108011929B CN 108011929 B CN108011929 B CN 108011929B CN 201711122222 A CN201711122222 A CN 201711122222A CN 108011929 B CN108011929 B CN 108011929B
- Authority
- CN
- China
- Prior art keywords
- cluster
- data
- identifier
- request
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 151
- 230000002159 abnormal effect Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000013508 migration Methods 0.000 abstract description 3
- 230000005012 migration Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1044—Group management mechanisms
- H04L67/1046—Joining mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1044—Group management mechanisms
- H04L67/1048—Departure or maintenance mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Hardware Redundancy (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种数据请求处理方法、装置、计算机设备和存储介质,所述方法包括:接收客户端发送的数据请求,所述数据请求携带有目标数据标识;根据所述目标数据标识得到对应的主集群以及备集群;获取所述主集群的运行信息,所述运行信息包括运行正常或运行异常;若所述主集群运行异常,根据所述数据请求向所述备集群发送第一响应请求,所述第一响应请求携带有所述目标数据标识;接收所述备集群根据所述第一响应请求发送的第一数据响应信息并将所述第一数据响应信息返回给所述客户端。上述方法可以减少迁移工作量而且在主集群发生故障时能够及时通过备集群进行响应。
Description
技术领域
本发明涉及互联网领域,特别是涉及数据请求处理方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的发展,数据的存储和管理已经成为越来越受关注的热点。为了应对不断增长的数据存储以及管理的需求,可以通过集群进行数据存储和管理服务。集群是指多台服务器通过网络通常是高速局域网互联起来组成的一个整体,统一向外部客户端提供服务,对外看起来就像是一台服务器。现有技术中,当集群容量不够需要新增集群时,由于新的集群的域名与原集群的域名不同,因此需要将原来集群的数据迁移到新集群中,工作量大,而且当主集群发生故障,需要启用备集群进行服务时,需要人工更改域名解析方案,时效性差。
发明内容
基于此,有必要针对上述的问题,提供一种数据请求处理方法、装置、计算机设备和存储介质,能够在新增集群时无需对数据进行迁移也可以对外进行服务,减小迁移工作量而且在主集群发生故障时能够及时通过备集群进行响应。
一种数据请求处理方法,所述方法包括:接收客户端发送的数据请求,所述数据请求携带有目标数据标识;根据所述目标数据标识得到对应的主集群以及备集群;获取所述主集群的运行信息,所述运行信息包括运行正常或运行异常;若所述主集群运行异常,根据所述数据请求向所述备集群发送第一响应请求,所述第一响应请求携带有所述目标数据标识;接收所述备集群根据所述第一响应请求发送的第一数据响应信息并将所述第一数据响应信息返回给所述客户端。
在一实施例中,所述根据目标数据标识得到对应的主集群以及备集群的步骤包括:根据所述目标数据标识进行哈希运算,得到所述目标数据标识对应的哈希值;对所述哈希值以及预设的数值进行取余运算,得到目标键值;根据所述目标键值获取对应的主集群以及备集群。
在一实施例中,所述根据所述目标键值获取对应的主集群以及备集群的步骤包括:根据键值与集群标识的对应关系获取所述目标键值对应的目标集群标识;根据集群标识与集群的对应关系获取所述目标集群标识对应的主集群以及备集群。
在一实施例中,所述方法还包括,获取集群标识对应的权重;根据所述权重以及所述预设的数值为所述集群标识分配对应的键值,得到所述键值与集群标识的对应关系。
在一实施例中,所述获取所述主集群的运行信息的步骤包括:根据所述数据请求向所述主集群发送第二响应请求,所述第二响应请求携带有所述目标数据标识;当接收到所述主集群根据所述第二响应请求返回的第二响应信息时,所述运行信息为运行正常,当未接收到所述主集群根据所述第二响应请求返回的第二响应信息时,所述运行信息为运行异常。
一种数据请求处理装置,所述装置包括:数据请求接收模块,用于接收客户端发送的数据请求,所述数据请求携带有目标数据标识;集群得到模块,用于根据所述目标数据标识得到对应的主集群以及备集群;运行信息获取模块,用于获取所述主集群的运行信息,所述运行信息包括运行正常或运行异常;第一响应请求发送模块,若所述主集群运行异常,根据所述数据请求向所述备集群发送第一响应请求,所述第一响应请求携带有所述目标数据标识;响应信息接收模块,用于接收所述备集群根据所述第一响应请求发送的第一数据响应信息并将所述第一数据响应信息返回给所述客户端。
在一实施例中,所述集群得到模块包括:计算单元,用于根据所述目标数据标识进行哈希运算,得到所述目标数据标识对应的哈希值;取余单元,用于对所述哈希值以及预设的数值进行取余运算,得到目标键值;集群得到单元,用于根据所述目标键值获取对应的主集群以及备集群。
在一实施例中,所述集群得到单元包括:目标标识获取子单元,用于根据键值与集群标识的对应关系获取所述目标键值对应的目标集群标识;集群获取子单元,用于根据集群标识与集群的对应关系获取所述目标集群标识对应的主集群以及备集群。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述数据请求处理方法的步骤。
一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述数据请求处理方法的步骤。
上述数据请求处理方法、装置、计算机设备和存储介质,在接收到客户端发送的数据请求时,根据目标数据标识得到对应的主集群以及备集群,并在主集群运行异常时,向备集群发送第一响应请求,接收备集群根据第一响应请求发送的第一数据响应信息并将第一数据响应信息返回给客户端。由于接收到数据请求时根据目标数据标识得到对应的主集群以及备集群,并在主集群运行异常时根据数据请求请求对应的备集群进行响应,因此可以通过统一的访问地址对外进行服务,新增集群时无需对数据进行迁移,减少了迁移工作量而且在主集群发生故障时能够及时通过备集群进行响应。
附图说明
图1为一个实施例中提供的数据请求处理方法的应用环境图;
图2为一个实施例中数据请求处理方法的流程图;
图3为一个实施例中根据目标数据标识得到对应的主集群以及备集群的流程图;
图4为一个实施例中根据目标键值获取对应的主集群以及备集群的流程图;
图5为一个实施例中数据请求处理方法的流程图;
图6为一个实施例中获取主集群的运行信息的流程图;
图7为一个实施例中数据请求处理装置的结构框图;
图8为一个实施例中集群得到模块的结构框图;
图9为一个实施例中集群得到单元的结构框图;
图10为一个实施例中数据请求处理装置的结构框图;
图11为一个实施例中运行信息获取模块的结构框图;
图12为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一主集群称为第二主集群,且类似地,可将第二主集群称为第一主集群。
图1为一个实施例中提供的数据请求处理方法的实施环境图,如图1所示,在该实施环境中,如上图所示,包括客户端10、计算机设备20、第一主集群31、第一主集群31对应的第一备集群32、第二主集群41及第二主集群41对应的第二备集群42。可以通过网络进行连接。主集群与备集群一般分布在不同城市,以在当主集群发生故障时,由备集群对业务进行响应。第一主集群31以及第二主集群的域名是不一样的,但是在对外服务时,可以设置一个相同的域名,这个相同的域名的域名解析结果指向计算机设备20的IP地址。当客户端发出数据请求例如请求下载某个文件时,由计算机设备20接收数据请求,根据数据请求中的目标数据标识得到对应的主集群域名,然后根据主集群域名以及数据请求向主集群发送响应请求,使对应的主集群进行响应并返回响应信息,并将响应信息发送给客户端。若主集群发生故障没有响应,代理服务器根据备集群域名以及数据请求向备集群发送响应请求,接收备集群返回的响应信息并将响应信息发送给客户端。
计算机设备20可以是独立的物理服务器或终端,也可以是多个物理服务器构成的服务器集群,可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。客户端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、服务器等,但并不局限于此。客户端10与计算机设备20、计算机设备20与第一主集群31、第一备集群32、第二主集群41、第二备集群42、第一主集群31与第一备集群32以及第二主集群41与第二备集群42之间可以通过网络进行连接。集群可以有一个或多个,例如可以有10个,本发明实施例对此不作限制。
如图2所示,在一个实施例中,提出了一种数据请求处理方法,该数据请求处理方法可以应用于上述的计算机设备20中,具体可以包括以下步骤:
步骤S202,接收客户端发送的数据请求,数据请求携带有目标数据标识。
数据请求可以包括请求下载集群中的数据、请求删除集群中的数据或者请求向集群上传数据中的一个或多个。当为向集群上传数据时,数据请求中还携带有要上传的数据。目标数据标识可以用数据以及文字的至少一个进行表示。一个或多个集群是通过统一的访问地址对外进行服务的。客户端接收该访问地址例如域名或者计算机设备的IP地址,根据访问地址以向计算机设备发送数据请求。当输入的访问地址为域名时,数据请求经过DNS(Domain Name System,域名系统)解析后得到计算设备20的IP地址,以将数据请求路由到计算机设备20中当输入的访问地址为IP地址时,客户端根据IP地址将数据请求发送到计算机设备20中。
步骤S204,根据目标数据标识得到对应的主集群以及备集群。
可以预先设置数据标识与集群的对应关系,该对应关系可以是直接对应关系,例如,数据标识a对应b集群。也可以是间接对应关系。例如,可以设置计算规则以及数值与集群的对应关系,当得到数据标识后,根据预先设置的计算规则对数据标识进行计算,得到相应的数值再根据数值与集群的对应关系得到对应的主集群以及备集群。
步骤S206,获取主集群的运行信息,运行信息包括运行正常或运行异常。
主集群的运行信息可以是主动获取的,也可以是主集群自动发送的。例如,主集群可以定时向计算机设备发送心跳信息,若计算机在一定时间内未收到该集群的心跳信息,则表示主集群运行异常。优选地,为了能够在主集群发生故障恢复正常后能够及时地进行工作,接收到数据请求后,可以将数据请求发送到主集群中,若没有接收到主集群的响应,则表示主集群运行异常。
步骤S208,若主集群运行异常,根据数据请求向备集群发送第一响应请求,第一响应请求携带有目标数据标识。
主集群异常指主集群不能进行响应,若主集群运行异常,根据数据请求向备集群发送第一响应请求。例如,当数据请求为下载数据时,则向备集群发送请求下载数据标识为目标数据标识的第一响应请求,以使备集群根据目标数据标识得到目标数据,并将目标数据返回给计算机设备。当数据请求为删除数据时,向备集群发送请求删除数据标识为目标数据标识的第一响应请求,以使备集群根据目标数据标识找到目标数据,并删除该目标数据。当数据请求为存储数据时,向备集群发送该目标数据标识以及目标数据,使备集群对应存储目标数据以及目标数据标识。
在一个实施例中,若主集群运行正常,则根据数据请求向主集群发送第二响应请求,使主集群进行响应并返回第二响应信息,计算机设备将第二响应信息返回给客户端。
在一个实施例中,主集群和备集群可以通过异地同步程序进行同步,异地同步程序读取主集群操作记录,根据主集群操作记录将主集群的操作增量同步到备集群。
步骤S210,接收备集群根据第一响应请求发送的第一数据响应信息并将第一数据响应信息返回给客户端。
第一数据响应信息为备集群根据第一响应请求返回的信息。当第一响应请求为下载数据时,备集群根据目标数据标识得到目标数据,并将目标数据返回给计算机设备。当第一响应请求为删除数据时,备集群根据目标数据标识找到目标数据,删除该目标数据后返回删除成功的第一数据响应信息。当第一响应请求为存储数据时,备集群对应存储目标数据以及目标数据标识后返回存储成功的第一数据响应信息。
在一个实施例中,当第一响应请求为下载数据时,备集群返回要下载的数据,当第一响应请求为上传数据或者删除数据时,为保持主集群与备集群的一致性,备集群返回请求错误的第一响应信息。
在一个实施例中,如图3所示,步骤S204即根据目标数据标识得到对应的主集群以及备集群包括:
步骤S302,根据目标数据标识进行哈希运算,得到目标数据标识对应的哈希值。
哈希计算为把任意长度的输入通过散列算法变换成一定长度的输出的计算方法,散列算法可以为MD5(Message-digestAlgorithm5,信息摘要算法5)算法和SHA(SecureHashStandard、安全哈希标准)算法等,具体不做限制。当得到目标数据标识后,利用预设的算法对目标数据标识进行计算,得到哈希值。
步骤S304,对哈希值以及预设的数值进行取余运算,得到目标键值。
得到哈希值后,将哈希值除以预设的数值得到的余数作为目标键值。以公式表示如下:y=mod(x,b),其中,x表示哈希值。b表示预设的数值,具体数值可以根据实际设置,如10000。y表示目标键值。mod表示进行取余计算。例如,哈希值为3,预设的数值为10000,3除以10000余数为3,则3为目标键值。
步骤S306,根据目标键值获取对应的主集群以及备集群。
可以预先存储目标键值与主集群以及备集群的对应关系,该对应关系可以是目标键值与主集群以及备集群直接对应,也可以是间接对应。例如,目标键值h对应的主集群为A1,备集群为A2。
在一个实施例中,如图4所示,步骤S306即根据目标键值获取对应的主集群以及备集群的步骤包括:
步骤S402,根据键值与集群标识的对应关系获取目标键值对应的目标集群标识。
预先设置了键值与集群标识的对应关系。如表1所示,可以以数据表的形式存储键值与集群标识的对应关系。当得到目标键值后,获取数据表中与目标键值匹配的键值,将与目标键值匹配的键值对应的集群标识作为目标集群标识。
在一个实施例中,可以将键值与集群标识的对应关系存储在预设存储位置中,当得到目标键值后,获取该预设存储位置对应的存储地址,根据存储地址得到键值与集群标识的对应关系。预设存储位置可以根据实际需要进行限制,例如,为了提高获取目标集群标识的速度,可以将键值与集群标识的对应关系存储在计算机设备的高速缓冲存储器中。
表1:
键值 | 集群编号 |
1 | cluster1 |
2 | cluster1 |
3 | Cluster2 |
4 | cluster1 |
5 | Cluster3 |
步骤S404,根据集群标识与集群的对应关系获取目标集群标识对应的主集群以及备集群。
预先设置了集群标识与集群的对应关系,例如可如表2所示,预先设置了每个集群编号对应的主集群域名以及备集群域名。
在一个实施例中,还可以存储集群标识与集群ip地址的关系。例如可以在预设时间或时长根据集群域名信息向域名服务器发送域名解析请求,接收到域名服务器发送的IP地址后,存储集群标识与集群ip地址的对应关系。这样,每次与集群建立连接时无需先进行域名解析,提高了对数据请求进行响应的及时性。
在一个实施例中,计算机设备与集群建立连接并获取响应信息后,可以继续保持建立的网络连接,以继续利用该网络连接处理其他数据请求,当网络连接达到预设时长例如一个小时后再释放连接,因此避免了每次发送响应请求均需要新建网络连接造成的延时。
在一个实施例中,可以利用数据库持久化存储集群标识对应的集群域名,计算机设备可以定时读取集群域名信息并缓存到本地。
表2:
在一个实施例中,如图5所示,数据请求处理方法还可以包括以下步骤:
步骤S502,获取集群标识对应的权重。
权重具体可以根据需求进行自定义设置,也可以由计算机设备根据集群的性能例如容量进行计算得到,以使集群的负载与集群性能对应或者根据实际需要调整集群对外进行服务的数量。例如,可以计算一个主集群的容量占全部主集群容量的百分比,将得到的百分比作为集群标识对应的权重。
步骤S504,根据权重以及预设的数值为集群标识分配对应的键值,得到键值与集群标识的对应关系。
得到权重后,将权重与预设的数值相乘,得到集群标识需要分配的键值数量,然后根据键值数量为集群标识分配对应的键值,得到键值与集群标识的对应关系。
例如,预设的数值为10000,A集群对应的权重为0.25,B集群对应的权重为0.75,按照权重以及总数量将键值分配给各个集群,则A集群对应的键值数量为0.25*10000=2500,故可以将键值0~2499分配给A集群,B集群对应的键值数量为0.75*10000=7500,故将键值2500~9999分配给B集群。当接收到目标数据标识时,对目标数据标识进行计算,得到一个哈希值与预设的数值10000取余,得到的余数若为1~2499,则对应的集群为A集群,得到的余数若为2500~9999,则对应的集群为B集群。
在一个实施例中,如图6所示,步骤S208即获取主集群的运行信息的步骤包括:
步骤S602,根据数据请求向主集群发送第二响应请求,第二响应请求携带有目标数据标识。
当接收到数据请求后,根据数据请求向主集群发送第二响应请求,例如,当数据请求为下载数据时,则向主集群发送请求下载数据标识为目标数据标识的第二响应请求,以使主集群根据目标数据标识得到目标数据,并将目标数据返回给计算机设备。当数据请求为删除数据时,向主集群发送请求删除数据标识为目标数据标识的第二响应请求,以使主集群根据目标数据标识找到目标数据,并删除该目标数据。当数据请求为存储数据时,向主集群发送该目标数据标识以及目标数据,使主集群对应存储目标数据以及目标数据标识。
步骤S604,当接收到主集群根据第二响应请求返回的第二响应信息时,运行信息为运行正常,当未接收到主集群根据第二响应请求返回的第二响应信息时,运行信息为运行异常。
发送第二响应请求后,若主集群根据第二响应请求返回的第二响应信息,则主集群运行信息为运行正常。例如,当第二响应请求为下载数据时,主集群根据目标数据标识得到目标数据,并将目标数据返回给计算机设备。当第二响应请求为删除数据时,主集群根据目标数据标识找到目标数据,删除该目标数据后返回删除成功的第二数据响应信息。当第二响应请求为存储数据时,主集群对应存储目标数据以及目标数据标识后返回存储成功的第二数据响应信息。当未接收到主集群根据第二响应请求返回的响应信息时,则得到的主集群运行信息为运行异常。
如图7所示,在一个实施例中,提供了一种数据请求处理装置,该数据请求处理装置可以集成于上述的计算机设备20中,包括:
数据请求接收模块702,用于接收客户端发送的数据请求,数据请求携带有目标数据标识;
集群得到模块704,用于根据目标数据标识得到对应的主集群以及备集群;
运行信息获取模块706,用于获取主集群的运行信息,运行信息包括运行正常或运行异常;
第一响应请求发送模块708,若主集群运行异常,根据数据请求向备集群发送第一响应请求,第一响应请求携带有目标数据标识;
响应信息接收模块710,用于接收备集群根据第一响应请求发送的第一数据响应信息并将第一数据响应信息返回给客户端。
在一个实施例中,如图8所示,集群得到模块704包括:
计算单元802,用于根据目标数据标识进行哈希运算,得到目标数据标识对应的哈希值;
取余单元804,用于对哈希值以及预设的数值进行取余运算,得到目标键值;
集群得到单元806,用于根据目标键值获取对应的主集群以及备集群。
在一个实施例中,如图9所示,集群得到单元806包括:
目标标识获取子单元902,用于根据键值与集群标识的对应关系获取目标键值对应的目标集群标识;
集群获取子单元904,用于根据集群标识与集群的对应关系获取目标集群标识对应的主集群以及备集群。
在一个实施例中,如图10所示,数据请求处理装置还包括:
权重获取模块1002,用于获取集群标识对应的权重。
对应关系获取模块1004,用于根据权重以及预设的数值为集群标识分配对应的键值,得到键值与集群标识的对应关系。
在一个实施例中,如图11所示,运行信息获取模块706包括:
第二响应请求发送单元1102,用于根据数据请求向主集群发送第二响应请求,第二响应请求携带有目标数据标识。
运行信息获取单元1104,当接收到主集群根据第二响应请求返回的第二响应信息时,运行信息为运行正常,当未接收到主集群根据第二响应请求返回的第二响应信息时,运行信息为运行异常。
如图12所示,为一个实施例中计算机设备的内部结构图,该计算机设备通过系统连接总线连接处理器、非易失性存储介质、内存储器和网络接口。其中,该计算机设备的非易失性存储介质可存储操作系统和计算机程序,该计算机程序被执行时,可使得处理器执行一种数据请求处理方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该内存储器中可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行一种数据请求处理方法。计算机设备的网络接口用于进行网络通信,如接收数据请求,发送数据响应请求等。本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的数据请求处理装置可以实现为一种计算机程序的形式,计算机程序可在如图12所示的计算机设备上运行,所述计算机设备的非易失性存储介质可存储组成该数据请求处理装置的各个程序模块,比如图7中的数据请求接收模块702、集群得到模块704、运行信息获取模块706、第一响应请求发送模块708以及响应信息接收模块710。各个程序模块中包括计算机程序,所述计算机程序用于使所述计算机设备执行本说明书中描述的本申请各个实施例的数据请求处理方法中的步骤,例如,所述计算机设备可以通过如图7所示的数据请求处理装置中的数据请求接收模块702接收客户端发送的数据请求,数据请求携带有目标数据标识,通过集群得到模块704根据目标数据标识得到对应的主集群以及备集群,通过运行信息获取模块706获取主集群的运行信息,运行信息包括运行正常或运行异常,通过第一响应请求发送模块708根据数据请求向备集群发送第一响应请求,第一响应请求携带有目标数据标识,通过响应信息接收模块710接收备集群根据第一响应请求发送的第一数据响应信息并将第一数据响应信息返回给客户端。
在一个实施例中,提出了一种计算机设备,计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:接收客户端发送的数据请求,数据请求携带有目标数据标识;根据目标数据标识得到对应的主集群以及备集群;获取主集群的运行信息,运行信息包括运行正常或运行异常;若主集群运行异常,根据数据请求向备集群发送第一响应请求,第一响应请求携带有目标数据标识;接收备集群根据第一响应请求发送的第一数据响应信息并将第一数据响应信息返回给客户端。
在一实施例中,处理器所执行的根据目标数据标识得到对应的主集群以及备集群的步骤包括:根据目标数据标识进行哈希运算,得到目标数据标识对应的哈希值;对哈希值以及预设的数值进行取余运算,得到目标键值;根据目标键值获取对应的主集群以及备集群。
在一实施例中,处理器所执行的根据目标键值获取对应的主集群以及备集群的步骤包括:根据键值与集群标识的对应关系获取目标键值对应的目标集群标识;根据集群标识与集群的对应关系获取目标集群标识对应的主集群以及备集群。
在一实施例中,处理器执行计算机程序时还执行以下步骤:获取集群标识对应的权重;根据权重以及预设的数值为集群标识分配对应的键值,得到键值与集群标识的对应关系。
在一实施例中,处理器所执行的获取主集群的运行信息的步骤包括:根据数据请求向主集群发送第二响应请求,第二响应请求携带有目标数据标识;当接收到主集群根据第二响应请求返回的第二响应信息时,运行信息为运行正常,当未接收到主集群根据第二响应请求返回的第二响应信息时,运行信息为运行异常。
在一个实施例中,提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:接收客户端发送的数据请求,数据请求携带有目标数据标识;根据目标数据标识得到对应的主集群以及备集群;获取主集群的运行信息,运行信息包括运行正常或运行异常;若主集群运行异常,根据数据请求向备集群发送第一响应请求,第一响应请求携带有目标数据标识;接收备集群根据第一响应请求发送的第一数据响应信息并将第一数据响应信息返回给客户端。
在一实施例中,处理器所执行的根据目标数据标识得到对应的主集群以及备集群的步骤包括:根据目标数据标识进行哈希运算,得到目标数据标识对应的哈希值;对哈希值以及预设的数值进行取余运算,得到目标键值;根据目标键值获取对应的主集群以及备集群。
在一实施例中,处理器所执行的根据目标键值获取对应的主集群以及备集群的步骤包括:根据键值与集群标识的对应关系获取目标键值对应的目标集群标识;根据集群标识与集群的对应关系获取目标集群标识对应的主集群以及备集群。
在一实施例中,处理器执行计算机程序时还执行以下步骤:获取集群标识对应的权重;根据权重以及预设的数值为集群标识分配对应的键值,得到键值与集群标识的对应关系。
在一实施例中,处理器所执行的获取主集群的运行信息的步骤包括:根据数据请求向主集群发送第二响应请求,第二响应请求携带有目标数据标识;当接收到主集群根据第二响应请求返回的第二响应信息时,运行信息为运行正常,当未接收到主集群根据第二响应请求返回的第二响应信息时,运行信息为运行异常。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)等非易失性存储介质等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据请求处理方法,其特征在于,所述方法包括:
接收客户端发送的数据请求,所述数据请求携带有目标数据标识;
根据所述目标数据标识得到对应的主集群以及备集群,其中,预先存储了键值与集群标识的对应关系,根据所述键值与集群标识的对应关系确定目标键值对应的目标集群标识,通过所述目标集群标识确定对应的主集群以及备集群,所述目标键值根据对所述目标数据标识进行哈希计算得到的哈希值,与预设的数值进行取余计算得到;根据集群标识对应的权重与所述预设的数值进行相乘,得到集群标识对应的键值数量,根据所述键值数量为对应的集群标识分配对应的键值,得到所述键值与集群标识的对应关系;
获取所述主集群的运行信息,所述运行信息包括运行正常或运行异常;
若所述主集群运行异常,根据所述数据请求向所述备集群发送第一响应请求,所述第一响应请求携带有所述目标数据标识;
接收所述备集群根据所述第一响应请求发送的第一数据响应信息并将所述第一数据响应信息返回给所述客户端;
其中,预先设置了集群标识对应的集群域名信息,在预设时间或者时长根据预先设置的集群域名信息向域名服务器发送域名解析请求,接收所述域名服务器发送的IP地址,存储集群标识与IP地址的对应关系,以通过存储的IP地址与对应的集群建立连接。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述主集群运行正常,根据所述数据请求向所述主集群发送第二响应请求;
接收所述主集群对所述第二响应请求进行响应并返回的第二响应信息,将所述第二响应信息返回给所述客户端。
3.根据权利要求1所述的方法,其特征在于,当所述第一响应请求为上传数据的请求或者删除数据的请求时,所述备集群返回请求错误的第一数据响应信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
与所述备集群建立网络连接并获取所述第一数据响应信息后,继续保持网络连接,直至到达预设时长后再释放网络连接。
5.根据权利要求1所述的方法,其特征在于,所述获取所述主集群的运行信息的步骤包括:
根据所述数据请求向所述主集群发送第二响应请求,所述第二响应请求携带有所述目标数据标识;
当接收到所述主集群根据所述第二响应请求返回的第二响应信息时,所述运行信息为运行正常,当未接收到所述主集群根据所述第二响应请求返回的第二响应信息时,所述运行信息为运行异常。
6.一种数据请求处理装置,其特征在于,所述装置包括:
数据请求接收模块,用于接收客户端发送的数据请求,所述数据请求携带有目标数据标识;
集群得到模块,用于根据所述目标数据标识得到对应的主集群以及备集群,其中,预先存储了键值与集群标识的对应关系,根据所述键值与集群标识的对应关系确定目标键值对应的目标集群标识,通过所述目标集群标识确定对应的主集群以及备集群,所述目标键值根据对所述目标数据标识进行哈希计算得到的哈希值,与预设的数值进行取余计算得到;根据集群标识对应的权重与所述预设的数值进行相乘,得到集群标识对应的键值数量,根据所述键值数量为对应的集群标识分配对应的键值,得到所述键值与集群标识的对应关系;
运行信息获取模块,用于获取所述主集群的运行信息,所述运行信息包括运行正常或运行异常;
第一响应请求发送模块,若所述主集群运行异常,根据所述数据请求向所述备集群发送第一响应请求,所述第一响应请求携带有所述目标数据标识;
响应信息接收模块,用于接收所述备集群根据所述第一响应请求发送的第一数据响应信息并将所述第一数据响应信息返回给所述客户端;
其中,预先设置了集群标识对应的集群域名信息,在预设时间或者时长根据预先设置的集群域名信息向域名服务器发送域名解析请求,接收所述域名服务器发送的IP地址,存储集群标识与IP地址的对应关系,以通过存储的IP地址与对应的集群建立连接。
7.根据权利要求6所述的装置,其特征在于,所述集群得到模块包括:
计算单元,用于根据所述目标数据标识进行哈希运算,得到所述目标数据标识对应的哈希值;
取余单元,用于对所述哈希值以及预设的数值进行取余运算,得到目标键值;
集群得到单元,用于根据所述目标键值获取对应的主集群以及备集群。
8.根据权利要求7所述的装置,其特征在于,所述集群得到单元包括:
目标标识获取子单元,用于根据键值与集群标识的对应关系获取所述目标键值对应的目标集群标识;
集群获取子单元,用于根据集群标识与集群的对应关系获取所述目标集群标识对应的主集群以及备集群。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至5中任一项权利要求所述数据请求处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至5中任一项权利要求所述数据请求处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711122222.0A CN108011929B (zh) | 2017-11-14 | 2017-11-14 | 数据请求处理方法、装置、计算机设备和存储介质 |
PCT/CN2018/077132 WO2019095577A1 (zh) | 2017-11-14 | 2018-02-24 | 数据请求处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711122222.0A CN108011929B (zh) | 2017-11-14 | 2017-11-14 | 数据请求处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108011929A CN108011929A (zh) | 2018-05-08 |
CN108011929B true CN108011929B (zh) | 2020-08-25 |
Family
ID=62051503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711122222.0A Active CN108011929B (zh) | 2017-11-14 | 2017-11-14 | 数据请求处理方法、装置、计算机设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108011929B (zh) |
WO (1) | WO2019095577A1 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492013B (zh) * | 2018-11-02 | 2021-01-26 | 京东数字科技控股有限公司 | 应用于数据库集群的数据处理方法、装置和系统 |
CN109462646B (zh) * | 2018-11-12 | 2021-11-19 | 平安科技(深圳)有限公司 | 一种异常响应的方法及设备 |
WO2020107208A1 (zh) * | 2018-11-27 | 2020-06-04 | 陈翰霖 | 故障通知方法、装置及设备 |
CN109302498B (zh) * | 2018-11-29 | 2021-03-23 | 杭州迪普科技股份有限公司 | 一种网络资源访问方法及装置 |
CN109769028A (zh) * | 2019-01-25 | 2019-05-17 | 深圳前海微众银行股份有限公司 | Redis集群管理方法、装置、设备及可读存储介质 |
CN109981459B (zh) * | 2019-02-28 | 2021-02-19 | 联想(北京)有限公司 | 一种信息发送方法、客户端和计算机可读存储介质 |
CN110012111B (zh) * | 2019-04-16 | 2022-04-15 | 昆山丘钛微电子科技股份有限公司 | 一种数据服务集群系统及数据处理方法 |
CN112445859A (zh) * | 2019-08-30 | 2021-03-05 | 北京数聚鑫云信息技术有限公司 | 数据管理方法、装置和系统 |
CN110636122A (zh) * | 2019-09-11 | 2019-12-31 | 中移(杭州)信息技术有限公司 | 分布式存储方法、服务器、系统、电子设备以及存储介质 |
CN112565327B (zh) * | 2019-09-26 | 2022-09-30 | 广州虎牙科技有限公司 | 访问流量转发方法、集群管理方法及相关装置 |
CN110765109A (zh) * | 2019-10-24 | 2020-02-07 | 中国建设银行股份有限公司 | 一种业务请求的响应方法、装置、设备及存储介质 |
CN113051110A (zh) * | 2019-12-27 | 2021-06-29 | 中国移动通信集团湖南有限公司 | 集群切换方法、装置及设备 |
JP7429609B2 (ja) * | 2020-06-04 | 2024-02-08 | 株式会社東海理化電機製作所 | 処理装置、システム、プログラム、および照合装置 |
CN111901395B (zh) * | 2020-07-07 | 2024-03-22 | 青岛海尔科技有限公司 | 多集群切换方法及装置 |
CN112436974B (zh) * | 2020-07-29 | 2021-12-24 | 上海哔哩哔哩科技有限公司 | Cdn数据资源一致性检测方法、装置以及计算机设备 |
CN112199401B (zh) * | 2020-11-30 | 2021-07-23 | 阿里云计算有限公司 | 数据请求处理方法、装置、服务器、系统及存储介质 |
CN112565025A (zh) * | 2021-02-19 | 2021-03-26 | 北京声智科技有限公司 | 数据传输方法及装置 |
CN113114481A (zh) * | 2021-02-22 | 2021-07-13 | 广东电网有限责任公司广州供电局 | 数据操作方法、装置、计算机设备和存储介质 |
CN114422567B (zh) * | 2021-12-09 | 2024-10-11 | 阿里巴巴(中国)有限公司 | 数据请求的处理方法、装置、系统、计算机设备及介质 |
CN114785863A (zh) * | 2022-04-21 | 2022-07-22 | 中国工商银行股份有限公司 | 基于Eureka的服务请求处理方法、装置、设备及存储介质 |
CN115827757B (zh) * | 2022-11-30 | 2024-03-12 | 西部科学城智能网联汽车创新中心(重庆)有限公司 | 一种对多HBase集群的数据操作方法及装置 |
CN116016257B (zh) * | 2023-01-28 | 2023-06-20 | 鹏城实验室 | 状态监测方法、装置、设备及存储介质 |
CN118474103A (zh) * | 2023-02-07 | 2024-08-09 | 腾讯科技(深圳)有限公司 | 数据请求的处理方法、装置、计算机设备和存储介质 |
CN117608645A (zh) * | 2023-12-15 | 2024-02-27 | 中国人寿保险股份有限公司 | 配置信息读取方法、装置、计算机设备和存储介质 |
CN119012184B (zh) * | 2024-10-24 | 2025-01-28 | 深圳开鸿数字产业发展有限公司 | 一种边缘IoT分布式的多设备集群通信方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104202375A (zh) * | 2014-08-22 | 2014-12-10 | 广州华多网络科技有限公司 | 同步数据的方法及系统 |
CN104580432A (zh) * | 2014-12-23 | 2015-04-29 | 上海帝联信息科技股份有限公司 | memcached系统及内存缓存数据提供、维护和集群维护方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9449038B2 (en) * | 2012-11-26 | 2016-09-20 | Amazon Technologies, Inc. | Streaming restore of a database from a backup system |
JP6182861B2 (ja) * | 2012-12-28 | 2017-08-23 | 富士通株式会社 | 情報処理装置、情報処理端末、情報検索プログラム及び情報検索方法 |
CN103312541A (zh) * | 2013-05-28 | 2013-09-18 | 浪潮电子信息产业股份有限公司 | 一种高可用互备集群的管理方法 |
CN104424283A (zh) * | 2013-08-30 | 2015-03-18 | 阿里巴巴集团控股有限公司 | 一种数据迁移的系统和数据迁移的方法 |
CN103607312B (zh) * | 2013-11-29 | 2017-02-15 | 广州华多网络科技有限公司 | 用于服务器系统的数据请求处理方法及系统 |
CN104219085A (zh) * | 2014-08-07 | 2014-12-17 | 深圳市同洲电子股份有限公司 | 一种数据库的数据处理方法、代理服务器及系统 |
-
2017
- 2017-11-14 CN CN201711122222.0A patent/CN108011929B/zh active Active
-
2018
- 2018-02-24 WO PCT/CN2018/077132 patent/WO2019095577A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104202375A (zh) * | 2014-08-22 | 2014-12-10 | 广州华多网络科技有限公司 | 同步数据的方法及系统 |
CN104580432A (zh) * | 2014-12-23 | 2015-04-29 | 上海帝联信息科技股份有限公司 | memcached系统及内存缓存数据提供、维护和集群维护方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2019095577A1 (zh) | 2019-05-23 |
CN108011929A (zh) | 2018-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108011929B (zh) | 数据请求处理方法、装置、计算机设备和存储介质 | |
US9407703B2 (en) | Connection management system, and a method for linking connection management server in thin client system | |
CN110737668B (zh) | 数据存储方法、数据读取方法、相关设备及介质 | |
CN108683668B (zh) | 内容分发网络中的资源校验方法、装置、存储介质及设备 | |
CN111405019A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN112351068A (zh) | 信息同步方法、系统、装置、计算机设备和存储介质 | |
WO2022222438A1 (zh) | 配置文件状态同步方法、装置、终端、服务器和存储介质 | |
CN111404978B (zh) | 一种数据存储方法及云存储系统 | |
US20100332532A1 (en) | Distributed directory environment using clustered ldap servers | |
CN114745413A (zh) | 服务端的访问控制方法、装置、计算机设备及存储介质 | |
JP2016162389A (ja) | シンクライアントシステム、接続管理装置、仮想マシン稼働装置、方法、および、プログラム | |
US10802896B2 (en) | Rest gateway for messaging | |
US8996607B1 (en) | Identity-based casting of network addresses | |
CN112632029B (zh) | 分布式存储系统的数据管理方法、装置及设备 | |
CN111314221A (zh) | 业务处理方法、装置、设备及计算机可读存储介质 | |
CN103248636A (zh) | 离线下载的系统及方法 | |
CN114124890B (zh) | 一种确定方法、虚拟路由器、控制设备及域名解析系统 | |
KR20160026138A (ko) | 클라우드 데이터 시스템의 급속 동기화 방법 및 그를 이용한 클라우드 데이터 시스템 | |
US12143441B2 (en) | Systems and methods for server failover and load balancing | |
CN110113217B (zh) | 微服务管理方法、装置、管理平台及存储介质 | |
JP2016177324A (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
CN109325057B (zh) | 中间件管理方法、装置、计算机设备以及存储介质 | |
JP2017167675A (ja) | 情報処理システム、情報処理方法、及びサーバ | |
JP2016189132A (ja) | コンテンツ取得プログラム、装置、及び方法 | |
US20230146880A1 (en) | Management system and management method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |