CN112165436B - 流量控制方法、装置及系统 - Google Patents
流量控制方法、装置及系统 Download PDFInfo
- Publication number
- CN112165436B CN112165436B CN202011101957.7A CN202011101957A CN112165436B CN 112165436 B CN112165436 B CN 112165436B CN 202011101957 A CN202011101957 A CN 202011101957A CN 112165436 B CN112165436 B CN 112165436B
- Authority
- CN
- China
- Prior art keywords
- preset
- single connection
- storage area
- target
- state information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 230000002159 abnormal effect Effects 0.000 claims abstract description 164
- 238000012545 processing Methods 0.000 claims abstract description 85
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000004044 response Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 10
- 238000007726 management method Methods 0.000 description 50
- 230000005856 abnormality Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000011217 control strategy Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007488 abnormal function Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及流量控制方法、装置及系统，所述方法包括：在当前周期内，响应于针对待访问虚拟存储区域的业务访问请求，确定存储集群中与所述待访问虚拟存储区域对应的目标预设存储区域；确定与所述目标预设存储区域对应的目标单连接；通过所述目标单连接将所述业务访问请求发送给所述存储集群；接收所述存储集群通过所述目标单连接反馈的请求处理异常状态信息；基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接向所述存储集群发送业务访问请求的数量。本申请能够实时进行调整流量以避免因瞬时高流量导致的系统功能异常，并且流量控制粒度小，从而提高了流量控制的精确度。
Description
技术领域
本申请涉及互联网技术领域，尤其涉及一种流量控制方法、装置及系统。
背景技术
系统需处理的请求是随机不可控的，而系统的处理能力是有限的，因此就需要根据系统的处理能力对流量进行控制。
相关技术中常用的流量控制方法是针对特定的系统服务，指定QPS(Queries-per-second，每秒查询率)阈值，当系统接收到的请求超过QPS阈值，拒绝服务或将请求加入等待队列匀速处理；一些分布式系统还会采用独立的流量控制模块，给各个客户端配置特定的流量阈值，并按照一定的时间周期监控服务端状态，当服务端流量过高或出现异常时，更新客户端的流量阈值以实现对客户端流量进行打压，直至服务端状态恢复正常；现有的流量控制方法的流程长从而导致响应速度慢，难以解决瞬时流量高的问题，并且流量控制模块管控的一般是整个客户端，流控粒度大从而导致流控不精准。
发明内容
本申请所要解决的技术问题在于，提供一种流量控制方法、装置及系统，能够实时进行调整流量以避免因瞬时高流量导致的系统功能异常，并且流量控制粒度小，从而提高了流量控制的精确度。
为了解决上述技术问题，一方面，本申请提供了一种流量控制方法，可应用于流量管理端，该方法可包括：
在当前周期内，响应于针对待访问虚拟存储区域的业务访问请求，确定存储集群中与所述待访问虚拟存储区域对应的目标预设存储区域；所述存储集群中包括多个预设存储区域；
基于在所述流量管理端与所述存储集群之间建立的多个预设单连接，以及所述存储集群中各预设存储区域和各预设单连接的对应关系，确定与所述目标预设存储区域对应的目标单连接；
通过所述目标单连接将所述业务访问请求发送给所述存储集群；
接收所述存储集群通过所述目标单连接反馈的请求处理异常状态信息；
基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接向所述存储集群发送业务访问请求的数量。
另一方面，本申请提供了另一种流量控制方法，可应用于存储集群端，该方法可包括：
在当前周期内，接收流量管理端通过目标单连接发送的业务访问请求；
对所述业务访问请求进行处理，基于对所述业务访问请求的处理结果生成请求处理异常状态信息；
将所述请求处理异常状态信息通过所述目标单连接反馈给所述流量管理端，以使得所述流量管理端基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接发送业务访问请求的数量。
另一方面，本申请提供了一种流量控制装置，该装置可包括：
业务访问请求响应模块，用于在当前周期内，响应于针对待访问虚拟存储区域的业务访问请求，确定存储集群中与所述待访问虚拟存储区域对应的目标预设存储区域；所述存储集群中包括多个预设存储区域；
目标单连接确定模块，用于基于在流量管理端与所述存储集群之间建立的多个预设单连接，以及所述存储集群中各预设存储区域和各预设单连接的对应关系，确定与所述目标预设存储区域对应的目标单连接；
业务访问请求发送模块，用于通过所述目标单连接将所述业务访问请求发送给所述存储集群；
状态信息接收模块，用于接收所述存储集群通过所述目标单连接反馈的请求处理异常状态信息；
流量调整模块，用于基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接向所述存储集群发送业务访问请求的数量。
另一方面，本申请提供了另一种流量控制装置，该装置可包括：
业务访问请求接收模块，用于在当前周期内，接收流量管理端通过目标单连接发送的业务访问请求；
状态信息生成模块，用于对所述业务访问请求进行处理，基于对所述业务访问请求的处理结果生成请求处理异常状态信息；
状态信息反馈模块，用于将所述请求处理异常状态信息通过所述目标单连接反馈给所述流量管理端，以使得所述流量管理端基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接发送业务访问请求的数量。
另一方面，本申请提供了一种流量控制系统，该系统可包括如上述的流量控制装置。
另一方面，本申请提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的流量控制方法。
另一方面，本申请提供了一种计算机存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行如上述的流量控制方法。
实施本申请实施例，具有如下有益效果：
本申请中流量管理端通过与目标预设存储区域之间的目标单连接，将业务访问请求发送给存储集群；接收存储集群通过目标单连接反馈的请求处理异常状态信息，从而可以基于当前周期内通过目标单连接反馈的请求处理异常状态信息，调整通过目标单连接向存储集群发送业务访问请求的数量。在通过目标单连接向存储集群发送了业务请求之后，可以直接接收到存储集群通过目标单连接发送的请求处理异常状态信息，从而可以实时了解与目标单连接对应的请求处理异常状态信息，并根据请求状态信息及时进行相应的流量调整，并不需要借助流控服务器来进行服务状态监控以及流量调整指令的发送，流控响应速度快，从而能够解决瞬时高流量的问题以实现实时进行调整流量以避免因瞬时高流量导致的系统功能异常；另外，通过目标单连接进行访问请求的发送以及请求处理状态的接收，可以实现对各单连接分别进行独立流量控制，各单连接之间互不影响，而并不是对整个的流量管理端进行流量控制，流量控制粒度小，从而提高了流量控制的精确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的实施环境示意图；
图2是本申请实施例提供的一种流量控制方法流程图；
图3是本申请实施例提供的一种目标预设存储区域确定方法流程图；
图4是本申请实施例提供的另一种目标预设存储区域确定方法流程图；
图5是本申请实施例提供的一种预设存储区域与预设单连接对应关系建立方法流程图；
图6是本申请实施例提供的一种业务访问请求发送数量的调整方法流程图；
图7是本申请实施例提供的另一种业务访问请求发送数量的调整方法流程图；
图8是本申请实施例提供的又一种业务访问请求发送数量的调整方法流程图；
图9是本申请实施例提供的另一种流量控制方法流程图；
图10是本申请实施例提供的云硬盘应用场景示意图；
图11是本申请实施例提供的一种流量控制装置示意图；
图12是本申请实施例提供的另一种流量控制装置示意图；
图13是本申请实施例提供的一种设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请涉及云存储技术(cloud storage)，云存储是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。目前，存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID，ID entity)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
请参阅图1，其示出了本申请实施例提供的实施环境示意图，该实施环境可包括：用户端110、流量管理端120以及存储集群端130，用户端110与流量管理端120之间、流量管理端120与存储集群端130之间可以通过有线或无线通信方式进行直接或间接地连接，以实现数据通信。
具体地，用户端110可向流量管理端120发送业务访问请求；流量管理端120根据接收到的业务访问请求确定相应的目标单连接，通过目标单连接将业务访问请求发送给存储集群端130；存储集群端130通过目标单连接将请求处理异常状态信息反馈给流量管理端120，流量管理端120根据接收到的请求处理异常状态信息调整通过目标单连接向存储集群端130发送业务访问请求的数量。
用户端110可以包括：智能手机、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载终端、服务器等类型的实体设备，也可以包括虚拟机等。本申请实施例中的用户端110上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
流量管理端120和存储集群端130具体可以为服务器，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
为了解决现有技术中流量控制的流程长导致响应速度慢，以及流控粒度大导致的流控不精准的问题，本申请实施例提供了一种流量控制方法，具体请参阅图2，该方法的执行主体可以为上述图1中的流量管理端，该方法具体可包括：
S210.在当前周期内，响应于针对待访问虚拟存储区域的业务访问请求，确定存储集群中与所述待访问虚拟存储区域对应的目标预设存储区域；所述存储集群中包括多个预设存储区域。
本申请实施例中的业务访问请求可以为任何类型的网络访问请求，用户在需要进行网络访问时，可通过用户端向流量管理端发送针对待访问虚拟存储区域的业务访问请求，这里的待访问虚拟存储区域是用户指定的虚拟存储区域或者根据用户的业务访问请求确定出的虚拟存储区域，需要将其对应到存储集群中的实际存储区域，从而确定对应的目标预设存储区域，具体请参阅图3，其示出了一种目标预设存储区域确定方法，可包括：
S310.确定所述待访问虚拟存储区域的虚拟起始地址和虚拟结束地址。
S320.将所述虚拟起始地址和所述虚拟结束地址分别转换为实际起始地址和实际结束地址。
S330.基于所述实际起始地址和所述实际结束地址在所述存储集群中确定实际存储区域。
S340.确定所述存储集群中包含所述实际存储区域的预设存储区域为所述目标预设存储区域。
以访问文件系统为例，相应的业务访问请求具体可以为文件处理请求，具体可包括文件写入请求、文件读取请求、文件删除请求、文件复制请求、文件剪切请求等。当用户计划从文件系统中读取文件时，例如需要读取D盘中的文件A，可通过用户端访问其中的D盘并对文件A执行读取操作，便可触发相应的文件读取请求并发送给流量管理端，这里的待访问虚拟区域可以为虚拟磁盘(例如D盘)对应的虚拟存储区域，也可以为待访问文件(例如文件A)所对应的虚拟存储区域，相应可确定待访问虚拟存储区域的虚拟起始地址和虚拟结束地址。这里的D盘可看成是虚拟盘，是用于向用户展示存储位置的盘符标识，并不是实际的存储硬盘；其中的文件A也并不是真实文件，只是与文件A对应的文件标识，真实的文件A是存储在存储集群中的。
根据预设的虚拟地址与实际地址的对应关系，可将虚拟起始地址以及虚拟结束地址转换为存储集群中的实际起始地址以及实际结束地址，从而根据实际起始地址和实际结束地址在存储集群中确定相应的实际存储区域，并将包括实际存储区域的预设存储区域确定为目标预设存储区域，即实际存储区域的大小是小于等于目标预设存储区域的大小。
上述图3中是直接基于虚拟地址与实际地址的对应关系来确定对应的目标预设存储区域的，用户发送的针对待访问虚拟存储区域的业务访问请求中还可包括业务类型，在具体实施过程中，还可结合业务类型来确定目标预设存储区域，请参阅图4，其示出了另一种目标预设存储区域确定方法，该方法可包括：
S410.基于针对待访问虚拟存储区域的业务访问请求中的业务类型，确定存储集群中与所述业务类型对应的目标区域，所述目标区域中包括至少一个预设存区域。
S420.基于虚拟地址与所述目标区域中实际地址的预设对应关系，在存储集群中确定出实际存储区域。
S430.将包含实际存储区域的预设存储区域确定为与所述待访问虚拟存储区域对应的目标预设存储区域。
其中对于虚拟地址的确定方法与上述图3中的方法一致，在此不再赘述；对于结合业务类型来确定目标预设存储区域的方法，其对应的是具体实施时在存储集群中按不同业务类型进行分区域存储，不同的业务类型对应不同的预设存储区域的情况。
需要说明的是，在确定了目标预设存储区域之后，对于业务访问请求中具体包括的待访问业务内容，可根据相应的业务标识从目标预设存储区域中进行确定；例如上述示例中，需要读取文件A，那么可在确定了与虚拟存储区域对应的目标预设存储区域之后，存储集群端可根据文件A的标识信息从目标预设存储区域中读取出文件A并返回给流量管理端，再由流量管理端返回给用户端。
S220.基于在所述流量管理端与所述存储集群之间建立的多个预设单连接，以及所述存储集群中各预设存储区域和各预设单连接的对应关系，确定与所述目标预设存储区域对应的目标单连接。
本申请实施例中的单连接可以指端到端的单个网络连接；在流量管理端和存储集群之间可预先建立多个预设单连接，存储集群中的每个预设存储区域中均有与其对应的预设单连接，一个预设单连接可对应一个或多个预设存储区域；具体请参阅图5，其示出了一种预设存储区域与预设单连接对应关系建立方法，该方法可包括：
S510.设置所述存储集群中每个预设存储区域所对应的业务类型。
一般对于每个预设存储区域会设置其对应同一业务类型。
S520.基于所述流量管理端与所述存储集群之间的多个预设单连接，为每种业务类型分配相应的预设单连接。
对于不同的预设单连接，其可能具有不同的连接网口、不同的路由以及不同的网络状况等，从而对于每种业务类型可为其适配相应的预设单连接；例如对于处理要求高的业务类型，可为其分配网络连接条件较好的预设单连接，对于处理要求不高的业务类型，可为其分配网络连接条件一般的预设单连接；从而能够为不同类型的业务按需分配适合的预设单连接，在不影响正常服务的情况下提升了业务服务的效率。
S530.基于每个预设存储区域所对应的业务类型，确定与所述预设存储区域对应的预设单连接。
S540.基于各预设存储区域以及与各预设存储区域对应的预设单连接，建立所述存储集群中各预设存储区域和各预设单连接的对应关系。
以上述访问文件系统为例，这里的业务类型可具体为文件类型，本申请实施例中的文件类型可包括但不限于：视频文件、音频文件、图片文件、文本文件、可执行文件等；同一预设存储区域中可存储相同文件类型的文件，可存在多个预设存储区域存储同一类型文件的情况，存储有不同文件类型文件的预设存储区域可对应不同的预设单连接，从而建立了各预设存储区域与各预设单连接的对应关系。
S230.通过所述目标单连接将所述业务访问请求发送给所述存储集群。
S240.接收所述存储集群通过所述目标单连接反馈的请求处理异常状态信息。
在流量管理端向存储集群发送每个业务访问请求之后，均会接收到存储集群基于相应目标单连接反馈的对于该业务访问请求的请求处理状态信息，这里的请求处理状态信息可能为请求处理正常状态信息，也可能是请求处理异常状态信息；本申请中是基于请求处理异常状态信息来进行后续相关操作的。
S250.基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接向所述存储集群发送业务访问请求的数量。
由于在当前周期内，流量管理端接收到的业务访问请求可以为一个或者多个，从而相应确定的目标单连接的数量也可能是一个或者多个，确定的目标单连接的数量可以小于等于接收到的业务访问请求的数量。
请参阅图6，其示出了一种业务访问请求发送数量的调整方法，其中，请求处理异常状态信息包括与所述存储集群处理状态相关的第一类型异常状态信息；该方法具体可包括：
S610.根据预设的第一类型异常状态信息的异常等级划分信息，分别统计所述当前周期内属于每个异常等级的第一类型异常状态信息的项数。
例如，异常等级可划分为等级1、等级2、……、等级N，每个等级均有与其对应的等级指标；当前周期内的每项第一类型异常状态信息也具有相应的指标，通过指标匹配，可以确定每项第一类型异常状态信息所属的异常等级，从而可统计属于各异常等级的第一类型异常状态的项数。以第一类型异常状态信息为请求响应时延高为例，其对应的等级指标可以为具体的响应时延长度，例如10ms\100ms\1000ms等多个等级；在具体确定所属异常等级时，可确定与当前项第一类型状态信息的指标最接近的等级指标所对应的等级为当前项第一类型状态信息所属的异常等级。
需要说明的是，第一类型异常状态信息中也可能包括多种不同类型的第一类型异常状态信息，在具体进行处理时，针对每种类型的第一类型异常状态信息，可分别统计属于各异常等级的项数。
S620.基于所述当前周期内属于每个异常等级的第一类型异常状态信息的项数以及与所述异常等级对应的权重进行加权和计算，得到第一状态数值。
当第一类型异常状态信息中包括一种第一类型异常状态信息时，根据属于每个异常等级的第一类型异常状态信息的项数以及相应异常等级的权重进行加权和计算，得到第一状态数值；当第一类型异常状态信息中包括多种第一类型异常状态信息时，基于上述方法分别计算与每种类型的第一类型异常状态信息对应的第一状态数值，从而可得到多个第一状态数值，对于这多个第一状态数值进行预设计算，可得到最终的第一状态数值；具体的预设计算可以为平均值计算、加权和计算等。
S630.将所述第一状态数值与多个等级的第一阈值进行匹配，确定与所述第一状态数值相匹配的目标第一阈值；其中，所述第一状态数值大于等于所述目标第一阈值。
这里的目标第一阈值具体可以为小于第一状态数值且与第一状态数值最相近的阈值。
S640.确定与所述目标第一阈值对应的第一下降梯度，基于所述第一下降梯度减少在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量。
对于每个等级的第一阈值，均会有与其对应的下降梯度和提升梯度，由于当前步骤是在开始接收到请求处理异常状态信息后执行的，之前不存在请求处理异常状态信息，从而当前周期可看成是初始周期，所以此时需要在原基础上降低流量，从而需要确定的是与目标第一阈值对应的下降梯度。具体地，可基于预设的业务访问请求发送数量以及第一下降梯度，对预设时间段内的业务访问请求发送数量进行调整。
在通过目标单连接向存储集群发送业务访问请求之后，根据存储集群通过目标单连接反馈的第一类型异常状态信息，能够及时调整预设时间段内通过目标单连接向存储集群发送业务访问请求的数量，从而能够避免由于流控流程长瞬时流量高而导致的系统功能异常的情况；另外，对于不同的目标单连接，可通过相同的方法进行业务访问请求数量的调整，各目标单连接互不影响，基于单连接的业务访问请求数量的调整使得流控粒度小，从而提升了流控效果。
在当前周期对业务访问请求的发送数量进行了调整之后，下一周期会基于当前周期的调整细节以及下一周期所接收的请求处理异常状态信息，对预设时间段内向存储集群发送的业务访问请求数量再进行调整；具体请参阅图7，其示出了另一种业务访问请求发送数量的调整方法，该方法可包括：
S710.在当前周期的下一周期内，根据预设的第一类型异常状态信息的异常等级划分信息，分别统计所述下一周期内属于每个异常等级的第一类型异常状态信息的项数。
S720.基于所述下一周期内属于每个异常等级的第一类型异常状态信息的项数以及与所述异常等级对应的权重进行加权和计算，得到第二状态数值。
此处的第二状态数值的计算方法与上述第一状态数值的计算方法相同，在此不再赘述。
S730.当所述第二状态数值小于所述目标第一阈值时，将所述第二状态数值与多个等级的第一阈值进行匹配，确定与所述第二状态数值相匹配的目标第二阈值；其中，所述第二状态数值小于所述目标第二阈值。
首先将第二状态数值与目标第一阈值进行比较，当第二状态数值小于目标第一阈值时，说明该周期内出现异常状态的情况有所缓解，此时可以重新进行阈值匹配，确定目标第二阈值。
这里的目标第二阈值具体可以为大于第二状态数值且与第二状态数值最相近的阈值。
S740.确定与所述目标第二阈值对应的第一提升梯度，基于所述第一提升梯度增加在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量。
由于出现异常状态的情况有所缓解，此时可适当地提高发送业务请求的数量，从而需要确定与目标第二阈值对应的提升梯度；具体地，可基于上一周期调整后的业务访问请求发送数量以及第一提升梯度，对预设时间段内的业务访问请求发送数量进行调整。
从而在已经对预设时间段内的业务访问请求发送数量进行了调整之后，可在下一周期内对异常状态进行监控，并且确定异常状态是否有所缓解，当有所缓解时，为了保证业务请求处理效率，可基于相应的流控调整策略适当地提高预设时间段内的业务访问请求发送数量；当没有缓解时，可基于相应的流控调整策略进一步降低预设时间段内的业务访问请求发送数量，以保证服务系统的正常运行而避免出现系统崩溃的情况，具体可通过如图6所示的方法来实现。
请参阅图8，其示出了又一种业务访问请求发送数量的调整方法，其针对的是请求处理异常状态信息包括与所述业务访问请求相关的第二类型异常状态信息的情况，具体地，该方法可包括：
S810.当接收到所述第二类型异常状态信息时，将在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量调整至第一预设数量。
S820.在所述将在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量调整至预设数量后，当连续接收到正常状态信息的项数达到第二预设数量时，基于第二提升梯度增加通过所述目标单连接向所述存储集群发送业务访问请求的数量。
由于第二类型异常状态是可能会引起请求无法处理的状态，在具体实施过程中，只要流量管理端通过目标单连接接收到第二类型异常状态信息，直接将业务访问请求发送数量调整至第一预设数量；后续在连续接收到第二预设数量的请求处理正常状态信息项时，根据相应的流控调整策略适当地提高预设时间段内的业务访问请求发送数量。
通过图8所示的业务访问请求发送数量的调整方法，能够根据当前接收到的第二类型异常状态做出实时反应，从而可及时调整当前时间节点后续的预设时间段内的业务访问请求发送数量。
本申请实施例还提供了另一种流量控制方法，其执行主体可以为图1中的存储集群端，该方法具体可包括：
S910.在当前周期内，接收流量管理端通过目标单连接发送的业务访问请求。
S920.对所述业务访问请求进行处理，基于对所述业务访问请求的处理结果生成请求处理异常状态信息。
根据对业务访问请求的处理结果，可确定其所对应的请求处理异常状态信息，例如与存储集群处理状态相关的第一类型异常状态信息或者与业务访问请求相关的第二类型异常状态信息。
S930.将所述请求处理异常状态信息通过所述目标单连接反馈给所述流量管理端，以使得所述流量管理端基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接发送业务访问请求的数量。
通过流量管理端与存储集群端之间的交互，可对从流量管理端到存储集群端的流量进行控制。存储集群端通过对流量管理端通过目标单连接发送的业务访问请求进行处理，并通过目标单连接反馈相应的请求处理异常状态信息，以使得流量管理端根据接收到的请求处理异常状态信息确定相应的流控策略，以实现调整通过所述目标单连接向存储集群端发送业务访问请求的数量。
存储集群通过目标单连接反馈请求处理异常状态信息，使得流量管理端能够及时调整预设时间段内通过目标单连接向存储集群发送业务访问请求的数量，从而能够避免由于流控流程长瞬时流量高而导致的系统功能异常的情况；另外，对于不同的目标单连接，可通过相同的方法进行业务访问请求数量的调整，各目标单连接互不影响，基于单连接的业务访问请求数量的调整使得流控粒度小，从而提升了流控效果。
本申请可以应用到各种分布式集群相关的场景中，下面具体以云硬盘应用场景为例来说明本申请的具体实施流程，请参阅图10，其示出了云硬盘应用场景示意图，其中云硬盘客户端即为本实施例上述流量管理端，云硬盘客户端提供云硬盘给虚拟机使用，虚拟机对云硬盘vdisk1发起IO(Input/Output)读写请求，云硬盘客户端收到IO读写请求后找到与存储集群的特定连接如连接1，并下发IO读写请求；如果连接1对应的存储机器1在处理此IO读写请求过程中因请求过多等原因出现资源不足等异常，将返回相关错误码；而云硬盘客户端侧如果检测到对应连接返回了错误码或请求时延高，则降低对应连接的流量阈值，达到实时控制流量的目的；一段时间如100ms后没有错误码且时延正常，则慢慢恢复流量阈值，以防止IO频繁抖动。
针对每个连接，每当发起一个请求时进行状态监控，请求响应时检测是否存在状态异常，如果异常，则针对该连接触发相应的流控策略；具体可定义一些负反馈状态以及对应的流量控制策略，当然负反馈状态以及对应的流量控制策略是可以根据业务实际情况适当增删调整的。
负反馈状态可包括：
1.请求响应时延高：一个请求从发起到回应的时间相差超过10ms，则定义为高时延；对高时延划分等级，可以有10ms\100ms\1000ms等多个等级。
2.服务端可用资源低于阈值：如由于请求数过多存储集群端已使用很多缓存，剩余缓存资源低于原本的5％；存储集群端特定关键线程CPU占用持续90％以上；服务端使用的硬盘使用率持续100％，服务响应时延持续处于较高水平等。
3.存储集群端处理请求超时：存储集群端内部用超时机制监控每个进入的请求来判断请求是否处理超时，可能的原因如存储集群端请求队列中数目过多或存储集群端内部大量重试操作导致新进入的请求没有得到处理导致超时。
4.请求错误：存储集群端识别到请求格式不对、没有权限、超出界限时返回请求错误消息。
5.请求的资源忙：如读写磁盘请求，如磁盘处于繁忙状态、磁盘出现异常无法处理请求等，则返回此状态。
其中的反馈状态1、2、3可看成是与存储集群处理状态相关的第一类型异常状态信息，反馈状态4、5可看成是与业务访问请求相关的第二类型异常状态信息。
流量控制策略可包括：
1.针对负反馈状态的1、2、3状态，对于其中任一种状态，统计若干秒内异常状态的个数cnt与严重程度(如请求响应时延越高的，严重程度权重weight越大等)，设置阈值为threshold，当如果cnt*weight>＝threshold时，降低此连接的流量阈值如原始流量阈值的一半；当下一个周期cnt*weight<threshold时，则慢慢恢复流量阈值，如一次提升50％；可以有多个等级的threshold，不同threshold对应不同的阈值降低和提升阶梯。
2.针对负反馈状态中的4、5这种严重错误状态，则直接将流量阈值降低到很低如1，然后再根据后续请求的反馈状态慢慢恢复流量阈值，如后续请求持续若干次正常时，则以一定的梯度如20％提升流量阈值。
在云硬盘应用场景中，云硬盘客户端利用存储集群端通过相应单连接回应的消息码或延时等反馈状态信息主动调整对应单连接的流量阈值，例如通过本申请实施例中提供的流量控制方法能够达到100ms级别的流量收缩响应，相比于现有技术中独立流控系统秒级别甚至更高时延的流控响应，本申请中的流量控制方法具有更快的流控响应速度，从而能够解决瞬时高流量的问题，达到实时调整流量避免因瞬时高流量等场景导致服务端功能异常、QPS频繁抖动等问题。
本申请中流量管理端通过与目标预设存储区域之间的目标单连接，将业务访问请求发送给存储集群；接收存储集群通过目标单连接反馈的请求处理异常状态信息，从而可以基于当前周期内通过目标单连接反馈的请求处理异常状态信息，调整通过目标单连接向存储集群发送业务访问请求的数量。在通过目标单连接向存储集群发送了业务请求之后，可以直接接收到存储集群通过目标单连接发送的请求处理异常状态信息，从而可以实时了解与目标单连接对应的请求处理异常状态信息，并根据请求状态信息及时进行相应的流量调整，并不需要借助流控服务器来进行服务状态监控以及流量调整指令的发送，流控响应速度快，从而能够实现实时进行调整流量以避免因瞬时高流量导致的系统功能异常；另外，通过目标单连接进行访问请求的发送以及请求处理状态的接收，可以实现对各单连接分别进行独立流量控制，各单连接之间互不影响，而并不是对整个的流量管理端进行流量控制，流量控制粒度小，从而提高了流量控制的精确度。
本申请实施例还提供了一种流量控制装置，可应用于流量管理端，具体请参阅图11，该装置可包括：
业务访问请求响应模块1110，用于在当前周期内，响应于针对待访问虚拟存储区域的业务访问请求，确定存储集群中与所述待访问虚拟存储区域对应的目标预设存储区域；所述存储集群中包括多个预设存储区域；
目标单连接确定模块1120，用于基于在流量管理端与所述存储集群之间建立的多个预设单连接，以及所述存储集群中各预设存储区域和各预设单连接的对应关系，确定与所述目标预设存储区域对应的目标单连接；
业务访问请求发送模块1130，用于通过所述目标单连接将所述业务访问请求发送给所述存储集群；
状态信息接收模块1140，用于接收所述存储集群通过所述目标单连接反馈的请求处理异常状态信息；
流量调整模块1150，用于基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接向所述存储集群发送业务访问请求的数量。
其中，业务访问请求响应模块1110包括：
虚拟地址确定模块，用于确定所述待访问虚拟存储区域的虚拟起始地址和虚拟结束地址；
地址转换模块，用于将所述虚拟起始地址和所述虚拟结束地址分别转换为实际起始地址和实际结束地址；
实际存储区域确定模块，用于基于所述实际起始地址和所述实际结束地址在所述存储集群中确定实际存储区域；
目标预设存储区域确定模块，用于确定所述存储集群中包含所述实际存储区域的预设存储区域为所述目标预设存储区域。
进一步地，该装置还可包括：
业务类型设置模块，用于设置所述存储集群中每个预设存储区域所对应的业务类型；
预设单连接分配模块，用于基于所述流量管理端与所述存储集群之间的多个预设单连接，为每种业务类型分配相应的预设单连接；
第一确定模块，用于基于每个预设存储区域所对应的业务类型，确定与所述预设存储区域对应的预设单连接；
对应关系建立模块，用于基于各预设存储区域以及与各预设存储区域对应的预设单连接，建立所述存储集群中各预设存储区域和各预设单连接的对应关系。
请求处理异常状态信息包括与所述存储集群处理状态相关的第一类型异常状态信息；从而流量调整模块1150可包括：
第一统计模块，用于根据预设的第一类型异常状态信息的异常等级划分信息，分别统计所述当前周期内属于每个异常等级的第一类型异常状态信息的项数；
第一计算模块，用于基于所述当前周期内属于每个异常等级的第一类型异常状态信息的项数以及与所述异常等级对应的权重进行加权和计算，得到第一状态数值；
第一阈值确定模块，用于将所述第一状态数值与多个等级的第一阈值进行匹配，确定与所述第一状态数值相匹配的目标第一阈值；其中，所述第一状态数值大于等于所述目标第一阈值；
第一调整模块，用于确定与所述目标第一阈值对应的第一下降梯度，基于所述第一下降梯度减少在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量。
进一步地，该装置还可包括：
第二统计模块，用于在当前周期的下一周期内，根据预设的第一类型异常状态信息的异常等级划分信息，分别统计所述下一周期内属于每个异常等级的第一类型异常状态信息的项数；
第二计算模块，用于所述下一周期内基于属于每个异常等级的第一类型异常状态信息的项数以及与所述异常等级对应的权重进行加权和计算，得到第二状态数值；
第二阈值确定模块，用于当所述第二状态数值小于所述目标第一阈值时，将所述第二状态数值与多个等级的第一阈值进行匹配，确定与所述第二状态数值相匹配的目标第二阈值；其中，所述第二状态数值小于所述目标第二阈值；
第二调整模块，用于确定与所述目标第二阈值对应的第一提升梯度，基于所述第一提升梯度增加在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量。
请求处理异常状态信息包括与所述业务访问请求相关的第二类型异常状态信息；从而流量调整模块1150还可包括：
第三调整模块，用于当接收到所述第二类型异常状态信息时，将在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量调整至第一预设数量；
第四调整模块，用于在所述将在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量调整至预设数量后，当连续接收到请求处理正常状态信息的项数达到第二预设数量时，基于第二提升梯度增加通过所述目标单连接向所述存储集群发送业务访问请求的数量。
本申请实施例还提供了另一种流量控制装置，可应用于存储集群端，请参阅图12，该装置可包括：
业务访问请求接收模块1210，用于在当前周期内，接收流量管理端通过目标单连接发送的业务访问请求；
状态信息生成模块1220，用于对所述业务访问请求进行处理，基于对所述业务访问请求的处理结果生成请求处理异常状态信息；
状态信息反馈模块1230，用于将所述请求处理异常状态信息通过所述目标单连接反馈给所述流量管理端，以使得所述流量管理端基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接发送业务访问请求的数量。
上述实施例中提供的装置可执行本申请实施例中的对应方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的方法。
本申请实施例还提供了一种流量控制系统，该系统可包括流量管理端和存储集群端，其中流量管理端可包括图11中的流量控制装置，存储集群端可包括图12中的流量控制装置。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行如本实施例上述任一方法。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本实施例上述任一方法。
本实施例还提供了一种设备，其结构图请参见图13，该设备1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1322(例如，一个或一个以上处理器)和存储器1332，一个或一个以上存储应用程序1342或数据1344的存储媒体1330(例如一个或一个以上海量存储设备)。其中，存储器1332和存储媒体1330可以是短暂存储或持久存储。存储在存储媒体1330的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对设备中的一系列指令操作。更进一步地，中央处理器1322可以设置为与存储媒体1330通信，在设备1300上执行存储媒体1330中的一系列指令操作。设备1300还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358，和/或，一个或一个以上操作系统1341，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。本实施例上述的任一方法均可基于图13所示的设备进行实施。
本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或中断产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本实施例中所示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比示出的更多或更少的部件，或者组合某些部件，或者具有不同的部件的布置。应当理解到，本实施例中所揭露的方法、装置等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元模块的间接耦合或通信连接。
基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本申请的范围。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种流量控制方法，其特征在于，应用于流量管理端，所述方法包括：
在当前周期内，响应于针对待访问虚拟存储区域的业务访问请求，确定存储集群中与所述待访问虚拟存储区域对应的目标预设存储区域；所述存储集群中包括多个预设存储区域；
设置所述存储集群中每个预设存储区域所对应的业务类型；
基于所述流量管理端与所述存储集群之间的多个预设单连接，为每种业务类型分配相应的预设单连接；
基于每个预设存储区域所对应的业务类型，确定与所述预设存储区域对应的预设单连接；
基于各预设存储区域以及与各预设存储区域对应的预设单连接，建立所述存储集群中各预设存储区域和各预设单连接的对应关系；
基于在所述流量管理端与所述存储集群之间建立的多个预设单连接，以及所述存储集群中各预设存储区域和各预设单连接的对应关系，确定与所述目标预设存储区域对应的目标单连接；
通过所述目标单连接将所述业务访问请求发送给所述存储集群；
接收所述存储集群通过所述目标单连接反馈的请求处理异常状态信息；
基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接向所述存储集群发送业务访问请求的数量。
2.根据权利要求1所述的流量控制方法，其特征在于，所述确定存储集群中与所述待访问虚拟存储区域对应的目标预设存储区域包括：
确定所述待访问虚拟存储区域的虚拟起始地址和虚拟结束地址；
将所述虚拟起始地址和所述虚拟结束地址分别转换为实际起始地址和实际结束地址；
基于所述实际起始地址和所述实际结束地址在所述存储集群中确定实际存储区域；
确定所述存储集群中包含所述实际存储区域的预设存储区域为所述目标预设存储区域。
3.根据权利要求1所述的流量控制方法，其特征在于，所述请求处理异常状态信息包括与所述存储集群处理状态相关的第一类型异常状态信息；
所述基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接向所述存储集群发送业务访问请求的数量包括：
根据预设的第一类型异常状态信息的异常等级划分信息，分别统计所述当前周期内属于每个异常等级的第一类型异常状态信息的项数；
基于所述当前周期内属于每个异常等级的第一类型异常状态信息的项数以及与所述异常等级对应的权重进行加权和计算，得到第一状态数值；
将所述第一状态数值与多个等级的第一阈值进行匹配，确定与所述第一状态数值相匹配的目标第一阈值；其中，所述第一状态数值大于等于所述目标第一阈值；
确定与所述目标第一阈值对应的第一下降梯度，基于所述第一下降梯度减少在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量。
4.根据权利要求3所述的流量控制方法，其特征在于，所述基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接向所述存储集群发送业务访问请求的数量之后还包括：
在当前周期的下一周期内，根据预设的第一类型异常状态信息的异常等级划分信息，分别统计所述下一周期内属于每个异常等级的第一类型异常状态信息的项数；
基于所述下一周期内属于每个异常等级的第一类型异常状态信息的项数以及与所述异常等级对应的权重进行加权和计算，得到第二状态数值；
当所述第二状态数值小于所述目标第一阈值时，将所述第二状态数值与多个等级的第一阈值进行匹配，确定与所述第二状态数值相匹配的目标第二阈值；其中，所述第二状态数值小于所述目标第二阈值；
确定与所述目标第二阈值对应的第一提升梯度，基于所述第一提升梯度增加在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量。
5.根据权利要求1所述的流量控制方法，其特征在于，所述请求处理异常状态信息包括与所述业务访问请求相关的第二类型异常状态信息；
所述基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接向所述存储集群发送业务访问请求的数量包括：
当接收到所述第二类型异常状态信息时，将在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量调整至第一预设数量；
在所述将在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量调整至预设数量后，当连续接收到请求处理正常状态信息的项数达到第二预设数量时，基于第二提升梯度增加通过所述目标单连接向所述存储集群发送业务访问请求的数量。
6.一种流量控制方法，其特征在于，应用于存储集群端，所述方法包括：
在当前周期内，接收流量管理端通过目标单连接发送的业务访问请求；所述目标单连接基于多个预设单连接以及所述存储集群中各预设存储区域和各预设单连接的对应关系确定；所述对应关系的确定方法包括：设置所述存储集群端中每个预设存储区域所对应的业务类型；基于所述流量管理端与所述存储集群端之间的多个预设单连接，为每种业务类型分配相应的预设单连接；基于每个预设存储区域所对应的业务类型，确定与所述预设存储区域对应的预设单连接；基于各预设存储区域以及与各预设存储区域对应的预设单连接，建立所述存储集群中各预设存储区域和各预设单连接的对应关系；
对所述业务访问请求进行处理，基于对所述业务访问请求的处理结果生成请求处理异常状态信息；
将所述请求处理异常状态信息通过所述目标单连接反馈给所述流量管理端，以使得所述流量管理端基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接发送业务访问请求的数量。
7.一种流量控制装置，其特征在于，包括：
业务访问请求响应模块，用于在当前周期内，响应于针对待访问虚拟存储区域的业务访问请求，确定存储集群中与所述待访问虚拟存储区域对应的目标预设存储区域；所述存储集群中包括多个预设存储区域；
业务类型设置模块，用于设置所述存储集群中每个预设存储区域所对应的业务类型；
预设单连接分配模块，用于基于流量管理端与所述存储集群之间的多个预设单连接，为每种业务类型分配相应的预设单连接；
第一确定模块，用于基于每个预设存储区域所对应的业务类型，确定与所述预设存储区域对应的预设单连接；
对应关系建立模块，用于基于各预设存储区域以及与各预设存储区域对应的预设单连接，建立所述存储集群中各预设存储区域和各预设单连接的对应关系；
目标单连接确定模块，用于基于在流量管理端与所述存储集群之间建立的多个预设单连接，以及所述存储集群中各预设存储区域和各预设单连接的对应关系，确定与所述目标预设存储区域对应的目标单连接；
业务访问请求发送模块，用于通过所述目标单连接将所述业务访问请求发送给所述存储集群；
状态信息接收模块，用于接收所述存储集群通过所述目标单连接反馈的请求处理异常状态信息；
流量调整模块，用于基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接向所述存储集群发送业务访问请求的数量。
8.根据权利要求7所述的装置，其特征在于，所述业务访问请求响应模块包括：
虚拟地址确定模块，用于确定所述待访问虚拟存储区域的虚拟起始地址和虚拟结束地址；
地址转换模块，用于将所述虚拟起始地址和所述虚拟结束地址分别转换为实际起始地址和实际结束地址；
实际存储区域确定模块，用于基于所述实际起始地址和所述实际结束地址在所述存储集群中确定实际存储区域；
目标预设存储区域确定模块，用于确定所述存储集群中包含所述实际存储区域的预设存储区域为所述目标预设存储区域。
9.根据权利要求7所述的装置，其特征在于，所述请求处理异常状态信息包括与所述存储集群处理状态相关的第一类型异常状态信息；所述流量调整模块包括：
第一统计模块，用于根据预设的第一类型异常状态信息的异常等级划分信息，分别统计所述当前周期内属于每个异常等级的第一类型异常状态信息的项数；
第一计算模块，用于基于所述当前周期内属于每个异常等级的第一类型异常状态信息的项数以及与所述异常等级对应的权重进行加权和计算，得到第一状态数值；
第一阈值确定模块，用于将所述第一状态数值与多个等级的第一阈值进行匹配，确定与所述第一状态数值相匹配的目标第一阈值；其中，所述第一状态数值大于等于所述目标第一阈值；
第一调整模块，用于确定与所述目标第一阈值对应的第一下降梯度，基于所述第一下降梯度减少在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二统计模块，用于在当前周期的下一周期内，根据预设的第一类型异常状态信息的异常等级划分信息，分别统计所述下一周期内属于每个异常等级的第一类型异常状态信息的项数；
第二计算模块，用于所述下一周期内基于属于每个异常等级的第一类型异常状态信息的项数以及与所述异常等级对应的权重进行加权和计算，得到第二状态数值；
第二阈值确定模块，用于当所述第二状态数值小于目标第一阈值时，将所述第二状态数值与多个等级的第一阈值进行匹配，确定与所述第二状态数值相匹配的目标第二阈值；其中，所述第二状态数值小于所述目标第二阈值；
第二调整模块，用于确定与所述目标第二阈值对应的第一提升梯度，基于所述第一提升梯度增加在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量。
11.根据权利要求7所述的装置，其特征在于，所述请求处理异常状态信息包括与所述业务访问请求相关的第二类型异常状态信息；所述流量调整模块包括：
第三调整模块，用于当接收到所述第二类型异常状态信息时，将在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量调整至第一预设数量；
第四调整模块，用于在所述将在预设时间段内通过所述目标单连接向所述存储集群发送业务访问请求的数量调整至预设数量后，当连续接收到请求处理正常状态信息的项数达到第二预设数量时，基于第二提升梯度增加通过所述目标单连接向所述存储集群发送业务访问请求的数量。
12.一种流量控制装置，其特征在于，包括：
业务访问请求接收模块，用于在当前周期内，接收流量管理端通过目标单连接发送的业务访问请求；所述目标单连接基于多个预设单连接以及存储集群端中各预设存储区域和各预设单连接的对应关系确定；所述对应关系的确定方法包括：设置所述存储集群端中每个预设存储区域所对应的业务类型；基于所述流量管理端与所述存储集群端之间的多个预设单连接，为每种业务类型分配相应的预设单连接；基于每个预设存储区域所对应的业务类型，确定与所述预设存储区域对应的预设单连接；基于各预设存储区域以及与各预设存储区域对应的预设单连接，建立所述存储集群中各预设存储区域和各预设单连接的对应关系；
状态信息生成模块，用于对所述业务访问请求进行处理，基于对所述业务访问请求的处理结果生成请求处理异常状态信息；
状态信息反馈模块，用于将所述请求处理异常状态信息通过所述目标单连接反馈给所述流量管理端，以使得所述流量管理端基于在所述当前周期内通过所述目标单连接反馈的至少一项所述请求处理异常状态信息，调整通过所述目标单连接发送业务访问请求的数量。
13.一种流量控制系统，其特征在于，包括：
如权利要求7-11任一项所述的流量控制装置，以及如权利要求12所述的流量控制装置。
14.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-5任一项所述的流量控制方法，或如权利要求6所述的流量控制方法。
15.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行如权利要求1-5任一项所述的流量控制方法，或如权利要求6所述的流量控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011101957.7A CN112165436B (zh) | 2020-10-15 | 2020-10-15 | 流量控制方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011101957.7A CN112165436B (zh) | 2020-10-15 | 2020-10-15 | 流量控制方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112165436A CN112165436A (zh) | 2021-01-01 |
| CN112165436B true CN112165436B (zh) | 2024-02-20 |
Family
ID=73867141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011101957.7A Active CN112165436B (zh) | 2020-10-15 | 2020-10-15 | 流量控制方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112165436B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112995052B (zh) * | 2021-04-25 | 2021-08-06 | 北京世纪好未来教育科技有限公司 | 流量控制方法及相关装置 |
| CN113905091B (zh) * | 2021-09-15 | 2023-09-01 | 盐城天眼察微科技有限公司 | 用于对访问请求进行处理的方法及装置 |
| CN114500663B (zh) * | 2021-12-28 | 2024-04-12 | 网宿科技股份有限公司 | 内容分发网络设备的调度方法、装置、设备及存储介质 |
| CN114640516B (zh) * | 2022-03-09 | 2023-10-20 | 平安科技（深圳）有限公司 | 存储集群的访问控制方法和装置、电子设备、存储介质 |
| CN115002044B (zh) * | 2022-05-26 | 2024-03-19 | 平安银行股份有限公司 | 控制数据传输的方法、装置、计算机设备及存储介质 |
| CN115580580B (zh) * | 2022-10-12 | 2024-05-17 | 中国平安人寿保险股份有限公司 | 流量控制方法、流量控制装置、计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104753805A (zh) * | 2013-12-31 | 2015-07-01 | 腾讯科技（深圳）有限公司 | 分布式流量控制方法、服务器和系统 |
| CN110120973A (zh) * | 2019-04-28 | 2019-08-13 | 华为技术有限公司 | 一种请求控制方法、相关设备及计算机存储介质 |
| CN110138732A (zh) * | 2019-04-03 | 2019-08-16 | 平安科技（深圳）有限公司 | 访问请求的响应方法、装置、设备及存储介质 |
| CN110661824A (zh) * | 2018-06-28 | 2020-01-07 | 阿里巴巴集团控股有限公司 | 分布式集群中服务器的流量调控方法以及装置 |
| CN111131063A (zh) * | 2019-12-31 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 一种流量控制的方法、相关装置、设备以及存储介质 |
-
2020
- 2020-10-15 CN CN202011101957.7A patent/CN112165436B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104753805A (zh) * | 2013-12-31 | 2015-07-01 | 腾讯科技（深圳）有限公司 | 分布式流量控制方法、服务器和系统 |
| CN110661824A (zh) * | 2018-06-28 | 2020-01-07 | 阿里巴巴集团控股有限公司 | 分布式集群中服务器的流量调控方法以及装置 |
| CN110138732A (zh) * | 2019-04-03 | 2019-08-16 | 平安科技（深圳）有限公司 | 访问请求的响应方法、装置、设备及存储介质 |
| CN110120973A (zh) * | 2019-04-28 | 2019-08-13 | 华为技术有限公司 | 一种请求控制方法、相关设备及计算机存储介质 |
| CN111131063A (zh) * | 2019-12-31 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 一种流量控制的方法、相关装置、设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112165436A (zh) | 2021-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112165436B (zh) | 流量控制方法、装置及系统 | |
| CN109194584B (zh) | 一种流量监控方法、装置、计算机设备及存储介质 | |
| US9984013B2 (en) | Method, controller, and system for service flow control in object-based storage system | |
| CN111818159B (zh) | 数据处理节点的管理方法、装置、设备及存储介质 | |
| CN110858161B (zh) | 资源分配方法、装置、系统、设备和介质 | |
| CN107592345B (zh) | 交易限流装置、方法及交易系统 | |
| CN110460534B (zh) | 一种请求消息上报方法、装置、设备及存储介质 | |
| WO2023050901A1 (zh) | 一种负载均衡方法、装置、设备、计算机存储介质和程序 | |
| JP2017126975A (ja) | データセンターのネットワークトラフィックスケジューリング方法及び装置 | |
| WO2019237594A1 (zh) | 会话保持方法、装置、计算机设备及存储介质 | |
| CN110933178B (zh) | 调整集群系统内的节点配置的方法及服务器 | |
| CN110740164B (zh) | 服务器确定方法、调控方法、装置、设备及存储介质 | |
| CN107872517B (zh) | 一种数据处理方法及装置 | |
| CN111641563B (zh) | 基于分布式场景的流量自适应方法与系统 | |
| CN108023759B (zh) | 自适应的资源调度方法和装置 | |
| CN115277577A (zh) | 数据处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN113568756A (zh) | 一种密码资源协同动态调度方法和系统 | |
| CN111061431A (zh) | 一种分布式存储方法、服务器及客户端 | |
| CN115396377B (zh) | 对象存储的服务质量优化方法、装置、设备及存储介质 | |
| CN112416594A (zh) | 一种微服务分配方法、电子设备和计算机存储介质 | |
| CN114296891A (zh) | 任务的调度方法、系统、计算设备、存储介质及程序产品 | |
| CN111078386A (zh) | 一种分布式调度系统的控制方法及控制装置 | |
| CN110868323A (zh) | 一种带宽控制方法、装置、设备及介质 | |
| CN113419993B (zh) | 读写请求处理方法、装置、电子设备及存储介质 | |
| CN111309442A (zh) | 微服务容器数量的调整方法、装置、系统、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |