[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106357726A - 负载均衡方法及装置 - Google Patents

负载均衡方法及装置 Download PDF

Info

Publication number
CN106357726A
CN106357726A CN201610718285.1A CN201610718285A CN106357726A CN 106357726 A CN106357726 A CN 106357726A CN 201610718285 A CN201610718285 A CN 201610718285A CN 106357726 A CN106357726 A CN 106357726A
Authority
CN
China
Prior art keywords
data processing
session
processing unit
information
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610718285.1A
Other languages
English (en)
Other versions
CN106357726B (zh
Inventor
金健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201610718285.1A priority Critical patent/CN106357726B/zh
Publication of CN106357726A publication Critical patent/CN106357726A/zh
Application granted granted Critical
Publication of CN106357726B publication Critical patent/CN106357726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/148Migration or transfer of sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种负载均衡方法及装置,涉及通信技术领域,可以实现数据处理器中数据处理单元之间的负载均衡。所述方法包括:获取数据处理器中数据处理单元的会话分配信息;根据所述会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息;根据所述会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移。本发明适用于负载均衡处理。

Description

负载均衡方法及装置
技术领域
本发明涉及一种通信技术领域,特别是涉及一种负载均衡方法及装置。
背景技术
随着通信技术的不断发展,网卡技术越来越成熟。网卡是工作在链路层的网络组件,是局域网中连接计算机和传输介质的接口,不仅能实现与局域网传输介质之间的物理连接和电信号匹配,还涉及帧的发送与接收、帧的封装与拆封、介质访问控制、数据的编码与解码以及数据缓存的功能等。
目前,新一代的网卡通常支持多个接收和发送队列,即多队列网卡。该网卡能够将接收的网络数据包分发到不同的队列,进而使得网络流量能在数据处理器中不同的数据处理单元之间并行处理。具体地,网卡通过数据包分类算法,来指定网络数据包属于哪个分类,每个分类的数据包被送至一个指定的接收队列中,数据处理器会对每个队列中的数据包进行处理,每个数据处理单元对应处理一个队列中的数据包,进而使得每个数据处理单元处理各自的会话任务。
然而,通过上述数据包分类算法进行数据包分发时,会存在数据流分发不均匀的情况,例如,根据提取数据包相应字段,作为哈希函数的输入参数进行哈希运算,并依据计算出的函数结果对数据包进行分发,会话任务会随机分发给不同数据处理单元,会导致数据处理器中同时存在会话任务过多的数据处理单元和会话任务过少的数据数量单元。进而会造成数据处理单元之间处理的会话数量不均衡的问题,从而导致了不同数据处理单元之间负载不均衡,影响了数据处理器的处理效率。
发明内容
有鉴于此,本发明实施例提供了一种负载均衡方法及装置,主要目的在于可以实现不同数据处理单元之间的负载均衡,可以提高数据处理器的处理效率。
依据本发明实施例一个方面,提供了一种负载均衡方法,该方法包括:
获取数据处理器中数据处理单元的会话分配信息;
根据所述会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息;
根据所述会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移。
进一步地,所述会话分配信息中包含所述数据处理器中数据处理单元的个数,以及所述数据处理器中每个数据处理单元当前处理的会话数量,所述根据所述会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息,具体包括:
根据所述会话数量、数据处理单元的个数和预设负载均衡调度规则,确定每个数据处理单元中需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元;
根据所述需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元,生成数据处理单元之间负载均衡的会话调度信息。
进一步地,所述根据所述会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移,具体包括:
在原数据处理单元对需要迁移的会话的已接收数据包处理结束后,根据所述会话调度信息,将所述需要迁移的会话迁移到目标数据处理单元。
进一步地,所述根据所述会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移之后,所述方法还包括:
记录迁移的会话对应的目标数据处理单元的标识信息;
当接收到与所述迁移的会话对应的数据包时,根据所述标识信息,将所述数据包分配到所述目标数据处理单元中进行处理。
进一步地,若所述数据处理器当前采用的会话哈希表为局部会话哈希表,则所述方法还包括:
将被迁移会话的会话信息数据字段复制到与所述被迁移会话对应的目标数据处理单元的会话哈希表内。
进一步地,所述方法还包括:
在会话迁移完成后或建立新的会话处理任务时,对所述数据处理器中数据处理单元的会话分配信息进行更新。
进一步地,所述获取数据处理器中数据处理单元的会话分配信息,具体包括:
按照预设时间间隔获取所述数据处理器中数据处理单元的会话分配信息。
依据本发明实施例另一个方面,提供了一种负载均衡装置,该装置包括:
获取单元,用于获取数据处理器中数据处理单元的会话分配信息;
生成单元,用于根据所述获取单元获取的会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息;
迁移单元,用于根据所述生成单元生成的会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移。
进一步地,所述会话分配信息中包含所述数据处理器中数据处理单元的个数,以及所述数据处理器中每个数据处理单元当前处理的会话数量,所述生成单元具体包括:
确定模块,用于根据所述会话数量、数据处理单元的个数和预设负载均衡调度规则,确定每个数据处理单元中需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元;
生成模块,用于根据所述确定模块确定的需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元,生成数据处理单元之间负载均衡的会话调度信息。
所述迁移单元,具体用于在原数据处理单元对需要迁移的会话的已接收数据包处理结束后,根据所述会话调度信息,将所述需要迁移的会话迁移到目标数据处理单元。
进一步地,所述装置还包括:
记录单元,用于记录迁移的会话对应的目标数据处理单元的标识信息;
分配单元,用于当接收到与所述迁移的会话对应的数据包时,根据所述记录单元记录的标识信息,将所述数据包分配到所述目标数据处理单元中进行处理。
进一步地,所述装置还包括:
复制单元,用于若所述数据处理器当前采用的会话哈希表为局部会话哈希表,则将被迁移会话的会话信息数据字段复制到与所述被迁移会话对应的目标数据处理单元的会话哈希表内。
进一步地,所述装置还包括:
更新单元,用于在会话迁移完成后或建立新的会话处理任务时,对所述数据处理器中数据处理单元的会话分配信息进行更新。
所述获取单元,具体用于按照预设时间间隔获取所述数据处理器中数据处理单元的会话分配信息。
借由上述技术方案,本发明实施例提供的技术方案至少具有下列优点:
本发明实施例提供的一种负载均衡方法及装置,首先获取数据处理器中数据处理单元的会话分配信息;然后根据所述会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息;最后根据所述会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移。本发明实施例依据数据处理器中数据处理单元的会话分配信息和预设负载均衡调度规则,生成会话调度信息,并根据该会话调度信息执行会话迁移操作,以便实现数据处理器中各个数据处理单元的会话数量均衡,进而可以实现不同数据处理单元之间负载均衡,从而可以提高数据处理器的处理效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种负载均衡方法流程示意图;
图2示出了本发明实施例提供的另一种负载均衡方法流程示意图;
图3示出了本发明实施例提供的一种具体处理流程示意图;
图4示出了本发明实施例提供的一种负载均衡装置结构示意图;
图5示出了本发明实施例提供的另一种负载均衡装置结构示意图;
图6示出了本发明实施例提供的一种负载均衡系统架构的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种负载均衡方法,可以实现不同数据处理单元之间的负载均衡,如图1所示,所述方法包括:
101、获取数据处理器中数据处理单元的会话分配信息。
其中,所述数据处理器可以实现针对网络数据包主要安全业务的处理,安全业务不仅有基本连通性能功能,如交换、路由、代理等,还可以包括安全防护功能,如访问控制、攻击防御、反病毒、应用控制等。所述数据处理器可以包含多个数据处理单元,例如,X86架构的多核CPU(Central Processing Unit,中央处理器)、ASIC(Application SpecificIntegrated Circuit,集成电路)架构的包处理芯片组等,每个数据处理单元根据业务需求处理网络数据流,具体可以执行建立会话、转发数据包等操作,每个数据处理单元存储各自的会话信息数据。
所述会话分配信息中可以包含数据处理器中当前处理的会话总数,数据处理器中数据处理单元的个数,以及数据处理器中每个数据处理单元当前处理的会话数量等。
在本发明实施例中,可以从监控日志信息中获取数据处理器中数据处理单元的会话分配信息,该监控日志信息中记录了数据处理器当前处理的会话任务分配情况。例如,从监控日志信息中获取得到会话分析信息,该会话分配信息中包含数据处理器中当前处理10个会话任务,该数据处理器有3个数据处理单元,分别为1号单元、2号单元、3号单元,1号单元当前处理4个会话任务,2号单元当前处理1个会话处理任务,3号单元当前处理5个会话任务。
102、根据会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息。
其中,所述会话调度信息中可以包含需要迁移的会话、与该需要迁移的会话对应的原数据处理单元和目标数据处理单元等信息。例如,可以利用数据映射表的形式保存生成的会话调度信息,该数据映射表中的每一行包含需要迁移的一个会话,以及与这个会话对应的原数据处理单元和目标数据处理单元等字段。
所述预设负载均衡调度规则可以由技术人员预先进行编写配置。在本发明实施例中,基于预设负载均衡调度规则,以当前的会话分配情况作为参数,可以执行相应的调度算法,生成数据处理单元之间负载均衡的会话调度信息。需要说明的是,对于本发明实施例,可以支持多种调度算法,并且由于会话迁移过程开销较大,调度算法需要考虑迁移开销,以便保证整体的会话迁移效率。
例如,获取得到的会话分配信息中包含数据处理器当前处理的10个会话任务,该数据处理器有3个数据处理单元,分别为1号单元、2号单元、3号单元,1号单元当前处理6个会话任务,2号单元当前处理3个会话处理任务,3号单元当前处理1个会话任务,此时3个数据处理单元之间处理的会话数量不均衡,会导致3个数据处理单元之间负载不均衡。为了解决上述问题,根据预设负载均衡调度规则,以当前会话分配情况作为参数,执行负载均衡的调度算法,计算出需要迁移的会话及目标数据处理单元等,并生成会话调度信息,该会话调度信息中包含1号单元中需要迁移的两个会话任务,以及与这两个会话任务对应的原数据处理单元(即1号单元)和目标数据处理单元(即3号单元),以便实现将1号单元中的两个会话任务迁移到3号单元中进行处理,进而实现3个数据处理单元之间的负载均衡。
在本发明实施例中,在执行步骤102之前,还可以包括:根据会话分配信息确定当前处理会话任务量最少的数据处理单元,由该数据处理单元执行生成会话调度信息的操作,避免在当前处理会话任务量较多的数据处理单元中执行生成会话调度信息的操作,进而可以减轻数据处理器的负载压力。
103、根据会话调度信息进行数据处理器中不同数据处理单元之间的会话迁移。
对于本发明实施例,在会话迁移的过程中,可以将会话信息数据进行迁移,其中,该会话信息数据中可以包含五元组信息、数据包计数信息、进出端口信息、会话状态信息等。
在本发明实施例中,根据会话调度信息,操控数据处理器中数据处理单元的会话任务,将会话任务从一个数据处理单元迁移到另一个数据处理单元。
本发明实施例提供的一种负载均衡方法,首先获取数据处理器中数据处理单元的会话分配信息;然后根据所述会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息;最后根据所述会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移。本发明实施例依据数据处理器中数据处理单元的会话分配信息和预设负载均衡调度规则,生成会话调度信息,并根据该会话调度信息执行会话迁移操作,以便实现数据处理器中各个数据处理单元的会话数量均衡,进而可以实现不同数据处理单元之间负载均衡,从而可以提高数据处理器的处理效率。
为了更好的对上述图1所示的方法进行理解,作为对上述实施方式的细化和扩展,本发明实施例提供了另一种负载均衡方法,如图2所示,所述方法包括:
201、获取数据处理器中数据处理单元的会话分配信息。
多队列网卡从网络接收到数据包后,将所有的网络数据包分类,不同类别的数据流发送给数据处理器中的不同数据处理单元。为了实现不同数据处理单元之间负载均衡,可以获取数据处理器中数据处理单元的会话分配信息,并依据该会话分配信息进行会话迁移。
202、根据每个数据处理单元当前处理的会话数量、数据处理单元的个数和预设负载均衡调度规则,确定每个数据处理单元中需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元。
例如,获取得到的会话分配信息中包含数据处理器当前处理的10个会话任务,该数据处理器有3个数据处理单元,分别为1号单元、2号单元、3号单元,1号单元当前处理5个会话任务,2号单元当前处理0个会话任务,3号单元当前处理5个会话任务,此时3个数据处理单元之间处理的会话数量不均衡,会导致3个数据处理单元之间负载不均衡。为了解决上述问题,根据预设负载均衡调度规则,以每个数据处理单元当前处理的会话数量、数据处理单元的个数等会话分配情况作为参数,执行负载均衡的调度算法,计算出需要迁移的会话、原数据处理单元、目标数据处理单元。具体地,确定1号单元中需要迁移的一个会话任务,及与这个会话任务对应的原数据处理单元(即1号单元)和目标数据处理单元(即2号单元);确定3号单元中需要迁移的两个会话任务,及与这两个会话任务对应的原数据处理单元(即3号单元)和目标数据处理单元(即2号单元)。
203、根据需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元,生成数据处理单元之间负载均衡的会话调度信息。
例如,数据处理器当前处理的16个会话任务,该数据处理器有4个数据处理单元,分别为1号单元、2号单元、3号单元、4号单元,1号单元当前处理7个会话任务,2号单元当前处理4个会话任务,3号单元当前处理5个会话任务,4号单元当前处理0个会话任务,为了实现这4个数据处理单元之间处理的会话数量均衡,根据预设负载均衡调度规则,以当前会话分配情况作为参数,执行负载均衡的调度算法,计算出需要迁移的会话及目标数据处理单元等,并生成会话调度信息,该会话调度信息中包含1号单元中需要迁移的三个会话任务,及与这三个会话任务对应的原数据处理单元(即1号单元)和目标数据处理单元(即4号单元),还包含3号单元中需要迁移的一个会话任务,及与这个会话任务对应的原数据处理单元(即3号单元)和目标数据处理单元(即4号单元)。
204、根据会话调度信息进行数据处理器中不同数据处理单元之间的会话迁移。
进一步地,以便于实现数据处理器中各个数据处理单元的会话数量均衡,进而对数据流的分发处理达到相对均匀的状态,充分发挥数据处理器所有数据处理单元的处理能力,最大化数据处理器的处理效率。
在会话迁移的过程中,会话信息保存完整,与进程迁移、虚拟机迁移等的过程相比,迁移过程简单,迁移效率高,并且不存在数据处理单元处理同步问题。例如,会话迁移的过程是数据处理器中数据处理单元之间的操作,并非是数据处理单元共同从内存等别的地方获取数据进行处理,不存在数据处理单元处理同步问题。
具体地,所述步骤204具体可以包括:在原数据处理单元对需要迁移的会话的已接收数据包处理结束后,根据所述会话调度信息,将所述需要迁移的会话迁移到目标数据处理单元。在会话过程中,会话任务通常由连续的数据包流组成,这些数据包会根据产生的时序被依次分配给对应该会话任务的数据处理单元进行处理。本实施例中,当进行会话迁移时,对于原数据处理单元已经接收到数据包,仍由原数据处理单元在会话迁移之前对其进行处理,在将会话任务迁移到目标数据处理单元后,该会话任务后续再产生的新的数据包则由目标数据处理单元处理。现有技术中,当会话任务被分配给某个数据处理单元后,该会话任务的所有数据包均由该对应的数据处理单元进行处理。本实施例可以在处理会话数据包的过程中对会话任务进行迁移,并且迁移过程不会造成会话流量的中断。
需要说明的是,在原数据处理单元对需要迁移的会话的已接收数据包处理结束后,再进行该会话的迁移操作,这种迁移操作可以实现在不中断会话流量处理的前提下,将会话从一个数据处理单元迁移到另一个数据处理单元,在会话迁移过程中,相对应会话的数据包不会出现流包、延迟过大、同步等问题,使得数据流转发在迁移过程中不受影响。
在本发明实施例中,可以根据数据处理器采用的会话哈希表的类别信息进行具体的会话迁移操作,其中,所述类别信息可以为全局会话哈希表类别、局部会话哈希表类别。若数据处理器当前采用的会话哈希表为全局会话哈希表,说明该数据处理器中每个数据处理单元采用的会话哈希表内容相同,被迁移会话的会话信息数据字段没有必要从原数据处理单元的会话哈希表中复制到目标数据处理单元的会话哈希表内,因为存在相同的会话信息数据字段,因此,直接进行会话迁移步骤即可。
若数据处理器当前采用的会话哈希表为局部会话哈希表,说明该数据处理器中每个数据处理单元采用的会话哈希表内容不相同。进一步地,为了保证目标数据处理单元的会话哈希表中存在被迁移会话的会话信息数据字段,所述方法还可以包括:将被迁移会话的会话信息数据字段复制到与所述被迁移会话对应的目标数据处理单元的会话哈希表内。以便目标数据处理单元根据该复制的会话信息数据字段,继续处理与该被迁移会话对应的数据包。需要说明的是,复制会话信息数据字段的方式不限于此,还可以将被迁移会话的会话信息数据字段剪切到与该被迁移会话对应的目标数据处理单元的会话哈希表内。
进一步地,为了保证会话迁移后,数据处理器再接收到网络数据包能够进行相应处理,在步骤204之后,所述方法还可以包括:记录迁移的会话对应的目标数据处理单元的标识信息,其中,所述标识信息可以为数据处理单元的名称、ID(Identity,身份标识号码)号等;当接收到与所述迁移的会话对应的数据包时,根据所述标识信息,将所述数据包分配到所述目标数据处理单元中进行处理。
具体地,所述根据所述标识信息,将所述数据包分配到所述目标数据处理单元中进行处理的步骤具体可以包括:通过预置分发器或与所述迁移的会话对应的原数据处理单元,将所述数据包分配到所述目标数据处理单元中进行处理。其中,所述预置分发器可以为具有将新接收到的会话数据包转发到相应数据处理单元功能的装置。
在本发明实施例中,当接收到与迁移的会话对应的数据包时,如果不存在上述预置分发器,还可以依据记录的目标数据处理单元的标识信息,由与该会话对应的原数据处理单元转发给目标数据处理单元中进行处理,不会影响会话任务处理。
进一步地,为了保证数据处理器中数据处理单元之间负载均衡的实时性,所述方法还可以包括:在会话迁移完成后或建立新的会话处理任务时,对所述数据处理器中数据处理单元的会话分配信息进行更新。
按照预设时间间隔获取所述数据处理器中数据处理单元最新的会话分配信息。其中,所述预设时间间隔可以为根据实际需求进行配置,例如,预设时间间隔可以设定为1秒、2秒等。需要说明的是,通过按照预设时间间隔获取数据处理器中数据处理单元最新的会话分配信息,可以实现实时获取数据处理器中数据处理单元最新的会话分配信息,并根据该最新的会话分配信息执行会话迁移操作,进而可以实时保证数据处理器中数据处理单元之间的负载均衡,最大化数据处理器的处理效率。
在本发明实施例中,对于一些特定场景,如进行产品性能评估时,要求评估系统最大化处理能力,为了实现该目的,可以通过网卡直接进行数据包分发,再执行本发明实施例提供的步骤201至步骤204所述过程,使得各个数据处理单元的会话任务数量相同,进而可以在数据处理单元之间负载均衡的条件下进行系统最大化处理能力的评估,与目前通过设置特定的网络协议(Internet Protocol,IP)地址对的方式进行数据流均匀分发相比,不需要人工设置IP地址对,可以自动实现不同数据处理单元之间的会话数量的均衡调整,提高了便捷性。
对于本发明实施例具体处理流程可以如图3所示,
数据包接收:网卡收到数据包后,根据数据包的内容信息,将数据包按流分类,将数据包分发给不同的数据处理单元进行处理。
数据包处理:每个数据处理单元会对数据包进行解析,进行相应的各项安全检查,并保存会话信息,最后执行相应的安全动作。
会话调度:根据汇总的每个数据处理单元的会话分配信息,执行负载均衡的调度算法,计算出需要迁移的会话及与该会话对应的原数据处理单元和目标数据处理单元。
会话迁移:将所需要迁移的会话,在保证正常业务不中断的情况下,将会话从原数据处理单元动态迁移到目标数据处理单元,整个迁移过程只影响两个数据处理单元,对会话来说是透明的。
数据包发送:数据处理单元在进行完数据包处理后,根据数据包所属会话的信息,将数据包通过网卡发送到网络当中。
本发明实施例提供的另一种负载均衡方法,首先获取数据处理器中数据处理单元的会话分配信息;然后根据会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息;最后依据会话调度信息,在原数据处理单元对需要迁移的会话的已接收数据包处理结束后,再进行该会话的迁移操作,可以实现在不中断会话流量处理的前提下,实现不同数据处理单元之间的负载均衡,在会话迁移过程中,相对应会话的数据包不会出现丢包、延迟过大、同步等问题,数据流转发在迁移过程中不受影响;可以实现实时获取数据处理器中数据处理单元最新的会话分配信息,并根据该最新的会话分配信息执行会话迁移操作,进而可以实时保证数据处理器中数据处理单元之间的负载均衡,最大化数据处理器的处理效率。
进一步地,作为图1所述方法的具体实现,本发明实施例提供了一种负载均衡装置,如图4所示,所述装置包括:获取单元31、生成单元32、迁移单元33。
所述获取单元31,可以用于获取数据处理器中数据处理单元的会话分配信息。所述获取单元31可以从监控日志信息中获取数据处理器中的会话分配信息。所述获取单元31可以为本装置中获取数据处理器中会话分配信息的主要功能模块。在获取单元31获取到会话分配信息后,会将其传递给所述生成单元32,并触发所述生成单元32进行工作。
所述生成单元32,可以用于根据所述获取单元31获取的会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息。所述生成单元32可以为本装置中以当前的会话分配情况作为参数,执行负载均衡的调度算法,生成会话调度信息的主要功能模块。在生成单元32生成会话调度信息后,会将其传递给所述迁移单元33,并触发所述迁移单元33进行相应工作。
所述迁移单元33,可以用于根据所述生成单元32生成的会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移。进一步地,以便于实现数据处理器中各个数据处理单元的会话数量均衡,进而对数据流的分发处理达到相对均匀的状态,充分发挥数据处理器所有数据处理单元的处理能力,最大化数据处理器的处理效率。所述迁移单元33为本装置中依据会话调度信息进行会话迁移操作的主要功能模块。具体地,将需要迁移的会话从原数据处理单元迁移到目标数据处理单元中。
需要说明的是,本发明实施例提供的一种负载均衡装置所涉及各功能单元的其他相应描述,可以参考图1中的对应描述,在此不再赘述。
本发明实施例提供的一种负载均衡装置,可以配置在终端设备中,可以用于控制数据处理单元之间的会话迁移,具体包括:获取单元、生成单元、迁移单元,首先通过获取单元获取数据处理器中数据处理单元的会话分配信息;然后通过生成单元根据所述会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息;最后通过迁移单元根据所述会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移。本发明实施例依据数据处理器中数据处理单元的会话分配信息和预设负载均衡调度规则,生成会话调度信息,并根据该会话调度信息执行会话迁移操作,以便实现数据处理器中各个数据处理单元的会话数量均衡,进而可以实现不同数据处理单元之间负载均衡,从而可以提高数据处理器的处理效率。
进一步地,作为图5所述方法的具体实现,本发明实施例提供了另一种负载均衡装置,如图5所示,所述装置包括:获取单元41、生成单元42、迁移单元43。
所述获取单元41,可以用于获取数据处理器中数据处理单元的会话分配信息。所述获取单元41可以从监控日志信息中获取数据处理器中的会话分配信息。所述获取单元41可以为本装置中获取数据处理器中会话分配信息的主要功能模块。在获取单元41获取到会话分配信息后,会将其传递给所述生成单元42,并触发所述生成单元42进行工作。
所述生成单元42,可以用于根据所述获取单元41获取的会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息。所述生成单元42可以为本装置中以当前的会话分配情况作为参数,执行负载均衡的调度算法,生成会话调度信息的主要功能模块。在生成单元42生成会话调度信息后,会将其传递给所述迁移单元43,并触发所述迁移单元43进行相应工作。
所述迁移单元43,可以用于根据所述生成单元42生成的会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移。所述迁移单元43为本装置中依据会话调度信息进行会话迁移操作的主要功能模块。具体地,将需要迁移的会话从原数据处理单元迁移到目标数据处理单元中。
可选地,所述会话分配信息中可以包含所述数据处理器中数据处理单元的个数,以及所述数据处理器中每个数据处理单元当前处理的会话数量。
具体地,所述生成单元42具体可以包括:确定模块421、生成模块422。
所述确定模块421,可以用于根据所述会话数量、数据处理单元的个数和预设负载均衡调度规则,确定每个数据处理单元中需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元。
所述生成模块422,可以用于根据所述确定模块确定的需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元,生成数据处理单元之间负载均衡的会话调度信息。
所述迁移单元43,具体可以用于在原数据处理单元对需要迁移的会话的已接收数据包处理结束后,根据所述会话调度信息,将所述需要迁移的会话迁移到目标数据处理单元。这种迁移操作可以实现在不中断会话流量处理的前提下,将会话从一个数据处理单元迁移到另一个数据处理单元。
进一步地,所述装置还可以包括:记录单元44、分配单元45。
所述记录单元44,可以用于记录迁移的会话对应的目标数据处理单元的标识信息。
所述分配单元45,可以用于当接收到与所述迁移的会话对应的数据包时,根据所述记录单元记录的标识信息,将所述数据包分配到所述目标数据处理单元中进行处理。进而可以保证会话迁移后,数据处理器再接收到网络数据包能够进行相应处理。
进一步地,所述装置还可以包括:复制单元46。
所述复制单元46,可以用于若所述数据处理器当前采用的会话哈希表为局部会话哈希表,则将被迁移会话的会话信息数据字段复制到与所述被迁移会话对应的目标数据处理单元的会话哈希表内。进而可以保证目标数据处理单元的会话哈希表中存在被迁移会话的会话信息数据字段,以便目标数据处理单元根据该复制的会话信息数据字段,继续处理与该被迁移会话对应的数据包。
进一步地,所述装置还可以包括:更新单元47。
所述更新单元47,可以用于在会话迁移完成后或建立新的会话处理任务时,对所述数据处理器中数据处理单元的会话分配信息进行更新。
所述获取单元41,具体可以用于按照预设时间间隔获取所述数据处理器中数据处理单元的会话分配信息。进而可以实时保证数据处理器中数据处理单元之间的负载均衡。
需要说明的是,本发明实施例提供的另一种负载均衡装置所涉及各功能单元的其他相应描述,可以参考图2中的对应描述,在此不再赘述。
本发明实施例提供的另一种负载均衡装置,可以配置在终端设备中,可以用于控制数据处理单元之间的会话迁移,具体包括:获取单元、生成单元、迁移单元、记录单元、分配单元、复制单元、更新单元等,首先通过获取单元获取数据处理器中数据处理单元的会话分配信息;然后通过生成单元根据会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息;最后通过迁移单元依据会话调度信息,在原数据处理单元对需要迁移的会话的已接收数据包处理结束后,再进行该会话的迁移操作,可以实现在不中断会话流量处理的前提下,实现不同数据处理单元之间的负载均衡,在会话迁移过程中,相对应会话的数据包不会出现丢包、延迟过大、同步等问题,数据流转发在迁移过程中不受影响;可以实现实时获取数据处理器中数据处理单元最新的会话分配信息,并根据该最新的会话分配信息执行会话迁移操作,进而可以实时保证数据处理器中数据处理单元之间的负载均衡,最大化数据处理器的处理效率。
基于上述的方法和装置实施例,本发明实施例提供了一种负载均衡系统架构的示意图,如图6所示,该系统包括:分发器、数据处理器、调度器、迁移器。分发器可以包含能够将数据包分发给不同数据处理单元的功能,具体可以为硬件层面实现的功能,如部分网卡硬件内置的RSS(Receive Side Scaling)功能、FlowDirector功能等,也可以是软件层面实现的功能,如Linux内核网络模块收包机制提供的RPS(receive packet steering)功能等,按预先设定的配置参数,使用不同的分类方法,将数据包分发出去。数据处理器可以实现针对网络数据包主要安全业务的处理。调度器可以依据数据处理器中数据处理单元的会话分配信息,执行负载均衡的调度算法,生成数据处理单元之间负载均衡的会话调度信息;迁移器根据调度器生成的会话调度信息进行数据处理器中不同数据处理单元之间的会话迁移,使得各个数据处理单元的会话数量均衡,进而可以实现不同数据处理单元之间负载均衡。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种负载均衡方法及装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种负载均衡方法,其特征在于,包括:
获取数据处理器中数据处理单元的会话分配信息;
根据所述会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息;
根据所述会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移。
2.根据权利要求1所述的负载均衡方法,其特征在于,所述会话分配信息中包含所述数据处理器中数据处理单元的个数,以及所述数据处理器中每个数据处理单元当前处理的会话数量,所述根据所述会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息,具体包括:
根据所述会话数量、数据处理单元的个数和预设负载均衡调度规则,确定每个数据处理单元中需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元;
根据所述需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元,生成数据处理单元之间负载均衡的会话调度信息。
3.根据权利要求1或2所述的负载均衡方法,其特征在于,所述根据所述会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移,具体包括:
在原数据处理单元对需要迁移的会话的已接收数据包处理结束后,根据所述会话调度信息,将所述需要迁移的会话迁移到目标数据处理单元。
4.根据权利要求1所述的负载均衡方法,其特征在于,所述根据所述会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移之后,所述方法还包括:
记录迁移的会话对应的目标数据处理单元的标识信息;
当接收到与所述迁移的会话对应的数据包时,根据所述标识信息,将所述数据包分配到所述目标数据处理单元中进行处理。
5.根据权利要求1-4中任一项所述的负载均衡方法,其特征在于,若所述数据处理器当前采用的会话哈希表为局部会话哈希表,则所述方法还包括:
将被迁移会话的会话信息数据字段复制到与所述被迁移会话对应的目标数据处理单元的会话哈希表内。
6.根据权利要求1所述的负载均衡方法,其特征在于,所述方法还包括:
在会话迁移完成后或建立新的会话处理任务时,对所述数据处理器中数据处理单元的会话分配信息进行更新。
7.根据权利要求6所述的负载均衡方法,其特征在于,所述获取数据处理器中数据处理单元的会话分配信息,具体包括:
按照预设时间间隔获取所述数据处理器中数据处理单元的会话分配信息。
8.一种负载均衡装置,其特征在于,包括:
获取单元,用于获取数据处理器中数据处理单元的会话分配信息;
生成单元,用于根据所述获取单元获取的会话分配信息和预设负载均衡调度规则,生成数据处理单元之间负载均衡的会话调度信息;
迁移单元,用于根据所述生成单元生成的会话调度信息进行所述数据处理器中不同数据处理单元之间的会话迁移。
9.根据权利要求8所述的负载均衡装置,其特征在于,所述会话分配信息中包含所述数据处理器中数据处理单元的个数,以及所述数据处理器中每个数据处理单元当前处理的会话数量,所述生成单元具体包括:
确定模块,用于根据所述会话数量、数据处理单元的个数和预设负载均衡调度规则,确定每个数据处理单元中需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元;
生成模块,用于根据所述确定模块确定的需要迁移的会话以及与需要迁移的会话对应的原数据处理单元和目标数据处理单元,生成数据处理单元之间负载均衡的会话调度信息。
10.根据权利要求8或9所述的负载均衡装置,其特征在于,
所述迁移单元,具体用于在原数据处理单元对需要迁移的会话的已接收数据包处理结束后,根据所述会话调度信息,将所述需要迁移的会话迁移到目标数据处理单元。
CN201610718285.1A 2016-08-24 2016-08-24 负载均衡方法及装置 Active CN106357726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610718285.1A CN106357726B (zh) 2016-08-24 2016-08-24 负载均衡方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610718285.1A CN106357726B (zh) 2016-08-24 2016-08-24 负载均衡方法及装置

Publications (2)

Publication Number Publication Date
CN106357726A true CN106357726A (zh) 2017-01-25
CN106357726B CN106357726B (zh) 2019-08-20

Family

ID=57844960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610718285.1A Active CN106357726B (zh) 2016-08-24 2016-08-24 负载均衡方法及装置

Country Status (1)

Country Link
CN (1) CN106357726B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696557A (zh) * 2017-04-11 2018-10-23 北京京东尚科信息技术有限公司 信息处理系统、方法和装置
CN109495504A (zh) * 2018-12-21 2019-03-19 东软集团股份有限公司 一种防火墙设备及其报文处理方法以及介质
CN109714269A (zh) * 2018-12-19 2019-05-03 迈普通信技术股份有限公司 一种数据处理方法及网络设备
CN110531931A (zh) * 2019-08-22 2019-12-03 济南浪潮数据技术有限公司 一种存储设备的选取方法、装置和计算机可读存储介质
CN111628941A (zh) * 2020-05-27 2020-09-04 广东浪潮大数据研究有限公司 一种网络流量的分类处理方法、装置、设备及介质
CN112311876A (zh) * 2020-10-30 2021-02-02 武汉绿色网络信息服务有限责任公司 通过负载均衡设备确定当前会话的后端设备的方法与设备
CN115150448A (zh) * 2022-06-14 2022-10-04 北京车网科技发展有限公司 一种会话数据处理方法、系统、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495857A (zh) * 2011-11-21 2012-06-13 北京新媒传信科技有限公司 一种分布式数据库的负载均衡方法
CN102662763A (zh) * 2012-04-11 2012-09-12 华中科技大学 基于服务质量的虚拟机资源调度方法
CN103002038A (zh) * 2012-12-13 2013-03-27 华为技术有限公司 弹性负载均衡的处理方法和装置
CN103259740A (zh) * 2013-04-27 2013-08-21 杭州华三通信技术有限公司 一种负载均衡处理方法及装置
CN104901898A (zh) * 2015-06-08 2015-09-09 东软集团股份有限公司 一种负载均衡方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495857A (zh) * 2011-11-21 2012-06-13 北京新媒传信科技有限公司 一种分布式数据库的负载均衡方法
CN102662763A (zh) * 2012-04-11 2012-09-12 华中科技大学 基于服务质量的虚拟机资源调度方法
CN103002038A (zh) * 2012-12-13 2013-03-27 华为技术有限公司 弹性负载均衡的处理方法和装置
CN103259740A (zh) * 2013-04-27 2013-08-21 杭州华三通信技术有限公司 一种负载均衡处理方法及装置
CN104901898A (zh) * 2015-06-08 2015-09-09 东软集团股份有限公司 一种负载均衡方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696557A (zh) * 2017-04-11 2018-10-23 北京京东尚科信息技术有限公司 信息处理系统、方法和装置
CN108696557B (zh) * 2017-04-11 2021-08-10 北京京东尚科信息技术有限公司 信息处理系统、方法和装置
CN109714269A (zh) * 2018-12-19 2019-05-03 迈普通信技术股份有限公司 一种数据处理方法及网络设备
CN109714269B (zh) * 2018-12-19 2022-05-17 迈普通信技术股份有限公司 一种数据处理方法及网络设备
CN109495504A (zh) * 2018-12-21 2019-03-19 东软集团股份有限公司 一种防火墙设备及其报文处理方法以及介质
CN110531931A (zh) * 2019-08-22 2019-12-03 济南浪潮数据技术有限公司 一种存储设备的选取方法、装置和计算机可读存储介质
CN110531931B (zh) * 2019-08-22 2022-03-22 济南浪潮数据技术有限公司 一种存储设备的选取方法、装置和计算机可读存储介质
CN111628941A (zh) * 2020-05-27 2020-09-04 广东浪潮大数据研究有限公司 一种网络流量的分类处理方法、装置、设备及介质
CN112311876A (zh) * 2020-10-30 2021-02-02 武汉绿色网络信息服务有限责任公司 通过负载均衡设备确定当前会话的后端设备的方法与设备
CN115150448A (zh) * 2022-06-14 2022-10-04 北京车网科技发展有限公司 一种会话数据处理方法、系统、存储介质和电子设备
CN115150448B (zh) * 2022-06-14 2023-08-25 北京车网科技发展有限公司 一种会话数据处理方法、系统、存储介质和电子设备

Also Published As

Publication number Publication date
CN106357726B (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN106357726A (zh) 负载均衡方法及装置
US11463511B2 (en) Model-based load balancing for network data plane
CN113934660B (zh) 加速网络分组处理
US20200007445A1 (en) Enhanced service function chain
CN112073234B (zh) 一种故障检测方法、装置、系统、设备及存储介质
US20180159771A1 (en) Hybrid network processing load distribution in computing systems
CN103929368B (zh) 多业务单元负载均衡方法及装置
CN103945000B (zh) 一种负载均衡方法及负载均衡器
CN104811396A (zh) 一种负荷均衡的方法及系统
US9596179B2 (en) Optimizing private virtual local area networks (VLANS)
WO2015114473A1 (en) Method and apparatus for locality sensitive hash-based load balancing
CN104980317A (zh) 一种调度数据网设备的自动测试系统及测试方法
CN108702316A (zh) 一种vnf的资源分配方法及装置
CN106972985A (zh) 加速dpi设备数据处理与转发的方法和dpi设备
CN103179178A (zh) 扩展集群间聚合组成员端口的方法和设备
CN105429816A (zh) 一种网卡测试系统
CN108306832A (zh) 一种网络流量分流方法及装置
CN110191064A (zh) 流量负载均衡方法、装置、设备、系统及存储介质
CN104144130B (zh) 虚拟机系统互联的方法、系统和接入交换机
Chou et al. A security service on-demand architecture in SDN
WO2013139678A1 (en) A method and a system for network traffic monitoring
CN101442490B (zh) 流量负载均衡处理方法
CN107872368A (zh) 一种网络节点集群中网关可达性的检测方法、装置及终端
CN108092922B (zh) 一种接口板传输报文的方法和装置
CN107306230A (zh) 一种网络资源部署的方法、装置、控制器及核心网设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant