CN101616365B - 一种基于并行队列的短消息重试系统及方法 - Google Patents

Abstract

本发明公开了一种基于并行队列的短消息重试系统及方法，其系统包括一重试处理模块；一业务处理模块；一通信模块；所述重试处理模块包括：一消息分发控制单元，用于接收需要重试的消息，根据分发策略将重试消息分发到多个重试通道中；多个重试通道，每一重试通道形成一完整处理重试消息的处理逻辑机；一共享重试配置数据单元，用于配置并行重试处理的基础参数；一集中反馈式动态流量控制单元，用于控制当前目的网元的重试流量；一消息出口单元，将重试消息发送到通信模块，再发送到目的网元。本发明系统及方法由于采用了根据当前系统的流量触发流控，显著提高了短消息网关的重试处理能力，有效降低了系统成本，实现了高效的短消息重试功能。

Description

一种基于并行队列的短消息重试系统及方法

技术领域

本发明涉及一种电信数据领域的网络通信系统和方法，特别涉及的是一种短消息网关中的并行重试系统及其实现方法。

背景技术

在目前的短信系统中，比如短信网关系统中，通常可以划分为通信模块、业务处理模块、重试处理模块、配置管理模块、数据库访问模块、时钟驱动模块等多个逻辑模块。典型的短信网关的系统结构如图1所示，其中通信模块负责外部网元的接入和消息收发；业务处理模块完成业务逻辑相关的流程处理；重试处理模块完成独立的业务消息的重试功能；配置管理模块完成系统配置管理功能；数据库访问模块完成系统原始话单的产生和清除功能；时钟驱动模块产生系统原始时钟信号，驱动各个模块完成特定任务。

目前的电信增值业务网络拓扑结构日趋复杂，所连接的外部网元也逐渐增多，一个典型的移动行业网关所支持的外部EC/SI连接数可以达到数千个之多，在复杂的网络环境中需要考虑的一个重要问题就是消息的重试功能，在外部网元宕机或网络不可达的时候，为了保证业务消息不丢失，短消息网关需要能缓存海量的业务消息。

当外部网元重新启动后，网关需要将缓存的消息逐渐再发送出去，如图2所示，目前短消息网关采用的是单一的重试任务处理方式。在这种重试处理模块中，一个显著的缺陷就是重试的效率低下，在处理内部海量的缓存消息的过程中，无法充分利用硬件的处理能力，网络带宽并根据目的网元的实时接收能力做出重试流量调整。

例如，当系统主机为多CPU架构时，单一的重试任务不能有效的利用多CPU的并行处理能力，表现为系统总体的CPU占用率不高，但重试的效率已经达到瓶颈，无法再抢占更多的CPU资源来处理重试消息。其次，当一个网元重新启动后，如果在当前的业务流量较小的情况下，目前的重试处理模块不能根据目的网元的当前业务流量相应调整重试的业务流量，而是以一个固定的速率进行重试，重试操作的效率低下、有效性不高。

因此，现有技术还有待于改进和发展。

发明内容

本发明所要解决的技术问题在于，提供一种基于并行队列的短消息重试系统及方法，用于解决现有重试系统单一任务效率低下、有效性不高、无法抢占CPU资源、流控策略简单的缺陷，有效的提高系统的重试效率。

本发明的技术方案包括：

一种基于并行队列的短消息重试系统，其包括一重试处理模块用于完成独立的业务消息重试功能；一业务处理模块，用于完成业务逻辑相关的流程处理；一通信模块，用于外部网元的接入和消息收发；其中，所述重试处理模块包括：

一消息分发控制单元，用于接收需要重试的消息，根据分发策略将重试消息分发到多个重试通道中；

多个重试通道，每一重试通道形成一完整处理重试消息的处理逻辑机；

其中，

所述重试通道包括重试逻辑控制单元和重试处理单元；所述重试逻辑控制单元用于根据重试消息的当前状态决定下一步调用的重试处理单元，并且请求集中反馈式动态流量控制单元根据目的网元的当前实际流量、目的网元的配置流量、系统配置的重试总流量、系统的CPU占用得到当前目的网元的重试流量，然后判断当前重试消息是否满足重试条件，如果满足，则判断待处理消息的当前状态，并通过消息出口单元发送出所述待处理消息；所述重试处理单元用于完成重试处理功能；

一共享重试配置数据单元，用于配置并行重试处理的基础参数；

一集中反馈式动态流量控制单元，用于控制当前目的网元的重试流量；

一消息出口单元，将重试消息发送到通信模块，再发送到目的网元。

所述的系统，其中，所述重试通道还包括内存重试队列、重试状态维护单元；

所述内存重试队列用于提供内存方式的存储空间，以装载需要重试的短消息；

所述重试状态维护单元用于对重试消息的状态进行维护和更新。

所述的系统，其中，所述重试通道还设置包括：一二级缓存处理单元，用于在所述内存重试队列满时，将重试消息缓存到该二级缓存处理单元中。

所述的系统，其中，所述内存重试队列采用先进先出方式处理即将重试的消息处理。

所述的系统，其中，所述共享重试配置数据单元配置的基础参数，包括重试通道数量配置、重试队列大小配置、重试处理周期配置、二级缓存大小配置、重试总流量配置数据。

所述的系统，其中，所述集中反馈式动态流量控制单元根据目的网元当前的实际流量，目的网元的配置流量，系统配置的重试总流量，系统的CPU占用四个因素决定当前目的网元的重试流量。

一种基于并行队列的短消息重试方法，其包括以下步骤：

A、系统初始化，根据共享重试配置数据单元的系统配置要求配置重试通道数；

B、当需要重试的消息到达所述的消息分发控制单元后，将重试消息发送分配给对应的重试通道；

C、当所述重试通道收到重试消息后，在重试逻辑控制单元的控制下，调用重试处理单元的服务完成对重试消息的重试逻辑处理，插入到内存重试队列中；

D、由集中反馈式动态流量控制单元根据目的网元的当前实际流量、目的网元的配置流量、系统配置的重试总流量、系统的CPU占用确定当前目的网元的重试流量，并且重试逻辑控制单元请求所述集中反馈式动态流量控制单元得到当前目的网元的重试流量，然后判断当前重试消息是否满足重试条件，如果满足，则判断待处理消息的当前状态，并通过消息出口单元发送出所述待处理消息。

所述的方法，其中，所述步骤B还包括：

B1、所述消息分发控制单元从所述共享配置数据单元中得到系统所有的重试通道总数量；

B2、所述消息分发控制单元根据重试消息的目的号码对所述重试通道总数进行取余运算，得到该重试消息对应的重试通道号。

所述的方法，其中，所述步骤C还包括：

通过一重试状态维护单元改变重试消息数据包中的状态字段，所述逻辑控制单元根据该状态字段决定应该进入的下一重试处理单元。

所述的方法，其中，所述步骤C还包括：在所述内存重试队列满时，选择其中一重试消息放入到一二级缓存处理单元中。

本发明所提供的一种基于并行队列的短消息重试系统及方法，与现有技术相比，采用了多重试通道并行处理的方式，同时采用了根据当前系统的流量及目的网元的实时流量触发流控，也即反馈式的重试流量控制机制来实现动态的控制，这样就显著提高了短消息网关的重试处理能力，克服了单一重试任务的性能低下，重试效率不高，不能有效利用多CPU机器的硬件能力的缺陷，有效降低了系统成本，实现了高效的短消息重试功能，保证了业务的不中断性，可恢复性。

附图说明

图1是现有技术的短消息网关系统的功能结构示意图；

图2是现有技术的单一重试系统的结构示意图；

图3是本发明的基于并行队列的重试处理系统结构示意图；

图4是本发明的重试系统中集中动态流控单元结构示意图；

图5是本发明的重试方法流程示意图。

具体实施方式

下面结合附图和具体实施方式，将对本发明的各较佳实施例作进一步更详细的描述。

为实现本发明所述基于并行队列的短消息重试系统及方法，先来分析短消息重试系统的特点：首先，短消息具有突发性、大流量、随机发送，短消息之间的关联度很小的特点。这个特点决定了短消息具有独立处理、独立路由的特性，因此完全可以并行处理每个重试的短消息。其次，每条短消息可能经过的系统处理流程是固定的，因此可以将重试的逻辑划分为独立的处理单元，实现基于状态的处理方式。再次，短消息系统随机发送的特点决定了系统带宽的占用具有不确定性，不同时段的系统繁忙程度是很不一样的，因此应该从当前的系统流量来触发重试流控，以便有效地提高系统的重试效率。

本发明所述基于并行队列的短消息重试系统，如图3所示，包括一消息分发控制单元、多个重试通道、用于各重试通道共享重试配置数据的共享重试配置数据单元、集中反馈式动态流量控制单元、以及消息出口单元。

所述消息分发控制单元，用于短消息的重试分发控制，是本发明所述并行重试处理系统的统一入口和控制发起单元，该消息分发控制单元从其它模块接收需要重试的短消息，然后根据分发策略将重试消息分发到某个重试通道中。

所述重试通道，设置有多个，是某一条重试消息所需要经过的所有处理逻辑单元，提供一处理逻辑机，包括内存重试队列、重试逻辑控制单元、重试状态维护单元、重试处理单元、二级缓存处理单元等。

其中，所述的内存重试队列提供了内存方式的存储空间，用来装载需要重试的短消息，只有在内存重试队列中的消息才能被重试逻辑控制单元处理，也才有机会最终通过消息出口单元发送出去。该内存重试队列以先进先出FIFO方式提供即将重试的消息处理。

所述的重试逻辑控制单元用于根据内存重试队列的当前状态决定下一步调用的重试处理单元。所述的重试状态维护单元对所述内存重试队列的状态进行维护和更新。所述的重试处理单元，用来完成基本的重试处理功能，具有处理功能的单一性和原子性的特点。而所述二级缓存处理单元，是在内存重试队列满的情况下，提供一种二级缓存机制，二级缓存包括但不限于数据库、磁盘文件等等方式，同时还提供二级缓存和内存重试队列之间的双向同步功能。

本发明所述共享重试配置数据单元为整个并行重试系统提供基础的配置数据设置，包括重试通道数量配置、重试队列大小配置、重试处理周期配置、二级缓存大小配置、重试总流量配置等参数，可以预先进行设置。

所述集中反馈式动态流量控制单元用于根据目的网元的当前实际流量、目的网元的配置流量、系统配置的重试总流量、系统的CPU占用等四个因素综合决定当前目的网元的重试流量，如图4所示，以便可以根据所述目的网元的空闲程度动态调整重试的流量，做反馈式动态调整，提高处理的稳定性和有效性。

本发明所述消息出口单元是整个并行重试系统的统一消息出口，将可以重试的消息发送到其它模块进行处理。

如图3所示，是本发明多通道并行业务处理系统的结构图，主要以重试的流程架构示意了本发明的系统结构，本发明所述消息分发控制单元控制整个重试流程的分发情况，其通过多个重试通道1-n最终通过所述消息出口将重试消息发送出去。每一重试通道是一重试逻辑机，首先通过重试逻辑控制单元获取重试配置数据，根据共享重试配置数据进行重试消息的有效性检查；由重试状态维护单元对内存重试队列中的短消息进行维护，流入增加、插入、删除等等；在所述内存重试队列满时，由所述二级缓存处理单元进行缓存处理。所述重试处理单元进行短消息的重试发送，并保证内存和数据同步处理，由所述集中反馈式动态流量控制单元进行动态流量控制，并通过所述消息出口发送出去。

本发明所述基于并行队列的短消息重试系统及方法中，在系统初始化时，初始化模块根据系统配置的重试通道数，需要创建相同数目的重试通道，并初始化内存重试队列。

当需要重试的短消息到达所述的消息分发控制单元后，所述消息分发控制单元从共享重试配置数据单元中得到系统所有的重试通道的总数量，然后根据重试消息的目的号码，对这个总数进行取余运算，得到该重试消息应该处理的重试通道号，然后将重试消息发送给对应的重试通道。

当所述的重试通道收到消息后，在重试逻辑控制单元的控制下，调用重试处理单元的服务完成对重试消息的一个重试逻辑处理，通过重试状态维护单元改变重试消息数据包中的状态字段，逻辑控制单元根据状态字段决定应该进入的下一步重试处理单元，形成一个逻辑处理序列。

当重试消息完成前导处理后，即插入到内存重试队列中，在内存重试队列满的情况下，二级缓存处理单元将选择一条重试消息放入到二级缓存处理单元中。

本发明基于并行队列的短消息重试系统及方法，在时钟驱动模块的驱动下，所述二级缓存处理单元完成一些定时操作，比如将内存中过旧的消息同步到二级缓存处理单元中，或者在内存重试队列空闲时，将二级缓存处理单元中的重试消息同步到内存重试队列中，或者清除一些超过重试有效期的消息。并且在时钟驱动模块的驱动下，所述逻辑控制单元会调用定时处理单元把所述重试消息队列中符合重试条件的消息统一发送给消息出口，把重试消息发送给其它功能处理模块。

下面结合图5说明本发明并行重试处理方法的具体流程步骤：

步骤S501，当业务消息不能够成功送达目的网元时，业务处理模块判断消息需要进入重试处理流程，则将消息发送到消息分发控制单元。

步骤S502，共享重试配置数据单元在重试系统初始化的时候得到所有初始化的数据配置，包括系统支持的总重试通道数，总重试流量，帐号配置流量等。所述消息分发控制单元首先对待重试的消息包含的用户号码做合法性检查，如果合法则进入下一步，如果非法则到异常结束。

步骤S503，逻辑控制单元判断消息的当前状态，进行取余处理，将用户号码的后4位转换成一个整数，然后对重试通道总数取余数，将余数作为下标得到对应的通道号。

步骤S504，逻辑控制单元判断消息的当前状态，进行分发处理，将重试消息分发到对应的重试通道中，如果成功则进入下一步，如果失败则到异常结束。

步骤S505，逻辑控制单元判断消息的当前状态，进行有效性判断处理，对重试消息的有效性进行检查，比如重试的次数，重试时间等信息，如果有效则进入下一步，如果无效则到异常结束。

步骤S506，逻辑控制单元判断待处理消息的当前状态，调用内存重试队列，检查内存重试队列是否满，如果满则转到步骤S507，如果没有满则转到步骤S508。

步骤S507，逻辑控制单元判断待处理消息的当前状态，将内存重试队列的队尾消息插入二级缓存处理单元中。

步骤S508，逻辑控制单元判断待处理消息的当前状态，调用重试状态维护单元，将重试消息插入内存重试队列中。

步骤S509，根据时钟驱动单元定时对内存重试队列进行扫描。

步骤S510，定时处理过程取重试队列头消息。

步骤S511，定时处理过程判断所述内存重试队列中是否还有重试消息，如果有则进入下一步，如果没有则到异常结束。

步骤S512，逻辑控制单元判断消息的当前状态，请求集中反馈式动态流量控制单元根据流量反馈值得到当前目的网元的重试流量，然后判断当前重试消息是否满足重试条件，如果满足则进入下一步，如果否则进入异常结束。

步骤S513，逻辑控制单元判断待处理消息的当前状态，通过所述消息出口单元将消息发送给其他功能业务模块进行处理，然后返回步骤S510。

步骤S514，异常结束。

其中，本发明方法的所述步骤S512所述集中反馈式动态流量控制单元采用反馈式动态处理过程，其具体包括以下步骤：

步骤S5121，所述集中反馈式动态流量控制单元调用共享重试配置数据单元，得到重试系统总的配置重试流量值。

步骤S5122，所述集中反馈式动态流量控制单元判断当前的系统CPU占用率，根据占用率对配置重试总流量进行换算，得到当前系统总重试流量值。

步骤S5123，所述集中反馈式动态流量控制单元判断当前系统实际的总重试流量，如果超过了所述步骤S5122中得到的流控值，则拒绝本条重试消息，进入异常结束。否则进入下一步。

步骤S5124，所述集中反馈式动态流量控制单元调用共享重试配置数据单元，得到本条重试目的网元的配置接收流量值，同时获取目的网元的当前非重试业务流量值，二者之差值为当前目的网元的最大重试流量。

步骤S5125，所述集中反馈式动态流量控制单元判断重试目的网元的实际重试流量值，如果大于等于所述步骤S5124的最大流量值，如果是则拒绝本条重试消息，进入异常结束。如果否则进入下一步。

步骤S5126，所述集中反馈式动态流量控制单元对目的网元的重试流量计数增加1，对系统总重试计数增加1，置消息的重试满足条件为真。

本发明所提供的短消息网关中基于并行队列的重试系统及其实现方法，能够显著提高系统的重试效率和重试的有效性，并由消息分发控制单元将消息送到不同的重试通道，极大的提高了重试消息处理的并行度；其反馈式的集中反馈式动态流量控制单元根据不同的CPU占用率和目的网元的当前业务流量，可计算出当前目的网元的最大重试流量值，从而实现忙时闲时不同的重试流控策略，充分提高了重试系统的有效性。

应当理解的是，上述针对本发明较佳实施例的描述较为具体，并不能因此而认为是对本发明专利保护范围的限制；本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于并行队列的短消息重试系统，其包括一重试处理模块用于完成独立的业务消息重试功能；一业务处理模块，用于完成业务逻辑相关的流程处理；一通信模块，用于外部网元的接入和消息收发；其特征在于，所述重试处理模块包括：

一消息分发控制单元，用于接收需要重试的消息，根据分发策略将重试消息分发到多个重试通道中；

多个重试通道，每一重试通道形成一完整处理重试消息的处理逻辑机；其中，

所述重试通道包括重试逻辑控制单元和重试处理单元；所述重试逻辑控制单元用于根据重试消息的当前状态决定下一步调用的重试处理单元，并且请求集中反馈式动态流量控制单元根据目的网元的当前实际流量、目的网元的配置流量、系统配置的重试总流量、系统的CPU占用得到当前目的网元的重试流量，然后判断当前重试消息是否满足重试条件，如果满足，则判断待处理消息的当前状态，并通过消息出口单元发送出所述待处理消息；所述重试处理单元用于完成重试处理功能；

一共享重试配置数据单元，用于配置并行重试处理的基础参数；

一集中反馈式动态流量控制单元，用于控制当前目的网元的重试流量；

一消息出口单元，用于将重试消息发送到通信模块，再发送到目的网元。

2.根据权利要求1所述的系统，其特征在于，所述重试通道还包括内存重试队列、重试状态维护单元；

所述内存重试队列用于提供内存方式的存储空间，以装载需要重试的短消息；

所述重试状态维护单元用于对重试消息的状态进行维护和更新。

3.根据权利要求2所述的系统，其特征在于，所述重试通道还设置包括：一二级缓存处理单元，用于在所述内存重试队列满时，将重试消息缓存到该二级缓存处理单元中。

4.根据权利要求2所述的系统，其特征在于，所述内存重试队列采用先进先出方式处理即将重试的消息处理。

5.根据权利要求1所述的系统，其特征在于，所述共享重试配置数据单元配置的基础参数，包括重试通道数量配置、重试队列大小配置、重试处理周期配置、二级缓存大小配置、重试总流量配置数据。

6.根据权利要求1所述的系统，其特征在于，所述集中反馈式动态流量控制单元根据目的网元当前的实际流量，目的网元的配置流量，系统配置的重试总流量，系统的CPU占用四个因素决定当前目的网元的重试流量。

7.一种基于并行队列的短消息重试方法，其包括以下步骤：

A、系统初始化，根据共享重试配置数据单元的系统配置要求配置重试通道数；

B、当需要重试的消息到达所述的消息分发控制单元后，将重试消息发送分配给对应的重试通道；

C、当所述重试通道收到重试消息后，在重试逻辑控制单元的控制下，调用重试处理单元的服务完成对重试消息的重试逻辑处理，插入到内存重试队列中；

D、由集中反馈式动态流量控制单元根据目的网元的当前实际流量、目的网元的配置流量、系统配置的重试总流量、系统的CPU占用确定当前目的网元的重试流量，并且重试逻辑控制单元请求所述集中反馈式动态流量控制单元得到当前目的网元的重试流量，然后判断当前重试消息是否满足重试条件，如果满足，则判断待处理消息的当前状态，并通过消息出口单元发送出所述待处理消息。

8.根据权利要求7所述的方法，其特征在于，所述步骤B还包括：

B1、所述消息分发控制单元从所述共享配置数据单元中得到系统所有的重试通道总数量；

B2、所述消息分发控制单元根据重试消息的目的号码对所述重试通道总数进行取余运算，得到该重试消息对应的重试通道号。

9.根据权利要求7所述的方法，其特征在于，所述步骤C还包括：

通过一重试状态维护单元改变重试消息数据包中的状态字段，所述逻辑控制单元根据该状态字段决定应该进入的下一重试处理单元。

10.根据权利要求7至9任一所述的方法，其特征在于，所述步骤C还包括：在所述内存重试队列满时，选择其中一重试消息放入到一二级缓存处理单元中。

Images