CN108681578B - 一种业务数据存储方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明公开了一种业务数据存储方法、装置、服务器及存储介质；其中，所述方法，包括：获取公共存储实例以及特定存储实例；获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；接收业务数据存储请求；根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；根据所述映射关系表确定所述业务数据对应的存储实例；将所述业务数据存储在所述存储实例中。本发明不仅能够根据业务数据的需求高效地实现数据存储，还能够尽最大可能地利用数据存储服务器的硬件特征。

Description

一种业务数据存储方法、装置、服务器及存储介质

技术领域

本发明涉及数据存储技术领域，尤其涉及一种业务数据存储方法、装置、服务器及存储介质。

背景技术

在分布式海量消息中间件系统中，消息存储服务器是消息中间件的核心组件；其中，数据存储方案是消息存储服务器非常重要的一环，它直接关系着整个系统所能提供的功能和性能。

现有用于业务消息的数据存储的主流方案中，是将业务消息按照主题混合存储在存储实例中，或者是业务消息按照主题单独存储在存储实例中，都不能高效有序可定制地实现业务数据的存储。并且，会随着主题数和分区数的增多的情况下，以及大并发量情况下，出现存储服务器的性能下降的问题。还有，系统中的存储实例存储到磁盘也属于固定落盘方式，存储或落盘方式比较单一，不能很好的利用存储服务器的硬件性能。因此，需要提供更高效的方案进行业务数据的存储。

发明内容

为了解决上述技术问题，本发明提供了一种业务数据存储方法、装置、服务器及存储介质，具体地：

一方面提供了一种业务数据存储方法，所述方法包括：

获取公共存储实例，以及特定存储实例；

获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；

接收业务数据存储请求；

根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；

根据所述映射关系表确定所述业务数据对应的存储实例；

将所述业务数据存储在所述存储实例中。

另一方面提供了一种业务数据存储装置，所述装置包括：

存储实例获取模块，用于获取公共存储实例和特定存储实例；

映射关系表获取模块，用于获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；

存储请求接收模块，用于接收业务数据的存储请求；

业务消息确定模块，用于根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；

存储实例确定模块，用于根据所述映射关系表确定所述业务数据对应的存储实例；

数据存储模块，用于将具有存储请求的业务数据存储在所述存储实例中。

另一方面提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述一方面所述的业务数据存储方法。

另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述一方面所述的业务数据存储方法。

本发明提供的业务数据存储方法、装置、服务器及存储介质，具有如下的有益效果：

本发明中的数据存储实例包括公共存储实例和特定存储实例；其中的映射关系表利用业务消息的数据特征，为不同的业务消息可配置性地灵活分配对应的存储实例；在接收到生产端发送过来的业务消息的存储请求时，数据存储服务器能够根据所述映射关系表查找到该业务消息对应的存储实例，进而将所述业务消息的数据存储在相应的存储实例中，实现数据有序高效的存储，提高数据存储的可靠性。

本发明提供的业务数据存储方法属于一个通用的数据处理规则，不仅能够根据业务消息的需求高效地实现数据存储，还能够尽最大可能地利用数据存储服务器的硬件特征；并且，在实现业务消息的数据高效存储基础上，又进一步为后续消费端对该业务消息的消费提供了便利；提升了数据存储服务器在数据持久化处理中对业务数据的适应性以及处理能力，降低了处理成本。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本说明书实施例提供的一种业务数据存储方法流程图；

图2是本说明书实施例提供的一种业务数据存储方案的结构示意图；

图3是本说明书实施例提供的另一种业务数据存储方法流程图；

图4是本说明书实施例提供的另一种业务数据存储方法流程图；

图5是本说明书实施例提供的一种业务数据存储方案中存储实例的结构示意图；

图6是本说明书实施例提供的另一种业务数据存储方法流程图；

图7是本说明书实施例提供的一种业务数据存储装置框图；

图8是本说明书实施例提供的另一种业务数据存储装置框图；

图9是本说明书实施例提供的另一种业务数据存储装置框图；

图10是本说明书实施例提供的一种业务数据存储服务器结构示意图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

现有MQ(Message Queue)消息队列对文件(业务消息)数据进行落地存储的方案中，有的会随着Topic数和partition数增多，存储的文件逐步增大；使磁盘IO(读写)以及磁盘util(周期内用于IO的操作时间比率)的时间也增大，读写性能下降，从而使得存储服务器的出入流量下降。有的会随Topic以及partition的增多形成大量的小文件，使磁盘的性能得不到有效提升；同时，对不同数据特征(比如数据老化需求,不同数据刷盘需求)的Topic业务也不能做到定制处理。还有一些MQ消息队列在多磁盘存储服务器的场景下,无法发挥存储服务器的性能优势。

为了解决上述技术问题，本发明提供了一种新的业务数据存储方案，属于针对现有的MQ消息队列里消息存储方案进行的改进，提出了构造存储实例单元，并根据不同业务特征、不同性能要求，以及磁盘块的数量来进行参数化设置的方案，解决了现有的MQ消息队列在高并发、大存储服务器上存储存在的问题；本方案支持混合和单独存储，同时存储的位置是可以根据服务器硬件的特点单独指定。具体地：

本说明书实施例提供了一种业务数据存储方法，图1是本说明书实施例提供的一种业务数据存储方法流程示意图；其中，需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体地，如图1所示，所述方法包括：

S101.获取获取公共存储实例，以及特定存储实例；

在步骤S101中，建立的存储实例是数据存储服务器的系统负责人或运维人员基于数据存储服务器平台根据业务的需求进行的建立；进而使得所述数据存储服务器获取所述存储实例。

其中，如图2所示，每个存储实例均包括一个Data(数据)文档和一个Index(索引)文档；所述Data文档保存所述数据存储服务器接收到的原始消息(生产端发送的业务数据)数据；所述Index文档保存所述原始消息的消息索引数据(消息属性信息)，比如所属Topic(主题)、所属partition(区域)、被接收时间等；用以关联Data文档中原始消息的信息项。

此外，给与说明的是，处于同一存储实例的业务数据的业务特征需要满足一致的要求，比如处于同一存储实例的业务数据的业务特征要求小于等于预设的业务特征；具体地，业务特征包括：老化周期、刷频策略(落盘的刷新频率)、存放策略(存储在存储服务器上的磁盘位置)、是否要求隔离等；比如预设的业务特征中老化周期为5天，此时有两个业务需要存储，其中一个业务的老化周期为2天，则该业务满足该存储实例的存储要求；另一个业务的老化周期为7天，则不满足该存储实例的存储要求。

因为物理上业务消息的Topic主题可以包含多个partition分区，每个partition对应一个文档，用于存储对应partition的所有消息和索引；通过将业务数据的业务特征按照预设的条件进行分类成组式存储，能够避免在业务数据所属Topic以及partition数量较大时出现文档较多，而影响服务器的处理性能的问题。

如图2所示，所述存储实例包括并列布局的公共存储实例和特定存储实例。其中，对所述公共存储实例和特定存储实例给与说明的是：

业务数据缺省(默认)存储于存储服务器的公共存储实例，而本实施例针对特定的业务数据给予了与公共业务不同的存储方案，根据业务属性(业务特征)构造出新的存储实例(特定存储实例)，使特定的生产业务存储在适宜的特定存储实例中。通过公共存储实例和特定存储实例的分类，使得数据存储服务器满足了不同业务的存储要求，最大可能地发挥存储服务器的存储性能。

所述公共存储实例和特定存储实例中存储的业务数据支持系统负责人或运维人员实时的调配和数据管理，可以依照配置进行管理；其中构建存储实例的过程就是程序根据配置进行存储实例的定义过程。

详细地，所述公共存储实例设置为用于存储公共业务消息的数据，比如说流水日志对应的业务消息；或是业务特征符合系统的缺省定义的业务消息,对于缺省定义的业务消息，比如说系统设置缺省的3天数据老化周期，1秒等频率不高的秒级数据落盘刷新频率,数据量在千亿条/天,峰值在1万条/秒等,满足这类缺省设置的业务消息。

详细地，所述特定存储实例设置为用于存储特定的业务信息的数据，比如说要求时时读取到的业务数据，或是涉及到财务转账等敏感词汇的业务消息；或是业务特征为老化周期是7天(大于缺省的3天老化周期)，数据落盘的刷新频率是10ms等频率比较高的毫秒级的业务消息等。

举例而言：若为业务A的数据申请一个存储；其中，要求业务A的业务属性或业务特征为3天的老化周期、10秒的刷盘频率、数量为每天大概1亿条；系统负责人或运维人员根据业务特征将业务数据放置到公共存储实例【STORE-PUB-1和STORE-PUB-2】中；并且为业务A分配Topic名字为Topic-a，并进一步将其存储在对应的存储块中，比如存储块STORE-PUB-1中。

若为业务B的数据申请一个存储；其中，要求业务B的业务属性或业务特征为数据量很大(每天有2千亿的数据量)、老化周期要求10天、刷盘频率要求500条；系统负责人或运维人员根据业务特征将业务数据放到为该业务B专门分配的存储实例【STORE-Topic-b-1、STORE-Topic-b-2和STORE-Topic-b-3】中；并且根据为业务b的分配Topic名字为Topic-b，并进一步将其存储在对应的存储块中，比如存储块STORE-Topic-b-3中。

待业务A和业务B的存储分配都申请完成之后，当业务A或业务B过来生产和消费时，就能够进行业务数据的生产和消费，具体是：

A业务生产，数据存储服务器收到生产的业务数据后，根据业务数据的数据特征与存储实例的对照关系找到存储实例【STORE-PUB-1，STORE-PUB-2】；进一步地，发送的生产业务数据里携带有主题名称Topic-A，根据主题名称Topic-A选定存储块STORE-PUB-1，将该数据存入该存储块。

B业务生产，数据存储服务器收到生产的业务数据后，根据业务数据的数据特征与存储实例的对照关系找到存储实例【STORE-Topic-b-1,STORE-Topic-b-2,STORE-Topic-b-3】，进一步地，发送的生产业务数据里携带有主题名称Topic-b，根据主题名称Topic-b选定存储块STORE-Topic-b-3存储该数据。

A业务消费时，A业务的程序发起到存储服务器的注册请求，使消费目标A业务携带Topic-A进行注册，存储服务器根据收到的注册信息，找到Topic-a对应的存储实例【STORE-PUB-1，STORE-PUB-2】，为它分配存储块；然后在A业务发起getMessage消费请求时，从这两个存储块里消费处理Topic名称为Topic-a对应存储块中的数据。

S102.获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；

在步骤S102中，所述业务消息与存储实例的映射关系的建立是系统负责人或运维人员基于所述数据存储服务器的平台进行的，进而使得所述数据存储服务器获取到所述映射关系表,该映射关系表属于一个静态映射结果。

其中，业务消息按照不同的数据性质分为多类，每一类消息申请单独的一个Topic，对应地整个业务数据会具有一个或多个Topic主题，不同Topic主题的业务数据根据业务特征存储在不同的存储实例中；所以，业务消息与存储实例的对照关系为一对一或一对多，也就是说一个业务消息的数据可以存储在一个存储实例，也可以存储在多个存储实例中。其中，多种业务消息的数据也可以只申请一个Topic,通过消息里携带的不同特征进行区分；所以，业务数据与存储实例的对照关系也可以为多对一，也就是说，多个业务数据存储在一个存储实例中。

S103.接收业务数据的存储请求；

具体地，用于进行存储的数据对象为生产端Producer(用于生产业务消息的消息生产者)发送的业务数据；在步骤S103中，生产端Producer将生产的业务消息发送给数据存储服务器，所述数据存储服务器接收该业务消息的数据存储请求。

S104.根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；

其中，所述公共业务消息包括流水日志对应的业务消息或是本地缺省定义的业务消息等；所述特定业务消息包括虚拟物品交易相关的业务消息等。所述业务数据的数据特征至少包括数据容量、数据老化周期和数据刷盘频率等。其中，刷盘频率与数据重要程度有关系。

在接收到过来的业务数据的存储请求后，判断所述业务数据的数据特征，通过判断结果确定出所述业务数据属于公共业务消息或是特定业务消息；

S105.根据所述映射关系表确定所述业务数据对应的存储实例；

步骤S105属于查找业务消息对应存储实例的逻辑路径；所述数据存储服务器根据已建立的存储实例，以及存储实例与业务消息的映射关系表；在接收到生产端发送过来的业务消息之后，通过查找所述映射关系表找到当前接收的业务消息对应的存储实例。

需要说明的是，按照已定义的业务消息与存储实例的对照关系，后续运营过程中，只要这个对照关系不变，生产或消费业务消息的时候就会直接访问先前定义好的存储区。

其中，业务消息对应的存储实例的存储分配规则还可以是包括指定分配规则或非指定分配规则。具体地，根据生产业务的需求进行配置合适的存储实例，属于指定分配规则。对于非指定分配规则，比如说是通过轮询的方式进行数据的存储，在接收到业务消息后存储实例依次进行数据的存储；每个存储实例都有可能存储生产端发送的业务消息的数据，满足负载均衡。

S106.将具有存储请求的业务数据存储在所述存储实例中。

在步骤S106中，根据上述判定得到发送端发送的业务数据所处存储实例后，将所述业务数据存储在对应地存储实例中。

本说明书实施例还提供了一种业务数据存储方法，其中，需要给与说明的是，本实施例中的公共存储实例包括多主题存储块，用于存储具有不同的主题特征的业务数据。所述特定存储实例包括单主题存储块，用于存储具有相同的主题特征的业务数据；所以，相应地：如图3所示，在步骤S104从所述映射关系表中确定对应的存储实例，以及步骤S105将具有存储请求的业务数据存储在所述存储实例中；之后还包括：

S107.根据所述业务数据的主题，确定所述业务数据对应的存储块；将所述业务数据存储在所述存储块中。

本实施例中数据存储服务器通过已经建立的存储实例，以及设置的映射关系表，利用生产业务的特征为不同的业务数据分配不同的存储实例；在接收到生产端发送过来的业务数据的存储请求时，查找到该业务数据对应的存储实例，还能够进一步根据业务数据的主题将其写入对应存储实例的存储块中，实现业务数据定制式地高效存储，并最大可能地利用了数据存储服务器的硬件特征。

本说明书实施例还提供了一种业务数据存储方法，属于消息中间件采用磁盘作为数据持久化的方案，具体地，如图4所示，所述方法包括：

S201.获取公共存储实例，以及特定存储实例；

基于数据存储服务器的平台，系统负责人或运维人员根据生产业务消息的需要构建出新的存储实例模型，该模型中的存储实例包括并列布局的公共存储实例和特定存储实例。

需要给与说明的是，所述公共存储实例包括多主题存储块，如图5所示，也就是混合存储实例，用于存储具有不同的主题特征的业务数据，比如图5中包含Topic1、Topic2、Topic3等。所述特定存储实例包括单主题存储块，如图5所示，也就是单Topic存储实例，用于存储具有相同的主题特征的业务数据,比如图5中只有Topic5。

其中，混合存储实例中存储的业务消息的业务特征在满足该存储实例的最小存储要求的情况下进行存储。具体地，在所述业务数据的容量小于等于预设容量，所述业务数据的老化周期小于等于预设老化周期，并且，所述业务数据的刷盘频率小于等于预设刷盘频率时；所述业务数据属于公共业务消息。在所述业务数据的容量大于预设容量，或，所述业务数据的老化周期大于预设老化周期，或，所述业务数据的刷盘频率大于预设刷盘频率时；所述业务数据属于特定业务数据。

其中，对于特定业务数据还可以根据数据特征中的参数与预设参数的对比结果，划分特定业务数据的级别PBDL(Particular Business Data Level)；根据特定业务数据所属的级别将所述特定业务数据存储在对应的特定存储实例中。

举例说明：通过分析业务数据的容量(Curr_capa)与预设容量(Pre_capa)的倍数关系判定特定业务所属的级别；比如，第一容量倍数a1为100，第二容量倍数a2为300；

若Curr_capa>a1*Pre_capa时，则属于A1级别特定业务数据；

若Curr_capa>a2*Pre_capa时，则属于A2级别特定业务数据。

或者，通过分析业务数据的老化周期(Curr_period)与预设老化周期(Pre_period)的倍数关系判定特定业务所属的级别；比如，第一老化周期倍数b1为2，第二老化周期倍数b2为4；

若Curr_period>b1*Pre_period时，则属于B1级别特定业务数据；

若Curr_period>b2*Pre_period时，则属于B2级别特定业务数据。

或者，通过分析业务数据的刷盘频率(Curr_freq)与预设刷盘频率(Pre_freq)的倍数关系判定特定业务所属的级别；比如，第一刷盘频率倍数b1为2，第二刷盘频率倍数b2为4c1为10，c2为100；

若Curr_freq>c1*Pre_freq时，则属于C1级别特定业务数据；

若Curr_freq>c2*Pre_freq时，则属于C2级别特定业务数据。

或者，在所述业务数据的容量(Curr_capa)大于预设容量(Pre_capa)，以及，所述业务数据的老化周期(Curr_period)大于预设老化周期(Pre_period)，以及，所述业务数据的刷盘频率(Curr_freq)大于预设刷盘频率(Pre_freq)时，还可以根据公式计算结果确定PBDL特定业务数据所属级别：

PBDL＝0.6*L_period+0.1*L_capa+0.3*L_freq。

其中，L_period为业务数据的老化周期判定出所属的级别，L_capa为业务数据的容量判定出所属的级别，L_freq为业务数据的刷盘频率判定出所属的级别。

需要说明的是，老化周期不是区分是不是划分新存储实例的必须要求，这个能够根据资源情况和业务重要程度进行合理安排。

如果数据老化周期不符合要求，没有合适的存储实例，可以为所述业务数据重新建立新的存储实例，并建立对应关系；并且，还可以是不新建，通过运维人员直接把用于存储老的老化周期的那个存储实例中的老化周期设置为长的老化周期，以满足当前的业务消息的需求；通过这种方式进行合理安排。

比如混合存储实例的一个存储块中数据的刷盘频率1000秒或者10秒刷一次，老化周期3天，容量大概每天5千亿条；如果是小时业务(按照小时为单位做数据处理)，老化周期要求2天，容量每天只有5亿条的；如果是分钟业务(按照分钟为单位做数据处理)，老化周期3天，量有500亿条，都可以放混合存储实例里。但是，如果有些业务要求毫秒就要能访问到，老化周期5天，容量每天只有10亿条；但是因为老化周期5天大于存储要求的3天，所以该业务就不符合混合存储实例的最小要求了，就要给它新开一个混合存储实例。其中，不同的业务数据包括不同的主题(Topic)，不同业务消息在生产或消费数据的时候会携带指定的主题；在接收到生产端发送的业务消息时，数据存储服务器能够根据业务消息的主题(Topic)找到其所处的存储块实现存储。并且，在业务消息需要被消费时，能够根据该业务消息对应的主题(Topic)针对性地查找所处的存储块，提升了处理效率，降低了处理成本。

S202.获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；

具体地，基于所述数据存储服务器的平台，系统负责人或运维人员根据生产业务的需求建立起业务消息与存储实例的映射关系，使得所述数据存储服务器获取到所述映射关系表。

S203.接收业务数据的存储请求；

其中，生产端将生产的业务消息发送给数据存储服务器，所述数据存储服务在器接收该业务消息的数据存储请求。

S204.根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；

详细地，数据存储服务器在接收到生产端发送过来的业务数据之后，分析所述业务数据的特征，确定出所述业务数据所属的业务消息为公共业务消息或特定业务消息。

S205.根据所述映射关系表确定所述业务数据对应的存储实例；

详细地，数据存储服务器在分析所述业务数据的特征确定出对应的业务消息之后，通过查找所述映射关系表找到当前接收的业务消息需要存储的存储实例。

S206.将所述业务数据存储在所述存储实例中。

其中，通过判定出接收到的业务数据的对应存储实例后，数据存储服务器将当前的业务数据存储在该存储实例中。

进一步地，在步骤S206将具有存储请求的业务数据存储在所述存储实例中，之后包括：

S207.将存储有业务数据的存储实例保存在指定磁盘中。

其中，如图2所示，在将业务数据存储在存储实例之后，进一步将存储有业务数据的存储实例落盘在数据存储服务器本地磁盘组的磁盘中，如图中的磁盘C1、C2、C3、C4。并且，将存储实例保存在指定的对应磁盘中，还支持系统负责人或运维人员实时的调配；可以根据配置要求对存储实例的落盘进行管理，将不同的存储实例指定存储在不同位置的磁盘，提高了数据存储服务器的并行处理能力。

本实施例提供的数据存储方法属于一个通用的处理规则，能够根据生产的业务数据的需求高效地实现数据存储，还能够尽最大可能地利用数据存储服务器的硬件特征，提升了数据存储服务器在数据持久化处理中对业务数据的适应性，降低了处理成本。进一步地本实施例中业务数据的存储依据存储实例的落盘可以为动态指定，能够可配置地进行存储和落盘，提高了数据存储服务器的并行处理能力。

本说明书实施例还提供了一种业务数据存储方法，如图6所示，所述方法包括：

S301.获取公共存储实例和特定存储实例；

其中，公共存储实例中，定义通用的业务数据的数据特征(数据老化周期、刷盘策略等)，将符合这类策略的业务数据建立与公共存储实例的对照关系，该业务数据做生产和消费时路由到公共存储实例进行处理。对于特定的业务，比如消息量非常大、或业务数据的数据特征(刷盘策略、老化周期等)有特殊要求而公共存储实例满足不了的情况，在数据存储服务器中，与公共存储实例平行的位置构造出针对该特定业务的特定存储实例，并建立该业务与该特定存储实例的对照关系，该业务数据做生产和消费时路由到该特定存储实例进行处理。

需要说明的是，若发现某个存储实例写入数据量很大需要提升性能的情况，则可以为该存储实例对应的业务数据构造多个存储实例，在已有存储实例的基础上并行构造新的存储实例并加入业务数据与存储实例的对照关系中，数据做生产和消费时路由到公共存储实例行处理。也就是说，公共存储实例和特定存储实例，都可以根据数据存储服务器接收到的数据量的情况构造为多个，进而提高数据存储服务器对数据的并发处理能力。

S302.获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；

在步骤S302中，在构造出公共存储实例或是特定存储实例之后，均建立业务数据与存储实例的对照关系；并且，在存储实例扩展为多个的情况下，同样要建立出业务数据与该多个存储实例的对照关系，形成映射关系表。

举例而言，如果发现Topic-a对应业务数据的数据量增大，Topic-a对应业务需要单独用重新构建的存储实例存储的时候，系统负责人或运维人员会根据提供数据存储服务器的接口，为Topic-a对应业务新增一个存储实例C，配置生效之后，后续发送该业务数据的存储请求时就会将该业务数据落到C存储实例上；也就是说，这个对照关系转移后，只要系统负责人或运维人员不修改，后续生产和消费该业务数据就会向C存储实例进行操作。

S303.接收业务数据的存储请求；

其中，生产端将生产的业务消息发送给数据存储服务器，所述数据存储服务器接收该业务数据的存储请求。

S304.根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；

详细地，数据存储服务器在接收到生产端发送过来的业务消息之后，分析所述业务消息的数据特征，确定出所述业务数据所属于的业务消息类型。

S305.根据所述映射关系表确定所述业务数据对应的存储实例

通过查找所述映射关系表找到当前接收的业务消息需要存储的存储实例。并且，进一步地根据所述业务消息的主题确定出对应的存储块。

S306.将具有存储请求的业务数据存储在所述存储实例中。

具体地，数据存储服务器在接收到生产端发送过来的业务数据之后，通过查找所述映射关系表找到当前接收的业务数据需要存储的存储实例，并存储在该存储实例中。并且，进一步地基于确定出的存储块，将所述业务数据存储在存储块中。

进一步地，本实施例中的所述方法还包括：

S307.接收消费所述业务数据的消费请求；

消费端Customer将生产的业务数据的消费请求发送给数据存储服务器，所述数据存储服务器接收该消费请求。

S308.根据所述业务数据的主题确定所述业务数据所存的存储块；

其中，因为不同的业务数据具有不同的主题(Topic)；在数据消费的时候，数据存储服务器能够根据要消费的业务数据的标签(主题)找到其所处的存储实例。

S309.发送存储在所述存储块中的业务数据，使所述业务数据被消费。

在步骤S309中，在找到待消费的业务数据的存储实例之后，所述数据存储服务器将所述该存储实例中的业务数据发送给数据消费端，使所述消费端读取源于生产端发送的并且存储在数据存储服务器本地的业务数据，并将该业务数据消费掉。其中，数据的消费是指从存储服务器指定的Topic主题的存储区获取到生产端发送的数据,比如生产端向Topic-a发送了数据a、b、c三个数据包,订阅该Topic-a的消费者就可以从存储服务器获取到对应的三个数据包。

本实施例针对不同的业务存储需求、不同的服务器配置和性能要求进行独立的存储设置，最大可能地发挥的服务器性能；并且，在实现业务数据高效存储基础上，进一步为后续消费端对该业务数据的顺序消费提供了便利。

本说明书实施例还提供了一种业务数据存储装置，如图7所示，所述装置包括：

存储实例获取模块110，用于获取公共存储实例和特定存储实例；

映射关系表获取模块120，用于获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；

存储请求接收模块130，用于接收业务数据的存储请求；

业务消息确定模块140，用于根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；

存储实例确定模块150，用于根据所述映射关系表确定所述业务数据对应的存储实例；

数据存储模块160，用于将具有存储请求的业务数据存储在所述存储块中。

其中，所述公共存储实例包括多主题存储块，用于存储多个不同主题的业务数据；

所述特定存储实例包括单主题存储块，用于存储同一主题的业务数据。

具体地，所述存储实例确定模块150，包括：

存储块确定单元151，用于根据所述业务数据的主题，确定所述业务数据对应的存储块。

本说明书实施例还提供了一种业务数据存储装置，如图8所示，所述装置包括：

存储实例获取模块210，用于获取公共存储实例和特定存储实例；

映射关系表获取模块220，用于获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；

存储请求接收模块230，用于接收业务数据的存储请求；

业务消息确定模块240，用于根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；

存储实例确定模块250，用于根据所述映射关系表确定所述业务数据对应的存储实例；

数据存储模块260，用于将具有存储请求的业务数据存储在所述存储实例中。

所述装置还包括：

存储实例保存模块270，用于将存储有业务数据的存储实例保存在指定磁盘中。

本说明书实施例还提供了一种业务数据存储装置，如图9所示，所述装置包括：

存储实例获取模块310，用于获取公共存储实例和特定存储实例；

映射关系表获取模块320，用于获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；

存储请求接收模块330，用于接收业务数据的存储请求；

业务消息确定模块340，用于根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；

存储实例确定模块350，用于根据所述映射关系表确定所述业务数据对应的存储实例；

数据存储模块360，用于将具有存储请求的业务数据存储在所述存储实例中。

所述装置还包括：

消费请求获取模块370，用于接收业务数据的消费请求；

数据存储确定模块380，用于根据所述业务数据的主题确定所述业务数据所存的存储块；

数据发送模块390，用于发送存储在所述存储块中的业务数据，使所述业务数据被消费。

本说明书实施例提供了一种业务数据存储服务器，该参数识别服务器包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的业务数据存储方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本说明书实施例还提供了一种服务器的结构示意图，请参阅图10，该服务器1200用于实施上述实施例中提供的业务数据存储方法，具体来讲，所述服务器结构可以包括上述业务数据存储装置。该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1210(例如，一个或一个以上处理器)和存储器1230，一个或一个以上存储应用程序1223或数据1222的存储介质1220(例如一个或一个以上海量存储设备)。其中，存储器1230和存储介质1220可以是短暂存储或持久存储。存储在存储介质1220的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1210可以设置为与存储介质1220通信，在服务器1200上执行存储介质1220中的一系列指令操作。服务器1200还可以包括一个或一个以上电源1260，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1240，和/或，一个或一个以上操作系统1221，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM，FreeBSDTM等等。

本说明书实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种业务数据存储方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的业务数据存储方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书实施例还提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现方法实施例所述的业务数据存储方法；所述至少一条指令、该至少一段程序、该代码集或指令集包含用于进行以下操作的指令：

获取公共存储实例，以及特定存储实例；

获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；

接收业务数据存储请求；

根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；

根据所述映射关系表确定所述业务数据对应的存储实例；

将所述业务数据存储在所述存储实例中。

进一步地，所述将所述业务数据存储在所述存储实例中，之后包括：

将存储有业务数据的存储实例保存在指定磁盘中。

其中，所述公共存储实例包括多主题存储块，用于存储多个不同主题的业务数据；

所述特定存储实例包括单主题存储块，用于存储同一主题的业务数据。

进一步地，所述根据所述映射关系表确定所述业务数据对应的存储实例；包括：

根据所述业务数据的主题确定所述业务数据对应的存储块。

其中，所述方法还包括：

接收业务数据的消费请求；

根据所述业务数据的主题确定所述业务数据所存的存储块；

发送存储在所述存储块中的业务数据，使所述业务数据被消费。

其中，所述公共业务消息包括流水日志对应的业务消息或是本地缺省定义的业务消息；所述特定业务消息包括虚拟物品交易相关的业务消息。所述业务数据的数据特征至少包括数据容量、数据老化周期和数据刷盘频率。

本说明书实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如方法实施例所述的业务数据存储方法；所述至少一条指令、该至少一段程序、该代码集或指令集包含用于进行以下操作的指令：

获取公共存储实例，以及特定存储实例；

获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；

接收业务数据存储请求；

根据具有存储请求的业务数据的数据特征，确定所述业务数据属于公共业务消息或特定业务消息；

根据所述映射关系表确定所述业务数据对应的存储实例；

将所述业务数据存储在所述存储实例中。

进一步地，所述将所述业务数据存储在所述存储实例中，之后包括：

将存储有业务数据的存储实例保存在指定磁盘中。

其中，所述公共存储实例包括多主题存储块，用于存储多个不同主题的业务数据；

所述特定存储实例包括单主题存储块，用于存储同一主题的业务数据。

进一步地，所述根据所述映射关系表确定所述业务数据对应的存储实例；包括：

根据所述业务数据的主题确定所述业务数据对应的存储块。

其中，所述方法还包括：

接收业务数据的消费请求；

根据所述业务数据的主题确定所述业务数据所存的存储块；

发送存储在所述存储块中的业务数据，使所述业务数据被消费。

其中，所述公共业务消息包括流水日志对应的业务消息或是本地缺省定义的业务消息；所述特定业务消息包括虚拟物品交易相关的业务消息。所述业务数据的数据特征至少包括数据容量、数据老化周期和数据刷盘频率。

本发明通过提供业务消息的数据特征，比如数据容量、数据落盘频率、数据老化周期等；根据已定义映射关系表为发送端发送过来的业务消息找出合适的存储实例；如果数据老化周期不符合要求，没有合适的存储实例，可以为所述业务数据重新建立新的存储实例，并建立对应关系；并且，还存在的一种情况是可以不新建，通过运维人员直接把用于存储老的老化周期的那个存储实例中的老化周期设置为长的老化周期，以满足当前的业务消息的需求，进而实现灵活存储。

其中，在生产端对生产的业务消息请求存储时，在请求信息里携带该业务数据的Topic名字Topic-a以及要存储的业务消息的数据信息；生产端向MQ消息队列的存储服务器生产业务消息，MQ消息队列的存储服务器收到该生产消息后，根据Topic名字Topic-a找到对应的存储块，进行数据存储，并向生产端返回存储结果。

消费者申请业务消息的消费请求时，携带要消费的业务消息的Topic名字Topic-a、发送的请求消息携带的消费组名，以及要消费的业务消息的数据信息；消息队列的存储服务器收到消费请求后，根据消费请求里携带的Topic名字Topic-a，找到对应的存储块，进行数据消费处理。

系统负责人或运维人员根据生产或消费的业务数据，可以定期监控存储块的进展，并进行存储实例的扩容或缩容，以及Topic的迁移操作。

本发明能够使系统负责人或运维人员根据业务消息的数据要求，为业务找出合适的存储实例，如果没有合适的存储实例还能够进行重新建立新的存储实例。其中，系统负责人或运维人员新建存储实例是通过下发操作请求给到MQ消息队列的存储服务器进行建立的。业务数据的整个存储方案能够根据业务数据的情况进行灵活分配存储块，进一步为存储实例灵活配置磁盘，能够满足更多业务数据的需求，并进一步提升对应服务器及系统的处理效率以及用户粘度。

给与说明的是，本发明的方案已应用于TDBank业务管理系统的TDTube消息存储模块,该部分属于一套完整的数据存储方案，无前端界面。

需要说明的是：上述本说明书实施例先后顺序仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种业务数据存储方法，其特征在于，该方法为消息中间件系统中的数据存储服务器在数据持久化处理中对业务数据进行存储的方法，所述方法包括：

获取用于存储公共业务消息的数据或是业务特征符合系统的缺省定义的业务消息的公共存储实例，以及用于存储特定的业务信息的数据的特定存储实例；存储实例是基于数据存储服务器平台根据业务的需求进行的建立；进而使得所述数据存储服务器获取所述存储实例；公共存储实例和特定存储实例并列布局；

获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；所述业务消息与存储实例的映射关系的建立是基于所述数据存储服务器的平台进行的，进而使得所述数据存储服务器获取到所述映射关系表,该映射关系表属于一个静态映射结果；

接收业务数据存储请求，所述业务数据存储请求为生产端将生产的业务消息发送给数据存储服务器，所述数据存储服务器接收该业务消息的数据存储请求；

根据具有存储请求的业务数据的用于区分业务消息类型的所有数据特征，确定所述业务数据属于公共业务消息或特定业务消息；所述业务数据的数据特征包括数据容量、数据老化周期和数据刷盘频率；在所述业务数据的容量小于等于预设容量，所述业务数据的老化周期小于等于预设老化周期，并且，所述业务数据的刷盘频率小于等于预设刷盘频率时；所述业务数据属于公共业务消息；

在所述业务数据的容量大于预设容量，或，所述业务数据的老化周期大于预设老化周期，或，所述业务数据的刷盘频率大于预设刷盘频率时；所述业务数据属于特定业务数据；

根据所述映射关系表确定所述业务数据对应的存储实例为公共存储实例还是特定存储实例；

将所述业务数据存储在所述存储实例中，处于同一存储实例的业务数据的数据特征满足一致的要求。

2.根据权利要求1所述的业务数据存储方法，其特征在于，所述将所述业务数据存储在所述存储实例中，之后包括：

将存储有所述业务数据的存储实例保存在指定磁盘中。

3.根据权利要求1所述的业务数据存储方法，其特征在于，

所述公共存储实例包括多主题存储块，用于存储多个不同主题的业务数据；

所述特定存储实例包括单主题存储块，用于存储同一主题的业务数据。

4.根据权利要求3所述的存储方法，其特征在于，所述将所述业务数据存储在所述存储实例中，之后包括：

根据所述业务数据的主题，确定所述业务数据对应的存储块。

5.根据权利要求3所述的业务数据存储方法，其特征在于，所述方法还包括：

接收业务数据的消费请求；

根据所述业务数据的主题确定所述业务数据所存的存储块；

发送存储在所述存储块中的业务数据，使所述业务数据被消费。

6.根据权利要求1所述的业务数据存储方法，其特征在于，所述公共业务消息包括本地缺省定义的业务消息；所述特定业务消息包括虚拟物品交易相关的业务消息。

7.一种业务数据存储装置，其特征在于，所述装置为消息中间件系统中的数据存储服务器在数据持久化处理中对业务数据进行存储的装置，所述装置包括：

存储实例获取模块，用于获取用于存储公共业务消息的数据或是业务特征符合系统的缺省定义的业务消息的公共存储实例和用于存储特定的业务信息的数据的特定存储实例；存储实例是基于数据存储服务器平台根据业务的需求进行的建立；进而使得所述数据存储服务器获取所述存储实例；公共存储实例和特定存储实例并列布局；

映射关系表获取模块，用于获取存储实例映射关系表；所述映射关系表包括公共业务消息与公共存储实例的映射关系，以及特定业务消息与特定存储实例的映射关系；所述业务消息与存储实例的映射关系的建立是基于所述数据存储服务器的平台进行的，进而使得所述数据存储服务器获取到所述映射关系表,该映射关系表属于一个静态映射结果；

存储请求接收模块，用于接收业务数据的存储请求，所述业务数据存储请求为生产端将生产的业务消息发送给数据存储服务器，所述数据存储服务器接收该业务消息的数据存储请求；

业务消息确定模块，用于根据具有存储请求的业务数据的用于区分业务消息类型的所有数据特征，确定所述业务数据属于公共业务消息或特定业务消息；所述业务数据的数据特征包括数据容量、数据老化周期和数据刷盘频率；在所述业务数据的容量小于等于预设容量，所述业务数据的老化周期小于等于预设老化周期，并且，所述业务数据的刷盘频率小于等于预设刷盘频率时；所述业务数据属于公共业务消息；

在所述业务数据的容量大于预设容量，或，所述业务数据的老化周期大于预设老化周期，或，所述业务数据的刷盘频率大于预设刷盘频率时；所述业务数据属于特定业务数据；

存储实例确定模块，用于根据所述映射关系表确定所述业务数据对应的存储实例为公共存储实例还是特定存储实例；

数据存储模块，用于将具有存储请求的业务数据存储在所述存储实例中，处于同一存储实例的业务数据的数据特征满足一致的要求。

8.根据权利要求7所述的业务数据存储装置，其特征在于，所述装置还包括：

存储实例保存模块，用于将存储有业务数据的存储实例保存在指定磁盘中。

9.根据权利要求7所述的业务数据存储装置，其特征在于，

所述公共存储实例包括多主题存储块，用于存储多个不同主题的业务数据；

所述特定存储实例包括单主题存储块，用于存储同一主题的业务数据。

10.根据权利要求9所述的业务数据存储装置，其特征在于，所述存储实例确定模块，包括：

存储块确定单元，用于根据所述业务数据的主题，确定所述业务数据对应的存储块。

11.根据权利要求9所述的业务数据存储装置，其特征在于，所述装置还包括：

消费请求获取模块，用于接收业务数据的消费请求；

数据存储确定模块，用于根据所述业务数据的主题确定所述业务数据所存的存储块；

数据发送模块，用于发送存储在所述存储块中的业务数据，使所述业务数据被消费。

12.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-6任一所述的业务数据存储方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-6任一所述的业务数据存储方法。

Images