CN110532493B - 数据的处理方法及装置、存储介质和电子装置 - Google Patents

Abstract

本发明提供了一种数据的处理方法及装置、存储介质和电子装置，其中，该方法包括：接收第一用户向数据库中的数据源发起的订阅申请，其中，所述订阅申请还指示有需要分发的目标介质数据源；所述数据源由第二用户向所述数据库同步的；所述数据源和所述目标介质数据源属于同一域；根据所述订阅申请生成对应的任务，并将所述任务添加到队列中；从所述队列中获取所述任务，并将申请的数据源写入到所述目标介质数据源中。通过本发明，解决了相关技术中数据分发效率较低的问题。

Description

数据的处理方法及装置、存储介质和电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据的处理方法及装置、存储介质和电子装置。

背景技术

数据分发是基于网络环境，将数据资源从源端发送目标端。相关技术中的数据分发方式是订阅者需要向数据搜寻订阅所需的数据，在搜寻到该数据后进而向数据库发起订阅，导致数据的分发效率较低。

针对相关技术中的上述问题，目前尚未存在有效的解决方案。

发明内容

本发明实施例提供了一种数据的处理方法及装置、存储介质和电子装置，以至少解决相关技术中数据分发效率较低的问题。

根据本发明的一个实施例，提供了一种数据的处理方法，包括：接收第一用户向数据库中的数据源发起的订阅申请，其中，所述订阅申请还指示有需要分发的目标介质数据源；所述数据源由第二用户向所述数据库同步的；所述数据源和所述目标介质数据源属于同一域；根据所述订阅申请生成对应的任务，并将所述任务添加到队列中；从所述队列中获取所述任务，并将申请的数据源写入到所述目标介质数据源中。

根据本发明的另一个实施例，提供了一种数据的处理装置，包括：接收模块，用于接收第一用户向数据库中的数据源发起的订阅申请，其中，所述订阅申请还指示有需要分发的目标介质数据源；所述数据源由第二用户向所述数据库同步的；所述数据源和所述目标介质数据源属于同一域；第一处理模块，用于根据所述订阅申请生成对应的任务，并将所述任务添加到队列中；第二处理模块，用于从所述队列中获取所述任务，并将申请的数据源写入到所述目标介质数据源中。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，接收第一用户向数据库中的数据源发起的订阅申请，并根据订阅申请生成对应的任务，并将任务添加到队列中，进而从队列中获取任务，并将申请的数据源写入到目标介质数据源中，从而实现了根据订阅者的需求主动推送所需的数据，从而解决了数据分发效率较低的问题，提高了数据分发的效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种数据的处理方法的终端的硬件结构框图；

图2是根据本发明实施例的数据的处理方法的流程图；

图3是根据本发明实施例的数据的处理装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本申请实施例一所提供的方法实施例可以在终端、计算机终端或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的一种数据的处理方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据的处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述终端的数据的处理方法，图2是根据本发明实施例的数据的处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，接收第一用户向数据库中的数据源发起的订阅申请，其中，订阅申请还指示有需要分发的目标介质数据源；数据源由第二用户向数据库同步的；数据源和目标介质数据源属于同一域；

步骤S204，根据订阅申请生成对应的任务，并将任务添加到队列中；

步骤S206，从队列中获取任务，并将申请的数据源写入到目标介质数据源中。

通过上述步骤S202至步骤S206，接收第一用户向数据库中的数据源发起的订阅申请，并根据订阅申请生成对应的任务，并将任务添加到队列中，进而从队列中获取任务，并将申请的数据源写入到目标介质数据源中，从而实现了根据订阅者的需求主动推送所需的数据，从而解决了数据分发效率较低的问题，提高了数据分发的效率。

在本申请的一个可选实施方式中，在接收第一用户向数据库中的数据源发起的订阅申请之前，本申请的方法步骤还包括：基于数据源和目标介质数据源构建域。

需要说明的是，域是应用程序的网络，每个应用程序都是域的成员。只有同一域中的应用程序才能互相通信，交换数据。应用程序可能是单个节点或者多个节点(分布式)，同一域中的每个节点可以互相通信。通过DomainManager管理域(Domain)包括源域和目标域以及域成员(DomainMember)。

在本申请的另一个可选实施方式中，对于步骤S204中涉及到的根据订阅申请生成对应的任务，并将任务添加到队列中的方式，进一步可以包括：

步骤S204-11，将订阅申请封装成指定主题；

步骤S204-12，基于主题生成对应的任务，并将任务添加到队列中。

在本申请的另一个可选实施方式中，本申请的方法步骤还包括：

步骤S208，实时监控任务的执行状态，并将监控结果同步到数据库中。

在本申请的另一个可选实施方式中，本申请的方法步骤还包括：

步骤S210，接收第二用户向数据库发送的数据的元信息，其中，元信息至少包括：数据源、表、字段、资源目录路径。

下面结合本申请的可选实施方式对本申请进行举例说明；

本可选实施方式提供了一种基于发布/订阅式的数据分发方法，该方法基于发布订阅模式的方法，数据发布者通过数据发布服务，将数据信息发布到数据分发平台上；数据订阅者subscriber)发起数据资源(DataResource)的订阅申请；数据分发服务将数据资源以topic的形式通过分发任务传输到使用者提供的目标介质中；同时，任务监控服务会监控每个任务的分发情况，记录并同步每个任务的状态。

数据分发方法实现方案包括以下几个部分：

1)构建域(Domain)：域是应用程序的网络，每个应用程序都是域的成员。只有同一域中的应用程序才能互相通信，交换数据。应用程序可能是单个节点或者多个节点(分布式)，同一域中的每个节点可以互相通信。通过DomainManager管理域(Domain)包括源域和目标域以及域成员(DomainMember)。

2)数据发布(DataPublish):数据存在于数据平台的应用程序中，属于某个源域，数据发布者(DataPublisher)通过发布接口，将数据的元信息(数据源、表、字段、资源目录路径等)发布到数据管理中心，由元数据管理者(MetaDataManager)进行管理和维护。

3)数据订阅(DataSubscribe):数据订阅者(DataSubscriber)从元数据管理者(MetaDataManager)获取到的所有数据资源信息中订阅所需要的数据(DataResource)，同时选择需要分发的目标介质即目标域成员(TargetDomainMember)、推送周期(天、周、月、年等)、订阅模式(增量、全量)、触发方式(自动、手动)等订阅信息。将订阅信息装成Topic，每次订阅申请就是生成一个Topic，由TopicManager维护和管理。

4)数据分发(DataDispatch):每个Topic由任务管理器(TaskManager)生成一个任务(Task)，根据触发方式，由任务队列管理器(TaskQueueManager)将任务放到队列(taskqueue)中。数据分发服务(DataDispatchService)从任务队列中获取任务(Task),执行分发操作：数据读取者管理器(DataReaderManager)根据Task中的Topic和源域成员信息，生成数据读取者(DataReader)用来读取源数据；再由数据写入者管理器(DataWriterManager)根据Topic和目标源成员信息生成数据写入者(DataWriter)用来将读取的数据写入到目标介质中。

5)任务监控(TaskListener)和记录(TaskReord):任务监控程序会一直任务的执行状态，并将执行的结果TaskRecord发给任务记录器(TaskRecordManager),将执行结果保存到数据库中。

具体实施方案：

1)，假设有数据源S，数据源下有库K，库中有表A，表A有字段C，目标介质数据源T，数据源S、T可以进行数据通信；有发布者P、订阅者D；

2)，根据数据源S、T构建域Y，S、T分别为Y的域成员Y-S,Y-T；

3)，发布者P将数据源S中的库K、表A、字段C通过发布接口，同步到数据管理中心，由MetaDataManager同步到数据库中；

4)，订阅者D看到数据源S下数据信息，对库K中的表A发起订阅申请，设定目标介质为数据源S、推送周期、订阅模式、触发方式等信息，TopicManager将订阅申请信息封装成一个Topic(topic-1)；

5)，任务管理器(TaskManager)根据topic-1生成任务task-1，根据任务触发方式，由任务管理器TaskQueueManager加入到queue-1中。

6)，数据分发服务DataDispatchService从任务队列queue-1中获取任务task-1，由数据分发器Disptcher调用分发方法；数据读取者管理器(DataReaderManager)根据task-1中的topic-1和Y-S，生成数据读取者datareader来读取源数据；再由数据写入者管理器(DataWriterManager)根据topic-1和Y-T生成数据写入者datawriter用来将读取的数据写入到目标介质T中。

7)，任务监控程序TaskListener实时监控task-1的状态，由TaskRecordManager将执行状态和结果同步到数据库中。

在具体应用场景中所执行的方法步骤包括：

步骤S301，构建域，根据不同通信网络，创建不同的域，转到步骤S302；

步骤S302，添加并维护域成员，根据应用程序部署信息生成域成员，并添加到对应的域中，转到步骤S303；

步骤S303，发布者通过发布接口，将数据元信息发布到数据管理中心，转到步骤S304；

步骤S304，订阅者浏览发布的数据资源，发起订阅申请，转到骤S305；

步骤S305，TopicManager将订阅申请信息封装成Topic，转到步骤S306；

步骤S306，任务管理器根据Topic信息生成分发任务Task，并加到任务队列中，转到步骤S307；

步骤S307，数据分发程序从队列中获取待分发任务，进行分发操作，转到步骤S308；

步骤S308，监控程序实时监控每个分发任务的进程状态，并同步其状态，转到步骤S309；

步骤S309，任务分发完成后，记录器记录分发结果，保存到数据库中，结束；

需要说明的是，如果有新的订阅申请，重复步骤S301-S309。

通过上述本申请的可选实施方式，数据发布者将数据资源发布后，数据订阅者能够通过在线订阅的方式，申请所需要的数据资源和所存储的目标介质。数据分发程序按照需求，将数据推送给订阅者，减少数据消费者的代码开发工作。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种数据的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的数据的处理装置的结构框图，如图3所示，该装置包括：接收模块32，用于接收第一用户向数据库中的数据源发起的订阅申请，其中，订阅申请还指示有需要分发的目标介质数据源；数据源由第二用户向数据库同步的；数据源和目标介质数据源属于同一域；第一处理模块34，与接收模块32耦合连接，用于根据订阅申请生成对应的任务，并将任务添加到队列中；第二处理模块36，与第一处理模块34耦合连接，用于从队列中获取任务，并将申请的数据源写入到目标介质数据源中。

可选地，本申请的装置还可以包括：构建模块，用于在接收第一用户向数据库中的数据源发起的订阅申请之前，基于数据源和目标介质数据源构建域。

可选地，本申请中的第一处理模块34进一步可以包括：封装单元，用于将订阅申请封装成指定主题；处理单元，用于基于主题生成对应的任务，并将任务添加到队列中。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，接收第一用户向数据库中的数据源发起的订阅申请，其中，订阅申请还指示有需要分发的目标介质数据源；数据源由第二用户向数据库同步的；数据源和目标介质数据源属于同一域；

S2，根据订阅申请生成对应的任务，并将任务添加到队列中；

S3，从队列中获取任务，并将申请的数据源写入到目标介质数据源中。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，接收第一用户向数据库中的数据源发起的订阅申请，其中，订阅申请还指示有需要分发的目标介质数据源；数据源由第二用户向数据库同步的；数据源和目标介质数据源属于同一域；

S2，根据订阅申请生成对应的任务，并将任务添加到队列中；

S3，从队列中获取任务，并将申请的数据源写入到目标介质数据源中。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据的处理方法，其特征在于，包括：

接收第一用户向数据库中的数据源发起的订阅申请，其中，所述订阅申请还指示有需要分发的目标介质数据源；所述数据源由第二用户向所述数据库同步的；所述数据源和所述目标介质数据源属于同一域；

根据所述订阅申请生成对应的任务，并将所述任务添加到队列中；

从所述队列中获取所述任务，并将申请的数据源写入到所述目标介质数据源中；

在接收第一用户向数据库中的数据源发起的订阅申请之前，还包括：

基于所述数据源和目标介质数据源构建域。

2.根据权利要求1所述的方法，其特征在于，所述根据所述订阅申请生成对应的任务，并将所述任务添加到队列中，包括：

将所述订阅申请封装成指定主题；

基于所述主题生成对应的任务，并将所述任务添加到队列中。

3.根据权利要求1所述的方法，其特征在于，还包括：

实时监控所述任务的执行状态，并将监控结果同步到所述数据库中。

4.根据权利要求1所述的方法，其特征在于，还包括：

接收第二用户向所述数据库发送的数据的元信息，其中，所述元信息至少包括：数据源、表、字段、资源目录路径。

5.一种数据的处理装置，其特征在于，包括：

接收模块，用于接收第一用户向数据库中的数据源发起的订阅申请，其中，所述订阅申请还指示有需要分发的目标介质数据源；所述数据源由第二用户向所述数据库同步的；所述数据源和所述目标介质数据源属于同一域；

第一处理模块，用于根据所述订阅申请生成对应的任务，并将所述任务添加到队列中；

第二处理模块，用于从所述队列中获取所述任务，并将申请的数据源写入到所述目标介质数据源中；

构建模块，用于在接收第一用户向数据库中的数据源发起的订阅申请之前，基于所述数据源和目标介质数据源构建域。

6.根据权利要求5所述的装置，其特征在于，第一处理模块包括：

封装单元，用于将所述订阅申请封装成指定主题；

处理单元，用于基于所述主题生成对应的任务，并将所述任务添加到队列中。

7.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。

8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。

Images