CN110489475B

CN110489475B - 一种多源异构数据处理方法、系统及相关装置

Info

Publication number: CN110489475B
Application number: CN201910749404.3A
Authority: CN
Inventors: 梁哲恒; 龙震岳; 曾纪钧; 张金波; 陈晓江; 沈伍强; 沈桂泉
Original assignee: Guangdong Power Grid Co Ltd; Information Center of Guangdong Power Grid Co Ltd
Current assignee: Guangdong Power Grid Co Ltd; Information Center of Guangdong Power Grid Co Ltd
Priority date: 2019-08-14
Filing date: 2019-08-14
Publication date: 2021-01-26
Anticipated expiration: 2039-08-14
Also published as: CN110489475A

Abstract

本申请所提供的一种多源异构数据处理方法，包括：采集目标业务系统端的多源异构数据，并建立对应的索引信息；查询预处理构件知识库，并确定预处理构件知识库中与索引信息相似度最高的案例；在预处理流程库中确定案例对应的预处理流程后，依据预处理流程对多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。该方法查询并确定预处理构件知识库中与索引信息相似度最高的案例；确定案例对应的预处理流程后，依据预处理流程对多源异构数据进行相应的预处理，能够提高多源异构数据的处理效率，进而提高用户体验。本申请还提供一种多源异构数据处理系统、服务器集群及计算机可读存储介质，均具有上述有益效果。

Description

一种多源异构数据处理方法、系统及相关装置

技术领域

本申请涉及多源异构数据处理领域，特别涉及一种多源异构数据处理方法、系统、服务器集群及计算机可读存储介质。

背景技术

在用户为王的当下，用户体验是不少企业的安身立命之根本。提升用户体验的关键点之一就是即时、随时解决用户的问题，为此越来越多的企业在服务软件中增加了“客户服务”等功能模块来随时响应客户需求。客户服务功能模块提出了及时、准确地关键字搜索的业务需求。由于电力企业业务处理复杂，各内部、外部系统的架构各异，数据格式的多样，导致相关技术中多源异构数据处理的效率低下，用户体验较差。

因此，如何提高多源异构数据的处理效率，进而提高用户体验是本领域技术人员亟需解决的技术问题。

发明内容

本申请的目的是提供一种多源异构数据处理方法、系统、服务器集群及计算机可读存储介质，能够提高多源异构数据的处理效率，进而提高用户体验。

为解决上述技术问题，本申请提供一种多源异构数据处理方法，包括：

采集目标业务系统端的多源异构数据，并建立对应的索引信息；

查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；

在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。

优选地，所述将预处理后的多源异构数据发送至终端进行数据处理之后，还包括：

将数据处理后的多源异构数据发送至服务器集群，并依据所述数据处理后的多源异构数据的数据特征进行关系型或非关系型数据存储；

将MongoDB中的GirdFS数据同步到SOLR引擎。

优选地，所述将MongoDB中的GirdFS数据同步到SOLR引擎，包括：

在判断所述GirdFS数据与所述SOLR引擎的同步状态后，将未同步的GirdFS数据进行GirdFS数据读取并转换为字符串格式的GirdFS数据；

将所述字符串格式的GirdFS数据同步到所述SOLR引擎，并更新所述同步状态。

优选地，所述采集目标业务系统端的多源异构数据，并建立对应的索引信息，包括：

在采集所述多源异构数据后，对所述多源异构数据的数据类型、数据量大小进行标记得到标记信息，并将所述标记信息作为所述索引信息。

优选地，所述查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例，包括：

查询所述预处理构件知识库，并依据所述数据类型、所述数据量大小确定所述预处理构件知识库中与所述索引信息相似度最高的所述案例。

优选地，若在所述预处理构件知识库中匹配到所述相似度低于预设阈值的案例，则依据未知结构方式对所述多源异构数据进行处理，并将相应的索引信息、预处理流程分别存储至所述预处理构件知识库、所述预处理流程库。

优选地，该多源异构数据处理方法还包括：

对所述预处理构件知识库、所述预处理流程库执行更新操作。

本申请还提供一种多源异构数据处理系统，包括：

索引信息建立模块，用于采集目标业务系统端的多源异构数据，并建立对应的索引信息；

案例确定模块，用于查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；

预处理模块，用于在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。

本申请还提供一种服务器集群，包括：

存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现上述所述的多源异构数据处理方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的多源异构数据处理方法的步骤。

本申请所提供的一种多源异构数据处理方法，包括：采集目标业务系统端的多源异构数据，并建立对应的索引信息；查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。

该方法查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，能够提高多源异构数据的处理效率，进而提高用户体验。本申请还提供一种多源异构数据处理系统、服务器集群及计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种多源异构数据处理方法的流程图；

图2为本申请实施例所提供的一种多源异构数据处理系统的结构框图。

具体实施方式

本申请的核心是提供一种多源异构数据处理方法，能够提高多源异构数据的处理效率，进而提高用户体验。本申请的另一核心是提供一种多源异构数据处理系统、服务器集群及计算机可读存储介质。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在用户为王的当下，用户体验是不少企业的安身立命之根本。提升用户体验的关键点之一就是即时、随时解决用户的问题，为此越来越多的企业在服务软件中增加了“客户服务”等功能模块来随时响应客户需求。客户服务功能模块提出了及时、准确地关键字搜索的业务需求。由于电力企业业务处理复杂，各内部、外部系统的架构各异，数据格式的多样，导致相关技术中多源异构数据处理的效率低下，用户体验较差。本申请提供的一种多源异构数据处理方法，能够提高多源异构数据的处理效率，进而提高用户体验。具体请参考图1，图1为本申请实施例所提供的一种多源异构数据处理方法的流程图，该多源异构数据处理方法具体包括：

S101、采集目标业务系统端的多源异构数据，并建立对应的索引信息；

本申请实施例对于多源异构数据的采集设备及对应的采集方式均不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。在此对于建立多源异构数据的索引信息也不作具体限定，只要满足需求即可。上述目标业务系统端即为一种业务系统端，具体需根据实际情况而定。

进一步地，上述采集目标业务系统端的多源异构数据，并建立对应的索引信息，通常包括：在采集多源异构数据后，对多源异构数据的数据类型、数据量大小进行标记得到标记信息，并将标记信息作为索引信息。

S102、查询预处理构件知识库，并确定预处理构件知识库中与索引信息相似度最高的案例；

在此对于预处理构件知识库不作具体限定，应由本领域技术人员根据实际情况作出相应的设定，该预处理构件知识库中存储各种索引信息对应的案例。本申请实施例中确定索引信息相似度最高的案例的标准是数值偏差总和最小。

进一步地，上述查询预处理构件知识库，并确定预处理构件知识库中与索引信息相似度最高的案例，通常包括：查询预处理构件知识库，并依据数据类型、数据量大小确定预处理构件知识库中与索引信息相似度最高的案例。

在一个实施例中，若在预处理构件知识库中匹配到相似度低于预设阈值的案例，则依据未知结构方式对多源异构数据进行处理，并将相应的索引信息、预处理流程分别存储至预处理构件知识库、预处理流程库。在此对于预设阈值不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。

S103、在预处理流程库中确定案例对应的预处理流程后，依据预处理流程对多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。

在此对于预处理流程库不作具体限定，应由本领域技术人员根据实际情况作出相应的设定，该预处理流程库中存储着各种案例对应的预处理流程，进而可以依据预处理流程对多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。作为优选，整个数据处理中采用微服务方式，并根据业务负载进行横向扩展。

进一步地，上述将预处理后的多源异构数据发送至终端进行数据处理之后，通常还可以包括：将数据处理后的多源异构数据发送至服务器集群，并依据数据处理后的多源异构数据的数据特征进行关系型或非关系型数据存储；将MongoDB中的GirdFS数据同步到SOLR引擎。

SOLR引擎是一个高性能、采用Java5开发，基于Lucene的全文搜索服务器，为世界上许多大的互联网站点的搜索和导航功能提供支持，其具有高可靠性、可扩展性和容错性，可提供分布式索引、复制和负载均衡查询，自动故障转移和恢复、集中配置等优势。MongoDB是由C++语言编写的一个基于分布式文件存储的开源数据库系统，其支持松散的数据结构，可存储复杂的数据类型，支持强大的查询语言，可以实现类似关系数据库单表查询的绝大部分功能，且支持对数据建立索引，其具有高性能、易部署、易使用，存储数据方便等特点。

进一步地，上述将MongoDB中的GirdFS数据同步到SOLR引擎，通常包括：在判断GirdFS数据与SOLR引擎的同步状态后，将未同步的GirdFS数据进行GirdFS数据读取并转换为字符串格式的GirdFS数据；将字符串格式的GirdFS数据同步到SOLR引擎，并更新同步状态。采用MongoDB与SOLR结合的方式进行关键字检索，实现了java环境下MongoDB的GirdFS数据与SOLR的自动化同步，提高了检索准确性，提升了用户体验度。本申请实施例可以有效减少处理多源异构数据的时间，并且实现MongoDB与SOLR引擎在大文件下的自动同步，实现在终端上快速处理的有益效果，大大的提高了效率。

进一步地，该多源异构数据处理方法通常还可以包括：对预处理构件知识库、预处理流程库执行更新操作。

整个方法中设计的部署架构为数据采集端-数据预处理端-数据接收端，数据采集端是采用心跳模式安装在业务系统端的大量数据采集中间件；数据预处理端指的是与分布式部署的大批量预处理业务数据的服务器集群；数据接收端是存储预处理完成后数据，并进行数据库和搜索引擎定时同步的服务器集群。发生数据交换的场景为数据采集端到预处理端再到数据接收端，通过预处理环节可以预先判断出待处理的待处理数据的类型、结构，处理方法等，便可以参考知识库(过去的经验，以及历史积累的模式)进行处理。本申请实施例中将传统数据处理模式由发送端到接收端改为发送端到预处理再到接收端，可以有效加快数据处理效率，实现在终端上快速处理的有益效果，且结合了MongoDB和SOLR搜索引擎，建立了电力行业检索词库，实现了电力行业中文分词检索，且由于处理过程中采用动态扩展的方式，可有效解决处理瓶颈问题。

下面对本申请实施例提供的一种多源异构数据处理系统、服务器集群及计算机可读存储介质进行介绍，下文描述的多源异构数据处理系统、服务器集群及计算机可读存储介质与上文描述的多源异构数据处理方法可相互对应参照。

请参考图2，图2为本申请实施例所提供的一种多源异构数据处理系统的结构框图；该多源异构数据处理系统包括：

索引信息建立模块201，用于采集目标业务系统端的多源异构数据，并建立对应的索引信息；

案例确定模块202，用于查询预处理构件知识库，并确定预处理构件知识库中与索引信息相似度最高的案例；

预处理模块203，用于在预处理流程库中确定案例对应的预处理流程后，依据预处理流程对多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。

基于上述实施例，本实施例中该多源异构数据处理系统通常还可以包括：

数据存储模块，用于将数据处理后的多源异构数据发送至服务器集群，并依据数据处理后的多源异构数据的数据特征进行关系型或非关系型数据存储；

数据同步模块，用于将MongoDB中的GirdFS数据同步到SOLR引擎。

基于上述实施例，本实施例中数据同步模块，通常包括：

格式转换单元，用于在判断GirdFS数据与SOLR引擎的同步状态后，将未同步的GirdFS数据进行GirdFS数据读取并转换为字符串格式的GirdFS数据；

数据同步单元，用于将字符串格式的GirdFS数据同步到SOLR引擎，并更新同步状态。

基于上述实施例，本实施例中索引信息建立模块201，通常包括：

索引信息建立单元，用于在采集多源异构数据后，对多源异构数据的数据类型、数据量大小进行标记得到标记信息，并将标记信息作为索引信息。

基于上述实施例，本实施例中案例确定模块202，通常包括：

案例确定单元，用于查询预处理构件知识库，并依据数据类型、数据量大小确定预处理构件知识库中与索引信息相似度最高的案例。

更新操作执行模块，用于对预处理构件知识库、预处理流程库执行更新操作。

本申请还提供一种服务器集群，包括：存储器和处理器；其中，存储器用于存储计算机程序，处理器用于执行计算机程序时实现上述任意实施例的多源异构数据处理方法的步骤。

本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的多源异构数据处理方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种多源异构数据处理方法、系统、服务器集群及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种多源异构数据处理方法，其特征在于，包括：

在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理；

其中，所述采集目标业务系统端的多源异构数据，并建立对应的索引信息，包括：

2.根据权利要求1所述的多源异构数据处理方法，其特征在于，所述将预处理后的多源异构数据发送至终端进行数据处理之后，还包括：

将MongoDB中的GirdFS数据同步到SOLR引擎。

3.根据权利要求2所述的多源异构数据处理方法，其特征在于，所述将MongoDB中的GirdFS数据同步到SOLR引擎，包括：

4.根据权利要求1所述的多源异构数据处理方法，其特征在于，所述查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例，包括：

5.根据权利要求1所述的多源异构数据处理方法，其特征在于，若在所述预处理构件知识库中匹配到所述相似度低于预设阈值的案例，则依据未知结构方式对所述多源异构数据进行处理，并将相应的索引信息、预处理流程分别存储至所述预处理构件知识库、所述预处理流程库。

6.根据权利要求1至5任一项所述的多源异构数据处理方法，其特征在于，还包括：

7.一种多源异构数据处理系统，其特征在于，包括：

预处理模块，用于在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理；

其中，索引信息建立模块包括：

8.一种服务器集群，其特征在于，包括：

存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如权利要求1至6任一项所述的多源异构数据处理方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的多源异构数据处理方法的步骤。