CN110837356B - 一种数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收输入的业务需求信息，所述业务需求信息包括业务逻辑描述；利用预存的业务描述信息，对所述业务需求信息进行逻辑分析，以确定所述业务需求信息对应的数据源；利用所述数据源中的数据，执行与所述业务逻辑描述对应的可执行代码，以得到数据处理结果。该实施方式能够根据业务需求信息自动匹配数据源，工作量化性高，可以实现自动化地代码编写和调试，使得非编程人员也能开发数据处理代码，代码风格统一且易于修改和维护，简化和加速了数据处理的操作过程，节约时间成本，提高数据处理效率，有利于数据处理的统一和规范化。

Description

一种数据处理方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

在数据处理的开发过程中，绝大部分的工时都消耗在数据源的获取和处理逻辑的制定上，如何降低这两个关注点的开发工程量，是每一个开发人员需要关注的问题。

目前的数据处理方案中，开发人员分析需求，在产品经理的协助下，凭借经验获取数据处理的数据源，然后接入数据源的消息，手工编写数据处理的代码，完成之后调试上线，进行数据处理。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

数据源的获取需依靠人工经验，工作量化性不高，加工逻辑形成代码需要手工编写与调试，风格不一，不易修改和维护，降低了数据处理效率。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，能够根据业务需求信息自动匹配数据源，工作量化性高，可以实现自动化地代码编写和调试，使得非编程人员也能开发数据处理代码，代码风格统一且易于修改和维护，简化和加速了数据处理的操作过程，节约时间成本，提高数据处理效率，有利于数据处理的统一和规范化。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法。

一种数据处理方法，包括：接收输入的业务需求信息，所述业务需求信息包括业务逻辑描述；利用预存的业务描述信息，对所述业务需求信息进行逻辑分析，以确定所述业务需求信息对应的数据源；利用所述数据源中的数据，执行与所述业务逻辑描述对应的可执行代码，以得到数据处理结果。

可选地，利用预存的业务描述信息，对所述业务需求信息进行逻辑分析，以确定所述业务需求信息对应的数据源的步骤，包括：对所述业务需求信息进行分词，得到所述业务需求的各分词；利用预存在各数据源中的所述业务描述信息，计算所述业务需求的各分词在每一数据源的词频权重总值；根据所述词频权重总值，确定所述业务需求信息对应的数据源。

可选地，利用预存在一数据源中的所述业务描述信息，通过如下方式计算所述业务需求的各分词在该数据源的词频权重总值：根据所述业务需求的每个分词在该数据源的分词集合中的出现频次，得到所述每个分词在该数据源中的词频，其中，该数据源的分词集合通过对该数据源中预存的所述业务描述信息分词得到；根据所述每个分词在该数据源中的词频，以及该数据源的分词集合的总分词量，分别计算所述每个分词在该数据源中的权重值；根据所述每个分词在该数据源中的权重值，得到所述业务需求的各分词在该数据源的词频权重总值。

可选地，根据所述词频权重总值，确定所述业务需求信息对应的数据源的步骤，包括：确定所述业务需求的各分词在各个数据源的词频权重总值之中，存在大于预设阈值的词频权重总值；将所述大于预设阈值的词频权重总值之中，最大的词频权重总值对应的数据源确定为所述业务需求信息对应的数据源。

可选地，如果所述业务需求的各分词在各个数据源的词频权重总值之中，不存在所述大于预设阈值的词频权重总值，则按照预设的需求流转规则确定所述业务需求信息对应的数据源。

可选地，按照预设的需求流转规则确定所述业务需求信息对应的数据源的步骤之后，包括：通过复盘分析确定所述业务需求信息符合预设规范，然后将所述业务需求的各分词保存到确定出的所述业务需求信息对应的数据源中。

可选地，利用所述数据源中的数据，执行与所述业务逻辑描述对应的可执行代码的步骤之前，包括：根据所述业务逻辑描述，按照与所述数据源相匹配的消息处理模板，生成与所述业务逻辑描述对应的可执行代码。

可选地，根据所述业务逻辑描述，按照与所述数据源相匹配的消息处理模板，生成与所述业务逻辑描述对应的可执行代码的步骤，包括：从所述业务逻辑描述中提取中文关键字，以及从所述业务需求的各分词中提取属于所述业务逻辑描述的分词；利用与所述中文关键字对应的代码关键字，以及所述数据源中与属于所述业务逻辑描述的分词对应的字段，生成所述可执行代码。

可选地，利用所述数据源中的数据，执行与所述业务逻辑描述对应的可执行代码，以得到数据处理结果的步骤之前，包括：利用所述数据源中的数据，确认所述可执行代码中的业务逻辑符合所述业务逻辑描述。

根据本发明实施例的另一方面，提供了一种数据处理装置。

一种数据处理装置，包括：需求接收模块，接收输入的业务需求信息，所述业务需求信息包括业务逻辑描述；第一数据源确定模块，利用预存的业务描述信息，对所述业务需求信息进行逻辑分析，以确定所述业务需求信息对应的数据源；数据处理模块，利用所述数据源中的数据，执行与所述业务逻辑描述对应的可执行代码，以得到数据处理结果。

可选地，所述第一数据源确定模块还用于：对所述业务需求信息进行分词，得到所述业务需求的各分词；利用预存在各数据源中的所述业务描述信息，计算所述业务需求的各分词在每一数据源的词频权重总值；根据所述词频权重总值，确定所述业务需求信息对应的数据源。

可选地，所述第一数据源确定模块包括词频权重总值确定子模块，用于：根据所述业务需求的每个分词在该数据源的分词集合中的出现频次，得到所述每个分词在该数据源中的词频，其中，该数据源的分词集合通过对该数据源中预存的所述业务描述信息分词得到；根据所述每个分词在该数据源中的词频，以及该数据源的分词集合的总分词量，分别计算所述每个分词在该数据源中的权重值；根据所述每个分词在该数据源中的权重值，得到所述业务需求的各分词在该数据源的词频权重总值。

可选地，所述第一数据源确定模块包括数据源确定子模块，用于：确定所述业务需求的各分词在各个数据源的词频权重总值之中，存在大于预设阈值的词频权重总值；将所述大于预设阈值的词频权重总值之中，最大的词频权重总值对应的数据源确定为所述业务需求信息对应的数据源。

可选地，还包括第二数据源确定模块，用于：如果所述业务需求的各分词在各个数据源的词频权重总值之中，不存在所述大于预设阈值的词频权重总值，则按照预设的需求流转规则确定所述业务需求信息对应的数据源。

可选地，所述第二数据源确定模块包括复盘分析子模块，用于：通过复盘分析确定所述业务需求信息符合预设规范，然后将所述业务需求的各分词保存到确定出的所述业务需求信息对应的数据源中。

可选地，还包括代码生成模块，用于：根据所述业务逻辑描述，按照与所述数据源相匹配的消息处理模板，生成与所述业务逻辑描述对应的可执行代码。

可选地，所述代码生成模块还用于：从所述业务逻辑描述中提取中文关键字，以及从所述业务需求的各分词中提取属于所述业务逻辑描述的分词；利用与所述中文关键字对应的代码关键字，以及所述数据源中与属于所述业务逻辑描述的分词对应的字段，生成所述可执行代码。

可选地，还包括测试模块，用于：利用所述数据源中的数据，确认所述可执行代码中的业务逻辑符合所述业务逻辑描述。

根据本发明实施例的又一方面，提供了一种电子设备。

一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明提供的数据处理方法。

根据本发明实施例的又一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的数据处理方法。

上述发明中的一个实施例具有如下优点或有益效果：利用预存的业务描述信息，对输入的业务需求信息进行逻辑分析，以确定业务需求信息对应的数据源，能够根据业务需求信息自动匹配数据源，工作量化性高，按照与业务需求对应的数据源相匹配的消息处理模板，生成与业务需求信息中的业务逻辑描述对应的可执行代码，可以实现自动化地代码编写和调试，使得非编程人员也能开发数据处理代码，代码风格统一且易于修改和维护，简化和加速了数据处理的操作过程，节约时间成本，提高数据处理效率，有利于数据处理的统一和规范化。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据处理方法的主要步骤示意图；

图2是根据本发明实施例的共有属性和私有属性的构成示意图；

图3是根据本发明实施例的需求校验的一个示例性流程示意图；

图4是根据本发明实施例的消息中间件系统消息模板的示意图；

图5是根据本发明实施例的数据加工平台的构成示意图；

图6是根据本发明实施例的数据处理装置的主要模块示意图；

图7是本发明实施例可以应用于其中的示例性系统架构图；

图8是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的数据处理方法的主要步骤示意图。

如图1所示，实施例的数据处理方法主要包括如下的步骤S101至步骤S103。

步骤S101：接收输入的业务需求信息。

业务需求信息包括业务逻辑描述，业务逻辑描述例如：“获取验货的运单号，如果运单号不为未定义，则将运单号，验货时间更新到数据库”。用户(例如数据处理的开发人员等)可以通过可视化需求输入界面输入业务需求信息，业务需求信息还可以包括业务需求描述，例如：“货物到达站点，站长验收货物，接入验收的时间”。

步骤S102：利用预存的业务描述信息，对输入的业务需求信息进行逻辑分析，以确定业务需求信息对应的数据源。

预存的业务描述信息预存在已有的各数据源中，每一数据源为一数据库表，也可称为数据源表，例如验货表、收货表等。

步骤S102具体可以包括：

对业务需求信息进行分词，得到业务需求的各分词；

利用预存在各数据源中的业务描述信息，计算业务需求的各分词在每一数据源的词频权重总值；

根据计算得到的词频权重总值，确定业务需求信息对应的数据源。

业务需求的各分词保存在需求特征表中。对业务需求信息分词之后，可以先对分词进行人工校验再执行计算词频权重总值的步骤，人工校验过程具体可以包括：将分词成功的词语置黄(可以通过css(层叠样式表)控制字体显示颜色)，开发人员进行二次浏览扫描，将自动扫描遗漏补记或者不合语境的词语划落，校验无误后，点击保存，记录被划落词语和补录词语之后，可以分析其特征，以便下次分词扩充数据库。

其中，利用预存在一数据源中的业务描述信息，可以通过如下方式计算业务需求的各分词在该数据源的词频权重总值：

根据业务需求的每个分词在该数据源的分词集合中的出现频次，得到每个分词在该数据源中的词频，其中，该数据源的分词集合通过对该数据源中预存的业务描述信息分词得到；

根据业务需求的每个分词在该数据源中的词频，以及该数据源的分词集合的总分词量，分别计算业务需求的每个分词在该数据源中的权重值，具体地，某一分词在该数据源的权重值等于该分词在该数据源中的词频与该数据源的分词集合的总分词量的比值；

根据业务需求的每个分词在该数据源中的权重值，得到业务需求的各分词在该数据源的词频权重总值，具体地，业务需求的各分词在该数据源的词频权重总值的计算方法为：将业务需求的各分词去重，将去重后的每个分词在该数据源中的权重值相加，得到业务需求的各分词在该数据源的词频权重总值，即，在将各权重值加和得到词频权重总值时，相同分词的权重值仅进行一次加和，而不会重复加和。

根据词频权重总值，确定业务需求信息对应的数据源的步骤，具体可以包括：

确定业务需求的各分词在各个数据源的词频权重总值之中，存在大于预设阈值的词频权重总值；

将大于预设阈值的词频权重总值之中，最大的词频权重总值对应的数据源确定为该业务需求信息对应的数据源。

其中，预设阈值可以自定义，由于词频权重总值为大于或等于0且小于或等于1的数值，可以根据需求来自定义一个大于或等于零且小于1的数值作为预设阈值，例如定义预设阈值为0，当预设阈值为0时，则将业务需求的各分词在各个数据源的词频权重总值之中，最大的词频权重总值对应的数据源确定为该业务需求信息对应的数据源。

如果利用预存的业务描述信息，对输入的业务需求信息进行逻辑分析之后，无法确定出业务需求信息对应的数据源，换言之，即如果业务需求的各分词在各个数据源的词频权重总值之中，不存在大于预设阈值的词频权重总值，则按照预设的需求流转规则确定该业务需求信息对应的数据源。

需求流转规则可以根据业务需求预先进行设定，例如，需求流转规则可以包括转发、置顶、评论、打分、升级、定责等规则。

转发，开发人员可以将此业务需求转发给产品经理或项目经理等相关人员，由相关人员协助确定该业务需求信息对应的数据源。

置顶，即在开发人员、产品经理、项目经理等均不能决策此业务需求信息对应的数据源的情况下，开发人员可将此业务需求置顶到未解决数据源需求列表，未解决数据源需求列表是一个展示所有未查询到数据源的业务需求列表界面，以供所有参与过数据处理的开发人员、产品经理、项目经理和各环节数据生产方翻阅、评论。

评论，即将业务需求置顶到未解决数据源需求列表后，所有人可以参与业务需求评论，所有评论反馈给该业务需求的开发人员、产品经理等。

打分，即开发人员浏览相关业务需求评论的反馈信息，一旦发现有正确反馈数据源发评论，则为该反馈者打分。

升级，即在限制时间内，如果对于该业务需求还没有查询到数据源，则该业务需求自动升级到部门经理处，由部门经理协调资源解决。

定责，即在限制时间(通常比升级的限制时间长)内，如果对于该业务需求还没有查询到数据源，则由部门经理定责到个人，以由被定责的个人来确定数据源。

需求流转规则中还可以包括复盘，即当对某业务需求经过上述的转发、评论、升级等环节查询到数据源后，自动分析业务需求特征与数据源间的联系，记录对业务需求信息逻辑分析失利的原因，填充需求特征表与数据源表，完善分析失利处理机制，并且可以通过复盘分析判断业务需求信息是否符合预设规范，在确定业务需求信息符合预设规范之后，将业务需求的各分词保存到确定出的业务需求信息对应的数据源中，以扩充数据源的数据库，使得下次分词可以直接使用。如果业务需求信息不符合预设规范，则可以向开发人员输出提示消息，以便开发人员修正输入的业务需求信息。

步骤S103：利用业务需求信息对应的数据源中的数据，执行与业务逻辑描述对应的可执行代码，以得到数据处理结果。

在一个实施方式中，在步骤S103之前，可以根据业务逻辑描述，按照与业务需求信息对应的数据源相匹配的消息处理模板，生成与业务逻辑描述对应的可执行代码。

具体地，从业务逻辑描述中提取中文关键字，以及从业务需求的各分词中提取属于业务逻辑描述的分词；利用与提取的中文关键字对应的代码关键字，以及业务需求信息对应的数据源中与属于所述业务逻辑描述的分词对应的字段，生成该可执行代码。

本领域技术人员可以理解的是，该实施方式为本发明实施例生成可执行代码的优选实施方式，在其他的实施方式中，例如该步骤S103中与业务逻辑描述对应的可执行代码通过手动编写生成，与上述的步骤S101、步骤S102结合，也可以实现本发明实施例根据业务需求信息自动匹配数据源，工作量化性高的技术效果。

步骤S103之前还可以利用业务需求信息对应的数据源中的数据，确认该可执行代码中的业务逻辑符合业务需求信息中的业务逻辑描述。

例如，在上文提及的实施方式中，根据业务逻辑描述，按照与业务需求信息对应的数据源相匹配的消息处理模板，生成与业务逻辑描述对应的可执行代码之后，可以自动利用业务需求信息对应的数据源中的数据，测试该可执行代码中的业务逻辑是否符合业务需求信息中的业务逻辑描述，在确定可执行代码中的业务逻辑符合业务需求信息中的业务逻辑描述之后，再执行步骤S103。

本发明还提供一种敏捷式数据加工平台(简称数据加工平台)，数据加工平台启动后执行本发明实施例的数据处理方法进行数据处理。本发明实施例的数据加工平台可以以单独地模块/单元开发，具体地，以可视化需求输入界面(为Web界面的形式)作为敏捷式数据加工的操作单元，将数据处理的开发阶段分为三个功能模块：数据录入模块、逻辑分析系统、代码生成器，以这三个内置的功能模块为基本单元，以实际业务驱动数据处理的实现，实现可视化地开发。

下面以电商领域的数据处理为例，介绍本发明实施例的敏捷式数据加工平台。本发明实施例不仅限于电商领域的数据处理，还可以用于各种领域中需要定位数据源、且需要编写数据处理代码，并执行数据处理代码进行数据处理的场景。

在电商系统中，通常数据处理会涉及第三方业务，例如运输业务，在涉及第三方业务的数据处理场景中，业务需求信息是由数据处理的开发人员来输入的，而预存的业务描述信息是由第三方业务生产方录入的，因此，在本实施例的敏捷式数据加工平台中，可以支持针对两种不同角色的数据录入：需求录入和第三方业务信息数据录入。

需求录入，服务于普通的数据处理开发人员，在此通道中由开发人员输入业务需求信息，其中包括业务需求描述以及业务逻辑描述，数据加工平台对输入的业务需求信息进行初步校验之后，交由逻辑分析系统，完成对需求信息的采集。

第三方业务信息数据录入，服务于第三方业务条线上数据的生产方，由该生产方录入各自的业务描述信息，包括业务描述和生产方数据库的业务字段描述等，供逻辑分析系统筛选、对比、过滤使用，两种数据录入应用于不同的角色，共同合作完成对业务需求的识别。

在数据处理流程中，上述两种数据录入并不一定是同时进行的(通常不是同时进行的)，第三方业务信息数据可以预先录入并保存，在使用时随时读取。

除了两种数据录入功能之外，数据录入模块具有数据流转功能，用来维护业务需求的识别，比如，当业务需求信息录入后，逻辑分析系统对录入的业务需求信息进行分析对比，一旦在与数据加工平台对应的内置数据库中发现不了该业务需求的业务特征，则启动需求流转功能，具体包括转发、置顶、评论、打分、升级、定责、复盘等功能，这些功能上文已经详细介绍，此处不再赘述。本发明实施例使得业务与数据源的凭依关系可以形成文档，供各相关人员审阅。

为了更清楚地了解本发明实施例的数据录入模块的工作过程，需要介绍一下敏捷式数据加工平台中数据录入模块的开发步骤。首先定义数据录入模板，可以抽象出一套共有属性供需求录入和第三方业务信息数据录入使用，共有属性包括：需求标识(业务需求的标识)、录入内容(包括业务需求描述、业务逻辑描述等)、录入时间、录入人等，该共有属性表只有插入功能，没有更新功能，需求标识用于判断多个业务是否为同一业务需求(去掉更新功能是为了保持历史记录)；第三方业务信息数据录入还需要私有属性列表，用来描述生产方数据库字段及其含义描述，私有属性包括：表的业务描写(即该表存储的是什么业务，和共有属性表中的需求标识相关联)，字段名称，字段描写，该数据是否是现场生产(数据现场生产是指该数据是一线人员操作而生成的，例如一线发货端产生的数据即属于现场生产的数据)等等，私有属性在录入后会存储在分词表中，为逻辑分析系统提供文本相似性对比。共有属性和私有属性的构成示意图如图2所示。然后开发需求流转按钮如：转发、置顶、评论、打分、升级、定责、复盘等按钮的具体功能。

需要说明的是，本发明实施例的数据加工平台不仅限于涉及第三方业务的数据处理场景，还适用于不涉及第三方业务的数据处理场景，在不涉及第三方业务的数据处理场景中，业务需求信息与预存的业务描述信息可以由数据处理的开发人员来统一进行输入，此时该预存的业务描述信息相应地为自有业务信息数据，而不是第三方业务信息数据。

逻辑分析系统对数据录入模块录入的业务需求信息进行需求采集，利用预存的业务描述信息，对输入的业务需求信息进行逻辑分析，以确定业务需求信息对应的数据源，具体需要经过如下的阶段才能对业务需求信息对应的数据源进行准确定位。

第一阶段是对需求的分词，指的是将一连串的汉字序列切分成一个一个单独的词法单元，本实施例可以使用各种分词算法来完成对业务需求信息的分词，下面以word分词(一个Java实现的分布式的中文分词组件)为例，介绍对业务需求信息分词的具体步骤：

引入maven依赖包：

对文本进行分词：

List<Word>words＝WordSegmenter.seg("需求录入文本")；

words显示分词后的内容，举例说明，如果需求录入文本(例如业务需求描述)为：“货物到达站点，站长验收货物，接入验收的时间”，words则显示为：[货物，到达，站点，站长，验收，货物，接入，验收]。

对需求进行人工二次校验：

words分词后，将分词成功的词语置黄(可以通过css(层叠样式表)控制字体显示颜色)，开发人员进行二次浏览扫描，将自动扫描遗漏补记或者不合语境的词语划落，校验无误后，点击保存，逻辑分析系统自动记录被划落词语和补录词语，分析其特征，以便下次分词扩充数据库。

第二阶段将业务需求的各分词与分词表的单词进行关键词词频权重分析。分词表即数据源(或称数据源表)，其中存储的内容包括第三方业务生产方录入的业务描述信息，包括业务描述和生产方数据库的业务字段描述(例如字段名称、字段描述等)，还包括对业务描述信息分词之后得到的分词集合。

下面以有验货表和收货表这两张分词表为例，介绍关键词词频权重分析的具体过程。其中，验货表(第三方业务信息站点验货表私有属性结构)如表1。收货表(第三方业务信息站点收货表私有属性结构)如表2。

表1

表2

字段名称	字段描述	表的业务描述	分词集合
				receive_id	主键	站点收货表的主键ID	[站点,收货,表,主键,id]
waybill_code	运单号	运单号,站点收货以运单为维度	[站点,收货,运单,维度]
				create_site_id	创建站点	被哪个站点收货	[站点,收货]
create_time	创建时间	收货的时间	[收货，时间]
				create_user_id	操作人ID	ID记录erp信息	[id,记录,erp,信息]
create_user	操作人名称	名称是erp的名称	[erp，名称]

假设录入的业务需求信息为“货物到达站点，站长验货，接入验货时间”，则通过分词得到业务需求的各分词为：[货物,到达,站点,站长,验货,接入,验货，时间]。业务需求的各分词在表1的验货表的分词集合中，“站点”出现3次、“验货”出现4次、“时间”出现1次，其他分词出现0次。即“站点”、“验货”、“时间”在验货表中的词频分别为3、4、1，其他分词在验货表中的词频为0。

验货表的分词集合中总分词量为19个，则“站点”在验货表中的权重值为：“站点”在验货表中的词频与验货表的分词集合中总分词量的比值，即3/19。同理，计算业务需求的其他各分词在验货表中的权重值，“验货”在验货表中的权重值为4/19，“时间”在验货表中的权重值为1/19，其他分词在验货表权重值为0。

由于业务需求的各分词中存在两个“验货”，因此，对“验货”去重，即在计算业务需求的各分词在该验货表的词频权重总值时，只取两个“验货”的其中一个权重值，从而，业务需求的各分词在该验货表的词频权重总值等于：业务需求的去重后的各分词在验货表中的权重值的加和，

对于本例，即为：3/19+4/19+1/19＝8/19。

按照同样方法，计算可得到业务需求的各分词在收货表的词频权重总值为：3/19(“站点”在收货表的权重值)+1/19(“时间”在收货表的权重值)＝4/19。

为了便于介绍，本例以只包括验货表和收货表这两张分词表为例，那么，本例在确定数据源时，定义预设阈值为0，即如果该业务需求的各分词在各数据源(本例即验货表和收货表)的词频权重总值之中，存在大于0的词频权重总值，则将其中最大词频权重总值(8/19)对应的验货表确定为该业务需求信息对应的数据源。

在本例中，由于逻辑分析系统通过对输入的业务需求信息进行逻辑分析，已经可以确定业务需求信息对应的数据源为验货表，因此无需再通过需求流转确定数据源。

而在其他实施例中，如果通过上述逻辑分析的方法没有查询到(或称确定出)业务需求信息对应的数据源，则需要进行第三阶段，按照预设的需求流转规则，人工介入来确定数据源。当通过人工需求流转功能查询到数据源时，启动需求复盘分析功能，以进行复盘数据关联补录，首先判断需求是否符合规范，然后将该业务需求分词后的结果保存到分词表，扩充分词表数据库，使得下次分词直接使用。

在确定数据源之后，进入代码编写阶段，本发明实施例不需要编写英文代码，只需要进行中文描述，代码生成器会自动完成英文代码的转换。

首先需要在数据加工平台中内置中文关键字与产生式，如表3所示。产生式反映了中文关键字与代码关键字之间的对应关系，例如中文关键字“如果”与代码关键字“if”相对应。

表3

例如业务逻辑描述为“获取验货的运单号，如果运单号不为未定义，则将运单号，验货时间更新到数据库”。代码生成器可以首先进行需求校验。

具体地，将业务逻辑描述的分词对比内置的中文关键字和分词表中的预存的业务描述信息，将业务逻辑描述的分词中可以识别的单词打标，例如“不为”打标为“！＝”，“未定义”打标为“null”，“验货时间”打标为“数据源表字段”等等。将不能识别的单词单独抽出，放入临时分词表，同时将不能识别的单词与中文关键字和分词表中的业务描述信息手动关联，例如将“则”判断为“就”，建立关联。如果没有查询到关联项，则启动工作流审批，将不能识别的单词以及其描述向上级申请，审批后创建新的中文关键字或者分词表相似文本，从而完成需求校验，如果临时分词表的单词与业务逻辑描述的分词多次匹配一致，则将临时分词表中的单词放入正式分词表。需求校验的一个示例性流程如图3所示(步骤S301至步骤S303)。

需求校验完成之后，进入可执行代码的生成阶段。由于上述已经确定了数据源(数据源表)为验货表，则可以根据该业务逻辑描述，按照与验货表相匹配的消息处理模板，生成与该业务逻辑描述对应的可执行代码。具体地，首先判断验货表是kafka(一种高吞吐量的分布式发布订阅消息系统)消息还是其他的消息中间件系统消息，根据消息来源不同，生成不同的消息处理模板，消息中间件系统消息模板如图4所示。启动数学模型抽象，将属于业务逻辑描述的分词通过分词表中对应的字段代替，将中文关键字替换为java字符序列，将产生式替换为符合java判定的字符序列，填充判空与异常等辅助逻辑，同时生成java文件，并编译生成class文件。

代码生成器在生成代码之后，还可以利用验货表中的数据，进行单元测试，即测试生成的代码中的业务逻辑是否符合业务需求信息中的业务逻辑描述，在测试通过后，运行生成的代码即可进行数据处理。

数据加工平台还可以包括一个监控模块，用于打印(输出)数据加工平台的系统日志。

基于上述对本发明实施例的数据加工平台的介绍，本发明实施例的数据加工平台的构成示意图可以参见图5。

将各模块代成平台后，有利于统一数据处理流程的管理标准，并且，本实施例的敏捷式数据加工平台将数据处理的两个重点环节(确定数据源和生成代码)的功能自动化，使开发人员不需要编写一行代码，只需要在可视化界面上用中文描述业务逻辑，敏捷式数据加工平台便可自动完成数据源的获取和处理程序的编写，此外还提供了可视化测试模块以对代码生成器生成的代码进行自动测试，从而快速地完成数据处理流程，节约了时间成本，这样有助于数据处理的统一和规范化。

图6是根据本发明实施例的数据处理装置的主要模块示意图。

如图6所示，本发明实施例的数据处理装置600主要包括：需求接收模块601、第一数据源确定模块602、数据处理模块603。

需求接收模块601，用于接收输入的业务需求信息，所述业务需求信息包括业务逻辑描述。

第一数据源确定模块602，用于利用预存的业务描述信息，对业务需求信息进行逻辑分析，以确定业务需求信息对应的数据源。

第一数据源确定模块602具体可用于：

对业务需求信息进行分词，得到业务需求的各分词；

利用预存在各数据源中的业务描述信息，计算业务需求的各分词在每一数据源的词频权重总值；

根据计算得到的词频权重总值，确定业务需求信息对应的数据源。

第一数据源确定模块602可以包括词频权重总值确定子模块，用于：

根据业务需求的每个分词在该数据源的分词集合中的出现频次，得到业务需求的每个分词在该数据源中的词频，其中，该数据源的分词集合通过对该数据源中预存的业务描述信息分词得到；

根据业务需求的每个分词在该数据源中的词频，以及该数据源的分词集合的总分词量，分别计算业务需求的每个分词在该数据源中的权重值；

根据业务需求的每个分词在该数据源中的权重值，得到业务需求的各分词在该数据源的词频权重总值。

第一数据源确定模块602还可以包括数据源确定子模块，用于：

确定业务需求的各分词在各个数据源的词频权重总值之中，存在大于预设阈值的词频权重总值；

将大于预设阈值的词频权重总值之中，最大的词频权重总值对应的数据源确定为业务需求信息对应的数据源。

数据处理装置600还可以包括第二数据源确定模块，用于：如果业务需求的各分词在各个数据源的词频权重总值之中，不存在大于预设阈值的词频权重总值，则按照预设的需求流转规则确定业务需求信息对应的数据源。

第二数据源确定模块可以包括复盘分析子模块，用于：通过复盘分析确定业务需求信息符合预设规范，然后将业务需求的各分词保存到确定出的业务需求信息对应的数据源中。

数据处理模块603，用于利用业务需求信息对应的数据源中的数据，执行与业务逻辑描述对应的可执行代码，以得到数据处理结果。

数据处理装置600还可以包括代码生成模块，用于：根据业务逻辑描述，按照与业务需求信息对应的数据源相匹配的消息处理模板，生成与业务逻辑描述对应的可执行代码。

代码生成模块具体用于：从业务逻辑描述中提取中文关键字，以及从业务需求的各分词中提取属于业务逻辑描述的分词；利用与中文关键字对应的代码关键字，以及确定的数据源中与属于业务逻辑描述的分词对应的字段，生成可执行代码。

数据处理装置600还可以包括测试模块，用于：利用业务需求信息对应的数据源中的数据，判断可执行代码中的业务逻辑是否符合业务逻辑描述，若是，则数据处理模块603利用业务需求信息对应的数据源中的数据，执行与业务逻辑描述对应的可执行代码，以得到数据处理结果，否则，对可执行代码进行修正，使之业务逻辑符合业务逻辑描述，再执行数据处理。

本发明实施例的数据处理装置600可以在敏捷式数据加工平台中执行，上述的敏捷式数据加工平台中与数据处理装置600中功能相同的模块可以作为数据处理装置600中的相应模块，例如，可视化需求输入界面与数据录入模块相结合可以作为需求接收模块601实现相应的功能，逻辑分析系统可以实现第一数据源确定模块602和第二数据源确定模块的功能，代码生成器可以实现代码生成模块和测试模块的功能，数据处理模块603在图5的敏捷式数据加工平台未示出，但是通过上述对敏捷式数据加工平台的介绍，在代码生成器生成的代码测试通过后，运行生成的代码即可进行数据处理，因此本领域技术人员可以很容易地理解在敏捷式数据加工平台执行代码生成器生成的代码即实现了数据处理模块603的功能。

另外，在本发明实施例中数据处理装置的具体实施内容，在上面所述数据处理方法中已经详细说明了，故在此重复内容不再说明。

图7示出了可以应用本发明实施例的数据处理方法或数据处理装置的示例性系统架构700。

如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据处理方法一般由服务器705执行，相应地，数据处理装置一般设置于服务器705中。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图8，其示出了适于用来实现本申请实施例的服务器的计算机系统800的结构示意图。图8示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考主要步骤示意图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤示意图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的主要步骤示意图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，主要步骤示意图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或主要步骤示意图中的每个方框、以及框图或主要步骤示意图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括需求接收模块601、第一数据源确定模块602、数据处理模块603。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，需求接收模块601还可以被描述为“用于接收输入的业务需求信息的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收输入的业务需求信息，所述业务需求信息包括业务逻辑描述；利用预存的业务描述信息，对所述业务需求信息进行逻辑分析，以确定所述业务需求信息对应的数据源；利用所述数据源中的数据，执行与所述业务逻辑描述对应的可执行代码，以得到数据处理结果。

根据本发明实施例的技术方案，利用预存的业务描述信息，对输入的业务需求信息进行逻辑分析，以确定业务需求信息对应的数据源，能够根据业务需求信息自动匹配数据源，工作量化性高，按照与业务需求对应的数据源相匹配的消息处理模板，生成与业务需求信息中的业务逻辑描述对应的可执行代码，可以实现自动化地代码编写和调试，使得非编程人员也能开发数据处理代码，代码风格统一且易于修改和维护，简化和加速了数据处理的操作过程，节约时间成本，提高数据处理效率，有利于数据处理的统一和规范化。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (16)

1.一种数据处理方法，其特征在于，包括：

接收输入的业务需求信息，所述业务需求信息包括业务逻辑描述；

利用预存的业务描述信息，对所述业务需求信息进行逻辑分析，以确定所述业务需求信息对应的数据源；

利用所述数据源中的数据，执行与所述业务逻辑描述对应的可执行代码，以得到数据处理结果；

利用预存的业务描述信息，对所述业务需求信息进行逻辑分析，以确定所述业务需求信息对应的数据源的步骤，包括：对所述业务需求信息进行分词，得到所述业务需求的各分词；利用预存在各数据源中的所述业务描述信息，计算所述业务需求的各分词在每一数据源的词频权重总值；确定所述业务需求的各分词在各个数据源的词频权重总值之中，存在大于预设阈值的词频权重总值；将所述大于预设阈值的词频权重总值之中，最大的词频权重总值对应的数据源确定为所述业务需求信息对应的数据源。

2.根据权利要求1所述的方法，其特征在于，利用预存在一数据源中的所述业务描述信息，通过如下方式计算所述业务需求的各分词在该数据源的词频权重总值：

根据所述业务需求的每个分词在该数据源的分词集合中的出现频次，得到所述每个分词在该数据源中的词频，其中，该数据源的分词集合通过对该数据源中预存的所述业务描述信息分词得到；

根据所述每个分词在该数据源中的词频，以及该数据源的分词集合的总分词量，分别计算所述每个分词在该数据源中的权重值；

根据所述每个分词在该数据源中的权重值，得到所述业务需求的各分词在该数据源的词频权重总值。

3.根据权利要求1所述的方法，其特征在于，如果所述业务需求的各分词在各个数据源的词频权重总值之中，不存在所述大于预设阈值的词频权重总值，则按照预设的需求流转规则确定所述业务需求信息对应的数据源。

4.根据权利要求3所述的方法，其特征在于，按照预设的需求流转规则确定所述业务需求信息对应的数据源的步骤之后，包括：

通过复盘分析确定所述业务需求信息符合预设规范，然后将所述业务需求的各分词保存到确定出的所述业务需求信息对应的数据源中。

5.根据权利要求1所述的方法，其特征在于，利用所述数据源中的数据，执行与所述业务逻辑描述对应的可执行代码的步骤之前，包括：

根据所述业务逻辑描述，按照与所述数据源相匹配的消息处理模板，生成与所述业务逻辑描述对应的可执行代码。

6.根据权利要求5所述的方法，其特征在于，根据所述业务逻辑描述，按照与所述数据源相匹配的消息处理模板，生成与所述业务逻辑描述对应的可执行代码的步骤，包括：

从所述业务逻辑描述中提取中文关键字，以及从所述业务需求的各分词中提取属于所述业务逻辑描述的分词；

利用与所述中文关键字对应的代码关键字，以及所述数据源中与属于所述业务逻辑描述的分词对应的字段，生成所述可执行代码。

7.根据权利要求1所述的方法，其特征在于，利用所述数据源中的数据，执行与所述业务逻辑描述对应的可执行代码，以得到数据处理结果的步骤之前，包括：

利用所述数据源中的数据，确认所述可执行代码中的业务逻辑符合所述业务逻辑描述。

8.一种数据处理装置，其特征在于，包括：

需求接收模块，接收输入的业务需求信息，所述业务需求信息包括业务逻辑描述；

第一数据源确定模块，利用预存的业务描述信息，对所述业务需求信息进行逻辑分析，以确定所述业务需求信息对应的数据源；

数据处理模块，利用所述数据源中的数据，执行与所述业务逻辑描述对应的可执行代码，以得到数据处理结果；

所述第一数据源确定模块还用于：对所述业务需求信息进行分词，得到所述业务需求的各分词；利用预存在各数据源中的所述业务描述信息，计算所述业务需求的各分词在每一数据源的词频权重总值；确定所述业务需求的各分词在各个数据源的词频权重总值之中，存在大于预设阈值的词频权重总值，将所述大于预设阈值的词频权重总值之中，最大的词频权重总值对应的数据源确定为所述业务需求信息对应的数据源。

9.根据权利要求8所述的装置，其特征在于，所述第一数据源确定模块包括词频权重总值确定子模块，用于：

根据所述业务需求的每个分词在该数据源的分词集合中的出现频次，得到所述每个分词在该数据源中的词频，其中，该数据源的分词集合通过对该数据源中预存的所述业务描述信息分词得到；

根据所述每个分词在该数据源中的词频，以及该数据源的分词集合的总分词量，分别计算所述每个分词在该数据源中的权重值；

根据所述每个分词在该数据源中的权重值，得到所述业务需求的各分词在该数据源的词频权重总值。

10.根据权利要求8所述的装置，其特征在于，还包括第二数据源确定模块，用于：

如果所述业务需求的各分词在各个数据源的词频权重总值之中，不存在所述大于预设阈值的词频权重总值，则按照预设的需求流转规则确定所述业务需求信息对应的数据源。

11.根据权利要求10所述的装置，其特征在于，所述第二数据源确定模块包括复盘分析子模块，用于：

通过复盘分析确定所述业务需求信息符合预设规范，然后将所述业务需求的各分词保存到确定出的所述业务需求信息对应的数据源中。

12.根据权利要求8所述的装置，其特征在于，还包括代码生成模块，用于：

根据所述业务逻辑描述，按照与所述数据源相匹配的消息处理模板，生成与所述业务逻辑描述对应的可执行代码。

13.根据权利要求12所述的装置，其特征在于，所述代码生成模块还用于：

从所述业务逻辑描述中提取中文关键字，以及从所述业务需求的各分词中提取属于所述业务逻辑描述的分词；

利用与所述中文关键字对应的代码关键字，以及所述数据源中与属于所述业务逻辑描述的分词对应的字段，生成所述可执行代码。

14.根据权利要求8所述的装置，其特征在于，还包括测试模块，用于：

利用所述数据源中的数据，确认所述可执行代码中的业务逻辑符合所述业务逻辑描述。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

16.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。