CN115525321A - 分布式任务生成方法、装置、设备及存储介质 - Google Patents

Abstract

本公开涉及计算机技术领域，尤其涉及一种分布式任务生成方法、装置、设备及存储介质。方法包括：获取通过表编辑界面输入的第一配置指令，根据第一配置指令配置至少一个表模型；获取通过流程编辑界面输入的第二配置指令，根据第二配置指令和表模型配置流程编排模型；获取通过任务编辑界面输入的第三配置指令，根据第三配置指令和表模型配置任务模型；对流程编排模型、任务模型和至少一个表模型进行解析，并转化成目标分布式任务对应的任务数据包，其中，任务数据包用于支持在目标分布式环境下运行目标分布式任务。本公开用以解决现有技术中人工创建分布式任务时效率低的缺陷，提升分布式任务生成时的效率。

Description

分布式任务生成方法、装置、设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种分布式任务生成方法、装置、设备及存储介质。

背景技术

现有技术中，分布式技术逐渐应用于各行各业。例如，Flink是一种为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。近年来，Flink越来越多地被投入到数据实时加工的使用中，例如基于Flink进行数据的抽取、转换和加载(Extract-Transform-Load，ETL)处理以及实时计算处理等。目前，在创建Flink任务等分布式任务时，需要技术人员预先掌握分布式技术的用法及流程编排等相关专业知识，然后由技术人员根据具体需求人工构建分布式任务。该人工构建分布式任务的方式，对技术人员的专业技能水平要求较高，占用大量人力资源和时间资源，导致生成分布式任务时效率较低。

发明内容

本公开提供一种分布式任务生成方法、装置、设备及存储介质，用以解决现有技术中人工创建分布式任务时效率低的缺陷，提升分布式任务生成时的效率。

本公开提供一种分布式任务生成方法，包括：获取通过表编辑界面输入的第一配置指令，根据所述第一配置指令配置至少一个表模型，其中，所述表模型用于表示对源数据进行预处理的逻辑；获取通过流程编辑界面输入的第二配置指令，根据所述第二配置指令和所述表模型配置流程编排模型，其中，所述流程编排模型用于表示对所述目标分布式任务处理逻辑的流程编排；获取通过任务编辑界面输入的第三配置指令，根据所述第三配置指令和所述表模型配置任务模型，其中，所述任务模型用于表示对所述目标分布式任务的整体描述；对所述流程编排模型、所述任务模型和至少一个所述表模型进行解析，并转化成所述目标分布式任务对应的任务数据包，其中，所述任务数据包用于支持在目标分布式环境下运行所述目标分布式任务。

根据本公开提供的一种分布式任务生成方法，获取通过表编辑界面输入的第一配置指令，根据所述第一配置指令配置至少一个表模型，包括：每一个所述表模型的配置过程如下：通过所述表编辑界面，显示一个或一个以上表属性组件，其中，每一个所述表属性组件分别对应所述表模型的一种表属性；获取所述第一配置指令，其中，所述第一配置指令根据所述表编辑界面输入的、对至少一个所述表属性组件的选择操作或填写操作生成；根据所述第一配置指令，分别对至少一种所述表属性进行配置；获取所述表编辑界面输入的第一确认信息时，基于配置后所述表属性，生成所述表模型，其中，所述第一确认信息根据第一逻辑按钮的点击操作生成，所述表编辑界面显示所述第一逻辑按钮。

根据本公开提供的一种分布式任务生成方法，表属性组件包括标识组件、源组件和目的组件中的至少一种；所述标识组件用于配置所述表模型的身份标识；所述源组件用于配置所述表模型对应的输入属性，所述输入属性用于获取数据源；所述目的组件用于配置所述表模型对应的输出属性，所述输出属性用于输出对应的数据结果。

根据本公开提供的一种分布式任务生成方法，所述第二配置指令包括流程框架配置指令和组件属性配置指令；获取通过流程编辑界面输入的第二配置指令，根据所述第二配置指令和所述表模型配置流程编排模型，包括：通过所述流程编辑界面中的组件展示区域，显示一个或一个以上可拖拽组件；获取所述流程框架配置指令，所述流程框架配置指令根据所述流程编辑界面的编辑区域输入的、至少一个所述可拖拽组件的拖拽操作生成；根据所述流程框架配置指令，生成所述目标分布式任务的流程框架；获取所述组件属性配置指令，所述组件属性配置指令根据流程编辑界面的属性配置区域输入的、分别对所述编辑区域中至少一个所述可拖拽组件的选择操作或填写操作生成；根据所述组件属性配置指令，分别对所述流程框架中的每一个所述可拖拽组件进行属性配置，其中，所述属性配置包括所述表模型与所述流程框架连接关系的配置；获取所述流程编辑界面输入的第二确认信息时，基于属性配置后的所述流程框架，生成所述流程编排模型，其中，所述第二确认信息根据第二逻辑按钮的点击操作生成，所述流程编辑界面显示所述第二逻辑按钮。

根据本公开提供的一种分布式任务生成方法，可拖拽组件包括输入组件、输出组件和计算列组件中的至少一种；其中，所述输入组件用于配置所述表模型与所述流程框架的连接关系，所述表模型通过对应的源组件配置所述表模型的输入参数；所述输出组件用于以所述输入组件配置的所述表模型对应的输属性，输出对数据进行逻辑处理后的数据结果；所述计算列组件用于配置对数据进行的逻辑处理。

根据本公开提供的一种分布式任务生成方法，获取通过任务编辑界面输入的第三配置指令，根据所述第三配置指令和所述表模型配置任务模型，包括：通过所述任务编辑界面，显示一个或一个以上任务属性组件，其中，每一个所述任务属性组件分别对应所述任务模型的一种任务属性；获取所述第三配置指令，其中，所述第三配置指令根据所述任务编辑界面输入的、对至少一个所述任务属性组件的选择操作或填写操作生成，其中，至少一个所述任务属性组件用于配置所述目标分布式任务需要的所述表模型；根据所述第三配置指令，分别对至少一个所述任务属性进行配置；获取所述任务编辑界面输入的第三确认信息时，基于配置后所述任务属性，生成所述任务模型，其中，所述第三确认信息根据第三逻辑按钮的点击操作生成，所述任务编辑界面显示所述第三逻辑按钮。

根据本公开提供的一种分布式任务生成方法，所述对所述流程编排模型、所述任务模型和至少一个所述表模型进行解析，并转化成所述目标分布式任务对应的任务数据包，包括：解析所述任务模型，确定所述目标分布式任务所需的至少一个所述表模型；解析所述流程编排模型和至少一个所述表模型，将所述流程编排模型中配置后的输入组件，转化成所述目标分布式任务的源端；将所述流程编排模型中配置后的输出组件，转化成所述目标分布式任务的输出端；将所述流程编排模型中配置后的计算列组件，转化成所述目标分布式任务的基础算子；基于所述流程编排模型，对所述源端、输出端和所述基础算子，进行逻辑处理流程的编排，并生成所述任务数据包。

本公开还提供一种分布式任务生成装置，包括：表配置模块，用于获取通过表编辑界面输入的第一配置指令，根据所述第一配置指令配置至少一个表模型，其中，所述表模型用于表示对源数据进行预处理的逻辑；流程配置模块，用于获取通过流程编辑界面输入的第二配置指令，根据所述第二配置指令和所述表模型配置流程编排模型，其中，所述流程编排模型用于表示对所述目标分布式任务处理逻辑的流程编排；任务配置模块，用于获取通过任务编辑界面输入的第三配置指令，根据所述第三配置指令和所述表模型配置任务模型，其中，所述任务模型用于表示对所述目标分布式任务的整体描述；数据转化模块，用于对所述流程编排模型、所述任务模型和至少一个所述表模型进行解析，并转化成所述目标分布式任务对应的任务数据包，其中，所述任务数据包用于支持在目标分布式环境下运行所述目标分布式任务。

本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述分布式任务方法。

本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述分布式任务方法。

本公开提供的分布式任务生成方法、装置、设备及存储介质，通过表编辑界面输入第一配置指令来配置表模型，通过流程编辑界面输入第二配置指令来配置流程编排模型，通过任务编辑界面输入第三配置指令来配置任务模型，然后基于流程编排模型、任务模型和至少一个表模型生成目标分布式任务的任务数据包。也就是说，通过表编辑界面、流程编辑界面和任务编辑界面，使生成目标分布式任务的配置过程可视化，减低目标分布式任务的配置难度，对技术人员的专业技能水平要求降低，提高生成目标分布式任务的效率。同时，以表模型、流程编排模型和任务模型形成目标分布式任务的模块化配置，相对于人工创建分布式任务的方式，能够节省大量人力资源和时间成本，进一步提高生成目标分布式任务的效率。

附图说明

为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开提供的分布式任务生成方法的流程示意图之一；

图2是本公开提供的分布式任务的实体-联系图；

图3是本公开提供的表编辑界面的示例图；

图4是本公开提供的流程编辑界面的示例图；

图5是本公开提供的任务编辑界面的示例图；

图6是本公开提供的任务引擎转化过程示意图之一；

图7是本公开提供的任务引擎转化过程示意图之二；

图8是本公开提供的分布式任务生成装置的结构示意图；

图9是本公开提供的电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开实施例一部分实施例，而不是全部的实施例。基于本公开实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开实施例保护的范围。

本公开提供的分布式任务生成方法，通过预设的逻辑算法来实现，该逻辑算法可以实现于具有逻辑处理能力的处理设备中，例如，中央处理器(central processing unit，CPU)、微控制单元(Microcontroller Unit，MCU)、计算机以及其他任意一种具有处理能力的设备。

下面结合图1-图7描述本公开实施例的分布式任务生成方法。

一个实施例中，如图1所示，分布式任务生成方法实现的流程步骤如下：

步骤101，获取通过表编辑界面输入的第一配置指令，根据第一配置指令配置至少一个表模型，其中，表模型用于表示对源数据进行预处理的逻辑。

本实施例中，分布式任务指的是在分布式环境下运行的任务，例如，在Flink环境下运行的Flink任务。Flink任务实质上指的是一个在Flink环境下能够对源数据进行逻辑处理的处理框架，不同的Flink任务，配置的处理逻辑不同。类似的，任意一种分布式任务则是在相应的分布式环境下实现的处理框架。目标分布式任务指的是当前需要生成的任意一个分布式任务。

其中，上述预处理逻辑包括但不限于对源数据进行抽取、转换和加载的处理逻辑。

本实施例中，如图2所示的分布式任务的实体-联系图(Entity RelationshipDiagram，E-R图)，以目标分布式任务包含一个表模型为例，表模型是目标分布式任务的基础单元，用于标识对源数据的预处理。该E-R图对应一个分布式任务的架构逻辑。通过表编辑界面、流程编辑界面和任务编辑界面，用于从不同层面对目标分布式任务进行配置。

对任务层面配置时，即对分布式任务的整体描述进行配置时，可以对分布式任务的各个任务属性进行配置，具体的，通过任务编辑界面对任务身份标识(identitydocument，id或ID)、任务类型、任务发布平台配型和启动参数中的任意一种或几种任务属性进行配置。

对表模型层面配置时，即对分布式任务所需源数据的预处理过程进行配置时，可以对分布式任务的各个表属性进行配置，具体的，通过表编辑界面对表模型的映射字段、表id、归属集群id、输入和输出中的任意一种或几种表属性进行配置。更具体的，各个表属性下还可以包括对应的预设子属性，例如，映射字段包括源字段名、目的字段名、字段类型、来源表、来源字段和/或来源表别名。输入属性可以选用消息队列(Message Queue，mq或MQ)消息或数据接口(D型数据接口连接器，db或DB)连接，同理，输出属性可以选用mq信息或db连接。其中，mq消息需要配置客户ID(clilentid)、标题(topic)、用户名、密码等参数；db连接需要配置密码、用户名、表名、连接地址等参数。

对流程编排层面进行配置时，即对目标分布式任务的流程编排进行配置，具体的，将表模型、输入和输出分别看作计算列，则通过流程编辑界面配置每个计算列均分别对应的输出字段列表、输入字段列表以及在算子层面的分片选择、用户账号(UserIdentification，UID)、名称、算子类型和/或并行度等参数。例如，可以通过流程编辑界面对输入计算列(输入属性)进行具体参数的配置，当选择输入属性选用mq消息的形式时，还可以配置密码、clilentid等具体的参数；可以对输出计算列(输出属性)进行具体参数的配置，选择输出属性选用db连接的形式，并配置密码、连接地址等具体的参数。

本实施例中，表模型是目标分布式任务的基础单元。源数据是未经过处理的原始数据，例如，企业中的分散、零乱、标准不统一的数据，为了便于后续数据的处理过程，需要对源数据进行预处理。而不同的表模型用于对不同来源的源数据分别进行预处理，表模型中包含预处理的处理逻辑。优选的，预处理采用抽取、转换和加载(Extract，Transform andLoad，ETL)的方式，具体的，ETL是将业务系统的数据(即源数据)经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为后续的决策提供分析依据。也就是说，通过表模型可以配置ETL的基本属性信息。

本实施例中，表编辑界面指的是能够提供人机交互的可视化界面，技术人员可以通过表编辑界面对表模型的各个表属性进行具体配置。该表编辑界面可以为集成于处理设备上的界面，例如，处理设备为带有触摸屏的智能手机时，表编辑界面可以显示于该触摸屏上。该表编辑界面也可以为显示在单独的可视化设备上，该可视化设备将通过表编辑界面输入的第一配置指令可以通过有线或无线的方式传输给处理设备，以生成最终目标分布式任务的任务数据包。

一个实施例中，一个目标分布式任务可以包含一个或一个以上表模型。每一个表模型可以通过表编辑界面分别进行配置。具体的，获取通过表编辑界面输入的第一配置指令，根据第一配置指令配置至少一个表模型，实现过程如下：每一个表模型的配置过程如下：通过表编辑界面，显示一个或一个以上表属性组件，其中，每一个表属性组件分别对应表模型的一种表属性；获取第一配置指令，其中，第一配置指令根据表编辑界面输入的、对至少一个表属性组件的选择操作或填写操作生成；根据第一配置指令，分别对至少一种表属性进行配置；获取表编辑界面输入的第一确认信息时，基于配置后表属性，生成表模型，其中，第一确认信息根据第一逻辑按钮的点击操作生成，表编辑界面显示第一逻辑按钮。

本实施例中，表编辑界面上显示的表属性组件可以根据实际情况和需要预先设置。通过各个表属性组件可以配置表模型的各个表属性。该表编辑界面设置第一逻辑按钮，当一个表模型的各个表属性均配置完成时，则技术人员可以通过点击第一逻辑按钮，生成第一确认信息，以根据配置后的各个表属性，生成一个表模型。

一个实施例中，表属性组件包括标识组件、源组件和目的组件中的至少一种；标识组件用于配置表模型的身份标识；源组件用于配置表模型对应的输入属性，输入属性用于获取数据源；目的组件用于配置表模型对应的输出属性，输出属性用于输出对应的数据结果。

本实施例中，由于表模型用于表示对源数据进行抽取、转换和加载的处理逻辑，则该表模型则涉及源数据如何输入和输出。则表编辑编辑界面设置源组件和目的组件，用于配置该表模型的输入和输出。同时，通过标识组件配置表模型的id，该身份标识用于表示对应的表模型。

一个具体的实施例中，表模型表示一个表的ETL的基本信息，包括字段映射，字段类型以及表字段的扩展信息等，如图3所示的一个表编辑界面的示例图。该表编辑界面中，设置有配置方式组件，即数据库模式定义语言(Data Definition Language，DDL)解析和手工配置，DDL解析方式可以基于结构化查询语言(Structured Query Language，SQL)表格等数据自动填充各个表属性；手工配置则可以由技术人员对每一个表属性进行配置。两种配置方式使表模型配置过程更加灵活和多样化。

该表编辑界面中，标识组件包括表id、表名、表中文名称，用于生成该表模型的多种身份标识，例如，表id为7，该表id可以根据表模型的生成顺序自动编码生成；表名为pla_source_tabble_columr，可以手动写入；表中文名称为源表表结构，可以手动写入。每种身份标识均可以代表该表模型，后续处理阶段使用哪个身份标识，具体可以根据实际情况选用需要的身份标识。

该表编辑界面中，还设置如下表属性组件：状态、表归属集群、表类型、目的表名称、参数列表、表说明、添加列以及每个列的属性，具体的，每个类的属性包括列id、状态、中文名、源列名、目的列名、字段类型、列属性、说明、操作等。状态可以选择无效或有效，表示该表模型无效或有效；表归属集群表示表模型输出的数据结果存储所需的集群，例如，test-es(demo集群1)；表类型为预设的类型，例如，业务表或基础表；目的表名称表示表模型输出的结果数据的名称，例如，pla_source_tabble_columr，可以手动写入或更改；参数列表表示预设的所需逻辑处理参数，例如，过滤、转驼峰和过滤更新列，每一个参数对应一种对源数据的处理方式；表说明可以手动写入一些表的说明信息，例如，源表表结构。

而源组件和目的组件具体的以列的形式进行设置，具体的，包括源列名和目的列名。源列名表示以列的形式输入的源数据的信息，例如，id、table_id、seq、field_name、soruce_field_name或field_comment；目的列名表示以列的形式输出的数据结果的信息，例如id、table_id、seq、field_name、soruce_field_name或field_comment。每个列设置对应的列id和中文名表示列的身份标识，例如，列id可以为系统按照顺序生成的71、72、73、74、75或76，中文名可以是所述表的ID、字段列的顺序、字段名、源字段名或列名；状态标识该列的有效状态或无效状态；字段类型可以选择预设的任意一种类型，例如，大整数字、字符串等；列属性则可以选择预设的一种列的属性，例如，主键、更新列或分片；说明可以写入该列需要说明的信息；操作可以显示该列相应的操作处理。

当然，上述表编辑界面仅仅为一个实例，还可以根据实际情况和需要设置更多的表属性组件，以更好的完成表模型的配置。本申请的保护范围不以表属性组件的具体数量和展示形式为限制。

步骤102，获取通过流程编辑界面输入的第二配置指令，根据第二配置指令和表模型配置流程编排模型，其中，流程编排模型用于表示对目标分布式任务处理逻辑的流程编排。

本实施例中，流程编排模型用于表示对目标分布式任务处理逻辑的流程编排，即表模型将源数据获取并进行清洗等初步处理后，后续如何对初步处理后的数据进行逻辑处理，以获得最终的数据结果，并按照表模型的配置输出数据结果。

一个实施例中，第二配置指令包括流程框架配置指令和组件属性配置指令。获取通过流程编辑界面输入的第二配置指令，根据第二配置指令和表模型配置流程编排模型，具体实现过程如下：通过流程编辑界面中的组件展示区域，显示一个或一个以上可拖拽组件；获取流程框架配置指令，流程框架配置指令根据流程编辑界面的编辑区域输入的、至少一个可拖拽组件的拖拽操作生成；根据流程框架配置指令，生成目标分布式任务的流程框架；获取组件属性配置指令，组件属性配置指令根据流程编辑界面的属性配置区域输入的、分别对编辑区域中至少一个可拖拽组件的选择操作或填写操作生成；根据组件属性配置指令，分别对流程框架中的每一个可拖拽组件进行属性配置，其中，属性配置包括表模型与流程框架连接关系的配置；获取流程编辑界面输入的第二确认信息时，基于属性配置后的流程框架，生成流程编排模型，其中，第二确认信息根据第二逻辑按钮的点击操作生成，流程编辑界面显示第二逻辑按钮。

本实施例中，流程编辑界面指的是能够提供人机交互的可视化界面，技术人员可以通过流程编辑界面对表模型的各个表属性进行具体配置。与表编辑界面类似，该流程编辑界面可以为集成于处理设备上的界面，例如，处理设备为带有触摸屏的智能手机时，流程编辑界面可以显示于该触摸屏上。该流程编辑界面也可以为显示在单独的可视化设备上，该可视化设备将通过流程编辑界面输入的第一配置指令可以通过有线或无线的方式传输给处理设备，以生成最终目标分布式任务的任务数据包。

本实施例中，流程编辑界面上显示的可拖拽组件可以根据实际情况和需要预先设置。通过各个可拖拽组件可以配置流程编排模型的流程框架和每一个可拖拽组件的属性。该流程编辑界面设置第二逻辑按钮，当该目标分布式任务的流程编排配置完成时，则技术人员可以通过点击第二逻辑按钮，生成第二确认信息，以根据配置后的流程框架和各个可拖拽组件的属性，生成该目标分布式任务对应的流程编排模型。

一个实施例中，可拖拽组件包括输入组件、输出组件和计算列组件中的至少一种；其中，输入组件用于配置表模型与流程框架的连接关系，表模型通过对应的源组件配置表模型的输入参数；输出组件用于以输入组件配置的表模型对应的输属性，输出对数据进行逻辑处理后的数据结果；计算列组件用于配置对数据进行的逻辑处理。

一个具体的实施例中，如图4所示的流程编辑界面的示例图。该流程编辑界面划分为组件展示区域、编辑区域和属性配置区域。其中，组件展示区域显示有各个基础节点和组合节点，基础节点主要包括输入组件和输出组件，例如，输入MQ、输出MQ、输入DB和/或输出DB，其中MQ和DB对应不同的数据传输形式。组合节点主要包括输入计算列和表级计算列，计算列指的是计算逻辑单元，输入计算列用于对数据的规范化，以便于后续表级计算列对数据进行逻辑计算。

编辑区域用于对各个可拖拽组件的连接关系进行编辑，如图3中所示的测试输入节点(输入MQ或输入DB)，记为fink_single_tese(lv)，连接第一个输入计算列(测试输入计算列1，testMqProcess1)，第一个输入计算列连接第二个输入计算列(测试输入计算列2，testMqProcess2)，第二个输入计算列连接第一个表级计算列(表级计算列1，tableProcess1)，第一个表级计算列连接第二个表级计算列(表级计算列2，tableProcess2)，第二个表级计算列连接测试输出节点，测试输出节点记为tese-es(es)。输出节点与输入节点对应。

编辑区域中的每一个可拖拽组件被选中后，可以在属性配置区域进行组件属性配置。例如，选中第一个输入计算列后，可以配置第一个输入计算列的并行度。又例如，选中输入节点可以配置需要的表模型。

当然，流程编辑界面中还可以根据实际情况和需要设置组件(components)搜索(search)区域，以及删除、撤回、前进、复制、剪切、移动、png(一种图像格式)导出、svg(一种图像格式)导出、打印、链接至JSON(一种数据交换格式)、保存等按钮。

流程编排模型是针对表的加工进行流程编排。每一个构件都可以配置不同的属性，比如MQ可以选择对应的MQ信息DB选择对应的DB连接，计算列则是选择对应的计算列。所有的构建都可以配置并行度。

当然，上述流程编辑界面仅仅为一个实例，还可以根据实际情况和需要设置更多的表属性组件，以更好的完成流程编排模型的配置。本申请的保护范围不以流程编辑界面的具体展示形式为限制。

步骤103，获取通过任务编辑界面输入的第三配置指令，根据第三配置指令和表模型配置任务模型，其中，任务模型用于表示对目标分布式任务的整体描述。

本实施例中，任务模型是对目标分布式任务的整体描述，例如，一个任务的身份标识等信息的配置。任务模型在任务的层面上对目标分布式任务进行配置。

一个实施例中，获取通过任务编辑界面输入的第三配置指令，根据第三配置指令和表模型配置任务模型，具体实现形式如下：通过任务编辑界面，显示一个或一个以上任务属性组件，其中，每一个任务属性组件分别对应任务模型的一种任务属性；获取第三配置指令，其中，第三配置指令根据任务编辑界面输入的、对至少一个任务属性组件的选择操作或填写操作生成，其中，至少一个任务属性组件用于配置目标分布式任务需要的表模型；根据第三配置指令，分别对至少一个任务属性进行配置；获取任务编辑界面输入的第三确认信息时，基于配置后任务属性，生成任务模型，其中，第三确认信息根据第三逻辑按钮的点击操作生成，任务编辑界面显示第三逻辑按钮。

本实施例中，任务编辑界面指的是能够提供人机交互的可视化界面，技术人员可以通过任务编辑界面对表模型的各个表属性进行具体配置。与表编辑界面类似，该任务编辑界面可以为集成于处理设备上的界面，例如，处理设备为带有触摸屏的智能手机时，任务编辑界面可以显示于该触摸屏上。该任务编辑界面也可以为显示在单独的可视化设备上，该可视化设备将通过任务编辑界面输入的第一配置指令可以通过有线或无线的方式传输给处理设备，以生成最终目标分布式任务的任务数据包。

本实施例中，任务编辑界面上显示的任务属性组件可以根据实际情况和需要预先设置。通过各个任务属性组件可以配置各个任务属性。该任务编辑界面设置第三逻辑按钮，当该目标分布式任务的各个任务属性配置完成时，则技术人员可以通过点击第三逻辑按钮，生成第三确认信息，以根据配置后的任务属性，生成该目标分布式任务对应的任务模型。

一个具体的实施例中，如图5所示的任务编辑界面的示例图。该任务编辑界面中任务属性组件包括ID、任务名称、任务类型、状态、发布平台、平台任务编码、任务启动参数和发布表。ID和任务名称表示该目标分布式任务的身份标识，ID可以由系统自动生成，例如339，任务名称可以由技术人员写入或修改，例如，testtask；任务类型用于选择预设类型中的任意一种，例如，单表、宽表一阶段或宽表二阶段；发布平台则可以选择需要发布该分布式任务的平台，例如JRC(一种平台名称)；状态用于配置该分布式任务的有效或无效；平台任务编码用于表示基于所配置平台设置编码，例如，12345；任务启动参数用于技术人员根据需要灵活的写入分布式任务中具体参数的参数值，例如，参数key的值为1，即{“key”：1}；发布表用于选择该目标分布式任务所需要的表模型。

一个实施例中，表编辑界面、流程编辑界面和任务编辑界面，用于从不同层面对目标分布式任务进行配置，其中，表编辑界面用于对目标分布式任务所需源数据的预处理过程进行配置，流程编辑界面用于对目标分布式任务的流程编排进行配置；任务编辑界面则用于对目标分布式任务的整体描述进行配置。表编辑界面、流程编辑界面和任务编辑界面分别进行配置时，均可以实现人机交互，而为了便于用户的配置操作，表编辑界面、流程编辑界面和任务编辑界面可以通过同一个设备的显示屏进行展示。更具体的，表编辑界面、流程编辑界面和任务编辑界面可以通过操作指令进行跳转或切换。

例如，预先在表编辑界面上设置流程编辑界面和任务编辑界面分别对应的逻辑按钮，当用户在表编辑界面点击任务编辑界面对应的逻辑按钮时，则可以从表编辑界面跳转至任务编辑界面；当用户在表编辑界面点击流程编辑界面对应的逻辑按钮时，则可以从表编辑界面跳转至流程编辑界面。相应的，预先在流程编辑界面上设置表编辑界面和任务编辑界面分别对应的逻辑按钮；预先在任务编辑界面上设置表编辑界面和流程编辑界面分别对应的逻辑按钮。

又例如，预先表编辑界面、流程编辑界面和任务编辑界面之间的跳转逻辑，具体的，按照表编辑界面、流程编辑界面和任务编辑界面的前后顺序，当通过触摸显示屏获得一次从右向左的滑动指令时，由表编辑界面跳转至流程编辑界面；再次通过触摸显示屏获得一次从右向左的滑动指令时，由流程编辑界面跳转至任务编辑界面；再次通过触摸显示屏获得一次从右向左的滑动指令时，由任务编辑界面跳转至表编辑界面。

当然，表编辑界面、流程编辑界面和任务编辑界面之间的跳转或切换方式，还可以根据实际情况和需要设置为其他方式。

步骤104，对流程编排模型、任务模型和至少一个表模型进行解析，并转化成目标分布式任务对应的任务数据包，其中，任务数据包用于支持在目标分布式环境下运行目标分布式任务。

本实施例中，分别生成流程编排模型、任务模型和至少一个表模型后，需要对流程编排模型、任务模型和至少一个表模型进行解析，并转化成目标分布式任务对应的任务数据包，以能够在目标分布式环境下运行目标分布式任务。

一个实施例中，对流程编排模型、任务模型和至少一个表模型进行解析，并转化成目标分布式任务对应的任务数据包，具体实现过程如下：解析任务模型，确定目标分布式任务所需的至少一个表模型；解析流程编排模型和至少一个表模型，将流程编排模型中配置后的输入组件，转化成目标分布式任务的源端；将流程编排模型中配置后的输出组件，转化成目标分布式任务的输出端；将流程编排模型中配置后的计算列组件，转化成目标分布式任务的基础算子；基于流程编排模型，对源端、输出端和基础算子，进行逻辑处理流程的编排，并生成任务数据包。

本实施例中，通过表编辑界面、流程编辑界面和任务编辑界面配置生成的流程编排模型、任务模型和至少一个表模型，不能直接在分布式环境下实现分布式任务的处理逻辑，此时，则需要对流程编排模型、任务模型和至少一个表模型进行拓扑转化。

一个具体的实施例中，通过预先设置的任务引擎完成转化过程，如图6所示，配置中心提供表编辑界面、流程编辑界面和任务编辑界面，分别配置生成流程编排模型、任务模型和至少一个表模型，将各个模型导出后，会将各个模型的数据进行缓存，然后由任务引擎配置的解释器、转化器、流程编排进行转化，最终能够在执行器中运行目标分布式任务。运行该目标分布式任务时，源数据的输入和数据结果的输入均基于DB形式或MQ形式。

更具体的，如图7所示，以在Flink环境下为例，解释器、转化器、流程编排进行转化的具体过程如下：任务引擎根据任务模型中的任务ID去读取对应的流程编排模型、任务模型和至少一个表模型。基于读取的各个表模型，将流程编排模型中的输入节点转化为Flink的Source(即源端)，输出节点转化为Flink中的Sink(输出端)，计算列可以转化为Flink中的transation算子(基础算子)，更具体的，计算列根据实际情况可以转化成Flink下对应的map、flatmap、process、window。转化完成后，基于流程编排模型，对转化后的Source、Sink和transation算子进行编排。每个transation算子的并行度都取流程编排模型中的并行度配置。最终，生成目标分布式任务对应的任务数据包。该任务数据包发布于预先设定的JRC平台上进行执行，实现目标分布式任务的正常运行。

本公开提供的分布式任务生成方法，通过表编辑界面输入第一配置指令来配置表模型，通过流程编辑界面输入第二配置指令来配置流程编排模型，通过任务编辑界面输入第三配置指令来配置任务模型，然后基于流程编排模型、任务模型和至少一个表模型生成目标分布式任务的任务数据包。也就是说，通过表编辑界面、流程编辑界面和任务编辑界面，使生成目标分布式任务的配置过程可视化，减低目标分布式任务的配置难度，对技术人员的专业技能水平要求降低，提高生成目标分布式任务的效率。同时，以表模型、流程编排模型和任务模型形成目标分布式任务的模块化配置，相对于人工创建分布式任务的方式，能够节省大量人力资源和时间成本，进一步提高生成目标分布式任务的效率。

更具体的，通过提供一个配置平台，可以配置要加工的表模型，再结合流程编排工具，将数据加工的流程通过页面化编排，然后底层我们通过一套解析引擎，将流程编排结果转化为对应的Flink拓扑，然后将该拓扑提交到Flink平台执行。大大降低Flink加工的复杂行。极大提升开发效率。而且可视化的进行流程编排结合表模型的配置，更容易扩展。

下面对本公开实施例提供的分布式任务生成装置进行描述，下文描述的分布式任务生成装置与上文描述的分布式任务生成方法可相互对应参照。如图8所示，分布式任务生成装置包括：

表配置模块801，用于获取通过表编辑界面输入的第一配置指令，根据第一配置指令配置至少一个表模型，其中，表模型用于表示对源数据进行预处理的逻辑；

流程配置模块802，用于获取通过流程编辑界面输入的第二配置指令，根据第二配置指令和表模型配置流程编排模型，其中，流程编排模型用于表示对目标分布式任务处理逻辑的流程编排；

任务配置模块803，用于获取通过任务编辑界面输入的第三配置指令，根据第三配置指令和表模型配置任务模型，其中，任务模型用于表示对目标分布式任务的整体描述；

数据转化模块804，用于对流程编排模型、任务模型和至少一个表模型进行解析，并转化成目标分布式任务对应的任务数据包，其中，任务数据包用于支持在目标分布式环境下运行目标分布式任务。

图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)901、通信接口(Communications Interface)902、存储器(memory)903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。处理器901可以调用存储器903中的逻辑指令，以执行分布式任务生成方法，该方法包括：获取通过表编辑界面输入的第一配置指令，根据第一配置指令配置至少一个表模型，其中，表模型用于表示对源数据进行预处理的逻辑；获取通过流程编辑界面输入的第二配置指令，根据第二配置指令和表模型配置流程编排模型，其中，流程编排模型用于表示对目标分布式任务处理逻辑的流程编排；获取通过任务编辑界面输入的第三配置指令，根据第三配置指令和表模型配置任务模型，其中，任务模型用于表示对目标分布式任务的整体描述；对流程编排模型、任务模型和至少一个表模型进行解析，并转化成目标分布式任务对应的任务数据包，其中，任务数据包用于支持在目标分布式环境下运行目标分布式任务。

此外，上述的存储器903中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本公开还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的分布式任务生成方法，该方法包括：获取通过表编辑界面输入的第一配置指令，根据第一配置指令配置至少一个表模型，其中，表模型用于表示对源数据进行预处理的逻辑；获取通过流程编辑界面输入的第二配置指令，根据第二配置指令和表模型配置流程编排模型，其中，流程编排模型用于表示对目标分布式任务处理逻辑的流程编排；获取通过任务编辑界面输入的第三配置指令，根据第三配置指令和表模型配置任务模型，其中，任务模型用于表示对目标分布式任务的整体描述；对流程编排模型、任务模型和至少一个表模型进行解析，并转化成目标分布式任务对应的任务数据包，其中，任务数据包用于支持在目标分布式环境下运行目标分布式任务。

又一方面，本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的分布式任务生成方法，该方法包括：获取通过表编辑界面输入的第一配置指令，根据第一配置指令配置至少一个表模型，其中，表模型用于表示对源数据进行预处理的逻辑；获取通过流程编辑界面输入的第二配置指令，根据第二配置指令和表模型配置流程编排模型，其中，流程编排模型用于表示对目标分布式任务处理逻辑的流程编排；获取通过任务编辑界面输入的第三配置指令，根据第三配置指令和表模型配置任务模型，其中，任务模型用于表示对目标分布式任务的整体描述；对流程编排模型、任务模型和至少一个表模型进行解析，并转化成目标分布式任务对应的任务数据包，其中，任务数据包用于支持在目标分布式环境下运行目标分布式任务。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (10)

1.一种分布式任务生成方法，其特征在于，包括：

获取通过表编辑界面输入的第一配置指令，根据所述第一配置指令配置至少一个表模型，其中，所述表模型用于表示对源数据进行预处理的逻辑；

获取通过流程编辑界面输入的第二配置指令，根据所述第二配置指令和所述表模型配置流程编排模型，其中，所述流程编排模型用于表示对所述目标分布式任务处理逻辑的流程编排；

获取通过任务编辑界面输入的第三配置指令，根据所述第三配置指令和所述表模型配置任务模型，其中，所述任务模型用于表示对所述目标分布式任务的整体描述；

对所述流程编排模型、所述任务模型和至少一个所述表模型进行解析，并转化成所述目标分布式任务对应的任务数据包，其中，所述任务数据包用于支持在目标分布式环境下运行所述目标分布式任务。

2.根据权利要求1所述的分布式任务生成方法，其特征在于，所述获取通过表编辑界面输入的第一配置指令，根据所述第一配置指令配置至少一个表模型，包括：

每一个所述表模型的配置过程如下：

通过所述表编辑界面，显示一个或一个以上表属性组件，其中，每一个所述表属性组件分别对应所述表模型的一种表属性；

获取所述第一配置指令，其中，所述第一配置指令根据所述表编辑界面输入的、对至少一个所述表属性组件的选择操作或填写操作生成；

根据所述第一配置指令，分别对至少一种所述表属性进行配置；

获取所述表编辑界面输入的第一确认信息时，基于配置后所述表属性，生成所述表模型，其中，所述第一确认信息根据第一逻辑按钮的点击操作生成，所述表编辑界面显示所述第一逻辑按钮。

3.根据权利要求2所述的分布式任务生成方法，其特征在于，所述表属性组件包括标识组件、源组件和目的组件中的至少一种；

所述标识组件用于配置所述表模型的身份标识；

所述源组件用于配置所述表模型对应的输入属性，所述输入属性用于获取数据源；

所述目的组件用于配置所述表模型对应的输出属性，所述输出属性用于输出对应的数据结果。

4.根据权利要求1所述的分布式任务生成方法，其特征在于，所述第二配置指令包括流程框架配置指令和组件属性配置指令；

获取通过流程编辑界面输入的第二配置指令，根据所述第二配置指令和所述表模型配置流程编排模型，包括：

通过所述流程编辑界面中的组件展示区域，显示一个或一个以上可拖拽组件；

获取所述流程框架配置指令，所述流程框架配置指令根据所述流程编辑界面的编辑区域输入的、至少一个所述可拖拽组件的拖拽操作生成；

根据所述流程框架配置指令，生成所述目标分布式任务的流程框架；

获取所述组件属性配置指令，所述组件属性配置指令根据流程编辑界面的属性配置区域输入的、分别对所述编辑区域中至少一个所述可拖拽组件的选择操作或填写操作生成；

根据所述组件属性配置指令，分别对所述流程框架中的每一个所述可拖拽组件进行属性配置，其中，所述属性配置包括所述表模型与所述流程框架连接关系的配置；

获取所述流程编辑界面输入的第二确认信息时，基于属性配置后的所述流程框架，生成所述流程编排模型，其中，所述第二确认信息根据第二逻辑按钮的点击操作生成，所述流程编辑界面显示所述第二逻辑按钮。

5.根据权利要求4所述的分布式任务生成方法，其特征在于，可拖拽组件包括输入组件、输出组件和计算列组件中的至少一种；

其中，所述输入组件用于配置所述表模型与所述流程框架的连接关系，所述表模型通过对应的源组件配置所述表模型的输入参数；

所述输出组件用于以所述输入组件配置的所述表模型对应的输属性，输出对数据进行逻辑处理后的数据结果；

所述计算列组件用于配置对数据进行的逻辑处理。

6.根据权利要求1所述的分布式任务生成方法，其特征在于，获取通过任务编辑界面输入的第三配置指令，根据所述第三配置指令和所述表模型配置任务模型，包括：

通过所述任务编辑界面，显示一个或一个以上任务属性组件，其中，每一个所述任务属性组件分别对应所述任务模型的一种任务属性；

获取所述第三配置指令，其中，所述第三配置指令根据所述任务编辑界面输入的、对至少一个所述任务属性组件的选择操作或填写操作生成，其中，至少一个所述任务属性组件用于配置所述目标分布式任务需要的所述表模型；

根据所述第三配置指令，分别对至少一个所述任务属性进行配置；

获取所述任务编辑界面输入的第三确认信息时，基于配置后所述任务属性，生成所述任务模型，其中，所述第三确认信息根据第三逻辑按钮的点击操作生成，所述任务编辑界面显示所述第三逻辑按钮。

7.根据权利要求1所述的分布式任务生成方法，其特征在于，所述对所述流程编排模型、所述任务模型和至少一个所述表模型进行解析，并转化成所述目标分布式任务对应的任务数据包，包括：

解析所述任务模型，确定所述目标分布式任务所需的至少一个所述表模型；

解析所述流程编排模型和至少一个所述表模型，将所述流程编排模型中配置后的输入组件，转化成所述目标分布式任务的源端；将所述流程编排模型中配置后的输出组件，转化成所述目标分布式任务的输出端；将所述流程编排模型中配置后的计算列组件，转化成所述目标分布式任务的基础算子；

基于所述流程编排模型，对所述源端、输出端和所述基础算子，进行逻辑处理流程的编排，并生成所述任务数据包。

8.一种分布式任务生成装置，其特征在于，包括：

表配置模块，用于获取通过表编辑界面输入的第一配置指令，根据所述第一配置指令配置至少一个表模型，其中，所述表模型用于表示对源数据进行预处理的逻辑；

流程配置模块，用于获取通过流程编辑界面输入的第二配置指令，根据所述第二配置指令和所述表模型配置流程编排模型，其中，所述流程编排模型用于表示对所述目标分布式任务处理逻辑的流程编排；

任务配置模块，用于获取通过任务编辑界面输入的第三配置指令，根据所述第三配置指令和所述表模型配置任务模型，其中，所述任务模型用于表示对所述目标分布式任务的整体描述；

数据转化模块，用于对所述流程编排模型、所述任务模型和至少一个所述表模型进行解析，并转化成所述目标分布式任务对应的任务数据包，其中，所述任务数据包用于支持在目标分布式环境下运行所述目标分布式任务。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的分布式任务生成方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的分布式任务生成方法。

Images