CN115017099A - 一种分布式网络任务协作方法及系统 - Google Patents

Abstract

本发明公开了一种分布式网络任务协作方法及系统，方法包括：获取媒体终端上报的数据，所述数据包括网络任务数据以及类型转换请求，所述网络任务数据包括网络文件以及网络文件的类型；根据类型转换请求对所述网络文件的类型进行转换，转换后的网络文件的类型为媒体终端支持的类型；将转换后的网络文件推送至媒体终端进行使用，实现网络任务协作。系统包括：媒体终端；媒体终端用于创建网络任务数据，并上报网络任务数据以及类型转换请求至云端；云端，云端采用流批一体转换架构；且云端包括预览模块、转换模块、网络任务模块、存储模块、媒体转发模块以及分类模块。通过该方法及系统，能够充分发挥具有网络功能设备的互联互通的协作能力。

Description

一种分布式网络任务协作方法及系统

技术领域

本发明涉及网络算力共享协作技术领域，具体涉及一种分布式网络任务协作方法及系统。

背景技术

近年来，具有网络功能的移动终端业务越来越多，每个人手里都有以手机为入口的各种控制终端，同时手机的功能虽然越来越多，但终究只是用作控制设备，在具体的功能上并不一定有出色的表现，需要交互完成，同时作为通用设备没有给对应的专用设备提供算力和软件支持。因此需要充分挖掘手机在家庭网络中的互联互通的协作功能， 以便提高用户体验。

在实际使用过程中依然存在如下问题：

1.功能共享问题，在用户使用手机跟各种网络设备过程中，都需要借助无线连接，要么只发送控制指令，要么在网络任务开始后，只分发数据流中的一部分数据到其他设备，这本身很消耗手机电量，而实际上这部分内容分解为多个步骤，并不一定需要都放在手机上完成，网络设备可以给予助力，手机的互补性没有得到更深入地发挥协作终端的作用。

2.实时数据的类型支持问题，在不同设备上能支持专用的数据类型的读取和展示，比如音响可以接收音频，但如果需要打开其他媒体类型就可能出现打不开，导致又只能依赖手机重新开始完整的任务，再通过DLNA等形式投射到音箱上播放，如果用户在找不到对应的音频类型时将失去了解这份内容的兴趣，仍然需要从手机去打开，缺少选择权，智能音箱本身的独立性，复用性不足。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中智能移动终端没有更好地发挥协作控制功能的缺陷，从而提供一种分布式网络任务协作方法。

本发明提供了一种分布式网络任务协作方法，其包括：

获取媒体终端上报的数据，所述数据包括网络任务数据以及类型转换请求，所述网络任务数据包括网络文件以及网络文件的类型；

根据类型转换请求对所述网络文件的类型进行转换，转换后的网络文件的类型为媒体终端支持的类型；

将转换后的网络文件推送至媒体终端进行使用，实现网络任务协作。

优选的，媒体终端判断自身支持的网络文件的类型，当媒体终端不支持网络文件的类型时，媒体终端上报类型转换请求；

当媒体终端支持网络文件的类型时，则在媒体库中对网络任务数据进行搜索，进而播放或打开转换后的网络文件。

优选的，当网络文件在媒体库中时，媒体终端则播放或打开转换后的网络文件；当网络任务数据未在媒体库中时，媒体终端则下载转换后的网络文件，同时生成文件链接；文件链接与转换后的网络文件对应，用于播放或打开转换后的网络文件；媒体库用于接收网络文件以及文件链接。

优选的，对网络任务数据以及下载的转换后的网络文件进行缓存处理，缓存处理操作用于节约资源浪费。

优选的，根据网络文件生成预览文件，预览文件用于快速了解网络文件的内容以及判断网络文件的类型；预览文件为摘要文件。

优选的，在媒体库中设置有缓存时间，超出缓存时间，则在媒体库中删除网络文件以及文件链接。

优选的，数据还包括关于数据上报的日志数据，对日志数据基于时间进行聚合计算，得到时间指标数据，时间指标数据包括变化率，且时间指标数据不断变化，基于变化率，区分时间指标数据趋于稳定状态或处于不稳定状态，当时间指标数据趋于稳定状态时，则判断网络任务数据是否正常，若正常则时间指标数据已稳定，若不正常则等待迭代处理；当数据处于不稳定状态时，则等待迭代处理，直至时间指标数据处于稳定状态。

本发明还提供了一种分布式网络任务协作系统，其应用于上述的一种分布式网络任务协作方法；该系统包括：

媒体终端；媒体终端用于创建网络任务数据，并上报网络任务数据以及类型转换请求至云端；

云端，云端采用流批一体转换架构；且云端包括预览模块、转换模块、网络任务模块、存储模块、媒体转发模块以及分类模块；

预览模块用于根据网络文件生成预览文件；

转换模块用于根据类型转换请求对网络文件的类型进行转换；

网络任务模块用于根据网络任务数据下载转换后的网络文件；

存储模块用于存储转换后的网络文件，并生成文件链接；

媒体转发模块用于嗅探网络文件的类型，将网络文件发送给与网络文件的类型对应的媒体终端；

分类模块用于根据网络文件的类型进行分类，若为可识别类型则继续执行网络任务；若为不可识别类型，则将网络文件发送至转换模块进行类型转换。

优选的，媒体终端由用户选择得到；媒体终端包括主控端，网络任务数据由主控端发起；采用通用型终端对网络任务数据进行处理，生成镜像文件，将镜像文件存入媒体库；云端根据网络任务数据创建朗读模块，朗读模块用于根据网络任务数据中的网络文件生成音频文件，音频文件包括带有提示的音轨文件。

优选的，还包括转发设备；转发设备与多个媒体终端之间通过无线连接方式连接。

本发明技术方案，具有如下优点：通过本发明提供的方法及系统，能够增强媒体终端的功能，简化用户操作，充分发挥具有网络功能设备的互联互通的协作能力，改善了家庭网络中设备的中转作用。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施中一种分布式网络任务协作方法的流程图；

图2为本发明实施中一种分布式网络任务协作方法的稳定时间指标数据的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

为了解决多个网络设备与智能移动终端之间的协作问题，充分发挥通用型智能终端的控制和算力、软件生态以及网络设备的下载、缓存、加速功能，增强媒体终端的播放功能，简化用户充分发挥具有网络功能以及具有互联互通的设备的协作能力，改善家庭网络中的网关设备的中转作用。

如图1所示，本实施例提供了一种分布式网络任务协作方法，该方法包括：

媒体终端使用软探针进行检测播放任务，识别播放任务中的链接、文件，判断自身是否有能力播放和打开相应文件（比如：一般智能手机、智能电视、电脑可以播放所有媒体类型，而智能音箱智能播放音频类的链接和文件，如果该播放任务的文件位于媒体库中，则直接播放；如果该播放任务的文件和链接不再媒体库中，则进行网络下载。下载后存放的位置可以选择存放在智能音箱的存储模块、网络设备的存储或者同一个内网当中的其它设备，且最优选择为音箱本身或者网络设备。在下载时生成相应的文件和链接用于进行播放。）

获取媒体终端上报的数据，所述数据包括网络任务数据以及类型转换请求，所述网络任务数据包括网络文件以及网络文件的类型；

其中，各个媒体终端向控制中心发布软件信息和能处理的文件类型，云端可获取网络任务数据（网络文件以及网络文件的类型）。媒体终端判断自身支持的网络文件的类型，当媒体终端不支持网络文件的类型时，媒体终端上报类型转换请求；当媒体终端支持网络文件的类型时，则在媒体库中对网络任务数据进行搜索，进而播放或打开转换后的网络文件。在本实施例中，还包括根据网络文件生成预览文件，预览文件用于快速了解网络文件的内容以及判断网络文件的类型；预览文件为摘要文件。摘要文件可以方便用户再次利用和迁移、编辑，如果目标数据是音频数据，提供的摘要文件里内置的音轨摘要数据，用于用户使用播放器导航。

根据类型转换请求对所述网络文件的类型进行转换，转换后的网络文件的类型为媒体终端支持的类型；

当网络文件在媒体库中时，媒体终端则播放或打开转换后的网络文件；当网络任务数据未在媒体库中时，媒体终端则下载转换后的网络文件，同时生成文件链接；文件链接与转换后的网络文件对应，用于播放或打开转换后的网络文件；媒体库用于接收网络文件以及文件链接。对网络任务数据以及下载的转换后的网络文件进行缓存处理，该缓存处理操作节约了多个类型转换请求同一个网络文件以及url所产生的资源浪费。如果选择存储音频文件，在app订阅的媒体库之外，能播放用户自定义创建的媒体库，故创建了一个媒体库，用于存储网络文件、文件链接。对于要处理的媒体文件，我们可以将提醒用户自定义处理媒体转换任务。

在本实施例中，在该媒体库中设置有缓存时间，超出缓存时间，则在媒体库中删除网络文件以及文件链接。

在下载网络文件之前，判断文件类型，比如通过预览文件判断是否能够直接播放或打开，找出网络文件的类型、网络文件的大小以及是否为可直接播放或打开的串流。若网络文件的类型为音频或可扩展的媒体类型，则需要通知网络中的通用型终端；并由用户选择是否生成音频文件、以及是否能直接在通用型终端上进行操作；选择后将按照传统技术路径通过无线连接方式将音频文件传输给媒体终端。

将转换后的网络文件推送至媒体终端进行使用，实现网络任务协作。

进一步的，如图2所示，上报的数据还包括关于数据上报的日志数据，对日志数据基于时间进行聚合计算，得到时间指标数据，时间指标数据包括变化率，且时间指标数据不断变化，基于变化率，区分时间指标数据趋于稳定状态或处于不稳定状态，当时间指标数据趋于稳定状态时，则判断网络任务数据是否正常，若正常则时间指标数据已稳定，若不正常则等待迭代处理；当数据处于不稳定状态时，则等待迭代处理，直至时间指标数据处于稳定状态。这一指标的使用方便监控处理一些流媒体的任务，提高任务的稳定性。

根据分析日志信息中的url和文件头部摘要，缓存相应的媒体文件（包括上传的流媒体片段集合），云端对于一些流媒体任务，涉及到识别片源的问题，减少重复工作的需要，在摘要中分别识别文件类型、url，如果是需要进行收集数据流和用户首次上报的url，需要提醒用户启用缓存，云端默认该url的缓存过期时间，在缓存过期之后需要由用户提供源文件上传或者进行再次添加任务去识别和转换。这一步中，用于针对媒体类型任务做相关缓存加速或者算法调整，即确定本地终端和云端的任务负载分配，在确保云端负载合理的情况下，充分利用本地资源进行协作，节约云端并发运行大量的媒体转换任务的成本。

具体的，云端实时处理上报的数据，将网络文件进行下载、转换等工作，在这期间将同步生成日志数据，对该日志数据基于时间进行聚合计算，比如一个实时指标，输出的指标为3分钟，也就是4:00这一时间点的指标包括了4:00-4:03时刻的数据，并以此类推；得到时间指标数据。随着时间的叠加，为避免网络链路上网络任务数据出现问题，引入实时计算任务状态，当时间指标数据趋于稳定状态时，则判断网络任务数据是否正常，若正常则时间指标数据已稳定，该网络任务数据能够对外进行使用，若不正常（出现卡顿、堆积或者已有异常在重启过程中）则等待迭代处理；当数据处于不稳定状态时，则等待迭代处理，直至时间指标数据处于稳定状态。在云端层面对于转换媒体类型的任务进行队列处理，尽量不做重复的任务，节约服务器资源，同时可以高频请求的url或者文件分发到相应的存储服务器去提取，通过分组整合的方式将生成的文件流转到附近的CDN用于用户访问。

本实施例还提供了一种分布式网络任务协作系统，应用于上述的一种分布式网络任务协作方法，该系统包括：

媒体终端；媒体终端用于创建网络任务数据，并上报网络任务数据以及类型转换请求至云端；

云端，云端采用流批一体转换架构；且云端包括预览模块、转换模块、网络任务模块、存储模块、媒体转发模块以及分类模块；

对应数据的上报，数据上报至云端进行端进行处理，在本实施例中，该云端的架构采用流批一体转换架构，在计算层使用一个终端用于表示同一播放任务需求，并且在这个链接中，通过解析的方式接入，然后通过统一的ETL逻辑将数据放入数据湖中，该数据用于识别文件的类型；云平台用于接收控制中心的求助。因为数据湖本身可以同时支持流和批的方式进行读写操作，而且数据湖本身可以实时消费，所以其既可以用于实时计算，也可以用于离线计算，然后统一将数据在写回数据湖中。在做查询的时候，会使用离线跟实时做统一整合，所以在数据湖里写同一个表，将离线时的数据覆盖实时的数据以便节省存储空间。

预览模块用于根据网络文件生成预览文件；

具体的，提供一个预览模块设置于云端，接收预览请求可以生成与文件对应的预览文件（比如：目标设备是智能音箱，源文件是视频文件；智能音箱是无法独立播放一个视频文件的，此时就会同步生成一个音频文件，并下载到本地，而视频文件则继续存放于本地的存储模块中）；生成的预览文件后续可以缓存在智能音箱中，其中，预览文件与视频文件为不同的摘要文件；例如：当目标设备是智能音箱，源文件是视频文件时；则可以根据视频文件生成带字幕的时间轴、音频关键段落采样等一系列转换，为视频文件进行文字以及图片摘要的提取；可以简单地获取文档页码作为进度、每个页面的抽取可识别的文字和形象，使得智能音箱可以简单地了解视频文件内容，方便用户后续独立使用有限能力的设备打开文件。该功能可以方便盲人朋友能够通过任何一个设备把任何文件变成有声音解读的摘要文件，也能方便一些老旧设备用有限的软件去打开视频文件。识别图片中的文字或者实体，生成总结性的文字描述，并转换成语音描述，语音文件中带有分段标识用于给播放器快进快退到指定进度，比如下一句，跳5句，人声的句末和句首的音轨空间属性的标识，播放器参照mid文件播放器那样根据设定标志进行进度移动。

转换模块用于根据类型转换请求对网络文件的类型进行转换；转换为能够直接支持播放udp组播以及http的链接地址包含的网络文件的类型。

网络任务模块用于根据网络任务数据下载转换后的网络文件；

存储模块用于存储转换后的网络文件，并生成文件链接；

媒体转发模块用于嗅探网络文件的类型，将网络文件发送给与网络文件的类型对应的媒体终端；

分类模块用于根据网络文件的类型进行分类，若为可识别类型则继续执行网络任务；若为不可识别类型，则将网络文件发送至转换模块进行类型转换。

通过设置的媒体转发模块和分类模块，根据实际场景去决定优选的流程，减少用户对网络文件的选择和传输等繁琐的操作，只要能接入该协作系统，就能分工流转。比如一个在线docx文档，在电视上可能没有app打开，但可以调用电脑的office打开，并同步到电视上或手机上观看；通过设置的转换模块使得该过程也可以是在云端将docx文档转换为图片后由电视打开。

进一步的，媒体终端由用户选择得到；媒体终端包括主控端，网络任务数据由主控端发起；采用通用型终端对网络任务数据进行处理，生成镜像文件，将镜像文件存入媒体库；为解决现有媒体类型文件不能在音箱上进行操作播放的问题，云端根据网络任务数据创建朗读模块，朗读模块用于根据网络任务数据中的网络文件生成音频文件，音频文件包括带有友好提示的音轨文件，使得音频文件能够供盲人使用；该朗读模块可以根据网络文件（文本、图片、文档）生成音频文件；该模块通过语音控制，能够实现精确导航。

进一步的，还包括转发设备；转发设备与多个媒体终端之间通过无线连接方式连接。转发设备具有接收委托任务的代理模块。媒体终端分发网络任务给转发设备，转发设备将播放任务分发给移动音箱，再次期间转发设备将生成永久或临时的链接。

使用其它通用型终端将文件转换成媒体终端需要的类型，并且预览摘要信息的文件同步传输到媒体终端，协作完成之后还能使得该媒体终端独立工作，还能使得该媒体终端独立工作，方便用户检查该文件内容的情况。

通过转发模块、分类子模块；并根据实际场景决定优选的流程，减少用户对于文件的选择和传输等繁琐的操作，只要能接入一个协作系统，就能分工流转。如：一个docx文档，在电视上可能没有app打开，但可以调用电脑的office打开，然后同步至电视上观看。通过转换模块，使得该过程也可以在云端将docx文档转换为图片后由电视打开，对于关键的文字识别，可以生成相关的语音。

本实施例还提供了一种视频质量监控方法，包括步骤：

步骤1：采用终端设备采集数据埋点；

具体的，还包括通过在终端设备（或互联网设备，比如：手机、平板、电视、机顶盒等）上安装软探针进行网络文件的类型测试。

步骤2：对网络连接进行主动测试，得到测试数据，将测试数据上报至云端进行记录；

具体的，主动测试包括http链接测试，对测试数据就行数据定时上报至云端进行离线下载或本地下载。

步骤3：对网络连接进行被动测试，通过Netfilter架构和PF_PACKET方式自动识别OTT视频流，这类不方便直接进行文件转换的，需要跟进捕获，并且在转换媒体类型的任务执行时，推荐最佳效率转换的媒体格式，如音频音轨无损提取。

步骤4：将流媒体地址的url或者流媒体数据上报至云端的数据采集接口；数据采集接口获取到流媒体数据后，将这些流媒体数据发送至云服务消息队列（kafka消息队列）。

步骤5：将云服务消息队列中包含的数据，经过统一的ETL逻辑存储至数据湖中。

步骤6：由转发设备、媒体终端以及执行终端分别备份网络任务数据的状态；其中执行终端可以是网络中的任意一个终端，当联网恢复时，数据将进行同步。

步骤7：将上述数据整合并写入媒体库中，媒体库进行调度。

具体的，读取本地媒体库中的串流地址，用户同步至本地网关上本地媒体库进行存储：将实时数据处理和离线处理的数据再次写入媒体库中；实时数据处理的数据通过数据湖中的实时存储引擎（Druid）进行存储；离线处理的数据位于Hive中，在进行查询时，将离线处理的数据进行OLAP同步，然后采用Impala进行查询。

步骤8：视频质量定位与预警：对于STB软探针测试的数据进行监控，实现流媒体帧率、码率秒级监控；并结合出现QoS异常的指针进行诊断，及时发现OTT视频异常的原因，并预警反馈至运维，实现故障恢复与调度。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种分布式网络任务协作方法，其特征在于，包括：

获取媒体终端上报的数据，所述数据包括网络任务数据以及类型转换请求，所述网络任务数据包括网络文件以及网络文件的类型；

根据类型转换请求对所述网络文件的类型进行转换，转换后的网络文件的类型为媒体终端支持的类型；

将转换后的网络文件推送至媒体终端进行使用，实现网络任务协作。

2.根据权利要求1所述的一种分布式网络任务协作方法，其特征在于，所述媒体终端判断自身支持的所述网络文件的类型，当所述媒体终端不支持所述网络文件的类型时，所述媒体终端上报类型转换请求；

当所述媒体终端支持所述网络文件的类型时，则在媒体库中对所述网络任务数据进行搜索，进而播放或打开所述转换后的网络文件。

3.根据权利要求2所述的一种分布式网络任务协作方法，其特征在于，当所述网络文件在媒体库中时，所述媒体终端则播放或打开所述转换后的网络文件；当所述网络任务数据未在媒体库中时，所述媒体终端则下载所述转换后的网络文件，同时生成文件链接；所述文件链接与所述转换后的网络文件对应，用于播放或打开所述转换后的网络文件；所述媒体库用于接收所述网络文件以及所述文件链接。

4.根据权利要求3所述的一种分布式网络任务协作方法，其特征在于，对所述网络任务数据以及下载的所述转换后的网络文件进行缓存处理，缓存处理操作用于节约资源浪费。

5.根据权利要求3所述的一种分布式网络任务协作方法，其特征在于，根据所述网络文件生成预览文件，所述预览文件用于快速了解网络文件的内容以及判断网络文件的类型；所述预览文件为摘要文件。

6.根据权利要求5所述的一种分布式网络任务协作方法，其特征在于，在所述媒体库中设置有缓存时间，超出所述缓存时间，则在所述媒体库中删除所述网络文件以及所述文件链接。

7.根据权利要求6所述的一种分布式网络任务协作方法，其特征在于，所述数据还包括关于数据上报的日志数据，对所述日志数据基于时间进行聚合计算，得到时间指标数据，所述时间指标数据包括变化率，且所述时间指标数据不断变化，基于所述变化率，区分所述时间指标数据趋于稳定状态或处于不稳定状态，当时间指标数据趋于稳定状态时，则判断所述网络任务数据是否正常，若正常则时间指标数据已稳定，若不正常则等待迭代处理；当数据处于不稳定状态时，则等待迭代处理，直至所述时间指标数据处于稳定状态。

8.一种应用于权利要求1-7任一项所述的一种分布式网络任务协作方法的分布式网络任务协作系统，其特征在于，包括：

媒体终端；所述媒体终端用于创建网络任务数据，并上报网络任务数据以及类型转换请求至云端；

云端，所述云端采用流批一体转换架构；且所述云端包括预览模块、转换模块、网络任务模块、存储模块、媒体转发模块以及分类模块；

所述预览模块用于根据所述网络文件生成预览文件；

所述转换模块用于根据类型转换请求对所述网络文件的类型进行转换；

所述网络任务模块用于根据所述网络任务数据下载所述转换后的网络文件；

所述存储模块用于存储所述转换后的网络文件，并生成所述文件链接；

所述媒体转发模块用于嗅探所述网络文件的类型，将所述网络文件发送给与所述网络文件的类型对应的所述媒体终端；

所述分类模块用于根据所述网络文件的类型进行分类，若为可识别类型则继续执行网络任务；若为不可识别类型，则将所述网络文件发送至所述转换模块进行类型转换。

9.根据权利要求8所述的一种分布式网络任务协作系统，其特征在于，所述媒体终端由用户选择得到；所述媒体终端包括主控端，所述网络任务数据由所述主控端发起；采用通用型终端对所述网络任务数据进行处理，生成镜像文件，将所述镜像文件存入所述媒体库；所述云端根据所述网络任务数据创建朗读模块，所述朗读模块用于根据网络任务数据中的网络文件生成音频文件，所述音频文件包括带有提示的音轨文件。

10.根据权利要求9所述的一种分布式网络任务协作系统，其特征在于，还包括转发设备；所述转发设备与多个所述媒体终端之间通过无线连接方式连接。

Images