[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117176728A - 基于云边协同技术的工业物联网调度方法及调度系统 - Google Patents

基于云边协同技术的工业物联网调度方法及调度系统 Download PDF

Info

Publication number
CN117176728A
CN117176728A CN202310808763.8A CN202310808763A CN117176728A CN 117176728 A CN117176728 A CN 117176728A CN 202310808763 A CN202310808763 A CN 202310808763A CN 117176728 A CN117176728 A CN 117176728A
Authority
CN
China
Prior art keywords
node
computing
task
calculation
preferred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310808763.8A
Other languages
English (en)
Other versions
CN117176728B (zh
Inventor
程彩锦
龚占钦
李超
王建利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Hongdaxin Electronic Technology Co ltd
Original Assignee
Beijing Baixing Electronic System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baixing Electronic System Co ltd filed Critical Beijing Baixing Electronic System Co ltd
Priority to CN202310808763.8A priority Critical patent/CN117176728B/zh
Publication of CN117176728A publication Critical patent/CN117176728A/zh
Application granted granted Critical
Publication of CN117176728B publication Critical patent/CN117176728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Multi Processors (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明属于云边协同技术领域,具体涉及一种基于云边协同技术的工业物联网调度方法及调度系统。根据计算任务的元信息,获取计算任务的首选执行节点;根据首选执行节点对于计算任务的预期响应值,获取未验证节点中具有和首选执行节点近似响应的计算节点集;基于计算任务构建基准测试任务,至少选择计算节点集中的一个候选计算节点和首选执行节点执行基准测试任务;根据基准测试任务选择的候选计算节点和首选执行节点的执行结果更新计算节点对于计算任务的优先级,并产生应用层的控制指令。基于本发明的方案可以实现计算资源的合理分配。

Description

基于云边协同技术的工业物联网调度方法及调度系统
技术领域
发明属于云边协同技术领域,具体涉及一种基于云边协同技术的工业物联网调度方法及调度系统。
背景技术
处于智能工厂网络边缘的分布式工业物联网(IIOT)设备采集实时数据,并将数据上传至服务器进行处理分析,分析结果将以生产指令或控制信号的形式下达至底层硬件设备。此过程中涉及资源的调度和分配,如果不及时进行响应和处理,会较大的影响工厂的正常生产。尽管通过硬件的投放实现了计算节点的算力增强,但是无法实现边缘计算算力和云计算服务器算力合理分配的难题。
现有技术涉及此类问题存在如下的解决方案:
CN114546623B公开了一种基于大数据系统的任务调度方法和系统,所述方法包括:基于任务创建请求创建任务;计算任务特征矩阵,并将任务放入任务池;获取可用计算节点集合;基于可用计算节点集合从任务池中选择目标任务集合;将目标任务集合中的任务指派给所述可用计算节点集合。
CN105700948A公开了一种用于在集群中调度计算任务的方法与设备;获取集群中待调度的多个计算任务;根据所述计算任务所对应的任务负荷信息将所述多个计算任务划分为多个任务子集,其中,各任务子集分别对应于所述集群中一个集群节点。
CN114741165A公开了一种数据处理平台的处理方法、计算机设备及存储装置。该方法包括:接收待处理数据的任务处理请求;确定满足任务处理请求的管控执行节点;基于管控执行节点,对执行任务处理请求的第一任务进行亲和性调度,以分配第一执行节点;利用第一执行节点对待处理数据执行第一任务,得到中间处理数据;基于管控执行节点,对执行任务处理请求的第二任务进行亲和性调度,以分配第二执行节点;利用第二执行节点对中间处理数据执行第二任务,得到处理结果。
上述方法无法解决资源理论上满足需求时,实际响应的时长高于理论值的情形,且当计算任务和云边两端相联系时,无法进行较好的划分。
发明内容
本发明的一个目的在提供一种应用于智能工厂的计算节点调度方案,用于解决现有技术中的一个或者多个调度计算节点的问题,从而实现合适的任务加载和执行,并基于此保障智能工厂计算任务的调度和执行。
根据本发明的一个方面,本发明首先公开了一种基于云边协同技术的工业物联网调度方法,该方法包括:
根据计算任务的元信息,获取计算任务的首选执行节点;
根据首选执行节点对于计算任务的预期响应值,获取未验证节点中具有和首选执行节点近似响应的计算节点集;
基于计算任务构建基准测试任务,至少选择计算节点集中的一个候选计算节点和首选执行节点执行基准测试任务;
根据基准测试任务选择的候选计算节点和首选执行节点的执行结果更新计算节点对于计算任务的优先级,并产生应用层的控制指令。
根据本发明的一个实施例,所述计算任务的元信息包括资源需求、响应需求、计算类型和目标应用。
根据本发明的一个实施例,所述计算节点集按照如下方式获取:
根据资源的类型和需求选取满足资源额度配置的计算节点,并按照可用资源额度的比例对计算节点进行排序,按照节点所属网络切片的信息对计算节点进行分组,按照预设比例选取云计算节点和边缘计算节点。
根据本发明的一个实施例,所述首选执行节点按照如下方式获取:
提取任务的元信息中包含的计算任务类型,根据计算任务类型选择高评分级别的计算节点序列,按照可用资源的比例对计算节点序列进行排序获取可用资源比例最高的计算节点作为首选执行节点。
根据本发明的一个实施例,执行基准测试任务时,于调度服务器构建回调监听器,并将基准测试任务的回调层替换为调度服务器监听器的端口,并根据基准测试任务的执行结果向计算任务的回调层发送消息,并产生针对端侧设备的控制指令。
根据本发明的一个实施例,所述回调监听器在接收到候选计算节点和首选执行节点返回的计算结果时,将两者进行比对,根据两者差异确定是否需要重新计算;如不需重新计算,则根据候选计算节点的响应时长更新其响应评级。
根据本发明的一个实施例,确定是否需要重新计算的步骤包括:
判断首选执行节点的响应时长和计算时长是否分别大于对应的响应时长阈值和计算时长阈值,在响应时长和计算时长至少有一个高于阈值时,重选首选执行节点执行计算任务,并和候选计算节点的结果比对;
在响应时长和计算时长均低于阈值时,于计算节点集中选择不同的云计算节点和边缘计算节点执行基准测试任务。
根据本发明的一个实施例,在边缘侧服务器满足需求时,将边缘侧服务器加入计算类型对应的高优先级节点;在云服务器满足需求时,将云测服务器加入计算类型对应的普通优先级节点。
根据本发明的一个实施例,在一个计算节点执行计算任务的次数超过阈值时,将该计算节点标为未验证的节点。
根据本发明的第二个方面,本发明公开了基于云边协同技术的工业物联网调度系统,包括:
首选执行节点获取单元,用于根据计算任务的元信息,获取计算任务的首选执行节点;
计算节点集获取单元,用于根据首选执行节点对于计算任务的预期响应值,获取未验证节点中具有和首选执行节点近似响应的计算节点集;
基准测试任务生成单元,用于基于计算任务构建基准测试任务,至少选择计算节点集中的一个候选计算节点和首选执行节点执行基准测试任务;
调度控制单元,用于根据基准测试任务选择的候选计算节点和首选执行节点的执行结果更新计算节点对于计算任务的优先级,并产生应用层的控制指令。
基于上述的技术方案,可以实现任务合理加载和执行。并且基准任务的执行不影响工厂的生产,且可以依据优先级实现计算资源的优先分配。
附图说明
图1、本发明基于云边协同技术的工业物联网的拓补示意图;
图2、本发明一个实施例内基于云边协同技术的工业物联网调度方法;
图3、本发明一个实施例内选择首选执行节点的方法示意图;
图4、本发明另一个实施例内选择首选执行节点的方法示意图;
图5、本发明一个实施例内使用回调监听器进行调度的流程示意图。
具体实施方式
如下为本发明的若干实施例,其对本发明所涉及的技术内容进行了详尽的解释和说明。
在进行具体的阐述前,对本发明所涉及的一些技术进行简要的说明。
边缘计算技术,可以理解为发生在网络边缘的计算。传统的计算模式中,终端设备通过网关直接与云服务器进行连接,这些终端设备直接向位于中心位置的数据中心或者云传输数据,由云服务器对数据进行统一处理并发出指令,这种模式可以处理大量复杂的数据。
但是随着终端设备的增加,云服务器的负担逐渐增大,由于数据量的增大,其处理数据的速度也会降低,从而产生较高的时延,不能满足工业生产环节中一些对于时延敏感应用的要求。如图1所示,在正常的工业生产流程中总伴随着一些需要及时处理的数据,如果时延较大,可能会导致无法逆转的损失。因此把一些简单的数据分析处理功能放到离终端较近的边缘服务器中可以很好的解决上述问题。
但是,随着物联网(Internet of Things,IoT)的发展和IoT设备的普及,大量计算密集型和延迟敏感型应用程序正变得越来越流行。由于部分资源并不是很好的能够在边缘服务器侧得到满足,并且应当考虑到边缘服务器是否能够发挥作用依赖于所计算的任务类型,而不是简单的任务加载和任务卸载即可以实现预期的功能,通用化的实现往往都是依赖于功能的弱化和更多的限制,以便总是可以在现有的资源上实现功能,上述的模式对于资源服务的实际使用者和开发者并不是友好的。
在存在多个候选的资源选择时,合适的任务加载和执行对于调度服务器也是一种考验。对于涉及到复杂模型和复杂任务的,如果仅仅是提供计算资源,而不考虑关联资源,例如服务器连接数据、认证数据、缓存数据以及带宽数据等内容,那么所有的资源都可以是为可替代的,但是根据实际部署的业务反馈,基于硬件的简化会为业务带来困扰。
例如同样配置的计算节点,当其面对的资源包括数据库时,由于其页面内的缓存数据不一致,其对于数据库查询的响应并不一致,因此需要在进行计算前,提供计算基准的校验。
针对此,通过如下实例对本发明的解决方案进行说明。
请参考图1所示的连接图和图2,本发明基于云边协同技术的工业物联网调度方法,包括:
根据计算任务的元信息,获取计算任务的首选执行节点;
根据首选执行节点对于计算任务的预期响应值,获取未验证节点中具有和首选执行节点近似响应的计算节点集;
基于计算任务构建基准测试任务,至少选择计算节点集中的一个候选计算节点和首选执行节点执行基准测试任务;
根据基准测试任务选择的候选计算节点和首选执行节点的执行结果更新计算节点对于计算任务的优先级,并产生应用层的控制指令。
首先,在本发明的一个实施例中,在智能工厂的物联网终端提供了若干个逻辑接口;通过所述逻辑接口与对应的网络切片连接;所述物联网终端通过所述网络切片接入到5G网络中;通过虚拟多个逻辑接口,使物联网终端能够同时接入多个不同的网络切片中,以提高用户体验。
所述逻辑接口包括以太网接口,以及可以包括5G类型的增强型移动宽带eMBB网络切片、大规模物联网mMTC网络切片和超高可靠低时延通信uRLLC网络切片。
由于物联网设备接入网络,不同类型应用场景对网络的需求是差异化的,有的甚至是相互冲突的。通过单一网络同时为不同类型应用场景提供服务,会导致网络架构异常复杂、网络管理效率和资源利用效率低下。网络切片技术通过在同一网络基础设施上虚拟独立逻辑网络的方式为不同的应用场景提供相互隔离的网络环境,使得不同应用场景可以按照各自的需求定制网络功能和特性,能够切实保障不同业务的服务质量需求。
工业物联网IIOT中传感器以及终端节点产生的数据被分析、采集以及生成计算任务的过程可以采用常用的方式进行。
IIOT的端侧可以定期的发送数据和产生计算任务,在按照特定的时间间隔上报设备数据时。例如,传感器每间隔一分钟则采集一次数据,并发送给网关,网关也对应每间隔一分钟向边缘节点或者云服务器发送设备数据。
云服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。调度节点可以通过有线或无线通信方式进行直接或间接地连接云服务器。
所述的边缘服务器中可部署多种工厂用的应用软件,这些应用软件可以在边缘服务器进行一次性部署,或者设置可跟踪的程序以进行镜像的部署、加载和卸载。特别地,当边缘侧节点与资源服务器建立连接后,可以从资源服务器获取应用列表,基于应用列表,当任意一个与资源服务器连接的边缘侧客户端向资源服务器发送协同请求时,协同调度单元对协同请求进行分析识别,以获取协同请求所包含的请求内容,依据请求内容在协同调度控制单元的控制下,开启对应的第一协同线程集合中的一个或者多个以通过云网络链接至边缘侧客户端,并向所述边缘侧客户端提供协同云链接,所述边缘服务器基于协同云链接对应的从云存储模块中获取调取边缘应用。
所述边缘服务器是指为用户提供一个进入网络通道和其他服务器设备通讯的功能设备,通常边缘服务器是一组完成单一功能的服务器,可以是防火墙服务器,高速缓存服务器、负载均衡服务器等,对物联网而言,边缘计算技术取得突破,许多控制将通过本地边缘计算层完成,可提升处理效率减轻云端的负荷。由于更加靠近用户,还可为用户提供更快的响应,将需求在边缘解决。
在边缘服务器部署了可以被调度节点调度的本地程序后,其即在网络切片内形成了边缘节点。所述的边缘节点可以基于API、Websocket、API、HTTP等进行通信。
所述的计算任务的特征包括元信息meta info,所述元信息包括任务源、时间、预期计算程序版本和时延需求,很明显的,在本发明的设计中,IOT设备端应当避免对计算任务提出除时延外的需求,相应的功能分布在调度端。相应的,调度节点根据任务的类型可以获取特征信息。
元信息包含任务源、源任务版本和时延,所述任务源和源任务版本为注册于调度服务器的,很显然,在调度服务器无法获取或者理解元信息时,其无法执行相应的计算任务。在所述任务源和源任务版本为注册于调度服务器时,根据任务源和源任务版本组成的键信息可以在调度服务器查找对应的可以用于处理任务的节点信息。
和任务信息相匹配的,无论是边缘服务器还是云服务器,其都可以通过CPU资源使用情况、内存资源使用情况、缓存资源使用情况、内存带宽使用情况、网络带宽资源使用情况、磁盘容量资源使用情况和GPU资源使用情况等等。其中,每个类别资源的使用情况还可以用多个参数信息进行描述,比如CPU资源使用情况可包括CPU核心数、CPU型号等等,内存资源使用情况可进一步包括内存大小、内存剩余容量等等。尽管我们认为在资源充足的情况下,近似的云资源应当体现出近似的表现,但是企业存在差异,例如部分边缘节点在调试过程中对于计算任务的响应速度总是表现出偏移正常的范围。在此情况下综合考虑其在工厂环境中的表现就具备了积极的意义。
在实际的计算过程中,部分计算过程依赖于保存于节点的资源以及对于其他物理宿主机上的资源依赖。
例如,在一个模型被保存到本地时,在该模型没有失效之前,在硬件配置基本一致的情况下,保存有该模型的节点响应速度理论上高于未保存该模型的响应速度,因重新下载模型、载入模型以及验证模型均需要一定的时间。尽管在一个地域内,对于资源的请求可以在业务时间超过秒级时可以被忽略,然而在多个任务被执行时,相关资源的积累是一个可观的值。进一步,如果部分资源依赖于已经缓存的资源,或者部分资源的初始化需要较多的时间,那么,在执行计算时,就必须要考虑节点的资源状态。此外,部分依赖的资源的消耗增加不是线性的,例如对于数据库的需求在缓存页面在命中率较低时,查找速度较慢;而在数据大小和缓存大小不匹配时,查找速度也会降低;仅在缓存页面内容和需求内容基本一致时,可以获得较好的查询效率。并且,如果一个物理机的资源的消耗也可能不是线性的,当IO迅速增加时,其RAM会呈现非线性的快速增加。在此情况下,应当进行定期的基准校验任务,以确定计算节点对于计算任务的响应级别。
本发明即针对此提供解决方案,在涉及计算任务的执行时,提供的节点按照部署位置包括边缘侧服务器和云服务器;所述节点按照是否验证分为已经验证的节点和未验证的节点;所述已经验证的节点为已经执行计算任务且具有响应优先级的计算节点。
进一步的,响应优先级可以包括高优先级、一般优先级和低优先级。
部分实施例内,通过本节点可用资源,计算资源权重和优先级。例如,对于计算任务可以包括最优计算硬件需求和最低计算硬件需求,以最简单的一个因素进行计算,如按照CPU的可用资源和核心数目计算可用资源,根据可用资源和最优计算硬件需求的比值作为权重,并依据此选择优先级。
进一步的,增加资源评分维度,则获取推荐任务执行节点集合的节点信息,根据评分信息,例如设置权重M为CPU和GPU评分之和,对应于每一项按照最优计算硬件需求和最低计算硬件需求进行计算,并进行求和以获取评分。在进行评分的获取后看,可以选择分数最高的节点作为最高优先级的节点,以执行计算任务。
在选定最优的执行节点后,利用执行节点执行计算任务,并将执行节点的输出返回调度节点,调度节点根据该输出结果生成控制指令。
根据本发明的一个实施例,所述计算任务的元信息包括资源需求、响应需求、计算类型和目标应用。
在本发明一个实施例内,可以为所述的计算任务的特征包括元信息meta info,所述元信息包括任务源、时间、预期计算程序版本和时延需求。
调度节点根据计算任务的元信息可以确定需求资源类型,并基于确定的资源类型确定执行的节点。
计算任务的元信息提供了快速筛选计算任务的依据,因此计算任务的生成应当遵循规范,以确保可以通过一个或者多个元信息的分类和组合实现对于元信息的归类。
对于计算任务的归类可以使用聚类算法进行,或者使用诸如布隆过滤器或者布谷鸟过滤器的形式进行。
如果使用聚类分析的方法进行,可以参考下述的方法实施。
针对单个节点,获取历史执行任务的元信息和响应评分,为了简化模型,此处的响应评分为响应时长,较长的响应时长对应了较低的速度,为了避免部分大负荷任务引起的误差,可以设置预置的权重矩阵以对响应评分进行校准;如果对于任务进行更为详尽的划分,那么可以依据工作量进行分组,则对于响应评分进行校准可以省略。
获取多个任务的元信息的指标值,其中所述指标值为按照预设规则对元信息中的任务源、时间、预期计算程序版本和时延需求进行分类评分获得;例如按照RAM需求,按照128M为一个单位,分别对应一个分值,以1G内存为例,其得分为8,其他可量化的指标可以参照此进行获得指标值。
由于任务执行时,使用了资源,无论是部署于本地的资源还是云端的资源,针对使用的资源类型可以设置计时器,并在执行过程中对此进行记录,以获得和执行任务元信息对应的资源响应时长,对于具体的计算任务,其响应时长为毫秒值,对于一个节点,其自身就可以反应相应的趋势。
在此基础上,进一步获取多个所述元信息的指标值以及响应评分之间的相关系数,之后通过分析其变化规律和任务元信息中资源需求的关系来获得其关联性,从而将一个节点对于计算任务的响应分为若干类,可使用k平均值聚类分析对其关联性进行分析,通过此方式可以获得一个或多个聚类的质点中心,从而可以快速的分析该节点对于一个计算任务的响应值,以获得评分。一个节点的聚类分析结果可以被缓存,并被调度服务器查询和更新。
在使用布隆过滤器或布谷鸟过滤器时,通过查找节点是否存在列表内进行响应分析。由于两者在底层存在一定的近似,仅以布隆过滤器进行举例。
布隆过滤器的核心实现包括二进制数组和哈希函数,所述哈希函数用于计算每个标识在二进制数组中的位置,为了适配云节点和边缘节点的计算,本发明的布隆过滤器中包括多个哈希函数,每个哈希函数均关注一个维度的数据。
例如在云资源的地域由约定的字符串标识时,资源的标识可以由一个标识数据字符串替代,其典型的标识数据为一串数字或数字与字母的组合,如其区域可被索引为整数;
如针对内存资源,其可以使用可用内存的大小进行分类,例如0-128MB的哈希值为1,128-512MB哈希值为2,512-1024MB哈希值为4,1024MB-2GB哈希值为5,通过上述的方式可以将内存进行区分;
如针对CPU资源,其可以使用可用核心的数目进行分类,例如1核的哈希值为1,2核的哈希值为2,3核的的哈希值为4,4核的哈希值为5,通过上述的方式可以将可用核心数目进行区分;
如针对CPU的类型资源,其可以使用CPU核心的类型进行区别,如较新核心的CPU可以设置一个较高的数值,例如根据浮点数能力和整数计算能力进行划分;
通过上述的实例可以近似的将其他的资源按照需求的额度或者可计量的资源映射至序列内。
因此,在将任务的元数据对应的需求信息数据按照规则合并为一个字符串后,将标识数据按照顺序依次将标识输入给多个哈希函数,进而可以得到多个哈希值,多个哈希值转换为二进制序列。即上述过程可以表示为Hash(T)={HashCPUResource(T),HashGPUResource(T),HashHDResource(T),HashNetworkResource(T)...HashRAMResource(T)},即分别对计算任务的元信息提取CPU、GPU、磁盘、网络...以及内存等特征。上述的特征仅仅是实例,如不涉及GPU,则可以删除对应的哈希函数,如涉及NPU,也可以增加相应的单元。
在实际应用过程中,在一个任务的元数据被获取并被输入到一个布隆过滤器中时,其输入的数据为已经执行完毕的数据,即在性能满足预设需求时,将其划分到一个或者多个布隆过滤器内,在后续执行近似的计算时,通过判断近似的任务元信息来判定一个资源节点是否适合于执行任务时,可以依据其包括的布隆过滤器对任务进行转换,仅需要通过判断近似的任务源信息是否包含在一个布隆过滤器内,针对一个布隆过滤器如果其是和一个评分区间绑定的,则相应的根据此可以获得一个或者多个评分,取较低值或者均值作为节点对于计算任务的评分。
由于此过程中复杂度是固定的,因此不会增加额外的开销。
即在规则确定时,即通过判断一个节点的高性能的布隆过滤器是否包括计算任务,进而为依据计算任务的元信息提供了筛选首选执行节点的依据。
所述的布隆过滤器可以设置有多个,例如分别设置中等性能和高性能(例如响应时长在12ms以下为高性能,响应时长在8-100ms为中性能,为了避免节点因为偶发性因素引起的性能变化,即出现性能漂移,两者可以存在重叠的响应时长区间)。
根据本发明的一个实施例,所述计算节点集按照如下方式获取:
根据资源的类型和需求选取满足资源额度配置的计算节点,并按照可用资源额度的比例对计算节点进行排序,按照节点所属网络切片的信息对计算节点进行分组,按照预设比例选取云计算节点和边缘计算节点。
所述的计算节点无论是云端节点还是边缘节点,其可用的资源值应当被更新或者报告。对于云节点,其可以通过服务商提供的API进行获取,例如获得CPU、RAM、读写、网络流量等信息,对于部署的边缘服务器,通过配置的监控程序,也可以实现近似的效果,即调度节点可根据资源类型和需求对所有的计算节点进行筛选,首先排除资源不满足的节点。在进行筛选时,如果存在任何一个维度的资源不满足需求,则排除该资源,例如,需求磁盘空间为1G,如果剩余空间小于1G,则排除该计算节点。
之后按照可用资源比例对节点进行排序,此处的比例可以为所有可用比之和,或者是其算数平均数,或者是可用比的均方根。
排序操作同时作用于云计算节点和边缘节点,按照可用比获得两个有序的列表,即云计算节点列表和边缘计算节点列表,按照预设比例,例如按10%的比例,分别从云计算节点列表和边缘计算节点列表获取10%的节点,此部分节点即为计算节点集。
为了避免一个使用中的节点被始终加入计算节点集,可以通过设置一个布尔值,来判断对应于一个计算任务的元信息,该节点是否在首选执行节点内;如果在首选执行节点内,则不选择,否则可以选入计算节点集。
由于计算任务总是会存在一定的差异,因此针对一个计算任务总是会存在一定的未验证节点,因此,通过上述的方式可以重新确认计算节点对于指定任务的响应级别。
请参考图3,根据本发明的一个实施例,所述首选执行节点按照如下方式获取:
提取任务的元信息中包含的计算任务类型,根据计算任务类型选择高评分级别的计算节点序列,按照可用资源的比例对计算节点序列进行排序获取可用资源比例最高的计算节点作为首选执行节点。
在前文阐述了依据计算任务的元信息对节点和计算任务的关联性进行划分,显然,在分配一个计算任务时,可以遍历所有的计算节点,依据所提取的计算任务类型或者直接依据计算任务的信息,基于计算节点对于计算任务的聚类分析结果,或者依据高性能评分区间的布隆过滤器或布谷鸟过滤器获得一个以上的计算节点,之后按照可用资源的比例对计算节点序列进行排序获取可用资源比例最高的计算节点作为首选执行节点。
排序操作同时作用于选中的高性能云计算节点和边缘节点,按照可用比获得两个有序的列表,即高性能云计算节点列表和边缘计算节点列表,按照预设比例,例如按10%的比例,分别从高性能云计算节点列表和边缘计算节点列表获取10%的节点,此部分节点即为计算节点集。
请参考图4,根据本发明的一个实施例,所述首选执行节点按照如下方式获取:
提取任务的元信息中包含的计算任务类型,按照可用资源的比例对计算节点序列进行排序,获取可用资源比例最高的计算节点作为首选执行节点。此种方式适用于未确定优先级的情况,并且仅在实际的初始化过程中会被执行。
请参考图5,根据本发明的一个实施例,执行基准测试任务时,于调度服务器构建回调监听器,并将基准测试任务的回调层替换为调度服务器监听器的端口,并根据基准测试任务的执行结果向计算任务的回调层发送消息,并产生针对端侧设备的控制指令。
对于普通的计算任务,其执行完成后相应的数据和操作指令发出后即告终止,然而涉及到基准测试任务,由于需要对数据进行校准,相应的节点可能执行完成计算或者无法完成计算,因此需对计算任务进行调整,即基准测试任务的回调层替换为调度服务器监听器的端口,并根据基准测试任务的执行结果向计算任务的回调层发送消息,并产生针对端侧设备的控制指令。
例如,正常的回调地址为ServerA:portA,即服务器A的portA端口,此时通过配置其为调度节点的portB端口,并设置在portB接收到报文后向服务器A的portA端口的转发,并产生针对端侧设备的控制指令。
基于此可以实现在完成测试任务时,不影响正常生产指令的调度。
此外,为了避免生产指令的延迟发出,可以设置超时时长,如300ms,在超时后启动新的计算任务。
根据本发明的一个实施例,所述回调监听器在接收到候选计算节点和首选执行节点返回的计算结果时,将两者进行比对,根据两者差异确定是否需要重新计算;如不需重新计算,则根据候选计算节点的响应时长更新其响应评级。
候选计算节点和首选执行节点返回的计算结果可能会出现不一致,其可能由依赖的资源或者硬件引起,将两者进行比对,根据两者差异和阈值的比较确定是否需要重新计算,从而可以避免后续生产时出现错误的调度指令。
所述的阈值应当根据计算任务的类型确定。
根据本发明的一个实施例,确定是否需要重新计算的步骤包括:
在首选执行节点的响应时长大于响应时长阈值,或计算时长大于计算时长阈值时,重选首选执行节点执行计算任务,并和候选计算节点的结果比对;
在响应时长和计算时长均低于阈值时,于计算节点集中选择不同的云计算节点和边缘计算节点执行基准测试任务。
首选执行节点的响应时长和计算时长是用于判断候选节点是否正常的重要依据,如果出现时长过高以及计算过长过大,则其可能由于硬件资源不足或者网络延迟引起,对其进行甄别具有很好的意义。
判断两类节点的差异时,首选执行节点的响应时长大于响应时长阈值,或计算时长大于计算时长阈值时,这表明所配置的硬件和其实际的算力不匹配,应当重选首选执行节点执行计算任务,并和候选计算节点的结果比对;
在首选执行节点的响应时长不大于响应时长阈值,且计算时长不大于计算时长阈值时,此时判断首选执行节点正常,其可以实现设计的算力,可于计算节点集中选择不同的云计算节点和边缘计算节点执行基准测试任务。
通过此可以避免错误指令的发出和影响工厂的正常生产,并能够重新选择计算节点。
根据本发明的一个实施例,在边缘侧服务器满足需求时,将边缘侧服务器加入计算类型对应的高优先级节点;在云服务器满足需求时,将云测服务器加入计算类型对应的普通优先级节点。
在边缘侧服务器满足需求时,将边缘侧服务器而不是云服务器加入计算类型对应的高优先级节点,从而有效的降低成本。
进一步,如果计算结果满足需求,但是器响应速度低于预期值,则其可以加入至低优先级节点,低优先级节点可以不执行计算任务,并通过诊断的方式解决响应慢的问题。
此处,应当设置一个最低的高优先级节点数目,以避免计算任务和计算能力的不匹配,且避免出现低优先级的节点。
根据本发明的一个实施例,在一个计算节点执行计算任务的次数超过阈值时,将该计算节点标为未验证的节点。
计算任务构建基准测试任务并不是始终需要被执行,仅在其出现了较大偏差或者可能出现偏差时被执行,而对于此类情形的判断,通过对历史异常信息进行分析判断即可以获得,或者通过设置响应阈值,如果一个或者多个计算任务的响应时间的移动平均值高于阈值,则进行基准测试任务,此时通过将计算节点标为未验证的节点,即可以在被选中时执行基准测试任务。
基准测试任务可以为一个或者多个计算任务确定,即所述未验证的节点为针对计算任务的元信息优先级未确定的节点。
在本发明另一个实施例中,还公开了适用于上述方法的基于云边协同技术的工业物联网调度系统,该系统包括:
首选执行节点获取单元,用于根据计算任务的元信息,获取计算任务的首选执行节点;
计算节点集获取单元,用于根据首选执行节点对于计算任务的预期响应值,获取未验证节点中具有和首选执行节点近似响应的计算节点集;
基准测试任务生成单元,用于基于计算任务构建基准测试任务,至少选择计算节点集中的一个候选计算节点和首选执行节点执行基准测试任务;
调度控制单元,用于根据基准测试任务选择的候选计算节点和首选执行节点的执行结果更新计算节点对于计算任务的优先级,并产生应用层的控制指令。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读介质可以包括但不限于电子的、磁的、光学的、电磁的、红外的或半导体系统、装置或设备,或其任何合适的组合。机器可读存储介质的更详细示例包括带有一根或多根导线的电气连接、便携式计算机磁盘、硬盘、随机存储存取器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式压缩盘只读存储器(CD-ROM)、光存储设备、磁存储设备,或其任何合适的组合。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由服务器的处理器执行以完成本发明各个实施例所示的表情图片推荐方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

Claims (10)

1.一种基于云边协同技术的工业物联网调度方法,其特征在于,包括:
根据计算任务的元信息,获取计算任务的首选执行节点;
根据首选执行节点对于计算任务的预期响应值,获取未验证节点中具有和首选执行节点近似响应的计算节点集;
基于计算任务构建基准测试任务,至少选择计算节点集中的一个候选计算节点和首选执行节点执行基准测试任务;
根据基准测试任务选择的候选计算节点和首选执行节点的执行结果更新计算节点对于计算任务的优先级,并产生应用层的控制指令。
2.如权利要求1所述的基于云边协同技术的工业物联网调度方法,其特征在于,所述计算任务的元信息包括资源需求、响应需求、计算类型和目标应用。
3.如权利要求1所述的基于云边协同技术的工业物联网调度方法,其特征在于,所述计算节点集按照如下方式获取:
根据资源的类型和需求选取满足资源额度配置的计算节点,并按照可用资源额度的比例对计算节点进行排序,按照节点所属网络切片的信息对计算节点进行分组,按照预设比例选取云计算节点和边缘计算节点。
4.如权利要求1所述的基于云边协同技术的工业物联网调度方法,其特征在于,所述首选执行节点按照如下方式获取:
提取任务的元信息中包含的计算任务类型,根据计算任务类型选择高评分级别的计算节点序列,按照可用资源的比例对计算节点序列进行排序获取可用资源比例最高的计算节点作为首选执行节点。
5.如权利要求1所述的基于云边协同技术的工业物联网调度方法,其特征在于,执行基准测试任务时,于调度服务器构建回调监听器,并将基准测试任务的回调层替换为调度服务器监听器的端口,并根据基准测试任务的执行结果向计算任务的回调层发送消息,并产生针对端侧设备的控制指令。
6.如权利要求5所述的基于云边协同技术的工业物联网调度方法,其特征在于,所述回调监听器在接收到候选计算节点和首选执行节点返回的计算结果时,将两者进行比对,根据两者差异确定是否需要重新计算;如不需重新计算,则根据候选计算节点的响应时长更新其响应评级。
7.如权利要求6所述的基于云边协同技术的工业物联网调度方法,其特征在于,确定是否需要重新计算的步骤包括:
判断首选执行节点的响应时长和计算时长是否分别大于对应的响应时长阈值和计算时长阈值,在响应时长和计算时长至少有一个高于阈值时,重选首选执行节点执行计算任务,并和候选计算节点的结果比对;
在响应时长和计算时长均低于阈值时,于计算节点集中选择不同的云计算节点和边缘计算节点执行基准测试任务。
8.如权利要求5所述的基于云边协同技术的工业物联网调度方法,其特征在于,在边缘侧服务器满足需求时,将边缘侧服务器加入计算类型对应的高优先级节点;在云服务器满足需求时,将云测服务器加入计算类型对应的普通优先级节点。
9.如权利要求1所述的基于云边协同技术的工业物联网调度方法,其特征在于,在一个计算节点执行计算任务的次数超过阈值时,将该计算节点标为未验证的节点。
10.一种基于云边协同技术的工业物联网调度系统,其特征在于,包括:
首选执行节点获取单元,用于根据计算任务的元信息,获取计算任务的首选执行节点;
计算节点集获取单元,用于根据首选执行节点对于计算任务的预期响应值,获取未验证节点中具有和首选执行节点近似响应的计算节点集;
基准测试任务生成单元,用于基于计算任务构建基准测试任务,至少选择计算节点集中的一个候选计算节点和首选执行节点执行基准测试任务;
调度控制单元,用于根据基准测试任务选择的候选计算节点和首选执行节点的执行结果更新计算节点对于计算任务的优先级,并产生应用层的控制指令。
CN202310808763.8A 2023-07-04 2023-07-04 基于云边协同技术的工业物联网调度方法及调度系统 Active CN117176728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310808763.8A CN117176728B (zh) 2023-07-04 2023-07-04 基于云边协同技术的工业物联网调度方法及调度系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310808763.8A CN117176728B (zh) 2023-07-04 2023-07-04 基于云边协同技术的工业物联网调度方法及调度系统

Publications (2)

Publication Number Publication Date
CN117176728A true CN117176728A (zh) 2023-12-05
CN117176728B CN117176728B (zh) 2024-07-05

Family

ID=88943816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310808763.8A Active CN117176728B (zh) 2023-07-04 2023-07-04 基于云边协同技术的工业物联网调度方法及调度系统

Country Status (1)

Country Link
CN (1) CN117176728B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144715A (zh) * 2019-12-11 2020-05-12 重庆邮电大学 一种基于边云协同的工厂电能管控系统及方法
CN112148449A (zh) * 2020-09-22 2020-12-29 行星算力(深圳)科技有限公司 一种局域网的基于边缘计算的调度算法及系统
CN112799789A (zh) * 2021-03-22 2021-05-14 腾讯科技(深圳)有限公司 一种节点集群管理方法、装置、设备及存储介质
US20210409335A1 (en) * 2020-09-11 2021-12-30 Intel Corporation Multi-access management service packet classification and prioritization techniques
CN114217920A (zh) * 2021-11-16 2022-03-22 曙光信息产业(北京)有限公司 作业调度方法和装置、计算机机群、计算机可读存储介质
CN114741165A (zh) * 2022-03-02 2022-07-12 浙江大华技术股份有限公司 数据处理平台的处理方法、计算机设备及存储装置
TW202234236A (zh) * 2020-12-24 2022-09-01 美商英特爾公司 用以最佳化邊緣網路中的資源之方法、系統、製品及設備
CN116360954A (zh) * 2023-05-31 2023-06-30 北京百星电子系统有限公司 基于云边协同技术的工业物联网管控方法和管控系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144715A (zh) * 2019-12-11 2020-05-12 重庆邮电大学 一种基于边云协同的工厂电能管控系统及方法
US20210409335A1 (en) * 2020-09-11 2021-12-30 Intel Corporation Multi-access management service packet classification and prioritization techniques
CN112148449A (zh) * 2020-09-22 2020-12-29 行星算力(深圳)科技有限公司 一种局域网的基于边缘计算的调度算法及系统
TW202234236A (zh) * 2020-12-24 2022-09-01 美商英特爾公司 用以最佳化邊緣網路中的資源之方法、系統、製品及設備
CN112799789A (zh) * 2021-03-22 2021-05-14 腾讯科技(深圳)有限公司 一种节点集群管理方法、装置、设备及存储介质
CN114217920A (zh) * 2021-11-16 2022-03-22 曙光信息产业(北京)有限公司 作业调度方法和装置、计算机机群、计算机可读存储介质
CN114741165A (zh) * 2022-03-02 2022-07-12 浙江大华技术股份有限公司 数据处理平台的处理方法、计算机设备及存储装置
CN116360954A (zh) * 2023-05-31 2023-06-30 北京百星电子系统有限公司 基于云边协同技术的工业物联网管控方法和管控系统

Also Published As

Publication number Publication date
CN117176728B (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
CN110798517B (zh) 去中心化集群负载均衡方法、系统、移动终端及存储介质
WO2022001918A1 (zh) 构建预测模型的方法、装置、计算设备和存储介质
CN116360954B (zh) 基于云边协同技术的工业物联网管控方法和管控系统
CN112506659A (zh) 一种边缘设备的管理方法以及相关装置
CN113098932A (zh) 基于5g和云计算的物联网设备处理方法及系统
CN110417903A (zh) 一种基于云计算的信息处理方法和系统
CN111984383B (zh) 基于云网融合和人工智能的业务数据处理方法及云端平台
US20160269428A1 (en) Data processing
CN114091610A (zh) 智能决策方法及装置
CN112559525A (zh) 数据检查系统、方法、装置和服务器
CN110022378A (zh) 基于状态的vpn服务器智能分配方法
CN110781180A (zh) 一种数据筛选方法和数据筛选装置
CN111090401B (zh) 存储设备性能预测方法及装置
CN113553138A (zh) 一种云资源调度的方法及装置
CN112231481A (zh) 网址的分类方法、装置、计算机设备和存储介质
CN112925634A (zh) 异构资源调度方法和系统
CN113934512A (zh) 负载均衡实现方法、装置、设备及存储介质
CN117176728B (zh) 基于云边协同技术的工业物联网调度方法及调度系统
CN110177006B (zh) 基于接口预测模型的节点测试方法及装置
CN115037625B (zh) 网络切片处理方法、装置、电子设备及可读存储介质
Vega et al. Sharing hardware resources in heterogeneous computer-supported collaboration scenarios
CN112242951B (zh) 一种虚拟网映射方法和装置
WO2017213065A1 (ja) サービス管理システム、サービス管理方法、および、記録媒体
CN106888237B (zh) 一种数据调度方法及系统
CN114281549A (zh) 数据的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240614

Address after: Room 804, No. 56 Feicui Oasis Forest Peninsula Street, Xintang Town, Zengcheng District, Guangzhou City, Guangdong Province, 511300

Applicant after: Zhong Guobiao

Country or region after: China

Address before: Room 101102 Building D3, Bureau of Military Affairs, No. 10, Jiachuang Road, Tongzhou Park Optical Mechanical Electrical Integration Industrial Base, Zhongguancun Science Park, Tongzhou District, Beijing

Applicant before: Beijing Baixing Electronic System Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240911

Address after: 510000 Room 1905, No. 437 Dongfeng Middle Road, Yuexiu District, Guangzhou City, Guangdong Province (cannot be used as a factory building)

Patentee after: Guangdong Hongdaxin Electronic Technology Co.,Ltd.

Country or region after: China

Address before: Room 804, No. 56 Feicui Oasis Forest Peninsula Street, Xintang Town, Zengcheng District, Guangzhou City, Guangdong Province, 511300

Patentee before: Zhong Guobiao

Country or region before: China