CN116761018B - 一种基于云平台的实时渲染系统 - Google Patents

Abstract

本发明涉及视频渲染领域，尤其涉及一种基于云平台的实时渲染系统，本发明通过设置云端渲染模块、缓冲模块以及控制模块，通过对接入云端渲染模块的视频数据进行缓冲存储，通过控制单元将视频数据划分为若干视频分段基于图像参数计算动态表征系数，并对应划分视频分段的动态类型，基于各视频分段的动态类型以不同的筛选方式筛选视频分段中的视频帧，并调用云端渲染节点对剩余视频帧进行筛选，对处于第一动态类型的视频分段每隔筛选数量从视频分段中筛选出视频帧，对于第二动态类型的视频分段基于视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量对视频分段进行筛选，在保证视觉效果的前提下减小渲染数据量提高云端渲染的效率。

Description

一种基于云平台的实时渲染系统

技术领域

本发明涉及视频渲染领域，尤其涉及一种基于云平台的实时渲染系统。

背景技术

云端渲染是一种将计算任务和图形渲染操作移至云端服务器进行处理的技术，传统上，在进行图形渲染时，移动端需要具备一定的处理能力和显卡性能才能完成渲染任务，而云端渲染通过将渲染任务发送到云端服务器进行处理，可以将渲染负载从本地设备转移到云端服务器上，尤其是随着互联网技术的进步，云端渲染应用于各个领域，各类云端渲染系统应运而生。

例如，中国专利申请公开号：CN116382667A，公开了一种交互式云渲染三维可视化开发平台实现方法及系统，所述实现方法包括：客户端向服务器端发起加载场景的请求；所述服务器根据所述请求创建三维实时渲染场景；所述服务器根据所述客户端的交互指令和程序控制指令，在所述三维实时渲染场景中实时渲染三维图像，获得渲染三维图像；所述服务器将所述渲染三维图像进行编码，形成流视频，并发送至所述客户端；所述客户端加载所述流视频，并进行显示；所述客户端的用户人机接口交互指令和二次开发接口指令发送至所述服务器。服务器端三维渲染程序根据客户端发送的人机交互指令和程序接口控制指令进行相应的状态变化。

但是，现有技术中还存在以下问题，

现有的应用于视频交互通话的渲染系统，由于视频传输解码编码以及渲染均需要一定的时间，因此可能会存在一定的迟延，现有技术中，未考虑视频数据本身的内容，基于视频数据的图像参数适应性调整渲染方式，渲染效率不佳。

发明内容

为解决现有技术中，未考虑视频数据本身的内容，基于视频数据的图像参数适应性调整渲染方式，渲染效率不佳的问题，本发明提供一种基于云平台的实时渲染系统，其包括：

云端渲染模块，其包括若干用以提供渲染服务的云端渲染节点；

缓冲模块，其与所述云端渲染模块以及数据发送端连接，用以暂存数据发送端上传的视频数据；

控制模块，其与所述缓冲模块以及云端渲染模块连接，包括数据分析单元以及执行单元，

所述数据分析单元用以将所述缓冲模块中暂存的视频数据划分为若干视频分段，并基于各所述视频分段中视频帧的图像参数计算动态表征系数，基于所述动态表征系数划分所述视频分段的动态类型，所述动态类型包括第一动态类型以及第二动态类型；

所述执行单元用以基于各所述视频分段的动态类型以不同的筛选方式筛选所述视频分段中的视频帧，并调用云端渲染节点对剩余视频帧进行筛选，包括，

所述执行单元对第一动态类型的视频分段进行筛选，基于所述视频分段对应的动态表征系数调整筛选数量，每隔所述筛选数量从所述视频分段中筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染；

或/和，所述执行单元对第二动态类型的视频分段进行筛选，计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量，并基于所述差异参量判定是否筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染。

进一步地，所述数据分析单元基于各所述视频分段中视频帧的图像参数根据公式（1）计算动态表征系数，所述图像参数包括各视频帧中特征对象相对于前一视频帧的运动矢量；

，

公式（1）中，D表示动态表征系数，n表示所述视频分段中视频帧的数量，Li表示第i视频帧中特征对象相对于前一视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓。

进一步地，所述数据分析单元基于所述动态表征系数划分视频分段的动态类型，其中，

所述数据分析单元将视频分段对应的动态表征系数与预设的标准动态对比阈值进行对比，

在预设条件下，所述数据分析单元判定所述视频分段为第一动态类型；

在非预设条件下，所述数据分析单元判定所述视频分段为第二动态类型；

所述预设条件为所述动态表征系数小于所述标准动态对比阈值。

进一步地，所述执行单元基于所述视频分段对应的动态表征系数调整筛选数量，其中，

所述执行单元设置有若干筛选数量调整方式，各所述调整方式对所述筛选数量的调整量不同。

进一步地，所述执行单元根据公式（2）计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧对应的差异参量，

，

公式（2）中，E表示差异参量，Le1表示视频帧中特征对象相对于相邻的前视频帧的运动矢量，Le2表示视频帧中特征对象相对于后视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓。

进一步地，所述执行单元基于所述差异参量判定是否筛选出视频帧，其中，

所述执行单元将视频帧对应的差异参量与预设的差异参量对比阈值进行对比，

若所述差异参量小于预设的差异参量对比阈值，则所述执行单元判定筛选出所述视频帧。

进一步地，所述执行单元基于剩余视频帧的数量确定需调用云端渲染节点的数量，其中，

所述数据分析单元内设置有确定算法，所述确定算法所确定需调用云端渲染节点的数量与所述剩余视频帧成正相关关系。

进一步地，所述执行单元每隔所述筛选数量从所述视频分段中筛选出视频帧，其中，

所述执行单元筛选出所述视频分段的首个视频帧后开始计数，每隔所述筛选数量从所述视频分段中筛选出视频帧。

进一步地，还包括存储模块，所述存储模块与所述缓冲模块以及控制模块连接，用以记录所述缓冲模块所接收的视频数据，

以及，用以记录所述控制模块所筛选出视频帧对应的排序序号。

进一步地，所述数据分析单元将所述缓冲模块中暂存的视频数据划分为若干视频分段，其中，

所述数据分析单元所划分的各所述视频分段中所包含视频帧数量相同。

与现有技术相比，本发明通过设置云端渲染模块、缓冲模块以及控制模块，通过对接入云端渲染模块的视频数据进行缓冲存储，并通过控制单元将视频数据划分为若干视频分段基于图像参数计算动态表征系数，并对应划分视频分段的动态类型，基于各视频分段的动态类型以不同的筛选方式筛选视频分段中的视频帧，并调用云端渲染节点对剩余视频帧进行筛选，对处于第一动态类型的视频分段，每隔筛选数量从视频分段中筛选出视频帧，对于第二动态类型的视频分段，基于视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量对视频分段进行筛选，在保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。

尤其，本发明计算动态表征系数，并划分视频分段的动态类型，动态表征系数基于视频帧中特征对象的运动矢量所计算，表征了视频分段中图像的变化趋势，在实际情况中，对于动态表征系数较小的视频分段其一致性较高，对其抽帧后对视觉观感影响较小，而对于动态表征系数较大的视频分段，其一致性较差，对其抽帧后对观感的影响可能较大，因此，本发明对上述两种情况进行数据化区分，便于后续对不同动态类型的视频分段进行处理，在保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。

尤其，本发明对第一动态类型的视频分段进行筛选，每隔筛选数量从视频分段中筛选出视频帧，第一动态类型表征了视频分段一致性较高，因此适应性的筛选出部分视频帧，筛选数量基于视频分段对应的动态表征系数适应性所确定，进而，保证筛选的精确性，保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。

尤其，本发明对第二动态类型的视频分段进行筛选，计算视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量，基于差异参量判定是否筛选出视频帧，在实际情况中，第二动态类型的视频分段表征了一致性较差，但是其中仍然可能存在一些相似性较高的连续视频帧，因此，基于差异参量判定是否筛选出视频帧能够筛选出相似性较高的连续视频帧，进而，保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。

尤其，本发明基于筛选后剩余视频帧的数量确定需调用云端渲染节点的数量，合理利用云端渲染节点，为每个渲染节点配备一定量的渲染任务，同时调动渲染节点，提高云端渲染的效率。

附图说明

图1为发明实施例的基于云平台的实时渲染系统结构示意图；

图2为发明实施例的控制模块结构示意图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1以及图2所示，分别为本发明实施例的基于云平台的实时渲染系统结构示意图以及控制模块结构示意图，本发明的基于云平台的实时渲染系统包括：

云端渲染模块，其包括若干用以提供渲染服务的云端渲染节点；

缓冲模块，其与所述云端渲染模块以及数据发送端连接，用以暂存数据发送端上传的视频数据；

控制模块，其与所述缓冲模块以及云端渲染模块连接，包括数据分析单元以及执行单元，

所述数据分析单元用以将所述缓冲模块中暂存的视频数据划分为若干视频分段，并基于各所述视频分段中视频帧的图像参数计算动态表征系数，基于所述动态表征系数划分所述视频分段的动态类型，所述动态类型包括第一动态类型以及第二动态类型；

所述执行单元用以基于各所述视频分段的动态类型以不同的筛选方式筛选所述视频分段中的视频帧，并调用云端渲染节点对剩余视频帧进行筛选，包括，

所述执行单元对第一动态类型的视频分段进行筛选，基于所述视频分段对应的动态表征系数调整筛选数量，每隔所述筛选数量从所述视频分段中筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染；

或/和，所述执行单元对第二动态类型的视频分段进行筛选，计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量，并基于所述差异参量判定是否筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染。

具体而言，本发明对云端渲染模块的具体结构不做限定，其中的云端渲染节点可以是具备预定渲染功能的渲染组件，只需能完成预定的渲染任务即可，此为现有技术，不再赘述。

具体而言，本发明对缓冲模块的具体构造不做限定，缓冲模块可以是虚拟内存，当数据需要被处理或传输时，它们会被加载到虚拟内存中进行操作，缓冲区的大小可以根据需要进行调整，但受到可用虚拟内存的限制。

具体而言，本发明对控制模块的具体构造不做限定，控制模块可以由逻辑部件组成，逻辑部件包括现场可编程部件、微处理器或计算机。

具体而言，所述数据分析单元基于各所述视频分段中视频帧的图像参数根据公式（1）计算动态表征系数，所述图像参数包括各视频帧中特征对象相对于前一视频帧的运动矢量；

，

公式（1）中，D表示动态表征系数，n表示所述视频分段中视频帧的数量，Li表示第i视频帧中特征对象相对于前一视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓。

具体而言，本发明对识别视频帧中特征对象的方式不做具体限定，可预先训练能够识别图像中特征对象的图像处理模型，导入控制模块以实现对应的功能，此为现有技术，不再赘述。

具体而言，视频帧中特征对象相对于前一视频帧的运动矢量为视频帧中特征对象中心坐标与前一视频帧相同特征对象的中心坐标的连线所形成的矢量。

本发明计算动态表征系数，并划分视频分段的动态类型，动态表征系数基于视频帧中特征对象的运动矢量所计算，表征了视频分段中图像的变化趋势，在实际情况中，对于动态表征系数较小的视频分段其一致性较高，对其抽帧后对视觉观感影响较小，而对于动态表征系数较大的视频分段，其一致性较差，对其抽帧后对观感的影响可能较大，因此，本发明对上述两种情况进行数据化区分，便于后续对不同动态类型的视频分段进行处理，在保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。

具体而言，所述数据分析单元基于所述动态表征系数划分所述视频分段的动态类型，其中，

所述数据分析单元将所述视频分段对应的动态表征系数与预设的标准动态对比阈值进行对比，

在预设条件下，所述数据分析单元判定所述视频分段为第一动态类型；

在非预设条件下，所述数据分析单元判定所述视频分段为第二动态类型；

所述预设条件为所述动态表征系数小于所述标准动态对比阈值。

在本实施例中，标准动态对比阈值D0为预先测定所得，其中，采集若干视频样本，计算视频样本对应的动态表征系数，记为实验动态表征系数Dl，设定D0=Dl×g1，g1表示第一精度系数，0.6＜g1＜0.8。

具体而言，所述执行单元基于所述视频分段对应的动态表征系数调整筛选数量，其中，

所述执行单元设置有若干筛选数量调整方式，各所述调整方式对所述筛选数量的调整量不同。

在本实施例中，设置至少三种筛选数量调整方式，其中，

所述执行单元将所述动态表征系数D与预设的第一筛选动态表征系数D1以及第二筛选动态表征系数D2进行对比，

第一调整方式为，所述执行单元将所述筛选数量调整至第一筛选数量N1，N1=[N0×β1]；

第二调整方式为，所述执行单元将所述筛选数量调整至第二筛选数量N2，N2=[N0×β2]；

第三调整方式为，所述执行单元将所述筛选数量调整至第三筛选数量N3，N3=[N0×β3]；

其中，第一调整方式需满足D＞D2，第二调整方式需满足D1≤D≤D2，第三调整方式需满足D＜D1，D1表示第一筛选动态表征系数，D2表示第二筛选动态表征系数，D1以及D2基于D0所确定，在实施例中设定D1=D0×0.7，D2=D0×0.9。

N0表示基础筛选数量，3≤N0≤6，0.3＜β1＜0.4＜β2＜0.5＜β3＜0.6。

本发明对第一动态类型的视频分段进行筛选，每隔筛选数量从视频分段中筛选出视频帧，第一动态类型表征了视频分段一致性较高，因此适应性的筛选出部分视频帧，筛选数量基于视频分段对应的动态表征系数适应性所确定，进而，保证筛选的精确性，保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。

具体而言，所述执行单元根据公式（2）计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧对应的差异参量，

，

公式（2）中，E表示差异参量，Le1表示视频帧中特征对象相对于相邻的前视频帧的运动矢量，Le2表示视频帧中特征对象相对于后视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓。

具体而言，所述执行单元基于所述差异参量判定是否筛选出视频帧，其中，

所述执行单元将视频帧对应的差异参量与预设的差异参量对比阈值进行对比，

若所述差异参量小于预设的差异参量对比阈值，则所述执行单元判定筛选出所述视频帧。

具体而言，所述差异参量对比阈值E0基于标准动态对比阈值D0所确定，在本实施例中设定E0=D0×g2，g2表示第二精度系数，0.5＜g2＜0.6。

具体而言，所述执行单元基于剩余视频帧的数量确定需调用云端渲染节点的数量，其中，

所述数据分析单元内设置有确定算法，所述确定算法所确定需调用云端渲染节点的数量Ne与所述剩余视频帧成正相关关系。

在本实施例中，提供一种确定算法，设定Ne=Ns×T0/Te，

Ns表示剩余视频帧的数量，T0表示计划延时，Te表示单个渲染节点渲染单个视频帧所需的平均时间，计划延时基于具体应用环境所设定，计划延时表征了完成剩余视频帧的渲染所需的目标时间，在要求低延时传输时计划延时可适应性降低。

本发明对第二动态类型的视频分段进行筛选，计算视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量，基于差异参量判定是否筛选出视频帧，在实际情况中，第二动态类型的视频分段表征了一致性较差，但是其中仍然可能存在一些相似性较高的连续视频帧，因此，基于差异参量判定是否筛选出视频帧能够筛选出相似性较高的连续视频帧，进而，保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。

具体而言，所述执行单元每隔所述筛选数量从所述视频分段中筛选出视频帧，其中，

所述执行单元筛选出所述视频分段的首个视频帧后开始计数，每隔所述筛选数量从所述视频分段中筛选出视频帧。

具体而言，还包括存储模块，所述存储模块与所述缓冲模块以及控制模块连接，用以记录所述缓冲模块所接收的视频数据，

以及，用以记录所述控制模块所筛选出视频帧对应的排序序号，例如，所筛选出的视频帧在视频分段为第5个视频帧，则排序序号为5。

具体而言，所述数据分析单元将所述缓冲模块中暂存的视频数据划分为若干视频分段，其中，

所述数据分析单元所划分的各所述视频分段中所包含视频帧数量相同。

在本申请所提供的实施例中，应该理解到，所揭露的系统可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，模块以及单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于云平台的实时渲染系统，其特征在于，包括：

云端渲染模块，其包括若干用以提供渲染服务的云端渲染节点；

缓冲模块，其与所述云端渲染模块以及数据发送端连接，用以暂存数据发送端上传的视频数据；

控制模块，其与所述缓冲模块以及云端渲染模块连接，包括数据分析单元以及执行单元，

所述数据分析单元用以将所述缓冲模块中暂存的视频数据划分为若干视频分段，并基于各所述视频分段中视频帧的图像参数计算动态表征系数，基于所述动态表征系数划分所述视频分段的动态类型，所述动态类型包括第一动态类型以及第二动态类型；其中，所述数据分析单元基于各所述视频分段中视频帧的图像参数根据公式（1）计算所述动态表征系数，所述图像参数包括各视频帧中特征对象相对于前一视频帧的运动矢量；

，

公式（1）中，D表示动态表征系数，n表示所述视频分段中视频帧的数量，Li表示第i视频帧中特征对象相对于前一视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓；

所述执行单元用以基于各所述视频分段的动态类型以不同的筛选方式筛选所述视频分段中的视频帧，并调用云端渲染节点对剩余视频帧进行筛选，包括，

所述执行单元对第一动态类型的视频分段进行筛选，基于所述视频分段对应的动态表征系数调整筛选数量，每隔所述筛选数量从所述视频分段中筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染；

所述执行单元对第二动态类型的视频分段进行筛选，计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量，并基于所述差异参量判定是否筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染。

2.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述数据分析单元基于所述动态表征系数划分所述视频分段的动态类型，其中，

所述数据分析单元将所述视频分段对应的动态表征系数与预设的标准动态对比阈值进行对比，

在预设条件下，所述数据分析单元判定所述视频分段为第一动态类型；

在非预设条件下，所述数据分析单元判定所述视频分段为第二动态类型；

所述预设条件为所述动态表征系数小于所述标准动态对比阈值。

3.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述执行单元基于所述视频分段对应的动态表征系数调整筛选数量，其中，

所述执行单元设置有若干筛选数量调整方式，各所述调整方式对所述筛选数量的调整量不同。

4.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述执行单元根据公式（2）计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧对应的差异参量，

，

公式（2）中，E表示差异参量，Le1表示视频帧中特征对象相对于相邻的前视频帧的运动矢量，Le2表示视频帧中特征对象相对于后视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓。

5.根据权利要求4所述的基于云平台的实时渲染系统，其特征在于，所述执行单元基于所述差异参量判定是否筛选出视频帧，其中，

所述执行单元将视频帧对应的差异参量与预设的差异参量对比阈值进行对比，

若所述差异参量小于预设的差异参量对比阈值，则所述执行单元判定筛选出所述视频帧。

6.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述执行单元基于剩余视频帧的数量确定需调用云端渲染节点的数量，其中，

所述数据分析单元内设置有确定算法，所述确定算法所确定需调用云端渲染节点的数量与所述剩余视频帧成正相关关系。

7.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述执行单元每隔所述筛选数量从所述视频分段中筛选出视频帧，其中，

所述执行单元筛选出所述视频分段的首个视频帧后开始计数，每隔所述筛选数量从所述视频分段中筛选出视频帧。

8.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，还包括存储模块，所述存储模块与所述缓冲模块以及控制模块连接，用以记录所述缓冲模块所接收的视频数据，

以及，用以记录所述控制模块所筛选出视频帧对应的排序序号。

9.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述数据分析单元将所述缓冲模块中暂存的视频数据划分为若干视频分段，其中，

所述数据分析单元所划分的各所述视频分段中所包含视频帧数量相同。