CN113473147B - 一种视频码流的后处理方法、装置和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种视频码流的后处理方法、装置和计算机可读存储介质，该方法应用于视频后处理装置中的主设备，视频后处理装置还包括多个从设备，该方法包括：对视频码流进行拆分，得到多路子码流；筛选出第一从设备与第二从设备，第二从设备的解码能力小于/等于第一预设解码能力；将第二从设备的至少部分子码流发送至第一从设备，以使得第一从设备对至少部分子码流进行转码处理生成转码码流，转码码流包括基本层码流，基本层码流的帧率小于子码流的帧率；将基本层码流发送至第二从设备，以使得第二从设备对基本层码流进行智能分析生成分析结果；接收并存储转码码流与分析结果。通过上述方式，本申请能够降低解码资源不足的从设备的解码性能消耗。

Description

一种视频码流的后处理方法、装置和计算机可读存储介质

技术领域

本申请涉及智能监控技术领域，具体涉及一种视频码流的后处理方法、装置和计算机可读存储介质。

背景技术

目前智能存储产品包括主控与智能卡，智能卡通过高速串行计算机扩展总线标准(Peripheral Component Interconnect Express，PCIE)总线、网络或通用串行总线(Universal Serial Bus，USB)等媒介接收需要分析的视频码流，之后进行解码、分析以及上报智能分析结果至主控。各个智能卡相互独立，智能卡的性能受限于多种因素，智能卡的资源利用率不高。

发明内容

本申请提供一种视频码流的后处理方法、装置和计算机可读存储介质，能够降低解码资源不足的从设备的解码性能消耗。

为解决上述技术问题，本申请采用的技术方案是：提供一种视频码流的后处理方法，该方法应用于视频后处理装置中的主设备，视频后处理装置还包括与主设备连接的多个从设备，该方法包括：对获取到的视频码流进行拆分，得到多路子码流；从多个从设备中筛选出第一从设备与第二从设备，第二从设备的解码能力小于/等于第一预设解码能力；将第二从设备的至少部分子码流发送至第一从设备，以使得第一从设备对至少部分子码流进行转码处理生成转码码流，转码码流包括基本层码流，基本层码流的帧率小于至少部分子码流的帧率；将基本层码流发送至第二从设备，以使得第二从设备对基本层码流进行智能分析生成分析结果；接收并存储转码码流与分析结果。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种主设备，该主设备包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的视频码流的后处理方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种视频后处理装置，该视频后处理装置包括主设备以及与主设备连接的多个从设备，其中，主设备为上述技术方案中的主设备。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的视频码流的后处理方法。

通过上述方案，本申请的有益效果是：可对获取到的视频码流进行拆分，生成多路子码流；然后从所有从设备中筛选出第一从设备与第二从设备，第二从设备为解码能力不足的从设备；从发送给第二从设备进行智能分析处理的所有子码流中抽取一部分子码流送入第一从设备；第一从设备对主设备发送的子码流进行转码处理，生成转码码流，并将该转码码流中的基本层码流送入第二从设备进行智能分析处理；由于基本层码流的帧率相比原始第二从设备要处理的子码流的帧率低，降低了第二从设备的解码性能消耗，进而增加了第二从设备的解码路数，能够充分利用各个从设备的解码能力与智能分析处理的能力，提升从设备的资源利用率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的视频码流的后处理方法一实施例的流程示意图；

图2是本申请提供的视频码流的后处理方法另一实施例的流程示意图；

图3是本申请提供的主设备一实施例的结构示意图；

图4是本申请提供的视频后处理装置一实施例的结构示意图；

图5是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前所采用的智能存储产品具体存在如下问题：

1)对于目前的业务数据流来说，智能卡的性能主要有解码能力和智能能力，一般来说智能卡的解码能力是支持对16路1080P@30Fps的码流进行解码，智能能力为对8路码流进行人脸智能分析，在实际使用中可能出现如下状况：

a、智能能力已满但解码能力有过剩，例如：开启8路1080P的人脸智能分析，此时剩余8路1080P@30Fps的解码能力。

b、解码能力已满但智能能力过剩，例如：开启4路4K人脸检测，此时剩余4路人脸智能分析的能力。

2)目前在进行智能分析时并不是满帧率，对于人脸智能分析来说，实际只进行12帧/s的分析，对于30Fps的输入视频源来说，实际只有一半的视频帧送入智能分析。

3)智能卡有强大的视频编码性能，但在产品中未使用。

本申请要解决的问题是针对以上缺陷，利用智能卡过剩的编/解码性能，对获取到的码流先进行转码处理，转码后的码流中的基本层码流送入智能卡分析，达到提升智能卡的资源利用率，提升产品智能规格的目的。

请参阅图1，图1是本申请提供的视频码流的后处理方法一实施例的流程示意图，该方法应用于视频后处理装置中的主设备，视频后处理装置包括主设备以及与主设备连接的多个从设备，该方法包括：

步骤11：对获取到的视频码流进行拆分，得到多路子码流。

主设备从外部设备获取视频码流，主设备为具有控制功能的设备，该外部设备可以为前端设备、硬盘或其他端边设备，即该视频码流可以为前端设备发送的码流(记作前端码流)或从硬盘中读取的码流(记作硬盘码流)。

主设备在获取到视频码流后，可对该视频码流进行拆分，生成多路子码流，然后将这些子码流分发至相应的从设备进行解码和/或进行智能分析；比如：主设备可以针对客户配置，将对应的子码流下发到从设备进行智能分析处理。

步骤12：从多个从设备中筛选出第一从设备与第二从设备。

主设备在获取到视频码流后，为了确定将子码流分发至哪个从设备进行处理，可按照预先设定的规则从所有从设备中筛选出第一从设备与第二从设备；具体地，从设备可以为智能卡，第一从设备为当前解码能力有剩余的从设备，第二从设备为当前智能能力有剩余但解码能力不足的从设备，且第二从设备的解码能力小于/等于第一预设解码能力。

步骤13：将第二从设备的至少部分子码流发送至第一从设备，以使得第一从设备对至少部分子码流进行转码处理生成转码码流。

主设备将分发至第二从设备的子码流中的至少一部分发送给第一从设备，第一从设备对由主设备发送且与第二从设备对应的子码流进行转码处理，生成转码码流，并将该转码码流发送至第二从设备，该转码码流包括基本层(base)码流，基本层码流的帧率小于至少部分子码流的帧率，即在转码之后生成的码流相比原始的子码流的码率下降了。

例如，主设备将8路子码流分给第二从设备进行处理，但是第二从设备当前无法支持对8路子码流进行解码，其只能对4路子码流进行解码，则主设备将另外的4路子码流送给第一从设备转码，经过第一从设备的转码之后，第二从设备要处理的码流(即基本层码流)的帧率下降。

步骤14：将基本层码流发送至第二从设备，以使得第二从设备对基本层码流进行智能分析生成分析结果。

第二从设备对该转码码流进行智能分析处理，生成分析结果，并将该分析结果发送给主设备；具体地，智能分析包括人脸检测/识别、人员数量统计、人员行为识别、区域入侵检测、交通安全监控或防火防盗监控。

步骤15：接收并存储转码码流与分析结果。

主设备在接收到第一从设备上报的转码码流与第二从设备上报的分析结果后，对转码码流与分析结果进行存储，以便用于后续的分析与处理。

可以理解地，第一从设备的数量并不仅限于一个，可根据具体应用需要进行选择设置；比如，如果使用一个第一从设备对第二从设备的至少部分子码流进行转码处理无法满足要求，则再添加一个第一从设备，利用两个第一从设备对第二从设备的至少部分子码流进行转码处理。

本实施例提供了一种对视频码流进行后处理的方法，可对从前端、硬盘或其他端边设备获取到的视频码流进行拆分，生成多个子码流；然后从发送给第二从设备进行智能分析处理的子码流中抽取一部分子码流送入第一从设备，第一从设备对这些子码流进行转码处理，生成转码码流，并将该转码码流中的基本层码流送入第二从设备进行智能分析处理；由于基本层码流的帧率相比原始第二从设备要处理的子码流的帧率低，降低了第二从设备的解码性能消耗，而且能够充分利用第一从设备的智能能力与第二从设备的解码能力，有助于提升从设备的资源利用率，提升了产品智能规格。

请参阅图2，图2是本申请提供的视频码流的后处理方法另一实施例的流程示意图，该方法应用于视频后处理装置中的主设备，视频后处理装置包括主设备以及与主设备连接的多个从设备，该方法包括：

步骤21：对获取到的视频码流进行拆分，得到多路子码流。

步骤21与上述实施例中步骤11相同，在此不再赘述。

步骤22：将满足第一预设条件的从设备记作第一从设备，并将满足第二预设条件的从设备记作第二从设备。

第一预设条件包括从设备的当前智能能力小于/等于第一预设智能能力，从设备的当前解码能力大于/等于第二预设解码能力；第二预设条件包括从设备的当前智能能力大于/等于第二预设智能能力，从设备的当前解码能力小于/等于第一预设解码能力；具体地，第一预设智能能力小于第二预设智能能力，第一预设解码能力小于第二解码智能能力。

进一步地，第一预设智能能力为从设备的智能能力的最小值，第二预设智能能力为从设备的智能能力的最大值；第一预设解码能力为从设备的解码能力的最小值，第二预设解码能力为从设备的解码能力的最大值。例如，智能/解码能力的值为0-100，值越大，能力越强，则第一预设智能能力为0，第二预设智能能力为100，第一预设解码能力为0，第二预设解码能力为100。

在一具体的实施例中，主设备对多个从设备进行查找，以确定是否存在满足第一预设条件的从设备；若存在满足第一预设条件的从设备，则将满足第一预设条件的从设备记作第一从设备；对除第一从设备以外的剩余从设备进行查找，以确定是否存在满足第二预设条件的从设备；若存在满足第二预设条件的从设备，则将满足第二预设条件的从设备记作第二从设备。

在另一具体的实施例中，为了保证第一从设备与第二从设备的数量均为一个，可利用标识序列号进行选取，即从设备具有标识序列号，在存在至少两个满足第一预设条件的从设备时，选择标识序列号最小/最大的从设备作为第一从设备；在存在至少两个满足第二预设条件的从设备时，选择标识序列号最小/最大的从设备作为第二从设备。或者按照标识序列号的大小顺序进行查找，一旦判断出当前从设备满足第一预设条件，则停止找到，将当前从设备记作第一从设备；在判断出当前从设备满足第二预设条件时，便停止找到，将当前从设备记作第二从设备。

可以理解地，第一从设备与第二从设备的查找顺序并不仅限于上述的方案，还可以先查找第二从设备，在找到符合条件的第二从设备后，再找到第一从设备；或者还可以第一从设备与第二从设备同时查找，即对当前从设备来说，进行两次判断，判断其是否满足第一预设条件与第二预设条件。

步骤23：将第二从设备的至少部分子码流发送至第一从设备，以使得第一从设备对至少部分子码流进行转码处理生成时域可分级编码码流。

转码码流为时域可分级编码(Temporal Scalable Video Coding，SVC-T)码流，第一从设备用于在接收到子码流后，对子码流进行解码，得到解码子码流；对解码子码流进行编码处理，得到SVC-T码流；具体地，解码子码流可以为YUV码流，SVC-T码流包括基本层码流、增强层(enhance)码流以及瞬时解码刷新码流(Instantaneous Decoding Refresh，IDR)。

在一具体的实施例中，先计算分发至第二从设备的子码流的路数，记作第一数量路数；然后从第一数量路数的子码流中选出第二数量路数的子码流并发送至第一从设备；具体地，可以按照第一从设备当前支持的子码流的解码路数来确定第二数量路数，比如：第二数量路数等于第一从设备的剩余解码路数。

然后判断第一从设备的剩余解码路数是否小于第二数量路数，即确认第一从设备是否具有对第二数量路数的子码流进行解码的能力；若第一从设备的剩余解码路数小于第二数量路数，则表明当前第一从设备的剩余解码能力不足以对第二数量路数的子码流进行解码，此时利用其他从设备对第三数量路数的子码流进行转码处理，以生成相应的转码码流。

进一步地，第三数量路数等于第二数量路数与第一从设备的剩余解码路数的差值，其他从设备为除第一设备与第二从设备以外且满足第一预设条件的从设备。

步骤24：将基本层码流发送至第二从设备，以使得第二从设备对基本层码流进行智能分析生成分析结果。

步骤25：接收并存储转码码流与分析结果。

步骤24-步骤25与上述实施例中步骤14-步骤15相同，在此不再赘述。

在一具体的实施例中，以第一从设备与第二从设备的数量为一个为例进行说明。

(1)查询当前是否有智能能力已满但解码能力有剩余的从设备，若有，则记作第一从设备。

例如，第一从设备当前要对8路1080P的子码流进行智能分析，解码能力还剩余，能够对8个1080P@30fps的子码流进行解码。

(2)查询当前是否有解码能力已满但有智能能力剩余的从设备，若有，则记作第二从设备。

例如，第二从设备当前对4路4K的子码流进行智能分析，智能能力还剩余，能够对4路子码流进行智能分析。

(3)将第二从设备的4路子码流中的其中2路送入智能1做转码，转码后的码流发送到主设备。

第一从设备利用剩余的8个1080P@30fps的解码能力对2路4K的子码流进行解码，然后进行SVC-T编码，得到包含base层的码流(即基本层码流)和enhance层的码流(即增强层码流)。

(4)主设备将转码后生成的基本层码流发送到第二从设备做智能分析。

由于基本层码流的帧率只有原始子码流的1/2(即4K@15Fps)，人脸智能分析要求帧率大于12fps即可，因此该码流满足智能分析要求，解码性能消耗由原来的4*4K@30Fps优化为(2*4K@30fps+2*4K@15fps)，节约了1个4K@30Fps的解码性能。此时第二从设备的解码能力剩余4K@30Fps，智能能力剩余4路，可以再开启4路1080P@30fps的人脸智能分析。

与现有方案相比，本实施例所采用的方案打破各个从设备独立使用的方式，主设备自适应调度各个从设备冗余的性能(包括解码能力、编码能力以及智能能力)，对于大分辨率的码流，利用编解码资源有剩余的从设备(即第一从设备)转码成SVC-T码流，该SVC-T码流中的基本层码流的帧率较低，降低了解码资源不足的第二从设备的解码性能消耗，从而达到提升智能规格的目的。

请参阅图3，图3是本申请提供的主设备一实施例的结构示意图，主设备30包括互相连接的存储器31和处理器32，存储器31用于存储计算机程序，计算机程序在被处理器32执行时，用于实现上述实施例中的视频码流的后处理方法。

请参阅图4，图4是本申请提供的视频后处理装置一实施例的结构示意图，视频后处理装置40包括主设备41以及与主设备41连接的多个从设备42，其中，主设备41为上述实施例中的主设备。

本实施例提供了一种利用SVC-T码流的特性、结合智能产品形态的后智能优化方案，利用从设备的冗余编解码能力进行转码处理，由于只用SVC-T码流中的基本层码流做智能分析，可以优化主从通讯带宽，减少从设备的解码性能消耗，提高从设备的解码路数，最终达到采用与现有方案相同的硬件来提升产品智能规格的目的。

请参阅图5，图5是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质50用于存储计算机程序51，计算机程序51在被处理器执行时，用于实现上述实施例中的视频码流的后处理方法。

计算机可读存储介质50可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种视频码流的后处理方法，其特征在于，应用于视频后处理装置中的主设备，所述视频后处理装置还包括与所述主设备连接的多个从设备，所述方法包括：

对获取到的视频码流进行拆分，得到多路子码流；

从所述多个从设备中筛选出第一从设备与第二从设备，所述第二从设备的解码能力小于/等于第一预设解码能力，所述第一从设备为解码能力有剩余的从设备，所述第二从设备为智能能力有剩余但解码能力不足的从设备；

将所述第二从设备的至少部分子码流发送至所述第一从设备，以使得所述第一从设备对所述至少部分子码流进行转码处理生成转码码流，所述转码码流包括基本层码流，所述基本层码流的帧率小于所述至少部分子码流的帧率；

将所述基本层码流发送至所述第二从设备，以使得所述第二从设备对所述基本层码流进行智能分析生成分析结果；

接收并存储所述转码码流与所述分析结果。

2.根据权利要求1所述的视频码流的后处理方法，其特征在于，所述从所述多个从设备中筛选出第一从设备与第二从设备的步骤，包括：

将满足第一预设条件的从设备记作第一从设备，并将满足第二预设条件的从设备记作第二从设备；

其中，所述第一预设条件包括所述从设备的当前智能能力小于/等于第一预设智能能力，所述从设备的当前解码能力大于/等于第二预设解码能力；所述第二预设条件包括所述从设备的当前智能能力大于/等于第二预设智能能力，所述从设备的当前解码能力小于/等于所述第一预设解码能力。

3.根据权利要求2所述的视频码流的后处理方法，其特征在于，所述将满足第一预设条件的从设备记作第一从设备，并将满足第二预设条件的从设备记作第二从设备的步骤，包括：

对所述多个从设备进行查找，以确定是否存在满足所述第一预设条件的从设备；

若存在满足所述第一预设条件的从设备，则将满足所述第一预设条件的从设备记作所述第一从设备；

对除所述第一从设备以外的剩余从设备进行查找，以确定是否存在满足所述第二预设条件的从设备；

若存在满足所述第二预设条件的从设备，则将满足所述第二预设条件的从设备记作所述第二从设备。

4.根据权利要求2所述的视频码流的后处理方法，其特征在于，所述从设备具有标识序列号，所述方法还包括：

在存在至少两个满足所述第一预设条件的从设备时，选择标识序列号最小/最大的所述从设备作为所述第一从设备；

在存在至少两个满足所述第二预设条件的从设备时，选择标识序列号最小/最大的所述从设备作为所述第二从设备。

5.根据权利要求2所述的视频码流的后处理方法，其特征在于，

所述第一预设智能能力为所述从设备的智能能力的最小值，所述第二预设智能能力为所述从设备的智能能力的最大值；所述第一预设解码能力为所述从设备的解码能力的最小值，所述第二预设解码能力为所述从设备的解码能力的最大值。

6.根据权利要求1所述的视频码流的后处理方法，其特征在于，

所述转码码流为时域可分级编码码流，所述第一从设备用于在接收到所述子码流后，对所述子码流进行解码，得到解码子码流；对所述解码子码流进行编码处理，得到所述时域可分级编码码流。

7.根据权利要求1所述的视频码流的后处理方法，其特征在于，所述方法还包括：

计算分发至所述第二从设备的子码流的路数，记作第一数量路数；

从所述第一数量路数的子码流中选出第二数量路数的子码流并发送至所述第一从设备；

判断所述第一从设备的剩余解码路数是否小于所述第二数量路数；

若是，则利用其他从设备对第三数量路数的子码流进行转码处理，以生成相应的转码码流；

其中，所述第三数量路数等于所述第二数量路数与所述第一从设备的剩余解码路数的差值。

8.一种主设备，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-7中任一项所述的视频码流的后处理方法。

9.一种视频后处理装置，其特征在于，包括主设备以及与所述主设备连接的多个从设备，其中，所述主设备为权利要求8所述的主设备。

10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-7中任一项所述的视频码流的后处理方法。

Images