CN114125400A - 一种多通道视频分析方法及装置 - Google Patents

Abstract

本申请提供一种多通道视频分析方法及装置，该方法应用于后端设备，该方法包括：获取多个通道的视频流的动态检测结果，每个通道的视频流的动态检测结果中包括从所述通道的视频流中动态检测到的感兴趣区域的坐标信息以及所述感兴趣区域所在的画面帧的信息；针对所述多个通道中的每个通道的视频流，根据所述感兴趣区域的坐标信息和所述感兴趣区域所在的画面帧的信息，从所述视频流中的所述画面帧中截取包含所述感兴趣区域的画面作为局部画面帧；将从所述多个通道的视频流中截取到的包含所述感兴趣区域的局部画面帧进行视频拼接融合，得到待分析画面帧；将所述待分析画面帧输入动态调度的分析器中进行分析处理。

Description

一种多通道视频分析方法及装置

技术领域

本申请涉及视频智能分析技术领域，尤其涉及一种多通道视频分析方法及装置。

背景技术

在目前的视频监控领域，后端设备(如网络视频录像机)可以接入多个前端设备。后端设备通过划分不同的通道来接入不同前端设备的视频码流，然后分别对不同的通道进行不同类型的智能分析，产生智能分析结果并上报。目前对通道进行智能分析的分配方式，都是基于通道绑定的方式，即某一通道开启了某一种智能，则会始终占用该智能解码分析资源。并且，后端设备由于智能芯片规格的硬件限制，总的智能分析能力是有上限的，导致后端设备可以支持的智能分析的通道数较少。

目前亟需一种多通道视频分析方法，用以在后端设备总的智能分析能力不变的基础上支持更多通道的智能分析能力。

发明内容

本申请实施例提供一种多通道视频分析方法及装置，用以在后端设备总的智能分析能力不变的基础上支持更多通道的智能分析能力。

第一方面，本申请实施例提供一种多通道视频分析方法，该方法应用于后端设备，该方法包括：获取多个通道的视频流的动态检测结果，每个通道的视频流的动态检测结果中包括从所述通道的视频流中动态检测到的感兴趣区域的坐标信息以及所述感兴趣区域所在的画面帧的信息；针对所述多个通道中的每个通道的视频流，根据所述感兴趣区域的坐标信息和所述感兴趣区域所在的画面帧的信息，从所述视频流中的所述画面帧中截取包含所述感兴趣区域的画面作为局部画面帧；将从所述多个通道的视频流中截取到的包含所述感兴趣区域的局部画面帧进行视频拼接融合，得到待分析画面帧；将所述待分析画面帧输入动态调度的分析器中进行分析处理。

上述技术方案，一方面优化了视频拼接融合策略，通过对动态检测到的感兴趣区域所在的局部画面帧进行视频拼接融合得到待分析画面帧，可以以更小的粒度来复用后端设备的智能分析能力，从而可以支持前端的更多视频通道。另一方面，可以为待分析画面帧动态调度所用的分析器，从而充分利用后端设备的智能分析能力。

在一种可能的设计中，针对所述多个通道中的每个通道，获取所述通道的视频流的动态检测结果，包括：从所述通道连接的前端设备处接收所述通道的视频流的动态检测结果；或者，对接收到的所述通道的视频流的辅码流进行动态检测，得到所述动态检测结果。

在一种可能的设计中，获取所述通道的视频流的动态检测结果，还包括：若所述通道连接的前端设备不支持识别所述感兴趣区域的目标类型，则对所述通道的视频流的辅码流进行动态检测。

上述技术方案，可以基于前端设备不同的动态检测能力，执行不同的动态检测策略。例如，若前端设备能够检测出感兴趣区域的目标类型，则可以在前端设备中对视频流的主码流进行动态检测。在前端设备中将感兴趣区域检测出来，可以节省后端设备的智能分析能力，可选的，动态检测结果中可以包括感兴趣区域的目标类型，方便后续后端设备根据目标类型有针对性的对视频流进行进一步检测处理；由于主码流分辨率较高，对主码流进行动态检测，能够使动态检测结果更准确。若前端设备不能检测出感兴趣区域的目标类型，则在后端设备对视频流的辅码流进行动态检测。视频流的辅码流相对于主码流分辨率较低，在后端设备对视频流的辅码流进行动态检测可以避免耗用后端设备较多的智能分析能力。

在一种可能的设计中，动态检测结果中包括的所述感兴趣区域的坐标信息，为在所述通道的视频流的主码流的坐标系下的坐标信息；所述方法还包括：在对所述通道的视频流的辅码流进行动态检测得到所述感兴趣区域后，根据所述感兴趣区域在辅码流的坐标系下的坐标信息，以及所述通道的视频流的主码流的坐标系与辅码流的坐标系之间的转换关系，确定所述感兴趣区域在主码流的坐标系下的坐标信息。

上述技术方案，将感兴趣区域在辅码流的坐标系下的坐标信息转换为在主码流的坐标系下的坐标信息，将坐标信息进行统一，便于后续将检测结果的坐标信息还原回主码流的坐标系下的坐标信息，以对分析结果进行上报。

在一种可能的设计中所述动态检测结果中还包括每个感兴趣区域对应的目标类型；所述将从所述多个通道的视频流中截取到的包含所述感兴趣区域的局部画面帧进行视频拼接融合，得到待分析画面帧，包括：将所述多个通道的视频流中对应相同目标类型的所述感兴趣区域的局部画面帧拼接融合成一路或多路待分析视频流；将所述待分析视频流输入到所述目标类型对应的分析器中进行分析处理。

上述技术方案，可以根据待分析视频中感兴趣区域的目标类型，在分析器中有针对性的开启对应目标类型的智能分析能力，如此，可以减少智能分析算法内部模型匹配、识别、分析的范围及算力，提高后端设备的智能分析效率。

在一种可能的设计中，所述后端设备中包括多个目标区域缓存列表，每个目标区域缓存列表对应一个目标类型，所述目标区域缓存列表用于存储包含对应目标类型的所述感兴趣区域的局部画面帧。

上述技术方案，设置目标区域缓存列表，可以在分析器已满的情况下，将前端设备的检测出的视频帧缓存到目标区域缓存列表中，以便于分析器的及时动态调度。并且设置多个不同目标类型的目标缓存列表，也提高了后续将目标类型相同的感兴趣区域的局部画面帧拼接融合的效率。

在一种可能的设计中，所述动态检测结果中还包括所述通道的视频流触发动态检测的频率信息；根据所述多个通道的视频流触发动态检测的频率信息，确定所述分析视频流的帧率。

上述技术方案，根据视频流触发动态检测的频率信息，确定分析视频流的帧率，如此，有助于兼顾智能分析的效果，并避免智能分析的遗漏问题。

在一种可能的设计中，将所述待分析画面帧分析处理得到的分析结果的坐标信息，根据所述第一通道的视频流的主码流的坐标系与所述分析视频流的坐标系之间的转换关系，确定所述分析结果在主码流的坐标系下的坐标信息。

第二方面，本申请实施例提供一种多通道视频分析装置，包括：

获取模块，用于获取多个通道的视频流的动态检测结果，每个通道的视频流的动态检测结果中包括该从所述通道的视频流中动态检测到的一个或多个感兴趣区域的坐标信息以及所述感兴趣区域所在的画面帧的信息；

处理模块，用于针对所述多个通道中的每个通道的视频流，根据所述感兴趣区域的坐标信息和所述感兴趣区域所在的画面帧的信息，从所述视频流中的所述画面帧中截取包含所述感兴趣区域的画面作为局部画面帧；根据所述感兴趣区域的坐标信息，将从所述多个通道的视频流中动态检测的截取到的包含所述感兴趣区域的局部画面帧进行视频拼接融合，得到待分析画面帧；将所述待分析画面帧输入动态调度的分析器中进行分析处理。

在一种可能的设计中，所述处理模块具体用于：从所述通道连接的前端设备处接收所述通道的视频流的动态检测结果；或者，对接收到的所述通道的视频流的辅码流进行动态检测，得到所述动态检测结果。在一种可能的设计中，所述装置还包括检测模块，用于若所述通道连接的前端设备不支持识别所述感兴趣区域的目标类型，则对所述通道的视频流的辅码流进行动态检测。

在一种可能的设计中，所述动态检测结果中包括的所述感兴趣区域的坐标信息，为在所述通道的视频流的主码流的坐标系下的坐标信息；所述处理模块具体用于：在对所述通道的视频流的辅码流进行动态检测得到所述感兴趣区域后，根据所述感兴趣区域在辅码流的坐标系下的坐标信息，以及所述通道的视频流的主码流的坐标系与辅码流的坐标系之间的转换关系，确定所述感兴趣区域在主码流的坐标系下的坐标信息。

在一种可能的设计中，所述动态检测结果中还包括所述感兴趣区域对应的目标类型；所述处理模块具体用于：将所述多个通道的视频流中对应相同目标类型的所述感兴趣区域的局部画面帧拼接融合成一路或多路待分析视频流；将所述待分析视频流输入到所述目标类型对应的分析器中进行分析处理。

在一种可能的设计中，所述后端设备中包括多个目标区域缓存列表，每个目标区域缓存列表对应一个目标类型，所述目标区域缓存列表用于存储包含对应目标类型的所述感兴趣区域的局部画面帧。

在一种可能的设计中，所述动态检测结果中还包括所述通道的视频流触发动态检测的频率信息；所述处理模块具体用于：根据所述多个通道的视频流触发动态检测的频率信息，确定所述分析视频流的帧率。

在一种可能的设计中，所示处理模块具体用于：将所述待分析画面帧分析处理得到的分析结果的坐标信息，根据所述第一通道的视频流的主码流的坐标系与所述分析视频流的坐标系之间的转换关系，确定所述分析结果在主码流的坐标系下的坐标信息。

第三方面，本申请实施例还提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如第一方面的各种可能的设计中所述的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，其中存储有计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得上述第一方面或第一方面的任一种可能的设计中所述的方法实现。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例适用的一种视频监控系统的示意图；

图2为现有技术中后端设备的智能分析方式的示意图；

图3为本申请实施例提供的一种多通道视频分析方法的流程的示意图；

图4为本申请实施例提供的一种多通道视频分析方法一个具体示例；

图5为本申请实施例提供的一种多通道视频分析方法另一个具体示例；

图6为本申请实施例提供的一种多通道视频分析方法的一个具体工作流程的示意图；

图7为本申请实施例提供的一种多通道视频分析方法的另一个具体工作流程的示意图；

图8为本申请实施例提供的一种多通道视频分析装置的示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请的实施例中，多个是指两个或两个以上。“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

为了更好的理解本申请的实施例，下面对现有技术和本申请所涉及的名词及功能进行解释。

如图1所示，在目前的视频监控领域，如网络视频录像机(network videorecorder，NVR)、硬盘录像机(digital video recorder，DVR)等后端设备，可以接入如网络摄像机(IP Camera，IPC)、球机等多个前端设备。如图2所示，后端设备可以通过划分不同的通道来接收不同前端设备的视频流，然后分别对不同通道中的视频流进行不同类型的智能分析，将产生的智能分析结果上报。目前对通道进行智能分析的分配方式，都是基于通道绑定的方式，即某一通道开启了某一种智能，则会始终占用这一通道的智能解码分析资源。并且，由于智能芯片规格的限制，每一台后端设备总的智能分析能力是有上限的，这样导致后端设备可以支持的智能分析的通道数较少。

前端设备中可以进行的动态检测包括两种，即普通动检和智能动检。二者都是基于将视频划分不同的区块，当某一区块像素点差异达到某一阀值则触发动检事件，但是区别在于，智能动检带有目标性，在原普通动检的基础上进行一些低功耗算力的算法分析，可以识别出人或车等相关目标，提高了在实际场景中的应用价值。目前，大部分前端设备都支持普通动检，而智能动检对设备的智能能力有一定要求，只有部分前端设备才支持。

前端设备的视频码流分为主码流和辅码流，主码流相对于辅码流分辨率较大，帧率较高，适合进行目标性精确的智能分析。辅码流相对于主码流分辨率较小，占用带宽小，适用于图像在低带宽网络上传输。

通常，后端设备的智能分析的能力耗用与前端主码流的分辨率和帧率等参数直接相关。例如，假设后端设备最大支持4路1080P(1920×1080)的人脸智能分析，若通道接入一个主码流为4096X2160的前端设备，则实际后端设备只能开启1路人脸智能分析。那么在后端设备接入的多个通道的主码流分辨率都很大的情况下，若直接在后端设备对主码流进行分析，对同时分析的视频路数有一定限制。

基于上述内容，本申请提出一种多通道视频分析方法，用以在后端设备总的智能分析能力不变的基础上支持更多通道的智能分析能力。

图3示例性的示出了本申请实施例提供的一种多通道视频分析方法，该方法应用于后端设备。如图3所示，该方法包括以下步骤：

步骤301、后端设备获取多个通道的视频流的动态检测结果，每个通道的视频流的动态检测结果中包括从通道的视频流中动态检测到的感兴趣区域的坐标信息以及所述感兴趣区域所在的画面帧的信息。

本申请中，后端设备可以以通道为单位接收多个不同前端设备的视频流，所述视频流可包括主码流和辅码流。

以多个通道中的第一通道为例，后端设备获取第一通道的视频流的动态检测结果可以为：从第一通道连接的前端设备处接收第一通道的视频流的动态检测结果，或者对接收到的第一通道的视频流的辅码流进行动态检测，得到动态检测结果。所述动态检测结果中包括动态检测的一个或多个感兴趣区域的坐标信息以及感兴趣区域所在的画面帧的信息，可选的，还包括每个感兴趣区域对应的目标类型。

具体的，不同前端设备支持的动态检测的能力可能不同，例如有的前端设备可以支持智能动检，有的前端设备仅能支持普通动检。支持智能动检的前端设备可以检测出感兴趣区域的目标类型,例如可以识别出感兴趣区域中是目标人物还是目标车辆或者是其它目标；而不支持智能动检仅支持普通动检的前端设备只能检测出感兴趣区域，无法检测出感兴趣区域的目标类型，即无法识别出感兴趣区域中是目标人物还是目标车辆，只能够得知该感兴趣区域触发了动态检测事件，还需要对该感兴趣区域做进一步分析处理。

进一步地，根据后端设备所使用智能芯片的差异，可以将后端设备划分为使用高端智能芯片和使用低端智能芯片。使用高端智能芯片的后端设备可以支持对前端视频流进行智能动检，而使用低端智能芯片的后端设备由于智能检测能力有限，不支持对前端视频流进行智能动检。

示例性地，若第一通道连接的前端设备支持识别动态检测的感兴趣区域的目标类型，则后端设备可以从第一通道连接的前端设备处接收第一通道的视频流的动态检测结果，该第一通道的视频流的动态检测结果中包括一个或多个感兴趣区域的坐标信息和每个感兴趣区域对应的目标类型。

若第一通道连接的前端设备不支持识别动态检测的感兴趣区域的目标类型，且后端设备使用高端智能芯片，则后端设备可以对第一通道的视频流的辅码流进行动态检测。其中，辅码流是第一通道连接的前端设备将视频流编码为辅码流传输给后端设备的。选择辅码流进行动态检测是因为，通常主码流的分辨率较大，后端设备对主码流进行动态检测会耗用较大的智能分析能力，而辅码流的分辨率相对较小，便于后端设备进行检测处理。

若第一通道连接的前端设备不支持识别动态检测的感兴趣区域的目标类型，且后端设备使用低端智能芯片，则后端设备从第一通道连接的前端设备处接收第一通道的视频流的动态检测结果，该第一通道的视频流的动态检测结果中不包括每个感兴趣区域对应的目标类型。

需要说明的是，动态检测结果中感兴趣区域的坐标信息，可以是指感兴趣区域在第一通道的视频流的主码流的坐标系下的坐标信息。如此，若后端设备对第一通道的视频流的辅码流进行动态检测，那么在得到感兴趣区域后，后端设备还可以根据感兴趣区域在辅码流的坐标系下的坐标信息，以及第一通道的视频流的主码流的坐标系与辅码流的坐标系之间的转换关系，确定感兴趣区域在主码流的坐标系下的坐标信息，以便提取主码流中的画面帧进行后续的分析处理。

下面结合图4举例说明上述步骤。通道1连接的前端设备不支持识别动态检测的感兴趣区域的目标类型，后端设备可以对通道1的视频流的辅码流进行动态检测，得到的动态检测结果包括感兴趣区域A和感兴趣区域B。其中，感兴趣区域A和感兴趣区域B在辅码流的坐标系下的坐标分别为A₀(m1,n1,m2,n2)、B₀(m3,n3,m4,n4)。需要说明的是，这里选取感兴趣区域的两个对角顶点坐标来表示感兴趣区域的范围，或者可以使用其他方式来表示感兴趣区域的范围，本申请对此不作具体限定。

根据通道1的视频流的主码流的坐标系与辅码流的坐标系之间的转换关系，将A₀(m1,n1,m2,n2)、B₀(m3,n3,m4,n4)转换为主码流的坐标系下的坐标A(x1,y1,x2,y2)、B(x3,y3,x4,y4)。具体转换过程如下：

A(x1,y1,x2,y2)＝(m1*W1/w1,n1*H1/h1,m2*W1/w1,n2*H1/h1)

B(x3,y3,x24,y4)＝(m3*W1/w1,n3*H1/h1,m4*W1/w1,n4*H1/h1)

其中，通道1的视频流的主码流的分辨率为W1*H1，辅码流的分辨率为w1*h1。

通道2连接的前端设备支持识别动态检测的感兴趣区域的目标类型，则后端设备可以从通道2连接的前端设备处接收第一通道的视频流的动态检测结果，得到的动态检测结果包括感兴趣区域C和感兴趣区域D。其中，感兴趣区域C和感兴趣区域D在主码流的坐标系下的坐标分别为C(x5,y5,x6,y6)、D(x7,y7,x8,y8)。

步骤302、后端设备针对多个通道中的每个通道的视频流，根据感兴趣区域的坐标信息和感兴趣区域所在的画面帧的信息，从视频流中的所述画面帧中截取包含感兴趣区域的画面作为局部画面帧。

步骤303、后端设备将从多个通道的视频流中截取到的包含感兴趣区域的局部画面帧进行视频拼接融合，得到待分析画面帧。

本申请中，当后端设备获取到动态检测结果后，后端设备可将检测到的感兴趣的区域从视频流的画面帧中裁剪出来，得到感兴趣区域的局部画面帧。若每个通道的视频流的动态检测结果中还包括每个感兴趣区域对应的目标类型，则后端设备可将多个通道的视频流中对应的目标类型相同的感兴趣区域的局部画面帧拼接融合成多个待分析画面帧，多个待分析画面帧形成一路或多路待分析视频流。

需要说明的是，将包含感兴趣区域的局部画面帧进行视拼接融合可以包括，将多个感兴趣区域的局部画面帧拼接为一个待分析画面帧，再将多个待分析画面帧组成待分析视频流。需要说明的是，一个待分析画面帧由几个感兴趣区域的局部画面拼接而成，本申请不做具体限定，可以依据截取的感兴趣区域的局部画面帧的分辨率或者分析器的分析能力做具体调整。在对感兴趣区域的局部画面帧拼接融合的时候，可以适当地先对局部画面帧进行压缩，以更好的适应不同通道的局部画面帧分辨率不同的问题。并且一路或多路待分析视频流是由几路局部画面帧拼接融合的路数不固定，可以根据局部画面帧的分辨率或者根据分析器的分析能力不同进行适应性调整。

可选的，后端设备中包括多个不同目标类型的目标区域缓存列表，每个目标区域缓存列表对应一个目标类型，可以用于存储包含对应目标类型的感兴趣区域的局部画面帧。将多个通道的视频流中动态检测的感兴趣区域的局部画面帧，以及携带动态检测结果的智能帧存储到对应目标类型的目标区域缓存列表中。如此，后端设备可将目标区域缓存列表中存储的该目标类型的一个或多个感兴趣区域的局部画面帧拼接融合成一路或多路待分析视频流。在一个示例中，若后端设备中仅有目标类型为人的目标区域缓存列表中存储有目标类型为人的感兴趣区域的局部画面帧，那么可以将其拼接融合成一路待分析视频流。在另一示例中，若后端设备中目标类型为人的目标区域缓存列表中存储有目标类型为人的感兴趣区域的局部画面帧，以及目标类型为车的目标区域缓存列表中存储有目标类型为车的感兴趣区域的局部画面帧，那么可以将其分别拼接融合成一路待分析视频流，得到两路待分析视频流。在又一示例中，若后端设备中目标类型为人的目标区域缓存列表中存储的目标类型为人的感兴趣区域的局部画面帧，拼接融合成的一路待分析视频流的尺寸较大，则可以将其拼接融合成两路或多路待分析视频流。需要说明的是，对于不能识别感兴趣区域目标类型的情况，可直接将感兴趣区域存储到不划分目标类型的目标缓存列表中。

可选的，在将从多个通道的视频流中截取的包含感兴趣区域的局部画面帧进行视频拼接融合，得到待分析视频流之后，后端设备还可以根据感兴趣区域在主码流的坐标系下的坐标信息，以及第一通道的视频流的主码流的坐标系与拼接融合后的待分析视频流的坐标系之间的转换关系，确定感兴趣区域在拼接融合后的待分析视频流的坐标系下的坐标信息。后端设备将该待分析视频流包括的各通道的每一组感兴趣区域在该拼接融合后的待分析视频流的坐标系下的坐标信息，以及对应的感兴趣区域在原始通道的主码流的坐标系下的坐标信息打包整合，然后插入到该待析视频流的智能帧中。以便后续对智能分析结果进行坐标信息的还原。

结合图4举例说明上述步骤。后端设备对通道1的视频流的辅码流进行动态检测，得到的动态检测结果包括感兴趣区域A和感兴趣区域B，并且检测出感兴趣区域A的目标类型为人、感兴趣区域B的目标类型为车。前端设备对通道2的视频流的主码流进行动态检测，得到的动态检测结果包括感兴趣区域C和感兴趣区域D，并且检测出感兴趣区域C的目标类型为车、感兴趣区域D的目标类型为人。后端设备获取到上述动态检测结果后，可将目标类型为人的感兴趣区域A和感兴趣区域D拼接融合为一路目标类型为人的待分析视频流，将目标类型为人的感兴趣区域B和感兴趣区域C拼接融合为一路目标类型为车的待分析视频流；进而，后端设备可依次计算拼接融合后的目标类型为人的待分析视频流和目标类型为车的待分析视频流中感兴趣区域的坐标信息，将每一组感兴趣区域在拼接融合后的待分析视频流坐标系下的坐标信息，以及对应的感兴趣区域在原始通道的主码流的坐标系下的坐标信息打包整合，然后插入该待分析视频流的智能帧中。具体的，智能帧中可以记录感兴趣区域的通道信息、感兴趣区域在原始视频流的主码流中的坐标信息，感兴趣区域在融合后的待分析视频中的坐标信息。

步骤304、后端设备将所述待分析画面帧输入动态调度的分析器中进行分析处理。

本申请中，后端设备可以同时开启多个分析器进行智能分析处理，并将得到的多个待分析画面帧组成的待分析视频流动态分配到其中的某个分析器中进行处理。例如，若存在为空的分析器，则后端设备可从目标区域缓存列表中调取一部分动态检测的感兴趣区域的局部画面帧进行拼接融合，将拼接融合后的待分析视频流输入到其中一个分析器中进行分析；若所有的分析器都已满，则后端设备可暂停从目标缓存列表中调取动态检测的感兴趣区域的局部画面帧进行拼接融合。

若拼接融合后的分析视频流还包括感兴趣区域的目标类型，后端设备可以根据待分析视频中感兴趣区域的目标类型，在分析器中有针对性的开启对应目标类型的智能分析能力。例如，若目标类型为人，则分析器可以对人的属性进行细化分析，如检测目标人物的性别、是否佩戴口罩、是否佩戴眼镜等属性信息；若目标类型为车，则分析器可以对车的属性进行细化分析，如检测目标车辆的颜色、车牌号、车标等属性信息。需要说明的是，每个分析器可以分析的目标类型不固定，可以依据待分析的分析视频流的类型不同开启不同类型的智能分析能力。

可选的，每个通道的视频流的动态检测结果中还包括该通道的视频流触发动态检测的频率信息。后端设备根据多个通道的视频流触发动态检测的频率信息，确定分析视频流的帧率。具体的，对于各通道之间的动态检测频率值相差很大的情况，即有些通道动态检测触发地很频繁，而有些通道只是偶尔触发几次，那么可以将触发动态检测频率很大的通道融合成帧率较大的1路或多路待分析视频流，输入到一路或多路智能分析帧率较大的分析器中进行处理，将触发动态检测频率很小的通道融合成帧率较小的待分析视频流，输入到智能分析帧率较小的分析器中进行分析。

本申请实施例中，后端设备将待分析视频流输入动态调度的分析器中进行分析处理之后，还需将待分析视频流分析处理得到的分析结果的坐标信息，根据第一通道的视频流的主码流的坐标系与所述分析视频流的坐标系之间的转换关系，确定所述分析结果在主码流的坐标系下的坐标信息。

具体的，在分析器对待分析视频流分析处理完成后，得到的分析结果对应的区域可能是感兴趣区域局部画面中的部分区域，例如，在分析器中对目标人物是否佩戴口罩进行细化分析，得到分析结果为某一目标人物没有佩戴口罩，那么得到的分析结果对应的区域可能是该目标人物的头部区域。因此，还需进一步地将分析结果中的部分区域还原为原通道的主码流的坐标系下的坐标信息，以获知分析结果对应的区域在原通道的主码流中的具体位置。

具体的转换过程为：后端设备依次将分析结果中的部分区域坐标信息与帧内每个感兴趣区域的局部画面的坐标信息进行比较，若存在某个感兴趣区域局部画面的坐标信息包含该部分区域坐标信息，则认为该分析结果为该感兴趣区域局部画面的智能分析结果，再结合智能帧中记录的该感兴趣区域局部画面的原视频流的主码流的坐标信息，将分析结果的部分区域还原为原视频流的主码流坐标系下的坐标信息。

下面结合图5举例说明上述步骤。

将上述图4中，拼接融合后的目标类型为人的待分析视频流输入到目标类型为人的分析器中进一步分析处理，例如可以对目标类型为人的待分析视频流进行进一步的人脸检测，如检测性别、是否佩戴口罩、是否佩戴眼镜等属性。

如图5所示，分析结果中的部分区域坐标M(p1,q1,p2,q2)表示感兴趣区域局部画面A的头部区域，依次将分析结果中的部分区域坐标M(p1,q1,p2,q2)与帧内融合后的每个感兴趣区域局部画面的坐标信息进行比较，若存在感兴趣区域局部画面的坐标A₁(xx1,yy1,xx2,yy2)的坐标信息区域包含坐标M(p1,q1,p2,q2)的坐标信息区域，则认为是该感兴趣区域局部画面的智能分析结果，再结合智能帧中记录的该感兴趣区域局部画面的原视频流的主码流的坐标A(x1,y1,x2,y2)，将分析结果的部分区域坐标信息还原为原视频流的主码流坐标系下的坐标O(xxx1,yyy1,xxx2,yyy2)，转换关系如下:

O(xxx1,yyy1,xxx2,yyy2)＝(p1*x1/xx1,q1*y1/yy1,p2*x2/xx2,q2*y2/yy2)同样的，Q(xxx7,yyy7,xxx8,yyy8)＝(p3*x7/xx7,q3*y7/yy7,p4*x8/xx8,q4*y8/yy8)。

最后，将还原后坐标信息和智能分析结果打包，上报到帧内对应记录的通道上。为了更清楚地理解本申请实施例，下面结合图6对本申请技术方案中的具体工作流程进行详细描述。图6适用于前端设备支持智能动检，或者后端设备支持智能动检的情况。

具体步骤如下：

步骤601：判断前端设备是否支持智能动检。

若某一通道的前端设备支持智能动检，则从该通道前端设备处接收视频流的动态检测结果，并根据动态检测结果中感兴趣区域的目标类型，将该通道的视频流中动态检测的感兴趣区域的局部画面帧，以及携带动态检测结果的智能帧存储到对应目标类型的目标区域缓存列表中；若不支持，则执行步骤602。

步骤602:后端设备对该通道的视频流的辅码流进行动态检测。

根据动态检测结果中感兴趣区域的目标类型，将该通道的视频流中动态检测的感兴趣区域的局部画面帧，以及携带动态检测结果的智能帧存储到对应目标类型的目标区域缓存列表中。

步骤603：将多个通道的视频流中对应的目标类型相同的感兴趣区域的局部画面帧拼接融合成多个待分析画面帧，多个待分析画面帧形成一路或多路待分析视频流。

步骤604：将拼接融合后的待分析视频流输入分析器中进行分析处理。

步骤605：将分析器的分析结果中的坐标信息转换为原视频流的主码流坐标系下的坐标信息。

步骤606：上报事件的分析结果。

下面结合图7对本申请技术方案中的具体工作流程进行详细描述。图7适用于前端设备不支持智能动检仅支持普通动检，且后端设备不支持智能动检的情况。

步骤701：从前端设备处接收视频流的动态检测结果，将视频流中动态检测的感兴趣区域的局部画面帧，以及携带动态检测结果的智能帧存储到目标区域缓存列表中。

步骤702：将多个通道的视频流中感兴趣区域的局部画面帧拼接融合成多个待分析画面帧，多个待分析画面帧形成一路或多路待分析视频流。

步骤703：将拼接融合后的待分析视频流输入分析器中进行分析处理。

步骤704：将分析器的分析结果中的坐标信息转换为原视频流的主码流坐标系下的坐标信息。

步骤705：上报事件的分析结果。

本申请实施例提供的一种多通道视频分析方法，先将多个通道的视频流中动态检测的感兴趣区域的局部画面帧进行视频拼接融合，得到待分析画面帧，再把待分析画面帧输入到分析器中进行分析处理。由于待分析画面帧是对感兴趣的局部画面帧进行视频拼接融合后得到的，优化了视频拼接融合策略，可以以更小的粒度来复用后端设备的智能分析能力。并且由待分析画面帧组成的待分析视频流是动态分配到分析器中的，如此，可以对后端设备的智能分析能力进行及时调整。

基于相同的技术构思，图8示例性地示出了本申请实施例提供一种多通道视频分析装置，该装置用于实现上述实施例中的多通道视频分析方法。

如图8所示，该装置800包括：

获取模块801，用于获取多个通道的视频流的动态检测结果，每个通道的视频流的动态检测结果中包括该从所述通道的视频流中动态检测到的一个或多个感兴趣区域的坐标信息以及所述感兴趣区域所在的画面帧的信息；

处理模块802，用于针对所述多个通道中的每个通道的视频流，根据所述感兴趣区域的坐标信息和所述感兴趣区域所在的画面帧的信息，从所述视频流中的所述画面帧中截取包含所述感兴趣区域的画面作为局部画面帧；根据所述感兴趣区域的坐标信息，将从所述多个通道的视频流中动态检测的截取到的包含所述感兴趣区域的局部画面帧进行视频拼接融合，得到待分析画面帧；将所述待分析画面帧输入动态调度的分析器中进行分析处理。

在一种可能的设计中，所述处理模块802具体用于：从所述通道连接的前端设备处接收所述通道的视频流的动态检测结果；或者，对接收到的所述通道的视频流的辅码流进行动态检测，得到所述动态检测结果。

在一种可能的设计中，所述装置还包括检测模块803，用于若所述通道连接的前端设备不支持识别所述感兴趣区域的目标类型，则对所述通道的视频流的辅码流进行动态检测。

在一种可能的设计中，所述动态检测结果中包括的所述感兴趣区域的坐标信息，为在所述通道的视频流的主码流的坐标系下的坐标信息；所述处理模块802具体用于：在对所述通道的视频流的辅码流进行动态检测得到所述感兴趣区域后，根据所述感兴趣区域在辅码流的坐标系下的坐标信息，以及所述通道的视频流的主码流的坐标系与辅码流的坐标系之间的转换关系，确定所述感兴趣区域在主码流的坐标系下的坐标信息。

在一种可能的设计中，所述动态检测结果中还包括所述感兴趣区域对应的目标类型；所述处理模块802具体用于：将所述多个通道的视频流中对应相同目标类型的所述感兴趣区域的局部画面帧拼接融合成一路或多路待分析视频流；将所述待分析视频流输入到所述目标类型对应的分析器中进行分析处理。

在一种可能的设计中，所述后端设备中包括多个目标区域缓存列表，每个目标区域缓存列表对应一个目标类型，所述目标区域缓存列表用于存储包含对应目标类型的所述感兴趣区域的局部画面帧。

在一种可能的设计中，所述动态检测结果中还包括所述通道的视频流触发动态检测的频率信息；所述处理模块802具体用于：根据所述多个通道的视频流触发动态检测的频率信息，确定所述分析视频流的帧率。

在一种可能的设计中，所示处理模块802具体用于：将所述待分析画面帧分析处理得到的分析结果的坐标信息，根据所述第一通道的视频流的主码流的坐标系与所述分析视频流的坐标系之间的转换关系，确定所述分析结果在主码流的坐标系下的坐标信息。

基于相同的技术构思，本申请实施例还提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行上述多通道视频分析方法。

基于相同的技术构思，本申请实施例还提供一种计算机可读存储介质，其中存储有计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得上述多通道视频分析方法实现。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种多通道视频分析方法，其特征在于，所述方法应用于后端设备，所述方法包括：

获取多个通道的视频流的动态检测结果，每个通道的视频流的动态检测结果中包括从所述通道的视频流中动态检测到的感兴趣区域的坐标信息以及所述感兴趣区域所在的画面帧的信息；

针对所述多个通道中的每个通道的视频流，根据所述感兴趣区域的坐标信息和所述感兴趣区域所在的画面帧的信息，从所述视频流中的所述画面帧中截取包含所述感兴趣区域的画面作为局部画面帧；

将从所述多个通道的视频流中截取到的包含所述感兴趣区域的局部画面帧进行视频拼接融合，得到待分析画面帧；

将所述待分析画面帧输入动态调度的分析器中进行分析处理。

2.根据权利要求1所述的方法，其特征在于，针对所述多个通道中的每个通道，获取所述通道的视频流的动态检测结果，包括：

从所述通道连接的前端设备处接收所述通道的视频流的动态检测结果；或者，

对接收到的所述通道的视频流的辅码流进行动态检测，得到所述动态检测结果。

3.根据权利要求2所述的方法，其特征在于，获取所述通道的视频流的动态检测结果，还包括：

若所述通道连接的前端设备不支持识别所述感兴趣区域的目标类型，则对所述通道的视频流的辅码流进行动态检测。

4.根据权利要求3所述的方法，其特征在于，所述动态检测结果中包括的所述感兴趣区域的坐标信息，为在所述通道的视频流的主码流的坐标系下的坐标信息；

所述方法还包括：

在对所述通道的视频流的辅码流进行动态检测得到所述感兴趣区域后，根据所述感兴趣区域在辅码流的坐标系下的坐标信息，以及所述通道的视频流的主码流的坐标系与辅码流的坐标系之间的转换关系，确定所述感兴趣区域在主码流的坐标系下的坐标信息。

5.根据权利要求1所述的方法，其特征在于，所述动态检测结果中还包括所述感兴趣区域对应的目标类型；

所述将从所述多个通道的视频流中截取到的包含所述感兴趣区域的局部画面帧进行视频拼接融合，得到待分析画面帧，包括：

将所述多个通道的视频流中对应相同目标类型的所述感兴趣区域的局部画面帧拼接融合成一路或多路待分析视频流；

将所述待分析视频流输入到所述目标类型对应的分析器中进行分析处理。

6.根据权利要求5所述的方法，其特征在于，所述后端设备中包括多个目标区域缓存列表，每个目标区域缓存列表对应一个目标类型，所述目标区域缓存列表用于存储包含对应目标类型的所述感兴趣区域的局部画面帧。

7.根据权利要求1或5所述的方法，其特征在于，所述动态检测结果中还包括所述通道的视频流触发动态检测的频率信息；

根据所述多个通道的视频流触发动态检测的频率信息，确定所述分析视频流的帧率。

8.根据权利要求1所述的方法，其特征在于，将所述待分析画面帧输入动态调度的分析器中进行分析处理之后，所述方法还包括：

将所述待分析画面帧分析处理得到的分析结果的坐标信息，根据所述第一通道的视频流的主码流的坐标系与所述分析视频流的坐标系之间的转换关系，确定所述分析结果在主码流的坐标系下的坐标信息。

9.一种多通道视频帧分析装置，其特征在于，包括：

获取模块，用于获取多个通道的视频流的动态检测结果，每个通道的视频流的动态检测结果中包括该从所述通道的视频流中动态检测到的一个或多个感兴趣区域的坐标信息以及所述感兴趣区域所在的画面帧的信息；

处理模块，用于针对所述多个通道中的每个通道的视频流，根据所述感兴趣区域的坐标信息和所述感兴趣区域所在的画面帧的信息，从所述视频流中的所述画面帧中截取包含所述感兴趣区域的画面作为局部画面帧；根据所述感兴趣区域的坐标信息，将从所述多个通道的视频流中动态检测的截取到的包含所述感兴趣区域的局部画面帧进行视频拼接融合，得到待分析画面帧；将所述待分析画面帧输入动态调度的分析器中进行分析处理。

10.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如权利要求1至8中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至8中任一项所述的方法。

Images