CN107018352A - 一种视频图像处理方法、装置及系统 - Google Patents

Abstract

本申请提供了一种视频图像处理方法、装置及系统，包括：发送端采集监控场景中的视频图像；将所述视频图像拆分为第一图像和第二图像；计算所述第二图像与预先存储的参考图像之间的差异信息；根据所述差异信息确定传输内容并发送，所述传输内容包括所述第一图像和用于确定第二图像的信息；接收端接收传输内容，所述传输内容包括第一图像和用于确定第二图像的信息；根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像；根据所述第一图像与所述第二图像生成原始视频图像。由于本申请实施例不需要传输整个视频图像，可以在确保视频图像正确传输的基础上，大大减少传输过程中的数据量，降低通信网络的传输压力。

Description

一种视频图像处理方法、装置及系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频图像处理方法、装置及系统。

背景技术

目前，全世界范围内对视频监控系统的需求空前高涨，各国部署的摄像头越来越密集。据统计，全国架设摄像机数量接近1.5亿台，其中高清摄像机接近1500万台，海量的摄像头产生了庞大的视频数据。面对如此海量的监控视频数据，数据压缩技术成为存储和传输大量数字化信息的有效途径。

针对多媒体视频业务的压缩方法主要有无损压缩和有损压缩两种，其中，针对静态图像的JPEG(Joint Photographic Experts Group)和动态图像的MPEG(Motion Picture Experts Group)系列压缩标准(MPEG-1、MPEG-2、MPEG-4、H.264等)是最具代表性的压缩技术。

在智能视频监控系统中，传统的图像压缩方法是将视频进行整体压缩，改变整个文件的数据量。采用这种方式压缩后进行传输的数据量依然较大，在通信带宽有限的情况下给通信网络带来了较大的传输压力。

现有技术不足在于：

采用现有的图像压缩方法压缩后进行传输的数据量依然较大，给通信网络带来较大压力。

发明内容

本申请实施例提出了一种视频图像处理方法、装置及系统，以解决现有技术中采用现有的图像压缩方法压缩后传输的数据量依然较大，给通信网络带来较大压力的技术问题。

本申请实施例第一方面提供了一种视频图像处理方法，包括如下步骤：

采集监控场景中的视频图像；

将所述视频图像拆分为第一图像和第二图像；

计算所述第二图像与预先存储的参考图像之间的差异信息；

根据所述差异信息确定传输内容并发送，所述传输内容包括所述第一图像和用于确定第二图像的信息。

本申请实施例第二方面提供了一种视频图像处理装置，包括：

采集模块，用于采集监控场景中的视频图像；

拆分模块，用于将所述视频图像拆分为第一图像和第二图像；

计算模块，用于计算所述第二图像与预先存储的参考图像之间的差异信息；

第一通信模块，用于根据所述差异信息确定传输内容并发送，所述传输内容包括所述第一图像和用于确定第二图像的信息。

有益效果如下：

本申请实施例所提供的视频图像处理方法及装置，在采集到监控场景中的视频图像后，可以先将所述视频图像拆分为第一图像和第二图像，再计算第二图像与预存的参考图像之间的差异，根据所述差异确定传输内容，传输的内容包括第一图像和用于确定第二图像的信息，由于不需要传输整个视频图像，从而大大减少了传输的数据量，降低了通信网络的传输压力。

本申请实施例第三方面提供了一种视频图像处理方法，包括如下步骤：

接收传输内容，所述传输内容包括第一图像和用于确定第二图像的信息；

根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像；

根据所述第一图像与所述第二图像生成原始视频图像。

本申请实施例第四方面提供了一种视频图像处理装置，包括：

第二通信模块，用于接收传输内容，所述传输内容包括第一图像和用于确定第二图像的信息；

图像确定模块，用于根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像；

图像生成模块，用于根据所述第一图像与所述第二图像生成原始视频图像。

本申请实施例所提供的视频图像处理方法及装置，由于接收的传输内容仅为第一图像和用于确定第二图像的信息，而不是整个视频图像，在接收到第一图像和用于确定第二图像的信息后在接收端进行还原即可获得原始视频图像，相比现有技术大大减少了传输的数据量，降低了通信网络的传输压力。

本申请实施例第五方面提供了一种视频图像处理系统，包括发送端和接收端，所述发送端包括上述第二方面提供的视频图像处理装置，所述接收端包括上述第四方面提供的视频图像处理装置。

有益效果如下：

本申请实施例所提供的视频图像处理系统，发送端将采集到的视频图像拆分成第一图像和第二图像，计算第二图像与预存的参考图像之间的差异信息，根据所述差异信息确定传输内容，所述传输内容包括第一图像和用于确定第二图像的信息，接收端接收到所述传输内容后，根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像，将所述第一图像与第二图像组合还原得到原始视频图像，本申请实施例在确保视频图像正确传输的基础上，大大减少了传输过程中的数据量，降低了通信网络的传输压力。

附图说明

下面将参照附图描述本申请的具体实施例，其中：

图1示出了现有智能视频监控过程示意图；

图2示出了本申请实施例中发送端视频图像处理方法实施的流程示意图；

图3示出了本申请实施例中利用固定摄像头获取的参考图像示意图；

图4示出了本申请实施例中利用交互式摄像头获取的参考图像示意图；

图5示出了本申请实施例中接收端视频图像处理方法实施的流程示意图；

图6示出了本申请实施例中发送端视频图像处理装置的结构示意图；

图7示出了本申请实施例中接收端视频图像处理装置的结构示意图；

图8示出了本申请实施例中视频图像处理系统的结构示意图；

图9示出了本申请实施例中节带化视频监控系统的架构示意图；

图10示出了本申请实施例中节带化处理过程示意图。

具体实施方式

为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。

发明人在发明过程中注意到：

随着现代电子技术与工艺的进步，通信网络设备的计算、存储能力日益强大。然而，现有的MPEG等压缩技术只是针对视频业务本身进行的压缩与优化，并没有充分发挥出通信网络设备的优势与特点，并未从通信系统的角度出发进行设计。另一方面，通信(Communication)、计算(Computing)和存储(Caching)3C融合也成为了通信系统发展的趋势。考虑到网络设备能力的进步，在终端进行复杂计算与存储已不是难事，然而，通信带宽是有限的，通信资源的匮乏却造成了传输的压力。

传统的压缩方法是把视频图像压缩至一个可接受的范围，是面向存储的；而随着终端技术的发展，存储已经逐渐不是问题，由于通信带宽有限、通信资源匮乏，现在的问题在于传输(通道)，因此，减缓传输压力更为重要。

发明人认为，传输的数据量可以和终端恢复出的实际数据量不相同。传统的图像压缩方法是将视频进行整体压缩，改变整个文件的数据量，而实际上对信息数据量要求最苛刻的是传输环节，如果能将需要传输的数据量进一步压缩，将极大地缓解通信网络的压力。

智能视频监控研究的主要内容就是如何从原始的视频数据中提取出符合人类认知的语义理解，即希望计算机能和人一样自动分析理解视频数据。比如，判断场景中有哪些感兴趣目标、历史运动轨迹、从事什么行为、以及目标之间的关系等。

图1示出了现有智能视频监控过程示意图，如图所示。一般而言，智能视频监控研究中对视频图像的处理可以分为底层、中层和高层3个层次，其中：

底层，是从视频图像采集终端获取图像序列，对感兴趣目标进行检测和跟踪，以便对目标进行后续处理、分析，主要解决目标在哪里的问题；

中层，是在底层的基础上提取运动目标的各种信息并进行相关判断，目标识别可以包括目标分类、个体识别等；

高层，负责处理完成对目标的行为进行分析和理解，行为分析可以包括姿态识别、事件分析、行为识别等。

因此，发明人注意到：如果能够将变化程度、兴趣程度不高的背景信息与变化程度、兴趣程度很高的前景(目标)信息进行理解与拆分，只将其中的前景信息进行传输，势必将极大地减少视频监控系统的传输数据量。

基于此，本申请实施例提出了一种视频图像处理方法、装置及系统，充分结合移动通信网络设备的通信、计算与存储能力，基于智能视频监控系统的特点，下面进行说明。

图2示出了本申请实施例中发送端视频图像处理方法实施的流程示意图，如图所示，所述视频图像处理方法可以包括如下步骤：

步骤201、采集监控场景中的视频图像；

步骤202、将所述视频图像拆分为第一图像和第二图像；

步骤203、计算所述第二图像与预先存储的参考图像之间的差异信息；

步骤204、根据所述差异信息确定传输内容并发送，所述传输内容包括所述第一图像和用于确定第二图像的信息。

具体实施中，采集监控场景中的视频图像可以由现有的监控设备实现，例如：固定摄像头、交互式摄像头、RGBD传感器等。

所述第一图像可以是视频图像中动态的、运动的或监控过程中感兴趣的目标；所述第二图像可以是视频图像中基础场景、固定的、静止的或监控过程中不感兴趣的目标，具体可以根据实际需要进行设置或定义。所述第二图像可以为监控场景中不感兴趣目标，例如：树木、马路、房子等物体；所述第一图像可以为监控场景中感兴趣目标，例如：行人、动物、车辆等物体。通常，所述第二图像可以是监控场景中一直处于静止状态的目标，所述第一图像则可以是监控场景中处于运动状态的目标，所述第一图像并不是一直保持运动的目标，而是相对于所述第二图像而言可以运动的目标。

在进行第一图像(感兴趣目标)和第二图像(不感兴趣目标)拆分时，需要对所述视频图像进行目标检测，从所述视频图像中提取感兴趣目标的位置、大小等信息。根据处理的数据对象的不同，目标检测可以分为基于背景建模的运动目标检测方法和基于目标建模的检测方法：

基于背景建模的方法，要求感兴趣目标是保持运动的，且背景保持不变，其方法可以包括帧间差分、均值滤波、中值滤波、极值滤波、线性滤波、基于隐马尔科夫的方法、基于自回归模型的方法、混合多高斯背景建模方法(Gaussian Mixture Model，GMM)等等。

而基于目标的检测方法，不受场景限制，不但可以对固定摄像头拍摄的视频进行感兴趣目标的检测，也可以处理单帧静态图像或移动摄像机拍摄的视频，需要通过对大量训练目标进行学习，训练分类器，在图像多个尺度上做滑动窗口扫描，完成目标检测。

根据连续的视频图像将视频图像分割前景和背景，具体实施时，可以为：读取视频的第一帧，根据所述视频帧的信息建立高斯混合模型，为每个像素建立多个高斯模型，利用第一帧图像中每个像素的RGB颜色值来初始化该像素对应的高斯模型的均值；在高斯混合模型初始化完成后，读取视频的下一帧，对当前读入帧图像的每个像素在其对应的多个高斯模型中寻找匹配，根据匹配结果完成初次分割，如果该像素在对应的多个模型中找到匹配的模型，则将该模型的各参数用该像素颜色值进行更新；以此类推。利用在某个像素点位置出现时间越长的颜色其模型代表背景的可能性越大的原理，最终将背景和前景拆分出来。

在将所述视频图像拆分为第一图像和第二图像之后，可以将所述第二图像与预先存储的参考图像进行对比、计算差异信息，最后根据所述差异信息确定所要传输的内容、发送所述传输内容，所述传输内容中可以包括所述第一图像和用于确定第二图像的信息。其中，所述预先存储的参考图像可以预先由现有的监控摄像头获取得到并作为参考样本存储，也可以经过建模通过对参考样本进行训练得到，具体训练过程可以采用现有技术。

本申请实施例所提供的视频图像处理方法，在采集到监控场景中的视频图像后，可以先将所述视频图像拆分为第一图像和第二图像，再计算第二图像与预存的参考图像之间的差异，根据所述差异确定传输内容，传输的内容包括第一图像和用于确定第二图像的信息，由于本申请实施例所提供的方案只需传输第一图像和用于确定第二图像的信息，不需要传输整个视频图像，从而大大减少了传输的数据量，降低了通信网络的传输压力。

具体实施时，所述第一图像可以为前景图像，所述第二图像可以为背景图像，所述参考图像可以为背景参考图像，所述差异可以为背景差异。

本申请实施例所提供的视频图像处理方法及装置，在采集到监控场景中的视频图像后，可以先将所述视频图像拆分为前景和背景，再计算第二图像与预存的参考图像之间的背景差异，根据所述差异确定传输内容，传输的内容包括第一图像和用于确定第二图像的信息，由于不需要传输整个视频图像，从而大大减少了传输的数据量，降低了通信网络的传输压力。

实施中，当所述差异信息大于预设第一阈值时，所述用于确定第二图像的信息具体可以为：所述差异信息；当所述差异信息小于预设第一阈值时，所述用于确定第二图像的信息具体为：所述参考图像的标识或部分第二图像。

其中，所述差异信息可以是色彩空间矩阵的期望、特征值等信息。具体实施时，可以采用HSV色彩空间，所述色彩空间为基于直方图的锥形结构，分别包括色彩、饱和度和亮度三个直方图，由于在HSV色彩空间中，色彩直方图是给出基色并反映像素间色彩相对关系，在传输时可以不传输色彩直方图，只传输饱和度直方图和亮度直方图差异。最后，再利用直方图映射方法映射出整体的背景色彩变化即可。其中，由于每个直方图均为256色，传两个直方图则为256*2＝512个数据，又由于发送端和接收端同步有参考模型，即存在三个直方图的基准，因此，传输时可以只传输512个差值即可。

具体实施时，可以预先设定一个阈值，在计算出所述第二图像与预先存储的参考图像之间的差异信息之后，将所述差异与预设阈值进行比较，如果所述差异信息大于预设阈值，那么，所述用于确定第二图像的信息可以为所述差异信息，即，发送所述第一图像和所述差异信息。

本申请实施例可以当所述第二图像与预存的参考图像有较大差异时，可以将计算出的差异信息发送至接收端，而不必发送整个视频图像，从而在一定程度上减少传输的数据量。

实施中，当所述差异信息小于预设第一阈值时，所述用于确定第二图像的信息具体可以为：所述参考图像的标识。

具体实施时，如果所述第二图像与所述预存的参考图像之间的差异较小，则可以直接传输所述参考图像的标识ID即可，由于标识ID明显比视频图像的数据量小，从而极大地减少了传输的数据量。

实施中，当所述差异信息小于预设第一阈值时，所述用于确定第二图像的信息具体可以为：部分第二图像。

具体实施时，如果所述第二图像与所述预存的参考图像之间的差异较小，则可以只传输所述第二图像的一部分，例如：可以发送与所述第一图像相邻的部分第二图像，以作为确定第二图像的信息，由于本申请实施例可以只传输部分第二图像，从而可以减少传输的数据量。

实施中，在发送所述第一图像之前，所述方法可以进一步包括：

对所述第一图像进行压缩。

具体实施时，在发送所述第一图像之前，还可以对所述第一图像进行压缩，将压缩后的第一图像与所述用于确定第二图像的信息一并发送出去。

对所述第一图像的压缩可以采用现有技术中针对多媒体业务的压缩方式，现有的压缩方法可以由无损压缩和有损压缩两种，其中，针对静态图像可以采用联合图像专家小组(JPEG，Joint Photographic Experts Group)等压缩标准，针对动态图像可以采用动态图像专家组(MPEG，Motion Picture Experts Group)系列压缩标准(MPEG-1、MPEG-2、MPEG-4、H.264)等，本申请对所述第一图像具体采用何种压缩方法不作限制。

本申请实施例通过对所述第一图像进行压缩再发送，进一步减少了传输的数据量。

实施中，所述参考图像可以为多个；所述计算所述第二图像与预先存储的参考图像之间的差异信息，具体可以为：

确定与所述第二图像最接近的参考图像；

计算所述第二图像与所述确定的参考图像之间的差异信息。

具体实施时，同一监控场景在不同外界环境下的参考图像也是不同的，本申请实施例中所述参考图像可以为多个，从而可以包括各种环境下所述监控场景的参考图像，例如：不同光线、明度、色彩等环境下拍摄的参考图像。

当所述参考图像为多个时，本申请实施例可以从所述多个参考图像中挑选出一个与所述第二图像最接近的参考图像进行对比即可，具体实施时，可以预先设定阈值，挑选颜色、明度、对比度等信息与所述第二图像最接近的参考图像。

实施中，所述确定与所述第二图像最接近的参考图像，具体可以为：

将所述第二图像与所述多个参考图像进行比较；

确定与所述第二图像的差异小于预设第二阈值的参考图像为所述最接近的参考图像。

具体实施时，可以将所述第二图像与所述多个参考图像进行比较，看哪个参考图像与所述第二图像的差异(可以是计算得到的期望值、特征值等信息)小于预设第二阈值，如果小于所述预设第二阈值，则认为该参考图像与所述第二图像非常接近，确定为最接近的参考图像。

本申请实施例可以预先建立一个参考模型库，由发送端和接收端同步存储，所述参考模型库中可以包括同一场景在不同环境下的多个参考图像，从而可以从中挑选出与实时第二图像最接近的参考图像，满足不同场景的对比需要，确保计算出的差异信息的数据量最少。对于固定摄像头而言，只需要存储监控的场景在不同条件(如：光照等)下的参考图像。

图3示出了本申请实施例中利用固定摄像头获取的参考图像示意图，如图所示，背景模型库中可以包括同一场景在不同明暗程度、光线等环境下的5个参考图像，本申请实施例可以从这5个参考图像中挑选一张与实时的第二图像明亮度最接近的参考图像，将其与所述实时的第二图像进行差异计算。

实施中，所述参考图像具体为交互式摄像头处于不同状态时获取到的参考图像；所述确定与所述第二图像最接近的参考图像，具体可以为：

获取交互式摄像头状态；

根据所述交互式摄像头状态确定与所述第二图像最接近的参考图像。

具体实施时，所述参考图像可以利用交互式摄像头获得，由于所述交互式摄像头可以根据控制信息改变采集图像的范围，因此，根据交互式摄像头所处状态的不同，可以有多个参考图像。通常在某种环境下，摄像头的不同状态可以对应一个局部图像集合，本申请实施例可以称之为摄像头i的局部图像集合Ui。

实施中，所述根据所述交互式摄像头状态确定与所述第二图像最接近的参考图像，具体可以为：

从所述交互式摄像头处于不同状态获取的多个参考图像集合中选出与所述交互式摄像头状态对应的参考图像集合；

从所述与所述交互式摄像头状态对应的参考图像集合中选出与所述第二图像的差异小于预设第二阈值的参考图像作为最接近的参考图像。

由于交互式摄像头的状态改变方法有限(如旋转、缩放等)，本申请实施例中假设摄像头i在t时刻的状态为f_i(t，x)，其中x代表不同的操作指令，例如，x₁代表旋转，x₂代表缩放等，则f_i(t，x)可以表示为f_i(t，x₁，x₂，x₃，…)。因此，每一个固定的状态f_i(t，x)都可以对应一个特定环境的局部图像，也就是说，如果知道了摄像头i的局部图像集合U_i和t时刻的状态f_i(t，x)，就可以恢复出该状态的参考图像。

例如：假设所述监控场景由3个交互式摄像头监控，所述交互式摄像头1处于某一状态时，上午10点时拍摄一张局部图像，下午2点时拍摄一张局部图像，当所述交互式摄像头1处于另一状态时，又可以拍摄多张局部图像，最终可以形成该摄像头1在多个状态下的局部图像集合，所述局部图像集合中包括t时刻f_i(t，x)状态下拍摄的局部图像。

图4示出了本申请实施例中利用交互式摄像头获取的参考图像示意图，如图所示，利用5个交互式摄像头分别获取局部图像后，可以根据各个摄像头状态组合得到当前时刻的完整的参考图像，在进行差异计算时只需要知道摄像头状态即可确定相应的参考图像，进而将该状态对应的参考图像与实时第二图像进行对比、计算差异。

在确定与所述第二图像最接近的参考图像时，可以先获取所述交互式摄像头的摄像头状态，根据所述摄像头状态的不同可以确定出与所述摄像头状态对应的参考图像集合，在所述与所述摄像头状态对应的参考图像集合中再挑选出与所述第二图像最接近的参考图像。

本申请实施例给出了利用交互式摄像头获取参考图像并计算差异信息的具体实施方式，从而扩展了本申请实施例的应用场景，由于采用交互式摄像头来监控场景，产生的视频图像可能比固定摄像头获取的视频图像的数据量更大，通过采用本申请实施例所提供的方案，可以极大地减少交互式摄像头所需传输的数据量。

实施中，所述获取交互式摄像头处于不同状态时的参考图像具体可以为：

获取控制信息；所述控制信息包括交互式摄像头编号i和操作指令；

根据所述控制信息改变所述交互式摄像头的图像采集范围；

根据各个交互式摄像头的摄像头状态f_i(t，x)以及采集到的局部图像生成参考图像，所述f_i(t，x)表示摄像头i在t时刻的状态，x为操作参数。

具体实施时，参考图像采集人员可以发送控制信息来改变交互式摄像头的状态，以获取不同状态下的参考图像。本申请实施例在获取到所述控制信息之后，可以根据所述控制信息改变所述交互式摄像头的图像采集范围。实施中，所述操作指令具体可以为旋转和/或缩放，所述x具体可以为旋转角度和/或缩放倍数。例如：改变摄像头的角度、缩小/放大的倍数等。

所述交互式摄像头状态f_i(t，x)可以表示摄像头i在t时刻的状态，其中x可以代表各种操作的参数，f_i(t，x)可以表示为f_i(t，x₁，x₂，x₃，…)，每一个固定的状态f_i(t，x)都可以对应一个相应场景下的参考图像，如果知晓摄像头i的参考图像集合Ui和状态f_i(t，x)，即可确定该状态的参考图像。

假设交互式摄像头共有3个，分别为编号i＝1、2、3；假设x₁是旋转、x₂是放大，摄像头1旋转30°，那么摄像头1的状态f₁(t，x₁，x₂)，x₁＝30°，x₂＝0；摄像头2为缩小2倍，那么摄像头2的状态f₂(t，x₁，x₂)，x₁＝0，x₂＝0.5；摄像头3放大3倍，那么摄像头3的状态f₃(t，x₁，x₂)，x₁＝0，x₂＝3，从而获得对应该状态下的参考图像集合，其中，x₁、x₂、x₃分别为摄像头1、2、3的参数。具体实施时，这些参数可以是相对于预先设定的标准值的相对值，也可以是相对于上一时刻的数值的相对值。

本申请实施例可以在获取到控制信息后根据所述控制信息改变所述交互式摄像头的采集范围，根据各个交互式摄像头状态以及各个摄像头采集到的局部图像生成参考图像，不仅考虑了外界环境的因素，还考虑了交互式摄像头的状态改变因素，扩大了背景模型库中的样本集，从而可以适应各种实时背景、更加精确的计算差异并减少差异信息的数据量。

实施中，所述计算所述第二图像与预先存储的参考图像之间的差异信息，具体可以为：

根据所述第二图像与预先存储的参考图像的色调饱和度明度HSV矩阵计算差异信息。

具体实施时，在计算第二图像与参考图像之间的差异信息时，可以利用两个图像的HSV矩阵来进行计算，HSV矩阵的三个分量分别代表色彩(Hue)、饱和度(Saturation)和值(Value)。

假设实时的第二图像的HSV矩阵为：

HSV矩阵

预先存储的参考图像的HSV矩阵为：

HSV矩阵

可以根据HSV矩阵1和HSV矩阵2进行计算得到第二图像与参考图像之间的差异信息，具体的计算过程可以采用现有技术，本申请在此不做赘述。

图5示出了本申请实施例中接收端视频图像处理方法实施的流程示意图，如图所示，所述视频图像处理方法可以包括如下步骤：

步骤501、接收传输内容，所述传输内容包括第一图像和用于确定第二图像的信息；

步骤502、根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像；

步骤503、根据所述第一图像与所述第二图像生成原始视频图像。

具体实施时，接收端接收发送端发送的传输内容，所述传输内容可以包括第一图像和用于确定第二图像的信息，接收端可以根据所述用于确定第二图像的信息以及与发送端同步的参考图像来确定第二图像，最终将第一图像与第二图像组合、还原得到原始的视频图像。

本申请实施例所提供的视频图像处理方法，由于接收的传输内容仅为第一图像和用于确定第二图像的信息，而不是整个视频图像，在接收到第一图像和用于确定第二图像的信息后在接收端进行还原即可获得原始视频图像，相比现有技术大大减少了传输的数据量，降低了通信网络的传输压力。

具体实施时，所述第一图像可以为前景图像，所述第二图像可以为背景图像，所述参考图像可以为背景参考图像，所述差异可以为背景差异。

本申请实施例所提供的视频图像处理方法及装置，由于接收的传输内容仅为前景图像和用于确定背景图像的信息，而不是整个视频图像，在接收到前景图像和用于确定背景图像的信息后在接收端进行还原即可获得原始视频图像，相比现有技术大大减少了传输的数据量，降低了通信网络的传输压力。

实施中，所述用于确定第二图像的信息具体可以为差异信息，所述根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像，具体可以为：

根据所述差异信息以及与发送端同步的参考图像重构第二图像。

具体实施时，所述用于确定第二图像的信息可以为差异信息，接收端根据所述差异信息再结合与发送端同步的参考图像即可确定出第二图像。

本申请实施例无需传输整个视频图像，只需要将第一图像和差异信息传输至接收端，所述接收端即可重构出第二图像进而得到原始视频图像。

实施中，所述用于确定第二图像的信息具体可以为参考图像的标识；所述根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像，具体可以为：

根据所述参考图像的标识确定所述参考图像为第二图像。

具体实施时，假设发送端与接收端同步存储的参考模型库中包括多个参考图像，所述用于确定第二图像的信息可以为参考图像的标识ID，接收端在接收到所述标识后即可根据所述标识确定所述多个参考图像中与所述标识相同的参考图像为第二图像。

本申请实施例接收的传输内容可以只包括第一图像和参考图像的标识，即可根据所述参考图像的标识确定第二图像并结合所述第一图像还原得到原始的视频图像，极大地减少了传输的数据量。

实施中，所述用于确定第二图像的信息具体可以为部分第二图像；所述根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像，具体可以为：

根据所述部分第二图像以及与发送端同步的参考图像确定第二图像。

具体实施时，所述用于确定第二图像的信息还可以是部分第二图像，例如：可以是所述第一图像相邻的部分第二图像，接收端在接收到所述部分第二图像之后可以结合与发送端同步的参考图像来确定同步存储的模型库中哪一幅参考图像为所述第二图像。

本申请实施例可以只传输第一图像和部分第二图像，接收端可以根据部分第二图像以及与发送端同步的参考图像确定第二图像，再将所述第二图像与所述第一图像组合即可还原得到原始的视频图像，极大地减少了传输的数据量。

实施中，所述传输内容包括的第一图像可以为经过压缩的第一图像；在接收到所述第一图像后，所述方法可以进一步包括：

对所述第一图像进行解压缩。

具体实施时，发送端可以在发送第一图像之前对所述第一图像进行压缩，以便进一步减少传输的数据量，这种情况下，接收端接收到的第一图像则为经过压缩的第一图像，因此，接收端在接收到所述第一图像之后，可以进一步对所述第一图像进行解压缩，以便后续与第二图像进行组合、还原得到原始视频图像。

基于同一发明构思，本申请实施例中还提供了一种(发送端)视频图像处理装置、(接收端)视频图像处理装置，由于这些设备解决问题的原理与一种(发送端)视频图像处理方法、(接收端)视频图像处理方法相似，因此这些设备的实施可以参见方法的实施，重复之处不再赘述。

图6示出了本申请实施例中发送端视频图像处理装置的结构示意图，如图所示，所述视频图像处理装置可以包括：

采集模块601，用于采集监控场景中的视频图像；

拆分模块602，用于将所述视频图像拆分为第一图像和第二图像；

计算模块603，用于计算所述第二图像与预先存储的参考图像之间的差异信息；

第一通信模块604，用于根据所述差异信息确定传输内容并发送，所述传输内容包括所述第一图像和用于确定第二图像的信息。

实施中，所述第一通信模块具体可以用于当所述差异信息大于预设第一阈值时，发送所述第一图像和所述差异信息；当所述差异信息小于预设第一阈值时，发送所述第一图像和所述参考图像的标识，或者发送所述第一图像和部分第二图像。

实施中，所述装置可以进一步包括：

压缩模块605，用于在发送所述第一图像之前，对所述第一图像进行压缩。

实施中，所述参考图像可以为多个；所述计算模块具体可以包括：

确定单元，用于确定与所述第二图像最接近的参考图像；

计算单元，用于计算所述第二图像与所述确定的参考图像之间的差异信息。

实施中，所述确定单元具体可以用于将所述第二图像与所述多个参考图像进行比较，确定与所述第二图像的差异小于预设第二阈值的参考图像为所述最接近的参考图像。

实施中，所述装置可以进一步包括：

参考图像获取模块606，用于交互式摄像头处于不同状态时获取所述参考图像；

所述确定单元具体用于获取交互式摄像头状态；根据所述交互式摄像头状态确定与所述第二图像最接近的参考图像。

具体实施时，参考图像获取模块可以用于在交互式摄像头处于不同状态时获取所述参考图像，也可以用于利用固定摄像头获取参考图像。

实施中，所述参考图像获取模块具体可以包括：

获取单元，用于获取控制信息；所述控制信息包括交互式摄像头编号i和操作指令；

控制单元，用于根据所述控制信息改变所述交互式摄像头的图像采集范围；

图像生成单元，用于根据各个交互式摄像头的摄像头状态f_i(t，x)以及采集到的局部图像生成参考图像，所述f_i(t，x)表示摄像头i在t时刻的状态，x为操作参数。

实施中，所述操作指令具体可以为旋转和/或缩放，所述x具体可以为旋转角度和/或缩放倍数。

具体实施时，所述操作指令具体可以为旋转、缩放、色变、变焦等操作指令，所述x则为与这些操作指令相对应的参数，例如：旋转角度、缩放倍数等。

实施中，所述确定单元具体可以用于获取交互式摄像头状态，从所述交互式摄像头处于不同状态获取的多个参考图像集合中选出与所述交互式摄像头状态对应的参考图像集合，从所述与所述交互式摄像头状态对应的参考图像集合中选出与所述第二图像的差异小于预设第二阈值的参考图像作为最接近的参考图像。

实施中，所述计算模块具体可以用于根据所述第二图像与预先存储的参考图像的色调饱和度明度HSV矩阵计算差异信息。

图7示出了本申请实施例中接收端视频图像处理装置的结构示意图，如图所示，所述视频图像处理装置可以包括：

第二通信模块701，用于接收传输内容，所述传输内容包括第一图像和用于确定第二图像的信息；

图像确定模块702，用于根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像；

图像生成模块703，用于根据所述第一图像与所述第二图像生成原始视频图像。

实施中，所述第二通信模块具体可以用于接收第一图像和差异信息，所述图像确定模块具体可以用于根据所述差异信息以及与发送端同步的参考图像重构第二图像。

实施中，所述第二通信模块具体可以用于接收第一图像和参考图像的标识，所述图像确定模块具体可以用于根据所述参考图像的标识确定所述参考图像为第二图像。

实施中，所述第二通信模块具体可以用于接收第一图像和部分第二图像，所述图像确定模块具体可以用于根据所述部分第二图像以及与发送端同步的参考图像确定第二图像。

实施中，所述第二通信模块具体可以用于接收经过压缩的第一图像和用于确定第二图像的信息；所述装置进一步包括：

解压缩模块704，用于在接收到所述经过压缩的第一图像之后，对所述第一图像进行解压缩。

图8示出了本申请实施例中视频图像处理系统的结构示意图，如图所示，所述视频图像处理系统包括发送端和接收端，所述发送端包括上述发送端视频图像处理装置，所述接收端包括上述接收端视频图像处理装置。

本申请实施例所提供的视频图像处理系统，发送端将采集到的视频图像拆分成第一图像和第二图像，计算第二图像与预存的参考图像之间的差异信息，根据所述差异信息确定传输内容，所述传输内容包括第一图像和用于确定第二图像的信息，接收端接收到所述传输内容后，根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像，将所述第一图像与第二图像组合还原得到原始视频图像，本申请实施例在确保视频图像正确传输的基础上，大大减少了传输过程中的数据量，降低了通信网络的传输压力。

具体实施时，所述视频图像处理系统的发送端可以对视频监控设备采集到的图像进行理解、分析并拆分成前景和背景，在拆分的过程中，可以利用预先存储的背景参考图像协助理解所述图像。本申请实施例所提供的视频图像处理系统可以通过将最精简的图像信息(以前景信息为主)从发送端发送至接收端，实现节带化的监控视频传输。

在明了运用的环境后，在发送端、接收端分别可以按如上方式实施。在说明过程中，将分别从发送端与接收端的实施进行说明，但这并不意味着二者必须配合实施，实际上，当发送端与接收端分开实施时，其也各自解决发送端、接收端的问题，只是二者结合使用时，会获得更好的技术效果。

为了便于本申请的实施，下面以实例进行说明。

本申请实施例将面向智能监控的视频处理系统简称为节带化视频监控系统，图9示出了本申请实施例中节带化视频监控系统的架构示意图，如图所示，所述节带化视频监控系统的发送端和接收端可以预先同步存储有背景参考模型库，所述背景参考模型库中可以包括若干背景参考模型，所述背景参考模型中又可以包括多个背景参考图像。

首先，可以利用图像采集系统根据控制信息对监控范围内的图像进行采集，然后将采集到的实时图像逐帧发送给图像分析模块；

图像分析模块可以基于已经存储的当前监控范围内的背景参考模型，对所述实时图像进行分析并完成拆分，拆分成前景信息和背景信息，将前景信息发送给压缩编码模块、基于所述实时背景与参考背景生成差异信息；

所述压缩编码模块按照压缩编码标准(例如：MPEG-4、H.264等)对所述前景信息进行压缩；

通信模块获取到压缩后的前景图像信息和背景差异信息后，将其进行处理后发送给接收端。

所述接收端接收到所述混合了压缩后的前景信息和背景差异信息的数据后，对其进行拆分，将压缩的前景信息交给压缩解码模块，并将背景差异信息交给图像重构模块；

所述压缩解码模块对所述压缩后的前景信息进行解压缩；

所述图像重构模块基于与发送端同步的参考模型库，完成背景信息重构；

最终，将解压缩的前景信息和重构的背景信息进行组合，恢复出原始图像，发送给信宿。

图10示出了本申请实施例中节带化处理过程示意图，如图所示，本申请实施例中节带化智能视频监控系统的具体处理过程可以如下：

首先，可以建立视频监控区域的背景图像集合Ui，在获取到实施监控图像之后，可以根据此时摄像头状态信息f_i(t，x)确定背景参考图像集合；

然后，将实时监控图像拆分成前景图像和背景图像两部分，并将前景图像进行压缩编码处理，将实时的背景图像与背景参考图像进行分析，生成差异信息；

最后，如果差异较大，则可以将差异信息和已压缩的前景图像进行传输；如果差异较小，可以直接传输背景参考图像的标识和已压缩的前景图像，或者直接传输前景图像和所述前景图像邻近的背景图像，如图10所示的压缩后传输的图像。

对于一段2分钟左右的监控视频，原视频经MPEG-4标准压缩后为3.41MB，经节带化系统处理后，传输的视频数据量为1.16MB，实际在终端恢复出的视频大小为1.33MB。对于传输过程来说，提高了约66％的压缩效率。经验证，从视频中截取一帧进行分析，原始图像帧的图像与恢复出的图像并无明显误差。

采用本申请实施例所提供的视频图像处理方法、装置及系统，可以在基本不改变图像质量的前提下，极大地减少传输的视频图像数据量，实际使用时可以至少提高约66％的压缩效率。

为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

Claims (31)

1.一种视频图像处理方法，其特征在于，包括如下步骤：

采集监控场景中的视频图像；

将所述视频图像拆分为第一图像和第二图像；

计算所述第二图像与预先存储的参考图像之间的差异信息；

根据所述差异信息确定传输内容并发送，所述传输内容包括所述第一图像和用于确定第二图像的信息。

2.如权利要求1所述的方法，其特征在于，当所述差异信息大于预设第一阈值时，所述用于确定第二图像的信息具体为：所述差异信息；

当所述差异信息小于预设第一阈值时，所述用于确定第二图像的信息具体为：所述参考图像的标识或部分第二图像。

3.如权利要求1所述的方法，其特征在于，在发送所述第一图像之前，进一步包括：对所述第一图像进行压缩。

4.如权利要求1所述的方法，其特征在于，所述参考图像为多个；所述计算所述第二图像与预先存储的参考图像之间的差异信息，具体为：

确定与所述第二图像最接近的参考图像；

计算所述第二图像与所述确定的参考图像之间的差异信息。

5.如权利要求4所述的方法，其特征在于，所述确定与所述第二图像最接近的参考图像，具体为：

将所述第二图像与所述多个参考图像进行比较；

确定与所述第二图像的差异小于预设第二阈值的参考图像为所述最接近的参考图像。

6.如权利要求4所述的方法，其特征在于，所述参考图像具体为交互式摄像头处于不同状态时获取到的参考图像；所述确定与所述第二图像最接近的参考图像，具体为：

获取交互式摄像头状态；

根据所述交互式摄像头状态确定与所述第二图像最接近的参考图像。

7.如权利要求6所述的方法，其特征在于，所述根据所述交互式摄像头状态确定与所述第二图像最接近的参考图像，具体为：

从所述交互式摄像头处于不同状态获取的多个参考图像集合中选出与所述交互式摄像头状态对应的参考图像集合；

从所述与所述交互式摄像头状态对应的参考图像集合中选出与所述第二图像的差异小于预设第二阈值的参考图像作为最接近的参考图像。

8.如权利要求6所述的方法，其特征在于，所述获取交互式摄像头处于不同状态时的参考图像具体为：

获取控制信息；所述控制信息包括交互式摄像头编号i和操作指令；

根据所述控制信息改变所述交互式摄像头的图像采集范围；

根据各个交互式摄像头的摄像头状态f_i(t，x)以及采集到的局部图像生成参考图像，所述f_i(t，x)表示摄像头i在t时刻的状态，x为操作参数。

9.如权利要求8所述的方法，其特征在于，所述操作指令具体为旋转和/或缩放，所述x具体为旋转角度和/或缩放倍数。

10.如权利要求1所述的方法，其特征在于，所述计算所述第二图像与预先存储的参考图像之间的差异信息，具体为：

根据所述第二图像与预先存储的参考图像的色调饱和度明度HSV矩阵计算差异信息。

11.一种视频图像处理方法，其特征在于，包括如下步骤：

接收传输内容，所述传输内容包括第一图像和用于确定第二图像的信息；

根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像；

根据所述第一图像与所述第二图像生成原始视频图像。

12.如权利要求11所述的方法，其特征在于，所述用于确定第二图像的信息具体为差异信息，所述根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像，具体为：根据所述差异信息以及与发送端同步的参考图像重构第二图像。

13.如权利要求11所述的方法，其特征在于，所述用于确定第二图像的信息具体为参考图像的标识；所述根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像，具体为：根据所述参考图像的标识确定所述参考图像为第二图像。

14.如权利要求11所述的方法，其特征在于，所述用于确定第二图像的信息具体为部分第二图像；所述根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像，具体为：根据所述部分第二图像以及与发送端同步的参考图像确定第二图像。

15.如权利要求11所述的方法，其特征在于，所述传输内容包括的第一图像为经过压缩的第一图像；在接收到所述第一图像后，进一步包括：

对所述第一图像进行解压缩。

16.一种视频图像处理装置，其特征在于，包括：

采集模块，用于采集监控场景中的视频图像；

拆分模块，用于将所述视频图像拆分为第一图像和第二图像；

计算模块，用于计算所述第二图像与预先存储的参考图像之间的差异信息；

第一通信模块，用于根据所述差异信息确定传输内容并发送，所述传输内容包括所述第一图像和用于确定第二图像的信息。

17.如权利要求16所述的装置，其特征在于，所述第一通信模块具体用于当所述差异信息大于预设第一阈值时，发送所述第一图像和所述差异信息；当所述差异信息小于预设第一阈值时，发送所述第一图像和所述参考图像的标识，或者发送所述第一图像和部分第二图像。

18.如权利要求16所述的装置，其特征在于，进一步包括：

压缩模块，用于在发送所述第一图像之前，对所述第一图像进行压缩。

19.如权利要求16所述的装置，其特征在于，所述参考图像为多个；所述计算模块具体包括：

确定单元，用于确定与所述第二图像最接近的参考图像；

计算单元，用于计算所述第二图像与所述确定的参考图像之间的差异信息。

20.如权利要求19所述的装置，其特征在于，所述确定单元具体用于将所述第二图像与所述多个参考图像进行比较，确定与所述第二图像的差异小于预设第二阈值的参考图像为所述最接近的参考图像。

21.如权利要求19所述的装置，其特征在于，进一步包括：参考图像获取模块，用于交互式摄像头处于不同状态时获取所述参考图像；

所述确定单元具体用于获取交互式摄像头状态，根据所述交互式摄像头状态确定与所述第二图像最接近的参考图像。

22.如权利要求21所述的装置，其特征在于，所述参考图像获取模块具体包括：

获取单元，用于获取控制信息；所述控制信息包括交互式摄像头编号i和操作指令；

控制单元，用于根据所述控制信息改变所述交互式摄像头的图像采集范围；

图像生成单元，用于根据各个交互式摄像头的摄像头状态f_i(t，x)以及采集到的局部图像生成参考图像，所述f_i(t，x)表示摄像头i在t时刻的状态，x为操作参数。

23.如权利要求22所述的装置，其特征在于，所述操作指令具体为旋转和/或缩放，所述x具体为旋转角度和/或缩放倍数。

24.如权利要求21所述的装置，其特征在于，所述确定单元具体用于获取交互式摄像头状态，从所述交互式摄像头处于不同状态获取的多个参考图像集合中选出与所述交互式摄像头状态对应的参考图像集合，从所述与所述交互式摄像头状态对应的参考图像集合中选出与所述第二图像的差异小于预设第二阈值的参考图像作为最接近的参考图像。

25.如权利要求16所述的装置，其特征在于，所述计算模块具体用于根据所述第二图像与预先存储的参考图像的色调饱和度明度HSV矩阵计算差异信息。

26.一种视频图像处理装置，其特征在于，包括：

第二通信模块，用于接收传输内容，所述传输内容包括第一图像和用于确定第二图像的信息；

图像确定模块，用于根据所述用于确定第二图像的信息以及与发送端同步的参考图像确定第二图像；

图像生成模块，用于根据所述第一图像与所述第二图像生成原始视频图像。

27.如权利要求26所述的装置，其特征在于，所述第二通信模块具体用于接收第一图像和差异信息，所述图像确定模块具体用于根据所述差异信息以及与发送端同步的参考图像重构第二图像。

28.如权利要求26所述的装置，其特征在于，所述第二通信模块具体用于接收第一图像和参考图像的标识，所述图像确定模块具体用于根据所述参考图像的标识确定所述参考图像为第二图像。

29.如权利要求26所述的装置，其特征在于，所述第二通信模块具体用于接收第一图像和部分第二图像，所述图像确定模块具体用于根据所述部分第二图像以及与发送端同步的参考图像确定第二图像。

30.如权利要求26所述的装置，其特征在于，所述第二通信模块具体用于接收经过压缩的第一图像和用于确定第二图像的信息；所述装置进一步包括：

解压缩模块，用于在接收到所述经过压缩的第一图像之后，对所述第一图像进行解压缩。

31.一种视频图像处理系统，其特征在于，包括发送端和接收端，所述发送端包括如权利要求16至25任一所述的视频图像处理装置，所述接收端包括如权利要求26至30任一所述的视频图像处理装置。