CN104166841A - 一种视频监控网络中指定行人或车辆的快速检测识别方法 - Google Patents

Abstract

本发明涉及一种视频监控网络中指定行人或车辆的快速检测识别方法。根据用户提供的目标模板，在监控网络视频中对指定目标进行准确而快速地检测识别。本发明首先对目标模板图像进行归一化尺度变换并计算模板图像的多种混合特征；然后采用混合高斯模型对各监控视频进行背景建模，并行处理，利用面积滤波和形态学后处理提取运动前景；对所有满足初步筛选条件的运动前景进行归一化尺度变换并计算多种混合特征，之后计算各运动前景与目标模板之间的加权相似性距离，将小于判定阈值且与目标模板图像加权相似性距离最小的前N个物体返回，作为检测识别结果。本发明在保证检测识别准确度的基础上，通过并行处理和跳帧等方法大大提高了算法的处理速度。

Description

一种视频监控网络中指定行人或车辆的快速检测识别方法

技术领域

本发明涉及视频图像处理技术领域，具体为一种视频监控网络中的指定行人或车辆的快速检测识别方法。

背景技术

在智能监控领域，对监控视频网络中的指定行人或车辆进行检测和识别可以帮助公安机关快速确定嫌疑犯或嫌疑车辆的出现时间和位置，加快案件侦查效率。但由于实际应用场景中存在着光照条件变化、不同监控摄像头之间存在着参数差异、运动物体(行人、车辆等)存在姿态变化和相互遮挡，并且行人或车辆在监控视频中的尺寸通常较小，例如人脸或车牌等细节信息不能得到保证，因此如何在多摄像头监控网络中快速而准确的检测和识别出指定行人或车辆一直是计算机视觉领域研究的热点和难点。

Oreifej于2010发表在《IEEE Comptuer Society Conference on Computer Visionand Pattern Recognition》(国际电子电气工程师协会计算机学会计算机视觉与模式识别会议)技术集709至716页上发表的技术“Human identity recognition in aerialimages”(航拍图像中行人身份识别)文章中提出了一种基于投票选举的航拍跨视频复杂背景下的行人识别方法，此技术首先利用HoG(Histograms of Oriented Gradient梯度方向直方图)特征检测视频中的行人区域，构成视频序列中所有出现的行人集合，称为候选人集合，通过预先准备的用于训练的目标行人特征集合对候选人按特征相似度进行投票，得票最高的行人即为最可疑目标。该算法较好的解决了图像分辨率较低、行人姿态多变等复杂环境下的目标行人识别问题。但此方法因为要在视频图像中多尺度反复扫描逐一检测行人区域，且需要多张目标模板图像作为投票人集合，因此在速度和实际可行性上都存在不足。

因为监控视频通常具有固定视角，使得通过背景建模来分割运动前景的方法可以有效实施，相比于利用HoG特征对视频图像进行多尺度扫描判别，此类方法在固定视角场景下对运动物体的检测分割快速而高效，但当摄像头存在移动时此方法将不再适用。

减少训练环节也是目标检测识别中的难点，目前一些基于人工神经网络和支持向量机的检测识别算法虽然识别准确度高，但计算量较大，且需要预先提供大量目标模板图像用于训练，在刑侦等目标模板信息较少的领域应用价值不高。

上述方法各有优缺点，如何针对特定应用场景对上述方法进行有效结合，目前的研究并不充分。这促使寻找一种适用于监控网络中刑侦工作的合理方法框架，在保证方法准确率的同时，提高方法速度，达到实时处理。

发明内容

本发明提供一种视频监控网络中指定行人或车辆的快速检测识别方法，以解决现有技术检测速度较慢，且大多需要提前在训练集上进行线下训练的问题。

为达到上述目的，本发明采用如下计的技术方案：一种视频监控网络中指定行人或车辆的快速检测识别方法，包括以下步骤：

步骤1：首先通过矩形框标定的方式从包含指定行人或车辆的图片或视频中框取待检测识别目标；

步骤2：对选定的目标模板图像进行归一化尺度变换，并计算目标模板图像的多种混合特征；

步骤3：为每个摄像头拍摄的监控视频开设独立的线程，对监控网络中各摄像头并行处理，利用高斯混合模型对各个摄像头所处的监控场景分别进行背景建模；

步骤4：利用面积滤波和形态学后处理提取各个摄像头中的运动前景目标；通过设定运动目标面积阈值来滤除面积过小的运动目标，以便过滤掉场景中不属于行人或车辆的其它运动物体；

步骤5：对各监控视频跳帧提取运动前景，对视频监控网络中所有符合初步处理要求的运动物体进行归一化尺度变换并计算多种混合特征，之后与目标模板图像进行加权相似性度量；

步骤6：按照与模板图像的相似性大小，将监控网络中各监控视频里的被检测运动物体的信息动态放入指定长度的结果向量V_result，当遍历所有监控视频后，返回该结果向量作为最终的检测识别结果。

进一步地，步骤2中所述的多种混合特征为主颜色特征、分块边缘方向直方图特征、分块HSV直方图特征、HoG特征和等价旋转不变LBP特征。其具体实现过程为：

步骤2.1：其中主颜色特征的生成过程为：

①将归一化尺度变换后的目标模板图像从RGB空间转换到HSV空间，仅提取图像在HSV空间中的色调分量；

②将色调分量的取值范围划分为8个区间，将目标模板图像的色调分量按照这8个区间投影成为8维H分量直方图chist，其中chist的第i个区间的取值chist_i由下式得到：

${\mathrm{chist}}_i=\underset{(x,y)\∈\mathrm{Rect}}{\mathrm{\Σ}}{\mathrm{\δ}}_i\left(h_{x,y}\right)$

其中h_x,y是指图像(x,y)坐标位置像素点的色调分量值，Rect是指目标模板图像或者运动前景检测出的前景区域，δ_i(h_x,y)定义如下：

${\mathrm{\δ}}_i\left(h_{x,y}\right)=\left\{\begin{array}{cc}1,& h_{x,y}\∈[45*i,45*(i+1))\\ 0,& \mathrm{otherwise}\end{array}\right.$

③分别计算8个色调区间的平均色调值c_i，并将8维直方图进行归一化处理，得到从8维归一化直方图中选取p_i最大的3维，用向量v_dc保存这3维所对应的c_i和p_i构成该目标的主颜色特征。因此主颜色特征v_dc共由6维组成，对应了目标图像中占比最大的3个颜色分量的色调值和所占百分比v_dc＝[c₁,p₁,c₂,p₂,c₃,p₃]；

步骤2.2：其中分块边缘方向直方图的生成过程为：

①首先将归一化尺度变换后的目标图像由RGB彩色图像转化为灰度图像，并分割成4×4共16块；

②利用Sobel水平边缘检测算子和Sobel垂直边缘检测算子对灰度图像进行滤波，得到每个像素点的水平边缘强度和垂直边缘强度，并利用它们得到每个像素点的边缘方向e_x,y和边缘强度|e_x,y|；

③将像素点根据边缘方向和强度分成五种类型：水平边缘、垂直边缘、45°边缘、135°边缘以及无方向边缘；利用前面的四种边缘来构建边缘方向直方图；

④设定无方向边缘阈值T_e，在每个分块中，对所有边缘强度大于T_e的像素点按照边缘方向进行直方图统计，生成4维边缘方向直方图；4×4个分块共生成64维边缘方向直方图，将这64维向量保存为局部边缘方向特征ehist^l；再将16个分块中的4维边缘方向直方图进行累加，构成整幅目标图像的4维全局边缘方向特征ehist^g；将他们合并成68维向量，保存为分块边缘方向直方图特征v_ed；

步骤2.3：其中分块HSV直方图的生成过程为：

①将归一化尺度变换后的目标模板图像或运动前景图像由RGB色彩空间投影到HSV色彩空间，并将图像从上至下水平等分成4块；

②分别计算4个分块内的HSV直方图，其中色调分量分成16个区间，饱和度分量和亮度分量各分为4个区间，每个分块最终得到24维直方图特征；将4个24维直方图拼接构成整幅图像的96维分块HSV直方图；

步骤2.4：其中HoG特征的生成过程为：

①将归一化尺度变换后的目标模板图像转化为灰度图像，并对灰度图像进行Gamma校正，降低局部阴影和光照变化对特征提取过程的影响；

②用[-1,0,1]梯度算子对图像做卷积运算，得到每个像素点的水平梯度G_x(x,y)，再用[1,0,-1]^T梯度算子对图像做卷积运算，得到每个像素点的垂直梯度G_y(x,y)；并利用水平梯度和垂直梯度计算梯度幅值和梯度方向：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{dir}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

③将图像分割成多个8×8像素的细胞单元，将梯度方向按取值范围平均划分为9个区间，按照细胞单元中每个像素点的梯度方向，生成9维梯度直方图；

④设定每4个相邻的细胞单元组成一个分块，即每个分块有16×16像素，且分块间可相互重叠；将每个分块中4个细胞单元的9维梯度直方图串联，得到36维的分块描述向量；

⑤设定64×64的窗口，将窗口沿垂直方向从上往下滑动，滑动间隔为8个像素点，将窗口所包含的所有分块的描述向量进行串联，构成整个窗口的描述向量，再将所有窗口的描述向量进行串联，最终得到HoG特征向量v_hog；

步骤2.5：其中等价旋转不变LBP特征的生成过程为：

①将归一化尺度变换后的目标模板图像或运动前景图像转化为灰度图像，对于图中每个像素点，比较其与周围8个相邻像素点的灰度值大小，邻居点灰度值大于该像素点则置为1，反之则置为0；再从12点钟位置开始按顺时针方向将8个数字串联成一个8位2进制数，计算公式如下：

${\mathrm{LBP}}_{P,R}=\underset{y=0}{\overset{P-1}{\mathrm{\Σ}}}s(g_y-g_c)2^y$

$s\left(x\right)=\left\{\begin{array}{cc}1,& x\&GreaterEqual;0\\ 0,& x<0\end{array}\right.$

其中，P为邻居数，R为半径大小，g_y和g_c分别为邻居像素点的灰度值和中心位置像素点的灰度值；

②将得到的每个8位2进制数首尾相连，形成一个环形，将该环形顺时针旋转7次，一共可以得到8组8位2进制数，选取8组2进制数中值最小的2进制数，该数即为像素点对应的旋转不变LBP值；

③将由步骤②得到的旋转不变LBP值分为两类，其中0-1转换次数不多于2次的归为一类，称为一致LBP算子；将其余的2进制数都归为另一类；通过上述分类，一致旋转不变LBP算子共有9种，非一致LBP算子共有1种；

④将图像分割成多个16×16像素的小块，计算每个小块中像素点LBP值，构成一个10维的等价旋转不变LBP直方图；将所有小块的LBP直方图进行串联，最终得到840维的等价旋转不变LBP特征v_LBP；

进一步地，步骤4中所述的利用面积滤波和形态学后处理提取各个摄像头中的前景目标，其具体实现包括如下子步骤：

步骤4.1：对混合高斯背景建模和阈值化处理后的二值化图像进行一次面积滤波；

步骤4.2：对二值化图像用3×3模板进行3次膨胀操作；

步骤4.3：对二值化图像再用3×3模板进行1次腐蚀操作；

步骤4.4：对二值化图像最后再进行一次面积滤波。

步骤4中所述的面积滤波是指将二值化图像分割成多个4×4像素点的小块，若某个小块中前景像素点的个数小于等于3时，则将该小块中所有像素点定义为背景像素点，反之则保留该小块中的前景像素点；

步骤4中所述的通过设定运动目标面积阈值来滤除面积过小的运动目标，其具体实现过程为：找出处理后二值化图像中所有的连通区域，计算每个连通区域前景像素点的个数，设定面积阈值Th_c为视频帧图像面积的1/400，若连通区域的面积大于Th_c则保留连通区域，并返回包含该连通区域的最小矩形框作为运动前景区域；若连通区域面积小于等于Th_c则将该连通区域设为背景区域。

进一步地，步骤5中所述的对各监控视频跳帧提取运动前景，其具体实现过程为：根据用户设定的跳帧数F，每隔F帧再将步骤4中提取的运动前景物体逐一与目标模板图像进行加权相似性度量；

步骤5中所述的加权相似性度量，其具体实现过程为：先分别计算运动前景物体与目标模板图像的主颜色特征距离D_dc、分块边缘方向直方图特征距离D_ed、分块HSV直方图特征距离D_hsv、HoG特征距离D_hog和等价旋转不变LBP特征距离D_LBP，再将五种特征的距离进行归一化加权相似性度量，得到加权相似性距离D_all：

其中α,β,γ,λ,为归一化加权系数，用于平衡各特征对整体相似性度量的影响，根据特定环境预先进行测试来调整。

进一步地，步骤6所述的将监控网络中各监控视频里的被检测运动物体的信息动态放入指定长度的结果向量V_result，其具体实现包括如下子步骤：

步骤6.1：创建一个具有指定长度N的向量V_result，其中N为需要返回的监控视频网络中与指定行人或车辆模板图像最接近的物体个数；

步骤6.2：当监控视频网络中有新的运动前景被检测出，首先判断V_result中保存的物体个数；

步骤6.3：若V_result中保存的物体数小于N，当物体与目标模板图像的加权相似性距离D_all满足预先设定的相似性阈值Th_all时，则将该物体的所处摄像头编号、出现帧数、出现矩形框在该帧中的坐标位置以及归一化尺度变换后的物体图像等信息保留在向量V_result中；

步骤6.4：若V_result中保存的物体数已经达到N，且当物体与目标模板图像的加权相似性距离D_all满足预先设定的相似性阈值Th_all时，则用该物体得到的加权相似性距离D_all与V_result中与目标模板距离最大的物体得到的加权相似性距离相比较，若则用该物体替代V_result中与目标模板距离最大的物体，并将V_result中保存的N个物体按照与目标模板相似性距离从小到大重新排序；

步骤6.5：遍历监控网络中所有摄像头拍摄的监控视频后，返回的V_result向量中保存着整个监控网络中与指定行人或车辆模板图像最接近的N个物体，并包含它们各自所处的摄像头编号、出现的帧数、出现矩形框在该帧中的坐标位置以及归一化尺度变换后的物体图像信息。

本发明的原理是，监控视频网络中的行人或车辆必定在某个时间段存在运动的过程才能进入和离开监控范围，且监控摄像头都具有固定的视角，因此如果要对指定行人或车辆进行快速检测识别，只需对网络中每个摄像头分别进行背景建模，提取各个摄像头中运动的前景物体，经过初步的筛选后，对每个摄像头单独开设线程，用指定行人或车辆的模板图像与初选后的运动物体进行多特征加权融合相似性度量，再对每个摄像头中的相似性结果进行汇总排序，即可得到整个监控网络中与指定行人或车辆最相似的前N个运动物体，作为快速检测识别的结果；由于监控视频中相邻几帧中包含的运动前景一般不会有太大的变化，因此本发明可以在背景建模和相似性度量的过程中进行跳帧处理，每隔F帧进行一次运动前景相似性度量，以此进一步加快系统的运算速度。

本发明具有以下优点和积极效果：

1)与现有技术相比，本发明利用了监控摄像头视角固定和行人或车辆必定存在运动过程这两点特性，采用前景分析的方法来初步确定目标检测范围，相比多尺度搜索算法，能够有效的缩小检测识别的目标范围，提高检测识别的效率；

2)本发明综合利用各种特征，同时考虑指定行人或车辆与各个运动前景在颜色、形状、纹理等多方面的相似性程度，并对多方面信息进行加权融合；

3)本发明只需要单一目标模板作为输入即可，不需要提供被检测目标的数据库用于训练，大大增加了该方法在实际应用中的可行性；

4)本发明引入了多摄像头并行处理和跳帧处理等算法，从而使本发明在复杂场景中既可以准确鲁棒地完成指定行人或车辆的检测识别，又能有效地降低方法的运算时间。

附图说明

图1为本发明的整体流程示意图；

图2(a)为本发明的监控场景示意图；

图2(b)为本发明的混合高斯背景建模结果图；

图2(c)为本发明的形态学后处理结果图；

图2(d)为本发明的运动前景分割最终结果图；

图3为本发明指定目标模板图像示意图；

图4为本发明指定目标快速检测识别结果图；

具体实施方式

下面结合具体实施例，进一步阐述此发明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本发明所选择的软件环境：Windows7.0操作系统，VS2010开发平台，C/C++开发语言，OpenCV2.3.1开发包。

本实施例对某监控网络进行处理。该监控网络中视频场景较为复杂，存在大量运动物体，且运动物体之间会有相互遮挡，各摄像头之间也由于参数和位置关系，存在着光照变化和色差。

请见图1，本发明所采用的技术方案是：一种视频监控网络中的指定行人或车辆的快速检测识别方法，包括以下步骤：

步骤1：首先通过矩形框标定的方式从包含指定行人或车辆的图片或视频中框取待检测识别目标；

用户由人机接口提供包含指定行人或车辆的图片或监控视频数据，利用矩形框标定的方法，从该图片或视频帧图像中框取指定行人或车辆所处的位置，将矩形框所包含的区域单独分割成一幅图像。

步骤2：对选定的目标模板图像进行归一化尺度变换，并计算目标模板图像的多种混合特征；

将目标模板图像归一化尺度变换为64×128像素大小，分别计算目标模板图像的主颜色特征、分块边缘方向直方图特征、分块HSV直方图特征、HoG特征和等价旋转不变LBP特征，以从颜色、形状、纹理等多方面对指定行人或车辆进行表达。

步骤2.1：其中主颜色特征的生成过程为：

①将归一化尺度变换后的目标模板图像从RGB空间转换到HSV空间，仅提取图像在HSV空间中的色调分量；主颜色特征只采用色调分量进行计算相当于只考虑目标的色彩组成，从而使特征对不同摄像头的光照变化和饱和度差异不敏感，以此增强特征的鲁棒性。

②将色调分量的取值范围划分为8个区间，将目标模板图像的色调分量按照这8个区间投影成为8维H分量直方图chist，其中chist的第i个区间的取值chist_i由下式得到：

${\mathrm{chist}}_i=\underset{(x,y)\&Element;\mathrm{Rect}}{\mathrm{\&Sigma;}}{\mathrm{\&delta;}}_i\left(h_{x,y}\right)$

其中h_x,y是指图像(x,y)坐标位置像素点的色调分量值，Rect是指目标模板图像或者运动前景检测出的前景区域。δ_i(h_x,y)定义如下：

${\mathrm{\&delta;}}_i\left(h_{x,y}\right)=\left\{\begin{array}{cc}1,& h_{x,y}\&Element;[45*i,45*(i+1))\\ 0,& \mathrm{otherwise}\end{array}\right.$

③分别计算8个色调区间的平均色调值c_i，并将8维直方图进行归一化处理，得到从8维归一化直方图中选取p_i最大的3维，用向量v_dc保存这3维所对应的c_i和p_i构成该目标的主颜色特征。因此主颜色特征v_dc共由6维组成，对应了目标图像中占比最大的3个颜色分量的色调值和所占百分比v_dc＝[c₁,p₁,c₂,p₂,c₃,p₃]

给定两个主颜色特征向量，则它们之间的距离D_dc定义如下：

$D_{\mathrm{dc}}(v_{\mathrm{dc}},v_{\mathrm{dc}}^{\&prime;})=\sqrt{\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{p}_i^2+\underset{j=1}{\overset{3}{\mathrm{\&Sigma;}}}{p}_j^{\&prime;2}-\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{3}{\mathrm{\&Sigma;}}}2a_{i,j}{p}_i{p}_j^{\&prime;}}$

上式中的a_i,j用来表征颜色分量c_i和c_j的相似程度，其通过以下公式进行定义：

$a_{i,j}=\left\{\begin{array}{cc}1-\frac{d_{i,j}}{d_{\max }},& i{\mathrm{f\; d}}_{i,j}\&le;T_d\\ 0,& \mathrm{ohterwise}\end{array}\right.$

在本实例中T_d＝25，d_max＝50。

步骤2.2：其中分块边缘方向直方图的生成过程为：

①首先将归一化尺度变换后的目标图像由RGB彩色图像转化为灰度图像，并分割成4×4共16块。

②利用Sobel水平边缘检测算子和Sobel垂直边缘检测算子对灰度图像进行滤波，得到每个像素点的水平边缘强度和垂直边缘强度，并利用它们得到每个像素点的边缘方向e_x,y和边缘强度|e_x,y|。

③常规的主颜色特征将像素点根据边缘方向和强度分成五种类型：水平边缘、垂直边缘、45°边缘、135°边缘以及无方向边缘；其中无方向边缘是指边缘强度小于某一特定阈值的像素点；由于无方向边缘像素点通常在整幅图像中占很大比例，因此在本发明中仅考虑前面的四种边缘来构成边缘方向直方图。

④设定无方向边缘阈值T_e，在本实例中T_e＝100。在每个分块中，对所有边缘强度大于T_e的像素点按照边缘方向进行直方图统计，生成4维边缘方向直方图。4×4个分块共生成64维边缘方向直方图，将这64维向量保存为局部边缘方向特征ehist^l；再将16个分块中的4维边缘方向直方图进行累加，构成整幅目标图像的4维全局边缘方向特征ehist^g；将他们合并成68维向量，保存为分块边缘方向直方图特征v_ed。

给定两个分块边缘方向直方图特征，则它们之间的距离D_ed定义为：

$D_{\mathrm{ed}}(v_{\mathrm{ed}},v_{\mathrm{ed}}^{\&prime;})=\underset{i=1}{\overset{64}{\mathrm{\&Sigma;}}}|{\mathrm{ehist}}_i^l-{\mathrm{ehist}}_i^{\&prime;l}|+5\&times;\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}|{\mathrm{ehist}}_i^g-{\mathrm{ehist}}_i^{\&prime;g}|$

相比于局部分量，本发明对全局分量赋予了更大的权重。

步骤2.3：其中分块HSV直方图的生成过程为：

①将归一化尺度变换后的目标模板图像或运动前景图像由RGB色彩空间投影到HSV色彩空间，并将图像从上至下水平等分成4块。

②分别计算4个分块内的HSV直方图，其中色调分量分成16个区间，饱和度分量和亮度分量各分为4个区间，因此每个分块最终得到24维直方图特征。将4个24维直方图拼接构成整幅图像的96维分块HSV直方图。

为了适应车辆和行人检测识别的应用场景，即目标模板或运动前景图像中最上端和最下端可能包含有一些背景元素，而中间部分主要为车身或行人服装等重要信息，本实例在度量两分块HSV直方图特征之间的距离时给中间两层分块赋予了更大的权重。

给定两个分块HSV直方图特征，它们之间距离D_hsv定义如下：

D_hsv(v_hsv,v′_hsv)＝0.8·d(hist₁,hist₁′)+1.2·d(hist₂,hist′₂)+1.0·d(hist₃,hist₃′)+0.8·d(hist₄,hist′₄)

其中d(hist,hist′)在本实例中定义为卡方距离：

$d(\mathrm{hist},{\mathrm{hist}}^{\&prime;})=\underset{i=1}{\overset{24}{\mathrm{\&Sigma;}}}\frac{{({\mathrm{hist}}_i-{\mathrm{hist}}_i^{\&prime;})}^2}{{\mathrm{hist}}_i+{\mathrm{hist}}_i^{\&prime;}}$

步骤2.4：其中HoG特征的生成过程为：

①将归一化尺度变换后的目标模板图像转化为灰度图像，并对灰度图像进行Gamma校正，降低局部阴影和光照变化对特征提取过程的影响。

②用[-1,0,1]梯度算子对图像做卷积运算，得到每个像素点的水平梯度G_x(x,y)，再用[1,0,-1]^T梯度算子对图像做卷积运算，得到每个像素点的垂直梯度G_y(x,y)；并利用水平梯度和垂直梯度计算梯度幅值和梯度方向：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{dir}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

③将图像分割成多个8×8像素的细胞单元，在本实例中每幅图像将被分割成128个细胞单元，将梯度方向按取值范围平均划分为9个区间，按照细胞单元中每个像素点的梯度方向，生成9维梯度直方图。

④设定每4个相邻的细胞单元组成一个分块，即每个分块有16×16像素，且分块间可相互重叠；将每个分块中4个细胞单元的9维梯度直方图串联，得到36维的分块描述向量。

⑤设定64×64的窗口，将窗口沿垂直方向从上往下滑动，滑动间隔为8个像素点，将窗口所包含的所有分块的描述向量进行串联，构成整个窗口的描述向量，再将所有窗口的描述向量进行串联，最终得到HoG特征向量v_hog；本实施例中生成的HoG特征有15876维，Hog特征向量之间的距离度量采用卡方距离：

$D_{\mathrm{hog}}(v_{\mathrm{hog}},v_{\mathrm{hog}}^{\&prime;})=\underset{i=1}{\overset{15876}{\mathrm{\&Sigma;}}}\frac{{(v_{\mathrm{hog}}\left(i\right)-v_{\mathrm{hog}}^{\&prime;}\left(i\right))}^2}{v_{\mathrm{hog}}\left(i\right)+v_{\mathrm{hog}}^{\&prime;}\left(i\right)}$

步骤2.5：其中等价旋转不变LBP特征的生成过程为：

①将归一化尺度变换后的目标模板图像或运动前景图像转化为灰度图像，对于图中每个像素点，比较其与周围8个相邻像素点的灰度值大小，邻居点灰度值大于该像素点则置为1，反之则置为0，再从12点钟位置开始按顺时针方向将8个数字串联成一个8位2进制数。计算公式如下：

${\mathrm{LBP}}_{P,R}=\underset{y=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_y-g_c)2^y$

$s\left(x\right)=\left\{\begin{array}{cc}1,& x\&GreaterEqual;0\\ 0,& x<0\end{array}\right.$

其中，P为邻居数，本实例中设为8，R为半径大小，本实例中设为1，g_y和g_c分别为邻居像素点的灰度值和中心位置像素点的灰度值。

②将得到的每个8位2进制数首尾相连，形成一个环形，将该环形顺时针旋转7次，一共可以得到8组8位2进制数，选取8组2进制数中值最小的2进制数，该数即为像素点对应的旋转不变LBP值；通过该步骤，可能的2进制输出由2⁸减少为36种，且得到的LBP值对图像的旋转具有鲁棒性。

③将由步骤②得到的旋转不变LBP值分为两类，其中0-1转换次数不多于2次的归为一类，称为一致LBP算子；将其余的2进制数都归为另一类；通过上述分类，一致旋转不变LBP算子共有9种，非一致LBP算子共有1种。

④将图像分割成多个16×16像素的小块，计算每个小块中像素点LBP值，构成一个10维的等价旋转不变LBP直方图；将所有小块的LBP直方图进行串联，最终得到840维的等价旋转不变LBP特征v_LBP；等价旋转不变LBP特征之间的距离D_LBP同样采用卡方距离进行度量：

$D_{\mathrm{LBP}}(v_{\mathrm{LBP}},v_{\mathrm{LBP}}^{\&prime;})=\underset{i=1}{\overset{840}{\mathrm{\&Sigma;}}}\frac{{(v_{\mathrm{LBP}}\left(i\right)-v_{\mathrm{LBP}}^{\&prime;}\left(i\right))}^2}{v_{\mathrm{LBP}}\left(i\right)+v_{\mathrm{LBP}}^{\&prime;}\left(i\right)}$

步骤3：为每个摄像头拍摄的监控视频开设独立的线程，对监控网络中各摄像头并行处理，利用高斯混合模型对各个摄像头所处的监控场景分别进行背景建模；

监控网络中的每个摄像头都有固定的视频场景，视频场景中每一个像素点的灰度值可以用混合高斯模型来描述

$P\left(X_t\right)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k^t\&CenterDot;\mathrm{\&eta;}(X_t,{\mathrm{\&mu;}}_k^t,{\mathrm{\&Sigma;}}_k^t)$

其中，η为高斯概率密度函数，K为混合高斯模型中高斯函数的个数上限，在本实例中K设定为5，和分别为第k个高斯模型在t帧时刻的权重、均值和方差。

本发明中每个摄像头的混合高斯背景建模过程通过单独开设线程实现并行计算。利用高斯混合模型进行背景建模的具体步骤如下：

①以监控视频第一帧各像素点的灰度值来初始化每个像素的混合高斯模型。此时混合高斯模型只有一个高斯函数被初始化，其均值即为当前像素的灰度值，方差被设定为固定值σ²＝30，高斯的权值设为0.05.

②当读入新的一帧图像时，按高斯函数权值由大至小的顺序查看各高斯函数是否与此像素的灰度值相匹配。即像素灰度值与该高斯函数均值的差异不超过Th_d＝2.5·σ＝13.69。如果找到匹配的高斯函数，则跳转至步骤③。若此灰度与任何一个高斯函数都不匹配，则按照步骤①重新初始化一个新的高斯函数。当混合模型中存在未初始化的高斯函数时，直接用新的高斯函数来初始化；当设定的K个高斯函数都被使用时，则用此新的高斯函数来替换当前混合模型中权值最小的高斯函数。

③当确定好当前像素灰度值对应的高斯函数后，需要对混合模型中每个已经使用的高斯函数的权值、均值和方差进行更新。背景的建模与更新需要一定的时间积累，规定此时间窗口长度L＝200。当视频读入的帧数小于200时，高斯函数更新公式为：

${\hat{w}}_k^{N+1}\text{=}{\hat{w}}_k^N+\frac{1}{N+1}(\hat{p}\left({\mathrm{\&omega;}}_k\right|X_{N+1})-{\hat{w}}_k^N)$

${\widehat{\mathrm{\&mu;}}}_k^{N+1}={\widehat{\mathrm{\&mu;}}}_k^N+\frac{\hat{p}\left({\mathrm{\&omega;}}_k\right|X_{N+1})}{\underset{i=1}{\overset{N+1}{\mathrm{\&Sigma;}}}\hat{p}\left({\mathrm{\&omega;}}_k\right|X_i)}(X_{N+1}-{\widehat{\mathrm{\&mu;}}}_k^N)$

${\widehat{\mathrm{\&Sigma;}}}_k^{N+1}={\widehat{\mathrm{\&Sigma;}}}_k^N+\frac{\hat{p}\left({\mathrm{\&omega;}}_k\right|X_{N+1})}{\underset{i=1}{\overset{N+1}{\mathrm{\&Sigma;}}}\hat{p}\left({\mathrm{\&omega;}}_k\right|X_i)}((X_{N+1}-{\widehat{\mathrm{\&mu;}}}_k^N){(X_{N+1}-{\widehat{\mathrm{\&mu;}}}_k^N)}^T-{\widehat{\mathrm{\&Sigma;}}}_k^N)$

其中，N为帧数，ω_k用于记录第k个高斯函数在权值降序排列中的序号。为二值函数，当ω_k与匹配的高斯函数序号相同时，其值为1，否则为0。

当帧数超过时间窗口长度L后，更新公式为：

${\hat{w}}_k^{N+1}\text{=}{\hat{w}}_k^N+\frac{1}{L}(\hat{p}\left({\mathrm{\&omega;}}_k\right|X_{N+1})-{\hat{w}}_k^N)$

${\widehat{\mathrm{\&mu;}}}_k^{N+1}={\widehat{\mathrm{\&mu;}}}_k^N+\frac{1}{L}(\frac{\hat{p}\left({\mathrm{\&omega;}}_k\right|X_{N+1})X_{N+1}}{{\hat{w}}_k^{N+1}}-{\widehat{\mathrm{\&mu;}}}_k^N)$

${\widehat{\mathrm{\&Sigma;}}}_k^{N+1}={\widehat{\mathrm{\&Sigma;}}}_k^N+\frac{1}{L}(\frac{\hat{p}\left({\mathrm{\&omega;}}_k\right|X_{N+1})(X_{N+1}-{\widehat{\mathrm{\&mu;}}}_k^N){(X_{N+1}-{\widehat{\mathrm{\&mu;}}}_k^N)}^T}{{\hat{w}}_k^{N+1}}-{\widehat{\mathrm{\&Sigma;}}}_k^N)$

更新完毕后，再对混合高斯模型中各高斯函数的权值进行归一化处理。

④把各个高斯函数按照其更新后的权重由大到小排序，确定权重相加大于Th_w＝0.7的前B个高斯函数为描述背景的高斯函数。若与当前像素匹配的高斯函数排在前B位，则判断该像素为背景像素，反之，则为前景像素。

步骤4：利用面积滤波和形态学后处理提取各个摄像头中的运动前景目标；通过设定运动目标面积阈值来滤除面积过小的运动目标，以便过滤掉场景中不属于行人或车辆的其它运动物体；

对混合高斯模型得到的二值化图像进行面积滤波和形态学处理可以去除噪声和孔洞，其具体实现包括如下子步骤：

步骤4.1：对混合高斯背景建模和阈值化处理后的二值化图像进行一次面积滤波；

步骤4.2：对二值化图像用3×3模板进行3次膨胀操作；

步骤4.3：对二值化图像再用3×3模板进行1次腐蚀操作；

步骤4.4：对二值化图像最后再进行一次面积滤波。

其中面积滤波是指将二值化图像分割成多个4×4像素点的小块，若某个小块中前景像素点的个数小于等于3时，则将该小块中所有像素点定义为背景像素点，反之则保留该小块中的前景像素点；

步骤4中所述的通过设定运动目标面积阈值来滤除面积过小的运动目标，其具体实现过程为：找出处理后二值化图像中所有的连通区域，计算每个连通区域前景像素点的个数，设定面积阈值Th_c为视频帧图像面积的1/400，若连通区域的面积大于Th_c则保留连通区域，并返回包含该连通区域的最小矩形框作为运动前景区域；若连通区域面积小于等于Th_c则将该连通区域设为背景区域。

步骤5：对各监控视频跳帧提取运动前景，对视频监控网络中所有符合初步处理要求的运动物体进行归一化尺度变换并计算多种混合特征，之后与目标模板图像进行加权相似性度量；

由于监控视频网络中的视频序列每一秒包含25帧，因此无论行人还是车辆在相邻几帧中都会重复出现，为了加快算法速度，本发明引入跳帧算法，即根据用户设定的跳帧数F，每隔F帧再将步骤4中提取的运动前景物体逐一与目标模板图像进行加权相似性度量。本实例中设定F＝3。

将运动前景图像进行归一化尺度变换，转化为64×128像素图像，并按照步骤2中的方法分别计算运动前景的主颜色特征、分块边缘方向直方图特征、分块HSV直方图特征、HoG特征和等价旋转不变LBP特征。

对于所述的加权相似性度量，其具体实现过程为：先分别利用各特征之间距离度量的定义计算运动前景物体与目标模板图像的主颜色特征距离D_dc、分块边缘方向直方图特征距离D_ed、分块HSV直方图特征距离D_hsv、HoG特征距离D_hog和等价旋转不变LBP特征距离D_LBP，再将五种特征的距离进行归一化加权相似性度量，得到加权相似性距离D_all：

其中α,β,γ,λ,为归一化加权系数，用于平衡各特征对整体相似性度量的影响，根据特定环境预先进行测试来调整。在本实例中它们的取值分别为10,1,5,1.2和1。

步骤6：按照与模板图像的相似性大小，将监控网络中各监控视频里的被检测运动物体的信息动态放入指定长度的结果向量V_result，当遍历所有监控视频后，返回该结果向量作为最终的检测识别结果。

进一步地，步骤6所述的将监控网络中各监控视频里的被检测运动物体的信息动态放入指定长度的结果向量V_result，其具体实现包括如下子步骤：

步骤6.1：创建一个具有指定长度N的向量V_result，其中N为需要返回的监控视频网络中与指定行人或车辆模板图像最接近的物体个数；

步骤6.2：当监控视频网络中有新的运动前景被检测出，首先判断V_result中保存的物体个数；

步骤6.3：若V_result中保存的物体数小于N，当物体与目标模板图像的加权相似性距离D_all满足预先设定的相似性阈值Th_all时，则将该物体的所处摄像头编号、出现帧数、出现矩形框在该帧中的坐标位置以及归一化尺度变换后的物体图像等信息保留在向量V_result中；

步骤6.4：若V_result中保存的物体数已经达到N，且当物体与目标模板图像的加权相似性距离D_all满足预先设定的相似性阈值Th_all时，则用该物体得到的加权相似性距离D_all与V_result中与目标模板距离最大的物体得到的加权相似性距离相比较，若则用该物体替代V_result中与目标模板距离最大的物体，并将V_result中保存的N个物体按照与目标模板相似性距离从小到大重新排序；

步骤6.5：遍历监控网络中所有摄像头拍摄的监控视频后，返回的V_result向量中保存着整个监控网络中与指定行人或车辆模板图像最接近的N个物体，并包含它们各自所处的摄像头编号、出现的帧数、出现矩形框在该帧中的坐标位置以及归一化尺度变换后的物体图像信息。

在本实例中N＝4，并且Th_all＝50。

实施效果

依据上述步骤，对监控网络中的视频进行指定行人或车辆的快速检测和识别。图2给出了运动前景分割各个阶段的结果图，从图2(c)可以看到通过混合高斯背景建模、面积滤波以及形态学后处理，运动前景区域已经被较为准确的估计；在图2(d)中，通过将面积过小的连通区域滤除，最终结果准确返回了场景中所有运动前景物体所处的矩形框。

图3是本实例中某指定行人模板图像示意图，图4为本发明针对该模板图像返回的检索识别结果图。可以看出，4个返回结果都是对目标模板图像的正确匹配，即使人物姿态和所处背景发生了改变，本发明还是能从复杂场景中找到正确结果。

本实例中所有实验均在普通PC计算机上实现，计算机参数：中央处理器Interl(R)Core(TM)i3-2100 CPU3.10GHz，内存4GB。监控视频的处理速度与场景中运动物体的密集程度有关，在本实例中平均每帧的处理速度为29ms，加上跳帧操作和并行处理，可以实时对监控网络中的指定行人或车辆进行快速检测识别。

Claims (5)

1.一种视频监控网络中的指定行人或车辆的快速检测识别方法，其特征在于，包括如下步骤： 

步骤1：首先通过矩形框标定的方式从包含指定行人或车辆的图片或视频中框取待检测识别目标； 

步骤2：对选定的目标模板图像进行归一化尺度变换，并生成目标模板图像的多种混合特征； 

步骤3：为每个摄像头拍摄的监控视频开设独立的线程，对监控网络中各摄像头并行处理，利用高斯混合模型对各个摄像头所处的监控场景分别进行背景建模； 

步骤4：利用面积滤波和形态学后处理提取各个摄像头中的运动前景目标；通过设定运动目标面积阈值来滤除面积过小的运动目标，以便过滤掉场景中不属于行人或车辆的其它运动物体； 

步骤5：对各监控视频跳帧提取运动前景，对视频监控网络中所有符合初步处理要求的运动物体进行归一化尺度变换并计算多种混合特征，之后与目标模板图像进行加权相似性度量； 

步骤6：按照与模板图像的相似性大小，将监控网络中各监控视频里的被检测运动物体的信息动态放入指定长度的结果向量V_result，当遍历所有监控视频后，返回该结果向量作为最终的检测识别结果。 

2.根据权利要求1所述的视频监控网络中的指定行人或车辆的快速检测识别方法，其特征在于：步骤2中所述的多种混合特征为主颜色特征、分块边缘方向直方图特征、分块HSV直方图特征、HoG特征和等价旋转不变LBP特征，其具体生成过程为： 

步骤2.1：其中主颜色特征的生成过程为： 

①将归一化尺度变换后的目标模板图像从RGB空间转换到HSV空间，仅提取图像在HSV空间中的色调分量； 

②将色调分量的取值范围划分为8个区间，将目标模板图像的色调分量按照这8个区间投影成为8维H分量直方图chist，其中chist的第i个区间的取值chist_i由下式得到： 

其中h_x,y是指图像(x,y)坐标位置像素点的色调分量值，Rect是指目标模板图像或者运动前景检测出的前景区域，δ_i(h_x,y)定义如下： 

③分别计算8个色调区间的平均色调值c_i，并将8维直方图进行归一化处理，得到 从8维归一化直方图中选取p_i最大的3维，用向量v_dc保存这3维所对应的c_i和p_i构成该目标的主颜色特征。因此主颜色特征v_dc共由6维组成，对应了目标图像中占比最大的3个颜色分量的色调值和所占百分比v_dc＝[c₁,p₁,c₂,p₂,c₃,p₃]； 

步骤2.2：其中分块边缘方向直方图的生成过程为： 

①首先将归一化尺度变换后的目标图像由RGB彩色图像转化为灰度图像，并分割成4×4共16块； 

②利用Sobel水平边缘检测算子和Sobel垂直边缘检测算子对灰度图像进行滤波，得到每个像素点的水平边缘强度和垂直边缘强度，并利用它们得到每个像素点的边缘方向e_x,y和边缘强度|e_x,y|； 

③将像素点根据边缘方向和强度分成五种类型：水平边缘、垂直边缘、45°边缘、135°边缘以及无方向边缘；利用前面的四种边缘来构建边缘方向直方图； 

④设定无方向边缘阈值T_e，在每个分块中，对所有边缘强度大于T_e的像素点按照边缘方向进行直方图统计，生成4维边缘方向直方图；4×4个分块共生成64维边缘方向直方图，将这64维向量保存为局部边缘方向特征ehist^l；再将16个分块中的4维边缘方向直方图进行累加，构成整幅目标图像的4维全局边缘方向特征ehist^g；将他们合并成68维向量，保存为分块边缘方向直方图特征v_ed； 

步骤2.3：其中分块HSV直方图的生成过程为： 

①将归一化尺度变换后的目标模板图像或运动前景图像由RGB色彩空间投影到HSV色彩空间，并将图像从上至下水平等分成4块； 

②分别计算4个分块内的HSV直方图，其中色调分量分成16个区间，饱和度分量和亮度分量各分为4个区间，每个分块最终得到24维直方图特征；将4个24维直方图拼接构成整幅图像的96维分块HSV直方图； 

步骤2.4：其中HoG特征的生成过程为： 

①将归一化尺度变换后的目标模板图像转化为灰度图像，并对灰度图像进行Gamma校正，降低局部阴影和光照变化对特征提取过程的影响； 

②用[-1,0,1]梯度算子对图像做卷积运算，得到每个像素点的水平梯度G_x(x,y)，再用[1,0,-1]^T梯度算子对图像做卷积运算，得到每个像素点的垂直梯度G_y(x,y)；并利用水平梯度和垂直梯度计算梯度幅值和梯度方向： 

③将图像分割成多个8×8像素的细胞单元，将梯度方向按取值范围平均划分为9个区间，按照细胞单元中每个像素点的梯度方向，生成9维梯度直方图； 

④设定每4个相邻的细胞单元组成一个分块，即每个分块有16×16像素，且分块间可相互重叠；将每个分块中4个细胞单元的9维梯度直方图串联，得到36维的分块描述向量； 

⑤设定64×64的窗口，将窗口沿垂直方向从上往下滑动，滑动间隔为8个像素点，将窗口所包含的所有分块的描述向量进行串联，构成整个窗口的描述向量，再将所有窗口的描述向量进行串联，最终得到HoG特征向量v_hog； 

步骤2.5：其中等价旋转不变LBP特征的生成过程为： 

①将归一化尺度变换后的目标模板图像或运动前景图像转化为灰度图像，对于图中每个像素点，比较其与周围8个相邻像素点的灰度值大小，邻居点灰度值大于该像素点则置为1，反之则置为0；再从12点钟位置开始按顺时针方向将8个数字串联成一个8位2进制数，计算公式如下： 

其中，P为邻居数，R为半径大小，g_y和g_c分别为邻居像素点的灰度值和中心位置像素点的灰度值； 

②将得到的每个8位2进制数首尾相连，形成一个环形，将该环形顺时针旋转7次，一共可以得到8组8位2进制数，选取8组2进制数中值最小的2进制数，该数即为像素点对应的旋转不变LBP值； 

③将由步骤②得到的旋转不变LBP值分为两类，其中0-1转换次数不多于2次的归为一类，称为一致LBP算子；将其余的2进制数都归为另一类；通过上述分类，一致旋转不变LBP算子共有9种，非一致LBP算子共有1种； 

④将图像分割成多个16×16像素的小块，计算每个小块中像素点LBP值，构成一个10维的等价旋转不变LBP直方图；将所有小块的LBP直方图进行串联，最终得到840维的等价旋转不变LBP特征v_LBP。 

3.根据权利要求1所述的视频监控网络中的指定行人或车辆的快速检测识别方法，其特征在于：步骤4中所述的利用面积滤波和形态学后处理提取各个摄像头中的前景目标，其具体实现包括如下子步骤： 

步骤4.1：对混合高斯背景建模和阈值化处理后的二值化图像进行一次面积滤波； 

步骤4.2：对二值化图像用3×3模板进行3次膨胀操作； 

步骤4.3：对二值化图像再用3×3模板进行1次腐蚀操作； 

步骤4.4：对二值化图像最后再进行一次面积滤波； 

步骤4中所述的面积滤波是指将二值化图像分割成多个4×4像素点的小块，若某个小块中前景像素点的个数小于等于3时，则将该小块中所有像素点定义为背景像素点，反之则保留该小块中的前景像素点； 

步骤4中所述的通过设定运动目标面积阈值来滤除面积过小的运动目标，其具体实现过程为：找出处理后二值化图像中所有的连通区域，计算每个连通区域前景像素点的个数，设定面积阈值Th_c为视频帧图像面积的1/400，若连通区域的面积大于Th_c则保留连通区域，并返回包含该连通区域的最小矩形框作为运动前景区域；若连通区域面积小于等于Th_c则将该连通区域设为背景区域。 

4.根据权利要求1所述的视频监控网络中的指定行人或车辆的快速检测识别方法，其特征在于：步骤5中所述的对各监控视频跳帧提取运动前景，其具体实现过程为：根据用户设定的跳帧数F，每隔F帧再将步骤4中提取的运动前景物体逐一与目标模板图像进行加权相似性度量； 

步骤5中所述的加权相似性度量，其具体实现过程为：先分别计算运动前景物体与目标模板图像的主颜色特征距离D_dc、分块边缘方向直方图特征距离D_ed、分块HSV直方图特征距离D_hsv、HoG特征距离D_hog和等价旋转不变LBP特征距离D_LBP，再将五种特征的距离进行归一化加权相似性度量，得到加权相似性距离D_all： 

其中α,β,γ,λ,为归一化加权系数，用于平衡各特征对整体相似性度量的影响，根据特定环境预先进行测试来调整。 

5.根据权利要求1所述的视频监控网络中的指定行人或车辆的快速检测识别方法，其特征在于：步骤6所述的将监控网络中各监控视频里的被检测运动物体的信息动态放入指定长度的结果向量V_result，其具体实现包括如下子步骤： 

步骤6.1：创建一个具有指定长度N的向量V_result，其中N为需要返回的监控视频网络中与指定行人或车辆模板图像最接近的物体个数； 

步骤6.2：当监控视频网络中有新的运动前景被检测出，首先判断V_result中保存的物体个数； 

步骤6.3：若V_result中保存的物体数小于N，当物体与目标模板图像的加权相似性距离D_all满足预先设定的相似性阈值Th_all时，则将该物体的所处摄像头编号、出现帧数、出现矩形框在该帧中的坐标位置以及归一化尺度变换后的物体图像等信息保留在向量V_result中； 

步骤6.4：若V_result中保存的物体数已经达到N，且当物体与目标模板图像的加权相似性距离D_all满足预先设定的相似性阈值Th_all时，则用该物体得到的加权相似性距离D_all与V_result中与目标模板距离最大的物体得到的加权相似性距离相比较，若 则用该物体替代V_result中与目标模板距离最大的物体，并将V_result中保存的N个物体按照与目标模板相似性距离从小到大重新排序； 

步骤6.5：遍历监控网络中所有摄像头拍摄的监控视频后，返回的V_result向量中保存着整个监控网络中与指定行人或车辆模板图像最接近的N个物体，并包含它们各自所处的摄像头编号、出现的帧数、出现矩形框在该帧中的坐标位置以及归一化尺度变换后的物体图像信息。