CN104954893B - 一种视频摘要生成的误检目标链条删除方法 - Google Patents

Abstract

本发明公开了一种视频摘要生成的误检目标链条删除方法，步骤包括：步骤1、对视频帧序列的每一帧，检测其运动目标；步骤2、计算运动掩模；步骤3、计算运动掩模的最大值；步骤4、判断该视频是否存在背景误检链条；步骤5、运动目标链生成；步骤6、删除误检的背景链条；步骤7、将删除了误检背景链条后的结果输出，即成。本发明的方法，使得所生成的视频摘要避免可因误检链条存在导致的不可删除冗余，提高了视频摘要的有效性。

Description

一种视频摘要生成的误检目标链条删除方法

技术领域

本发明属于智能监控视频处理技术领域，涉及一种视频摘要生成的误检目标链条删除方法。

背景技术

在海量视频中如何快速找出需要的目标已成为急需解决的问题，基于时空连续性的提取运动目标链的视频摘要生成方法能够实现此功能。

但是，由于监控环境的复杂性，在检测和跟踪运动目标时，不可避免地会将一些复杂背景的，如树叶晃动等一部分误检为运动目标，这会导致在监控中虽不存在有效运动目标，却检测到许多无意义的误检目标，同时也会导致目标链条的长度大大增加。这个问题的存在，会使得在生成视频摘要时，使排序耗时大大增加，导致有效运动目标过于稀疏，严重时甚至会导致视频摘要失效。

发明内容

本发明的目的在于提供一种视频摘要生成的误检目标链条删除方法，解决现有技术中由于复杂背景造成目标链条过冗余，使排序耗时大大增加，有效目标过于稀疏，严重时甚至会导致视频摘要失效的问题。

本发明所采用的技术方案是，一种视频摘要生成的误检目标链条删除方法，按照以下步骤实施：

步骤1、对视频帧序列的每一帧，检测其运动目标

假设读入的视频帧序列为{frame₁,frame₂,...,frame_T}，

其中每一帧frame_t＝[f_t(i,j)]_m×n的分辨率均为m×n，t＝1,2,...,T，T为读入的视频帧序列的长度，

采用单高斯背景建模，获得背景帧back＝[b(i,j)]_m×n，i＝1,2,...,m，j＝1,2,...,n，同时获得背景帧的标准差矩阵std_b＝[σ_b(i,j)]_m×n和均值矩阵mean_b＝[μ_b(i,j)]_m×n，

再采用背景差分法，检测出运动目标区域设为{object₁,object₂,...,object_T}，object_t＝[obj_t(i,j)]_m×n，计算公式如下：

其中，th(i,j)＝μ_b(i,j)+λ·σ_b(i,j)为目标检测阈值，λ为调整参数；

步骤2、计算运动掩模Mask＝[mask(i,j)]_m×n，计算公式如下：

步骤3、计算运动掩模的最大值max_mask，计算公式如下：

max_mask＝max{mask(i,j)|i＝1,2,...,m；j＝1,2,...,n}； (3)

步骤4、判断该视频是否存在背景误检链条

如果max_mask≥α·T，α是调整系数，则表明存在背景误检链条，转步骤5；

否则，转步骤7，结束处理；

步骤5、运动目标链生成

对步骤1检测出的每帧的运动目标{object₁,object₂,...,object_T}，根据相邻帧间运动目标连通域存在重叠的依据，获得每个运动目标从起始帧到终止帧信息，称之为目标链，目标链在每帧中的连通域，称之为团块，

假设从读入的视频帧序列中，获得的目标链集合为：

{chain₁,chain₂,...,chain_N}，

其中，N为目标链的个数，

则目标链表示为：

其中，为目标链在第s帧中的团块，k＝1,2,...,N，s＝1,2,...,T_k，T_k为该目标链所持续的帧数，即第k个链条的长度；

步骤6、删除误检的背景链条；

步骤7、将删除了误检背景链条后的结果输出，即成。

本发明的有益效果是，依据复杂背景干扰在监控视频中持续时间长，目标在视频相邻帧间的移动位置小的特点，提出了一种视频摘要生成中的误检目标链的删除方法，顺利解决了上述的问题，使得所生成的视频摘要避免可因误检链条存在导致的不可删除冗余，提高了视频摘要的有效性。

附图说明

图1是没有对树叶晃动这类误检背景链条删除所生成的视频摘要界面；

图2是采用本发明方法处理后的视频摘要帧画面效果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明视频摘要生成的误检目标链条删除方法，按照以下步骤实施：

步骤1、对视频帧序列的每一帧，检测其运动目标

假设读入的视频帧序列为{frame₁,frame₂,...,frame_T}，

其中每一帧frame_t＝[f_t(i,j)]_m×n的分辨率均为m×n，t＝1,2,...,T，T为读入的视频帧序列的长度，计量单位为视频帧的帧数，

考虑到24小时不间断监控视频的数据量的计算可行性，建议T取值范围以两小时为单位，即按照25帧/秒的帧率，取T＝2×3600×25＝180000帧；

采用单高斯背景建模(单高斯背景建模方法参照相关专业书籍和论文)，获得背景帧back＝[b(i,j)]_m×n，i＝1,2,...,m，j＝1,2,...,n，同时获得背景帧的标准差矩阵std_b＝[σ_b(i,j)]_m×n和均值矩阵mean_b＝[μ_b(i,j)]_m×n，

再采用背景差分法，检测出运动目标区域设为{object₁,object₂,...,object_T}，object_t＝[obj_t(i,j)]_m×n，计算公式如下：

其中，th(i,j)＝μ_b(i,j)+λ·σ_b(i,j)为目标检测阈值，λ为调整参数，是经验值，0.5≤λ≤2。

步骤2、计算运动掩模Mask＝[mask(i,j)]_m×n，计算公式如下：

步骤3、计算运动掩模的最大值max_mask，计算公式如下：

max_mask＝max{mask(i,j)|i＝1,2,...,m；j＝1,2,...,n}； (3)

步骤4、判断该视频是否存在背景误检链条

如果max_mask≥α·T，α是调整系数，是经验值，0.85≤α≤0.9，则表明存在背景误检链条，转步骤5；

否则，转步骤7，结束处理；

步骤5、运动目标链生成

对步骤1检测出的每帧的运动目标{object₁,object₂,...,object_T}，根据相邻帧间运动目标连通域存在重叠的依据，获得每个运动目标从起始帧到终止帧信息，称之为目标链，目标链在每帧中的连通域，称之为团块，

假设从读入的视频帧序列中，获得的目标链集合为：

{chain₁,chain₂,...,chain_N}，

其中，N为目标链的个数，

则目标链表示为：

其中，为目标链在第s帧中的团块，k＝1,2,...,N，s＝1,2,...,T_k，T_k为该目标链所持续的帧数，即第k个链条的长度，或第k个目标链的出现帧数。

步骤6、删除误检的背景链条

对于步骤2得到的运动掩模Mask＝[mask(i,j)]_m×n，如果其元素mask(i,j)的数值是偏大的(如果是树叶晃动，就会在同一个位置上一直检测出有运动目标，因此运动掩模的值就会偏大)，表明其所示点(i,j)是运动目标的频度比较大，则认为属于树叶晃动的可能性比较大，则执行以下步骤：

6.1)令k＝1；

6.2)从步骤4得到的目标链集合{chain₁,chain₂,...,chain_N}中取出第k个链条；

6.3)判断链条的T_k个团块质心点是否落在运动掩模Mask＝[mask(i,j)]_m×n中，如果是，则统计其在运动掩模中，落在满足max_mask≥α·T位置上的帧数Length_k，即：

6.4)如果Length_k≥β·T_k，β是调整系数，属于经验值，0.9≤β≤0.95，则判断该目标链为误检的背景链条，将其删除；否则，转步骤6.5)；

6.5)如果k＝N，表明所有的链条处理完毕，转步骤7；

否则，令k＝k+1，转步骤6.2)；

步骤7、将删除了误检背景链条后的结果输出，完成操作，即成。

参照图1，是没有对背景误检目标链删除时生成的视频摘要的截图，图中的白色矩形框框定的部分为检测出的运动目标，可以看到，画面中因为多处树叶晃动的部分被误检为运动目标，而这些目标链的存在，导致生成的视频摘要中，仅仅只有一个真正的运动目标，导致视频摘要的效率大大降低；

参照图2，是采用本发明方法，删除了背景误检目标链后的结果，可以看到画面中的树叶晃动部分被正确删除，摘要画面中，因融合了其他运动目标，而提高了视频摘要的效率。图2相比于图1，画面中还出现了其他的车和人，进一步压缩了视频摘要的冗余，白色矩形框上方标注的是时间戳，表明了运动目标出现的真实时间。

Claims (1)

1.一种视频摘要生成的误检目标链条删除方法，其特征在于，按照以下步骤实施：

步骤1、对视频帧序列的每一帧，检测其运动目标，

假设读入的视频帧序列为{frame₁,frame₂,...,frame_T}，

其中每一帧frame_t＝[f_t(i,j)]_m×n的分辨率均为m×n，t＝1,2,...,T，T为读入的视频帧序列的长度，

采用单高斯背景建模，获得背景帧back＝[b(i,j)]_m×n，i＝1,2,...,m，j＝1,2,...,n，同时获得背景帧的标准差矩阵std_b＝[σ_b(i,j)]_m×n和均值矩阵mean_b＝[μ_b(i,j)]_m×n，其中，σ_b(i,j)表示背景像素点位置(i,j)上随时间变化的标准差，μ_b(i,j)表示背景像素点位置(i,j)上的随时间变化的均值，

再采用背景差分法，检测出运动目标区域设为{object₁,object₂,...,object_T}，object_t＝[obj_t(i,j)]_m×n，计算公式如下：

<mrow> <msub> <mi>obj</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>f</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>b</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <mi>t</mi> <mi>h</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>s</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

其中，th(i,j)＝μ_b(i,j)+λ·σ_b(i,j)为目标检测阈值，λ为调整参数；

步骤2、计算运动掩模Mask＝[mask(i,j)]_m×n，计算公式如下：

<mrow> <mi>m</mi> <mi>a</mi> <mi>s</mi> <mi>k</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>T</mi> </munderover> <msub> <mi>obj</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

步骤3、计算运动掩模的最大值max_mask，计算公式如下：

max_mask＝max{mask(i,j)|i＝1,2,...,m；j＝1,2,...,n}； (3)

步骤4、判断该视频是否存在背景误检链条，

如果max_mask≥α·T，α是调整系数，则表明存在背景误检链条，转步骤5；

否则，转步骤7，结束处理；

步骤5、运动目标链生成，

对步骤1检测出的每帧的运动目标{object₁,object₂,...,object_T}，根据相邻帧间运动目标连通域存在重叠的依据，获得每个运动目标从起始帧到终止帧信息，称之为目标链，目标链在每帧中的连通域，称之为团块，

假设从读入的视频帧序列中，获得的目标链集合为：

{chain₁,chain₂,...,chain_N}，

其中，N为目标链的个数，

则目标链表示为：

其中，为目标链在第s帧中的团块，k＝1,2,...,N，s＝1,2,...,T_k，T_k为该目标链所持续的帧数，即第k个链条的长度；

步骤6、删除误检的背景链条，

对于步骤2得到的运动掩模Mask＝[mask(i,j)]_m×n，如果其元素mask(i,j)的数值是偏大的，表明其所示点(i,j)是运动目标的频度比较大，则认为属于树叶晃动的可能性比较大，则执行以下步骤：

6.1)令k＝1；

6.2)从步骤4得到的目标链集合{chain₁,chain₂,...,chain_N}中取出第k个链条；

6.3)判断链条的T_k个团块质心点(i_s0 ^k,j_s0 ^k)是否落在运动掩模Mask＝[mask(i,j)]_m×n中，如果是，则统计其在运动掩模中，落在满足max_mask≥α·T位置上的帧数Length_k，即：

6.4)如果Length_k≥β·T_k，β是调整系数，则判断该目标链为误检的背景链条，将其删除；否则，转步骤6.5)；

6.5)如果k＝N，表明所有的链条处理完毕，转步骤7；

否则，令k＝k+1，转步骤6.2)；

步骤7、将删除了误检背景链条后的结果输出，即成。