CN104063883A

CN104063883A - 一种基于对象和关键帧相结合的监控视频摘要生成方法

Info

Publication number: CN104063883A
Application number: CN201410321281.0A
Authority: CN
Inventors: 裘加林; 陈建群; 王亚沛; 张标标; 李仁旺
Original assignee: HANGZHOU YINJIANG ZHIHUI MEDICAL GROUP CO Ltd
Current assignee: HANGZHOU YINJIANG ZHIHUI MEDICAL GROUP CO Ltd
Priority date: 2014-07-07
Filing date: 2014-07-07
Publication date: 2014-09-24
Anticipated expiration: 2034-07-07
Also published as: CN104063883B

Abstract

本发明涉及视频图像处理领域，尤其涉及一种基于对象和关键帧相结合的监控视频摘要生成方法，该方法包括：提取运动片段、建立混合高斯背景模型、背景减除检测运动对象、基于Kalman预测的运动对象跟踪、通过初步提取和进一步归类将图像帧精确聚类后提取关键帧、运动对象扣取与摘要合成。本发明的有益效果在于：本发明方法采用一种基于对象的视频摘要的主要算法流程，并融入了改进的关键帧提取方法，通过初步提取和进一步归类将图像帧精确聚类后提取关键帧，在不遗漏关键信息的前提下尽可能地减少视频冗余信息，视频压缩程度较好；同时提出了一种较为合理的视频合成步骤，使用户可以在短时间内阅读视频监控内容，快速有效地定位有用信息。

Description

一种基于对象和关键帧相结合的监控视频摘要生成方法

技术领域

本发明涉及视频图像处理领域，尤其涉及一种基于对象和关键帧相结合的监控视频摘要生成方法。

背景技术

随着数字视频技术的发展，越来越多的监控录像设备被部署在社会各个场所，各种各样的监控录像设备实时监控，每天都采集到海量的录像信息，因此对视频分析和处理的要求也不断提高。一般监控录像设备都需要监控人员对视频进行监控，但是如何从海量的视频信息中快速浏览视频数据，准确、快速查找某个时间段发生的事情，对于监控人员来说是个十分耗时耗力的工作，而且对于监控人员来说，往往要同时关注多台监控设备，根本不可能实时关注到每个监控细节，很容易因为人员的注意力不集中而发生遗漏。

为了帮助监控人员快速浏览视频数据，方便查询视频信息，基于视频内容的分析提出了视频摘要方法。视频摘要又称视频浓缩，是对视频内容的一个简单概括，通过对运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合得到新的视频内容。现有的视频摘要研究多以单独基于关键帧和单独基于对象为基础。基于关键帧的视频摘要方法选取原视频中的关键帧序列组合成心视频，该方法存在不能完整表达视频语义的缺点，造成大量视频信息流失，无法全面获取视频信息；基于对象的视频摘要方法虽然能够将的运动对象的轨迹给描绘出来，但是这种方法视频压缩程度不强。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于对象和关键帧相结合的监控视频摘要生成方法，该方法能够解决现有视频摘要视频语义不完整、压缩程度不强的问题。

本发明是通过以下技术方案达到上述目的：一种基于对象和关键帧相结合的监控视频摘要生成方法，包括以下步骤：

1)对相邻两帧图像进行对比得到变化值，变化值与阈值进行比较，保留变化值大于阈值的图像为运动片段，运动片段形成新的视频；

2)将新的视频根据视频时间均匀分成若干个片段，利用混合高斯背景模型对每个片段中的图像帧生产背景模型，背景模型加上时间戳信息存入背景数据库中；

3)任意t时刻，当前帧图像I_t与背景模型B_t比较得到在(x,y)点处的差分值，差分值与阈值T比较，差分值大于T的部分为运动对象，其余为背景；

4)基于Kalman滤波算法对运动对象进行跟踪，所有运动对象的跟踪信息存入对象数据库中；

5)对检测到的同一运动对象进行标注，利用对象的颜色特征进行相似度对比，对于相似度高的图像帧进行归类，对同一类的图像帧计算平均值，选取与平均值差值最小的帧为关键帧；

6)对已标注运动对象的区域采用GraphCut算法进行运动对象扣取，从背景数据库中取出不同时间段的背景图像并进行复制，将扣取的运动对象按时间顺序依次放入背景图像中的对应位置，形成视频摘要。

作为优选，所述步骤5)中，以第一帧为参考帧，其颜色直方图为V₁，后续帧的颜色直方图为V_i，V_i与V₁的相似度比为S_i，每帧分为MxN个块，计算公式为：

S_{i} = Σ_{j = 1}^{M \times N} S_{ij} M_{j} / M \times N

S_ij＝|V_ij-V_1j|

其中，S_ij是第i帧第j块的相似度值，M_j是第j块的权重因子；

根据上述公式对图像帧进行归类，若S_i小于或等于阈值α，则图像帧与V₁归为一类图像帧L₁，若α<S_i≤α₀，则图像帧归为待定帧，若α>S₀，则图像帧归为第二类L₂；然后以第二类L₂的第一帧做为参考帧，与后面的每一帧进行相似度对比，完成所有图像帧对比。

作为优选，对所述的待定帧建立辅助线程，采用通道分离的颜色相似度对比，具体包括以下步骤：

对输入的参考帧图像和待定帧图像利用cvSplit函数将RGB格式的图像分离为B、G、R三个通道的图像，bImg、gImg、rImg，对参考帧图像和待定帧图像的三个颜色通道分别进行相似度对比，若三个通道的相似度都在阈值内则待定帧图像与参考帧图像为同一类，否则待定帧归为下一类。

作为优选，所述同一运动对象采用最小矩形框进行标注，矩形框为相似度比较区域和运动对象扣取区域。

作为优选，所述步骤6)具体包括以下步骤：

6.1)取出第一个时间段内得到的背景图像帧；

6.2)将此时间段内扣取的所有运动对象按时间顺序在背景图像的对应位置进行放置并编号；

6.3)对一帧图像中相互重叠的对象部分进行半透明化处理；

6.4)当一帧图像中放置的对象数目大于一定阈值时停止放置；

6.5)复制背景图像帧继续放置对象直至放完；

6.6)取出下一个时间段内的背景图像帧及该时间段内扣取的对象，重复步骤6.2)-6.5)；

6.7)将合成后的所有图像帧组合起来，形成最终的视频摘要。

本发明的有益效果在于：本发明方法采用一种基于对象的视频摘要的主要算法流程，并融入了改进的关键帧提取方法，通过初步提取和进一步归类将图像帧精确聚类后提取关键帧，在不遗漏关键信息的前提下尽可能地减少视频冗余信息，视频压缩程度较好；同时提出了一种较为合理的视频合成步骤，使用户可以在短时间内阅读视频监控内容，快速有效地定位有用信息。

附图说明

图1是本发明的方法步骤流程图；

图2是关键帧提取的步骤流程图；

图3是本发明实施例中图像帧的权值分割图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1：如图1所示，一种基于对象和关键帧相结合的监控视频摘要生成方法，其包括以下步骤：

(1)提取运动片段:

采用相邻帧对比的方法连续对相邻两帧进行对比，如果两帧之间变化大于阈值则认定为有运动对象出现，即提取为运动片段，否则作为非运动片段舍弃掉。

以m×n大小的图像帧为例，设每一个像素点的灰度值为G_ij,则第K帧图像的像素点矩阵为：

G^{K} = (\begin{matrix} {G^{K}}_{11} & {G^{K}}_{12} & \cdot \cdot \cdot & {G^{K}}_{1 n} \\ {G^{K}}_{21} & {G^{K}}_{22} & \cdot \cdot \cdot & {G^{K}}_{2 n} \\ \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot \\ {G^{K}}_{m 1} & {G^{K}}_{m 2} & \cdot \cdot \cdot & {G^{K}}_{mn} \end{matrix})

设m列行向量A＝(11…1)，n行列向量B＝(11…1)^T,则

C^{K} = A \times G^{K} = (Σ_{i = 1}^{m} {G_{i 1}}^{K}, Σ_{i = 1}^{m} {G_{i 2}}^{K}, Σ_{i = 1}^{m} {G_{i 3}}^{K} \cdot \cdot \cdot Σ_{i = 1}^{m} {G_{in}}^{K}) - - - (1)

R^{K} = G^{K} \times B = {(Σ_{j = 1}^{n} {G_{1 j}}^{K}, Σ_{j = 1}^{n} {G_{2 j}}^{K}, Σ_{j = 1}^{n} {G_{3 j}}^{K} \cdot \cdot \cdot Σ_{j = 1}^{n} {G_{mj}}^{K})}^{T} - - - (2)

同理可得第K+1帧的C^K+1和R^K+1分别为：

C^{K + 1} = A \times G^{K + 1} = (Σ_{i = 1}^{m} {G_{i 1}}^{K + 1}, Σ_{i = 1}^{m} {G_{i 2}}^{K + 1}, Σ_{i = 1}^{m} {G_{i 3}}^{K + 1} \cdot \cdot \cdot Σ_{i = 1}^{m} {G_{in}}^{K + 1}) - - - (3)

R^{K + 1} = G^{K + 1} \times B = {(Σ_{j = 1}^{n} {G_{1 j}}^{K + 1}, Σ_{j = 1}^{n} {G_{2 j}}^{K + 1}, Σ_{j = 1}^{n} {G_{3 j}}^{K + 1} \cdot \cdot \cdot Σ_{j = 1}^{n} {G_{mj}}^{K + 1})}^{T} - - - (4)

将第K帧和第K+1帧的对应行列位置相减并取绝对值：

C_{d} = (| C^{K + 1} - C^{K} |) = (| Σ_{i = 1}^{m} {G_{i 1}}^{K + 1} - Σ_{i = 1}^{m} {G_{i 1}}^{K} |, | Σ_{i = 1}^{m} {G_{i 2}}^{K + 1} - Σ_{i = 1}^{m} {G_{i 2}}^{K} |, \cdot \cdot \cdot, | Σ_{i = 1}^{m} {G_{in}}^{K + 1} - Σ_{i = 1}^{m} {G_{in}}^{K} |) - - - (5)

R_{d} = (| R^{K + 1} - R^{K} |) = {(| Σ_{i = 1}^{m} {G_{Ij}}^{K + 1} - Σ_{i = 1}^{m} {G_{1 j}}^{K} |, | Σ_{i = 1}^{m} {G_{2 j}}^{K + 1} - Σ_{i = 1}^{m} {G_{2 j}}^{K} |, \cdot \cdot \cdot, | Σ_{i = 1}^{m} {G_{mj}}^{K + 1} - Σ_{i = 1}^{m} {G_{mj}}^{K} |)}^{T} - - - (5)

令

Σ_C＝C_d×B

Σ_R＝A×R_d

最终得出两个分别代表行和列对比的值Σ_C和Σ_R，然后分别与阈值T_C、T_R对比，若满足

Σ_C＞T_C||Σ_R≤T_R (7)

即行和列的对比值有一项超过设定的阈值，则判断为运动片段，否则为非运动片段，舍弃非运动片段以减少冗余视频。

(2)混合高斯背景建模：

对每个像素点建立K个高斯模型来反映随时间变化的真实背景，对新的图像帧进行匹配，并不断更新模型。对每个像素点建立混合高斯模型如下：

P (x_{t}) = Σ_{i = 1}^{K} w_{i, t} * η (x_{t}, u_{i, t}, Σ_{i, t}) - - - (8)

η (x_{t}, u_{i, t}, Σ_{i, t}) = \frac{1}{{(2 π)}^{\frac{n}{2}} {| Σ |}^{\frac{1}{2}}} e^{- \frac{1}{2} {(x_{t} - u_{t})}^{T} Σ^{- 1} (x_{t} - u_{t})} - - - (9)

其中w_i,t为第i个高斯模型对应的权值，η(x_t,u_i,t,Σ_i,t)为第i个高斯模型的概率密度函数，Σ_i,t为第i个高斯模型的协方差矩阵。

t时刻第i个高斯模型的权值w_i,t更新公式如下：

w_i,t＝(1-α)w_i,t-1+α(M_i,t) (10)

其中α为学习率，M_i,t为匹配度，对匹配的模型取值为1，其余的取值为0，对不匹配的模型保持不变，匹配的模型更新如下：

u_t＝(1-ρ)u_t-1+ρx_t (11)

σ² _t＝(1-ρ)σ² _t-1+ρ(x_t-u_t)^T(x_t-u_t) (12)

ρ＝αη(x_t|u_k,σ_k) (13)

将所有的高斯分布按优先级的次序进行排列，取其中的前N个分布按照权重生成背景模型，N的选取规则为：

N＝argmin_n(w_k＞T) (14)

其中T为预先设定的阈值。

采用定时提取背景模型的方式，将视频时间均匀的分为N个时间段，对每个时间段内的图像帧采用混合高斯模型的方法生成背景模型，加上时间戳信息存入背景数据库。

(3)背景减除检测运动对象：

根据上面的背景建模可以得到任何时刻t的背景图像模型B_t，则当前帧图像I_t与背景图像在(x,y)点处的灰度值差分结果为：

Δd_t(x,y)＝|I_t(x,y)-B_t(x,y)| (15)

其中Δd_t(x,y)、I_t(x,y)、B_t(x,y)分别表示t时刻的差分图像、当前帧图像、背景图像在(x,y)处的灰度值，将差分图像灰度值与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分。

d_{t} (x, y) = \{\begin{matrix} 0, & d_{t} (x, y) < T \\ 1, & d_{t} (x, y) &GreaterEqual; T \end{matrix} - - - (16)

(4)基于Kalman预测的运动对象跟踪

首先采用Kalman滤波算法预测下一帧图像中运动对象出现的位置，得到预测对象矩形框的中心点坐标，然后计算与实际检测到的对象矩形框中心点坐标之间的二维距离，若距离小于阈值，则认为匹配成功，并更新对象，若匹配不成功，则认为原对象消失，并对新的对象进行跟踪，对每一个跟踪的运动对象都加上时间戳信息存入对象数据库。

Kalman滤波算法流程如下：

状态向量的预测方程：

\hat{X} (k, k - 1) = A (k, k - 1) \hat{X} (k - 1) - - - (17)

误差协方差的预测方差：

p(k,k-1)＝A(k,k-1)P(k-1)A^T(k,k-1)+Q(k-1) (18)

Kalman滤波的增益：

K(k)＝P(k,k-1)H^T(k)(H(k)P(k,k-1)H^T(k)+R(k))^-1 (19)对状态向量修正：

\hat{X} (k) = \hat{X} (k, k - 1) + K (k) (Z (k) - H (k) \hat{X} (k, k - 1)) - - - (20)

对误差协方差矩阵修正：

P(k)＝P(k,k-1)-K(k)H(k)P(k,k-1) (21)

设通过Kalman滤波预测得到的第i个对象中心点坐标为检测到的第j个对象中心点坐标为X_j(x_j,n+1,y_j,n+1)，则测得的二维距离为：

D_{i, j} = \sqrt{{({\hat{x}}_{i, n + 1} - x_{j, n + 1})}^{2} + {({\hat{y}}_{i, n + 1} - y_{j, n + 1})}^{2}} - - - (22)

二值化后的判断结果为：

X_{j} = \{\begin{matrix} 1, & D_{i, j} \leq T \\ 0, & D_{i, j} > T \end{matrix} - - - (23)

(5)关键帧提取，如图2所示：

本发明采用改进的关键帧提取方法，在系统主线程中通过加权对比的方法进行初步的提取，同时建立辅助线程，在不影响系统实时性的前提下，采用分离通道分别对比的方法进一步进行判别。

1)加权初步提取：

对于检测出的同一运动对象，在每一帧都以最小矩形框标注，以其矩形框为匹配区域，对不同图像帧内的像素点进行相似度特征对比。

利用对象的颜色特征进行相似度对比，采用颜色直方图V表示图像帧的颜色特征，用S(Similar的简写)来表示对象间的相似度。

以第一帧为参考帧，其颜色直方图为V₁，后续帧的颜色直方图V_i分别与V₁进行相似度对比，结果为S_i,若S_i小于或等于阈值α，则与V₁归为一类图像帧L₁，若α<S_i≤α₀，则归为待定帧，若α>S₀，则归为第二类L₂，然后以第二类的第一帧做为参考帧，与后面的每一帧进行相似度对比，以此类推。

考虑到对象的矩形框内不同像素点在相似度对比中所占的重要度不同，本文用一个4*4的矩阵将矩形框分为16个块，如图3-(b)所示，先对每一块进行相似度对比，然后根据矩阵每个点的权值参与此帧的相似度运算，权值分布如图3-(a)所示。

第i帧第j块的相似度为S_ij,可以分别算出第i帧中每一块区域与第1帧对应区域的相似度，加入每块的权重因子M后可算出第i帧图像V_i与V₁之间的相似度S_i，计算公式如下：

S_ij＝|V_ij-V_1j| (24)

S_{i} = Σ_{j = 1}^{16} S_{ij} M_{j} / 36 - - - (25)

经过以上过程的处理，可完成相似帧的初步归类，对于归为待定帧的图像帧，建立辅助线程，采用通道分离并对每个颜色通道进行相似度对比的方式对此帧进行更加精确的像素度对比，辅助线程的建立是为了在不影响主进程实时性的前提下进行进一步判别，辅助进程只处理每次主进程相似度对比后送入的待定帧与此时的参考帧。

2)通道分离精确提取：

辅助线程处理如下：

对于输入的每一幅参考帧图像和待定帧图像，利用opencv中的cvSplit函数将RGB格式的图像分离为B、G、R三个通道的图像bImg、gImg、rImg，然后分别对三个颜色通道的相似度进行对比，若三个通道相似度都在阈值内，则与参考类归为一类，否则归为下一类。

式中S_ir、S_ig、S_ib分别表示R、G、B三个通道对应的相似度α_r、α_g、α_b分别代表三个通道设定的相似度阈值。

对于归为一类的图像帧V₁～V_i，取所有帧的平均值将与平均值差值最小的帧作为关键帧，删除其余帧，以减少图像冗余。

\overset{&OverBar;}{V} = Σ_{j = 1}^{i} V_{j} / i - - - (28)

所述选取一段58分钟的监控视频进行测试，测试结果如表1所示：

表1

(6)运动对象扣取与摘要的合成：

前面已经对运动对象进行了前景检测和标记，但是这时检测到的对象还不足以作为扣取的对象从背景中分割主来，为减少计算量，以检测到对象的矩形框为区域，在区域内采用GraphCut算法进行运动对象的扣取，将扣取到的对象加上时间戳信息存入运动对象数据库。

取出前面提取到的不同时间段的背景图像并进行复制，将扣取的运动对象按时间顺序依次放入背景图像中的对应位置，最终形成视频摘要的形式，具体步骤如下：

1)取出第一个时间段内得到的背景图像帧；

2)将此时间段内扣取的所有运动对象按时间顺序在背景图像的对应位置进行放置并编号；

3)对一帧图像中相互重叠的对象部分进行半透明化处理，以免影响视觉效果；

4)当一帧图像中放置的对象数目大于一定阈值时停止放置；

5)复制背景图像帧继续放置对象直至放完；

6)取出下一个时间段内的背景图像帧及该时间段内扣取的对象进行放置，方法同上，直至放完；

7)将合成后的所有图像帧组合起来，形成最终的视频摘要。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims

1.一种基于对象和关键帧相结合的监控视频摘要生成方法，其特征在于包括以下步骤：

2.根据权利要求1所述的一种基于对象和关键帧相结合的监控视频摘要生成方法，其特征在于，所述步骤5)中，以第一帧为参考帧，其颜色直方图为V₁，后续帧的颜色直方图为V_i，V_i与V₁的相似度比为S_i，每帧分为MxN个块，计算公式为：

S_{i} = Σ_{j = 1}^{M \times N} S_{ij} M_{j} / M \times N