CN103942751A - 一种视频关键帧提取方法 - Google Patents

Abstract

公开了一种视频关键帧的提取方法，属于视频数据处理领域。本发明中关键帧提取包含：计算视频帧灰度质心，并依据相邻帧间灰度质心距离，以及当前视频帧灰度质心与前序视觉相似帧序列平均灰度质心间距离，将视频帧序列分割为多个具有视觉相似连续性的帧序列，从视觉相似连续帧序列中选取关键帧。本方法解决了现有关键帧提取技术计算过程复杂，计算量大的问题。

Description

一种视频关键帧提取方法

技术领域

本发明涉及一种视频关键帧的提取方法，属于视频数据处理技术领域。

背景技术

随着网络基础设施的不断完善，新的网络技术的应用及视频拍摄设备的普及，视频资源总量及人们对视频资源的需求量都急剧增加。对视频信息进行智能标注、自动分类，实现视频内容自动检测、过滤及视频内容检索等需求不断增加。视频关键帧提取作为视频信息处理的基础技术，其性能直接影响高级视频处理的结果。当前视频关键帧提取方法主要有：基于颜色(或直方图)帧差方法，基于运动分析方法及基于视频帧聚类方法。基于颜色或颜色直方图帧差法存在对光线变化敏感，不能体现全局特征或不能体现局部细节变化的缺点。基于运动分析的关键帧提取方法使用光流分析计算视频帧的运动量，存在算法复杂，计算量大的问题。基于聚类的关键帧提取方法可有效获取镜头显著变化的视觉内容，但聚类的方法不能保持视频帧所具有的时序关系及动态信息。

发明内容

为解决上述问题，本发明提出了一种新的视频关键帧提取方法，计算过程比较简单，计算量较小。

本发明的原理：本发明所述的视频关键帧提取方法包括计算视频帧灰度质心，将完整视频帧序列划分为多个具有视觉相似连续视频帧序列，筛选有效视觉相似视频帧序列，从各个视觉相似视频帧序列选取视频关键帧。

本发明的技术方案如下：

一种视频关键帧提取方法，其特征在于，包括如下步骤：

步骤一：逐帧读取视频帧，将各视频帧图像转为灰度图，依次计算各视频帧的灰度质心组成灰度质心序列，使用灰度质心序列代表视频帧序列，下面步骤对视频帧序列的操作即为对灰度质心序列的操作；

步骤二：将视频帧序列划分为多个视觉相似视频帧序列；

步骤三：依据设定的最小有效视觉相似视频帧序列长度，从视觉相似视频帧序列中筛选有效视觉相似视频帧序列；

步骤四：从有效视觉相似视频帧序列提取视频关键帧。

优选的技术方案：

步骤二中，根据当前帧灰度质心与前一帧灰度质心间距离和当前帧灰度质心与原点间距离的比值，以下称为相对变化率，确定两帧视觉相似关系，相对变化率小于预设的阈值认为两视频帧具有视觉相似性，否则不具有视觉相似性；

步骤二中，根据当前帧灰度质心与前序视觉相似视频帧序列(从前一帧开始向前连续的具有视觉相似性的视频帧序列)平均灰度质心间距离和当前帧灰度质心与原点间距离的比值，确定当前帧与前序视觉相似视频帧序列视觉相似关系，比值小于预设的阈值认为当前帧与前序视觉相似视频帧序列具有视觉相似性，否则不具有视觉相似性；

步骤三中，使用最小有效视觉相似视频帧序列长度，控制有效视觉相似视频帧序列个数(长度大于最小有效视觉相似视频帧序列长度的视觉相似视频帧序列被认为是有效地视觉相似视频帧序列)，进而控制关键帧数量；

步骤四中，在每一个有效视觉相似视频帧序列中，选择灰度质心与该有效视觉相似视频帧序列平均灰度质心距离最小的视频帧作为该视觉相似视频帧序列的关键帧。

本发明的有益效果：本发明所述的视频关键帧提取方法，能够实现视频关键帧的高效提取，通过调整最小有效视觉相似视频帧序列长度，可以实现镜头渐变过程关键帧的提取，控制关键帧的总数，解决了现有关键帧提取技术计算过程复杂，计算量大的问题。

具体实施方式

本发明所述的视频关键帧提取方法的实施步骤包括：

(1)逐帧读取视频帧，将视频帧图像转换为灰度图像，计算视频灰度质心并存储灰度质心，使用灰度质心序列代表视频帧序列，详细步骤：

a、将视频帧图像像素RGB值转换为灰度图像对应像素值，转换公式为：

Gray＝R*0.11+G*0.59+B*0.30，

b、计算灰度质心，公式如为： $X_C=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}(x_{\mathrm{ij}}*j)/\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{x}_{\mathrm{ij}},Y_C=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(x_{\mathrm{ij}}*i)/\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}$

其中，x_ij为X_M×N(X_M×N表示尺寸为M×N的灰度图像)第i行第j列位置的像素灰度值，视频帧对应图像尺寸为M×N；

c、保存灰度质心坐标(X_C,Y_C)，所有视频帧图像灰度质心组成一个灰度质心序列。

(2)将视频帧序列划分为多个视觉相似视频帧序列，即将步骤(1)中得到的灰度质心序列划分为视觉相似视频帧序列；

划分视觉相似视频帧将整个视频划分为视频帧片段，同属一个视频帧片段的帧在视觉上具有相似性。划分过程需要记录片段的起止位置，如下使用一个标记数组实现视频帧视觉相似标记，视觉相似视频帧分割过程如下：

a、定义标记数组flag[]，大小为视频的总帧数，数组值0表示当前帧与前一帧不属于同一个视觉相似视频帧序列，数组值1表示当前帧与前一帧属于同一视觉相似视频帧序列，flag初始化为全0；

b、从第二帧开始，确定每一帧所属视觉相似视频帧序列；

X^(k)表示视频第k帧，{X^(k-m),…,X^(k-1)}表示第k帧的前序视觉相似视频帧序列(由第k-1帧开始，向前且对应flag标记为1的视频帧构成，若k-1帧对应标记为0，则只包含第k-1帧)，为第j帧的灰度质心，为视觉相似帧序列{X^(k-m),…,X^(k-1)}的平均灰度质心，满足如下约束：

$(\tilde{x},\tilde{y})=\arg \min f(x,y)=\arg \min \underset{i=k-m}{\overset{k}{\mathrm{\Σ}}}({(X_C^{\left(i\right)}-x)}^2+{(Y_C^{\left(i\right)}-y)}^2)$

s.t.1≤x≤N,1≤y≤M

其解为：若如下条件同时成立，则更新第k帧对应的flag标记为1，否则保持flag为0：

$|X_C^{\left(k\right)}-X_C^{(k-1)}|/X_C^{\left(k\right)}<{\mathrm{\&epsiv;}}_1,|Y_C^{\left(k\right)}-Y_C^{(k-1)}|/Y_C^{\left(k\right)}<{\mathrm{\&epsiv;}}_1,$

$|X_C^{\left(k\right)}-\tilde{x}|/X_C^{\left(k\right)}<{\mathrm{\&epsiv;}}_2,|Y_C^{\left(k\right)}-\tilde{y}|/Y_C^{\left(k\right)}<{\mathrm{\&epsiv;}}_2$

其中ε₁,ε₂为视觉相似阈值，取值范围为1％≤ε₁,ε₂≤3％。若上述条件不满足，则X^(k)将作为下一视觉相似序列的首帧构成新的相似序列{X^(k)}。

(3)依据设定的最小有效视觉相似视频帧序列长度，从视觉相似视频帧序列中筛选有效视觉相似视频帧序列；

选取长度大于最小有效视觉相似视频帧序列长度的视觉相似视频帧序列作为有效视觉相似视频帧序列，即记录标记数组中长度大于最小视觉相似视频帧序列长度的连续1值片段的起止位置信息，作为有效视觉相似视频帧序列。最小有效视觉相似视频帧序列长度可用于视频镜头切换过程视频关键帧提取的控制，其值越大则视频关键帧提取的镜头渐变过程变化越平缓。

(4)从有效视觉相似视频帧序列提取视频关键帧；

从每一个有效视觉相似视频帧序列中，选取灰度质心与该有效视觉相似视频帧序列平均灰度质心距离最小的帧作为本序列的关键帧，Key_j表示从第j个有效视觉相似视频帧序列中选取的视频关键帧的帧序号(视频帧为整个视频帧序列的第几帧)，V_j为第j个有效视觉相似视频帧序列包含的所有视频帧帧序号集合，则：

对每一个有效视觉相似视频帧序列使用上面的计算方法，得到视频的全部关键帧的帧序号集合{Key₁,...,Key_m}(m为有效视觉相似视频帧序列的个数)，完成视频关键帧的提取。

Claims (9)

1.一种视频关键帧提取方法，其特征是，包括如下步骤：

步骤一：逐帧读取视频帧，将各视频帧图像转为灰度图，依次计算各视频帧的灰度质心组成灰度质心序列，使用灰度质心序列代表视频帧序列，下面步骤对视频帧序列的操作即为对灰度质心序列的操作；

步骤二：将视频帧序列划分为多个视觉相似视频帧序列；

步骤三：依据设定的最小有效视觉相似视频帧序列长度，从视觉相似视频帧序列中筛选有效视觉相似视频帧序列；

步骤四：从有效视觉相似视频帧序列提取视频关键帧。

2.如权利要求1所述的视频关键帧提取方法，其特征是，步骤二中，根据当前帧灰度质心与前一帧灰度质心间距离和当前帧灰度质心与原点间距离的比值，确定两帧视觉相似关系，相对变化率小于预设的阈值认为两视频帧具有视觉相似性，否则不具有视觉相似性。

3.如权利要求2所述的视频关键帧提取方法，其特征是，步骤二中，根据当前帧灰度质心与前序视觉相似视频帧序列平均灰度质心间距离和当前帧灰度质心与原点间距离的比值，确定当前帧与前序视觉相似视频帧序列视觉相似关系，比值小于预设的阈值认为当前帧与前序视觉相似视频帧序列具有视觉相似性，否则不具有视觉相似性。

4.如权利要求1所述的视频关键帧提取方法，其特征是，步骤三中，使用最小有效视觉相似视频帧序列长度，控制有效视觉相似视频帧序列个数进而控制关键帧数量。

5.如权利要求1所述的视频关键帧提取方法，其特征是，步骤四中，在每一个有效视觉相似视频帧序列中，选择灰度质心与该有效视觉相似视频帧序列平均灰度质心距离最小的视频帧作为该视觉相似视频帧序列的关键帧。

6.如权利要求1所述的视频关键帧提取方法，其特征是，步骤一包括：

1.1)将视频帧图像像素RGB值转换为灰度图像对应像素值，转换公式为：Gray＝R*0.11+G*0.59+B*0.30；

1.2)计算灰度质心，公式如为： $X_C=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}(x_{\mathrm{ij}}*j)/\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}},Y_C=\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}(x_{\mathrm{ij}}*i)/\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}}$

其中，x_ij为X_M×N第i行第j列位置的像素灰度值，X_M×N表示视频帧对应的尺寸为M×N的灰度图像；

1.3)保存灰度质心坐标(X_C,Y_C)，所有视频帧图像灰度质心组成一个灰度质心序列。

7.如权利要求6所述的视频关键帧提取方法，其特征是，步骤二包括：

2.1)定义标记数组flag[]，大小为视频的总帧数，数组值0表示当前帧与前一帧不属于同一个视觉相似视频帧序列，数组值1表示当前帧与前一帧属于同一视觉相似视频帧序列，flag初始化为全0；

2.2)从第二帧开始，确定每一帧所属视觉相似视频帧序列；

X^(k)表示视频第k帧，{X^(k-m),…,X^(k-1)}表示第k帧的前序视觉相似视频帧序列，由第k-1帧开始，向前且对应flag标记为1的视频帧构成，若k-1帧对应标记为0，则只包含第k-1帧，为第j帧的灰度质心，为视觉相似帧序列{X^(k-m),…,X^(k-1)}的平均灰度质心，满足如下约束：

$(\tilde{x},\tilde{y})=\arg \min f(x,y)=\arg \min \underset{i=k-m}{\overset{k}{\mathrm{\&Sigma;}}}({(X_C^{\left(i\right)}-x)}^2+{(Y_C^{\left(i\right)}-y)}^2)$

s.t.1≤x≤N,1≤y≤M

其解为： $\tilde{x}=\frac{\underset{i=k-m}{\overset{k-1}{\mathrm{\&Sigma;}}}{X}_C^{\left(i\right)}}{m},\tilde{y}=\frac{\underset{i=k-m}{\overset{k-1}{\mathrm{\&Sigma;}}}{Y}_C^{\left(i\right)}}{m};$

若如下条件同时成立，则更新第k帧对应的flag标记为1，否则保持flag为0：

$|X_C^{\left(k\right)}-X_C^{(k-1)}|/X_C^{\left(k\right)}<{\mathrm{\&epsiv;}}_1,|Y_C^{\left(k\right)}-Y_C^{(k-1)}|/Y_C^{\left(k\right)}<{\mathrm{\&epsiv;}}_1,$

$|X_C^{\left(k\right)}-\tilde{x}|/X_C^{\left(k\right)}<{\mathrm{\&epsiv;}}_2,|Y_C^{\left(k\right)}-\tilde{y}|/Y_C^{\left(k\right)}<{\mathrm{\&epsiv;}}_2$

其中ε₁,ε₂为视觉相似阈值，取值范围为1％≤ε₁,ε₂≤3％；若上述条件不满足，则X^(k)将作为下一视觉相似序列的首帧构成新的相似序列{X^(k)}。

8.如权利要求7所述的视频关键帧提取方法，其特征是，步骤三中，选取长度大于最小有效视觉相似视频帧序列长度的视觉相似视频帧序列作为有效视觉相似视频帧序列，即记录标记数组中长度大于最小视觉相似视频帧序列长度的连续1值片段的起止位置信息，作为有效视觉相似视频帧序列。

9.如权利要求8所述的视频关键帧提取方法，其特征是，步骤四中，从每一个有效视觉相似视频帧序列中，选取灰度质心与该有效视觉相似视频帧序列平均灰度质心距离最小的帧作为本序列的关键帧，Key_j表示从第j个有效视觉相似视频帧序列中选取的视频关键帧的帧序号，V_j为第j个有效视觉相似视频帧序列包含的所有视频帧帧序号集合，则：对每一个有效视觉相似视频帧序列使用上面的计算方法，得到视频的全部关键帧的帧序号集合{Key₁,...,Key_m}，完成视频关键帧的提取。