CN103200392A - 一种基于视角变换的车载视频稳像方法 - Google Patents

Abstract

本发明属于视频处理技术领域，提出一种基于视角变换的车载视频稳像方法。该方法在对车载视频进行稳像处理之前先进行视角变换，包括：在无梯形失真的图像中确定一个长方形，根据视角变化大小，在梯形失真图像中确定该长方形失真后对应的梯形；计算透射变换矩阵；根据透射变换矩阵对每一帧车载视频图像进行视角变换；选取当前抖动图像的待匹配块、匹配准则和搜索策略；对当前抖动图像进行运动估计；求全局运动矢量，并进行运动补偿。本发明不仅减小了车体振动引起的图像序列的帧间偏移，还校正了摄像头角度引起的图像梯形失真，适用于车载智能视频监控系统。

Description

一种基于视角变换的车载视频稳像方法

技术领域

本发明总体上涉及一种基于视角变换的车载视频稳像方法，更具体地涉及一种利用透射变换矩阵对图像进行梯形校正，之后通过块运动估计来减小图像序列帧间偏移的基于视角变换的车载视频稳像方法。

背景技术

随着车载智能视频监控的不断发展，公交车上人体检测及跟踪技术，受到越来越多的关注，如何提高人体检测及匹配精度，成为人们研究的热点。如何校正摄像头角度引起的图像梯形失真，如何消除车体振动引起的视频图像序列间的较大偏移，这些都是需要解决的问题。

视频稳像技术一般包含全局运动估计和运动补偿两个部分，而全局运动估计是其中的关键。目前典型的一种基于块匹配的全局运动估计算法是迭代最小二乘法，该方法用一个阈值来排除局部运动的干扰，通过迭代确定全局运动区域和最终模型参数。该方法计算量太大，不能满足车载监控实时性的要求。还有一种方法是通过选取图像四周区域的四个子块来避开局部运动目标的干扰，用四个子块局部运动矢量的均值作为全局运动矢量。该方法虽然简单，但并不能完全适应车厢内的复杂情况，当车厢较为拥挤时，乘客很可能会出现在图像的左下角和右下角区域，因此会降低全局运动估计的准确度。

而且，现有的车载视频稳像技术没有把摄像头角度引起的梯形失真考虑进来，不能较好地保证车载智能视频监控系统中人体检测和匹配的精度。

发明内容

本发明旨在克服现有技术上的上述不足，提供一种简单、快速、有效的基于视角变换的车载视频稳像方法。

为了达到上述目的，本发明的技术方案是：

一种基于视角变换的车载视频稳像方法，其特征在于，在对车载视频进行稳像处理之前先进行视角变换，具体包含以下步骤：

1）在无梯形失真的图像中确定一个长方形，根据视角变化大小，在梯形失真图像中确定该长方形失真后对应的梯形；

2）以长方形和梯形的四个顶点作为四组对应点，得到透射变换矩阵；

3）根据透射变换矩阵对每一帧车载视频图像进行视角变换；

4）选取当前抖动图像的待匹配块、匹配准则和搜索策略；

5）对当前抖动图像进行基于块匹配的运动估计；

6）求当前抖动图像的全局运动矢量；

7）对当前抖动图像进行运动补偿。

作为优选实施方式，步骤1）中，视角变化大小等于车载摄像头光轴与水平方向夹角,视角变化大小

其中，a、b分别表示公交车车厢内部的宽度和高度；步骤4）中，选取当前抖动图像的左上角和右上角两个宏块作为待匹配块；步骤4）中选取SAD作为块匹配准则，菱形法作为搜索策略；步骤6）中，对当前抖动图像中两个待匹配块的局部运动矢量和前一帧图像的全局运动矢量求均值，作为当前抖动图像的全局运动矢量。

本发明具有下列优点：

（1）本发明利用四组对应点计算出透射变换矩阵，进而对车载视频图像进行视角变换，校正了图像的梯形失真，在保证图像质量的前提下耗时少，有较高的执行效率。

（2）本发明选取当前抖动图像的左上角和右上角两个宏块作为待匹配块，对两个待匹配块的局部运动矢量和前一帧图像的全局运动矢量求均值，作为当前抖动图像的全局运动矢量。这样既大大提高了稳像速度，又保证了全局运动估计的准确度。

（3）本发明选取车载视频的第一帧图像作为所有后续图像的参考图像，可以有效避免参考图像更替所引起的累积误差；并且直接使用全局运动矢量作为运动补偿矢量，算法速度比较快，有利于提高视频稳像的整体效率。

（4）本发明简单易行，很容易在DSP上实现，适用于摄像头固定、且无扫描运动的车载智能视频监控系统，实用性强。

附图说明

图1实现本发明方法的软件流程框图。

图2是视角变换角度。

图3是待匹配块的选取。

具体实施方式

下面首先参见图1，对本发明的技术方案进一步说明。

在无梯形失真的图像中确定一个长方形，根据视角变化大小，在梯形失真图像中确定该长方形失真后对应的梯形，以长方形和梯形的四个顶点作为四组对应点，得到透射变换矩阵，进而对每一帧视频图像进行视角变换，得到无梯形失真的视频图像序列。选取当前抖动图像的左上角和右上角的两个宏块作为待匹配块，通过对当前抖动图像进行基于块匹配的运动估计和运动补偿，减小车体振动引起的图像序列的帧间偏移。具体步骤如下：

1）计算视角变化大小，即车载摄像头光轴与水平方向的夹角θ，如图2所示。S点表示摄像头的位置，a表示车厢宽度，b表示车厢高度，

表示摄像头的视角范围，则

即摄像头的视角范围等于车厢宽度和高度的比值的反正切。取

的角平分线作为摄像头光轴方向，则θ的计算公式如式（1）所示。

2）在无梯形失真的图像中确定一个长方形，根据视角变化大小，在梯形失真图像中确定该长方形失真后对应的梯形。

3）以长方形和梯形的四个顶点作为四组对应点，计算出透射变换矩阵。

4）利用透射变换矩阵对每一帧视频图像进行视角变换，如式（2）所示。其中，P(x,y)和P’(x,y)分别表示视角变换前和视角变换后图像的点坐标，M为3×3的透射变换矩阵。

$P^{\′}=\mathrm{MP}\⇔\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=M\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(2\right)$

5）选取当前抖动图像的左上角和右上角两个宏块作为待匹配块，SAD（最小总绝对差值）作为块匹配准则，菱形法作为搜索策略。待匹配块的选取如图3所示。

6）选取车载视频的第一帧图像作为参考图像，对当前抖动图像进行基于块匹配的运动估计。

7）计算当前抖动图像的全局运动矢量，计算公式如式（3）所示。其中

分别是当前抖动图像中两个待匹配块的局部运动矢量，

分别是当前抖动图像和前一帧图像的全局运动矢量。

$U_f^t=\frac{1}{3}(U_1^t+U_2^t+U_f^{t-1})---\left(3\right)$

8）对当前抖动图像进行运动补偿，即根据全局运动矢量，把当前抖动图像沿该运动矢量反向移动等量的像素，以消除或减轻抖动造成的视频图像序列的帧间偏移。

为使本发明的目的、实现方案和优点更为清晰，下面对本发明的具体实施作进一步的详细描述。

1）一般公交车车厢内部宽度和高度分别为2m和2.5m，按照式（1），得到视角变换角度约为70°。其中，a、b分别表示公交车车厢内部的宽度和高度，

是车厢宽度和高度的比值的反正切。

2）在无梯形失真的图像中确定一个长方形，根据视角变化大小，在梯形失真图像中确定该长方形失真后对应的梯形。

3）以长方形和梯形的四个顶点作为四组对应点，计算出透射变换矩阵。

4）利用透射变换矩阵对每一帧视频图像进行视角变换，如式（2）所示。其中，P(x,y)和P’(x,y)分别表示视角变换前和视角变换后图像的点坐标，M为3×3的透射变换矩阵。

$P^{\′}=\mathrm{MP}\⇔\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=M\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(2\right)$

5）以25fps的帧速率采集320*240的连续抖动图像序列，将每一帧抖动图像都划分成16*16、互不重叠的子块，在当前抖动图像的（24,24）和（296,24）位置处选取两个子块作为待匹配块。

6）选取车载视频的第一帧图像作为参考图像，在参考图像的匹配窗（大小为30*30）内按SAD匹配准则搜索与当前抖动图像中待匹配块最接近的块，得到当前抖动图像中待匹配块的局部运动矢量。

7）对当前抖动图像中两个待匹配块的局部运动矢量和前一帧图像的全局运动矢量求均值，作为当前抖动图像的全局运动矢量。计算公式如式（3）所示。其中分别是当前抖动图像中两个待匹配块的局部运动矢量，分别是当前抖动图像和前一帧图像的全局运动矢量。

$U_f^t=\frac{1}{3}(U_1^t+U_2^t+U_f^{t-1})---\left(3\right)$

8）用全局运动矢量作为运动补偿矢量，对当前抖动图像进行运动补偿，得到去抖动后的视频图像。

Claims (5)

1.一种基于视角变换的车载视频稳像方法，其特征在于，在对车载视频进行稳像处理之前先进行视角变换，包含以下步骤：

1）在无梯形失真的图像中确定一个长方形，根据视角变化大小，在梯形失真图像中确定该长方形失真后对应的梯形；

2）以长方形和梯形的四个顶点作为四组对应点，得到透射变换矩阵；

3）根据透射变换矩阵对每一帧车载视频图像进行视角变换；

4）选取当前抖动图像的待匹配块、匹配准则和搜索策略；

5）对当前抖动图像进行基于块匹配的运动估计；

6）求当前抖动图像的全局运动矢量；

7）对当前抖动图像进行运动补偿。

2.权利要求1所述的基于视角变换的车载视频稳像方法，其特征在于，步骤1）中，视角变化大小等于车载摄像头光轴与水平方向夹角,视角变化大小，其中，a、b分别表示公交车车厢内部的宽度和高度。

3.权利要求1所述的基于视角变换的车载视频稳像方法，其特征在于，步骤4）中，选取当前抖动图像的左上角和右上角两个宏块作为待匹配块。

4.权利要求1所述的基于视角变换的车载视频稳像方法，其特征在于，步骤4）中可选取SAD作为块匹配准则，菱形法作为搜索策略。

5.权利要求1所述的基于视角变换的车载视频稳像方法，其特征在于，步骤6）中，对当前抖动图像中两个待匹配块的局部运动矢量和前一帧图像的全局运动矢量求均值，作为当前抖动图像的全局运动矢量。

Images