CN104917934A - 一种误匹配点的消除方法、视频补偿方法及装置 - Google Patents

Abstract

本发明提供了一种误匹配点的消除方法、视频补偿方法及装置，其中，误匹配点的消除方法包括：从待处理的视频帧中获取当前帧和参考帧；通过当前帧和参考帧计算全局位移矢量；通过全局位移矢量确定当前帧与参考帧的重叠区域，并在重叠区域中确定出局部运动区域；从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对。本申请提供的误匹配点的消除方法、视频补偿方法及装置，利用相邻视频帧之间联系较为紧密的特点，将非重叠区域以及局部运动区域中的匹配点对消除，即将错误的匹配点对消除，使得仿射变换矩阵的计算更加准确，进一步提高了视频补偿的准确度。

Description

一种误匹配点的消除方法、视频补偿方法及装置

技术领域

本发明涉及视频监控技术领域，尤其涉及一种误匹配点的消除方法、视频补偿方法及装置。

背景技术

在某些情况下，视频监控系统需设置于震动或抖动的环境中，例如汽车、无人机、舰船等，视频监控系统中包括摄像系统，摄像系统用于采集图像并将采集的图像输出。由于汽车、无人机、舰船等多处于运动状态，因此，摄像系统输出的图像序列会存在随机抖动，而图像的抖动对视频监控及后续的图像处理将产生不利的影响。

为了消除图像的抖动，出现了稳像技术。稳像技术已从最初的机械稳像技术、光学稳像技术过渡到目前的电子稳像技术。电子稳像技术是通过图像处理算法来消除视频图像的各种抖动，从而提供高质量的清晰画面的技术。

发明人在实现本发明创造的过程中发现：电子稳像的视频帧补偿环节一般需要计算仿射变换矩阵，而仿射变换矩阵的计算需要使用当前帧与参考帧(当前帧的前一帧)的匹配点对，如果摄像系统输出的图像存在随机抖动，那么从当前帧与参考帧中提取的匹配点对中就会存在错误的匹配点对，而利用错误的匹配点对进行计算将得到错误的仿射变换矩阵，错误的仿射变换矩阵又会进一步影响视频补偿的效果。

发明内容

有鉴于此，本发明提供了一种误匹配点的消除方法、视频补偿方法及装置，用以解决现有技术中，由于存在错误的匹配点对导致错误的仿射变换矩阵，进而导致视频补偿效果较差的问题，其技术方案如下：

一种误匹配点的消除方法，所述方法包括：

从待处理的视频帧中获取当前帧和参考帧；

通过所述当前帧和所述参考帧计算全局位移矢量；

通过所述全局位移矢量确定所述当前帧与所述参考帧的重叠区域，并在所述重叠区域中确定出局部运动区域；

从所述当前帧与所述参考帧的多组匹配点对中消除位于所述当前帧与所述参考帧的非重叠区域以及所述局部运动区域中的匹配点对，其中，所述匹配点对由两个匹配的特征点组成，所述两个匹配的特征点分别为从所述当前帧中提取出的一特征点和从所述参考帧中提取出的一特征点。

优选的，通过所述当前帧和所述参考帧计算全局位移矢量，包括：

采用灰度投影法分别对所述当前帧和所述参考帧进行投影，得到水平位移矢量和垂直位移矢量；

通过所述水平位移矢量和所述垂直位移矢量确定所述全局位移矢量。

优选的，在所述重叠区域中确定出局部运动区域具体为：

通过在所述重叠区域进行运动目标检测确定所述局部运动区域。

所述方法还包括：

在从所述当前帧与所述参考帧的多组匹配点对中消除位于所述当前帧与所述参考帧的非重叠区域以及所述局部运动区域中的匹配点对之前，分别从所述参考帧和所述当前帧中提取特征点；

将从所述当前帧中提取出的特征点与从所述参考帧中提取出的特征点进行匹配，得到多组匹配点对；

则消除所述当前帧与所述参考帧的非重叠区域以及所述局部运动区域中的匹配点对，包括：

从所述多组匹配点对中确定出错误匹配点对，所述错误匹配点包括至少一个特征点位于所述非重叠区域的匹配点对、至少一个特征点位于所述局部运动区域的匹配点对；

在确定出所述错误匹配点之后，从所述多组匹配点对中将所述错误匹配点对消除。

一种视频补偿方法，包括上述的误匹配点的消除方法，还包括：

在消除错误匹配点对后，从剩余的匹配点对中选取三组匹配点对计算仿射变换矩阵；

利用所述仿射变换矩阵对所述当前帧进行图像差值，得到补偿后的帧图像。

一种误匹配点的消除装置，所述装置包括：获取模块、第一计算模块、第一确定模块、第二确定模块和消除模块；

所述获取模块，用于从待处理的视频帧中获取当前帧和参考帧；

所述第一计算模块，用于通过所述获取模块获取的所述当前帧和所述参考帧计算全局位移矢量；

所述第一确定模块，用于通过所述第一计算模块计算得到的所述全局位移矢量确定所述当前帧与所述参考帧的重叠区域；

所述第二确定模块，用于在所述第一确定模块确定出的所述重叠区域中确定出局部运动区域；

所述消除模块，用于从所述当前帧与所述参考帧的多组匹配点对中消除位于所述当前帧与所述参考帧的非重叠区域以及所述局部运动区域中的匹配点对，其中，所述匹配点对由两个匹配的特征点组成，所述两个匹配的特征点分别为从所述当前帧中的提取出一特征点和从所述参考帧中提取出的一特征点。

优选的，所属第一计算模块包括：投影子模块和第一确定子模块；

所述投影子模块，用于采用灰度投影法分别对所述当前帧和所述参考帧进行投影，得到水平位移矢量和垂直位移矢量；

所述第一确定子模块，用于通过所述水平位移矢量和所述垂直位移矢量确定所述全局位移矢量。

优选的，所述第二确定模块，具体用于通过在所述重叠区域进行运动目标检测确定所述局部运动区域。

所述装置还包括：提取模块和匹配模块；

所述提取模块，用于在从所述当前帧与所述参考帧的多组匹配点对中消除位于所述当前帧与所述参考帧的非重叠区域以及所述局部运动区域中的匹配点对之前，分别从所述参考帧和所述当前帧中提取特征点；

所述匹配模块，用于将从所述当前帧中提取出的特征点与从所述参考帧中提取出的特征点进行匹配，得到多组匹配点对；

则所述消除模块包括：第二确定子模块和消除子模块；

所述第二确定子模块，用于从所述多组匹配点对中确定出错误匹配点对，所述错误匹配点包括至少一个特征点位于所述非重叠区域的匹配点对、至少一个特征点位于所述局部运动区域的匹配点对；

所述消除子模块，用于在确定出所述错误匹配点之后，从所述多组匹配点对中将所述错误匹配点对消除。

一种视频补偿装置，包括上述的装置，还包括：第二计算模块和帧补偿模块；

所述第二计算模块，用于在消除错误匹配点对后，从剩余的匹配点对中选取三组匹配点对计算仿射变换矩阵；

所述帧补偿模块，用于利用所述第二计算模块计算得到的所述仿射变换矩阵对所述当前帧进行图像差值，得到补偿后的帧图像。

上述技术方案具有如下有益效果：

本发明实施例提供的误匹配点的消除方法、视频补偿方法及装置，能够通过当前帧和参考帧计算全局位移矢量，进一步通过全局位移矢量确定当前帧与参考帧的重叠区域，并在重叠区域中确定出局部运动区域，由于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对会给仿射变换矩阵的计算带来误差，因此，将这两个区域中的匹配点对消除。本申请提供的误匹配点的消除方法、视频补偿方法及装置，利用相邻视频帧之间联系较为紧密的特点，将非重叠区域以及局部运动区域中的匹配点对消除，即将错误的匹配点对消除，使得仿射变换矩阵的计算更加准确，进一步提高了视频补偿的准确度。

附图说明

图1为本发明实施例提供的误匹配点的消除方法的一种流程示意图；

图2为本发明实施例提供的误匹配点的消除方法的另一种流程示意图；

图3为本发明实施例提供的视频补偿方法的一种流程示意图；

图4为本发明实施例提供的视频补偿方法的另一种流程示意图；

图5为本发明实施例提供的误匹配点的消除方法和视频补偿方法中通过当前帧和参考帧计算全局位移矢量的一种实现方式的流程示意图；

图6为本发明实施例提供的误匹配点的消除装置的一种结构示意图；

图7为本发明实施例提供的误匹配点的消除装置的另一种结构示意图；

图8为本发明实施例提供的视频补偿装置的一种结构示意图；

图9为本发明实施例提供的视频补偿装置的另一种结构示意图；

图10为本发明实施例提供的误匹配点的消除装置和视频补偿装置中第一计算模块的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，示出了本发明实施例提供的误匹配点的消除方法的一种流程示意图，该误匹配点的消除方法可以包括：

步骤S101：从待处理的视频帧中获取当前帧和参考帧。

其中，参考帧为当前帧的前一帧。

步骤S102：通过当前帧和参考帧计算全局位移矢量。

步骤S103：通过全局位移矢量确定当前帧与参考帧的重叠区域，并在重叠区域中确定出局部运动区域。

步骤S104：从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对。

其中，匹配点对由两个匹配的特征点组成，两个匹配的特征点分别为从当前帧中提取出的一特征点和从参考帧中提取出的一特征点。

需要说明的是，在本实施例中，从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对的具体实现方式可以为：如果匹配点对中有一个特征点位于非重叠区域，那么将该匹配点对消除，如果匹配点对中有一个特征点位于局部运动区域，那么将该匹配点对消除。

本发明实施例提供的误匹配点的消除方法可适用于存在连续抖动且旋转幅度较小的视频稳像情况。另外，需要说明的是，现有的电子稳像技术中，在计算仿射变换矩阵时，仅使用了特征点的特征值的大小进行特征点匹配，而没有针对视频帧之间运动的特殊性-相邻视频之间旋转平移运动较小、匹配特征点之间运动位移矢量相近的特点，从而产生了非重合区域内的匹配点、运动目标上的匹配点，而这些误匹配点给仿射变换矩阵计算带来了误差。

本发明实施例提供的误匹配点的消除方法，能够通过当前帧和参考帧计算全局位移矢量，进一步通过全局位移矢量确定当前帧与参考帧的重叠区域，并在重叠区域中确定出局部运动区域，由于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对会给仿射变换矩阵的计算带来误差，因此，将这两个区域中的匹配点对消除。本实施例提供的误匹配点的消除方法利用相邻视频帧之间联系较为紧密的特点，将非重叠区域以及局部运动区域中的匹配点对消除，即将错误的匹配点对消除，这使得仿射变换矩阵的计算更加准确，进一步提高了视频补偿的准确度。

请参阅图2，示出了本发明实施例提供的误匹配点的消除方法的另一种流程示意图，该误匹配点的消除方法可以包括：

步骤S201：从待处理的视频帧中获取当前帧和参考帧。

步骤S202：分别从当前帧和参考帧中提取特征点。

在一种优选的实现方式中，从当前帧和参考帧中提取出的特征点为ORB特征点。ORB特征为具有局部不变性的特征，它是对FAST特征点与BREIF特征描述子的一种结合与改进。

步骤S203：将从当前帧中提取出的特征点与从参考帧中提取出的特征点进行匹配，得到多组匹配点对。

在一种可能的实现方式中，在将从当前帧中提取出的特征点与从参考帧中提取出的特征点进行匹配时，可基于RANSAC算法进行特征点的匹配。

步骤S204：通过当前帧和参考帧计算全局位移矢量。

步骤S205：通过全局位移矢量确定当前帧与参考帧的重叠区域，并在重叠区域中确定出局部运动区域。

步骤S206：从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对。

需要说明的是，在本实施例中，从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对的具体实现方式可以为：如果匹配点对中有一个特征点位于非重叠区域，那么将该匹配点对消除，如果匹配点对中有一个特征点位于局部运动区域，那么将该匹配点对消除。

另外，需要说明的是，本发明实施例并不限定步骤S202(从当前帧和参考帧中提取特征点)和S203(将从当前帧中提取出的特征点与从参考帧中提取出的特征点进行匹配，得到多组匹配点对)的执行顺序，只要步骤S202～S203在步骤S206之前执行即可。示例性的，步骤S202～S203可在步骤S201之后执行，也可在步骤S204后执行，还可在步骤时S205之后执行，也可在执行步骤S204～S205的同时执行。

本发明实施例提供的误匹配点的消除方法，能够分别从当前帧和参考帧中提取出ORB特征点，并将ORB特征点进行匹配形成匹配点对，当通过全局位移矢量确定当前帧与参考帧的重叠区域，并在重叠区域中确定出局部运动区域时，能够将当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对消除，即，消除了给仿射变换矩阵的计算带来误差的匹配点对。本实施例提供的误匹配点的消除方法利用相邻视频帧之间联系较为紧密的特点，将非重叠区域以及局部运动区域中的匹配点对消除，即将错误的匹配点对消除，这使得仿射变换矩阵的计算更加准确，进一步提高了视频补偿的准确度。

本发明实施例还提供了一种视频补偿方法，请参阅图3，示出了该视频补偿方法的一种流程示意图，该视频补偿方法可以包括：

步骤S301：从待处理的视频帧中获取当前帧和参考帧。

步骤S302：通过当前帧和参考帧计算全局位移矢量。

步骤S303：通过全局位移矢量确定当前帧与参考帧的重叠区域，并在重叠区域中确定出局部运动区域。

步骤S304：从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对。

需要说明的是，在本实施例中，从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对的具体实现方式可以为：如果匹配点对中有一个特征点位于非重叠区域，那么将该匹配点对消除，如果匹配点对中有一个特征点位于局部运动区域，那么将该匹配点对消除。

步骤S305：从剩余的匹配点对中选取三组匹配点对计算仿射变换矩阵。

在一种可能的实现方式中，从剩余的匹配点对中选取三组匹配点对计算仿射变换矩阵的实现方式可以包括：首先随选择参考帧上的三个特征点，假设三个特征点分别为B₁、C₁、D₁，且特征点B₁、C₁、D₁的坐标分别为(x_B1,y_B1)、(x_C1,y_C1)、(x_D1,y_D1)，那么在当前帧上与特征点B₁、C₁、D₁匹配的特征点依次分别为B₂、C₂、D₂，且特征点B₂、C₂、D₂的坐标分别为(x_B2,y_B2)、(x_C2,y_C2)、(x_D2,y_D2)，然后分别将B₂、C₂、D₂的坐标(x_B2,y_B2)、(x_C2,y_C2)、(x_D2,y_D2)代入式(1)右侧的(x₂,y₂)，将B₁、C₁、D₁的坐标(x_B1,y_B1)、(x_C1,y_C1)、(x_D1,y_D1)代入式(1)左侧的(x₁,y₁)，从而求得仿射变换矩阵 $\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right):$

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right)---\left(1\right)$

步骤S306：利用仿射变换矩阵对当前帧进行图像差值，得到补偿后的帧图像。

本发明实施例提供的视频补偿方法，能够通过当前帧和参考帧计算全局位移矢量，进一步通过全局位移矢量确定当前帧与参考帧的重叠区域，并在重叠区域中确定出局部运动区域，由于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对会给仿射变换矩阵的计算带来误差，因此，将这两个区域中的匹配点对消除，然后，利用从剩余的匹配点对中选取三对计算仿射变换矩阵，进而利用该仿射变换矩阵进行补偿。本实施例提供的视频补偿方法利用相邻视频帧之间联系较为紧密的特点，将非重叠区域以及局部运动区域中的匹配点对消除，即将错误的匹配点对消除，这使得仿射变换矩阵的计算更加准确，进一步提高了视频补偿的准确度。

请参阅图4，示出了视频补偿方法的另一种流程示意图，该视频补偿方法可以包括：

步骤S401：从待处理的视频帧中获取当前帧和参考帧。

步骤S402：分别从参考帧和当前帧中提取特征点。

在一种优选的实现方式中，从当前帧和参考帧中提取出的特征点为ORB特征点。

步骤S403：将从当前帧中提取出的特征点与从参考帧中提取出的特征点进行匹配，得到多组匹配点对。

在一种可能的实现方式中，在将从当前帧中提取出的特征点与从参考帧中提取出的特征点进行匹配时，可基于RANSAC算法进行特征点的匹配。

步骤S404：通过当前帧和参考帧计算全局位移矢量。

步骤S405：通过全局位移矢量确定当前帧与参考帧的重叠区域，并在重叠区域中确定出局部运动区域。

步骤S406：从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对。

需要说明的是，在本实施例中，从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对的具体实现方式可以为：如果匹配点对中有一个特征点位于非重叠区域，那么将该匹配点对消除，如果匹配点对中有一个特征点位于局部运动区域，那么将该匹配点对消除。

步骤S407：从剩余的匹配点对中选取三组匹配点对计算仿射变换矩阵。

需要说明的是，从剩余的匹配点对中选取三组匹配点对计算仿射变换矩阵的实现方式可参见上述实施例，在此不作赘述。

步骤S408：利用仿射变换矩阵对当前帧进行图像差值，得到补偿后的帧图像。

需要说明的是，本发明实施例并不限定步骤S402(从当前帧和参考帧中提取特征点)和S403(将从当前帧中提取出的特征点与从参考帧中提取出的特征点进行匹配，得到多组匹配点对)的执行顺序，只要步骤S402～S403在步骤S406之前执行即可。示例性的，步骤S402～S403可在步骤S401之后执行，也可在步骤S404后执行，还可在步骤时S405之后执行，也可在执行步骤S404～S405的同时执行。

本发明实施例提供的视频补偿方法，能够分别从当前帧和参考帧中提取出ORB特征点，并将ORB特征点进行匹配形成ORB匹配点对，当通过全局位移矢量确定当前帧与参考帧的重叠区域，并在重叠区域中确定出局部运动区域时，能够将当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对消除，即，消除了给仿射变换矩阵的计算带来误差的ORB匹配点对，然后，利用从剩余的ORB匹配点对中选取三对计算仿射变换矩阵，进而利用该仿射变换矩阵进行补偿。本实施例提供的视频补偿方法利用相邻视频帧之间联系较为紧密的特点，将非重叠区域以及局部运动区域中的匹配点对消除，即将错误的匹配点对消除，这使得仿射变换矩阵的计算更加准确，进一步提高了视频补偿的准确度。

在上述任一实施例中，通过当前帧和参考帧计算全局位移矢量的实现方式有多种，请参阅图5，示出了通过当前帧和参考帧计算全局位移矢量的一种可能的实现方式，可以包括：

步骤S501：采用灰度投影法分别对当前帧和参考帧进行投影，得到水平位移矢量和垂直位移矢量。

具体的，通过式(2)计算当前帧的第i行投影和参考帧的第i行投影：

$G_H\left(i\right)={\mathrm{\Σ}}_{j=1}^{j=W}G(i,j)/W---\left(2\right)$

其中，W为帧图像的宽度，H为帧图像的高度，G_H(i)为帧图像第i行的投影，G(i,j)为帧图像第i行第j列的灰度值。

通过式(3)的自相关函数确定垂直位移矢量：

$\begin{array}{c}C\left(j\right){\Σ}_{i=1}^H{\[G_k(j+i-1)-G_r(n+i)\]}^2\\ Z/3\≤j\≤2Z/3\end{array}---\left(3\right)$

其中，G_k(i)为当前帧的第i行投影值，G_r(i)为参考帧的第i行投影值，Z＝MIN(W,H)。

同样的，通过式(4)计算当前帧的第j列投影和参考帧的第j列投影：

$G_W\left(j\right)={\mathrm{\Σ}}_{i=1}^{i=H}G(i,j)/H---\left(4\right)$

通过式(5)的自相关函数确定水平位移矢量：

$\begin{array}{c}C\left(i\right){\Σ}_{j=1}^W{\[G_k(i+j-1)-G_r(n+j)\]}^2\\ Z/3\≤i\≤2Z/3\end{array}---\left(5\right)$

其中，其中，G_k(j)为当前帧的第j列投影值，G_r(j)为参考帧的第j列投影值，Z＝MIN(W,H)。

步骤S502:通过水平位移矢量和垂直位移矢量确定全局位移矢量。

假设垂直位移矢量为水平位移矢量为全局位移矢量为那么，全局位移矢量为:

在上述任一实施例中，通过当前帧和参考帧计算全局位移矢量的实现方式有多种，在一种可能的实现方式中，在重叠区域中确定出局部运动区域具体为：通过在重叠区域进行运动目标检测确定局部运动区域。

进一步的，运动目标检测的方法可以为帧差法。具体的，假设当前帧为f₁(x,y)，参考帧为f₂(x,y)，当前帧中的重叠区域为f_a(x,y)，参考帧中重叠区域为f_b(x,y)，设帧差图像分别为G_a(x,y)和G_b(x,y)，那么：

G_a(x,y)＝f_a(x,y)-f_b(x,y)     (7)

G_b(x,y)＝f_b(x,y)-f_a(x,y)     (8)

分别对帧差图像G_a(x,y)和G_b(x,y)进行灰度化处理，然后根据目标大小与背景颜色差别等信息检测出局部运动区域。

与上述方法相对应,本发明实施例还提供了一种误匹配点的消除装置，请参阅图6，示出了该误匹配点的消除装置600的一种结构示意图，可以包括：获取模块601、第一计算模块602、第一确定模块603、第二确定模块604和消除模块605。

获取模块601，用于从待处理的视频帧中获取当前帧和参考帧。

第一计算模块602，用于通过获取模块获取的当前帧和参考帧计算全局位移矢量。

第一确定模块603，用于通过第一计算模块计算得到的全局位移矢量确定当前帧与参考帧的重叠区域。

第二确定模块604，用于在第一确定模块确定出的重叠区域中确定出局部运动区域。

消除模块605，用于从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对，其中，匹配点对由两个匹配的特征点组成，两个匹配的特征点分别为从当前帧中提取出的一特征点和从参考帧中提取出的一特征点。

需要说明的是，在本实施例中，如果匹配点对中有一个特征点位于非重叠区域，那么消除模块605将该匹配点对消除，如果匹配点对中有一个特征点位于局部运动区域，那么消除模块605将该匹配点对消除。

本发明实施例提供的误匹配点的消除装置，利用相邻视频帧之间联系较为紧密的特点，能够将非重叠区域以及局部运动区域中的匹配点对消除，即将错误的匹配点对消除，这使得仿射变换矩阵的计算更加准确，进一步提高了视频补偿的准确度。

请参阅图7，示出了本发明实施例提供误匹配点的消除装置的另一种结构示意图，该误匹配点的消除装置700除了可以包括上述实施例提供的获取模块601、第一计算模块602、第一确定模块603、第二确定模块604和消除模块605外，还可以包括：提取模块701和匹配模块602。

提取模块701，用于在从当前帧与参考帧的多组匹配点对中消除位于当前帧与参考帧的非重叠区域以及局部运动区域中的匹配点对之前，分别从参考帧和当前帧中提取特征点。

在一种优选的实现方式中，提取模块701从当前帧和参考帧中提取出的特征点为ORB特征点。

匹配模块602，用于将从当前帧中提取出的特征点与从参考帧中提取出的特征点进行匹配，得到多组匹配点对。

本发明实施例提供的误匹配点的消除装置，利用相邻视频帧之间联系较为紧密的特点，能够将非重叠区域以及局部运动区域中的匹配点对消除，即将错误的匹配点对消除，这使得仿射变换矩阵的计算更加准确，进一步提高了视频补偿的准确度。

除了上述实施例提供的误匹配点的消除装置外，本发明实施例还提供了一种视频补偿装置，请参阅图8，示出了该视频补偿装置800的结构示意图，该装置800包括上述实施例提供的误匹配点的消除装置600，还包括：第二计算模块801和帧补偿模块802。

第二计算模块801，用于在消除错误匹配点对后，从剩余的匹配点对中选取三组匹配点对计算仿射变换矩阵。

在一种可能的实现方式中，第二计算模块801从剩余的匹配点对中选取三组匹配点对计算仿射变换矩阵的实现方式可以包括：第二计算模块801首先随选择参考帧上的三个特征点，假设三个特征点分别为B₁、C₁、D₁，且特征点B₁、C₁、D₁的坐标分别为(x_B1,y_B1)、(x_C1,y_C1)、(x_D1,y_D1)，那么在当前帧上与特征点B₁、C₁、D₁匹配的特征点依次分别为B₂、C₂、D₂，且特征点B₂、C₂、D₂的坐标分别为(x_B2,y_B2)、(x_C2,y_C2)、(x_D2,y_D2)，然后分别将B₂、C₂、D₂的坐标(x_B2,y_B2)、(x_C2,y_C2)、(x_D2,y_D2)代入式(1)右侧的(x₂,y₂)，将B₁、C₁、D₁的坐标(x_B1,y_B1)、(x_C1,y_C1)、(x_D1,y_D1)代入式(1)左侧的(x₁,y₁)，从而求得仿射变换矩阵 $\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right):$

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right)---\left(9\right)$

帧补偿模块802，用于利用第二计算模块801计算得到的所述仿射变换矩阵对当前帧进行图像差值，得到补偿后的帧图像。

本发明实施例提供的视频补偿装置，利用相邻视频帧之间联系较为紧密的特点，能够将非重叠区域以及局部运动区域中的匹配点对消除，即将错误的匹配点对消除，这使得仿射变换矩阵的计算更加准确，进一步提高了视频补偿的准确度。

请参阅图9，示出了本发明实施例提供的视频补偿装置的另一种结构示意图，该装置视频补偿装置900可以包括上述实施例提供的误匹配点的消除装置700、第二计算模块801和帧补偿模块802。误匹配点的消除装置700、第二计算模块801和帧补偿模块802的具体实现方式可参见上述实施例，在此不作赘述。

本发明实施例提供的视频补偿装置，利用相邻视频帧之间联系较为紧密的特点，能够将非重叠区域以及局部运动区域中的匹配点对消除，即将错误的匹配点对消除，这使得仿射变换矩阵的计算更加准确，进一步提高了视频补偿的准确度。

在上述任一实施例中，第一计算模块602的实现方式有多种。请参阅图10，示出了第一计算模块602的一种结构示意图，可以包括投影子模块1001和第一确定子模块1002。

投影子模块1001，用于采用灰度投影法分别对当前帧和所述参考帧进行投影，得到水平位移矢量和垂直位移矢量。

第一确定子模块1002，用于通过水平位移矢量和垂直位移矢量确定全局位移矢量。

在上述任一实施例中，第二确定模块604在重叠区域确定局部运动区域的方式有多种，在一种可能的实现方式中，第二确定模块604通过在重叠区域进行运动目标检测确定局部运动区域，具体的，第二确定模块604进行运动目标检测的方法可以为帧差法。

在上述任一实施例中，消除模块605可以包括：第二确定子模块和消除子模块。

第二确定子模块，用于从多组匹配点对中确定出错误匹配点对。

其中，错误匹配点包括至少一个特征点位于所述非重叠区域的匹配点对、至少一个特征点位于所述局部运动区域的匹配点对。

消除子模块，用于在确定出错误匹配点之后，从多组匹配点对中将错误匹配点对消除。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所提供的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所提供的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种误匹配点的消除方法，其特征在于，所述方法包括：

从待处理的视频帧中获取当前帧和参考帧；

通过所述当前帧和所述参考帧计算全局位移矢量；

通过所述全局位移矢量确定所述当前帧与所述参考帧的重叠区域，并在所述重叠区域中确定出局部运动区域；

从所述当前帧与所述参考帧的多组匹配点对中消除位于所述当前帧与所述参考帧的非重叠区域以及所述局部运动区域中的匹配点对，其中，所述匹配点对由两个匹配的特征点组成，所述两个匹配的特征点分别为从所述当前帧中提取出的一特征点和从所述参考帧中提取出的一特征点。

2.根据权利要求1所述的方法，其特征在于，通过所述当前帧和所述参考帧计算全局位移矢量，包括：

采用灰度投影法分别对所述当前帧和所述参考帧进行投影，得到水平位移矢量和垂直位移矢量；

通过所述水平位移矢量和所述垂直位移矢量确定所述全局位移矢量。

3.根据权利要求1所述的方法，其特征在于，在所述重叠区域中确定出局部运动区域具体为：

通过在所述重叠区域进行运动目标检测确定所述局部运动区域。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在从所述当前帧与所述参考帧的多组匹配点对中消除位于所述当前帧与所述参考帧的非重叠区域以及所述局部运动区域中的匹配点对之前，分别从所述参考帧和所述当前帧中提取特征点；

将从所述当前帧中提取出的特征点与从所述参考帧中提取出的特征点进行匹配，得到多组匹配点对；

则消除所述当前帧与所述参考帧的非重叠区域以及所述局部运动区域中的匹配点对，包括：

从所述多组匹配点对中确定出错误匹配点对，所述错误匹配点包括至少一个特征点位于所述非重叠区域的匹配点对、至少一个特征点位于所述局部运动区域的匹配点对；

在确定出所述错误匹配点之后，从所述多组匹配点对中将所述错误匹配点对消除。

5.一种视频补偿方法，其特征在于，包括如权利要求1～4中任意一项所述的误匹配点的消除方法，还包括：

在消除错误匹配点对后，从剩余的匹配点对中选取三组匹配点对计算仿射变换矩阵；

利用所述仿射变换矩阵对所述当前帧进行图像差值，得到补偿后的帧图像。

6.一种误匹配点的消除装置，其特征在于，所述装置包括：获取模块、第一计算模块、第一确定模块、第二确定模块和消除模块；

所述获取模块，用于从待处理的视频帧中获取当前帧和参考帧；

所述第一计算模块，用于通过所述获取模块获取的所述当前帧和所述参考帧计算全局位移矢量；

所述第一确定模块，用于通过所述第一计算模块计算得到的所述全局位移矢量确定所述当前帧与所述参考帧的重叠区域；

所述第二确定模块，用于在所述第一确定模块确定出的所述重叠区域中确定出局部运动区域；

所述消除模块，用于从所述当前帧与所述参考帧的多组匹配点对中消除位于所述当前帧与所述参考帧的非重叠区域以及所述局部运动区域中的匹配点对，其中，所述匹配点对由两个匹配的特征点组成，所述两个匹配的特征点分别为从所述当前帧中的提取出一特征点和从所述参考帧中提取出的一特征点。

7.根据权利要求6所述的装置，其特征在于，所属第一计算模块包括：投影子模块和第一确定子模块；

所述投影子模块，用于采用灰度投影法分别对所述当前帧和所述参考帧进行投影，得到水平位移矢量和垂直位移矢量；

所述第一确定子模块，用于通过所述水平位移矢量和所述垂直位移矢量确定所述全局位移矢量。

8.根据权利要求6所述的装置，其特征在于，所述第二确定模块，具体用于通过在所述重叠区域进行运动目标检测确定所述局部运动区域。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：提取模块和匹配模块；

所述提取模块，用于在从所述当前帧与所述参考帧的多组匹配点对中消除位于所述当前帧与所述参考帧的非重叠区域以及所述局部运动区域中的匹配点对之前，分别从所述参考帧和所述当前帧中提取特征点；

所述匹配模块，用于将从所述当前帧中提取出的特征点与从所述参考帧中提取出的特征点进行匹配，得到多组匹配点对；

则所述消除模块包括：第二确定子模块和消除子模块；

所述第二确定子模块，用于从所述多组匹配点对中确定出错误匹配点对，所述错误匹配点包括至少一个特征点位于所述非重叠区域的匹配点对、至少一个特征点位于所述局部运动区域的匹配点对；

所述消除子模块，用于在确定出所述错误匹配点之后，从所述多组匹配点对中将所述错误匹配点对消除。

10.一种视频补偿装置，其特征在于，包括如权利要求6～9中任意一项所述的装置，还包括：第二计算模块和帧补偿模块；

所述第二计算模块，用于在消除错误匹配点对后，从剩余的匹配点对中选取三组匹配点对计算仿射变换矩阵；

所述帧补偿模块，用于利用所述第二计算模块计算得到的所述仿射变换矩阵对所述当前帧进行图像差值，得到补偿后的帧图像。