CN101917577B

CN101917577B - 嵌入式系统及其进行视频矫正的方法

Info

Publication number: CN101917577B
Application number: CN 201010232383
Authority: CN
Inventors: 黄健
Original assignee: Huizhou Foryou General Electronics Co Ltd
Current assignee: Huizhou Foryou General Electronics Co Ltd
Priority date: 2010-07-20
Filing date: 2010-07-20
Publication date: 2012-07-25
Anticipated expiration: 2030-07-20
Also published as: CN101917577A

Abstract

本发明涉及嵌入式系统及其进行视频矫正的方法。该嵌入式系统包括用于拍摄视频的摄像头、用于存储数据的存储器、用于处理数据的处理器、以及用于显示视频的显示器。该视频矫正方法包括以下步骤：根据鱼眼失真获取第一鱼眼矫正因子和第二鱼眼矫正因子，所述第一鱼眼矫正因子和第二鱼眼矫正因子分别对应于视频的第一投影方向和第二投影方向；根据矩形失真调整所述第一鱼眼矫正因子，得到第一综合矫正因子；根据矩形失真调整所述第二鱼眼矫正因子，得到第二综合矫正因子；使用所述第一综合矫正因子和第二综合矫正因子对所述视频进行矫正。本发明对鱼眼失真矫正、矩形失真矫正以及视频的投影映射进行合并处理，减少了计算量，降低了对硬件的要求。

Description

嵌入式系统及其进行视频矫正的方法

技术领域

本发明涉及嵌入式系统，尤其涉及车载嵌入式系统的视频矫正方法。

背景技术

鱼眼摄像头具有焦距短、视角广的优点，其拍摄的视场角可以达到甚至超过180度。但是，鱼眼摄像头拍摄到的图像具有鱼眼失真(也称为扩散失真)，因此，在后续的视频处理中需要进行鱼眼矫正。此外，如果摄像头的长宽比与显示屏幕的长宽比不相同，那么，在视频显示之前还必须进行矩形矫正，以便于在显示屏幕上显示视频。

传统的处理方法是先进行鱼眼矫正，然后再进行矩形矫正，接着将二维物体投射到视频图像的三维空间中。这些处理需要多次的硬件加速或者需要复杂的软件计算量，对硬件要求较高。

而嵌入式系统的计算能力一般较差，在嵌入式系统中实现传统的鱼眼矫正、矩形矫正、二维物体投射等处理的硬件成本较高。

因此，亟需一种改进的进行视频矫正的方法。

发明内容

本发明的一方面提供一种进行视频矫正的方法，包括以下步骤：根据鱼眼失真获取第一鱼眼矫正因子和第二鱼眼矫正因子，所述第一鱼眼矫正因子和第二鱼眼矫正因子分别对应于视频的第一投影方向和第二投影方向；根据矩形失真调整所述第一鱼眼矫正因子，得到第一综合矫正因子；根据矩形失真调整所述第二鱼眼矫正因子，得到第二综合矫正因子；使用所述第一综合矫正因子和第二综合矫正因子对所述视频进行矫正。

作为本发明的一种改进，所述第一鱼眼矫正因子对应于所述视频的横向投影，所述第二鱼眼矫正因子对应于所述视频的纵向投影。

作为本发明的一种改进，“根据鱼眼失真获取第一鱼眼矫正因子和第二鱼眼矫正因子”的步骤中，包括：将圆形的鱼眼失真转换为椭圆形的扩散失真。

作为本发明的一种改进，“根据矩形失真调整所述第一鱼眼矫正因子”的步骤中包括：根据矩形失真的横向失真分量调整所述第一鱼眼矫正因子；“根据矩形失真调整所述第二鱼眼矫正因子”的步骤中包括：根据矩形失真的纵向失真分量调整所述第二鱼眼矫正因子。

作为本发明的一种改进，“使用所述第一综合矫正因子和第二综合矫正因子对所述视频进行矫正”的步骤包括：

x＝f_x(x’，y’)(j1)；

y＝f_y(x’，y’)(j2)；

其中：

x’为待矫正的视频中某坐标点的横坐标，y’为待矫正的视频中某坐标点的纵坐标；

x为所述某坐标点的矫正后的横坐标，y为所述某坐标点的矫正后的纵坐标；

j1为第一综合矫正因子，j2为第二综合矫正因子；

f_x是横向矫正函数，f_y是纵向矫正函数。

作为本发明的一种改进，在车载嵌入式系统中执行所述视频矫正方法。

本发明的另一个方面提供一种嵌入式系统，包括用于拍摄视频的摄像头、用于存储数据的存储器、用于处理数据的处理器、以及用于显示视频的显示器，其中：所述处理器根据所述摄像头的鱼眼失真获取第一鱼眼矫正因子和第二鱼眼矫正因子，所述第一鱼眼矫正因子和第二鱼眼矫正因子分别对应于视频的横向投影方向和纵向投影方向；所述处理器还根据所述摄像头的视场宽度与所述显示器的屏幕宽度的比值调整所述第一鱼眼矫正因子，得到第一综合矫正因子；所述处理器还根据所述摄像头的视场高度与所述显示器的屏幕高度的比值调整所述第二鱼眼矫正因子，得到第二综合矫正因子；所述处理器根据所述第一综合矫正因子和第二综合矫正因子对所述摄像头拍摄的视频进行矫正。

作为本发明的一种改进，所述处理器将所述摄像头的将圆形的鱼眼失真转换为椭圆形的扩散失真。

作为本发明的一种改进，所述处理器进行如下计算：

x＝f_x(x’，y’)(j1)；

y＝f_y(x’，y’)(j2)；

其中：

j1为第一综合矫正因子，j2为第二综合矫正因子；

f_x是横向矫正函数，f_y是纵向矫正函数。

作为本发明的一种改进，所述嵌入式系统为车载驻车辅助系统，所述摄像头用于拍摄车身外的视频，所述显示器用于显示经过矫正的视频。

实施本发明，能够将鱼眼失真的矫正以及矩形失真的矫正合并在一起进行处理，减少了计算量，降低了对硬件的要求，降低了硬件成本，尤其适用于计算能力不强的嵌入式系统中。

附图说明

图1是本发明一实施例提供的嵌入式系统的示意图；

图2是本发明一实施例提供的进行视频矫正的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是本发明一实施例提供的嵌入式系统，该嵌入式系统为车载驻车辅助系统。该车载驻车辅助系统包括摄像头11、处理器13、显示器15以及存储器17。其中，摄像头11安装到车身外，用于拍摄车身外的视频。摄像头11为鱼眼镜头，优选地，其视场角接近180°甚至大于180°，以便于拍摄尽可能广的视场。处理器13主要用于对摄像头11拍摄的视频进行处理，以便于在显示器15的显示屏显示。存储器17与摄像头11、处理器13、显示器连接，用于存储有关的初始数据、中间数据和/或最终数据。

图2是图1所示嵌入式系统进行视频矫正的流程图。下面结合图1和图2对本发明的视频矫正方法进行阐述。

步骤21中，根据鱼眼失真获取第一鱼眼矫正因子和第二鱼眼矫正因子。本实施例中，第一鱼眼矫正因子对应于视频的横向投影方向，第二鱼眼矫正因子分别对应于视频的纵向投影方向。

为了进一步减小计算，本实施例中将圆形的鱼眼失真转换成椭圆形的扩散失真。这种情况下，第一鱼眼矫正因子与摄像头11的视场宽度w、椭圆形视场的焦距c有关，而第二鱼眼矫正因子与该摄像头11的视场高度h、椭圆形视场的短轴b有关。

步骤23中，根据矩形失真调整第一鱼眼矫正因子和第二鱼眼矫正因子，从而得到第一综合矫正因子和第二综合矫正因子。具体地，将矩形失真分解为横向失真分量和纵向失真分量，横向失真分量与摄像头11的视场宽度w与显示器15的屏幕宽度w’的比值有关，纵向失真分量与摄像头11的视场高度h与所述显示器的屏幕高度h’的比值有关。根据横向失真分量调整所述第一鱼眼失真矫正因子，从而得到第一综合矫正因子；根据纵向失真分量调整所述第二鱼眼失真矫正因子，从而得到第二综合矫正因子。第一鱼眼矫正因子、第二鱼眼矫正因子的调整过程，可以在计算机上执行。

进行上述调整之后，第一综合矫正因子和第二综合矫正因子包括了鱼眼失真的矫正参数和矩形失真的矫正参数。也就是说，第一综合矫正因子和第二综合矫正因子既可以用于矫正只存在鱼眼失真的视频，也可以用于矫正只存在矩形失真的视频，还可以用于矫正同时存在鱼眼失真和矩形失真的视频。

具体到车载驻车辅助系统，可以根据摄像头11本身的视角、输出长宽比等参数，以及安装摄像头11时的安装高度、安装俯角、屏幕长宽比等工程参数对第一综合矫正因子和第二综合矫正因子进行微调，使得经过第一和第二综合矫正因子矫正后的视频与真实的视频尽可能地吻合。这种微调也可以是计算机上执行。

步骤25中，使用第一综合矫正因子和第二综合矫正因子对视频进行矫正。具体地，根据第一综合矫正因子、第二综合矫正因子对摄像头11拍摄到的原始视频中的各坐标点进行换算，以得到矫正后的新坐标。例如，若原始视频中某坐标点是(x’，y’)，那么，矫正后的坐标点(x，y)可以表示为：

x＝f_x(x’，y’)(j1)；以及

y＝f_y(x’，y’)(j2)。

其中：

x为某坐标点的矫正后的横坐标，y为某坐标点的矫正后的纵坐标；

j1为第一综合矫正因子，j2为第二综合矫正因子；

f_x是横向矫正函数(横向投影映射函数)，f_y是纵向矫正函数(纵向投影映射函数)。

在本发明的一个实施例中，具体投影映射算法是：

x＝SCREEN_WIDTH*m_fCurveEffect1*(ANGLE_TO_PI(fHoriAngleOfView/2)-atan(x’/sqrt(x’Center*x’Center+y’Center*y’Center)))/ANGLE_TO_PI(fHoriAngleOfView)；

y＝SCREEN_HEIGHT*m_fCurveEffect2*(ANGLE_TO_PI(90-m_fCameraAngle+fVertAngleOfView/2)-atan(y‘/m_fCameraHeight))/ANGLE_TO_PI(fVertAngleOfView)；

其中：

SCREEN_WIDTH是显示器15的屏幕宽度w’，用像素表示；

SCREEN_HEIGHT是显示器15的屏幕高度h’，用象素表示；

m_fCurveEffect1是第一鱼眼矫正因子；

m_fCurveEffect2是第二鱼眼矫正因子；

ANGLE_TO_PI()是一个将角度单位由度转换到PI(弧度)的函数；

fHoriAngleOfView是摄像头11的水平(横向)视角；

fVertAngleOfView是摄像头11的垂直(纵向)视角；

m_fCameraAngle是安装摄像头11时的视线方向与水平的俯角；

m_fCameraHeight是安装摄像头11时的距离地面的高度；

x’、y’为原始二维视频中的某一坐标点的坐标；

x’Center和y’Center为车辆转弯半径的圆点；

x、y是经过矫正计算后得到的新坐标点的坐标。

如上所述，本发明的第一综合矫正因子和第二综合矫正因子综合了鱼眼失真矫正和矩形失真矫正，从而能够将鱼眼失真和矩形失真和合并在一起进行矫正，减轻了计算量，降低了硬件成本。此外，在矫正过程中，通过投影映射函数完成了映射过程，但是，实施本发明的视频矫正过程，相当于合并了鱼眼失真矫正、矩形失真矫正以及视频的投影映射，这种处理方法相对于传统的处理方法节省了大量的计算量，极大地降低了对硬件的要求。

本发明的进行视频矫正的方法尤其适用于嵌入式系统中，因为嵌入式系统的计算能力有限，不适宜使用传统的视频矫正方法。优选地，本发明的进行视频矫正的方法适用到车载驻车辅助系统等车载嵌入式系统中。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种进行视频矫正的方法，其特征在于，包括以下步骤：

根据鱼眼失真获取第一鱼眼矫正因子和第二鱼眼矫正因子，所述第一鱼眼矫正因子和第二鱼眼矫正因子分别对应视频的第一投影方向和第二投影方向；

根据摄像头的视场宽度与显示器的屏幕宽度的比值调整所述第一鱼眼矫正因子，得到第一综合矫正因子；

根据摄像头的视场高度与显示器的屏幕高度的比值调整所述第二鱼眼矫正因子，得到第二综合矫正因子；

使用所述第一综合矫正因子和第二综合矫正因子对所述视频进行矫正。

2.根据权利要求1所述的进行视频矫正的方法，其特征在于，所述第一鱼眼矫正因子对应于所述视频的横向投影，所述第二鱼眼矫正因子对应于所述视频的纵向投影。

3.根据权利要求2所述的进行视频矫正的方法，其特征在于，“根据鱼眼失真获取第一鱼眼矫正因子和第二鱼眼矫正因子”的步骤中，包括：将圆形的鱼眼失真转换为椭圆形的扩散失真。

4.根据权利要求2或3所述的进行视频矫正的方法，其特征在于，“使用所述第一综合矫正因子和第二综合矫正因子对所述视频进行矫正”的步骤包括：

x＝f_x(x’，y’)(j1)；

y＝f_y(x’，y’)(j2)；

其中：

j1为第一综合矫正因子，j2为第二综合矫正因子；

f_x是横向矫正函数，f_y是纵向矫正函数。

5.根据权利要求4所述的进行视频矫正的方法，其特征在于，在车载嵌入式系统中执行所述视频矫正方法。

6.一种嵌入式系统，包括用于拍摄视频的摄像头、用于存储数据的存储器、用于处理数据的处理器、以及用于显示视频的显示器，其中：

所述处理器根据所述摄像头的鱼眼失真获取第一鱼眼矫正因子和第二鱼眼矫正因子，所述第一鱼眼矫正因子和第二鱼眼矫正因子分别对应于视频的横向投影方向和纵向投影方向；

所述处理器还根据所述摄像头的视场宽度与所述显示器的屏幕宽度的比值调整所述第一鱼眼矫正因子，得到第一综合矫正因子；

所述处理器还根据所述摄像头的视场高度与所述显示器的屏幕高度的比值调整所述第二鱼眼矫正因子，得到第二综合矫正因子；

所述处理器根据所述第一综合矫正因子和第二综合矫正因子对所述摄像头拍摄的视频进行矫正。

7.根据权利要求6所述的嵌入式系统，其特征在于，所述处理器将所述摄像头的圆形的鱼眼失真转换为椭圆形的扩散失真。

8.根据权利要求6所述的嵌入式系统，其特征在于，所述处理器进行如下计算：

x＝f_x(x’，y’)(j1)；

y＝f_y(x’，y’)(j2)；

其中：

j1为第一综合矫正因子，j2为第二综合矫正因子；

f_x是横向矫正函数，f_y是纵向矫正函数。

9.根据权利要求6至8中任意一项所述的嵌入式系统，其特征在于，所述嵌入式系统为车载驻车辅助系统，所述摄像头用于拍摄车身外的视频，所述显示器用于显示经过矫正的视频。