CN103871070A

CN103871070A - 车载全景成像系统的自动标定方法

Info

Publication number: CN103871070A
Application number: CN201410132770.1A
Authority: CN
Inventors: 戈志伟; 刘建; 刘伟恒; 张荃; 陈杰; 钟晨
Original assignee: Shenzhen Desay Microelectronic Technology Ltd Co
Current assignee: Shenzhen Desay Microelectronic Technology Ltd Co
Priority date: 2014-04-03
Filing date: 2014-04-03
Publication date: 2014-06-18

Abstract

本发明公开了一种车载全景成像系统的自动标定方法，包括步骤：s1、摆放标定模板，调整目标车与标定模版的相对位置；s2、获取并输入现场标定模板摆放参数；s3、通过分析目标车上的广角摄像头抓取到的图像，算出标定模板在图像中的位置；s4、识别出标定模板中预先选定的特征点；s5、确定图像坐标与世界坐标的对应关系；s6、根据步骤s5中图像中像素点对应世界坐标的关系，推算出摄像头参数及全景拼接参数，进行车载全景系统的图像校正及拼接。本发明免除了使用者在标定是繁杂的人工操作且可以适应阴影、强光等多种不同的环境，具有较高的鲁棒性。

Description

车载全景成像系统的自动标定方法

技术领域

本发明涉及汽车电子领域，特别涉及一种车载全景成像系统的自动标定方法。

背景技术

随着汽车电子的蓬勃发展，车载全景系统技术也在逐渐成熟。车载全景系统技术由于成本和使用便捷度的限制，在选择图像采集设备的时候大多选择超广角的鱼眼镜头，然后对摄像头的一般参数、鱼眼镜头的畸变参数及摄像头安装参数进行标定。

现阶段常见的手动标定方法，基于复杂的模板，利用人机交互设备、使用触摸屏辅助在显示的图像中指定图像中坐标点和现实世界坐标点之间的对应关系，操作复杂，费时费力，且适应的天气情况比较少，不能在强光或者阴影下进行自动标定。相对于常见的手动标定方法，现有的自动标定算法没有完全利用模板的有效信息，导致标定鲁棒性较低且要求有较好的标定环境条件。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种车载全景成像系统的自动标定方法。

为了解决上述问题，本发明的技术方案是：

车载全景成像系统的自动标定方法，所述车载全景系统包括分别安装于汽车的车头、车尾、左侧和右侧的广角摄像头，包括步骤：

s1、摆放标定模板，调整目标车与标定模版的相对位置；s2、获取并输入现场标定模板摆放参数；s3、通过分析目标车上的广角摄像头抓取到的图像，算出标定模板在图像中的位置；s4、识别出标定模板中预先选定的特征点；s5、确定图像坐标与世界坐标的对应关系；s6、根据步骤s5中图像中像素点对应世界坐标的关系，推算出摄像头参数及全景拼接参数，进行车载全景系统的图像校正及拼接。

优选的，在进行步骤s4的识别后，还判断特征点是否识别成功，若识别成功则进行步骤s5，若识别失败或者特征点位置不准确，则进行手动修正特征点参数，指示出现实世界中的特征点在图像中的位置。

优选的，步骤s1所述标定模板包括分别位于汽车前方、后方、左方和右方并围成矩形的四个条形模板，以及分别位于四个条形模板所围成矩形的四个顶点外侧的四个正方形模板。

优选的，步骤s2中所述模板参数包括相邻两条形模板的长度，模板参数通过人机交互设备进行输入，并保存起来。

优选的，步骤s3利用标定模板的颜色信息，将整个图像的每个像素点都进行归一化RGB处理，进而算出标定模板在图像中的位置。

或者，步骤s3利用标定模板的颜色信息，把原图像转换到HIS或HSV空间中，进而算出标定模板在图像中的位置。

优选的，步骤s4所要识别出的特征点包括正方形模板的四个顶点，和条形模板外边缘上最左点、最右点及中央点。

具体的，步骤s4中识别正方形模板的顶点的方法为：选择完成预处理的图片，在已经识别到的符合模板特征的区域，外扩15-50个像素范围内，求每个象素点横纵两个方向的梯度值，计算两个梯度值的平方和，并依据此平方和进行排序，得到平方和最高的四个像素点，即为需要寻找的正方形模板的四个顶点。

或者步骤s4中识别正方形模板的顶点的方法为：选择完成预处理的图片，在已经识别到的符合模板特征的区域，外扩15-50个像素范围内，计算每个象素点横纵两个方向的梯度值，并将满足阈值的像素点作为正方形模板的边的点集；将边的样本点根据位置和梯度方向分开成四类，即得到正方形边缘的四条边各自的点集，对各个边的样本点进行最小二乘拟合，获得其模型，并依据模型求各个边的交点，并依此找出对应的四个顶点。

本发明还可以通过获得目标车体的参数从而得到模板在现实世界中的位置，其他步骤和上述步骤类似。

本发明提供了一种车载全景系统自动标定方法，处理器利用标定模板的颜色信息，将整个图像的每个像素点都进行归一化RGB处理，或者把原图像转换到HIS或HSV空间中，进而算出标定模板在图像中的位置,对完成预处理的图片，在已经识别到的符合模板特征的区域，外扩15-50个像素范围内,识别标定模板的特征点, 确定图像坐标与世界坐标的对应关系，推算出摄像头参数及全景拼接参数，进行车载全景系统的图像校正及拼接，免除了使用者在标定是繁杂的人工操作且可以适应阴影、强光等多种不同的环境，具有较高的鲁棒性。

附图说明

图1是完成本发明自动标定的模板及摆放方法的示意图；

图2是本发明所述的车载全景系统自动标定方法的流程图；

图3是本发明所述的另一种车载全景系统自动标定方法的流程图。

具体实施方式

为了让本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步阐述。

如图1所示，是一种完成本发明所揭示的车载全景系统自动标定的模板，及摆放方法，模板包括分别位于汽车前方、后方、左方和右方并围成矩形的四个条形模板F4、F2、F3、F1，和分别是位于汽车左前方、右前方、左后方和右后方四个正方形模板E4、E1、E3、E2。四块正方形模板为边长为2M的红色模板，而F1和F3为两条长度为5M，宽度为0.1M的蓝色条形模板，F2和F4为两条长度为2M，宽度为0.1M的蓝色条形模板。所述车载全景系统包括分别安装于汽车的车头、车尾、左侧和右侧的广角摄像头，L1、L2、L3和L4分别是四个广角摄像头的视域边界。

如图2所示，车载全景系统自动标定方法包括步骤：

s1、调整目标车和模板的相对位置，可以将目标车开到模板摆放中目标位置，也可以在一个宽阔场地中停稳车辆之后，将标定模板摆放在车体四周，最后达到如图1所示的车和模板相对位置。

s2、获得标定现场模板摆放参数，可以通过人机交互设备进行输入，在本示例使用的模板中，需要的参数为F4和F1两条形模板的长度。同时，现场模板摆放参数还会被保存在存储设备中，作为默认值，如此，利用同一批模板进行标定时，就可以直接使用默认值，而无需再输入模板参数。

s3、通过分析图像，获得模板在图中的位置。在这一步中，可以首先利用模板的颜色信息进行转换。转换方法可以为：将整个图像中的每个象素点都进行归一化RGB处理。或者，把原图像转换到HIS或HSV空间中。由于仅运用色调信息来进行模板颜色的识别容易引入较大的误差，如若在RGB空间中为（51，50，50）的像素点，在H分量上进行分析时，是标准的红色，但是实际上却由于饱和度太低的原因偏灰色，所以要将Hue（色调）信息和Saturation（饱和度信息）相结合。在本例中，由于有一部分采用红色模板，其Hue信息接近0或者360，所以，将图像处理到HSV空间后还要进行如下变换：红色强度 =(色调信息–180) * 饱和度信息。对于蓝色信息处理方法和对红色处理方法类似。

s4、在完成以上图像预处理之后，可以更为便捷和准确的识别到带有颜色的模板在图像中的位置，在确定模板位置之后，识别模板预先选定的特征。

具体的，由于采用的为四个正方形模板和四个条形模板，需要进行识别的选定特征为正方形的四个顶点以及条形模板上边缘上距离尽可能远的三个点。

在识别正方形的顶点时可以用任选以下两种方法的一种。

方法一：选择完成预处理的图片，在已经识别到的最符合模板特征的区域，外扩20个像素范围内，求每个象素点横纵两个方向的梯度值，计算两个梯度值的平方和，并依据此平方和进行排序，得到平方和最高的四个像素点，即为需要寻找的正方形模板的四个顶点；

方法二：选择完成预处理的图片，在已经识别到的最符合模板特征得区域，外扩20个像素范围内，计算每个象素点横纵两个方向的梯度值，并认为满足阈值的像素点为正方形模板的边的点集。将边的样本点根据位置和梯度方向分开成四类，即得到正方形边缘的四条边各自的点集，对各个边的样本点进行最小二乘拟合，获得其模型，并依据模型求各个边的交点，并依此找出对应的四个顶点。

确定条形模板上边缘的三个点的方法和确定正方形顶点方法类似，由于条形模板是向摄像头两侧延伸，所以要在模板所在区域依据梯度确定上边缘之后，根据模板在图像中的长度得到条形模板在图像上的最左、最右点及中央点。在上边缘上，此三个点确定的横坐标处,确定需要在条带上寻找的三个点。

s4_1、判断特征点是否识别成功。由于自动寻找特征，可能由于环境特殊或模板未摆放到位导致自动识别失败或识别出来的特征点位置偏离理想位置很多，所以要先让程序确认目标点像素点合理，然后反馈给使用者，让使用者确认找到的目标点是正确的。

在步骤s4_1中，若特征点识别成功，则进入步骤s5，若没有成功或者通过自动标定获得的特征位置不准确，则进行步骤S4_2。

s4_2、通过按键或者触摸屏等方法指示出现实世界中的特征点在图像中的位置，即手动修正特征点的参数。

s5、完成步骤s4之后，确定图像坐标与世界坐标的对应关系。

s6、根据s5中图像中像素点对应世界坐标的关系，推算出包括摄像头内部参数及摄像头安装参数，进行车载全景系统的图像校正及拼接。

如图3所示，此图提供了另一种车载全景成像系统的自动标定算法。

在图3中所示的自动标定算法和图2中所示的自动标定算法根本区别在于图2中所示的标定算法是通过获得目标车体的参数从而得到模板在现实世界中的位置，其他步骤和图2所示流程类似。

以上所述为本发明的较佳实施方式，并非对本发明作任何形式上的限制。需要说明的是，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.车载全景成像系统的自动标定方法，所述车载全景系统包括分别安装于汽车的车头、车尾、左侧和右侧的广角摄像头，其特征在于，包括步骤：

s1、摆放标定模板，调整目标车与标定模版的相对位置；

s2、获取并输入现场标定模板摆放参数；

s3、通过分析目标车上的广角摄像头抓取到的图像，算出标定模板在图像中的位置；

s4、识别出标定模板中预先选定的特征点；

s5、确定图像坐标与世界坐标的对应关系；

s6、根据步骤s5中图像中像素点对应世界坐标的关系，推算出摄像头参数及全景拼接参数，进行车载全景系统的图像校正及拼接。

2.根据权利要求1所述的车载全景成像系统的自动标定方法，其特征在于，在进行步骤s4的识别后，还判断特征点是否识别成功，若识别成功则进行步骤s5，若识别失败或者特征点位置不准确，则进行手动修正特征点参数,指示出现实世界中的特征点在图像中的位置。

3.根据权利要求1所述的车载全景成像系统的自动标定方法，其特征在于，步骤s1所述标定模板包括分别位于汽车前方、后方、左方和右方并围成矩形的四个条形模板，以及分别位于四个条形模板所围成矩形的四个顶点外侧的四个正方形模板。

4.根据权利要求3所述的车载全景成像系统的自动标定方法，其特征在于，步骤s2中所述模板参数包括相邻两条形模板的长度，模板参数通过人机交互设备进行输入，并保存起来。

5.根据权利要求3所述的车载全景成像系统的自动标定方法，其特征在于，步骤s3利用标定模板的颜色信息，将整个图像的每个像素点都进行归一化RGB处理，进而算出标定模板在图像中的位置。

6.根据权利要求3所述的车载全景成像系统的自动标定方法，其特征在于，步骤s3利用标定模板的颜色信息，把原图像转换到HIS或HSV空间中，进而算出标定模板在图像中的位置。

7.根据权利要求3所述的车载全景成像系统的自动标定方法，其特征在于，步骤s4所要识别出的特征点包括正方形模板的四个顶点，和条形模板外边缘上最左点、最右点及中央点。

8.根据权利要求7所述的车载全景成像系统的自动标定方法，其特征在于，步骤s4中识别正方形模板的顶点的方法为：选择完成预处理的图片，在已经识别到的符合模板特征的区域，外扩15-50个像素范围内，求每个象素点横纵两个方向的梯度值，计算两个梯度值的平方和，并依据此平方和进行排序，得到平方和最高的四个像素点，即为需要寻找的正方形模板的四个顶点。

9.根据权利要求7所述的车载全景成像系统的自动标定方法，其特征在于，步骤s4中识别正方形模板的顶点的方法为：选择完成预处理的图片，在已经识别到的符合模板特征的区域，外扩15-50个像素范围内，计算每个象素点横纵两个方向的梯度值，并将满足阈值的像素点作为正方形模板的边的点集；将边的样本点根据位置和梯度方向分开成四类，即得到正方形边缘的四条边各自的点集，对各个边的样本点进行最小二乘拟合，获得其模型，并依据模型求各个边的交点，并依此找出对应的四个顶点。

10.车载全景成像系统的自动标定方法，其特征在于，包括步骤：

s1′、摆放标定模板，调整目标车与标定模版的相对位置；

s2′、获取并输入现场目标车辆车体的参数；

s3′、通过分析目标车上的广角摄像头抓取到的图像，算出标定模板在图像中的位置；

s4′、识别出标定模板中预先选定的特征点；

S5′、确定图像坐标与世界坐标的对应关系；

s6′、根据步骤s5′中图像中像素点对应世界坐标的关系，推算出摄像头参数及全景拼接参数，进行车载全景系统的图像校正及拼接。