CN107133988B - 车载全景环视系统中摄像头的标定方法及标定系统 - Google Patents

Abstract

本发明公开了一种车载全景环视系统中摄像头的标定方法及标定系统，该方法包括：在标定区域铺设地面标记物，并在标定区域上方设置外部测量相机，所述外部测量相机能够拍摄到所述地面标记物、车顶及车身；将安装有车载全景环视系统的待标定车辆放置在所述标定区域；基于外部测量相机确定地面坐标系和车身坐标系的变换关系；基于所述变换关系标定摄像头相对于车身坐标系的摄像头参数。利用本发明，可以提高标定效率，并保证标定结果的准确性。

Description

车载全景环视系统中摄像头的标定方法及标定系统

技术领域

本发明涉及辅助驾驶设备标定领域，具体涉及一种车载全景环视系统中摄像头的标定方法及标定系统。

背景技术

通常，驾驶员在起步、停车等场景下，大都只能依赖后视镜或倒车影像的帮助。但是，由于存在车头、车窗、柱子等遮挡物，且驾驶员自身视野有限，使得驾驶员视野存在盲区，无法判断遮挡区域有无障碍物以及障碍物的间距，这对于驾驶员在停车场停车、起步以及城市拥堵道路、狭窄街道等场景下的行驶安全构成了很大障碍。

为了避免视野盲区对车辆行驶安全的影响，近年来，在车身四周安装多个广角或鱼眼摄像头构成全景环视系统的视觉辅助方案逐步应用在众多车型，车载全景环视系统作为停车辅助系统的一个重要组成部份，其作用在于实时显示汽车周围环境的全貌，为驾驶员提供车身四周无死角的动态影像，提高驾驶安全性。全景环视系统在工作时，根据预先标定好的相机参数，对拍摄图像进行拼接，从而合成车辆周围360度环视图像，为驾驶员提供在起步、停车等场景下的视觉辅助。

为了合成车身360度环视影像，首先需要标定车身四周广角或鱼眼摄像头，即标定各摄像头相对于车身坐标系的摄像头参数。目前常用的标定方法主要有以下两种：

(1)要求每辆待标定车辆都行驶到标定区域的正中心或者至少需要和标定区域一侧保持平行，每辆车都要分别测量标定物到车身的距离以得到标定物在车身坐标系中的坐标，然后根据张正友标定法得出车辆摄像头相对于车身坐标系的各参数。这种方法由于对每辆车都要手动测量距离，从而标定效率很低，不能实现自动化量产产线部署。

(2)首先按照第(1)种方法标定参考车辆的所有摄像头参数，然后将其他同类型车辆摄像头按照相同位置固定，最后将参考车辆的摄像头参数直接应用到其他同类型的所有车辆。这种方法虽然在一定程度上提高了标定效率，但由于安装误差(比如位置误差、角度误差等)的存在，直接将参考车辆的摄像头参数适配到其他车辆，会导致其他车辆的摄像头参数误差很大，进而影响360度环视拼接效果。

发明内容

本发明实施例提供一种车载全景环视系统中摄像头的标定方法及标定系统，以提高标定效率，并保证标定结果的准确性。

为此，本发明提供如下技术方案：

一种车载全景环视系统中摄像头的标定方法，所述方法包括：

在标定区域铺设地面标记物，并在标定区域上方设置外部测量相机，所述外部测量相机能够拍摄到所述地面标记物、车顶及车身；

将安装有车载全景环视系统的待标定车辆放置在所述标定区域；

基于外部测量相机确定地面坐标系和车身坐标系的变换关系；

基于所述变换关系标定摄像头相对于车身坐标系的摄像头参数。

优选地，所述基于外部测量相机确定地面坐标系和车身坐标系的变换关系包括：

设置标定参照对象；

根据所述地面标记物标定外部测量相机相对于地面坐标系的相机参数；

根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数；

基于外部测量相机相对于地面坐标系的相机参数和相对于车身坐标系的相机参数确定地面坐标系和车身坐标系的变换关系。

优选地，所述根据所述地面标记物标定外部测量相机相对于地面坐标系的相机参数包括：

使用外部测量相机拍摄所述地面标记物的图像；

确定所述地面标记物上各角点的像素点坐标及地面物理坐标；

利用所述各角点的像素点坐标及地面物理坐标，标定外部测量相机相对于地面坐标系的相机参数。

优选地，所述外部测量相机相对于地面坐标系的相机参数包括：外部测量相机坐标系相对于地面坐标系的旋转矩阵R_o、平移矩阵t_o。

优选地，所述标定参照对象设置在待标定车辆的车顶；

所述根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数包括：

使用外部测量相机拍摄所述标定参照对象的图像；

确定所述标定参照对象上各角点的像素点坐标及车顶物理坐标；

根据所述标定参照对象上各角点的车顶物理坐标确定各角点在车身坐标系中的坐标；

利用所述标定参照对象上各角点的像素点坐标及各角点在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

优选地，所述标定参照对象为待标定车辆的车身四周在地面坐标系的投影点；

所述根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数包括：

使用外部测量相机拍摄全车身照片；

计算车身四周四个投影点在外部测量相机中的像素点坐标；

确定所述车身四周四个投影点在车身坐标系中的坐标；

根据所述车身四周四个投影点在外部测量相机中的像素点坐标及其在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

优选地，所述计算车身四周四个点投影在外部测量相机中的像素点坐标包括：

基于车身颜色对所述全车身照片进行二值化，并提取车身边缘像素点；

利用所述车身边缘像素点及霍夫变换，确定车身四周边界直线；

根据所述车身四周边界直线的交点，得到车身四周四个投影点在外部测量相机中的像素点坐标。

优选地，所述外部测量相机相对于车身坐标系的相机参数包括：外部测量相机坐标系相对于车身坐标系的旋转矩阵R_w、平移矩阵t_w。

优选地，所述基于所述变换关系标定摄像头相对于车身坐标系的摄像头参数包括：

利用待标定车辆摄像头拍摄所述地面标记物的图像；

确定所述地面标记物上各角点的像素点坐标及地面物理坐标；

根据所述变换关系将所述地面标记物上各角点的地面物理坐标转换为在车身坐标系中的坐标；

根据所述地面标记物上各角点的像素点坐标及各角点在车身坐标系中的坐标，标定所述摄像头相对于车身坐标系的摄像头参数。

一种车载全景环视系统中摄像头的标定系统，用于对安装有车载全景环视系统的待标定车辆进行摄像头参数标定，所述标定系统包括：

铺设在标定区域的地面标记物；

设置在标定区域上方的外部测量相机，所述外部测量相机能够拍摄到所述地面标记物、放置在所述标定区域的待标定车辆的车顶及车身；

坐标系变换关系测量装置，用于基于外部测量相机确定地面坐标系和车身坐标系的变换关系；

摄像头标定装置，用于根据所述变换关系对待标定车辆摄像头进行标定。

优选地，所述坐标系变换关系测量装置包括：

参照对象设置单元，用于设置标定参照对象；

第一标定单元，用于根据所述地面标记物标定外部测量相机相对于地面坐标系的相机参数；

第二标定单元，用于根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数；

计算单元，用于基于外部测量相机相对于地面坐标系的相机参数和相对于车身坐标系的相机参数确定地面坐标系和车身坐标系的变换关系。

优选地，所述第一标定单元，具体用于获取外部测量相机拍摄的所述地面标记物的图像；确定所述地面标记物上各角点的像素点坐标及地面物理坐标；利用所述各角点的像素点坐标及地面物理坐标，标定外部测量相机相对于地面坐标系的相机参数。

优选地，所述标定参照对象设置在待标定车辆的车顶；

所述第二标定单元包括：

标定参照对象图像获取子单元，用于获取外部测量相机拍摄的所述标定参照对象的图像；

第一坐标确定子单元，用于确定所述标定参照对象上各角点的像素点坐标及车顶物理坐标，根据所述标定参照对象上各角点的车顶物理坐标确定各角点在车身坐标系中的坐标；

第一参数标定子单元，用于利用所述标定参照对象上各角点的像素点坐标及各角点在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

优选地，所述标定参照对象为待标定车辆的车身四周在地面坐标系的投影点；

所述第二标定单元包括：

车身照片获取子单元，用于获取外部测量相机拍摄的全车身照片；

计算子单元，用于计算车身四周四个投影点在外部测量相机中的像素点坐标；

第二坐标确定子单元，确定所述车身四周四个投影点在车身坐标系中的坐标；

第二参数标定子单元，用于根据所述车身四周四个投影点在外部测量相机中的像素点坐标及其在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

优选地，所述计算子单元，具体用于基于车身颜色对所述全车身照片进行二值化，并提取车身边缘像素点；利用所述车身边缘像素点及霍夫变换，确定车身四周边界直线；根据所述车身四周边界直线的交点，得到车身四周四个点在外部测量相机中的像素点坐标。

优选地，所述摄像头标定装置包括：

图像获取单元，用于在进行标定时，获取待标定车辆摄像头拍摄的所述地面标记物的图像；

坐标确定单元，用于根据所述图像获取单元得到的图像确定所述地面标记物上各角点的像素点坐标及地面物理坐标；

坐标转换单元，用于根据所述变换关系将所述地面标记物上各角点的地面物理坐标转换为在车身坐标系中的坐标；

摄像头参数标定单元，用于根据所述地面标记物上各角点在车身坐标系中的坐标，标定所述摄像头相对于车身坐标系的摄像头参数。

本发明实施例提供的车载全景环视系统中摄像头的标定方法及标定系统，借助于外部测量相机预先确定地面和车身坐标系的变换关系，在对任一车载全景环视系统中摄像头进行标定时，利用该变换关系，自动完成待标定车辆中各摄像头相对于车身坐标系的摄像头参数标定。利用本发明方案不需要保证所有同类型车辆相机安装位置固定，结构简单、自动化程度高，针对每一辆车都可以实现自动标定。而且，不需要人工干预，不仅节省大量人力物力，而且保证了标定结果的准确性，大幅提升了标定效率，利于量产产线部署。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例车载全景环视系统中摄像头的标定方法的流程图；

图2是本发明实施例中地面标记物的一种示例图；

图3是图2中棋盘格标记物角点示意图；

图4是本发明实施例中基于外部测量相机确定地面坐标系和车身坐标系的变换关系的流程图；

图5是本发明实施例中在车辆顶部喷绘或放置棋盘格作为标定参照对象的示意图；

图6是本发明实施例中将标定参照对象设置在待标定车辆的车身四周的示意图；

图7是本发明实施例中外部测量相机相对于地面坐标系和车身坐标的示例图；

图8是本发明实施例中利用车辆顶部的标定参照对象标定外部测量相机相对于车身坐标系的相机参数的流程图；

图9是本发明实施例中利用车身四周的标定参照对象标定外部测量相机相对于车身坐标系的相机参数的流程图；

图10是本发明系统实施例中摄像头标定装置的结构示意图；

图11是本发明系统实施例中坐标系变换关系测量装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

车载全景环视系统的一种典型示例包括位于前车头、后车尾、左右后视镜的4路广角摄像头。当然，在实际应用中，摄像头的安装位置也可根据需要灵活设置，例如将摄像头安装在车窗位置等，只要满足实现360度环视拼接的条件即可。车辆摄像头包括但不限于4路广角或鱼眼摄像头。比如，前方车头左右侧可以安装2个，后方左右侧可以安装2个，左右车身可以各安装2个或以上摄像头。在对所述车载全景环视系统中摄像头进行标定时，需要针对该系统中的每个摄像头分别进行标定。

本发明实施例提供的车载全景环视系统中摄像头的标定方法及标定系统，借助于外部测量相机预先确定地面和车身坐标系的变换关系，在对任一车载全景环视系统中摄像头进行标定时，利用该变换关系，自动完成待标定车辆中各摄像头相对于车身坐标系的摄像头参数标定。

如图1所示，是本发明实施例车载全景环视系统中摄像头的标定方法的流程图，包括以下步骤：

步骤101，在标定区域铺设地面标记物，并在标定区域上方设置外部测量相机，所述外部测量相机能够拍摄到所述地面标记物、车顶及车身。

所述地面标记物包括但不限于棋盘格类型的物体，只要是具有矩形结构的任意尺寸的元素或元素组合都可以，例如A4、A0等大小的纸张，能满足有效检测出地面标记物角点的条件即可。

图2是地面标记物的一种示例图，如图2中所示，在地面铺设了8个棋盘格类型的喷绘标记，当然，棋盘格的数量不限于8个，也可以少于或多于8个，分别为棋盘格1、2、3、4、5、6、7、8，铺设标准是车载全景环视系统中每个摄像头至少能拍摄到其中一个棋盘格标记物(如图中棋盘格2、4、5、7都可以去掉)。图3是其中一个棋盘格的角点分布放大图。

所述外部测量相机可以采用高清可变焦相机，也可以是手机或其他拍摄相机。该外部测量相机位置放置的准则是能够拍摄到地面标定物和车顶及车身。

步骤102，将安装有车载全景环视系统的待标定车辆放置在所述标定区域。

步骤103，基于外部测量相机确定地面坐标系和车身坐标系的变换关系。

在确定地面坐标系和车身坐标系的变换关系时，需要分别标定外部测量相机相对于地面坐标系的相机参数及外部测量相机相对于车身坐标系的相机参数，然后根据这些参数确定地面坐标系和车身坐标系的变换关系。具体过程将在后面详细描述。

需要说明的是，所述相机参数包括相机内参(比如焦距、图像中心、畸变系数等)和外参(包括相机坐标系相对于其它参考坐标系的旋转矩阵和平移矩阵)。本发明方案主要针对相机外参，后面提到的相机参数同样是指相机外参，后续不再逐一说明。

步骤104，基于所述变换关系标定摄像头相对于车身坐标系的摄像头参数。

具体标定过程如下：

1)利用待标定车辆摄像头拍摄所述地面标记物的图像。

2)确定所述地面标记物上各角点的像素点坐标及地面物理坐标。

确定地面标记物上各角点的像素点坐标及地面物理坐标时，首先通过角点检测法检测得到地面标记物上M(M大于等于4)个角点在相机平面坐标系中的坐标，即M个角点的像素点坐标。然后构建地面物理坐标系，具体构建方法为：从地面上任选一点作为坐标原点，如地面标定区域左上角等，以地面为XY平面，根据右手法则构建地面物理坐标系，记为O-xyz，由于地面标记物各个角点的距离及大小已知，选定坐标原点后就可以得到这些角点在地面物理坐标系O-xyz中的坐标，即M个角点的地面物理坐标。

所述角点检测法可以是Harris、FAST、Moravec等算法。

3)根据所述变换关系将所述地面标记物上各角点的地面物理坐标转换为在车身坐标系中的坐标。

4)根据所述地面标记物上各角点在车身坐标系中的坐标，标定所述摄像头相对于车身坐标系的摄像头参数。

根据张正友标定法即可得到所述摄像头相对于车身坐标系的摄像头参数。

需要说明的是，在进行标定时，车载全景环视系统中的多个摄像头的标定工作可以同步进行。

如图4所示，是本发明实施例中基于外部测量相机确定地面坐标系和车身坐标系的变换关系的流程图，包括以下步骤：

步骤401，设置标定参照对象。

需要说明的是，所述标定参照对象的位置可以根据需要来设定。

比如，可以将标定参照对象设置在待标定车辆的车顶，具体地，可以在车辆顶部固定位置喷绘、放置一个标定参照对象或者直接将天窗作为标定参照对象。如图5所示，在车辆顶部喷绘或放置棋盘格51作为标定参照对象。调整外部测量相机50的焦距到一合适位置，使其可视范围恰好覆盖车顶标定参照对象51和地面标记物所在区域。

再比如，可以将标定参照对象设置为待标定车辆的车身四周在地面坐标系的投影点，如图6所示，直接利用车身四周四个点P1、P2、P3、P4在地面的投影进行标定。

步骤402，根据地面标记物标定外部测量相机相对于地面坐标系的相机参数。

具体地，首先使用外部测量相机拍摄所述地面标记物的图像；然后确定所述地面标记物上各角点的像素点坐标及地面物理坐标；最后利用所述各角点的像素点坐标及地面物理坐标，标定外部测量相机相对于地面坐标系的相机参数。

在确定地面标记物上各角点的像素点坐标及地面物理坐标时，首先通过角点检测法检测得到地面标记物上K(K大于等于4)个角点在相机平面坐标系中的坐标，即K个角点的像素点坐标，记为{(u_k,v_k)|k∈{0,1,2,K-1}}。然后构建地面物理坐标系，具体构建方法为：从地面上任选一点作为坐标原点，如地面标定区域左上角等，以地面为XY平面，根据右手法则构建地面物理坐标系，记为O-xyz，由于地面标记物各个角点的距离及大小已知，选定坐标原点后就可以得到这些角点在地面物理坐标系O-xyz中的坐标，即K个角点的地面物理坐标，记为{(x_k,y_k,0)|k∈{0,1,2,K-1}}。

所述角点检测法可以是Harris、FAST、Moravec等算法。

基于上述K个角点的像素点坐标及地面物理坐标，利用张正友标定法等现有方法及单应变换，可以标定出外部测量相机相对于地面坐标系的相机参数，分别记为外部测量相机坐标系相对于地面坐标系的旋转矩阵R_o、平移矩阵t_o。

步骤403，根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数。

前面提到，所述标定参照对象的位置可以根据需要来设定，而基于设置在不同位置的标定参照对象，标定外部测量相机相对于车身坐标系的相机参数的具体过程会有所不同，将在后面举例详细说明。

步骤404，基于外部测量相机相对于地面坐标系和车身坐标系的相机参数确定地面坐标系和车身坐标系的变换关系。

外部测量相机相对于地面坐标系O-xyz和车身坐标O_w-x_wy_wz_w的示例如图7所示，下面参照图7，详细说明地面坐标系和车身坐标系的变换关系的推导过程。

设地面坐标系O-xyz中任意一点坐标为(x_o,y_o,z_o)^T，其在外部测量相机坐标系中的坐标为(x,y,z)^T，则有：

外部测量相机在地面坐标系中的坐标(x_upo,y_upo,z_upo)^T满足以下条件：

由上式(1.2)可以得到，外部测量相机在地面坐标系中的坐标：

同理可以得到外部测量相机在车身坐标系中的坐标：

假设车身坐标系相对于地面坐标系的旋转矩阵为R_ow,平移矩阵为t_ow，则基于上式(1.3)、(1.4)可以得出：

由坐标系旋转变换关系可以得到：

R_o＝R_wR_ow (1.6)

由上式(1.6)可以得到：

将上式(1.7)代入上式(1.5)，得到：

如图8所示，是本发明实施例中利用车辆顶部的标定参照对象标定外部测量相机相对于车身坐标系的相机参数的流程图，包括以下步骤：

步骤801，使用外部测量相机拍摄设置在车顶的标定参照对象的图像。

步骤802，确定所述标定参照对象上各角点的像素点坐标及车顶物理坐标。

具体地，可以首先通过角点检测法检测得到所述标定参照对象上N(N大于等于4)个角点在相机平面坐标系中的坐标，即N个角点的像素点坐标，记为{(u_upn,v_upn)|n∈{0,1,2,N-1}}。然后构建车顶物理坐标系，具体构建方法为：以车顶的标定参照对象左上角或车顶中心等为原点(这里不做限制，可以选取车顶任一点作为原点)，其所处平面为XY平面，根据右手法则构建车顶物理坐标系，记为O_up-x_upy_upz_up。根据标定参照对象上各角点的位置关系即可计算出各个角点在车顶物理坐标系中的坐标，即N个角点的车顶物理坐标，记为{(x_upn,y_upn,0)|n∈{0,1,2,N-1}}。

所述角点检测法可以是Harris、FAST、Moravec等算法。

步骤803，根据所述标定参照对象上各角点的车顶物理坐标确定各角点在车身坐标系中的坐标。

具体地，以车中心或者车下任意一个投影到地面的点为原点，以地面为XY平面，根据右手法则建立车身坐标系O_w-x_wy_wz_w，基于车顶坐标系xy平面和车身坐标系xy平面方向一致的条件，可以得出车身坐标系O_w-x_wy_wz_w和车顶坐标系O_up-x_upy_upz_up只存在Z轴方向的高度差以及X、Y方向的平移，即车身坐标系O_w-x_wy_wz_w到车顶坐标系O_up-x_upy_upz_up只存在平移变换t_wup。该平移变换可以根据车身参数并测量车顶坐标系原点相对于车身坐标系原点的位置提前得到。

例如，以车辆中心为原点，车顶标定参照对象位于车辆中心正上方，则平移矩阵t_wup＝{0,0,h}^T。基于步骤802中得到的所述标定参照对象上各角点的车顶物理坐标，可以得到所述标定参照对象上各角点在车身坐标系O_w-x_wy_wz_w中的坐标，记为{(x_wn,y_wn,z_wn)|n∈{0,1,2,N-1}}。其中，(x_upn,y_upn,0)＝(x_wn,y_wn,z_wn)+t_wup。

步骤804，利用所述标定参照对象上各角点的像素点坐标及各角点在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

基于所述标定参照对象上各角点的像素点坐标{(u_upn,v_upn)|n∈{0,1,2,N-1}}及其在车身坐标系中的坐标{(x_wn,y_wn,z_wn)|n∈{0,1,2,N-1}}，使用张正友标定法等现有方法可以标定出外部测量相机相对于车身坐标系的外参，即外部测量相机坐标系相对于车身坐标系的旋转矩阵R_w、平移矩阵t_w。

如图9所示，是本发明实施例中利用车身四周的标定参照对象标定外部测量相机相对于车身坐标系的相机参数的流程图，包括以下步骤：

步骤901，使用外部测量相机拍摄全车身照片。

步骤902，计算车身四周四个投影点在外部测量相机中的像素点坐标。

具体地，首先基于车身颜色对所述全车身照片进行二值化，并提取车身边缘像素点；利用所述车身边缘像素点及霍夫变换，确定车身四周边界直线；随后求这些直线的交点，即是车身四周四个点在外部测量相机中的像素点坐标。

步骤903，确定所述车身四周四个投影点在车身坐标系中的坐标。

具体地，首先构建车身坐标系，车身坐标系的构建方法与前面提到的车顶物理坐标系的构建方法类似，在此不再赘述。车身四周四个投影点在车身坐标系中的坐标与车辆参数有关，根据车辆参数即可得到。

步骤904，根据所述车身四周四个投影点在外部测量相机中的像素点坐标及其在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

具体地，可以利用张正友标定法得到外部测量相机相对于车身坐标系的相机参数。

本发明实施例提供的车载全景环视系统中摄像头的标定方法，借助于外部测量相机预先确定地面和车身坐标系的变换关系，在对任一车载全景环视系统中摄像头进行标定时，利用该变换关系，自动完成待标定车辆中各摄像头相对于车身坐标系的摄像头参数标定。利用本发明方案不需要保证所有同类型车辆相机安装位置固定，结构简单、自动化程度高，针对每一辆车都可以实现自动标定。而且，不需要人工干预，不仅节省大量人力物力，而且保证了标定结果的准确性，大幅提升了标定效率，利于量产产线部署。

相应地，本发明实施例还提供一种车载全景环视系统中摄像头的标定系统，该标定系统包括：地面标记物、外部测量相机、坐标系变换关系测量装置、以及摄像头标定装置。其中，地面标记物铺设在标定区域的地面上，外部测量相机设置在标定区域上方，并且该外部测量相机能够拍摄到所述地面标记物、放置在所述标定区域的待标定车辆的车顶及车身。坐标系变换关系测量装置用于预先基于外部测量相机确定地面坐标系和车身坐标系的变换关系；摄像头标定装置用于根据所述变换关系对待标定车辆摄像头进行标定。

需要说明的是，所述地面标记物包括但不限于棋盘格类型的物体，只要是具有矩形结构的任意尺寸的元素或元素组合都可以，能满足有效检测出地面标记物角点的条件即可。

另外，所述坐标系变换关系测量装置可以基于外部测量相机并借助于待标定车辆或其它任意车辆得到地面坐标系和车身坐标系的变换关系。依据该变换关系，自动完成待标定车辆中各摄像头相对于车身坐标系的摄像头参数标定。

上述坐标系变换关系测量装置可以设置在待标定车辆或其它任意车辆上，上述摄像头标定装置可以设置在待标定车辆上。当然，所述坐标系变换关系测量装置和摄像头标定装置也可以作为独立的物理实体，独立于待标定车辆及其它任意车辆，从而实现用一套设备完成对任意待标定车辆摄像头参数的标定，对此本发明实施例不做限定。

如图10所示，是本发明系统实施例中摄像头标定装置的一种结构示意图。

在该实施例中，所述摄像头标定装置包括：

图像获取单元11，用于在进行标定时，获取待标定车辆摄像头拍摄的地面标记物的图像；

坐标确定单元12，用于根据所述图像获取单元得到的图像确定所述地面标记物上各角点的像素点坐标及地面物理坐标；

坐标转换单元13，用于根据所述变换关系将所述地面标记物上各角点的地面物理坐标转换为在车身坐标系中的坐标；

摄像头参数标定单元14，用于根据所述地面标记物上各角点在车身坐标系中的坐标，标定所述摄像头相对于车身坐标系的摄像头参数。

上述坐标系变换关系测量装置的一种具体结构如图11所示，包括：

参照对象设置单元21，用于设置标定参照对象；

第一标定单元22，用于根据所述地面标记物标定外部测量相机相对于地面坐标系的相机参数；

第二标定单元23，用于根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数；

计算单元24，用于基于外部测量相机相对于地面坐标系的相机参数和相对于车身坐标系的相机参数确定地面坐标系和车身坐标系的变换关系。

上述第一标定单元22具体可以通过获取外部测量相机拍摄的所述地面标记物的图像；确定所述地面标记物上各角点的像素点坐标及地面物理坐标；利用所述各角点的像素点坐标及地面物理坐标，标定外部测量相机相对于地面坐标系的相机参数。

需要说明的是，所述标定参照对象的位置可以根据需要来设定，比如，可以将标定参照对象设置在待标定车辆的车顶，或者将标定参照对象设置在待标定车辆的车身四周。相应地，上述第二标定单元23标定外部测量相机相对于车身坐标系的相机参数的具体方式会有所不同，对此下面举例详细说明。

例1：所述标定参照对象设置在待标定车辆的车顶，相应地，所述第二标定单元可以包括以下各子单元：

标定参照对象图像获取子单元，用于获取外部测量相机拍摄的所述标定参照对象的图像；

第一坐标确定子单元，用于确定所述标定参照对象上各角点的像素点坐标及车顶物理坐标，根据所述标定参照对象上各角点的车顶物理坐标确定各角点在车身坐标系中的坐标；

第一参数标定子单元，用于利用所述标定参照对象上各角点的像素点坐标及各角点在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

例2：所述标定参照对象设置为待标定车辆的车身四周在地面坐标系的投影，相应地，所述第二标定单元可以包括以下各子单元：

车身照片获取子单元，用于获取外部测量相机拍摄的全车身照片；

计算子单元，用于计算车身四周四个在地面坐标系的投影点在外部测量相机中的像素点坐标；

第二坐标确定子单元，确定所述车身四周四个在地面坐标系的投影点在车身坐标系中的坐标；

第二参数标定子单元，用于根据所述车身四周四个在地面坐标系的投影点在外部测量相机中的像素点坐标及其在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

其中，所述计算子单元具体可以基于车身颜色对所述全车身照片进行二值化，并提取车身边缘像素点；利用所述车身边缘像素点及霍夫变换，确定车身四周边界直线；根据所述车身四周边界直线的交点，得到车身四周四个点在外部测量相机中的像素点坐标。

本发明实施例提供的车载全景环视系统中摄像头的标定系统，借助于外部测量相机预先确定地面和车身坐标系的变换关系，在对任一车载全景环视系统中摄像头进行标定时，利用该变换关系，自动完成待标定车辆中各摄像头相对于车身坐标系的摄像头参数标定。利用本发明方案不需要保证所有同类型车辆相机安装位置固定，结构简单、自动化程度高，针对每一辆车都可以实现自动标定。而且，不需要人工干预，不仅节省大量人力物力，而且保证了标定结果的准确性，大幅提升了标定效率，利于量产产线部署。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及系统；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种车载全景环视系统中摄像头的标定方法，其特征在于，所述方法包括：

在标定区域铺设地面标记物，并在标定区域上方设置外部测量相机，所述外部测量相机能够拍摄到所述地面标记物、车顶及车身；

将安装有车载全景环视系统的待标定车辆放置在所述标定区域；

基于外部测量相机确定地面坐标系和车身坐标系的变换关系，包括设置标定参照对象；根据所述地面标记物标定外部测量相机相对于地面坐标系的相机参数；根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数；基于上述两个相机参数确定所述变换关系；

基于所述变换关系标定摄像头相对于车身坐标系的摄像头参数，包括利用所述变换关系将摄像头获得的地面物理坐标进行转换，再结合由摄像头获得的像素点坐标，标定所述摄像头。

2.根据权利要求1所述的标定方法，其特征在于，所述根据所述地面标记物标定外部测量相机相对于地面坐标系的相机参数包括：

使用外部测量相机拍摄所述地面标记物的图像；

确定所述地面标记物上各角点的像素点坐标及地面物理坐标；

利用所述各角点的像素点坐标及地面物理坐标，标定外部测量相机相对于地面坐标系的相机参数。

3.根据权利要求1所述的标定方法，其特征在于，所述外部测量相机相对于地面坐标系的相机参数包括：外部测量相机坐标系相对于地面坐标系的旋转矩阵R_o、平移矩阵t_o。

4.根据权利要求1所述的标定方法，其特征在于，所述标定参照对象设置在待标定车辆的车顶；

所述根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数包括：

使用外部测量相机拍摄所述标定参照对象的图像；

确定所述标定参照对象上各角点的像素点坐标及车顶物理坐标；

根据所述标定参照对象上各角点的车顶物理坐标确定各角点在车身坐标系中的坐标；

利用所述标定参照对象上各角点的像素点坐标及各角点在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

5.根据权利要求1所述的标定方法，其特征在于，所述标定参照对象为待标定车辆的车身四周在地面坐标系的投影点；

所述根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数包括：

使用外部测量相机拍摄全车身照片；

计算车身四周四个投影点在外部测量相机中的像素点坐标；

确定所述车身四周四个投影点在车身坐标系中的坐标；

根据所述车身四周四个投影点在外部测量相机中的像素点坐标及其在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

6.根据权利要求5所述的标定方法，其特征在于，所述计算车身四周四个投影点 在外部测量相机中的像素点坐标包括：

基于车身颜色对所述全车身照片进行二值化，并提取车身边缘像素点；

利用所述车身边缘像素点及霍夫变换，确定车身四周边界直线；

根据所述车身四周边界直线的交点，得到车身四周四个投影点在外部测量相机中的像素点坐标。

7.根据权利要求1所述的标定方法，其特征在于，所述外部测量相机相对于车身坐标系的相机参数包括：外部测量相机坐标系相对于车身坐标系的旋转矩阵R_w、平移矩阵t_w。

8.根据权利要求1至7任一项所述的标定方法，其特征在于，所述基于所述变换关系标定摄像头相对于车身坐标系的摄像头参数具体包括：

利用待标定车辆摄像头拍摄所述地面标记物的图像；

确定所述地面标记物上各角点的像素点坐标及地面物理坐标；

根据所述变换关系将所述地面标记物上各角点的地面物理坐标转换为在车身坐标系中的坐标；

根据所述地面标记物上各角点的像素点坐标及各角点在车身坐标系中的坐标，标定所述摄像头相对于车身坐标系的摄像头参数。

9.一种车载全景环视系统中摄像头的标定系统，用于对安装有车载全景环视系统的待标定车辆进行摄像头参数标定，其特征在于，所述标定系统包括：

铺设在标定区域的地面标记物；

设置在标定区域上方的外部测量相机，所述外部测量相机能够拍摄到所述地面标记物、放置在所述标定区域的待标定车辆的车顶及车身；

坐标系变换关系测量装置，用于基于外部测量相机确定地面坐标系和车身坐标系的变换关系，包括设置标定参照对象；根据所述地面标记物标定外部测量相机相对于地面坐标系的相机参数；根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数；基于上述两个相机参数确定所述变换关系；

摄像头标定装置，用于根据所述变换关系对待标定车辆摄像头进行标定，包括利用所述变换关系将摄像头获得的地面物理坐标进行转换，再结合由摄像头获得的像素点坐标，标定所述摄像头。

10.根据权利要求9所述的标定系统，其特征在于，所述坐标系变换关系测量装置具体包括：

参照对象设置单元，用于设置标定参照对象；

第一标定单元，用于根据所述地面标记物标定外部测量相机相对于地面坐标系的相机参数；

第二标定单元，用于根据所述标定参照对象标定外部测量相机相对于车身坐标系的相机参数；

计算单元，用于基于外部测量相机相对于地面坐标系的相机参数和相对于车身坐标系的相机参数确定地面坐标系和车身坐标系的变换关系。

11.根据权利要求10所述的标定系统，其特征在于，所述第一标定单元，具体用于获取外部测量相机拍摄的所述地面标记物的图像；确定所述地面标记物上各角点的像素点坐标及地面物理坐标；利用所述各角点的像素点坐标及地面物理坐标，标定外部测量相机相对于地面坐标系的相机参数。

12.根据权利要求10所述的标定系统，其特征在于，所述标定参照对象设置在待标定车辆的车顶；

所述第二标定单元包括：

标定参照对象图像获取子单元，用于获取外部测量相机拍摄的所述标定参照对象的图像；

第一坐标确定子单元，用于确定所述标定参照对象上各角点的像素点坐标及车顶物理坐标，根据所述标定参照对象上各角点的车顶物理坐标确定各角点在车身坐标系中的坐标；

第一参数标定子单元，用于利用所述标定参照对象上各角点的像素点坐标及各角点在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

13.根据权利要求10所述的标定系统，其特征在于，所述标定参照对象为待标定车辆的车身四周在地面坐标系的投影点；

所述第二标定单元包括：

车身照片获取子单元，用于获取外部测量相机拍摄的全车身照片；

计算子单元，用于计算车身四周四个投影点在外部测量相机中的像素点坐标；

第二坐标确定子单元，确定所述车身四周四个投影点在车身坐标系中的坐标；

第二参数标定子单元，用于根据所述车身四周四个投影点在外部测量相机中的像素点坐标及其在车身坐标系中的坐标，标定外部测量相机相对于车身坐标系的相机参数。

14.根据权利要求13所述的标定系统，其特征在于，

所述计算子单元，具体用于基于车身颜色对所述全车身照片进行二值化，并提取车身边缘像素点；利用所述车身边缘像素点及霍夫变换，确定车身四周边界直线；根据所述车身四周边界直线的交点，得到车身四周四个点在外部测量相机中的像素点坐标。

15.根据权利要求9至14任一项所述的标定系统，其特征在于，所述摄像头标定装置包括：

图像获取单元，用于在进行标定时，获取待标定车辆摄像头拍摄的所述地面标记物的图像；

坐标确定单元，用于根据所述图像获取单元得到的图像确定所述地面标记物上各角点的像素点坐标及地面物理坐标；

坐标转换单元，用于根据所述变换关系将所述地面标记物上各角点的地面物理坐标转换为在车身坐标系中的坐标；

摄像头参数标定单元，用于根据所述地面标记物上各角点在车身坐标系中的坐标，标定所述摄像头相对于车身坐标系的摄像头参数。

Images