发明内容
本发明实施例提供一种车载传感器外部参数标定的方法和设备,可以实现自动驾驶汽车的车载传感器的自动标定,不需依赖于固定的检校场所或实验室对车载传感器进行标定,可以提高用户体验。
第一方面,提供了一种车载传感器的外部参数标定的方法,包括:获取第一车载传感器采集的第一特征点信息;根据定位定姿系统POS传感器采集的位置信息,确定车体在世界坐标系中的地理位置;根据该车体在世界坐标系中的地理位置,确定地图数据库中的该第一传感器采集范围内的第二特征点信息,其中,该地图数据库基于世界坐标系建立;根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点;根据该车体在该世界坐标系中的地理位置和该多个第二特征点在该世界坐标系中的地理位置,确定该多个第二特征点在该车体坐标系下的坐标;根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数。
设备获取第一车载传感器采集的第一特征点信息;根据定位定姿系统POS传感器确定所述第一车载传感器所在的车体在世界坐标系中的地理位置;根据所述车体在世界坐标系中的地理位置,确定地图数据库中的所述第一传感器采集范围内的第二特征点信息,其中,所述地图数据库是基于世界坐标系建立的;根据所述第一特征点信息与所述第二特征点信息,确定多个第一特征点和多个第二特征点;根据所述车体在所述世界坐标系中的地理位置和所述多个第二特征点在所述世界坐标系中的地理位置,确定所述多个第二特征点在所述车体坐标系下的坐标;根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的映射参数。
因此,设备根据第一车载传感器采集的第一特征点信息和根据该车体在世界坐标系中的地理位置,确定地图数据库中的该第一传感器采集范围内的第二特征点信息,确定多个第一特征点和多个第二特征点;根据该多个第一特征点和该多个第二特征点在所述车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数,完成了该第一车载传感器的外部参数的标定。可以实现自动驾驶汽车的车载传感器的自动标定,不需依赖于固定的检校场所或实验室对车载传感器进行标定,可以提高用户体验。
可选地,在第一方面的一种实现方式中,该方法还包括:根据确定的该第一车载传感器到该车体的映射参数,确定该车体到该第一车载传感器的映射参数;
根据第二车载传感器到该车体的映射参数和该车体到该第一车载传感器的映射参数,确定该第二车载传感器到该第一车载传感器的映射参数。
可选地,在第一方面的一种实现方式中,根据确定的该第一车载传感器到该车体的映射参数,确定该车体到该第一车载传感器的映射参数,包括:
对该第一车载传感器到该车体的映射参数求逆,得到该车体到该第一车载传感器的映射参数;
根据第二车载传感器到该车体的映射参数和该车体到该第一车载传感器的映射参数,确定该第二车载传感器到该第一车载传感器的映射参数,包括:
将该第二车载传感器到该车体的映射参数与该车体到该第一车载传感器的映射参数相乘,得到该第二车载传感器到该第一车载传感器的映射参数。
此时,在得到第一车载传感器到车体的映射参数和第二车载传感器到车体的映射参数,就可以实现任何一个车载传感器到另一个车载传感器的坐标的映射关系,实现了车载传感器之间的互标定。
可选地,在第一方面的一种实现方式中,根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数,包括:确定该多个第一特征点通过精度校验;根据通过精度校验的该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数。
此时,通过对第一特征点进行精度校验避免了在获取第一特征点或者在匹配过程中可能出现的错误,而进行自动剔除粗差观测值,根据通过精度校验的第一特征点标定车载传感器到世界坐标系的映射参数,提高了车载传感器到世界坐标系的映射参数的可靠性与准确性。
可选地,在第一方面的一种实现方式中,其特征在于,该第一车载传感器包括以下车载传感器中的任意一种:
激光雷达车载传感器、相机车载传感器和毫米波雷达车载传感器。
可选地,在第一方面的一种实现方式中,当该第一车载传感器为该激光雷达车载传感器或该毫米波雷达车载传感器时,该确定该多个第一特征点通过精度校验,包括:
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的初始映射参数;
根据该第一特征点的坐标和该初始映射参数,确定该第一特征点在该车体坐标系下的坐标;
根据该第一特征点在该车体坐标系下的坐标和该POS传感器,确定该第一特征点在该地图数据库中坐标;
如果确定的该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第一阈值时,确定该第一特征点通过精度校验。
可选地,在第一方面的一种实现方式中,当该第一车载传感器为该相机车载传感器时,该确定该多个第一特征点通过精度校验,包括:
根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的初始映射参数;
根据匹配的所述多个第二特征点在所述车体坐标系下的坐标和所述初始确定映射关系,确定所述多个第二特征点对应的所述多个第一特征点的像素坐标;
如果确定的该多个第一特征点的像素坐标与获取的该多个第一特征点的像素坐标的差小于第二阈值时,确定该第一特征点通过精度校验。
可选地,在第一方面的一种实现方式中,该第一车载传感器为激光雷达车载传感器时,该获取第一车载传感器采集的第一特征点信息,包括:
获取多个第一特征点和该多个第一特征点对应的第一标志物的轮廓尺寸,
其中,该多个第一特征点为该第一标志物的多个角点坐标;
根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
当该第一特征点信息中的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸与该第二特征点信息的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸的差值小于第三阈值时,确定该第一特征点信息中的该多个特征点中的任一个特征点为该第一特征点和该第二特征点信息中的该多个特征点中的任一个特征点为该第二特征点。
可选地,在第一方面的一种实现方式中,该第一车载传感器为毫米波雷达车载传感器,该获取第一车载传感器采集的第一特征点信息,包括:
获取该第一特征点信息包括多个第一特征点和该多个第一特征点中相邻的该第一特征点的固定间隔d1;
根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d1与该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d的差值小于第四阈值时,确定该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d1为该第一特征点和该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d为该第二特征点。
可选地,在第一方面的一种实现方式中,该第一车载传感器为相机车载传感器,该获取第一车载传感器采集的第一特征点信息,包括:
获取第三标志物的多个第一特征点的像素坐标和该第三标志物的图像尺寸,其中,该多个第一特征点为该第三标志物的图像的几何中心;
根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
根据该第一车载传感器所处的地理位置与该地图数据库中的该第三标志物的坐标,确定该第一车载传感器与该第三标志物的距离;
根据该第一车载传感器与该第三标志物的距离,确定该第三标志物在该相机传感器获取的图像上的理论尺寸;
当所述图像上的所述第三标志物的理论尺寸与所述图像上的所述第三标志物的实际尺寸的差值小于第五阈值时,确定所述第三标志物的多个第一特征点的像素坐标为所述多个第一特征点和所述第三标志物在所述地图数据库中对应的坐标为所述多个第二特征点。
第二方面,提供了一种激光雷达传感器采集数据的方法,包括:获取第一标志物的轮廓;根据该轮廓,确定该第一标志物的第一特征点信息,该第一特征点信息包括多个特征点和该多个特征点对应的第一标志物的轮廓尺寸,其中,该多个特征点为该第一标志物的多个角点。
可选地,在第二方面的一种实现方式中,该获取第一标志物的轮廓,包括:
根据点云滤波去噪和区域临近点法向量求解算法,提取该第一标志物的轮廓。
第三方面,提供了一种毫米波雷达传感器采集数据的方法,包括:获取多个第一标志物的坐标,其中,该多个第一标志物在线性方向上的间隔固定;确定该多个第一标志物中相邻的该第一特征点的固定间隔d1。
第四方面,提供了一种相机传感器采集数据的方法,包括:获取第一标志物的图像;根据该第一标志物的图像,确定该相机传感器采集的第一特征点信息,该第一特征点信息包括该多个第一特征点的像素坐标和该第三标志物的图像尺寸,其中,该多个特征点为该第三标志物的图像的几何中心。
可选地,在第四方面的一种实现方式中,当该第一标志物为红绿灯时,该根据该第一标志物的图像,确定该相机传感器采集的第一特征点信息,包括:经过红绿蓝三通道分别提取图像上的所有红色、黄色和绿色的特征区域;提取该红绿蓝三通道图像的边缘点;根据该红绿蓝三通道图像的边缘点,确定该红绿蓝三通道图像的几何中心点;获取该红绿蓝三通道图像的几何中心点的像素坐标。
第五方面,提供了一种控制设备设备,包括获取模块和确定模块,可以执行第一方面或第一方面的任一可选的实现方式中的方法。
第六方面,提供了一种激光雷达传感器,包括获取模块和确定模块,可以执行第二方面或第二方面的任一可选的实现方式中的方法。
第七方面,提供了一种毫米波雷达传感器,包括获取模块和确定模块,可以执行第三方面或第三方面的任一可选的实现方式中的方法。
第八方面,提供了一种相机传感器,包括获取模块和确定模块,可以执行第四方面或第四方面的任一可选的实现方式中的方法。
第九方面,提供了一种车辆,包括控制设备、雷达激光传感器、毫米波雷达传感器和相机传感器。
第十方面,提供了一种电子设备,包括存储器和处理器,所述存储器上存储有可以用于指示执行上述第一或第一方面的任意可选的实现方式、第二或第二方面的任意可选的实现方式、第三或第三方面的任意可选的实现方式、第四或第四方面的任意可选的实现方式的程序代码,当所述代码被执行时,所述处理器可以实现方法中终端设备执行各个操作。
第十一方面,提供了一种计算机存储介质,所述计算机存储介质中存储有程序代码,所述程序代码可以用于指示执行上述第二方面或第二方面的任意可选的实现方式、第二或第二方面的任意可选的实现方式、第三或第三方面的任意可选的实现方式、第四或第四方面的任意可选的实现方式中的方法。
具体实施方式
下面将结合附图,对本发明实施例中的技术方案进行描述。
图1是本发明实施例提供的一种示例车辆100的一种功能框图。耦合到车辆100或包括在车辆100中的组件可包括推进系统110、传感器系统120、控制系统130、外围设备140、电源101、计算装置107以及用户接口108。计算装置103可包括处理器102、收发器103和存储器104。计算装置103可以是车辆100的控制器或控制器的一部分。存储器104可包括处理器102可运行的指令106,并且还可存储地图数据105。车辆100的组件可被配置为以与彼此互连和/或与耦合到各系统的其它组件互连的方式工作。例如,电源101可向车辆100的所有组件提供电力。计算装置103可被配置为从推进系统110、传感器系统120、控制系统130和外围设备140接收数据并对它们进行控制。计算装置103可被配置为在用户接口108上生成图像的显示并从用户接口108接收输入。
在其它示例中,车辆100可包括更多、更少或不同的系统,并且每个系统可包括更多、更少或不同的组件。此外,示出的系统和组件可以按任意种的方式进行组合或划分。
推进系统102可用于车辆100提供动力运动。如图所示,推进系统102包括引擎/发动机114、能量源113、传动装置(transmission)112和车轮/轮胎111。
推进系统102可以额外地或可替换地包括除了所示出的那些以外的组件。
传感器系统104可包括用于感测关于车辆100所位于的环境的信息的若干个传感器。如图所示,传感器系统的传感器包括全球定位系统GPS126、惯性测量单元(InertialMeasurement Unit,IMU)125、激光雷达传感器124、相机传感器123、毫米波雷达传感器122以及用于为修改传感器的位置和/或朝向的致动器121。传感器系统120也可包括额外的传感器,包括例如监视车辆100的内部系统的传感器(例如,O2监视器、燃油量表、机油温度,等等)。传感器系统120也可以包括其它传感器。
GPS模块126可以为用于估计车辆100的地理位置的任何传感器。为此,GPS模块126可能包括收发器,基于卫星定位数据,估计车辆100相对于地球的位置。在示例中,计算装置103可用于结合地图数据105使用GPS模块126来估计车辆100可在其上行驶的道路上的车道边界的位置。GPS模块126也可采取其它形式。
IMU 125可以是用于基于惯性加速度及其任意组合来感测车辆100的位置和朝向变化。在一些示例中,传感器的组合可包括例如加速度计和陀螺仪。传感器的其它组合也是可能的。
激光雷达传感器(LiDAR)124可以被看作物体检测系统,该传感器使用光感测或检测车辆100所位于的环境中的物体。通常,LIDAR是可通过利用光照射目标来测量到目标的距离或目标的其它属性的光学遥感技术。作为示例,LIDAR单元124可包括被配置为发射激光脉冲的激光源和/或激光扫描仪,和用于为接收激光脉冲的反射的检测器。例如,LIDAR单元124可包括由转镜反射的激光测距仪,并且以一维或二维围绕数字化场景扫描激光,从而以指定角度间隔采集距离测量值。在示例中,LIDAR单元124可包括诸如光(例如,激光)源、扫描仪和光学系统、光检测器和接收器电子器件之类的组件,以及位置和导航系统。LIDAR单元124通过扫描一个物体上反射回来的激光确定物体的距离,可以形成精度高达厘米级的3D环境图。
相机传感器123可以用于获取车辆100所位于的环境的图像的任何相机(例如,静态相机、视频相机等)。为此,相机可被配置为检测可见光,或可被配置为检测来自光谱的其它部分(诸如红外光或紫外光)的光。其它类型的相机也是可能的。相机123可以是二维检测器,或可具有三维空间范围。在一些示例中,相机123例如可以是距离检测器,其被配置为生成指示从相机123到环境中的若干点的距离的二维图像。为此,相机123可使用一种或多种距离检测技术。例如,相机123可被配置为使用结构光技术,其中车辆100利用预定光图案,诸如栅格或棋盘格图案,对环境中的物体进行照射,并且使用相机134检测从物体的预定光图案的反射。基于反射的光图案中的畸变,车辆100可被配置为检测到物体上的点的距离。预定光图案可包括红外光或其它波长的光。
毫米波雷达传感器(Millimeter-Wave Radar)122通常指波长为1~10mm的物体检测传感器,频率大致范围是10GHz~200GHz。毫米波雷达测量值具备深度信息,可以提供目标的距离;其次,由于毫米波雷达有明显的多普勒效应,对速度非常敏感,可以直接获得目标的速度,通过检测其多普勒频移可将目标的速度提取出来。目前主流的两种车载毫米波雷达应用频段分别为24GHz和77GHz,前者波长约为1.25cm,主要用于短距离感知,如车身周围环境、盲点、泊车辅助、变道辅助等;后者波长约为4mm,用于中长距离测量,如自动跟车、自适应巡航(ACC)、紧急制动(AEB)等。
控制系统130可被配置为控制车辆100及其组件的操作。为此,控制系统130可包括转向单元136、油门135、制动单元134、传感器融合算法133、计算机视觉系统132、导航或路线控制(pathing)系统131。
控制系统106可以额外地或可替换地包括除了所示出的那些以外的组件。
外围设备140可被配置为允许车辆100与外部传感器、其它车辆和/或用户交互。为此,外围设备140可包括例如无线通信系统144、触摸屏143、麦克风142和/或扬声器141。
外围设备140可以额外地或可替换地包括除了所示出的那些以外的组件。
电源101可被配置为向车辆100的一些或全部组件提供电力。为此,电源110可包括例如可再充电锂离子或铅酸电池。在一些示例中,一个或多个电池组可被配置为提供电力。其它电源材料和配置也是可能的。在一些示例中,电源110和能量源113可一起实现,如一些全电动车中那样。
包括在计算装置103中的处理器102可包括一个或多个通用处理器和/或一个或多个专用处理器(例如,图像处理器、数字信号处理器等)。就处理器102包括多于一个处理器而言,这种处理器可单独工作或组合工作。计算装置103可实现基于通过用户接口107接收的输入控制车辆100的功能。
收发器103用于该计算装置103与各个系统间的通信。
存储器104进而可包括一个或多个易失性存储组件和/或一个或多个非易失性存储组件,诸如光、磁和/或有机存储装置,并且存储器104可全部或部分与处理器102集成。存储器104可包含可由处理器102运行的指令106(例如,程序逻辑),以运行各种车辆功能,包括本文中描述的功能或方法中的任何一个。
车辆100的组件可被配置为以与在其各自的系统内部和/或外部的其它组件互连的方式工作。为此,车辆100的组件和系统可通过系统总线、网络和/或其它连接机制通信地链接在一起。
为了更好地理解本发明实施例,以下将结合图2-图12,以与图1所示的系统相同或相似的系统为例对本发明实施例进行说明。
图2是根据本发明实施例的一种车载传感器的外部参数标定的方法200的示意性流程图。如图2所示,该方法200包括以下内容。
在210中,设备获取第一车载传感器采集的第一特征点信息。
可选地,该第一车载传感器包括以下车载传感器中的任意一种:激光雷达车载传感器、相机车载传感器和毫米波雷达车载传感器。
可选地,该第一车载传感器为激光雷达车载传感器时,该获取第一车载传感器采集的第一特征点信息,包括:
获取多个第一特征点和该多个第一特征点对应的第一标志物的轮廓尺寸,其中,该多个第一特征点为该第一标志物的多个角点坐标。
可选地,该第一车载传感器为毫米波雷达车载传感器,该获取第一车载传感器采集的第一特征点信息,包括:
获取该第一特征点信息包括多个第一特征点和该多个第一特征点中相邻的该第一特征点的固定间隔d1。
可选地,该第一车载传感器为相机车载传感器,该获取第一车载传感器采集的第一特征点信息,包括:获取第三标志物的多个第一特征点的像素坐标和该第三标志物的图像尺寸,其中,该多个第一特征点为该第三标志物的图像的几何中心。
可选地,该第一标志物、该第二标志物和该第三标志物为城市道路中常见的城建地物,例如城市建设中已有的地标建筑物、交通信号灯、长期固定的广告牌等。
此时,通过获取该传感器采集的已有的该城建地物的第一特征点,无需额外人工制作成本,节约了传感器外参标定的成本。
在220中,根据POS传感器确定该车体在世界坐标系中的地理位置。
可选地,根据POS传感器(即惯组,由GPS和惯导设备构成)确定该车体在世界坐标系中的地理位置。
应理解,该第一车载传感器位于该车体上。
在230中,根据该第一车载传感器在世界坐标系中的地理位置,确定地图数据库中的该第一传感器采集范围内的第二特征点信息,其中,该地图(Geographical InformationSystem,GIS)数据库是基于世界坐标系建立的。
具体而言,根据该第一车载传感器在世界坐标系中的地理位置,在地图GIS数据库中,查找该第一传感器在当前地图数据库中的位置采集范围内的可用的特征点列表。
在240中,根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点。
可选地,该第一车载传感器为激光雷达车载传感器时,根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
当该第一特征点信息中的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸与该第二特征点信息的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸的差值小于第三阈值时,确定该第一特征点信息中的该多个特征点中的任一个特征点为该第一特征点和该第二特征点信息中的该多个特征点中的任一个特征点为该第二特征点。
具体而言,该设备获取的第一特征点信息如该第一标志物的长、宽、高等,与地图数据库中筛选的第二特征点信息对应该第一标志物的长、宽、高进行匹配。例如表1是该设备根据当前激光雷达车载传感器在世界坐标系中的地理位置,在地图数据库中输出的一系列建筑物的信息列表。
表1建筑物信息数据库
列名 |
数据类型 |
说明 |
Architecture ID |
Int |
建筑物标识 |
L |
Double |
建筑物沿道路方向的长 |
W |
Double |
建筑物的宽 |
H |
Double |
建筑物的高 |
A1 |
Double |
特征点1处的两面夹角 |
A2 |
Double |
特征点2处的两面夹角 |
FeaturePoint1 |
Struct{ID,X,Y,Z} |
特征点1的坐标 |
FeaturePoint2 |
Struct{ID,X,Y,Z} |
特征点2的坐标 |
将获取的激光雷达传感器采集的第一特征点的信息与表1中的特征点进行匹配,当该第一特征点信息中的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸与该第二特征点信息的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸的差值小于第三阈值时,确定该第一特征点信息中的该多个特征点中的任一个特征点为该第一特征点和该第二特征点信息中的该多个特征点中的任一个特征点为该第二特征点。
可选地,该第一车载传感器为毫米波雷达车载传感器时,根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d1与该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d的差值小于第四阈值时,确定该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d1为该第一特征点和该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d为该第二特征点。
可选地,该第一车载传感器为相机传感器时,根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
根据该第一车载传感器所处的地理位置与该地图数据库中的该第三标志物的坐标,确定该第一车载传感器与该第三标志物的距离;
根据该第一车载传感器与该第三标志物的距离,确定该第三标志物在该相机传感器获取的图像上的理论尺寸;
当所述图像上的所述第三标志物的理论尺寸与所述图像上的所述第三标志物的实际尺寸的差值小于第五阈值时,确定所述第三标志物的多个第一特征点的像素坐标为所述多个第一特征点和所述第三标志物在所述地图数据库中对应的坐标为所述多个第二特征点。
可选地,当该第三标志物为红绿灯时,根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
将原始图像经过红绿蓝3个通道分别提取红色、黄色、绿色特征;
在该3个通道下分别提取圆形封闭区域;
根据红绿灯的长宽比和最大最小条件对提取的该圆形区域进行筛选;
确定该3个通道中的有唯一圆的通道对应的像素坐标为该第一特征点和该有唯一圆的通道对应的该第三标志物在地图数据库中的坐标为该第二特征点。
此时,通过将获取到的多个第一特征点和地图数据库中的多个第二特征点进行智能匹配,避免了在自动驾驶汽车的使用过程中人工去选择匹配特征点,降低人工干预带来的误差。
在250中,根据该车体在该世界坐标系中的地理位置和该多个第二特征点在该世界坐标系中的地理位置,确定该多个第二特征点在该车体坐标系下的坐标。
在260中,根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数。
传感器外参是传感器与车体之间的相对位置的关系。定义Pw为车体坐标系,Pc为传感器自身坐标系,世界坐标系Pw与传感器自身坐标系Pc之间的关系为式(1)所示:
Pc=RPw+T (1)
式中,R为旋转矩阵,T为平移向量,R和T为传感器外参。平移向量T为沿三个坐标轴的偏差量,可看成是两个坐标系之间的刚性平移量;旋转矩阵R为3*3的正交阵,如果旋转角参数分别为:
和
则由三个绕坐标轴连乘的旋转阵得到:
其中:
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数,即根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定平移向量T和旋转矩阵R。
应理解,根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数,即为该第一车载传感器外参的标定。
可选地,根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数,包括:确定该多个第一特征点通过精度校验;根据通过精度校验的该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数。
可选地,当该第一车载传感器为该激光雷达车载传感器或该毫米波雷达车载传感器时,该确定该多个第一特征点通过精度校验,包括:
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的初始映射参数fLiDAR 0;
根据该第一特征点的坐标和该初始映射参数,确定该第一特征点在该车体坐标系下的坐标;
根据该第一特征点在该车体坐标系下的坐标和该POS传感器,确定该第一特征点在该地图数据库中坐标;
如果确定的该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第一阈值时,确定该第一特征点通过精度校验。
可选地,该第一阈值为3倍的平均经验中误差σ0,当该确定的该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第一阈值时,确定该第一特征点通过精度校验;当该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差大于第一阈值时,该第一特征点为误匹配点或粗差点,予以剔除。
应理解,该平均经验中误差σ0基于传感器的精度以及大量的样本测试。该第一阈值为3倍的平均经验中误差σ0是实验值,在不同的场景下,该第一阈值可以重新确定,本发明实施例并不做限定。
具体而言,图3是当该第一车载传感器为该激光雷达车载传感器或该毫米波雷达车载传感器时,该确定该多个第一特征点通过精度校验的示意性流程图。
在301中,第一特征点精度校验流程开始。
在302中,将获取的激光雷达传感器的第i个第一特征点坐标代入初始映射参数fLiDAR 0。
在303中,计算该第i个第一特征点在地图数据库中对应的第二特征点坐标。
在304中,将计算的该i个第一特征点在地图数据库中对应的的第二特征点坐标与地图数据库中存储的该第二特征点坐标相减得到残差σi。
在305中,确定该残差σi是否大于3倍的σ0。
在306中,剔除残差σi大于3倍的σ0的第i个第一特征点。
在307中,判断是否多个第一特征点都完成精度校验。
在308中,如果该多个第一特征点都完成精度校验则退出精度校验流程,否则该流程继续。
可选地,当该第一车载传感器为该相机车载传感器时,确定该多个第一特征点通过精度校验,包括:
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的初始映射参数;
根据匹配的该多个第二特征点在该车体坐标系下的坐标和该初始确定映射关系,确定该多个第二特征点对应的该多个第一特征点的像素坐标;
如果确定的该多个第一特征点的像素坐标与获取的该多个第一特征点的像素坐标的差小于第二阈值时,确定该第一特征点通过精度校验。
可选地,该第二阈值为3倍的平均经验中误差σ0,当该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第二阈值时,确定该第一特征点通过精度校验;当该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差大于第二阈值时,该第一特征点为误匹配点或粗差点,予以剔除。
应理解,该平均经验中误差σ0基于传感器的精度以及大量的样本测试。该第二阈值为3倍的平均经验中误差σ0是实验值,在不同的场景下,该第二阈值可以重新确定,本发明实施例并不做限定。
具体而言,图4是当该第一车载传感器为相机车载传感器时,该确定该多个第一特征点通过精度校验的示意性流程图。
在401中,第一特征点精度校验流程开始。
在402中,将匹配的地图数据库中的第i个第二特征点坐标代入fcam 0。
在403中,计算该第i个第二特征点在像素坐标系中对应的第一特征点坐标。
在404中,将计算的该i个第二特征点在像素坐标系中对应的第一特征点坐标与实际检测到的该第一特征点坐标相减得到残差σi。
在405中,确定该残差σi是否大于3倍的σ0。
在406中,剔除残差σi大于3倍的σ0的第i个第一特征点。
在407中,判断是否多个第一特征点都完成精度校验。
在408中,如果该多个第一特征点都完成精度校验则退出精度校验流程,否则该流程继续。
此时,通过对第一特征点进行精度校验避免了在获取第一特征点或者在匹配过程中可能出现的错误,而进行自动剔除粗差观测值,根据通过精度校验的第一特征点标定车载传感器到车体的映射参数,提高了车载传感器到车体的映射参数的可靠性与准确性。
可选地,根据确定的该第一车载传感器到该车体的映射参数,确定该车体到该第一车载传感器的映射参数;
根据第二车载传感器到该车体的映射参数和该车体到该第一车载传感器的映射参数,确定该第二车载传感器到该第一车载传感器的映射参数,该第二车载传感器到该车体的映射参数是根据该地图数据库确定的。
可选地,对该第一车载传感器到该车体的映射参数求逆,得到该车体到该第一车载传感器的映射参数。
具体而言,定义fLiDAR表示激光雷达传感器到车体的映射参数。对fLiDAR求逆运算得到fLiDAR -1,fLiDAR -1表示车体到激光雷达传感器的映射参数。
可选地,将该第二车载传感器到该车体的映射参数与该车体到该第一车载传感器的映射参数相乘,得到该第二车载传感器到该第一车载传感器的映射参数。
具体而言,定义fcam表示相机传感器到车体的映射参数。对fcam求逆运算得到fcam -1,fcam -1表示车体到相机传感器的映射参数。那么,激光雷达传感器与相机传感器之间的映射参数为fLiDAR·fcam -1。
此时,在得到激光雷达传感器到车体的映射参数fLiDAR、相机传感器到车体的映射参数fcam和毫米波雷达传感器到车体的映射参数fRadar,就可以实现任何一个车载传感器到另一个车载传感器的坐标的映射关系,实现了车载传感器之间的互标定。
因此,在本请中设备根据第一车载传感器采集的第一特征点信息和根据该车体在世界坐标系中的地理位置,确定地图数据库中的该第一传感器采集范围内的第二特征点信息,确定多个第一特征点和多个第二特征点;根据该多个第一特征点和该多个第二特征点在所述车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数。可以实现自动驾驶汽车的车载传感器的自动标定,不需依赖于固定的检校场所或实验室对车载传感器进行标定,可以提高用户体验。
应理解,本发明实施例中一种车载传感器外参的标定方法可以应用到无人驾驶轮船或无人机等其他传感器载体平台。
还应理解,在本发明实施例中的车载传感器外参的标定方法还可以应用于其他类型的传感器,本发明实施例并不对此进行限定。
图5是根据本发明实施例的一种雷达激光传感器采集数据的方法500的示意性流程图。如图5所示,该方法500包括以下内容。
在510中,雷达激光传感器获取第一标志物的轮廓;
在520中,根据该轮廓,确定该第一标志物的第一特征点信息,该第一特征点信息包括多个特征点和该多个特征点对应的第一标志物的轮廓尺寸,
其中,该多个特征点为该第一标志物的多个角点。
可选地,该获取第一标志物的轮廓,包括:
根据点云滤波去噪和区域临近点法向量求解算法,提取该第一标志物的轮廓。
具体而言,激光雷达传感器需要观测到建筑物或其他规则面状特性的地物,首先通过点云滤波去噪和区域临近点法向量求解算法,将不相关的点云噪声剔除并提取出由基本平面或曲面构成的建筑物轮廓,再根据轮廓的尺寸获取角点坐标。
例如,在城市道路旁,可以选取建筑物作为点云特征点提取的来源。
首先,基于已有的点云去噪和分割算法,得到相邻的两个墙体平面,同时获得两个平面的法向量
和
以及建筑物的长(L)、宽(W)、高(H)以及平面夹角(A);
然后,由长方向和宽方向的两个触地线交点得到提取的特征点。定义建筑物的长为沿道路方向,则每个建筑可以有两个特征点可选,依次定义为特征点1和特征点2。
图6是根据本发明实施例的一种毫米波雷达传感器采集数据的方法600的示意性流程图。如图6所示,该方法600包括以下内容。
在610中,获取多个第一标志物的坐标,其中,该多个第一标志物在线性方向上的间隔固定;
在620中,确定该多个第一标志物中相邻的该第一特征点的固定间隔d1。
具体而言,毫米波雷达传感器的外参标定可以选择一段路旁只有路灯或其他固定间隔地物的路段,没有或少有其他障碍物干扰,而且待提取的物体的间隔固定已知。在驶入指定路段前,毫米波雷达会采集到一系列障碍物的二维坐标(其中包含待提取的特征点以及其他干扰障碍物),由于特征点的间隔固定,在毫米波采集的坐标中,筛选出平均固定间隔为d1,且在一条直线上的障碍物坐标(至少3个点)。
图7是根据本发明实施例的一种相机传感器采集数据的方法700的示意性流程图。如图7所示,该方法700包括以下内容。
在710中,获取第一标志物的图像;
在720中,根据该第一标志物的图像,确定该相机传感器采集的第一特征点信息,该第一特征点信息包括该多个第一特征点的像素坐标和该第三标志物的图像尺寸,其中,该多个特征点为该第三标志物的图像的几何中心。
可选地,当该第一标志物为红绿灯时,该根据该第一标志物的图像,确定该相机传感器采集的第一特征点信息,包括:
经过红绿蓝三通道分别提取图像上的所有红色、黄色和绿色的特征区域;
提取该红绿蓝三通道图像的边缘点;
根据该红绿蓝三通道图像的边缘点,确定该红绿蓝三通道图像的几何中心点;
获取该红绿蓝三通道图像的几何中心点的像素坐标。
图8是根据本发明实施例的一种车载传感器的外部参数标定的设备800的示意性框图。如图8所示,该设备800包括:
获取模块810,用于获取第一车载传感器采集的第一特征点信息;
确定模块820,用于确定该第一车载传感器在世界坐标系中的地理位置;
该确定模块820还用于根据该第一车载传感器在世界坐标系中的地理位置,确定地图数据库中的该第一传感器采集范围内的第二特征点信息,其中,该地图数据库是基于世界坐标系建立的;
该确定模块820还用于根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点;
该确定模块820还用于根据该多个第一特征点和该多个第二特征点,确定该第一车载传感器到该世界坐标系的映射参数。
可选地,该获取模块810和该确定模块820用于执行本发明实施例的一种车载传感器的外部参数标定的方法200的各个操作,为了简洁,在此不再赘述。
图9是根据本发明实施例的雷达激光传感器900的示意性框图。如图9所示,该雷达激光传感器900包括:
获取模块910,用于获取第一标志物的轮廓;
确定模块920,用于根据该轮廓,确定该第一标志物的第一特征点信息,该第一特征点信息包括多个特征点和该多个特征点对应的第一标志物的轮廓尺寸,
其中,该多个特征点为该第一标志物的多个角点。
可选地,该获取模块910和该确定模块920用于执行本发明实施例的一种车载传感器的外部参数标定的方法500的各个操作,为了简洁,在此不再赘述。
图10是根据本发明实施例的毫米波雷达传感器1000的示意性框图。如图10所示,该毫米波雷达传感器1000包括:
获取模块1010,用于获取多个第一标志物的坐标,其中,该多个第一标志物在线性方向上的间隔固定;
确定模块1020,用于确定该多个第一标志物中相邻的该第一特征点的固定间隔d1。
图11是根据本发明实施例的相机传感器1100的示意性框图。如图11所示,该雷达激光传感器1100包括:
获取模块1110,用于获取第一标志物的图像;
确定模块1120,用于根据该第一标志物的图像,确定该相机传感器采集的第一特征点信息,该第一特征点信息包括该多个第一特征点的像素坐标和该第三标志物的图像尺寸,其中,该多个特征点为该第三标志物的图像的几何中心。
可选地,该获取模块1110和该确定模块1120用于执行本发明实施例的一种车载传感器的外部参数标定的方法700的各个操作,为了简洁,在此不再赘述。
图12示出了本发明实施例提供的设备1200的示意性框图,所述设备1200包括:
存储器1210,用于存储程序,所述程序包括代码;
处理器1220,用于执行存储器1210中的程序代码;
收发器1230,用于和其他设备进行通信。
应理解,所述设备1200可以是图1所示的一种示例车辆100的一种功能框图中的计算装置103。
可选地,当所述代码被执行时,所述处理器1220可以实现方法200或方法500或方法600或方法700的各个操作,为了简洁,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。