CN110782497B - 相机外参的标定方法、装置 - Google Patents

Abstract

本申请提供了一种相机外参的标定方法、装置。该方法包括：采集目标道路场景的图像和目标道路场景的点云数据集；获取位于图像边缘的边缘标志物的图像数据和点云数据；根据边缘标志物的图像数据和点云数据确定采集图像的相机设备的第一外参。本申请通过使用目标道路场景的图像中自带边缘标志物为参照点进行相机外参标定，免去了人工干预，提高了相机外参标定的准确性。

Description

相机外参的标定方法、装置

技术领域

本申请涉及通信技术领域，特别涉及一种相机外参的标定方法、装置。

背景技术

相机的标定包括内参标定和外参标定，目前对于内参标定技术和工具都比较成熟，精度也能保证，但由于使用场景千差万别，外参标定并没有统一的方法。目前的外参标定方法需要人工选取参照点，效率很低，标定精度也受人为因素的影响较大。

发明内容

本申请旨在提供相机外参的标定方法、装置，其能够提高相机外参标定的准确性。

根据本申请实施例的一个方面，提供了一种相机外参的标定方法，包括：采集目标道路场景的图像和所述目标道路场景的点云数据集；获取位于所述图像边缘的边缘标志物的图像数据和点云数据；根据所述边缘标志物的图像数据和点云数据确定采集所述图像的相机设备的第一外参。

根据本申请实施例的一个方面，提供了一种相机外参的标定装置，包括：采集模块，用于采集目标道路场景的图像和所述目标道路场景的点云数据集；获取模块，用于获取位于所述图像边缘的边缘标志物的图像数据和点云数据；处理模块，用于根据所述边缘标志物的图像数据和点云数据确定采集所述图像的相机设备的第一外参。

在本申请的一些实施例中，基于前述方案，所述处理模块配置为：获取所述边缘标志物的点云数据映射至所述图像中形成的第一转换数据；根据所述边缘标志物的图像数据和第一转换数据确定所述第一外参。

在本申请的一些实施例中，基于前述方案，所述处理模块还配置为：获取所述图像中除所述边缘标志物以外的其它标志物的图像数据；从所述其它标志物的图像数据中提取所述其它标志物的第一类特征；获取所述第一类特征的点云数据；根据所述第一类特征和所述第一类特征的点云数据得到第二外参；根据所述第二外参获取所述第一转换数据。

在本申请的一些实施例中，基于前述方案，所述处理模块还配置为：根据所述第二外参将所述第一类特征的点云数据映射至所述图像中，得到所述第一类特征对应的第二转换数据；计算所述第一类特征和所述第二转换数据之间的距离；若确定所述第一类特征和所述第二转换数据之间的距离超过第一阈值，则获取另一道路场景的图像和所述另一道路场景的点云数据集，并根据所述另一道路场景的图像和所述另一道路场景的点云数据集确定所述第一外参。

在本申请的一些实施例中，基于前述方案，所述处理模块还配置为：若所述第一类特征和所述第一转换数据之间的距离未超过所述第一阈值，则从所述其他标志物的图像数据中提取所述其他标志物的第二类特征；获取所述第二类特征的点云数据；根据所述第二外参将所述第二类特征的点云数据映射至所述图像中，得到所述第二类特征对应的第三转换数据；根据所述第二类特征和所述第三转换数据得到第三外参；根据所述第三外参将所述边缘标志物的点云数据映射至所述图像中，得到所述边缘标志物的第一转换数据。

在本申请的一些实施例中，基于前述方案，所述处理模块配置为：若多个边缘标志物具有相同的特征，则计算所述多个边缘标志物中指定边缘标志物的第一转换数据与所述指定边缘标志物的图像数据之间的距离作为第一距离；计算所述多个边缘标志物中与所述指定边缘标志物相邻的另一边缘标志物的第一转换数据与所述另一边缘标志物的图像数据之间的距离作为第二距离；若所述第一距离和所述第二距离的差值达到第二阈值，则根据所述指定边缘标志物的图像数据和所述指定边缘标志物的点云数据确定所述第一外参。

在本申请的一些实施例中，基于前述方案，所述处理模块还配置为：若所述第一距离和所述第二距离的差值未达到所述第二阈值，则重新获取所述指定边缘标志物的点云数据，并根据所述指定边缘标志物的图像数据和重新获取的所述指定边缘标志物的点云数据，确定所述第一外参。

在本申请的一些实施例中，基于前述方案，所述相机外参的标定装置还包括：检验模块，用于从所述图像中提取所述边缘标志物的特征，以及除所述边缘标志物以外的其它标志物的特征；统计所述其它标志物的特征的数量和所述边缘标志物的特征的数量；若所述其它标志物的特征的数量和所述边缘标志物的特征的数量之和达到第三阈值，则另一道路场景的图像和所述另一道路场景的点云数据集，根据所述另一道路场景的图像和所述另一道路场景的点云数据集确定所述第一外参。

在本申请的一些实施例中，基于前述方案，所述检验模块还配置为：从所述图像中提取除所述边缘标志物以外的其它标志物的特征；若所述其它标志物的特征缺少第一类特征或缺少第二类特征，则获取另一道路场景的图像和所述另一道路场景的点云数据集，并根据所述另一道路场景的图像和所述另一道路场景的点云数据集确定所述第一外参。

根据本申请实施例的一个方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上任一项所述的方法。

根据本申请实施例的一个方面，提供了一种电子装置，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上任一项所述的方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

在本申请的一些实施例所提供的技术方案中，通过采集目标道路场景的图像和目标道路场景的第一点云数据集，再获取位于图像边缘的边缘标志物的图像数据和点云数据，根据边缘标志物的图像数据和点云数据确定采集图像的相机设备的第一外参，使得可以以目标道路场景的图像中自带的边缘标志物为参照点来确定相机设备的外参，无需人工选取参照点，提高了相机外参标定的准确性。同时，由于相机在进行目标道路场景外参标定时，选取的位于相机采集的目标道路场景的图像边缘的边缘标志物比其它标志物更靠近相机，边缘标志物在图像中所占的比例比位于图像中间的其它标志物所占的比例更大、细节更多，边缘标志物对相机外参的准确性更加敏感，因此在边缘标志物上选取参照点用于相机外参标定会更加准确。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；

图2示意性示出了根据本申请的一个实施例的相机外参的标定方法的流程图；

图3示意性示出了根据本申请的一个实施例的对目标道路场景进行筛选的流程图；

图4示意性示出了根据本申请的一个实施例的对目标道路场景进行筛选的流程图；

图5示意性示出了根据本申请的一个实施例的根据边缘标志物的图像数据和点云数据确定采集图像的相机设备的第一外参的流程图；

图6示意性示出了根据本申请的一个实施例的获取边缘标志物的点云数据映射至图像中形成的第一转换数据的流程图；

图7示意性示出了根据本申请的一个实施例的根据第二外参获取第一转换数据的流程图；

图8示意性示出了根据本申请的一个实施例的对边缘特征进行筛选的流程图；

图9示意性示出了根据本申请的一个实施例的对第一外参进行检验的流程图；

图10示意性示出了根据本申请的一个实施例的相机外参的标定方法的流程图；

图11示意性示出了根据本申请的一个实施例的相机外参的标定装置的框图；

图12是根据一示例性实施例示出的相机外参的标定装置的硬件图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构100的示意图。

如图1所示，系统架构100可以包括相机101(相机101可以为车载摄像机)、三维扫描仪102、网络103、服务器104和终端设备105(终端设备104可以为智能手机、平板电脑、便携式计算机、台式计算机、挂号机中的一种或多种)。网络103用以在相机101、三维扫描仪102、服务器104和终端设备105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的相机101、三维扫描仪102、网络103、服务器104和终端设备105的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机101、三维扫描仪102、网络103、服务器104和终端设备105。比如服务器104可以是多个服务器组成的服务器集群等。

在本申请的一个实施例中，服务器104可以获取相机101采集的目标道路场景的图像，服务器104可以获取三维扫描仪102采集的目标道路场景的第一点云数据集。服务器104通过获取位于图像边缘的边缘标志物的图像数据，获取边缘标志物的点云数据，根据边缘标志物的图像数据和点云数据确定采集图像的相机设备的第一外参，使得可以以目标道路场景的图像中自带的边缘标志物为参照点，代替现有技术中的人工选取参照点，避免了人工参与，提高了相机外参标定的准确性。同时，由于相机在进行目标道路场景外参标定时，选取的位于相机采集的目标道路场景的图像边缘的边缘标志物比其它标志物更靠近相机，边缘标志物在图像中所占的比例比位于图像中间的其它标志物所占的比例更大、细节更多，边缘标志物对相机外参的准确性更加敏感，因此在边缘标志物上选取参照点用于相机外参标定会更加准确。

需要说明的是，本申请实施例所提供的相机外参的标定方法一般由服务器104执行，相应地，相机外参的标定装置一般设置于服务器104中。但是，在本申请的其它实施例中，终端设备105也可以与服务器104具有相似的功能，从而执行本申请实施例所提供的相机外参的标定方法。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图2示意性示出了根据本申请的一个实施例的相机外参的标定方法的流程图，该相机外参的标定的执行主体可以是服务器，比如可以是图1中所示的服务器104。

参照图2所示，该相机外参的标定方法至少包括步骤S210至步骤S230，详细介绍如下：

在步骤S210中，采集目标道路场景的图像和目标道路场景的点云数据集。

在本申请的一个实施例中，在图2所示的步骤S210之前可以通过如图3所示的步骤对目标道路场景进行筛选，具体包括如下步骤S310至步骤S350：

在步骤S310中，从目标道路场景的图像中提取位于图像边缘的边缘标志物的特征，以及除边缘标志物以外的其它标志物的特征。

在本申请的一个实施例中，标志物可以包括位于图像边缘的路面、车道线、护栏、路灯杆、路牌等道路因素，还可以包括目标道路场景中的树木、建筑物等环境因素。位于图像边缘的边缘标志物，可以是在目标道路场景的图像边缘的上述道路因素和环境因素。除边缘标志物以外的其它标志物，可以是在目标道路场景的图像中除了边缘标志物以外的上述道路因素和环境因素。

在本申请的一个实施例中，选取的目标道路场景可以是平直的道路场景。因为相同密度的标志物位于平直道路上时比位于道路转弯处时，标志物在图像中的位置更加分散，选取平直的道路场景进行相机参数标定更加简单。

在本申请的一个实施例中，边缘标志物和其它标志物的划分标准可以是根据标志物在图像中的位置来确定，这是由于相机畸变时越靠近图像边缘的标志物，其在图像中所占的比例越大，在图像中能够显示的细节越多，在其上选取参照点越有利于相机外参标定。

在本申请的一个实施例中，边缘标志物和其它标志物的划分标准，可以根据标志物与相机之间的距离来确定，这是由于距离相机越近的标志物，其在图像中占得比例越大，在其上选取参照点进行相机外参标定更加准确。在相机进行目标道路场景标定时，选取的参照物是平直的目标道路场景自带的标志物，相机正前方没有标志物遮挡，相机采集到的目标道路场景的图像中，距离相机越近的标志物，越靠近图像边缘。

在本申请的一个实施例中，可以选取边缘标志物中的路面、车道线、护栏、路灯杆、路牌等道路因素为参照点，也可以选取边缘标志物中的树木、建筑物等环境因素为参照点。

在本申请的一个实施例中，标志物的特征可以根据标志物的类别、位置、形状、结构和在图像中所占的比例确定，可以分为面特征、线特征和点特征。面特征可以包括：路面、路牌、建筑物的侧面等；线特征可以包括：车道线、护栏、路灯杆、树木等；点特征可以包括：车道线端点、路灯杆顶点、路牌边缘轮廓线角点等。

在本申请的一个实施例中，面特征、线特征和点特征之间可以进行切换。例如，标志物是车道线时，当车道线与用于采集图像的相机距离较远，不能够分辨出车道线的四个侧边时，车道线整体可作为线特征；当车道线与用于采集图像的相机较近，能够分辨出车道线的四个侧边时，车道线整体可作为面特征，车道线的每个侧边可作为一个线特征，将车道线的中轴线可作为一个线特征，车道线的每两个相邻侧边的交点可作为一个点特征。

在本申请的一个实施例中，可以根据面特征在目标道路场景图像中的位置对目标道路场景图像中的面特征进行连续编号；也可以根据线特征在目标道路场景图像中的位置对目标道路场景图像中的线特征进行连续编号；还可以根据点特征在目标道路场景图像中的位置对目标道路场景图像中的点特征进行连续编号。这种连续编号的方式能够避免遗漏特征。

在本申请的一个实施例中，可以使用深度学习模型从目标道路场景的图像中提取标志物的特征。深度学习模型在提取特征前，可以通过以下过程预先训练：获取道路场景的图像样本集合，每个道路场景的图像样本中包含的标志物的特征已知，对于每个道路场景的图像样本，将该道路场景的图像样本输入深度学习模型，获取深度学习模型输出的该道路场景的图像样本中标志物的特征，将输出的该道路场景的图像样本中标志物的特征与已知的该道路场景的图像样本中标志物的特征比较，如果不一致，调整第一机器学习模型，使得输出的该道路场景的图像样本中标志物的特征与已知的该道路场景的图像样本中标志物的特征一致。

在本申请的一个实施例中，深度学习模型训练完成之后，可以将目标道路场景的图像输入深度学习模型后，得到深度学习模型输出的目标道路场景的图像中标志物的特征。再将目标道路场景的图像中标志物的特征根据特征在图像中的位置，分为边缘标志物的特征和除边缘标志物以外的其它标志物的特征。

在本申请的一个实施例中，深度学习模型在提取特征前，还可以通过以下过程预先训练：获取道路场景的图像样本集合，道路场景的图像样本集合中的每个道路场景的图像样本中的边缘标志物的特征已知，每个道路场景的图像样本中除边缘标志物以外的其它标志物的特征已知，对于道路场景的图像样本集合中的每个道路场景的图像样本，将该道路场景的图像样本输入深度学习模型，获取深度学习模型输出的该道路场景的图像样本的边缘标志物的特征，以及除边缘标志物以外的其它标志物的特征。将输出的该道路场景的图像样本中边缘标志物的特征与已知的该道路场景的图像样本中边缘标志物的特征比较，并将输出的该道路场景的图像样本中其它标志物的特征与已知的该道路场景的图像样本中其它标志物的特征比较，如果输出的该道路场景的图像样本中边缘标志物的特征与已知的该道路场景的图像样本中边缘标志物的特征不一致，或输出的该道路场景的图像样本中其它标志物的特征与已知的该道路场景的图像样本中其它标志物的特征不一致，则调整第一机器学习模型，使得输出的该道路场景的图像样本中边缘标志物的特征与已知的该道路场景的图像样本中边缘标志物的特征一致，并且使得输出的该道路场景的图像样本中其它标志物的特征与已知的该道路场景的图像样本中其它标志物的特征一致。

在步骤S320中，统计其它标志物的特征的数量和边缘标志物的特征的数量。

在步骤S330中，判断其它标志物的特征的数量和边缘标志物的特征的数量之和是否达到第三阈值。

在本申请的一个实施例中，第三阈值可以根据需要设定。

在步骤S340中，若其它标志物的特征的数量和边缘标志物的特征的数量之和达到第三阈值，则获取另一道路场景的图像和另一道路场景的点云数据集，并根据另一道路场景的图像和另一道路场景的点云数据集确定第一外参。

在步骤S350中，若其它标志物的特征的数量和边缘标志物的特征的数量之和未达到第三阈值，则继续执行步骤S220。

在该实施例中，位于目标道路场景的图像中的标志物总数过多时，标志物过于集中会给相机外参的标定带来困难。因此，当其它标志物的特征的数量和边缘标志物的特征的数量之和达到第三阈值时，抛弃该目标道路场景，重新选取另一道路场景，并根据另一道路场景的图像和另一道路场景的点云数据集确定第一外参。选取道路场景中标志物数量较少的另一道路场景进行相机外参标定，能够使标定更加容易。

在本申请的一个实施例中，可以为其它标志物的特征的数量和边缘标志物的特征的数量之和设定第四阈值作为下限，若其它标志物的特征的数量和边缘标志物的特征的数量之和超过第四阈值，且其它标志物的特征的数量和边缘标志物的特征的数量之和未达到第三阈值，则执行步骤S220。若其它标志物的特征的数量和边缘标志物的特征的数量之和未达到第四阈值，则获取另一道路场景的图像和另一道路场景的点云数据集，并根据另一道路场景的图像和另一道路场景的点云数据集确定第一外参。

在该实施例中，选取道路场景中标志物数量适中的另一道路场景进行相机外参标定，能够使标定更加准确。

在本申请的一个实施例中，可以分别为目标道路场景图像中其它标志物的特征的数量和边缘标志物的特征的数量设定范围。若其它标志物的特征的数量在为其设定的第一范围内，且边缘标志物的特征的数量在为其设定的第二范围内，则继续执行步骤S220。若其它标志物的特征的数量不在为其设定的第一范围内，或边缘标志物的特征的数量不在为其设定的第二范围内，则获取另一道路场景的图像和另一道路场景的点云数据集，并根据另一道路场景的图像和另一道路场景的点云数据集确定第一外参。

在该实施例中，通过选取具有合理数量的其它标志物和边缘标志物的目标道路场景进行相机外参标定，可以使相机外参的标定更加准确。

在本申请的一个实施例中，可以将目标道路场景的图像分为多个区域，任意选取其中一个区域，从该区域中提取标志物的特征，选取每个区域中标志物的特征的数量都符合要求的目标道路场景。可以为每个区域的特征的数量设定第三范围，选取每个区域的特征的数量都在第三范围内的目标道路场景的图像进行相机参数标定，使相机参数标定更加简单。

在本申请的一个实施例中，可以根据标志物的特征在目标道路场景的图像中的位置计算目标道路场景的图像的集中度，选择集中度符合要求的目标道路场景的图像进行相机外参标定更加准确。可以通过以下过程计算目标道路场景的图像的集中度：将目标道路场景的图像平均分成多个区域，统计每个区域中标志物的特征的数量，计算每个区域中标志物的特征的数量与目标道路场景的图像中所有的标志物的特征的数量的比值，将得到的多个比值中的最大值作为目标道路场景的图像的集中度。

在本申请的一个实施例中，在图2所示的步骤S210之前还可以通过如图4所示的步骤对目标道路场景进行筛选，具体包括如下步骤S410至步骤S440：

在步骤S410中，从图像中提取除边缘标志物以外的其它标志物的特征；

在步骤S420中，判断其它标志物的特征是否缺少第一类特征或缺少第二类特征；

在步骤S430中，若其它标志物的特征缺少第一类特征或缺少第二类特征，则获取另一道路场景的图像和另一道路场景的点云数据集，并根据另一道路场景的图像和另一道路场景的点云数据集确定第一外参；

在步骤S440中，若其它标志物的特征不缺少第一类特征且不缺少第二类特征，则继续执行步骤S220。

在本申请的一个实施例中，第一类特征可以为其他特征中容易找到对应的点云数据的特征，第二类特征为其他特征中不容易找到对应的点云数据的特征。可以根据图像的大小设定百分比作为第一类特征和第二类特征的区分标准，当特征的大小达到图像的大小的设定百分比，则确认特征为第一类特征。否则，则确认特征为第二类特征。

在本申请的一个实施例中，可以以图像的大小为标准为面特征、点特征和线特征分别设定百分比。首先将特征分为面特征、线特征和点特征。若面特征的大小达到为面特征设定的图像的大小的设定百分比时，则确认面特征为第一类特征，否则，则确认面特征为第二类特征；若线特征的大小达到为线特征设定的图像的大小的设定百分比时，则确认线特征为第一类特征，否则，则确认线特征为第二类特征。若点特征的大小达到为点特征设定的图像的大小的设定百分比时，则确认点特征为第一类特征，否则，则确认点特征为第二类特征。

在图4的实施例中，选取不缺少第一类特征且不缺少第二类特征的目标道路场景进行标定，可以在进行相机标定的过程中，通过第一类特征和第二类特征逐步求取相机的外参，使相机外参标定的结果更加准确。

继续参照图2，在步骤S220中，获取位于图像边缘的边缘标志物的图像数据和点云数据。

在本申请的一个实施例中，标志物的图像数据可以为标志物在目标道路场景的图像中的位置信息。比如，可以以相机位置为原点建立相机坐标系，标志物在相机坐标系中的坐标为标志物的图像数据。标志物的点云数据可以为标志物在点云坐标系中的坐标。

在步骤S230中，根据边缘标志物的图像数据和点云数据确定采集图像的相机设备的第一外参。

在本申请的一个实施例中，还可以根据边缘标志物的图像数据和点云数据和其他标志物的图像数据和点云数据共同确定第一外参。使用更多的标志物求取外参，使得到的相机外参更加稳定。

在本申请的一个实施例中，如图5所示，在步骤S230中，根据边缘标志物的图像数据和点云数据确定采集图像的相机设备的第一外参，可以包括步骤S510至S520：

在步骤S510中，获取边缘标志物的点云数据映射至图像中形成的第一转换数据。

在本申请的一个实施例中，如图6所示，在步骤S510中，获取边缘标志物的点云数据映射至图像中形成的第一转换数据，可以包括步骤S610至S630：

在步骤S610中，获取图像中除边缘标志物以外的其它标志物的图像数据，从其它标志物的图像数据中提取其它标志物的第一类特征，获取第一类特征的点云数据。

在步骤S620中，根据第一类特征和第一类特征的点云数据得到第二外参。

在本申请的一个实施例中，获取第一类特征的点云数据之后，根据设定的初始外参，将第一类特征的点云数据映射至图像中得到第一类特征的初始转换数据，根据第一类特征和初始转换数据建立代价函数，再对代价函数进行非线性优化求解，得到第二外参。

在本申请的一个实施例中，初始外参可以根据相机在其他场景中得到的外参设定。

在本申请的一个实施例中，第一类特征在以相机为原点的相机坐标系中，第一类特征的点云数据在点云坐标系中。将第一类特征的点云数据映射至图像中，即将第一类特征的点云数据转换至相机坐标系中。

在步骤S630中，根据第二外参获取第一转换数据。

在本申请的一个实施例中，如图7所示，在步骤S630中，根据第二外参获取第一转换数据，可以包括步骤S710至S780：

在步骤S710中，根据第二外参将第一类特征的点云数据映射至图像中，得到第一类特征对应的第二转换数据。

在步骤S720中，计算第一类特征和第二转换数据之间的距离。

在本申请的一个实施例中，第一类特征在以相机为原点的相机坐标系中，第二转换数据是将第一类特征在点云坐标系中的点云数据转换至相机坐标系中得到的。计算第一类特征和第一转换数据之间的距离，即计算第一类特征在相机坐标系中的坐标和第一转换数据在相机坐标系中的坐标的距离。

在本申请的一个实施例中，第一类特征可以为面特征、线特征或点特征。计算第一类特征和第二转换数据之间的距离，即可以计算面特征和面特征的第二转换数据之间的距离，可以计算线特征和线特征的第二转换数据之间的距离，可以计算点特征和点特征的第二转换数据之间的距离。

在步骤S730中，比较第一类特征和第二转换数据之间的距离是否超过第一阈值。

在步骤S740中，若确定第一类特征和第二转换数据之间的距离超过第一阈值，则获取另一道路场景的图像和另一道路场景的点云数据集，并根据另一道路场景的图像和另一道路场景的点云数据集确定第一外参。

在步骤S750中，若第一类特征和第一转换数据之间的距离未超过第一阈值，则根据第二外参获取第一转换数据，则从其他标志物的图像数据中提取其他标志物的第二类特征。

在步骤S760中，获取第二类特征的点云数据，根据第二外参将第二类特征的点云数据映射至图像中，得到第二类特征对应的第三转换数据。

在步骤S770中，根据第二类特征和第三转换数据得到第三外参。

在步骤S780中，根据第三外参将边缘标志物的点云数据映射至图像中，得到边缘标志物的第一转换数据。

在该实施例中，通过第一类特征得到第二外参，根据第二外参将第二类特征映射至图片中得到第三转换数据，根据第二类特征和第三转换数据之间的距离对目标道路场景的筛选，使得筛选出的目标道路场景中，第二类特征的第三转换数据和第二类特征之间的距离在第一阈值内，使得根据筛选出的目标道路场景的图像数据和点云数据得到的第一外参更加准确。

继续参照图5，在步骤S520中，根据边缘标志物的图像数据和第一转换数据确定第一外参。

在本申请的一个实施例中，可以根据边缘标志物的图像数据和第一转换数据建立代价函数，再对代价函数进行非线性优化求解，得到第一外参。

在该实施例中，通过采集目标道路场景的图像和目标道路场景的点云数据集，再获取位于图像边缘的边缘标志物的图像数据和点云数据，再将边缘标志物的点云数据映射至图像中得到第一转换数据，根据边缘标志物的图像数据和第一转换数据确定采集图像的相机设备的第一外参，以使以目标道路场景的图像中自带的边缘标志物为参照点，代替现有技术中的人工选取参照点，避免了人工参与，提高了相机外参标定的准确性。同时，由于相机在进行目标道路场景外参标定时，选取的位于相机采集的目标道路场景的图像边缘的边缘标志物，比图像中自带的靠近目标道路场景的图像中间的边缘标志物以外的其它标志物更靠近相机，边缘标志物在图像中所占的比例比位于图像中间的其它标志物所占的比例更大、细节更多，边缘标志物对相机外参的准确性更加敏感，因此在边缘标志物上选取参照点用于相机外参标定会更加准确。

在本申请的一个实施例中，可以对第一转换数据进行筛选，根据筛选后的第一转换数据和筛选后的第一转换数据对应的边缘标志物确定第一外参。

在本申请的一个实施例中，若某个第一转换数据在图像中找不到与之相匹配的边缘标志物，抛弃该第一转换数据，根据余下的第一转换数据和余下的第一转换数据对应的边缘标志物，确定第一外参。抛弃无匹配特征，使获得的相机外参更加准确。

在本申请的一个实施例中，参照图8，在步骤S520中根据边缘标志物的图像数据和第一转换数据确定第一外参时，可以按照步骤S810至步骤S860对边缘特征进行筛选，以根据筛选后的边缘标志物的图像数据和筛选后的边缘标志物的第一转换数据确定第一外参：

在步骤S810中，根据第三外参将边缘标志物的点云数据映射至图像中，得到边缘标志物的第一转换数据；

在步骤S820中，若多个边缘标志物具有相同的特征，则计算多个边缘标志物中指定边缘标志物的第一转换数据与指定边缘标志物的图像数据之间的距离作为第一距离；

在步骤S830中，计算多个边缘标志物中与指定边缘标志物相邻的另一边缘标志物的第一转换数据与另一边缘标志物的图像数据之间的距离作为第二距离；

在步骤S840中，判断第一距离和第二距离的差值是否达到第二阈值；

在步骤S850中，若第一距离和第二距离的差值达到第二阈值，则根据指定边缘标志物的图像数据和指定边缘标志物的点云数据确定第一外参。

在步骤S860中，若第一距离和第二距离的差值未达到第二阈值，则抛弃指定边缘标志物，并根据边缘标志物中除了指定边缘标志物之外余下的边缘标志物确定第一外参。

在该实施例中，通过比较指定边缘标志物的第一转换数据与具有相同特征的两个相邻边缘标志物的距离，选取指定边缘标志物的第一转换数据和指定边缘标志物之间的距离，明显超过和相邻的边缘标志物的距离的指定边缘标志物。选取出的边缘标志物能够准确的找到其点云数据，避免了将具有相同特征的边缘标志物错误关联，使得根据边缘标志物得到的第一外参更加准确。

在本申请的一个实施例中，还可以通过如图8所示的实施例中的步骤对其它标志物中的第一类特征和第二类特征进行筛选。根据筛选后的第一类特征和第二类特征得到的相机外参更加准确。

在本申请的一个实施例中，参照图9，可以按照步骤S910至步骤S960对第一外参进行检验：

在步骤S910中，根据第一外参将边缘标志物的点云数据映射至图像中，得到边缘标志物的第四转换数据；

在步骤S920中，若多个边缘标志物具有相同的特征，则计算多个边缘标志物中指定边缘标志物的第四转换数据与指定边缘标志物的图像数据之间的距离作为第一距离；

在步骤S930中，计算多个边缘标志物的第一距离的平均值；

在步骤S940中，判断第一距离的平均值是否达到第五阈值；

在步骤S950中，若第一距离的平均值达到第五阈值，则确认第一外参通过检验。

在步骤S960中，若第一距离的平均值未达到第五阈值，则获取另一道路场景的图像和另一道路场景的点云数据集，并根据另一道路场景的图像和另一道路场景的点云数据集确定第一外参。

在该实施例中，根据第一外参将选取的指定边缘标志物映射至图片中，根据指定边缘标志物映射至图片中的第四转换数据，通过检验指定边缘标志物和第四转换数据的第一距离是否达到第五阈值来对第一外参进行检验，使得到的相机外参更加准确。

需要说明的是，图9只是示意性的给出了本申请一个实施例的相机外参的标定方法的流程，其中的各个步骤之间的执行顺序可以进行调整，比如步骤S960也可以在步骤S950前执行。

图10示意性示出了根据本申请的一个实施例的相机外参的标定方法的流程图，该相机外参的标定的执行主体可以是服务器，比如可以是图1中所示的服务器104。

参照图10所示，该相机外参的标定方法至少包括步骤S1010至步骤S1090，详细介绍如下：

在步骤S1010中，选取目标道路场景，采集目标道路场景的图像和目标道路场景的第二点云数据集。

在本申请的一个实施例中，可以采用深度学习模型选取目标道路场景，目标道路场景可以为平直道路中标志物数量适宜、标志物分布均匀的道路场景，有利于相机外参标定。

在步骤S1020中，获取目标道路场景的图像中的标志物，从标志物的图像数据中提取特征。

在本申请的一个实施例中，标志物为目标道路场景中目标道路自带的标志物，包括车道线、护栏、路灯杆、路牌等。特征根据标志物的形状、位置等分为面特征、点特征和线特征。

在步骤S1030中，将特征与特征在第二点云数据集中对应的点云数据相关联。

在步骤S1040中，根据特征与特征在第二点云数据集中对应的点云数据建立代价函数，对代价函数进行非线性优化求解得到第二外参。

在步骤S1050中，根据第二外参、特征和特征在第二点云数据集中对应的点云数据对特征进行筛选，通过筛选的特征在第二点云数据集中对应的点云数据组成第一点云数据集。

在本申请的一个实施例中，根据第二外参将第二点云数据集中的点云数据映射至图像中，特征有一个或多个，计算每个特征在第二点云数据集中对应的点云数据映射至图像中的数据与该特征的距离，判断该特征在第二点云数据集中对应的点云数据映射至图像中的数据与该特征的距离是否超过第一阈值，若该特征在第二点云数据集中对应的点云数据映射至图像中的位置与该特征的距离超过第一阈值，则丢弃该特征；若该特征在第二点云数据集中对应的点云数据映射至图像中的数据与该特征的距离未超过第一阈值，则将该特征在第二点云数据集中对应的点云数据归入第一点云数据集。

在本申请的一个实施例中，丢弃第一点云数据集中没有对应特征的点云数据。

在步骤S1060中，根据第一点云数据集中的点云数据和第一点云数据集中的点云数据对应的特征求解第一外参。

在步骤S1070中，对第一外参进行检验，判断第一外参是否通过检验。

在本申请的一个实施例中，可以根据第一外参将第一点云数据集中的点云数据映射至图像中，第一点云数据集中的点云数据有一个或多个，计算一个或多个第一点云数据集中的点云数据映射至图像中的数据与对应特征之间距离的平均值，若该平均值超过第一阈值，则第一外参通过检验；若该平均值未超过第一阈值，则第一外参未通过检验；。

在步骤S1080中，若第一外参通过检验，则标定结束。

若第一外参未通过检验，则重新执行步骤S1010。

在该实施例中，对采集到的第二点云数据集中的点云数据进行筛选得到第一点云数据集，使根据第一点云数据集得到的第一外参更加准确，同时，避免了多次选取目标道路场景，提高了相机外参标定的效率。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的相机外参的标定方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的相机外参的标定方法的实施例。

图11示意性示出了根据本申请的一个实施例的相机外参的标定装置的框图。

参照图11所示，根据本申请的一个实施例的相机外参的标定装置1100，包括采集模块1101、获取模块1102和处理模块1103。

在本申请的一些实施例中，基于前述方案，采集模块1101，用于采集目标道路场景的图像和目标道路场景的点云数据集；获取模块1102，用于获取位于图像边缘的边缘标志物的图像数据和点云数据；处理模块1103，用于根据边缘标志物的图像数据和点云数据确定采集图像的相机设备的第一外参。

在本申请的一些实施例中，基于前述方案，处理模块1103配置为：获取边缘标志物的点云数据映射至图像中形成的第一转换数据；根据边缘标志物的图像数据和第一转换数据确定第一外参。

在本申请的一些实施例中，基于前述方案，处理模块1103还配置为：获取图像中除边缘标志物以外的其它标志物的图像数据；从其它标志物的图像数据中提取其它标志物的第一类特征；获取第一类特征的点云数据；根据第一类特征和第一类特征的点云数据得到第二外参；根据第二外参获取第一转换数据。

在本申请的一些实施例中，基于前述方案，处理模块1103还配置为：根据第二外参将第一类特征的点云数据映射至图像中，得到第一类特征对应的第二转换数据；计算第一类特征和第二转换数据之间的距离；若确定第一类特征和第二转换数据之间的距离超过第一阈值，则获取另一道路场景的图像和另一道路场景的点云数据集，并根据另一道路场景的图像和另一道路场景的点云数据集确定第一外参。

在本申请的一些实施例中，基于前述方案，处理模块1103还配置为：若第一类特征和第一转换数据之间的距离未超过第一阈值，则从其他标志物的图像数据中提取其他标志物的第二类特征；获取第二类特征的点云数据；根据第二外参将第二类特征的点云数据映射至图像中，得到第二类特征对应的第三转换数据；根据第二类特征和第三转换数据得到第三外参；根据第三外参将边缘标志物的点云数据映射至图像中，得到边缘标志物的第一转换数据。

在本申请的一些实施例中，基于前述方案，处理模块1103配置为：若多个边缘标志物具有相同的特征，则计算多个边缘标志物中指定边缘标志物的第一转换数据与指定边缘标志物的图像数据之间的距离作为第一距离；计算多个边缘标志物中与指定边缘标志物相邻的另一边缘标志物的第一转换数据与另一边缘标志物的图像数据之间的距离作为第二距离；若第一距离和第二距离的差值达到第二阈值，则根据指定边缘标志物的图像数据和指定边缘标志物的点云数据确定第一外参。

在本申请的一些实施例中，基于前述方案，处理模块1103还配置为：若第一距离和第二距离的差值未达到第二阈值，则重新获取指定边缘标志物的点云数据，并根据指定边缘标志物的图像数据和重新获取的指定边缘标志物的点云数据，确定第一外参。

在本申请的一些实施例中，基于前述方案，相机外参的标定装置还包括：检验模块，用于从图像中提取边缘标志物的特征，以及除边缘标志物以外的其它标志物的特征；统计其它标志物的特征的数量和边缘标志物的特征的数量；若其它标志物的特征的数量和边缘标志物的特征的数量之和达到第三阈值，则另一道路场景的图像和另一道路场景的点云数据集，根据另一道路场景的图像和另一道路场景的点云数据集确定第一外参。

在本申请的一些实施例中，基于前述方案，检验模块还配置为：从图像中提取除边缘标志物以外的其它标志物的特征；若其它标志物的特征缺少第一类特征或缺少第二类特征，则获取另一道路场景的图像和另一道路场景的点云数据集，并根据另一道路场景的图像和另一道路场景的点云数据集确定第一外参。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图12来描述根据本申请的这种实施方式的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230、显示单元1240。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1210执行，使得所述处理单元1210执行本说明书上述“实施例方法”部分中描述的根据本申请各种示例性实施方式的步骤。

存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1221和/或高速缓存存储单元1222，还可以进一步包括只读存储单元(ROM)1223。

存储单元1220还可以包括具有一组(至少一个)程序模块1225的程序/实用工具1224，这样的程序模块1225包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1200也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。

根据本申请一个实施例，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。

根据本申请一个实施例，还提供了一种用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种相机外参的标定方法，其特征在于，包括：

采集目标道路场景的图像和所述目标道路场景的点云数据集；

获取位于所述图像边缘的边缘标志物的图像数据和点云数据；

根据所述边缘标志物的图像数据和点云数据确定采集所述图像的相机设备的第一外参；

其中，所述根据所述边缘标志物的图像数据和点云数据确定采集所述图像的相机设备的第一外参，包括：获取所述图像中除所述边缘标志物以外的其它标志物的图像数据；从所述其它标志物的图像数据中提取所述其它标志物的第一类特征；获取所述第一类特征的点云数据；根据所述第一类特征和所述第一类特征的点云数据得到第二外参；根据所述第二外参获取第一转换数据；根据所述边缘标志物的图像数据和第一转换数据确定所述第一外参。

2.根据权利要求1所述的相机外参的标定方法，其特征在于，所述根据所述第二外参获取所述第一转换数据，包括：

根据所述第二外参将所述第一类特征的点云数据映射至所述图像中，得到所述第一类特征对应的第二转换数据；

计算所述第一类特征和所述第二转换数据之间的距离；

若确定所述第一类特征和所述第二转换数据之间的距离超过第一阈值，则获取另一道路场景的图像和所述另一道路场景的点云数据集，并根据所述另一道路场景的图像和所述另一道路场景的点云数据集确定所述第一外参。

3.根据权利要求2所述的相机外参的标定方法，其特征在于，若所述第一类特征和所述第一转换数据之间的距离未超过所述第一阈值，则所述根据所述第二外参获取所述第一转换数据，包括：

从所述其它标志物的图像数据中提取所述其它标志物的第二类特征；

获取所述第二类特征的点云数据；

根据所述第二外参将所述第二类特征的点云数据映射至所述图像中，得到所述第二类特征对应的第三转换数据；

根据所述第二类特征和所述第三转换数据得到第三外参；

根据所述第三外参将所述边缘标志物的点云数据映射至所述图像中，得到所述边缘标志物的第一转换数据。

4.根据权利要求1所述的相机外参的标定方法，其特征在于，所述根据所述边缘标志物的图像数据和第一转换数据确定所述第一外参，包括：

若多个边缘标志物具有相同的特征，则计算所述多个边缘标志物中指定边缘标志物的第一转换数据与所述指定边缘标志物的图像数据之间的距离作为第一距离；

计算所述多个边缘标志物中与所述指定边缘标志物相邻的另一边缘标志物的第一转换数据与所述另一边缘标志物的图像数据之间的距离作为第二距离；

若所述第一距离和所述第二距离的差值达到第二阈值，则根据所述指定边缘标志物的图像数据和所述指定边缘标志物的点云数据确定所述第一外参。

5.根据权利要求4所述的相机外参的标定方法，其特征在于，若所述第一距离和所述第二距离的差值未达到所述第二阈值，则重新获取所述指定边缘标志物的点云数据，并根据所述指定边缘标志物的图像数据和重新获取的所述指定边缘标志物的点云数据，确定所述第一外参。

6.根据权利要求1所述的相机外参的标定方法，其特征在于，所述方法还包括：

从所述图像中提取所述边缘标志物的特征，以及除所述边缘标志物以外的其它标志物的特征；

统计所述其它标志物的特征的数量和所述边缘标志物的特征的数量；

若所述其它标志物的特征的数量和所述边缘标志物的特征的数量之和达到第三阈值，则获取另一道路场景的图像和所述另一道路场景的点云数据集，并根据所述另一道路场景的图像和所述另一道路场景的点云数据集确定所述第一外参。

7.根据权利要求1所述的相机外参的标定方法，其特征在于，所述方法还包括：

从所述图像中提取除所述边缘标志物以外的其它标志物的特征；

若所述其它标志物的特征缺少第一类特征或缺少第二类特征，则获取另一道路场景的图像和所述另一道路场景的点云数据集，并根据所述另一道路场景的图像和所述另一道路场景的点云数据集确定所述第一外参。

8.一种相机外参的标定装置，其特征在于，包括：

采集模块，用于采集目标道路场景的图像和所述目标道路场景的点云数据集；

获取模块，用于获取位于所述图像边缘的边缘标志物的图像数据和点云数据；

处理模块，根据所述边缘标志物的图像数据和点云数据确定采集所述图像的相机设备的第一外参；

其中，所述处理模块还配置为：获取所述图像中除所述边缘标志物以外的其它标志物的图像数据；从所述其它标志物的图像数据中提取所述其它标志物的第一类特征；获取所述第一类特征的点云数据；根据所述第一类特征和所述第一类特征的点云数据得到第二外参；根据所述第二外参获取第一转换数据；根据所述边缘标志物的图像数据和第一转换数据确定所述第一外参。

9.一种计算机可读程序介质，其存储有计算机程序指令，其特征在于，当所述计算机程序指令被计算机执行时，使计算机执行如权利要求1至7中任一项所述的相机外参的标定方法。

10.一种电子装置，其特征在于，包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7中任一项所述的相机外参的标定方法。

Images