CN112747671A - 三维检测系统和三维检测方法 - Google Patents

Abstract

本公开涉及一种三维检测系统和三维检测方法，该三维检测系统包括：图像采集传感器，用于采集物体表面图像；二维孔特征计算器，用于基于所述物体表面图像，确定孔二维特征参数；三维孔特征计算器，用于基于所述孔二维特征参数，对孔进行三维重建，确定孔三维特征参数；辅助功能计算器，用于基于所述孔二维特征参数和所述孔三维特征参数，对所述孔三维特征参数进行优化。本公开实施例提供的技术方案，通过对物体表面图像进行识别，确定孔二维特征参数和孔三维特征参数，并利用辅助功能计算器对孔三维特征参数进行优化，可实现有效测量孔位。

Description

三维检测系统和三维检测方法

技术领域

本公开涉及三维扫描技术领域，尤其涉及一种三维检测方法和三维检测系统。

背景技术

光学三维检测系统是常用的快速三维测量系统，在工业检测领域，光学三维扫描正逐渐成为主流的检测技术手段。工业光学三维扫描技术按扫描方式主要分两大类：固定式三维扫描和手持式三维扫描。其中，固定式三维扫描的优点是面阵扫描，单帧扫描可得整个可见区域的三维数据，单次测量效率较高，测量精度较高；其缺点是固定式三维检测系统通常笨重、使用不便捷及人工操作体验不佳。手持式三维扫描的优点是操作灵活便捷，更加适用于各种形状、尺寸的工件测量，特别是采用激光光源的手持式三维检测系统还具有很好的复杂光照、材质、颜色等适应性。

随着工业制造水平和品控需求的日益提升，工件上各种孔位的快速精确测量技术逐渐称为检测领域关注的重点。目前，采用三维扫描设备(或系统)进行孔位检测的方法通常是：采集工件上孔壁内表面的三维点云，利用点云拟合特征并进行特征尺寸测量。但是，当面向内壁表面积较小或内壁直径较小等类型孔时，难以通过扫描得到充足或完整的内壁数据，点云拟合特征将失效，从而导致无法准确有效地测量孔位。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种三维检测系统和三维检测方法。

本公开提供了一种三维检测系统，包括：

两个图像采集传感器，用于采集物体表面图像；

二维孔特征计算器，用于基于所述物体表面图像，确定孔二维特征参数；

三维孔特征计算器，用于基于所述孔二维特征参数，对孔进行三维重建，确定孔三维特征参数；

辅助功能计算器，用于基于所述孔二维特征参数和所述孔三维特征参数，对所述孔三维特征参数进行优化。

在一些实施例中，所述图像采集传感器设置有至少两个，所述图像采集传感器设置在同一手持式扫描设备中。

在一些实施例中，所述手持式扫描设备还包括补光装置和图案投影器；

所述图案投影器用于将结构光图案投射至物体表面；

所述补光装置用于物体表面照明。

在一些实施例中，所述图案投影器采用激光光源、LED光源或卤素灯光源；

所述补光装置为全局LED灯。

在一些实施例中，所述二维孔特征计算器包括：

孔特征分类器，用于基于所述物体表面图像识别孔的轮廓，并按照轮廓的形状将孔划分至不同的类别；

孔特征提取器，用于基于孔的轮廓的类别，提取所述孔二维特征参数。

在一些实施例中，所述孔特征分类器包括：

圆孔识别器，用于基于孔的轮廓形状拟合椭圆，并在拟合误差小于第一阈值时，将孔归类为椭圆孔；

方孔识别器，用于检测未归类至圆孔的闭合轮廓的角点，将孔的轮廓形状中有且仅有四个角点，且两两相邻角点间轮廓在一条直线上的孔归类为方孔；

长圆孔识别器，用于计算未归类至圆孔和方孔的闭合轮廓的最小外接矩形，确定参考长圆孔的长度、宽度和圆弧直径，并确定参考外接矩形，将所述参考外接矩形与所述最小外接矩形对齐，在所述参考长圆孔与其对应的所述闭合轮廓的对齐误差小于第二阈值时，将孔归类为长圆孔。

在一些实施例中，所述孔特征提取器包括：

圆孔特征提取器，用于提取椭圆孔的孔二维特征参数，所述椭圆孔的孔二维特征参数包括椭圆方程、长轴方向、长半轴以及短半轴；

方孔特征提取器，用于提取所述方孔的孔二维特征参数，所述方孔的孔二维特征参数包括中心点坐标和四个顶点的坐标；

长圆孔特征提取器，用于提取所述长圆孔的孔二维特征参数，所述长圆孔的孔二维特征参数包括中心点坐标以及最小外接矩形的四个顶点坐标。

在一些实施例中，所述三维孔特征计算器包括：

孔三维重建计算器，用于基于所述孔二维特征参数，基于双目视觉原理对孔进行三维重建，获取孔三维特征参数；

校验计算器，用于利用空间几何形状特征，对所述孔三维特征参数进行校验，排除错误的孔三维特征参数。

在一些实施例中，所述孔三维重建计算器具体用于：

基于对极几何原理，将所述图像采集传感器采集到的物体表面图像进行对极匹配，并在满足匹配关系时，利用三角计算得到方孔、圆孔或长圆孔的所述孔三维特征参数。

在一些实施例中，所述辅助功能计算器包括：

参数优化计算器，用于基于最小化重投影误差优化方法，采用所述孔二维特征参数、所述孔三维特征参数和权重系数，对所述孔三维特征参数进行优化；

其中，所述权重系数代表不同所述物体表面图像对应的权重。

在一些实施例中，所述辅助功能计算器包括：

空间定位计算器，用于确定所述至少两个图像采集传感器的坐标系原点指向孔中心的向量与孔的法向之间的夹角，以及用于将不同该时刻得到的孔的空间参数配准到同一坐标系下；所述空间参数包括所述孔二维特征参数和/或所述孔三维特征参数；

数据优选计算器，用于基于所述夹角，确定该时刻的所述物体表面图像参与计算时的所述权重系数；

其中，所述夹角越大，所述权重系数越小。

在一些实施例中，所述参数优化计算器具体用于：

基于所述孔二维特征参数、所述孔三维特征参数、所述权重系数以及目标函数E＝∑W_i(P_i(S)-F_i)²，对所述孔三维特征参数进行优化；

其中，基于所述孔三维特征参数确定孔的三维轮廓，将所述三维轮廓投影至各时刻各所述物体表面图像上获取所述三维轮廓在所述物体表面图像上的轮廓参考值集合{P_i(S)}，其中，P_i为该孔在第i幅所述物体表面图像上的投影轮廓参考值，P_i是关于S的函数，S为空间孔的孔三维特征参数；F_i代表通过二维特征计算器确定的所述孔二维特征参数；W_i代表所述权重系数；采用非线性最小二乘法对所述目标函数进行优化计算，得到优化后的所述孔三维特征参数，i为正整数。

本公开还提供了一种三维检测方法，应用上述任一种三维检测系统执行，该三维检测方法包括：

图像采集传感器采集物体表面图像；

二维孔特征计算器基于所述物体表面图像，确定孔二维特征参数；

三维孔特征计算器基于所述孔二维特征参数，对孔进行三维重建，确定孔三维特征参数；

辅助功能计算器基于所述孔二维特征参数和所述孔三维特征参数，对所述孔三维特征参数进行优化。

在一些实施例中，所述二维孔特征计算器包括孔特征分类器和孔特征提取器；所述二维孔特征计算器基于所述物体表面图像，确定孔二维特征参数，包括：

所述孔特征分类器基于所述物体表面图像识别孔的轮廓，并按照轮廓的形状将孔划分至不同的类别；

所述孔特征提取器基于孔的轮廓的类别，提取所述孔二维特征参数。

在一些实施例中，所述三维孔特征计算器包括孔三维重建计算器和校验计算器；所述三维孔特征计算器基于所述孔二维特征参数，对孔进行三维重建，确定孔三维特征参数，包括：

所述孔三维重建计算器基于所述孔二维特征参数，基于双目视觉原理对孔进行三维重建，获取孔三维特征参数；

所述校验计算器利用空间几何形状特征，对所述孔三维特征参数进行校验，排除错误的孔三维特征参数。

在一些实施例中，所述辅助功能计算器空间定位计算器、数据优选计算器、空间定位计算器和参数优化计算器；所述辅助功能计算器基于所述孔二维特征参数和所述孔三维特征参数，对所述孔三维特征参数进行优化，包括：

所述空间定位计算器确定所述至少两个图像采集传感器的坐标系原点指向孔中心的向量与孔的法向之间的夹角，以及将不同该时刻得到的孔的空间参数配准到同一坐标系下；所述空间参数包括所述孔二维特征参数和/或所述孔三维特征参数；

所述数据优选计算器基于所述夹角，确定该时刻的所述物体表面图像参与计算时的权重系数；所述夹角越大，所述权重系数越小；

所述参数优化计算器基于最小化重投影误差优化方法，采用所述孔二维特征参数、所述孔三维特征参数和权重系数，对所述孔三维特征参数进行优化；

其中，所述权重系数代表不同所述物体表面图像对应的权重。

具体地，所述参数优化计算器基于所述孔二维特征参数、所述孔三维特征参数、所述权重系数以及目标函数E＝∑W_i(P_i(S)-F_i)²，对所述孔三维特征参数进行优化；

其中，基于所述孔三维特征参数确定孔的三维轮廓，将所述三维轮廓投影至各时刻各所述物体表面图像上获取所述三维轮廓在所述物体表面图像上的轮廓参考值集合{P_i(S)}，其中，P_i为该孔在第i幅所述物体表面图像上的投影轮廓参考值，P_i是关于S的函数，S为空间孔的孔三维特征参数；F_i代表通过二维特征计算器确定的所述孔二维特征参数；W_i代表所述权重系数；采用非线性最小二乘法对所述目标函数进行优化计算，得到优化后的所述孔三维特征参数，i为正整数。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供三维检测系统中：图像采集传感器，用于采集物体表面图像；二维孔特征计算器，用于基于所述物体表面图像，确定孔二维特征参数；三维孔特征计算器，用于基于所述孔二维特征参数，对孔进行三维重建，确定孔三维特征参数；辅助功能计算器，用于基于所述孔二维特征参数和所述孔三维特征参数，对所述孔三维特征参数进行优化。由此，通过对物体表面图像进行识别，确定孔二维特征参数和孔三维特征参数，并利用辅助功能计算器，结合孔二维特征参数和孔三维特征参数，对孔三维特征参数进行优化，可实现孔位的有效测量。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例的一种三维检测系统的结构示意图；

图2为本公开实施例的另一种三维检测系统的结构示意图；

图3为本公开实施例的又一种三维检测系统的结构示意图；

图4为本公开实施例的一种三维检测方法的流程示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

相关技术中，测量孔位的方法可包括传统测量法、三坐标测量法和辅助物三维扫描测量法。

传统测量法采用传统的工具，例如尺规和笔等进行手动测量，测量效率低、精度差。

三坐标测量法中，结合三坐标设备进行辅助测量，三坐标设备可包括传统的三坐标机、三坐标测量仪，也可包括光学(如光笔)三坐标测量仪；其原理是在特征表面进行打点测量，再使用采样点拟合特征，进行所需的尺寸检测。由此，其设备成本较高；属于接触式测量方式，普适性较差；且其为单点式测量，测量效率较低。

辅助物三维扫描测量法中，采用标准球等辅助物置于孔上，通过扫描得到的球体点云和工件(下文中也称为“物体”)局部表面点云拟合及求交运算等方式获取孔的尺寸及中心坐标等信息，进而实现孔位测量所需的测量结果。但是，针对不同规格尺寸的孔位需准备多种不同的标准辅助件，准备工作繁琐；该方法通常用于圆孔测量，其它形状孔难适用；受重力作用影响，辅助件的使用方式有限，往往只能置于工件的上表面，其它角度难以使用或为避免松动、掉落等问题导致辅助结构非常复杂；该方法为间接测量法，增加了系统测量的不确定度；且工序复杂、效率低且要求操作者有较高的使用经验。

针对上述问题，本公开实施例提供一种三维检测系统和三维检测方法，以实现高效率孔位检测；该三维检测系统解决了传统的光学三维检测系统面向孔位测量时的方案复杂、硬件和使用成本高、效率低等问题，使基于多目立体视觉原理的实时高精度孔位测量技术成为可能，也使得传统的三维扫描设备具备高效检测孔位的能力，大幅提升系统的实用性。

下面结合图1-图4，对本公开实施例提供的三维检测系统和方法进行示例性说明。

图1为本公开实施例的一种三维检测系统的结构示意图。参照图1，该三维检测系统可包括：图像采集传感器12，用于采集物体表面图像；二维孔特征计算器13，用于基于物体表面图像，确定孔二维特征参数；三维孔特征计算器14，用于基于孔二维特征参数，对孔进行三维重建，确定孔三维特征参数；辅助功能计算器15，用于基于孔二维特征参数和孔三维特征参数，对孔三维特征参数进行优化。

可选的，该三维检测系统还可包括至少一个图案投影器11，用于将结构光图案投射至物体表面；且图像采集传感器12的数量可为一个、两个或更多个。

其中，结构光图案为具有几何图形的投射图案，用于对待测物体表面进行特征标识，以实现待测物体表面的特征匹配。示例性地，投射图案的形状可为条纹和/或散斑，例如：条纹可包括正弦条纹或二值条纹，散斑可包括黑白雪花图案或类似于二维码的明暗间错的图形，还可为其他具有特定结构的光学图形，本公开实施例对此不限定。

基于此，图像投影器11可将结构光图案投射至物体表面，图像采集传感器12可采用结构光三维扫描原理实现物体形面的三维测量。

其中，图像采集传感器12的数量可为至少两个，其具体可为两个、三个或更多个，以实现在物体的不同角度，对物体表面图像进行采集，形成可用于进行三维重建和二维特征提取的数据。示例性地，当图像采集传感器12的数量为大于两个时，可利用其中的任意至少两个对待物体表面图像进行采集。

示例性地，图像采集传感器12之间采用刚性连接，从而确保其不易变形，且数据可靠性高。

其中，二维孔特征计算器13可基于图像采集传感器12采集到的物体表面图像，对孔二维特征参数进行提取，是进行孔三维测量的重要基础。

三维孔特征计算器14可基于二维孔特征计算器13对孔进行三维重建，确定孔三维特征参数，有利于实现孔位的实时高精度测量。

辅助功能计算器15可基于动态多帧采样的数据，结合孔二维特征参数和孔三维特征参数，对孔三维特征参数进行优化，提高孔位测量的精度和鲁棒性。

本公开实施例提供的三维检测系统，可用于孔位测量，该三维检测系统中，图像采集传感器12可采集物体表面图像；二维孔特征计算器13可基于物体表面图像，确定孔二维特征参数；三维孔特征计算器14可基于孔二维特征参数，对孔进行三维重建，确定孔三维特征参数；辅助功能计算器15可基于孔二维特征参数和孔三维特征参数，对孔三维特征参数进行优化；由于其中无需打点测量，也无需采用标准球等辅助物，该系统用于孔位测量时，普适性较高，测量效率较高，方案简单，硬件和使用成本较低，且测量精度较高，鲁棒性较好。

可选的，当该三维检测系统包括图案投影器11时，可基于结构光图案实现三维重建。

在一些实施例中，图2为本公开实施例的另一种三维检测系统的结构示意图。在图1的基础上，参照图2，至少两个图像采集传感器12和至少一个图案投影器11设置在同一手持式扫描设备01中。

其中，实现孔位测量功能的基础硬件为两个图像采集传感器12，其可采用手持式扫描设备01实现，即实现与手持式三维扫描设备共用基础硬件，如此可无需额外增加硬件结构，同时大幅提升了手持式扫描设备01用于孔位测量的实用性。

此外，本实施例中，最少仅采用两个图像采集传感器12即可实现空间孔位测量，光学扫描系统的结构简单、便携性较高，成本较低。

在一些实施例中，继续参照图2，手持式扫描设备01还包括至少一个补光装置011；补光装置011用于物体表面照明。

其中，补光装置011用于照亮物体表面，可提升孔轮廓两侧的图案对比度，或辅助进行图案上其他特征，如标记点的识别。

需要说明的是，图1和图2中仅示出了2个图像采集传感器12、1个图案投影仪11，图2中仅示出了1个补光装置011，但均不构成对本公开实施例提供的三维检测系统的限定。在其他实施方式中，图像采集传感器12、图案投影仪11和补光装置011的数量均可根据三维检测系统的需求设置，本公开实施例对此不限定。

在一些实施例中，图案投影器11采用激光光源、LED光源或卤素灯光源；补光装置011为全局LED灯。

其中，图案投影器11的光源可根据三维扫描需求灵活设置，还可为其它类型的结构光光源；同理，补光装置011还可为其他类型的光源，本公开实施例对此不限定。

在一些实施例中，图3为本公开实施例的又一种三维检测系统的结构示意图。在图1的基础上，参照图3，二维孔特征计算器13包括：孔特征分类器131，用于基于物体表面图像识别孔的轮廓，并按照轮廓的形状将孔划分至不同的类别；孔特征提取器132，用于基于孔的轮廓的类别，提取孔二维特征参数。

其中，孔特征分类器131可对物体表面图像进行图像处理，识别或提取物体表面图像中的孔轮廓(这里指闭合轮廓)，并对孔按照轮廓形状划分为不同的类别，例如圆孔、方孔、长圆孔或其他类别的孔。

在一些实施例中，继续参照图3，孔特征分类器131包括：圆孔识别器1311，用于基于孔的轮廓形状拟合椭圆，并在拟合误差小于第一阈值时，将孔归类为椭圆孔；方孔识别器1312，用于检测未归类至圆孔的闭合轮廓的角点，将孔的轮廓形状中有且仅有四个角点，且两两相邻角点间轮廓在一条直线上的孔归类为方孔；长圆孔识别器1313，用于计算未归类至圆孔和方孔的闭合轮廓的最小外接矩形，确定参考长圆孔的长度、宽度和圆弧直径，并确定参考外接矩形，将参考外接矩形与最小外接矩形对齐，在参考长圆孔与其对应的闭合轮廓的对齐误差小于第二阈值时，将孔归类为长圆孔。

其中，首先圆孔识别器1311进行椭圆拟合，若拟合误差小于第一阈值，则将对应的孔归类为圆孔。

其后方孔识别器1312对未被圆孔识别器1311归类的闭合轮廓进行角点检测，若闭合轮廓有且仅有四个角点，且两两相邻的角点间轮廓在一条直线上，则将对应的孔归类为方孔。

最后利用长圆孔识别器1313对未被方孔识别器1312识别的孔进行计算。具体包括：基于未分类的闭合轮廓Pa，计算其最小外接矩形，该最小外接矩形的长度对应长圆孔的长度L，若轮廓上有且仅有两段近似等长且平行的直边与最小外接矩形的一组对边重合，统计长圆孔的直边长，记为L0，则长圆孔的宽度即圆弧直径为D＝L-L0(通过后续的数据优选计算器保证参与计算的孔平面近似垂直于相机光轴方向，即近似正投影于成像平面，此时，长/宽方向的剪切畸变可忽略)。基于长度L和圆弧直径D，生成一个长为L，宽和两侧圆弧直径为D的长圆孔模板P0，即生成参考长圆孔P0；通过仿射变换将长圆孔模板P0的最小外接矩形(即参考外接矩形)与待分类轮廓的最小外接矩形对齐，计算对齐后长圆孔模板P0与其对应的闭合轮廓Pa的对齐误差。示例性地，可在长圆孔模板P0上生成n个采样点，查找对应的闭合轮廓Pa上的n个最近点，生成n组对应点对，对应点间的距离平均值可作为长圆孔模板P0与其对应的闭合轮廓Pa的对齐误差，n为正整数。当参考长圆孔P0与其对应的闭合轮廓Pa的对齐误差小于第二阈值时，则将该闭合轮廓Pa归类为长圆孔。

其中，第一阈值和第二阈值可根据三维检测系统的需求设置，可与测量精度需求、采用的具体拟合算法有关，本公开实施例对此不限定。

当然，上述各类型孔的确定顺序也不限定。

在其他实施方式中，孔特征分类器131中还可包括其他类别的孔的识别器，即可根据孔位检测需求，设置多种不同类别的识别器(分类器)，本公开实施例对此不赘述也不限定。

其中，孔特征提取器132可对已分类的孔进行特征提取，即根据孔所属的形状类别，提取其对应的特征形状参数，从而确定孔二维特征参数。

在一些实施例中，继续参照图3，孔特征提取器132包括：圆孔特征提取器1321，用于提取椭圆孔的孔二维特征参数，椭圆孔的孔二维特征参数包括椭圆方程、长轴方向、长半轴以及短半轴；方孔特征提取器1322，用于提取方孔的孔二维特征参数，方孔的孔二维特征参数包括中心点坐标和四个顶点的坐标；长圆孔特征提取器1323，用于提取长圆孔的孔二维特征参数，长圆孔的孔二维特征参数包括中心点坐标以及最小外接矩形的四个顶点坐标。

其中，当孔为圆孔时，圆孔特征提取其1321提取椭圆形状参数，例如包括中心坐标、长/短半轴、长轴方向、椭圆方程等参数。当孔为四边形，即方孔在物体表面图像中的投影形状为方形时，方孔特征提取器1322提取其形状参数，可包括中心点坐标、四个顶点坐标等参数。当孔为长圆孔时，长圆孔特征提取器1323提取其形状参数，可包括中心点坐标，最小外接矩形四个顶点坐标等参数。

如此，基于孔的类别，实现对孔二维特征参数的提取。

在其他实施方式中，当孔为其他类别的孔时，还可对其对应的特征参数进行提取，本公开实施例对此不限定。

在一些实施例中，继续参照图3，三维孔特征计算器14可包括：孔三维重建计算器141，基于双目视觉(多目立体视觉)原理对孔进行三维重建，获取孔三维特征参数；校验计算器142，用于利用空间几何形状特征，对孔三维特征参数进行校验，排除错误的孔三维特征参数。

如此，三维孔特征计算器14可实现孔的三维重建和校验，可提高孔位测量的准确性和鲁棒性。

在一些实施例中，孔三维重建计算器141具体用于：基于对极几何原理，将图像采集传感器采集到的物体表面图像进行对极匹配，并在满足匹配关系时，利用三角计算得到方孔、圆孔或长圆孔的孔三维特征参数。

其中，针对圆孔，利用对极几何原理将两图像采集传感器(下文中可简称为“相机”)采集到的物体表面图像(下文中可简称为“图像”)中的椭圆中心坐标进行对极匹配，设椭圆A和椭圆B为对极匹配得到的两个图像中的一组匹配孔对，在椭圆A的轮廓上采样m个点，m为正整数，对每个采样点a0计算极线方程，极线与椭圆B的轮廓的交点为a0的候选匹配点，交点最多为2个。其中，局部轮廓段与极线重合的情况不做计算，不影响后续整体形状拟合。由于两个图像采集传感器的成像平面在空间方向近乎一致，两个图像中对应点与所在轮廓的相对方位关系(上下、左右)具有不变性；基于此，可根据a0在椭圆A的轮廓上的方位筛选得到其在椭圆B的轮廓上的唯一对应点b0，利用三角计算得到三维空间点p0，即得到该圆孔空间轮廓上的一个点。同理，可得到全部m个采样点的空间坐标并拟合圆方程，即三维轮廓方程，获取圆孔的孔三维特征参数，即得到圆孔的空间形状参数初值。

针对方孔，利用对极几何原理将两相机采集到的图像中的方孔中心坐标进行对极匹配，再对匹配孔对的四个顶点分别进行对极匹配，若四个顶点都能满足一一对应匹配关系，则利用三角计算重建方孔四个顶点的空间坐标，即可获取方孔的空间形状参数(中心坐标、边长、方向等)初值，即获得方孔的孔三维特征参数。

针对长圆孔，与圆孔类似地，通过中心点对极匹配获取匹配的长圆孔对，再进行轮廓三维重建，计算轮廓的最小外接矩形，外接矩形的长和宽即为长圆孔的长和宽(圆弧的直径)，可见长圆孔的形状参数等价于最小外接矩形的空间形状参数，包括中心坐标、四顶点坐标、边长和方向等参数。由此，即可获得长圆孔的孔三维特征参数。

在其他实施方式中，当孔为其他类别的孔时，还可对应于特征形状参数，利用对极几何原理获得其空三维特征参数，本公开实施例对此不限定。

在此基础上，校验计算器142可利用空间几何形状特征(基于孔的轮廓的类别获取孔的空间几何形状特征)对孔的三维重建结果进行校验，排除错误结果。

示例性地，对于圆孔，当圆的拟合误差大于第三阈值时，则将该圆孔从结果中排除；对于方孔，当期四边不等长(边长最大偏差大于第四阈值)时，则将其对应的方孔从结果中排除；对于长圆孔，对直边拟合直线，圆弧边拟合圆，当拟合误差大于第五阈值时，则将其对应的长圆孔从结果中排除。其中，第三阈值、第四阈值和第五阈值的取值可根据三维检测系统的需求设置，本公开实施例对此不限定。

如此，通过对三维重建的结果进行校验，可进一步提高孔位测量准确性。

在一些实施例中，继续参照图3，辅助功能计算器15包括：空间定位计算器151，用于确定至少两个图像采集传感器的坐标系原点指向孔中心的向量与孔的法向之间的夹角(可得图像采集传感器空间位姿)，以及用于将不同该时刻得到的孔的空间参数配准到同一坐标系下；上述夹角可结合三维重建的结果确定，空间参数包括孔二维特征参数和/或孔三维特征参数；数据优选计算器152，用于基于夹角，确定该时刻的物体表面图像参与计算时的权重系数；夹角越大，权重系数越小。

其中，空间定位计算器151可采用本领域技术人员可知的、三维扫描技术中的任一种定位方法将不同时刻得到的设备坐标系下的孔的空间信息(中心坐标、轮廓等)配准到同一坐标系下。

示例性地，对每时刻工件表面特征点(包括标记点、几何特征、纹理特征等)进行三维重建计算，利用不同时刻三个或三个以上的同名特征点计算坐标变换矩阵，即可使用该变换矩阵将不同时刻孔的空间信息配准到同一坐标系下，示例性地，该坐标系可为物体坐标系。如此，可实现不同该时刻的数据的拼接，得到较为完整的工位表面数据集。

其中，数据优选计算器152用于确定拼接过程中，不同时刻的数据的权重系数。三维扫描过程中，当相机到孔的视线方向(即相机坐标系原点指向孔中心的向量)和空间孔的法向夹角较大时，孔内壁的成像可能影响图像处理时孔轮廓的检测精度，夹角越小，影响越小，测量结果趋于准确；夹角越大，影响越大，测量结果趋于不准确。

基于此，结合空间定位计算器151给出的图像采集传感器的空间位姿(即定位信息)，可以实时计算孔的法向和视线方向的夹角，采用夹角的函数对该时刻的测量数据进行评估，并作为参与最终优化计算的权重系数，使得夹角越大的样本数据所占权重越小。其中，夹角的函数可采用反距离权重函数、高斯权重函数或本领域技术人员可知的其他函数，本公开实施例对此不限定。需要说明的是，本段中对某一时刻的测量数据赋予同一权重系数，而不区分其中的各个单独的测量点，如此在确保较高的测量精度的同时，有利于简化数据处理过程。

在一些实施例中，继续参照图3，辅助功能计算器15还包括：参数优化计算器153，参数优化计算器153用于基于最小化重投影误差优化方法，采用所述孔二维特征参数、所述孔三维特征参数和权重系数，对所述孔三维特征参数进行优化；其中，所述权重系数代表不同所述物体表面图像对应的权重。

其中，基于最小化重投影误差优化方法对孔三维特征参数进行优化，包括：基于孔二维特征参数、孔三维特征参数以及权重系数构建最小化重投影误差优化函数，并进行优化计算，以得到优化后的孔三维特征参数。

其中，最小化重投影误差优化函数为目标函数E＝∑W_i(P_i(S)-F_i)²，由此，可基于孔二维特征参数、孔三维特征参数、权重系数以及目标函数，对孔三维特征参数进行优化；其中，基于孔三维特征参数确定孔的三维轮廓，即确定孔轮廓方程；结合图像采集传感器的空间位姿，将三维轮廓投影至各时刻各物体表面图像上获取三维轮廓在物体表面图像上的轮廓参考值集合{P_i(S)}，其中，P_i为该孔在第i幅物体表面图像上的投影轮廓参考值，P_i是关于S的函数，S为空间孔的孔三维特征参数；F_i代表通过二维特征计算器确定的孔二维特征参数；W_i代表权重系数；采用非线性最小二乘法对目标函数进行优化计算，得到优化后的孔三维特征参数，i为正整数。

其中，三维孔特征计算器14获取的孔位信息(即孔三维特征参数)受单次测量数据噪声、测量角度等导致的误差影响，存在精度和鲁棒性不足的问题。

针对此，结合手持式扫描设备动态扫描的特性，采用时序的大量采样结果对孔位信息进行优化计算，可以显著提升测量精度和鲁棒性。

示例性地，结合上文的数据拼接过程，基于多个不同时刻的孔三维特征参数确定孔的三维轮廓；将该三维轮廓投影至各时刻各相机图像上，得到孔轮廓在图像上的估计值{P_i(S)}，也称为轮廓参考值集合{P_i(S)}；其中，P_i也可称为该孔在第i幅图像上的投影轮廓的估计值，P_i是关于S的函数，S为空间孔的形状参数(如轮廓方程)，图像上孔轮廓的观测值已通过二维特征计算器获得，即F_i。基于此，设置目标函数E＝∑W_i(P_i(S)-F_i)2；其中，W_i为数据优选计算器152确定的权重系数，采用非线性最小二乘法(例如L-M算法)对目标函数M进行优化计算，获取最终的S，即优化后的空间孔的形状参数，即可解算得到空间孔的较为精确的三维坐标、孔径等测量信息。

需要说明的是，轮廓投影是把解算出的孔在空间的三维轮廓投影到图像上，该三维轮廓是根据采集到的物体表面图像，基于上文各计算器协同计算而拟合出来的参数化的结果，其投影与图像上实际检测到的二维轮廓间都存在偏差；另一方面，这个优化计算是把三维轮廓投影到所有的有效图像上进行优化，不是某帧的重建结果投回到这帧的两个图像上，不是简单的重建过程中的反向计算。

本公开实施例提供的三维检测系统中，手持式扫描设备中的图像采集传感器可获取物体表面图像，其实质为2D图像；二维孔特征计算器中的孔特征分类器可基于2D图像，确定孔所属的形状类别；二维孔特征计算器中的空特征提取器可基于孔所属的形状类别确定孔的特征性状参数，即确定孔二维特征参数；三维孔特征计算器中的孔三维重建计算器可基于物体表面图像以及形状特征参数，进行三维重建，确定孔三维特征参数，例如可确定孔的空间中心点、角点等的坐标，以及确定孔轮廓方程以及形状参数等；三维孔特征计算器中的校验计算器可基于孔所属的形状类别和三维重建结果，排除异形结果，即排除错误的孔三维特征参数；辅助功能计算器中的空间定位计算器可基于三维重建结果，确定手持式扫描设备的空间位姿(某图像采集过程中，手持式扫描设备与孔平面之间的位姿关系)、并将孔的空间参数配准到物体坐标系下；辅助功能计算器中的数据优选计算器可基于手持式扫描设备的空间位姿确定该时刻的测量数据参与最终计算的权重系数；辅助功能计算器中的参数优化计算器用于基于孔二维特征参数(即特征形状参数)、手持式扫描设备的空间位姿、配准到物体坐标系下的三维重建结果，对孔三维特征参数进行优化，并得到优化后的孔三维特诊参数。

本公开实施例提出的三维检测系统，可用于孔位测量，实现了基于多目立体视觉原理的实时高精度孔位测量方法，也使得传统的手持式三维扫描设备具备高效检测孔位的能力，大幅提升系统的实用性，解决了传统的三维检测系统面向孔位测量时的方案复杂、硬件和使用成本高、效率低等问题。

本公开实施例提供的三维检测系统至少具有如下有益效果：

第一，实现了基于多目立体视觉原理的孔位检测方案。本实施例提出最少仅用两个光学采集传感器即可实现的空间孔位检测系统，其设备结构简单、便携、成本低，且可实现实时测量，测量效率高且精度高。

第二，该系统可与三维扫描设备，包括手持式三维扫描设备集成，使三维扫描设备具备快速测量孔位的能力。具体地，本实施例提出的系统中，其实现孔位测量功能的基础硬件为至少两个光学采集传感器(即图像采集传感器)，可与三维扫描设备共用，无成本增加，却大幅提升了三维扫描设备的实用性。

第三，设置二维孔特征计算器，可利用孔的形状特征进行图像识别，对孔进行分类和特征性状参数的提取，是进行孔位三维测量的重要基础。

第四，设置三维孔特征计算器，可实现孔位的三维重建以及校验，提高了孔位测量的准确性和鲁棒性。

第五，设置辅助功能计算器，可基于动态多帧采样的数据，进行优选和统计优化计算，提高孔位测量的精度和鲁棒性。

在上述实施方式的基础上，本公开实施例还提供了一种三维检测方法，该三维检测方法可由上述实施方式中的任一种三维检测系统执行。因此，该三维检测方法也具有上述三维检测系统所具有的有益效果。相同之处可参照上文中对三维检测系统的解释说明进行理解，下文中不再赘述。

在一些实施例中，图4是本公开实施例的一种三维检测方法的流程示意图。参照图4，该三维检测方法包括：

S201、图像采集传感器采集物体表面图像。

S202、二维孔特征计算器基于物体表面图像，确定孔二维特征参数。

S203、三维孔特征计算器基于孔二维特征参数，对孔进行三维重建，确定孔三维特征参数。

S204、辅助功能计算器基于孔二维特征参数和孔三维特征参数，对孔三维特征参数进行优化。

本公开实施例提供的三维检测方法，可用于孔位测量，该三维检测方法中，图像采集传感器采集物体表面图像；二维孔特征计算器基于物体表面图像，确定孔二维特征参数；三维孔特征计算器基于孔二维特征参数，对孔进行三维重建，确定孔三维特征参数；辅助功能计算器基于孔二维特征参数和孔三维特征参数，对孔三维特征参数进行优化；由于其中无需打点测量，也无需采用标准球等辅助物，该系统用于孔位测量时，普适性较高，测量效率较高，方案简单，硬件和使用成本较低，且测量精度较高，鲁棒性较好。

在一些实施例中，可结合图3，二维孔特征计算器包括孔特征分类器和孔特征提取器。基于此，图4中的S202可包括：

孔特征分类器基于物体表面图像识别孔的轮廓，并按照轮廓的形状将孔划分至不同的类别；

孔特征提取器基于孔的轮廓的类别，提取孔二维特征参数。

如此，通过二维孔特征计算器可对物体表面图像进行识别，提取物体表面图像中的孔轮廓(这里指闭合轮廓)，并对孔按照轮廓形状划分为不同的类别；并提取已分类的孔的孔二维特征参数，为后续进行孔三维重建提供数据支持。

在一些实施例中，可结合图3，三维孔特征计算器包括孔三维重建计算器和校验计算器。基于此，图4中的S203可包括：

孔三维重建计算器基于孔二维特征参数，基于双目视觉原理对孔进行三维重建，获取孔三维特征参数；

校验计算器利用空间几何形状特征，对孔三维特征参数进行校验，排除错误的孔三维特征参数。

如此，可通过三维孔特征计算器实现孔的三维重建和校验，可提高孔位测量的准确性和鲁棒性。

在一些实施例中，可结合图3，辅助功能计算器空间定位计算器、数据优选计算器、空间定位计算器和参数优化计算器。基于此，图4中的S204可包括：

空间定位计算器确定至少两个图像采集传感器的坐标系原点指向孔中心的向量与孔的法向之间的夹角，并将不同该时刻得到的孔的空间参数配准到同一坐标系下；空间参数包括孔二维特征参数和/或孔三维特征参数；

数据优选计算器基于夹角，确定该时刻的物体表面图像参与计算时的权重系数；夹角越大，权重系数越小；

参数优化计算器基于孔二维特征参数、孔三维特征参数、权重系数以及目标函数E＝∑W_i(P_i(S)-F_i)²，对孔三维特征参数进行优化；

其中，基于孔三维特征参数确定孔的三维轮廓，将三维轮廓投影至各时刻各物体表面图像上获取三维轮廓在物体表面图像上的轮廓参考值集合{P_i(S)}，其中，P_i为该孔在第i幅物体表面图像上的投影轮廓参考值，P_i是关于S的函数，S为空间孔的孔三维特征参数；F_i代表通过二维特征计算器确定的孔二维特征参数；W_i代表权重系数；采用非线性最小二乘法对目标函数进行优化计算，得到优化后的孔三维特征参数，i为正整数。

如此，可利用辅助功能计算器，基于动态多帧采样的数据，进行优选和统计优化计算，提高孔位测量的精度和鲁棒性。

本公开实施例提供的三维检测方法中，基于物体表面图像进行特征提取，将孔按形状分类并获取孔二维形状参数，即得到2D轮廓；其后，基于2D轮廓上的采样点进行三维重建，获得该时刻下的单帧(片)三维点云，利用三维点云拟合计算空间形状参数，即得到孔三维形状参数，包括孔的三维轮廓；还可利用空间几何形状对拟合的空间形状参数进行校验，排除其中的错误结果；在此基础上，将多片三维点云拼接；基于图像采集时相机到孔的视线方向和空间孔的法向夹角确定所对应的多帧不同的三维点云中各帧三维点云的权重系数；将孔的三维轮廓投影至各时刻各相机图像上获取孔轮廓在图像上的估计值，估计值与二维孔特征计算值建立函数进行优化计算，得到优化后的孔三维形状参数；如此，可提高测量精度和鲁棒性。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者系统中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种三维检测系统，其特征在于，包括：

图像采集传感器，用于采集物体表面图像；

二维孔特征计算器，用于基于所述物体表面图像，确定孔二维特征参数；

三维孔特征计算器，用于基于所述孔二维特征参数，对孔进行三维重建，确定孔三维特征参数；

辅助功能计算器，用于基于所述孔二维特征参数和所述孔三维特征参数，对所述孔三维特征参数进行优化。

2.根据权利要求1所述的三维检测系统，其特征在于，所述图像采集传感器设有至少两个，所述图像采集传感器设置在同一手持式扫描设备中。

3.根据权利要求2所述的三维检测系统，其特征在于，所述手持式扫描设备还包括补光装置和图案投影器；

所述图案投影器用于将结构光图案投射至物体表面；

所述补光装置用于物体表面照明。

4.根据权利要求2所述的三维检测系统，其特征在于，所述图案投影器采用激光光源、LED光源或卤素灯光源；

所述补光装置为全局LED灯。

5.根据权利要求1所述的三维检测系统，其特征在于，所述二维孔特征计算器包括：

孔特征分类器，用于基于所述物体表面图像识别孔的轮廓，并按照轮廓的形状将孔划分至不同的类别；

孔特征提取器，用于基于孔的轮廓的类别，提取所述孔二维特征参数。

6.根据权利要求1所述的三维检测系统，其特征在于，所述三维孔特征计算器包括：

孔三维重建计算器，用于基于所述孔二维特征参数，基于双目视觉原理对孔进行三维重建，获取孔三维特征参数；

校验计算器，用于利用空间几何形状特征，对所述孔三维特征参数进行校验，排除错误的孔三维特征参数。

7.根据权利要求1所述的三维检测系统，其特征在于，所述辅助功能计算器包括：

参数优化计算器，用于基于最小化重投影误差优化方法，采用所述孔二维特征参数、所述孔三维特征参数和权重系数，对所述孔三维特征参数进行优化；

其中，所述权重系数代表不同所述物体表面图像对应的权重。

8.根据权利要求7所述的三维检测系统，其特征在于，所述辅助功能计算器还包括：

空间定位计算器，用于确定所述至少两个图像采集传感器的坐标系原点指向孔中心的向量与孔的法向之间的夹角，以及用于将不同时刻得到的孔的空间参数配准到同一坐标系下；所述空间参数包括所述孔二维特征参数和/或所述孔三维特征参数；

数据优选计算器，用于基于所述夹角，确定该时刻的所述物体表面图像参与计算时的所述权重系数；

其中，所述夹角越大，所述权重系数越小。

9.一种三维检测方法，其特征在于，应用权利要求1-8任一项所述的三维检测系统执行，所述三维检测方法包括：

两个图像采集传感器采集物体表面图像；

二维孔特征计算器基于所述物体表面图像，确定孔二维特征参数；

三维孔特征计算器基于所述孔二维特征参数，对孔进行三维重建，确定孔三维特征参数；

辅助功能计算器基于所述孔二维特征参数和所述孔三维特征参数，对所述孔三维特征参数进行优化。

10.根据权利要求9所述的三维检测方法，其特征在于，所述二维孔特征计算器包括孔特征分类器和孔特征提取器；所述二维孔特征计算器基于所述物体表面图像，确定孔二维特征参数，包括：

所述孔特征分类器基于所述物体表面图像识别孔的轮廓，并按照轮廓的形状将孔划分至不同的类别；

所述孔特征提取器基于孔的轮廓的类别，提取所述孔二维特征参数。

11.根据权利要求9所述的三维检测方法，其特征在于，所述三维孔特征计算器包括孔三维重建计算器和校验计算器；所述三维孔特征计算器基于所述孔二维特征参数，对孔进行三维重建，确定孔三维特征参数，包括：

所述孔三维重建计算器基于所述孔二维特征参数，基于双目视觉原理对孔进行三维重建，获取孔三维特征参数；

所述校验计算器利用空间几何形状特征，对所述孔三维特征参数进行校验，排除错误的孔三维特征参数。

12.根据权利要求9所述的三维检测方法，其特征在于，所述辅助功能计算器空间定位计算器、数据优选计算器、空间定位计算器和参数优化计算器；所述辅助功能计算器基于所述孔二维特征参数和所述孔三维特征参数，对所述孔三维特征参数进行优化，包括：

所述空间定位计算器确定所述至少两个图像采集传感器的坐标系原点指向孔中心的向量与孔的法向之间的夹角，以及将不同该时刻得到的孔的空间参数配准到同一坐标系下；所述空间参数包括所述孔二维特征参数和/或所述孔三维特征参数；

所述数据优选计算器基于所述夹角，确定该时刻的所述物体表面图像参与计算时的权重系数；所述夹角越大，所述权重系数越小；

所述参数优化计算器基于最小化重投影误差优化方法，采用所述孔二维特征参数、所述孔三维特征参数和权重系数，对所述孔三维特征参数进行优化；

其中，所述权重系数代表不同所述物体表面图像对应的权重。

Images