CN111089569B - 一种基于单目视觉的大型箱体测量方法 - Google Patents

Abstract

本发明涉及机器视觉领域，提出了一种基于单目视觉的大型箱体测量方法，包括：将合作识别靶标安装在被测箱体上，建立世界坐标系，获取靶标标志点的三维坐标；安装两个单目相机，进行相机标定，获取相机内参与坐标系转换关系；采集图像并执行图像处理单元获取唯一顺序的靶标特征点像素坐标；利用P5P测量原理进行初步定位获取识别靶标与单目相机的相对位姿；二次定位获取被测箱体的精准位姿；使用二次定位的位姿协助完成被测箱体的抓取。本发明使用两个单目相机完成对被测箱体的测量任务，避免了双目视觉的步骤繁琐与计算复杂，整体实现结构简易，便于维护，可用于多种大型箱体结构，适应性广泛。

Description

一种基于单目视觉的大型箱体测量方法

技术领域

本发明涉及机器视觉领域，具体地说是一种基于单目视觉的大型箱体测量方法。

背景技术

随着科技的进步与发展，工业无人化、快速化成为当前的研究热点。目前对于小型结构在较小工作距离的测量技术相对成熟，但是对于大尺寸结构、大工作距离的测量定位技术比较缺乏。传统的测量方法中，激光测量方式的造价高昂且对工作环境要求较高，双目视觉测量方式的计算复杂并且工作视场较小难以满足实时性需求，多目视觉的整体结构复杂，灵活性较差。单一的、传统的测量方式难以满足实现对大型物体的测量定位需求。

发明内容

对于上述问题，本发明目的在于提出一种基于单目视觉的大型箱体测量方法，解决了大型箱体在大尺度空间实现位姿测量，协助完成箱体抓取的问题。

本发明为实现上述目的所采用的技术方案是：

一种基于单目视觉的大型箱体测量方法，包括以下步骤：

1)将识别靶标安装在被测箱体上，通过单目相机采集含有识别靶标的被测箱体图像，建立世界坐标系并得到识别靶标标志点的三维坐标，；

2)安装两个单目相机，其中，第一单目相机用于采集被测箱体的侧面图像，第二单目相机用于采集被测箱体的顶面图像，通过两个单目相机进行相机标定，得到相机内参；

3)利用每个单目相机采集含有识别靶标的被测箱体图像，得到靶标标志点图像的像素坐标，用于被测箱体的位姿测量；

4)通过P5P测量方法测量得到箱体侧面识别靶标相对于第一单目相机的位置、箱体顶面识别靶标相对于第二单目相机的姿态；

5)将被测箱体的位置与姿态传递到机械臂控制系统用于协助引导机械臂完成抓取。

步骤1)中的识别靶标为两组，一组安装在被测箱体的侧面，用于为P5P测量提供已知世界坐标的标识标志点，作为单目初步位姿测量的测量依据，另一组安装在被测箱体顶部，作为单目二次位姿测量的测量依据。

步骤2)中的相机标定分为单目相机参数标定和单目相机手眼标定。

所述第一单目相机安装在机械臂基座处，用于进行初步位姿测量，所述第二单目相机安装在机械臂末端的夹取工具旁，用于进行二次位姿测量。

步骤3)中所述利用每个单目相机采集含有识别靶标的被测箱体图像，得到靶标标志点图像的像素坐标，包括以下步骤：

1)对单目相机采集的图像进行灰度与二值化处理；

2)对处理后的图像进行特征圆提取；

3)获取特征圆中心的像素坐标，即识别靶标标志点的图像像素坐标。

所述识别靶标标志点的图像像素坐标与识别靶标标志点的三维坐标对应。

所述P5P测量方法为：通过相机标定确定相机的内参，根据已知的识别靶标标记点的三维坐标与其在图像平面上投影的二维像素坐标，得到识别靶标所在世界坐标系与相机坐标系之间的旋转与平移关系。

所述P5P测量方法具体为：

空间点P_W即识别靶标某一标记点的三维坐标已知，其自身所在的世界坐标系与相机坐标系之间的变换关系可写成如下模型：

其中，(X_C,Y_C,Z_C,1)是空间点在相机坐标系下的齐次坐标形式，(X_W,Y_W,Z_W,1)是空间点在世界坐标的齐次坐标形式，c_ij为单目相机的外参矩阵参数，c_ij中i为外参矩阵的行坐标，j为外参矩阵的列坐标，由相机成像模型可推导如下表达式：

其中，(X_C,Y_C)为某一空间点P_W在经过相机焦距归一化后的成像点坐标，(X_W,Y_W,Z_W)表示P_W点的世界坐标，由上述公式可以得出，每个空间点都可以得到两个方程，根据将n个空间点所提供的2n个方程求解得到某单目相机相对于世界坐标系的外参信息c_ij，即识别靶标所在世界坐标系与相机坐标系之间的旋转与平移关系，进而得到被测箱体的位置或位姿。

本发明具有以下有益效果及优点：

1.本发明使用两个单目相机协同完成测量任务，相比于双目相机与单目相机组合定位测量的方法，本发明的实时性更出众，结构更简单，测量范围更全面，对位姿的计算更准确。

2.本发明的方法整体结构简易，便于维护，采用的识别靶标可自用装卸，可用于多种大型箱体结构，适应性广泛；所采用的单目相机稳定性高且造价低廉。

3.本发明可操作性高，通过交互界面操作完成所有功能。

附图说明

图1为本发明系统总体流程框图；

图2为初步定位相机的具体工作原理示意图；

图3为二次定位相机的具体工作原理示意图；

图4为本发明系统的整体工作示意图。

具体实施方式

在本发明描述之前，需要对文中所使用的坐标系进行声明：

图像像素坐标系，以采集图像的平面左上角为原点，沿图像水平向右为u轴，沿图像垂直向下为v轴；图像物理坐标系，以相机采集的图像平面中心为原点，x轴与y轴分别平行于像素坐标系的u轴与v轴，具有实际物理意义；相机坐标系，以相机光心处为原点，X_c、Y_c轴平行于图像坐系的x轴、y轴；世界坐标系，以被测箱体底部中心点为坐标原点，竖直向上为Z_w，沿相机光轴正向为Y_w；机械臂基坐标系与机械臂吊具坐标系满足右手定则。

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施案例对本发明作进一步详述。

如图1所示为本发明系统总体流程框图：

步骤1：将合作识别靶标安装在被测箱体上，建立世界坐标系，获取靶标标志点的三维坐标；

步骤2：安装两个单目相机，利用单目相机采集已知标定板的不同位姿下的图像，进行相机标定，获取相机内参，建立图像坐标系、相机坐标系、机械臂工具坐标系以及机械臂基坐标系之间的转换关系；

步骤3：利用单目相机采集含有识别靶标的被测箱体图像，经图像处理单元获取具有唯一顺序的靶标特征点图像像素坐标；

步骤4：利用P5P测量原理实现识别靶标与单目相机的相对位置与相对姿态的计算，完成对被测箱体的初步位姿测量；

步骤5：重复步骤3与步骤4，完成对被测箱体的二次位姿测量；

步骤6：将被测箱体的位置与姿态信息通过数据接口传递到上位机界面与机械臂控制系统用于协助引导机械臂完成抓取。

图2所示的是初步定位相机的具体工作原理，其中O_WX_WY_WZ_W为世界坐标系；O₁uv为图像像素坐标系；O₂xy为图像物理坐标系，O_C1X_C1Y_C1Z_C1为初次定位相机的相机坐标系，共有两组识别靶标，每组靶标图案由5个特征圆按一定顺序构成，一组安装在被测箱体的侧面，作为单目初步定位的测量依据，用于为P5P测量提供可靠的具有已知世界坐标的识别标志点，可装卸靶标安装方便，易于更换维护，可根据实际需要安放在待测箱体的不同位置，能够应用于不同箱体。

相机标定可分为单目相机参数标定与单目相机手眼标定。

其中，对于单目相机参数标定的过程简述为：

三维空间中的景物点通过相机光心投影到成像平面上，由成像平面上分布的感光单元将光信号转换为电信号，得到可处理的数字信息。相机坐标系中的一点P_W1(X_C,Y_C,Z_C)，投影到成像平面上的点记为p(x₁,y₁)，根据图像像素坐标系与图像坐标系之间的关系，有如下变换：

式中，(u₀,v₀)为光轴线在成像平面的交点，(u₁,v₁)为投影点p_W1在图像像素坐标系中的位置，η_x与η_y为成像平面与图像平面关于X轴与Y轴的比例系数。根据相机成像模型中的比例关系，点P_W1与其自身图像点(u₁,v₁)有变换：

为方便运算与公式表述的美化，将变换关系写成上述齐次矩阵的形式，k_u与k_v称为比例因子，式中3×3的齐次矩阵称为相机内参矩阵，相机内参包括(k_u,k_v,u₀,v₀)四个参数，经过相机标定后可获取参数的确切数值，一旦确定后在不对相机进行调焦操作时，相机内参固定，若因工作距离的大幅度改变，需要令相机拍摄的图像由模糊变为清晰，则需要重新进行相机标定。

相机畸变影响于图像坐标系，对于相机标定来说共有4个内参与6N(N为采集的图像数目)个外参需要得到确切数值，棋盘格平面最多可提供4个不同的位置点信息，每个位置点可提供2个约束方程供于求解，在求出相机的内外参信息后，可由多余的点对畸变参数进行求解，最终完成包括畸变参数在内的单目相机参数标定。

单目相机手眼标定是使用二次定位相机采集标定板不同位姿的图像，获取机械臂工具坐标系与图像坐标系的转换关系，进而确定世界坐标系与机械臂基坐标系的转换关系。

图像处理单元在单目相机采集含有识别靶标图像后，执行图像处理功能，首先对所采集的图像进行灰度化以便后续处理；由于相机、视频采集卡、传输光纤等电子硬件的制作工艺的不同，难免会带来不可控制的噪声干扰，对于初步定位与二次定位所需要的准确识别图像，可以通过高斯滤波与中值滤波进行处理；光照条件对于采集图像的分析是不可忽视的问题，如何选用一个合理的二值化阈值是所需考虑的重点，自适应阈值分割算法提供了效果极佳的解决方法；在对图像滤波平滑后，通过使用Canny边缘检测算法来提取特征区域，最终获得特征齐全的识别靶标待处理图像，以进行特征圆提取与拟合；

上述的特征圆与拟合，使用边缘检测算法所得到的特征图像，运用最小二乘拟合公式对特征图像中的轮廓信息进行拟合：

其中，A,B,C,D,E是对特征圆进行拟合时所使用的数学模型的待解参数。经解算可获得准确的特征圆的中心点的图像像素坐标，由于特征圆的相对空间位置不同，面积不同，根据面积选择法与空间约束条件实现对特征圆的排序并将中心像素坐标做标记，记为C₁…C₅，为P5P解算提供精准的识别控制点的像素坐标。

上述P5P测量原理可理解为，相机的内参已通过标定确定，根据给定的识别靶标上标记点的三维坐标与其在图像平面上投影的二维像素坐标，可进一步求得识别靶标所在坐标系与相机坐标系之间的旋转与平移关系。相对于传统P3P测量与P4P测量，适当的加入定位点个数能够提升定位精度与稳定性，P5P测量方法可简述为：

空间点P_W1…P_W5的三维坐标信息已知，其自身所在的世界坐标系与相机坐标系之间的变换关系可写成如下模型：

其中，(X_C,Y_C,Z_C,1)是空间点在相机坐标系下的齐次坐标形式，(X_W,Y_W,Z_W,1)是空间点在世界坐标的齐次坐标形式。以空间一点P_W1为例，其投影点的图像像素坐标表述为(u_i1,v_i1)，由相机成像模型可推导如下表达式：

其中，(X_C1,Y_C1)为P_W1在经过相机焦距归一化后的成像点坐标，(X_W1,Y_W1,Z_W1)表示P_W1点的世界坐标。由上述公式可以得出，每个空间点都可以得到两个方程。将5个点所提供的10个方程改写成矩阵形式：

A₁H₁+A₂H₂＝0 (6)

式中，A₁与A₂是式5经变换后的系数矩阵，其中A₁是形式为10×3的矩阵，A₂是形式为10×6的矩阵。对H₁＝[c₁₁ c₂₁ c₃₁]^T与H₂＝[c₁₂ c₂₂ c₃₂ c₁₄ c₂₄ c₃₄]^T通过优化问题引入指标函数进行求解，即可得到相机相对于世界坐标系的外参信息。

上述所获得的外参信息也即是相机相对于识别靶标的平移与旋转。初步定位相机与机械臂基座固定，可知二者的坐标系转换关系，由此变换可进一步得到被测箱体在机械臂及坐标系下的位姿信息，通过对位姿信息的使用，可令机械臂末端移动到预计为止。

图3是二次定位相机的具体工作原理，其中O_WX_WY_WZ_W为世界坐标系；O₁uv为图像像素坐标系；O₂xy为图像物理坐标系，O_C2X_C2Y_C2Z_C2为二次定位相机的相机坐标系。二次定位相机的工作原理与初步定位相机的工作原理近似，都是通过对被测靶标的识别与处理来实现测量被测箱体与二次定位相机的相对位姿信息。在进行二次定位中，通过单目相机的手眼标定可以获得二次定位相机与机械臂夹具之间的坐标系变换关系，机械臂夹具坐标系与机械臂基坐标系之间的关系已知，由此便可解算处被测箱体在机械臂基坐标系下的位姿信息。区别在于二次定位相机的工作距离相对于初次定位相机的工作距离更小，对被测箱体的位姿获更准确，测量误差更小，在完成二次定位测量后，将被测箱体的在机械臂基坐标系下的位姿信息反馈给机械臂协助完成箱体的抓取。

图4是本发明系统的整体工作示意图，已将合作识别靶标2安装在被测箱体1的侧面与顶部，共有两个单目相机，初步定位相机3安装在机械臂基座处，用于进行单目初步定位，实现对被测箱体1在相机坐标系下的位姿计算，通过坐标系转换关系，得到被测箱体1在机器臂基坐标系下的位姿状态，另一个相机为二次定位相机4安装在机械臂末端的夹取工具5旁，用于实现单目二次定位，实现机械臂在根据单目初步定位的结果移动后的二次精确定位，并将获取的位姿信息返还给上位机界面6与控制系统。

本发明在识别靶标安装就绪后，首先使用初步定位相机进行图像采集、图像处理以及被测箱体位姿获取与传输，在工控机界面显示必要的图像处理信息与初步定位数据结果；其次，根据反馈的被测箱体的位姿信息，通过机械臂控制系统令机械臂末端夹具工具移动到被测箱体上方一定高度，然后初步定位相机关闭；再次，二次定位相机在初步定位相机关闭后开始工作，进行图像采集、处理、传输，并在工控机界面显示，实现被测箱体二次定位，将二次定位后获得的被测箱体位姿传递给机械臂控制系统，完成最终抓取；最后，二次定位相机关闭，等待下一步指令。

共有两组识别靶标，每组靶标图案由5个特征圆按一定顺序构成，其中，一组安装在被测箱体的侧面，作为单目初步定位的测量依据，一组安装在箱体顶部，作为单目二次定位的测量依据。

本发明共有两个单目相机，一个安装在机械臂基座处，用于进行单目初步定位，实现对被测箱体在初次定位相机坐标系下的位姿计算，通过坐标系转换关系，得到被测箱体在机器臂基坐标系下的位姿状态，另一个相机安装在机械臂末端的夹取工具旁，用于实现单目二次定位，在机械臂在根据单目初步定位的结果移动后实现二次精确定位，并将获取的位姿信息返还给上位机界面与控制系统。

单目相机标定包括：

1)单目相机参数标定：根据实际工作距离计算棋盘格标定板尺寸，将两个单目相机分别与装有图像采集程序的工控机通过光纤连接，摆放不同位姿，完成相机标定，获取包含畸变参数在内的相机内参，进而得到世界坐标系与图像坐标系的转换关系；

2)单目相机手眼标定：使用二次定位相机采集标定板不同位姿的图像，获取机械臂工具坐标系与图像坐标系的转换关系，进而确定世界坐标系与机械臂基坐标系的转换关系。

图像处理单元包括以下步骤：

1)对采集的每帧图像进行灰度与二值化处理；

2)特征圆的提取与拟合；

3)获取特征圆中心的像素坐标，即靶标标志点的图像像素坐标；

4)标志点的像素坐标排序。

本发明具有唯一顺序的靶标标志点图像像素坐标与识别靶标标志点的三维世界坐标的顺序一一对应。

本发明通过工控机界面首先使用初步定位相机进行图像采集、图像处理以及被测箱体位姿获取与传输，在机械臂末端夹具工具移动到被测箱体上方一定高度后初步定位相机关闭，二次定位相机在初步定位相机关闭后开始工作，进行图像采集实现被测箱体二次定位，将二次定位后获得的被测箱体位姿传递给机械臂控制系统，完成最终抓取，二次定位相机关闭，等待下一步指令。

本发明的一种基于单目视觉的大型箱体测量方法，利用机器视觉技术，将两个单目相机组合使用，分步实现对被测箱体上识别靶标的定位，计算被测箱体的位姿信息，协助机械臂完成对被测箱体的抓取。将单目相机与识别靶标分别安装在指定位置，其中固定在机械臂基座上的初步定位相机，实现对被测箱体的初步定位，协助机械臂末端吊具移动到距被测箱体的上方，相对于传统远距离大型箱体抓取利用双目相机进行初步定位的方法，本发明极大避免了双目视觉中特征匹配对运行速度的影响，避免了双目相机之间的坐标系转换的繁琐；固定在机械臂末端吊具处的二次定位相机，在吊具移动到指定位置且稳定后，由工控机交互界面下达指令开始工作，实现对被测箱体的空间三维坐标的精细测量，将所测位姿结果通过数据接口传递给机械臂控制系统并在工控机交互界面显示，协助完成对被测箱体的抓取。

Claims (4)

1.一种基于单目视觉的大型箱体测量方法，其特征在于，包括以下步骤：

1)将识别靶标安装在被测箱体上，通过单目相机采集含有识别靶标的被测箱体图像，建立世界坐标系并得到识别靶标标志点的三维坐标；

步骤1)中的识别靶标为两组，一组安装在被测箱体的侧面，用于为P5P测量提供已知世界坐标的标识标志点，作为单目初步位姿测量的测量依据，另一组安装在被测箱体顶部，作为单目二次位姿测量的测量依据；

2)安装两个单目相机，其中，第一单目相机用于采集被测箱体的侧面图像，第二单目相机用于采集被测箱体的顶面图像，通过两个单目相机进行相机标定，得到相机内参；

步骤2)中的相机标定分为单目相机参数标定和单目相机手眼标定；

所述第一单目相机安装在机械臂基座处，用于进行初步位姿测量，所述第二单目相机安装在机械臂末端的夹取工具旁，用于进行二次位姿测量；

3)利用每个单目相机采集含有识别靶标的被测箱体图像，得到靶标标志点图像的像素坐标，用于被测箱体的位姿测量；

步骤3)中所述利用每个单目相机采集含有识别靶标的被测箱体图像，得到靶标标志点图像的像素坐标，包括以下步骤：

3.1)对单目相机采集的图像进行灰度与二值化处理；

3.2)对处理后的图像进行特征圆提取；

3.3)获取特征圆中心的像素坐标，即识别靶标标志点的图像像素坐标；

4)通过P5P测量方法测量得到箱体侧面识别靶标相对于第一单目相机的位置、箱体顶面识别靶标相对于第二单目相机的姿态；

5)将被测箱体的位置与姿态传递到机械臂控制系统用于协助引导机械臂完成抓取。

2.根据权利要求1所述的一种基于单目视觉的大型箱体测量方法，其特征在于，所述识别靶标标志点的图像像素坐标与识别靶标标志点的三维坐标对应。

3.根据权利要求1所述的一种基于单目视觉的大型箱体测量方法，其特征在于，所述P5P测量方法为：通过相机标定确定相机的内参，根据已知的识别靶标标记点的三维坐标与其在图像平面上投影的二维像素坐标，得到识别靶标所在世界坐标系与相机坐标系之间的旋转与平移关系。

4.根据权利要求1所述的一种基于单目视觉的大型箱体测量方法，其特征在于，所述P5P测量方法具体为：

空间点P_W即识别靶标某一标记点的三维坐标已知，其自身所在的世界坐标系与相机坐标系之间的变换关系可写成如下模型：

其中，(X_C,Y_C,Z_C,1)是空间点在相机坐标系下的齐次坐标形式，(X_W,Y_W,Z_W,1)是空间点在世界坐标的齐次坐标形式，c_ij为单目相机的外参矩阵参数，c_ij中i为外参矩阵的行坐标，j为外参矩阵的列坐标，由相机成像模型可推导如下表达式：

其中，(X_C,Y_C)为某一空间点P_W在经过相机焦距归一化后的成像点坐标，(X_W,Y_W,Z_W)表示P_W点的世界坐标，由上述公式可以得出，每个空间点都可以得到两个方程，根据将n个空间点所提供的2n个方程求解得到某单目相机相对于世界坐标系的外参信息c_ij，即识别靶标所在世界坐标系与相机坐标系之间的旋转与平移关系，进而得到被测箱体的位置或位姿。

Images