CN109297413B - 一种大型筒体结构视觉测量方法 - Google Patents

Abstract

本发明涉及一种大型筒体结构视觉测量方法，包括图像采集单元和图像处理单元，其中，图像采集单元由工业相机、光学镜头、光源、相机与光源安装定位部件和数据传输线缆等构成，图像处理单元由工控机、图像采集卡等构成；首先对相机进行标定，然后通过图像采集单元中的工业相机采集对应工位上大型筒体的图像，由图像处理单元结合相机标定的参数对所采集的图像进行处理分析，从而得到大型筒体的位置和姿态，输出计算结果，完成测量任务。本发明的优势在于将计算机双目立体视觉与单目视觉结合，利用机器视觉技术完成位姿测量任务，为机械臂的自动抓取做好准备工作，本方法降低测量成本，提高工作效率，易于维护，可实现全天候工作要求。

Description

一种大型筒体结构视觉测量方法

技术领域

本发明属于计算机视觉测量技术和模式识别领域，具体地说是一种大型筒体结构视觉测量方法。

背景技术

近些年来，随着科学技术的快速发展，对自动化技术水平也提出了越来越高的要求。从一定意义上来讲，自动化水平的优劣与信息的测量息息相关，目前，很多测量方式为接触性测量，大大影响了工作效率，并且容易受到外部干扰而使测量结果产生较大偏差，此时非接触式测量发挥出较大的优势，其中效果较好的一种方式是可采用光学测绘仪器进行测量，虽然其具有较为令人满意的测量精度，但是测量范围受到一定的限制，无法实现大范围大目标的测量。

发明内容

针对上述问题，本发明目的在于提供一种大型筒体视觉测量方法，解决大范围大目标的测量问题，完成大型筒体的测量。

为了实现上述目的，本发明采用的技术方案为：一种大型筒体结构视觉测量方法，通过双目相机和单目相机获取筒体的位置和姿态，包括以下步骤：

工业相机的标定：设定已知标定板为标定图像的采集对象，分别利用双目相机和单目相机采集标定图像，分别建立起三维世界坐标到双目相机和单目相机图像坐标的映射关系，分别进行标定得到标定参数；

由双目视觉进行定位三维位置：双目相机采集目标图像，并根据世界坐标系到图像坐标系的转化关系，进行被测筒体的位置测量；

通过单目视觉获得筒体姿态：通过单目相机对目标图像进行特征提取，特征图像的像素坐标连线构成一个平行于筒体轴心的向量，该向量的姿态视为筒体的姿态，并得到该向量在世界坐标系中与各个坐标轴的夹角，即获得筒体姿态。

所述工业相机的标定具体如下：

首先，安装双目相机、单目相机和光源，将双目相机、单目相机与工控机通过图像采集卡用数据传输电缆相连接，分别采集不同位姿下标定板目标物图像，分别对双目相机、单目相机进行标定，得到双目相机、单目相机的标定参数；

对于双目相机，得到筒体在世界坐标系向图像坐标系的转化关系；

对于单目视觉，得到把持筒体的机械手末端坐标系到相机坐标系的转化关系，根据机械臂基础坐标系、机械臂末端坐标系和世界坐标系之间的关系，进而得到世界坐标系与相机图像坐标系的转化关系。

通过工控机界控制双目相机、单目相机的图像采集，并显示筒体的位置和姿态。

本次测量完毕后，双目相机和单目相机等待下一次指令；如已完成测量认为，则关闭双目相机、单目相机。

一种大型筒体结构视觉测量系统，包括：

图像采集单元，用于通过双目相机、单目相机采集目标图像，并发送至图像处理单元；

图像处理单元，用于根据双目相机的采集图像定位目标三维位置，根据单目相机的采集图像获得筒体姿态。

所述图像采集单元包括双目相机、单目相机。

所述图像处理单元执行以下步骤：

对于双目相机采集的目标图像，根据世界坐标系到图像坐标系的转化关系，获取被测筒体的位置；

对于单目视觉采集的目标图像，进行特征提取，特征图像的像素坐标连线构成一个平行于筒体轴心的向量，该向量的姿态视为筒体的姿态，并得到该向量在世界坐标系中与各个坐标轴的夹角，即获得筒体姿态。

本发明的一种大型筒体结构视觉测量方法，利用计算机视觉技术，将计算机双目立体视觉和单目视觉结合，共同完成大型筒体在工位上位置和姿态的测量，测量系统包括图像采集单元和图像处理单元，其中，工业相机、光学镜头、光源、相机与光源安装定位部件和数据传输线缆等构成图像集采单元，工控机、图像采集卡和图像处理软件等构成图像处理单元。首先在工作现场安装工业相机和光源，确定设备间连接和供电无误，相机固定后，调节相机使其成像清晰，在采集图像时相机和标定板目标的相对位姿要适当的变化，分别采集不同位姿下标定板目标物图像，对相机进行双目标定和手眼标定，得到对应的标定参数，然后在工控机内部安装有相关的图像处理软件，其具有友好的用户界面，可通过图像采集单元中的工业相机采集对应工位上大型筒体的图像，将其经数据传输电缆与图像采集卡传给图像处理单元，由图像处理单元结合相机标定的参数对所采集的图像进行处理分析，从而得到大型筒体的位置和姿态，输出测量结果。

本发明的优势和取得的积极效果为：

1、本发明为单元化设计，包括：图像采集单元和图像处理单元，该设计利于故障检测和排查，利于维护和升级。

2、本发明将计算机双目立体视觉与单目视觉结合，利用机器视觉单双目的互补，提高位姿测量效率和准确性。

3、本发明测量成本较低，具有工位监控功能，可实现全天候换工作要求。

4、本发明易于移动，操作性强，操作人员可通过界面进行控制。

附图说明

图1为本发明结构示意图；

图2为本发明计算机双目立体视觉几何关系示意图；

图3为本发明计算机单目视觉几何关系示意图；

图4为本发明工作原理示意图；

在图2中：世界坐标系O_WX_WY_WZ_W，相机坐标系O₁X₁Y₁和O₂X₂Y₂，图像坐标系o₁u₁v₁和o₂u₂v₂。

在图3中：世界坐标系O_WX_WY_WZ_W，相机坐标系OXY，图像坐标系ouv。

具体实施方式

下面结合附图对本发明作进一步详述。

一种大型筒体结构视觉测量方法，包括图像采集单元和图像处理单元，其中，所述的图像集采单元由工业相机、光学镜头、光源、相机与光源安装定位部件和数据传输线缆等构成，所述的图像处理单元由工控机、图像采集卡和图像处理软件等构成，所采用的方法是：首先在工作现场安装工业相机，对相机进行标定，采用计算机双目立体视觉和单目视觉相结合的方式，然后在工控机内部安装有相关的图像处理软件，并通过图像采集单元中的工业相机采集对应工位上大型筒体的图像，经数据传输电缆与图像采集卡和工业相机进行数据交换，由图像处理单元结合相机标定的参数对所采集的图像进行处理分析，从而得到大型筒体的位置和姿态，输出计算结果，完成测量任务。

上述的图像采集单元由计算机双目立体视觉和单目视觉组成，共同完成大型筒体位置和姿态的测量，在测量前需要分别对双目立体视觉和单目视觉进行精确的标定，得到对应的参数，用于图像处理单元的图像分析，计算位置和姿态。

上述的图像处理单元中的工控机安装有图像处理软件，具有图像处理分析的能力，可对计算机双目立体视觉和单目视觉所采集的图像使用与其相对应的图像处理分析算法，对于双目立体视觉可用高斯滤波、中值滤波等方法去噪，从而完成图像的预处理，可将图像进行二值化处理来突出特征，可用Canny边缘检测算法提取特征区域，然后进行极线校正，可采用Surf算法完成立体匹配，随后利用三角测量原理计算图像坐标对应的世界坐标，推导结果简述如下：

式中，(u₁,v₁,1)与(u₂,v₂,1)分别为p₁与p₂点在各自图像中的图像齐次坐标；(X,Y,Z,1)为P点在世界坐标系下的齐次坐标，

分别为投影矩阵的第i行第j列元素。Z_c1、Z_c1分别为投影关系式(1)和式(2)的比例因子。

可推得：

令K为式左边4×3矩阵，W为三维世界坐标向量；U为式右边4×1向量。K和U已知向量，由最小二乘法得到三维世界坐标：

W＝(K^TK)^-1K^TU (4)

对于单目视觉可用同样的图像预处理方法和特征提取方式，利用图像坐标系到世界坐标系的转换关系，在一定位置处求得世界坐标值，推导过程简述如下：

式中M为3×4投影矩阵，令

Z_c为投影关系式(5)的比例因子。

在平面上Z_w＝0，Z_w为测量平面的坐标；因为m₃₄位于平移矩阵T中3×1位置，有实际意义，故此m₃₄≠0，可推得：

AX＝B (6)

式中

式(6)中，当给出值像素u、v时，A、B为已知量，可通过最小二乘法得到像素坐标对应的世界坐标。

图像处理软件具有友好的程序用户界面，可显示必要的图像处理过程及其结果，可实现图像的实时处理，并输出位置和姿态测量值。

上述的图像采集单元和所述的图像处理单元可实现对工位的实时监控功能，可将工位范围内的情况实时传输到工控机，并将其在界面上实时显示，实现可视化，可以满足全天候工作要求。

上述的工业相机将景物成像在图像传感器上，图像数字信号采集与传输；所述的光学镜头将视场范围内的景物清晰的成像在传感器上；所述的光源为图像采集提供环境光照以外的辅助LED照明；所述的相机和光源安装定位部件：提供相机和光源的安装、定位接口。

上述的工控机提供软件运行的硬件平台，图像数据分析与处理；所述的图像采集卡具有多通道图像信号采集与传输，支持总线PCI/PCIE接口；所述的图像处理软件的运行硬件平台采用win7操作系统。

一种大型筒体结构视觉测量方法的实现方法，包括以下步骤：

步骤一：工业相机的标定。设定已知标定板为标定图像的采集对象，分别利用计算机双目立体视觉和单目视觉采集标定图像，建立起三维世界坐标到工业相机图像坐标的映射关系模型，分别进行标定得到标定结果的参数。工业相机在完成一次标定后，一定时间内无需再次进行标定。

步骤二：在接收到设备的操作指令时，图像采集单元中的工业相机将自动触发对特定工位的大型筒体进行图像采集，然后对所采集的图像进行预处理，计算机双目立体视觉部分立即进行图像分割、特征提取和极限校正等步骤，并根据世界坐标系到图像坐标系的成像关系，结合双目标定参数，完成位置测量，再结合单目视觉对目标图像进行分析处理并进行特征提取等步骤计算筒体姿态，该过程需要与图像处理单元中装有图像处理软件的工控机配合完成，必要的图像处理过程和结果将在工控机上显示，在此之前设备都处于工位监控状态。

步骤三：操作人员可根据实际要求和工况对图像采集单元和图像处理单元进行适当调整，可通过工控机界面对图像采集和测量进行必要控制。

步骤四：上述步骤完成后，图像采集单元中的工业相机等待下一次指令，满足全天候工作需求，如已完成测量，则关闭设备。

如图1所示，本发明包括：包括图像采集单元和图像处理单元，其中，所述的图像采集单元由工业相机、光学镜头、光源、相机与光源安装定位部件和数据传输线缆等构成，所述的图像处理单元由工控机、图像采集卡和图像处理软件等构成。各个设备的作用如下：工业相机将景物成像在图像传感器上，图像数字信号采集与传输；光学镜头将视场范围内的景物清晰的成像在传感器上；光源为图像采集提供环境光照以外的辅助LED照明；相机和光源安装定位部件提供相机和光源的安装、定位接口；工控机提供软件运行的硬件平台，图像数据分析与处理；图像采集卡具有多通道图像信号采集与传输，支持总线PCI/PCIE接口；图像处理软件的运行硬件平台采用win7操作系统。

本发明中，图像采集单元由计算机双目立体视觉和单目视觉组成，共同完成大型筒体位置和姿态的测量，在测量前需要分别对双目立体视觉和单目视觉进行精确的标定，得到对应的参数，用于图像处理单元的图像分析，计算位置和姿态；图像处理单元中的工控机安装有图像处理软件，具有图像处理分析的能力，可对计算机双目立体视觉和单目视觉所采集的图像使用与其相对应的图像处理分析算法，图像处理软件具有友好的程序用户界面，可显示必要的图像处理过程及其结果，可实现图像的实时处理，并输出位置和姿态测量值；图像采集单元和所述的图像处理单元可实现对工位的实时监控功能，可将工位范围内的情况实时传输到工控机，并将其在界面上实时显示，实现可视化，可以满足全天候工作要求。

首先，在工作现场安装工业相机和光源，将工业相机与工控机通过图像采集卡用数据传输电缆相连接，确保图像信号数据的正常传输和相关设备供电，确保相机固定不动后，调节相机使其成像清晰，在采集图像时相机和标定板目标的相对位姿要适当的变化，分别采集不同位姿下标定板目标物图像，对相机进行标定，得到相机的标定参数，工业相机在完成一次标定后，一定时间内无需再次进行标定，其中，对于计算机双目立体视觉进行双目标定，求取的参数为双目视觉两个相机间的旋转矩阵R和平移矩阵T，结合目标物大型筒体在双目相机中的投影关系，即筒体在世界坐标系向图像坐标系的转化，如图2所示，就可以确定其在世界坐标系中的三维位置，对于单目视觉，进行手眼标定，求取的参数为机械手末端坐标系到相机坐标系的转化关系，该过程除了标定板目标物在相机图像坐标系中的投影关系外，还涉及到机械臂基础坐标系、机械臂末端坐标系和世界坐标系之间的关系，在得到手眼标定的参数后，就建立了世界坐标系与相机图像坐标系的转化关系，如图3所示，在采集大型通体的图像后就可以得到其姿态，至此完成大型筒体的测量任务，测量结果可用于机械臂对大型筒体的抓取。

在上述过程中接收到设备的操作指令时，首先由双目视觉进行远距离定位三维位置，当机械臂运动到筒体上方时再用单目视觉通过向量计算的方式确定其二维平面姿态，如图4所示，图像采集单元中的工业相机将自动触发对特定工位的大型筒体进行图像采集，然后对所采集的图像进行预处理，计算机双目立体视觉部分立即进行图像分割、特征提取和极线校正等步骤，并根据世界坐标系到图像坐标系的成像关系，结合双目标定参数，完成位置测量，机械臂根据此位置运动到测量目标上方，再结合单目视觉对目标图像进行特征提取，该特征图像的像素坐标连线构成一个平行于筒体轴心的向量，该向量的姿态可视为筒体的姿态，可计算该向量在世界坐标系中与各个坐标轴的夹角，即获得筒体姿态，该过程需要与图像处理单元中装有图像处理软件的工控机配合完成，必要的图像处理过程和结果将在工控机上显示，在此之前设备都处于工位监控状态。

其次，操作人员可根据实际要求和工况对图像采集单元和图像处理单元进行适当调整，可通过工控机界面对图像采集和测量进行必要控制。

最后，图像采集单元中的工业相机等待下一次指令，此时设备在此进入工位监控状态，实时观测工位动态情况变化，满足全天候工作需求，如已完成测量，则关闭设备。

Claims (2)

1.一种大型筒体结构视觉测量方法，其特征在于，通过双目相机和单目相机获取筒体的位置和姿态，包括以下步骤：

工业相机的标定：设定已知标定板为标定图像的采集对象，分别利用双目相机和单目相机采集标定图像，分别建立起三维世界坐标到双目相机和单目相机图像坐标的映射关系，分别进行标定得到标定参数；

由双目视觉进行定位三维位置：双目相机采集目标图像，并根据世界坐标系到图像坐标系的转化关系，进行被测筒体的位置测量；

通过单目视觉获得筒体姿态：机械臂根据筒体的位置运动到测量目标上方，通过单目相机对目标图像进行特征提取，特征图像的像素坐标连线构成一个平行于筒体轴心的向量，该向量的姿态视为筒体的姿态，并得到该向量在世界坐标系中与各个坐标轴的夹角，即获得筒体姿态；

包括：

图像采集单元，用于通过双目相机、单目相机采集目标图像，并发送至图像处理单元；

图像处理单元，用于根据双目相机的采集图像定位目标三维位置，根据单目相机的采集图像获得筒体姿态；

所述工业相机的标定具体如下：

首先，安装双目相机、单目相机和光源，将双目相机、单目相机与工控机通过图像采集卡用数据传输电缆相连接，分别采集不同位姿下标定板目标物图像，分别对双目相机、单目相机进行标定，得到双目相机、单目相机的标定参数；

对于双目相机，得到筒体在世界坐标系向图像坐标系的转化关系；

对于单目视觉，得到把持筒体的机械手末端坐标系到相机坐标系的转化关系，根据机械臂基础坐标系、机械臂末端坐标系和世界坐标系之间的关系，进而得到世界坐标系与相机图像坐标系的转化关系；

通过工控机界控制双目相机、单目相机的图像采集，并显示筒体的位置和姿态；

本次测量完毕后，双目相机和单目相机等待下一次指令；如已完成测量认为，则关闭双目相机、单目相机。

2.根据权利要求1所述的一种大型筒体结构视觉测量方法的测量系统，其特征在于，包括：

图像采集单元，用于通过双目相机、单目相机采集目标图像，并发送至图像处理单元；

图像处理单元，用于根据双目相机的采集图像定位目标三维位置，根据单目相机的采集图像获得筒体姿态；

所述图像采集单元包括双目相机、单目相机；

所述图像处理单元执行以下步骤：

对于双目相机采集的目标图像，根据世界坐标系到图像坐标系的转化关系，获取被测筒体的位置；

机械臂根据筒体的位置运动到测量目标上方，对于单目视觉采集的目标图像，进行特征提取，特征图像的像素坐标连线构成一个平行于筒体轴心的向量，该向量的姿态视为筒体的姿态，并得到该向量在世界坐标系中与各个坐标轴的夹角，即获得筒体姿态。

Images