CN111781894A - 利用机器视觉进行装配工具空间定位及姿态导航的方法 - Google Patents

Abstract

本发明提供了利用机器视觉进行装配工具空间定位及姿态导航的方法，步骤包括：建立装配工具输出端和标记点装置的坐标关系；获取标记点装置在相机坐标系上的图像，计算标记点装置在相机坐标系下的空间姿态及装配工具输出端在相机坐标系下的位置和姿态；示教，获取对应的从开始到完成作业整个过程的位置和姿态数据；在装配系统工作的过程中，实时获取装配工具的空间位置和姿态数据，将空间位置、姿态数据与示教位置、姿态数据进行比对。本发明针对装配工具空间定位及姿态导航提出了一种全新的方法，实现了装配工具高精密空间定位。

Description

利用机器视觉进行装配工具空间定位及姿态导航的方法

技术领域

本发明属于视觉测量技术和智能装配领域，具体涉及利用机器视觉进行装配工具空间定位及姿态导航的方法。

背景技术

在工业智能化生产中，需要测量装配工具(如电动扳手)的空间位置和姿态，以便进行工艺控制，例如:对发动机缸体合箱进行拧紧或结构件铆接，一方面要保证按照某种顺序装配(如对角装配或指定顺序装配)，另一方面要保证每个连接件的拧紧力矩或拉伸力都达到要求，不能错误装配和漏装，最好是能够指导操作者到指定的精确位置开始装配。

现有技术中，有机械臂导航方法和通过主动发光的LED标志点视觉导航方法。其中，机械臂导航方法是将装配工具固定在带角度编码器的定位机械臂上，通过角度编码器的转角量和机械臂长度或拉绳长度来计算装配工具的空间位置和姿态，而这种方式存在诸多问题：(1)不能满足无线装配工具无线定位的要求；(2)只能借助机械夹持使用，极易与工件及周围的物件产生干涉；(3)灵活性和便利性差；(4)响应时间长，测量定位精度欠佳。通过主动发光的LED标志点视觉导航方法存在以下问题：(1)主动发光的LED需要供电，如果采用外部供电，会造成电缆对作业的干扰；如果采用电池供电，电池电量低后LED发光亮度不够影响测量精度；(2)因使用频率高，电池供电时间有限，需要频繁更换电池，并且装配工具往往握持空间非常有限，电池体积过大使用不便，会造成电池干涉装配空间；如果采用装配工具直接供电，则需要装配工具厂家重新设计工具以配合供电，一方面造成存量工具无法使用，另一方面对导航技术的推广带来很大困难；主动发光的LED标志点属于点光源，其具有透镜、封装外壳等结构，在不同角度拍摄时，无法为视觉提供一致稳定的中心点。

另外，因为装配工具输出端经常会安装较长的工具套筒或其他延长装置，这些装置为适应作业需要，一般具有一定的配合间隙，这时，由于杠杆放大效应，就会使得标志点定位误差大，其不稳定性也会随之放大。

发明内容

针对背景技术中存在的问题，本发明目的在于提供一种利用机器视觉进行装配工具空间定位及姿态导航的方法。为了实现上述目的，本发明采用如下技术方案。

利用机器视觉进行装配工具空间定位及姿态导航的方法，步骤包括：

步骤1，采用视觉测量主机和标定板对装配工具的输出端和被动反光标记点装置进行空间位置关系标定，并建立装配工具输出端和被动反光标记点装置的坐标关系；所述被动反光标记点装置设置在装配工具上；本发明所述被动反光标记点装置实质上是一种标靶；

步骤2，获取被动反光标记点装置在相机坐标系上的图像，并计算被动反光标记点装置在相机坐标系下的空间姿态，以及计算得到装配工具输出端在相机坐标系下的位置和姿态；

所述相机坐标系属于本领域技术人员知晓的知识，是以相机镜头光心为原点、镜头光轴为Z轴、相机的二维图像X轴为X轴、二维图像Y轴为Y轴建立的笛卡尔坐标系；

步骤3，示教：将带被动反光标记点装置的装配工具逐个移动到需要工作的一个或多个位置、姿态；启动装配工具时，采用视觉测量主机获取对应的从开始到完成作业整个过程的位置和姿态数据；

步骤4，在装配系统工作的过程中，采用视觉测量主机实时获取装配工具的空间位置和姿态数据，将空间位置、姿态数据与示教位置、姿态数据进行比对；若实时获取的空间位置、姿态数据与示教位置、姿态数据相匹配，则允许启动装配工具作业。

作为本发明优选方案，建立装配工具输出端和被动反光标记点装置坐标关系的方法为：

根据被动反光标记点装置的标记点已知的三维结构{Pi}，建立一本地坐标系C；

将装配工具输出端放置于标定板的连接口，使用视觉测量主机测量被动反光标记点装置上标记点在相机坐标系下的空间坐标{Qi}，计算得到一个线性变换(R,T)，使得Pi＝R*Qi+T；

采用视觉测量主机测量标定板的位置和姿态(由于标定板标志点和连接口的相对位置在加工时已知(预先已知晓)，因此可以计算得到标定板的连接口位置)，计算得到相机坐标系下装配工具输出端的坐标M，根据上述线性变换(R,T)对坐标M进行变换M’＝R*M+T，所得M’为装配工具输出端在本地坐标系C下的坐标；

同理，计算得到装配工具输出端方向矢量N在本地坐标系C下的表示N’；

所得(M’，N’)构成对装配工具输出端六自由度的完备描述。

作为本发明的优选方案，计算装配工具输出端在相机坐标系下的空间姿态的方法为：

根据装配工具输出端和被动反光标记点装置的坐标关系，换算得到装配工具输出端的空间位置和姿态，具体为：

采用视觉测量主机测量被动反光标记点装置的被动反光标记点在相机坐标系下的空间坐标{Qi}，设其在本地坐标系C下的坐标为{Pi}，计算得到另一个线性变换(R’,T’)，使得Qi＝R’*Pi+T’,将该线性变换作用到装配工具输出端在本地坐标系C下的坐标M’和方向矢量N’,得到M＝R’*M’+T’和N＝R’*N’，获得装配工具输出端在相机坐标系下的六自由度完备描述(M，N)。

作为本发明的优选方案，步骤4中，可以采用“预设的逻辑顺序要求和公差范围”将空间位置、姿态数据与示教位置、姿态数据进行比对，比对结果实时输出到装配工具的控制系统。

在本发明的优选实施例中，所述视觉测量主机采用带红外发光的单目或双目视觉三维测量主机。

作为本发明的优选方案，所述被动反光标记点装置上设有多个被动反光标记点，装配工具设置有一个或多个被动反光标志点装置以解决不同角度下可能的视线盲区。

由于采用了上述技术方案，本发明针对装配工具空间定位及姿态导航提出了一种全新的方法，利用机器视觉技术和被动反光标志装置进行装配工具空间定位及姿态跟踪，

实现了装配工具空间定位和姿态跟踪的无线化，无需改变绝大多数操作者的无线使用操作习惯；

实现了装配工具空间定位及姿态导航的无机械干扰，使得装配工件及其周围的物件不会对装配工具产生干涉，确保了操作灵活性；

实现了装配工具空间定位及姿态导航的快速响应，测试响应时间仅约0.1s；

实现了装配工具高精密空间定位，在单目或双目视觉三维测量主机2m范围内测量定位精度可达0.1-1mm；

实现了装配工具标志结构无需供电，结构轻、小，对原有工具握持无干扰；

实现了装配工具标志结构无破坏安装，在现有工具上安装即可，无需工具厂家重新设计和生产装配工具；

对装配工艺质量控制，装配工艺防错、防漏和防呆具有重大意义。

附图说明

图1是实施例中采用视觉测量主机对装配工具的输出端和被动反光标记点装置进行空间位置关系标定时的示意图；

图2是装配过程中利用机器视觉进行装配工具空间定位及姿态导航的示意图；

图3是采用视觉测量主机对装配工具的输出端和被动反光标记点装置进行空间位置关系标定时所用到的标定板示意图；

图4是装配开始位置姿态示意图；

图5是装配完成位置姿态示意图；

图6是利用机器视觉进行装配工具空间定位及姿态导航的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，但以下实施例的说明只是用于帮助理解本发明的原理及其核心思想，并非对本发明保护范围的限定。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，针对本发明进行的改进也落入本发明权利要求的保护范围内。

实施例

如图1、图2和图3所示，利用机器视觉进行装配工具空间定位及姿态导航所采用的系统包括：装配工具控制系统5通过无线或有线通讯6连接单目或双目视觉三维测量主机1，被动反光标记点装置2设置在装配工具3上，被动反光标记点装置2上设有多个被动反光标记点，标记点的三维结构采用机械加工或双目视觉三维测量主机精确标定获得，装配工具3上可安装一个或者多个被动反光标志点装置2，单目或双目视觉三维测量主机1通过各种无线、有线通信协议将结果实时输出到装配工具的控制系统5；装配工具3的输出端坐标用标定板4进行标定，标定板4上设置有连接口，连接口的轴线与装配工具3输出端轴线相重合，端面紧密接触，连接口用于紧密衔接装配工具3的输出端(即装配工具3的输出端下端)，位于连接口外围的标定板4上同一平面设置有多个标定点。

利用机器视觉进行装配工具空间定位及姿态导航的方法，步骤包括：

步骤1，采用视觉测量主机1和标定板4对装配工具的输出端和被动反光标记点装置进行空间位置关系标定，并建立装配工具输出端和被动反光标记点装置的坐标关系，具体地：

根据被动反光标记点装置的标记点已知的三维结构{Pi}，建立一本地坐标系C；

将装配工具3输出端放置于标定板4的连接口内，使用视觉测量主机测量标记点在相机坐标系下的空间坐标{Qi}，计算得到一个线性变换(R,T)，使得Pi＝R*Qi+T；

采用视觉测量主机1测量标定板4的位置和姿态(由于标定板4的标志点和连接口的相对位置在加工时已知，因此可以计算得到标定板4的连接口位置)，最终得到装配工具输出端的坐标M，根据所述线性变换(R,T)对坐标M进行变换M’＝R*M+T，所得M’为装配工具输出端在本地坐标系C下的坐标；

因为被动反光标记点装置是固定在装配工具上的，被动反光标记点装置与装配工具同属一个刚体，因此装配工具输出端在本地坐标系C下的坐标是恒定不变的，同理，则可计算得到装配工具输出端方向矢量N在本地坐标系C下的表示N’；

所得(M’，N’)构成对装配工具输出端六自由度的完备描述；

步骤2，获取被动反光标记点装置在相机坐标系上的图像，并计算被动反光标记点装置在相机坐标系下的空间姿态，具体地：

采用视觉测量主机测量被动反光标记点装置的标记点在相机坐标系下的空间坐标{Qi}，设其在本地坐标系C下的坐标为{Pi}，计算得到另一个线性变换(R’,T’)，使得Qi＝R’*Pi+T’；

将该线性变换作用到装配工具输出端在本地坐标系C下的坐标M’和方向矢量N’,得到M＝M’*R’+T’和N＝M’*N’，获得装配工具输出端在相机坐标系下的六自由度完备描述(M，N)；

步骤3，示教：将带被动反光标记点装置的装配工具逐个移动到需要工作的一个或多个位置、姿态，采用视觉测量主机获取完成标准装配对应的从起始到合格结束对应的位置和姿态数据有效操作范围，并预设逻辑顺序和公差范围。

步骤4，在装配系统工作的过程中，采用视觉测量主机实时获取装配工具输出端的空间位置和姿态数据，将空间位置、姿态数据与示教位置、姿态数据进行比对，比对结果实时输出到装配工具的控制系统；若实时获取的空间位置、姿态数据与有效操作范围匹配，则允许启动装配工具作业。

在一个具体操作方案中，如图1至图6所示，以电动扳手拧紧螺栓7为例，用于装配工件一8与工件二9，利用机器视觉进行装配工具空间定位及姿态导航的流程如下：

开始标定，先调整并确认标定板4在相机(即单目或双目视觉三维测量主机1)视野中，然后将带被动反光标记点装置2的装配工具3输出端放置在标定板连接口内(即标定板4上的连接口)，开始标定装配工具3输出端；

建立装配工具输出端和被动反光标记点装置2的坐标关系；

开始示教：先将装配工具3移动到N工序的开始作业坐标姿态并确认(如图4所示)，再将装配工具3移动到N工序的完成作业坐标姿态并确认(如图5所示)；此工序即是采用视觉测量主机1获取装配工具输出端对应的示教位置和姿态数据；也可录制装配工具在作业位置从开始到结束的运动姿态和轨迹，从而示教装配工具从开始拧紧到完成合格拧紧的姿态轨迹；

示教完成后，在装配系统实际工作的过程中，先采用视觉测量主机1实时获取装配工具3的空间位置和姿态数据，同时计算出装配工具输出端的位置姿态，将空间位置、姿态数据与示教位置、姿态数据进行比对，若实时获取的空间位置、姿态数据与示教位置、姿态数据相匹配(即通过视觉测量主机测得的装配工具输出端的位置姿态与示教对应的N工序相吻合)，则启动装配工具作业(输出工作序号通知装配工具运行，开始拧紧螺栓作业)；随后，当通过视觉主机测得的测量装配工具输出端的位置姿态与示教对应的N工序完成作业姿态相吻合时，则结束本次拧螺栓作业；

开始下一工序作业，直到所有工序结束。

在本发明的具体操作方案中，主要是通过示教的方式预设装配工具3要完成作业的空间位置和轨迹，并对比和显示当前位置和示教位置关系；装配过程中，当装配工具3以正确姿态或轨迹进入示教指定的空间位置和姿态时，视觉测量主机将合格到位信号发送给装配工具控制系统5，操作者即可开始启动装配工具工作，直至合格完成装配，并提供坐标和姿态数据；此外，还可设置当装配工具3离开工作区域时进行报警提示。

Claims (6)

1.利用机器视觉进行装配工具空间定位及姿态导航的方法，其特征在于，步骤包括：

步骤1，采用视觉测量主机和标定板对装配工具的输出端和被动反光标记点装置进行空间位置关系标定，并建立装配工具输出端和被动反光标记点装置的坐标关系；所述被动反光标记点装置设置在装配工具上；

步骤2，获取被动反光标记点装置在相机坐标系上的图像，并计算被动反光标记点装置在相机坐标系下的空间姿态，以及计算得到装配工具输出端在相机坐标系下的位置和姿态；

步骤3，示教：将带被动反光标记点装置的装配工具逐个移动到需要工作的一个或多个位置、姿态；启动装配工具时，采用视觉测量主机获取对应的从开始到完成作业整个过程的位置和姿态数据；

步骤4，在装配系统工作的过程中，采用视觉测量主机实时获取装配工具的空间位置和姿态数据，将空间位置、姿态数据与示教位置、姿态数据进行比对；若实时获取的空间位置、姿态数据与示教位置、姿态数据相匹配，则允许启动装配工具作业。

2.根据权利要求1所述的方法，其特征在于，建立装配工具输出端和被动反光标记点装置坐标关系的方法为：

根据被动反光标记点装置的标记点已知的三维结构{Pi}，建立一本地坐标系C；

将装配工具输出端放置于标定板的连接口，使用视觉测量主机测量被动反光标记点装置上标记点在相机坐标系下的空间坐标{Qi}，计算得到一个线性变换(R,T)，使得Pi＝R*Qi+T；采用视觉测量主机测量标定板的位置和姿态，计算得到相机坐标系下装配工具输出端的坐标M，根据上述线性变换(R,T)对坐标M进行变换M’＝R*M+T，所得M’为装配工具输出端在本地坐标系C下的坐标；

同理，计算得到装配工具输出端方向矢量N在本地坐标系C下的表示N’；

所得(M’，N’)构成对装配工具输出端六自由度的完备描述。

3.根据权利要求2所述的方法，其特征在于，计算装配工具输出端在相机坐标系下的空间姿态的方法为：

根据装配工具输出端和被动反光标记点装置的坐标关系，换算得到装配工具输出端的空间位置和姿态，具体为：

采用视觉测量主机测量被动反光标记点装置的被动反光标记点在相机坐标系下的空间坐标{Qi}，设其在本地坐标系C下的坐标为{Pi}，计算得到另一个线性变换(R’,T’)，使得Qi＝R’*Pi+T’,将该线性变换作用到装配工具输出端在本地坐标系C下的坐标M’和方向矢量N’,得到M＝R’*M’+T’和N＝R’*N’，获得装配工具输出端在相机坐标系下的六自由度完备描述(M，N)。

4.根据权利要求3所述的方法，其特征在于，可以采用“预设的逻辑顺序要求和公差范围”将空间位置、姿态数据与示教位置、姿态数据进行比对，比对结果实时输出到装配工具的控制系统。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述视觉测量主机采用带红外发光的单目或双目视觉三维测量主机。

6.根据权利要求5所述的方法，其特征在于，所述被动反光标记点装置上设有多个被动反光标记点，装配工具设置有一个或多个被动反光标志点装置。

Images