CN113297952B

CN113297952B - 一种复杂环境下绳驱柔性机器人的测量方法和系统

Info

Publication number: CN113297952B
Application number: CN202110554969.3A
Authority: CN
Inventors: 徐文福; 王封旭; 袁晗; 梁斌
Original assignee: Shenzhen Graduate School Harbin Institute of Technology
Current assignee: Shenzhen Graduate School Harbin Institute of Technology
Priority date: 2021-05-21
Filing date: 2021-05-21
Publication date: 2022-06-24
Anticipated expiration: 2041-05-21
Also published as: CN113297952A

Abstract

本发明属于机器人技术领域，涉及一种复杂环境下绳驱柔性机器人的测量方法和系统。其方法主要包括：获取第一图像，第一图像包括至少一个绳驱柔性机器人的臂段的完整侧面图像和/或目标检测物图像；检测人机交互设备基于第一图像上的触发信息，通过触发信息确定绳驱柔性机器人的臂杆轮廓及目标检测物的形状特征，通过PnP算法或最小二乘法计算臂杆轮廓在笛卡尔空间的位置并确定绳驱柔性机器人的各节臂杆的位姿，通过PnP算法或椭圆位姿解算算法计算目标检测物在笛卡尔空间的3维位姿。本发明具有测量鲁棒性好，操作简单，对环境要求低，对于柔性机器人臂形的拟合精度提高和适用范围广泛的特点。

Description

一种复杂环境下绳驱柔性机器人的测量方法和系统

技术领域

本发明属于机器人技术领域，涉及一种复杂环境下绳驱柔性机器人的测量方法和系统。

背景技术

绳驱柔性机器人因其自由度多、体型纤细、运动灵活的优点在空间狭小、环境复杂的场景中具有广泛应用，比如灾害救援、设备维修、环境探测等地面应用和在轨维护、目标监测、舱外作业等太空应用。在柔性机器人作业时，由于绳索的摩擦变形、系统各部分间的传递误差、运动学及动力学难以准确反映实际特性等问题，致使柔性机器人的结构刚度低，整臂形状和末端精度低，这导致绳驱柔性机器人在执行任务的过程中，时常难以准确地到达预期给定的位置。

为此，有必要借助外部传感的方式获得柔性机器人的整臂臂形，以提高其整臂精度和末端精度，使其运动更精确。目前，视觉测量因其非接触式测量，具有不影响机器人本体运动的优势而具有较大的应用潜力，但在很多应用场景中，环境未知且非常复杂，障碍物很多，影响视觉测量目标的提取，尤其是在太空环境中，随着卫星与星体相对位置的变化，卫星上各处的光照条件复杂多变，且卫星整体及其中安装的各器件多为颜色相近的白色。在上述因素干扰下，现有的视觉测量算法对柔性机器人的臂杆和目标物的检测和测量的成功率和精度难以保证。

发明内容

本发明提供一种复杂环境下绳驱柔性机器人的测量方法和系统，旨在至少解决现有技术中存在的技术问题之一。因此，本发明的方案基于绳驱柔性机器人的臂杆形状特征与目标识别物的形状特征，通过人机交互设备基于形状特征的触发信息，提取臂杆与目标识别物的轮廓信息，进而确定所述绳驱柔性机器人的各节臂杆和目标识别物的位姿。本发明的一种复杂环境下绳驱柔性机器人的测量方法，能够用于复杂环境，待检测目标在图像平面中特征不明显，难以利用机器人视觉检测的情况下，实现绳驱柔性机器人的臂形测量和目标检测，本发明的方法测量鲁棒性好，操作简单，对环境要求低，尤其适合于太空应用、灾害救援、设备维修等工作场合。

本发明的技术方案涉及一种复杂环境下绳驱柔性机器人的测量方法，所述方法包括以下步骤：

A、获取至少一副第一图像，所述第一图像包括至少一个所述绳驱柔性机器人的至少一个臂段的完整侧面图像和/或目标检测物图像，所述绳驱柔性机器人臂段的完整侧面图像由全局相机采集；所述目标检测物图像由固定于所述绳驱柔性机器人臂段末端的手眼相机采集；

B、检测人机交互设备基于所述第一图像上的触发信息，通过所述触发信息确定所述绳驱柔性机器人的臂杆轮廓，所述绳驱柔性机器人的臂杆包括以下至少一种：正方体臂杆、长方体臂杆或圆柱体臂杆；

C、通过PnP算法或最小二乘法计算所述臂杆轮廓在笛卡尔空间的位置并确定所述绳驱柔性机器人的各节臂杆的位姿。

进一步，还包括以下步骤：

D、检测人机交互设备基于所述第一图像上的触发信息，通过所述触发信息确定所述目标检测物的形状特征，所述形状特征包括矩形特征或类圆形特征中至少之一；

E、通过PnP算法或椭圆位姿解算算法计算所述目标检测物在笛卡尔空间的3维位姿。

进一步，所述形状特征为所述类圆形特征，所述步骤D包括：

D1、检测人机交互设备基于所述第一图像上的第一触发信息，所述第一触发信息对应所述第一图像中的所述目标检测物的形状特征点，记为Q1点；

D2、若所述Q1点为所述第一图像上的第一形状特征点，则在所述第一图像中标记所述Q1点，其中，所述Q1点为所述类圆形特征的中心点；

D3、若所述Q1点为所述第一图像上的第二形状特征点，则将所述Q1点与所述第一形状特征点连接构成所述类圆形特征的第一轴并基于所述Q1点和所述第一形状特征点标记与所述Q1点对应的所述类圆形特征的另一轴点；

D4、若所述Q1点为所述第一图像上的第三形状特征点，则计算所述Q1点基于所述第一轴和所述第一形状特征点构成的第二轴；

D5、基于所述第一轴和所述第二轴计算所述类圆形特征的长轴和短轴，通过椭圆方程：

基于所述第一图像绘制椭圆轮廓；其中，(u_c，v_c)为所述类圆形特征的中心点坐标，a_c为所述类圆形特征的长轴，

(u₁，v₁)为所述类圆形特征的长轴坐标，b_c为所述类圆形特征的短轴，

(u₂，v₂)为所述类圆形特征的短轴坐标，θ为所述类圆形特征的长轴相对于+x轴的转角，

进一步，所述形状特征为所述矩形特征，所述步骤D包括：

D6、检测人机交互设备基于所述第一图像上的第一触发信息，所述第一触发信息对应所述第一图像中的所述矩形特征的矩形角点，记为R1点；

D7、若所述R1点为所述矩形特征的第一矩形角点，则将所述R1点的坐标数据保存至预设坐标向量中的对应位置并在所述第一图像中标记所述R1点；

D8、若所述R1点为所述矩形特征的第二矩形角点或第三矩形角点，则将所述R1点与上一点连接，所述上一点为所述第一矩形角点或所述第二矩形角点；

D9、若所述R1点为所述矩形特征的第四矩形角点，则将所述R1点分别与所述第三矩形角点和所述第一矩形角点连接以形成四边形轮廓。

进一步，所述步骤E包括：

E1、若所述形状特征为所述矩形特征，则通过PnP算法计算所述四边形轮廓在笛卡尔空间的坐标位置并确定所述目标检测物在笛卡尔空间的位姿；

E2、若所述形状特征为所述类圆形特征且所述手眼相机为多目相机，则基于所述多目相机坐标系间的关系，将椭圆轮廓在与之对应的所述第一图像上的像素坐标转化至同一个相机坐标中，基于椭圆面法向量的夹角计算椭圆中心点位置和椭圆法向量并确定所述目标检测物在笛卡尔空间的位姿。

进一步，所述步骤B包括：

B1、检测人机交互设备基于所述第一图像上的第一触发信息，所述第一触发信息对应所述第一图像中的所述绳驱柔性机器人臂杆侧面的矩形角点，记为P1点；

B2、若所述P1点为所述第一图像上的第一矩形角点，则将所述P1点的坐标数据保存至预设坐标向量中的对应位置并在所述第一图像中标记所述P1点；

B3、若所述P1点不是第一矩形角点，则计算所述P1点与已标记的矩形角点的第一距离，若所述第一距离小于预设阈值，则抛弃所述P1点；若所述第一距离不小于预设阈值，则将所述P1点的坐标数据保存至预设坐标向量中的对应位置并在所述第一图像中标记所述P1点；

B4、若所述P1点为所述绳驱柔性机器人臂杆侧面的第二矩形角点或第三矩形角点，则将所述P1点与上一点连接，所述上一点为所述第一矩形角点或所述第二矩形角点，若所述P1点为所述绳驱柔性机器人臂杆侧面的第四矩形角点，则将所述P1点分别与所述第三矩形角点和所述第一矩形角点连接以形成四边形轮廓。

进一步，所述步骤B还包括：

B5、计算所述P1点与已标记的所述矩形角点的第二距离，若所述第二距离小于预设阈值，则删除所述P1点在所述预设坐标向量中的对应的数据，并将所述预设坐标向量中的所述P1点后的坐标数据整体前移1位；

B6、基于当前已标记的矩形角点，按照四点一组的顺序连接为四边形轮廓。

进一步，所述步骤B还包括：

B7、计算所述P1点与已标记的所述矩形角点的第三距离，若所述第三距离小于预设阈值，则将已标记的所述矩形角点的坐标数据设置为所述P1点的坐标数据；

B8、基于当前已标记的矩形角点，按照四点一组的顺序连接为四边形轮廓。

进一步，若所述绳驱柔性机器人的臂杆是正方体臂杆和/或长方体臂杆，所述步骤C包括：

C1、若所述全局相机为单目相机，则通过PnP算法计算所述臂杆轮廓在笛卡尔空间的位置并确定所述绳驱柔性机器人的各节臂杆的位姿；

C2、若所述全局相机为多目相机，则基于所述多目相机坐标系间的关系，将所述臂杆轮廓在与之对应的所述第一图像上的像素坐标转化至同一个相机坐标中，计算同一臂杆边缘轮廓点像素坐标的平均值并通过PnP算法计算所述臂杆轮廓在笛卡尔空间的位置并确定所述绳驱柔性机器人的各节臂杆的位姿。

进一步，若所述绳驱柔性机器人的臂杆是圆柱体臂杆，所述步骤C包括：

C3、若所述全局相机为多目相机，则基于所述多目相机坐标系间的关系，将所述臂杆轮廓在与之对应的所述第一图像上的像素坐标转化至同一个相机坐标中，拟合所述臂杆轮廓的重心，通过最小二乘法计算所述臂杆轮廓重心在笛卡尔空间的位置并确定所述绳驱柔性机器人的各节臂杆的位姿。

进一步，还包括步骤：

F、检测人机交互设备基于所述第一图像上的第二触发信息，以所述第二触发信息对应的所述第一图像中的点为中心点，按照预设放大倍数及所述第一图像上的设置区域，使用双线性插值方法放大所述设置区域，所述设置区域以所述中心点为中心，所述设置区域根据所述第二触发信息进行实时更新。

本发明的技术方案还涉及一种复杂环境下绳驱柔性机器人的测量系统，所述系统包括：

绳驱柔性机器人；固定于所述绳驱柔性机器人臂段末端的手眼相机，所述手眼相机用于采集目标检测物图像；全局相机，所述全局相机用于采集所述绳驱柔性机器人臂段的完整侧面图像；用于标记选择所述绳驱柔性机器人的臂段和目标检测物的人机交互设备；一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施上述的方法。

与现有的技术相比，本发明具有以下的特点。

1、本发明提供了一种复杂环境下绳驱柔性机器人的测量方法，能够适应复杂环境下的工作场合，尤其适合于太空应用、灾害救援、设备维修等工作场合。

2、利用人机交互方式提取机器人臂杆的轮廓，进而利用机器人运动学解算机器人各关节的弯曲角度，重建柔性机器人臂形，求解机器人末端位姿，该测量方法的测量鲁棒性好，操作简单，对环境要求低。

3、当使用多个全局相机获取多幅第一图像时，本发明方法对于柔性机器人臂形的拟合精度提高。

4、本发明的方法能够兼容长方体和圆柱体的柔性机器人的臂形测量，适用范围广泛。

附图说明

图1是根据本发明实施例的绳驱柔性机器人的测量系统的立体示意图。

图2是示例性的绳驱柔性机器人的臂杆外形及检测轮廓。

图3是根据本发明实施例的绳驱柔性机器人的测量方法的流程图。

图4是根据本发明实施例的绳驱柔性机器人的测量方法的测量识别效果图。

图5是根据本发明实施例的绳驱柔性机器人的目标检测物及检测轮廓示意图。

图6a至图6d是根据本发明实施例的绳驱柔性机器人的目标检测物的轮廓提取过程的效果示意图。

附图标记：

全局相机100、手眼相机200、绳驱柔性机器人300、矩形臂杆310、

矩形臂杆识别轮廓311、圆柱形臂杆320、圆柱形臂杆识别轮廓321、

识别目标400、目标识别物可识别类圆形轮廓410、目标识别物可识别矩形轮廓420。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。本文所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种触发信息，但这些触发信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一触发信息也可以被称为第二触发信息，类似地，第一距离也可以被称为第二距离。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。此外，本文所采用的行业术语“位姿”是指某个元件相对于空间坐标系的位置和姿态。

参照图1，图1是根据本发明实施例的绳驱柔性机器人300的测量系统的立体示意图，系统包括：绳驱柔性机器人300；固定于绳驱柔性机器人300臂段末端的手眼相机200，手眼相机200用于采集识别目标400的图像；全局相机100，全局相机100用于采集绳驱柔性机器人300臂段的完整侧面图像及用于标记选择绳驱柔性机器人300的臂段和识别目标400的人机交互设备。在一些具体的实施例之中，还可包括柔性机器人支座，全局相机固定架等。

在一些实施例中，绳驱柔性机器人可以是多自由度串联工业机器人，这样可以使得安装在柔性机器人机械臂末端的手眼相机位姿调整幅度更大，更容易多角度全方位的捕获目标识别物即识别目标的多方位图片。

在一些实施例中，人机交互设备可以是显示器、鼠标/键盘、触控笔或触摸屏。在测量臂形位姿和测量识别目标的过程中，至少一个全局相机100和至少一个手眼相机200将拍摄的臂段图片和目标识别物的图片实时显示到显示器或触摸屏显示器中，然后用户可以通过鼠标、键盘、触控笔或者触摸屏来点中图片中机器人臂段中侧面的矩形角点或者识别目标的矩形角点或圆形特征点。

图2是示例性的绳驱柔性机器人的臂杆外形及检测轮廓，具体的，绳驱柔性机器人臂杆形状主要为长方体臂杆或正方体臂杆和圆柱体臂杆，长方体臂杆可以识别臂杆侧面的矩形特征，圆柱体臂杆侧面的圆弧面可以近似等效为矩形，因此也可识别臂杆侧面的矩形特征。图2中，矩形臂杆310的可识别的侧面轮廓为矩形臂杆识别轮廓311、圆柱形臂杆320可识别的侧面轮廓可以等效为矩形，参见圆柱形臂杆识别轮廓321。

参照图3，在一些实施例中，根据本发明的测量方法，包括如下步骤：

A、获取至少一副第一图像，第一图像包括至少一个绳驱柔性机器人的至少一个臂段的完整侧面图像和/或目标检测物图像，绳驱柔性机器人臂段的完整侧面图像由全局相机采集；目标检测物图像由固定于绳驱柔性机器人臂段末端的手眼相机采集；

B、检测人机交互设备基于第一图像上的触发信息，通过触发信息确定绳驱柔性机器人的臂杆轮廓，绳驱柔性机器人的臂杆包括以下至少一种：正方体臂杆、长方体臂杆或圆柱体臂杆；

C、通过PnP算法或最小二乘法计算臂杆轮廓在笛卡尔空间的位置并确定绳驱柔性机器人的各节臂杆的位姿。

进一步，还包括以下步骤：

D、检测人机交互设备基于第一图像上的触发信息，通过触发信息确定目标检测物的形状特征，形状特征包括矩形特征或类圆形特征中至少之一，需要明说的是，类圆形特征包括但不限于正圆形，椭圆形等能够根据椭圆方程计算的圆形；

E、通过PnP算法或椭圆位姿解算算法计算目标检测物在笛卡尔空间的3维位姿。

根据本发明一个具体的实施例，对于绳驱柔性机器人的臂形位姿测量，能够通过人工干预，以鼠标操作的方式提取臂杆侧面矩形轮廓和目标识别物的特征轮廓，具体的，以采用两个全局相机100观测绳驱柔性机器人300为例，或两个手眼相机200采集识别目标400的形状特征为例，表1为人工干预算法中预先设定的一些变量及其初值，包括在计算机中预先申请的空间，用于填充全局相机100左右目图片中提取的目标点的横纵坐标。还有左右目图片中提取的目标点数量，确定在左右目图片中鼠标按键是否按下的标志位，其中鼠标按键可以是左键按下也可以是右键按下，可以理解的是，左右目图片中目标点与已提取点不重合，为新目标点的标志位。

表1

图5是根据本发明实施例的绳驱柔性机器人的目标检测物及检测轮廓示意图。图中，目标识别物包括可识别的类圆形形状特征及矩形形状特征，具体的，包括目标识别物可识别类圆形轮廓410和目标识别物可识别矩形轮廓420。

进一步，识别目标400形状特征为类圆形特征时，步骤D包括：

D1、检测人机交互设备基于第一图像上的第一触发信息，第一触发信息对应第一图像中的目标检测物的形状特征点，记为Q1点；

D2、若Q1点为第一图像上的第一形状特征点，则在第一图像中标记Q1点，其中，Q1点为类圆形特征的中心点；

D3、若Q1点为第一图像上的第二形状特征点，则将Q1点与第一形状特征点连接构成类圆形特征的第一轴并基于Q1点和第一形状特征点标记与Q1点对应的类圆形特征的另一轴点；

D4、若Q1点为第一图像上的第三形状特征点，则计算Q1点基于第一轴和第一形状特征点构成的第二轴；

D5、基于第一轴和第二轴计算类圆形特征的长轴和短轴，通过椭圆方程：

基于第一图像绘制椭圆轮廓；其中，(u_c，v_c)为类圆形特征的中心点坐标，a_c为类圆形特征的长轴，

(u₁，v₁)为类圆形特征的长轴坐标，b_c为类圆形特征的短轴，

(u₂，v₂)为类圆形特征的短轴坐标，θ为类圆形特征的长轴相对于+x轴的转角，

本发明的一个实施例为，检测计算卫星等物体的位姿，其中，卫星一般具有长方体或圆柱体的外形，其上有近似为圆形或具有圆形轮廓的把手等，因此，可提取卫星星体及其上配件的圆形特征和矩形特征以检测目标卫星位置。

具体的，其中一个实施例为：按下鼠标左键的功能主要为选择目标点并连接各点以绘制椭圆，通过绘制椭圆能够更好地辅助操作人员确认目标点选择的准确性，以在左目图片中操作为例，点击左键后的具体逻辑为先将两标志位置为1，如果图片上已经存在点击的点，则需判断鼠标光标位置与已存在点的距离，如果小于阈值则说明该点与已存在点为同一点，令newpointflag_L＝false，不进行后续操作，如果newpointflag_L＝true，则将该点坐标存入预留的横纵坐标向量中的对应位置并在左目原图片中标记该点，如果为第一点，则在图片中标记该点，该点为椭圆的中心点，如果为第二点，则根据该点与上一点的连线为椭圆的长轴或短轴，同时可以确定该轴的另一顶点，通过椭圆中心点与该轴垂直的轴为椭圆另一轴，如果为第三点，则需求解该点与上一次点击时确定的垂直轴的垂足，垂足与椭圆中心的连线则为椭圆的长轴或短轴，具体为哪轴根据第二点和第三点确定的轴的长度分辨。第三点确定后，根据椭圆方程在图片上绘制椭圆，椭圆方程如下：

其中，(U_c，V_c)为椭圆中心点坐标，a_c为椭圆长轴，

(U₁，V₁)为椭圆长轴坐标，b_c为椭圆短轴，

(U₂，V₂)为椭圆短轴坐标，θ为椭圆长轴相对于+x轴的转角，

进一步，形状特征为矩形特征，步骤D包括：

D6、检测人机交互设备基于第一图像上的第一触发信息，第一触发信息对应第一图像中的矩形特征的矩形角点，记为R1点；

D7、若R1点为矩形特征的第一矩形角点，则将R1点的坐标数据保存至预设坐标向量中的对应位置并在第一图像中标记R1点；

D8、若R1点为矩形特征的第二矩形角点或第三矩形角点，则将R1点与上一点连接，上一点为第一矩形角点或第二矩形角点；

D9、若R1点为矩形特征的第四矩形角点，则将R1点分别与第三矩形角点和第一矩形角点连接以形成四边形轮廓。

具体的，本发明中实施例以鼠标左键触控信息为例，鼠标左键的功能主要为选择目标点并连接各点以绘制四边形，通过绘制四边形能够更好地辅助操作人员确认目标点选择的准确性，以在左目图片中操作为例，点击左键后的具体逻辑为先将两标志位置为1，如果图片上已经存在点击的点，判断鼠标光标位置与已存在点的距离，如果小于阈值则说明该点与已存在点为同一点，令newpointflag_L＝false，不进行后续操作，如果newpointflag_L＝true，则将该点坐标存入预留的横纵坐标向量中的对应位置并在左目原图片中标记该点，如果该点为四边形的第二或第三点，将该点与上一点相连，如果为第四点，将该点与上一点和第一点相连以组成四边形，可以理解的是，阈值可以根据具体的识别特征灵活设置。

进一步，步骤E包括：

E1、若形状特征为矩形特征，则通过PnP算法计算四边形轮廓在笛卡尔空间的坐标位置并确定目标检测物在笛卡尔空间的位姿；

E2、若形状特征为类圆形特征且手眼相机为多目相机，则基于多目相机坐标系间的关系，将椭圆轮廓在与之对应的第一图像上的像素坐标转化至同一个相机坐标中，基于椭圆面法向量的夹角计算椭圆中心点位置和椭圆法向量并确定目标检测物在笛卡尔空间的位姿。

参照图6a至图6d所示，图6a-图6d是根据本发明实施例的绳驱柔性机器人的目标检测物的轮廓提取过程的效果示意图，通过图中可以看出，对于圆形特征，首选标记圆心一点，根据圆心位置，标记圆形轮廓上一点，由此确定圆形的长轴或者短轴以及与该标记点对应的另一边的轴点，基于此，标记另一个轴点，根据这些轴点绘制圆形。按照矩形形状的标记方法标记矩形特征，通过效果图可以看出，通过该标记方法提取的轮廓特征明显，有利于后续更准确的位姿估计。

对于绳驱柔性机器人的臂形测量，提取臂杆侧面矩形轮廓，其中，步骤B包括：

B1、检测人机交互设备基于第一图像上的第一触发信息，第一触发信息对应第一图像中的绳驱柔性机器人臂杆侧面的矩形角点，记为P1点；

B2、若P1点为第一图像上的第一矩形角点，则将P1点的坐标数据保存至预设坐标向量中的对应位置并在第一图像中标记P1点；

B3、若P1点不是第一矩形角点，则计算P1点与已标记的矩形角点的第一距离，若第一距离小于预设阈值，则抛弃P1点；若第一距离不小于预设阈值，则将P1点的坐标数据保存至预设坐标向量中的对应位置并在第一图像中标记P1点；

B4、若P1点为绳驱柔性机器人臂杆侧面的第二矩形角点或第三矩形角点，则将P1点与上一点连接，上一点为第一矩形角点或第二矩形角点，若P1点为绳驱柔性机器人臂杆侧面的第四矩形角点，则将P1点分别与第三矩形角点和第一矩形角点连接以形成四边形轮廓。

具体的，以在左目图片中操作为例，点击左键后的具体逻辑为先将两标志位置为1，如果图片上已经存在点击的点，则需判断鼠标光标位置与已存在点的距离，如果小于阈值则说明该点与已存在点为同一点，令newpointflag_L＝false，不进行后续操作，如果newpointflag_L＝true，则将该点坐标存入预留的横纵坐标向量中的对应位置并在左目原图片中标记该点，如果该点为四边形的第二或第三点，将该点与上一点相连，如果为第四点，将该点与上一点和第一点相连以组成四边形。

进一步，步骤B还包括：

B5、计算P1点与已标记的矩形角点的第二距离，若第二距离小于预设阈值，则删除P1点在预设坐标向量中的对应的数据，并将预设坐标向量中的P1点后的坐标数据整体前移1位；

具体的，鼠标选点的过程中，可能会发生误点击现象或对当前已选择点较多，想要删除一些点的情况，本发明的臂形测量方法中一个具体的实施例为，使用鼠标右键的功能删除已经选择的目标点，以在左目图片中操作为例，点击鼠标右键后的具体操作逻辑为利用前期预先保存的左目图片原图副本，将当前的左目图片更改为未进行任何操作的图片，判断第i_L点坐标是否为0，是0则说明为选择第i_L点，令i_L＝i_L-1，如果光标距离当前已选的点距离小于阈值，则删除该点在横纵坐标向量中的对应值，将向量中该点后的坐标值整体前移1位，并令i_L＝i_L-1，根据当前已选择的目标点按照四点一组的顺序绘制闭合四边形，不足四点的依次连接。

进一步，步骤B还包括：

B7、计算P1点与已标记的矩形角点的第三距离，若第三距离小于预设阈值，则将已标记的矩形角点的坐标数据设置为P1点的坐标数据；

具体的，鼠标或者触控笔等选点过程中，点击的点与实际轮廓点不一定完全重合，因此有需要调整点位置的情况，本发明的臂形测量方法中的一个实施例是：按住鼠标左键并移动能够更改当前已选择点的位置，具体操作逻辑如下，首先判断Clickleftflag_L＝true？，即当前鼠标左键是否按下，如果未按下则无操作，如果左键按下，利用前期预先保存的左目图片原图副本，将当前的左目图片更改为未进行任何操作的图片，判断第i_L点坐标是否为0，是0则说明为选择第i_L点，令i_L＝i_L-1，如果光标距离当前已选的点距离小于阈值，则将当前光标位置坐标赋值给该点，据当前已选择的目标点按照四点一组的顺序绘制闭合四边形，不足四点的依次连接。

图4是根据本发明实施例的绳驱柔性机器人的测量方法的测量识别效果图。图中，是对圆柱形臂杆边缘的提取效果，其中，圆形点为确定的目标点，直线为目标点间的连线，相邻四点连接为四边形。从图片中可以看出，臂杆边缘提取效果较好，能够准确提取臂杆边缘。

进一步，若绳驱柔性机器人的臂杆是正方体臂杆和/或长方体臂杆，步骤C包括：

C1、若全局相机为单目相机，则通过PnP算法计算臂杆轮廓在笛卡尔空间的位置并确定绳驱柔性机器人的各节臂杆的位姿；

C2、若全局相机为多目相机，则基于多目相机坐标系间的关系，将臂杆轮廓在与之对应的第一图像上的像素坐标转化至同一个相机坐标中，计算同一臂杆边缘轮廓点像素坐标的平均值并通过PnP算法计算臂杆轮廓在笛卡尔空间的位置并确定绳驱柔性机器人的各节臂杆的位姿。

具体的，在提取到臂杆边缘轮廓点后，对于长方体臂杆，当利用单目相机观测时，可以利用PnP算法求解边缘轮廓点的在笛卡尔空间的位置，进而求解各节臂杆的位姿，当利用多目相机观测时，可以根据各个相机坐标系间的关系，将臂杆边缘轮廓点在各图片上的像素坐标转化到同一个相机中，求解同一边缘轮廓点不同坐标间的平均数，以提高算法的鲁棒性，然后利用PnP算法求解边缘轮廓点的在笛卡尔空间的位置。

进一步，若绳驱柔性机器人的臂杆是圆柱体臂杆，步骤C包括：

C3、若全局相机为多目相机，则基于多目相机坐标系间的关系，将臂杆轮廓在与之对应的第一图像上的像素坐标转化至同一个相机坐标中，拟合臂杆轮廓的重心，通过最小二乘法计算臂杆轮廓重心在笛卡尔空间的位置并确定绳驱柔性机器人的各节臂杆的位姿。

具体的，对于圆柱体臂杆，因为其臂杆侧面无实际角点，可以利用多目相机观测，拟合臂杆轮廓的重心后，利用最小二乘法求解臂杆中心在笛卡尔空间的位置。

表2是利用双目相机观测圆柱体臂杆的误差表，相机分辨率1280*1024，观测距离约2.3m。可以看出，总误差在25mm内。

表2

臂杆	X	y	z	总误差
					1	6.803607	0.587698	8.90142	11.21917
2	5.570576	4.623417	8.685045	11.30652
					3	6.827726	0.770093	10.04536	12.17046
4	5.612462	2.146043	6.762942	9.04669
					5	5.845377	0.561365	6.89579	9.057344
6	6.059567	0.139283	9.147155	10.97307
					7	1.426627	10.6793	20.95279	23.5606
8	2.72796	6.111631	3.540997	7.57182
					9	3.33436	7.273477	2.423243	8.360234
10	6.027566	4.219223	23.84548	24.95476
					11	6.882164	1.83857	12.10018	14.04133
12	4.859024	0.10719	5.328963	7.212451
					13	6.632317	1.103125	14.48575	15.97001
14	5.354423	1.410651	0.036076	5.537245
					15	7.42959	1.025073	14.82042	16.61007
16	6.291117	1.90077	12.1144	13.78222

进一步，还包括步骤：

F、检测人机交互设备基于第一图像上的第二触发信息，以第二触发信息对应的第一图像中的点为中心点，按照预设放大倍数及第一图像上的设置区域，使用双线性插值方法放大设置区域，设置区域以中心点为中心，设置区域根据第二触发信息进行实时更新。

具体的，为了便于观察目标和点选目标点，本发明的实施例中包含图片局部放大功能，以在左目图片中操作为例，具体操作为首先复制待操作图片，后续操作在复制后的图片中进行，设定放大矩形区域的长和宽，以鼠标光标位置为中心确定放大区域并在图片上开辟一块21*2h的区域，利用双线性插值方法扩展待放大区域至21*2h，并将其填充至开辟的21*2h区域内，显示复制后的图片。复制的图片不断刷新，因此能实时放大当前鼠标光标所在位置。

本发明的实施例中还包括一种计算机可读存储介质，其上储存有程序指令，程序指令被处理器执行时实施如上述的任一项所述的方法。

通过本发明的实施例，提供了一种复杂环境下测量绳驱柔性机器人臂形的方法，利用鼠标操作或者各种人机交互设备的操作方式，提取机器人臂杆的轮廓，进而利用机器人运动学解算机器人各关节的弯曲角度，重建柔性机器人臂形，求解机器人末端位姿。

本发明的实施例还提供了一种复杂环境下识别目标物和解算其位姿的方法，通过鼠标操作的方式确定特征点和轮廓线，拟合目标物的特征轮廓，进而确定目标物的三维位姿，指导柔性机器人运动。本发明的测量方法测量鲁棒性好，操作简单，对环境要求低，适合于太空应用、灾害救援、设备维修等工作场合。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims

1.一种复杂环境下绳驱柔性机器人的测量方法，其特征在于，所述方法包括以下步骤：

A、获取至少一副第一图像，所述第一图像包括至少一个所述绳驱柔性机器人的至少一个臂段的完整侧面图像和目标检测物图像，所述绳驱柔性机器人臂段的完整侧面图像由全局相机采集；所述目标检测物图像由固定于所述绳驱柔性机器人臂段末端的手眼相机采集；

C、通过PnP算法或最小二乘法计算所述臂杆轮廓在笛卡尔空间的位置并确定所述绳驱柔性机器人的各节臂杆的位姿；

E、通过PnP算法或椭圆位姿解算算法计算所述目标检测物在笛卡尔空间的3维位姿；

F、检测人机交互设备基于所述第一图像上的第二触发信息，以所述第二触发信息对应的所述第一图像中的点为中心点，按照预设放大倍数及所述第一图像上的设置区域，使用双线性插值方法放大所述设置区域，所述设置区域以所述中心点为中心，所述设置区域根据所述第二触发信息实时更新。

2.根据权利要求1所述的方法，其特征在于，所述形状特征为所述类圆形特征，则所述步骤D包括：

D5、基于所述第一轴和所述第二轴计算所述类圆形特征的长轴和短轴，并通过椭圆方程基于所述第一图像绘制椭圆轮廓，所述椭圆方程为：

其中，(u,v)是绘制的椭圆轮廓上的点坐标，(u_c,v_c)为所述类圆形特征的中心点坐标，a_c为所述类圆形特征的长轴，

(u₁,v₁)为所述类圆形特征的长轴坐标，b_c为所述类圆形特征的短轴，

(u₂,v₂)为所述类圆形特征的短轴坐标，

为所述类圆形特征的长轴相对于x轴正向的转角。

3.根据权利要求1所述的方法，其特征在于，所述形状特征为所述矩形特征，则所述步骤D包括：

4.根据权利要求3所述的方法，其特征在于，所述步骤E包括：

5.根据权利要求1所述的方法，其特征在于，所述步骤B包括：

B2、若所述P1点为所述第一图像上的第一矩形角点，则保存所述P1点的坐标数据至预设坐标向量中的对应位置并在所述第一图像中标记所述P1点；

6.根据权利要求5所述的方法，其特征在于，所述步骤B还包括：

7.根据权利要求5所述的方法，其特征在于，所述步骤B还包括：

8.根据权利要求1所述的方法，其特征在于，若所述绳驱柔性机器人的臂杆是正方体臂杆和/或长方体臂杆，所述步骤C包括：

C2、若所述全局相机为多目相机，则基于所述多目相机坐标系间的关系，将所述臂杆轮廓在与之对应的所述第一图像上的像素坐标转化至同一个相机坐标中，计算同一臂杆边缘轮廓点像素坐标的平均值并通过PnP算法计算所述臂杆轮廓在笛卡尔空间的位置并确定所述绳驱柔性机器人的各节臂杆的位姿；

9.一种复杂环境下绳驱柔性机器人的测量系统，其特征在于，所述系统包括：

绳驱柔性机器人；

固定于所述绳驱柔性机器人臂段末端的手眼相机，所述手眼相机用于采集目标检测物图像；

全局相机，所述全局相机用于采集所述绳驱柔性机器人臂段的完整侧面图像；

用于标记选择所述绳驱柔性机器人的臂段和目标检测物的人机交互设备；

计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至8中任一项所述的方法。