CN104484648B

CN104484648B - 基于轮廓识别的机器人可变视角障碍物检测方法

Info

Publication number: CN104484648B
Application number: CN201410706630.0A
Authority: CN
Inventors: 艾青林; 沈智慧; 应申舜
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Huzhou Duxin Technology Co ltd
Priority date: 2014-11-27
Filing date: 2014-11-27
Publication date: 2017-07-25
Anticipated expiration: 2034-11-27
Also published as: CN104484648A

Abstract

一种基于轮廓识别的机器人可变视角障碍物检测方法，包括：(1)使用标定板对双目视觉系统进行标定；(2)使用两台摄像机同时对同一场景进行拍摄，对左右两幅图像进行极线校正，然后提取边缘并连接；(3)寻找目标物体的轮廓并进行匹配；(4)重建出轮廓的三维点云并优化三维轮廓点云；(5将转台旋转一定角度，确保两次拍摄具有重叠区域，对另一个方向进行三维重建；(6)寻找两组三维轮廓点云的重叠区域；(7)采用七参数法对两组三维轮廓点云进行初始配准；(8)赋予重叠区域的对应点权重，对重叠区域的三维轮廓点云进行迭代最近点法运算，完成三维轮廓点云的精确配准。本发明配准精度高，且运算量小，具有较高实时性。

Description

基于轮廓识别的机器人可变视角障碍物检测方法

技术领域

本发明属于计算机视觉和图像测量技术领域，尤其涉及机器人视觉导航中基于轮廓识别的机器人可变视角障碍物检测方法。

背景技术

双目三维重建是机器视觉中一个非常重要的研究领域，广泛应用于机器人导航中。经过相机标定，图像采集，图像预处理，立体匹配和三维重建后可以得到物体的三维信息。目前，绝大多数三维重建方法都是基于固定视角，即机器人每次获得的三维信息的范围是固定的。这使得机器人在同一个坐标系中不可能分析大视角范围的障碍物，并进行三维重建。

为了使机器人能根据实际要求，实现可变视角内的障碍物检测，从而更加全面地感知外界环境信息，以便更好地进行路径规划及其它相关工作，需要对两个三维点云进行拼接。

目前大多数的图像特征提取和匹配算法存在一个矛盾:当提取的特征量足够多时,图像的匹配误差率将大大提高；而当匹配准确度很高的时候,往往提取的的特征量是很稀疏的,不能满足三维重建的要求,典型的如Sift点的提取和匹配,sift是Lowe提出的一种采用多尺度高斯差分图像检测关键点的方法,其中每个关键点的位置和尺度对应于一个局部稳定的区域,每个特征点都有与之对应的特征向量,匹配准确率高,但是其特征点的数量有限,很难达到三维重建的要求。

用于三维数据拼接的方法主要有三种：

第一种：通过精密平台、经纬仪、激光跟踪仪等大型装置来扩展测量范围,这种方法中所用的测量装置价格昂贵，而且无法应用于野外机器人的自主导航中。

第二种：通过在测量装置相邻两次测量的公共视场内粘贴标记点，利用其中非共线的三个点来求取拼接矩阵，这种方法需要人为粘贴标记点，也无法应用于野外机器人的自主导航中。

第三种：迭代最近点算法，当点比较多时，这种方法存在迭代运算量大，运行时间长等问题,且不适合于表面曲率变化不丰富的被测物,对重叠区域的查找也是一个难点。

所以一种既能够提取图像足够多的特征信息，又能够保证图像特征匹配的准确率同时能适应野外快速自动拼接的方法成为函待解决的问题。

发明内容

为了克服现有的机器人障碍物检测方法的计算量大、快速性较差的不足，本发明提供了一种基于轮廓识别的机器人可变视角障碍物检测方法，因为图像的边缘包含了用于识别的有用信息，且相对于所有点的密集匹配大大减少了计算量，且基于边缘的拼接方法能适应无人为干预情况下三维点云的快速拼接。

为了解决上述技术问题采用的技术方案如下：

一种基于轮廓识别的机器人可变视角障碍物检测方法，包括下列步骤：

(1)双目立体视觉系统的标定：将两个CCD摄相机装于机器人的转台上，使用标定板对双目视觉系统的每一个摄像机进行标定并记录各摄像机的内参数和外参数，对双目视觉系统进行立体标定并记录两个摄像机之间位置关系的旋转矩阵R_c和平移矩阵T_c，并设置双目视觉系统的全局坐标系O₁；

(2)图像采集及预处理：使用两台摄像机同时对同一场景进行拍摄，得到左右两幅图像P_l1，P_r1，并对两幅图像进行极线校正，然后逐行扫描每幅图像，提取灰度变化剧烈的像素点为候选边缘点，并用闭运算方法连接图像中目标物体的边缘；

(3)基于轮廓识别的立体匹配：从目标物体的边缘图像中，寻找目标物体的轮廓，对左右两幅图像中目标物体的轮廓分别进行匹配，采用基于窗口的灰度匹配原则对匹配轮廓上的每个像素点在对应极线上进行匹配；

(4)基于轮廓识别的快速三维重建：利用己经标定好的系统参数进行目标物体轮廓的三维重建，通过标定好的每个摄像机的内参数和两个摄像机之间位置关系的旋转矩阵R和平移矩阵T确定物体轮廓各点的空间坐标和图像坐标的关系，通过轮廓特征点的图像坐标可得到空间三维坐标，根据轮廓的连续性原理优化三维轮廓点云；

(5)对另一个方向进行三维重建：根据双目立体视觉的系统单次拍摄的视角范围，将转台旋转一定角度，确保两次拍摄具有重叠区域，得到另外一组图像P_l2，P_r2，设置双目视觉系统的全局坐标系O₂,对另一方向拍摄的图像按步骤(2)至(4)进行基于轮廓识别的快速三维重建；

(6)寻找两组三维点云的重叠区域：对两组图像中的左图像P_l1，P_l2进行轮廓匹配，寻找匹配轮廓对应的三维轮廓点云N和M，即重叠区域；

(7)初始配准：分别计算两组重叠区域三维轮廓点云的重心，并分别以两组重叠区域三维轮廓点云中距离重心最远的点p_f1、p_f2，中间的点p_m1、p_m2和最近的点p_n1、p_n2为特征点，以双目视觉系统的全局坐标系O₁为基准，采用七参数法计算两组三维轮廓点云的旋转矩阵R_i和平移矩阵T_i，从而完成两组三维轮廓点云的初始配准；

(8)精确配准：赋予重叠区域的对应点权重，对重叠区域不同权重的三维轮廓点云进行迭代最近点法运算，求解出两组三维轮廓点云的旋转矩阵R_a和平移矩阵T_a，从而将两组三维轮廓点云转换到全局坐标系O₁下，完成三维轮廓点云的精确配准。

进一步，所述步骤(3)，基于轮廓识别的立体匹配过程包括下列步骤：

(3.1)从目标物体的边缘图像中，提取目标物体的轮廓；

(3.2)计算左右两幅图像中目标物体轮廓的匹配度，将匹配系数小于阈值σ₁的轮廓视为匹配轮廓；

(3.3)对于匹配轮廓上的像素点采用基于窗口的灰度匹配原则在对应极线上进行匹配。

(3.4)若目标物体的轮廓已经历遍，则基于轮廓识别的立体匹配结束，否则，重复步骤(3.2)、(3.3)。

再进一步，所述检测方法还包括步骤：(9)加权融合：采用加权平均融合算法融合配准后的三维轮廓点云，以消除点云间可能存在的裂缝，使三维轮廓点云更加平滑。

更进一步，所述步骤(4)中，所述的根据轮廓的连续性原理优化三维轮廓点云，即计算目标物体对应的三维轮廓点云中相邻两点之间的平均距离L，以平均距离的两倍即2L为阈值，若存在三维点到相邻任一三维点的距离大于2L，则将其视为噪声点，予以舍去。

所述步骤(8)包括下列步骤：

(8.1)为轮廓点云N中的每一个点在轮廓点云M中寻找最近点，作为对应点并赋予对应点权重，对应点的距离越远，赋给它的权值越小：

其中Dist(p₁,p₂)表示对应点(p₁,p₂)之间的欧式空间距离，Dist_max表示对应点距离的最大值。给定阈值σ₂，如果对应点的Weight≥σ₂，保留该对应点，否则剔除该对应点；

(8.2)判断是否历遍所有对应点，如果没有历遍，寻找下一组对应点，重复步骤

(8.1)，否则，以双目视觉系统的全局坐标系O₁为基准，对重叠区域不同权重三维轮廓点云进行迭代最近点法运算，求解出两组三维轮廓点云之间的旋转矩阵R_a和平移矩阵T_a；

(8.3)通过旋转矩阵R_a和平移矩阵T_a，将两组三维轮廓点云转换到全局坐标系O₁下，完成三维轮廓点云的精确配准。

本发明的有益效果为：因为图像的边缘包含了用于识别的有用信息，且相对于所有点的密集匹配大大减少了计算量，且基于边缘的拼接方法能适应无人为干预情况下三维点云的快速拼接；不需要标记点等，能自动完成可变视角下的三维轮廓点云拼接，配准精度高，且运算量小，具有较高实时性。

附图说明

图1是本发明的基于轮廓识别的机器人可变视角障碍物三维重建和拼接流程图。

图2是本发明的极线校正示意图

图3是本发明的轮廓点匹配的流程图。

图4是本发明的三维重建的示意图。

图5是本发明的基于赋予三维轮廓点云权重的ICP算法的精确配准流程图。

具体实施方案

下面参照附图,对本发明具体实施方案做更为详细的描述。

图1是本发明的整个三维重建和拼接的流程图，一种基于轮廓识别的机器人可变视角障碍物检测方法，包括以下步骤：

(1)双目视觉系统的标定。摄像机的标定是为了获得摄像机的内外参数，即便是同一型号摄像机的内外参数也不相同，所以需要对于实验用到的两台摄像机进行标定，获取其内外参数。首先，CCD摄相机装于机器人的转台上，对单个摄像机进行标定获得每个摄像机的内参数和外参数，然后对双目视觉系统进行立体标定获得两个摄像机之间位置关系的旋转矩阵R_c和平移矩阵T_c，并设置双目视觉系统的全局坐标系O₁。

摄像机标定技术现在已经比较成熟，参考文献A：A Flexible New Technique forCamera Calibration”(Zhang Z Y,IEEE Transactions on Pattern Analysis andMachine Intelligence,2000,20(11):1330-1334)，即“一种灵活的摄像机标定新技术”(张正友,模式识别和机器智能学报,2000,20(11):1330-1334)，提出了一种称为平面模板法的标定算法，本发明中采用这种方法分别对两台摄像机进行标定。

(2)图像采集及预处理。本方法采用两台型号相同的摄像机，固定在可控转台上，能够左右移动改变两台摄像机的水平距离D。调节D到适当位置，固定两台摄像机进行图像采集，左右摄像机采集的图像分别记为P_l1，P_r1。

由于采集的图像存在噪声，所以要对图像进行预处理。采用如下所示高斯算子对采集的图像进行平滑滤波，以去除噪声点。

根据极线约束原理，左图中某像素在右图上的匹配像素位于该像素对应的一条极线上。而在实际的双目重建系统中，由于两个摄像机并不能保证绝对的平行拍摄，需要进行极线校正。根据步骤(1)标定过程得到的摄像机内外参数，进行极线校正，最终形成目标物的待匹配图像。

参考文献B：“A compact algorithm for rectification of stereo pairs”(Fusiello A,Trucco E,Verri A.Machine Vision and Applications,2000,12(1):16-22)，即“用于立体图像对校正的简明算法”(Fusiello A,Trucco E,Verri A.机器视觉及应用,2000,12(1):16-22)，采用参考文献B中提出的极线校正方法对所拍摄的左右图像进行对极线校正，如图2所示，如果变换后图像中的像素点坐标对应到原始图像中的非整数坐标上时，则进行双线性插值，最后得到平行式双目视觉模型，经过校正后的图像无失真，两幅待匹配图像中对应的匹配像素具有相同的纵坐标，从而将立体匹配的搜索过程从二维降到了一维，提高了后续步骤的运算效率和精度。

采用canny算子对预处理后的图像进行边缘提取，但由于噪声、光照不均等因素的影响，获得边缘往往是断裂的，本发明中采用5×5方形的核对边缘进行闭合运算，以连接图像中断裂的目标物体边缘。

(3)基于轮廓识别的立体匹配。如图3，包括下列子步骤：

(3.1)采用OpenCV函数库里的cvFindContours函数，分别从左右两幅边缘图像中提取多个目标物体的轮廓{A_i,i＝1,2,...,m}及{B_j,j＝1,2,...,n}；

(3.2)采用OpenCV函数库里的cvMatchShapes函数计算A_i与B_j的匹配度，若匹配系数小于1的轮廓，则A_i与B_j是匹配轮廓；若匹配系数大于1，令j＝j+1，然后计算A_i与B_j的匹配度，直到找到匹配轮廓或历遍右图所有目标物体的轮廓。

(3.3)对于匹配的轮廓上的像素点采用基于窗口的灰度匹配原则在对应极线上进行匹配。

基于窗口的灰度匹配原则具体描述如下：对左右两幅图像匹配轮廓上的像素点p_l和p_r进行匹配时，为了提高匹配的正确率，考虑以这两个点为中心的3×3窗口中的图像点之间的匹配。将p_l点所在窗口所有点的灰度值构成向量v₁，对点p_r也做相同处理，得到向量v₂。使用的判别原则是：两个向量v₁和v₂的夹角越小，则两个点的匹配度越高；反之，匹配度越低。使用下式来计算两个向量的夹角：

本发明以0.9作为判断两个像素点是否匹配的阈值，即当cosθ大于0.9时，认为两像素点匹配，否则，视为不匹配。

(3.4)若左图中目标物体的轮廓已经历遍则基于轮廓识别的立体匹配结束，否则，令i＝i+1，重复步骤(3.2)、(3.3)。

(4)基于轮廓识别的快速三维重建。如图4，假设有匹配点对p_l＝(u₁ v₁ 1)^T和p_r＝(u₂ v₂ 1)^T。由二维图像点与三维空间点之间的映射关系，可以得到

p_l＝k₁P₁M

p_r＝k₂P₂M

其中，P₁、P₂分别是左图像和右图像的透视投影矩阵，M＝(X Y Z 1)^T为对应的空间点三维坐标，k₁，k₂为比例系数。现在，将上面两式展开得到

采用最小二乘法可以求出X，Y，Z的解。

计算目标物体对应的三维轮廓点云中相邻两点之间的平均距离L，以平均距离的两倍即2L为阈值，若存在三维点到相邻任一三维点的距离大于2L，则将其视为噪声点，予以舍去。

(6)寻找两点云的重叠区域：对两组图像中的左图像P_l1，P_l2进行轮廓匹配，寻找匹配轮廓对应的三维轮廓点云N和M，即重叠区域；

(7)初始配准：计算重叠区域三维轮廓点云的重心，并分别以两组重叠区域三维轮廓点云中距离重心最远的点p_f1、p_f2，中间的点p_m1、p_m2和最近的点p_n1、p_n2为特征点，通过这三组对应的三维点求解出两坐标系之间旋转矩阵R_i和平移矩阵T_i，其坐标转换模型如下：

上式是七参数法模型的简化形式，其中包含7个转换参数，即3个平移参数：Δx、Δy、Δz，三个旋转参数：ε_x、ε_y、ε_z，1个尺度因子k。以双目视觉系统的全局坐标系O₁为基准，将两组三维点云转换到同一坐标系下，完成初始配准。

(8)精确配准：如图5，包括下列步骤：

其中Dist(p₁,p₂)表示对应点(p₁,p₂)之间的欧式空间距离，Dist_max表示对应点距离的最大值。给定阈值σ₂，如果对应点的Weight≥σ₂，保留该对应点，否则剔除该对应点。

(8.1)，否则，采用ICP方法计算两组三维轮廓点云之间的转换矩阵,；

以双目视觉系统的全局坐标系O₁为基准，对于重叠区域不同权重的三维轮廓点云M＝{M_i,i＝0,1,2,...,k}及N＝{N_i,i＝0,1,2,...,n}，其中，M与N元素间不必存在一一对应关系，元素数目亦不必相同，设k≥n。配准过程就是求取2个坐标系间的旋转矩阵R_a和平移矩阵T_a，使得来自N与M的同源点间距离最小。其过程如下：

1)计算最近点，即对于集合N中的每一个点，在集合M中都找出距该点最近的对应点，设集合M中由这些对应点组成的新点集为Q＝{Q_i,i＝0,1,2,...,n}。

2)采用最小均方根法，计算点集N与Q之间的配准，从而得到配准变换矩阵R_a、T_a，其中R_a是3×3的旋转矩阵，T_a是3×1的平移矩阵。

3)计算坐标变换，即对于集合N，用配准变换矩阵R_a，T_a进行坐标变换，得到新的点集N₁，即N₁＝R_aU+T_a。

4)计算N₁与Q之间的均方根误差，如小于预设的极限值ε，则结束，否则，以点集N₁替换N，重复上述步骤。

(8.3)将两组三维轮廓点云转换到全局坐标系O₁下，完成三维轮廓点云的精确配准。

(9)加权融合：加权平均算法即对融合区域的每一个点取其对应重叠区域的两个点的加权均值，其算法可表述为：

式中，α与β表示用于加权的系数，同时需满足α+β＝1，f₁(x,y)与f₂(x,y)是两幅等待融合的图像，D₁是图像f₁(x,y)所在的区域，D₂是图像f₂(x,y)所在的区域，D用来表示两幅图像的重叠区域，且配准后的三维轮廓点云经过加权融合可以消除点云间可能存在的裂缝，使三维轮廓点云更加平滑。

(10)当机器人用上述基于轮廓的可变视觉障碍物检测方法得到当前坐标系下障碍物的三维轮廓点云之后，机器人控制系统对三维轮廓点云数据进行分析和处理，为机器人在现实复杂三维场景中的各种运动(包括越障和避障)提供导航。

本实施例编程实现根据选用VS2010和OpenCV图像处理函数库。本实施例的检测方法应用于机器人视觉导航中。

Claims

1.一种基于轮廓识别的机器人可变视角障碍物检测方法，其特征在于：所述检测方法包括下列步骤：

分别从左右两幅边缘图像中提取多个目标物体的轮廓{A_i,i＝1,2,…,m}及{B_j,j＝1,2,…,n}；计算A_i与B_j的匹配度，若匹配系数小于1的轮廓，则A_i与B_j是匹配轮廓；若匹配系数大于1，令j＝j+1，然后计算A_i与B_j的匹配度，直到找到匹配轮廓或历遍右图所有目标物体的轮廓；对于匹配的轮廓上的像素点采用基于窗口的灰度匹配原则在对应极线上进行匹配；

(4)基于轮廓识别的快速三维重建：利用己经标定好的系统参数进行目标物体轮廓的三维重建，通过标定好的每个摄像机的内参数和两个摄像机之间位置关系的旋转矩阵R_c和平移矩阵T_c确定物体轮廓各点的空间三维坐标和图像坐标的关系，通过轮廓特征点的图像坐标可得到空间三维坐标，根据轮廓的连续性原理优化三维轮廓点云，即计算目标物体对应的三维轮廓点云中相邻两点之间的平均距离L，以平均距离的两倍即2L为阈值，若存在三维点到相邻任一三维点的距离大于2L，则将其视为噪声点，予以舍去；

(8)精确配准：赋予重叠区域的对应点权重，对重叠区域不同权重的三维轮廓点云进行迭代最近点法运算，求解出两组三维轮廓点云的旋转矩阵R_a和平移矩阵T_a，从而将两组三维轮廓点云转换到全局坐标系O₁下，完成三维轮廓点云的精确配准；所述步骤(8)包括下列步骤：

W e i g h t = 1 - \frac{D i s t (p_{1}, p_{2})}{{Dist}_{m a x}}

其中Dist(p₁,p₂)表示对应点(p₁,p₂)之间的欧式空间距离，Dist_max表示对应点距离的最大值，给定阈值σ₂，如果对应点的Weight≥σ₂，保留该对应点，否则剔除该对应点；

2.如权利要求1所述的基于轮廓识别的机器人可变视角障碍物检测方法，其特征在于：所述检测方法还包括步骤：(9)加权融合：采用加权平均融合算法融合配准后的三维轮廓点云，以消除点云间可能存在的裂缝，使三维轮廓点云更加平滑。