CN105717928B - 一种基于视觉的机器人导航过门方法 - Google Patents
一种基于视觉的机器人导航过门方法 Download PDFInfo
- Publication number
- CN105717928B CN105717928B CN201610266610.5A CN201610266610A CN105717928B CN 105717928 B CN105717928 B CN 105717928B CN 201610266610 A CN201610266610 A CN 201610266610A CN 105717928 B CN105717928 B CN 105717928B
- Authority
- CN
- China
- Prior art keywords
- robot
- door
- msub
- vertical stripe
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012937 correction Methods 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 239000007787 solid Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于视觉的机器人导航过门方法，该方法包括：根据传感器得到机器人在全局坐标系中的位置和姿态参数；确定机器人所要通过的门；确定机器人开启摄像头的区域；计算导航终点；机器人运动到导航终点；机器人开启双摄像头进行门识别；以门中心为原点建立笛卡尔坐标；控制机器人分别到达3个矫正点；穿过门完成过门操作。本发明技术方案根据视觉返回的信息计算门和机器人的相对位置关系，根据里程计返回的信息计算机器人的全局位置信息，对机器人的位置和姿势参数进行有效的获取，从而控制机器人精确的实现过门的运动。
Description
技术领域
本发明涉及自动化技术领域，特别涉及一种基于视觉的机器人导航过门方法。
背景技术
随着机器人技术的发展，室内自主机器人将会被广泛用于生活中的各个领域，如办公室，医院和工厂等。要实现机器人在这些领域的自主导航，一个重要的问题便是使机器人穿过门，因此，需要机器人能够获取环境信息，识别环境中的门，从而通过路径规划和导航使机器人自主穿梭于各个房间之间。
对于机器人过门的相关于研究已有人们提出多种方法，但是每种方法都有其局限性和缺点。例如传统的方法是运用超声波或红外传感器在门附近检测机器人车体与门两边框的距离，从而能够使机器人在过门的过程中较好的避开门两边框，顺利通过门。但是此种方法需要知道比较精确的环境地图和机器人的初始位置，否则由于超声波和红外的检测性能极有可能引导机器人过门失败。此外，利用超声波或红外识别门需要利用较多的先验知识，这势必要求机器人在门附近获取尽可能多的信息，从而通过融合算法较准确地确定门两边相对门的位置。
近年来，随着视觉传感器的普及相关技术的提升，使用视觉传感器识别环境中的物体成为可能并具有成本低，运算速率较快等优势。针对视觉传感器识别门或者环境中其他物体，有人提出了增强学习的方法来获得门和机器人的相对位姿从而对机器人进行导航，完成机器人的过门任务。但是这种方法是基于学习的算法，需要大量样本并训练较长时间，而且识别率很大程度上取决于所训练样本的丰富性，如果样本选择不够丰富将不能适应各种各样的门识别。有人使用霍夫变换对图像进行提取直线处理，从而使用基于模型的方法估算门和机器人的相对位姿，这种算法虽然不依赖于样本，但是误差较大，算法较复杂。还有一些算法使用图像处理相关方面的算法，效率较低，成功率有限。本专利提出了一种基于双目的门识别方法，巧妙的运用了两个摄像头的安装高度相同这一特性，从而有利于双目左右两幅图像水平中轴线的上的特征点匹配，达到更好的确定门在机器人坐标系下的位姿的目的。
发明内容
本发明提出一种新型室内移动机器人基于视觉的导航过门方法，该方法所使用的传感器有里程计、视觉传感器，根据视觉返回的信息计算门和机器人的相对位置关系，根据里程计返回的信息计算机器人的全局位置信息，从而控制机器人精确的实现过门的运动。
本发明的技术方案提供了一种基于视觉的机器人导航过门方法，包括以下步骤：
S101、根据里程计或全局定位传感器得到机器人当前时刻在全局坐标系中的位置和姿态参数(x,y,θ)，x为机器人相对于原点的横坐标，y为机器人相对于原点的纵坐标，θ为机器人朝向相对于x轴的夹角，逆时针旋转为正值角度夹角，顺时针旋转为负值角度夹角；
S102、根据用户指令确定机器人所要通过的门；
S103、确定机器人过门之前开启摄像头的区域，每个开启摄像头区域为：Areai＝(xj,yk)(1≤j≤N,1≤k≤M)，其中i代表门的编号，N和M表示某个门前区域的范围；
S104、计算此次导航终点；
S105、起点和终点确定后，由A*算法计算机器人行走路径，控制机器人运动到导航终点；
S106、根据里程计返回的航位推测信息(xr,yr,θr)，计算机器人相对门的位置和姿态，求出机器人朝向和机器人与门中点连线的夹角Δθ，控制机器人转动Δθ使机器人朝向门；
S107、机器人静止，同时下位机向上位机发送请求开启摄像头命令，上位机打开位于机器人胸前的双目摄像头，并开始采集图像，进行门识别；
S108、根据图像处理返回的门左右两边框的坐标xl,yl,xr,yr xl,yl,xr,yr(xl＜xr,yl＜yr)计算门中心坐标(x0,y0)，其中
S109、以xo,yo为原点，机器人当前朝向为基准，以从门左边框指向右边框为x轴正向建立笛卡尔坐标系XOY；
S110、求出机器人在XOY坐标系下的坐标(x′r1,y′r1,θ′r1)，并求出机器人相对过门过程中第一个矫正点(xl1,yl1)的距离Δd1和角度Δθ1，其中，
-200mm＜xl1＜200mm，
-1400mm＜yl1＜-1000mm；
S111、控制机器人直行Δd1，然后转弯Δθ1，根据航位推测信息求出机器人当前朝向与门中垂线夹角Δθ'1，控制机器人转过Δθ'1角度对正目标门；
S112、求出机器人在XOY坐标系下的坐标(x′r2,y′r2,θ′r2)，求出机器人相对过门过程中第二个矫正点(xl2,yl2)的距离Δd2和角度Δθ2，其中，
-200mm＜xl2＜200mm，
-1000mm＜yl2＜-600mm；
S113、控制机器人直行Δd2，然后转弯Δθ2，根据航位推测信息计算出机器人当前朝向与门中垂线夹角Δθ'2，使机器人转过Δθ'2对正门；
S114、求出机器人在XOY坐标系下的坐标(x′r3,y′r3,θ′r3)，求出机器人相对过门过程中第三个矫正点(xl3,yl3)的距离Δd3和角度Δθ3，其中，
-200mm＜xl3＜200mm，
-600mm＜yl3＜-300mm；
S115、控制机器人直行Δd3，然后转弯Δθ3，根据航位推测信息求出机器人当前朝向与门中垂线夹角Δθ'3，使机器人转过Δθ'3对正门；
S116、控制机器人前进Δd，其中800mm＜Δd＜1200mm，使机器人完6成进门操作。
进一步的，在步骤S104中，所述计算此次导航终点，进一步包括：
对参考区域进行搜索，求出参考区域中每个参考点到机器人当前位置的欧几里得距离即其中x,y代表某个栅格在栅格地图中的坐标；
对所有求得的di排序求得di的最小值；
di最小值所相应的栅格位置便是机器人此次导航的终点。
进一步的，在步骤S107中，所述进行门识别，进一步包括：
S201、上位机对双目摄像头采集到的左右两幅RBG图像Il、Ir分别进行灰度化处理，得到灰度图像Grayl、Grayr；
S202、采用图像全局二值化算法(如阈值法、OSTU大律法、Shanbhag法等)对得到的灰度图像Grayl、Grayr分别进行二值化处理得到二值图像Binaryl、Binaryr；
S203、使用形状为矩形(a＜b，且a取值为1或2，b取值范围为b＜h&b＞h.2，其中h为采集得到图像的高)的结构元素，进行图像形态学的腐蚀、膨胀处理获得二值图像Binary′l、Binary′l中的垂直条状区域该区域即可能为门框或门扇存在的区域；
S204、以步骤S203中得到的垂直条状区域为匹配基元，对Rl和Rr中的垂直条状区域进行匹配；
S205、对步骤S204中得到的垂直条状区域对左右两侧对应点应用双目测距原理得出该点在机器人坐标系下的位置信息(x和y)，同时得到图像中各个垂直条状区域的实际宽度信息
S206、结合家居环境下门的实际宽度为850mm-1200mm，可得到符合实际门宽度的垂直条状区域(一个垂直条状区域(门扇+左右两侧门框)、两个垂直条状区域(门框和门框、门框和门扇))，进一步把得到的垂直条状区域认为是门，并将门左右两边框在机器人坐标系下的坐标xl,yl,xr,yr返回下位机(当为一个垂直条状区域(门扇)时，返回垂直条状区域两侧的坐标；当为两个垂直条状区域(门框和门框)时，返回两个垂直条状区域外侧的坐标；当为两个垂直条状区域(门框和门扇)时，返回两个垂直条状区域内侧的坐标)。
进一步的，在步骤S204中，所述对Rl和Rr中的垂直条状区域进行匹配，进一步包括：
S301、根据双目立体匹配原则中同一物体在左右两个摄像头中的成像存在视差，且对于光轴平行的双目测距模型，其在左摄像头图像坐标系下成像点的xl值大于其在右摄像头图像坐标系下成像点的xr，即Rl中的元素对应Rr中的匹配项满足其中为区域中心点的x值，为区域中心点的x值，选择的成像点。
S302、根据双目立体匹配原则中几何相似性约束，即Rl中的元素对应Rr中的匹配项满足其几何特征相差不大，包括但不限于区域宽度w、颜色(RGB色彩空间、HSV色彩空间、YUV色彩空间等)、纹理(LBP等)特征，通过对上述特征相似度进行度量：
对于宽度特征： 分别为的宽度，n为Rr满足约束的区域总数量；
对其他特征：采用直方图统计，并采用相似性度量(如欧式距离、马氏距离、巴氏距离等)的方式进行相似性计算可得特征对应相似度Sfeature；
最终可得其相似度为
选择相似度最大的为的匹配项。
S303、返回S301，重复S301、S302得到左右图像中所有的匹配区域。
本发明技术方案采用里程计、视觉感应器测量机器人的位置和周边环境，根据视觉返回的信息计算门和机器人的相对位置关系，根据里程计返回的信息计算机器人的全局位置信息，有效的获得机器人的位置和姿势参数，从而控制机器人精确的实现过门的运动。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例一中基于视觉的机器人导航过门方法的流程图；
图2为本发明实施例一中基于视觉的机器人导航过门方法中的门识别的方法流程图；
图3为本发明实施例一中基于视觉的机器人导航过门方法中的垂直条状区域匹配的方法流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为本发明实施例一中基于视觉的机器人导航过门方法流程图。如图1所示，该流程包括以下步骤：
S101、根据里程计或全局定位传感器得到机器人当前时刻在全局坐标系中的位置和姿态参数(x,y,θ)，x为机器人相对于原点的横坐标，y为机器人相对于原点的纵坐标，θ为机器人朝向相对于x轴的夹角，逆时针旋转为正值角度夹角，顺时针旋转为负值角度夹角；
S102、根据用户指令确定机器人所要通过的门；
S103、确定机器人过门之前开启摄像头的区域，每个开启摄像头区域为：Areai＝(xj,yk)(1≤j≤N,1≤k≤M)，其中i代表门的编号，N和M表示某个门前区域的范围；
S104、计算此次导航终点；
S105、起点和终点确定后，由A*算法计算机器人行走路径，控制机器人运动到导航终点；
S106、根据里程计返回的航位推测信息(xr,yr,θr)，计算机器人相对门的位置和姿态，求出机器人朝向和机器人与门中点连线的夹角Δθ，控制机器人转动Δθ使机器人朝向门；
S107、机器人静止，同时下位机向上位机发送请求开启摄像头命令，上位机打开位于机器人胸前的双目摄像头，并开始采集图像，进行门识别；
S108、根据图像处理返回的门左右两边框的坐标xl,yl,xr,yr(xl＜xr,yl＜yr)计算门中心坐标(x0,y0)，其中，
S109、以xo,yo为原点，机器人当前朝向为基准，以从门左边框指向右边框为x轴正向建立笛卡尔坐标系XOY；
S110、求出机器人在XOY坐标系下的坐标(x′r1,y′r1,θ′r1)，并求出机器人相对过门过程中第一个矫正点(0，-1200)的距离Δd1和角度Δθ1；
S111、控制机器人直行Δd1，然后转弯Δθ1，根据航位推测信息求出机器人当前朝向与门中垂线夹角Δθ'1，控制机器人转过Δθ'1角度对正目标门；
S112、求出机器人在XOY坐标系下的坐标(x′r2,y′r2,θ′r2)，求出机器人相对过门过程中第二个矫正点(0，-800)的距离Δd2和角度Δθ2；
S113、控制机器人直行Δd2，然后转弯Δθ2，根据航位推测信息计算出机器人当前朝向与门中垂线夹角Δθ'2，使机器人转过Δθ'2对正门；
S114、求出机器人在XOY坐标系下的坐标(x′r3,y′r3,θ′r3)，求出机器人相对过门过程中第三个矫正点(0，-400)的距离Δd3和角度Δθ3；
S115、控制机器人直行Δd3，然后转弯Δθ3，根据航位推测信息求出机器人当前朝向与门中垂线夹角Δθ'3，使机器人转过Δθ'3对正门；
S116、控制机器人前进1000mm，使机器人完成进门操作。
进一步的，在步骤S104中，所述计算此次导航终点，进一步包括如下步骤：
对参考区域进行搜索，求出参考区域中每个参考点到机器人当前位置的欧几里得距离即其中x,y代表某个栅格在栅格地图中的坐标；
对所有求得的di排序求得di的最小值；
di最小值所相应的栅格位置便是机器人此次导航的终点。
图2为本发明实施例一中基于视觉的机器人导航过门方法中的门识别的方法流程图，即步骤S107中进行门识别的步骤。如图2所示，该流程包括以下步骤：
S201、上位机对双目摄像头采集到的左右两幅RBG图像Il、Ir分别进行灰度化处理，得到灰度图像Grayl、Grayr；
S202、采用图像全局二值化算法(如阈值法、OSTU大律法、Shanbhag法等)对得到的灰度图像Grayl、Grayr分别进行二值化处理得到二值图像Binaryl、Binaryr；
S203、使用形状为矩形(a＜b，且a取值为1或2，b取值范围为b＜h&b＞h.2，其中h为采集得到图像的高)的结构元素，进行图像形态学的腐蚀、膨胀处理获得二值图像Binary′l、Binary′r中的垂直条状区域该区域即可能为门框或门扇存在的区域；
S204、以步骤S203中得到的垂直条状区域为匹配基元，对Rl和Rr中的垂直条状区域进行匹配；
S205、对步骤S204中得到的垂直条状区域对左右两侧对应点应用双目测距原理得出该点在机器人坐标系下的位置信息(x和y)，同时得到图像中各个垂直条状区域的实际宽度信息
S206、结合家居环境下门的实际宽度为850mm-1200mm，可得到符合实际门宽度的垂直条状区域(一个垂直条状区域(门扇+左右两侧门框)、两个垂直条状区域(门框和门框、门框和门扇))，进一步把得到的垂直条状区域认为是门，并将门左右两边框在机器人坐标系下的坐标xl,yl,xr,yr返回下位机(当为一个垂直条状区域(门扇)时，返回垂直条状区域两侧的坐标；当为两个垂直条状区域(门框和门框)时，返回两个垂直条状区域外侧的坐标；当为两个垂直条状区域(门框和门扇)时，返回两个垂直条状区域内侧的坐标)。
图3为本发明实施例一中基于视觉的机器人导航过门方法中的垂直条状区域匹配的方法流程图，即步骤S204中对Rl和Rr中的垂直条状区域进行匹配的步骤。如图3所示，该流程包括以下步骤：
S301、根据双目立体匹配原则中同一物体在左右两个摄像头中的成像存在视差，且对于光轴平行的双目测距模型，其在左摄像头图像坐标系下成像点的xl值大于其在右摄像头图像坐标系下成像点的xr，即Rl中的元素对应Rr中的匹配项满足其中为区域中心点的x值，为区域中心点的x值，选择的成像点。
S302、根据双目立体匹配原则中几何相似性约束，即Rl中的元素对应Rr中的匹配项满足其几何特征相差不大，包括但不限于区域宽度w、颜色(RGB色彩空间、HSV色彩空间、YUV色彩空间等)、纹理(LBP等)特征，通过对上述特征相似度进行度量：
对于宽度特征： 分别为的宽度，n为Rr满足约束的区域总数量；
对其他特征：采用直方图统计，并采用相似性度量(如欧式距离、马氏距离、巴氏距离等)的方式进行相似性计算可得特征对应相似度Sfeature；
最终可得其相似度为
选择相似度最大的为的匹配项。
S303、返回S301，重复S301、S302得到左右图像中所有的匹配区域。
上述实施例中的技术方案由于使用了里程计、视觉传感器等，根据里程计返回的信息计算机器人的全局位置信息，根据视觉返回的信息计算门和机器人的相对位置关系，对机器人的位置和姿势进行有效的获取，从而控制机器人精确的实现过门的运动。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (4)
1.一种基于视觉的机器人导航过门方法，其特征在于，包括以下步骤：
S101、根据里程计或全局定位传感器得到机器人当前时刻在全局坐标系中的位置和姿态参数(x,y,θ)，x为机器人相对于原点的横坐标，y为机器人相对于原点的纵坐标，θ为机器人朝向相对于x轴的夹角，逆时针旋转为正值角度夹角，顺时针旋转为负值角度夹角；
S102、根据用户指令确定机器人所要通过的门；
S103、确定机器人过门之前开启摄像头的区域，每个开启摄像头区域为：Areai＝(xj,yk)，其中，1≤j≤N,1≤k≤M，i代表门的编号，j、k为数学运算变量，N和M表示某个门前区域的范围；
S104、计算此次导航终点；
S105、起点和终点确定后，由A*算法计算机器人行走路径，控制机器人运动到导航终点；
S106、根据里程计返回的航位推测信息(xr,yr,θr)，计算机器人相对门的位置和姿态，求出机器人朝向和机器人与门中点连线的夹角△θ，控制机器人转动△θ使机器人朝向门；
S107、机器人静止，同时下位机向上位机发送请求开启摄像头命令，上位机打开位于机器人胸前的双目摄像头，并开始采集图像，进行门识别；
S108、根据图像处理返回的门左右两边框的坐标xl,yl,xr,yr，其中，xl＜xr，yl＜yr；计算门中心坐标(x0，y0)，其中，
<mrow>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>x</mi>
<mi>r</mi>
</msub>
</mrow>
<mn>2</mn>
</mfrac>
<mo>,</mo>
</mrow>
<mrow>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>y</mi>
<mi>l</mi>
</msub>
<mo>+</mo>
<msub>
<mi>y</mi>
<mi>r</mi>
</msub>
</mrow>
<mn>2</mn>
</mfrac>
<mo>;</mo>
</mrow>
S109、以xo,yo为原点，机器人当前朝向为基准，以从门左边框指向右边框为x轴正向建立笛卡尔坐标系XOY；
S110、求出机器人在XOY坐标系下的坐标(x′r1，y′r1，θ′r1)，并求出机器人相对过门过程中第一个矫正点(xl1，yl1)的距离△d1和角度△θ1，其中，
-200mm＜xl1＜200mm，
-1400mm<yl1＜-1000mm；
S111、控制机器人直行△d1，然后转弯△θ1，根据航位推测信息求出机器人当前朝向与门中垂线夹角△θ′1，控制机器人转过△θ′1角度对正门；
S112、求出机器人在XOY坐标系下的坐标(x′r2，y′r2，θ′r2)，求出机器人相对过门过程中第二个矫正点(xl2，yl2)的距离△d2和角度△θ2，其中，
-200mm＜xl2＜200mm，
-1000mm＜yl2＜-600mm；
S113、控制机器人直行△d2，然后转弯△θ2，根据航位推测信息计算出机器人当前朝向与门中垂线夹角△θ′2，使机器人转过△θ′2对正门；
S114、求出机器人在XOY坐标系下的坐标(x′r3，y′r3，θ′r3)，求出机器人相对过门过程中第三个矫正点(xl3，yl3)的距离△d3和角度△θ3，其中，
-200mm＜xl3＜200mm，
-600mm＜yl3＜-300mm；
S115、控制机器人直行△d3，然后转弯△θ3，根据航位推测信息求出机器人当前朝向与门中垂线夹角△θ′3，使机器人转过△θ′3对正门；
S116、控制机器人前进Δd，其中800mm＜Δd＜1200mm，使机器人完成进门操作。
2.根据权利要求1所述的方法，其特征在于，在步骤S104中，所述计算此次导航终点，进一步包括：
对参考区域进行搜索，求出参考区域中每个参考点到机器人当前位置的欧几里得距离即其中x,y代表某个栅格在栅格地图中的坐标；
对所有求得的di排序求得di的最小值；
di最小值所相应的栅格位置便是机器人此次导航的终点。
3.根据权利要求1所述的方法，其特征在于，在步骤S107中，所述进行门识别，进一步包括：
S201、上位机对双目摄像头采集到的左右两幅RBG图像Il、Ir分别进行灰度化处理，得到灰度图像Grayl、Grayr；
S202、采用图像全局二值化算法对得到的灰度图像Grayl、Grayr分别进行二值化处理得到二值图像Binaryl、Binaryr；
S203、使用形状为矩形的结构元素，进行图像形态学的腐蚀、膨胀处理获得二值图像Binary′l、Binary′r中的垂直条状区域该区域即可能为门框或门扇存在的区域；所述矩形的两条边a<b，且a取值为1或2，b取值范围为b<h&b>h.2，其中h为采集得到图像的高；
S204、以步骤S203中得到的垂直条状区域为匹配基元，对Rl和Rr中的垂直条状区域进行匹配；
S205、对步骤S204中得到的垂直条状区域对左右两侧对应点应用双目测距原理得出该点在机器人坐标系下的位置信息，同时得到图像中各个垂直条状区域的实际宽度信息
<mrow>
<mi>w</mi>
<mi>i</mi>
<mi>d</mi>
<mi>e</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>l</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>r</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>l</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>r</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
S206、结合家居环境下门的实际宽度为850mm-1200mm，可得到符合实际门宽度的包括一个垂直条状区域门扇+左右两侧门框或两个垂直条状区域门框和门框、门框和门扇的垂直条状区域，进一步把得到的垂直条状区域认为是门，并将门左右两边框在机器人坐标系下的坐标xl,yl,xr,yr返回下位机；具体包括：当为一个垂直条状区域门扇时，返回垂直条状区域两侧的坐标；当为两个垂直条状区域门框和门框时，返回两个垂直条状区域外侧的坐标；当为两个垂直条状区域门框和门扇时，返回两个垂直条状区域内侧的坐标。
4.根据权利要求3所述的方法，其特征在于，在步骤S204中，所述对Rl和Rr中的垂直条状区域进行匹配，进一步包括：
S301、根据双目立体匹配原则中同一物体在左右两个摄像头中的成像存在视差，且对于光轴平行的双目测距模型，其在左摄像头图像坐标系下成像点的xl值大于其在右摄像头图像坐标系下成像点的xr，即Rl中的元素对应Rr中的匹配项满足其中为区域中心点的x值，为区域中心点的x值，选择的成像点；
S302、根据双目立体匹配原则中几何相似性约束，即Rl中的元素对应Rr中的匹配项满足其几何特征相差不大，包括但不限于区域宽度w、颜色、纹理特征，通过对上述特征相似度进行度量：
对于宽度特征：分别为的宽度，n为Rr满足约束的区域总数量；
对其他特征：采用直方图统计，并采用相似性度量的方式进行相似性计算可得特征对应相似度Sfeature；
最终可得其相似度为
选择相似度最大的为的匹配项；
S303、返回S301，重复S301、S302，得到左右图像中所有的匹配区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610266610.5A CN105717928B (zh) | 2016-04-26 | 2016-04-26 | 一种基于视觉的机器人导航过门方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610266610.5A CN105717928B (zh) | 2016-04-26 | 2016-04-26 | 一种基于视觉的机器人导航过门方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105717928A CN105717928A (zh) | 2016-06-29 |
| CN105717928B true CN105717928B (zh) | 2018-03-30 |
Family
ID=56161615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610266610.5A Active CN105717928B (zh) | 2016-04-26 | 2016-04-26 | 一种基于视觉的机器人导航过门方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105717928B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108915492A (zh) * | 2018-06-26 | 2018-11-30 | 北京云迹科技有限公司 | 一种控制方法、系统、无人驾驶设备和自动门 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504288B (zh) * | 2016-10-24 | 2019-02-01 | 北京进化者机器人科技有限公司 | 一种基于双目视觉目标检测的家居环境下门定位方法 |
| CN106444777B (zh) * | 2016-10-28 | 2019-12-17 | 北京进化者机器人科技有限公司 | 机器人自动回位充电方法和系统 |
| CN107329476A (zh) * | 2017-08-02 | 2017-11-07 | 珊口（上海）智能科技有限公司 | 一种房间拓扑地图构建方法、系统、装置及扫地机器人 |
| CN107479551B (zh) * | 2017-08-22 | 2020-11-10 | 北京小米移动软件有限公司 | 控制移动的方法和装置 |
| CN108319268A (zh) * | 2018-02-08 | 2018-07-24 | 衢州职业技术学院 | 一种基于视觉的机器人导航过门方法 |
| CN110293548B (zh) * | 2018-03-21 | 2022-06-10 | 中车株洲电力机车研究所有限公司 | 一种机车检修机器人智能穿越窄门的避障方法和控制系统 |
| CN109674404B (zh) * | 2019-01-26 | 2021-08-10 | 深圳市云鼠科技开发有限公司 | 一种基于free move技术的扫地机器人避障处理方式 |
| CN110456802B (zh) * | 2019-08-30 | 2020-08-25 | 上海有个机器人有限公司 | 一种移动机器人安全快速过闸机的方法 |
| CN112000109B (zh) * | 2020-09-10 | 2023-03-31 | 广西亚像科技有限责任公司 | 电力巡检机器人的位置校正方法、电力巡检机器人及介质 |
| CN112650250B (zh) * | 2020-12-23 | 2024-07-19 | 深圳市杉川机器人有限公司 | 一种地图构建方法及机器人 |
| CN113459098B (zh) * | 2021-07-01 | 2022-06-03 | 上海宜硕网络科技有限公司 | 一种机器人关门控制方法、装置和电子设备 |
| CN113386138B (zh) * | 2021-07-01 | 2022-06-03 | 上海宜硕网络科技有限公司 | 一种机器人开门控制方法、装置和电子设备 |
| CN114018268B (zh) * | 2021-11-05 | 2024-06-28 | 上海景吾智能科技有限公司 | 室内移动机器人导航方法 |
| CN114296470B (zh) * | 2022-01-21 | 2024-06-18 | 河南牧原智能科技有限公司 | 一种机器人导航方法、装置及介质 |
| CN114505857A (zh) * | 2022-01-24 | 2022-05-17 | 达闼机器人股份有限公司 | 机器人的控制方法、装置、系统以及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02145914A (ja) * | 1988-02-24 | 1990-06-05 | United Technol Corp <Utc> | 航空機の表示装置 |
| EP0679903A2 (en) * | 1989-12-11 | 1995-11-02 | Caterpillar Inc. | Integrated vehicle positioning and navigation system, apparatus and method |
| US5610815A (en) * | 1989-12-11 | 1997-03-11 | Caterpillar Inc. | Integrated vehicle positioning and navigation system, apparatus and method |
| WO2005098475A1 (en) * | 2004-03-29 | 2005-10-20 | Evolution Robotics, Inc. | Sensing device and method for measuring position and orientation relative to multiple light sources |
| CN102052923A (zh) * | 2010-11-25 | 2011-05-11 | 哈尔滨工程大学 | 一种小型水下机器人组合导航系统及导航方法 |
| CN102829777A (zh) * | 2012-09-10 | 2012-12-19 | 江苏科技大学 | 自主式水下机器人组合导航系统及方法 |
-
2016
- 2016-04-26 CN CN201610266610.5A patent/CN105717928B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02145914A (ja) * | 1988-02-24 | 1990-06-05 | United Technol Corp <Utc> | 航空機の表示装置 |
| EP0679903A2 (en) * | 1989-12-11 | 1995-11-02 | Caterpillar Inc. | Integrated vehicle positioning and navigation system, apparatus and method |
| US5610815A (en) * | 1989-12-11 | 1997-03-11 | Caterpillar Inc. | Integrated vehicle positioning and navigation system, apparatus and method |
| WO2005098475A1 (en) * | 2004-03-29 | 2005-10-20 | Evolution Robotics, Inc. | Sensing device and method for measuring position and orientation relative to multiple light sources |
| CN102052923A (zh) * | 2010-11-25 | 2011-05-11 | 哈尔滨工程大学 | 一种小型水下机器人组合导航系统及导航方法 |
| CN102829777A (zh) * | 2012-09-10 | 2012-12-19 | 江苏科技大学 | 自主式水下机器人组合导航系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108915492A (zh) * | 2018-06-26 | 2018-11-30 | 北京云迹科技有限公司 | 一种控制方法、系统、无人驾驶设备和自动门 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105717928A (zh) | 2016-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105717928B (zh) | 一种基于视觉的机器人导航过门方法 | |
| US11385062B2 (en) | Map creation method for mobile robot and path planning method based on the map | |
| Zhang et al. | Vision-based target-following guider for mobile robot | |
| Nieto et al. | Recursive scan-matching SLAM | |
| Kümmerle et al. | Large scale graph-based SLAM using aerial images as prior information | |
| CN105405154B (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
| Sim et al. | Autonomous vision-based exploration and mapping using hybrid maps and Rao-Blackwellised particle filters | |
| Winters et al. | Omni-directional vision for robot navigation | |
| Argyros et al. | Robot homing by exploiting panoramic vision | |
| Koide et al. | Monocular person tracking and identification with on-line deep feature selection for person following robots | |
| CN110874100A (zh) | 用于使用视觉稀疏地图进行自主导航的系统和方法 | |
| CN106504288A (zh) | 一种基于双目视觉目标检测的家居环境下门定位方法 | |
| Nikdel et al. | The hands-free push-cart: Autonomous following in front by predicting user trajectory around obstacles | |
| Adorni et al. | Vision-based localization for mobile robots | |
| Maier et al. | Vision-based humanoid navigation using self-supervised obstacle detection | |
| Morioka et al. | Vision-based mobile robot's slam and navigation in crowded environments | |
| CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
| Choi et al. | Efficient simultaneous localization and mapping based on ceiling-view: ceiling boundary feature map approach | |
| Sim et al. | Autonomous vision-based robotic exploration and mapping using hybrid maps and particle filters | |
| Chebotareva et al. | Person-following algorithm based on laser range finder and monocular camera data fusion for a wheeled autonomous mobile robot | |
| Mason et al. | Textured occupancy grids for monocular localization without features | |
| Maier et al. | Appearance-based traversability classification in monocular images using iterative ground plane estimation | |
| Oh et al. | Dynamic EKF-based SLAM for autonomous mobile convergence platforms | |
| Koenig et al. | A graph matching technique for an appearance-based, visual slam-approach using rao-blackwellized particle filters | |
| Juan et al. | A method to generate stable, collision free configurations for tensegrity based robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Building 65, No. 17, Jiujiang Road, Tongji New Economic Zone, Jimo District, Qingdao City, Shandong Province, 266200 Patentee after: Qingdao Evolver xiaopang Robot Technology Co.,Ltd. Address before: Room 02-A426, 2nd Floor, Block B, No. 22, Information Road, Haidian District, Beijing 100029 Patentee before: BEIJING EVOLVER ROBOTICS Co.,Ltd. |
|
| CP03 | Change of name, title or address |