[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105005999B - 一种基于计算机立体视觉面向导盲仪的障碍物探测方法 - Google Patents

一种基于计算机立体视觉面向导盲仪的障碍物探测方法 Download PDF

Info

Publication number
CN105005999B
CN105005999B CN201510494651.5A CN201510494651A CN105005999B CN 105005999 B CN105005999 B CN 105005999B CN 201510494651 A CN201510494651 A CN 201510494651A CN 105005999 B CN105005999 B CN 105005999B
Authority
CN
China
Prior art keywords
coordinate
camera
point
road surface
surface plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510494651.5A
Other languages
English (en)
Other versions
CN105005999A (zh
Inventor
魏彤
封洁轩
贾文渊
张琳
袁磊
金砺耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201510494651.5A priority Critical patent/CN105005999B/zh
Publication of CN105005999A publication Critical patent/CN105005999A/zh
Application granted granted Critical
Publication of CN105005999B publication Critical patent/CN105005999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physics & Mathematics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Geophysics (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种基于计算机立体视觉面向导盲仪的障碍物探测方法，利用计算机立体视觉技术探测路面上的障碍物，得到障碍物的位置和轮廓坐标，为引导盲人行进提供必要的信息来源。本方法通过佩戴在盲人身上的双目相机同时采集路面图像，利用特征提取算法提取双目图像中的特征点，并进行特征点匹配；再计算匹配点在左相机坐标系下的三维坐标，根据匹配点三维坐标使用随机一致性算法计算出路面平面方程；最终根据路面平面方程区分出障碍物区域，计算其位置和轮廓的坐标，为帮助盲人行进提供必要信息。本发明为盲人出行提供路面障碍信息，提高盲人出行的安全性，适用于导盲仪引导盲人出行。

Description

一种基于计算机立体视觉面向导盲仪的障碍物探测方法
技术领域
本发明涉及一种基于计算机视觉的应用于导盲仪的障碍物探测方法，该方法可以帮助盲人行走时探测障碍物。
背景技术
盲人由于先天或后天的生理缺陷而丧失了视觉，因而丧失了获得知识和经验的最重要来源，对盲人日常生活造成了极大障碍，尤其是制约了盲人的出行活动。如何能够帮助盲人在日常出行中躲避道路中出现的障碍物，也成为了人们的研究重点。为了解决这一问题，人们已经研究出许多方法，例如盲杖、红外线探测、超声波探测等非视觉探测方法。然而这些方法都存在很大的缺陷：使用盲杖探测，探测范围过小；使用红外线、超声波等探测方式，只能探测体积较大的障碍物，不能获取障碍物轮廓、高度等完整信息，因此安全性较差。近些年，陆续出现一些基于视觉的障碍物探测方案，但也存在一定的缺陷：(1)只检测障碍物在图像中的所在区域，没有提供实际三维空间中障碍物相对盲人的位置信息；(2)只分离出障碍物在图像中的轮廓，没有给出其外形信息，例如凸起或凹陷等；(3)地面方程的提取依赖于相机坐标系与世界坐标系的固定关系，主要应用于车辆导航等领域，不适用于导盲仪。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种基于计算机立体视觉面向导盲仪的障碍物探测方法，解决现有导盲仪算法对于盲人行进路线上的障碍物信息获取不足，难以形成安全导盲策略的问题，为提高盲人出行安全性提供有利条件。
本发明的技术解决方案:本发明通过佩戴在盲人身上的双目相机同时采集路面图像，利用特征提取算法提取双目图像中的特征点，并进行特征点匹配；再计算匹配点在左相机坐标系下的三维坐标，根据匹配点三维坐标使用随机一致性算法计算出路面平面方程；最终根据路面平面方程区分出障碍物区域，计算其位置和轮廓的坐标，为帮助盲人行进提供必要信息。具体包括以下步骤：
步骤1、将双目相机固定在头部两侧，提前标定好双目相机的内外参数，包括焦距，主点位置，及相机间的旋转和平移矩阵等。
步骤2、用已标定好的双目相机同步连续采集左右图像。
步骤3：使用SURF算法对采集到的两幅图像进行特征提取及匹配，并采用对称性测试对匹配结果进行检测，得到一个匹配点对集合。
步骤4：利用双目立体视觉三维测量原理对匹配点对集合进行计算，求解出每对匹配点在左相机坐标系下的三维坐标。
步骤5：利用随机一致性算法提取路面平面方程：
每次从数据集中随机选取3个不共线的点，被选取的子集被假设为局内点，采用最小二乘法拟合出一个平面方程，确定参数(A,B,C)，并假设此模型适用于局内点。用这个平面模型去测试所有的其它数据，如果某个点适用于估计的模型(A,B,C)，认为它也是局内点。测试方法为计算此三维点到平面方程的垂直距离Di。当垂直距离小于设定距离5cm时，则认为此点适用于当前平面模型。被归类为假设的局内点数大于参数d时，认为估计的模型就足够合理。然后，用所有假设的局内点去重新估计模型。设e为模型误差，计算方法为局内点到估计平面距离的均方差。最后，通过比较局内点的数量和e大小来估计模型优劣，局内点数越多、e越小的模型越优。这个过程被重复执行k次，每次通过比较将局内点数更多且e值更小的模型保留下来。当这个过程迭代完k次以后，即可获得最优平面模型。
步骤6：使用局内点集图像坐标得到左右两图路面区域间的单应变换矩阵，计算左图单应变换后与右图的灰度差值，提取出障碍物轮廓，在障碍物轮廓范围内进行稠密匹配，获得障碍物位置及轮廓坐标。
本发明的优点在于：
(1)本发明利用导盲仪双目相机的图像，采用计算机双目立体视觉方法计算出实际三维空间中障碍物相对盲人的位置，为盲人出行策略提供丰富的路面障碍信息，提高了盲人出行的安全性，适用于导盲仪引导盲人出行。
(2)完全采用计算机视觉算法获取路面平面方程，避免引入其他传感器，有助于降低导盲仪整机的复杂性。
(3)只对障碍物区域进行局部稠密匹配，获取障碍物位置及轮廓坐标信息，大幅度降低了导盲算法的计算量，提高了运算效率。
附图说明
图1：本发明的总流程图；
图2：本发明中随机一致性算法的流程图；
图3：本发明中区分障碍物及计算其位置轮廓坐标算法流程图。
具体实施方式
下面结合说明书附图对本发明方法做详细说明：
本发明通过盲人佩戴的导盲仪中的双目摄像机同时采集路面图像，利用特征提取算法提取双目图像中的特征点，并进行特征点匹配；再计算匹配点在左相机坐标系下的三维坐标，根据匹配点三维坐标使用随机一致性算法计算出路面平面方程；最终根据路面方程区分出障碍物区域，计算出障碍物位置和轮廓坐标，为帮助盲人行进提供必要信息。
如图1所示，本发明具体包括以下步骤：
步骤1：将双目相机利用眼镜固定在头部两侧，对双目相机内外参数进行标定：内参数包括归一化焦距fxl、fyl、fxr、fyr，和左右相机主点在图像坐标系下的坐标Cxl、Cyl、Cxr、Cyr，外参数包括相机间的旋转和平移矩阵。左右相机的内参矩阵Pl、Pr和右相机到左相机的坐标系变换矩阵Mlr为：
其中fxl和fyl分别为左相机横轴和纵轴上的归一化焦距、fxr和fyr分别为右相机横轴和纵轴上的归一化焦距；Cxl、Cyl、Cxr、Cyr为左右相机主点在图像坐标系下的坐标，单位为像素；R和T分别为坐标系变换矩阵的旋转分量和平移分量,r1～r9为旋转分量的各元素,tx、ty、tz为平移分量的各元素。
步骤2：用已标定好的双目相机进行同步采集左右图像。
步骤3：使用SURF算法对采集到的两幅图像进行特征提取及匹配，并采用对称性测试对匹配结果进行检测，得到一个正确可靠的特征点对集合。
步骤3-1.使用SURF检测器分别对左右图像进行特征点提取。使用离散化的高斯模板与图像进行卷积处理，得到图像上每一点的响应值，响应值大于10的点认为是特征点，并把左右图中特征点分别存储。
步骤3-2.使用一个描述窗口域中的其他像素点对特征点的小波响应来表述该特征点。向量v作为描述子，对各特征点进行描述：
v＝[∑dx ∑dy ∑|dx| ∑|dy|]
其中，∑dx是水平方向的小波响应之和，∑dy是垂直方向的小波响应之和，∑|dx|是水平方向的小波响应的绝对值之和，∑|dy|是垂直方向的小波响应的绝对值之和。
左右两图中特征点描述子向量距离之比大于0.65的点作为一对粗匹配点。
步骤3-3.采用对称性测试检验粗匹配点，只保留均位于彼此极线上的特征点，作为最终的可靠匹配点集合。
步骤4：利用双目立体视觉三维测量原理对匹配点对集合进行计算，求解出每对匹配点在左相机坐标系下的三维坐标，得到一组三维点集。
其中，(x,y,z)为左相机坐标系下的坐标；(ul,vl)和(ur,vr)分别为匹配点P在左图和右图中图像坐标系下的坐标，单位为像素；fxl和fyl分别为左相机横轴和纵轴上的归一化焦距、fxr和fyr分别为右相机横轴和纵轴上的归一化焦距；Cxl、Cyl、Cxr、Cyr为左右相机主点在图像坐标系下的坐标，单位为像素；r1～r9为坐标系变换矩阵旋转分量的各元素,tx、ty、tz为坐标系变换矩阵平移分量的各元素。
步骤5：利用随机一致性算法提取路面平面方程Ax+By+Cz＝1，流程图如图2所示，其中A，B，C为路面平面方程参数，x,y,z为左相机坐标系下坐标。
步骤5-1.根据点集的大小设置循环次数k，设置初始路面平面方程误差e为无穷大，初始局内点集大小n为0。
步骤5-2.在三维点集中随机选取3个不共线的点加入局内点集，计算出初始路面平面方程：A1x+B1y+C1z＝1，其中A1，B1，C1为路面平面方程参数，x,y,z为左相机坐标系下坐标。
步骤5-3.循环计算剩余三维点与初始路面平面的距离d，若d小于5cm，则把此点加入局内点集。
步骤5-4.计算局内点集大小n′，若n′大于n则重新估算路面平面方程A2x+B2y+C2z＝1，计算局内点与新路面平面距离的均方差e′，若e′小于e，则将路面平面方程更新为A2x+B2y+C2z＝1，将方程误差e更新为e′，将局内点集大小n更新为n′。
步骤5-5.若循环次数等于k，将当前路面平面方程作为最终结果Ax+By+Cz＝1，否则转到步骤5-2。
步骤6：基于单应变换方法和局部稠密匹配方法，获得障碍物位置及轮廓坐标，流程图如图3所示。
步骤6-1.根据局内点集计算左右两图路面平面之间的单应变换关系，求出单应性矩阵H。
步骤6-2.利用矩阵H对左图进行单应性变换，计算变换后的左图与右图原图的灰度值之差，得到灰度差值图像。
步骤6-3.对灰度差值图像进行二值化操作，得到二值化差值图像。
步骤6-4.对二值化差值图像进行外轮廓提取，得到障碍物轮廓。
步骤6-5.在障碍物轮廓范围内，使用左右原图进行局部稠密匹配，得到障碍物位置及轮廓坐标信息。

Claims (4)

1.一种基于计算机立体视觉面向导盲仪的障碍物探测方法，其特征在于：通过佩戴在盲人身上的双目相机同时采集路面图像，利用特征提取算法提取双目图像中的特征点，并进行特征点匹配；再计算匹配点在左相机坐标系下的三维坐标，根据匹配点三维坐标使用随机一致性算法计算出路面平面方程；最终根据路面平面方程区分出障碍物区域，计算其位置和轮廓的坐标，为帮助盲人行进提供必要信息；
所述根据匹配点三维坐标使用随机一致性算法计算出路面平面方程过程为：采用随机一致性算法，每次随机选取三个匹配点计算一个候选路面平面方程Ax+By+Cz＝1，其中A，B，C为候选路面平面方程参数；计算每个匹配点到候选路面平面的距离，若距离小于设定距离,则判断该点属于候选平面,并记为局内点；所有匹配点都判断完成后，统计匹配点中局内点数目；通过多次迭代，选取局内点数目最多的所有组中估算误差最小的一组(A,B,C)值作为最终的路面平面方程参数，并获得属于路面的局内点集；
所述特征提取算法采用SURF算法，提取双目图像中的特征点，并进行特征点匹配，然后采用对称性测试对匹配结果进行检验，得到一个匹配点对集合。
2.根据权利要求1所述的基于计算机立体视觉面向导盲仪的障碍物探测方法，其特征在于：所述双目相机分为左右相机，通过预先标定，得到左右相机的内参矩阵Pl、Pr和右相机到左相机的坐标系变换矩阵Mlr：
其中fxl和fyl分别为左相机横轴和纵轴上的归一化焦距、fxr和fyr分别为右相机横轴和纵轴上的归一化焦距；Cxl、Cyl、Cxr、Cyr为左右相机主点在图像坐标系下的坐标，单位为像素；R和T分别为坐标系变换矩阵的旋转分量和平移分量,r1～r9为旋转分量的各元素,tx、ty、tz为平移分量的各元素。
3.根据权利要求1所述的基于计算机立体视觉面向导盲仪的障碍物探测方法，其特征在于：利用双目立体视觉三维测量原理计算匹配点在左相机坐标系下的三维坐标，计算方法为：
其中，(x,y,z)为左相机坐标系下的坐标；(ul,vl)和(ur,vr)分别为匹配点P在左图和右图中图像坐标系下的坐标，单位为像素；fxl和fyl分别为左相机横轴和纵轴上的归一化焦距、fxr和fyr分别为右相机横轴和纵轴上的归一化焦距；Cxl、Cyl、Cxr、Cyr为左右相机主点在图像坐标系下的坐标，单位为像素；r1～r9为坐标系变换矩阵旋转分量的各元素,tx、ty、tz为坐标系变换矩阵平移分量的各元素。
4.根据权利要求1所述的基于计算机立体视觉面向导盲仪的障碍物探测方法，其特征在于：使用局内点集图像坐标得到左右两图路面区域间的单应变换矩阵，计算左图单应变换后与右图的灰度差值，提取出障碍物轮廓，在障碍物轮廓范围内进行稠密匹配，获得障碍物位置及轮廓坐标。
CN201510494651.5A 2015-08-12 2015-08-12 一种基于计算机立体视觉面向导盲仪的障碍物探测方法 Active CN105005999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510494651.5A CN105005999B (zh) 2015-08-12 2015-08-12 一种基于计算机立体视觉面向导盲仪的障碍物探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510494651.5A CN105005999B (zh) 2015-08-12 2015-08-12 一种基于计算机立体视觉面向导盲仪的障碍物探测方法

Publications (2)

Publication Number Publication Date
CN105005999A CN105005999A (zh) 2015-10-28
CN105005999B true CN105005999B (zh) 2018-08-10

Family

ID=54378656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510494651.5A Active CN105005999B (zh) 2015-08-12 2015-08-12 一种基于计算机立体视觉面向导盲仪的障碍物探测方法

Country Status (1)

Country Link
CN (1) CN105005999B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761242B (zh) * 2016-01-27 2021-04-27 北京航空航天大学 一种基于计算机双目视觉与惯性测量的盲人行走定位方法
CN105741320B (zh) * 2016-01-27 2021-01-01 北京航空航天大学 一种高实时性机器视觉运动分析方法
CN106156751B (zh) * 2016-07-25 2019-05-07 上海肇观电子科技有限公司 一种向目标对象播放音频信息的方法及装置
CN106408863B (zh) * 2016-09-26 2018-09-28 珠海市磐石电子科技有限公司 一种基于多目机器视觉的智能警示穿戴设备
CN107590444B (zh) * 2017-08-23 2020-05-22 深圳市易成自动驾驶技术有限公司 静态障碍物的检测方法、装置及存储介质
CN107390703A (zh) * 2017-09-12 2017-11-24 北京创享高科科技有限公司 一种智能化导盲机器人及其导盲方法
CN108168539B (zh) * 2017-12-21 2021-07-27 儒安物联科技集团有限公司 一种基于计算机视觉的盲人导航方法、装置及系统
CN108814912B (zh) * 2018-04-23 2021-04-09 佛山市林富机械制造有限公司 一种基于多目视觉测量的智能避障系统
CN108665448B (zh) * 2018-04-27 2022-05-13 武汉理工大学 一种基于双目视觉的障碍物检测方法
CN109522935B (zh) * 2018-10-22 2021-07-02 易思维（杭州）科技有限公司 一种对双目视觉测量系统的标定结果进行评价的方法
CN111723724B (zh) * 2020-06-16 2024-04-02 东软睿驰汽车技术（沈阳）有限公司 一种路面障碍物识别方法和相关装置
CN113377097B (zh) * 2021-01-25 2023-05-05 杭州易享优智能科技有限公司 一种用于视障人士导盲的路径规划与避障方法
CN113534814A (zh) * 2021-08-04 2021-10-22 国网浙江省电力有限公司嘉兴供电公司 一种变电站操作机器人的避障方法
CN114587949B (zh) * 2022-02-21 2023-04-07 北京航空航天大学 一种导盲系统
CN114863385B (zh) * 2022-03-23 2023-04-07 禾多科技（北京）有限公司 道路曲面信息生成方法、装置、设备和计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128874A (en) * 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
CN102175222A (zh) * 2011-03-04 2011-09-07 南开大学 基于立体视觉的吊车避障系统
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援系统
CN103971378A (zh) * 2014-05-29 2014-08-06 福州大学 一种混合视觉系统中全景图像的三维重建方法
CN104484648A (zh) * 2014-11-27 2015-04-01 浙江工业大学 基于轮廓识别的机器人可变视角障碍物检测方法
CN104677330A (zh) * 2013-11-29 2015-06-03 哈尔滨智晟天诚科技开发有限公司 一种小型双目立体视觉测距系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128874A (en) * 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
CN102175222A (zh) * 2011-03-04 2011-09-07 南开大学 基于立体视觉的吊车避障系统
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援系统
CN104677330A (zh) * 2013-11-29 2015-06-03 哈尔滨智晟天诚科技开发有限公司 一种小型双目立体视觉测距系统
CN103971378A (zh) * 2014-05-29 2014-08-06 福州大学 一种混合视觉系统中全景图像的三维重建方法
CN104484648A (zh) * 2014-11-27 2015-04-01 浙江工业大学 基于轮廓识别的机器人可变视角障碍物检测方法

Also Published As

Publication number Publication date
CN105005999A (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
CN105005999B (zh) 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
US10417775B2 (en) Method for implementing human skeleton tracking system based on depth data
CN101398886B (zh) 一种基于双目被动立体视觉的快速三维人脸识别方法
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
CN101336856B (zh) 辅助视觉系统的信息获取与传递方法
CN105487665B (zh) 一种基于头部姿势识别的智能移动服务机器人控制方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN102880866B (zh) 一种人脸特征提取方法
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN112560741A (zh) 一种基于人体关键点的安全穿戴检测方法
CN104021559B (zh) 基于互信息和Harris角点检测的图像配准方法
CN113139470B (zh) 一种基于Transformer的玻璃识别方法
CN104318569A (zh) 基于深度变分模型的空间显著性区域提取方法
CN104751146B (zh) 一种基于3d点云图像的室内人体检测方法
CN101520892B (zh) 可见光图像中弱小目标的检测方法
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
CN105930795A (zh) 一种基于人体骨骼关节点间空间向量的行走状态识别方法
CN110795982A (zh) 一种基于人体姿态分析的表观视线估计方法
CN102682452A (zh) 基于产生式和判别式结合的人体运动跟踪方法
CN108875586B (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN105631899A (zh) 一种基于灰度纹理特征的超声图像运动目标跟踪方法
CN106815855A (zh) 基于产生式和判别式结合的人体运动跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant