[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111317653B - 一种交互式盲人智能辅助装置及方法 - Google Patents

一种交互式盲人智能辅助装置及方法 Download PDF

Info

Publication number
CN111317653B
CN111317653B CN202010111943.7A CN202010111943A CN111317653B CN 111317653 B CN111317653 B CN 111317653B CN 202010111943 A CN202010111943 A CN 202010111943A CN 111317653 B CN111317653 B CN 111317653B
Authority
CN
China
Prior art keywords
module
main processor
representing
blind
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010111943.7A
Other languages
English (en)
Other versions
CN111317653A (zh
Inventor
陈小顺
王良君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202010111943.7A priority Critical patent/CN111317653B/zh
Publication of CN111317653A publication Critical patent/CN111317653A/zh
Application granted granted Critical
Publication of CN111317653B publication Critical patent/CN111317653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Animal Behavior & Ethology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种交互式盲人智能辅助装置及方法，属于盲人智能辅助装置研究领域，整个装置是一个机器犬，包括主处理器模块和与主处理器模块连接的功能模块、运动模块、传感模块、通信模块、定位模块、语音模块、警示模块及电源模块。本发明的辅助装置能够实现自主导航循迹、盲道识别、路口信号灯识别、自然场景文字识别、实时调速、语音播报等功能，机器犬中还设置有减震装置来保证其稳定行驶在凹凸路面上，在楼宇之中，机器犬能够从自主导航切换到人工控制行走，当遇到紧急情况时，还能够与紧急联系人通信，为盲人出行带来了很多的便利。

Description

一种交互式盲人智能辅助装置及方法
技术领域
本发明属于盲人智能辅助装置研究领域，尤其涉及一种交互式盲人智能辅助装置及方法。
背景技术
残障人士在我国一直被社会广泛关注，其中，盲人群体的生存状况是长久以来为社会所关注的话题。随着城市中无障碍设施建设的快速发展，盲人群体的出行越来越便利，但是目前盲人群体的出行仍然存在许多潜在危险。盲道占用的情况屡见不鲜，导致盲人无法有效感知道路前方障碍，从而给盲人带来意外伤害。导盲犬的存在能够有效解决这一问题，但是导盲犬训练难度大，训练周期长，能够进行有效工作的犬种数量很少，无法满足国内如此庞大的盲人群体的需求；更为重要的是，导盲犬无法阅读理解自然场景中的文本信息，无法反馈商品、广告等信息。现有的导盲设备大多强调设备自主传感感知，忽略了道路条件及盲人步伐；传统盲人辅助设备无法有效行驶在路面条件较差的道路上。目前急需一种能够代替导盲犬工作的交互式智能辅助设备，以保障盲人安全出行，实现语音交互、平稳行驶、文字阅读、紧急呼救等功能。
发明内容
针对现有技术中存在不足，本发明提供了一种交互式盲人智能辅助装置及方法，能够识别盲道信息和障碍物，帮助盲人平稳安全出行，还能识别周边文字信息并通过语音播报告知给盲人，遇到突发状况能够快速告知紧急联系人，本发明的辅助装置除了能够自主导航行走来引导盲人，还能实现人工控制。
本发明是通过以下技术手段实现上述技术目的的。
一种盲人智能辅助装置，包括主处理器模块和与主处理器模块连接的功能模块、运动模块、传感模块、通信模块、定位模块、语音模块、警示模块、电源模块；主处理器模块控制运动模块带动辅助装置行走；主处理器模块接收传感模块传递的数据并进行处理；主处理器模块控制通信模块进行文字识别以及发送短信；主处理器模块接收定位模块传递的数据，并进行路径规划以及侧翻判断；主处理器模块控制语音模块进行人声识别以及播报语音提示；主处理器模块控制警示模块开启以提醒周边行人注意避让。
进一步地，所述功能模块通过牵引绳与主处理器模块连接，包括CMOS摄像头模块和功能按键，用于获取周边环境信息以及控制辅助装置工作。
进一步地，所述运动模块包括麦克纳姆轮，麦克纳姆轮与编码减速电机连接，编码减速电机与电机驱动模块连接，电机驱动模块与主处理器模块连接，用于控制机器犬的行走速度和方向；编码减速电机的固定座与减震装置螺钉连接，减震装置与机器犬底盘螺钉连接。
进一步地，所述传感模块包括超声波传感器模块、压力传感器模块和摄像头模块，分别用于测距、检测压力值、捕捉信号灯状况和道路状况；所述警示模块包括LED警示灯。
进一步地，所述通信模块包括GSM通信模块、GPRS通信模块和服务器，用于向紧急联系人发送位置信息和呼叫短信，进行文字识别；所述定位模块包括GPS模块和6轴陀螺仪，用于为盲人规划路径，获取机器犬运动状态。
进一步地，所述语音模块包括非特定人声语音识别模块和语音播报模块，非特定人声语音识别模块的麦克风通过导线延伸至功能模块中，用于采集盲人的语音数据并进行识别；语音播报模块的扬声器通过导线延伸出来并固定在机器犬胡须处，用于向盲人播报不同的语音提示。
利用上述辅助装置的辅助方法，打开电源开关，按下自主运行按键，主处理器模块控制非特定人声语音识别模块采集人声并交由服务器识别，控制语音播报模块向盲人反馈地址信息；主处理器模块控制GPS模块定位并进行路径规划，同时开启摄像头一捕获道路数据，进行盲道识别；盲人行走到路口时，主处理器模块开启摄像头二、摄像头三捕捉信号灯位置及状态信息并进行识别处理，根据识别结果引导盲人安全穿过道路；到达目的地后，盲人按下手动行驶按键，通过摇杆控制辅助装置行走，再次按下手动行驶按键后，恢复自主导航行驶模式。
进一步地，所述盲人按下拍照按键，CMOS摄像头采集周边图像数据并传递到服务器，服务器在深度学习网络模型中加入SEBlock结构，对特征图进行自适应多边形文本框标注，识别文本框中的文字信息，并通过语音播报模块告知盲人；文本框标注的具体算法过程如下：
深度学习网络模型总体损失函数定义如下：
其中，像素分类任务损失函数Lpixel及像素连接关系预测任务损失函数Llink与原算法中的损失函数保持一致；Lreg表示边界点回归任务损失函数；Lcls表示停止/继续标签分类任务损失函数；λ1表示像素分类任务的权重参数；λ2表示像素连接关系预测任务的权重参数；λ3表示框点对预测任务的权重参数；λ4表示框点对开始结束标志分类任务的权重参数；λ1＝2,λ2,λ3,λ4默认设置为1；n为边界点坐标总数量；
设定v是像素连接关系预测任务所得特征图的最小外接矩形框，矩形框中心点坐标为(vx,vy)，中心点距离矩形边框的宽、高分别为vw、vh；v＝(vx,vy,vw,vh)；其中，u是数据集中边界点的真实坐标集，u*是在边界点回归任务中的预测点坐标集；对预测的边界点坐标/>作如下处理：
其中，和/>表示当前文本边界点预测的坐标；xa和ya表示当前预测区域对应外接矩形框va的中心点坐标；wa和ha表示对应的外接矩形框的宽和高；损失函数如下：
停止/继续标签分类任务损失函数Lcls为普通二分类对数损失函数，在边界点回归任务中预测一对坐标后进行标签分类，定义如下：其中li表示第i对边界点标签；/>是当前标签的分类，/>表示这一对坐标点未到文本框尽头，分类为继续；/>表示这一对坐标点已经将所有文本框定，分类为停止；pi是当前标签经过分类器分类后属于停止/继续标签的概率。
进一步地，所述主处理器模块采用模糊PID算法调整辅助装置运动速度：模糊参数输入量为麦克纳姆轮实际转速s和设定转速d之间的偏差E以及偏差变化率EC；EC＝Ek-Ek-1，其中，Ek表示当前偏差；Ek-1表示前一时刻偏差；E的基本论域取[-30,30]；EC的基本论域取[-10,10]；将变量E和变量EC进行离散化处理；离散化后的输出量为模糊变量e和ec，离散论域均为{-3,-2,-1,0,1,2,3}；在模糊控制器中将输入值模糊变量e和ec分成7个等级：NB、NM、NS、ZO、PS、PM、PB；模糊控制器的输出量为PID控制参数：ΔKp、ΔKi、ΔKd；
根据ΔKp对应的模糊规则控制表中的规则if(e is PB)and(ec is NB),then(ΔKpis ZO)、(ΔKi is ZO)、(ΔKd is PB)，如果偏差e为正大，且变化率ec为负大，那么设置ΔKp为零，ΔKi为零，ΔKd为正大；采用重心法解模糊：
其中，q表示清晰值；xi表示隶属度；μN(xi)表示模糊变量；清晰值q需经过线性尺度变换转换为实际的控制量ΔKp：
其中，mmin、mmax为ΔKP的基本论域[mmin，mmax]，nmin、nmax为ΔKp论域[nmin，nmax]；同理求得控制参数ΔKi和ΔKd；主处理器模块向电机驱动模块输出控制参数，实现对辅助装置驶速度的控制。
进一步地，所述盲人按下呼救按键，主处理器模块控制警示模块和语音播报模块开启，向周边行人寻求帮助，同时控制GSM通信模块向紧急联系人发送短信；主处理器模块能够根据定位导航信息以及超声波传感器传递的距离信息确定辅助装置的避让时间和方向，同时还能检测地面高度，控制语音播报模块提醒盲人注意台阶；主处理器模块能够分析出陀螺仪检测到的异常数据，通过语音播报模块提醒盲人辅助装置发生侧翻。
本发明具有如下有益效果：
与现有技术相比，本发明的辅助装置利用CMOS摄像头获取自然场景下的图像数据，由服务器中改进的深度学习模型进行图像中的文字信息识别，并且能够将识别结果进行语音播报来告知盲人，实现语音交互，帮助盲人了解周围环境状况；本发明中的深度学习网络模型对于图像数据中文字的提取更加精确可靠，从而在很大程度上提高识别结果的准确性。机器犬中装载有减震装置和压力传感器模块，主处理器能够对传感器检测的数据进行分析并采用模糊PID算法来更加有效地调整机器犬行走速度，使得其能够稳定行驶在凹凸路面上，同时还会语音提醒盲人注意道路凹凸。除此以外，本发明还能够实现自主导航循迹、盲道识别、避障、路口信号灯检测、紧急呼救等基础功能，能够为盲人出行提供很多的便利。
附图说明
图1为本发明所述辅助装置模块示意图；
图2为本发明所述机器犬外部结构示意图；
图3为本发明所述机器犬内部结构示意图；
图4为本发明所述减震装置结构示意图；
图5为本发明所述减震装置安装示意图；
图6为本发明所述编码减速电机结构示意图；
图7为本发明所述麦克纳姆轮结构示意图；
图8为本发明所述功能模块结构示意图；
图9为本发明所述隶属度函数图；
图10为本发明所述盲道识别结果示意图，其中，图(a)为黄色盲道识别结果示意图，图(b)为灰色盲道识别结果示意图；
图11为本发明所述自适应多边形文本框标注示意图；
图12为本发明所述自然场景文字信息识别结果示意图，其中，图(a)为CMOS摄像头获取的图像数据示意图，图(b)为图像文字识别结果示意图。
图中：1-功能模块；2-牵引绳；3-超声波传感器；4-摄像头一；5-摄像头二；6-摄像头三；7-警示灯；8-麦克纳姆轮；9-编码减速电机；10-固定座；11-电机驱动模块；12-主处理器模块；13-减震装置；14-底盘；15-通信模块；16-定位模块；17-陀螺仪；18-电源模块；19-扬声器；20-语音模块；21-电源开关；22-自主运行按键；23-速度调节滚轮；24-信号灯识别按键；25-拍照按键；26-CMOS摄像头；27-手动行驶按键；28-摇杆；29-呼救按键。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
如图1所示，本发明所述的盲人智能辅助装置为导盲机器犬，导盲机器犬包括主处理器模块12和与主处理器模块12连接的功能模块1、运动模块、传感模块、通信模块15、定位模块、语音模块19、警示模块及电源模块18。
如图2至8所示，所述主处理器模块12为Cortex-M4(嵌入式处理器)开发板，用于控制其他模块工作并进行数据处理，开发板上装载有64GBTF卡，用于存储数据；功能模块1通过机器犬尾部牵引绳2与主处理器模块12导线连接，功能模块1包括CMOS摄像头26、速度调节滚轮23、摇杆28和若干不同形状的功能按键，CMOS摄像头26用于拍摄获取周边环境信息，速度调节滚轮23、摇杆28和功能按键方便盲人控制机器犬工作，按键设置成不同的形状，便于盲人区分使用。运动模块包括四个45°麦克纳姆轮8，麦克纳姆轮8通过联轴器与编码减速电机9连接，编码减速电机9电路部分通过导线与电机驱动模块11连接，电机驱动模块11与主处理器模块12连接，用于控制机器犬的行走速度和方向；编码减速电机9的固定座10与减震装置13螺钉连接，减震装置13与机器犬底盘14螺钉连接。传感模块包括8路超声波传感器3模块、4路压力传感器模块和3路摄像头模块，其中，机器犬身体两侧、腹部、鼻子处以及下颚处分别固定有4路、2路、1路、1路超声波传感器3模块，用于感知周边障碍物；4路压力传感器模块分别嵌入减震装置13中并与主处理器模块12连接；3路摄像头模块分别装在机器犬眼睛和腹部，用于捕捉信号灯状况以及道路状况；通信模块15包括GSM通信模块、GPRS通信模块和服务器，GSM通信模块用于向盲人的紧急联系人发送短信提醒以及位置信息，GPRS通信模块用于将主处理器传递过来的图片数据发送给服务器，由服务器对图片中的文字进行识别；定位模块16包括GPS模块和6轴陀螺仪17，用于为盲人规划路径，同时能够获取机器犬运动状态；语音模块20包括非特定人声语音识别模块和语音播报模块，非特定人声语音识别模块的麦克风通过导线延伸至功能模块1中，用于采集盲人的语音数据并进行语音识别；语音播报模块的扬声器19通过导线延伸出来并固定在机器犬胡须处，用于播报不同的定制语音内容；警示模块为固定在机器犬两侧耳朵上的LED警示灯7，警示灯7与主处理器模块12连接，用于提醒周边行人注意避让盲人；电源模块18固定在机器犬内部，电源模块18与主处理器模块12连接，为整个装置提供能源。
盲人出行时，打开功能模块1上的电源开关21，按下自主运行按键22，主处理器模块12检测到按键已按下状态后控制语音播报模块播报“请说出您要去的地址”，同时控制非特定人声语音识别模块采集盲人语音数据并进行识别，并将识别结果回传给主处理器模块12，主处理器模块12控制语音播报模块向盲人播报识别出的地址信息供盲人确认，同时再次控制非特定人声语音识别模块采集并识别盲人反馈的语音数据；如果盲人反馈结果是地址识别错误，则主处理器模块12会控制语音播报模块和非特定人声语音识别模块重新进行地址数据的采集和识别；如果盲人反馈结果是地址识别正确，则主处理器模块12会将识别出的地址数据传递给GPS模块，进行定位，GPS模块将实时定位数据传递给主处理器模块12，主处理器模块12采用百度地图进行路径规划导航，同时控制机器犬腹部的摄像头一4开启进行循迹。
机器犬行驶在室外路面上时，主处理器模块12获取GPS模块采集的实时位置信息(经纬度、磁偏角等)；6轴陀螺仪17内包含3轴加速度计和3轴磁场传感器，当机器犬侧翻时，主处理器模块12根据加速度计测得的数据，分析出机器犬某一方向运动出现异常，主处理器模块12控制语音播报模块播报“机器犬发生侧翻，请扶正”的语音提示。
机器犬行驶在凹凸路面上时，可以通过减震装置13分担颠簸；同时主处理器模块12对机器犬下颚处超声波传感器3模块以及减震装置13中压力传感器模块传递过来的数据进行分析，通过控制电机驱动模块11来控制机器犬的行驶速度，并控制语音播报模块播报“前方道路颠簸，请注意行走”。盲人在行走过程中还可以通过功能模块1中的速度调节滚轮23调整机器犬行驶速度，以适应自己的行走步伐。本发明中的机器犬移动平台采用45°麦克纳姆轮8，每个轮子都由主处理器模块12通过电机驱动模块11单独控制旋转，因此传统的PID调速方法无法进行有效调节。为此本发明采用模糊PID算法来调整机器犬速度：根据模糊规则经验表中的规则进行模糊推理，对模糊参数进行解模糊，输出PID控制参数；模糊参数输入量为麦克纳姆轮8的实际转速s和设定转速d之间的偏差E(E＝s-d)以及偏差变化率EC；
EC＝Ek-Ek-1 (1)
其中，Ek表示当前偏差；Ek-1表示前一时刻偏差；E的基本论域取[-30,30]；EC的基本论域取[-10,10]；将变量E和变量EC按照公式(2)进行离散化：
其中，y*对应离散化后输出的模糊变量；x*对应输入的变量，x*∈[a*,b*]，[a*,b*]对应输入变量的论域范围；n*为离散度，设置为3。
离散化后的输出量则为模糊变量e和ec，离散论域均为{-3,-2,-1,0,1,2,3}。在模糊控制器中将输入值模糊变量e和ec分成7个等级，用模糊语言和隶属度进行描述为：NB(负大)、NM(负中)、NS(负小)、ZO(零)、PS(正小)、PM(正中)、PB(正大)；模糊控制器的输出量为PID控制参数：ΔKp、ΔKi、ΔKd；由实验可以得到ΔKp、ΔKi、ΔKd的离散论域分别为{-1.56,-1.04,-0.52,0,0.52,1.04,1.56}，{-8.4,-5.6,-2.81,0,2.8,5.6,8.4}，{-0.45,-0.3,-0.15,0,0.15,0.3,0.45}；模糊控制器的输出采用公式(3)所示的三角形隶属度函数：
如图9所示，其中，参数a、c为隶属度函数图中三角形的脚；b为隶属度函数图中三角形的峰；x对应模糊控制器的输入量；f(x,a,b,c)对应模糊控制器的输出量。
解析规则如下：每个控制参数都有与之对应的模糊规则控制表，根据ΔKp对应的模糊规则控制表(表1)中的规则if(e is PB)and(ec is NB),then(ΔKp is ZO)、(ΔKi isZO)、(ΔKd is PB)，如果偏差e为正大，并且其变化率ec为负大，那么需要设置ΔKp为零，表示保持不变；设置ΔKi为零，表示保持不变；设置ΔKd为正大，表示调节ΔKd使其大幅增大。采用重心法解模糊：
其中，q表示清晰值；xi表示隶属度；μN(xi)表示模糊变量；清晰值q需经过线性尺度变换转换为实际的控制量ΔKp：
其中，mmin、mmax为ΔKP的实际变化范围，即基本论域[mmin，mmax]，nmin、nmax为ΔKp论域[nmin，nmax]。利用表2、表3，同理可求得其他控制参数ΔKi和ΔKd，主处理器模块12向电机驱动模块11输出控制参数，实现对机器犬行驶速度的控制。
表1ΔKp模糊规则控制表
表2ΔKi模糊规则控制表
表3ΔKd模糊规则控制表
主处理器模块12控制摄像头一4捕获前方道路图像数据，进行盲道(常见的盲道颜色有黄色和灰色，盲道纹理分为条形和圆形，其中条形盲道表示盲道在该方向保持不变，圆形盲道表示盲道在该位置处方向发生了偏转，或者表示到达了路口，前方没有盲道)识别时，采用传统的特征提取算法，将摄像头一4传递的RGB图像转换为二维YcrCb图像以减少亮度对图像质量的影响，采用canny算子(多级边缘检测算法)进行图像轮廓提取，滤除非圆形、条形轮廓后采用形态学腐蚀、膨胀、填充方法获得连通区，完成对盲道的检测提取，盲道识别结果如图10所示；如果没有识别到盲道，主处理器模块12控制语音播报模块播报“未检测到盲道，请小心行走”的语音提示，同时控制警示模块的LED警示灯7开启，便于周围人群或车辆避让盲人。
机器犬行走至圆形点状盲道位置或者盲人按下功能模块1中的信号灯识别按键24后，主处理器模块12控制机器犬停止行走，并开启眼部摄像头二5和摄像头三6，捕捉信号灯位置及状态信息并回传给主处理器模块12进行处理分析。主处理器模块12对红色和绿色兴趣区域进行连通区域标定，设定阈值并提取兴趣区域的面积，滤除大面积或细微面积区域，在提取区域范围中匹配黑色物体轮廓(过街灯外壳)，若存在近似矩形的黑色轮廓，则判断为信号灯，使用基于差值法的图像变化检测算法，判断图像是否发生了变化，再确定发生变化的图像区域，进而识别变化的性质，完成对信号灯状态的分析；主处理器模块12根据分析结果，控制语音播报模块播报当前信号灯状态提示音；当主处理器模块12没有识别到信号灯时，控制语音播报模块播报“未检测到信号灯，请小心行走”的语音提示；与此同时，主处理器模块12控制机器犬行走，并控制LED警示灯7开启，引导盲人安全地穿过道路。
机器犬在行走过程中，采用除下颚处以外的7路超声波传感器3模块进行道路障碍检测，超声波传感器3将检测到的障碍物与机器犬之间的距离信息传递给主处理器模块12，主处理器模块12将单位时间内机器犬位移量与单位时间内障碍物与机器犬之间距离减少量做比较，若二者一致，则表明障碍物为静止障碍物，否则为动态障碍物；主处理器模块12根据定位导航信息以及传感器传递过来的距离信息确定避让时间和方向；同时，位于机器犬下颚处的超声波传感器3检测机器犬距离路面的高度，主处理器模块12将检测数据与阈值对比并记录落差；若落差大于15厘米则停止行驶，并控制语音播报模块播报“前方道路高度落差较大，已停止行驶”的语音提示；若落差小于等于15厘米则继续行驶，并控制语音播报模块播报前方道路高度落差数据以提醒盲人注意。
除此以外，机器犬还可以辅助盲人识别自然场景中的文字信息，盲人按下功能模块1中的拍照按键25，CMOS摄像头26拍摄获取自然场景下商品、街道、区位广告等图像数据，并传递给主处理器模块12，主处理器模块12通过GPRS通信模块将数据传递给服务器，由服务器中的深度学习网络模型进行数据的识别处理，并将识别信息通过GPRS通信模块回传给主处理器模块12，主处理器模块12根据识别结果控制语音播报模块播报识别到的文字信息，增强盲人与现实世界的交互，帮助盲人更好地掌握周边环境信息，文字信息识别结果如图11所示。在文字识别的过程中，本发明对已有的深度学习中自然场景文字定位算法PixelLink进行改进：在原深度学习网络模型中增加了SEBlock结构，使得网络模型在学习中能够自主获取每个特征通道的权重，提升有用特征并抑制低效特，后续对特征图Maskmap进行自适应多边形文本框标注，文本框标注结果如图11所示(矩形框1表示采用传统深度学习网络模型的文本框标注结果，矩形框2表示采用改进深度学习网络模型的文本框标注结果)；自适应多边形文本框标注的具体算法过程如下：
深度学习网络模型总体损失函数定义如下：
其中，像素分类任务损失函数Lpixel及像素连接关系预测任务损失函数Llink与原算法中的损失函数保持一致；Lreg表示边界点回归任务损失函数；Lcls表示停止/继续标签分类任务损失函数；λ1表示像素分类任务的权重参数；λ2表示像素连接关系预测任务的权重参数；λ3表示框点对预测任务的权重参数；λ4表示框点对开始结束标志分类任务的权重参数；因为像素连接关系预测任务、框点对预测任务、框点对开始结束标志分类任务都是在文本像素上进行计算的，所以像素分类任务比这三种任务更重要，因此，本实施例中λ1＝2,λ2,λ3,λ4默认设置为1。
边界点回归任务损失函数Lreg推导如下：设定v是像素连接关系预测任务所得特征图的最小外接矩形框，矩形框的中心点坐标(vx,vy)，中心点距离矩形边框的宽vw，中心点距离矩形边框的高vh；v＝(vx,vy,vw,vh)；其中，u是数据集中边界点的真实坐标集，u*是在边界点回归任务中的预测点坐标集；为了能够更好的学习场景文字中各个文字不同的尺度，对预测的边界点坐标/>作如下处理：
其中，和/>表示当前文本边界点预测的坐标，xa和ya表示当前预测区域对应外接矩形框va的中心点坐标，wa和ha表示对应的外接矩形框的宽和高，损失函数如下：
总的边界点回归任务损失函数即为其中n为边界点坐标总数量。而对应的停止/继续标签分类任务损失函数Lcls为普通二分类对数损失函数，在边界点回归任务中预测一对坐标后对这一对坐标进行标签分类，定义如下：其中li表示第i对边界点标签，/>是当前标签的分类，/>表示这一对坐标点未到文本框尽头，分类为继续；/>表示这一对坐标点已经将所有文本框定，分类为停止。pi是当前标签经过分类器分类后属于停止/继续标签的概率，因边界框点回归数量为n，则在标签分类任务中分类总次数为2/n，总的停止/继续标签分类任务损失函数为
图像数据输入到服务器中后，服务器利用上述算法公式标注出图像中的文字部分，然后对标注框中的内容进行识别，并回传给主处理器模块12，由主处理器模块12控制语音播报模块将识别结果播报出来。
当盲人在出行过程中遇到无法处理的突发状况时，可按下功能模块1中的呼救按键29，主处理器控制LED警示灯7打开，控制语音播报模块播报“我们遇到困难了，我的主人需要帮助”的语音提示，以寻求周围行人的帮助；同时，主处理器模块12控制GSM通信模块给紧急联系人发送通知短信和定位短信。
在盲人到达目的地并进入楼宇中后，GPS一般很难准确获取定位信息，导致机器犬无法有效根据定位行驶，此时使用者可以按下功能模块1中的手动行驶按键27，使得机器犬保持导航状态信息和障碍物检测功能，关闭自主行驶功能，根据提示信息由盲人通过功能模块1中的摇杆28自行控制机器犬行驶，当盲人再次按下功能模块1中的手动行驶按键27时则可恢复原先的自主导航行驶模式。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (8)

1.一种盲人智能辅助装置，其特征在于，包括主处理器模块(12)和与主处理器模块(12)连接的功能模块(1)、运动模块、传感模块、通信模块(15)、定位模块、语音模块(20)、警示模块、电源模块(18)；主处理器模块(12)控制运动模块带动辅助装置行走；主处理器模块(12)接收传感模块传递的数据并进行处理；主处理器模块(12)控制通信模块进行文字识别以及发送短信；主处理器模块(12)接收定位模块传递的数据，并进行路径规划以及侧翻判断；主处理器模块(12)控制语音模块(20)进行人声识别以及播报语音提示；主处理器模块(12)控制警示模块开启以提醒周边行人注意避让；
所述功能模块(1)通过牵引绳与主处理器模块(12)连接，包括CMOS摄像头(26)模块和功能按键，用于获取周边环境信息以及控制辅助装置工作；其中拍照按键(25)按下后，CMOS摄像头(26)采集周边图像数据并传递到服务器，服务器在深度学习网络模型中加入SEBlock结构，对特征图进行自适应多边形文本框标注，识别文本框中的文字信息，并通过语音播报模块告知盲人；文本框标注的具体算法过程如下：
深度学习网络模型总体损失函数定义如下：
其中，像素分类任务损失函数Lpixel及像素连接关系预测任务损失函数Llink与原算法中的损失函数保持一致；Lreg表示边界点回归任务损失函数；Lcls表示停止/继续标签分类任务损失函数；λ1表示像素分类任务的权重参数；λ2表示像素连接关系预测任务的权重参数；λ1＝2，λ2，λ3，λ4默认设置为1；n为边界点坐标总数量；
设定v是像素连接关系预测任务所得特征图的最小外接矩形框，矩形框中心点坐标为(Vx，Vy)，中心点距离矩形边框的宽、高分别为Vw、Vh；V＝(Vx，Vy，Vw，Vh)；u＝(ux1,uy1，……，uxn,uyn)；其中，u是数据集中边界点的真实坐标集，u*是在边界点回归任务中的预测点坐标集；对预测的边界点坐标/>作如下处理：
其中，和/>表示当前文本边界点预测的坐标；xa和ya表示当前预测区域对应外接矩形框Va的中心点坐标；wa和ha表示对应的外接矩形框的宽和高；损失函数如下：
停止/继续标签分类任务损失函数Lcls为普通二分类对数损失函数，在边界点回归任务中预测一对坐标后进行标签分类，定义如下：其中li表示第i对边界点标签；/>是当前标签的分类，/>表示这一对坐标点未到文本框尽头，分类为继续；表示这一对坐标点已经将所有文本框定，分类为停止；pi是当前标签经过分类器分类后属于停止/继续标签的概率。
2.根据权利要求1所述的盲人智能辅助装置，其特征在于，所述运动模块包括麦克纳姆轮(8)，麦克纳姆轮(8)与编码减速电机(9)连接，编码减速电机(9)与电机驱动模块(11)连接，电机驱动模块(11)与主处理器模块(12)连接，用于控制机器犬的行走速度和方向；编码减速电机(9)的固定座与减震装置(13)螺钉连接，减震装置(13)与机器犬底盘(14)螺钉连接。
3.根据权利要求1所述的盲人智能辅助装置，其特征在于，所述传感模块包括超声波传感器(3)模块、压力传感器模块和摄像头模块，分别用于测距、检测压力值、捕捉信号灯状况和道路状况；所述警示模块包括LED警示灯(7)。
4.根据权利要求1所述的盲人智能辅助装置，其特征在于，所述通信模块(15)包括GSM通信模块、GPRS通信模块和服务器，用于向紧急联系人发送位置信息和呼叫短信，进行文字识别；所述定位模块(16)包括GPS模块和6轴陀螺仪(17)，用于为盲人规划路径，获取机器犬运动状态。
5.根据权利要求1所述的盲人智能辅助装置，其特征在于，所述语音模块(20)包括非特定人声语音识别模块和语音播报模块，非特定人声语音识别模块的麦克风通过导线延伸至功能模块(1)中，用于采集盲人的语音数据并进行识别；语音播报模块的扬声器(19)通过导线延伸出来并固定在机器犬胡须处，用于向盲人播报不同的语音提示。
6.利用权利要求1至5任一项权利要求所述的辅助装置的辅助方法，其特征在于，打开电源开关(21)，按下自主运行按键(22)，主处理器模块(12)控制非特定人声语音识别模块采集人声并交由服务器识别，控制语音播报模块向盲人反馈地址信息；主处理器模块(12)控制GPS模块定位并进行路径规划，同时开启摄像头一(4)捕获道路数据，进行盲道识别；盲人行走到路口时，主处理器模块(12)开启摄像头二(5)、摄像头三(6)捕捉信号灯位置及状态信息并进行识别处理，根据识别结果引导盲人安全穿过道路；到达目的地后，盲人按下手动行驶按键(27)，通过摇杆(28)控制辅助装置行走，再次按下手动行驶按键(27)后，恢复自主导航行驶模式；
按下拍照按键(25)后，CMOS摄像头(26)采集周边图像数据并传递到服务器，服务器在深度学习网络模型中加入SEBlock结构，对特征图进行自适应多边形文本框标注，识别文本框中的文字信息，并通过语音播报模块告知盲人；文本框标注的具体算法过程如下：
深度学习网络模型总体损失函数定义如下：
其中，像素分类任务损失函数Lpixel及像素连接关系预测任务损失函数Llink与原算法中的损失函数保持一致；Lreg表示边界点回归任务损失函数；Lcls表示停止/继续标签分类任务损失函数；λ1表示像素分类任务的权重参数；λ2表示像素连接关系预测任务的权重参数；λ1＝2，λ2，λ3，λ4默认设置为1；n为边界点坐标总数量；
设定v是像素连接关系预测任务所得特征图的最小外接矩形框，矩形框中心点坐标为(Vx，Vy)，中心点距离矩形边框的宽、高分别为Vw、Vh；V＝(Vx，Vy，Vw，Vh)；u＝(ux1,uy1，……，uxn,uyn)；其中，u是数据集中边界点的真实坐标集，u*是在边界点回归任务中的预测点坐标集；对预测的边界点坐标/>作如下处理：
其中，和/>表示当前文本边界点预测的坐标；xa和ya表示当前预测区域对应外接矩形框Va的中心点坐标；wa和ha表示对应的外接矩形框的宽和高；损失函数如下：
停止/继续标签分类任务损失函数Lcls为普通二分类对数损失函数，在边界点回归任务中预测一对坐标后进行标签分类，定义如下：其中li表示第i对边界点标签；/>是当前标签的分类，/>表示这一对坐标点未到文本框尽头，分类为继续；表示这一对坐标点已经将所有文本框定，分类为停止；pi是当前标签经过分类器分类后属于停止/继续标签的概率。
7.根据权利要求6所述的辅助方法，其特征在于，所述主处理器模块(12)采用模糊PID算法调整辅助装置运动速度：模糊参数输入量为麦克纳姆轮(8)实际转速s和设定转速d之间的偏差E以及偏差变化率EC；EC＝Ek-Ek-1，其中，Ek表示当前偏差；Ek-1表示前一时刻偏差；E的基本论域取[-30，30]；EC的基本论域取[-10，10]；将变量E和变量EC进行离散化处理；离散化后的输出量为模糊变量e和ec，离散论域均为{-3，-2，-1，0，1，2，3}；在模糊控制器中将输入值模糊变量e和ec分成7个等级：NB、NM、NS、ZO、PS、PM、PB；模糊控制器的输出量为PID控制参数：ΔKp、ΔKi、ΔKd；
根据ΔKp对应的模糊规则控制表中的规则if(e is PB)and(ec is NB)，then(ΔKpisZO)、(ΔKiis ZO)、(ΔKdis PB)，如果偏差e为正大，且变化率ec为负大，那么设置ΔKp为零，ΔKi为零，ΔKd为正大；采用重心法解模糊：
其中，q表示清晰值，xi表示隶属度；μN(xi)表示模糊变量；清晰值q需经过线性尺度变换转换为实际的控制量ΔKp：
其中，mmin、mmax为ΔKp的基本论域[mmin，mmax]，nmin、nmax为ΔKp论域[nmin，nmax]；同理求得控制参数ΔKi和ΔKd；主处理器模块(12)向电机驱动模块(11)输出控制参数，实现对辅助装置驱使速度的控制。
8.根据权利要求6所述的辅助方法，其特征在于，所述盲人按下呼救按键(29)，主处理器模块(12)控制警示模块和语音播报模块开启，向周边行人寻求帮助，同时控制GSM通信模块向紧急联系人发送短信；主处理器模块(12)能够根据定位导航信息以及超声波传感器(3)传递的距离信息确定辅助装置的避让时间和方向，同时还能检测地面高度，控制语音播报模块提醒盲人注意台阶；主处理器模块(12)能够分析出陀螺仪(17)检测到的异常数据，通过语音播报模块提醒盲人辅助装置发生侧翻。
CN202010111943.7A 2020-02-24 2020-02-24 一种交互式盲人智能辅助装置及方法 Active CN111317653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010111943.7A CN111317653B (zh) 2020-02-24 2020-02-24 一种交互式盲人智能辅助装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010111943.7A CN111317653B (zh) 2020-02-24 2020-02-24 一种交互式盲人智能辅助装置及方法

Publications (2)

Publication Number Publication Date
CN111317653A CN111317653A (zh) 2020-06-23
CN111317653B true CN111317653B (zh) 2023-10-13

Family

ID=71163604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111943.7A Active CN111317653B (zh) 2020-02-24 2020-02-24 一种交互式盲人智能辅助装置及方法

Country Status (1)

Country Link
CN (1) CN111317653B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111643328B (zh) * 2020-06-30 2023-05-12 天津大学 一种推拿力度控制系统和方法
CN113940462A (zh) * 2020-07-15 2022-01-18 陕西科技大学 一种智能雨衣及其控制方法
CN112402196A (zh) * 2020-10-23 2021-02-26 西安交通大学 一种无障碍生态智能眼杖及其工作方法
CN113908023B (zh) * 2021-09-30 2022-07-08 北京理工大学 一种导盲车和人车协同的导盲车控制方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172639A (ja) * 2000-09-29 2007-07-05 Japan Science & Technology Agency 文字認識方法、文字認識プログラム及び文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体
CN101849880A (zh) * 2010-04-07 2010-10-06 上海市金山区第一少年宫 基于红外传感几何特征识别的导盲系统
CN103126862A (zh) * 2013-02-04 2013-06-05 江苏科技大学 基于gps、gprs和rfid的室外导盲机器人及导航定位方法
KR20130086861A (ko) * 2012-01-26 2013-08-05 이문기 전자식지팡이와 스마트폰을 이용한 시각장애인용 안내장치
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN108960301A (zh) * 2018-06-20 2018-12-07 西南大学 一种基于卷积神经网络的古彝文识别方法
CN109009906A (zh) * 2018-08-31 2018-12-18 江苏大学 一种导盲杆及其方法
CN109164799A (zh) * 2018-07-24 2019-01-08 江苏大学 一种行车主动避撞系统及方法
CN109646256A (zh) * 2018-12-21 2019-04-19 贾铮 一种基于北斗的智能旅行箱导盲系统及导盲方法
CN110009052A (zh) * 2019-04-11 2019-07-12 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110228524A (zh) * 2018-03-06 2019-09-13 重庆邮电大学 基于多层模糊控制的无人车辆自动转向控制方法
CN110378338A (zh) * 2019-07-11 2019-10-25 腾讯科技（深圳）有限公司 一种文本识别方法、装置、电子设备和存储介质
WO2019221551A1 (ko) * 2018-05-18 2019-11-21 오드컨셉 주식회사 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
CN110538051A (zh) * 2019-08-27 2019-12-06 华南理工大学 一种自动寻路的盲人智能辅助装置及其方法
CN110543879A (zh) * 2019-08-20 2019-12-06 高新兴科技集团股份有限公司 基于se模块的ssd目标检测方法及计算机存储介质
CN110575371A (zh) * 2019-10-22 2019-12-17 大连民族大学 一种智能导盲手杖及控制方法
CN110584962A (zh) * 2019-08-28 2019-12-20 西安工业大学 一种组合探障智能导盲系统
CN212261841U (zh) * 2020-02-24 2021-01-01 江苏大学 一种交互式盲人智能辅助装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US10558749B2 (en) * 2017-01-30 2020-02-11 International Business Machines Corporation Text prediction using captured image from an image capture device
US10811000B2 (en) * 2018-04-13 2020-10-20 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for recognizing simultaneous speech by multiple speakers

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172639A (ja) * 2000-09-29 2007-07-05 Japan Science & Technology Agency 文字認識方法、文字認識プログラム及び文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体
CN101849880A (zh) * 2010-04-07 2010-10-06 上海市金山区第一少年宫 基于红外传感几何特征识别的导盲系统
KR20130086861A (ko) * 2012-01-26 2013-08-05 이문기 전자식지팡이와 스마트폰을 이용한 시각장애인용 안내장치
CN103126862A (zh) * 2013-02-04 2013-06-05 江苏科技大学 基于gps、gprs和rfid的室外导盲机器人及导航定位方法
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN110228524A (zh) * 2018-03-06 2019-09-13 重庆邮电大学 基于多层模糊控制的无人车辆自动转向控制方法
WO2019221551A1 (ko) * 2018-05-18 2019-11-21 오드컨셉 주식회사 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
CN108960301A (zh) * 2018-06-20 2018-12-07 西南大学 一种基于卷积神经网络的古彝文识别方法
CN109164799A (zh) * 2018-07-24 2019-01-08 江苏大学 一种行车主动避撞系统及方法
CN109009906A (zh) * 2018-08-31 2018-12-18 江苏大学 一种导盲杆及其方法
CN109646256A (zh) * 2018-12-21 2019-04-19 贾铮 一种基于北斗的智能旅行箱导盲系统及导盲方法
CN110009052A (zh) * 2019-04-11 2019-07-12 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110378338A (zh) * 2019-07-11 2019-10-25 腾讯科技（深圳）有限公司 一种文本识别方法、装置、电子设备和存储介质
CN110543879A (zh) * 2019-08-20 2019-12-06 高新兴科技集团股份有限公司 基于se模块的ssd目标检测方法及计算机存储介质
CN110538051A (zh) * 2019-08-27 2019-12-06 华南理工大学 一种自动寻路的盲人智能辅助装置及其方法
CN110584962A (zh) * 2019-08-28 2019-12-20 西安工业大学 一种组合探障智能导盲系统
CN110575371A (zh) * 2019-10-22 2019-12-17 大连民族大学 一种智能导盲手杖及控制方法
CN212261841U (zh) * 2020-02-24 2021-01-01 江苏大学 一种交互式盲人智能辅助装置

Also Published As

Publication number Publication date
CN111317653A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111317653B (zh) 一种交互式盲人智能辅助装置及方法
CN212261841U (zh) 一种交互式盲人智能辅助装置
CN109460699B (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
CN112660157B (zh) 一种多功能无障碍车远程监控与辅助驾驶系统
CN106022235B (zh) 基于人体探测的遗漏孩童检测方法
DE102018002963A1 (de) Fahrerüberwachungsapparat und fahrerüberwachungsverfahren
US20200388135A1 (en) Automated water body area monitoring
CN110435672A (zh) 一种基于场景预判安全驾驶辅助方法及其系统
US12073703B2 (en) Image based aquatic alert system
Yadav et al. Fusion of object recognition and obstacle detection approach for assisting visually challenged person
Kotani et al. Development of the robotic travel aid “HITOMI”
CN113075926A (zh) 一种基于人工智能的导盲机器狗
CN117141519A (zh) 一种基于图像处理的无人驾驶系统及方法
Guria et al. Iot-enabled driver drowsiness detection using machine learning
US11912307B2 (en) Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
Mori et al. A robotic travel aid" HITOMI"
Banarase et al. Review on: Real time lane departure awareness system & maintenance in reducing road accidents
CN114533503B (zh) 一种智慧助盲出行的眼镜系统及交互方法
US20240153109A1 (en) Image based tracking system
Himaswi et al. Deep Learning-Based Drowsiness Detection System Using IoT
KR102378691B1 (ko) 교통약자를 위한 엘레베이터 호출시스템
Golabhavi et al. Self-driving car model using raspberry pi
CN110347043B (zh) 一种智能驾驶控制方法及装置
Kavitha et al. Driver drowsiness detection using face expression recognition
Keshara et al. Real-time Smart Navigation System for Visually Impaired People

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant