[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111399505A - 一种基于神经网络的移动机器人避障方法 - Google Patents

一种基于神经网络的移动机器人避障方法 Download PDF

Info

Publication number
CN111399505A
CN111399505A CN202010173908.8A CN202010173908A CN111399505A CN 111399505 A CN111399505 A CN 111399505A CN 202010173908 A CN202010173908 A CN 202010173908A CN 111399505 A CN111399505 A CN 111399505A
Authority
CN
China
Prior art keywords
robot
obstacle avoidance
obstacle
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010173908.8A
Other languages
English (en)
Other versions
CN111399505B (zh
Inventor
朱威
汤如
巫浩奇
龙德
何德峰
郑雅羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010173908.8A priority Critical patent/CN111399505B/zh
Publication of CN111399505A publication Critical patent/CN111399505A/zh
Application granted granted Critical
Publication of CN111399505B publication Critical patent/CN111399505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)

Abstract

本发明涉及一种基于神经网络的移动机器人避障方法，包括以下步骤：(1)根据机器人的尺寸和驱动方式确定避障参数；(2)输入深度图像，对深度图像进行预处理、分割前景区域；(3)搭建端到端的避障神经网络；(4)构建数据集，训练避障神经网络；(5)采集一幅深度图像，进行步骤(2)相同的预处理，得到前景区域；(6)若前景区域中存在大障碍物，则进行大障碍物避障处理后，进行步骤(8)，否则，进行步骤(7)；(7)将前景区域的图像输入所述避障神经网络中，输出机器人的转向角度和移动速度；(8)避障完成。本发明利用深度图像和卷积神经网络进行移动机器人避障，无需手动提取特征和参数整定，在室外复杂场景下也能准确避障。

Description

一种基于神经网络的移动机器人避障方法
技术领域
本发明属于机器人领域，具体涉及一种基于神经网络的移动机器人避障方法。
背景技术
机器人能够代替人类从事繁重、繁琐的体力劳动，涉及机械、电子、传感器、计算机和人工智能等多学科的知识。机器人的种类和形式多样，目前市面上主流的形式是移动机器人和手臂式机器人。其中移动机器人已经活跃在工厂、商场和仓库等场合，有时也可作为其他机器人的移动平台，例如轮式机器人和机械臂两者协助完成开门、端茶递水等任务，以及轮式机器人和多轴云台完成目标跟踪、巡检等任务。上述两种典型机器人应用场合，机械臂、云台与移动机器人的协助工作是相辅相成的。对于移动机器人来说最重要的就是移动能力，它在一定程度上决定了机器人的性能，机器人在安全的情况下能够快速且准确的到达既定位置具有十分重要的意义。在移动机器人的移动过程中，避障是一种最为重要的功能，这不仅能够避免其他物体与机器人产生摩擦，也能在很大程度上保护机器人自身免受伤害。避障应具有及时性与准确性，在确保及时性的情况下也应该具有足够高的准确性，以减少对自主导航的影响。
目前避障技术的实现手段有多种方式，可以通过视觉或超等波、激光、雷达、TOF等距离传感器对环境进行感知，在获取到障碍物的距离、尺寸、形状与位置等相关信息后对机器人的运动进行调整，避免机器人在移动过程中与障碍物发生碰撞。张午阳等人提出了一种基于深度学习的无人机避障方法(见“基于深度学习的四旋翼无人机单目视觉避障方法”，计算机应用，2019，39(04):1001-1005)，该方法采用Faster R-CNN网络框选被测目标，计算边框尺寸后利用相似三角形估算障碍物和无人机的距离，虽然能够实现避障，但是误差达到±0.5m，且无人机必须低速飞行才能保证实时性。
申请号为CN201910454798.X的专利公开了一种激光和视觉融合的避障方法，主要采用YOLO目标检测网络对特定障碍物进行检测，但并不是直接根据障碍物的视觉信息进行避障，核心的避障功能使用机器人操作系统ROS中的Depthimage_to_laserscan功能包，其原理是将深度图像数据转换成激光数据，然后再将激光雷达的数据进行融合，实现机器人避障。此种方式的机器人避障和深度学习没有直接关系，只是使用了深度学习的办法提取出RGB图像中的障碍物所在像素位置，核心的避障方式还是使用深度图转雷达数据的功能包，再将雷达数据传入到导航功能包中。该方法虽然避障效果较单激光传感器方式效果更好，但其缺点是YOLO在检测障碍物的时候，只能框选到数据集中已有的障碍物，无法实现在复杂场景下未知障碍物的检测。申请号为CN201910388213.9的专利公开了一种基于深度学习的自动驾驶控制方法，该方法使用GPS与IMU组合的方式获取小车的位姿，采用最大连续路面长度、路面梯度与路面到达的最远距离这三个指标对当前路面状况进行评价得到局部最优路径。该专利使用GPS定位的方法使小车对于十字路口、环岛能够快速做出选择，但对于不同路面与路面材质变换的检测效果并不理想，容易造成误识别。
发明内容
为了解决机器人在移动过程中可能会产生的碰撞问题，本发明提供了一种基于神经网络的移动机器人避障方法，具体包括以下六个部分：机器人避障参数确定、输入图像预处理、端到端的避障神经网络设计、数据集制作与网络模型训练、大障碍物的避障、避障神经网络模型推理，具体方法如下：
(1)根据机器人的尺寸和驱动方式确定避障参数；
根据机器人大小和种类，确定避障参数。定义机器人与障碍物之间的距离Dist为机器人向水平面投影得到的外接圆到障碍物向水平面投影得到的外接圆的最小距离，可在深度相机标定后根据深度图计算得到。本发明根据障碍物与机器人之间的距离划分为三类区域：
①安全区域：Dist大于等于THdmax。此时机器人前方无障碍或者深度相机探测不到的区域，机器人能够正常通行。THdmax的取值范围为[5,15]，单位米。
②障碍区域：Dist大于THdmin且距离小于THdmax的区域。THdmin的取值范围为[0.5,2]，单位米。
③碰撞区域：Dist小于等于THdmin米时机器人极有可能发生碰撞，此时机器人立即停止运动。
所述机器人的转向结构为阿克曼转向结构。定义机器人的转向角度为后轮(驱动轮)两圆心所在直线与前轮(转向轮)两圆心所在直线的夹角。若前轮与后轮所在直线平行，则转角为0度。定义机器人的移动速度为后轮的线速度。
(2)输入深度图像，对深度图像进行预处理、分割前景区域；
室外移动机器人的工作场景具有高度不确定性，相机采集到的深度图像中，部分背景部分会影响移动机器人避障，如果将深度图直接输入到神经网络，卷积层可能会提取到背景的特征，所以需要先将障碍物分割出来。因此本发明对输入深度图像先进行缩放、提取其前景区域后再用于后续处理，具体步骤如下：
(2-1)图像缩放
由于不同深度相机的深度图像尺寸不同，所以对图像进行裁剪成合适比例后再进行缩放，减少后续遍历与卷积运算时间。
本发明以输入深度图像中心为基准，对基准点上下左右四个方向进行裁剪，裁剪出Pix×Pix大小的图像，Pix的范围是[219,424]。对裁剪后的图像进行缩放，缩放时保持图像长宽比为1，将图像缩放至219×219。称缩放后的图像为原图像，对原图像进行复制得到备份图像，备份图像与原图像完全相同。
(2-2)对备份图进行二值化
由于深度图中前景和背景灰度值差值会随着场景不同而变化，在室外空旷场合，前景和背景灰度值之差会很大，在室内与走廊等场合，前景和背景灰度值差值之差很小，使用固定阈值很难分割出前景。因此本发明使用大津法OTSU进行分割。经过大津法分割后的图像，前景部分被置为白色，背景部分被置为黑色。将二值化图像中具有相同像素值且位置相邻的前景像素点组成的图像区域称为连通块。
(2-3)对原图前景区域提取
对备份图分割后的每个白色连通块进行统计，将边界横坐标的最大和最小值之差作为块宽度width，将边界纵坐标最大和最小值之差作为块高度height；剔除width与height小于阈值THwh的白色块，将其置为黑色，THwh的取值范围是[2,5]。
(2-4)以备份图剔除小连通块后剩余的白色区域为掩膜，对原图像进行感兴趣区域提取，保留深度图对应的前景区域，并将背景区域设为黑色。
(3)端到端的避障神经网络搭建
本发明提出的避障神经网络是在深度卷积神经网络AlexNet的基础上修改得到的。AlexNet是深度卷积神经网络在图像领域的开山之作，其一共含有八层网络，前五层为卷积层，后面三个为全连接层。前两个卷积层和第五个卷积层有池化层，其他两个卷积层没有池化。本发明避障神经网络是基于AlexNet网络进行修改，具体如下：
(3-1)卷积层和池化层的修改
在卷积层中，由于原网络的11×11卷积核的提取特征的效果并不理想，所以将第一层的卷积滤波器大小设置为3×3，步长为2，卷积核个数从96个扩大到256个，输入图片从227×227×3修改为219×219×1。
池化层出现在卷积层之后，池化层可以非常有效地缩小矩阵的尺寸，从而减少最后全连接层中的参数，使用池化层既可以加快计算速度也有防止过拟合问题的作用。为了防止过早的丢失图像细节，造成避障网络对小障碍物难以识别，所以删除掉第一层的池化。由于已将卷积核尺寸变小，在第二层和第五层中，为了保持重叠池化，将在第二层和第五层中池化层步长调整为1，窗口大小调整为2×2，保证模型的泛化性同时加快计算速度。
(3-2)LRN层的删除与归一化层的增加
在AlexNet中LRN层是模拟神经生物学中的“侧抑制”功能，在不改变数据大小和维度的情况下，对数据进行归一化处理，目的是为了提高模型的泛化能力。实际使用中LRN层并不能带来显著的提升，反而增大了数据量，为了简化模型所以删除所有的LRN层。
由于LRN层并不能带来较高的性能功耗比，所以在第五层(最后一层卷积层)池化操作后使用归一化层进行归一化Batch Normalization处理，等同于在训练阶段每个batch中对每一个特征进行归一化操作，使模型在训练阶段能使用较高学习率lr以减少训练时间。
(3-3)激活函数的替换
前五层在卷积滤波和池化操作后需要执行激活函数，由于Sigmoid、tanh等激活函数计算量较大且存在梯度弥散现象，以及已经删掉了LRN层。因此为了保证模型泛化能力，本发明将AlexNet网络中的ReLU激活函数替换为Swish。Swish是谷歌大脑提出的一种新的激活函数，Swish解决了ReLU部分权重无法更新的情况。激活函数的替换增加了训练时间，但增加了模型泛化性。
(3-4)全连接层的替换
全连接层在网络中占据了及大的参数与计算时间，本发明使用全局平均池化(Global Average Pooling，GAP)代替AlexNet最后三层的全连接层，这样的修改可以减少模型推理时间并增加模型的预测性能，使用GAP代替全连接层后，本发明删除softmax分类器，直接使用GAP的输出作为分类输出，最终输出值为推理出的机器人转向角度和机器人移动速度。
(4)构建数据集，训练所述避障神经网络；
(4-1)数据的采集
由于目前机器人主流的避障方法为雷达、超声波与双目视觉，使用深度图像进行端到端的避障研究较少，没有统一标准的公开数据集，所以需要自制数据集。本发明的数据集制作过程为：将机器人放置在室外的环境下，在机器人的前方放置不同高度与体积的障碍物，通过遥控器控制机器人运动避开障碍物，记录下不同条件下障碍物的深度图像、机器人前轮转向角度与后轮的驱动速度，按照时间戳来保存至本地。采集过程中障碍物的种类尽可能的多；障碍物的放置位置和姿态也要尽可能的不同；场景也要随机变化。本发明仅在步骤(1)中所述的安全区域和障碍区域内进行采集，不在碰撞区域内采集。
(4-2)小转角的处理
在数据采集完成后，对数据进行统计，定义转向角度绝对值小于θ的为小转角，θ的范围是[5°,10°]。对收集到的样本中遇到障碍物时小转角的样本进行非线性增大，以保证训练效果。非线性函数选择均值为0，方差为10的正态分布函数N(0,100)，进行高斯振荡后此类样本转角扩大至[-19.6°,19.6°]。
(4-3)数据集的标注
将控制指令与当前时刻的深度图进行配对，对于后轮驱动前轮转向结构的机器人：定义标签为转向角度和移动速度；对于两轮运动差速结构的机器人：根据左右轮的速度差来定义转向角度，若左右轮速度完全相同，则转向角度为0，若左轮大于右轮，则定义为右转，否则定义为左转。定义机器人直行(包含前进和后退)时转向角度为0，左转时转向角度为负，右转为正。
所述标签中的转向角度具体分为七个整数档次，分别是[-30°、-20°、-10°、0°、10°、20°、30°]，所有样本中的转向角度须按向零就近取整的方式归到其中一档，所述标签中的机器人移动速度分为三个档，分别是全速、半速和停止。
在每一帧图像的标签确定之后，将转角为0°而移动速度不为全速的样本手动剔除，防止模型推理时在直行的情况下减速。
(4-4)避障神经网络模型训练
训练算法选择随机梯度下降法，动量为0.9。将神经网络的批处理尺寸batch size由256调整为32。为了避免模型在调整batch size的情况下出现产生过多局部极小值点，造成难以收敛，所以将初始学习率lr由0.01调整为0.02，相当于增加了步长，使模型可以越过局部极小点。
训练中使用0.02的学习率lr训练n1轮，即n1个Epoch，使用0.002的lr训练n2个Epoch，使用0.0002的lr训练n3个Epoch，最后再将lr降低到0.00002，若验证集准确率几乎没有提升即可结束训练，此处的提升阈值由本领域技术人员自行设置；若验证集的准确率在增大过程中，可适当增加Epoch，增加训练次数。其中n1的取值范围是[1,90]；n2的取值范围是[91,100]；n3的取值范围是[80,100]；其中n的取值范围与训练样本和batch size相关，改变lr时需要经过10个Epoch之后再进行判断，当在每个Epoch中验证集准确率不再增加时改变学习率。
(5)采集一幅深度图像，进行步骤2相同的预处理，得到前景区域；
(6)若前景区域中存在大障碍物，则进行大障碍物避障处理后，进行步骤8，否则，进行步骤7；
(6-1)大障碍物的判别
根据步骤(1)确定的机器人碰撞参数，在碰撞区域内，如果步骤(2)分割出前景的像素宽度h大于219-THwidth，其中219是输入避障网络的图像宽度，THwidth是参数，取值范围是[1,50]。若宽度h大于219-THwidth说明障碍物的体积在相机的视野内占据了很大的空间，此时避障网络难以推理出机器人的避障指令，则机器人针对大障碍物避障需要单独使用步骤(6-2)的避障指令代替避障网络推理；否则不满足大障碍物的判定要求，跳过步骤(6-2)，跳到步骤(7)。
(6-2)大障碍物的避障路径规划
对于某些障碍物在体积上远超机器人本身，机器人不能快速避开，采用绕行的方法躲开障碍物。设起始点和目标点分别为qstart和qgoal。在初始时刻i＝0，设qstart和障碍物直线交点为撞击点qL。机器人先环绕障碍物移动直至返回qL点。然后判断出障碍物周边上离目标最近的点，并移到这个点上，该点称为离开点qH。从qH开始机器人再次沿直线驶向目标。如果能够到达qgoal则避障完成，否则更新撞击点qL和离开点qH，直到到达目标点qgoal。此种算法的效率虽然低，但可以保证机器人能到达任何可达的目标。机器人在进行大障碍物的避障路径规划过程中，不再执行步骤(7)。
(7)将前景区域的图像输入所述避障神经网络中，输出机器人的转向角度和移动速度；
使用深度相机采集一幅深度图像，经过步骤(2)输入深度图像预处理后，前景区域中不存在大障碍物时，输入到经过步骤(4)训练后的避障神经网络中进行推理，输出转向角度和移动速度。推理得到的机器人转向角度为步骤(4-3)中七个角度档次之一，移动速度为三个档次之一。
(8)完成避障。
与现有技术相比，本发明具有以下有益效果：相较于直接使用深度相机作为距离传感器，本专利提出的神经网络方法避障具有较高的鲁棒性，无需手动提取特征和参数整定，在室外复杂场景下也能够精准避障；同时也克服了2D激光雷达只能扫描二维平面障碍物的缺陷，在雷达扫描不到的区域也能实现自主避障；对于路面材质变化的场合依旧能够正常识别。对于大障碍物的避障路径选择了绕行法环绕障碍物，再选择最佳绕离点躲避障碍物，虽然增加了避障所用时间，但也保证了避障性能，并且对激光雷达或深度相机的数据耦合较小，当某一传感器出现问题时，机器人依旧不会产生碰撞。
附图说明
图1为本发明方法流程图。
图2为大障碍物避障的路径规划示意图，中心实线部分所示为大障碍物。
具体实施方式
下面结合实例和附图来详细描述本发明，但本发明并不局限于此。本发明移动机器人避障方法的实现是基于机器人操作系统ROS平台。机器人平台使用是自制的四轮移动机器人，机器人的结构是后轮驱动，前轮是阿克曼转向机构。后轮驱动电机是24V的BLDC(直流无刷电机)，持续最大扭矩：3N·m下，最大转速：469rpm。前轮转向是磁编码380KG·cm总线舵机，能够读取到舵机位置。
深度相机选择Intel RealSense相机，型号为D435i，机器人上的计算机使用Inteli7-6700HQ、16GB RAM、NVIDIAGTX970(4GB GDDR)；操作系统为Ubuntu16.04+ROS Kinetic；深度学习框架为Pytorch。
如图1所示，一种基于神经网络的移动机器人避障方法，主要包括以下步骤：
(1)根据机器人的尺寸和驱动方式确定避障参数；
(2)输入深度图像，对深度图像进行预处理、分割前景区域；
(3)搭建端到端的避障神经网络；
(4)构建数据集，训练所述避障神经网络；
(5)采集一幅深度图像，进行步骤2相同的预处理，得到前景区域；
(6)若前景区域中存在大障碍物，则进行大障碍物避障处理后，进行步骤8，否则，进行步骤7；
(7)将前景区域的图像输入所述避障神经网络中，输出机器人的转向角度和移动速度；
(8)避障完成。
步骤(1)具体包括：
根据机器人大小和种类，确定避障参数。定义机器人与障碍物之间的距离Dist为机器人向水平面投影得到的外接圆到障碍物向水平面投影得到的外接圆的最小距离，可在深度相机标定后根据深度图计算得到。本发明根据障碍物与机器人之间的距离划分为三类区域：
①安全区域：Dist大于等于THdmax。此时机器人前方无障碍或者深度相机探测不到的区域，机器人能够正常通行。THdmax的取值为10米。
②障碍区域：Dist大于THdmin且距离小于THdmax的区域。THdmin的取值为1米。
③碰撞区域：Dist小于等于THdmin米时机器人极有可能发生碰撞，此时机器人立即停止运动。
所述机器人的转向结构为阿克曼转向结构。定义机器人的转向角度为后轮(驱动轮)两圆心所在直线与前轮(转向轮)两圆心所在直线的夹角。若前轮与后轮所在直线平行，则转角为0度。定义机器人的移动速度为后轮的线速度。
步骤(2)具体包括：
(2-1)以输入深度图像中心为基准，对基准点上下左右四个方向进行裁剪，裁剪出Pix×Pix大小的图像，此处Pix的取值是424。对裁剪后的图像进行缩放，缩放时保持图像长宽比为1，将图像缩放至219×219。称缩放后的图像为原图像，对原图像进行复制得到备份图像，备份图像与原图像完全相同。
(2-2)使用大津法OTSU进行分割，经过大津法分割后的图像，前景部分被置为白色，背景部分被置为黑色。
(2-3)对原图前景区域提取
对备份图分割后的每个白色连通块进行统计，将边界横坐标的最大和最小值之差作为块宽度width，将边界纵坐标最大和最小值之差作为块高度height；剔除width与height小于阈值THwh的白色块，将其置为黑色，THwh的取值为3。以备份图剔除小连通块后剩余的白色区域为掩膜，对原图像进行感兴趣区域提取，保留深度图对应的前景区域，并将背景区域设为黑色。
步骤(3)具体包括：
(3-1)将AlexNet网络第一层的卷积滤波器大小设置为3×3，步长为2，卷积核个数从96个扩大到256个，输入图片从227×227×3修改为219×219×1。
删除掉第一层的池化。由于已将卷积核尺寸变小，为了保持重叠池化，将池化层步长调整为1，窗口大小调整为2×2，保证模型的泛化性同时加快计算速度。
(3-2)由于LRN层并不能带来较高的性能功耗比，删除所有的LRN层，使用归一化Batch Normalization处理，等同于在训练阶段每个batch中对每一个特征进行归一化操作，使模型在训练阶段能使用较高学习率lr以减少训练时间。
(3-3)将AlexNet网络中的ReLU激活函数替换为Swish。Swish是谷歌大脑提出的一种新的激活函数，Swish解决了ReLU部分权重无法更新的情况。激活函数的替换增加了训练时间，但增加了模型泛化性。
(3-4)使用全局平均池化GAP代替AlexNet最后三层的全连接层。这样的修改可以减少模型推理时间并增加模型的预测性能。使用GAP代替全连接层后，本发明删除softmax分类器，直接使用GAP的输出作为分类输出，最终输出值为推理出的机器人转向角度和机器人移动速度。
步骤(4)具体包括：
(4-1)数据集采集
将机器人放置在室外的环境下，在机器人的前方放置不同高度与体积的障碍物，通过遥控器控制机器人运动避开障碍物，记录下不同条件下障碍物的深度图像、机器人前轮转向角度与后轮的驱动速度，按照时间戳来保存至本地。采集过程中障碍物的种类尽可能的多；障碍物的放置位置和姿态也要尽可能的不同；场景也要随机变化。本发明仅在步骤(1)中所述的安全区域和障碍区域内进行采集，不在碰撞区域内采集。使用ROS中rosbagrecord工具记录同一时间的图像数据和遥控器发送的转向和前进数据并且保存为bag文件。
(4-2)小转角的处理
在数据采集完成后，对数据进行统计，定义转向角度绝对值小于θ的为小转角，θ的取值是9°。
对收集到的样本中遇到障碍物时小转角的样本进行非线性增大，以保证训练效果。非线性函数选择均值为0，方差为10的正态分布函数N(0,100)，进行高斯振荡后此类样本转角扩大至[-19.6°,19.6°]。
(4-3)数据集的标注
将控制指令与当前时刻的深度图进行配对，定义标签为转向角度和移动速度。定义机器人直行时转向角度为0，左转时转向角度为负，右转为正。所述标签中的转向角度具体分为七个整数档次，分别是[-30°、-20°、-10°、0°、10°、20°、30°]，所有样本中的转向角度须按向零就近取整的方式归到其中一档。所述标签中的机器人移动速度分为三个档，分别是全速、半速和停止。在每一帧图像的标签确定之后，将转角为0°而移动速度不为全速的样本手动剔除，防止模型推理时在直行的情况下减速。
(4-4)避障网络训练
训练算法选择随机梯度下降法，动量为0.9。将神经网络的批处理尺寸batch size由256调整为32。将初始学习率lr由0.01调整为0.02，相当于增加了步长，使模型可以越过局部极小点。训练中使用0.02的学习率lr训练n1轮，即n1个Epoch，使用0.002的lr训练n2个Epoch，使用0.0002的lr训练n3个Epoch，最后再将lr降低到0.00002，若验证集准确率几乎没有提升即可结束训练，若验证集的准确率在增大过程中，可适当增加Epoch，增加训练次数。n1的取值是90；n2的取值是100；n3的取值是100。改变lr时需要经过10个Epoch之后再进行判断，当在每个Epoch中验证集准确率不再增加时改变学习率。
步骤(5)具体包括：
采集一幅深度图像，进行步骤2相同的预处理，得到前景区域；
步骤(6)具体包括：
若前景区域中存在大障碍物，则进行大障碍物避障处理后，进行步骤8，否则，进行步骤7；
其中，
(6-1)大障碍物的判别；
根据步骤(1)确定的机器人碰撞参数，在碰撞区域内，如果步骤(2)分割出前景的像素宽度h大于219-THwidth，其中219是输入避障网络的图像宽度，THwidth是阈值参数，取值是10。
当宽度h大于219-10＝209需要单独使用步骤(6-2)的避障指令代替避障网络推理；若不满足大障碍物的判定要求，则跳过(6-2)，进入步骤(7)。
(6-2)大障碍物的避障路径规划，即大障碍物避障处理；
如图2所示，设起始点和目标点分别为qstart和qgoal。在初始时刻i＝0，设qstart和障碍物直线交点为撞击点qL。机器人先环绕障碍物移动直至返回qL点。然后判断出障碍物周边上离目标最近的点，并移到这个点上，该点称为离开点qH。从qH开始机器人再次沿直线驶向目标。如果能够到达qgoal则避障完成，否则更新撞击点qL和离开点qH，直到到达目标点qgoal。此种算法的效率虽然低，但可以保证机器人能到达任何可达的目标。机器人在进行大障碍物的避障路径规划时，不再执行步骤(7)，完成机器人避障任务。
步骤(7)具体包括：
使用深度相机采集一幅深度图像，经过步骤(2)输入深度图像预处理后，前景区域中不存在大障碍物，将前景区域的图像输入到经过步骤(4)训练后的避障神经网络中进行推理，输出机器人转角和移动速度。推理得到的机器人转角为步骤(4-3)中七个角度档次之一，移动速度为三个档次之一。将推理值赋值给转向电机与驱动电机，完成机器人避障任务。
步骤(8)，避障完成。

Claims (10)

1.一种基于神经网络的移动机器人避障方法，其特征在于：所述方法包括以下步骤：
步骤1：根据机器人的尺寸和驱动方式确定避障参数；
步骤2：输入深度图像，对深度图像进行预处理、分割前景区域；
步骤3：搭建端到端的避障神经网络；
步骤4：构建数据集，训练所述避障神经网络；
步骤5：采集一幅深度图像，进行步骤2相同的预处理，得到前景区域；
步骤6：若前景区域中存在大障碍物，则进行大障碍物避障处理后，进行步骤8，否则，进行步骤7；
步骤7：将前景区域的图像输入所述避障神经网络中，输出机器人的转向角度和移动速度；
步骤8：避障完成。
2.根据权利要求1所述的一种基于神经网络的移动机器人避障方法，其特征在于：所述步骤1中，避障参数包括机器人与障碍物间的距离Dist的定义、基于距离Dist划分的区域；根据机器人的转向结构确定机器人的转向角度档位。
3.根据权利要求2所述的一种基于神经网络的移动机器人避障方法，其特征在于：基于机器人与障碍物间的距离Dist划分安全区域、障碍区域及碰撞区域：
以机器人与障碍物间Dist大于等于THdmax的区域为安全区域；
以机器人与障碍物间Dist大于THdmin且距离小于THdmax的区域为障碍区域；
以机器人与障碍物间Dist小于等于THdmin的区域为碰撞区域；0＜THdmin＜THdmax。
4.根据权利要求1所述的一种基于神经网络的移动机器人避障方法，其特征在于：所述步骤2中，预处理包括以下步骤：
步骤2.1：以所述深度图像的中心点为基准点，以基准点为中心，自基准点向外裁剪得到Pix×Pix的图像，以固定的长宽比缩小至预设值，对原图像进行复制，得到备份图像；Pix∈[219，424]；
步骤2.2：对备份图像进行二值化处理，处理后前景为白色，背景为黑色；
步骤2.3：统计二值化后的备份图像中的每个白色连通块，将边界横坐标的最大和最小值之差作为块宽度width，将边界纵坐标最大和最小值之差作为块高度height，将width与height小于阈值THwh的白色连通块置为黑色；THwh的取值范围是[2,5]；
步骤2.4：以处理后的备份图像的白色区域为掩膜，对原图像进行感兴趣区域提取，保留掩膜对应的区域为前景区域，将前景区域以外的背景区域设为黑色。
5.根据权利要求4所述的一种基于神经网络的移动机器人避障方法，其特征在于：所述步骤2.2中，对备份图像以大津法进行二值化处理。
6.根据权利要求1所述的一种基于神经网络的移动机器人避障方法，其特征在于：所述步骤3中，端到端的避障神经网络为改进的AlexNet网络：
所述改进的AlexNet网络的第一层的卷积滤波器设置为3×3，步长为2，卷积核个数为256个；第一层中的池化层删除；
所述改进的AlexNet网络的第二层和第五层池化层保留，所述第二层和第五层中池化层步长为1，滑动窗口为2×2；
所述改进的AlexNet网络的所有的LRN层删除；
所述改进的AlexNet网络的第五层后增加统一进行归一化处理的归一化层；
所述改进的AlexNet网络的再将AlexNet网络中的激活函数为Swish；
所述改进的AlexNet网络的的最后三层的全连接层及softmax分类器删除，增加全局平均池化GAP，以GAP的输出作为分类输出，输出机器人转向电机角度和机器人移动速度。
7.根据权利要求1所述的一种基于神经网络的移动机器人避障方法，其特征在于：所述步骤4包括以下步骤：
步骤4.1：将机器人放置在室外，在机器人的前方放置不同高度与体积的若干障碍物，通过遥控器控制机器人运动避开障碍物，记录不同条件下障碍物的深度图像、机器人的转向角度及机器人的移动速度，按照时间戳保存至本地；
步骤4.2：完成数据采集后，统计数据，定义转向角度绝对值小于θ的为小转角，对遇到障碍物时小转角的数据样本进行非线性增大处理；θ∈[5°,10°]；
步骤4.3：将遥控器的控制指令与对应时刻的深度图像配对，定义标签为转向角度和移动速度；在每一帧图像的标签确定后，将转角为0°而移动速度不为全速的样本手动剔除；
步骤4.4：以随机梯度下降法训练避障神经网络，动量为0.9；神经网络的批处理尺寸batch size为32、初始学习率lr为0.02，训练n1轮，使用0.002的lr训练n2轮，使用0.0002的lr训练n3轮；
最后再将lr降低到0.00002，如果验证集准确率提升小于阈值，则结束训练，否则增加训练次数。
8.根据权利要求7所述的一种基于神经网络的移动机器人避障方法，其特征在于：所述步骤4.2中，非线性增大处理的非线性函数选择均值为0、方差为10的正态分布函数N(0,100)，进行高斯振荡后数据样本转角扩大至[-19.6°,19.6°]。
9.根据权利要求3所述的一种基于神经网络的移动机器人避障方法，其特征在于：所述步骤6包括以下步骤：
步骤6.1：在碰撞区域内，若分割得到的前景区域的像素宽度大于预设值，则进行下一步，否则，进行步骤7；
步骤6.2：设起始点和目标点分别为qstart和qgoal；设qstart和障碍物直线交点为撞击点qL；
步骤6.3：机器人先环绕障碍物移动直至返回qL点，判断出障碍物周边离目标点最近的离开点qH，移到离开点qH；从qH开始机器人再次沿直线驶向目标点；
步骤6.4：如果到达qgoal，则进行步骤8，否则更新撞击点qL，返回步骤6.3。
10.根据权利要求9所述的一种基于神经网络的移动机器人避障方法，其特征在于：所述步骤6.1中，预设值h为输入避障网络的图像宽度与参数THwidth的差，THwidth的取值范围为[1,50]。
CN202010173908.8A 2020-03-13 2020-03-13 一种基于神经网络的移动机器人避障方法 Active CN111399505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010173908.8A CN111399505B (zh) 2020-03-13 2020-03-13 一种基于神经网络的移动机器人避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010173908.8A CN111399505B (zh) 2020-03-13 2020-03-13 一种基于神经网络的移动机器人避障方法

Publications (2)

Publication Number Publication Date
CN111399505A true CN111399505A (zh) 2020-07-10
CN111399505B CN111399505B (zh) 2023-06-30

Family

ID=71428731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010173908.8A Active CN111399505B (zh) 2020-03-13 2020-03-13 一种基于神经网络的移动机器人避障方法

Country Status (1)

Country Link
CN (1) CN111399505B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831010A (zh) * 2020-07-15 2020-10-27 武汉大学 一种基于数字空间切片的无人机避障飞行方法
CN111975769A (zh) * 2020-07-16 2020-11-24 华南理工大学 基于元学习的移动机器人避障方法
CN112034847A (zh) * 2020-08-13 2020-12-04 广州仿真机器人有限公司 具有双行走模式的分体式仿真机器人的避障方法和装置
CN112363513A (zh) * 2020-11-25 2021-02-12 珠海市一微半导体有限公司 一种基于深度信息的障碍物分类避障控制方法
CN112462789A (zh) * 2020-12-16 2021-03-09 国网信息通信产业集团有限公司 变电站智能巡检机器人
CN112720465A (zh) * 2020-12-15 2021-04-30 大国重器自动化设备(山东)股份有限公司 一种人工智能消毒机器人的控制方法
CN113419555A (zh) * 2021-05-20 2021-09-21 北京航空航天大学 一种基于单目视觉的无人机低功耗自主避障方法及系统
CN113485326A (zh) * 2021-06-28 2021-10-08 南京深一科技有限公司 一种基于视觉导航的自主移动机器人
CN113514544A (zh) * 2020-12-29 2021-10-19 大连理工大学 一种基于声音特征的移动机器人路面材质识别方法
CN113721618A (zh) * 2021-08-30 2021-11-30 中科新松有限公司 一种平面确定方法、装置、设备和存储介质
TWI756844B (zh) * 2020-09-25 2022-03-01 財團法人工業技術研究院 自走車導航裝置及其方法
CN114115282A (zh) * 2021-11-30 2022-03-01 中国矿业大学 一种矿山辅助运输机器人无人驾驶装置及其使用方法
TWI757999B (zh) * 2020-12-04 2022-03-11 國立陽明交通大學 即時避障系統、即時避障方法及具有即時避障功能的無人載具
CN114296443A (zh) * 2021-11-24 2022-04-08 贵州理工学院 一种无人驾驶模块化联合收割机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455034A (zh) * 2013-09-16 2013-12-18 苏州大学张家港工业技术研究院 一种基于最近距离向量场直方图的避障路径规划方法
WO2017091008A1 (ko) * 2015-11-26 2017-06-01 삼성전자주식회사 이동 로봇 및 그 제어 방법
CN107506711A (zh) * 2017-08-15 2017-12-22 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN108648161A (zh) * 2018-05-16 2018-10-12 江苏科技大学 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN109947093A (zh) * 2019-01-24 2019-06-28 广东工业大学 一种基于双目视觉的智能避障算法
CN110262487A (zh) * 2019-06-12 2019-09-20 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法、终端及计算机可读存储介质
WO2019199027A1 (ko) * 2018-04-09 2019-10-17 엘지전자 주식회사 로봇 청소기

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455034A (zh) * 2013-09-16 2013-12-18 苏州大学张家港工业技术研究院 一种基于最近距离向量场直方图的避障路径规划方法
WO2017091008A1 (ko) * 2015-11-26 2017-06-01 삼성전자주식회사 이동 로봇 및 그 제어 방법
CN107506711A (zh) * 2017-08-15 2017-12-22 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
WO2019199027A1 (ko) * 2018-04-09 2019-10-17 엘지전자 주식회사 로봇 청소기
CN108648161A (zh) * 2018-05-16 2018-10-12 江苏科技大学 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN109947093A (zh) * 2019-01-24 2019-06-28 广东工业大学 一种基于双目视觉的智能避障算法
CN110262487A (zh) * 2019-06-12 2019-09-20 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法、终端及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张天翼: "基于立体视觉的移动机器人避障技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831010A (zh) * 2020-07-15 2020-10-27 武汉大学 一种基于数字空间切片的无人机避障飞行方法
CN111975769A (zh) * 2020-07-16 2020-11-24 华南理工大学 基于元学习的移动机器人避障方法
CN112034847A (zh) * 2020-08-13 2020-12-04 广州仿真机器人有限公司 具有双行走模式的分体式仿真机器人的避障方法和装置
CN112034847B (zh) * 2020-08-13 2021-04-13 广州仿真机器人有限公司 具有双行走模式的分体式仿真机器人的避障方法和装置
TWI756844B (zh) * 2020-09-25 2022-03-01 財團法人工業技術研究院 自走車導航裝置及其方法
US11636612B2 (en) 2020-09-25 2023-04-25 Industrial Technology Research Institute Automated guided vehicle navigation device and method thereof
CN112363513A (zh) * 2020-11-25 2021-02-12 珠海市一微半导体有限公司 一种基于深度信息的障碍物分类避障控制方法
TWI757999B (zh) * 2020-12-04 2022-03-11 國立陽明交通大學 即時避障系統、即時避障方法及具有即時避障功能的無人載具
CN112720465A (zh) * 2020-12-15 2021-04-30 大国重器自动化设备(山东)股份有限公司 一种人工智能消毒机器人的控制方法
CN112462789A (zh) * 2020-12-16 2021-03-09 国网信息通信产业集团有限公司 变电站智能巡检机器人
CN113514544A (zh) * 2020-12-29 2021-10-19 大连理工大学 一种基于声音特征的移动机器人路面材质识别方法
CN113419555B (zh) * 2021-05-20 2022-07-19 北京航空航天大学 一种基于单目视觉的无人机低功耗自主避障方法及系统
CN113419555A (zh) * 2021-05-20 2021-09-21 北京航空航天大学 一种基于单目视觉的无人机低功耗自主避障方法及系统
CN113485326A (zh) * 2021-06-28 2021-10-08 南京深一科技有限公司 一种基于视觉导航的自主移动机器人
CN113721618A (zh) * 2021-08-30 2021-11-30 中科新松有限公司 一种平面确定方法、装置、设备和存储介质
CN113721618B (zh) * 2021-08-30 2024-05-24 中科新松有限公司 一种平面确定方法、装置、设备和存储介质
CN114296443A (zh) * 2021-11-24 2022-04-08 贵州理工学院 一种无人驾驶模块化联合收割机
CN114296443B (zh) * 2021-11-24 2023-09-12 贵州理工学院 一种无人驾驶模块化联合收割机
CN114115282A (zh) * 2021-11-30 2022-03-01 中国矿业大学 一种矿山辅助运输机器人无人驾驶装置及其使用方法
CN114115282B (zh) * 2021-11-30 2024-01-19 中国矿业大学 一种矿山辅助运输机器人无人驾驶装置及其使用方法

Also Published As

Publication number Publication date
CN111399505B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN111399505B (zh) 一种基于神经网络的移动机器人避障方法
DeSouza et al. Vision for mobile robot navigation: A survey
Dong et al. Real-time avoidance strategy of dynamic obstacles via half model-free detection and tracking with 2d lidar for mobile robots
CN114474061B (zh) 基于云服务的机器人多传感器融合定位导航系统及方法
Kim et al. End-to-end deep learning for autonomous navigation of mobile robot
CN113176585B (zh) 一种基于三维激光雷达的路面异常检测方法
WO2023155903A1 (en) Systems and methods for generating road surface semantic segmentation map from sequence of point clouds
CN111360780A (zh) 一种基于视觉语义slam的垃圾捡拾机器人
WO2018055378A1 (en) Autonomous route determination
Hua et al. Small obstacle avoidance based on RGB-D semantic segmentation
Hu et al. Robot-assisted mobile scanning for automated 3D reconstruction and point cloud semantic segmentation of building interiors
Ouyang et al. A cgans-based scene reconstruction model using lidar point cloud
Gajjar et al. A comprehensive study on lane detecting autonomous car using computer vision
Protasov et al. Cnn-based omnidirectional object detection for hermesbot autonomous delivery robot with preliminary frame classification
Zhou et al. Automated process for incorporating drivable path into real-time semantic segmentation
You et al. End-to-end deep learning for reverse driving trajectory of autonomous bulldozer
WO2023150475A1 (en) Systems and methods for panoptic segmentation of images for autonomous driving
Wang et al. DRR-LIO: A dynamic-region-removal-based LiDAR inertial odometry in dynamic environments
Mutz et al. Following the leader using a tracking system based on pre-trained deep neural networks
CN111915727A (zh) 基于深度学习的agv新型slam系统
Yildiz et al. CNN based sensor fusion method for real-time autonomous robotics systems
US20220377973A1 (en) Method and apparatus for modeling an environment proximate an autonomous system
Rekhawar et al. Deep learning based detection, segmentation and vision based pose estimation of staircase
Li et al. Visual perception and navigation of security robot based on deep learning
Mu et al. Inverse perspective mapping-based neural occupancy grid map for visual parking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant