CN115063777A - 一种野外环境下的无人车障碍物识别方法 - Google Patents
一种野外环境下的无人车障碍物识别方法 Download PDFInfo
- Publication number
- CN115063777A CN115063777A CN202210741541.4A CN202210741541A CN115063777A CN 115063777 A CN115063777 A CN 115063777A CN 202210741541 A CN202210741541 A CN 202210741541A CN 115063777 A CN115063777 A CN 115063777A
- Authority
- CN
- China
- Prior art keywords
- field environment
- network
- model
- data set
- obstacles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000004888 barrier function Effects 0.000 claims abstract description 20
- 230000006872 improvement Effects 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims description 8
- 239000004575 stone Substances 0.000 claims description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 241001465754 Metazoa Species 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 claims description 3
- 230000007786 learning performance Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- -1 trees Substances 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 claims 1
- 229960004134 propofol Drugs 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种野外环境下的无人车障碍物识别方法，涉及智能车辆技术领域。1)制作野外环境障碍物数据集：包括野外环境障碍物图像采集和数据集图像标定；2)基于障碍物特点改进网络模型：以Faster R‑CNN网络模型作为基础网络框架改进，实现野外环境障碍物的识别和分类，改进包括对特征提取网络的改进和对检测网络的改进；3)训练前对数据集预处理，训练过程对参数和学习方法调节，训练好的检测识别模型在线实时预测，即实现野外环境障碍物识别。从野外环境障碍物情况入手，制作新野外环境障碍物数据集，并从野外环境障碍物的特点出发，对Faster R‑CNN网络改进。在野外环境障碍物检测方面具有一定优越性。
Description
技术领域
本发明涉及智能车辆技术领域，尤其是涉及基于改进Faster R-CNN的一种野外环境下的无人车障碍物识别方法。
背景技术
无人车是一种智能系统，利用各种传感器，在不同的实际情况下感知自身和周围环境，实现自主运行。无人车技术的发展和应用给人们的生活质量带来巨大的提升。随着激光雷达等硬件设施的更新迭代和深度学习、视觉算法的快速发展，无人驾驶技术也得到很大程度的提升。障碍物检测方法的研究在无人车研究领域是非常重要的，实现对车前障碍物的检测和对危险的预测是无人车不可缺少的功能。
现在对障碍物检测方法的研究大多局限于背景简单且单一的城市道路，对复杂多变的野外环境下障碍物检测研究相对较少。在一些特定情况，如军事侦察、野外拍摄中，需要无人车在野外区域通行。而野外环境存在不平坦的地面、杂草、树木，背景较为复杂，且道路上障碍物种类繁多，遮挡严重，这些都给野外环境下无人车障碍物检测算法的准确性和鲁棒性带来很大挑战。因此，野外环境无人车障碍物检测技术的研究不仅具有重要的理论价值，而且在军事等领域还具有重要的实用意义。
当前常见的障碍物检测的方法主要分为基于视觉和基于激光雷达两种；其中视觉的检测方法有基于传统视觉和基于深度学习两种。文献[1](Xie D,Xu Y,Wang R.Obstacledetection and tracking method for autonomous vehiclebased on three-dimensional LiDAR[J].International Journal of Advanced Robotic Systems,2019,16(2):1729881419831587)利用三维激光雷达，实现了复杂交通环境下对障碍物进行检测和跟踪，该方法较难对多种类型障碍物进行分类，野外环境下物体的遮挡对激光检测的准确率影响也较大，且成本较高。文献[2](郝楠.基于深度学习的公路障碍物检测的研究[D].电子科技大学,2019.)运用改进后的Mask R-CNN目标识别网络，实现对公路上障碍物的高效检测和分类，该文献使用视觉深度学习方法，所需设备简单，成本低，效果也较好，但应用环境也局限在背景简单的环境中，在野外的复杂环境情况下实用性不够好。
发明内容
本发明的目的是针对现有技术存在的上述技术问题，提供基于改进Faster R-CNN的一种野外环境下的无人车障碍物识别方法，对环境特性进行分析，制作野外环境数据集；从野外障碍物特点出发，以Faster R-CNN网络为基础，对网络模块进行改进，实现野外环境下障碍物的准确实时、低成本检测。
本发明野外环境障碍物检测方法由野外环境障碍物数据集制作、基于障碍物特点改进网络模型以及模型训练三部分组成，包括以下步骤：
1)制作野外环境障碍物数据集：包括野外环境障碍物图像采集和数据集图像标定；
2)基于障碍物特点改进网络模型：以Faster R-CNN网络模型作为基础网络框架进行改进，实现野外环境障碍物的识别和分类，所述改进包括对特征提取网络的改进和对检测网络的改进；
3)模型训练前对数据集进行预处理，模型训练过程对参数和学习方法进行调节，用训练好的检测识别模型在线实时预测，即实现野外环境障碍物的识别。
在步骤1)中，所述野外环境障碍物图像采集的步骤如下：
(1)以“野外环境”为关键词，对互联网上检索到的野外环境图片进行分析，障碍物多以石头、树木、水坑、动物为主；为保证检测模型的稳定性和检测目标的完整性，将检测障碍物种类分为静态和动态2类；
(2)采用互联网检索、自行拍摄采集、公开数据集中筛选三种方法获取网络训练所需数据集图片；石头、水坑、树木三类静态障碍物的图像主要由互联网检索和自行拍摄两种方式获得。
所述数据集图像标定的步骤为：利用LabelImg对数据集中图像进行标定，自动生成包含标注信息并且以图像名称命名的.xml文件；模型训练时读取生成的.xml文件即可获取图像中目标信息和图像尺寸信息。
在步骤2)中，所述对特征提取网络的改进，包括：
(1)野外环境背景复杂，特征繁多，为避免在特征提取过程中丢失特征信息，影响网络性能，使用ResNet50网络作为Faster R-CNN的骨干网络进行特征提取；
(2)野外环境障碍物尺度变化大，特征提取过程中，高层特征图语义信息丰富但位置信息较少，底层特征图位置信息丰富而语义信息较少，使用FPN(Feature PyramidNetworks)特征金字塔网络对特征进行融合，在两倍上采样将相邻两层特征图融合在一起的同时，将低层位置信息和高层语义信息结合在一起；
(3)野外环境障碍物特征多，但每个特征重要程度不同，为提升网络学习性能，在特征提取网络里嵌入注意力机制SENet，以抑制无效的复杂背景特征，增强有效的障碍物特征；
(4)改进后模型的骨干网络为ResNet50+FPN+SENet；骨干网络进行特征提取，提取所得特征图作为RPN网络和ROI Align层的输入。
所述对检测网络的改进，包括：
(1)野外环境障碍物易受遮挡，使用Soft-NMS算法替换验证过程中的传统非极大抑制算法(Non-maximum suppression，NMS)，以避免阈值设定带来的漏检和误检问题；
(2)RPN网络生成的候选框使用非极大抑制算法(NMS)进行筛选；RPN网络输出为筛选得到的一定数量的区域建议框，输出候选框与骨干网络生成的特征图在ROI Align层进行映射，得到特征图尺度的建议区域；将每个建议区域(proposal)分成7×7共49份，并对每一份都进行最大池化，将大小不同的建议区域统一为7×7大小的特征图；
(3)7×7大小的区域建议特征图(proposal feature map)输入全连接层，在Softmax对建议区域内信息进行分类的同时，回归操作对建议区域位置进行调整。
在步骤3)中，所述模型训练过程，包括对数据集进行增强操作、参数调节和优化器选择，具体步骤如下：
步骤3.1：野外环境背景复杂且多变，且数据集数量内包含的图像有限，为避免模型学习到无效特征，保证模型在鲁棒性和泛化能力方面得到提升，对数据集进行增强操作，实施步骤如下：
步骤3.1.1：为避免数据集内障碍物在图像里分布情况不够多样化，使得模型学习不到必要特征的情况发生，在图像进入网络模型训练之前，进行翻转数据增强操作，使得模型在学习到旋转不变性的同时，其学习到不相关特征的可能性也大幅度减少，从而使得模型泛化能力和鲁棒性得到提高；
步骤3.1.2：为解决野外环境光照变换大，影响模型鲁棒性的问题，使用色域扭曲方法对数据集进行增强，随机地扭曲图片色域中的HSV通道(H色调，S饱和度，V明度)，通过色域扭曲方法，在训练过程中，网络随机对图像色调、饱和度、明度进行调整，模拟不同光照情况下图片状况，丰富数据集，使模型学习到更多有利特征，提高模型鲁棒性和泛化能力；
步骤3.2：训练过程中的参数调节和优化器选择影响网络最终性能；
步骤3.2.1：使用学习率分段固定值下降法进行训练，初始学习率为0.006，下降率为0.33，分段步数为3；
步骤3.2.2：使用SGD+Momentum算法对训练过程进行优化；在训练时，使用的更新方向为当前样本产生的梯度和上一次更新方向的累加；SGD(随机梯度下降法)在训练过程中，每传入一个样本对参数更新一次，以保证模型最后收敛到一个合适的最小值点上；
3.2.3：网络识别障碍物有8类在COCO数据集中也有，为更快得到最优点，保证网络的训练效率，在训练时，使用迁移学习方法，减少到达收敛点所需epoch。
与现有技术相比，本发明的优点在于：本发明从野外环境障碍物情况入手，制作新的野外环境障碍物数据集，并从野外环境障碍物的特点出发，分析原Faster R-CNN网络在针对野外环境进行检测时存在的不足，提出四种有效的优化方法对Faster R-CNN网络进行改进。在野外环境障碍物检测方面，本发明优化改进后的网络模型具有一定优越性。
附图说明
图1为本发明野外环境障碍物检测方法内容框架图；
图2为本发明障碍物分类信息；
图3为本发明生成的标定信息；
图4为本发明ResNet50残差结构；
图5为本发明FPN与ResNet50结合的网络结构；
图6为本发明注意力机制SENet嵌入特征提取网络结构图；
图7为本发明改进后网络结构图。
具体实施方式
以下结合附图1～6，对本发明的方法做进一步详细描述。
如图1所示，为本发明野外环境障碍物检测方法内容框架图。由野外环境障碍物数据集制作、基于障碍物特点改进网络模型以及模型训练三部分组成，包括以下步骤：
步骤1：野外环境障碍物数据集制作分为野外环境障碍物图像采集和数据集图像标定两部分，实施步骤如下：
步骤1.1：野外环境障碍物数据集图像采集步骤如下：
步骤1.1.1：以“野外环境”为关键词，对互联网上检索到的野外环境图片进行分析，障碍物多以石头、树木、水坑、动物为主。为保证检测模型的稳定性和检测目标的完整性，将检测障碍物种类分为静态和动态2类，具体分类信息如图2所示。
步骤1.1.2：采用互联网检索、自行拍摄采集、公开数据集中筛选三种方法获取网络训练所需数据集图片。
步骤1.1.3：石头、水坑、树木三类静态障碍物在公开数据集Pascal VOC中的图像里存在极少，因此石头、水坑、石头障碍物的图像主要由互联网检索和自行拍摄两种方式获得。
步骤1.1.3：获得含有11个类别、19669个目标的8278张图像，其中由互联网检索获得823张图像，由公开数据集Pascal VOC获得7163张图像，由自行拍摄获得292张图像。
步骤1.2：利用LabelImg对本文数据集中图像进行标定，自动生成包含标注信息的以图像名称命名的.xml文件，如图3所示。模型训练时读取生成的.xml文件即可获取图像中目标信息和图像尺寸信息。
步骤2：基于障碍物特点改进网络模型过程包括对特征提取网络的改进和对检测网络的改进两部分，实施步骤如下：
步骤2.1：野外环境存在背景复杂等问题，检测相较于城市道路更为困难，为在保证实时性的同时尽可能精确检测出障碍物，本发明以Faster R-CNN网络模型作为基础网络框架对其进行改进，实现野外环境障碍物检测和分类，网络改进的实施步骤如下：
步骤2.1.1：野外环境背景复杂，特征繁多，为避免在特征提取过程中，丢失特征信息，影响网络性能，替换Faster R-CNN的骨干网络(Backbone)，使用ResNet50网络作为Faster R-CNN的骨干网络进行特征提取。ResNet50的残差结构如图4所示，残差结构中的连接方式允许原始输入直接绕过某些卷积层传入到该层结构的输出中，能一定程度上减少在传递过程中信息的丢失情况。
根据图4(a)结构，残差单元表达式如下所示，其中xl和xl+1分别表示第l个残差单元的输入和输出，h(xl)表示恒等映射，F为ReLu非线性激活函数。
yl＝h(xl)+F(xl,Wl)
xl+1＝f(yl)
从浅层l到深层l+1的学习特征表达式如下所示，在反向传播过程中，式中的“1”保证梯度在短路机制中的无损传播，避免因网络加深使得梯度消失的问题：
步骤2.1.2：野外环境障碍物尺度变化大，特征提取过程中，高层特征图语义信息丰富但位置信息较少，底层特征图位置信息丰富而语义信息较少。FPN网络可在两倍上采样将相邻两层特征图融合在一起的同时，把低层位置信息和高层语义信息结合在一起。ResNet网络在特征提取时不易丢失细节特征，FPN网络能很好解决尺度变换大的问题，故本发明将FPN(Feature Pyramid Networks)网络与ResNet50网络进行结合，对野外环境图像进行特征提取，为后续障碍物的高效精确检测打下基础。
FPN网络与ResNet50网络结合的结构如图5所示。在自底向上的过程中，将ResNet50中conv2_x、conv3_x、conv4_x、conv5_x层的最后一个残差块输出特征作为FPN网络各级的输入，并记为{C2,C3,C4,C5}；在自顶向下的过程中，每一级的特征图C经过1×1卷积调整得到特征图M，经调整后的M特征图也有四级，记为{M1,M2,M3,M4}。通过上采样将相邻两级特征图M进行融合，并经过3×3卷积后得到最终的特征图P。为避免计算量过大，在特征提取时最终仅输出四个种尺度级别特征图，记为{P2,P3,P4,P5}。由于FPN的所有层使用同一个分类器和回归器，所有特征图中取固定特征维度256。
步骤2.1.3：野外环境障碍物特征多，但每个特征重要程度不同，为提升网络学习性能，在特征提取网络里嵌入注意力机制SENet，抑制无效复杂背景特征，增强有效障碍物特征。为平衡网络模型检测精确度和检测速度，在每个卷积层残差块最后嵌入注意力机制。如图6，图像从左侧传入，在前向传播的过程中产生特征图，注意力机制嵌入到每个卷积层后，组成新的conv2_x、conv3_x、conv4_x、conv5_x，各conv_x块输出的特征图最后传入FPN网络。
步骤2.1.4：如图7为改进后网络结构图，改进后网络的骨干网络为ResNet50+FPN+SENet。骨干网络进行特征提取，提取所得特征图作为RPN网络和ROI Align层的输入。
步骤2.2：检测网络中，RPN网络生成的候选框需要使用非极大抑制算法(NMS)进行筛选。
步骤2.2.1：野外环境障碍物易受遮挡，使用Soft-NMS算法替换验证过程中的传统NMS(Non-maximum suppression)算法；避免阈值设定带来的漏检和误检问题。Soft-NMS算法的总体思路是通过降低置信度柔性删除建议框的方法取代NMS算法中直接将建议框置信度置零删除的方法。本发明提出的网络模型里Soft-NMS使用高斯加权，其计算公式如下所示：
Soft-NMS算法具体步骤为：
(1)获取某一类别的所有建议框的坐标信息以及置信度；
(2)将该类别建议框置信度由高到低排序并记录顺序；
(3)将该类别置信度最高的建议框依次与剩余建议框计算IoU值并记录，根据IoU计算权值，IoU越大权重值越小，对置信度的抑制越明显，将计算后的置信度再次按从大到小排序，去掉置信度特别低的建议框。依次对所有类别进行步骤(1)～(3)的操作。
步骤2.2.2：RPN网络输出为筛选得到的一定数量的区域建议框(训练集为2000，验证集为1000)，输出候选框与骨干网络生成的特征图在ROI Align层进行映射，得到特征图尺度的建议区域。将每个建议区域(proposal)分成7×7共49份，并对每一份都进行最大池化，将大小不同的建议区域统一为7×7大小的特征图。
步骤2.2.3:如图4所示，7×7大小的区域建议特征图(proposal feature map)被输入全连接层，随后，在Softmax对建议区域内信息进行分类的同时，回归操作会对建议区域位置进行调整。
步骤3：模型训练前需要对数据集进行预处理，训练过程需要对参数和学习方法进行调节和选择。用训练好的检测网络模型在线实时预测，即可实现野外环境障碍物的识别。模型训练过程如下：
步骤3.1：野外环境背景复杂且多变，且数据集内包含的图像数量有限，为避免模型学习到无效特征，保证模型在鲁棒性和泛化能力方面得到提升，对数据集进行增强操作，实施步骤如下：
步骤3.1.1：为了避免数据集内障碍物在图像里分布情况不够多样化，使得模型学习不到必要特征的情况发生，本文在图像进入网络模型训练之前，进行翻转数据增强操作。使得模型在学习到旋转不变性的同时，其学习到不相关特征的可能性也大幅度减少，从而使得模型泛化能力和鲁棒性得到提高。
步骤3.1.2：为解决野外环境光照变换大，影响模型鲁棒性的问题，本发明使用色域扭曲方法对数据集进行增强，该方法随机地扭曲图片色域中的HSV通道(H色调，S饱和度，V明度)。通过色域扭曲方法，在训练过程中，网络会随机对图像色调、饱和度、明度进行调整，模拟不同光照情况下图片状况，能丰富高效地数据集，使模型学习到更多有利特征，提高模型鲁棒性和泛化能力。
3.2：训练过程中的参数调节和优化器选择对网络最终性能都有所影响。
3.2.1：本发明使用学习率分段固定值下降法进行训练，初始学习率为0.006，下降率为0.33，分段步数为3。
3.2.2：本发明使用SGD+Momentum算法对训练过程进行优化。Momentum算法与物理中动量(momentum)的概念类似，即在训练时，算法使用的更新方向为当前样本产生的梯度和上一次更新方向的累加。SGD(随机梯度下降法)在训练过程中，每传入一个样本对参数更新一次，这样能保证模型最后收敛到一个合适的最小值点上。算法表达式如下所示：
vt＝η×vt-1+αg(wt)
wt+1＝wt-vt
3.2.3：因为本发明的网络识别障碍物有8类在COCO数据集中也有，为更快得到最优点，保证网络的训练效率，在训练时，使用迁移学习方法，减少到达收敛点所需epoch。
以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出简单的推演及替换，都应当视为本发明的保护范围。
Claims (7)
1.一种野外环境下的无人车障碍物识别方法，其特征在于包括以下步骤：
1)制作野外环境障碍物数据集：包括野外环境障碍物图像采集和数据集图像标定；
2)基于障碍物特点改进网络模型：以Faster R-CNN网络模型作为基础网络框架进行改进，实现野外环境障碍物的识别和分类，所述改进包括对特征提取网络的改进和对检测网络的改进；
3)模型训练前对数据集进行预处理，模型训练过程对参数和学习方法进行调节，用训练好的检测识别模型在线实时预测，即实现野外环境障碍物的识别。
2.如权利要求1所述一种野外环境下的无人车障碍物识别方法，其特征在于在步骤1)中，所述野外环境障碍物图像采集的步骤如下：
(1)以“野外环境”为关键词，对互联网上检索到的野外环境图片进行分析，障碍物多以石头、树木、水坑、动物为主；为保证检测模型的稳定性和检测目标的完整性，将检测障碍物种类分为静态和动态2类；
(2)采用互联网检索、自行拍摄采集、公开数据集中筛选三种方法获取网络训练所需数据集图片；石头、水坑、树木三类静态障碍物的图像主要由互联网检索和自行拍摄两种方式获得。
3.如权利要求1所述一种野外环境下的无人车障碍物识别方法，其特征在于在步骤1)中，所述数据集图像标定的步骤为：利用LabelImg对数据集中图像进行标定，自动生成包含标注信息并且以图像名称命名的.xml文件；模型训练时读取生成的.xml文件即获取图像中目标信息和图像尺寸信息。
4.如权利要求1所述一种野外环境下的无人车障碍物识别方法，其特征在于在步骤2)中，所述对特征提取网络的改进，包括：
(1)野外环境背景复杂，特征繁多，为避免在特征提取过程中丢失特征信息，影响网络性能，使用ResNet50网络作为Faster R-CNN的骨干网络进行特征提取；
(2)野外环境障碍物尺度变化大，特征提取过程中，高层特征图语义信息丰富但位置信息较少，底层特征图位置信息丰富而语义信息较少，使用FPN特征金字塔网络对特征进行融合，在两倍上采样将相邻两层特征图融合在一起的同时，将低层位置信息和高层语义信息结合在一起；
(3)野外环境障碍物特征多，但每个特征重要程度不同，为提升网络学习性能，在特征提取网络里嵌入注意力机制SENet，以抑制无效的复杂背景特征，增强有效障碍物特征；
(4)改进后模型的骨干网络为ResNet50+FPN+SENet；骨干网络进行特征提取，提取所得特征图作为RPN网络和ROI Align层的输入。
5.如权利要求1所述一种野外环境下的无人车障碍物识别方法，其特征在于在步骤2)中，所述对检测网络的改进，包括：
(1)野外环境障碍物易受遮挡，使用Soft-NMS算法替换验证过程中的非极大值抑制算法NMS，以避免阈值设定带来的漏检和误检问题；
(2)RPN网络生成的候选框使用NMS进行筛选；RPN网络输出为筛选得到的一定数量的区域建议框，输出候选框与骨干网络生成的特征图在ROI Align层进行映射，得到特征图尺度的建议区域；将每个建议区域proposal分成7×7共49份，并对每一份都进行最大池化，将大小不同的建议区域统一为7×7大小的特征图；
(3)7×7大小的区域建议特征图proposal feature map输入全连接层，在Softmax对建议区域内信息进行分类的同时，回归操作对建议区域位置进行调整。
6.如权利要求1所述一种野外环境下的无人车障碍物识别方法，其特征在于在步骤3)中，所述模型训练过程，包括对数据集进行增强操作、参数调节和优化器选择，具体步骤如下：
步骤3.1：野外环境背景复杂且多变，且数据集数量内包含的图像有限，为避免模型学习到无效特征，保证模型在鲁棒性和泛化能力方面得到提升，对数据集进行增强操作，实施步骤如下：
步骤3.1.1：为避免数据集内障碍物在图像里分布情况不够多样化，使得模型学习不到必要特征的情况发生，在图像进入网络模型训练之前，进行翻转数据增强操作，使得模型在学习到旋转不变性的同时，其学习到不相关特征的可能性也大幅度减少，从而使得模型泛化能力和鲁棒性得到提高；
步骤3.1.2：为解决野外环境光照变换大，影响模型鲁棒性的问题，使用色域扭曲方法对数据集进行增强，随机地扭曲图片色域中的HSV通道，其中H色调、S饱和度、V明度，通过色域扭曲方法，在训练过程中，网络随机对图像色调、饱和度、明度进行调整，模拟不同光照情况下图片状况，丰富数据集，使模型学习到更多有利特征，提高模型鲁棒性和泛化能力；
步骤3.2：训练过程中的参数调节和优化器选择影响网络最终性能；
步骤3.2.1：使用学习率分段固定值下降法进行训练；
步骤3.2.2：使用SGD+Momentum算法对训练过程进行优化；在训练时，使用的更新方向为当前样本产生的梯度和上一次更新方向的累加；SGD在训练过程中，每传入一个样本对参数更新一次，以保证模型最后收敛到一个合适的最小值点上；
3.2.3：为更快得到最优点，保证网络的训练效率，在训练时，使用迁移学习方法，减少到达收敛点所需epoch。
7.如权利要求6所述一种野外环境下的无人车障碍物识别方法，其特征在于在步骤3.2.1)中，所述使用学习率分段固定值下降法进行训练，初始学习率为0.006，下降率为0.33，分段步数为3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210741541.4A CN115063777B (zh) | 2022-06-27 | 2022-06-27 | 一种野外环境下的无人车障碍物识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210741541.4A CN115063777B (zh) | 2022-06-27 | 2022-06-27 | 一种野外环境下的无人车障碍物识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115063777A true CN115063777A (zh) | 2022-09-16 |
| CN115063777B CN115063777B (zh) | 2024-06-04 |
Family
ID=83203896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210741541.4A Active CN115063777B (zh) | 2022-06-27 | 2022-06-27 | 一种野外环境下的无人车障碍物识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115063777B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118502452A (zh) * | 2024-07-18 | 2024-08-16 | 无锡图创智能科技有限公司 | 基于机器视觉的机器人路径规划方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472248A (zh) * | 2018-11-22 | 2019-03-15 | 广东工业大学 | 一种行人重识别方法、系统及电子设备和存储介质 |
| CN110059558A (zh) * | 2019-03-15 | 2019-07-26 | 江苏大学 | 一种基于改进ssd网络的果园障碍物实时检测方法 |
| US20190303725A1 (en) * | 2018-03-30 | 2019-10-03 | Fringefy Ltd. | Neural network training system |
| CN113052858A (zh) * | 2021-03-23 | 2021-06-29 | 电子科技大学 | 一种基于语义流的全景分割方法 |
| CN113486726A (zh) * | 2021-06-10 | 2021-10-08 | 广西大学 | 一种基于改进卷积神经网络的轨道交通障碍物检测方法 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN114325634A (zh) * | 2021-12-23 | 2022-04-12 | 中山大学 | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 |
-
2022
- 2022-06-27 CN CN202210741541.4A patent/CN115063777B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190303725A1 (en) * | 2018-03-30 | 2019-10-03 | Fringefy Ltd. | Neural network training system |
| CN109472248A (zh) * | 2018-11-22 | 2019-03-15 | 广东工业大学 | 一种行人重识别方法、系统及电子设备和存储介质 |
| CN110059558A (zh) * | 2019-03-15 | 2019-07-26 | 江苏大学 | 一种基于改进ssd网络的果园障碍物实时检测方法 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN113052858A (zh) * | 2021-03-23 | 2021-06-29 | 电子科技大学 | 一种基于语义流的全景分割方法 |
| CN113486726A (zh) * | 2021-06-10 | 2021-10-08 | 广西大学 | 一种基于改进卷积神经网络的轨道交通障碍物检测方法 |
| CN114325634A (zh) * | 2021-12-23 | 2022-04-12 | 中山大学 | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| 卢才武;齐凡;阮顺领;: "融合目标检测与距离阈值模型的露天矿行车障碍预警", 光电工程, no. 01, 15 January 2020 (2020-01-15) * |
| 郭景华等: "野外环境下基于改进Faster R-CNN的无人车障碍物检测方法", 汽车工程学报, vol. 13, no. 5, 19 October 2023 (2023-10-19), pages 687 - 694 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118502452A (zh) * | 2024-07-18 | 2024-08-16 | 无锡图创智能科技有限公司 | 基于机器视觉的机器人路径规划方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115063777B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163110B (zh) | 一种基于迁移学习和深度特征融合的行人重识别方法 | |
| CN111310773B (zh) | 一种高效的卷积神经网络的车牌定位方法 | |
| CN111797779A (zh) | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 | |
| CN110210551A (zh) | 一种基于自适应主体敏感的视觉目标跟踪方法 | |
| CN110532961B (zh) | 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法 | |
| CN111340141A (zh) | 一种基于深度学习的作物幼苗与杂草检测方法及系统 | |
| CN109598268A (zh) | 一种基于单流深度网络的rgb-d显著目标检测方法 | |
| WO2021077947A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| Liu et al. | Super-pixel cloud detection using hierarchical fusion CNN | |
| CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| Zhang et al. | An algorithm for automatic identification of multiple developmental stages of rice spikes based on improved Faster R-CNN | |
| CN112434723B (zh) | 一种基于注意力网络的日/夜间图像分类及物体检测方法 | |
| CN117649610B (zh) | 一种基于YOLOv5的害虫检测方法及系统 | |
| CN113408584A (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN111695640A (zh) | 地基云图识别模型训练方法及地基云图识别方法 | |
| CN114548256A (zh) | 一种基于对比学习的小样本珍稀鸟类识别方法 | |
| Li et al. | A self-attention feature fusion model for rice pest detection | |
| CN114898359A (zh) | 一种基于改进EfficientDet的荔枝病虫害检测方法 | |
| CN114463542A (zh) | 一种基于轻量化语义分割算法的果园复杂道路分割方法 | |
| CN115063777B (zh) | 一种野外环境下的无人车障碍物识别方法 | |
| CN117612031A (zh) | 一种基于语义分割的撂荒地遥感识别方法 | |
| CN117132884A (zh) | 一种基于地块尺度的农作物遥感智能提取方法 | |
| CN112989912A (zh) | 一种基于无人机图像的油茶果品种识别方法 | |
| CN112926482A (zh) | 一种基于多尺度残差卷积神经网络的道路提取方法 | |
| CN113536979B (zh) | 一种基于混合存储器的联合训练跨域行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |