[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111401148A - 一种基于改进的多级YOLOv3的道路多目标检测方法 - Google Patents

一种基于改进的多级YOLOv3的道路多目标检测方法 Download PDF

Info

Publication number
CN111401148A
CN111401148A CN202010124052.5A CN202010124052A CN111401148A CN 111401148 A CN111401148 A CN 111401148A CN 202010124052 A CN202010124052 A CN 202010124052A CN 111401148 A CN111401148 A CN 111401148A
Authority
CN
China
Prior art keywords
convolution
improved
data set
detection
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010124052.5A
Other languages
English (en)
Other versions
CN111401148B (zh
Inventor
王海
王宽
蔡英凤
李祎承
刘擎超
刘明亮
张田田
李洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202010124052.5A priority Critical patent/CN111401148B/zh
Publication of CN111401148A publication Critical patent/CN111401148A/zh
Application granted granted Critical
Publication of CN111401148B publication Critical patent/CN111401148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进的多级YOLOv3的道路多目标检测方法，步骤1，制作数据集：基于公开的驾驶数据集BDD100K制作道路多目标数据集；步骤2，基于K‑means聚类算法进行道路目标候选框长宽比计算；步骤3，设计改进YOLOv3神经网络模型；步骤4，设置训练超级参数和网络参数，将训练集输入网络，对改进YOLOv3网络进行训练，并保存训练好的权重文件；步骤5，输出预测的边界框信息及类别概率；步骤6，使用软化非极大值过滤检测框，对检测图片进行可视化，产生最终的目标检测框和识别结果。相比于原始YOLOv3神经网络模型，本发明在BDD100K的验证集下mAP到达了58.09％，提高了近9个百分点，检测准确率较高；实时性较好，统计后FPS为0.03s/张，仅比传统YOLOv3增加耗时1.65％，满足实时性要求。

Description

一种基于改进的多级YOLOv3的道路多目标检测方法
技术领域
本发明属于汽车环境感知目标检测技术领域，具体涉及一种基于改进的多级YOLOv3的道路多目标检测方法。
背景技术
道路目标检测是图像识别领域的一个重要方向，基于深度学习的计算机视觉算法作为计算机视觉领域的后起之秀，随着近几年来数据量的不断提升和硬件水平的突飞猛进，在各类计算机视觉任务中都取得了巨大的成功，例如目标分类，目标检测，语义分割等。其中，针对目标检测，目前已经有大量效果出众，同时又能有良好的实时性表现的算法。这些算法根据是否使用了区域候选网络(RPN)先进行一次正样本的检测框回归，归分为单阶段阶段和二阶段检测算法。单阶段目标检测算法有YOLOv3，SSD，Retinanet等，双阶段检测算法有RCNN，RFCN,Fasterrcnn，Cascadercnn等。其中单阶段目标检测算法实时性好，双阶段检测算法精确度高。在目标检测领域中，道路目标检测是一个十分重要的方向，研究道路目标检测算法对于交通安全十分重要。在自动驾驶场景中，道路目标的检测和识别起着非常重要的作用。精确的检测对后续的识别、辅助定位和导航起着决定性的作用。本发明使用基于改进YOLOv3的方法进行道路多目标检测。
发明内容
本发明的目的是为了解决现有的道路目标检测精度准确度较差的问题，提出一种基于改进YOLOv3的道路多目标检测方法，可以提高驾驶过程中的安全性。首先，利用公开驾驶数据集BDD100K制作数据集，其次设计改进的YOLOv3神经网络模型，然后利用BDD100K数据集对神经网络模型进行训练，将保存的模型参数导入改进的YOLOv3神经网络模型中，最后对图片中的道路目标进行检测。
本发明改进的YOLOv3神经网络模型与原始YOLOv3网络构架相比，本发明所采用的YOLOv3构架添加了两个特征检测图，修改后的5个特征检测图的分辨率大小分别是13×13,26×26，52×52,104×104,208×208改进网络比原YOLOv3的检测图多了104×104和208×208两个输出特征检测图。每个尺度的特征图上分配5个候选框，并遵循大尺寸特征框检测小尺寸物体，小尺寸特征框检测大尺寸物体原则。通过YOLO神经网络对训练集图像和验证集图像进行训练以获取最终的基于YOLOv3的网络权重模型。同时进一步，所述图片中的道路目标在进行实时检测时，图片中的每个目标存在多个预测边界框，使用软化非极大值抑制剔除多余的预测边界框。提高了网络的定位精度和检测精度。
本发明的有益效果包括：
1、检测精度较高，相比于原始YOLOv3神经网络模型，本发明在BDD100K的验证集下mAP到达了58.09％，提高了近9个百分点，检测准确率较高。
2、实时性较好，改进后的YOLOv3神经网络模型检测每张图片的时间对FPS进行统计，统计后FPS为0.03s/张，满足实时性要求。
附图说明
图1是改进的YOLOv3神经网络模型
图2是检测效果图一
图3是检测效果图二
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，一种基于改进YOLOv3的道路多目标检测方法包括以下步骤:
Step1数据集制作
基于公开的驾驶数据集BDD100K制作道路多目标数据集，数据集共10万张，数据集中的GT框标签共有10个类别，分别为：Bus大巴、Light交通灯、Sign交通标志、Person行人、Bike自行车、Truck货车、Motor摩托车、Car汽车、Train火车、Rider骑手，总共约有184万个标定框。数据集图片的分辨率均为1280×720,BDD100k数据集中包含了不同天气、场景、时间的图片，而且高清、模糊的图片都有，规模大，多样化，都是真实的驾驶场景。本发明按照7:2:1的比例划分了训练集、测试集、验证集，其中训练集70000张，测试集20000张，验证集10000张，其次本发明并将BDD100k数据集整理成VOC数据集格式，VOC数据集包括三个文件夹，分别是JPEGImages文件、Annotations文件以及Imagesets文件，这三个文件夹中，JPEGImages存放训练集以及测试集图片，Annotations文件夹存储xml类型的标注文件，Imagesets文件夹存放txt文本，txt文本每一行对应一个图片的名称，改进后的YOLOV3网络模型根据txt文本读取文件名，再到JPEGImages和annotations文件夹中寻找对应的图片和标注信息，在寻找到的图片标注中提取道路目标的标注信息，获取标注信息的边框参数。接下来将图片随机地分成不同的批次，在送入改进的YOLOv3网络模型前，对图片进行随机的旋转、裁剪、平移变换、翻转变换、噪声扰动等数据增强方式，扩充图片场景多样性，并将图片尺寸统一调整为416×416。
Step2基于K-means聚类算法进行道路目标候选框长宽比计算
基于K-means++算法计算BDD100k数据集物体边界框标注进行聚类，获得15个锚框尺寸，大小分别为(4,8),(6,16),(10,10),(8,31),(13,20),(22,16),(22,30),(13,51),(36,42),(25,89),(54,66),(83,95),(57,155),(116,156),(155,249)。
Step3改进YOLOv3神经网络模型
原始YOLOv3是一个全卷积构架的深度残差卷积神经网络，网络交替使用3×3,1×1来提取图片中目标的特征、缩小分辨率和调节图像通道数的大小和2倍上采样层融合网络前面层的特征。YOLOv3网络从75到106层为网络的特征交互输出层，特征交互输出层分为三个分辨率，在每个分辨率特征图中，通过卷积(3×3和1×1核)的方式实现局部特征交互组合。网络的最终输出是通过在特征图上应用1×1卷积核生成，通过在网络中的三个不同层数、三个不同大小的特征图上应用1×1检测栅格来完成物体检测。原始YOLOv3以三个分辨率的检测图进行预测。
本发明改进的YOLOv3神经网络模型如图1所示，详细过程如下：
首先，归一化处理后的图像经过两个3×3的卷积后尺度缩小一半，随后依次经过一个残差模块、一个3×3卷积、两个残差模块、一个3×3卷积、八个残差模块、一个3×3卷积、八个残差模块、一个3×3卷积、七个残差模块后得到13×13的特征检测图，将输入416×416的图片尺寸调整到13×13×45的输出检测图，之后连接一个步长为2的上采样层将特征图提升到26×26×256；
其次，26×26的特征检测图是依次经过一个3×3卷积和八个残差模块后得到的；之后的52×52、104×104、208×208特征图皆是经过一个3×3卷积和八个残差模块后得到的。其中，残差模块为依次经过一个1×1的卷积、一个3×3的卷积和残差操作的。其次在13×13的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个3×3卷积、一个CONV模块、一个3×3卷积和一个1×1卷积得到13×13尺度下的张量数据；然后13×13特征图依次经过一个3×3卷积、一个CONV模块和一个1×1卷积后进行上采样，将上采样得到的特征图与YOLO网络的神经网络部分得到的26×26的特征图特征融合，在特征融合后得到的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个CONV模块、一个3×3卷积和1×1卷积后得到26×26下的张量数据；接着52×52、104×104、208×208的张量数据的获得皆与之前一样，都是通过将上采样得到的特征图与YOLO网络的基础神经网络部分得到的上一层的特征图通过向量拼接方法进行特征融合，在特征融合后得到的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个CONV模块、一个3×3卷积和1×1卷积后得到张量数据。其中，CONV模块是指依次经过一个1×1卷积、一个3×3卷积、一个1×1卷积、一个3×3卷积和一个1×1卷积的运算过程。修改后的5个特征检测图的分辨率大小分别是13×13,26×26,52×52,104×104,208×208。改进网络比原YOLOv3的检测图多了104×104和208×208两个输出特征检测图。每个尺度的特征图上分配5个候选框，改进的YOLOv3神经网络的检测模型的总体过程如图1所示。
Step4设置训练超级参数和网络参数，将训练集输入网络，对改进的YOLOv3网络进行训练，并保存训练好的权重文件；
训练时的超级参数设置为：批数量为4，学习率＝0.001，最大迭代次数50000，学习策略设置为sps＝40000，45000，50000。在40000到45000之间学习率为当前值的0.1倍，在45000到50000之间学习率为当前值的0.1倍；
实验平台主要参数：处理器：Inter(R)core(TM)i5-8600K CPU@3.60GHZ；内存：64GB；显卡：NVIDIA GeForce GTX1080TI。
改进的YOLOV3模型利用预测边界框的回归损失函数进行损失计算，通过损失函数计算每个预测的修正框的类别得分、置信度得分、框的中心坐标和宽高相对于真实的标定框类别、中心坐标和宽高的损失，经过反向传播求取梯度进行权重更新，得到更新后的权重参数，为了使损失越来越小，每一批次送入改进的神经网络模型都会更新模型权重，直到损失值收敛，每迭代一万次保存一次模型参数,同时在验证集下进行验证，根据损失曲线和验证集上的检测效果调整学习率。最终在90000次时模型收敛，训练停止，得到迭代90000次后最终的基于改进YOLOv3神经网络的检测模型。保存训练90000次下的模型参数。
Step5输出预测的边界框信息及类别概率。
将上一步骤中保存的模型参数导入改进的YOLOv3模型中，测试图片送入改进的YOLOv3模型，采用logistic函数对网络预测的x、y、置信度、类别概率进行激活，经阈值判断，得到所有预测框的坐标、置信度和类别概率；输出预测的边界框信息及类别概率。
bx＝σ(tx)+Cx
by＝σ(ty)+Cy
Figure BDA0002393869990000054
Figure BDA0002393869990000055
其中：CX,CY为当前网格相对于当前特征图左上角网格的偏移量，σ()函数为logistic函数，用来将tx、ty归一化为0到1之间，Pw,Ph是与标注边界框交并比最大的锚框的宽和高，tw、th、tx、ty为预测框的顶点坐标。
Step6使用软化非极大值过滤检测框
此时图片中的道路目标有多个预测边界框，传统的非极大值抑制将检测框按得分排序，然后保留得分最高的框，同时删除与该框重叠面积大于一定比例的其它框，这样做容易造成目标的漏检，因此本发明为了降低模型的漏检率，使用软化非极大值，不再粗鲁地删除所有IOU大于阈值的框，而是降低其置信度，指定一个置信度阈值，然后最后得分大于该阈值的检测框得以保留，在剩下的预测边界框中循环此步骤，最终得到每个道路目标对应的一个预测边界框。最后对检测图片进行可视化，产生最终的目标检测框和识别结果，如图2、3所示。
Step7检测精度对比
本发明用mAP评价改进YOLOv3网络目标检测性能，mAP(mean Average Precision)是各个类别的检测精度在召回率上的累加和，是评价目标检测网络性能的一个重要指标，在BDD100K的验证集共10000张图片下进行mAP的计算，并将数据集中类别较少Train,Rider,Motor,Bike的标注信息排除，共计算六类的mAP，分别为Bus、Car、Person、Trafficlight、Traffic sign、Truck。
其中AP的计算公式为：AP＝∫PdR，
其中P为检测精度(precision)，R为召回率Recall，计算公式如下：
(1)
Figure BDA0002393869990000051
(2)
Figure BDA0002393869990000052
表1为改进YOLOv3网络与原始的性能对比结果：
Figure BDA0002393869990000053
Figure BDA0002393869990000061
表1
由表1可知，改进后的YOLOv3在检测精度上有提升，相比于原始YOLOv3，mAP增加了近9个百分点，到达了58.09％，检测精度较高。其次通过程序统计检测每张图片的时间对FPS进行统计，FPS为0.03s/张，表明本发明提出的基于YOLOv3神经网络的道路多目标检测方法亦可以满足实时性的要求。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于改进的多级YOLOv3的道路多目标检测方法，其特征在于，包括如下步骤：
步骤1，制作数据集：基于公开的驾驶数据集BDD100K制作道路多目标数据集；
步骤2，基于K-means聚类算法进行道路目标候选框长宽比计算；
步骤3，设计改进YOLOv3神经网络模型；
步骤4，设置训练超级参数和网络参数，将训练集输入网络，对改进YOLOv3网络进行训练，并保存训练好的权重文件；
步骤5，输出预测的边界框信息及类别概率；
步骤6，使用软化非极大值过滤检测框，对检测图片进行可视化，产生最终的目标检测框和识别结果。
2.根据权利要求1所述的一种基于改进的多级YOLOv3的道路多目标检测方法，其特征在于，步骤1中，将所述数据集BDD100K设计为VOC数据集格式，VOC数据集包括三个文件夹，分别是JPEGImages文件、Annotations文件以及Imagesets文件，其中，JPEGImages存放训练集以及测试集图片，Annotations文件夹存储xml类型的标注文件，Imagesets文件夹存放txt文本，txt文本每一行对应一个图片的名称，改进后的YOLOV3网络模型根据txt文本读取文件名，再到JPEGImages和annotations文件夹中寻找对应的图片和标注信息，在寻找到的图片标注中提取道路目标的标注信息，获取标注信息的边框参数。
3.根据权利要求2所述的一种基于改进的多级YOLOv3的道路多目标检测方法，其特征在于，将所述VOC数据集中的图片随机地分成不同的批次，在送入改进的YOLOv3网络模型前，对图片进行随机的旋转、裁剪、平移变换、翻转变换、噪声扰动等数据增强方式，扩充图片场景多样性，并将图片尺寸统一调整为416×416。
4.根据权利要求1所述的一种基于改进的多级YOLOv3的道路多目标检测方法，其特征在于，所述数据集BDD100K中的GT框标签划分为10个类别，分别为：Bus、Light、Sign、Person、Bike、Truck、Motor、Car、Train、Rider，总共有184万个标定框；数据集图片的分辨率均为1280×720，按照7:2:1的比例划分了训练集、测试集、验证集，其中训练集70000张，测试集20000张，验证集10000张。
5.根据权利要求1所述的一种基于改进的多级YOLOv3的道路多目标检测方法，其特征在于，步骤2的实现方法：基于K-means++算法计算BDD100k数据集物体边界框标注进行聚类，获得15个锚框尺寸，大小分别为(4,8),(6,16),(10,10),(8,31),(13,20),(22,16),(22,30),(13,51),(36,42),(25,89),(54,66),(83,95),(57,155),(116,156),(155,249)。
6.根据权利要求1所述的一种基于改进的多级YOLOv3的道路多目标检测方法，其特征在于，步骤3中，设计改进YOLOv3神经网络模型的具体方法如下：
首先，将归一化处理后的图像经过两个3×3的卷积后尺度缩小一半，随后依次经过一个残差模块、一个3×3卷积、两个残差模块、一个3×3卷积、八个残差模块、一个3×3卷积、八个残差模块、一个3×3卷积、七个残差模块后得到13×13的特征检测图，将输入416×416的图片尺寸调整到13×13×45的输出检测图，之后连接一个步长为2的上采样层将特征图提升到26×26×256；
其次，将26×26的特征检测图依次经过一个3×3卷积和八个残差模块；再经过一个3×3卷积和八个残差模块后得到52×52、104×104、208×208特征图；其中，残差模块依次经过一个1×1的卷积、一个3×3的卷积和残差操作；
再其次，在13×13的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个3×3卷积、一个CONV模块、一个3×3卷积和一个1×1卷积得到13×13尺度下的张量数据；然后13×13特征图依次经过一个3×3卷积、一个CONV模块和一个1×1卷积后进行上采样，将上采样得到的特征图与YOLO网络的神经网络部分得到的26×26的特征图特征融合，在特征融合后得到的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个CONV模块、一个3×3卷积和1×1卷积后得到26×26下的张量数据；接着52×52、104×104、208×208的张量数据的获得皆与之前一样，都是通过将上采样得到的特征图与YOLO网络的基础神经网络部分得到的上一层的特征图通过向量拼接方法进行特征融合，在特征融合后得到的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个CONV模块、一个3×3卷积和1×1卷积后得到张量数据；其中，CONV模块是指依次经过一个1×1卷积、一个3×3卷积、一个1×1卷积、一个3×3卷积和一个1×1卷积的运算；修改后的5个特征检测图的分辨率大小分别是13×13、26×26、52×52、104×104、208×208；
最后，上述每个尺度的特征检测图上分配5个候选框。
7.根据权利要求1所述的一种基于改进的多级YOLOv3的道路多目标检测方法，其特征在于，步骤4中，训练时的超级参数设置为：批数量为4，学习率＝0.001，burn_in＝1000，最大迭代次数000,学习策略设置为sps＝40000,45000,50000。在40000到45000之间学习率为当前值的0.1倍，在45000到50000之间学习率为当前值的0.1倍；
训练过程中，利用预测边界框的回归损失函数进行损失计算，通过损失函数计算每个预测的修正框的类别得分、置信度得分、框的中心坐标和宽高相对于真实的标定框类别、中心坐标和宽高的损失，经过反向传播求取梯度进行权重更新，得到更新后的权重参数，每一批次送入改进的神经网络模型都更新模型权重，直到损失值收敛，每迭代一万次保存一次模型参数，同时在验证集下进行验证，根据损失曲线和验证集上的检测效果调整学习率。
8.根据权利要求1所述的一种基于改进的多级YOLOv3的道路多目标检测方法，其特征在于，步骤6的实现方法：使用软化非极大值，降低其置信度，指定一个置信度阈值，最后得分大于该阈值的检测框得以保留，在剩下的预测边界框中循环此步骤，最终得到每个道路目标对应的一个预测边界框。
CN202010124052.5A 2020-02-27 2020-02-27 一种基于改进的多级YOLOv3的道路多目标检测方法 Active CN111401148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010124052.5A CN111401148B (zh) 2020-02-27 2020-02-27 一种基于改进的多级YOLOv3的道路多目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010124052.5A CN111401148B (zh) 2020-02-27 2020-02-27 一种基于改进的多级YOLOv3的道路多目标检测方法

Publications (2)

Publication Number Publication Date
CN111401148A true CN111401148A (zh) 2020-07-10
CN111401148B CN111401148B (zh) 2023-06-20

Family

ID=71428505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010124052.5A Active CN111401148B (zh) 2020-02-27 2020-02-27 一种基于改进的多级YOLOv3的道路多目标检测方法

Country Status (1)

Country Link
CN (1) CN111401148B (zh)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986436A (zh) * 2020-09-02 2020-11-24 成都指码科技有限公司 一种基于紫外、深度神经网络的综合火焰检测方法
CN111986156A (zh) * 2020-07-20 2020-11-24 华南理工大学 一种斧状利器检测方法、系统、装置和存储介质
CN112070729A (zh) * 2020-08-26 2020-12-11 西安交通大学 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
CN112085728A (zh) * 2020-09-17 2020-12-15 哈尔滨工程大学 一种海底管道及泄漏点检测方法
CN112084890A (zh) * 2020-08-21 2020-12-15 杭州电子科技大学 基于gmm和cqfl的多尺度识别交通信号标志的方法
CN112132033A (zh) * 2020-09-23 2020-12-25 平安国际智慧城市科技股份有限公司 车型识别方法、装置、电子设备及存储介质
CN112132130A (zh) * 2020-09-22 2020-12-25 福州大学 一种面向全场景的实时性车牌检测方法及系统
CN112183255A (zh) * 2020-09-15 2021-01-05 西北工业大学 一种基于深度学习的水下目标视觉识别与姿态估计方法
CN112200225A (zh) * 2020-09-23 2021-01-08 西南交通大学 基于深度卷积神经网络的钢轨伤损b显图像识别方法
CN112233175A (zh) * 2020-09-24 2021-01-15 西安交通大学 基于YOLOv3-tiny算法的芯片定位方法及一体化定位平台
CN112287977A (zh) * 2020-10-06 2021-01-29 武汉大学 一种基于边界框关键点距离的目标检测方法
CN112329768A (zh) * 2020-10-23 2021-02-05 上善智城(苏州)信息科技有限公司 一种基于改进的yolo的加油站卸油停车牌标志的识别方法
CN112365324A (zh) * 2020-12-02 2021-02-12 杭州微洱网络科技有限公司 适用于电商平台的商品图片检测方法
CN112434583A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 车道横向减速标线检测方法、系统、电子设备及存储介质
CN112434672A (zh) * 2020-12-18 2021-03-02 天津大学 一种基于改进YOLOv3的海上人体目标检测方法
CN112507929A (zh) * 2020-12-16 2021-03-16 武汉理工大学 一种基于改进YOLOv3网络的车身点焊焊渣精准检测方法
CN112560918A (zh) * 2020-12-07 2021-03-26 杭州电子科技大学 一种基于改进YOLO v3的菜品识别方法
CN112633052A (zh) * 2020-09-15 2021-04-09 北京华电天仁电力控制技术有限公司 一种皮带撕裂检测方法
CN112819804A (zh) * 2021-02-23 2021-05-18 西北工业大学 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法
CN112884705A (zh) * 2021-01-06 2021-06-01 西北工业大学 一种二维材料样品位置可视化方法
CN112906485A (zh) * 2021-01-25 2021-06-04 杭州易享优智能科技有限公司 基于改进的yolo模型的视障人士辅助障碍物感知方法
CN112906523A (zh) * 2021-02-04 2021-06-04 上海航天控制技术研究所 一种硬件加速的深度学习目标机型识别方法
CN112949633A (zh) * 2021-03-05 2021-06-11 中国科学院光电技术研究所 一种基于改进YOLOv3的红外目标检测方法
CN113139615A (zh) * 2021-05-08 2021-07-20 北京联合大学 一种基于嵌入式设备的无人驾驶环境目标检测方法
CN113255524A (zh) * 2021-05-27 2021-08-13 山东省交通规划设计院集团有限公司 一种基于YOLO v4的路面信息识别方法及系统
CN113313128A (zh) * 2021-06-02 2021-08-27 东南大学 一种基于改进YOLOv3网络的SAR图像目标检测方法
CN113378739A (zh) * 2021-06-19 2021-09-10 湖南省气象台 一种基于深度学习的地基云状目标检测方法
CN113409250A (zh) * 2021-05-26 2021-09-17 杭州电子科技大学 一种基于卷积神经网络的焊点检测方法
CN113486764A (zh) * 2021-06-30 2021-10-08 中南大学 一种基于改进的YOLOv3的坑洼检测方法
CN113537106A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种基于YOLOv5的鱼类摄食行为识别方法
CN113538389A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种鸽蛋品质识别方法
CN113569968A (zh) * 2021-07-30 2021-10-29 清华大学苏州汽车研究院（吴江） 模型训练方法、目标检测方法、装置、设备及存储介质
CN113592784A (zh) * 2021-07-08 2021-11-02 浙江科技学院 一种基于轻量级卷积神经网络检测路面病害的方法及装置
CN113743233A (zh) * 2021-08-10 2021-12-03 暨南大学 基于YOLOv5和MobileNetV2的车辆型号识别方法
CN113822148A (zh) * 2021-08-05 2021-12-21 同济大学 一种基于卷积神经网络的轨道微小遗留物智能辨识方法
CN113903009A (zh) * 2021-12-10 2022-01-07 华东交通大学 一种基于改进YOLOv3网络的铁路异物检测方法与系统
CN113971755A (zh) * 2020-07-22 2022-01-25 中国科学院沈阳自动化研究所 基于改进yolov3模型的全天候海面目标检测模型
CN114120057A (zh) * 2021-11-09 2022-03-01 华侨大学 一种基于PaddleDetection的混淆矩阵生成方法
WO2022083784A1 (zh) * 2020-10-23 2022-04-28 西安科锐盛创新科技有限公司 一种基于车联网的道路检测方法
CN114998220A (zh) * 2022-05-12 2022-09-02 湖南中医药大学 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
US11468594B2 (en) * 2018-08-09 2022-10-11 Boe Technology Group Co., Ltd. Image processing method, device and apparatus for multi-object detection
CN115311458A (zh) * 2022-10-10 2022-11-08 南京信息工程大学 基于多任务学习的实时高速公路行人闯入事件检测方法
CN115439765A (zh) * 2022-09-17 2022-12-06 艾迪恩(山东)科技有限公司 基于机器学习无人机视角下海洋塑料垃圾旋转检测方法
CN116343175A (zh) * 2023-05-24 2023-06-27 岚图汽车科技有限公司 行人路牌检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110378210A (zh) * 2019-06-11 2019-10-25 江苏大学 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法
CN110796168A (zh) * 2019-09-26 2020-02-14 江苏大学 一种基于改进YOLOv3的车辆检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110378210A (zh) * 2019-06-11 2019-10-25 江苏大学 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法
CN110796168A (zh) * 2019-09-26 2020-02-14 江苏大学 一种基于改进YOLOv3的车辆检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郁强等: "一种多尺度YOLOv3的道路场景目标检测算法" *

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468594B2 (en) * 2018-08-09 2022-10-11 Boe Technology Group Co., Ltd. Image processing method, device and apparatus for multi-object detection
CN111986156A (zh) * 2020-07-20 2020-11-24 华南理工大学 一种斧状利器检测方法、系统、装置和存储介质
CN113971755B (zh) * 2020-07-22 2024-05-03 中国科学院沈阳自动化研究所 基于改进yolov3模型的全天候海面目标检测方法
CN113971755A (zh) * 2020-07-22 2022-01-25 中国科学院沈阳自动化研究所 基于改进yolov3模型的全天候海面目标检测模型
CN112084890A (zh) * 2020-08-21 2020-12-15 杭州电子科技大学 基于gmm和cqfl的多尺度识别交通信号标志的方法
CN112084890B (zh) * 2020-08-21 2024-03-22 杭州电子科技大学 基于gmm和cqfl的多尺度识别交通信号标志的方法
CN112070729A (zh) * 2020-08-26 2020-12-11 西安交通大学 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
CN112070729B (zh) * 2020-08-26 2023-07-07 西安交通大学 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
CN111986436A (zh) * 2020-09-02 2020-11-24 成都指码科技有限公司 一种基于紫外、深度神经网络的综合火焰检测方法
CN112633052A (zh) * 2020-09-15 2021-04-09 北京华电天仁电力控制技术有限公司 一种皮带撕裂检测方法
CN112183255A (zh) * 2020-09-15 2021-01-05 西北工业大学 一种基于深度学习的水下目标视觉识别与姿态估计方法
CN112085728A (zh) * 2020-09-17 2020-12-15 哈尔滨工程大学 一种海底管道及泄漏点检测方法
CN112132130B (zh) * 2020-09-22 2022-10-04 福州大学 一种面向全场景的实时性车牌检测方法及系统
CN112132130A (zh) * 2020-09-22 2020-12-25 福州大学 一种面向全场景的实时性车牌检测方法及系统
CN112200225A (zh) * 2020-09-23 2021-01-08 西南交通大学 基于深度卷积神经网络的钢轨伤损b显图像识别方法
CN112132033B (zh) * 2020-09-23 2023-10-10 平安国际智慧城市科技股份有限公司 车型识别方法、装置、电子设备及存储介质
CN112132033A (zh) * 2020-09-23 2020-12-25 平安国际智慧城市科技股份有限公司 车型识别方法、装置、电子设备及存储介质
CN112233175B (zh) * 2020-09-24 2023-10-24 西安交通大学 基于YOLOv3-tiny算法的芯片定位方法及一体化定位平台
CN112233175A (zh) * 2020-09-24 2021-01-15 西安交通大学 基于YOLOv3-tiny算法的芯片定位方法及一体化定位平台
CN112287977B (zh) * 2020-10-06 2024-02-09 武汉大学 一种基于边界框关键点距离的目标检测方法
CN112287977A (zh) * 2020-10-06 2021-01-29 武汉大学 一种基于边界框关键点距离的目标检测方法
WO2022083784A1 (zh) * 2020-10-23 2022-04-28 西安科锐盛创新科技有限公司 一种基于车联网的道路检测方法
CN112329768A (zh) * 2020-10-23 2021-02-05 上善智城(苏州)信息科技有限公司 一种基于改进的yolo的加油站卸油停车牌标志的识别方法
CN112434583A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 车道横向减速标线检测方法、系统、电子设备及存储介质
CN112365324A (zh) * 2020-12-02 2021-02-12 杭州微洱网络科技有限公司 适用于电商平台的商品图片检测方法
CN112560918A (zh) * 2020-12-07 2021-03-26 杭州电子科技大学 一种基于改进YOLO v3的菜品识别方法
CN112560918B (zh) * 2020-12-07 2024-02-06 杭州电子科技大学 一种基于改进YOLO v3的菜品识别方法
CN112507929B (zh) * 2020-12-16 2022-05-13 武汉理工大学 一种基于改进YOLOv3网络的车身点焊焊渣精准检测方法
CN112507929A (zh) * 2020-12-16 2021-03-16 武汉理工大学 一种基于改进YOLOv3网络的车身点焊焊渣精准检测方法
CN112434672B (zh) * 2020-12-18 2023-06-27 天津大学 一种基于改进YOLOv3的海上人体目标检测方法
CN112434672A (zh) * 2020-12-18 2021-03-02 天津大学 一种基于改进YOLOv3的海上人体目标检测方法
CN112884705A (zh) * 2021-01-06 2021-06-01 西北工业大学 一种二维材料样品位置可视化方法
CN112884705B (zh) * 2021-01-06 2024-05-14 西北工业大学 一种二维材料样品位置可视化方法
CN112906485B (zh) * 2021-01-25 2023-01-31 杭州易享优智能科技有限公司 基于改进的yolo模型的视障人士辅助障碍物感知方法
CN112906485A (zh) * 2021-01-25 2021-06-04 杭州易享优智能科技有限公司 基于改进的yolo模型的视障人士辅助障碍物感知方法
CN112906523A (zh) * 2021-02-04 2021-06-04 上海航天控制技术研究所 一种硬件加速的深度学习目标机型识别方法
CN112819804A (zh) * 2021-02-23 2021-05-18 西北工业大学 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法
CN112949633A (zh) * 2021-03-05 2021-06-11 中国科学院光电技术研究所 一种基于改进YOLOv3的红外目标检测方法
CN112949633B (zh) * 2021-03-05 2022-10-21 中国科学院光电技术研究所 一种基于改进YOLOv3的红外目标检测方法
CN113139615A (zh) * 2021-05-08 2021-07-20 北京联合大学 一种基于嵌入式设备的无人驾驶环境目标检测方法
CN113409250A (zh) * 2021-05-26 2021-09-17 杭州电子科技大学 一种基于卷积神经网络的焊点检测方法
CN113255524A (zh) * 2021-05-27 2021-08-13 山东省交通规划设计院集团有限公司 一种基于YOLO v4的路面信息识别方法及系统
CN113313128B (zh) * 2021-06-02 2022-10-28 东南大学 一种基于改进YOLOv3网络的SAR图像目标检测方法
CN113313128A (zh) * 2021-06-02 2021-08-27 东南大学 一种基于改进YOLOv3网络的SAR图像目标检测方法
CN113378739A (zh) * 2021-06-19 2021-09-10 湖南省气象台 一种基于深度学习的地基云状目标检测方法
CN113486764A (zh) * 2021-06-30 2021-10-08 中南大学 一种基于改进的YOLOv3的坑洼检测方法
CN113486764B (zh) * 2021-06-30 2022-05-03 中南大学 一种基于改进的YOLOv3的坑洼检测方法
CN113592784A (zh) * 2021-07-08 2021-11-02 浙江科技学院 一种基于轻量级卷积神经网络检测路面病害的方法及装置
CN113538389A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种鸽蛋品质识别方法
CN113537106A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种基于YOLOv5的鱼类摄食行为识别方法
CN113538389B (zh) * 2021-07-23 2023-05-09 仲恺农业工程学院 一种鸽蛋品质识别方法
CN113537106B (zh) * 2021-07-23 2023-06-02 仲恺农业工程学院 一种基于YOLOv5的鱼类摄食行为识别方法
CN113569968A (zh) * 2021-07-30 2021-10-29 清华大学苏州汽车研究院（吴江） 模型训练方法、目标检测方法、装置、设备及存储介质
CN113569968B (zh) * 2021-07-30 2024-05-17 清华大学苏州汽车研究院（吴江） 模型训练方法、目标检测方法、装置、设备及存储介质
CN113822148A (zh) * 2021-08-05 2021-12-21 同济大学 一种基于卷积神经网络的轨道微小遗留物智能辨识方法
CN113822148B (zh) * 2021-08-05 2024-04-12 同济大学 一种基于卷积神经网络的轨道微小遗留物智能辨识方法
CN113743233A (zh) * 2021-08-10 2021-12-03 暨南大学 基于YOLOv5和MobileNetV2的车辆型号识别方法
CN113743233B (zh) * 2021-08-10 2023-08-01 暨南大学 基于YOLOv5和MobileNetV2的车辆型号识别方法
CN114120057A (zh) * 2021-11-09 2022-03-01 华侨大学 一种基于PaddleDetection的混淆矩阵生成方法
CN113903009A (zh) * 2021-12-10 2022-01-07 华东交通大学 一种基于改进YOLOv3网络的铁路异物检测方法与系统
CN114998220A (zh) * 2022-05-12 2022-09-02 湖南中医药大学 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN114998220B (zh) * 2022-05-12 2023-06-13 湖南中医药大学 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN115439765B (zh) * 2022-09-17 2024-02-02 艾迪恩(山东)科技有限公司 基于机器学习无人机视角下海洋塑料垃圾旋转检测方法
CN115439765A (zh) * 2022-09-17 2022-12-06 艾迪恩(山东)科技有限公司 基于机器学习无人机视角下海洋塑料垃圾旋转检测方法
CN115311458A (zh) * 2022-10-10 2022-11-08 南京信息工程大学 基于多任务学习的实时高速公路行人闯入事件检测方法
CN115311458B (zh) * 2022-10-10 2023-02-14 南京信息工程大学 基于多任务学习的实时高速公路行人闯入事件检测方法
CN116343175A (zh) * 2023-05-24 2023-06-27 岚图汽车科技有限公司 行人路牌检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111401148B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111401148A (zh) 一种基于改进的多级YOLOv3的道路多目标检测方法
WO2022083784A1 (zh) 一种基于车联网的道路检测方法
CN109919072B (zh) 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法
CN112084890B (zh) 基于gmm和cqfl的多尺度识别交通信号标志的方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN111950583B (zh) 一种基于gmm聚类的多尺度识别交通信号标志的方法
CN113076804B (zh) 基于YOLOv4改进算法的目标检测方法、装置及系统
CN111814863A (zh) 一种轻量级车辆与行人的检测方法
CN108960074B (zh) 基于深度学习的小尺寸行人目标检测方法
CN113468994A (zh) 基于加权采样和多分辨率特征提取的三维目标检测方法
Dutta et al. ViT-BEVSeg: A hierarchical transformer network for monocular birds-eye-view segmentation
Cai et al. Vehicle Detection Based on Deep Dual‐Vehicle Deformable Part Models
CN116824543A (zh) 一种基于od-yolo的自动驾驶目标检测方法
Alam et al. Faster RCNN based robust vehicle detection algorithm for identifying and classifying vehicles
CN106529391B (zh) 一种鲁棒的限速交通标志检测与识别方法
CN116630932A (zh) 一种基于改进yolov5的道路遮挡目标检测方法
CN115588126A (zh) 一种融合GAM、CARAFE和SnIoU的车辆目标检测方法
CN115359455A (zh) 一种基于深度学习的轻量级车辆检测方法
CN113191218A (zh) 基于双线性注意力汇集和卷积长短期记忆的车型识别方法
CN117975218A (zh) 一种基于混合注意力和特征中心化多尺度融合的小目标检测方法
CN110555425A (zh) 一种视频流实时行人检测方法
Oublal et al. An advanced combination of semi-supervised Normalizing Flow & Yolo (YoloNF) to detect and recognize vehicle license plates
CN116563825A (zh) 一种基于改进的Yolov5的自动驾驶目标检测算法
CN114120246B (zh) 一种基于复杂环境的前方车辆检测算法
Jaiswal et al. Empirical analysis of traffic sign recognition using ResNet architectures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant