[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116087198A - 一种公路路面状况数据采集设备及其自动化快速检测系统 - Google Patents

一种公路路面状况数据采集设备及其自动化快速检测系统 Download PDF

Info

Publication number
CN116087198A
CN116087198A CN202211541287.XA CN202211541287A CN116087198A CN 116087198 A CN116087198 A CN 116087198A CN 202211541287 A CN202211541287 A CN 202211541287A CN 116087198 A CN116087198 A CN 116087198A
Authority
CN
China
Prior art keywords
data
module
model
disease
pavement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211541287.XA
Other languages
English (en)
Other versions
CN116087198B (zh
Inventor
单飞
靳明
聂世刚
王留召
任海林
何亚辉
杨宇翔
徐阳
何冠楠
金凤玲
徐�明
杜红静
殷佩轩
王劲雄
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Transportation Development Center
Henan Transportation Development Research Institute Co ltd
Original Assignee
Henan Transportation Development Center
Henan Transportation Development Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Transportation Development Center, Henan Transportation Development Research Institute Co ltd filed Critical Henan Transportation Development Center
Priority to CN202211541287.XA priority Critical patent/CN116087198B/zh
Publication of CN116087198A publication Critical patent/CN116087198A/zh
Application granted granted Critical
Publication of CN116087198B publication Critical patent/CN116087198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Biochemistry (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种公路路面状况数据采集设备及其自动化快速检测系统，其中一种公路路面状况数据采集设备，由核心板附带降压模块、交换机模块、北斗模块、4G模块以及Wifi模块组成；核心板采用64位四核X86处理器，通过交换机模块采集两路视频数据，然后分类打包存储到扩展存储上；存储过程中实时数据通过WIFI模块或4G模块进行无线网络配置，实现远程状态的查看。一种公路路面自动化快速检测系统，外业采集设备使用所述的公路路面状况数据采集设备，系统通过高清摄像头采集路面病害原始视频数据；通过平整度仪记录路面平整度原始数据以及采集里程数据；通过数据处理系统部署的路面病害识别算法识别病害信息；通过北斗模块提供病害空间定位信息；通过4G模块实现采集设备与数据处理系统互联，监测控制设备状态，规划查看轨迹信息；通过成果展示平台汇总展示快速检测成果。

Description

一种公路路面状况数据采集设备及其自动化快速检测系统
技术领域
本发明涉及一种路面状况数据采集设备及路面病害检测识别方法，尤其是涉及一种公路路面自动化快速检测系统。
背景技术
农村公路是服务广大农村地区经济社会发展的先导性、基础性、公益性设施，是国家公路网的重要组成部分，对乡村振兴战略实施具有重要的基础支撑作用。面对农村公路点多、线长、面广的复杂情况，传统的人工评定方式存在效率低、数据准确性和可追溯性不足等问题。农村公路体量巨大，对其路面状况进行自动化检测是行业发展的必然趋势。而现行自动化检测技术成本高、资金需求大，很难在农村公路上普及应用。
因此，在公路行业的路况检测评定工作中充分利用大数据、人工智能等先进技术进行智能化检测符合行业发展要求，对全面提升公路管养精细化、智慧化水平有重要意义。
路面的智能检测的研究在欧美国家开始于20世纪80年代后期，目前已经较为成熟。应用较多的有美国Earth公司研发的PCES系统、英国HARRIS系统、加拿大辉固—路德威（Fugro Roadware）公司的自动道路分析系统—ARAN系列等。国内方面，2002年南京理工大学研发了我国第一辆智能检测车；武汉大学自主开发的车载智能路面自动检测系统，可以在车速为下100km/h对路面裂缝、车辙以及路面平整度进行检测；交通部公路科学研究院下属子公司中公高科养护科技股份有限公司研发的路况快速检测车（CiCS）可用于快速（0-100km/h）检测路面破损状况、路面平整度、构造深度、车辙以及前方图像等状况检测，是目前国内交通部大规模推广的“国省干线及高速公路资产管理系统（CPMS）”三大配套快速检测装备之一。上述设备虽然普遍功能齐全，但价格高昂、维修保养难度高、车体普遍较大，目前主要在高等级公路中应用较多，难以大规模推广应用。
在此背景下，为全面提升农村公路管养精细化、智慧化水平，研发适用于农村公路路面状况的路面状况数据采集设备及路面病害检测识别方法/自动化快速检测系统，对实现路面病害的快速自动化分析和综合评定，是大有必要的。
发明内容
本发明针对现有技术不足，提出一种公路路面状况数据采集设备及路面病害自动化快速检测系统。采用图像采集和激光雷达技术，采用基于人工智能的路面病害识别算法，实现了路面病害的快速自动化分析和综合评定，轻量、快速、易操作、低成本。
本发明采用的技术方案：
目前主流的道路病害检测方法主要有三大类：单目视觉的检测方法、三维重建的方法、基于振动的检测方法等，其中基于单目视觉的检测方法具有测量范围广、成本低、灵活度高、精度良好等优点，成为研究的焦点。基于单目视觉的检测方法又可大致分为传统图像处理和深度学习两类方法。本发明采用图像采集和激光雷达技术，研发了轻量、快速、易操作、低成本的农村公路路面状况数据采集设备；基于人工智能的路面病害识别算法和服务器云计算技术，搭建了功能齐全、可视化强的路面病害识别管理系统，实现了路面病害的快速自动化分析和综合评定。
系统组成
该系统由外业采集设备、数据处理系统、成果展示平台三部分组成。
外业采集设备是系统数据（包含高清视频、平整度、GPS）的来源，以移动储存的方式通过网页上传至数据处理系统；数据处理系统是数据处理的核心，通过部署的路面病害识别算法自动化识别病害信息；成果展示平台是处理结果的查看窗口，可视化的展示统计成果。三个部分在系统工作时紧密衔接，构成了一个功能齐全、分工合理、上下联动的一体系统。路面快速系统技术路线见图1。
外业采集设备
外业采集设备包括高清摄像头、平整度仪、集成芯片一体机和采集控制终端等。其中高清摄像头用于采集路面病害原始视频数据，是路面破损率DR指标来源，同时可用于记录道路景观图像数据，用于道路病害溯源佐证及沿线设施人工复核；平整度仪记录路面平整度原始数据以及采集里程数据，是平整度指数IRI来源。边缘一体机内置SIM卡接收4G信号，实现采集设备与后端服务器互联，用于监测控制设备状态，记录整个系统采集的数据；GPS天线提供空间定位信息，用于匹配病害定位。随车配置平板电脑安装采集APP，用于记录规划查看轨迹信息，对硬件设备的整体控制等。
该设备可挂载在各种不同的SUV车体，安装及拆卸方便。较传统检测车而言，具有成本低，性价比高的特点。一体化采集设备概貌见图2。
数据处理系统
数据处理系统主要是由云服务器和病害识别管理系统组成。云服务器主要包含业务服务器和GPU服务器，前者用于存储部署业务系统和数据库，存储GPS 数据和视频数据、对视频数据进行截帧、去重、数据清洗、数据融合、数据展现，部署数据接口等；后者用于部署了基于人工智能的路面病害识别算法模型，可以实现沥青和水泥混凝土路面的网裂、纵向裂缝、横向裂缝、坑槽、破碎板、坑洞等主要病害的智能识别，对路面病害特征进行快速自动化分析和综合评定，再基于GPS和里程编码器信息准确给出病害位置和病害图片。
病害识别管理系统主要用于路面病害自动化分析评定汇总。可实时查看外业采集情况和评定结果、上传视频、GPS和IRI等原始数据、查看外业采集记录信息和数据处理进度、查看处理完成的病害详情和统计分析结果等。同时可按照国家、省、市、县的业务需求，输出固定格式表格，自动生成常规版检评数据。
成果展示平台
快速检测成果依据河南省普通公路和水路管理平台进行汇总展示。病害识别系统与普通公路和水路管理平台互通共享，自动化处理完成的数据和路面病害影像实时推送至平台，在GIS地图上直观展示，能够为以奖代补考核、制定养护计划等提供基础数据。
病害检测算法概述
2.1算法构成
病害检测算法主要分为数据处理、模型训练、应用部署三个阶段。数据处理部分主要包括样本收集、样本标注、样本训练/验证/测试集合的划分，以及训练所用数据的增强扩充。模型训练部分主要包含目标检测模型及分类判别模型的选型、调参训练及模型输出。应用部署主要包括后台辅助模块及算法模型的部署，其中后台辅助模块用于接收请求、解析图像、效果渲染、汇总结果表单、发送反馈等，算法模型中的目标检测模型用于图像中的病害定位及初步分类，分类判别模型用于辅助目标检测进行类别细分、排除干扰。
病害检测算法原理见图3，建立流程见图4。
数据处理
（1）样本标注及样本划分
明确病害类型及常见易混淆的干扰物类型，收集大量的数据集，采用colabeler标注工具进行目标检测标框标注，整理生成目标检测数据集。在目标检测标注的基础上，借助脚本进行选框抠图及分类，整理生成分类数据集。按6:2:2比例进行将两类数据集分别划分为训练、验证、测试样本。
（2）图像数据增强
图像数据增强用于进一步丰富训练用样本集合，增加训练后模型的鲁棒性。使用常规增强，包含平移、翻转、旋转、HSV变换等，用于扩充样本的丰富程度；使用畸变扰动增强，用于增加模型对相机透镜造成的画面畸变的鲁棒性；使用动态模糊增强，用于提升模型对高速运动场景中识别病害的准确性。使用Mosaic增强，用于丰富检测物的背景，在BN计算时一次性计算多张图的数据，提升模型学习效率。 融合多种增强效果见图5。
模型训练
（1）目标检测模型
目标检测选取基于深度学习的目标检测算法模型（Yolo v5），采用骨干特征提取网络CSPdarknet，检测头为三个步长分别为8、16、32的卷积组合。
Yolo系列经历前四代的演化，实现了最新版本的目标检测框架Yolov5。Yolov5在精度性能上稍强于Yolov4，但在灵活性与速度上远超Yolov4，且在模型的快速部署上具有极强优势。Yolov5框架基于Pytorch实现，底层代码更为精简且易于二次开发。因此将Yolov5作为病害目标检测的核心算法。Yolov5结构整体可分为以下四个部分：输入端、Backbone、Neck、Prediction。 Yolov5结构见图6。
训练时主要调参为模型depth、width的缩放系数、anchors尺寸、学习率、loss平衡参数及数据增强相应参数等。训练中采用三折较差验证，预测时将三个模型融合进行前向推理，并综合三模型的预选框进行NMS获得最终结果。
（2）分类判别模型
如图7所示，分类判别模型选用densenet169模型，网络中所有层两两都进行了连接，使得网络中每一层都接受它前面所有层的特征作为输入，利于提取并保留路面病害这类细微的特征。训练时主要调参为loss平衡参数、学习率、数据增强相应参数等。
模型部署
应用部署主要包括后台辅助模块及算法模型部署两部分。
后台辅助模块主要由flask框架实现，结合opencv等方法库，实现请求接收、格式分析、图像base64编码解析、图像尺寸变换、图像归一化处理等功能。
算法模型部署主要基于torch及onnx框架实现，目标检测模型通过输入归一化图像进行前向推理，有主干网络提取特征，检测头回归得到选框定位信息及选框分类信息，作为预选框。再通过NMS模块依据选框置信度、IOU进行选框筛选。分类判别模型通过选框进行抠图，并输入模型进行分析，生成分类特征向量，得到选框细化分类的结果，作为最终选框的输出结果。最终后台辅助模块根据原图及模型生成的选框结果，进行图像渲染、生成结果表单、完成结果反馈。
发明有益效果：
1、本发明公路路面状况数据采集设备，可挂载在各种不同的SUV车体，安装及拆卸方便，轻量、快速、易操作，具有成本低，性价比高的特点。采用图像采集和激光雷达技术以及单位模块，将系统数据（包含高清视频、平整度、GPS）以移动储存的方式通过网页上传至数据处理系统。
2、本发明路面病害自动化快速检测系统，基于人工智能的路面病害识别算法和服务器云计算技术，实现了路面病害的快速自动化分析和综合评定。搭建了功能齐全、可视化强的路面病害识别管理系统平台，通过与主流多功能路况快速检测设备（CICS）在河南省近30000km的农村公路跟车对比试验，结果表明该系统可较好地在农村公路路面检测评定中进行工作应用，准确度上一致性较好，完全可以满足农村道路路面自动化检测的需求。
3、本发明路面病害自动化快速检测系统，采用基于深度学习的目标检测算法模型Yolo v5和densenet169分类判别模型，有利于实现路面病害特征的快速自动化分析和综合评定。目标检测算法模型Yolo v5在精度性能上稍强于Yolov4，但在灵活性与速度上大大提高，且在模型的快速部署上具有极强优势。分类判别模型选用densenet169模型，网络中所有层两两都进行了连接，使得网络中每一层都接受它前面所有层的特征作为输入，利于提取并保留路面病害这类细微的特征。可经对比验证，在准确度上与主流多功能路况快速检测设备一致性较好，满足农村道路路面检测的需求。
附图说明
图1所示为路面病害自动化快速检测系统组成示意图；
图2所示为公路路面状况数据采集设备结构原理框图（外业采集设备）；
图3所示为病害检测算法原理；
图4所示为病害识别算法建立流程；
图5所示为融合多种增强效果示意图；
图6所示为Yolov5结构图；
图7所示为densenet结构图；
图8所示为南阳市Y029线跟车同步采集比对试验结果；
图9所示为南阳市X002线跟车同步采集比对试验结果。
具体实施方式
为了使发明创造实现其发明目的的技术构思及优点更加清楚明白，下面结合附图对本发明的技术方案作进一步的详细描述。应当理解的是，以下各实施例仅用以解释和说明本发明的优选实施方式，不应当构成对本发明要求专利保护的范围的限定。
实施例1
如图2所示，本发明提供了一种公路路面状况数据采集设备，由核心板附带降压模块、交换机模块、北斗模块、4G模块以及Wifi模块组成，降压模块为设备各组成模块提供且工作电源，核心板采用64位四核X86处理器；
交换机模块分出4路网口用于内网数据传输，其中1路网口接核心板，两路网口连接高清摄像头和平整度仪，1路引到外部端子；
北斗模块通过串口连接核心板，采集北斗位置数据，为采集设备提供实时自身坐标及实时时钟；
4G模块采用全网通版本，数据输出接口连接核心板，为采集设备提供外网连接；
Wifi模块数据输入端口连接接核心板，用于手持终端和采集设备的交互；
系统所述采集设备通过交换机模块采集两路视频数据，然后分类打包存储到扩展存储上；存储过程中实时数据通过WIFI模块或4G模块进行无线网络配置，实现远程状态的查看。
核心板采用板载英特尔Atom x5-Z8300“凌动”四核处理器，集成Intel Gen8 HD核显（500MHz），配备双通道1GB/2GB/4GB LPDDR3-1866MHz内存，常规扩展包括：1个USB 3.0、3个USB 2.0、1个USB OTG Type-C接口、千兆LAN、HDMI 1.4（4K@30Hz）、eDP和MIPI DSI以及3.5mm音频接口；开发扩展包括：相机MIPI CSI I/F、2xADC、2xPWM、2xI2C和40针RaspberryPi兼容插头。原来4芯网口改为RJ45端子。
交换机模块芯片使用IP175G，4路网口为交换机功能，使用时，2路接相机，（接相机网线、接核心板网线已经提供）。4G模块使用型号为AIR724，Wifi模块采用RTL8188FTV模组，TL8188FQA WiFi模块以更加精简的标准为联网设备提供超低的功耗，该wifi模块方案基于RTL8188FTV-VQ1主芯片开发。无线传输速率高达72M，可适应不同的工作环境，使台式机或笔记本计算机用户以及其它需要实现无线联网的设备方便地接入无线网络采用基于RTL8188FTV-VQ1主芯片开发的TL8188FQA模组，可适应不同的工作环境。
所述的公路路面状况数据采集设备，具体使用时，可采用车辆传感器，所述车辆传感器通过GPIO与核心板连接，用于当北斗定位不准时采集车辆传感器数据，为采集设备提供一个行车速度的补充。
所述的公路路面状况数据采集设备（外业采集设备），包括高清摄像头、平整度仪、集成芯片一体机和采集控制终端等。其中高清摄像头用于采集路面病害原始视频数据，是路面破损率DR指标来源，同时可用于记录道路景观图像数据，用于道路病害溯源佐证及沿线设施人工复核；平整度仪记录路面平整度原始数据以及采集里程数据，是平整度指数IRI来源。4G模块内置SIM卡接收4G信号，实现采集设备与后端服务器互联，用于监测控制设备状态，记录整个系统采集的数据；北斗模块提供空间定位信息，用于匹配病害定位。
外业采集设备该设备可挂载在各种不同的SUV车体，安装及拆卸方便，具有成本低，性价比高的特点。使用时随车配置平板电脑安装采集APP，用于记录规划查看轨迹信息，对硬件设备的整体控制等。设备组成原理方框图见图2，将系统数据（包含高清视频、平整度、GPS）以移动储存的方式通过网页上传至数据处理系统。
实施例2
如图1所示，本发明公路路面自动化快速检测系统，包括外业采集设备、数据处理系统、成果展示平台三部分，所述外业采集设备使用如前所述的公路路面状况数据采集设备，系统通过高清摄像头采集路面病害原始视频数据；通过平整度仪记录路面平整度原始数据以及采集里程数据；通过北斗模块提供空间定位信息，用于匹配病害定位；通过4G模块内置SIM卡接收4G信号，实现采集设备与数据处理系统互联，用于监测控制设备状态，规划查看轨迹信息，记录整个系统采集的数据；
数据处理系统，主要是由云服务器和病害识别管理系统组成，通过部署的路面病害识别算法自动化识别病害信息；病害识别系统主要用于路面病害自动化分析评定汇总，自动处理完成的数据和路面病害影像实时推送至成果展示平台；所述云服务器主要包含业务服务器和GPU服务器，业务服务器用于存储部署业务系统和数据库，存储GPS数据和视频数据、对视频数据进行截帧、去重、数据清洗、数据融合、数据展现，部署数据接口；GPU服务器部署基于人工智能的路面病害识别算法模型，实现沥青和水泥混凝土路面的网裂、纵向裂缝、横向裂缝、坑槽、破碎板、坑洞等主要病害的智能识别，对路面病害特征进行快速自动化分析和综合评定，再基于GPS和里程编码器信息准确给出病害位置和病害图片；
成果展示平台，汇总展示快速检测成果，提供可视化的展示统计成果的窗口。
本发明病害识别管理系统与普通公路和水路管理平台互通共享，可以实时查看外业采集情况和评定结果、上传视频、GPS和IRI等原始数据、查看外业采集记录信息和数据处理进度、查看处理完成的病害详情和统计分析结果；同时按照业务需求输出固定格式表格，自动生成常规版检评数据。
实施例3
本实施例的公路路面自动化快速检测系统，与实施例不同的是，进一步的：进步公开了具体采用的路面病害识别算法。病害检测算法原理见图4，建立流程见图5。
所述路面病害识别算法包括数据处理、模型训练、应用部署三个阶段；其中数据处理阶段主要包括样本收集、样本标注、样本划分，以及训练所用数据的增强扩充；
模型训练阶段主要包含目标检测模型及分类判别模型的选型、调参训练及模型输出；
应用部署阶段主要包括后台辅助模块及算法模型部署两部分，其中后台辅助模块用于接收请求、解析图像、效果渲染、汇总结果表单、发送反馈；算法模型包括目标检测模型和分类判别模型，目标检测模型用于图像中的病害定位及初步分类，分类判别模型用于辅助目标检测进行类别细分、排除干扰。
数据处理过程中，样本标注及样本划分的过程如下：
明确病害类型及常见易混淆的干扰物类型，收集大量的数据集，采用colabeler标注工具进行目标检测标框标注，整理生成目标检测数据集；
在目标检测标注的基础上，借助脚本进行选框抠图及分类，整理生成分类数据集；按6:2:2比例进行将两类数据集分别划分为训练、验证、测试样本；
图像数据增强，使用平移、翻转、旋转、HSV变换方法丰富训练用样本集合；使用畸变扰动增强，用于增加模型对相机透镜造成的画面畸变的鲁棒性；使用动态模糊增强，用于提升模型对高速运动场景中识别病害的准确性；使用Mosaic增强，用于丰富检测物的背景，在BN计算时一次性计算多张图的数据，提升模型学习效率。融合多种增强效果见图5。
模型训练过程包括（1）建立目标检测模型：
选取基于深度学习的目标检测算法模型，采用骨干特征提取网络CSPdarknet，检测头为三个步长分别为8、16、32的卷积组合；
调参为模型depth、width的缩放系数、anchors尺寸、学习率、loss平衡参数及数据增强相应参数，训练中采用三折较差验证，预测时将三个模型融合进行前向推理，并综合三模型的预选框进行NMS获得最终结果；Yolov5结构见图6；
（2）建立分类判别模型
如图7所示，选用densenet169模型，网络中所有层两两连接，每一层都接受它前面所有层的特征作为输入，提取并保留路面病害这类细微的特征；训练时主要调参为loss平衡参数、学习率、数据增强相应参数。
应用部署阶段，后台辅助模块主要由flask框架实现，结合opencv方法库，实现请求接收、格式分析、图像base64编码解析、图像尺寸变换、图像归一化处理等功能；
算法模型部署主要基于torch及onnx框架实现，目标检测模型通过输入归一化图像进行前向推理，有主干网络提取特征，检测头回归得到选框定位信息及选框分类信息，作为预选框，再通过NMS模块依据选框置信度、IOU进行选框筛选；
分类判别模型通过选框进行抠图，并输入模型进行分析，生成分类特征向量，得到选框细化分类的结果，作为最终选框的输出结果；最终后台辅助模块根据原图及模型生成的选框结果，进行图像渲染、生成结果表单、完成结果反馈。
应用分析
为优化算法模型，提高病害识别准确率，本发明技术研发团队先后在平原及山区农村道路选取近200km典型沥青、水泥路面进行测试，并针对病害识别不足或误识别等，将病害图片提取，人工标定后作为样本不断完善病害样本数据库，强化算法深度学习，进一步提升算法性能和精度。结果也证明了本发明具有效率高、成本低、轻量化、通用易操作等特点，适用于低等级农村公路的快速化检测，经对比验证，在准确度上与主流多功能路况快速检测设备一致性较好，满足农村道路路面检测的需求。
1、南阳市X002和Y029线跟车同步采集比对分析
2021年3月，在南阳市X002和Y029（总计74.519公里）道路上，使用本发明快速检测系统的车辆与CICS路况检测车针对相同路线同一地点同时出发，进行同时采集数据检测，得到的各路段里程的PCI（路面损坏状况指数）如图8、图9所示。
由图8、图9两图可以看出：两者PCI值变化波动情况基本一致，可反应道路破损的真实情况。同时发现，对于PCI≥80的“优”和“良”路段，PCI吻合度较高；在判定道路PCI＜80的“差”、“次”、“中”路段，有一定偏差。
通过进一步对不同病害类型的统计得到：对所有裂缝类的识别精确率85%，召回率92%；对所有坑槽的识别精确率78%，召回率85%；对所有修补的识别精确率70%，召回率80%，基本满足农村道路的检测要求。
2、兰考县县乡道试点检测结果分析
2021年4月在兰考县县乡道采用该快速检测系统进行总计635公里的采集并评定试点路段：兰考县检测方式，同时委托四家专业资质单位对部分路线共计138公里的路段进行抽检验证。得到的对比偏差统计见表1。
表1：检测系统与专业检测机构检测结果对比偏差情况
可以看出，PCI偏差值误差在5%以内的路段约73公里，比重约52.90%；误差在5%~10%的路段约30公里，比重约21.74%；误差在10%以上的路段约35公里，比重25.36%。同时可以发现，误差在10%以上的路段主要在X053和Y007路段，公路路面技术状况等级主要为次差路段，算法可进行进一步的优化学习。
3、省检跟车采集对比
2021年7月~8月，装备本发明快速检测系统的道路检测车跟随两专业检测机构的CICS车进行总计1949.97公里的普通国省道省检跟车检测，进一步验证系统可靠性。跟车对比结果如表2所示。
表2：跟车对比PCI偏差里程及占比情况
通过数据对比自动化处理成果和CICS检测车对比可以看出，路面损坏状况指数（PCI）偏差小于15%的占比达到94%以上，满足相关标准的要求。
经对比验证，可见，采用本发明利用图像采集和激光雷达技术研发的路面自动化快速检测设备，可实现路面病害特征的快速自动化分析和综合评定。在准确度上与主流多功能路况快速检测设备一致性较好，满足农村道路路面检测的需求。
截止2021年12月，已完成郑州、驻马店、南阳三个试点区域内所有县乡公路的路面检测工作，路面自动化快速检测系统目前在河南省农村公路路面检测评定工作中运行良好，后期可在高等级干线公路中进行试验应用推广。
以上所述仅为本发明的较佳实施方式，并不构成对本发明的限定。本领域技术人员在现有技术的指引下，无需进行创造性劳动即可对本发明的实施情况进行其他修改，凡在本发明的精神和原则之内所作的任何修改或者采用本领域惯用技术手段进行的简单置换或等同替换，均应包含在本发明的保护范围之内。

Claims (10)

1.一种公路路面状况数据采集设备，由核心板附带降压模块、交换机模块、北斗模块、4G模块以及Wifi模块组成，降压模块为设备各组成模块提供且工作电源，其特征在于：
核心板采用64位四核X86处理器；
交换机模块分出4路网口用于内网数据传输，其中1路网口接核心板，两路网口连接高清摄像头和平整度仪，1路引到外部端子；
北斗模块通过串口连接核心板，采集北斗位置数据，为采集设备提供实时自身坐标及实时时钟；
4G模块采用全网通版本，数据输出接口连接核心板，为采集设备提供外网连接；
Wifi模块数据输入端口连接接核心板，用于手持终端和采集设备的交互；
系统所述采集设备通过交换机模块采集两路视频数据，然后分类打包存储到扩展存储上；存储过程中实时数据通过WIFI模块或4G模块进行无线网络配置，实现远程状态的查看。
2.根据权利要求1所述的公路路面状况数据采集设备，其特征在于：所述核心板采用板载英特尔Atom x5-Z8300“凌动”四核处理器，集成Intel Gen8 HD核显（500MHz），配备双通道1GB/2GB/4GB LPDDR3-1866MHz内存，常规扩展包括：1个USB 3.0、3个USB 2.0、1个USBOTG Type-C接口、千兆LAN、HDMI 1.4（4K@30Hz）、eDP和MIPI DSI以及3.5mm音频接口；开发扩展包括：相机MIPI CSI I/F、2xADC、2xPWM、2xI2C和40针Raspberry Pi兼容插头。
3.根据权利要求1或2所述的公路路面状况数据采集设备，其特征在于：交换机模块芯片使用IP175G，4G模块使用型号为AIR724，Wifi模块采用基于RTL8188FTV-VQ1主芯片开发的TL8188FQA模组，可适应不同的工作环境。
4.根据权利要求1或2所述的公路路面状况数据采集设备，其特征在于：包括车辆传感器，所述车辆传感器通过GPIO与核心板连接，用于当北斗定位不准时采集车辆传感器数据，为采集设备提供一个行车速度的补充。
5.一种公路路面自动化快速检测系统，包括外业采集设备、数据处理系统、成果展示平台三部分，其特征在于：所述外业采集设备使用权利要求1所述的公路路面状况数据采集设备，系统通过高清摄像头采集路面病害原始视频数据；通过平整度仪记录路面平整度原始数据以及采集里程数据；通过北斗模块提供空间定位信息，用于匹配病害定位；通过4G模块内置SIM卡接收4G信号，实现采集设备与数据处理系统互联，用于监测控制设备状态，规划查看轨迹信息，记录整个系统采集的数据；
数据处理系统，主要是由云服务器和病害识别管理系统组成，通过部署的路面病害识别算法自动化识别病害信息；病害识别系统主要用于路面病害自动化分析评定汇总，自动处理完成的数据和路面病害影像实时推送至成果展示平台；
成果展示平台，汇总展示快速检测成果，提供可视化的展示统计成果的窗口。
6.根据权利要求5所述的公路路面自动化快速检测系统，其特征在于：所述云服务器主要包含业务服务器和GPU服务器，业务服务器用于存储部署业务系统和数据库，存储GPS数据和视频数据、对视频数据进行截帧、去重、数据清洗、数据融合、数据展现，部署数据接口；GPU服务器部署基于人工智能的路面病害识别算法模型，实现沥青和水泥混凝土路面的网裂、纵向裂缝、横向裂缝、坑槽、破碎板、坑洞等主要病害的智能识别，对路面病害特征进行快速自动化分析和综合评定，再基于GPS和里程编码器信息准确给出病害位置和病害图片。
7.根据权利要求5或6所述的公路路面自动化快速检测系统，其特征在于：所述路面病害识别算法包括数据处理、模型训练、应用部署三个阶段；其中
数据处理阶段主要包括样本收集、样本标注、样本划分，以及训练所用数据的增强扩充；
模型训练阶段主要包含目标检测模型及分类判别模型的选型、调参训练及模型输出；
应用部署阶段主要包括后台辅助模块及算法模型部署两部分，其中后台辅助模块用于接收请求、解析图像、效果渲染、汇总结果表单、发送反馈；算法模型包括目标检测模型和分类判别模型，目标检测模型用于图像中的病害定位及初步分类，分类判别模型用于辅助目标检测进行类别细分、排除干扰。
8.根据权利要求7所述的公路路面自动化快速检测系统，其特征在于：数据处理过程中，样本标注及样本划分的过程如下：
明确病害类型及常见易混淆的干扰物类型，收集大量的数据集，采用colabeler标注工具进行目标检测标框标注，整理生成目标检测数据集；
在目标检测标注的基础上，借助脚本进行选框抠图及分类，整理生成分类数据集；按6:2:2比例进行将两类数据集分别划分为训练、验证、测试样本；
图像数据增强，使用平移、翻转、旋转、HSV变换方法丰富训练用样本集合；使用畸变扰动增强，用于增加模型对相机透镜造成的画面畸变的鲁棒性；使用动态模糊增强，用于提升模型对高速运动场景中识别病害的准确性；使用Mosaic增强，用于丰富检测物的背景，在BN计算时一次性计算多张图的数据，提升模型学习效率。
9.根据权利要求7所述的公路路面自动化快速检测系统，其特征在于：模型训练过程包括（1）建立目标检测模型：
选取基于深度学习的目标检测算法模型，采用骨干特征提取网络CSPdarknet，检测头为三个步长分别为8、16、32的卷积组合；
调参为模型depth、width的缩放系数、anchors尺寸、学习率、loss平衡参数及数据增强相应参数，训练中采用三折较差验证，预测时将三个模型融合进行前向推理，并综合三模型的预选框进行NMS获得最终结果；
（2）建立分类判别模型
选用densenet169模型，网络中所有层两两连接，每一层都接受它前面所有层的特征作为输入，提取并保留路面病害这类细微的特征；训练时主要调参为loss平衡参数、学习率、数据增强相应参数。
10.根据权利要求7所述的公路路面自动化快速检测系统，其特征在于：应用部署阶段，后台辅助模块主要由flask框架实现，结合opencv方法库，实现请求接收、格式分析、图像base64编码解析、图像尺寸变换、图像归一化处理等功能；
算法模型部署主要基于torch及onnx框架实现，目标检测模型通过输入归一化图像进行前向推理，有主干网络提取特征，检测头回归得到选框定位信息及选框分类信息，作为预选框，再通过NMS模块依据选框置信度、IOU进行选框筛选；
分类判别模型通过选框进行抠图，并输入模型进行分析，生成分类特征向量，得到选框细化分类的结果，作为最终选框的输出结果；最终后台辅助模块根据原图及模型生成的选框结果，进行图像渲染、生成结果表单、完成结果反馈。
CN202211541287.XA 2022-12-02 2022-12-02 一种公路路面状况数据采集设备及其自动化快速检测系统 Active CN116087198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211541287.XA CN116087198B (zh) 2022-12-02 2022-12-02 一种公路路面状况数据采集设备及其自动化快速检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211541287.XA CN116087198B (zh) 2022-12-02 2022-12-02 一种公路路面状况数据采集设备及其自动化快速检测系统

Publications (2)

Publication Number Publication Date
CN116087198A true CN116087198A (zh) 2023-05-09
CN116087198B CN116087198B (zh) 2024-02-23

Family

ID=86209223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211541287.XA Active CN116087198B (zh) 2022-12-02 2022-12-02 一种公路路面状况数据采集设备及其自动化快速检测系统

Country Status (1)

Country Link
CN (1) CN116087198B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758507A (zh) * 2023-07-03 2023-09-15 中铁建设集团有限公司 基于病害图像采集、分割的道面质量分析方法、装置及程序
CN118334628A (zh) * 2024-06-13 2024-07-12 北京华录高诚科技有限公司 一种基于北斗定位的公路养护智能病害识别系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870456A (zh) * 2019-02-01 2019-06-11 上海智能交通有限公司 一种路面健康状况快速检测系统及方法
CN112184625A (zh) * 2020-09-01 2021-01-05 燊赛(上海)智能科技有限公司 一种基于视频深度学习的路面缺陷识别方法和系统
CN113256601A (zh) * 2021-06-10 2021-08-13 北方民族大学 路面病害检测方法及系统
CN113449806A (zh) * 2021-07-12 2021-09-28 苏州大学 基于层次结构的二阶段林业害虫识别与检测系统及方法
US20210319561A1 (en) * 2020-11-02 2021-10-14 BeSTDR Infrastructure Hospital(Pingyu) Image segmentation method and system for pavement disease based on deep learning
CN114359695A (zh) * 2021-12-31 2022-04-15 三峡大学 基于不确定性估计的绝缘子破损识别方法
CN115201218A (zh) * 2022-07-13 2022-10-18 鲁朗软件(北京)有限公司 一种车载路面病害智能检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870456A (zh) * 2019-02-01 2019-06-11 上海智能交通有限公司 一种路面健康状况快速检测系统及方法
CN112184625A (zh) * 2020-09-01 2021-01-05 燊赛(上海)智能科技有限公司 一种基于视频深度学习的路面缺陷识别方法和系统
US20210319561A1 (en) * 2020-11-02 2021-10-14 BeSTDR Infrastructure Hospital(Pingyu) Image segmentation method and system for pavement disease based on deep learning
CN113256601A (zh) * 2021-06-10 2021-08-13 北方民族大学 路面病害检测方法及系统
CN113449806A (zh) * 2021-07-12 2021-09-28 苏州大学 基于层次结构的二阶段林业害虫识别与检测系统及方法
CN114359695A (zh) * 2021-12-31 2022-04-15 三峡大学 基于不确定性估计的绝缘子破损识别方法
CN115201218A (zh) * 2022-07-13 2022-10-18 鲁朗软件(北京)有限公司 一种车载路面病害智能检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758507A (zh) * 2023-07-03 2023-09-15 中铁建设集团有限公司 基于病害图像采集、分割的道面质量分析方法、装置及程序
CN116758507B (zh) * 2023-07-03 2023-12-19 中铁建设集团有限公司 基于病害图像采集、分割的道面质量分析方法、装置及程序
CN118334628A (zh) * 2024-06-13 2024-07-12 北京华录高诚科技有限公司 一种基于北斗定位的公路养护智能病害识别系统

Also Published As

Publication number Publication date
CN116087198B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN116087198B (zh) 一种公路路面状况数据采集设备及其自动化快速检测系统
CN109870456B (zh) 一种路面健康状况快速检测系统及方法
CN109716108B (zh) 一种基于双目图像分析的沥青路面病害检测系统
Lei et al. Automated pavement distress detection and deterioration analysis using street view map
CN103778681A (zh) 一种车载高速公路巡检系统及数据获取和处理方法
CN106296814B (zh) 公路养护检测与可视化交互方法和系统
Luo et al. Semantic Riverscapes: Perception and evaluation of linear landscapes from oblique imagery using computer vision
CN112800913A (zh) 一种基于多源特征融合的路面损伤数据时空分析方法
CN110503070A (zh) 基于航拍图像目标检测处理技术的交通自动化监测方法
CN110533768B (zh) 一种仿真交通场景生成方法及系统
CN112819066A (zh) 一种Res-UNet单木树种分类技术
CN102901444A (zh) 一种基于mp小波滤波的零件尺寸检测方法及其检测系统
CN110021167A (zh) 一种高速公路云巡查系统及数据处理方法
CN112730326A (zh) 一种岩石薄片智能鉴定装置及方法
CN117351162A (zh) 一种基于数字孪生的实景三维规划设计方法
Zhang et al. Research on Baidu street view road crack information extraction based on deep learning method
CN113326865A (zh) 一种基于深度学习的高速公路路面病害三维信息检测系统
CN207198847U (zh) 一种基于图像对比识别的建筑信息导览的系统
CN103063674A (zh) 一种铜块的铜品位检测方法及其检测系统
CN112256815A (zh) 一种三维规划辅助审批系统及方法
CN112446343B (zh) 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法
CN113420109B (zh) 一种街道界面渗透率的测量方法、计算机及存储介质
CN112712098B (zh) 图像数据处理方法及装置
CN207073706U (zh) 基于地理信息系统的供水管线听漏仪和网络诊断云平台
CN109345511A (zh) 一种高速公路无人机自检系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant