[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118334628A - 一种基于北斗定位的公路养护智能病害识别系统 - Google Patents

一种基于北斗定位的公路养护智能病害识别系统 Download PDF

Info

Publication number
CN118334628A
CN118334628A CN202410758762.1A CN202410758762A CN118334628A CN 118334628 A CN118334628 A CN 118334628A CN 202410758762 A CN202410758762 A CN 202410758762A CN 118334628 A CN118334628 A CN 118334628A
Authority
CN
China
Prior art keywords
pavement
beidou
receiver
road surface
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410758762.1A
Other languages
English (en)
Other versions
CN118334628B (zh
Inventor
张亚军
安亚俊
胡青波
常书金
刘生龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hualu Gaocheng Technology Co ltd
Original Assignee
Beijing Hualu Gaocheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hualu Gaocheng Technology Co ltd filed Critical Beijing Hualu Gaocheng Technology Co ltd
Priority to CN202410758762.1A priority Critical patent/CN118334628B/zh
Publication of CN118334628A publication Critical patent/CN118334628A/zh
Application granted granted Critical
Publication of CN118334628B publication Critical patent/CN118334628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/07—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing data for correcting measured positioning data, e.g. DGPS [differential GPS] or ionosphere corrections
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于北斗定位的公路养护智能病害识别系统，具体涉及公路养护领域，利用北斗高精度位置服务、精准授时技术校准时频以及AGV定位算法实时动态载波相位差分技术实现高精度的车道级定位，提升养护系统的时间标准化和实现对路面情况的实时监测与分析，选择特征提取器建立路面识别单个特征提取网络，构建Track R‑CNN算法，实现路面病害和设施的联合识别，提高路面识别网络的多功能性，构建全卷积网络输入路面图像数据的表观特征并映射到像素级别的分类结果，实现对路面图像数据的细粒度分割和定位，融合不同维度信息，创建存储路面病害数据特征的本地表，将多层神经网络合并成为一个单一层的神经网络，有助于进一步提升路面识别和病害检测的效果。

Description

一种基于北斗定位的公路养护智能病害识别系统
技术领域
本发明涉及公路养护领域，更具体地说，本发明涉及一种基于北斗定位的公路养护智能病害识别系统。
背景技术
随着我国社会经济的快速发展，为了保障公路的安全和畅通，我国加大了对公路养护的投入力度，推动了公路设施的不断完善和提升。随着科技的不断发展和应用，我国公路养护领域也面临着转型升级的重要时期。
传统的公路路面病害监测方式以人工巡检为主、自动化监测检测为辅，人工巡检方式效率低下，无法及时全面地掌握公路设施的状态，导致安全预警不及时，安全隐患高发，养护人员主观判断路面病害的方式容易出现误判和遗漏，缺乏科学准确的识别，制约了公路养护工作的进步，养护人员投入过大，增加公路养护的资金投入。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于北斗定位的公路养护智能病害识别系统，以解决上述背景技术中提出的问题。
本发明解决上述技术问题的技术方案如下：包括车道级精准定位模块、多目标联合识别模块精细边界提取模块以及跟踪去重边缘模块；
车道级精准定位模块：利用北斗高精度位置服务、精准授时技术校准时频以及AGV定位算法实时动态载波相位差分技术实现高精度的车道级定位；
多目标联合识别模块：选择特征提取器建立路面识别单个特征提取网络，构建Track R-CNN算法，实现路面病害和设施的联合识别；
精细边界提取模块：构建全卷积网络输入路面图像数据的表观特征并映射到像素级别的分类结果；
跟踪去重边缘模块：融合不同维度信息，创建存储路面病害数据特征的本地表，将多层神经网络合并成为一个单一层的神经网络；
在一个优选地实施方式中，所述车道级精准定位模块利用北斗高精度位置服务、精准授时技术校准时频以及AGV定位算法实时动态载波相位差分技术实现高精度的车道级定位。
进一步地，通过接收机天线接收北斗卫星向地面发射的无线电信号，结合多普勒频移技术、信号延迟测量以及角度观测实时获取接收机的位置信息并通过无线电信号传输至养护系统。
进一步地，通过北斗卫星发射的无线电信号频率与接收机接收的无线电信号频率之间差异测量因接收机与北斗卫星的相对运动引起的频率变化并推断接收机与北斗卫星之间的相对速度，其具体公式为：
其中，表示多普勒频移，表示接收机与北斗卫星之间的相对速度，表示北斗卫星发射的无线电信号频率，表示光速。
进一步地，利用接收机记录每个北斗卫星的接收时间戳信息，通过北斗卫星向地面发射的无线电信号的时间戳信息和接收时间戳信息获取信号延迟差异，并转换接收机与北斗卫星之间的距离，其具体转换公式为：
其中，表示接收机与北斗卫星之间的距离，表示无线电信号的传播速度，表示接收时间戳信息，表示北斗卫星向地面发射的无线电信号的时间戳信息。
进一步地，利用接收机天线通过北斗卫星向地面发射的无线电信号的位置信息获取北斗卫星仰角以及方位角，将两颗北斗卫星和接收机构成三角形并通过接收机与北斗卫星之间的距离进行接收机位置的毫米级定位。
进一步地，通过北斗卫星生成标准时频信号并利用北斗卫星进行实时传输至养护系统，通过时频调整养护系统的内部时钟并校准生成本地的时间信号。
进一步地，通过AGV搭载摄像头实时采集路面图像数据，利用边缘检测对路面图像数据进行路面检测与分割并提取角点、线段特征，通过针孔相机模型将提取的角点、线段特征进行平面投影变换，应用AGV定位算法获取AGV搭载摄像头定位在路面上的位置和姿态。
在一个优选地实施方式中，所述多目标联合识别模块标注路面图像数据的路面区域和病害目标，选择特征提取器建立路面识别单个特征提取网络，并在网络输出头部额外添加一个重识别分支，利用重识别损失函数通过路面图像数据的表观特征对路面识别单个特征提取网络进行训练，通过锚点、正样本以及负样本三个部分定义重识别损失函数，利用随机梯度下降最小化重识别损失函数。
进一步地，构建Track R-CNN算法在路面识别网络的基础上，并在路面识别网络的输出部分添加额外的分支，实现对路面识别网络结构进行修改并同时输出目标检测框和重识别特征，通过权衡目标检测的准确性和重识别的特征相似度定义损失函数。
在一个优选地实施方式中，所述精细边界提取模块构建全卷积网络输入路面图像数据的表观特征并映射到像素级别的分类结果，在全卷积网络的顶部添加额外的卷积层，并替换为全卷积层，将最后一个卷积层替换为反卷积层，对最后一个卷积层的表观特征图进行上采样，并对每个像素产生预测，并保留输入原始路面图像数据中的空间信息，通过上采样的表观特征图进行逐像素分类并计算表观特征最大值，其具体计算公式为：
其中表示表观特征最大值，表示表观特征的维度，表示表观特征中的第i个元素，输出路面图像数据的区域范围、面积大小以及位置信息。
在一个优选地实施方式中，所述跟踪去重边缘模块有效融合不同维度信息实现多目标的实时跟踪，赋予路面检测目标全局唯一ID，通过基于神经网络推理的FasterTransformer加速引擎对路面养护智能病害识别过程进行加速识别算法推理。
进一步地，将路面图像数据写入本地表并查询分布式表获取路面病害数据，利用Replacing Merge Tree引擎创建存储路面病害数据特征的本地表，通过Kafka的主题、分区以及偏移量作为路面图像数据的唯一键，并将唯一键相同的路面图像数据写到ck的同一节点，利用日期和小时的时间格式分区路面病害数据的本地表。
进一步地，匹配合并多层神经网络的通道数、卷积核大小以及步长，利用层融合将多层神经网络合并成为一个单一层的神经网络，建立内存存储结构的数据缓存区，在路面病害识别过程中对每个输入路面图像数据进行识别计算并将识别结果存储至数据缓存区中，并对存储进行查询，基于最近访问数据缓存区的时间进行淘汰和更新操作，通过内部总线进行表观特征在系统内部通信，并设置多个接收模型进行独立并行计算，利用加权平均融合多个接收模型接收的识别结果进行结果汇总。
在一个优选地实施方式中，具体包括以下步骤：
S101.结合多普勒频移技术、信号延迟测量以及角度观测实时获取接收机的位置信息并通过无线电信号传输至养护系统，通过北斗卫星生成标准时频信号，应用AGV定位算法获取AGV搭载摄像头定位在路面上的位置和姿态；
S102.标注路面图像数据的路面区域和病害目标，选择特征提取器建立路面识别单个特征提取网络，利用重识别损失函数通过路面图像数据的表观特征对路面识别单个特征提取网络进行训练，构建Track R-CNN算法并在路面识别网络的输出部分添加额外的分支，实现对路面识别网络结构进行修改并同时输出目标检测框和重识别特征；
S103.构建全卷积网络输入路面图像数据的表观特征并映射到像素级别的分类结果，逐像素分类并计算表观特征最大值；
S104.融合不同维度信息实现多目标的实时跟踪，对路面养护智能病害识别过程进行加速识别算法推理，利用Replacing Merge Tree引擎创建存储路面病害数据特征的本地表，将多层神经网络合并成为一个单一层的神经网络；
本发明的有益效果是：利用北斗高精度位置服务、精准授时技术、AGV定位算法等技术实现高精度的车道级定位系统，利用北斗卫星的信号进行时频校准，确保系统内部时钟的准确性，提供统一的时间标准用于各项操作，通过AGV搭载摄像头采集路面图像数据实现对路面的实时监测和分析，进一步提高车辆在路面上的定位精度和姿态识别能力，提升养护系统的时间标准化和实现对路面情况的实时监测与分析，通过定义锚点、正样本和负样本来最小化重识别损失函数，提高路面识别的准确性和表观特征的提取效果，通过权衡目标检测的准确性和重识别特征的相似度定义损失函数，提高路面识别网络的多功能性，同时实现目标检测和表观特征提取的结合，提高路面识别的准确性和全面性，提高病害目标的检测效果，进一步提升路面识别网络的性能和应用范围，有助于改善道路维护和交通管理的效率和质量，提高路面图像数据的分类精度和位置信息的获取准确性，实现对路面图像数据的细粒度分割和定位，有助于进一步提升路面识别和病害检测的效果。
附图说明
图1为本发明方法流程图；
图2为本发明系统结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
实施例1
本实施例提供了如图1所示一种基于北斗定位的公路养护智能病害识别系统，具体包括以下步骤：
S101.结合多普勒频移技术、信号延迟测量以及角度观测实时获取接收机的位置信息并通过无线电信号传输至养护系统，通过北斗卫星生成标准时频信号，应用AGV定位算法获取AGV搭载摄像头定位在路面上的位置和姿态；
S102.标注路面图像数据的路面区域和病害目标，选择特征提取器建立路面识别单个特征提取网络，利用重识别损失函数通过路面图像数据的表观特征对路面识别单个特征提取网络进行训练，构建Track R-CNN算法并在路面识别网络的输出部分添加额外的分支，实现对路面识别网络结构进行修改并同时输出目标检测框和重识别特征；
S103.构建全卷积网络输入路面图像数据的表观特征并映射到像素级别的分类结果，逐像素分类并计算表观特征最大值；
S104.融合不同维度信息实现多目标的实时跟踪，对路面养护智能病害识别过程进行加速识别算法推理，利用Replacing Merge Tree引擎创建存储路面病害数据特征的本地表，将多层神经网络合并成为一个单一层的神经网络。
实施例2
本实施例提供了如图2所示一种基于北斗定位的公路养护智能病害识别系统，具体包括：包括车道级精准定位模块、多目标联合识别模块精细边界提取模块以及跟踪去重边缘模块；
车道级精准定位模块：利用北斗高精度位置服务、精准授时技术校准时频以及AGV定位算法实时动态载波相位差分技术实现高精度的车道级定位；
多目标联合识别模块：选择特征提取器建立路面识别单个特征提取网络，构建Track R-CNN算法，实现路面病害和设施的联合识别；
精细边界提取模块：构建全卷积网络输入路面图像数据的表观特征并映射到像素级别的分类结果；
跟踪去重边缘模块：融合不同维度信息，创建存储路面病害数据特征的本地表，将多层神经网络合并成为一个单一层的神经网络；
S101.结合多普勒频移技术、信号延迟测量以及角度观测实时获取接收机的位置信息并通过无线电信号传输至养护系统，通过北斗卫星生成标准时频信号，应用AGV定位算法获取AGV搭载摄像头定位在路面上的位置和姿态；
进一步地，利用北斗高精度位置服务、精准授时技术校准时频以及AGV定位算法实时动态载波相位差分技术实现高精度的车道级定位。
进一步地，通过接收机天线接收北斗卫星向地面发射的无线电信号，包括北斗卫星的位置信息和时间戳信息，结合多普勒频移技术、信号延迟测量以及角度观测实时获取接收机的位置信息并通过无线电信号传输至养护系统。
进一步地，通过北斗卫星发射的无线电信号频率与接收机接收的无线电信号频率之间差异测量因接收机与北斗卫星的相对运动引起的频率变化并推断接收机与北斗卫星之间的相对速度，其具体公式为：
其中，表示多普勒频移，即北斗卫星发射的无线电信号频率与接收机接收的无线电信号频率之间差异，表示接收机与北斗卫星之间的相对速度，表示北斗卫星发射的无线电信号频率，表示光速，当相对速度为正值，表示接收机朝着北斗卫星运动，接收机接收的无线电信号频率高于北斗卫星发射的无线电信号频率，当当相对速度为负值，接收机远离北斗卫星运动，接收机接收的无线电信号频率低于北斗卫星发射的无线电信号频率。
进一步地，利用接收机记录每个北斗卫星的接收时间戳信息，通过北斗卫星向地面发射的无线电信号的时间戳信息和接收时间戳信息获取信号延迟差异，并转换接收机与北斗卫星之间的距离，其具体转换公式为：
其中，表示接收机与北斗卫星之间的距离，表示无线电信号的传播速度，表示接收时间戳信息，表示北斗卫星向地面发射的无线电信号的时间戳信息。
进一步地，利用接收机天线通过北斗卫星向地面发射的无线电信号的位置信息获取北斗卫星仰角以及方位角，将两颗北斗卫星和接收机构成三角形并通过接收机与北斗卫星之间的距离进行接收机位置的毫米级定位。
进一步地，通过北斗卫星生成标准时频信号并利用北斗卫星进行实时传输至养护系统，通过时频调整养护系统的内部时钟并校准生成本地的时间信号，用于养护系统内部的各种时间、记录和通信都基于统一的时间标准。
进一步地，通过AGV搭载摄像头实时采集路面图像数据，利用边缘检测对路面图像数据进行路面检测与分割并提取角点、线段特征，用于在背景图像中分割路面，通过针孔相机模型将提取的角点、线段特征进行平面投影变换，应用AGV定位算法获取AGV搭载摄像头定位在路面上的位置和姿态。
S102.标注路面图像数据的路面区域和病害目标，选择特征提取器建立路面识别单个特征提取网络，利用重识别损失函数通过路面图像数据的表观特征对路面识别单个特征提取网络进行训练，构建Track R-CNN算法并在路面识别网络的输出部分添加额外的分支，实现对路面识别网络结构进行修改并同时输出目标检测框和重识别特征；
进一步地，标注路面图像数据的路面区域和病害目标，选择特征提取器建立路面识别单个特征提取网络，其中包括用于单个特征提取的主干网络、用于路面识别的分类头部以及网络输出头部，并在网络输出头部额外添加一个重识别分支，用于提取路面图像数据的表观特征，包括路面纹理特征、病害纹理特征、病害形状特征以及路面阴影特征，利用重识别损失函数通过路面图像数据的表观特征对路面识别单个特征提取网络进行训练，通过锚点、正样本以及负样本三个部分定义重识别损失函数，其中对于每个锚点特征，选择具有相同身份的一个正样本特征和一个不同身份的一个负样本特征，利用随机梯度下降最小化重识别损失函数。
进一步地，构建Track R-CNN算法在路面识别网络的基础上，并在路面识别网络的输出部分添加额外的分支，实现对路面识别网络结构进行修改并同时输出目标检测框和重识别特征，所述额外的分支包括目标检测分支以及重识别特征分支，通过权衡目标检测的准确性和重识别的特征相似度定义损失函数。
S103.构建全卷积网络输入路面图像数据的表观特征并映射到像素级别的分类结果，逐像素分类并计算表观特征最大值；
进一步地，构建全卷积网络输入路面图像数据的表观特征并映射到像素级别的分类结果，在全卷积网络的顶部添加额外的卷积层，用于将高维表观特征映射到相同空间分辨率的表观特征图，并替换为全卷积层，用于将具有固定尺寸输出的卷积层替换为具有与输入路面图像数据相同尺寸的输出，将最后一个卷积层替换为反卷积层，对最后一个卷积层的表观特征图进行上采样，用于将表观特征图的尺寸上采样到与输入路面图像数据相同的尺寸，恢复像素级别的分类结果，并对每个像素产生预测，并保留输入原始路面图像数据中的空间信息，通过上采样的表观特征图进行逐像素分类并计算表观特征最大值，其具体计算公式为：
其中表示表观特征最大值，表示表观特征的维度，表示表观特征中的第i个元素，该表观特征最大值相当于每个像素对应一个路面图像数据的样本，输出路面图像数据的区域范围、面积大小以及位置信息。
S104.融合不同维度信息实现多目标的实时跟踪，对路面养护智能病害识别过程进行加速识别算法推理，利用Replacing Merge Tree引擎创建存储路面病害数据特征的本地表，将多层神经网络合并成为一个单一层的神经网络；
进一步地，有效融合不同维度信息实现多目标的实时跟踪，赋予路面检测目标全局唯一ID，通过基于神经网络推理的FasterTransformer加速引擎对路面养护智能病害识别过程进行加速识别算法推理。
进一步地，将路面图像数据写入本地表并查询分布式表获取路面病害数据，利用Replacing Merge Tree引擎创建存储路面病害数据特征的本地表，通过Kafka的主题、分区以及偏移量作为路面图像数据的唯一键，并将唯一键相同的路面图像数据写到ck的同一节点，利用日期和小时的时间格式分区路面病害数据的本地表。
进一步地，匹配合并多层神经网络的通道数、卷积核大小以及步长，利用层融合将多层神经网络合并成为一个单一层的神经网络，用于通过减少数据传输并增加计算密度加速推理计算，建立内存存储结构的数据缓存区，在路面病害识别过程中对每个输入路面图像数据进行识别计算并将识别结果存储至数据缓存区中，并对存储进行查询，当数据缓存区存在该识别结果，则直接调取，当数据缓存区不存在该识别结果，则进行识别计算以及存储步骤，基于最近访问数据缓存区的时间进行淘汰和更新操作，通过内部总线进行表观特征在系统内部通信，并设置多个接收模型进行独立并行计算，用于加速整个识别过程，提高并行计算的效率，利用加权平均融合多个接收模型接收的识别结果进行结果汇总。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (8)

1.一种基于北斗定位的公路养护智能病害识别系统，其特征在于，具体包括：包括车道级精准定位模块、多目标联合识别模块精细边界提取模块以及跟踪去重边缘模块；
车道级精准定位模块：利用北斗高精度位置服务、精准授时技术校准时频以及AGV定位算法实时动态载波相位差分技术实现高精度的车道级定位；
多目标联合识别模块：选择特征提取器建立路面识别单个特征提取网络，构建TrackR-CNN算法，实现路面病害和设施的联合识别；
精细边界提取模块：构建全卷积网络输入路面图像数据的表观特征并映射到像素级别的分类结果；
跟踪去重边缘模块：融合不同维度信息，创建存储路面病害数据特征的本地表，将多层神经网络合并成为一个单一层的神经网络。
2.根据权利要求1所述的一种基于北斗定位的公路养护智能病害识别系统，其特征在于：所述车道级精准定位模块通过接收机天线接收北斗卫星向地面发射的无线电信号，结合多普勒频移技术、信号延迟测量以及角度观测实时获取接收机的位置信息并通过无线电信号传输至养护系统，应用AGV定位算法获取AGV搭载摄像头定位在路面上的位置和姿态。
3.根据权利要求2所述的一种基于北斗定位的公路养护智能病害识别系统，其特征在于：所述多普勒频移技术通过北斗卫星发射的无线电信号频率与接收机接收的无线电信号频率之间差异测量因接收机与北斗卫星的相对运动引起的频率变化并推断接收机与北斗卫星之间的相对速度，所述信号延迟测量通过北斗卫星向地面发射的无线电信号的时间戳信息和接收时间戳信息获取信号延迟差异，并转换接收机与北斗卫星之间的距离，所述角度观测利用接收机天线通过北斗卫星向地面发射的无线电信号的位置信息获取北斗卫星仰角以及方位角，将两颗北斗卫星和接收机构成三角形并通过接收机与北斗卫星之间的距离进行接收机位置的毫米级定位。
4.根据权利要求3所述的一种基于北斗定位的公路养护智能病害识别系统，其特征在于：所述推断接收机与北斗卫星之间的相对速度具体公式为：
其中，表示多普勒频移，表示接收机与北斗卫星之间的相对速度，表示北斗卫星发射的无线电信号频率，表示光速，所述接收机与北斗卫星之间的距离具体转换公式为：
其中，表示接收机与北斗卫星之间的距离，表示无线电信号的传播速度，表示接收时间戳信息，表示北斗卫星向地面发射的无线电信号的时间戳信息。
5.根据权利要求1所述的一种基于北斗定位的公路养护智能病害识别系统，其特征在于：所述多目标联合识别模块标注路面图像数据的路面区域和病害目标，选择特征提取器建立路面识别单个特征提取网络，并在网络输出头部额外添加一个重识别分支，利用重识别损失函数通过路面图像数据的表观特征对路面识别单个特征提取网络进行训练，构建Track R-CNN算法在路面识别网络的基础上，并在路面识别网络的输出部分添加额外的分支，通过权衡目标检测的准确性和重识别的特征相似度定义损失函数。
6.根据权利要求1所述的一种基于北斗定位的公路养护智能病害识别系统，其特征在于：所述精细边界提取模块构建全卷积网络输入路面图像数据的表观特征并映射到像素级别的分类结果，在全卷积网络的顶部添加额外的卷积层，并替换为全卷积层，将最后一个卷积层替换为反卷积层，对最后一个卷积层的表观特征图进行上采样，并对每个像素产生预测，并保留输入原始路面图像数据中的空间信息，通过上采样的表观特征图进行逐像素分类并计算表观特征最大值。
7.根据权利要求6所述的一种基于北斗定位的公路养护智能病害识别系统，其特征在于：所述计算表观特征最大值具体公式为：
其中表示表观特征最大值，表示表观特征的维度，表示表观特征中的第i个元素，输出路面图像数据的区域范围、面积大小以及位置信息。
8.根据权利要求1所述的一种基于北斗定位的公路养护智能病害识别系统，其特征在于：所述跟踪去重边缘模块有效融合不同维度信息，通过基于神经网络推理的FasterTransformer加速引擎对路面养护智能病害识别过程进行加速识别算法推理，利用Replacing Merge Tree引擎创建存储路面病害数据特征的本地表，通过Kafka的主题、分区以及偏移量作为路面图像数据的唯一键，并将唯一键相同的路面图像数据写到ck的同一节点，匹配合并多层神经网络的通道数、卷积核大小以及步长，利用层融合将多层神经网络合并成为一个单一层的神经网络，建立内存存储结构的数据缓存区，基于最近访问数据缓存区的时间进行淘汰和更新操作，并设置多个接收模型进行独立并行计算，利用加权平均融合多个接收模型接收的识别结果进行结果汇总。
CN202410758762.1A 2024-06-13 2024-06-13 一种基于北斗定位的公路养护智能病害识别系统 Active CN118334628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410758762.1A CN118334628B (zh) 2024-06-13 2024-06-13 一种基于北斗定位的公路养护智能病害识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410758762.1A CN118334628B (zh) 2024-06-13 2024-06-13 一种基于北斗定位的公路养护智能病害识别系统

Publications (2)

Publication Number Publication Date
CN118334628A true CN118334628A (zh) 2024-07-12
CN118334628B CN118334628B (zh) 2024-09-17

Family

ID=91782967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410758762.1A Active CN118334628B (zh) 2024-06-13 2024-06-13 一种基于北斗定位的公路养护智能病害识别系统

Country Status (1)

Country Link
CN (1) CN118334628B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829451A (zh) * 2019-03-22 2019-05-31 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
US20200031367A1 (en) * 2018-07-27 2020-01-30 Beihang University Beidou-based grid augmentation autonomous driving multi-level warning system
WO2021237804A1 (zh) * 2020-05-29 2021-12-02 湖南联智科技股份有限公司 基于北斗高精度定位的基础设施结构变形监测方法
CN114627151A (zh) * 2021-09-23 2022-06-14 北京理工大学 一种无人机集群对空中目标运动状态跟踪方法
CN116087198A (zh) * 2022-12-02 2023-05-09 河南交通发展研究院有限公司 一种公路路面状况数据采集设备及其自动化快速检测系统
CN117315530A (zh) * 2023-09-19 2023-12-29 天津大学 基于多帧信息的实例匹配方法
WO2024007365A1 (zh) * 2022-07-08 2024-01-11 自然资源部第一海洋研究所 一种基于北斗/gnss的实时高精度海表测量方法及浮标
CN117522369A (zh) * 2023-09-11 2024-02-06 中国交通通信信息中心 基于北斗遥感技术融合的智能路面巡检方法及系统
WO2024051470A1 (zh) * 2022-09-06 2024-03-14 中电信数智科技有限公司 一种基于6g空中基站结合北斗卫星定位的优化方法
WO2024098877A1 (zh) * 2022-11-09 2024-05-16 中电信数智科技有限公司 一种北斗导航结合空中基站的拓扑绘制方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200031367A1 (en) * 2018-07-27 2020-01-30 Beihang University Beidou-based grid augmentation autonomous driving multi-level warning system
CN109829451A (zh) * 2019-03-22 2019-05-31 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
US20200302162A1 (en) * 2019-03-22 2020-09-24 Boe Technology Group Co., Ltd. Method and apparatus for recognizing an organism action, server, and storage medium
WO2021237804A1 (zh) * 2020-05-29 2021-12-02 湖南联智科技股份有限公司 基于北斗高精度定位的基础设施结构变形监测方法
CN114627151A (zh) * 2021-09-23 2022-06-14 北京理工大学 一种无人机集群对空中目标运动状态跟踪方法
WO2024007365A1 (zh) * 2022-07-08 2024-01-11 自然资源部第一海洋研究所 一种基于北斗/gnss的实时高精度海表测量方法及浮标
WO2024051470A1 (zh) * 2022-09-06 2024-03-14 中电信数智科技有限公司 一种基于6g空中基站结合北斗卫星定位的优化方法
WO2024098877A1 (zh) * 2022-11-09 2024-05-16 中电信数智科技有限公司 一种北斗导航结合空中基站的拓扑绘制方法及系统
CN116087198A (zh) * 2022-12-02 2023-05-09 河南交通发展研究院有限公司 一种公路路面状况数据采集设备及其自动化快速检测系统
CN117522369A (zh) * 2023-09-11 2024-02-06 中国交通通信信息中心 基于北斗遥感技术融合的智能路面巡检方法及系统
CN117315530A (zh) * 2023-09-19 2023-12-29 天津大学 基于多帧信息的实例匹配方法

Also Published As

Publication number Publication date
CN118334628B (zh) 2024-09-17

Similar Documents

Publication Publication Date Title
EP3505869B1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
US11255973B2 (en) Method and apparatus for extracting lane line and computer readable storage medium
US11176701B2 (en) Position estimation system and position estimation method
CN110073362A (zh) 用于车道标记检测的系统及方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN103927873A (zh) 浮动车与路段匹配方法及并行获取实时路况的方法
JP2020153956A (ja) 移動体位置推定システムおよび移動体位置推定方法
CN114565674B (zh) 自动驾驶车辆城市结构化场景纯视觉定位方法及装置
CN105957106A (zh) 三维目标跟踪的方法和装置
US20220234588A1 (en) Data Recording for Advanced Driving Assistance System Testing and Validation
CN114280611A (zh) 一种融合毫米波雷达与摄像头的路侧感知方法
CN110927765B (zh) 激光雷达与卫星导航融合的目标在线定位方法
CN116817891A (zh) 一种实时多模态感知的高精地图构建方法
JP6828448B2 (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
JP2022039188A (ja) 位置姿勢算出方法および位置姿勢算出プログラム
CN115728803A (zh) 一种城市驾驶车辆连续定位系统及方法
CN118334628B (zh) 一种基于北斗定位的公路养护智能病害识别系统
CN113838129A (zh) 一种获得位姿信息的方法、装置以及系统
CN113865581A (zh) 基于多层级地图的封闭场景定位方法
CN118172385A (zh) 一种在复杂交叉口交通参与者的无人机航拍视频轨迹数据提取方法
CN116664970A (zh) 一种基于迁移学习的毫米波雷达稠密点云生成方法及系统
US20220113162A1 (en) Map data generation apparatus
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统
CN115468576A (zh) 一种基于多模态数据融合的自动驾驶定位方法及系统
CN115116029A (zh) 一种自动驾驶决策方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant