CN114373138A - 一种高速铁路全自动无人机巡检方法及系统 - Google Patents
一种高速铁路全自动无人机巡检方法及系统 Download PDFInfo
- Publication number
- CN114373138A CN114373138A CN202111627107.5A CN202111627107A CN114373138A CN 114373138 A CN114373138 A CN 114373138A CN 202111627107 A CN202111627107 A CN 202111627107A CN 114373138 A CN114373138 A CN 114373138A
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- uav
- data
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000007547 defect Effects 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000013135 deep learning Methods 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000012423 maintenance Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 238000009825 accumulation Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000010200 validation analysis Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 239000004744 fabric Substances 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 229910000831 Steel Inorganic materials 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 239000010959 steel Substances 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 10
- 238000012544 monitoring process Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000013480 data collection Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
- B61L27/50—Trackside diagnosis or maintenance, e.g. software upgrades
- B61L27/53—Trackside diagnosis or maintenance, e.g. software upgrades for trackside elements or systems, e.g. trackside supervision of trackside control system conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Analytical Chemistry (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种高速铁路全自动无人机巡检方法及系统。本申请通过用以沿铁路沿线按照预设轨迹飞行并从多个角度采集沿线设备设施及周边环境图片信息并储存的无人机，用于为无人机换装电池、载荷实现本地转储数据的移动地面基站，以及用于接收云端传输的无人机采集的图片信息并对图片信息进行分析、计算得出巡检结果的后端智能分析平台工作机，实现对预先规划的飞行线路进行巡检。本申请能够通过深度学习算法检测无人机所采集到的铁路图像，实现铁路设备设施部件缺陷及周边环境隐患的自动识别，提高检测效率。
Description
技术领域
本申请涉及高速铁路巡检设备领域，具体而言涉及一种高速铁路全自动无人机巡检方法及系统。
背景技术
由于列车运行中的激荡和振动，铁路沿线零部件容易损坏甚至丢失。目前，对铁路沿线设施进行检测的手段主要依赖于人工离线读取大量图像数据。然而，随着高速电气化铁路的大规模建设，人工目视检测照片数量巨大、检测效率低。目前检测车上所挂载的不同相机通常在夜间拍摄，其所获得的图像质量差并且存在遗漏的现象。
除铁路设施自身结构状态改变会影响高速列车运行外，铁路沿线周边环境地貌的改变对于铁路的安全运行也具有很大影响。由于铁路周边环境涉及范围广，面积大，监管难度大，存在较多违规房建、非法施工、杂物堆积等情况。现有技术由于巡检效率较低，无法及时发现上报铁路周边环境变化，常常会因铁路及周边异常状况而影响列车运行。
发明内容
本申请针对现有技术的不足，提供一种高速铁路全自动无人机巡检方法及系统，本申请通过无人机自动巡航拍摄铁路沿线图片，并将得到的图像输入到智能分析平台工作机中，实现铁路沿线基础设施及周边环境缺陷的自动检测，能够克服现有技术中通过人工巡检效率低频次少、巡检不全面的问题。本申请具体采用如下技术方案。
首先，为实现上述目的，提出一种高速铁路全自动无人机巡检方法，其步骤包括：第一步，通过链路系统接收无人机上传的工作状态及实时回传画面，在无人机首次在任务区域飞行时，接收无人机上激光雷达模块所获得的点云数据建立三维点云模型，规划无人机飞行线路，并配置无人机地面基站；第二步，实时监控无人机的工作状态和航行数据，在无人机到达任务区域后，触发无人机上图像采集模块按照预选设定的方式进行图像采集，并触发无人机将拍摄所得图像与拍摄实时地理位置信息一并保存并通过地面基站传输至工作机；第三步，工作机内部的深度学习网络模型对拍摄所得图像进行缺陷检测识别，将缺陷预警检测结果发送人工复检，并在接收到人工确认的缺陷部分由后上传缺陷问题及缺陷图像所对应的实时地理位置信息，通知运维人员并记录运维状态；上述巡检过程中，当检测到无人机电量低于电量阈值时，还触发无人机飞抵基站，与基站进行电池更换以及图像数据的转储。
可选的，如上任一所述的高速铁路全自动无人机巡检方法，其中，第一步中，接收无人机上激光雷达模块所获得的点云数据建立三维点云模型的具体步骤包括将激光雷达模块所获得的点云数据与无人机所采集的图像之间按照以下步骤进行融合：首先分别基于统计的离群点去除算法、基于最近距离的冗余点去除算法、基于布料模拟滤波地面点滤除算法对三维点云数据做预处理；然后基于随机采样、特征聚合与原型拟合对大尺度点云数据层进行语义分割；再通过空间位置匹配方法根据欧几里得距离进行点云聚类，获得与潜在异常对象点云对应的图像数据；最后通过基于迁移学习及数据增强的图像实例分割方法对图像数据进行处理，获得对潜在异常对象类别的准确判断：对于被点云数据判断为建筑的对象，进一步根据图像数据的识别结果计算其中彩钢板顶棚建筑和砖石房屋两类对象距铁路的距离；对于被点云数据识别为垃圾堆积的对象，进一步根据图像数据的识别结果计算其中垃圾堆积类对象的体积及及其距离铁路的距离。
可选的，如上任一所述的高速铁路全自动无人机巡检方法，其中，所述第三步中，工作机内部的深度学习网络模型包括：目标检测类网络模型YOLOv3、SSD、FasterRCNN、FPN；语义分割网络模型包括：YOLACT、Deeplabv3+；所述深度学习网络模型由以下训练步骤确认其参数：先对采集得到的铁路沿线设备设施及周边环境的图像进行图像预处理，包括对比度调整、图像去雾、减小光影影响，标注上述图像中的异常对象建立数据库；然后针对每次巡检得到的数据，将新采集得到的图像利用深度学习网络模型进行自动标注，然后人工检测标注信息，确认有问题的图像，计算图像标注问题所在位置，对数据库进行更新，输入验证集数据验证模型训练效果，并根据效果实时调整参数，忽略本次训练模型，利用上次得到的权重重新开始训练，直至达到最优化结果，记录权重用于新的图像检测。
可选的，如上任一所述的高速铁路全自动无人机巡检方法，其中，人工检测标注信息时还将本次新得到的数据进行图片旋转、图片缩放、图片分辨率调节、添加噪音的预处理，实现数据扩充；将扩充后的数据加入到训练验证数据库中，并同时对其中的缺陷进行人工标注，生成包含有图片名称、缺陷类别、缺陷坐标的数据。
可选的，如上任一所述的高速铁路全自动无人机巡检方法，其中，通过空间位置匹配方法根据欧几里得距离进行点云聚类，获得与潜在异常对象点云对应的图像数据的步骤包括：记参考点X在三维点云坐标系与图像像素坐标系下的位置分别为(XW,YW,ZW)与(Xf,Yf)，根据相机成像方式获得二者的转换方法为：
基于对应点坐标对激光雷达与可见光相机进行标定，确定点云与图像间的投影变换矩阵
根据激光雷达与可见光相机的投影变换矩阵M计算提取与潜在异常对象点云对应的图像数据；其中，[R T]是相机的外参矩阵，f是相机的焦距，
是相机的内参矩阵，(dx,dy)是图像中每个像素对应的真实物理坐标系下区域的物理尺寸，(Cx,Cy)是像平面与相机光轴相交的像素的坐标，该坐标通常以像平面左上角为原点，以像素为坐标单位。
同时，为实现上述目的，本申请还提供一种高速铁路全自动无人机巡检系统，其包括：无人机，其图像采集模块按照预选设定的方式进行图像采集，通过链路系统上传无人机工作状态及实时回传画面，所述无人机首次在任务区域飞行时还通过其上激光雷达模块获得的点云数据；工作机，其实时监控无人机的工作状态和航行数据，在无人机到达任务区域后，触发无人机将拍摄所得图像与拍摄实时地理位置信息一并保存并通过地面基站传输至工作机，所述工作机内部的深度学习网络模型对拍摄所得图像进行缺陷检测识别，将缺陷预警检测结果发送人工复检，并在接收到人工确认的缺陷部分后上传缺陷问题及缺陷图像所对应的实时地理位置信息，通知运维人员并记录运维状态；基站，其与无人机相匹配，接收无人机上传的工作状态及实时回传画面，将其转发至工作机，还用于更换无人机电池以及转储无人机图像数据。
可选的，如上任一所述的高速铁路全自动无人机巡检系统，其中，所述无人机激光雷达模块所获得的点云数据用于建立三维点云模型；建立三维点云模型过程中，将激光雷达模块所获得的点云数据与无人机所采集的图像之间按照以下步骤进行融合：首先分别基于统计的离群点去除算法、基于最近距离的冗余点去除算法、基于布料模拟滤波地面点滤除算法对三维点云数据做预处理；然后基于随机采样、特征聚合与原型拟合对大尺度点云数据层进行语义分割；再通过空间位置匹配方法根据欧几里得距离进行点云聚类，获得与潜在异常对象点云对应的图像数据；最后通过基于迁移学习及数据增强的图像实例分割方法对图像数据进行处理，获得对潜在异常对象类别的准确判断：对于被点云数据判断为建筑的对象，进一步根据图像数据的识别结果计算其中彩钢板顶棚建筑和砖石房屋两类对象距铁路的距离；对于被点云数据识别为垃圾堆积的对象，进一步根据图像数据的识别结果计算其中垃圾堆积类对象的体积及及其距离铁路的距离
可选的，如上任一所述的高速铁路全自动无人机巡检系统，其中，所述工作机中的深度学习网络模型包括：目标检测类网络模型YOLOv3、SSD、FasterRCNN、FPN；其中还包括语义分割网络模型，包括：YOLACT、Deeplabv3+；所述深度学习网络模型由以下训练步骤确认其参数：先对采集得到的铁路沿线设备设施及周边环境的图像进行图像预处理，包括对比度调整、图像去雾、减小光影影响，标注上述图像中的异常对象建立数据库；然后针对每次巡检得到的数据，将新采集得到的图像利用深度学习网络模型进行自动标注，然后人工检测标注信息，确认有问题的图像，计算图像标注问题所在位置，对数据库进行更新，输入验证集数据验证模型训练效果，并根据效果实时调整参数，忽略本次训练模型，利用上次得到的权重重新开始训练，直至达到最优化结果，记录权重用于新的图像检测。
可选的，如上任一所述的高速铁路全自动无人机巡检系统，其中，所述工作机还在人工检测标注信息时将本次新得到的数据进行图片旋转、图片缩放、图片分辨率调节、添加噪音的预处理，实现数据扩充；将扩充后的数据加入到训练验证数据库中，并同时对其中的缺陷进行人工标注，生成包含有图片名称、缺陷类别、缺陷坐标的数据。
可选的，如上任一所述的高速铁路全自动无人机巡检系统，其中，所述工作机通过空间位置匹配方法根据欧几里得距离进行点云聚类，获得与潜在异常对象点云对应的图像数据的步骤包括：记参考点X在三维点云坐标系与图像像素坐标系下的位置分别为(XW,YW,ZW)与(Xf,Yf)，根据相机成像方式获得二者的转换方法为：
基于对应点坐标对激光雷达与可见光相机进行标定，确定点云与图像间的投影变换矩阵
根据激光雷达与可见光相机的投影变换矩阵M计算提取与潜在异常对象点云对应的图像数据；其中，[R T]是相机的外参矩阵，f是相机的焦距，
是相机的内参矩阵，(dx,dy)是图像中每个像素对应的真实物理坐标系下区域的物理尺寸，(Cx,Cy)是像平面与相机光轴相交的像素的坐标，该坐标通常以像平面左上角为原点，以像素为坐标单位。
有益效果
本申请通过用以沿铁路沿线按照预设轨迹飞行并从多个角度采集沿线设备设施及周边环境图片信息并储存的无人机，用于为无人机换装电池、载荷实现本地转储数据的移动地面基站，以及用于接收云端传输的无人机采集的图片信息并对图片信息进行分析、计算得出巡检结果的后端智能分析平台工作机，实现对预先规划的飞行线路进行巡检。本申请能够通过深度学习算法检测无人机所采集到的铁路图像，实现铁路设备设施部件缺陷及周边环境隐患的自动识别，提高检测效率，克服现有技术中通过人工巡检效率低频次少、巡检不全面的问题。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。
附图说明
附图用来提供对本申请的进一步理解，并且构成说明书的一部分，并与本申请的实施例一起，用于解释本申请，并不构成对本申请的限制。在附图中：
图1是本发明高速铁路全自动无人机巡检系统的结构示意图；
图2是本发明系统对铁路设备设施及周边环境进行巡检的流程图；
图3是无人机拍摄铁路数据的示意图；
图4是本发明进行铁路设备设施及周边环境巡检的智能分析过程示意图。
具体实施方式
为使本申请实施例的目的和技术方案更加清楚，下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
本申请中所述的“上、下”的含义指的是使用者正对无人机飞行方向时，由轨道指向无人机的方向即为上，反之即为下，而非对本申请的装置机构的特定限定。
本申请通过无人机拍摄铁路沿线及周边环境的高清图像，并利用深度学习目标检测算法实现沿线设备设施缺陷及周边环境隐患的自动检测，对于提高铁路沿线设备设施运维管理及安全运行有着重要的意义。
图1为根据本申请的一种高速铁路全自动无人机巡检系统。该高速铁路全自动无人机巡检系统包括无人机、移动地面基站和终端的工作机。本申请利用改进的无人机和可移动安装的地面基站以及配置有图像智能分析算法的工作机，组成可自动完成高速铁路沿线基础设施和周边环境缺陷检测的系统。
工作机为一台优选搭载RTX 2080Ti显卡的高性能PC，主要包含监控模块、配置监控模块、数据转储模块和图像处理模块。监控模块主要包括无人机飞行线路规划程序，将指令直接传达至无人机飞控导航系统，无人机实时监控与操作系统，可实时回传执行飞行任务的无人机的视频画面，并可随时接管无人机的自动飞行，改为手动操作。监控模块的工作方式为：根据激光雷达数据进行飞行路线精准规划后，下达无人机自动飞行巡检任务，并实时监测无人机飞行状态。
配置监控模块在无人机首次对目标区域进行检测任务时，可直接利用地理坐标信息进行路线规划实现自动巡航，或通过监控系统实时接管无人机飞控系统，对无人机飞行进行远程操控，在首次飞行结束后，利用激光雷达模块得到的点云数据对目标区域进行三维点云建模，精确无人机的飞行轨迹，同时可设置无人机在铁路沿线通信铁塔处进行悬停拍摄，在到达目标点区域后进行拍摄；
数据转储模块包括无人机图像储存区和激光雷达点云数据储存区，用于接受地面基站回传数据并分类储存至铁路沿线设备设施与周边化境数据库，该模块优选SSD硬盘以加快读写速度。
图像处理模块包括图像预处理整合算法、深度学习网络模型和检测结果后处理算法。其以预先通过数据库训练得到的深度学习网络模型对得到的图像进行检测，分析得到其中疑似缺陷的目标，并发送至人工复核，同时计算得出缺陷所在具体地理坐标信息，在人工复核通过后，上报预警，通知运维人员处理，并储存记录
地面基站主要包括设备更换模块和数据转存模块。设备更换模块，在无人机飞行巡检一段距离后，自动飞向地面基站进行电池更换，并按照需求对载荷进行自动更换。并对更换下的电池进行充电和储存。
数据转存模块在无人机抵达地面基站后，对无人机已采集的数据进行转存和备份，将数据转存至地面基站PC中，并通过网络信号由基站将数据传输至工作机终端。
无人机主要包括机体动力模块、飞控导航模块、电子围栏模块、链路系统模块、激光雷达模块和图像采集模块。机体动力模块包括整个无人机机体，设置在机体上的多方向的多个旋翼机臂，每个机臂上设置有电机，每个电机配备两片桨叶，机体上装配有多块无人机电池，用于无人机供电，还包括无人机起飞降落所需脚架，以及用于配置激光雷达模块和图像采集模块安装的云台。
飞控导航模块主要有三轴陀螺仪(飞行姿态感知)，三轴加速计，三轴地磁感应，气压传感器(悬停高度粗略控制)，超声波传感器(低空高度精确控制或避障)，光流传感器(悬停水平位置精确确定)，GPS模块(水平位置高度粗略定位)，以及控制电路组成。用于实时将无人机所处的地理坐标信息进行反馈，控制无人机的启停、飞行姿态和飞行速度，并通过飞控导航模块使无人机按照预设的飞行轨迹飞行。飞控导航模块：利用北斗导航得到的地理坐标信息和雷达位置信息进行实时差分，确保飞行轨迹地准确性；在遇到大风天气或其他意外情况导致飞机飞行姿态发生改变，位置发生偏移时，自动对飞机姿态进行调整，保障飞行任务的完成；
电子围栏模块通过电磁传感器，配合在无人机飞行后台软件中设置飞行路线上的铁路车站、线路地理信息系统，采用数据库数据管理技术和模式防控无人机进入铁路安全红线空间，确保无人机飞行过程中不会飞到铁路沿线的安全保护区限界以内。
链路系统模块采用点对点的双向通信数传链路和单向图传链路，采用QPSK调制方式。
激光雷达模块优先采用云雀系统激光扫描仪，采用倾斜椭圆扫描方式，为高精度IMU，搭载1-2根GNSS天线，最大探测距离1500m，点分辨率：0.006°。通过回波讯号来精准检测距离和平面高度，从而进行三维立体构图，用于巡航轨迹制定，通过传感器实现无人机的高精度巡检，同时采集铁路沿线周边环境的点云数据。本申请的激光雷达模块与可见光相机被固定在一起以保证两者相对位置不会发生变化。其中激光雷达位于前方，朝向与无人机前进方向一致，可见光相机位于后方。本申请的激光雷达模块在分析数据特点的前提下，首先使用了一系列算法对三维点云数据做预处理，包括：基于统计的离群点去除算法，基于最近距离的冗余点去除算法，布料模拟滤波地面点滤除算法；之后本文提出了一种基于随机采样、特征聚合与原型拟合的大尺度点云语义分割算法，取得了较好效果，并在一定程度上克服了数据存在的小样本问题；本文对基于欧几里得距离的点云聚类算法进行了改进，优化了距离阈值选取方法；提出了一种基于Alpha-shape算法的不规则点云体积计算方法，相较于现有算法有较大改进；在异常对象距铁路边界距离计算方面，本文将该距离转化为异常对象距铁路中线距离，以消除轨道边缘扫描不完整带来的误差。
图像采集模块，用于采集无人机飞行沿途的铁路沿线设备设施及周边化境图像信息并存储。其优先选用定焦相机通过高像素镜头进行图像数据采集，并配备无人机飞行监控相机，通过链路系统模块实时回传至工作机用于无人机飞行监控。并通过嵌入式图像采集控制芯片系统接收无人机位置信息，按照飞行距离或飞行时间为间隔进行图像拍摄，同时接收相机图像信息，在进行多任务飞行，悬停拍摄时检测图像内是否有目标区域，将快速目标识别内容通过监控相机进行检测，如存在目标区域则下达拍摄命令，如没有则传输信号至飞机飞控导航系统，对飞机进行位置调整，以达到数据采集时的准确性和无人机的自动实时调整功能。
链路系统模块，用于上传无人机控制指令和下传任务信息，实时传输无人机的工作状态及视频画面。
图2所示为全自动无人机巡检的整体步骤流程图，包括规划无人机飞行线路、无人机依据规定线路起飞进行巡检任务、无人机巡检过程中在基站进行电池更换以继续完成巡检任务，转储无人机数据和将无人机图像导入工作机图像处理模块并进行图像识别处理。
具体步骤如下：
步骤一、规划无人机飞行线路
配置图像处理模块后，通过工作机的监控模块规划航程路线，包括飞行距离、飞行高度、无人机距离铁路的距离、飞行次数/是否往返、飞行速度、是否需要更换载荷等，下达无人机巡检任务起飞命令，监测无人机飞行全过程，并设置飞行任务包括拍摄内容、重点拍摄对象、飞行方式/是否需要悬停等。在首次飞行时，需通过激光雷达点云数据建立三维点云模型，并配置无人机各地面基站以实现长距离飞行。
步骤二、无人机依据规定线路起飞进行巡检任务
通过工作机的监控模块可实时检测无人机的飞行状态，包括无人机飞行速度、飞行高度、环境风速、无人机温度、电池电量、电机状态、信号强弱等，通过实时回传视频可获取无人机视角，并可随时接管无人机飞行。
待进入飞行任务区域后，图像采集模块按照预选设定进行图像采集工作，并针对实际飞行状态进行实时调整，并将拍摄图像的地理位置信息一并保存；
如图3所示，无人机在50-100m高度，距离线路横向80-160m距离，按照多旋翼巡检计划对铁路沿线路堤坡脚、路堑坡顶或者铁路桥梁外侧起向外各200m范围内进行常规巡检作业。无人机在执行巡检飞行任务时，实时通过移动通讯信号将视频信号传送至服务器，地面基站回传无人机数据，并在图像处理模块通过深度学习网络模型对新接收的图像信息进行缺陷检测识别，将缺陷预警结果发送人工复检，缺陷部分由人工确认后将缺陷问题及具体位置信息上传，通知运维人员并记录。
步骤三、无人机巡检过程中在移动基站进行电池更换以继续完成巡检任务，转储无人机数据，在飞抵地面基站附近后，无人机会自动飞向地面基站进行电池更换，以保证其长距离飞行的续航，完成超远距离的巡检任务，并转储已拍摄的图像数据，保证长距离飞行的数据完整性，实现超视距全自动巡检。
步骤四、将无人机图像导入工作机图像处理模块并进行图像识别处理
图像处理模块需要预先按照以下方式进行设置：先对采集得到的铁路沿线设备设施及周边环境的图像进行标注建立数据集，并进行深度学习网络缺陷目标检测模型的训练，实现对新采集数据的缺陷的自动识别与定位；
然后，在铁路设备设施及周边环境数据库建立后，针对每次巡检得到的数据，将新采集得到的图像利用深度学习网络模型进行自动标注，辅以人工检测标注，完成数据库的更新，并重新进行网络模型的训练和优化，增强检测能力。
基于上述设置步骤训练优化所获得的网络模型，地面基站得到无人机数据后，会直接上传至工作机中，依据飞行任务建立对应文件夹，并对采集到的图像进行图像预处理，包括对比度调整、图像去雾、减小光影影响等方式，实现图像增强效果，并将得到的图像输入到智能分析平台工作机系统中，通过对不同的检测对象输入到训练优化完毕的各不同网络模型中进行测试，以达到高召回率的效果。在得出检测结果后，标注有缺陷问题的图像由人工进行复核，确认有问题的图像将计算其所在位置，并进行记录。
如图4所示，图像智能分析平台工作机系统包括建立高铁沿线基础设施及周边环境数据库，对无人机采集得到的新数据进行图像预处理，输入深度学习模型进行叠加训练已增强模型鲁棒性，其中深度学习模型包括目标检测类网络模型YOLOv3、SSD、FasterRCNN、FPN等，语义分割网络模型YOLACT、Deeplabv3+等。输入验证集数据验证模型训练效果，并根据效果实时调整参数，忽略本次训练模型，利用上次得到的权重重新开始训练，以达到最优化结果，记录权重用于新的图像检测。将最新获得的数据作为测试集进行图像目标识别，在得出检测结果后，标注有缺陷问题的图像由人工进行复核，确认有问题的图像将计算其所在位置，并进行记录；同时将本次新得到的数据通过数据预处理包括图片旋转、图片缩放、图片分辨率调节、添加噪音等方式实现数据扩充。将扩充后的数据加入到训练验证数据库中。同时用相关的图像标注软件进行缺陷的人工标注，生成包含有图片名称、缺陷类别、缺陷坐标的数据。同时k-means聚类算法通过计算不同样本间的距离来判断他们的相近关系的，相近的就会放到同一个类别中去，利用K-means算法计算先验锚框的大小和长宽比例，为了使锚框尽量多的覆盖所有的目标缺陷。
由高铁沿线基础设施及周边环境数据库和标签文件组合构成训练集和验证集，由新采集的数据作为测试集。
上述过程中，激光雷达点云与无人机所拍图像之间可通过如下方式实现点云与图像的融合：
为获得二者的映射关系，首先确定点云与图像间的投影变换矩阵，需要先对激光雷达与可见光相机进行标定，标定时可使用特殊设计的标定物进行两传感器的联合标定。在一些实施例中可基于对应点坐标进行标定：假设参考点X在三维点云坐标系与图像像素坐标系下的位置分别为(XW,YW,ZW)与(Xf,Yf)，由相机成像方式可知二者的转换方法如式(2-1)所示：
其中Zc是一个比例因子，[RT]是相机的外参矩阵，f是相机的焦距，K是相机的内参矩阵，K的具体表达如式(2-2)：
其中(dx,dy)是图像中每个像素对应的真实物理坐标系下区域的物理尺寸，(Cx,Cy)是像平面与相机光轴相交的像素的坐标，该坐标通常以像平面左上角为原点，以像素为坐标单位。激光雷达与可见光相机的投影变换矩阵M可由式(2-3)定义：
通常相机的内参矩阵是固定的，外参矩阵会随着相机的平移旋转而改变，但是在本文中激光雷达与相机经过集成后相对位置不再变化，因此相机的内外参都不会发生变化，此时只需要通过平面标定板获取多组对应点在不同坐标系下的坐标即可求得投影变换矩阵M。基于上述方法可实现点云数据与图像数据的空间位置匹配，为进一步深化研究提供支持。
机载可见光相机可采用手动拍照，定时拍照及定距拍照三种方式，其中手动拍照主要用于手动控制飞行模式，定时及定距拍照用于自动飞行模式；机载激光雷达在巡检过程中会持续进行扫描。
开展铁路运行环境巡检任务时，首先对整个巡检区域进行巡检，无人机采用自动飞行方式，沿与铁路线路平行的预设航线飞行，航线由单条航带组成，在此期间机载可见光相机自动拍摄照片，机载激光雷达持续进行扫描。单次巡检线路长度应不低于1000m，无人机在巡检过程中严禁跨越铁路线路上方，每次飞行只采集单侧运行环境的数据。
由于航线中只有一条航带，因此理论上相同条件下该方案的巡检效率较多航带方案更高，但是对飞行相对高度、横向距离、镜头朝向等参数的设置要求更严格。设置合理的飞行相对高度、镜头朝向与横向距离一方面是为了降低无人机在飞行过程中受列车高速运动带来的强风影响，同时确保在突发情况下无人机不会掉入铁路限界内，并增加紧急情况反应时间，因此航线有最近距离与最低飞行高度限制，另一方面是为了满足巡检区域全覆盖的要求及数据采集精度的要求。巡检系统中可见光相机能够扫描的最远横向距离Dc可由式(2-9)计算，且应满足式(2-10)的约束条件：
Dc＝hftan(θ/2+β)+dh (2-9)
Dc≥200
hftan(θ/2-β)-dh≥0
dh≥30,hf≥60 (2-10)
其中θ为已知的可见光相机视场角，β为需要计算的相机镜头中轴线与垂直方向的夹角。激光雷达能够扫描的最远横向距离Dl可由式(2-11)计算，且应满足式(2-12)的约束条件：
Dl≥200,hf≥60 (2-12)
其中dl是激光雷达的最远探测距离。满足了巡检区域覆盖率的要求后，还应该满足数据采集精度要求，由于在巡检之前巡检区域中对象位置及大小都无法确定，因此通过点云点密度是否大于阈值来判断数据精度是否达标，其中激光雷达采集的点云点密度与无人机飞行相对高度有关，一般会在激光雷达用户手册中给出，最小阈值则应结合异常识别算法识别能力确定。通过上述方法可以算得满足条件的飞行相对高度、横向距离及相机朝向，由此可以对巡检过程中的无人机航线进行合理规划。
对于可见光相机自动拍照模式，有定时与定距两种模式，由于巡检开始时无人机需要悬停一段时间以校准定位，所以采用定时拍照模式会产生无效数据，因此定距拍照模式更加适用，拍照间隔距离应视相机视场角及飞行速度而定，且相邻拍摄的图像间应保证一定的重叠率。由于拍照方式选择定距拍照，因此飞行速度可以稍快，但是过快的飞行速度会影响数据质量，所以飞行速度同样不宜过快。
基于上述分析，获得表2-4，该表明确了巡检过程中的各项关键指标及参数：
表2-4巡检作业关键指标及参数
Table2-6 Key indicators and parameter for inspection
如果基于自动飞行的巡检中存在数据采集不充分的区域，则采用手动控制飞行模式进行精细化采集。该模式需要两名专业无人机飞手，其中一人负责控制无人机飞行状态及数据采集，另一人负责确保数据质量符合要求并保障巡检安全。
机载激光雷达在扫描时会受到各种因素影响，致使点云数据出现大量的噪声点，这些因素包括无人机飞行过程中受气流影响导致的抖动、云台不稳定、操作人员操作失误、飞鸟等异物遮挡、扫描不充分等。由于点云数据自身具有离散性，因此很难通过通用的方法进行区分，需要专门处理。在本文中主要考虑以下两类噪声：
(1)离群点：离群点是最典型的点云噪声点，主要指远离点云主体的稀疏点或小块点云。这类点云与主体点云基本没有关联，蕴含的信息也较少，但是对算法的干扰很大；
(2)冗余点：在本文中冗余点主要指重复扫描同一区域产生的冗余数据，或点云拼接后在重叠区域有过高的点密度，除了上述原因，对扫描区域边缘的对象扫描不充分也会导致冗余点的出现。
不同类型的噪声点具有不同的特点，仅使用一种方法去噪效果不理想，应该对不同类型的噪声区别对待，针对性的采取不同方法进行处理。
(1)离群点去除
相较于主体点云，离群点具有稀疏的特性，离群点之间的距离远大于主体点云中点的距离，因此本文采用基于统计的离群点去除方法[101]对其进行处理。该方法的基本思想是通过采样点与近邻点的距离的统计学特征来判断该采样点是否是离群点，因此该方法首先应该寻找每个采样点的邻域点，由于点云具有无序性，所以首先通过建立点云的空间索引来表明点云间的空间拓扑关系，常见的索引包括八叉树(Octree)[102]、K-D树(K-Dimensional tree)[103]，本节使用K-D树来表明点云的空间特征，首先对K-D树做简要介绍。
K-D树是二叉树(Binary tree)在多维空间上的拓展，大致步骤如下：
(1)点云处于三维欧几里得空间中，具有x，y，z三个维度，首先分别计算三个维度上坐标值的方差，由于方差最大的坐标维度可认为离散度最大，所以将该维度作为初始分割维度；
(2)初始分割维度确定后，选择初始的切割点，即K-D树的根节点，在本文中选择初始维度坐标值的平均值，该值可以通过对点云进行随机采样获得的子集计算；
(3)选择初始维度及根节点后，将初始维度上坐标值大于根节点的点放到右子树中，小于该值的点放到左子树；
(4)进行第二次分割，选择方差第二大的维度做为分割维度，分别对上一次分割生成的左子树与右子树进行分割，按照同样的方法选择左右子树的分割值，此时左右子树又可以在新维度上生成两个新的子树；
(5)进行第三次分割，此时选择最后一个尚未分割的维度作为分割维度，按照同样的方法对之前生成的若干子树进行分割；
(6)重复第(3)、(4)、(5)步，直到全部点云分割完成为止。
建立点云的K-D树之后，点云的拓扑结构也就建立，通过K-D树可以快速获得点云中任意点的K个近邻点，点云中点与其K个近邻点间的相互关系是点云处理的关键之一。
基于统计的离群点去除方法首先计算点云中每点与其K个近邻点之间的距离的平均值，该平均距离在统计上通常近似呈高斯分布，可以根据该高斯分布将邻域平均距离大于某一阈值的点视为离群点进行剔除，因为距离阈值可根据高斯分布的均值及标准差进行设置，所以该方法具有较好的自适应性。基于统计的离群点去除具体过程如下：
(1)通过K-D树算法构建点云的空间拓扑结构，并查询每个点的K邻域
(2)定义点pi的K个邻域点集为Pi＝{p1,p2,...,pi,...pk},Pi∈R3，照式(3-1)计算邻域点集中所有点到pi的距离的平均值：
(3)此时得到的平均距离符合高斯分布，均值为μ，标准差为δ，均值和标准差计算方式如式(3-2)，(3-3)所示：
(4)设定标准差倍数λ，通过该倍数如式(3-4)所示计算距离阈值，如果某点距其近邻点的平均距离大于阈值，则将其识别为离群点，进行剔除。
μ+λδ (3-4)
按照上述方法对现场采集到的某个点云进行离群点去除实验，可以看出该算法的去除效果很好，基本剔除了所有离群点。
在通过上述方式获得点云数据和图像数据后可通过如下方式实现串行式结构的决策级数据融合：
第一个阶段主要是对原始点云数据进行处理，包括一系列预处理方法、点云语义分割及点云聚类。此时获得的是被点云数据判定为异常的对象所属的点云数据，但是点云数据存在由颜色及纹理信息缺乏带来的的类别判断不精确的问题，所以这些对象只能被视为潜在异常对象，聚类获得的点云则是潜在异常对象点云，还需要进一步判断。
第二个阶段则是对图像数据进行处理并对两类数据识别的结果进行决策级融合。在这个阶段首先通过空间位置匹配方法获得与潜在异常对象点云对应的图像数据，并通过基于迁移学习及数据增强的图像实例分割方法对图像数据进行处理，获得对潜在异常对象类别的准确判断。之后进行点云数据与可见光图像数据识别结果的决策级融合：对于被点云数据识别为建筑的对象，图像数据的识别结果可能是彩钢板顶棚建筑、砖石房屋及其他三类，对应于前两类结果的潜在异常对象将被认为属于异常且进一步计算该异常距铁路的距离，对应于第三类结果的潜在异常对象将被认为不属于异常并不进行后续处理。对于被点云数据识别为垃圾堆积的对象，图像数据的识别结果可能是垃圾堆积与其他两类，对应于第一类结果的潜在异常对象将被认为属于异常并进一步计算该异常对象体积及距铁路距离，对应于第二类结果的潜在异常对象将被认为不属于异常并不进行后续处理。
综上，本申请的无人机沿高速铁路沿线按照预先设计好的路线自动飞行巡检，将飞行过程中采集得到的数据通过地面基站传输至工作机，在通过工作机中图像处理智能分析系统进行分析计算得出巡检结果。本申请的巡检方案相比于现有模式具有如下优势：
(1)利用无人机沿着高速铁路沿线按照预设线路全自动多角度采集高铁沿线基础设施及周边环境图片信息并储存。本申请能够在不影响线路运行的情况下能够获取图像质量更好的遥感图像，保障列车运行的安全性。由于拍摄角度可以变化能够避免因遮挡造成的数据不完整。
(2)将深度学习算法应用到采集到的铁路图像检测中，通过深度学习网络模型对数据库进行训练，对采集得到的数据进行自动检测筛查。本申请可将实时得到的新数据通过自动标注和人工复核的方式加入数据库更新模型，增强该模块的鲁棒性。实现铁路设备设施部件缺陷及周边环境隐患的自动识别，提高检测效率。
(3)无人机依靠预先规划的飞行线路进行巡检，依靠內载激光雷达与GPS系统进行差分定位导航，飞行精度高，安全性好，飞行控制模块可在复杂天气条件下实时调整飞机飞行姿态，确保无人机的安全飞行及拍摄图片的质量。
(4)可在工作机终端进行飞行线路的规划，下达无人机的飞行任务，无需人员实地进行无人机操控，减轻人员工作负担，降低了对人工操作的要求。本申请的无人机飞行过程中高自主性全自动化，无需全程人为操控无人机进行巡检，无人机依据规划路线即可实现全自动巡检。
(5)无人机飞行过程中，可在地面基站进行电池的换装和载荷的更换工作。
(6)本申请所采用的点云数据与可见光数据融合方法，其所有流程顺序进行，不存在并行分支，因此结构简单。并且，该方法获得的异常识别结果需要两类数据识别结果的共同支持，因此结果可信度较单类数据识别结果更高，且具有一定的容错率。此外，该方法获得的融合结果充分利用了各类数据蕴含的信息，因此结果更加全面。其首先基于统计的离群点去除算法，基于最近距离的冗余点去除算法，布料模拟滤波地面点滤除算法对三维点云数据做预处理；然后基于随机采样、特征聚合与原型拟合的大尺度点云语义分割算法，取得了较好效果，并在一定程度上克服了数据存在的小样本问题；本文对基于欧几里得距离的点云聚类算法进行了改进，优化了距离阈值选取方法；提出了一种基于Alpha-shape算法的不规则点云体积计算方法，相较于现有算法有较大改进；在异常对象距铁路边界距离计算方面，本文将该距离转化为异常对象距铁路中线距离，以消除轨道边缘扫描不完整带来的误差。
以上仅为本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些均属于本申请的保护范围。
Claims (10)
1.一种高速铁路全自动无人机巡检方法，其特征在于，步骤包括：
第一步，通过链路系统接收无人机上传的工作状态及实时回传画面，在无人机首次在任务区域飞行时，接收无人机上激光雷达模块所获得的点云数据建立三维点云模型，规划无人机飞行线路，并配置无人机地面基站；
第二步，实时监控无人机的工作状态和航行数据，在无人机到达任务区域后，触发无人机上图像采集模块按照预选设定的方式进行图像采集，并触发无人机将拍摄所得图像与拍摄实时地理位置信息一并保存并通过地面基站传输至工作机；
第三步，工作机内部的深度学习网络模型对拍摄所得图像进行缺陷检测识别，将缺陷预警检测结果发送人工复检，并在接收到人工确认的缺陷部分由后上传缺陷问题及缺陷图像所对应的实时地理位置信息，通知运维人员并记录运维状态；
上述巡检过程中，当检测到无人机电量低于电量阈值时，还触发无人机飞抵基站，与基站进行电池更换以及图像数据的转储。
2.如权利要求1所述的高速铁路全自动无人机巡检方法，其特征在于，第一步中，接收无人机上激光雷达模块所获得的点云数据建立三维点云模型的具体步骤包括将激光雷达模块所获得的点云数据与无人机所采集的图像之间按照以下步骤进行融合：
首先分别基于统计的离群点去除算法、基于最近距离的冗余点去除算法、基于布料模拟滤波地面点滤除算法对三维点云数据做预处理；
然后基于随机采样、特征聚合与原型拟合对大尺度点云数据层进行语义分割；
再通过空间位置匹配方法根据欧几里得距离进行点云聚类，获得与潜在异常对象点云对应的图像数据；
最后通过基于迁移学习及数据增强的图像实例分割方法对图像数据进行处理，获得对潜在异常对象类别的准确判断：
对于被点云数据判断为建筑的对象，进一步根据图像数据的识别结果计算其中彩钢板顶棚建筑和砖石房屋两类对象距铁路的距离；
对于被点云数据识别为垃圾堆积的对象，进一步根据图像数据的识别结果计算其中垃圾堆积类对象的体积及及其距离铁路的距离。
3.如权利要求2所述的高速铁路全自动无人机巡检方法，其特征在于，所述第三步中，工作机内部的深度学习网络模型包括：目标检测类网络模型YOLOv3、SSD、FasterRCNN、FPN；
语义分割网络模型包括：YOLACT、Deeplabv3+；
所述深度学习网络模型由以下训练步骤确认其参数：
先对采集得到的铁路沿线设备设施及周边环境的图像进行图像预处理，包括对比度调整、图像去雾、减小光影影响，标注上述图像中的异常对象建立数据库；
然后针对每次巡检得到的数据，将新采集得到的图像利用深度学习网络模型进行自动标注，然后人工检测标注信息，确认有问题的图像，计算图像标注问题所在位置，对数据库进行更新，输入验证集数据验证模型训练效果，并根据效果实时调整参数，忽略本次训练模型，利用上次得到的权重重新开始训练，直至达到最优化结果，记录权重用于新的图像检测。
4.如权利要求3所述的高速铁路全自动无人机巡检方法，其特征在于，人工检测标注信息时还将本次新得到的数据进行图片旋转、图片缩放、图片分辨率调节、添加噪音的预处理，实现数据扩充；将扩充后的数据加入到训练验证数据库中，并同时对其中的缺陷进行人工标注，生成包含有图片名称、缺陷类别、缺陷坐标的数据。
5.如权利要求2所述的高速铁路全自动无人机巡检方法，其特征在于，通过空间位置匹配方法根据欧几里得距离进行点云聚类，获得与潜在异常对象点云对应的图像数据的步骤包括：
记参考点X在三维点云坐标系与图像像素坐标系下的位置分别为(XW,YW,ZW)与(Xf,Yf)，根据相机成像方式获得二者的转换方法为：
基于对应点坐标对激光雷达与可见光相机进行标定，确定点云与图像间的投影变换矩阵
根据激光雷达与可见光相机的投影变换矩阵M计算提取与潜在异常对象点云对应的图像数据；其中，[R T]是相机的外参矩阵，f是相机的焦距，
是相机的内参矩阵，(dx,dy)是图像中每个像素对应的真实物理坐标系下区域的物理尺寸，(Cx,Cy)是像平面与相机光轴相交的像素的坐标，该坐标通常以像平面左上角为原点，以像素为坐标单位。
6.一种高速铁路全自动无人机巡检系统，其特征在于，包括：
无人机，其图像采集模块按照预选设定的方式进行图像采集，通过链路系统上传无人机工作状态及实时回传画面，所述无人机首次在任务区域飞行时还通过其上激光雷达模块获得的点云数据；
工作机，其实时监控无人机的工作状态和航行数据，在无人机到达任务区域后，触发无人机将拍摄所得图像与拍摄实时地理位置信息一并保存并通过地面基站传输至工作机，所述工作机内部的深度学习网络模型对拍摄所得图像进行缺陷检测识别，将缺陷预警检测结果发送人工复检，并在接收到人工确认的缺陷部分后上传缺陷问题及缺陷图像所对应的实时地理位置信息，通知运维人员并记录运维状态；
基站，其与无人机相匹配，接收无人机上传的工作状态及实时回传画面，将其转发至工作机，还用于更换无人机电池以及转储无人机图像数据。
7.如权利要求6所述的高速铁路全自动无人机巡检系统，其特征在于，所述无人机激光雷达模块所获得的点云数据用于建立三维点云模型；建立三维点云模型过程中，将激光雷达模块所获得的点云数据与无人机所采集的图像之间按照以下步骤进行融合：
首先分别基于统计的离群点去除算法、基于最近距离的冗余点去除算法、基于布料模拟滤波地面点滤除算法对三维点云数据做预处理；
然后基于随机采样、特征聚合与原型拟合对大尺度点云数据层进行语义分割；
再通过空间位置匹配方法根据欧几里得距离进行点云聚类，获得与潜在异常对象点云对应的图像数据；
最后通过基于迁移学习及数据增强的图像实例分割方法对图像数据进行处理，获得对潜在异常对象类别的准确判断：
对于被点云数据判断为建筑的对象，进一步根据图像数据的识别结果计算其中彩钢板顶棚建筑和砖石房屋两类对象距铁路的距离；
对于被点云数据识别为垃圾堆积的对象，进一步根据图像数据的识别结果计算其中垃圾堆积类对象的体积及及其距离铁路的距离。
8.如权利要求6所述的高速铁路全自动无人机巡检系统，其特征在于，所述工作机中的深度学习网络模型包括：目标检测类网络模型YOLOv3、SSD、FasterRCNN、FPN；
其中还包括语义分割网络模型，包括：YOLACT、Deeplabv3+；
所述深度学习网络模型由以下训练步骤确认其参数：
先对采集得到的铁路沿线设备设施及周边环境的图像进行图像预处理，包括对比度调整、图像去雾、减小光影影响，标注上述图像中的异常对象建立数据库；
然后针对每次巡检得到的数据，将新采集得到的图像利用深度学习网络模型进行自动标注，然后人工检测标注信息，确认有问题的图像，计算图像标注问题所在位置，对数据库进行更新，输入验证集数据验证模型训练效果，并根据效果实时调整参数，忽略本次训练模型，利用上次得到的权重重新开始训练，直至达到最优化结果，记录权重用于新的图像检测。
9.如权利要求6所述的高速铁路全自动无人机巡检系统，其特征在于，所述工作机还在人工检测标注信息时将本次新得到的数据进行图片旋转、图片缩放、图片分辨率调节、添加噪音的预处理，实现数据扩充；
将扩充后的数据加入到训练验证数据库中，并同时对其中的缺陷进行人工标注，生成包含有图片名称、缺陷类别、缺陷坐标的数据。
10.如权利要求6所述的高速铁路全自动无人机巡检系统，其特征在于，所述工作机通过空间位置匹配方法根据欧几里得距离进行点云聚类，获得与潜在异常对象点云对应的图像数据的步骤包括：
记参考点X在三维点云坐标系与图像像素坐标系下的位置分别为(XW,YW,ZW)与(Xf,Yf)，根据相机成像方式获得二者的转换方法为：
基于对应点坐标对激光雷达与可见光相机进行标定，确定点云与图像间的投影变换矩阵
根据激光雷达与可见光相机的投影变换矩阵M计算提取与潜在异常对象点云对应的图像数据；
其中，[R T]是相机的外参矩阵，f是相机的焦距，
是相机的内参矩阵，(dx,dy)是图像中每个像素对应的真实物理坐标系下区域的物理尺寸，(Cx,Cy)是像平面与相机光轴相交的像素的坐标，该坐标通常以像平面左上角为原点，以像素为坐标单位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111627107.5A CN114373138A (zh) | 2021-12-28 | 2021-12-28 | 一种高速铁路全自动无人机巡检方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111627107.5A CN114373138A (zh) | 2021-12-28 | 2021-12-28 | 一种高速铁路全自动无人机巡检方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114373138A true CN114373138A (zh) | 2022-04-19 |
Family
ID=81141324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111627107.5A Pending CN114373138A (zh) | 2021-12-28 | 2021-12-28 | 一种高速铁路全自动无人机巡检方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114373138A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114971234A (zh) * | 2022-05-11 | 2022-08-30 | 北京中色测绘院有限公司 | 一种土壤普查新技术方法 |
| CN115052130A (zh) * | 2022-05-27 | 2022-09-13 | 合肥富煌君达高科信息技术有限公司 | 一种高低温实验无人值守bug信息无线传输系统 |
| CN115100554A (zh) * | 2022-07-19 | 2022-09-23 | 西安石油大学 | 一种基于智能视觉的无人机电力巡检系统及其检测方法 |
| CN115373416A (zh) * | 2022-08-08 | 2022-11-22 | 北京中润惠通科技发展有限公司 | 一种铁路电力贯通线智能巡检方法 |
| CN115580708A (zh) * | 2022-09-15 | 2023-01-06 | 中国人民解放军国防科技大学 | 一种光缆线路无人机巡检的方法 |
| CN116012728A (zh) * | 2023-02-07 | 2023-04-25 | 北京交通大学 | 应用于无人机巡检的轨道线路识别跟踪方法及系统 |
| CN116168351A (zh) * | 2023-04-26 | 2023-05-26 | 佰聆数据股份有限公司 | 电力设备巡检方法及装置 |
| CN116543322A (zh) * | 2023-05-17 | 2023-08-04 | 深圳市保臻社区服务科技有限公司 | 一种基于社区安全隐患的物业智能巡检方法 |
| CN116577788A (zh) * | 2023-07-12 | 2023-08-11 | 南方电网数字电网研究院有限公司 | 输电线路异物侵限监测方法、装置和计算机设备 |
| CN116627180A (zh) * | 2023-07-24 | 2023-08-22 | 贵州博睿科讯科技发展有限公司 | 一种无人机巡飞规划方法、装置、电子设备及存储介质 |
| CN116828156A (zh) * | 2023-08-31 | 2023-09-29 | 北京中舆达信息科技有限公司 | 地理空间事件的采集方法、系统、设备、介质及采集盒 |
| CN117392571A (zh) * | 2023-12-08 | 2024-01-12 | 中国电力科学研究院有限公司 | 一种基于无人机图像的架空输配电线路验收方法及系统 |
| CN117893933A (zh) * | 2024-03-14 | 2024-04-16 | 国网上海市电力公司 | 一种用于输变电设备的无人巡检故障检测方法和系统 |
| CN118246697A (zh) * | 2024-05-22 | 2024-06-25 | 北京智弘通达科技有限公司 | 一种基于无人机巡检高速铁路轨道方法 |
| CN118535102A (zh) * | 2024-07-19 | 2024-08-23 | 湖南军威联航科技有限公司 | 一种无人平台的轻量级智能存储系统数据处理方法 |
| CN118552869A (zh) * | 2024-06-20 | 2024-08-27 | 深圳市城市公共安全技术研究院有限公司 | 城市道路交通设施智能安全巡检方法和装置 |
-
2021
- 2021-12-28 CN CN202111627107.5A patent/CN114373138A/zh active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114971234A (zh) * | 2022-05-11 | 2022-08-30 | 北京中色测绘院有限公司 | 一种土壤普查新技术方法 |
| CN114971234B (zh) * | 2022-05-11 | 2023-04-07 | 北京中色测绘院有限公司 | 一种土壤普查技术方法 |
| CN115052130A (zh) * | 2022-05-27 | 2022-09-13 | 合肥富煌君达高科信息技术有限公司 | 一种高低温实验无人值守bug信息无线传输系统 |
| CN115100554A (zh) * | 2022-07-19 | 2022-09-23 | 西安石油大学 | 一种基于智能视觉的无人机电力巡检系统及其检测方法 |
| CN115373416A (zh) * | 2022-08-08 | 2022-11-22 | 北京中润惠通科技发展有限公司 | 一种铁路电力贯通线智能巡检方法 |
| CN115580708A (zh) * | 2022-09-15 | 2023-01-06 | 中国人民解放军国防科技大学 | 一种光缆线路无人机巡检的方法 |
| CN116012728A (zh) * | 2023-02-07 | 2023-04-25 | 北京交通大学 | 应用于无人机巡检的轨道线路识别跟踪方法及系统 |
| CN116168351A (zh) * | 2023-04-26 | 2023-05-26 | 佰聆数据股份有限公司 | 电力设备巡检方法及装置 |
| CN116168351B (zh) * | 2023-04-26 | 2023-09-08 | 佰聆数据股份有限公司 | 电力设备巡检方法及装置 |
| CN116543322A (zh) * | 2023-05-17 | 2023-08-04 | 深圳市保臻社区服务科技有限公司 | 一种基于社区安全隐患的物业智能巡检方法 |
| CN116577788A (zh) * | 2023-07-12 | 2023-08-11 | 南方电网数字电网研究院有限公司 | 输电线路异物侵限监测方法、装置和计算机设备 |
| CN116577788B (zh) * | 2023-07-12 | 2024-01-23 | 南方电网数字电网研究院有限公司 | 输电线路异物侵限监测方法、装置和计算机设备 |
| CN116627180A (zh) * | 2023-07-24 | 2023-08-22 | 贵州博睿科讯科技发展有限公司 | 一种无人机巡飞规划方法、装置、电子设备及存储介质 |
| CN116627180B (zh) * | 2023-07-24 | 2023-11-07 | 贵州博睿科讯科技发展有限公司 | 一种无人机巡飞规划方法、装置、电子设备及存储介质 |
| CN116828156A (zh) * | 2023-08-31 | 2023-09-29 | 北京中舆达信息科技有限公司 | 地理空间事件的采集方法、系统、设备、介质及采集盒 |
| CN116828156B (zh) * | 2023-08-31 | 2024-05-03 | 北京中舆达信息科技有限公司 | 地理空间事件的采集方法、系统、设备、介质及采集盒 |
| CN117392571A (zh) * | 2023-12-08 | 2024-01-12 | 中国电力科学研究院有限公司 | 一种基于无人机图像的架空输配电线路验收方法及系统 |
| CN117392571B (zh) * | 2023-12-08 | 2024-02-13 | 中国电力科学研究院有限公司 | 一种基于无人机图像的架空输配电线路验收方法及系统 |
| CN117893933A (zh) * | 2024-03-14 | 2024-04-16 | 国网上海市电力公司 | 一种用于输变电设备的无人巡检故障检测方法和系统 |
| CN117893933B (zh) * | 2024-03-14 | 2024-05-24 | 国网上海市电力公司 | 一种用于输变电设备的无人巡检故障检测方法和系统 |
| CN118246697A (zh) * | 2024-05-22 | 2024-06-25 | 北京智弘通达科技有限公司 | 一种基于无人机巡检高速铁路轨道方法 |
| CN118246697B (zh) * | 2024-05-22 | 2024-08-13 | 北京智弘通达科技有限公司 | 一种基于无人机巡检高速铁路轨道方法 |
| CN118552869A (zh) * | 2024-06-20 | 2024-08-27 | 深圳市城市公共安全技术研究院有限公司 | 城市道路交通设施智能安全巡检方法和装置 |
| CN118535102A (zh) * | 2024-07-19 | 2024-08-23 | 湖南军威联航科技有限公司 | 一种无人平台的轻量级智能存储系统数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114373138A (zh) | 一种高速铁路全自动无人机巡检方法及系统 | |
| CN111178148B (zh) | 一种基于无人机视觉系统的地面目标地理坐标定位方法 | |
| US11378718B2 (en) | Unmanned aerial vehicle system and methods | |
| CN113759960B (zh) | 基于无人机的风机叶片及塔筒巡检识别系统及方法 | |
| CN103941746B (zh) | 无人机巡检图像处理系统及方法 | |
| CN108037770B (zh) | 基于人工智能的无人机输电线路巡检系统和方法 | |
| WO2024040566A1 (zh) | 基于图像识别的变电站智能巡检系统及方法 | |
| CN109060281B (zh) | 基于无人机的一体化桥梁检测系统 | |
| CN101201248B (zh) | 基于无人机的航空近景摄影位移测量系统及其方法 | |
| CN115240093B (zh) | 基于可见光和激光雷达点云融合的输电通道自动巡检方法 | |
| CN112904877A (zh) | 一种基于无人机的风机叶片自动巡检系统及方法 | |
| CN113298035A (zh) | 基于图像识别的无人机电力杆塔检测及自主巡航方法 | |
| CN208027170U (zh) | 一种电力巡线无人机及系统 | |
| CN108711172A (zh) | 基于细粒度分类的无人机识别与定位方法 | |
| CN117950422B (zh) | 一种无人机巡查系统及巡查方法 | |
| CN117456092A (zh) | 基于无人机航测的三维实景建模系统及方法 | |
| CN116978139A (zh) | 一种基于北斗技术的无人机智能巡检系统及方法 | |
| CN112947526A (zh) | 一种无人机自主降落方法和系统 | |
| CN109708659B (zh) | 一种分布式智能光电低空防护系统 | |
| CN116185054A (zh) | 基于微型激光雷达的无人机输电线路巡检方法及系统 | |
| CN118521923A (zh) | 基于边缘智能的无人机协同目标识别与定位方法及系统 | |
| LU504689B1 (en) | A leaf inspection system with automatic path recognition | |
| CN117873158A (zh) | 基于实景三维模型的无人机巡检复杂航线优化方法 | |
| CN118429834A (zh) | 一种基于巡检数据预测的无人机数据采集方法 | |
| Zhou et al. | Three dimensional fully autonomous inspection method for wind power employing unmanned aerial vehicle based on 5G wireless communication and artificial intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |