[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115546170A - 一种基于激光测距的风机叶片缺陷定位方法及系统 - Google Patents

一种基于激光测距的风机叶片缺陷定位方法及系统 Download PDF

Info

Publication number
CN115546170A
CN115546170A CN202211266982.XA CN202211266982A CN115546170A CN 115546170 A CN115546170 A CN 115546170A CN 202211266982 A CN202211266982 A CN 202211266982A CN 115546170 A CN115546170 A CN 115546170A
Authority
CN
China
Prior art keywords
fan blade
defect
picture
blade
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211266982.XA
Other languages
English (en)
Other versions
CN115546170B (zh
Inventor
韩梦婷
汪杨
郭鹏程
张翼龙
魏青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Windmagics Wuhan Co ltd
Original Assignee
Windmagics Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Windmagics Wuhan Co ltd filed Critical Windmagics Wuhan Co ltd
Priority to CN202211266982.XA priority Critical patent/CN115546170B/zh
Publication of CN115546170A publication Critical patent/CN115546170A/zh
Application granted granted Critical
Publication of CN115546170B publication Critical patent/CN115546170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图片处理领域，具体涉及一种基于激光测距的风机叶片缺陷定位方法及系统，方法包括，利用搭载有激光测距仪的云台相机的无人机拍摄图片；根据图片尺寸以及激光测距物距结合相机镜头参数计算出转换系数；对图片进行叶片轮廓识别并标定出中心十字参考线；在叶片轮廓识别的范围内识别缺陷；根据图片位置分类信息从中心十字参考线中识别出径向方向点和轴向方向点，基于中心十字参考线，根据转换系数、径向方向点以及轴向方向点标定出缺陷中心点在风机叶片中的相对位置；本发明先对叶片轮廓进行识别并自动标定参考线，再在叶片轮廓范围内进行缺陷识别，减少了复杂背景的干扰，提高缺陷定位精度，可以避免人工手动标记参考线的繁琐操作。

Description

一种基于激光测距的风机叶片缺陷定位方法及系统
技术领域
本发明涉及图片处理领域，具体涉及一种基于激光测距的风机叶片缺陷定位方法及系统。
背景技术
风力发电机的叶片运行进入中期后，在反复的疲劳载荷作用下，很多叶片开始出现局部开裂、分层等的问题，部分严重的就会发生断裂。如果我们能够及时发现这些缺陷，在缺陷没有扩展前进行有效修复，就可以避免大多数叶片断裂事故的发生。
目前无人机已越来越广泛的用于工业巡检领域，成为给能源行业的企业提供安全、高效的检查和数据收集的有效手段。无人机拍摄风机叶片的图片结合人工智能图片识别算法，就可以提高叶片检查的质量和效率，增加了风场运维的安全性。
现有的基于机器视觉对风机叶片缺陷进行图片识别的技术很多，但是很少有对缺陷进行定位。即使有少数关于缺陷的定位技术，但是其定位过程繁琐且及定位精度较低。
发明内容
本发明所要解决的技术问题是提供一种基于激光测距的风机叶片缺陷定位方法及系统，可以方便精确地定位出风机叶片中的缺陷。
本发明解决上述技术问题的技术方案如下：一种基于激光测距的风机叶片缺陷定位方法，包括以下步骤，
S1，利用搭载有相机的无人机沿着风机叶片的表面在叶根与叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；其中，所述相机为带有激光测距仪的云台相机；
S2，根据所述风机叶片图片组中风机叶片图片的图片尺寸以及激光测距物距参数，结合相机镜头参数，计算出所述风机叶片图片中每一像素对应的实际尺寸的转换系数；
S3，对所述风机叶片图片组中的风机叶片图片进行叶片轮廓识别，得到叶片轮廓的最小外接矩形，并在所述最小外接矩形中标定出中心十字参考线段；
S4，在叶片轮廓识别的范围内，对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片的缺陷中心点；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片，所述缺陷中心点为缺陷最小外接矩形的中心点；
S5，判断所述风机叶片的表面是为迎风面或背风面，还是为前缘面或后缘面；当所述风机叶片的表面为迎风面或背风面时，则执行S6和S7；当所述风机叶片的表面为前缘面或后缘面时，则执行S8；
S6，根据所述风机叶片图片的位置分类信息，从所述中心十字参考线段中识别出所述风机叶片图片的径向方向点和轴向方向点；
S7，基于所述中心十字参考线段，根据所述转换系数、所述径向方向点以及所述轴向方向点，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小；
S8，基于所述中心十字参考线段，根据所述转换系数，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小。
基于上述一种基于激光测距的风机叶片缺陷定位方法，本发明还提供一种基于激光测距的风机叶片缺陷定位系统。
一种基于激光测距的风机叶片缺陷定位系统，用于实现如上述所述的基于激光测距的风机叶片缺陷定位方法，包括如下模块，
图片拍摄模块，其用于利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；其中，所述相机为带有激光测距仪的云台相机；
转换系数计算模块，其用于根据所述风机叶片图片组中风机叶片图片的图片尺寸以及激光测距物距参数，结合相机镜头参数，计算出所述风机叶片图片中每一像素对应的实际尺寸的转换系数；
中心十字参考线段标定模块，其用于对所述风机叶片图片组中的风机叶片图片进行叶片轮廓识别，得到叶片轮廓的最小外接矩形，并在所述最小外接矩形中标定出中心十字参考线段；
缺陷识别模块，其用于在叶片轮廓识别的范围内，对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片的缺陷中心点；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片，所述缺陷中心点为缺陷最小外接矩形的中心点；
风机叶片表面位置判定模块，其用于判断所述风机叶片的表面是为迎风面或背风面，还是为前缘面或后缘面；
方向点识别模块，其用于当所述风机叶片的表面为前缘面或后缘面时，根据所述风机叶片图片的位置分类信息，从所述中心十字参考线段中识别出所述风机叶片图片的径向方向点和轴向方向点；
第一缺陷定位模块，其用于基于所述中心十字参考线段，根据所述转换系数、所述径向方向点以及所述轴向方向点，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小；
第二缺陷定位模块，其用于当所述风机叶片的表面为前缘面或后缘面时，基于所述中心十字参考线段，根据所述转换系数，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小。
本发明的有益效果是：本发明一种基于激光测距的风机叶片缺陷定位方法及系统先用语义分割模型对叶片轮廓进行识别，再在叶片轮廓范围内通过深度学习算法，识别风机叶片上的缺陷及不同类型，减少了复杂背景的干扰，增加了叶片缺陷识别的准确率，进而提高缺陷定位的精度；另外，通过自动识别的方式进行参考线的标定计算，在进行软件工具化的过程中可以避免人工手动标记参考线的繁琐操作；本发明的方法及系统可以对每一个缺陷在叶片上进行实际尺度定位和大小计算，然后进行可视化展示和生成自动化报告，有利于对风机叶片检查结果进行信息化跟踪管理。
附图说明
图1为本发明一种基于激光测距的风机叶片缺陷定位方法的流程图；
图2为相机镜头与图片所对应画幅之间的成像示意图；
图3为无人机对风机叶片巡检的路线图；
图4为风机叶片图片中叶片轮廓的最小外接矩形以及中心十字参考线段的实例图；
图5为风机叶片表面为迎风面或背风面时叶片轮廓的最小外接矩形以及中心十字参考线段的示意图；
图6为风机叶片表面为前缘面或后缘面时叶片轮廓的最小外接矩形以及中心十字参考线段的示意图；
图7为本发明一种基于激光测距的风机叶片缺陷定位系统的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于激光测距的风机叶片缺陷定位方法，包括以下步骤，
S1，利用搭载有相机的无人机沿着风机叶片的表面在叶根与叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；其中，所述相机为带有激光测距仪的云台相机；
S2，根据所述风机叶片图片组中风机叶片图片的图片尺寸以及激光测距物距参数，结合相机镜头参数，计算出所述风机叶片图片中每一像素对应的实际尺寸的转换系数；
S3，对所述风机叶片图片组中的风机叶片图片进行叶片轮廓识别，得到叶片轮廓的最小外接矩形，并在所述最小外接矩形中标定出中心十字参考线段；
S4，在叶片轮廓识别的范围内，对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片的缺陷中心点；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片，所述缺陷中心点为缺陷最小外接矩形的中心点；
S5，判断所述风机叶片的表面是为迎风面或背风面，还是为前缘面或后缘面；当所述风机叶片的表面为迎风面或背风面时，则执行S6和S7；当所述风机叶片的表面为前缘面或后缘面时，则执行S8；
S6，根据所述风机叶片图片的位置分类信息，从所述中心十字参考线段中识别出所述风机叶片图片的径向方向点和轴向方向点；
S7，基于所述中心十字参考线段，根据所述转换系数、所述径向方向点以及所述轴向方向点，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小；
S8，基于所述中心十字参考线段，根据所述转换系数，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小。
下面对各步骤进行具体解释说明：
在所述S1中：
带有激光测距仪的云台相机进行拍摄获得风机叶片图片的图片信息中带有激光测距物距参数ObjDis(单位为m)以及图片尺寸长度PixelLen(单位为pixel)；另外无人机搭载相机进行拍摄获得风机叶片图片的图片信息中还包括无人机的GPS坐标。
在一架风机中有三支风机叶片，而每支风机叶片的表面包括迎风面PS、背风面SS、前缘面LE和后缘面TE这四个面；在本发明中，无人机沿着风机叶片的表面在飞行是指沿着迎风面PS或背风面SS或前缘面LE或后缘面TE飞行。
在所述S2中：
所述相机镜头参数包括相机镜头的成像平面长度ImgLen(单位为mm)以及焦距FocalLen(单位为mm)。
假设风机叶片图片所对应画幅的实际尺寸为ActualLen(单位为m)，由如图2所示的相似三角形定理可知：
Figure BDA0003893457110000061
由此可以得到风机叶片图片所对应画幅的实际尺寸ActualLen，即：
Figure BDA0003893457110000062
而风机叶片图片中每一像素对应的实际尺寸的转换系数k为：
Figure BDA0003893457110000063
将
Figure BDA0003893457110000064
代入
Figure BDA0003893457110000065
中，可得：
Figure BDA0003893457110000066
其中，k为所述转换系数，所述转换系数的单位为m/pixel，ObjDis为所述风机叶片图片的激光测距物距参数，ImgLen为相机镜头的成像平面长度，FocalLen为相机镜头的焦距，PixelLen为风机叶片图片的图片尺寸长度。
在所述S3中：
所述S3具体为，
S31，利用基于ppliteseg的语义分割模型对所述风机叶片图片组中的风机叶片图片进行叶片轮廓识别，得到mask掩码图片；
S32，对所述mask掩码图片依次进行灰度化处理、二值化处理以及形态学操作，得到形态学操作图片；
S33，将所述形态学操作图片中面积最大的闭合区域作为叶片轮廓的多边形区域，并计算出所述多边形区域的最小外接矩形，则所述多边形区域的最小外接矩形即为叶片轮廓的最小外接矩形；
S34，选取叶片轮廓最小外接矩形四个边的中点，并将叶片轮廓最小外接矩形的两组相对边的中点作为端点进行连线，得到所述中心十字参考线段。
在所述S4中：
所述S4具体为，
S41，在所述风机叶片图片中完成叶片轮廓的语义分割后得到的mask掩码图片中，取所述mask掩码图片的叶片轮廓的mask掩码与所述风机叶片图片进行按位与运算，得到过滤背景之后的风机叶片图片；
S42，利用基于Mask R-CNN的深度神经网络，对所述风机叶片图片组中过滤背景之后的风机叶片图片进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片的缺陷中心点。
在完成叶片轮廓的语义分割后，取叶片轮廓的mask掩码与原始图片进行按位与运算，得到过滤背景之后的图片。在此基础上再进行缺陷的实例分割，会过滤背景的干扰，大大增加了识别的准确度。
Mask R-CNN是一个两阶段的检测器，第一个阶段扫描图片生成有可能包含一个目标的区域，第二阶段分类上述区域并生成边界框和掩码。基于MaskR-CNN的深度神经网络模型对叶片上的缺陷进行分类识别。通过大量图片训练不同的缺陷标记，可以准确识别出叶片上不同类别的缺陷。
Mask R-CNN主要由FPN+ResNet组成，增加了RoIAlign模块。整个检测流程是首先输入需要检测和分割的图片。将图片输入CNN特征提取网络得到特征图，对特征图的每一个像素位置设定固定个数的ROI，然后将ROI区域输入RPN网络进行二分类(前景和背景)以及坐标回归，以获得精炼后的ROI区域。对此ROI区域直线ROIAlign操作，即先将原图和特征图的像素对应起来，然后将特征图和固定大小的特征对应起来。最后对这些ROI区域进行多类别分类，候选框回归和引入FCN生成Mask，完成实例分割任务。
在所述S5中：
在风机叶片的PS面和SS面中，缺陷在叶片上的位置为二维信息表示，分为轴向信息和径向信息，比如用缺陷中心点至前缘距离以及缺陷中心点至叶尖距离来表示，还可用缺陷中心点至前缘距离以及缺陷中心点至叶根距离来表示，还可用缺陷中心点至后缘距离以及缺陷中心点至叶尖距离来表示，还可以用缺陷中心点至后缘距离以及缺陷中心点至叶跟距离来表示。在LE面和TE面中，缺陷在叶片中的径向位置固定，则只需用轴向位置表示，比如用缺陷中心点至叶尖距离来表示，还可以用缺陷中心点至叶根距离来表示。进一步的，在LE面中缺陷径向至前缘的距离比例为0，在TE面中缺陷径向至前缘的距离比例为1。需要说明的是：缺陷中心点至前缘距离与缺陷中心点至后缘距离的本质相同，缺陷中心点至叶根距离与缺陷中心点至叶尖距离的本质相同。
因此，在对缺陷进行定位计算的过程中，需要分辨出风机叶片图片是风机叶片哪个面的图片；而无人机根据预先设定好的航线拍摄风机叶片时，根据航线可以知晓当前拍摄的是哪一支风机叶片的哪一面。针对不同面的风机叶片图片，其缺陷的定位方法也不相同。当所述风机叶片的表面为迎风面或背风面时，则采用S6和S7记载的方法进行缺陷定位；当所述风机叶片的表面为前缘面或后缘面时，则采用S8记载的方法进行缺陷定位。
在所述S6中：
所述S6具体为，
S61，计算所述中心十字参考线段中的两条参考线段分别与图片坐标系X轴正方向之间的夹角，得到两个参考夹角；
S62，将与预设夹角更为接近的一个参考夹角所对应的参考线段作为轴向参考线段，则另一参考夹角所对应的参考线段作为径向参考线段；其中，所述预设夹角为风机叶片表面轴向与图片坐标系X轴正方向之间的固有夹角；
S63，根据所述风机叶片图片的位置分类信息，从所述轴向参考线段的两个端点以及所述径向参考线段的两个端点中识别出所述风机叶片图片的径向方向点和轴向方向点。
其中，在径向参考线段的两个端点中，其中一个端点为前缘方向点，另一个端点为后缘方向点，前缘方向点和后缘方向点统称为径向方向点；在轴向参考线段的两个端点中，其中一个端点为叶尖方向点，另一个端点为叶根方向点。叶尖方向点和叶根方向点统称为轴向方向点。
下面结合图3和图4对所述S6进一步的解释说明：
无人机对风机叶片巡检的路线固定如图3所示，其中的箭头代表无人机的巡检路线；风机叶片分为N1、N2、N3三支风机叶片，每支风机叶片有四个面，分别为迎风面PS、背风面SS、前缘面LE、后缘面TE。风机叶片图片的位置分类信息即为某支风机叶片的某个面，例如：风机叶片N1的PS面。无人机在预设固定飞行路径下拍摄风机叶片图片时，在图片坐标系中，每支风机叶片的每个面中风机叶片轴向与X轴正方向的夹角有一个已知的默认值θ，该默认值θ为风机叶片表面轴向与图片坐标系X轴正方向之间的固有夹角。
图4为风机叶片图片中叶片轮廓的最小外接矩形以及中心十字参考线段的实例图；图4中，叶片轮廓的最小外接矩形四个边的中点为ABCD，中心十字参考线段即为十字交叉的参考线段AB和参考线段CD，通过点在图片坐标系中的坐标，计算参考线段AB和参考线段CD与X轴正方向的参考夹角分别为α和β，α和β中与θ更接近的值所对应的参考线段边即为轴向参考线段，那么，另一参考线段为径向参考线段(图4中参考线段AB为径向参考线段，参考线段CD为轴向参考线段)。其中，在图片坐标系中，左上角为坐标系原点，水平向右为X轴正向，垂直向下为Y轴正方向。
在确定了风机叶片图片上叶片轮廓的最小外接矩形中径向参考线段和轴向参考线段后，由于风机叶片图片的位置分类是已知信息(风机叶片分为N1、N2、N3三支叶片，每支叶片拍摄4个面，为迎风面PS、背风面SS、前缘面LE、后缘面TE)；那么，可以根据所述轴向参考线段的两个端点C、D以及所述径向参考线段的两个端点A、B的坐标判断出径向方向点(包括前缘方向点和后缘方向点)以及轴向方向点(叶根方向点和叶尖方向点)，其判断方法如下：
1.在位置分类为"叶片N1-SS面"、"叶片N2-PS面"、"叶片N3-PS面"的风机叶片图片中，径向参考线段的两个端点A、B在图片坐标系中的横坐标较小的端点为径向方向点，那么另一个端点为后缘方向点；
2.在位置分类为"叶片N1-PS面"、"叶片N2-SS面"、"叶片N3-SS面"的风机叶片图片中，径向参考线段的两个端点A、B在图片坐标系中的横坐标较大的端点为径向方向点，那么另一个端点为后缘方向点。
3.在位置分类为“叶片N1-SS面”、“叶片N1-PS面”的风机叶片图片中，轴向参考线段的两个端点C、D在图片坐标系中的纵坐标较小的端点为轴向方向点，那么另一个端点为叶根方向点；
4.在位置分类为“叶片N2-PS面”、“叶片N2-SS面”、“叶片N3-SS面”、“叶片N3-PS面”的风机叶片图片中，轴向参考线段的两个端点C、D在图片坐标系中的纵坐标较大的端点为轴向方向点，那么另一个端点为叶根方向点。
在所述S7中：
在迎风面或背风面中，本实施例以缺陷中心点至前缘距离以及缺陷中心点至叶尖距离来表示缺陷在叶片上的位置为二维信息(二维信息包括径向信息和轴向信息)。
图5为风机叶片表面为迎风面或背风面时叶片轮廓的最小外接矩形以及中心十字参考线段的示意图；图5中，点B为前缘方向点，点A为后缘方向点，点C为叶根方向点，点D为叶尖方向点。
在图片坐标系中，左上角为坐标系原点，水平向右为X轴正向，垂直向下为Y轴正方向。在标定出叶片轮廓的最小外接矩形以及中心十字参考线段后，可得到前缘方向点的图片坐标系坐标B(xle,yle)、后缘方向点的图片坐标系坐标A(xte,yte)、参考线段AB(径向参考线段)中点O的图片坐标系坐标O(xmid,ymid)、叶根方向点的图片坐标系坐标C(xroot,yroot)以及叶尖方向点的图片坐标系坐标D(xtip,ytip)，则参考线段AB所在直线L1的斜率aAB以及方程为，
Figure BDA0003893457110000111
进一步可以得到参考线段CD所在直线L2的斜率aCD以及方程为，
Figure BDA0003893457110000112
经缺陷识别，假设缺陷中心点为点E，且缺陷中心点的图片坐标系坐标为E(x0,y0)，过前缘方向点B作直线L2的平行线L3，将平行线L3作为叶片前缘的边界线，则平行线L3的直线方程为L3:y＝aCD*x+yle-aCD*xle。
根据点到直线距离公式可求得缺陷中心点E到直线L1(径向参考线段)的距离dy以及缺陷中心点E到平行线L3的距离dx。
将缺陷中心点E和叶尖方向点D的横坐标分别代入直线L1的方程，得到side_E＝aAB*x0-y0+ymid-aAB*xmid和side_D＝aAB*xtip-ytip+ymid-aAB*xmid；
若side_E*side_D＜0，则说明缺陷中心点E与叶尖方向点D相对于直线L1异侧，则缺陷中心点E至叶根的距离比例为，
Figure BDA0003893457110000121
若side_E*side_D≥0，则说明缺陷中心点E与叶尖方向点D相对于直线L1同侧，则缺陷中心点E至叶根的距离比例为，
Figure BDA0003893457110000122
其中，ScaleRoot为缺陷中心点E至叶根的距离比例，GPS_P为所述无人机拍摄叶根处风机叶片图片时的GPS坐标与拍摄所述缺陷风机叶片图片时的GPS坐标之间在大地坐标系下的空间距离，dy为缺陷中心点E到直线L1之间的距离，k为所述转换系数，BladeLength为叶片长度。
缺陷中心点E至前缘的距离比例为，
Figure BDA0003893457110000123
其中，ScaleFront为所述缺陷中心点E至前缘的距离比例，dx为缺陷中心点E到平行线L3之间的距离，dAB为所述径向参考线段的长度，且
Figure BDA0003893457110000124
根据缺陷中心点E至前缘的距离比例以及缺陷中心点E至叶尖的距离比例，在所述风机叶片中标注出所述缺陷风机叶片图片中缺陷中心点的坐标，该坐标为二维坐标。
需要说明的是：在其他本实施例，还可以用以缺陷中心点至后缘距离来表示缺陷在叶片上的径向信息，用缺陷中心点至叶尖距离来表示缺陷在叶片上的轴向信息。
缺陷中心点至后缘距离来表示缺陷在叶片上的径向信息时，其计算方法参考缺陷中心点至前缘距离的计算过程，只是需要将“过前缘方向点B作直线L2的平行线”换成“过后缘方向点A作直线L2的平行线L3”，那么该平行线L3就是叶片后缘的边界线。
缺陷中心点至叶尖距离来表示缺陷在叶片上的轴向信息时，其计算方法参考缺陷中心点至叶根距离的计算过程，只需将上述的GPS_P替换为所述无人机拍摄叶尖处风机叶片图片时的GPS坐标与拍摄所述缺陷风机叶片图片时的GPS坐标之间在大地坐标系下的空间距离。
在所述S8中：
图6为风机叶片表面为前缘面或后缘面时叶片轮廓的最小外接矩形以及中心十字参考线段的示意图。在所述缺陷风机叶片图片中，取中心十字参考线段交点O(xmid,ymid)，则中心十字参考线段交点即为参考线段AB(径向参考线段)的中点；计算出所述缺陷中心点E(x0,y0)与中心十字参考线段交点O(xmid,ymid)之间的图片像素距离d。
基于所述转换系数k，根据所述缺陷中心点与中心十字参考线段交点之间的图片像素距离d，计算出所述缺陷中心点E与中心十字参考线段交点之间的实际空间距离d*k。
无人机在拍摄风机三支风机叶片的前缘面和后缘面时，无人机朝向均垂直面对于叶轮面，则想要求出风机叶片图片上缺陷中心点E的GPS坐标，已知任意两点之间连线的水平方向与正北方向的夹角以及两点之间的空间距离，就可以进行近似计算得到缺陷中心点E的GPS坐标。因此，计算出所述缺陷中心点E与中心十字参考线段交点O之间连线的水平方向与正北方向的夹角，并结合所述缺陷中心点与中心十字参考线段交点之间的实际空间距离，计算出所述缺陷中心点在风机叶片中的GPS坐标。
计算所述缺陷中心点E在风机叶片中的GPS坐标的方法如下：
在大地坐标系下，将所述缺陷中心点E与中心十字参考线段交点O作为选取的两个点，已知下述参数：中心十字参考线段交点O的GPS坐标(B1,L1,H1)、无人机在中心十字参考线段交点O处的方位角N、中心十字参考线段交点O到缺陷中心点E之间的向量与无人机拍摄所述缺陷风机叶片图片时无人机机头朝向之间的夹角α、所述缺陷中心点与中心十字参考线段交点之间的实际空间距离在水平方向上的分量hdis、所述缺陷中心点与中心十字参考线段交点之间的实际空间距离在垂直方向上的分量vdis和地球平均半径ARC，可求所述缺陷中心点E的GPS坐标(B2,L2,H2)，所述缺陷中心点E的GPS坐标(B2,L2,H2)的计算公式为：(B2,L2,H2)＝fGPS{(B1,L1,H1),N+α,hdis,vdis}；其中，fGPS为GPS坐标计算函数；所述缺陷中心点E的GPS坐标(B2,L2,H2)的计算公式可表示为：
B2＝B1+hdis*cos(N+α)/(ARC*2π/360)，
L2＝L1+hdis*sin(N+α)/(ARC*cos(B1)*2π/360)，
H2＝H1+vdis；
具体的：
B2、L2和H2分别为所述缺陷中心点在风机叶片中的GPS坐标的纬度、经度和高程；
B1、L1和H1分别为所述中心十字参考线段交点在风机叶片中的GPS坐标的纬度、经度和高程；具体的，所述中心十字参考线段交点在风机叶片中的GPS坐标为无人机拍摄所述缺陷风机叶片图片时的GPS坐标；
hdis为所述缺陷中心点与中心十字参考线段交点之间的实际空间距离在水平方向上的分量；
vdis为所述缺陷中心点与中心十字参考线段交点之间的实际空间距离在垂直方向上的分量；
ARC为地球平均半径；
N为无人机在所述中心十字参考线段交点处的方位角；具体的，无人机在所述中心十字参考线段交点处的方位角为无人机拍摄所述缺陷风机叶片图片时无人机机头朝向与正北方向之间的夹角，N的取值范围为[-180,180)，正北是0°；所述缺陷中心点与中心十字参考线段交点之间连线的水平方向与正北方向的夹角即为无人机在所述中心十字参考线段交点处的方位角N；
α为所述中心十字参考线段交点到所述缺陷中心点的向量与无人机拍摄所述缺陷风机叶片图片时无人机机头朝向之间的夹角。
在计算出所述缺陷中心点E的GPS坐标后，即可进行缺陷的标定，例如利用参考缺陷中心点至叶尖距离来标定缺陷在前缘面或后缘面中的轴向信息，具体标定过程如下：
获取无人机在叶尖处拍摄风机叶片图片的GPS坐标；
计算出所述缺陷中心点在风机叶片中的GPS坐标与无人机在叶尖处拍摄风机叶片图片的GPS坐标之间的空间距离，根据所述缺陷中心点在风机叶片中的GPS坐标与无人机在叶尖处拍摄风机叶片图片时的GPS坐标之间的空间距离，在所述风机叶片中标注出所述缺陷中心点的坐标。
在其他实施例中，还可以利用参考缺陷中心点至叶根距离来标定缺陷在前缘面或后缘面中的轴向信息，具体标定过程如下：
计算出所述缺陷中心点在风机叶片中的GPS坐标与无人机在叶根处拍摄风机叶片图片的GPS坐标之间的空间距离，根据所述缺陷中心点在风机叶片中的GPS坐标与无人机在叶根处拍摄风机叶片图片时的GPS坐标之间的空间距离，在所述风机叶片中标注出所述缺陷中心点的坐标。
在本发明中，缺陷定位还包括对缺陷实际尺寸的计算，缺陷实际尺寸的计算方法为：根据所述缺陷最小外接矩形的尺寸以及所述转换系数，计算出所述缺陷风机叶片图片中的缺陷在所述风机叶片中的实际尺寸；
其中，最小外接矩形的长为w，宽为h，面积为area＝w*h；那么，缺陷在所述风机叶片中实际尺寸的长为k*w，宽为k*h，面积为k2*area。
基于上述一种基于激光测距的风机叶片缺陷定位方法，本发明还提供一种基于激光测距的风机叶片缺陷定位系统。
如图7所示，一种基于激光测距的风机叶片缺陷定位系统，用于实现上述所述的基于激光测距的风机叶片缺陷定位方法，包括如下模块，
图片拍摄模块，其用于利用搭载有相机的无人机沿着风机叶片的表面在叶根与叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；其中，所述相机为带有激光测距仪的云台相机；
转换系数计算模块，其用于根据所述风机叶片图片组中风机叶片图片的图片尺寸以及激光测距物距参数，结合相机镜头参数，计算出所述风机叶片图片中每一像素对应的实际尺寸的转换系数；
中心十字参考线段标定模块，其用于对所述风机叶片图片组中的风机叶片图片进行叶片轮廓识别，得到叶片轮廓的最小外接矩形，并在所述最小外接矩形中标定出中心十字参考线段；
缺陷识别模块，其用于在叶片轮廓识别的范围内，对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片的缺陷中心点；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片，所述缺陷中心点为缺陷最小外接矩形的中心点；
风机叶片表面位置判定模块，其用于判断所述风机叶片的表面是为迎风面或背风面，还是为前缘面或后缘面；
方向点识别模块，其用于当所述风机叶片的表面为前缘面或后缘面时，根据所述风机叶片图片的位置分类信息，从所述中心十字参考线段中识别出所述风机叶片图片的径向方向点和轴向方向点；
第一缺陷定位模块，其用于基于所述中心十字参考线段，根据所述转换系数、所述径向方向点以及所述轴向方向点，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小；
第二缺陷定位模块，其用于当所述风机叶片的表面为前缘面或后缘面时，基于所述中心十字参考线段，根据所述转换系数，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小。
在本发明一种基于激光测距的风机叶片缺陷定位系统中，各模块的具体功能参见本发明一种基于激光测距的风机叶片缺陷定位方法的对应步骤，在此不在赘述。
本发明一种基于激光测距的风机叶片缺陷定位方法及系统先用语义分割模型对叶片轮廓进行识别，再在叶片轮廓范围内通过深度学习算法，识别风机叶片上的缺陷及不同类型，减少了复杂背景的干扰，增加了叶片缺陷识别的准确率，进而提高缺陷定位的精度；另外，通过自动识别的方式进行参考线的标定计算，在进行软件工具化的过程中可以避免人工手动标记参考线的繁琐操作；本发明的方法及系统可以对每一个缺陷在叶片上进行实际尺度定位和大小计算，然后进行可视化展示和生成自动化报告，有利于对风机叶片检查结果进行信息化跟踪管理。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于激光测距的风机叶片缺陷定位方法，其特征在于：包括以下步骤，
S1，利用搭载有相机的无人机沿着风机叶片的表面在叶根与叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；其中，所述相机为带有激光测距仪的云台相机；
S2，根据所述风机叶片图片组中风机叶片图片的图片尺寸以及激光测距物距参数，结合相机镜头参数，计算出所述风机叶片图片中每一像素对应的实际尺寸的转换系数；
S3，对所述风机叶片图片组中的风机叶片图片进行叶片轮廓识别，得到叶片轮廓的最小外接矩形，并在所述最小外接矩形中标定出中心十字参考线段；
S4，在叶片轮廓识别的范围内，对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片的缺陷中心点；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片，所述缺陷中心点为缺陷最小外接矩形的中心点；
S5，判断所述风机叶片的表面是为迎风面或背风面，还是为前缘面或后缘面；当所述风机叶片的表面为迎风面或背风面时，则执行S6和S7；当所述风机叶片的表面为前缘面或后缘面时，则执行S8；
S6，根据所述风机叶片图片的位置分类信息，从所述中心十字参考线段中识别出所述风机叶片图片的径向方向点和轴向方向点；
S7，基于所述中心十字参考线段，根据所述转换系数、所述径向方向点以及所述轴向方向点，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小；
S8，基于所述中心十字参考线段，根据所述转换系数，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小。
2.根据权利要求1所述的基于激光测距的风机叶片缺陷定位方法，其特征在于：在所述S2中，所述相机镜头参数包括相机镜头的成像平面长度以及焦距；所述转换系数具体为，
Figure FDA0003893457100000021
其中，k为所述转换系数，ObjDis为所述风机叶片图片的激光测距物距参数，ImgLen为相机镜头的成像平面长度，FocalLen为相机镜头的焦距，PixelLen为风机叶片图片的图片尺寸长度。
3.根据权利要求1所述的基于激光测距的风机叶片缺陷定位方法，其特征在于：所述S3具体为，
S31，利用语义分割模型对所述风机叶片图片组中的风机叶片图片进行叶片轮廓识别，得到mask掩码图片；
S32，对所述mask掩码图片依次进行灰度化处理、二值化处理以及形态学操作，得到形态学操作图片；
S33，将所述形态学操作图片中面积最大的闭合区域作为叶片轮廓的多边形区域，并计算出所述多边形区域的最小外接矩形，则所述多边形区域的最小外接矩形即为叶片轮廓的最小外接矩形；
S34，选取叶片轮廓最小外接矩形四个边的中点，并将叶片轮廓最小外接矩形的两组相对边的中点作为端点进行连线，得到所述中心十字参考线段。
4.根据权利要求1所述的基于激光测距的风机叶片缺陷定位方法，其特征在于：所述S4具体为，
S41，在所述风机叶片图片中完成叶片轮廓的语义分割后得到的mask掩码图片中，取所述mask掩码图片的叶片轮廓的mask掩码与所述风机叶片图片进行按位与运算，得到过滤背景之后的风机叶片图片；
S42，利用深度神经网络，对所述风机叶片图片组中过滤背景之后的风机叶片图片进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片的缺陷中心点。
5.根据权利要求3所述的基于激光测距的风机叶片缺陷定位方法，其特征在于：所述S6具体为，
S61，计算所述中心十字参考线段中的两条参考线段分别与图片坐标系X轴正方向之间的夹角，得到两个参考夹角；
S62，将与预设夹角更为接近的一个参考夹角所对应的参考线段作为轴向参考线段，则另一参考夹角所对应的参考线段作为径向参考线段；其中，所述预设夹角为无人机在预设固定飞行路径下拍摄的风机叶片图片中风机叶片表面轴向与图片坐标系X轴正方向之间的固有夹角；
S63，根据所述风机叶片图片的位置分类信息，从所述轴向参考线段的两个端点以及所述径向参考线段的两个端点中识别出所述风机叶片图片的径向方向点和轴向方向点。
6.根据权利要求5所述的基于激光测距的风机叶片缺陷定位方法，其特征在于：所述S7具体为，
在所述缺陷风机叶片图片中，计算出所述缺陷中心点到所述径向参考线段之间的距离；基于所述轴向方向点、所述转换系数以及所述缺陷中心点到所述径向参考线段之间的距离，计算出所述缺陷中心点至叶片轴向端点的距离比例；
在所述缺陷风机叶片图片中，过所述径向方向点作所述轴向参考线段的平行线，且计算出所述缺陷中心点到所述平行线之间的距离；根据所述径向参考线段的长度以及所述缺陷中心点到所述平行线之间的距离，计算出所述缺陷中心点至叶片径向边缘的距离比例；
根据所述缺陷中心点至叶片轴向端点的距离比例以及所述缺陷中心点至叶片径向边缘的距离比例，在所述风机叶片中标注出所述缺陷中心点的坐标；
根据所述缺陷最小外接矩形的尺寸以及所述转换系数，计算出所述缺陷风机叶片图片中的缺陷在所述风机叶片中的实际尺寸；
其中，当所述轴向方向点为叶尖方向点时，所述叶片轴向端点具体为叶尖；当所述轴向方向点为叶根方向点时，所述叶片轴向端点具体为叶根；当所述径向方向点为前缘方向点时，所述叶片径向边缘具体为叶片前缘；当所述径向方向点为后缘方向点时，所述叶片径向边缘具体为叶片后缘。
7.根据权利要求6所述的基于激光测距的风机叶片缺陷定位方法，其特征在于：所述缺陷中心点至叶片径向边缘的距离比例具体为，
Figure FDA0003893457100000041
其中，ScaleFront为所述缺陷中心点至叶片径向边缘的距离比例，dx为所述缺陷中心点到所述平行线之间的距离，dAB为所述径向参考线段的长度；
当所述缺陷中心点与所述轴向方向点相对于所述径向参考线段异侧时，则所述缺陷中心点至叶片轴向端点的距离比例为，
Figure FDA0003893457100000042
当所述缺陷中心点与所述轴向方向点相对于所述径向参考线段同侧时，所述缺陷中心点至叶片轴向端点的距离比例为，
Figure FDA0003893457100000043
其中，ScaleRoot为所述缺陷中心点至叶片轴向端点的距离比例，dy为所述缺陷中心点到所述径向参考线段之间的距离，k为所述转换系数，BladeLength为叶片长度，GPS_P为所述无人机拍摄叶片轴向端点处风机叶片图片时的GPS坐标与拍摄所述缺陷风机叶片图片时的GPS坐标之间在大地坐标系下的空间距离。
8.根据权利要求1所述的基于激光测距的风机叶片缺陷定位方法，其特征在于：所述S8具体为，
在所述缺陷风机叶片图片中，计算出所述缺陷中心点与中心十字参考线段交点之间的图片像素距离；
基于所述转换系数，根据所述缺陷中心点与中心十字参考线段交点之间的图片像素距离，计算出所述缺陷中心点与中心十字参考线段交点之间的实际空间距离；
计算出所述缺陷中心点与中心十字参考线段交点之间连线的水平方向与正北方向的夹角，并结合所述缺陷中心点与中心十字参考线段交点之间的实际空间距离，计算出所述缺陷中心点在风机叶片中的GPS坐标；
计算出所述缺陷中心点在风机叶片中的GPS坐标与无人机在叶片轴向端点处拍摄风机叶片图片的GPS坐标之间的空间距离，根据所述缺陷中心点在风机叶片中的GPS坐标与无人机在叶片轴向端点处拍摄风机叶片图片时的GPS坐标之间的空间距离，在所述风机叶片中标注出所述缺陷中心点的坐标；
根据所述缺陷最小外接矩形的尺寸以及所述转换系数，计算出所述缺陷风机叶片图片中的缺陷在所述风机叶片中的实际尺寸。
9.根据权利要求8所述的基于激光测距的风机叶片缺陷定位方法，其特征在于：所述缺陷中心点在风机叶片中的GPS坐标具体为，
B2＝B1+hdis*cos(N+α)/(ARC*2π/360)，
L2＝L1+hdis*sin(N+α)/(ARC*cos(B1)*2π/360)，
H2＝H1+vdis；
其中，B2、L2和H2分别为所述缺陷中心点在风机叶片中的GPS坐标的纬度、经度和高程；
B1、L1和H1分别为所述中心十字参考线段交点在风机叶片中的GPS坐标的纬度、经度和高程；具体的，所述中心十字参考线段交点在风机叶片中的GPS坐标为无人机拍摄所述缺陷风机叶片图片时的GPS坐标；
hdis为所述缺陷中心点与中心十字参考线段交点之间的实际空间距离在水平方向上的分量；
vdis为所述缺陷中心点与中心十字参考线段交点之间的实际空间距离在垂直方向上的分量；
ARC为地球平均半径；
N为无人机在所述中心十字参考线段交点处的方位角；具体的，无人机在所述中心十字参考线段交点处的方位角为无人机拍摄所述缺陷风机叶片图片时无人机机头朝向与正北方向之间的夹角，亦即为所述缺陷中心点与中心十字参考线段交点之间连线的水平方向与正北方向的夹角；
α为所述中心十字参考线段交点到所述缺陷中心点的向量与无人机拍摄所述缺陷风机叶片图片时无人机机头朝向之间的夹角。
10.一种基于激光测距的风机叶片缺陷定位系统，其特征在于：用于实现如权利要求1至9任一项所述的基于激光测距的风机叶片缺陷定位方法，包括如下模块，
图片拍摄模块，其用于利用搭载有相机的无人机沿着风机叶片的表面在叶根与叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；其中，所述相机为带有激光测距仪的云台相机；
转换系数计算模块，其用于根据所述风机叶片图片组中风机叶片图片的图片尺寸以及激光测距物距参数，结合相机镜头参数，计算出所述风机叶片图片中每一像素对应的实际尺寸的转换系数；
中心十字参考线段标定模块，其用于对所述风机叶片图片组中的风机叶片图片进行叶片轮廓识别，得到叶片轮廓的最小外接矩形，并在所述最小外接矩形中标定出中心十字参考线段；
缺陷识别模块，其用于在叶片轮廓识别的范围内，对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片的缺陷中心点；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片，所述缺陷中心点为缺陷最小外接矩形的中心点；
风机叶片表面位置判定模块，其用于判断所述风机叶片的表面是为迎风面或背风面，还是为前缘面或后缘面；
方向点识别模块，其用于当所述风机叶片的表面为前缘面或后缘面时，根据所述风机叶片图片的位置分类信息，从所述中心十字参考线段中识别出所述风机叶片图片的径向方向点和轴向方向点；
第一缺陷定位模块，其用于基于所述中心十字参考线段，根据所述转换系数、所述径向方向点以及所述轴向方向点，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小；
第二缺陷定位模块，其用于当所述风机叶片的表面为前缘面或后缘面时，基于所述中心十字参考线段，根据所述转换系数，计算出所述缺陷风机叶片图片中缺陷中心点在风机叶片中的相对位置以及缺陷尺寸大小。
CN202211266982.XA 2022-10-17 2022-10-17 一种基于激光测距的风机叶片缺陷定位方法及系统 Active CN115546170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211266982.XA CN115546170B (zh) 2022-10-17 2022-10-17 一种基于激光测距的风机叶片缺陷定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211266982.XA CN115546170B (zh) 2022-10-17 2022-10-17 一种基于激光测距的风机叶片缺陷定位方法及系统

Publications (2)

Publication Number Publication Date
CN115546170A true CN115546170A (zh) 2022-12-30
CN115546170B CN115546170B (zh) 2023-04-21

Family

ID=84735191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211266982.XA Active CN115546170B (zh) 2022-10-17 2022-10-17 一种基于激光测距的风机叶片缺陷定位方法及系统

Country Status (1)

Country Link
CN (1) CN115546170B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115951718A (zh) * 2023-03-14 2023-04-11 风脉能源（武汉）股份有限公司 基于无人机的风机叶片巡检局部动态路径规划方法及系统
CN116206094A (zh) * 2023-04-28 2023-06-02 尚特杰电力科技有限公司 风机扇叶角度测量方法、装置、系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110044964A (zh) * 2019-04-25 2019-07-23 湖南科技大学 基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法
CN111260615A (zh) * 2020-01-13 2020-06-09 重庆交通大学 基于激光和机器视觉融合的无人机桥梁表观病害检测方法
CN111998832A (zh) * 2020-08-12 2020-11-27 河北雷神科技有限公司 一种基于激光点云的利用无人机准确定位目标物的巡检方法
US20200402220A1 (en) * 2019-06-24 2020-12-24 Inner Mongolia University Of Technology On-line real-time diagnosis system and method for wind turbine blade (wtb) damage
CN114020033A (zh) * 2021-11-25 2022-02-08 苏州热工研究院有限公司 一种基于风力发电机组叶片的无人机检测系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110044964A (zh) * 2019-04-25 2019-07-23 湖南科技大学 基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法
US20200402220A1 (en) * 2019-06-24 2020-12-24 Inner Mongolia University Of Technology On-line real-time diagnosis system and method for wind turbine blade (wtb) damage
CN111260615A (zh) * 2020-01-13 2020-06-09 重庆交通大学 基于激光和机器视觉融合的无人机桥梁表观病害检测方法
CN111998832A (zh) * 2020-08-12 2020-11-27 河北雷神科技有限公司 一种基于激光点云的利用无人机准确定位目标物的巡检方法
CN114020033A (zh) * 2021-11-25 2022-02-08 苏州热工研究院有限公司 一种基于风力发电机组叶片的无人机检测系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LONG WANG 等: "Automatic Detection of Wind Turbine Blade Surface Cracks Based on UAV-Taken Images" *
张艳峰: "风力发电机叶片缺陷智能图像识别技术研究" *
李禹桥: "基于旋翼无人机的风电叶片自主巡检系统研究" *
王孝余 等: "基于视觉的绝缘子缺陷检测方法" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115951718A (zh) * 2023-03-14 2023-04-11 风脉能源（武汉）股份有限公司 基于无人机的风机叶片巡检局部动态路径规划方法及系统
CN115951718B (zh) * 2023-03-14 2023-05-09 风脉能源（武汉）股份有限公司 基于无人机的风机叶片巡检局部动态路径规划方法及系统
CN116206094A (zh) * 2023-04-28 2023-06-02 尚特杰电力科技有限公司 风机扇叶角度测量方法、装置、系统及电子设备

Also Published As

Publication number Publication date
CN115546170B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN113744270A (zh) 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN105302151B (zh) 一种飞机入坞引导和机型识别的系统及方法
CN105067638B (zh) 基于机器视觉的轮胎胎膜表面字符缺陷检测方法
EP3196853A1 (en) Machine vision-based method and system for aircraft docking guidance and aircraft type identification
CN115546170B (zh) 一种基于激光测距的风机叶片缺陷定位方法及系统
EP3876189A1 (en) Geographic object detection device, geographic object detection method, and geographic object detection program
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
CN110807355A (zh) 一种基于移动机器人的指针仪表检测与读数识别方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN112883986B (zh) 一种复杂背景下的静态红外靶灯识别方法
WO2020019648A1 (zh) 一种机器视觉定位方法
CN113643371B (zh) 一种飞行器模型表面标记点的定位方法
CN114998308A (zh) 一种基于光度立体的缺陷检测方法及系统
CN111709994B (zh) 一种自主无人机视觉探测与引导系统及方法
CN114299247B (zh) 道路交通标志标线快速检测与问题排查方法
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN107588723A (zh) 一种基于两步法的高速动目标上圆形标记漏点检测方法
CN104460505A (zh) 工业机器人相对位姿估计方法
CN116468933A (zh) 一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法
CN110243311A (zh) 一种基于视觉的高精度动态转角测量系统及方法
CN112598066A (zh) 一种基于机器视觉的轻量化道路路面检测方法及系统
CN112085694B (zh) 一种人工智能自动巡检风能风机叶片系统
CN112147602B (zh) 一种基于激光点云的路沿识别方法及系统
CN105718929B (zh) 全天候未知环境下高精度快速圆形目标定位方法和系统
CN113688819B (zh) 一种基于标记点的目标物期望点跟踪匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and system for locating defects in wind turbine blades based on laser ranging

Granted publication date: 20230421

Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd.

Pledgor: WINDMAGICS (WUHAN) CO.,LTD.

Registration number: Y2024980009864