CN113222838A - 基于视觉定位的无人机自主巡线方法 - Google Patents
基于视觉定位的无人机自主巡线方法 Download PDFInfo
- Publication number
- CN113222838A CN113222838A CN202110495250.7A CN202110495250A CN113222838A CN 113222838 A CN113222838 A CN 113222838A CN 202110495250 A CN202110495250 A CN 202110495250A CN 113222838 A CN113222838 A CN 113222838A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- line
- image
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000005540 biological transmission Effects 0.000 claims abstract description 54
- 238000007689 inspection Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000010835 comparative analysis Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004643 material aging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种基于视觉定位的无人机自主巡线方法，属于无人机导航与控制技术领域。本发明利用摄像头获取图像，经过图像预处理、特征提取与视觉定位，得到无人机当前的精准定位；通过设计的位置控制算法，利用视觉定位获得的位置信息完成无人机导航，实现无人机自主巡线任务。解决了传统惯性导航系统定位误差随时间积累、GPS导航系统自主性能差且易受干扰等问题，具有识别迅速，定位精度高，稳定性强等优点；能够代替人工遥控操作，实现长航时无人机按照预定路线自主巡检，具有自主性、可靠性和安全性。本发明将为架空输电线路的巡检工作提供新的平台。
Description
技术领域
本发明涉及一种基于视觉定位的无人机自主巡线方法，属于无人机导航与控制技术领域。
背景技术
随着国民生活水平的提高和社会的进步，我国输配电网公里数持续增加。同时，输配电网线路跨区分布，点多面广，所处地形复杂，环境恶劣。而输电线路长期暴露在野外，受到材料老化、雷击闪络、覆冰、树障、鸟害、持续的机械张力以及人工建筑等因素的影响，容易产生磨损、倒塌、断股、腐蚀等现象。如不及时进行设备状态诊断及预警，将影响到电网的安全运行与稳定。因此，对输配电网线路进行巡视及设备状态预警，是保证电网安全稳定运行的重要一环。
相比于传统人工巡检、固定翼无人机巡检及直升机巡检等方式，多旋翼无人机巡检由于其可悬停、巡检效率高，自主性强、人力成本低等特点，在电力线路巡检中得到了广泛应用。而实现无人机自主飞行与巡线的关键就是实现高精度的定位与导航，目前无人机主要依靠惯性导航系统(INS)和全球定位系统(GPS)进行导航。然而，惯性导航系统具有定位误差随时间快速积累、对初始值过于敏感等缺点，且高精度的惯性导航系统不但重量和体积较大，且造价昂贵；GPS导航系统自主性能差，容易受干扰，信息更新速率较低，且存在较大的误差。
发明内容
本发的明目的是为了解决多旋翼无人机进行电力线路巡检时，由于导航定位精度低、稳定性差等原因而导致难以实现自主巡检的问题，提供了一种基于视觉定位的无人机自主巡线方法。该方法利用摄像头获取图像，经过图像预处理、特征提取与视觉定位，得到无人机当前的精准定位；通过设计的位置控制算法，利用视觉定位获得的位置信息完成无人机导航，实现无人机自主巡线任务。
本发明的目的是通过以下技术方案实现的：
步骤一：图像预处理，对摄像头获取的原始图像进行灰度化与滤波处理。
首先对彩色图像进行灰度化处理，采用加权平均法，根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像。
Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j) (1)
其中R、G、B分别为图像中每个像素的红色、绿色、蓝色分量，Gray为灰度值，(i,j)为像素点的坐标。
从视觉传感器获得的图像或视频易受到噪声或者是背景的影响，需要进行滤波处理，为了保证在滤去干扰的同时保护图像的边缘信息，采用双边滤波方法法，滤波结果BF可以表示为：
其中Ip为像素值，GS为空间距离权重，可表示为：
Gr为像素值权重，可表示为：
Wq为滤波窗口内每个像素值的权重和，用于权重的归一化，可表示为：
在平坦区域，滤波器中每个像素点的Gr值相近，空间距离权重GS主导滤波效果。在边缘区域，边缘同侧的Gr值相近，且远大于边缘另一侧的Gr值，此时另一侧的像素点的权重对滤波结果几乎不影响，边缘信息得到保护。在平坦区域出现噪声点时，噪声点周围的信号的权值都很小，在进行归一化后，这些权值得到了提升，因此对噪声点也有滤除效果。
步骤二：图像特征提取，包括直线检测与融合，得到输电线路与杆塔轮廓线。
经过对比分析，选择了FLD直线检测算法进行线段提取，相比于传统霍夫变换与LSD直线检测，FLD具有识别效果好、速度快的优点，更加适合视觉定位的快速性要求。
FLD直线检测算法能识别出图像中所有的直线线段，为了从中提取出需要目标特征，需要设计直线融合算法，利用识别出线段的角度和长度，去除无关线段，然后分组进行拟合，得到所需直线。
FLD直线检测算法得到的结果是图像中所有线段的两个端点坐标，利用端点坐标计算出每条线段在像素坐标系下的极坐标(ρ,θ)和长度，由于目标特征是线路和杆塔，其角度是已知的，首先去掉角度不符的无关线段，只保留与目标角度接近的线段。然后根据ρ的大小不同，分成若干组，并计算每组线段的长度和，去掉长度过小的组，即可得到目标直线。
步骤三：视觉定位，利用融合得到的目标特征计算出无人机当前位置。
相机成像过程实际上是三维世界的物体向二维成像平面投影的过程，根据相机成像原理，首先得到相机坐标系下三维物体投影到成像平面的公式：
其中，Oxy为图像坐标系，即为成像平面，OCXCYCZC相机坐标系，其原点位于镜头光心处，f为相机焦距，(x,y)为图像坐标系下一点的坐标，(XC,YC,ZC)为相机坐标系下一点的坐标。
由于图像在计算机中以像素的方式储存，需要像素坐标系反映相机CCD/CMOS芯片中像素的排列情况，原点位于图像的左上角，u轴、v轴分别与像面的两垂直边平行，单位是像素，图像坐标系可按照下式转换到像素坐标系：
其中dx、dy为相机内参，表示像素在x轴、y轴方向上的物理尺寸，(u0，v0)为主点(图像原点)坐标。
而视觉定位的原理与相机成像过程正好相反，目的是从像素坐标系反推出三维世界的位置信息，当摄像头正对线路时，拍摄到的图像为的两条水平直线，首先将像素坐标系转换为图像坐标系，公式如下：
y1＝v1dy-vody
y2＝v2dy-vody (8)
其中y1、y2分别为两条线路在图像坐标系中的纵坐标，v1、v2分别为两条线路在像素坐标系中的纵坐标。
然后根据成像原理与两条输电线的位置关系，得到方程组：
其中d为两条输电线路之间的水平距离，h为两条输电线路之间的垂直距离，Y1、Y2分别为无人机与两条输电线路之间的水平距离，Z1、Z2分别为无人机与两条输电线路之间的垂直距离。
整理得：
由此可知，只需要两条已知位置关系的输电线，并且保证摄像机正对线路，即可通过视觉定位算法的到无人机与输电线路的水平与垂直距离，从而可以保证无人机在巡线过程中的安全距离。
当无人机拍摄到杆塔时，可以利用直线识别与融合，得到杆塔的两条轮廓线，从而计算出杆塔的垂直中心线，利用杆塔中心线在像素坐标系中的位置，可以的到无人机在前进方向(与线路方向平行)的位置：
其中X为无人机与杆塔垂直中心线之间的沿输电线路方向的距离，x为杆塔垂直中心线在图像坐标系下的横坐标。
步骤四：设计位置控制器，实现无人机精准导航与自主巡线任务。
利用视觉定位获得的无人机相对于输电线路的精准位置信息作为位置反馈，设计位置控制器，使无人机按照期望路线进行自主飞行。
首先控制节点发送起飞指令，无人机起飞，使无人机悬停在大致巡线距离并保证相机云台正对输电线路，启动视觉定位节点并对视觉定位输出结果进行卡尔曼滤波，得到无人机与输电线路水平和垂直距离作为初始值。然后进入第一阶段，利用惯性导航信息控制无人机沿着输电线路匀速飞行并保证无人机与输电线路的距离恒定且在安全范围内，同时计算视觉定位结果与惯导信息的差值并进行累加，每隔一定的时间间隔判断累积误差是否大于设定阈值，若大于阈值，则对惯导信息进行修正，否则继续累积误差并进行下一次判断。当无人机接近杆塔时进入第二阶段，相机捕获到杆塔并提取出杆塔竖直中心线，得到与输电线路平行方向的视觉定位，对惯导信息进行修正并控制无人机在设点的位置点对杆塔进行拍照，完成拍摄后无人机继续向前飞行，重复进行第一阶段和第二阶段，直到完成一条输电线路和杆塔的巡检任务。
有益效果：
1、本发明所设计的视觉定位算法，解决了传统惯性导航系统定位误差随时间积累、GPS导航系统自主性能差且易受干扰等问题，具有识别迅速，定位精度高，稳定性强等优点。
2、本发明所设计的自主导航巡线算法，能够代替人工遥控操作，实现长航时无人机按照预定路线自主巡检，具有自主性、可靠性和安全性。
附图说明
图1是双边滤波方法处理结果；
图2是相机成像原理；
图3是图像坐标系与像素坐标系的转换关系图；
图4是像素坐标系中的目标直线；
图5是两条平行输电线成像图；
图6是无人机输电线路巡检总体控制流程。
具体实施方式
下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
本实施例选择输电线路与杆塔作为目标特征，利用FLD直线检测算法从图像中提取出所有直线线段，再经过特征融合得到需要两条输电线路与杆塔竖直中心线。
得到所需的目标特征后，利用相机成像原理，设计相应的视觉定位算法，得到无人机当前相对输电线路与杆塔的位置信息，最后设计位置控制器实现无人机精准导航与自主巡线任务。
基于视觉定位的无人机自主巡线方法，包括如下步骤：
步骤一：图像预处理，对摄像头获取的原始图像进行灰度化与滤波处理。
首先对彩色图像进行灰度化处理，由于人眼对绿色的敏感最高，对蓝色敏感最低，采用加权平均法，根据重要性及其它指标，将三个分量以不同的权值进行加权平均。
从视觉传感器获得的图像或视频易受到噪声或者是背景的影响，需要进行滤波处理，为了保证在滤去干扰的同时保护图像的边缘信息，采用双边滤波方法，滤波结果如图1所示，可以看出双边滤波在高斯滤波的基础上增加了像素值权重，再考虑像素空间分布的同时，又兼顾了边缘两侧像素值的差异，因此在有效滤除噪声的同时，能够很好的保留图像中的边缘信息。
步骤二：图像特征提取，包括直线检测与融合，得到输电线路与杆塔轮廓线。
常见的直线提取算法有Hough直线变换、LSD直线检测和FLD直线检测，利用同一幅图像对三种直线提取算法进行了测试，结果如下表所示：
可以看出，三种直线检测算法中Hough直线变换的检测效果最差，丢失了图像中很多直线信息，并且消耗的时间最长；FLD直线检测和LSD直线检测算法的识别效果相差不多，并且都远远好于Hough直线变换，很好地提取了目标直线信息，二者相比之下，FLD直线检测算法处理一张图像消耗的时间较少，约为LSD直线检测算法的一半，提取效率更高。经过分析，选择FLD直线检测算法，具有识别效果好、速度快的优点，更加适合视觉定位的快速性要求。
FLD直线检测算法能识别出图像中所有的直线线段，为了从中提取出需要目标特征，需要设计直线融合算法，利用识别出线段的角度和长度，去除无关线段，然后分组进行拟合，得到所需直线。
FLD直线检测算法得到的结果是图像中所有线段的两个端点坐标，利用端点坐标计算出每条线段在像素坐标系下的极坐标(ρ,θ)和长度，由于目标特征是线路和杆塔，其角度是已知的，首先去掉角度不符的无关线段，只保留与目标角度接近的线段。然后根据ρ的大小不同，分成若干组，并计算每组线段的长度和，去掉长度过小的组，即可得到目标直线。
步骤三：视觉定位，利用融合得到的目标特征计算出无人机当前位置。
相机成像过程实际上是三维世界的物体向二维成像平面投影的过程，根据图2所示的相机成像原理，得到相机坐标系下三维物体投影到成像平面的公式：
再根据图3所示的转换关系，图像坐标系可按照下式转换到像素坐标系：
而视觉定位的原理与相机成像过程正好相反，目的是从像素坐标系反推出三维世界的位置信息，当摄像头正对线路时，拍摄到的图像如图4所示，为的两条水平直线，首先将像素坐标系转换为图像坐标系，公式如下：
y1＝v1dy-vody
y2＝v2dy-vody (3)
然后根据图5所示的成像原理与两条输电线的位置关系，得到方程组：
整理得：
由此可知，只需要两条已知位置关系的输电线，并且保证摄像机正对线路，即可通过视觉定位算法的到无人机与输电线路的水平与垂直距离，从而可以保证无人机在巡线过程中的安全距离。
当无人机拍摄到杆塔时，可以利用直线识别与融合，得到杆塔的两条轮廓线，从而计算出杆塔的垂直中心线，利用杆塔中心线在像素坐标系中的位置，可以的到无人机在前进方向(与线路方向平行)的位置：
其中X为无人机与杆塔垂直中心线之间的沿输电线路方向的距离，x为杆塔垂直中心线在图像坐标系下的横坐标。
搭建了输电线路模型对本发明的视觉定位方法进行实物验证实验，Y轴和Z轴视觉定位实验结果如下表所示：
X轴视觉定位实验结果如下表所示：
从表中可以看出，本发明的视觉定位能够达到厘米级的精度，最大误差约为10厘米，能够满足无人机电力巡检的导航精度要求，停供高精度的定位信息，保证无人机巡检过程中的安全距离。
步骤四：设计位置控制器，实现无人机精准导航与自主巡线任务。
利用视觉定位获得的无人机相对于输电线路的精准位置信息作为位置反馈，设计位置控制器，使无人机按照期望路线进行自主飞行。
总体控制流程如图6所示，首先控制节点发送起飞指令，无人机起飞，使无人机悬停在大致巡线距离并保证相机云台正对输电线路，启动视觉定位节点并对视觉定位输出结果进行卡尔曼滤波，得到无人机与输电线路水平和垂直距离作为初始值。然后进入第一阶段，利用惯性导航信息控制无人机沿着输电线路匀速飞行并保证无人机与输电线路的距离恒定且在安全范围内，同时计算视觉定位结果与惯导信息的差值并进行累加，每隔一定的时间间隔判断累积误差是否大于设定阈值，若大于阈值，则对惯导信息进行修正，否则继续累积误差并进行下一次判断。当无人机接近杆塔时进入第二阶段，相机捕获到杆塔并提取出杆塔竖直中心线，得到与输电线路平行方向的视觉定位，对惯导信息进行修正并控制无人机在设点的位置点对杆塔进行拍照，完成拍摄后无人机继续向前飞行，重复进行第一阶段和第二阶段，直到完成一条输电线路和杆塔的巡检任务。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.基于视觉定位的无人机自主巡线方法，其特征在于，包括如下步骤：
步骤一：图像预处理，对摄像头获取的原始图像进行灰度化与滤波处理；
步骤二：图像特征提取，包括直线检测与融合，得到输电线路与杆塔轮廓线；
步骤三：视觉定位，利用融合得到的目标特征计算出无人机当前位置；
步骤四：设计位置控制器，实现无人机精准导航与自主巡线任务。
2.如权利要求1所述的基于视觉定位的无人机自主巡线方法，其特征在于，步骤一的实现方法为：
首先对彩色图像进行灰度化处理，采用加权平均法，根据重要性及其它指标，将三个分量以不同的权值进行加权平均；由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像；
Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j) (1)
其中R、G、B分别为图像中每个像素的红色、绿色、蓝色分量，Gray为灰度值，(i,j)为像素点的坐标；
从视觉传感器获得的图像或视频易受到噪声或者是背景的影响，需要进行滤波处理，为了保证在滤去干扰的同时保护图像的边缘信息，采用双边滤波方法法，滤波结果BF可以表示为：
其中Ip为像素值，GS为空间距离权重，可表示为：
Gr为像素值权重，可表示为：
Wq为滤波窗口内每个像素值的权重和，用于权重的归一化，可表示为：
在平坦区域，滤波器中每个像素点的Gr值相近，空间距离权重GS主导滤波效果；在边缘区域，边缘同侧的Gr值相近，且远大于边缘另一侧的Gr值，此时另一侧的像素点的权重对滤波结果几乎不影响，边缘信息得到保护；在平坦区域出现噪声点时，噪声点周围的信号的权值都很小，在进行归一化后，这些权值得到了提升，因此对噪声点也有滤除效果。
3.如权利要求1所述的基于视觉定位的无人机自主巡线方法，其特征在于，步骤二的实现方法为：
经过对比分析，选择了FLD直线检测算法进行线段提取，相比于传统霍夫变换与LSD直线检测，FLD具有识别效果好、速度快的优点，更加适合视觉定位的快速性要求；
FLD直线检测算法能识别出图像中所有的直线线段，为了从中提取出需要目标特征，需要设计直线融合算法，利用识别出线段的角度和长度，去除无关线段，然后分组进行拟合，得到所需直线；
FLD直线检测算法得到的结果是图像中所有线段的两个端点坐标，利用端点坐标计算出每条线段在像素坐标系下的极坐标(ρ,θ)和长度，由于目标特征是线路和杆塔，其角度是已知的，首先去掉角度不符的无关线段，只保留与目标角度接近的线段；然后根据ρ的大小不同，分成若干组，并计算每组线段的长度和，去掉长度过小的组，即可得到目标直线。
4.如权利要求1所述的基于视觉定位的无人机自主巡线方法，其特征在于，步骤三的实现方法为：
相机成像过程实际上是三维世界的物体向二维成像平面投影的过程，根据相机成像原理，首先得到相机坐标系下三维物体投影到成像平面的公式：
其中，Oxy为图像坐标系，即为成像平面，OCXCYCZC相机坐标系，其原点位于镜头光心处，f为相机焦距，(x,y)为图像坐标系下一点的坐标，(XC,YC,ZC)为相机坐标系下一点的坐标；
由于图像在计算机中以像素的方式储存，需要像素坐标系反映相机CCD/CMOS芯片中像素的排列情况，原点位于图像的左上角，u轴、v轴分别与像面的两垂直边平行，单位是像素，图像坐标系可按照下式转换到像素坐标系：
其中dx、dy为相机内参，表示像素在x轴、y轴方向上的物理尺寸，(u0，v0)为主点(图像原点)坐标；
而视觉定位的原理与相机成像过程正好相反，目的是从像素坐标系反推出三维世界的位置信息，当摄像头正对线路时，拍摄到的图像为的两条水平直线，首先将像素坐标系转换为图像坐标系，公式如下：
y1＝v1dy-vody
y2＝v2dy-vody (8)
其中y1、y2分别为两条线路在图像坐标系中的纵坐标，v1、v2分别为两条线路在像素坐标系中的纵坐标；
然后根据成像原理与两条输电线的位置关系，得到方程组：
其中d为两条输电线路之间的水平距离，h为两条输电线路之间的垂直距离，Y1、Y2分别为无人机与两条输电线路之间的水平距离，Z1、Z2分别为无人机与两条输电线路之间的垂直距离；整理得：
由此可知，只需要两条已知位置关系的输电线，并且保证摄像机正对线路，即可通过视觉定位算法的到无人机与输电线路的水平与垂直距离，从而可以保证无人机在巡线过程中的安全距离；
当无人机拍摄到杆塔时，可以利用直线识别与融合，得到杆塔的两条轮廓线，从而计算出杆塔的垂直中心线，利用杆塔中心线在像素坐标系中的位置，可以的到无人机在前进方向(与线路方向平行)的位置：
其中X为无人机与杆塔垂直中心线之间的沿输电线路方向的距离，x为杆塔垂直中心线在图像坐标系下的横坐标。
5.如权利要求1所述的基于视觉定位的无人机自主巡线方法，其特征在于，步骤四的实现方法为：
利用视觉定位获得的无人机相对于输电线路的精准位置信息作为位置反馈，设计位置控制器，使无人机按照期望路线进行自主飞行；
首先控制节点发送起飞指令，无人机起飞，使无人机悬停在大致巡线距离并保证相机云台正对输电线路，启动视觉定位节点并对视觉定位输出结果进行卡尔曼滤波，得到无人机与输电线路水平和垂直距离作为初始值；然后进入第一阶段，利用惯性导航信息控制无人机沿着输电线路匀速飞行并保证无人机与输电线路的距离恒定且在安全范围内，同时计算视觉定位结果与惯导信息的差值并进行累加，每隔一定的时间间隔判断累积误差是否大于设定阈值，若大于阈值，则对惯导信息进行修正，否则继续累积误差并进行下一次判断；当无人机接近杆塔时进入第二阶段，相机捕获到杆塔并提取出杆塔竖直中心线，得到与输电线路平行方向的视觉定位，对惯导信息进行修正并控制无人机在设点的位置点对杆塔进行拍照，完成拍摄后无人机继续向前飞行，重复进行第一阶段和第二阶段，直到完成一条输电线路和杆塔的巡检任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110495250.7A CN113222838A (zh) | 2021-05-07 | 2021-05-07 | 基于视觉定位的无人机自主巡线方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110495250.7A CN113222838A (zh) | 2021-05-07 | 2021-05-07 | 基于视觉定位的无人机自主巡线方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113222838A true CN113222838A (zh) | 2021-08-06 |
Family
ID=77091526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110495250.7A Pending CN113222838A (zh) | 2021-05-07 | 2021-05-07 | 基于视觉定位的无人机自主巡线方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113222838A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114582040A (zh) * | 2022-05-05 | 2022-06-03 | 中国长江三峡集团有限公司 | 一种风力发电设备智能巡检系统及方法 |
| CN114689030A (zh) * | 2022-06-01 | 2022-07-01 | 中国兵器装备集团自动化研究所有限公司 | 一种基于机载视觉的无人机辅助定位方法及系统 |
| CN115995043A (zh) * | 2023-02-16 | 2023-04-21 | 深圳金三立视频科技股份有限公司 | 输电线路隐患目标识别方法及计算机可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103855644A (zh) * | 2014-03-14 | 2014-06-11 | 刘凯 | 多旋翼式智能架空线路巡检机器人 |
| CN106934832A (zh) * | 2017-03-23 | 2017-07-07 | 电子科技大学 | 一种面向视觉巡线的简易直线自动定位方法 |
| US20170313439A1 (en) * | 2016-04-29 | 2017-11-02 | Jordan Holt | Methods and syststems for obstruction detection during autonomous unmanned aerial vehicle landings |
| CN108413964A (zh) * | 2018-03-08 | 2018-08-17 | 云南电网有限责任公司电力科学研究院 | 一种无人机输电线路巡检航迹规划方法及系统 |
| CN110133440A (zh) * | 2019-05-27 | 2019-08-16 | 国电南瑞科技股份有限公司 | 基于杆塔模型匹配及视觉导航的电力无人机及巡检方法 |
| CN110395398A (zh) * | 2019-09-05 | 2019-11-01 | 广东电网有限责任公司 | 一种基于多旋翼无人机的接地装配系统及其接地方法 |
| CN110687904A (zh) * | 2019-12-09 | 2020-01-14 | 广东科凯达智能机器人有限公司 | 一种巡线机器人视觉导航巡检和避障方法 |
| CN111275015A (zh) * | 2020-02-28 | 2020-06-12 | 广东电网有限责任公司 | 一种基于无人机的电力巡线电塔检测识别方法及系统 |
| CN111404083A (zh) * | 2020-04-28 | 2020-07-10 | 国网湖南省电力有限公司 | 一种基于综合导航的输电线路巡视机器人及其巡线方法 |
| JP6852936B1 (ja) * | 2019-11-15 | 2021-03-31 | 広東工業大学Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｔｅｃｈｎｏｌｏｇｙ | 深度点線特徴に基づくドローン視覚走行距離計方法 |
| CN112613334A (zh) * | 2020-06-23 | 2021-04-06 | 辽宁工程技术大学 | 无人机在输电线路上高精度自主巡检图像识别方法 |
-
2021
- 2021-05-07 CN CN202110495250.7A patent/CN113222838A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103855644A (zh) * | 2014-03-14 | 2014-06-11 | 刘凯 | 多旋翼式智能架空线路巡检机器人 |
| US20170313439A1 (en) * | 2016-04-29 | 2017-11-02 | Jordan Holt | Methods and syststems for obstruction detection during autonomous unmanned aerial vehicle landings |
| CN106934832A (zh) * | 2017-03-23 | 2017-07-07 | 电子科技大学 | 一种面向视觉巡线的简易直线自动定位方法 |
| CN108413964A (zh) * | 2018-03-08 | 2018-08-17 | 云南电网有限责任公司电力科学研究院 | 一种无人机输电线路巡检航迹规划方法及系统 |
| CN110133440A (zh) * | 2019-05-27 | 2019-08-16 | 国电南瑞科技股份有限公司 | 基于杆塔模型匹配及视觉导航的电力无人机及巡检方法 |
| CN110395398A (zh) * | 2019-09-05 | 2019-11-01 | 广东电网有限责任公司 | 一种基于多旋翼无人机的接地装配系统及其接地方法 |
| JP6852936B1 (ja) * | 2019-11-15 | 2021-03-31 | 広東工業大学Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｔｅｃｈｎｏｌｏｇｙ | 深度点線特徴に基づくドローン視覚走行距離計方法 |
| CN110687904A (zh) * | 2019-12-09 | 2020-01-14 | 广东科凯达智能机器人有限公司 | 一种巡线机器人视觉导航巡检和避障方法 |
| CN111275015A (zh) * | 2020-02-28 | 2020-06-12 | 广东电网有限责任公司 | 一种基于无人机的电力巡线电塔检测识别方法及系统 |
| CN111404083A (zh) * | 2020-04-28 | 2020-07-10 | 国网湖南省电力有限公司 | 一种基于综合导航的输电线路巡视机器人及其巡线方法 |
| CN112613334A (zh) * | 2020-06-23 | 2021-04-06 | 辽宁工程技术大学 | 无人机在输电线路上高精度自主巡检图像识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 成建宏;: "机器视觉在输电线路巡检机器人中的应用综述", 自动化技术与应用, no. 04 * |
| 王吉岱;郭帅;孙爱芹;付恩鹏;梁茂轩;杨帅;侯建国;: "基于双目视觉技术的高压输电线路巡检机器人在线测距", 科学技术与工程, no. 15 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114582040A (zh) * | 2022-05-05 | 2022-06-03 | 中国长江三峡集团有限公司 | 一种风力发电设备智能巡检系统及方法 |
| CN114689030A (zh) * | 2022-06-01 | 2022-07-01 | 中国兵器装备集团自动化研究所有限公司 | 一种基于机载视觉的无人机辅助定位方法及系统 |
| CN115995043A (zh) * | 2023-02-16 | 2023-04-21 | 深圳金三立视频科技股份有限公司 | 输电线路隐患目标识别方法及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113222838A (zh) | 基于视觉定位的无人机自主巡线方法 | |
| CN107729808B (zh) | 一种用于输电线路无人机巡检的图像智能采集系统及方法 | |
| CN106326892B (zh) | 一种旋翼式无人机的视觉着陆位姿估计方法 | |
| CN109683629B (zh) | 基于组合导航和计算机视觉的无人机电力架线系统 | |
| CN105549614B (zh) | 无人机目标跟踪方法 | |
| CN105446351B (zh) | 一种能够锁定目标区域瞭望基于自主导航的无人飞艇系统 | |
| CN106873627A (zh) | 一种自动巡检输电线路的多旋翼无人机及方法 | |
| CN112215860A (zh) | 一种基于图像处理的无人机定位方法 | |
| CN104865971A (zh) | 一种输电线路巡检无人机的控制方法及无人机 | |
| CN110879601A (zh) | 一种对于未知风机结构的无人机巡检方法 | |
| CN106502257B (zh) | 一种无人机精准降落抗干扰的控制方法 | |
| CN106708073B (zh) | 一种自主导航电力巡线故障检测的四旋翼飞行器系统 | |
| CN110618691B (zh) | 基于机器视觉的无人机同心圆靶精准降落方法 | |
| CN109885086A (zh) | 一种基于复合多边形标志引导的无人机垂直降落方法 | |
| CN106960454A (zh) | 景深避障方法、设备及无人飞行器 | |
| CN112068539A (zh) | 一种风电机组叶片无人机自动驾驶巡检方法 | |
| CN107703951A (zh) | 一种基于双目视觉的无人机避障方法及系统 | |
| CN114111799A (zh) | 针对高大单体精细建模的无人机航摄路径规划方法 | |
| CN110673622B (zh) | 一种基于视觉图像的无人机自动着舰引导方法与系统 | |
| CN112040175A (zh) | 无人机巡检方法、装置、计算机设备和可读存储介质 | |
| CN110825098B (zh) | 一种无人机配电网智能巡检系统 | |
| CN110850889B (zh) | 一种基于rtk导航的无人机自主巡检系统 | |
| CN112947569A (zh) | 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 | |
| CN111402324B (zh) | 一种目标测量方法、电子设备以及计算机存储介质 | |
| CN113378701B (zh) | 一种基于无人机的地面多agv状态监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220224 Address after: No.844, Longshan Road, Lishi District, Luliang City, Shanxi Province 033000 Applicant after: LVLIANG POWER SUPPLY COMPANY, STATE GRID SHANXI ELECTRIC POWER Co. Address before: No.844, Longshan Road, Lishi District, Luliang City, Shanxi Province 033000 Applicant before: LVLIANG POWER SUPPLY COMPANY, STATE GRID SHANXI ELECTRIC POWER Co. Applicant before: Beijing Institute of Technology |
|
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240906 |