CN114066985A

CN114066985A - 一种输电线隐患距离的计算方法及终端

Info

Publication number: CN114066985A
Application number: CN202210024494.1A
Authority: CN
Inventors: 张宇; 袁小德; 亢晓斌; 杨伟强; 刘东剑
Original assignee: Santachi Video Technology Shenzhen Co ltd
Current assignee: Santachi Video Technology Shenzhen Co ltd
Priority date: 2022-01-11
Filing date: 2022-01-11
Publication date: 2022-02-18
Anticipated expiration: 2042-01-11
Also published as: CN114066985B

Abstract

本发明公开一种输电线隐患距离的计算方法及终端，获取输电线路通道的二维图像数据与三维点云数据；对二维图像数据进行深度估计，得到与所述二维图像数据对应的深度图，并基于所述二维图像数据与所述深度图使用预设目标轮廓提取网络进行轮廓提取，得到二维隐患轮廓；基于所述二维图像数据与所述三维点云数据确定所述二维隐患轮廓对应的三维隐患轮廓；根据所述三维点云数据确定输电线位置信息，并根据所述输电线位置信息与所述三维隐患轮廓计算得到所述输电线与所述隐患的目标最短距离，整个过程无需人工介入，实现了输电线隐患的自动化测距，能够更加准确地提取出隐患轮廓特征，提高了隐患测距的精度，从而实现了精准地输电线隐患自动化测距。

Description

一种输电线隐患距离的计算方法及终端

技术领域

本发明涉及图像检测技术领域，尤其涉及一种输电线隐患距离的计算方法及终端。

背景技术

安全稳定的供电是居民正常生活和工业安全生产的基本需求，随着经济的发展，乡镇、城市的用电量也越来越高，高压输电网络的密度也不断增加，出现安全隐患的次数也相应增加。尤其是在居民住宅区、城市道路和建筑工地等地方，人员活动频繁，容易因隐患目标离输导线路的距离小于安全距离而引起触电、线路跳闸、火灾等险情，一方面造成巨大的经济损失，另一方面，还给居民的人身安全造成严重威胁。因此，对可能危害输电安全的隐患目标进行识别和预警是非常必要的。

目前的主流技术是通过在输电塔上固定位置安装多个监拍设备进行运检和抓拍，通过深度学习方法识别图像中的隐患目标，由运检人员根据图像中的隐患目标和输电导线之间距离来判断安全等级。这种技术有两个缺陷，一是该方法不能自动计算距离，需要人工介入，增加了人力成本；二是监控画面上是没有深度信息的，靠运维人员进行目测估计的距离显然不够准确。

现有技术中会采用两种方法进行隐患测距，基于点云的输电通道内隐患测距方法以及基于地理信息的输电通道内隐患测距方法。基于点云的输电通道内隐患测距方法充分利用了点云数据进行测距，但仍有几点不足：一是该方法隐含了地面必须是平的假设，对凹凸不平的地面会产生计算误差；二是对于倾斜或者长臂的吊车，吊车上离电线最近的点并不一定在最高点上，用最高点计算安全距离会产生漏报；三是该方法需要人为判定隐患离哪条导线最近，才能将隐患顶部中点转到该条导线所在YOZ平面，因此，需要运检人员时刻监视，并不能实现全自动的智能检测。

基于地理信息的输电通道内隐患测距方法，与基于点云的输电通道内隐患测距方法相似，只是不是使用的点云数据，而是使用的标志物的GPS坐标进行映射，因此，同样有前文提到的不足；此外，该方法的导线采用两条直线进行建模，与实际导线形状有较大差异，会带来较大误差。

发明内容

本发明所要解决的技术问题是：提供一种输电线隐患距离的计算方法及终端，能够实现精准的输电线隐患自动化测距。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种输电线隐患距离的计算方法，包括：

获取输电线路通道的二维图像数据与三维点云数据；

对所述二维图像数据进行深度估计，得到与所述二维图像数据对应的深度图，并基于所述二维图像数据与所述深度图使用预设目标轮廓提取网络进行轮廓提取，得到二维隐患轮廓；

基于所述二维图像数据与所述三维点云数据确定所述二维隐患轮廓对应的三维隐患轮廓；

根据所述三维点云数据确定输电线位置信息，并根据所述输电线位置信息与所述三维隐患轮廓计算得到所述输电线与所述隐患的目标最短距离。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种输电线隐患距离的计算终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取输电线路通道的二维图像数据与三维点云数据；

本发明的有益效果在于：对二维图像数据进行深度估计，得到深度图，基于二维图像数据与深度图使用预设目标轮廓提取网络进行轮廓提取，得到二维隐患轮廓，基于二维图像数据与三维点云数据确定三维隐患轮廓，根据三维点云数据确定输电线位置信息，并根据输电线位置信息与三维隐患轮廓计算得到输电线与隐患的最短距离，整个过程无需人工介入，实现了输电线隐患的自动化测距，不再像现有技术中，仅使用目标检测提取隐患轮廓，而是结合深度估计与目标轮廓提取网络进行隐患的轮廓提取，能够更加准确地提取出隐患轮廓特征，计算输电线与隐患的距离时，不仅仅只是计算隐患最高点与输电线的最短距离，而是根据输电线位置信息与三维隐患轮廓计算得到输电线与隐患的最短距离，提高了隐患测距的精度，从而实现了精准地输电线隐患自动化测距。

附图说明

图1为本发明实施例的一种输电线隐患距离的计算方法的步骤流程图；

图2为本发明实施例的一种输电线隐患距离的计算终端的结构示意图；

图3为本发明实施例输电线隐患距离的计算方法中计算目标最短距离的流程示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，本发明实施例提供了一种输电线隐患距离的计算方法，包括：

获取输电线路通道的二维图像数据与三维点云数据；

从上述描述可知，本发明的有益效果在于：对二维图像数据进行深度估计，得到深度图，基于二维图像数据与深度图使用预设目标轮廓提取网络进行轮廓提取，得到二维隐患轮廓，基于二维图像数据与三维点云数据确定三维隐患轮廓，根据三维点云数据确定输电线位置信息，并根据输电线位置信息与三维隐患轮廓计算得到输电线与隐患的最短距离，整个过程无需人工介入，实现了输电线隐患的自动化测距，不再像现有技术中，仅使用目标检测提取隐患轮廓，而是结合深度估计与目标轮廓提取网络进行隐患的轮廓提取，能够更加准确地提取出隐患轮廓特征，计算输电线与隐患的距离时，不仅仅只是计算隐患最高点与输电线的最短距离，而是根据输电线位置信息与三维隐患轮廓计算得到输电线与隐患的最短距离，提高了隐患测距的精度，从而实现了精准地输电线隐患自动化测距。

进一步地，所述对所述二维图像数据进行深度估计，得到与所述二维图像数据对应的深度图包括：

使用预设深度估计网络对所述二维图像数据进行深度估计，得到与所述二维图像数据对应的深度图。

由上述描述可知，在二维图像中是没有物体的深度信息的，使用预设深度估计网络能够预测出每个像素的深度值，得到准确的深度图，便于后续进行目标轮廓提取。

进一步地，所述基于所述二维图像数据与所述三维点云数据确定所述二维隐患轮廓对应的三维隐患轮廓包括：

基于所述二维图像数据与所述三维点云数据建立地面映射模型；

使用所述地面映射模型确定所述二维隐患轮廓对应的三维隐患轮廓。

由上述描述可知，利用地面映射模型能够将二维图像坐标转换成三维点云坐标，实现三维坐标与二维坐标的标定，从而能够有效地确定二维隐患轮廓的三维隐患轮廓，便于计算三维隐患轮廓的真实高度信息。

进一步地，所述获取输电线路通道的二维图像数据与三维点云数据之后包括：

对所述三维点云数据进行分类，得到地面点云数据；

所述基于所述二维图像数据与所述三维点云数据建立地面映射模型包括：

获取所述二维图像数据的预设地面标记；

根据所述预设地面标记从所述二维图像数据中确定预设数量的地面标识物，并记录所述地面标识物对应的二维坐标；

根据所述地面点云数据从所述三维点云数据中确定所述地面标识物对应的三维坐标；

根据所述二维坐标确定第一齐次坐标，并根据所述三维坐标确定第二齐次坐标；

根据所述第一齐次坐标、所述第二齐次坐标建立地面映射模型。

进一步地，所述地面映射模型为：

式中，（u_i，v_i，1）表示所述第一齐次坐标，（x_i，y_i，1）表示所述第二齐次坐标，j表示所述预设数量，i表示第i个所述地面标识物，H_g表示地面映射矩阵。

由上述描述可知，获取三维点云数据后，对三维点云数据进行分类，得到地面点云数据，从二维图像数据中确定地面标识物，从三维点云数据中确定与地面标识物对应的三维坐标，根据地面标识物的二维坐标确定第一齐次坐标，并根据三维坐标确定第二齐次坐标，根据第一齐次坐标、第二齐次坐标建立地面映射模型，能够利用二维图像地面上特征明显的点作为地面标识物，并根据地面标识物构建地面映射模型，该地面映射模型能够准确地将二维作为转换为点云坐标，进而提高了隐患距离的计算准确度。

进一步地，所述使用所述地面映射模型确定所述二维隐患轮廓对应的三维隐患轮廓包括：

获取所述二维隐患轮廓的二维隐患坐标；

使用所述地面映射模型将所述二维隐患坐标转换为三维隐患坐标；

使用摄像机成像原理基于所述三维隐患坐标确定三维隐患轮廓及对应的真实高度。

由上述描述可知，获取二维隐患轮廓的二维隐患坐标，使用地面映射模型将二维隐患坐标转换为三维隐患坐标，使用摄像机成像原理基于三维隐患坐标确定三维隐患轮廓及对应的真实高度，能够简单、有效地计算隐患的三维轮廓和真实高度，有利于后续进行隐患测距。

进一步地，所述对所述三维点云数据进行分类时，还包括：

得到输电线点云数据；

所述根据所述三维点云数据确定输电线位置信息包括：

根据所述输电线点云数据使用四次多项式对每一输电线的位置进行拟合，得到每一输电线位置信息。

由上述描述可知，对三维点云数据进行分类时，还得到输电线点云数据，根据输电线点云数据使用四次多项式对每一输电线的位置进行拟合，得到每一输电线位置信息，从三维点云数据分类出输电线点云数据，减少了后续数据处理复杂度，使用四次多项式对每一输电线进行拟合，能够提高得到的输电线位置信息的精度。

进一步地，所述根据所述输电线位置信息与所述三维隐患轮廓计算得到所述输电线与所述隐患的目标最短距离包括：

对所述三维隐患轮廓按照预设采样点数进行均匀采样，得到多个采样点；

使用牛顿迭代法计算所述多个采样点中每一所述采样点与所述每一输电线位置信息的最短距离，得到多个最短距离；

从所述多个最短距离中确定所述输电线与所述隐患的目标最短距离。

进一步地，所述目标最短距离D为：

；

式中，d_t表示第t个最短距离，k表示所述输电线位置信息的总个数，N表示所述预设采样点数。

由上述描述可知，对三维隐患轮廓按照预设采样点数进行均匀采样，得到多个采样点，使用牛顿迭代法计算每一采样点与每一输电线位置信息的最短距离，从多个最短距离中确定目标最短距离，不仅仅只是计算隐患最高点到输电线的距离，而是将整个隐患轮廓与每一输电线进行距离计算，最终得到的目标最短距离能够真实、准确地反映出隐患是否处于输电线的安全区域，从而有效地对输电线隐患进行预警。

请参照图2，本发明另一实施例提供了一种输电线隐患距离的计算终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述输电线隐患距离的计算方法中的各个步骤。

本发明上述的一种输电线隐患距离的计算方法及终端能够适用于需要对输电线进行隐患检测的场景中，以下通过具体实施方式说明：

实施例一

请参照图1、图3，本实施例的一种输电线隐患距离的计算方法，包括：

S1、获取输电线路通道的二维图像数据与三维点云数据；

其中，如图3所示，所述二维图像数据通过监拍设备实时拍摄采集，所述三维点云数据通过无人机的激光雷达按照预设时间间隔采集，并调整所述三维点云数据的视角，使得所述二维图像数据与所述三维点云数据的视角相同；

S2、对所述三维点云数据进行分类，得到地面点云数据和输电线点云数据；

比如，输电线点云数据：电线1{点集合}、电线2{点集合}、电线3{点集合}，地面点云数据：{点集合}；

具体的，可通过CloudCompare软件（三维点云处理软件）或通过采用LeGO-LOAM（面向复杂情况的轻量级优化地面的雷达里程计）算法处理所述三维点云数据，分类出地面点云数据；可通过深度学习算法分类出输电线点云数据，如PointNet++网络、KPConv网络、3D-GCN网络或PAConv网络等，算法中的训练数据可通过扫描输电线获取，或者从网上的开源数据集收集与输电线相关的数据获取；

S3、对所述二维图像数据进行深度估计，得到与所述二维图像数据对应的深度图，并基于所述二维图像数据与所述深度图使用预设目标轮廓提取网络进行轮廓提取，得到二维隐患轮廓；

其中，所述隐患为可能触碰到输电线的施工车辆，比如吊车；

所述S3中对所述二维图像数据进行深度估计，得到与所述二维图像数据对应的深度图，具体为：

使用预设深度估计网络对所述二维图像数据进行深度估计，得到与所述二维图像数据对应的深度图；

其中，所述预设深度估计网络为S2R-DepthNet；

具体的，将所述二维图像数据输入S2R-DepthNet，S2R-DepthNet对输入图像的结构信息进行深度估计，输出与所述二维图像数据对应的深度图，该深度图与所述二维图像数据的尺寸相同；

将所述二维图像数据和所述深度图一起输入预设目标轮廓提取网络进行轮廓提取，输出得到二维隐患轮廓；

S4、基于所述二维图像数据与所述三维点云数据确定所述二维隐患轮廓对应的三维隐患轮廓，如图3所示，具体包括：

S41、基于所述二维图像数据与所述三维点云数据建立地面映射模型，具体包括：

S411、获取所述二维图像数据的预设地面标记；

因获取二维图像数据的设备通常位置固定，故对同一设备只需要人工标记一次地面标记，作为预设地面标记；

S412、根据所述预设地面标记从所述二维图像数据中确定预设数量的地面标识物，并记录所述地面标识物对应的二维坐标；

其中，所述预设数量可根据实际情况进行设置，本实施例中，所述预设数量为4个；

所述地面标识物为地面上特征明显的点，比如，电线塔的塔底、十字路口或者转弯路面的角点、地面其他建筑底部角点、森林和路面边缘等；

S413、根据所述地面点云数据从所述三维点云数据中确定所述地面标识物对应的三维坐标；

S414、根据所述二维坐标确定第一齐次坐标，并根据所述三维坐标确定第二齐次坐标；

比如，若第i个地面标识物的二维坐标为(u_i,v_i)，其对应的三维坐标为(x_i,y_i,z_i)，将二维坐标和三维坐标写成齐次形式，即(u_i,v_i)→(u_i,v_i,1)，(x_i,y_i,z_i)→(x_i,y_i,1)；

S415、根据所述第一齐次坐标、所述第二齐次坐标建立地面映射模型；

具体的，所述地面映射模型为：

；

式中，（u_i，v_i，1）表示所述第一齐次坐标，（x_i，y_i，1）表示所述第二齐次坐标，j表示所述预设数量，i表示第i个所述地面标识物，H_g表示地面映射矩阵；

本实施例中，j=4，则

；

其中，所述地面映射矩阵H_g为：

；

式中，Q₁₁~Q₁₃、Q₂₁~Q₂₃和Q₃₁~Q₃₃均表示未知数；

根据4个地面标识物的二维坐标与三维坐标即可求解H_g的未知数；

在另一种可选的实施方式中，所述地面映射矩阵也可以采用摄像机内参矩阵乘外参矩阵计算，其中，内参矩阵在实验室标定得到，外参矩阵采用PnP法求解相机位姿得到；

S42、使用所述地面映射模型确定所述二维隐患轮廓对应的三维隐患轮廓，具体包括：

S421、获取所述二维隐患轮廓的二维隐患坐标；

S422、使用所述地面映射模型将所述二维隐患坐标转换为三维隐患坐标；

比如，所述二维隐患坐标为（u，v），采用地面映射模型计算得到三维隐患坐标为（x，y，1）；

所述三维隐患坐标还缺少z坐标的值；

S423、使用摄像机成像原理基于所述三维隐患坐标确定三维隐患轮廓及对应的真实高度；

所述真实高度相当于所述三维隐患坐标中的z坐标；

其中，所述真实高度为所述隐患相对于地面的高度与所述地面高度的和；

所述隐患相对于地面的高度H为：

；

式中，f表示所述监拍设备的焦距，L表示所述监拍设备的相机原点与所述三维隐患坐标的距离，h表示所述二维隐患坐标中的轮廓点与底部中心点的y坐标之差；

其中，所述底部中心点为（x′，y′）,从所述二维隐患坐标中的轮廓点（x″，y″）确定位于底部中心的轮廓点作为所述底部中心点，x′、y′、 x″和y″均为已知，则h=| y″- y′|；

所述监拍设备的相机原点为（x0，y0，z0），x0、y0、z0可在获取二维图像数据时获取，均为已知，所述三维隐患坐标为（x，y，z），x和y可根据二维隐患坐标和地面映射模型计算，也为已知，因为三维隐患坐标的z未知，计算监拍设备的相机原点与三维隐患坐标的距离时，需要将z做一个近似，考虑到三维隐患坐标就是指隐患的轮廓坐标，而轮廓与地面的高度距离和轮廓与相机的x0，y0距离相比是很小的，所以三维隐患坐标的z可直接用该处地面的高度代替，即在三维点云数据中的地面点云数据中取值为x和y时，所对应的z值，即z0，所以

；

综上所述，最终计算得到所述三维隐患坐标为（x，y，z₀+H）；

S5、根据所述三维点云数据确定输电线位置信息，并根据所述输电线位置信息与所述三维隐患轮廓计算得到所述输电线与所述隐患的目标最短距离，如图3所示，具体包括：

S51、根据所述输电线点云数据使用四次多项式对每一输电线的位置进行拟合，得到每一输电线位置信息；

具体的，存在k条输电线l₁,l₂,l₃,...l_k，每一条输电线包括若干点，即

，其中，

表示第k条输电线的第m个点对应的坐标；

在不考虑扰动的情况下，两端固定的输电线是在一个平面上的，将输电线投影至 XOY平面上，会在XOY形成一条投影线，这条投影线是很容易求的，可将l_k的所有点的z坐标置零，即

，对这些点进行线性回归就可以得到投影线y_k = q_kx_k+ b_k；

以该投影线为T轴，建立TOZ平面直角坐标系，在坐标系TOZ中，对每一输电线的位置使用四次多项式进行拟合：

；

上式中 t =y_k = q_kx_k+b_k；式中，y_k表示第k条输电线，a表示第一参数，b表示第二参数，c表示第三参数，d表示第四参数；

所述第一参数、第二参数、第三参数和第四参数采用最小二乘法求解；

S52、对所述三维隐患轮廓按照预设采样点数进行均匀采样，得到多个采样点；

其中，所述预设采样点数可根据实际情况进行设置；

S53、使用牛顿迭代法计算所述多个采样点中每一所述采样点与所述每一输电线位置信息的最短距离，得到多个最短距离；

S54、从所述多个最短距离中确定所述输电线与所述隐患的目标最短距离；

具体的，所述目标最短距离D为：

；

式中，d_t表示第t个最短距离，k表示所述输电线位置信息的总个数，N表示所述预设采样点数；

本发明直接计算输电线和隐患轮廓的最近距离，适用于任何类型的隐患，即使对于倾斜或者长臂的吊车也不会产生漏报，且在测距过程中，本发明只需进行一次标定，即使用地面映射模型对二维隐患坐标与三维隐患坐标进行标定，减少标定工作量，同时无需人工参与，从而实现了精准地输电线隐患自动化测距。

实施例二

请参照图2，本实施例的一种输电线隐患距离的计算终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的输电线隐患距离的计算方法中的各个步骤。

综上所述，本发明提供的一种输电线隐患距离的计算方法及终端，对二维图像数据进行深度估计，得到深度图，基于二维图像数据与深度图使用预设目标轮廓提取网络进行轮廓提取，得到二维隐患轮廓，基于二维图像数据与三维点云数据确定三维隐患轮廓，根据三维点云数据确定输电线位置信息，并根据输电线位置信息与三维隐患轮廓计算得到输电线与隐患的最短距离，整个过程无需人工介入，实现了输电线隐患的自动化测距，结合深度估计与目标轮廓提取网络进行隐患的轮廓提取，能够更加准确地提取出隐患轮廓特征，利用地面映射模型能够将二维图像坐标转换成三维点云坐标，实现三维坐标与二维坐标的标定，能够有效地确定二维隐患轮廓的三维隐患轮廓；根据输电线点云数据使用四次多项式对每一输电线的位置进行拟合，得到每一输电线位置信息，从三维点云数据分类出输电线点云数据，减少了后续数据处理复杂度，使用四次多项式对每一输电线进行拟合，能够提高得到的输电线位置信息的精度，对三维隐患轮廓按照预设采样点数进行均匀采样，得到多个采样点，使用牛顿迭代法计算每一采样点与每一输电线位置信息的最短距离，从多个最短距离中确定目标最短距离，不仅仅只是计算隐患最高点到输电线的距离，而是将整个隐患轮廓与每一输电线进行距离计算，最终得到的目标最短距离能够真实、准确地反映出隐患是否处于输电线的安全区域，从而实现了精准地输电线隐患自动化测距。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种输电线隐患距离的计算方法，其特征在于，包括：

获取输电线路通道的二维图像数据与三维点云数据；

2.根据权利要求1所述的一种输电线隐患距离的计算方法，其特征在于，所述对所述二维图像数据进行深度估计，得到与所述二维图像数据对应的深度图包括：

3.根据权利要求1所述的一种输电线隐患距离的计算方法，其特征在于，所述基于所述二维图像数据与所述三维点云数据确定所述二维隐患轮廓对应的三维隐患轮廓包括：

4.根据权利要求3所述的一种输电线隐患距离的计算方法，其特征在于，所述获取输电线路通道的二维图像数据与三维点云数据之后包括：

对所述三维点云数据进行分类，得到地面点云数据；

获取所述二维图像数据的预设地面标记；

5.根据权利要求4所述的一种输电线隐患距离的计算方法，其特征在于，所述地面映射模型为：

；

6.根据权利要求3所述的一种输电线隐患距离的计算方法，其特征在于，所述使用所述地面映射模型确定所述二维隐患轮廓对应的三维隐患轮廓包括：

获取所述二维隐患轮廓的二维隐患坐标；

7.根据权利要求4所述的一种输电线隐患距离的计算方法，其特征在于，所述对所述三维点云数据进行分类时，还包括：

得到输电线点云数据；

所述根据所述三维点云数据确定输电线位置信息包括：

8.根据权利要求7所述的一种输电线隐患距离的计算方法，其特征在于，所述根据所述输电线位置信息与所述三维隐患轮廓计算得到所述输电线与所述隐患的目标最短距离包括：

9.根据权利要求8所述的一种输电线隐患距离的计算方法，其特征在于，所述目标最短距离D为：

；

10.一种输电线隐患距离的计算终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的一种输电线隐患距离的计算方法中的各个步骤。