CN109816780B - 一种双目序列影像的输电线路三维点云生成方法及装置 - Google Patents

Abstract

本申请提供了一种双目序列影像的输电线路三维点云生成方法及装置，其中方法包括：对双目序列影像进行立体匹配得到地物三维激光点云；利用深度学习得到电力线的三维模型；结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云。本申请通过立体匹配得到地物三维激光点云，通过深度学习得到电力线的三维模型，结合起来得到输电线路三维激光点云，输电线路三维激光点云能够对电力线下方安全距离进行实时检测，整个过程全自动化，无需人工干预，因此具有操作简单、推广难度小、实时排查安全隐患等优势；并且采用深度学习方法进行电力线的自动识别提取，随着数据的积累，识别精度会越来越高，且环境适应能力强。

Description

一种双目序列影像的输电线路三维点云生成方法及装置

技术领域

本申请涉及输电线路检测技术领域，尤其涉及一种双目序列影像的输电线路三维点云生成方法及装置。

背景技术

电网现行高压电力线路结构复杂、规模庞大，线路通道环境十分复杂，异物缠挂、线路下方树木、违规施工、违章建筑等易导致线路安全距离不足而发生短路事故。事故一旦发生，后果严重，巨大的电流可能造成人员严重伤害，故障造成线路设备损坏，跳闸停运，对电网运行造成冲击，同时，故障对城市区域供电造成影响，扰乱企业和居民的正常生产生活秩序，带来重大经济损失。

有人直升机及无人机携带激光扫描系统电力线路通道巡检技术，已在我国电网巡检中逐渐得到应用。机载激光雷达测量系统可以很好地解决空间定位和测量精度等问题，它可直接而快速地采集线路走廊高精度三维激光点云数据，进而快速地获得高精度三维线路走廊的地形、地貌、地物和线路设施的空间信息。随着LiDAR点云数据处理技术的逐渐成熟，目前国内大部分无人机电力巡线系统都配备有LiDAR系统。随着传感器技术的进步，激光扫描仪和定位定姿系统都在逐步小型化，LiDAR系统也随之轻小型化，从而能被多旋翼无人机所搭载。但目前基于LiDAR的导线地物安全检测绝大多是事后处理，即先采集整个导线路的数据，然后再内业进行处理(包括定位定姿数据处理、LiDAR点云生成，导线提取等)。后处理方式的优点是精度高，但延时较大，不便于检修人员实时实地解决安全隐患。另外，后处理流程复杂度高，难以被一般工作人员掌握。这两大问题仍制约着无人机激光雷达系统在电力巡检工作中的大规模使用。

发明内容

本申请提供了一种双目序列影像的输电线路三维点云生成方法及装置，该方法首先通过对双目序列影像进行立体匹配得到地物三维彩色激光点云；然后利用深度学习目标检测算法，对无人机影像进行分类，提取出电力线像素坐标，将其反投影到三维空间，得到电力线的三维模型，最后结合地物三维激光点云和电力线三维模型，从而得到输电线路三维激光点云，为后续的地物安全距离检测提供数据支撑。

有鉴于此，本申请第一方面提供了一种双目序列影像的输电线路三维点云生成方法，包括：

对双目序列影像进行立体匹配得到地物三维激光点云；

利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型；

结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云。

优选地，对双目序列影像进行立体匹配得到地物三维激光点云具体包括：

对获取到的双目序列影像执行半全局立体匹配算法得到视差图；

根据视差图建立地物三维激光点云。

优选地，对获取到的双目序列影像执行半全局立体匹配算法得到视差图之后、根据视差图建立地物三维激光点云之前还包括：

通过斜面平滑算法对视差图进行优化。

优选地，对获取到的双目序列影像执行半全局立体匹配算法得到视差图包括：

建立视差搜索空间；

通过动态规划进行优化，并计算优化后的匹配相似度，得到像素的视差值；

根据像素的视差值描述出视差图。

优选地，利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型包括：

构建具有多隐层的机器学习模型；

根据获取到的样本训练数据对机器学习模型进行训练；

根据训练后的机器学习模型对无人机影像进行分类，提取出电力线像素坐标；

将电力线像素坐标反投影到三维空间，得到电力线的三维模型。

优选地，构建具有多隐层的机器学习模型具体为：

建立VGG16基础网络结构的前五层；

利用astrous算法将fc6和fc7层转化成两个卷积层；

增加3个卷积层和average pool层。

优选地，结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云后还包括：

利用输电线路三维激光点云判断地物与电力线之间的距离是否超过安全距离。

本申请第二方面提供一种双目序列影像的输电线路三维点云生成装置，基于如第一方面的双目序列影像的输电线路三维点云生成方法进行生成，包括：

无人机，用于获取双目序列影像和无人机影像；

连接所述无人机的处理模块，用于执行如第一方面的双目序列影像的输电线路三维点云生成方法的步骤。

本申请第三方面提供一种双目序列影像的输电线路三维点云生成设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的双目序列影像的输电线路三维点云生成方法的步骤。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的双目序列影像的输电线路三维点云生成方法。

本申请第五方面提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的双目序列影像的输电线路三维点云生成方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种双目序列影像的输电线路三维点云生成方法及装置，其中方法包括：对双目序列影像进行立体匹配得到地物三维激光点云；利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型；结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云。本申请通过立体匹配得到地物三维激光点云，通过深度学习得到电力线的三维模型，结合起来得到输电线路三维激光点云，输电线路三维激光点云能够对电力线下方安全距离进行实时检测，整个过程全自动化，无需人工干预，因此具有操作简单、推广难度小、实时排查安全隐患等优势；并且采用深度学习方法进行电力线的自动识别提取，随着数据的积累，样本量的增加，识别精度会越来越高，且无需针对不同场景研究不同的识别方法，环境适应能力强。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请提供的一种双目序列影像的输电线路三维点云生成方法的一个实施例的示意图；

图2为本申请提供的一种双目序列影像的输电线路三维点云生成方法的另一个实施例的示意图；

图3为本申请提供的一种双目序列影像的输电线路三维点云生成方法的另一个实施例的获取电力线三维模型的流程图。

具体实施方式

本申请提供了一种双目序列影像的输电线路三维点云生成方法及装置，该方法首先通过对双目序列影像进行立体匹配得到地物三维彩色激光点云；然后利用深度学习目标检测算法，对无人机影像进行分类，提取出电力线像素坐标，将其反投影到三维空间，得到电力线的三维模型，最后结合地物三维激光点云和电力线三维模型，从而得到输电线路三维激光点云，为后续的地物安全距离检测提供数据支撑。

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参阅图1，本申请提供的一种双目序列影像的输电线路三维点云生成方法的一个实施例，包括：

101、对双目序列影像进行立体匹配得到地物三维激光点云；

立体匹配算法有很多，本申请采用半全局立体匹配算法。

102、利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型；

通过深度学习目标检测算法可以检测无人机影像的类别，从而分类识别出电力线，然后提取出电力线像素坐标。

103、结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云。

本申请通过立体匹配得到地物三维激光点云，通过深度学习得到电力线的三维模型，结合起来得到输电线路三维激光点云，输电线路三维激光点云能够对电力线下方安全距离进行实时检测，整个过程全自动化，无需人工干预，因此具有操作简单、推广难度小、实时排查安全隐患等优势；并且采用深度学习方法进行电力线的自动识别提取，随着数据的积累，样本量的增加，识别精度会越来越高，且无需针对不同场景研究不同的识别方法，环境适应能力强。

以上是对本申请提供的一种双目序列影像的输电线路三维点云生成方法的一个实施例进行详细的描述，以下将对本申请提供的一种双目序列影像的输电线路三维点云生成方法的另一个实施例进行详细的描述。

请参阅图2，本申请提供的一种双目序列影像的输电线路三维点云生成方法的另一个实施例，包括：

201、对获取到的双目序列影像执行半全局立体匹配算法得到视差图；

进一步地，对获取到的双目序列影像执行半全局立体匹配算法得到视差图包括：

建立视差搜索空间；

通过动态规划进行优化，并计算优化后的匹配相似度，得到像素的视差值；

根据像素的视差值描述出视差图。

需要说明的是，半全局立体匹配算法是Semi-Global Matching，简称SGM算法。本申请中半全局立体匹配采用基于OpenCL(Open Computing Language)加速的半全局匹配，通过OpenCL加速计算，能够达到每小时至少处理7公里的无人机航拍数据。半全局匹配算法的关键在于，其视差值的优化并没有在全局层面，而是基于视差图中的一部分对某一点的视差值进行优化，并通过动态规划的方式实现，大大降低了全局优化中视差图的搜索范围。其大致思路如下：

对于左图中的某一点I_left(x，y)，在极线约束下，该点右图的匹配点候选集为：

I_r＝{I_right(x′，y)|0≤x′≤x-d_max}；

其中d_max为最大允许视差。以此建立视差搜索空间，其定义如式(1)：

DS＝{C(x，y，d)|C(x，y，d)＝Cost(I_left(x，y)，I_right(x-d，y))}   (1)

其中，Cost(I_left(x，y)，I_right(x-d，y))用于衡量I_left(x，y)与I_right(x-d，y)的相似度，称为成本函数。在局部算法中，只需要在计算出DS后，找到相似度最小的点，则基本上找到匹配点。但在SGM中，需要针对DS，通过动态规划进行优化，如式(2)：

其中p＝(x，y)，r为动态规划路径。DS为视差搜索空间，如式1所示；i是指DS最小对应的视差i；P1和P2是惩罚因子，如果视差只差了1，则加惩罚P1，否则加惩罚P2，即为正则化约束。d为允许视差，d_max是最大允许视差。

最终，优化后的匹配相似度为各方向上的DS值的平均数，如式(3)

最后只需取

即为像素p的视差值。

直观上，SGM通过动态规划，基于立体视觉中的平滑性约束，保证了视差图中相邻点之间视差的平滑性，并且通过邻域视差值不连续的惩罚，降低了无匹配率，以及一定程度上缓解了匹配歧义的问题。

在完成左右摄像头获取图像的立体匹配后，理论上便可以得到图像中所有像素点的深度信息，从而描绘出视差图。在灰度图中，深度值越小、与摄像头距离越近的点会更显得明亮。

相对LiDAR系统而言，双目视觉系统是一种较廉价的解决方案，而相对单目而言，双目相机无需空三即可直接进行三维量测。因此，将旋翼无人机的优势和双目视觉的优势结合起来，搭建基于双目视觉的多旋翼无人机电力线路安全检测系统，将是一种较好的解决方案。

基于双目立体相机的导线空间三维建模在之前较为少见，主要原因在于双目立体相机建立三维立体影像时密集匹配技术难以实现，又因为导线在图像视场中原本非常细小，不够密集的匹配会导致导线建模丢失以及漏检等问题。随着密集匹配技术的发展，使得双目立体相机的导线三维建模成为可能。该方法成本低，不仅能得到准确的三位信息，同时含有相机的色彩信息，更方便进行可视化和处理。同时通过GPU并行化计算可以实现双目立体测量的实时性，避免了复杂的后处理过程。

202、通过斜面平滑算法对视差图进行优化；

视差图优化算法采用基于斜面平滑算法(Slanted Plane Smoothing，SPS)对得到的视差图进行优化。使用半全局立体匹配算法与斜面平滑算法进行立体匹配计算与优化后，能得到稠密的视差图，进而重建稠密三维点云(如步骤203)。

203、根据视差图建立地物三维激光点云；

204、构建具有多隐层的机器学习模型；

进一步地，构建具有多隐层的机器学习模型具体为：

建立VGG16基础网络结构的前五层；

利用astrous算法将fc6和fc7层转化成两个卷积层；

增加3个卷积层和average pool层。

需要说明的是，VGG16是本领域技术人员常用的卷积神经网络，本申请通过对VGG16卷积神经网络进行改进得到本申请使用的机器学习模型。具体方法为：神经网络结构采用VGG16的基础网络结构，使用前面的前5层，然后利用astrous算法将fc6和fc7层转化成两个卷积层。再格外增加了3个卷积层，和一个average pool层。不同层次的feature map分别用于default box的偏移以及不同类别得分的预测，最后通过nms得到最终的检测结果。

在电力线提取过程中采用深度学习SSD(Single Shot MultiBox Detector)目标检测算法，该检测方法采用人工智能深度学习检测算法，通过构建具有多隐层的机器学习模型和海量的训练数据，并逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

205、根据获取到的样本训练数据对机器学习模型进行训练；

通过收集大量不同区域的电力线无人机航拍影像，然后利用人工从影像中标注出各种不同类型的电力线，以这些标注的影像作为训练样本放入到SSD算法框架中进行训练，得到电力线自动提取的SSD模型(即训练完毕的机器学习模型)。

206、根据训练后的机器学习模型对无人机影像进行分类，提取出电力线像素坐标；

在数据采集过程中，通过该训练后的机器学习模型实时对无人机影像进行分类，提取出电力线像素坐标。

例如，无人机影像中某一帧被训练后的机器学习模型分类识别为电力线，则可以进一步识别该帧图像中哪些像素点是电力线的像素点，然后提取出电力线像素坐标。

207、将电力线像素坐标反投影到三维空间，得到电力线的三维模型；

步骤204至步骤207的整体过程如图3所示。

步骤201至步骤203是得到地物三维激光点云的过程，步骤204至步骤207是得到电力线的三维模型的过程，两个过程可以同时进行。

208、结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云；

地物三维激光点云和电力线的三维模型的结合方式可以是选定一个标志物(如电线杆)作为基点，将两个三维坐标系接合为一个三维坐标系。

209、利用输电线路三维激光点云判断地物与电力线之间的距离是否超过安全距离；

输电线路三维激光点云包括地物的高度数据(视差图等数据)和电力线的数据，电力线相对地面的高度是已知的，因此可以根据输电线路三维激光点云判断地物与电力线之间的距离是否超过安全距离。具体方式不再赘述。

本申请基于双目相机装置采集立体影像，进行立体匹配得到地物三维彩色激光点云；利用深度学习方法，自动从影像中提取电力线，并通过影像和激光雷达的配准，将影像中的电力线坐标映射至激光点云数据中，从而获得电力线激光点云数据。

(1)本申请实现了电力线下方安全距离的实时检测，整个过程全自动化，无需人工干预，因此具有操作简单、推广难度小、实时排查安全隐患等优势。

(2)本申请采用深度学习方法进行电力线的自动识别提取，随着数据的积累，样本量的增加，识别精度会越来越高，且无需针对不同场景研究不同的识别方法，环境适应能力强。

以上是对本申请提供的一种双目序列影像的输电线路三维点云生成方法的另一个实施例进行详细的描述，以下将对本申请提供的一种双目序列影像的输电线路三维点云生成装置的实施例进行详细的描述。

本申请提供的一种双目序列影像的输电线路三维点云生成装置的一个实施例，基于如上述实施例的双目序列影像的输电线路三维点云生成方法进行生成，包括：

无人机，用于获取双目序列影像和无人机影像；

连接无人机的处理模块，用于执行如第一方面的双目序列影像的输电线路三维点云生成方法的步骤。

本申请提供一种双目序列影像的输电线路三维点云生成设备，设备包括处理器以及存储器：

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令，执行如上述实施例的双目序列影像的输电线路三维点云生成方法的步骤。

本申请提供一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述实施例的双目序列影像的输电线路三维点云生成方法。

本申请提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例的双目序列影像的输电线路三维点云生成方法。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种双目序列影像的输电线路三维点云生成方法，其特征在于，包括：

对双目序列影像进行立体匹配得到地物三维激光点云，具体包括：

对获取到的双目序列影像执行半全局立体匹配算法得到视差图；

通过斜面平滑算法对视差图进行优化；

根据视差图建立地物三维激光点云；

利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型；

结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云。

2.根据权利要求1所述的一种双目序列影像的输电线路三维点云生成方法，其特征在于，对获取到的双目序列影像执行半全局立体匹配算法得到视差图包括：

建立视差搜索空间；

通过动态规划进行优化，并计算优化后的匹配相似度，得到像素的视差值；

根据像素的视差值描述出视差图。

3.根据权利要求1所述的一种双目序列影像的输电线路三维点云生成方法，其特征在于，利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型包括：

构建具有多隐层的机器学习模型；

根据获取到的样本训练数据对机器学习模型进行训练；

根据训练后的机器学习模型对无人机影像进行分类，提取出电力线像素坐标；

将电力线像素坐标反投影到三维空间，得到电力线的三维模型。

4.根据权利要求3所述的一种双目序列影像的输电线路三维点云生成方法，其特征在于，构建具有多隐层的机器学习模型具体为：

建立VGG16基础网络结构的前五层；

利用 astrous 算法将 fc6 和 fc7 层转化成两个卷积层；

增加3个卷积层和average pool层。

5.根据权利要求1所述的一种双目序列影像的输电线路三维点云生成方法，其特征在于，结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云后还包括：

利用输电线路三维激光点云判断地物与电力线之间的距离是否超过安全距离。

6.一种双目序列影像的输电线路三维点云生成装置，其特征在于，包括：

无人机，用于获取双目序列影像和无人机影像；

连接所述无人机的处理模块，用于执行如权利要求1至5任一项所述的双目序列影像的输电线路三维点云生成方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-5任一项所述的双目序列影像的输电线路三维点云生成方法。

Images