CN113610858B - 一种基于自监督学习的电力线图像实时分割方法 - Google Patents

Abstract

本发明公开了一种基于自监督学习的电力线图像实时分割方法。同批次输入电力线样本图像及电力线样本图像掩膜的集合输入到区域生长算法得单条电力线子图像及单条电力线掩膜的集合；随机提取至少一对单条电力线图像对组合，并与随机背景图片结合生成电力线随机背景融合图像和电力线随机背景掩膜的集合；进行随机不重复区域生长得图像修复区域，和图像修复区域形成分割掩膜，经图像修复算法得电力线分割图像，输入到电力线实时分割网络训练，对待测进行预测分割。本发明用较小的感受野以减少模型参数，提高模型运行速度，拼接多个尺度特征图，融合浅层的细节信息和深层的语义信息，以获得更好的分割效果；在较少数据量的情况下精度有较大提升。

Description

一种基于自监督学习的电力线图像实时分割方法

技术领域

本发明涉及了一种电力线图像分割的方法，尤其是涉及了一种基于深度学习的电力线图像实时分割方法。

背景技术

随着我国电力行业的快速发展，输配电线路规模变得越来越庞大，电力巡检成为保障输配电线路安全稳定运行的重要一环。目前基于无人机的智能巡检已成为电力行业不可或缺的重要运维手段，已在多处开展常态化作业。

目前的无人机巡检大都由作业人员手动控制完成，由于电力线一般尺寸极小，作业人员仅通过回传图像很难察觉潜在的危险，察觉到了也很难对可能发生的事故做出及时而有效的反应。正因如此，在实际的巡检过程中无人机的机翼很容易和电力线发生碰撞或者缠绕，给无人机的飞行安全和电力设施的稳定运行都带来了极大的风险。为此，电力线分割通过从无人机拍摄的图片中定位出电力线的位置，用以调整无人机的飞行姿态，对实现无人机自动避障、保障无人机低空飞行安全具有重要意义，同时电力线分割也是实现无人机自动跟线巡检的关键技术之一。

但是传统基于线和线段的算法只能在一些简单特定的场景下应用，在复杂场景下极容易出现误检、漏检情况，而基于深度学习的分割模型由于需要大量的有标签数据训练和需要较大的算力而无法部署在实际的无人机嵌入式设备上。

发明内容

为了解决背景技术中的问题，本发明提出了一种基于自监督学习的电力线图像实时分割方法，以解决已有方法中存在的需要大量的有标签数据训练和模型较大需要较大的算力而无法部署在实际的无人机嵌入式设备上的问题。

本发明所采用的技术方案是：

1)区域分离：

将同一个批次的输入电力线样本图像集合Batch及输入电力线样本图像集合Batch对应的电力线样本图像掩膜集合BatchMask输入到区域生长算法，经区域生长算法处理获得每幅输入电力线样本图像中每条电力线所对应的单条电力线子图像及其对应的单条电力线掩膜，由所有输入电力线样本图像的单条电力线子图像构成了电力线子图像集合Batch'，由所有输入电力线样本图像的单条电力线子图像的单条电力线掩膜成了单条电力线掩膜集合BatchMask'；

2)随机组合：

2.1)电力线子图像集合Batch'中的每一幅电力线子图像与其在单条电力线掩膜集合BatchMask'中对应的单条电力线掩膜构成了一对单条电力线图像对，随机从电力线子图像集合Batch'和单条电力线掩膜集合BatchMask'中取出至少一对单条电力线图像对组合起来，并与一张随机背景图片结合生成电力线随机背景融合图像和电力线随机背景掩膜；

2.2)重复步骤2.1)进行多次，各次随机取出至少一对单条电力线图像对与不同的随机背景图片进行结合，从而获得电力线随机背景融合图像集合Batch”和电力线随机背景掩膜集合BatchMask”；

所述的随机背景图片为与电力线检测场景匹配的但不带有电力线的图片，通常为室外大自然图片。

3)图像修复：

针对电力线随机背景融合图像集合Batch”和电力线随机背景掩膜集合BatchMask”中的每一张电力线随机背景掩膜进行随机次数和随机步数的不重复区域生长获得图像修复区域，接着对每幅电力线随机背景掩膜生长得到的图像修复区域共同形成一幅修复掩膜，将修复掩膜输入到图像修复算法，对修复掩膜对应的电力线随机背景融合图像进行修复填充获得电力线分割图像，电力线随机背景掩膜减去修复掩膜得到最终的电力线分割掩膜，由电力线分割图像和电力线分割掩膜共同构成了电力线分割图像对，由电力线随机背景融合图像集合Batch”中的每一张电力图像和其在电力线随机背景掩膜集合BatchMask”中对应的电力线随机背景掩膜分别组成最终电力线图像集合Batch”'和最终电力线掩膜集合BatchMask”'；

所述的步骤3)中的图像修复(Inpainting)区域，是对每一个样本的掩膜进行随机次数和随机步数的不重复区域生长得到的生长区域。

4)将3)得到的最终电力线图像集合Batch”'和最终电力线掩膜集合 BatchMask”'输入到电力线实时分割网络SaSnet进行训练，以训练后的电力线实时分割网络SaSnet对待测的电力线场景图像进行处理，获得预测的分割结果。

所述的电力线场景图像为在电力线环境场景下拍摄的，需要分割电力线的图像。

按照本发明上述区域分离、随机组合和图像修复的依次处理能够对少量原始的输入电力线样本图像集合进行大量而不重复地扩充，进而生成大量有标签的电力线样本数据用于电力线实时分割网络SaSnet的训练。

所述的电力线实时分割网络SaSnet主要由输入模块、融合模块、输出模块三部分组成；电力线实时分割网络SaSnet的输入为RGB三通道的彩色图，输入模块是由连续连接的两个第一卷积归一化模块构成，第一卷积归一化模块主要由卷积层、批量归一化层和Relu激活函数依次连接构成，输出统一特征图，通道数为64；融合模块对统一特征图处理生成多个尺度特征图，并且拼接多个尺度特征图，融合其中浅层细节信息和深层语义信息；输出模块主要由一个卷积层、连续两个第一卷积归一化模块依次连接构成；

所述的融合模块包括三个尺度阶段，统一特征图分别输入到三个尺度阶段获得各自的尺度特征图，然后将各个各自的尺度特征图拼接后共同输入到输出模块；第一个尺度阶段是将统一特征图直接输出的处理；第二个尺度阶段主要由步距为2的卷积层、连续两个第一卷积归一化模块、转置卷积层依次连接构成；第三个尺度阶段与第二个尺度阶段基本相同，区别仅在于连续两个第一卷积归一化模块替换为连续两个第二卷积归一化模块，第二卷积归一化模块和第一卷积归一化模块的区别仅在于将卷积层替换为空洞卷积层。

所述2.1)中，具体是将至少一对单条电力线图像对中的各个电力线子图像均叠加到随机背景图片上获得电力线随机背景融合图像，将对应的单条电力线图像对中的各个单条电力线掩膜进行叠加后获得电力线随机背景掩膜。

本发明所述步骤1)中的输入为一个批次的图像集合，输出为新的一个批次的图像集合，也即是一个在线的算法。

本发明对已有的少量有标签的电力线图像数据，通过区域分离、随机组合和图像修复的依次处理，对少量原始的输入电力线样本图像集合进行大量而不重复地扩充，进而生成大量有标签的电力线样本数据用于电力线实时分割网络 SaSnet的训练。

本发明中的电力线分割网络SaSnet抛弃了传统深度学习网络追求大感受野、长距离依赖的设计，用较小的感受野以减少模型参数，提高模型运行速度，同时拼接多个尺度特征图，融合浅层的细节信息和深层的语义信息，以获得更好的分割效果，减少了模型计算量，能够部署在实际的无人机嵌入式设备上，具有广泛的应用前景。

通过本发明方法，用极少量(50张)有标签数据进行训练，在公开数据集GTPLD上的F1-Score分别为0.6640和0.6407，在1080Ti上的测试速度分别为 30.13fps和48.65fps，在公开数据集上的精度和速度都超越了目前已有的最优方法。

本发明提供的技术方案可以包括以下有益效果：

1)本发明可以对少量原始的输入电力线样本图像集合进行大量而不重复地扩充，进而生成大量有标签的电力线样本数据用于深度学习网络的训练。

2)本发明中的电力线分割网络SaSnet设计减少了模型计算量，使得深度学习模型能够部署在实际的无人机嵌入式设备上。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为本发明电力线实时分割网络SaSnet结构图。

图2为融合模块结构图。

图3为快速融合模块结构图。

图4为区域分离和随机组合实例。

图5为图像修复实例。

图6为无人机摄像头采集到的电力线图像样例。

表1为本方法与其他方法的比较对比结果图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明的实施例过程是：

1)区域分离：

将同一个批次的输入电力线样本图像集合Batch及输入电力线样本图像集合Batch对应的电力线样本图像掩膜集合BatchMask输入到区域生长算法，输入电力线样本图像集合Batch中的每幅电力线样本图像均在电力线样本图像掩膜集合BatchMask中有一幅对应的电力线样本图像掩膜，每幅输入电力线样本图像中可能具有一条电力线，也可能具有多条电力线，经区域生长算法处理获得每幅输入电力线样本图像中每条电力线所对应的单条电力线子图像及其对应的单条电力线掩膜，由所有输入电力线样本图像的单条电力线子图像构成了电力线子图像集合Batch'，由所有输入电力线样本图像的单条电力线子图像的单条电力线掩膜成了单条电力线掩膜集合BatchMask'；

区域生长算法将同一个批次的输入电力线样本图像集合Batch中各电力线样本图像中的电力线分离出来，其中由于每个电力线样本图像中的电力线一般不止一根，所以通常有K>＝N，K表示电力线子图像集合Batch'中的单条电力线子图像的总数，N表示输入电力线样本图像集合Batch中的输入电力线样本图像的总数。

2)随机组合：

2.1)对于电力线子图像集合Batch'和单条电力线掩膜集合BatchMask'，电力线子图像集合Batch'中的每一幅电力线子图像与其在单条电力线掩膜集合 BatchMask'中对应的单条电力线掩膜构成了一对单条电力线图像对，随机从电力线子图像集合Batch'和单条电力线掩膜集合BatchMask'中取出至少一对单条电力线图像对并组合起来，并与一张随机背景图片进行结合生成新一张的电力线随机背景融合图像和电力线随机背景掩膜；

2.1)中，具体是将至少一对单条电力线图像对中的各个电力线子图像均像素叠加到随机背景图片上获得电力线随机背景融合图像，将至少一对单条电力线图像对中的各个单条电力线掩膜进行像素叠加后获得电力线随机背景掩膜。

2.2)重复步骤2.1)进行多次，各次随机取出单条电力线图像对与不同的随机背景图片进行结合，从而获得电力线随机背景融合图像集合Batch”和电力线随机背景掩膜集合BatchMask”；各个随机背景图片的电力线随机背景融合图像构成了集合Batch”，各个随机背景图片的电力线随机背景掩膜构成了电力线随机背景掩膜集合BatchMask”。

3)图像修复：

针对电力线随机背景融合图像集合Batch”和电力线随机背景掩膜集合BatchMask”中的每一个电力线随机背景掩膜进行随机次数和随机步数的不重复区域生长获得图像修复区域，接着对每幅电力线随机背景掩膜生长得到的图像修复区域共同形成一幅修复掩膜，将修复掩膜输入到图像修复算法Navier-Stokes 针对修复掩膜对应的电力线随机背景融合图像进行修复填充获得电力线分割图像，即在电力线随机背景融合图像中将生长区域所对应的区域进行用周围像素进行填充，使得电力线随机背景融合图像中生长区域的部分被去除，由电力线分割图像和分割掩膜共同构成了电力线分割图像对，由电力线随机背景融合图像集合Batch”中的每一张电力图像和其在电力线随机背景掩膜集合BatchMask”中对应的电力线随机背景掩膜生成的每一对电力线分割图像对组成最终电力线图像集合Batch”'和最终电力线掩膜集合BatchMask”'；

具体实施中的区域分离、随机组合和图像修复实例如图4和图5所示。

4)将3)得到的最终电力线图像集合Batch”'和最终电力线掩膜集合 BatchMask”'输入到电力线实时分割网络SaSnet进行训练。

如图1所示，电力线实时分割网络SaSnet主要由输入模块、融合模块、输出模块三部分组成；电力线实时分割网络SaSnet的输入为RGB三通道的彩色图，输入模块是由连续连接的两个第一卷积归一化模块构成，第一卷积归一化模块主要由3*3卷积层Convolution、批量归一化层Batch Normalization和Relu激活函数依次连接构成，输出统一特征图，通道数为64；输入模块提取输入电力线图片的轮廓、颜色等细节信息。

如图2所示，融合模块对统一特征图处理生成多个尺度特征图，并且拼接多个尺度特征图，融合其中浅层细节信息和深层语义信息，以获得更好的分割效果；

融合模块包括三个尺度阶段，统一特征图分别输入到三个尺度阶段获得各自的尺度特征图，然后将各个各自的尺度特征图拼接后共同输入到输出模块；

第一个尺度阶段是将统一特征图直接输出的处理，具体可以设定为复制和剪切的处理；

第二个尺度阶段主要由步距为2的卷积层、连续两个第一卷积归一化模块、转置卷积层依次连接构成，先采用了步距为2的卷积层进行下采样，再叠加两个第一卷积归一化模块后通过可学习的转置卷积层进行2倍上采样处理；

第三个尺度阶段与第二个尺度阶段基本相同，区别仅在于连续两个第一卷积归一化模块替换为连续两个第二卷积归一化模块，第二卷积归一化模块和第一卷积归一化模块的区别仅在于将卷积层替换为空洞卷积层，空洞率设置为2。这样采用第二卷积归一化模块的区别设置能在不降低分辨率的基础上，获取更大的感受野。

具体实施中，如图3所示，将融合模块中的第三个尺度阶段进行删除形成快速融合模块，相比快速融合模块，快速融合模块的计算量更小，能够在算力更小的平台上进行快速处理，精度不会明显降低。

输出模块主要由一个1*1的卷积层、连续两个第一卷积归一化模块依次连接构成。具体实施中，输出模块输入了通道数为64的不同尺度特征图的拼接结果，不同尺度特征图首先填充至原图大小，接着一个1*1的卷积层融合不同尺度特征，然后经过两个第一卷积归一化模块，最终输出通道数为1的预测分割图。

最后以训练后的电力线实时分割网络SaSnet对待测的电力线场景图像进行处理，获得预测的分割结果。

本发明能够实现基于已有的少量有标签数据生成新的标签数据，使得模型在较少数据量的情况下精度有较大提升。

具体地，本发明申请在实际场景下的具体实施情况如下：

1)通过无人机摄像头拍摄采集包含有电力线的少量现场图像或者网络上搜集包含有电力线的少量现场图像(如图6所示)；

2)遍历所有搜集到的包含有电力线的现场图像，对每张图像用多边形针对电力线进行像素级标记处理，获得对应的标注文件，它与原图像共同构成电力线图像数据集；

3)针对电力线图像数据集中的图像进行图像缩放，调整图像尺寸为512× 512，对应的标注文件也作同比例缩放，然后将数据集按照大约4:1的比例区分训练集和验证集；

4)用电力线图像数据集中的训练集训练电力线实时分割网络SaSnet。具体来说，将训练集的所有图像及其标注随机分为多个批次，每个批次图像依次输入电力线实时分割网络SaSnet。

5)对于输入电力线实时分割网络SaSnet的每一个批次图像Batch以及其对于的标注BatchMask，通过区域分离、随机组合和图像修复的依次处理，生成最终电力线图像集合Batch”'和最终电力线掩膜集合BatchMask”'。

6)不断重复步骤4)和步骤5)，并用验证集验证模型效果，获得验证集上的最优分割模型。

7)将步骤6)中的得到的最优分割模型部署到无人机嵌入式设备上；

8)将无人机摄像头实时采集到的变电站现场图像按照与步骤2)中相同的图像缩放方法缩放为512×512，作为最优分割模型的输入，可以获得图片中电力线的掩膜，根据掩膜中的电力线像素坐标控制无人机实现自动避障。

表1

具体实施中，本发明和多种方法对比如表1所示，用极少量(50张)有标签数据作为训练数据，快速融合模块和融合模块在公开数据集GTPLD上测试的 F1-score分别为0.640和0.664，同时在1080Ti上的运行速度分别为48.65fps和 30.13fps。其中，融合模块的精度和速度都超越了目前已有的最优方法，而快速融合模块在精度保持较高的情况下推理速度远远地超过了现有方法。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (4)

1.一种基于自监督学习的电力线图像实时分割方法，其特征在于方法包括：

1)区域分离：

将同一个批次的输入电力线样本图像集合Batch及输入电力线样本图像集合Batch对应的电力线样本图像掩膜集合BatchMask输入到区域生长算法，经区域生长算法处理获得每幅输入电力线样本图像中每条电力线所对应的单条电力线子图像及其对应的单条电力线掩膜，由所有输入电力线样本图像的单条电力线子图像构成了电力线子图像集合Batch'，由所有输入电力线样本图像的单条电力线子图像的单条电力线掩膜构成了单条电力线掩膜集合BatchMask'；

2)随机组合：

2.1)电力线子图像集合Batch'中的每一幅电力线子图像与其在单条电力线掩膜集合BatchMask'中对应的单条电力线掩膜构成了一对单条电力线图像对，随机从电力线子图像集合Batch'和单条电力线掩膜集合BatchMask'中取出至少一对单条电力线图像对组合起来，并与一张随机背景图片结合生成电力线随机背景融合图像和电力线随机背景掩膜；

2.2)重复步骤2.1)进行多次，各次随机取出至少一对单条电力线图像对与不同的随机背景图片进行结合，从而获得电力线随机背景融合图像集合Batch”和电力线随机背景掩膜集合BatchMask”；

3)图像修复：

针对电力线随机背景融合图像集合Batch”和电力线随机背景掩膜集合BatchMask”中的每一张电力线随机背景掩膜进行随机次数和随机步数的不重复区域生长获得图像修复区域，接着对每幅电力线随机背景掩膜生长得到的图像修复区域共同形成一幅修复掩膜，将修复掩膜输入到图像修复算法，对修复掩膜对应的电力线随机背景融合图像进行修复填充获得电力线分割图像，电力线随机背景掩膜减去修复掩膜得到最终的电力线分割掩膜，由电力线分割图像和电力线分割掩膜共同构成了电力线分割图像对，由电力线随机背景融合图像集合Batch”中的每一张电力图像和其在电力线随机背景掩膜集合BatchMask”中对应的电力线随机背景掩膜生成的每一对电力线分割图像对组成最终电力线图像集合Batch”'和最终电力线掩膜集合BatchMask”'；

4)将3)得到的最终电力线图像集合Batch”'和最终电力线掩膜集合BatchMask”'输入到电力线实时分割网络SaSnet进行训练，以训练后的电力线实时分割网络SaSnet对待测的电力线场景图像进行处理，获得预测的分割结果。

2.根据权利要求1所述的一种基于自监督学习的电力线图像实时分割方法，其特征在于：所述的电力线实时分割网络SaSnet主要由输入模块、融合模块、输出模块三部分组成；电力线实时分割网络SaSnet的输入为RGB三通道的彩色图，输入模块是由连续连接的两个第一卷积归一化模块构成，第一卷积归一化模块主要由卷积层、批量归一化层和Relu激活函数依次连接构成，输出统一特征图，通道数为64；融合模块对统一特征图处理生成多个尺度特征图，并且拼接多个尺度特征图，融合其中浅层细节信息和深层语义信息；输出模块主要由一个卷积层、连续两个第一卷积归一化模块依次连接构成；

所述的融合模块包括三个尺度阶段，统一特征图分别输入到三个尺度阶段获得各自的尺度特征图，然后将各个各自的尺度特征图拼接后共同输入到输出模块；第一个尺度阶段是将统一特征图直接输出的处理；第二个尺度阶段主要由步距为2的卷积层、连续两个第一卷积归一化模块、转置卷积层依次连接构成；第三个尺度阶段与第二个尺度阶段基本相同，区别仅在于连续两个第一卷积归一化模块替换为连续两个第二卷积归一化模块，第二卷积归一化模块和第一卷积归一化模块的区别仅在于将卷积层替换为空洞卷积层。

3.根据权利要求1所述的一种基于自监督学习的电力线图像实时分割方法，其特征在于：所述2.1)中，具体是将至少一对单条电力线图像对中的各个电力线子图像均叠加到随机背景图片上获得电力线随机背景融合图像，将对应的单条电力线图像对中的各个单条电力线掩膜进行叠加后获得电力线随机背景掩膜。

4.根据权利要求1所述的一种基于自监督学习的电力线图像实时分割方法，其特征在于：所述步骤1)中的输入为一个批次的图像集合，输出为新的一个批次的图像集合。

Images