CN111667461B - 一种输电线路异常目标检测方法 - Google Patents

Abstract

本发明公开了一种输电线路异常目标检测方法，包括：获取原始输电线路图像；利用残差网络和特征金字塔提取所述原始输电线路图像的特征，获得多尺度特征金字塔图集；将所述多尺度特征金字塔图集融合处理，获得融合后的特征图；将所述融合后的特征图输入非局部网络，进行特征增强，生成增强后的特征金字塔图集；将所述增强后的特征金字塔图集中的每个特征图输入到特征指导anchor生成机制中生成目标anchor，并进行特征自适应调整，生成修正后的特征金字塔图集；利用检测器检测所述修正后的特征金字塔图集，并利用损失函数修正检测结果，输出最终的目标检测结果。应用本发明，能够提高输电线路异常目标检测的准确性。

Description

一种输电线路异常目标检测方法

技术领域

本发明属于图像数据处理技术领域，具体地说，是涉及一种输电线路异常目标检测方法。

背景技术

输电线路是我国能源互联网最重要的基础设施之一，其运行状态的安全稳定是电能传输的重要前提。近年来电网的外部环境日趋恶化，使得电网安全面临严峻考验。目前，输电线路排查异物主要有两种方法：人工巡检和无人机巡检。在我国多变的气候条件与复杂的地形地貌的情况下，保障中国超大规模的电力网络运行是一个艰巨的任务。对巡检工人来说，不仅危险系数高、劳动强度大，而且由于人员素质参差不齐，漏检误检事件时有发生，使得巡检效率低下。巡检人员需要携带专业设备深入高山峡谷，甚至深山老林，爬上几十米高的铁塔，开展电网巡检工作，碰上恶劣天气，依然要坚持在巡检一线，在巡检过程中，一旦发生高空坠落或触电等意外事故，后果不堪设想。随后，出现了无人机巡检。无人机空中飞行视野比较全面，相对于人工巡查的视野范围大了许多，并且无人机的速度，比起人工快了太多，无人机能充分发挥视野广、机动性好、时效性强、巡查范围广的优点。但是无人飞行器传回的大量图像数据还是需要人为地判断线路上是否存在异物，因此导致了这种方法的局限性。

随着计算机视觉和深度学习的发展，输电线路的异常目标检测方法应运而生，甚至成为了目标检测领域研究的热点。公开号为CN109493337A的中国专利申请，公开了一种基于改进的Faster RCNN的输电线路异物检测方法，对Faster RCNN的网络结构进行改进，改变卷积核大小，神经元数量和网络中的超参数，对Faster RCNN中anchor(锚点框)大小比例进行调整，还对Faster RCNN原有的训练方式进行改进，采用端到端的联合训练方式，将采集到的异物图片预处理后投入已经训练好的网络进行异物的检测。该专利申请提出的异物检测方法，存在着下述的不足：(1)利用共享卷积神经网络对输入的图像进行特征提取，提取的特征直接送入RPN(区域生成网络)中，没有结合不同分辨率的特征图的特征，从而使特征没有被充分利用；(2)传统的RPN会生成大量的anchor(锚点框)，并且这些anchor大多数存在于背景区域，对于检测性能的提升没有正面效果。

除了采用Faster RCNN方法实现目标检测之外，还可以采用Mask RCNN检测目标。若采用Mask RCNN检测输电线路异物，虽然可以使用特征金字塔对ResNet网络提取的特征进行融合，但是Mask RCNN中的特征金字塔只考虑相邻分辨率的特征融合，非相邻的特征仍不能充分利用。因此，现有输电线路异常目标检测的准确性不高。

本背景技术所公开的上述信息仅仅用于增加对本申请背景技术的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。

发明内容

本发明的目的是提供一种输电线路异常目标检测方法，以提高检测准确性。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种输电线路异常目标检测方法，其特征在于，所述方法包括：

获取原始输电线路图像；

利用残差网络和特征金字塔提取所述原始输电线路图像的特征，获得多尺度特征金字塔图集；

将所述多尺度特征金字塔图集融合处理，获得融合后的特征图；

将所述融合后的特征图输入非局部网络，进行特征增强，生成增强后的特征金字塔图集；

将所述增强后的特征金字塔图集中的每个特征图输入到特征指导anchor生成机制中，分别预测anchor位置和anchor形状，将所述anchor位置和所述anchor形状结合生成目标anchor，再利用所述目标anchor对所述增强后的特征金字塔图集进行特征自适应调整，生成修正后的特征金字塔图集；

利用检测器检测所述修正后的特征金字塔图集，并利用损失函数修正检测结果，输出最终的目标检测结果。

与现有技术相比，本发明的优点和积极效果是：本发明提供的输电线路异常目标检测方法，利用残差网络和特征金字塔提取原始输电线路图像的特征，获得多尺度特征金字塔图集，然后再利用非局部网络对多尺度特征金字塔图集融合处理后的特征图进行特征增强，达到了去噪的效果，提高了特征图的分辨率，使特征图更具有分辨性，有效解决了输电线路异常目标数据集图片不清晰，特征提取不准确的问题，利于提高输电线路异常目标检测准确性；采用了特征指导anchor生成机制，基于增强后的特征金字塔图集的特征图，预测anchor位置和形状，生成目标anchor，并基于目标anchor对特征图进行特征自适应调整，不仅可以提高anchor的生成效率，还可以生成稀疏、形状任意的anchor，提高了提议区域的质量，有利于分类和回归，进一步提高了输电线路异常目标检测的准确性。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是基于本发明输电线路异常目标检测方法一个实施例的流程图；

图2是部分原始输电线路图像；

图3是对图2的原始输电线路图像采用图1的方法后的输出结果图像；

图4是构建特征金字塔的一个结构示意图；

图5是基于非局部网络进行特征增强的一个结构示意图；

图6是特征指导的anchor生成机制的一个结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。

请参见图1，该图所示为基于本发明输电线路异常目标检测方法一个实施例的流程图。具体来说，是采用特征增强和特征指导的anchor生成机制实现输电线路异常目标检测方法的一个实施例的流程图。

如图1所示，该实施例采用下述方法进行输电线路异常目标检测，以提高检测准确性。

步骤11：获取原始输电线路图像。

具体的，可以将输电线路视频监控采集的图片，作为原始输电线路图像。部分原始输电线路图像如图2所示。

步骤12：利用残差网络和特征金字塔提取原始输电线路图像的特征，获得多尺度特征金字塔图集。然后，将多尺度特征金字塔图集融合处理，获得融合后的特征图。

在该步骤中，将原始输电线路图像作为输入，输入至残差网络，以全卷积的方式输出多个级别的、按比例大小的特征图。在一个优选实施例中，残差网络采用ResNet-101网络，该ResNet-101网络的具体结构如下表(一)所示。

Resnet-101	输入	输出	输出维度	卷积核大小
					Conv1	224x224	112*112	64	7*7，64
Conv2_x	112*112	56*56	64	3*3，64
					Conv3_x	56*56	28*28	128	3*3，128
Conv4_x	28*28	14*14	256	3*3，256
					Conv5_x	14*14	7*7	512	3*3，512

对于ResNet-101，分为五个模块：conv1、conv2_x、conv3_x、conv4_x、conv5_x。将conv2_x、conv3_x、conv4_x和conv5_x四个模块最后一层的输出表示为{C2，C3，C4，C5}，由于内存占用大，不会将conv1包含在其中。

然后，将ResNet-101网络输出的特征图通过从下而上的路径、从上而下的路径和横向连接，生成多尺度初始特征金字塔图集。构建特征金字塔的一个结构示意图如图4所示。具体实现时，将高层特征图上采用2倍(为了简便，使用最近邻上采样)，与左侧从下而上的特征图通过逐元素简单相加的方式融合。同时，左侧从下而上的特征图采用1×1卷积层来减少通道维度。而且，为了开始迭代，将C5上附加1×1卷积层，以产生最粗糙的分辨率特征图。迭代此过程，生成特征图集{P2,P3,P4,P5}，作为初始特征金字塔图集，分别与{C2,C3,C4,C5}大小相对应。

然后，将多尺度初始特征金字塔图集通过池化、差值的方式统一到相同大小，譬如，统一到P2大小。然后，相加取平均值，得到一张融合后的特征图。因为不同尺度的特征图包含的信息不相同，通过相加取平均，可以平衡不同尺度特征图之间的信息，使得信息更具有代表性。

步骤13：将融合后的特征图输入非局部网络，进行特征增强，生成增强后的特征金字塔图集。

基于非局部网络进行特征增强的一个结构示意图如图5所示，是将步骤12获得的融合后的特征图输入到非局部网络中，通过非局部网络对融合后的特征图进行特征增强，得到增强后的特征图。然后，对增强后的特征图通过池化、差值处理，最终获得增强后的特征金字塔图集{T2,T3,T4,T5}。

采用该步骤的意义在于，对于原始输电线路图像，很多图片并不清晰，影响特征提取的质量，而采用非局部网络对提取的特征进一步增强，则能够去除噪音，使得提取的特征更清晰。

其中，非局部网络通过非局部建模实现。通过非局部建模形成非局部网络，可以捕获长距离的依赖关系，通过在某些层引入全局信息，能够很好地解决局部操作无法看清全局的问题，为后续的层带去更丰富的信息。非局部建模公式为：

公式中，C(x)作为归一化因子，用来进行标准化处理，得到最终的响应值。

C(x)设置为：

上述公式中，y_i表示当前点与全局所有信息关系的函数值，x是输入信号，i是输出位置的索引，j表示图像上的每一个位置，函数f用来计算输入信号x在位置i和位置j之间的相似关系，函数g用来计算输入信号x在位置j的特征值

为便于处理，将函数g看作是一个线性变换，g(x_j)＝W_gx_j。其中，Wg为权重，通过训练学习确定。函数f优选为嵌入式高斯函数，θ(x_i)＝W_θx_i,φ(x_j)＝W_φx_j；W_θ、Wφ均为权重，通过训练学习确定。

步骤14：将增强后的特征金字塔图集中的每个特征图输入到特征指导anchor生成机制中，分别预测anchor位置和anchor形状，生成目标anchor，再利用目标anchor对增强后的特征金字塔图集进行特征自适应调整，生成修正后的特征金字塔图集。

在步骤13得到的增强后的特征金字塔图集{T2,T3,T4,T5}的基础上，将每一个分辨率的特征图都运用一个anchor生成机制。该anchor生成机制采用两个分支，分别预测anchor位置和anchor形状，两者结合在一起，生成目标anchor。图6示出了特征指导的anchor生成机制的一个结构示意图。

对于预测anchor位置的位置预测分支，其目标是预测哪些区域应该作为中心点来生成anchor，是一个二分类问题。而且，与传统RPN不同的是，此处并不是预测每个点是前景还是背景，而是预测点是否为物体的中心。将整个特征图的区域分为物体中心区域、外围区域和忽略区域，基本思路是将真实框(ground truth)的中心一小块对应在特征图上的区域标为物体中心区域，在训练的时候作为正样本；其余区域按照离中心的距离标为忽略样本或者负样本。通过该位置预测分支，可以筛选出一小部分区域作为anchor的候选中心点位置，使得anchor数量大大降低。

具体实现方法为：对增强后的特征金字塔图集中的每个特征图运用一个N_L网络，生成一张概率图，图上每一点的概率表示该点为目标物体中心的概率；设置概率阈值，筛选出概率大于概率阈值的点，将其预测为anchor的中心位置，或者说，选定为anchor可能的位置。

其中，N_L网络包括一个1×1卷积运算和一个sigmoid函数。1×1卷积运算用于对特征图生成相同大小的映射，其所输出的位置(m，n)，对应原特征图上的((m+0.5)s,(n+0.5)s)，其中，相邻锚点之间的距离s是原特征图的步长。sigmoid函数用于生成概率图。

对于预测anchor形状的形状预测分支，其目标是给定anchor中心点，预测最佳的长和宽，是一个回归问题。具体实现方法为：

对增强后的特征金字塔图集中的每个特征图运用一个N_S网络，该N_S网络包括一个1×1卷积运算，生成尺寸相同的两个通道的映射，分别代表宽w和高h，使用IoU(交并比)作为监督，学习w和h。

所预测的anchor和真实框的IoU表示为：

其中，a_wh＝{(x₀,y₀,w,h)|w>0,h>0}，x₀、y₀为预测的anchor的坐标，根据预测的位置确定；w、h为预测的anchor的宽和高；gt＝(x_g,y_g,w_g,h_g)，x_g、y_g为真实框中心的坐标，w_g、h_g为真实框的宽和高。

需要说明的是，因为不可能把所有可能的w、h遍历一遍，然后求IoU的最大值，因此采用近似的方法，采样一些可能的w、h。

采用上述anchor生成机制生成的目标anchor，都有自己独处的形状和大小，与特征匹配度不够高。在优选实施方式中，还利用生成的目标anchor进行特征自适应调整，生成修正后的特征金字塔图集。具体来说是将anchor的形状信息直接融入到增强后的特征金字塔特征图中，生成新的特征图，能够适应每个位置anchor的形状。具体实现方法为：

利用一个3×3反卷积修正增强后的特征金字塔图集中的每个特征图，生成修正后的特征金字塔图集。

其中，反卷积的偏移量为目标anchor的宽和高经过1×1卷积运算获得。

步骤15：利用检测器检测修正后的特征金字塔图集，并利用损失函数修正检测结果，输出最终的目标检测结果。

其中，检测器是通过训练过程已经训好的。利用检测器检测修正后的特征金字塔图集，并利用损失函数不断修正每次输出的检测结果，使其更接近真实值，最后，输出最终的目标检测结果。

在该实施例的目标检测方法中，除了基本的分类损失和回归损失外，还需要学习anchor的位置和形状，因此，还需要两个额外的损失函数L_loc、L_shape。因此，最终的损失函数L的表达式确定为：

L＝λ₁L_loc+λ₂L_shape+L_mask+L_reg+L_cls。

其中，λ₁、λ₂均为大于0的系数。在一些优选实施例中，λ₁＝1，λ₂＝0.1。

L_loc＝-(1-p_t)^γlog(p_t)，为特征指导anchor生成机制中预测anchor位置时所对应的损失函数。其中，y∈[0,1]，表示真实框的类别，当y＝0是代表为负类，当y＝1时代表为正类；p表示该点预测为位置中心的概率；γ为大于0的调制系数，用来调节简单样本权重降低的速率。而且，通过实验，γ＝2时效果最好。

为特征指导anchor生成机制中预测anchor形状时所对应的损失函数。w、h为预测的anchor的宽和高，w_g、h_g为真实框的宽和高。L₁为平滑损失函数smooth_L1。在一些优选实施例中，smooth_L1的表达式为：

其中，参数x是预测结果与真实值的差。

L_mask与L_cls分别代表mask掩膜分支所对应的损失函数与分类的损失函数，这两个损失函数都是交叉熵损失，公式为p_k是预测第k个anchor为正类的概率，/>是用于区分第k个anchor为正类或负类的标签，正类是为1，负类是为0。

L_reg也为平滑损失函数smooth_L1。

采用图1实施例的方法检测图2的原始输电线路图像，得到的输出结果图像如图3所示。

采用上述实施例及优选实施例的方法实现输电线路异常目标检测，利用残差网络和特征金字塔提取原始输电线路图像的特征，获得多尺度特征金字塔图集，然后再利用非局部网络对多尺度特征金字塔图集融合处理后的特征图进行特征增强，达到了去噪的效果，提高了特征图的分辨率，使特征图更具有分辨性，有效解决了输电线路异常目标数据集图片不清晰，特征提取不准确的问题，利于提高输电线路异常目标检测准确性。而且，采用了特征指导anchor生成机制，基于增强后的特征金字塔图集的特征图，预测anchor位置和形状，生成目标anchor，并基于目标anchor对特征图进行特征自适应调整，不仅可以提高anchor的生成效率，还可以生成稀疏、形状任意的anchor，提高了提议区域的质量，有利于分类和回归，进一步提高了输电线路异常目标检测的准确性。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (4)

1.一种输电线路异常目标检测方法，其特征在于，所述方法包括：

获取原始输电线路图像；

利用残差网络和特征金字塔提取所述原始输电线路图像的特征，获得多尺度特征金字塔图集；

将所述多尺度特征金字塔图集融合处理，获得融合后的特征图；

将所述融合后的特征图输入非局部网络，进行特征增强，生成增强后的特征金字塔图集；

将所述增强后的特征金字塔图集中的每个特征图输入到特征指导anchor生成机制中，分别预测anchor位置和anchor形状，将所述anchor位置和所述anchor形状结合生成目标anchor，再利用所述目标anchor对所述增强后的特征金字塔图集进行特征自适应调整，生成修正后的特征金字塔图集；

利用检测器检测所述修正后的特征金字塔图集，并利用损失函数修正检测结果，输出最终的目标检测结果；

所述非局部网络通过非局部建模实现，所述非局部建模公式为：

其中，y_i表示当前点与全局所有信息关系的函数值，x是输入信号，i是输出位置的索引，j表示图像上的每一个位置，函数f用来计算输入信号x在位置i和位置j之间的相似关系，函数g用来计算输入信号x在位置j的特征值，C(x)为归一化因子；

将所述增强后的特征金字塔图集中的每个特征图输入到特征指导anchor生成机制中，预测anchor位置，具体包括：

对所述增强后的特征金字塔图集中的每个特征图运用一个N_L网络，生成一张概率图，图上每一点的概率表示该点为目标物体中心的概率；

设置概率阈值，筛选出概率大于所述概率阈值的点，将其预测为anchor的中心位置；

所述N_L网络包括一个1×1卷积运算和一个sigmoid函数，所述1×1卷积运算用于对特征图生成相同大小的映射；所述sigmoid函数用于生成概率图；

将所述增强后的特征金字塔图集中的每个特征图输入到特征指导anchor生成机制中，预测anchor形状，具体包括：

对所述增强后的特征金字塔图集中的每个特征图运用一个N_S网络，生成尺寸相同的两个通道的映射，分别代表宽w和高h，使用IoU作为监督，学习w和h；所述N_S网络包括一个1×1卷积运算；

所预测的anchor和真实框的IoU表示为：

其中，a_wh＝{(x₀,y₀,w,h)|w>0,h>0}，x₀、y₀为预测的anchor的坐标，根据预测的位置确定；w、h为预测的anchor的宽和高；gt＝(x_g,y_g,w_g,h_g)，x_g、y_g为真实框中心的坐标，w_g、h_g为真实框的宽和高；

利用所述目标anchor对所述增强后的特征金字塔图集进行特征自适应调整，生成修正后的特征金字塔图集，具体包括：

利用一个3×3反卷积修正所述增强后的特征金字塔图集中的每个特征图，生成修正后的特征金字塔图集；

其中，所述反卷积的偏移量为所述目标anchor的宽和高经过1×1卷积运算获得。

2.根据权利要求1所述的输电线路异常目标检测方法，其特征在于，所述函数f的表达式为：θ(x_i)＝W_θx_i,φ(x_j)＝W_φx_j；W_θ、Wφ均为权重，通过训练学习确定；

所述函数g的表达式为：g(x_j)＝W_gx_j；Wg为权重，通过训练学习确定。

3.根据权利要求1或2所述的输电线路异常目标检测方法，其特征在于，所述损失函数L的表达式为：

L＝λ₁L_loc+λ₂L_shape+L_mask+L_reg+L_cls；

其中，λ₁、λ₂均为大于0的系数；L_loc＝-(1-p_t)^γlog(p_t)为所述特征指导anchor生成机制中预测anchor位置时所对应的损失函数，其中，y∈[0,1]，表示真实框的类别，p表示该点预测为位置中心的概率；γ为大于0的调制系数；为特征指导anchor生成机制中预测anchor形状时所对应的损失函数，L₁为平滑损失函数smooth_L1，w、h为预测的anchor的宽和高，w_g、h_g为真实框的宽和高；L_mask与L_cls分别代表mask掩膜分支所对应的损失函数与分类的损失函数，这两个损失函数都是交叉熵损失，公式为/>p_k是预测第k个anchor为正类的概率，/>是用于区分第k个anchor为正类或负类的标签，L_reg为平滑损失函数smooth_L1，/>参数x是预测结果与真实值的差。

4.根据权利要求1所述输电线路异常目标检测方法，其特征在于，利用残差网络和特征金字塔提取所述原始输电线路图像的特征，获得多尺度特征金字塔图集，将所述多尺度特征金字塔图集融合处理，获得融合后的特征图，具体包括：

将所述原始输电线路图像作为输入，输入至ResNet-101网络，所述ResNet-101网络以全卷积的方式输出多个级别的按比例大小的特征图；

将所述ResNet-101网络输出的特征图通过从下而上的路径、从上而下的路径和横向连接，生成多尺度特征金字塔图集；

将所述多尺度特征金字塔图集通过池化、插值的方式统一到相同大小，然后相加取平均，获得融合后的特征图。