CN117237373A - 一种图像分割方法、装置及设备 - Google Patents
一种图像分割方法、装置及设备 Download PDFInfo
- Publication number
- CN117237373A CN117237373A CN202311433338.1A CN202311433338A CN117237373A CN 117237373 A CN117237373 A CN 117237373A CN 202311433338 A CN202311433338 A CN 202311433338A CN 117237373 A CN117237373 A CN 117237373A
- Authority
- CN
- China
- Prior art keywords
- result
- upsampling
- image
- downsampling
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 82
- 230000011218 segmentation Effects 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 abstract description 32
- 230000007547 defect Effects 0.000 abstract description 9
- 238000012423 maintenance Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 239000012212 insulator Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及计算机视觉图像处理技术领域，具体涉及一种图像分割方法，能够搭建图像分割网络结构，包括编码器和解码器；获取原始图像，将原始图像作为编码器的输入，利用编码器进行四次下采样，得到每次下采样后的下采样结果；将原始图像分别与每次下采样后的下采样结果进行跨特征映射，得到跨特征映射结果；将最终的下采样结果作为解码器的输入，利用解码器进行四次上采样，得到每次上采样后的上采样结果；根据最终的上采样结果和跨特征映射结果，得到分割图像。可以理解的是，本发明提供的技术方案，能够对采集的图像进行分割，分割后的图像，凸显出细微的缺陷和故障，能够及早进行维修和处理，提高了输电线路的可靠性和安全性。
Description
技术领域
本发明涉及计算机视觉图像处理技术领域，具体涉及一种图像分割方法、装置及设备。
背景技术
随着我国经济的发展，对电力资源的输配任务提出越来越高的要求。输电线路具有分布点多、分布面广，并且很大体量的相关设施都是远离城镇地区，并处于偏远地区。因而无论是前期施工环节，抑或是后期维护环节都面临路途远路难行的困难。同时，输电线路和配套的相关电力设施设备不可避免地需要长期暴露在野外复杂的环境中，长时间地受到温差、风雪、闪电等各种恶劣气候的影响，长此以往对输电线路和杆塔都有不小的负面影响。
无人机的出现与成熟为行业带来了新的出路。在许多领域业务中，无人机的使用己然形成了较为成熟的体系，例如无人机植保、作物监控、巡逻侦察、灾难救援、测绘等。随着机器人基础学科的进一步发展，例如无线通信技术、自动控制技术以及GPS导航定位技术等，被设计应专用于电力巡检的无人机也提高了发展速度，并渐渐应用到电力基础设施建设规划与电力巡检的任务中来。如定期对线路进行巡检，是了解线路情况的重要手段，也是供电部门的一项繁重工作。那么怎样提高输配电线路的巡检精度和效率，是电力行业一直致力于研究和解决的重大难题。如今，电力巡检相关无人机已广泛应用于多个领域，例如基建规划、线路巡查、应急响应、地形测量等，其中在输电线路通道、树障、精细化、特殊巡视等巡视任务中能发挥更突出的作用。相较于人工巡检，无人机巡检具有效率更高、巡检质量更优和巡检成本更低的优势。
在电力线路巡检过程中，可见光图像的采集向来占据了巡检数据采集任务中的大头。然而，传统的可见光图像，容易忽视细微的缺陷和故障，导致无法及早进行维修和处理，降低了输电线路的可靠性和安全性。
发明内容
有鉴于此，本发明的目的在于提供一种图像分割方法、装置及设备，以解决现有技术中的巡检时容易忽视细微的缺陷和故障，导致无法及早进行维修和处理，降低了输电线路的可靠性和安全性的问题。
根据本发明实施例的第一方面，提供一种图像分割方法，包括：
搭建图像分割网络结构，所述图像分割网络结构包括编码器和解码器；
获取原始图像，将所述原始图像作为所述编码器的输入，利用所述编码器进行四次下采样，得到每次下采样后的下采样结果；
将所述原始图像分别与每次下采样后的下采样结果进行跨特征映射，得到跨特征映射结果；
将所述最终的下采样结果作为所述解码器的输入，利用所述解码器进行四次上采样，得到每次上采样后的上采样结果；
根据最终的上采样结果和所述跨特征映射结果，得到分割图像。
优选的，所述利用所述解码器进行四次上采样，得到每次上采样后的上采样结果，还包括：
利用所述解码器对所述最终的下采样结果进行第一次上采样，得到第一上采样结果；
利用所述解码器对所述第一上采样结果进行第二次上采样，得到第二上采样结果；
利用所述解码器对所述第二上采样结果进行第三次上采样，得到第三上采样结果，将所述第三上采样结果和所述第一上采样结果组合，得到第三上采样组合结果；
利用所述解码器对所述第三上采样组合结果进行第四次上采样，得到第四上采样结果，将所述第四上采样结果与所述第二上采样结果组合，得到第四上采样组合结果，作为最终的上采样结果。
优选的，所述的方法，还包括：
在进行上采样或下采样之后，利用预先设置的优化残差单元对采样结果进行处理，得到相应的上采样结果或下采样结果。
优选的，所述优化残差单元，包括：
依次连接的第一卷积块、第二卷积块和第三卷积块；
所述第一卷积块的输出部分反馈连接至第一卷积块的输入部分；
所述第一卷积块的输入与第三卷积块的输出相连。
优选的，将所述原始图像与第i次下采样后的下采样结果进行跨特征映射，包括：
步骤S51、对所述原始图像利用一个7×7卷积层卷积和3×3卷积层卷积嵌入第一级特征映射，公式如下：
其中，Rimg∈RH×W×1为第一级特征映射，I∈RW×H×3为所述原始图像，W和H分别表示宽度和高度；
步骤S52、通过一个带有滤波器的1×1卷积层将所述第i次下采样结果映射为类别特征，公式如下：
Rith＝Conv2(Fi)
其中，为类别特征，/>为所述第i次下采样结果，Nc为要预测的类别数，Hi、Wi和Ci分别为特征映射R的高度、宽度和通道数，/>表示为与第k类相关的信息；
步骤S53、对所述第一级特征映射Rimg进行拆分，得到一系列平面块，公式如下：
Pimg＝φ(Rimg,d)
其中，φ表示对图像进行分区处理，d为对图像进行分区处理时裁剪的一系列平面块的宽和高，将Rimg∈RH×W×1重塑为一系列平面块则第j个向量包含图像d×d的分辨率图像块，/>
步骤S54、将所述类别特征的每个通道分别划分为一系列平坦平面块，公式如下：
其中，||表示连接，为一系列平坦平面块；
步骤S55、利用Pimg与的每个Pith的点积得出原始图像的每个图像平面块与第k个类别相关特征图之间的关系，公式如下：
其中，表示原始图像的每个图像平面块与第k个类别相关特征图之间的关系，作为跨特征映射结果。
优选的，所述的方法，还包括：
利用中位数频率平衡加权s型交叉熵损失进行训练，得到标准分割损失；
利用均方误差损失进行训练，得到跨特征映射损失；
根据所述标准分割损失和所述跨特征映射损失，得到损失函数；
在根据最终的上采样结果和所述跨特征映射结果得到分割图像时，引入所述损失函数。
优选的，所述利用中位数频率平衡加权s型交叉熵损失进行训练，得到标准分割损失，公式如下：
其中，sgt(k,h,w)表示k类在像素点(h,w)处的真值，0或1；spred(k,h,w)表示在像素点(h,w)的预测值，ηk表示分配给类别k的中位数频率权重，lseg表示所述标准分割损失。
优选的，所述利用均方误差损失进行训练，得到跨特征映射损失，公式如下：
其中，为预测值跨特征映射，/>为最优映射，L1和L2分别代表跨特征映射时不同层特征图的高和宽。
根据本发明实施例的第二方面，提供一种图像分割装置，包括：
结构搭建模块，用于搭建图像分割网络结构，所述图像分割网络结构包括编码器和解码器；
分割运行模块，用于获取原始图像，将所述原始图像作为所述编码器的输入，利用所述编码器进行四次下采样，得到每次下采样后的下采样结果；将所述原始图像分别与每次下采样后的下采样结果进行跨特征映射，得到跨特征映射结果；将所述最终的下采样结果作为所述解码器的输入，利用所述解码器进行四次上采样，得到每次上采样后的上采样结果；根据最终的上采样结果和所述跨特征映射结果，得到分割图像。
根据本发明实施例的第三方面，提供一种图像分割设备，包括：
主控器，及与所述主控器相连的存储器；
存储器，其中存储有程序指令；
所述主控器用于执行存储器中存储的程序指令，执行上述任一项所述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
可以理解的是，本发明示出的技术方案，能够搭建图像分割网络结构，包括编码器和解码器；获取原始图像，将原始图像作为编码器的输入，利用编码器进行四次下采样，得到每次下采样后的下采样结果；将原始图像分别与每次下采样后的下采样结果进行跨特征映射，得到跨特征映射结果；将最终的下采样结果作为解码器的输入，利用解码器进行四次上采样，得到每次上采样后的上采样结果；根据最终的上采样结果和跨特征映射结果，得到分割图像。可以理解的是，本发明提供的技术方案，能够对采集的图像进行分割，分割后的图像，凸显出细微的缺陷和故障，能够及早进行维修和处理，提高了输电线路的可靠性和安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像分割方法的步骤示意图；
图2是根据一示例性实施例示出的图像分割网络结构示意框图；
图3是根据一示例性实施例示出的结构示意图；
图4是根据一示例性实施例示出的残差结构示意图；
图5是根据一示例性实施例示出的优化残差单元示意图；
图6是根据一示例性实施例示出的分割效果对比图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
首先，通过利用图像分割，可以得到电力设施部件更为丰富的信息，从而为后续的算法提供支持。图像分割是图像由预处理转入分析的关键环节，这是一种将目标像素集与背景分离的技术，对后续的目标信息研究有直接影响。利用图像分割对输电线路巡检有优势：1)缺陷检测和定位。输电线路上可能存在各种缺陷，如绝缘子破损、杆塔倾斜等。图像分割可以将输电线路图像分割成不同的区域，然后通过对每个区域进行特征提取和分析，实现对缺陷的自动检测和定位。这样可以快速准确地发现线路上的问题，提高巡检的效率和准确性。2)线路状态评估。通过图像分割可以将输电线路图像分割成不同的部分，例如绝缘子、导线、杆塔等。然后对每个部分进行状态评估，如绝缘子的老化程度、导线的腐蚀情况等。这有助于及时发现线路的问题，进行维护和修复，确保线路的安全运行。3)自动化巡检。传统的输电线路巡检通常需要人工巡视，费时费力且存在安全隐患。而利用图像分割技术，可以实现自动化巡检，通过对输电线路图像进行分割，自动检测出线路的各个部分，提高巡检的效率和准确性。这样可以减少人力资源的投入，降低巡检成本。4)数据分析和预测。通过对大量的输电线路图像进行分割和分析，可以得到线路的各种特征和统计信息。这些数据可以用于线路的健康状况分析、故障预测和维护计划制定等，帮助优化线路的运行和维护策略。通过对历史数据的分析和建模，还可以预测线路未来的状态和故障概率，提前采取措施进行维护和修复。因此，本发明提供了一种图像分割方法，如下：
实施例一
图1是根据一示例性实施例示出的一种图像分割方法的步骤示意图，参见图1，提供一种图像分割方法，包括：
步骤S11、搭建图像分割网络结构，所述图像分割网络结构包括编码器和解码器；
步骤S12、获取原始图像，将所述原始图像作为所述编码器的输入，利用所述编码器进行四次下采样，得到每次下采样后的下采样结果；
步骤S13、将所述原始图像分别与每次下采样后的下采样结果进行跨特征映射，得到跨特征映射结果；
步骤S14、将所述最终的下采样结果作为所述解码器的输入，利用所述解码器进行四次上采样，得到每次上采样后的上采样结果；
步骤S15、根据最终的上采样结果和所述跨特征映射结果，得到分割图像。
可以理解的是，本实施例示出的技术方案，能够搭建图像分割网络结构，包括编码器和解码器；获取原始图像，将原始图像作为编码器的输入，利用编码器进行四次下采样，得到每次下采样后的下采样结果；将原始图像分别与每次下采样后的下采样结果进行跨特征映射，得到跨特征映射结果；将最终的下采样结果作为解码器的输入，利用解码器进行四次上采样，得到每次上采样后的上采样结果；根据最终的上采样结果和跨特征映射结果，得到分割图像。可以理解的是，本实施例提供的技术方案，能够对采集的图像进行分割，分割后的图像，凸显出细微的缺陷和故障，能够及早进行维修和处理，提高了输电线路的可靠性和安全性。
在具体实践中，本实施例搭建的网络结构，参见图2，在U-Net图像分割网络基础上，利用跨特征映射模块对编码器端进行改进，并结合优化后的残差结构和解码器端的跳跃连接，改善对巡检图像分割目标细节信息的提取。
在具体实践中，图3示出了跨特征映射模块的示意图，本模块通过对比原始图像的对应部分与相应特征图的对应部分之间的相互关系，补偿特征传播带来的信息损失，实现对小目标更有效的分割，进而提高总体的分割效果。
本网络在结构上延续了U-Net网络的特点，左侧为编码网络，对编码网络进行4次下采样，降低数据的空间维数，获得深层语义信息，为了量化每个输入图像与相应特征映射之间的关系，模型首先计算跨特征映射即编码器中间层的输出，并进一步调制解码器的输出。
图3中仅示出了原始图像和第一上采样结果进行跨特征映射的情况，而跨特征映射结果还可以包含原始图像和第二上采样结果、第三上采样结果或第四上采样结果进行跨特征映射得到的结果。
需要说明的是，参见图3，所述利用所述解码器进行四次上采样，得到每次上采样后的上采样结果，还包括：
利用所述解码器对所述最终的下采样结果进行第一次上采样，得到第一上采样结果；
利用所述解码器对所述第一上采样结果进行第二次上采样，得到第二上采样结果；
利用所述解码器对所述第二上采样结果进行第三次上采样，得到第三上采样结果，将所述第三上采样结果和所述第一上采样结果组合，得到第三上采样组合结果；
利用所述解码器对所述第三上采样组合结果进行第四次上采样，得到第四上采样结果，将所述第四上采样结果与所述第二上采样结果组合，得到第四上采样组合结果，作为最终的上采样结果。
在具体实践中，图3右侧为解码网络，经过4次上采样后，编码网络得到的深度特征符合上采样到所需的大小。右半部分的第三次上采样和第四次上采样解码部分分别有两个输入：将左半部分对应网络的浅层信息与上层反卷积得到的深层特征信息并通过跳跃式连接融合。该结构减轻了上采样过程中信息丢失的问题，具有良好的多尺度特性。通过在解码网络中增加跳跃连接，将第一次上采样、第二次上采样获得的深度特征分别添加到后两个结果中，并进一步组合来利用不同尺度的特征。
需要说明的是，所述的方法，还包括：
在进行上采样或下采样之后，利用预先设置的优化残差单元对采样结果进行处理，得到相应的上采样结果或下采样结果。
对于编码器的下采样亦或是解码器的上采样之后都通过优化残差单元，以此提高网络的特征提取能力，增强有效特征的比例。
ResNet为残差结构，是由多个残差网络模块堆叠而成的深度网络结构。与一般的网络模型相比，ResNet网络模型具有更深的网络深度。一般来说，卷积神经网络的不同层会提取不同的信息，产生不同的特征表示，如底层的纹理信息，上层的形状信息。网络的层数越多，在不同的层次上获得的信息就越多，通过组合得到的表示也就越多，获得的信息也就越丰富，即神经网络模型的层数越多，结构越深，可以拥有的参数越多，从而可以学习提取更复杂的特征，获得更好的学习能力。
在ResNet提出之前，如果简单地对网络的深度进行叠加，网络的性能是无法得到提升的，甚至性能还不如浅层网络。这是因为随着网络深度的增加，整个模型的损失函数的值难以有效传递到网络结构的每一层，这将使函数的损失值随着层数的增加而呈指数增长或衰减，导致梯度爆炸或消失。形成了所谓的网络退化问题。残差网络通过在卷积层上增加一条捷径，增加了不同层之间的直接映射，使得后一层具有更丰富的图像信息，提高了信息传播的效率，减少了梯度消失爆炸和网络退化的问题。
如图4所示，ResNet的基本架构是在基本卷积网络块的一侧添加直接边，来提高信息传播的效率。通过添加直边，网络可以更好地完成身份映射。当进行单位映射时，网络可以直接通过直边完成，而不需要学习完成恒等映射。由于捷径支路的存在，当误差按照链式法则反向传输时，实现了跨层传输，使之前的网络参数具有较大的梯度值，减轻了梯度消失。
需要说明的是，本实施例示出的所述优化残差单元，如图5所示，包括：
依次连接的第一卷积块、第二卷积块和第三卷积块；
所述第一卷积块的输出部分反馈连接至第一卷积块的输入部分；
所述第一卷积块的输入与第三卷积块的输出相连。
在具体实践中，将第一卷积块的输出部分进行反馈连接，将中间得到的提取特征加入到输入信息中，然后提取卷积特征。这不仅可以增强提取的特征，还可以细化输入信息，减少有效信息随着卷积层数的增加而丢失。在实际图像任务中，通过跳接将第一个卷积块的信息返回到初始输入，既保留了原始特征，又提高了网络的特征提取能力，增强了有效特征的比例。
另一方面，本实施例提出的跨特征映射模块旨在对大小物体之间的关系进行建模。如图3左侧所示，本模块通过对比原始图像的对应部分与相应特征图的对应部分之间的相互关系，补偿特征传播带来的信息损失，实现对小目标更有效的分割，需要说明的是，将所述原始图像与第i次下采样后的下采样结果进行跨特征映射，包括：
步骤S51、对所述原始图像利用一个7×7卷积层卷积和3×3卷积层卷积嵌入第一级特征映射，公式如下：
其中，Rimg∈RH×W×1为第一级特征映射，I∈RW×H×3为所述原始图像，W和H分别表示宽度和高度；
步骤S52、通过一个带有滤波器的1×1卷积层将所述第i次下采样结果映射为类别特征，公式如下：
Rith＝Conv2(Fi)
其中，为类别特征，/>为所述第i次下采样结果，Nc为要预测的类别数，Hi、Wi和Ci分别为特征映射R的高度、宽度和通道数，/>表示为与第k类相关的信息；
步骤S53、对所述第一级特征映射Rimg进行拆分，得到一系列平面块，公式如下：
Pimg＝φ(Rimg,d)
其中，φ表示对图像进行分区处理，d为对图像进行分区处理时裁剪的一系列平面块的宽和高，将Rimg∈RH×W×1重塑为一系列平面块则第j个向量包含图像d×d的分辨率图像块，/>
步骤S54、将所述类别特征的每个通道分别划分为一系列平坦平面块，公式如下：
其中，||表示连接，为一系列平坦平面块；
步骤S55、利用Pimg与的每个Pith的点积得出原始图像的每个图像平面块与第k个类别相关特征图之间的关系，公式如下：
其中，表示原始图像的每个图像平面块与第k个类别相关特征图之间的关系，作为跨特征映射结果。
需要说明的是，所述的方法，还包括：
利用中位数频率平衡加权s型交叉熵损失进行训练，得到标准分割损失；
利用均方误差损失进行训练，得到跨特征映射损失；
根据所述标准分割损失和所述跨特征映射损失，得到损失函数；
在根据最终的上采样结果和所述跨特征映射结果得到分割图像时，引入所述损失函数。
在具体实践中，整体训练目标由两个损失项组成：标准分割损失和跨特征映射损失。利用标准分割损失最小化预测值与标签之间的差异；利用跨特征映射损失最小化模型训练学习后的跨特征映射与最优映射之间的差异。
所述利用中位数频率平衡加权s型交叉熵损失进行训练，得到标准分割损失，公式如下：
其中，sgt(k,h,w)表示k类在像素点(h,w)处的真值，0或1；spred(k,h,w)表示在像素点(h,w)的预测值，ηk表示分配给类别k的中位数频率权重，lseg表示所述标准分割损失。
所述利用均方误差损失进行训练，得到跨特征映射损失，公式如下：
其中，为预测值跨特征映射，/>为最优映射，L1和L2分别代表跨特征映射时不同层特征图的高和宽。
模型训练和验证结果呈现如下：
利用无人机进行输电线路典型部件巡检采集的实际图像进行实验，包括导线断股、导线异物和绝缘子相关数据。本发明算法的分割结果的mIoU指标为89.8，说明分割结果相比于目标图像效果好。且通过实际图像对比，如图6所示，图6左侧为实际图像，右侧为分割图像，可以看出本发明所提算法的分割效果相当接近目标图像。经过分割后的二值图像基本上可以准确显示出前景目标的大致轮廓。由于输电线巡检图像中的分割对象导线、绝缘子等在整幅图像所占形状为多种方向分布的细长型区域，并且由于巡检时输电线所处环境复杂如远处的山丘或树木等，在一些经典图像分割算法中对输电线图像分割的结果难免会受到背景信息的干扰，如此可见，相对于其他算法，本发明算法对输电线路巡检典型部件的分割效果较优，能够实现高效准确的对典型部件的分割处理，这对后续任务的识别和检测具有重要意义。
本发明提出的基于U-Net在复杂场景下输电线路小尺度典型部件的图像分割算法的精度更高。利用跨特征映射模块和残差结构的优化，通过在解码端跳跃连接，优化了对巡检图像小尺度目标的特征提取，使得模型能够对图像的细节信息进行学习，达到对小尺度目标的有效分割。
综上，无人机代替人工对输电线路进行巡检为电力系统安全稳定运行带来了巨大便利。图像分割可以将巡检图像中的主要巡检目标分割出来，便于后续的检测分析。针对当前基于机器学习的图像分割算法在复杂场景的干扰下对小尺度目标的分割效果有限，很难将占据图像较少分辨率的目标细节分割清楚的问题，本发明基于U-Net模型进行优化，利用本发明提出的跨特征映射并结合优化后的残差结构和解码器端的跳跃连接，提高模型对小尺度目标特征信息的提取效果，有效改善了现有分割模型对输电线路小尺度典型部件的分割效果。实验结果表明，本发明算法能够有效对输电线巡检图像中的小尺度目标实现分割。
实施例二
提供一种图像分割装置，包括：
结构搭建模块，用于搭建图像分割网络结构，所述图像分割网络结构包括编码器和解码器；
分割运行模块，用于获取原始图像，将所述原始图像作为所述编码器的输入，利用所述编码器进行四次下采样，得到每次下采样后的下采样结果；将所述原始图像分别与每次下采样后的下采样结果进行跨特征映射，得到跨特征映射结果；将所述最终的下采样结果作为所述解码器的输入，利用所述解码器进行四次上采样，得到每次上采样后的上采样结果；根据最终的上采样结果和所述跨特征映射结果，得到分割图像。
可以理解的是，本实施例示出的技术方案，能够搭建图像分割网络结构，包括编码器和解码器；获取原始图像，将原始图像作为编码器的输入，利用编码器进行四次下采样，得到每次下采样后的下采样结果；将原始图像分别与每次下采样后的下采样结果进行跨特征映射，得到跨特征映射结果；将最终的下采样结果作为解码器的输入，利用解码器进行四次上采样，得到每次上采样后的上采样结果；根据最终的上采样结果和跨特征映射结果，得到分割图像。可以理解的是，本实施例提供的技术方案，能够对采集的图像进行分割，分割后的图像，凸显出细微的缺陷和故障，能够及早进行维修和处理，提高了输电线路的可靠性和安全性。
实施例三
提供一种图像分割设备，包括：
主控器，及与所述主控器相连的存储器；
存储器，其中存储有程序指令；
所述主控器用于执行存储器中存储的程序指令，执行上述任一项所述的方法。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种图像分割方法，其特征在于，包括：
搭建图像分割网络结构，所述图像分割网络结构包括编码器和解码器；
获取原始图像，将所述原始图像作为所述编码器的输入，利用所述编码器进行四次下采样，得到每次下采样后的下采样结果；
将所述原始图像分别与每次下采样后的下采样结果进行跨特征映射，得到跨特征映射结果；
将所述最终的下采样结果作为所述解码器的输入，利用所述解码器进行四次上采样，得到每次上采样后的上采样结果；
根据最终的上采样结果和所述跨特征映射结果，得到分割图像。
2.根据权利要求1所述的方法，其特征在于，所述利用所述解码器进行四次上采样，得到每次上采样后的上采样结果，还包括：
利用所述解码器对所述最终的下采样结果进行第一次上采样，得到第一上采样结果；
利用所述解码器对所述第一上采样结果进行第二次上采样，得到第二上采样结果；
利用所述解码器对所述第二上采样结果进行第三次上采样，得到第三上采样结果，将所述第三上采样结果和所述第一上采样结果组合，得到第三上采样组合结果；
利用所述解码器对所述第三上采样组合结果进行第四次上采样，得到第四上采样结果，将所述第四上采样结果与所述第二上采样结果组合，得到第四上采样组合结果，作为最终的上采样结果。
3.根据权利要求1所述的方法，其特征在于，还包括：
在进行上采样或下采样之后，利用预先设置的优化残差单元对采样结果进行处理，得到相应的上采样结果或下采样结果。
4.根据权利要求3所述的方法，其特征在于，所述优化残差单元，包括：
依次连接的第一卷积块、第二卷积块和第三卷积块；
所述第一卷积块的输出部分反馈连接至第一卷积块的输入部分；
所述第一卷积块的输入与第三卷积块的输出相连。
5.根据权利要求1所述的方法，其特征在于，将所述原始图像与第i次下采样后的下采样结果进行跨特征映射，包括：
步骤S51、对所述原始图像利用一个7×7卷积层卷积和3×3卷积层卷积嵌入第一级特征映射，公式如下：
其中，Rimg∈RH×W×1为第一级特征映射，I∈RW×H×3为所述原始图像，W和H分别表示宽度和高度；
步骤S52、通过一个带有滤波器的1×1卷积层将所述第i次下采样结果映射为类别特征，公式如下：
Rith＝Conv2(Fi)
其中，为类别特征，/>为所述第i次下采样结果，Nc为要预测的类别数，Hi、Wi和Ci分别为特征映射R的高度、宽度和通道数，/>表示为与第k类相关的信息；
步骤S53、对所述第一级特征映射Rimg进行拆分，得到一系列平面块，公式如下：
Pimg＝φ(Rimg,d)
其中，φ表示对图像进行分区处理，d为对图像进行分区处理时裁剪的一系列平面块的宽和高，将Rimg∈RH×W×1重塑为一系列平面块则第j个向量包含图像d×d的分辨率图像块，/>
步骤S54、将所述类别特征的每个通道分别划分为一系列平坦平面块，公式如下：
其中，||表示连接，为一系列平坦平面块；
步骤S55、利用Pimg与的每个Pith的点积得出原始图像的每个图像平面块与第k个类别相关特征图之间的关系，公式如下：
其中，表示原始图像的每个图像平面块与第k个类别相关特征图之间的关系，作为跨特征映射结果。
6.根据权利要求5所述的方法，其特征在于，还包括：
利用中位数频率平衡加权s型交叉熵损失进行训练，得到标准分割损失；
利用均方误差损失进行训练，得到跨特征映射损失；
根据所述标准分割损失和所述跨特征映射损失，得到损失函数；
在根据最终的上采样结果和所述跨特征映射结果得到分割图像时，引入所述损失函数。
7.根据权利要求6所述的方法，其特征在于，所述利用中位数频率平衡加权s型交叉熵损失进行训练，得到标准分割损失，公式如下：
其中，sgt(k,h,w)表示k类在像素点(h,w)处的真值，0或1；spred(k,h,w)表示在像素点(h,w)的预测值，ηk表示分配给类别k的中位数频率权重，lseg表示所述标准分割损失。
8.根据权利要求7所述的方法，其特征在于，所述利用均方误差损失进行训练，得到跨特征映射损失，公式如下：
其中，为预测值跨特征映射，/>为最优映射，L1和L2分别代表跨特征映射时不同层特征图的高和宽。
9.一种图像分割装置，其特征在于，包括：
结构搭建模块，用于搭建图像分割网络结构，所述图像分割网络结构包括编码器和解码器；
分割运行模块，用于获取原始图像，将所述原始图像作为所述编码器的输入，利用所述编码器进行四次下采样，得到每次下采样后的下采样结果；将所述原始图像分别与每次下采样后的下采样结果进行跨特征映射，得到跨特征映射结果；将所述最终的下采样结果作为所述解码器的输入，利用所述解码器进行四次上采样，得到每次上采样后的上采样结果；根据最终的上采样结果和所述跨特征映射结果，得到分割图像。
10.一种图像分割设备，其特征在于，包括：
主控器，及与所述主控器相连的存储器；
存储器，其中存储有程序指令；
所述主控器用于执行存储器中存储的程序指令，执行如权利要求1～8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311433338.1A CN117237373A (zh) | 2023-10-31 | 2023-10-31 | 一种图像分割方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311433338.1A CN117237373A (zh) | 2023-10-31 | 2023-10-31 | 一种图像分割方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237373A true CN117237373A (zh) | 2023-12-15 |
Family
ID=89088219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311433338.1A Pending CN117237373A (zh) | 2023-10-31 | 2023-10-31 | 一种图像分割方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237373A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118410724A (zh) * | 2024-07-02 | 2024-07-30 | 四川思极科技有限公司 | 一种输电线路异物识别方法、系统、计算机设备及介质 |
-
2023
- 2023-10-31 CN CN202311433338.1A patent/CN117237373A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118410724A (zh) * | 2024-07-02 | 2024-07-30 | 四川思极科技有限公司 | 一种输电线路异物识别方法、系统、计算机设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sony et al. | A systematic review of convolutional neural network-based structural condition assessment techniques | |
| US11521379B1 (en) | Method for flood disaster monitoring and disaster analysis based on vision transformer | |
| CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN114359130B (zh) | 一种基于无人机影像的道路裂缝检测方法 | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN109934163A (zh) | 一种基于场景先验和特征再融合的航空图像车辆检测方法 | |
| CN111461319B (zh) | 可适应用户要求的基于cnn的对象检测方法及装置 | |
| CN114444791A (zh) | 一种基于机器学习的洪涝灾害遥感监测评估方法 | |
| CN110956207B (zh) | 一种光学遥感影像全要素变化检测方法 | |
| CN115482491A (zh) | 一种基于transformer的桥梁缺陷识别方法与系统 | |
| CN117557775B (zh) | 基于红外和可见光融合的变电站电力设备检测方法及系统 | |
| CN116168246A (zh) | 一种用于铁路工程的弃渣场识别方法、装置、设备及介质 | |
| CN117237373A (zh) | 一种图像分割方法、装置及设备 | |
| CN116842379A (zh) | 一种基于DRSN-CS和BiGRU+MLP模型的机械轴承剩余使用寿命预测方法 | |
| CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及系统 | |
| CN114782915A (zh) | 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备 | |
| CN114612803A (zh) | 一种改进CenterNet的输电线路绝缘子缺陷检测方法 | |
| CN113536944A (zh) | 基于图像识别的配电线路巡检数据识别及分析方法 | |
| CN113902793A (zh) | 基于单视觉遥感影像端到端建筑物高度预测方法、系统和电子设备 | |
| CN116977747B (zh) | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 | |
| CN113762021A (zh) | 一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法 | |
| CN117315370A (zh) | 一种基于遥感图像的漂浮物检测方法、装置、存储介质及设备 | |
| CN117788817A (zh) | 一种基于边缘特征增强的遥感影像语义分割方法 | |
| CN115112669B (zh) | 一种基于小样本的路面无损检测识别方法 | |
| CN114494893B (zh) | 基于语义重用上下文特征金字塔的遥感图像特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |