CN112329610B - 一种基于边缘注意力机制融合网络的高压线检测方法 - Google Patents
一种基于边缘注意力机制融合网络的高压线检测方法 Download PDFInfo
- Publication number
- CN112329610B CN112329610B CN202011210495.2A CN202011210495A CN112329610B CN 112329610 B CN112329610 B CN 112329610B CN 202011210495 A CN202011210495 A CN 202011210495A CN 112329610 B CN112329610 B CN 112329610B
- Authority
- CN
- China
- Prior art keywords
- image
- voltage line
- network
- edge
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 230000007246 mechanism Effects 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012952 Resampling Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 abstract description 14
- 238000005452 bending Methods 0.000 abstract description 6
- 239000000284 extract Substances 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于边缘注意力机制融合网络的高压线检测方法，步骤如下：1)网络读取本地保存好的参数权重；2)，网络自动对输入的待检测的高压线图像进行处理操作，分成两个处理路径，并使用卷积模块提取图像的特征信息，接着使用特征融合模块进行融合操作；3)在特征融合模块处理之后，对特征图进行双线性插值操作恢复到原图尺寸大小，然后进行二分类操作，最后输出一张二值的预测标签图，判断图像的每一个像素是否属于高压线。本发明有效地解决语义分割网络的高压线检测不精确问题，能够精确地检测图像中的高压线位置信息；并且，采用的语义分割网络能有效地解决弯曲高压线的检测问题。
Description
技术领域
本发明涉及一种高压线检测方法，尤其涉及一种基于边缘注意力机制融合网络的高压线检测方法。
背景技术
目前，随着低空空域的逐渐开放，低空作业的直升机和无人机在各行业领域中得到广泛关注和应用；特别是随着直升机以及无人机在低空复杂环境下执行任务的需求不断增长，对保障直升机以及无人机在低空复杂环境的安全需求也越来越迫切。在各类障碍物中，高压线位置较高，尺寸纤细，现有检测设施很难发现，是低空飞行的最危险障碍物之一。据报道，与高压线发生碰撞事故而损毁的直升机数量比战争中损毁的直升机数量多得多。因此，高压线障碍的快速精确检测对直升机以及无人机提升预警距离，预留充足的避障时间，避免碰撞事故的发现具有重要的意义。
常用于帮助直升机或者无人机避免碰撞高压线的方法是给高压线安装航空警示球。虽然航空警示球可以帮助航空器检测高压线，但它的安装步骤繁琐耗时，根本不可能给所有的高压线都安装航空警示器，并且它也只能起到警示的作用，不能精确检测高压线的位置。同时，传统的高压线检测方法通常都是默认把高压线当作直线来进行检测，但由于重力等问题，高压线也存在弯曲的情况，由此导致传统的高压线检测方法性能不佳。因此，研发一种快速有效的高压线精确检测方法是很有必要的。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种基于边缘注意力机制融合网络的高压线检测方法。
为了解决以上技术问题，本发明采用的技术方案是：一种基于边缘注意力机制融合网络的高压线检测方法，步骤如下：
1)网络读取本地保存好的参数权重
网络经过有监督训练完毕之后，参数已经固定不变，并且会在本地保存一个参数权重模型数据，需要进行高压线检测时，网络重新从本地的参数权重模型数据中读取参数权重，加载在网络中；
2)输入一张待检测的高压线图像
输入一张待检测的高压线图像给网络，网络自动对图像进行处理操作，网络的处理操作具体是：将图像分成两个处理路径，并使用卷积模块提取图像的特征信息，接着使用特征融合模块对所提取的深层语义信息和浅层空间位置信息进行融合操作；
3)输出一张二值的预测标签图
由于卷积模块提取图像的特征信息时，会缩小图像的尺寸，因而在特征融合模块处理之后，对特征图进行双线性插值操作恢复到原图尺寸大小，然后进行二分类操作，判断图像的每一个像素是否属于高压线，最后输出一张二值的预测标签图。
进一步地，对于输入的待检测图像，两个处理路径的具体处理过程为：
上方的处理路径是对输入的待检测图像进行三个连续的下采样卷积操作，每个卷积模块会让输入图像的尺寸变为原来的一半，经过三个下采样卷积操作后，输出的特征图尺寸为原输入图像的1/8，该路径是为了保留图像的浅层空间位置信息；
下方的处理路径是对输入的待检测图像进行五个连续的下采样卷积操作，同理，输出的特征图尺寸为原输入图像的1/32，该路径是为了增大网络的感受野，使网络获得更高级的语义信息，更高级的语义信息即表示深层语义信息。
进一步地，上、下方的处理路径的输出特征图输入到特征融合模块，特征融合模块使用像素级的融合策略进行融合处理，具体操作是：上方卷积模块输出的1/8特征图进行下采样变成1/32特征图，然后将下方卷积模块输出的1/32特征图进行Sigmoid激活，最终与上方的1/32特征图进行像素级的相乘操作。
进一步地，特征融合模块的输出也分为两个路径，具体为：
下方的输出路径是将1/32的特征图进行连续的上采样操作恢复到原输入图像的大小，然后进行二分类操作，获得模型输出的预测主体标签，并与真实高压线主体标签计算损失值，获得主体损失；
上方的输出路径通过边缘信息提取融合模块进行，上方的经过三个下采样卷积模块的输出路径将输出的特征图进行重采样操作，并获得重采样特征图，然后将输入特征图与重采样特征图进行相减操作，提取出边缘信息特征图，并与卷积模块输出的浅层特征图进行边缘信息融合；然后进行上采样操作恢复到原输入图像的大小，最后进行二分类操作，获得模型输出的预测边缘标签，并与真实高压线边缘标签计算损失值，获得边缘损失；其中，浅层特征图是上方的处理路径输出的特征图。
进一步地，当获得主体损失、边缘损失后，将主体损失和边缘损失进行相加，得到总损失，然后使用梯度下降算法不断降低总损失，从而进行网络的训练过程，精确地检测图像中的高压线位置信息。
本发明公开了一种基于边缘注意力机制融合网络的高压线检测方法，针对深度学习算法的语义分割模型的预测标签边界检测不精确问题，在网络的结构中添加了边缘注意力机制模块，把边缘损失也考虑到训练优化网格中，有效地解决语义分割网络的高压线检测不精确问题，能够精确地检测图像中的高压线位置信息；并且，采用的语义分割网络能有效地解决弯曲高压线的检测问题。
附图说明
图1为本发明基于边缘注意力机制融合网络结构图。
图2为本发明边缘提取信息的流程图。
图3为本发明实施例的结果比对图。
(a)为输入图像；(b)为真实标签图；(c)为一般语义分割网络预测标签图；(d)为基于边缘注意力机制融合网络预测标签图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明公开了一种基于边缘注意力机制融合网络的高压线检测方法，针对深度学习算法的语义分割模型的预测标签边界检测不精确问题，在网络的结构中添加了边缘注意力机制模块，计算边缘注意力机制模块输出的预测边缘标签与真实边缘标签计算损失，和模型最终输出的预测标签和真实标签的损失相加，共同使用梯度下降法进行模型的训练学习，让两者的损失值都尽可能达到最小，这样模型就能结合预测的边缘标签信息，精确地检测图像中的高压线位置信息。
深度学习算法中的语义分割的定义是将图像的每一个像素都进行分类，属于同一类的像素都被归为一类，因此语义分割是从像素级别来理解图像的。这就是基于深度学习算法实现的高压线检测技术适用于高压线弯曲场景的原因，因为它是对图像的每个像素点进行分类，无论高压线弯曲还是直线，其都是由一组像素组成，只要正确分类了这组像素，就可以实现检测高压线功能了。
对于本发明所公开的基于边缘注意力机制融合网络的高压线检测方法，其具体步骤如下：
1)网络读取本地保存好的参数权重
网络经过有监督训练完毕之后，参数已经固定不变，并且会在本地保存一个参数权重模型数据，需要进行高压线检测时，网络重新从本地的参数权重模型数据中读取参数权重，加载在网络中；
2)输入一张待检测的高压线图像
输入一张待检测的高压线图像给网络，网络自动对图像进行图1所示的处理操作，网络的处理操作具体是：将图像分成两个处理路径，并使用卷积模块提取图像的特征信息，接着使用特征融合模块对所提取的深层语义信息和浅层空间位置信息进行融合操作；
3)输出一张二值的预测标签图
由于卷积模块提取图像的特征信息时，会缩小图像的尺寸，因而在特征融合模块处理之后，对特征图进行双线性插值操作恢复到原图尺寸大小，然后进行二分类操作，判断图像的每一个像素是否属于高压线，最后输出一张二值的预测标签图，根据最后输出的预测标签图，能够判定出是否存在高压线，如图3中的d所示，黑色像素表示网络预测为无关背景，红色像素表示网络预测为高压线，由于提交的是黑白图，此处描述的红色像素即图中呈现白色的部分。
其中，对于输入的待检测图像，两个处理路径的具体处理过程为：
上方的处理路径是对输入的待检测图像进行三个连续的下采样卷积操作，每个卷积模块会让输入图像的尺寸变为原来的一半，经过三个下采样卷积操作后，输出的特征图尺寸为原输入图像的1/8，该路径是为了保留图像的浅层空间位置信息；
下方的处理路径是对输入的待检测图像进行五个连续的下采样卷积操作，同理，输出的特征图尺寸为原输入图像的1/32，该路径是为了增大网络的感受野，使网络获得更高级的语义信息，更高级的语义信息即表示深层语义信息。
接着，将上、下处理路径的输出特征图输入特征融合模块，以便网络在获得更高级的语义信息的同时，也能较好地保留图像的空间位置信息，特征融合模块使用像素级的融合策略进行融合处理，具体操作是：上方卷积模块输出的1/8特征图进行下采样变成1/32特征图，然后将下方卷积模块输出的1/32特征图进行Sigmoid激活，最终与上方的1/32特征图进行像素级的相乘操作。
融合处理后，特征融合模块的输出也分了两个路径，下方的输出路径是将1/32的特征图进行连续的上采样操作恢复到原输入图像的大小，然后进行二分类操作(判断图像的每个像素是否属于高压线)，这就是模型输出的预测主体标签，并与真实高压线主体标签计算损失值，获得主体损失；
上方的输出路径是本专利的重点所在，通过通过边缘信息提取融合模块进行，上方的经过三个下采样卷积模块的输出路径将输出的特征图f1进行重采样操作获得重采样特征图f2后，然后将输出特征图f1与重采样特征图f2进行按像素相减操作f1-f2，提取出包含边缘信息特征图f3，再与上方卷积模块输出的浅层特征图f1进行边缘信息融合f4，这样既保留了f1的空间信息，又融合了f3的边缘信息，接着将f4进行上采样操作恢复到原输入图像的大小，最后进行二分类操作(判断图像的每个像素是否属于高压线边缘)，这就是模型输出的预测边缘标签，并与真实高压线边缘标签计算损失值，获得边缘损失；
对于边缘信息提取融合模块，其基于一个策略：图像＝主体+边缘。通过对特征图先进行下采样操作，再进行上采样操作，由于采样操作的特性，特征图的边缘信息会被模糊，此时对模糊的特征图进行重采样操作，就可以获得特征图的主体信息，再将原特征图减去特征图的主体信息，即可获得特征图的边缘信息，步骤如图2所示。融合模块的原理与特征融合模块的原理相似，在此不再赘述。
网络结构的最后就是将主体损失和边缘损失进行相加，得到总损失，然后使用梯度下降算法不断降低总损失，从而进行网络的训练学习过程，精确地检测图像中的高压线位置信息，另一方面网格的训练学习过程中会不断调整参数权重，最终得到固定不变的优化后的参数并能够保持在本地，以便于下一次检测时网络重新从本地的参数权重模型数据中读取参数权重，加载在网络中。
其中，主体预测标签和边缘预测标签都使用了Sigmoid激活函数，Sigmoid激活函数是二分类网络中最常用的预测函数，可以将全体实数映射到(0，1)区间上，其定义式如下：
式(1)中，e是自然对数的底数，为无限不循环小数2.71828......；z表示针对图像输入，网络经过计算得到的实数值，将这个实数值通过Sigmoid激活函数映射到(0，1)区间上后，就可以判断映射后的值是否大于0.5，大于0.5的话网络就会预测为1，也就是高压线，映射后的值小于等于0.5，就预测为0，也就是背景。
主体损失和边缘损失都使用了交叉熵损失函数，交叉熵损失函数是深度学习中最常用的一种计算损失值的函数，其定义式如下：
式(2)中，N表示训练样本的总数量；M表示样本类别的数量；yic为示性变量，表示类别c和样本i的真实类别相同时为1，否则为0；pic表示对于训练样本i属于类别c的预测概率。
又因为本专利的高压线检测方法属于二分类情况，所以交叉熵的定义式可以简化为：
yi表示训练样本i的标签，正类为1，负类为0；pi表示训练样本i预测为正的概率。
对于本发明所公开的基于边缘注意力机制融合网络的高压线检测方法，是针对传统的高压线检测技术存在的技术缺陷而提出的；
首先，基于传统图像处理算法的高压线检测技术的基本思路分为三个步骤，对图像提取边缘信息，根据高压线的先验知识来去除伪高压线边缘信息，使用直线检测技术(霍夫变换或拉东变换)拟合高压线边缘信息成为完整的高压线。已有的传统图像处理算法实现的高压线检测技术通常包含上述的三个步骤，改进的思路也是选择改善其中一个步骤的实现效果，如使用更好的边缘提取滤波器来提取边缘信息，根据统计学知识来去除更多的伪高压线边缘信息等。正如步骤所示，基于传统图像处理算法实现的高压线检测技术步骤繁琐复杂，人工介入干预较多，适用场景范围较窄，无法适用于高压线弯曲场景。
其次，基于机器学习算法的高压线检测技术的基本思路分为四个步骤，对输入图像进行预处理，预处理后进行特征信息提取，筛选最佳的特征信息，输入筛选后的特征信息到机器学习模型进行训练学习分类，从而判断输入图像是否包含高压线。特征信息的好坏会直接影响最终机器学习模型的分类性能，但正如步骤所示，特征信息提取和筛选最佳的特征信息步骤都需要人工完成，所选择的特征信息可能不是最佳的特征信息，并且人工选择的特征信息所适用的场景范围较窄，处理步骤较为繁琐。
本发明基于深度学习算法进行高压线检测技术的设计，基本思路是：设计合适的深度学习模型和损失函数，对深度学习模型输入图像，根据深度学习模型输出的预测标签与真实标签计算损失值，通过梯度下降算法不断降低损失值，让深度学习模型输出的预测标签尽可能和真实标签相似。正如步骤所示，基于深度学习算法实现的高压线检测技术无需人工选择特征信息，由深度学习模型自动学习最佳的特性信息，属于端到端模型，处理步骤简便，并且适用于高压线弯曲的场景。
但基于深度学习算法实现的高压线检测技术也存在一些问题，如高压线边缘检测不精确问题等，这是由于深度学习模型的特性所决定的，由此，为了缓解边缘检测不精确问题，本发明采用基于边缘注意力机制融合网络的高压线检测方法，能够有效地缓解深度学习模型在高压线边缘检测不精确的问题。
下面结合具体的实施例，对本发明的基于边缘注意力机制融合网络的高压线检测方法做进一步解释。
如图3的结果对比图所示，(a)列表示的是输入到网络的原始图像，即需要检测高压线的RGB图像。(b)列是一个二值真实标签，红色(即图中呈现白色的部分)对应高压线的位置，黑色对应背景，通过人工手动标注，用于网络的训练以及对预测标签进行质量评价。(c)列是没有添加边缘注意力机制融合模块的语义分割网络的预测标签，红色(即图中呈现白色的部分)对应高压线的位置，黑色对应背景，可以看到预测的标签存在断裂、错位的问题。(d)列是本专利提出的基于边缘注意力机制融合网络的预测标签，相对比(c)，(d)预测的标签较好地解决了断裂、错位的问题，且预测位置较为精确。
本发明针对网络提取特征图边缘信息过程，提出了基于边缘信息提取融合模块，可以提取到特征图的边缘信息，对应的就是待检测的高压线的边缘信息，其作用类似于传统图像处理技术的边缘提取步骤。并且，针对已有的深度学习语义分割网络模型，本发明通过在网络中增加边缘信息提取融合模块，形成基于边缘注意力机制融合网络，利用边缘损失和主体损失同时训练优化网络参数，极大地改善了已有语义分割网络模型在检测高压线边缘不精确问题。与现有技术相比，本发明具有以下优势：
1)改善了检测高压线边缘不精确问题
基于边缘注意力机制融合网络，把边缘损失也考虑进来训练优化网络参数，极大地改善了已有语义分割网络模型在检测高压线边缘不精确问题。
2)简化了处理步骤
基于深度学习算法实现的高压线检测方法，属于端到端的训练模型，相对比与传统图像处理技术和机器学习技术，极大地简化了处理步骤，减少了人工干预。
3)适用于弯曲高压线检测场景
基于深度学习算法实现的语义分割模型，是对图像的每个像素都进行分类，不采用任何的直线检测技术，可以适用于弯曲高压线检测场景，这是传统图像处理技术无法应付的。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。
Claims (3)
1.一种基于边缘注意力机制融合网络的高压线检测方法，其特征在于：该高压线检测方法的步骤如下：
1）网络读取本地保存好的参数权重
网络经过有监督训练完毕之后，参数已经固定不变，并且会在本地保存一个参数权重模型数据，需要进行高压线检测时，网络重新从本地的参数权重模型数据中读取参数权重，加载在网络中；
2）输入一张待检测的高压线图像
输入一张待检测的高压线图像给网络，网络自动对图像进行处理操作，网络的处理操作具体是：将图像分成两个处理路径，分别是上、下方的处理路径，并使用卷积模块提取图像的特征信息，接着使用特征融合模块对所提取的深层语义信息和浅层空间位置信息进行融合操作；
3）输出一张二值的预测标签图
在特征融合模块处理之后，对特征图进行双线性插值操作恢复到原图尺寸大小，然后进行二分类操作，判断图像的每一个像素是否属于高压线，最后输出一张二值的预测标签图；
其中，待检测图像上、下方的处理路径的输出特征图输入到特征融合模块，特征融合模块使用像素级的融合策略进行融合处理，具体操作是：上方卷积模块输出的1/8特征图进行下采样变成1/32特征图，然后将下方卷积模块输出的1/32特征图进行Sigmoid激活，最终与上方的1/32特征图进行像素级的相乘操作；
特征融合模块的输出也分为两个路径，具体为：下方的输出路径是将1/32的特征图进行连续的上采样操作恢复到原输入图像的大小，然后进行二分类操作，获得模型输出的预测主体标签，并与真实高压线主体标签计算损失值，获得主体损失；
上方的输出路径通过边缘信息提取融合模块进行处理操作，上方的经过三个下采样卷积模块的输出路径将输出的特征图进行重采样操作，并获得重采样特征图，然后将输入特征图与重采样特征图进行相减操作，提取出边缘信息特征图，并与卷积模块输出的浅层特征图进行边缘信息融合；然后进行上采样操作恢复到原输入图像的大小，最后进行二分类操作，获得模型输出的预测边缘标签，并与真实高压线边缘标签计算损失值，获得边缘损失；其中，浅层特征图是上方的处理路径输出的特征图。
2.根据权利要求1所述的基于边缘注意力机制融合网络的高压线检测方法，其特征在于：对于输入的待检测图像，两个处理路径的具体处理过程为：
上方的处理路径是对输入的待检测图像进行三个连续的下采样卷积操作，每个卷积模块会让输入图像的尺寸变为原来的一半，经过三个下采样卷积操作后，输出的特征图尺寸为原输入图像的1/8，该路径是为了保留图像的浅层空间位置信息；
下方的处理路径是对输入的待检测图像进行五个连续的下采样卷积操作，同理，输出的特征图尺寸为原输入图像的1/32，该路径是为了增大网络的感受野，使网络获得更高级的语义信息，更高级的语义信息即表示深层语义信息。
3.根据权利要求2所述的基于边缘注意力机制融合网络的高压线检测方法，其特征在于：当获得主体损失、边缘损失后，将主体损失和边缘损失进行相加，得到总损失，然后使用梯度下降算法不断降低总损失，从而进行网络的训练过程，精确地检测图像中的高压线位置信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011210495.2A CN112329610B (zh) | 2020-11-03 | 2020-11-03 | 一种基于边缘注意力机制融合网络的高压线检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011210495.2A CN112329610B (zh) | 2020-11-03 | 2020-11-03 | 一种基于边缘注意力机制融合网络的高压线检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112329610A CN112329610A (zh) | 2021-02-05 |
| CN112329610B true CN112329610B (zh) | 2024-07-12 |
Family
ID=74323015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011210495.2A Active CN112329610B (zh) | 2020-11-03 | 2020-11-03 | 一种基于边缘注意力机制融合网络的高压线检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329610B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445436A (zh) * | 2021-12-28 | 2022-05-06 | 厦门市美亚柏科信息股份有限公司 | 一种目标检测的方法、装置以及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN110544217A (zh) * | 2019-08-30 | 2019-12-06 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2580671B (en) * | 2019-01-22 | 2022-05-04 | Toshiba Kk | A computer vision system and method |
| CN110930409B (zh) * | 2019-10-18 | 2022-10-14 | 电子科技大学 | 一种基于深度学习的盐体语义分割方法及语义分割系统 |
| CN111626298B (zh) * | 2020-04-17 | 2023-08-18 | 中国科学院声学研究所 | 一种实时图像语义分割装置及分割方法 |
| CN111666988A (zh) * | 2020-05-22 | 2020-09-15 | 哈尔滨理工大学 | 一种基于多层信息融合的目标检测算法 |
-
2020
- 2020-11-03 CN CN202011210495.2A patent/CN112329610B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN110544217A (zh) * | 2019-08-30 | 2019-12-06 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112329610A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276765B (zh) | 基于多任务学习深度神经网络的图像全景分割方法 | |
| CN110969130B (zh) | 一种基于yolov3司机危险动作识别方法及系统 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN114118124A (zh) | 图像检测方法和装置 | |
| CN110490155B (zh) | 一种禁飞空域无人机检测方法 | |
| CN113920468A (zh) | 一种基于跨尺度特征增强的多分支行人检测方法 | |
| CN111062383A (zh) | 一种基于图像的船舶检测深度神经网络算法 | |
| CN112101153A (zh) | 基于感受野模块与多重特征金字塔的遥感目标检测方法 | |
| CN110991447A (zh) | 基于深度学习的列车车号精确定位与识别方法 | |
| CN113128476A (zh) | 一种基于计算机视觉目标检测的低功耗实时头盔检测方法 | |
| CN115937659A (zh) | 基于Mask-RCNN的室内复杂环境下多目标检测方法 | |
| CN112329610B (zh) | 一种基于边缘注意力机制融合网络的高压线检测方法 | |
| Saravanarajan et al. | Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach | |
| CN115527096A (zh) | 一种基于改进YOLOv5的小目标检测方法 | |
| CN113269119B (zh) | 一种夜间车辆检测方法及装置 | |
| CN111898608B (zh) | 一种基于边界预测的自然场景多语言文字检测方法 | |
| CN117671647B (zh) | 一种多任务道路场景感知方法 | |
| CN117495825A (zh) | 一种变电站塔杆异物检测方法 | |
| CN117789077A (zh) | 一种通用场景下用于视频结构化的人与车辆预测的方法 | |
| CN113269171B (zh) | 车道线检测方法、电子设备及车辆 | |
| Zhang et al. | Contextual and Multi-Scale Feature Fusion Network for Traffic Sign Detection | |
| CN116863227A (zh) | 一种基于改进YOLOv5的危化品车辆检测方法 | |
| Jabeen et al. | Weather classification on roads for drivers assistance using deep transferred features | |
| CN112115977B (zh) | 基于尺度不变性与特征融合的目标检测算法 | |
| CN116434170A (zh) | 一种基于改进YOLOv5的自动驾驶场景车辆检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |