CN113837199B - 一种基于跨层残差双路金字塔网络的图像特征提取方法 - Google Patents
一种基于跨层残差双路金字塔网络的图像特征提取方法 Download PDFInfo
- Publication number
- CN113837199B CN113837199B CN202111002973.5A CN202111002973A CN113837199B CN 113837199 B CN113837199 B CN 113837199B CN 202111002973 A CN202111002973 A CN 202111002973A CN 113837199 B CN113837199 B CN 113837199B
- Authority
- CN
- China
- Prior art keywords
- feature
- network
- feature map
- residual
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 27
- 238000012937 correction Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 abstract description 7
- 230000015556 catabolic process Effects 0.000 abstract description 6
- 238000006731 degradation reaction Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 10
- 238000011176 pooling Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- ZAIPMKNFIOOWCQ-UEKVPHQBSA-N cephalexin Chemical compound C1([C@@H](N)C(=O)N[C@H]2[C@@H]3N(C2=O)C(=C(CS3)C)C(O)=O)=CC=CC=C1 ZAIPMKNFIOOWCQ-UEKVPHQBSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- UHDGCWIWMRVCDJ-CCXZUQQUSA-N Cytarabine Chemical compound O=C1N=C(N)C=CN1[C@H]1[C@@H](O)[C@H](O)[C@@H](CO)O1 UHDGCWIWMRVCDJ-CCXZUQQUSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于跨层残差双路金字塔网络的图像特征提取方法，将原始RGB彩色图像输入残差网络ResNet50中进行初步特征提取，得到自底向上的特征金字塔网络DTFPN；实现基于残差网络ResNet50的跨层残差网络；经特征金字塔网络FPN处理后得到输出的特征图P1”’、P2”’、P3”’、P4”’、P5”’。本发明进一步减轻残差网络ResNet50网络退化问题并混合利用不同层级的特征进一步抽取深层特征来显著增强残差网络ResNet50的特征提取能力。解决特征金字塔网络(FPN)中高层特征缺失低层细节纹理信息这一缺陷，实现各层特征图信息的高效融合。
Description
技术领域
本发明涉及计算机视觉、人工智能与模式识别等领域，具体涉及一种基于跨层残差双路金字塔网络的图像特征提取方法。
背景技术
随着人工智能的发展，卷积神经网络成为提取图像特征的主要方法，著名的特征提取网络有李网络5(LeNet5)、亚历克斯网络(AlexNet)、视觉几何组(Visual GeometryGroup，VGG)、谷歌网络(GoogleNet)、残差网络(ResNet)等。
李网络5(LeNet5)诞生于1994年，是最早的卷积神经网络之一，并且推动了深度学习的发展。它由两个卷积层，两个池化层，以及两个全连接层组成，卷积都采用卷积核大小为5x5的卷积核、步距为1，均采用最大池化下采样。
亚历克斯网络(AlexNet)曾在2012年获得图像网络(ImageNet)比赛冠军，其可以说是李网络(LeNet)的一种更深更宽的版本，它包含了6亿3000万个连接，6000万个参数和65万个神经元，拥有5个卷积层，其中3个卷积层后面连接了最大池化层，最后还有3个全连接层。亚历克斯网络(AlexNet)以显著的优势赢得了图像网络大规模视觉识别挑战(ImageNet Large Scale Visual Recognition Challenge，ILSVRC)比赛的冠军，五次预测均错误(top-5)的错误率从之前的25.8％降低至16.4。亚历克斯网络(AlexNet)的主要技术点在于：(1)使用修正线性单元(Rectified linear unit，ReLU)作为卷积神经网络(CNN)的激活函数，解决了逻辑斯谛函数(sigmoid)在网络较深时的梯度弥散问题。(2)训练时使用了随机丢弃(Dropout)随机忽略一部分神经元，以避免模型过拟合。(3)在卷积神经网络(CNN)中使用重叠的最大池化，步长小于池化核，这样输出之间会有重叠和覆盖，提升了特征的丰富性。此前卷积神经网络(CNN)普遍使用平均池化，亚历克斯网络(AlexNet)全部使用最大池化，避免平均池化的模糊性效果。(4)使用数据增强，减轻过拟合，提高模型泛化能力。
视觉几何组(VGG)是第一个在各个卷积层使用更小的3x3卷积核，并把他们组合作为一个卷积序列进行处理的网络，它的特点就是连续卷积计算多，计算量巨大。视觉几何组(VGG)的巨大进展是通过依次采用多个3x3卷积，能够模拟出更大的感受野的效果。视觉几何组(VGG)的模型表明深度有利于分类准确率的提升，并且一个比较重要的思想是卷积可代替全连接。整体参数达1亿4千万，主要在于第一个全连接层，用卷积代替后，参数量下降且无精度损失。
谷歌网络(GoogleNet)——第一个“开端”(Inception)架构首次出现在图像网络大规模视觉识别挑战(ImageNet Large Scale Visual Recognition Challenge，ILSVRC)2014的比赛中就以较大优势取得了第一名。那届比赛中的“开端网络”(Inception Net)通常被称为“开端V1”(Inception V1)，它最大的特点是控制了计算量和参数量的同时，获得了非常好的分类性能——五次预测均错误(top-5)错误率6.67％，只有亚历克斯网络(AlexNet)的一半不到。“开端V1”(Inception V1)有22层深，比亚历克斯网络(AlexNet)的8层或者视觉几何组(VGG)网络的19层还要更深。但其计算量只有15亿次浮点运算，同时只有500万的参数量，仅为亚历克斯网络(AlexNet)参数量(6000万)的1/12，却可以达到远胜于亚历克斯网络(AlexNet)的准确率，可以说是非常优秀并且非常实用的模型。在“开端V1”(Inception V1)的基础上又陆续推出了V2、V3、V4版本。
残差网络ResNet在2015年被提出，在图像网络(ImageNet)比赛分类任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在残差网络ResNet50或者残差网络ResNet101的基础上完成的。残差网络ResNet提出残差结构并使用批归一化(BatchNormalization)方法有效的解决了深层网络梯度消失或梯度爆炸以及网络退化问题，这使得超深层残差网络ResNet网络较之前的特征提取网络性能大幅提升，在图像检测、图像分类、图像分割等领域取得了优异的成绩。
特征金字塔网络(FPN)构架了一个可以进行端到端训练的特征金字塔网络，它将特征提取网络提取到的高层特征下采样后与低层特征进行融合，丰富低层特征的语义信息。对于小目标而言，特征金字塔网络(FPN)增加了特征映射的分辨率，即在更大的特征图上操作以获取更多有关于小目标的信息。
受残差网络ResNet启发，残差网络模块输出的特征图依然可以做残差连接形成跨层残差网络模块(跨越原残差网络模块中多个残差层)，即假设某残差网络模块的输入为x，期望输出为H(x),如果我们直接将输入x传到输出作为初始结果，那么该层残差网络模块需要学习的目标就是F(x)＝H(x)-x，相当于将该残差网络模块的学习目标改变了，而学习F(x)要比学习H(x)容易的多。这样对ResNet结构再次优化形成跨层残差网络，以此能进一步减轻残差网络ResNet网络退化问题并混合利用不同层级的特征进一步抽取深层特征。对于特征金字塔网络(FPN)而言，其将高层特征融合到低层特征中，虽然可以极大地丰富低层特征的信息，但是对高层特征却没有改善，高层特征同样需要补充低层特征纹理信息，这就导致特征融合不够充分，网络性能受限。
发明内容：
为了克服上述背景技术的缺陷，本发明提供一种基于跨层残差双路金字塔网络的图像特征提取方法，在与原网络特征提取速度相当的前提下实现两个目标：(1)进一步减轻残差网络ResNet50网络退化问题并混合利用不同层级的特征进一步抽取深层特征来显著增强残差网络ResNet50的特征提取能力。(2)解决特征金字塔网络(FPN)中高层特征缺失低层细节纹理信息这一缺陷，实现各层特征图信息的高效融合。
为了解决上述技术问题本发明的所采用的技术方案为：
一种基于跨层残差双路金字塔网络的图像特征提取方法，包括：
步骤S1，将原始RGB彩色图像输入残差网络ResNet50中进行初步特征提取，残差网络ResNet50的conv1卷积网络模块1输出特征图P0，残差网络ResNet50的conv2_x残差网络模块2输出特征图P1、P1’，P1＝P1’，残差网络ResNet50的conv3_x残差网络模块3输出特征图P2，残差网络ResNet50的conv4_x残差网络模块4输出特征图P3，残差网络ResNet50的conv5_x残差网络模块5输出特征图P4；
步骤S2，对特征图P1’下采样再与特征图P2融合得到特征图P2’，对特征图P2’下采样再与特征图P3融合得到特征图P3’，对特征图P3’下采样再与特征图P4融合得到特征图P4’，得到自底向上的特征金字塔网络DTFPN；
步骤S3，特征图P1’、P2、P2’及其中间网络构成跨层残差网络模块(跨越残差网络ResNet50的残差网络模块中多个残差层)；特征图P2’、P3、P3’及其中间网络构成跨层残差网络模块；特征图P3’、P4、P4’及其中间网络构成跨层残差网络模块；实现基于残差网络ResNet50的跨层残差网络；
步骤S4，将特征图P1’、P2’、P3’、P4’输入给特征金字塔网络FPN，与特征金字塔网络FPN建立起跨层残差双路金字塔网络；特征图P1’、P2’、P3’、P4’经特征金字塔网络FPN处理后得到输出的特征图P1”’、P2”’、P3”’、P4”’、P5”’。
较佳地，步骤1中，特征图Pi(i＝0,1,2,3)的宽和高是特征图Pi+1的1/2，特征图Pi的通道数是特征图Pi+1的通道数的2倍。
较佳地，步骤2包括：
S2.1，对特征图P1’采用卷积核大小为1x1、步距为2的下采样操作，使其宽和高缩小1/2，通道数增加1倍；将特征图P1’下采样之后的特征图输入修正线性单元调整特征图数据的分布，将调整后得到的特征图与特征图P2相加得到特征图P2’；
S2.2、对特征图P2’采用卷积核大小为1x1、步距为2的下采样操作，使其宽和高缩小1/2，通道数增加1倍；接着将特征图P2’下采样之后的特征图输入修正线性单元调整特征图数据的分布，将调整后得到的特征图与特征图P3相加得到特征图P3’；
S2.3、对特征图P3’采用卷积核大小为1x1、步距为2的下采样操作，使其宽和高缩小1/2，通道数增加1倍；接着将特征图P3’下采样之后的特征图输入修正线性单元调整特征图数据的分布，将调整后得到的特征图与特征图P4相加得到特征图P4’。
较佳地，步骤3中特征图P1、P2’、P3’分别经步骤S1中残差网络ResNet50的conv3_x残差网络模块3、conv4_x残差网络模块4、conv5_x残差网络模块5计算得到特征图P2、P3、P4。
较佳地，步骤3跨层残差网络模块是指跨越残差网络ResNet50的残差网络模块中多个残差层。
本发明的有益效果在于：
(1)本发明基于残差网络ResNet50各残差网络模块输出的特征图搭建自底向上的特征金字塔网络(Down to Top Feature Pyramid Network，DTFPN)，实现低层纹理细节信息对高层特征图信息的补充，有效解决了特征金字塔网络(Feature Pyramid Network,FPN)中高层特征缺失低层细节纹理信息这一缺陷，实现各层特征图信息的高效融合。
(2)在(1)中自底向上的特征金字塔网络(DTFPN)的基础上，搭建基于残差网络ResNet50的跨层残差网络(Cross-layer ResNet50)，以此进一步减轻残差网络ResNet50网络退化问题并混合利用不同层级的特征进一步抽取深层特征，显著增强了残差网络ResNet50的特征提取能力。
将本发明应用在目标检测领域，相比基于特征提取网络ResNet50-FPN的更快速的基于区域的卷积神经网络(Faster Region-based Convolution Neural Networks,Faster_R-CNN)，基于本发明提出的跨层残差双路金字塔网络(Cross-layer residual Bi-FPN)的更快速的基于区域的卷积神经网络(Faster Region-based Convolution NeuralNetworks,Faster_R-CNN)在凯特(KITTY)数据集上的目标检测平均准确率AP(0.5-0.95)提升了3.8％，但网络推理速度几乎保持不变。
附图说明
图1为本发明实施例技术方案的总体网络框架图；
图2为本发明实施例中自底向上的特征金字塔网络(Down to Top FeaturePyramid Network,DTFPN)的细节结构示意图；
图3为本发明实施例中跨层残差网络(Cross-layer ResNet50)的跨层残差结构示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明。
本发明提出了一种基于跨层残差双路金字塔网络(Cross-layer residual Bi-FPN)的图像特征提取方法，该网络包括基于残差网络ResNet50自行设计的跨层残差网络(Cross-layer ResNet50)和特征金字塔网络(FPN)，其中跨层残差网络(Cross-layerResNet50)包含全新的自底向上的特征金字塔网络(Down to Top Feature PyramidNetwork，DTFPN)。本发明的实现分为如下步骤：S1、定义原始图像经残差网络ResNet50骨架网络中卷积网络模块1(conv1)、残差网络模块模块2(conv2_x)、残差网络模块3(conv3_x)、残差网络模块4(conv4_x)、残差网络模块5(conv5_x)输出的特征图分别为P0、P1、P1’(P1＝P1’)、P2、P3、P4。S2、该步骤的输入为步骤S1输出的特征图P1’、P2、P3、P4，对特征图P1’下采样并与特征图P2融合得到特征图P2’，对特征图P2’下采样并与特征图P3融合得到特征图P3’，对特征图P3’下采样并与特征图P4融合得到特征图P4’，由此构建出自底向上的特征金字塔网络(DTFPN)，该步骤输出特征图P1’、P2’、P3’、P4’。S3、该步骤的输入为步骤S1输出的特征图P1和步骤S2输出的特征图P2’、P3’。特征图P1、P2’、P3’分别经残差网络ResNet50中残差网络模块3(conv3_x)、残差网络模块4(conv4_x)、残差网络模块5(conv5_x)计算得到特征图P2、P3、P4，所以有特征图P1’、P2、P2’及其中间网络构成跨层残差网络模块(跨越残差网络ResNet50的残差网络模块中多个残差层)，特征图P2’、P3、P3’及其中间网络构成跨层残差网络模块,特征图P3’、P4、P4’及其中间网络构成跨层残差网络模块，由此实现跨层残差网络(Cross-layer ResNet50)。S4、该步骤的输入为步骤S2输出的特征图P1’、P2’、P3’、P4’。将特征图P1’、P2’、P3’、P4’输入给特征金字塔网络(FPN)，与特征金字塔网络(FPN)建立起跨层残差双路金字塔网络(Cross-layer residual Bi-FPN)。特征图P1’、P2’、P3’、P4’经特征金字塔网络(FPN)处理后输出特征图P1”’、P2”’、P3”’、P4”’、P5”’。本发明通过设计新的自底向上的特征金字塔网络和跨层残差结构，形成了新的特征提取网络，在与原网络特征提取速度相当的前提下进一步减轻了残差网络ResNet50网络退化问题并混合利用不同层级的特征进一步抽取深层特征，解决了特征金字塔网络(FPN)中高层特征缺失低层细节信息这一缺陷，实现了各层特征图信息的高效融合。该发明应用到在图像目标检测和语义分割等任务上表现出色。
附图一为本实施例技术方案的总体网络框架图，该网络包括基于残差网络ResNet50自行设计的跨层残差网络(Cross-layer ResNet50)和特征金字塔网络(FeaturePyramid Network,FPN)，其中跨层残差网络(Cross-layer ResNet50)包含全新的自底向上的特征金字塔网络(Down to Top Feature Pyramid Network,DTFPN)。构建跨层残差双路金字塔网络(Cross-layer residual Bi-FPN)，该网络包括基于残差网络ResNet50自行设计的跨层残差网络(Cross-layer ResNet50)和特征金字塔网络(Feature PyramidNetwork,FPN)，其中跨层残差网络(Cross-layer ResNet50)包含全新的自底向上的特征金字塔网络(Down to Top Feature Pyramid Network，DTFPN)。搭建整个特征提取网络的详细步骤如下：
S1、如附表一所示，残差网络ResNet50特征提取部分由卷积网络模块1(conv1)、残差网络模块模块2(conv2_x)、残差网络模块3(conv3_x)、残差网络模块4(conv4_x)、残差网络模块5(conv5_x)构成，“conv2_x”及之后每个残差网络模块均由多个残差层结构组成。将原始RGB彩色图像输入残差网络ResNet50中进行初步特征提取，定义“conv1”、“conv2_x”、“conv3_x”、“conv4_x”、“conv5_x”分别输出特征图P0、P1、P1’(P1＝P1’)、P2、P3、P4。其中特征图Pi(i＝0,1,2,3)的宽和高是特征图Pi+1的1/2，而特征图Pi的通道数是特征图Pi+1的通道数的2倍。
附表一 本实例中残差网络resnet50特征提取部分的网络架构
S2、该步骤的输入为步骤S1输出的特征图P1’、P2、P3、P4。对特征图P1’下采样再与特征图P2融合得到特征图P2’，对特征图P2’下采样再与特征图P3融合得到特征图P3’，对特征图P3’下采样再与特征图P4融合得到特征图P4’，由此构建出自底向上的特征金字塔网络(DTFPN)。该步骤的输出为特征图P1’、P2’、P3’、P4’。下采样与融合的细节如附图三所示，下面结合附图三进一步阐述：
S2.1、该步骤的输入为步骤S1输出的特征图P1’、P2。对特征图P1’采用卷积核大小为1x1、步距为2的下采样操作，使其宽和高缩小1/2，通道数增加1倍，这一步保证特征图P1’下采样之后与特征图P2大小相同。接着将特征图P1’下采样之后的特征图输入修正线性单元(Rectified linear unit，ReLU)调整特征图数据的分布，将输出的特征图与特征图P2相加得到特征图P2’。该步骤输出特征图P2’。
S2.2、该步骤的输入为步骤S1输出的特征图P3和步骤S2.1输出的特征图P2’。对特征图P2’采用卷积核大小为1x1、步距为2的下采样操作，使其宽和高缩小1/2，通道数增加1倍，这一步保证特征图P2’下采样之后与特征图P3大小相同。接着将特征图P2’下采样之后的特征图输入修正线性单元(Rectified linear unit，ReLU)调整特征图数据的分布，将输出的特征图与特征图P3相加得到特征图P3’。该步骤输出特征图P3’。
S2.3、该步骤的输入为步骤S1输出的特征图P4和步骤S2.2输出的特征图P3’。对特征图P3’采用卷积核大小为1x1、步距为2的下采样操作，使其宽和高缩小1/2，通道数增加1倍，这一步保证特征图P3’下采样之后与特征图P4大小相同。接着将特征图P3’下采样之后的特征图输入修正线性单元(Rectified linear unit，ReLU)调整特征图数据的分布，将输出的特征图与特征图P4相加得到特征图P4’。该步骤输出特征图P4’。
S3、该步骤的输入为步骤S1输出的特征图P1和步骤S2输出的特征图P2’、P3’。特征图P1、P2’、P3’分别经步骤S1中残差网络ResNet50的残差网络模块3(conv3_x)、残差网络模块4(conv4_x)、残差网络模块5(conv5_x)计算得到特征图P2、P3、P4。如附图三所示，所以有特征图P1’、P2、P2’及其中间网络构成跨层残差网络模块(跨越残差网络ResNet50的残差网络模块中多个残差层)，特征图P2’、P3、P3’及其中间网络构成跨层残差网络模块,特征图P3’、P4、P4’及其中间网络构成跨层残差网络模块，由此实现基于残差网络ResNet50的跨层残差网络(Cross-layer ResNet50)。
S4、该步骤的输入为步骤S2输出的特征图P1’、P2’、P3’、P4’。将特征图P1’、P2’、P3’、P4’输入给特征金字塔网络(FPN)，与特征金字塔网络(FPN)建立起跨层残差双路金字塔网络(Cross-layer residual Bi-FPN)。特征图P1’、P2’、P3’、P4’经特征金字塔网络(FPN)处理后输出特征图P1”’、P2”’、P3”’、P4”’、P5”’，由此完成原始图像输入跨层残差双路金字塔网络(Cross-layer residual Bi-FPN)提取特征图的所有步骤。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (3)
1.一种基于跨层残差双路金字塔网络的图像特征提取方法，其特征在于，包括：
步骤S1，将原始RGB彩色图像输入残差网络ResNet50中进行初步特征提取，所述残差网络ResNet50的conv1卷积网络模块1输出特征图P0，所述残差网络ResNet50的conv2_x残差网络模块2输出特征图P1、P1’，P1＝P1’，所述残差网络ResNet50的conv3_x残差网络模块3输出特征图P2，所述残差网络ResNet50的conv4_x残差网络模块4输出特征图P3，所述残差网络ResNet50的conv5_x残差网络模块5输出特征图P4；
步骤S2，对特征图P1’下采样再与特征图P2融合得到特征图P2’，对特征图P2’下采样再与特征图P3融合得到特征图P3’，对特征图P3’下采样再与特征图P4融合得到特征图P4’，得到自底向上的特征金字塔网络DTFPN；
步骤S3，特征图P1’、P2、P2’及其中间网络构成跨层残差网络模块，所述中间网络构成跨层残差网络模块为跨越残差网络ResNet50的残差网络模块中多个残差层；特征图P2’、P3、P3’及其中间网络构成跨层残差网络模块，该步骤的输入为步骤S1输出的特征图P1’和步骤S2输出的特征图P2’、P3’，特征图P1’、P2’、P3’分别经步骤S1中残差网络ResNet50的残差网络模块3、残差网络模块4、残差网络模块5计算得到特征图P2、P3、P4；特征图P3’、P4、P4’及其中间网络构成跨层残差网络模块；实现基于残差网络ResNet50的跨层残差网络；
步骤S4，将特征图P1’、P2’、P3’、P4’输入给特征金字塔网络FPN，与特征金字塔网络FPN建立起跨层残差双路金字塔网络；特征图P1’、P2’、P3’、P4’经特征金字塔网络FPN处理后得到输出的特征图P1”’、P2”’、P3”’、P4”’、P5”’。
2.根据权利要求1所述的一种基于跨层残差双路金字塔网络的图像特征提取方法，其特征在于：所述步骤S1中，特征图Pi的宽和高是特征图Pi+1的1/2，特征图Pi的通道数是特征图Pi+1的通道数的2倍，其中i＝0,1,2,3。
3.根据权利要求1所述的一种基于跨层残差双路金字塔网络的图像特征提取方法，其特征在于，所述步骤S2包括：
S2.1，对特征图P1’采用卷积核大小为1x1、步距为2的下采样操作，使其宽和高缩小1/2，通道数增加1倍；将特征图P1’下采样之后的特征图输入修正线性单元调整特征图数据的分布，将调整后得到的特征图与特征图P2相加得到特征图P2’；
S2.2、对特征图P2’采用卷积核大小为1x1、步距为2的下采样操作，使其宽和高缩小1/2，通道数增加1倍；接着将特征图P2’下采样之后的特征图输入修正线性单元调整特征图数据的分布，将调整后得到的特征图与特征图P3相加得到特征图P3’；
S2.3、对特征图P3’采用卷积核大小为1x1、步距为2的下采样操作，使其宽和高缩小1/2，通道数增加1倍；接着将特征图P3’下采样之后的特征图输入修正线性单元调整特征图数据的分布，将调整后得到的特征图与特征图P4相加得到特征图P4’。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111002973.5A CN113837199B (zh) | 2021-08-30 | 2021-08-30 | 一种基于跨层残差双路金字塔网络的图像特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111002973.5A CN113837199B (zh) | 2021-08-30 | 2021-08-30 | 一种基于跨层残差双路金字塔网络的图像特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837199A CN113837199A (zh) | 2021-12-24 |
| CN113837199B true CN113837199B (zh) | 2024-01-09 |
Family
ID=78961539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111002973.5A Active CN113837199B (zh) | 2021-08-30 | 2021-08-30 | 一种基于跨层残差双路金字塔网络的图像特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837199B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100473A (zh) * | 2022-06-29 | 2022-09-23 | 武汉兰丁智能医学股份有限公司 | 基于并行神经网络的肺部细胞图像分类方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339893A (zh) * | 2020-02-21 | 2020-06-26 | 哈尔滨工业大学 | 基于深度学习和无人机的管道检测系统及方法 |
| CN111507359A (zh) * | 2020-03-09 | 2020-08-07 | 杭州电子科技大学 | 一种图像特征金字塔的自适应加权融合方法 |
| CN111753677A (zh) * | 2020-06-10 | 2020-10-09 | 杭州电子科技大学 | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 |
| CN112163449A (zh) * | 2020-08-21 | 2021-01-01 | 同济大学 | 一种轻量化的多分支特征跨层融合图像语义分割方法 |
| CN112507861A (zh) * | 2020-12-04 | 2021-03-16 | 江苏科技大学 | 一种多层卷积特征融合的行人检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108428229B (zh) * | 2018-03-14 | 2020-06-16 | 大连理工大学 | 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法 |
| CN110136136B (zh) * | 2019-05-27 | 2022-02-08 | 北京达佳互联信息技术有限公司 | 场景分割方法、装置、计算机设备及存储介质 |
-
2021
- 2021-08-30 CN CN202111002973.5A patent/CN113837199B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339893A (zh) * | 2020-02-21 | 2020-06-26 | 哈尔滨工业大学 | 基于深度学习和无人机的管道检测系统及方法 |
| CN111507359A (zh) * | 2020-03-09 | 2020-08-07 | 杭州电子科技大学 | 一种图像特征金字塔的自适应加权融合方法 |
| CN111753677A (zh) * | 2020-06-10 | 2020-10-09 | 杭州电子科技大学 | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 |
| CN112163449A (zh) * | 2020-08-21 | 2021-01-01 | 同济大学 | 一种轻量化的多分支特征跨层融合图像语义分割方法 |
| CN112507861A (zh) * | 2020-12-04 | 2021-03-16 | 江苏科技大学 | 一种多层卷积特征融合的行人检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Convolutional networks with cross-layer neurons for image recognition;Zeng Yu 等;《Information Sciences》;第241-254页 * |
| 领域知识驱动的深度学习单幅图像去雨研究;傅雪阳;《中国博士学位论文全文数据库 信息科技辑》(第12期);第1-109页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113837199A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022252272A1 (zh) | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 | |
| CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
| CN113807355A (zh) | 一种基于编解码结构的图像语义分割方法 | |
| WO2022001623A1 (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
| CN109949255A (zh) | 图像重建方法及设备 | |
| CN113159073B (zh) | 知识蒸馏方法及装置、存储介质、终端 | |
| CN108846444A (zh) | 面向多源数据挖掘的多阶段深度迁移学习方法 | |
| Dai et al. | DFN-PSAN: Multi-level deep information feature fusion extraction network for interpretable plant disease classification | |
| CN110929610A (zh) | 基于cnn模型和迁移学习的植物病害识别方法及系统 | |
| CN111860528B (zh) | 基于改进U-Net网络的图像分割模型及训练方法 | |
| CN113706545A (zh) | 一种基于双分支神经判别降维的半监督图像分割方法 | |
| Zhang et al. | Channel-wise and feature-points reweights densenet for image classification | |
| Dong et al. | Field-matching attention network for object detection | |
| CN113837199B (zh) | 一种基于跨层残差双路金字塔网络的图像特征提取方法 | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
| CN111914993B (zh) | 基于非均匀分组的多尺度深度卷积神经网络模型构建方法 | |
| CN117746045B (zh) | 一种Transformer和卷积融合的医学图像分割方法及系统 | |
| CN118212415A (zh) | 一种基于混合卷积和多尺度注意力门的图像分割方法 | |
| CN116912253B (zh) | 基于多尺度混合神经网络的肺癌病理图像分类方法 | |
| CN113269702A (zh) | 基于跨尺度特征融合的低曝光静脉图像增强方法 | |
| CN113724266A (zh) | 胶质瘤分割方法及系统 | |
| CN116386148B (zh) | 基于知识图谱引导的小样本动作识别方法及系统 | |
| Wu et al. | Lightweight stepless super-resolution of remote sensing images via saliency-aware dynamic routing strategy | |
| Fan et al. | EGFNet: Efficient guided feature fusion network for skin cancer lesion segmentation | |
| CN116012602A (zh) | 一种在线定位的轻量化显著性检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |