[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113538484B - 一种深度细化的多重信息嵌套边缘检测方法 - Google Patents

一种深度细化的多重信息嵌套边缘检测方法 Download PDF

Info

Publication number
CN113538484B
CN113538484B CN202110746455.8A CN202110746455A CN113538484B CN 113538484 B CN113538484 B CN 113538484B CN 202110746455 A CN202110746455 A CN 202110746455A CN 113538484 B CN113538484 B CN 113538484B
Authority
CN
China
Prior art keywords
image
convolution
images
information extraction
combined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110746455.8A
Other languages
English (en)
Other versions
CN113538484A (zh
Inventor
林川
王蕤兴
张贞光
陈永亮
谢智星
吴海晨
李福章
潘勇才
韦艳霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University of Science and Technology
Original Assignee
Guangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University of Science and Technology filed Critical Guangxi University of Science and Technology
Priority to CN202110746455.8A priority Critical patent/CN113538484B/zh
Publication of CN113538484A publication Critical patent/CN113538484A/zh
Application granted granted Critical
Publication of CN113538484B publication Critical patent/CN113538484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明旨在提供一种深度细化的多重信息嵌套边缘检测方法，包括以下步骤：构建深度神经网络结构，深度神经网络结构具体如下：编码网络、解码网络；编码网络为VGG16网络，该VGG16网络去除了所有全连接层、pool5池化层，只保留了VGG16网络主体；解码网络分为三层，第一层包括压缩模块、重塑模块、调整模块；第二层为信息提取融合模块a、信息提取融合模块b、信息提取融合模块信息c、提取融合模块d；第三层为在横向细分轮廓网络模块。

Description

一种深度细化的多重信息嵌套边缘检测方法
技术领域
本发明涉及图像处理领域，具体涉及一种深度细化的多重信息嵌套边缘检测方法。
背景技术
轮廓检测是图像处理及计算机视觉中一个很重要组成部分。从复杂的背景中正确地检测物体轮廓是一个非常重要而困难的工作。在众多传统的图像处理方法中，应用于轮廓检测较成功的有Canny算子、活动轮廓模型和基于机器学习的轮廓模型等。这些方法主要利用了图像中的亮度，颜色，对比度信息进行检测，难以区分目标轮廓和其他杂乱边界。所以在面对图像中的对比度变化比较大、背景干扰比较多的情况时，这些方法很难得到比较满意的结果。上述算法需要相当多的领域专业知识和精细的处理算法设计，把原始图像数据转换成合适的表示或者特征向量，来构造一个轮廓分类器或者轮廓模型。近几年来，深度学习技术已经成为从原始数据中自动学习特征表示的高效方法。借助深度学习工具，尤其是卷积神经网络，轮廓检测任务有显著的性能提高。
近年来，深度学习的相关研究已形成较为完整的体系。其中，HED为我们展现了VGG16 网络五层侧面图的检测效果，发现浅层的轮廓效果较差，含有大量的纹理和噪声，传递过程中导致错误率上升，对实验效果产生巨大影响。且现有深度学习算法只是将卷积层直接相加或融合，缺乏生物视觉机制的理论支撑，而仿生学算法用数学模型描述细胞响应，不足以模拟视觉机制中各层间复杂的传递方式。
发明内容
本发明旨在提供一种深度细化的多重信息嵌套边缘检测方法，该方法克服现有技术缺陷，可以使轮廓更加清晰、准确。
本发明的技术方案如下：
所述的深度细化的多重信息嵌套边缘检测方法，包括以下步骤：
A、构建深度神经网络结构，包括编码网络、解码网络，具体结构如下：
编码网络为VGG16网络，该VGG16网络去除了所有全连接层、pool5池化层，只保留了VGG16网络主体；解码网络分为三层，第一层包括压缩模块、重塑模块和调整模块；第二层为信息提取融合模块a、信息提取融合模块b、信息提取融合模块信息c和信息提取融合模块d；第三层为在横向细分轮廓网络模块；
B、原始图像先经过VGG16网络卷积处理，获得VGG16的5个侧面输出图，然后将VGG16 的5个侧面输出图分别输入压缩模块和信息提取融合模块a；
在信息提取融合模块a中，将第1～5侧面输出图，经过再次卷积处理，使得输出通道数一致，获得第1-5侧面输出图的再次卷积图像；然后第2～5侧面输出图的再次卷积图像分别以第1侧面输出图再次卷积图像为基准，统一分辨率，获得2～5侧面输出图再次卷积图像的分辨率调整图像，将第1侧面输出图再次卷积图像与2～5侧面输出图再次卷积图像的分辨率调整图像融合，获得信息提取融合图像a，输入横向细分轮廓网络模块中；
C、在压缩模块中：对第1～5侧面输出图像进行二次卷积，其中1、2层卷积图像的二次卷积采用3*3卷积，3、4、5层卷积图像的二次卷积采用1*1卷积，统一特征通道数；将二次卷积后的1、2、3、4、5层卷积图像，依次两两组合形成4个组，每组中将高分辨率的输出图使用最大值池化至与低分辨率输出图相同，然后相加，获得四幅一次结合图像，分别为1-2、2-3、3-4、4-5结合图像，将该四幅图像分别输入重塑模块和信息提取融合模块b；
在信息提取融合模块b中，将1-2、2-3、3-4、4-5结合图像，分别经过再次卷积处理，使得输出通道数一致，获得1-2、2-3、3-4、4-5的再次卷积图像；然后2-3、3-4、4-5的再次卷积图像分别以1-2再次卷积图像为基准，统一分辨率，获得2-3、3-4、4-5的分辨率调整图像，将1-2再次卷积图像与2-3、3-4、4-5的分辨率调整图像融合，获得信息提取融合图像b，输入横向细分轮廓网络模块中；
D、重塑模块设有两层，第一层的处理过程为：对1-2、2-3结合图像分别采用1*1、3*3、 5*5进行三次平行卷积；将1-2结合图像的三次平行卷积结果进行融合，获得融合1-2结合图像；将2-3结合图像的三次平行卷积结果进行融合，获得融合2-3结合图像；对3-4、4-5结合图像采用1*1卷积；将融合1-2结合图像、融合2-3结合图像、卷积后的3-4、4-5结合图像依次两两组合形成3个组，每组中将高分辨率的输出图使用最大值池化至与低分辨率输出图相同，然后相加，获得1-3结合图像、2-4结合图像、3-5结合图像，分别输入第二层和信息提取融合模块c中；
在第二层的处理过程为：对1-3、2-4结合图像分别采用1*1、3*3、5*5进行三次平行卷积；将1-3结合图像的三次平行卷积结果进行融合，获得融合1-3结合图像；将2-4结合图像的三次平行卷积结果进行融合，获得融合2-4结合图像；对3-5结合图像采用1*1卷积；将融合1-3结合图像1-3、融合2-4结合图像、卷积后的3-5结合图像统一分辨率，将高分辨率的输出图使用最大值池化至与低分辨率输出图相同，然后组合相加，获得1-4结合图像、2-5结合图像，输入调整模块；
在信息提取融合模块c中，将1-3、2-4、3-5结合图像，分别经过再次卷积处理，使得输出通道数一致，获得1-3、2-4、3-5的再次卷积图像；然后2-4、3-5再次卷积图像分别以1-3再次卷积图像为基准，统一分辨率，获得2-4、3-5的分辨率调整图像，将1-3再次卷积图像与2-4、3-5的分辨率调整图像融合，获得信息提取融合图像c，输入横向细分轮廓网络模块中；
E、在调整模块中，将1-4结合图像，2-5结合图像统一分辨率，将低分辨率的输出图使用双线性差值化至高分辨率输出图相同，然后组合相加，获得1-5结合图像，输入信息提取融合模块d中；
在信息提取融合模块d中，将1-5结合图像经过再次卷积处理，获得1-5再次卷积图像，输入横向细分轮廓网络模块中；
F、在横向细分轮廓网络模块中，进行如下操作：
F1、将信息提取融合图像a、信息提取融合图像b、信息提取融合图像c、信息提取融合图像d分别进行卷积、激活，乘以自适应随机权重，获得一次权重图像a、一次权重图像b、一次权重图像c、一次权重图像d，将这四个图像依次两两组合，形成3个组，每组中将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，获得一次相加权重图像a、一次相加权重图像b、一次相加权重图像c；
F2、将一次相加权重图像a、一次相加权重图像b、一次相加权重图像c分别进行卷积、激活，乘以自适应随机权重，获得二次权重图像a、二次权重图像b、二次权重图像c，将这三个图像依次两两组合，形成2个组，每组中将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，获得二次相加权重图像a、二次相加权重图像b；
F3、将二次相加权重图像a、二次相加权重图像b分别进行卷积、激活，乘以自适应随机权重，获得三次权重图像a、三次权重图像b，将这两幅图像统一分辨率，将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，最后经1*1卷积改变特征通道数为1后输出，获得最终边缘图像。
所述的各步骤涉及的卷积表达式为m*n-k conv+relu，其中，m*n表示卷积核的大小，k 表示输出通道数，conv表示卷积公式，relu表示激活函数；m*n、k均为预设值；所述的最终融合层的卷积表达式为m*n-k conv。
所述的VGG16网络包括包含5个阶段，分别为阶段Ⅰ～阶段Ⅴ，每个阶段中分别设置有一个以上的卷积层；
所述的阶段Ⅰ的第一卷积层的输入响应为原始图像，阶段Ⅰ的其他卷积层的输入响应为该阶段上一卷积层的输出响应；阶段Ⅱ～阶段Ⅴ中，除了该阶段中的第一卷积层的输入响应之外，该阶段中的其他卷积层的输入响应为上一卷积层的输出响应；阶段Ⅰ～阶段Ⅳ中最后一个卷积层的输出响应，一方面经过最大值池化后作为下一个阶段的第一卷积层的输入响应；另一方面，作为输入响应输入到压缩模块和信息提取融合模块a中；阶段Ⅴ中最后一个卷积层的输出响应，经过最大值池化后输入到压缩模块和信息提取融合模块a中；
所述的VGG16网络中的卷积均为3*3卷积。
所述的步骤B～E中的再次卷积为1*1卷积。
所述的步骤C中，统一特征通道数为200。
所述的步骤B-E中，信息提取融合图像a的特征通道数为64，信息提取融合图像b的特征通道数为100，信息提取融合图像c的特征通道数为200，信息提取融合图像d的特征通道数为300。
所述的步骤B-E中，在信息提取融合模块a、信息提取融合模块b、信息提取融合模块c、信息提取融合模块d中统一分辨率的方法为：低分辨率的输出图使用双线性差值化至高分辨率输出图相同。
所述的步骤F1-3中，所述的卷积为3*3卷积，所述的激活为采用下述ReLU函数进行，所述的自适应随机权重的权重参数范围为0～1；
Figure GDA0003616288670000041
所述的最大值池化为2*2最大值池化。
本发明设计了一种基于新型解码网络的边缘检测方法，该方法适用于大部分网络，并可以表现出良好的成绩。在NYUD-V2数据集上，以VGG16为编码网络时，获得了ODS为0.773 的F-score，相较于LRCNet提升了1.6％。本发明提出的方法为后续轮廓检测的研究提出了一个新的思路，并进一步有助于改进其他视觉任务。
附图说明
图1本发明实施例1提供的VGG16网络图；
图2为本发明实施例1方案与文献1方案的轮廓检测效果对比图；
图1中的“3*3-64”、“3*3-128”等表示卷积核的参数，其中“3*3”为卷积核的大小尺寸，“-64”、“-128”等表示卷积核的个数即输出的特征通道数为64或128等。
具体实施方式
下面结合附图和实施例具体说明本发明。
实施例1
本实施例提供的一种深度细化的多重信息嵌套边缘检测方法，包括以下步骤：
A、构建深度神经网络结构，包括编码网络、解码网络，具体结构如下：
编码网络为VGG16网络，该VGG16网络去除了所有全连接层、pool5池化层，只保留了VGG16网络主体；解码网络分为三层，第一层包括压缩模块、重塑模块和调整模块；第二层为信息提取融合模块a、信息提取融合模块b、信息提取融合模块信息c和信息提取融合模块d；第三层为在横向细分轮廓网络模块；
B、原始图像先经过VGG16网络卷积处理，获得VGG16的5个侧面输出图，然后将VGG16 的5个侧面输出图分别输入压缩模块和信息提取融合模块a；
在信息提取融合模块a中，将第1～5侧面输出图，经过再次卷积处理，使得输出通道数一致，获得第1-5侧面输出图的再次卷积图像；然后第2～5侧面输出图的再次卷积图像分别以第1侧面输出图再次卷积图像为基准，统一分辨率，获得2～5侧面输出图再次卷积图像的分辨率调整图像，将第1侧面输出图再次卷积图像与2～5侧面输出图再次卷积图像的分辨率调整图像通过concat函数进行融合，获得信息提取融合图像a，输入横向细分轮廓网络模块中；
C、在压缩模块中：对第1～5侧面输出图像进行二次卷积，其中1、2层卷积图像的二次卷积采用3*3卷积，3、4、5层卷积图像的二次卷积采用1*1卷积，统一特征通道数；将二次卷积后的1、2、3、4、5层卷积图像，依次两两组合形成4个组，每组中将高分辨率的输出图使用2*2最大值池化至与低分辨率输出图相同，然后相加，获得四幅一次结合图像，分别为1-2、2-3、3-4、4-5结合图像，将该四幅图像分别输入重塑模块和信息提取融合模块b；
在信息提取融合模块b中，将1-2、2-3、3-4、4-5结合图像，分别经过再次卷积处理，使得输出通道数一致，获得1-2、2-3、3-4、4-5的再次卷积图像；然后2-3、3-4、4-5的再次卷积图像分别以1-2再次卷积图像为基准，统一分辨率，获得2-3、3-4、4-5的分辨率调整图像，将1-2再次卷积图像与2-3、3-4、4-5的分辨率调整图像通过concat函数进行融合，获得信息提取融合图像b，输入横向细分轮廓网络模块中；
D、重塑模块设有两层，第一层的处理过程为：对1-2、2-3结合图像分别采用1*1、3*3、 5*5进行三次平行卷积；将1-2结合图像的三次平行卷积结果通过concat函数进行融合，获得融合1-2结合图像；将2-3结合图像的三次平行卷积结果通过concat函数进行融合，获得融合2-3结合图像；对3-4、4-5结合图像采用1*1卷积；将融合1-2结合图像、融合2-3结合图像、卷积后的3-4、4-5结合图像依次两两组合形成3个组，每组中将高分辨率的输出图使用2*2最大值池化至与低分辨率输出图相同，然后相加，获得1-3结合图像、2-4结合图像、3-5结合图像，分别输入第二层和信息提取融合模块c中；
在第二层的处理过程为：对1-3、2-4结合图像分别采用1*1、3*3、5*5进行三次平行卷积；将1-3结合图像的三次平行卷积结果通过concat函数进行融合，获得融合1-3结合图像；将2-4结合图像的三次平行卷积结果通过concat函数进行融合，获得融合2-4结合图像；对 3-5结合图像采用1*1卷积；将融合1-3结合图像1-3、融合2-4结合图像、卷积后的3-5结合图像统一分辨率，将高分辨率的输出图使用2*2最大值池化至与低分辨率输出图相同，然后组合相加，获得1-4结合图像、2-5结合图像，输入调整模块；
在信息提取融合模块c中，将1-3、2-4、3-5结合图像，分别经过再次卷积处理，使得输出通道数一致，获得1-3、2-4、3-5的再次卷积图像；然后2-4、3-5再次卷积图像分别以1-3再次卷积图像为基准，统一分辨率，获得2-4、3-5的分辨率调整图像，将1-3再次卷积图像与2-4、3-5的分辨率调整图像通过concat函数进行融合合，获得信息提取融合图像c，输入横向细分轮廓网络模块中；
E、在调整模块中，将1-4结合图像，2-5结合图像统一分辨率，将低分辨率的输出图使用双线性差值化至高分辨率输出图相同，然后组合相加，获得1-5结合图像，输入信息提取融合模块d中；
在信息提取融合模块d中，将1-5结合图像经过再次卷积处理，获得1-5再次卷积图像，输入横向细分轮廓网络模块中；
F、在横向细分轮廓网络模块中，进行如下操作：
F1、将信息提取融合图像a、信息提取融合图像b、信息提取融合图像c、信息提取融合图像d分别进行卷积、激活，乘以自适应随机权重，获得一次权重图像a、一次权重图像b、一次权重图像c、一次权重图像d，将这四个图像依次两两组合，形成3个组，每组中将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，获得一次相加权重图像a、一次相加权重图像b、一次相加权重图像c；
F2、将一次相加权重图像a、一次相加权重图像b、一次相加权重图像c分别进行卷积、激活，乘以自适应随机权重，获得二次权重图像a、二次权重图像b、二次权重图像c，将这三个图像依次两两组合，形成2个组，每组中将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，获得二次相加权重图像a、二次相加权重图像b；
F3、将二次相加权重图像a、二次相加权重图像b分别进行卷积、激活，乘以自适应随机权重，获得三次权重图像a、三次权重图像b，将这两幅图像统一分辨率，将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，最后经1*1卷积改变特征通道数为1后输出，获得最终边缘图像。
所述的各步骤涉及的卷积表达式为m*n-k conv+relu，其中，m*n表示卷积核的大小，k 表示输出通道数，conv表示卷积公式，relu表示激活函数；m*n、k均为预设值；所述的最终融合层的卷积表达式为m*n-k conv。
所述的VGG16网络包括包含5个阶段，分别为阶段Ⅰ～阶段Ⅴ，每个阶段中分别设置有一个以上的卷积层；
所述的阶段Ⅰ的第一卷积层的输入响应为原始图像，阶段Ⅰ的其他卷积层的输入响应为该阶段上一卷积层的输出响应；阶段Ⅱ～阶段Ⅴ中，除了该阶段中的第一卷积层的输入响应之外，该阶段中的其他卷积层的输入响应为上一卷积层的输出响应；阶段Ⅰ～阶段Ⅳ中最后一个卷积层的输出响应，一方面经过2*2最大值池化后作为下一个阶段的第一卷积层的输入响应；另一方面，作为输入响应输入到压缩模块和信息提取融合模块a中；阶段Ⅴ中最后一个卷积层的输出响应，经过2*2最大值池化后输入到压缩模块和信息提取融合模块a中；
所述的VGG16网络中的卷积均为3*3卷积。
所述的步骤B～E中的再次卷积为1*1卷积。
所述的步骤C中，统一特征通道数为200。
所述的步骤B-E中，信息提取融合图像a的特征通道数为64，信息提取融合图像b的特征通道数为100，信息提取融合图像c的特征通道数为200，信息提取融合图像d的特征通道数为300。
所述的步骤B-E中，在信息提取融合模块a、信息提取融合模块b、信息提取融合模块c、信息提取融合模块d中统一分辨率的方法为：低分辨率的输出图使用双线性差值化至高分辨率输出图相同。
所述的步骤F1-3中，所述的卷积为3*3卷积，所述的激活为采用下述ReLU函数进行，所述的自适应随机权重的权重参数范围为0～1；
Figure GDA0003616288670000071
实施例2
将本实施例方法与以下文献1的方法进行边缘检测结果的对比；
文献1：HED：S.Xie and Z.Tu,"Holistically-nested edge detection,"inInternational Comference on Computer Vision,2015,pp.1395-1403.；
文献2：LRCNet：C.Lin,L.Cui,F.Li,and Y.Cao,"Lateral Refinement Networkfor Contour Detection,"Neurocomputing,vol.409,2020.；
基于实施例1的神经网络模型进行训练和边缘检测。本发明训练和测试都是使用公开的 PyTorch框架完成的。本发明使用已经在ImageNet预训练好的VGG16模型来初始化本发明的网络。在训练中，使用零均值高斯分布初始化卷积核，其中标准差为0.01，偏置项初始化为 0。随机梯度下降法(SGD)超参数，全局学习率设置为1e-6，动量和权重衰减分别设定为0.9 和0.0002。当采用NYUD数据集时，将容忍度maxDist调整为0.011。
我们使用精确-回归(Precision-Recall，PR)曲线和调和平均数F值来评判轮廓检测模型的性能。F值的定义如下:
F＝2PR/(P+R)
其中，P和R分别代表精确度和回归度，
Figure GDA0003616288670000081
这里TPFP、和FN分别代表轮廓像素的正确个数，错误检测个数和漏检测个数。
实验数据：
NYUD-V2数据集。如表 1所示，本发明网络相较于其他学习网络都有较好的检测结果。本发明实施例1以VGG16为编码网络时，HHA图像与RGB图像相结合后的ODS为0.773。相比于LRC分别提高了1.6％。从表1实验的效果来看，本发明(DDM)检测方法优于文献1(HED)、文献2(LRCNet)的检测方法。
表1与其他网络中F-score的效果对比
Figure GDA0003616288670000082

Claims (10)

1.一种深度细化的多重信息嵌套边缘检测方法，其特征在于包括以下步骤：
A、构建深度神经网络结构，深度神经网络包括编码网络和解码网络，具体结构如下：
编码网络为VGG16网络，该VGG16网络去除了所有全连接层、pool5池化层，只保留了VGG16网络主体；解码网络分为三层，第一层包括压缩模块、重塑模块和调整模块；第二层为信息提取融合模块a、信息提取融合模块b、信息提取融合模块信息c和信息提取融合模块d；第三层为在横向细分轮廓网络模块；
B、原始图像先经过VGG16网络卷积处理，获得VGG16的5个侧面输出图，然后将VGG16的5个侧面输出图分别输入压缩模块和信息提取融合模块a；
在信息提取融合模块a中，将第1～5侧面输出图，经过再次卷积处理，使得输出通道数一致，获得第1-5侧面输出图的再次卷积图像；然后第2～5侧面输出图的再次卷积图像分别以第1侧面输出图再次卷积图像为基准，统一分辨率，获得2～5侧面输出图再次卷积图像的分辨率调整图像，将第1侧面输出图再次卷积图像与2～5侧面输出图再次卷积图像的分辨率调整图像融合，获得信息提取融合图像a，输入横向细分轮廓网络模块中；
C、在压缩模块中：对第1～5侧面输出图像进行二次卷积，其中1、2层卷积图像的二次卷积采用3*3卷积，3、4、5层卷积图像的二次卷积采用1*1卷积，统一特征通道数；将二次卷积后的1、2、3、4、5层卷积图像，依次两两组合形成4个组，每组中将高分辨率的输出图使用最大值池化至与低分辨率输出图相同，然后相加，获得四幅一次结合图像，分别为1-2、2-3、3-4、4-5结合图像，将该四幅图像分别输入重塑模块和信息提取融合模块b；
在信息提取融合模块b中，将1-2、2-3、3-4、4-5结合图像，分别经过再次卷积处理，使得输出通道数一致，获得1-2、2-3、3-4、4-5的再次卷积图像；然后2-3、3-4、4-5的再次卷积图像分别以1-2再次卷积图像为基准，统一分辨率，获得2-3、3-4、4-5的分辨率调整图像，将1-2再次卷积图像与2-3、3-4、4-5的分辨率调整图像融合，获得信息提取融合图像b，输入横向细分轮廓网络模块中；
D、重塑模块设有两层，第一层的处理过程为：对1-2、2-3结合图像分别采用1*1、3*3、5*5进行三次平行卷积；将1-2结合图像的三次平行卷积结果进行融合，获得融合1-2结合图像；将2-3结合图像的三次平行卷积结果进行融合，获得融合2-3结合图像；对3-4、4-5结合图像采用1*1卷积；将融合1-2结合图像、融合2-3结合图像、卷积后的3-4、4-5结合图像依次两两组合形成3个组，每组中将高分辨率的输出图使用最大值池化至与低分辨率输出图相同，然后相加，获得1-3结合图像、2-4结合图像、3-5结合图像，分别输入第二层和信息提取融合模块c中；
在第二层的处理过程为：对1-3、2-4结合图像分别采用1*1、3*3、5*5进行三次平行卷积；将1-3结合图像的三次平行卷积结果进行融合，获得融合1-3结合图像；将2-4结合图像的三次平行卷积结果进行融合，获得融合2-4结合图像；对3-5结合图像采用1*1卷积；将融合1-3结合图像1-3、融合2-4结合图像、卷积后的3-5结合图像统一分辨率，将高分辨率的输出图使用最大值池化至与低分辨率输出图相同，然后组合相加，获得1-4结合图像、2-5结合图像，输入调整模块；
在信息提取融合模块c中，将1-3、2-4、3-5结合图像，分别经过再次卷积处理，使得输出通道数一致，获得1-3、2-4、3-5的再次卷积图像；然后2-4、3-5再次卷积图像分别以1-3再次卷积图像为基准，统一分辨率，获得2-4、3-5的分辨率调整图像，将1-3再次卷积图像与2-4、3-5的分辨率调整图像融合，获得信息提取融合图像c，输入横向细分轮廓网络模块中；
E、在调整模块中，将1-4结合图像，2-5结合图像统一分辨率，将低分辨率的输出图使用双线性差值化至高分辨率输出图相同，然后组合相加，获得1-5结合图像，输入信息提取融合模块d中；
在信息提取融合模块d中，将1-5结合图像经过再次卷积处理，获得1-5再次卷积图像，输入横向细分轮廓网络模块中；
F、在横向细分轮廓网络模块中，进行如下操作：
F1、将信息提取融合图像a、信息提取融合图像b、信息提取融合图像c、信息提取融合图像d分别进行卷积、激活，乘以自适应随机权重，获得一次权重图像a、一次权重图像b、一次权重图像c、一次权重图像d，将这四个图像依次两两组合，形成3个组，每组中将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，获得一次相加权重图像a、一次相加权重图像b、一次相加权重图像c；
F2、将一次相加权重图像a、一次相加权重图像b、一次相加权重图像c分别进行卷积、激活，乘以自适应随机权重，获得二次权重图像a、二次权重图像b、二次权重图像c，将这三个图像依次两两组合，形成2个组，每组中将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，获得二次相加权重图像a、二次相加权重图像b；
F3、将二次相加权重图像a、二次相加权重图像b分别进行卷积、激活，乘以自适应随机权重，获得三次权重图像a、三次权重图像b，将这两幅图像统一分辨率，将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，最后经1*1卷积改变特征通道数为1后输出，获得最终边缘图像。
2.如权利要求1所述的深度细化的多重信息嵌套边缘检测方法，其特征在于：所述的各步骤涉及的卷积表达式为m*n-k conv+relu，其中，m*n表示卷积核的大小，k表示输出通道数，conv表示卷积公式，relu表示激活函数；m*n、k均为预设值。
3.如权利要求2所述的深度细化的多重信息嵌套边缘检测方法，其特征在于：所述的VGG16网络包括包含5个阶段，分别为阶段Ⅰ～阶段Ⅴ，每个阶段中分别设置有一个以上的卷积层；
所述的阶段Ⅰ的第一卷积层的输入响应为原始图像，阶段Ⅰ的其他卷积层的输入响应为该阶段上一卷积层的输出响应；阶段Ⅱ～阶段Ⅴ中，除了该阶段中的第一卷积层的输入响应之外，该阶段中的其他卷积层的输入响应为上一卷积层的输出响应；阶段Ⅰ～阶段Ⅳ中最后一个卷积层的输出响应，一方面经过最大值池化后作为下一个阶段的第一卷积层的输入响应；另一方面，作为输入响应输入到压缩模块和信息提取融合模块a中；阶段Ⅴ中最后一个卷积层的输出响应，经过最大值池化后输入到压缩模块和信息提取融合模块a中。
4.如权利要求3所述的深度细化的多重信息嵌套边缘检测方法，其特征在于：
所述的VGG16网络中的卷积均为3*3卷积。
5.如权利要求1所述的深度细化的多重信息嵌套边缘检测方法，其特征在于：所述的步骤B～E中的再次卷积为1*1卷积。
6.如权利要求1所述的深度细化的多重信息嵌套边缘检测方法，其特征在于：所述的步骤C中，统一特征通道数为200。
7.如权利要求1所述的深度细化的多重信息嵌套边缘检测方法，其特征在于：所述的步骤B-E中，信息提取融合图像a的特征通道数为64，信息提取融合图像b的特征通道数为100，信息提取融合图像c的特征通道数为200，信息提取融合图像d的特征通道数为300。
8.如权利要求1所述的深度细化的多重信息嵌套边缘检测方法，其特征在于：所述的步骤B-E中，在信息提取融合模块a、信息提取融合模块b、信息提取融合模块c、信息提取融合模块d中统一分辨率的方法为：低分辨率的输出图使用双线性差值化至高分辨率输出图相同。
9.如权利要求1所述的深度细化的多重信息嵌套边缘检测方法，其特征在于：
所述的步骤F1-3中，所述的卷积为3*3卷积，所述的激活为采用下述ReLU函数进行，所述的自适应随机权重的权重参数范围为0～1；
Figure FDA0003616288660000041
10.如权利要求8所述的深度细化的多重信息嵌套边缘检测方法，其特征在于：所述的最大值池化为2*2最大值池化。
CN202110746455.8A 2021-07-01 2021-07-01 一种深度细化的多重信息嵌套边缘检测方法 Active CN113538484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110746455.8A CN113538484B (zh) 2021-07-01 2021-07-01 一种深度细化的多重信息嵌套边缘检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110746455.8A CN113538484B (zh) 2021-07-01 2021-07-01 一种深度细化的多重信息嵌套边缘检测方法

Publications (2)

Publication Number Publication Date
CN113538484A CN113538484A (zh) 2021-10-22
CN113538484B true CN113538484B (zh) 2022-06-10

Family

ID=78097547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110746455.8A Active CN113538484B (zh) 2021-07-01 2021-07-01 一种深度细化的多重信息嵌套边缘检测方法

Country Status (1)

Country Link
CN (1) CN113538484B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463360B (zh) * 2021-10-27 2024-03-15 广西科技大学 一种基于仿生型特征增强网络的轮廓检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740869A (zh) * 2016-01-28 2016-07-06 北京工商大学 一种基于多尺度多分辨率的方形算子边缘提取方法及系统
CN107610140A (zh) * 2017-08-07 2018-01-19 中国科学院自动化研究所 基于深度融合修正网络的精细边缘检测方法、装置
CN110706242A (zh) * 2019-08-26 2020-01-17 浙江工业大学 一种基于深度残差网络的对象级边缘检测方法
CN111242138A (zh) * 2020-01-11 2020-06-05 杭州电子科技大学 一种基于多尺度特征融合的rgbd显著性检测方法
CN111325762A (zh) * 2020-01-21 2020-06-23 广西科技大学 基于密集连接解码网络的轮廓检测方法
CN112347859A (zh) * 2020-10-15 2021-02-09 北京交通大学 一种光学遥感图像显著性目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457437B2 (en) * 2010-03-23 2013-06-04 Raytheon Company System and method for enhancing registered images using edge overlays
US10410353B2 (en) * 2017-05-18 2019-09-10 Mitsubishi Electric Research Laboratories, Inc. Multi-label semantic boundary detection system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740869A (zh) * 2016-01-28 2016-07-06 北京工商大学 一种基于多尺度多分辨率的方形算子边缘提取方法及系统
CN107610140A (zh) * 2017-08-07 2018-01-19 中国科学院自动化研究所 基于深度融合修正网络的精细边缘检测方法、装置
CN110706242A (zh) * 2019-08-26 2020-01-17 浙江工业大学 一种基于深度残差网络的对象级边缘检测方法
CN111242138A (zh) * 2020-01-11 2020-06-05 杭州电子科技大学 一种基于多尺度特征融合的rgbd显著性检测方法
CN111325762A (zh) * 2020-01-21 2020-06-23 广西科技大学 基于密集连接解码网络的轮廓检测方法
CN112347859A (zh) * 2020-10-15 2021-02-09 北京交通大学 一种光学遥感图像显著性目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Fast accurate contours for 3D shape recognition;M. U. Butt等;《2015 IEEE Intelligent Vehicles Symposium (IV)》;20150827;第832-838页 *
Lateral refinement network for contour detection;Chuan Lin等;《Neurocomputing》;20200624;第409卷;第361-371页 *
一种基于密集深度分离卷积的SAR图像水域分割算法;张金松;《雷达学报》;20190307;第8卷(第03期);第400-412页 *
基于多层次感知网络的GF-2遥感影像建筑物提取;卢麒等;《国土资源遥感》;20210615;第33卷(第02期);第75-84页 *
视觉仿生轮廓检测中多尺度融合方法研究;林川等;《计算机仿真》;20190415;第36卷(第04期);第362-368页 *

Also Published As

Publication number Publication date
CN113538484A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN108256482B (zh) 一种基于卷积神经网络进行分布学习的人脸年龄估计方法
CN110827297A (zh) 基于改进的条件生成对抗网络的绝缘子分割方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN111145116A (zh) 一种基于生成对抗网络的海面雨天图像样本增广方法
CN107464217B (zh) 一种图像处理方法及装置
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN111325762B (zh) 基于密集连接解码网络的轮廓检测方法
CN109325513B (zh) 一种基于海量单类单幅图像的图像分类网络训练方法
CN111062432B (zh) 一种语义上多模态图像生成的方法
CN109872326B (zh) 基于深度强化网络跳跃连接的轮廓检测方法
CN113642445A (zh) 一种基于全卷积神经网络的高光谱影像分类方法
CN114742985A (zh) 一种高光谱特征提取方法、装置及存储介质
CN113066025A (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN113538484B (zh) 一种深度细化的多重信息嵌套边缘检测方法
CN113436198A (zh) 一种协同图像超分辨率重建的遥感图像语义分割方法
CN111160378A (zh) 基于单张图像的多任务增强的深度估计系统
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN110599495B (zh) 一种基于语义信息挖掘的图像分割方法
CN109410158A (zh) 一种基于卷积神经网络的多焦点图像融合方法
CN109949334B (zh) 基于深度强化网络残差连接的轮廓检测方法
CN109934835B (zh) 基于深度强化网络邻接连接的轮廓检测方法
CN109102457B (zh) 一种基于卷积神经网络的智能化变色系统及方法
CN111767842B (zh) 基于迁移学习和自编码器数据增强的微表情种类判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211022

Assignee: Liuzhou Wanyou Printing Co.,Ltd.

Assignor: GUANGXI University OF SCIENCE AND TECHNOLOGY

Contract record no.: X2023980054135

Denomination of invention: A Deep Refined Multi information Nested Edge Detection Method

Granted publication date: 20220610

License type: Common License

Record date: 20231225

EE01 Entry into force of recordation of patent licensing contract
OL01 Intention to license declared
OL01 Intention to license declared
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211022

Assignee: LIUZHOU DADI COMMUNICATION TECHNOLOGY CO.,LTD.

Assignor: GUANGXI University OF SCIENCE AND TECHNOLOGY

Contract record no.: X2024980019164

Denomination of invention: A Deep Refinement Multi Information Nested Edge Detection Method

Granted publication date: 20220610

License type: Open License

Record date: 20241018