CN111325751B - 基于注意力卷积神经网络的ct图像分割系统 - Google Patents
基于注意力卷积神经网络的ct图像分割系统 Download PDFInfo
- Publication number
- CN111325751B CN111325751B CN202010190946.4A CN202010190946A CN111325751B CN 111325751 B CN111325751 B CN 111325751B CN 202010190946 A CN202010190946 A CN 202010190946A CN 111325751 B CN111325751 B CN 111325751B
- Authority
- CN
- China
- Prior art keywords
- module
- attention
- convolution
- feature
- pooling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 238000011176 pooling Methods 0.000 claims abstract description 110
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 22
- 238000007670 refining Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 32
- 230000004913 activation Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 14
- 230000001965 increasing effect Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 description 38
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 238000012360 testing method Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 210000000496 pancreas Anatomy 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种基于注意力卷积神经网络的CT图像分割系统，包括使用并联卷积神经网络来逐步减小输入图像的特征图大小，通过网络层复用以及各层特征的截取与融合，实现同时提取出图像语义信息和空间信息的特征编码模块；使用池化生成注意力特征，将特征编码模块提取的语义信息特征进一步精练细化的语义信息提取注意力模块；使用最大池化与平均池化并联，将经过精细化的语义信息特征与经过特征编码模块拼接的语义信息和空间信息特征进行融合组成为注意力特征图的特征融合池化注意力模块；使用卷积模块与上采样模块，将注意力特征图逐步精细还原为输入图像大小的特征图解码模块。本发明通过融合注意力模块，实现了高效而精准的图像分割。
Description
技术领域
本发明涉及图像理解技术领域，具体涉及一种基于注意力卷积神经网络的CT图像分割系统。
背景技术
图像分割作为计算机视觉领域重要的基础性研究问题，而医学影像分割作为图像分割的一种应用，可以短时间并迅速的对于大量患者的病灶精确准定位。因此如何有效的将图像分割技术应用在医学影像中，成为研究者们的主要任务。
医学影像分割通过对医学影像特征的提取，逐像素将图像中的语义表达分类，医学影像分割需要精确定位对象与所属于的类和对象所在的位置，且需要清楚的划分出对象边界，以区分出不同类别对象。
目前国内外广泛应用的医学图像分割方法有很多种，其中传统方法主要包括：基于阈值的分割，阈值分割的优点是实现相对简单，但是不太适用于多通道图像和特征值相差不大的图像，对于图像中不存在明显的灰度差异或各物体的灰度值范围有较大重叠的图像分割问题难以得到准确的结果；基于边缘分割方法，边缘检测的优点是搜索检测速度很快，对边缘检测效果好，但是也有着不能得到较好的区域结构、边缘检测时抗噪性和检测精度之间的矛盾的缺点；基于活动轮廓模型的方法又称Snake模型，原始的Snake模型其基本思想是通过能量最小化，将一条带有能量函数的初始曲线朝着待检测的目标轮廓方向逐步变形与运动，最终收敛到目标边界，得到一个光滑并且连续的轮廓，原始的Snake模型存在难以捕捉目标凹陷边界及对初始轮廓线敏感等不足，因而后续有许多改进的方法。
另外基于神经网络的分割方法，自从Long等人于2014年提出FCN算法(FullyConvolutional Networks)之后，就将端到端的卷积网络推广到语义分割中。其重新将预训练好的ImageNet网络用于分割问题中，使用反卷积层进行上采样，提出了跳跃连接来改善上采样的粗糙程度，但是FCN得到的结果距离实际应用还是有着一定的差距。虽然使用跳跃结构进行精度的提升，但是对于图像的边缘信息，模型无法很好的分离出来。对逐像素分类的过程当中，FCN没有充分考虑到像素间的联系，缺少空间一致性。Vijay等人于2015年提出SegNet(Semantic Segmentation)算法，该算法将大池化指数转移至解码器中，改善了分割分辨率。在FCN网络中，通过卷积层和一些跳跃连接产生了粗糙的分割图，为了提升效果而引入了更多的跳跃连接。然而，FCN仅仅复制了编码器特征，而SegNet复制了最大池化指数，这使得在内存使用上，SegNet比FCN更为高效。
Ronneberger等人提出的U-Net将浅层语义信息与深层语义信息相结合，使用Encoder与Decoder架构对于医疗图像进行分割，但是其特征提取的部分并不好。Yu等人于2016年提出了空洞卷积层(DilatedConvolutions)，在不降低空间维度的前提下增大了相应的感受野指数。在接下来将提到的DeepLab中，空洞卷积被称为多孔卷积(AtrousConvolution)。从预训练好的分类网络中(这里采用VGG，Visual Geometry GroupNetwork)移除最后两个池化层，而用空洞卷积取代了随后的卷积层。DeepLabV2和V3中使用了空洞卷积，并且在空间维度上实现金字塔型的空洞池化ASPP(Atrous Spatial PyramidPooling)，同时使用了全连接条件随机场，空洞卷积在不增加参数量的情况下增大了感受野。
Zhao等人于2017年提出了PSPNet(Pyramid Scene Parsing Network)该算法提出了金字塔池化模块来聚合背景信息，并使用了附加损失(Auxiliary Loss)。另外全局场景分类很重要，由于它提供了分割类别分布的线索，金字塔池化模块使用大内核池化层来捕获这些信息。和上文提到的空洞卷积系统一样，PSPNet也用空洞卷积来改善ResNet结构，并添加了一个金字塔池化模块，该模块将ResNet的特征图谱连接到并行池化层的上采样输出，其中内核分别覆盖了图像的整个区域、半个区域和小块区域。
Chen等人又于2018年提出了DeepLabV3+模型，使用空间金字塔池模块和编码-解码器结构被用于深度神经网络用于语义分割任务。前一种网络能够通过以多种速率和多个有效视场探测具有滤波器或汇集操作的输入特征来对多尺度上下文信息进行编码，而后一种网络能够通过逐渐恢复空间信息来捕获更清晰的对象边界。该算法结合两种方法的优点，通过添加一个简单而有效的解码器模块来扩展DeepLabv3+，以细化分割结果，特别是沿着对象边界。通过进一步探索Xception模型，并将深度可分离卷积应用于ASPP(AtrousSpatial Pyramid Pooling)和解码器模块，构造了更快更强的编码器-解码器网络，但是却存在计算资源消耗大等缺点。金字塔结构作为语义分割的一个模块，具有很好的整合性，可以很容易的添加在任何神经网络结构中，在进行上下文信息提取的过程中，获得了优秀的效果。但是金字塔结构存在一些缺陷，例如对于提取到的信息来说，什么是真正需要网络去重视的部分，这一点金字塔结构并没有很好的解释。
发明内容
针对现有技术存在的技术问题，本发明提供一种基于注意力卷积神经网络的CT图像分割系统，该系统通过使用深度学习方法，融合注意力模块设计出一个精准并高效的分割模型，以此来提高现有CT图像分割方法的执行效率，得到更为准确的分割结果。
为了解决上述技术问题，本发明采用了如下的技术方案：
一种基于注意力卷积神经网络的CT图像分割系统，包括特征编码模块、语义信息提取注意力模块、特征融合池化注意力模块和特征图解码模块；其中，所述特征编码模块使用并联卷积神经网络来逐步减小输入图像的特征图大小，通过网络层复用以及各层特征的截取与融合，实现同时提取出图像的语义信息特征和空间信息特征；所述语义信息提取注意力模块使用池化生成注意力特征，将所述特征编码模块提取的语义信息特征进一步精练细化；所述特征融合池化注意力模块使用最大池化与平均池化并联，将经过所述语义信息提取注意力模块精细化的语义信息特征与经过所述特征编码模块拼接的语义信息和空间信息特征进行融合组成为注意力特征图；所述特征图解码模块使用卷积模块与上采样模块，将所述特征融合池化注意力模块融合的注意力特征图逐步精细还原为输入图像大小。
与现有技术相比，本发明提供的基于注意力卷积神经网络的CT图像分割系统，首先通过使用卷积神经网络逐步减小输入图像的特征图大小，进而提取出丰富的语义信息特征用以优化分类任务，同时在语义信息特征提取时通过网络设计，减少空间信息特征压缩的损失，由于同时考虑到语义信息和空间信息的提取，由此不但能够提高图像分割执行效率，而且能够学习到更多的特征且收敛速度非常快，同时具有较高的相似度(dice)值和较低的损失(loss)值；接着使用语义信息提取注意力模块来优化语义信息的提取；然后使用特征融合池化注意力模块将语义信息提取注意力模块精细化的语义信息特征与特征编码模块拼接的语义信息和空间信息特征相结合，通过池化注意力进行融合处理得到注意力特征图，由于通过融合将语义信息特征和空间信息特征有效地结合在了一起，因此无论是在精准率上还是召回率上各项指标都得到了较大提升，进而带来了较高的分割精度提升；最后使用特征图解码模块进行上采样和卷积操作，将注意力特征图逐步精细还原为输入图像大小。另外，本发明提供的分割系统模型与目前典型的分割网络相比，本发明对于CT图像数据集分割具有更高的适应性。
进一步，所述特征编码模块包括顺序设置的第一卷积模块、第二卷积模块、第一至第四瓶颈通路和第一拼接操作模块，所述第一卷积模块包括顺序设置的卷积层和批正则化，所述第二卷积模块包括顺序设置的卷积层、批正则化和ReLu激活函数，所述第一至第四瓶颈通路并行设置，从所述第一瓶颈通路开始到第四瓶颈通路结束，每条瓶颈通路中的瓶颈层不断减少，而第二至第四瓶颈通路相比于第一瓶颈通路输出特征图的大小不断缩小，且每个瓶颈层最终输出的特征图通道数随着层数的增加而增加，所述第一拼接操作模块将四个瓶颈通路提取的语义信息特征和空间信息特征进行拼接。
进一步，所述卷积层的卷积核大小为3×3，步长为2。
进一步，所述第一至第四瓶颈通路中瓶颈层数分别为4、3、2、1，而第二至第四瓶颈通路相比于第一瓶颈通路输出的特征图大小分别为1/2、1/4、1/8，且第一至第四瓶颈通路中输出特征图的通道数分别为128、256、512和1024。
进一步，每个瓶颈层包括顺序设置的三个卷积单元、相加单元和ReLu激活函数单元，每个卷积单元包括顺序设置的卷积核、批正则化和ReLu激活函数，所述相加单元还与输入至第一个卷积单元的卷积核中的特征图跳跃连接。
进一步，所述语义信息提取注意力模块包括第一通道注意力模块、第二通道注意力模块、全局池化模块、乘操作模块以及第二拼接操作模块，所述第一通道注意力模块和第二通道注意力模块并列设置，每个所述通道注意力模块包括顺序设置的用于捕捉输入特征图中上下文语义特征信息的全局平均池化，用于计算语义信息权重的卷积，用于细化语义信息提取的批正则化和Sigmoid激活函数，以及用于将细化后的语义信息与输入特征图相乘的乘操作，所述乘操作模块用于将第二通道注意力模块输出的特征图与该特征图经全局池化模块处理后的输出特征图相乘，所述第二拼接操作模块用于将第一通道注意力模块输出的特征图与乘操作模块的输出特征图进行拼接，两个所述通道注意力模块的输入特征图通过对接特征编码模块提取的语义信息特征获得。
进一步，所述特征融合池化注意力模块包括第三卷积模块、平均池化通路、最大池化通路和双路池化乘操作模块，所述第三卷积模块用于对融合的语义信息特征和空间信息特征的混合信息特征进行提取并同时转换信息的通道，所述平均池化通路和最大池化通路并联设置分别用于对第三卷积模块提取的特征进行处理，所述双路池化乘操作模块用于对平均池化通路和最大池化通路处理后的两路特征相乘组成为注意力特征图。
进一步，所述平均池化通路使用两个串联的平均池化模块对特征进行处理作为特征提取第一通路，所述最大池化通路使用两个串联的最大池化模块对特征进行处理作为特征提取第二通路。
进一步，所述特征图解码模块包括顺序设置的第一上采样模块、第四卷积模块、第二上采样模块、第五卷积模块和第六卷积模块，所述第一上采样模块和第四卷积模块输出的特征图大小相同，所述第二上采样模块、第五卷积模块和第六卷积模块输出的特征图大小均与输入图像相同。
进一步，所述第一上采样模块和第二上采样模块的采样系数为2。
附图说明
图1是本发明提供的基于注意力卷积神经网络的CT图像分割系统原理框图。
图2是图1特征编码模块的结构示意图。
图3是图2特征编码模块中每个瓶颈层的结构示意图。
图4是图1语义信息提取注意力模块中通道注意力模块的结构示意图。
图5是图1特征融合池化注意力模块的结构示意图。
图6是图1特征图解码模块的结构示意图。
图7是FCN与FEM训练过程曲线示意图。
图8是本发明提供的胰腺分割测试结果图像对照示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
请参考图1所示，本发明提供一种基于注意力卷积神经网络的CT图像分割系统，包括特征编码模块、语义信息提取注意力模块、特征融合池化注意力模块和特征图解码模块；其中，所述特征编码模块使用并联卷积神经网络来逐步减小输入图像的特征图大小，通过网络层复用以及各层特征的截取与融合，实现同时提取出图像的语义信息特征和空间信息特征；所述语义信息提取注意力模块使用池化生成注意力特征，将所述特征编码模块提取的语义信息特征进一步精练细化；所述特征融合池化注意力模块使用最大池化与平均池化并联，将经过所述语义信息提取注意力模块精细化的语义信息特征与经过所述特征编码模块拼接的语义信息和空间信息特征进行融合组成为注意力特征图；所述特征图解码模块使用卷积模块与上采样模块，将所述特征融合池化注意力模块融合的注意力特征图逐步精细还原为输入图像大小。
与现有技术相比，本发明提供的基于注意力卷积神经网络的CT图像分割系统，首先通过使用卷积神经网络逐步减小输入图像的特征图大小，进而提取出丰富的语义信息特征用以优化分类任务，同时在语义信息特征提取时通过网络设计，减少空间信息特征压缩的损失，由于同时考虑到语义信息和空间信息的提取，由此不但能够提高图像分割执行效率，而且能够学习到更多的特征且收敛速度非常快，同时具有较高的相似度(dice)值和较低的损失(loss)值；接着使用语义信息提取注意力模块来优化语义信息的提取；然后使用特征融合池化注意力模块将语义信息提取注意力模块精细化的语义信息特征与特征编码模块拼接的语义信息和空间信息特征相结合，通过池化注意力进行融合处理得到注意力特征图，由于通过融合将语义信息特征和空间信息特征有效地结合在了一起，因此无论是在精准率上还是召回率上各项指标都得到了较大提升，进而带来了较高的分割精度提升；最后使用特征图解码模块进行上采样和卷积操作，将注意力特征图逐步精细还原为输入图像大小。另外，本发明提供的分割系统模型与目前典型的分割网络相比，本发明对于CT图像数据集分割具有更高的适应性。
具体地，关于特征编码模块的设计背景如下：众所周知，对于语义分割任务来说，空间信息与语义信息同样重要，传统的深度学习方法使用串联卷积的方式，通过卷积与池化来一步一步缩小特征图的大小以达到提取语义信息与空间信息的目的，例如FCN、SegNet、U-Net、DeepLab等方法。但是通过缩小特征图的方式，在其过程中会无可避免的损失掉空间信息，所以很多模型针对这一点进行了大量的改进，例如：DeepLabV3、PSPNet使用金字塔池化与空洞卷积提取空间信息，BiseNet使用重新增加一个很短的网络，来进行空间特征提取，DenseaASPP使用Dense的连接结构，将特征空间损失降到最小，PAN在主干网络的尾部与中间，增加注意力模块以增加网络的空间特征提取力。但是如果过于注重空间信息，又无法得到非常精确的语义信息，造成两难的局面。对此本发明通过设计一个网络，同时进行语义信息提取和空间信息提取这两个复杂的任务，在仅增加少量网络参数的情况下，通过网络层复用，以及各层特征的截取与融合，实现同时提取出空间信息和语义信息特征，并且不会带来额外的损失。
作为具体实施例，请参考图2所示，所述特征编码模块包括顺序设置的第一卷积模块、第二卷积模块、第一至第四瓶颈通路和第一拼接操作模块，所述第一卷积模块包括顺序设置的卷积层(Conv)和批正则化(BN)，所述第二卷积模块包括顺序设置的卷积层(Conv)、批正则化(BN)和ReLu激活函数，所述第一至第四瓶颈通路并行设置，从所述第一瓶颈通路开始到第四瓶颈通路结束，每条瓶颈通路中的瓶颈层(Bottleneck)不断减少，而第二至第四瓶颈通路相比于第一瓶颈通路输出特征图的大小不断缩小，且每个瓶颈层最终输出的特征图通道数随着层数的增加而增加，所述第一拼接(concat)操作模块将四个瓶颈通路提取的语义信息特征和空间信息特征进行拼接。本实施例提供的特征编码模块设计，一改传统的卷积串联模式，使用并联的方式以同时提取语义信息特征与空间信息特征，设计网络时将瓶颈层(Bottleneck)设置为4条并行通路，由于每条通路上特征图的大小没有改变，所以空间信息特征得以保留，并且由于每条通道特征图尺度大小不同，所以实现了多尺度特征图的结合；每条通路特征图大小逐步减小，因而在每条通路的顶层实现了语义信息特征的提取。
作为优选实施例，请参考图2所示，所述卷积层的卷积核大小为3×3，步长为2，由此第一卷积模块和第二卷积模块能用以缩小输入图像的特征图，减少计算量。
作为优选实施例，请参考图2所示，所述第一至第四瓶颈通路中瓶颈层数分别为4、3、2、1，而第二至第四瓶颈通路相比于第一瓶颈通路输出的特征图大小分别为1/2、1/4、1/8，且第一至第四瓶颈通路中输出特征图的通道数分别为128、256、512和1024，由此可以更好地同时提取语义信息特征和空间信息特征。
作为具体实施例，请参考图3所示，每个瓶颈层包括顺序设置的三个卷积单元、相加单元(Add)和ReLu激活函数单元，每个卷积单元包括顺序设置的卷积核(ConV2D)、批正则化(BN，Batch Normalization)和ReLu激活函数，所述相加单元还与输入至第一个卷积单元的卷积核中的特征图跳跃连接，以此本发明为卷积层添加了跳跃连接与ReLu激活函数，这样可以通过网络的学习自主选择卷积神经网络的通路，从而更进一步提升精度。
具体地，针对语义信息特征，本发明为该任务重新重点设计了语义信息提取注意力模块(Semantic Information Extraction Attention Module，SIEAM)。作为具体实施例，请参考图1和图4所示，所述语义信息提取注意力模块包括第一通道注意力模块、第二通道注意力模块、全局池化模块、乘操作模块以及第二拼接操作模块，所述第一通道注意力模块和第二通道注意力模块并列设置，每个所述通道注意力模块包括顺序设置的用于捕捉输入特征图中上下文语义特征信息的全局平均池化，用于计算语义信息权重的卷积(ConV2D)，在卷积之后用于细化语义信息提取的批正则化(BN)和Sigmoid激活函数，以及用于将细化后的语义信息与输入特征图相乘的乘(Mul)操作，所述乘(Mul)操作模块用于将第二通道注意力模块输出的特征图与该特征图经全局池化模块处理后的输出特征图相乘，所述第二拼接(concat)操作模块用于将第一通道注意力模块输出的特征图与乘操作模块的输出特征图进行拼接，通过相乘以此作为权重影响输入特征图，从而达到细化语义信息的任务；其中，两个所述通道注意力模块的输入特征图通过对接特征编码模块提取的语义信息特征获得，具体请参考图2所示，图2中最左的瓶颈层(Bottleneck)与次左的上层瓶颈层(Bottleneck)中富含大量的语义信息特征，所以针对这两个Bottleneck，将语义信息提取注意力模块(SIEAM)中的两个通道注意力模块与这两个瓶颈层一一对应对接，具体将最左的瓶颈层与第二通道注意力模块连，而将次左的上层瓶颈层与第一通道注意力模块连，由此将这两个瓶颈层提取的语义信息特征分别一一作为两个通道注意力模块的输入特征图，之后经语义信息提取注意力模块细化后送至特征融合池化注意力模块整合，据此SIEAM在实现整合大量的全局上下文语义信息特征前提下，仅仅增加了一点计算成本。
具体地，关于特征融合池化注意力模块的设计背景如下：虽然特征编码模块可以充分提取到图像特征的空间信息，通过语义信息提取注意力模块也可以更加精细语义信息的提取，但是空间信息与语义信息并不匹配，需要一个模块去整合这两个信息而不是去粗暴的融合。因此本发明提出了特征融合池化注意力模块(Feature Fusion PoolingAttention Module，FFPAM)，将语义信息特征与空间信息特征通过该模块进行融合，并作为注意力信息施加在特征图上，由此可以保证上下文语义信息与空间信息充分融合，从而提升分割精度。
作为具体实施例，请参考图5所示，所述特征融合池化注意力模块包括第三卷积模块、平均池化通路、最大池化通路和双路池化乘操作模块，所述第三卷积模块(包括卷积ConV2D-BN-ReLU激活函数)用于对融合的语义信息特征和空间信息特征的混合信息特征进行提取并同时转换信息的通道，所述平均池化通路和最大池化通路并联设置分别用于对第三卷积模块提取的特征进行处理，所述双路池化乘操作模块用于对平均池化通路和最大池化通路处理后的两路特征相乘组成为注意力特征图。本发明通过并联的平均池化通路和最大池化通路共两路来融合空间信息特征与语义信息特征，由此可以增加模型的感受野，并增强模型的特征提取能力，而且两路特征相乘组成的注意力特征图，同时具有平均池化通路的特征和最大池化通路的特征，将该注意力特征与输入特征图相乘，叠加在输入特征上，作为权重以影响输入特征图，最后使用ResNet中跳跃连接的结构，可以减少注意力模块对于输入特征图的负影响并输出最终特征图。本实施例中的特征融合池化注意力模块，通过两条路线相乘成功将上下文语义信息与图像空间信息结合在一起，带来了较高的精度提升，为了验证平均池化与最大池化的效用，本发明实验测试了单路最大池化、单路平均池化、双路池化相加、双路池化合并与双路池化相乘这5种情况，实验证明双路池化相乘确实带来了最佳的精度，并通过设计该模块的有无，证明了该模块提升了2.71％的相似度(dice)精度。
作为优选实施例，请参考图5所示，所述平均池化通路使用两个串联的平均池化模块(包括平均池化AvgPool-卷积ConV2D-ReLU激活函数)对特征进行处理作为特征提取第一通路，第二平均池化模块中ReLU激活函数的输出与该通路的输入特征图相乘后，再将相乘组成的特征图与该通路的输入特征图相加作为该通路最终输出结果；所述最大池化通路使用两个串联的最大池化模块(包括最大池化MaxPool-卷积ConV2D-ReLU激活函数)对特征进行处理作为特征提取第二通路，第二最大池化模块中ReLU激活函数的输出与该通路的输入特征图相乘后，再将相乘组成的特征图与该通路的输入特征图相加作为该通路最终输出结果；最后将两个通路最终输出的特征与第三卷积模块提取的特征(即第三卷积模块中ReLU激活函数的输出)相乘，再将相乘的结果与第三卷积模块提取的特征相加(Add)后经ReLU激活函数组成为注意力特征图。
作为具体实施例，请参考图6所示，所述特征图解码模块包括顺序设置的第一上采样模块(Upsample)、第四卷积模块(包括卷积Conv-BN-ReLU激活函数)、第二上采样模块(Upsample)、第五卷积模块(包括卷积Conv-BN-ReLU激活函数)和第六卷积模块(包括卷积Conv-BN-ReLU激活函数)，所述第一上采样模块和第四卷积模块输出的特征图大小相同(例如为96，128)，所述第二上采样模块、第五卷积模块和第六卷积模块输出的特征图大小(例如为192，256)均与输入图像相同。本实施例通过使用三个卷积模块来对上采样信息进行精细化处理，由此达到一步一步细化分割结果，最终实现精度提升。
作为具体实施例，所述第一上采样模块和第二上采样模块的采样系数为2，具体可使用现有的双线性插值法进行采样，即采用双线性插值法2倍上采样来进行采样，并通过卷积模块对双线性插值法上采样带来的一定空间信息损失进行精细化处理，进而减小了采样带来的空间信息损失。
作为优选实施例，在设计本发明提供的CT图像(如胰腺图像)分割系统模型时，首先需要准备数据集并对数据集进行预处理，处理为模型所需要的输入，以提升模型的鲁棒性。具体地，数据预处理包括：对每个切片进行处理，将像素大于240的像素全部归为240，将像素小于-100的像素，全部归为-100，计算公式如下：
image Pixel[Pixel＜low_range]＝low_range
image Pixel[Pixel＞high_range]＝high_range
其中image Pixel为图像像素，low_range为-100，high_range为240。然后对各切片进行归一化，使其像素强度等比映射在(-1，1)之间。
数据集准备包括：采用公开数据集NIH pancreas segmentation dataset，并使用4折交叉验证，将数据集分为训练集、验证集和测试集三部分。其中训练集与验证集共62个样本，测试集总共20个样本。在训练时，使用Adam优化器，初始学习率设置为10-5，之后每10epochs(可理解为批次，等于使用训练集中的全部样本训练一次)学习率衰减0.2，实验中共重复训练100批次。结果表明，从头开始训练医学图像与微调自然图像预训练的模型相比，可以实现更好的性能且训练时间更短。
与现有技术相比，本发明提供的基于注意力卷积神经网络的CT图像分割系统优点如下：
第一、在特征编码模块中，本发明使用FCN相对于主干网络比较进行了实验，本发明由于使用了学习率衰减、初始化参数、正则化输入和防止过拟合等策略，从训练过程图7中可以看出重复100epochs的情况下，本发明提出的系统方案图像中物体分割具有较高的dice值；由于同时考虑到语义信息与空间信息，可以看到收敛速度非常快，同时loss值要比基线FCN要低，也体现在dice值要比FCN更高。
第二、本发明所使用的交叉并行网络在提取图像信息的过程中，比FCN学习到了更多的特征。如下表1所示，在参数量远远小于VGG16为基本架构的FCN的同时，本发明的网络不论在精准率还是召回率或是dice分数上，得分都远高于FCN，这证明了本发明所使用的特征编码模块的有效性。
表1
| 模型 | 平均dice％ | 最大dice％ | 最小dice％ | 精准率 | 召回率 | 参数量 |
| FCN | 69.02±6.3 | 76.14 | 49.48 | 0.7092 | 0.6754 | 134.3M |
| FEM | 78.93±5.6 | 86.54 | 65.15 | 0.8339 | 0.7543 | 16.15M |
第三、本发明在特征融合池化注意力模块中，如下表2所示，将特征融合池化注意力模块的通路设置为一条，将平均池化通路与最大池化通路两条通路相乘做实验，各方面指标都得到了较大的提升，所有指标均高于前项，两条通路结果相乘成功将上下文语义信息与图像空间信息结合在一起，带来了较高的精度。
表2
第四、如下表3所示，本发明所使用框架在参数量远远少于目前典型网络FCN与U-Net的情况下，dice值有着较大的提升。
表3
| 模型 | 基础网络 | Dice％ | 参数量 |
| FCN | VGG16 | 80.3 | 134.3M |
| U-Net | VGG16 | 79.7 | 23.3M |
| Bisenet | XceptionV1 | 82.8 | 44.8M |
| 本系统所使用框架 | FEM | 86.6 | 18.9M |
第五、如下表4所示，本发明将与目前典型的网络对比，以观察各模型对于胰腺CT数据集的适应性。在目前82个样本之中，大部分模型使用了62/20训练/测试集比，#Folds为交叉验证的折数可以看到，本发明系统模型高于目前的这些典型模型。
表4
第六、本发明对于各模块的融合实验与之前的实验一样，使用20个样本作为测试集，接着对这20个样本分别测试其精准率、召回率和dice值。如下表5所示，可以看到Base+Decoder+ARM+GAM，除了精准率略低于Base+Decoder+ARM以外，在召回率与dice值的体现上，都远远高于其他，这也验证了所有模块叠加的有效性。
表5
| 模型 | 平均dice％ | 最大dice％ | 最小dice％ | 精准率 | 召回率 | 参数量 |
| FCN(baseline) | 69.02±6.3 | 76.14 | 49.48 | 0.7092 | 0.6754 | 134.3M |
| FEM+FDM | 82.81±4.2 | 88.54 | 74.07 | 0.8477 | 0.8115 | 16.15M |
| FEM+FDM+SIEAM | 83.91±4.4 | 89.70 | 73.89 | 0.8726 | 0.8106 | 18,96M |
| FEM+FDM+SIEAM+FFPAM | 86.62±3.6 | 91.31 | 78.91 | 0.8607 | 0.8737 | 19.8M |
同时请参考图8所示，第1行为分割前的图像Image，第2行为标签GT，第3行为FCN所分割测试结果，第4行为U-Net所分割测试结果，第5行为FEM+FDM所分割测试结果，第6行为FEM+FDM+SIEAM+FFPAM也就是最终算法所分割测试结果。根据该图可以看出，由于FCN将分割小的特征图使用转置卷积直接上采样，该结果缺乏边缘平滑性，呈现出马赛克一样的分割结果。由于U-Net具有平缓的上采样，所以该算法很好的平滑了FCN生硬的边缘特征，但是U-Net在细节分割上，产生了很多的额外的小碎片，不如在第4行的第2张、第3张、第4张分割预测图上，都出现了细小的碎片。在第5行，本发明使用的FEM+FDM上，由于有效的保留了图像的空间信息与语义信息，有效的减少了U-Net在分割过程中产生的碎片，使整个画面变得干净；但是在细节分割中，存在一些欠缺。比如在第5行的第2张，胰腺的褶皱并没有有效的分割出来，在第5行的第3张，胰腺区域被过多分割。在此基础上本发明增加了两个注意力模块专注解决上面所存在的细节缺陷。在第6行，本发明使用的最终模型在有效解决分割目标周围区域碎片化的同时，对于细节区域也较FEM+FDM更加完善，整体也更加接近GT。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.基于注意力卷积神经网络的CT图像分割系统，其特征在于，包括特征编码模块、语义信息提取注意力模块、特征融合池化注意力模块和特征图解码模块；其中，所述特征编码模块使用并联卷积神经网络来逐步减小输入图像的特征图大小，通过网络层复用以及各层特征的截取与融合，实现同时提取出图像的语义信息特征和空间信息特征；所述语义信息提取注意力模块使用池化生成注意力特征，将所述特征编码模块提取的语义信息特征进一步精练细化；所述特征融合池化注意力模块使用最大池化与平均池化并联，将经过所述语义信息提取注意力模块精细化的语义信息特征与经过所述特征编码模块拼接的语义信息和空间信息特征进行融合组成为注意力特征图；所述特征图解码模块使用卷积模块与上采样模块，将所述特征融合池化注意力模块融合的注意力特征图逐步精细还原为输入图像大小；所述特征编码模块包括顺序设置的第一卷积模块、第二卷积模块、第一至第四瓶颈通路和第一拼接操作模块，所述第一卷积模块包括顺序设置的卷积层和批正则化，所述第二卷积模块包括顺序设置的卷积层、批正则化和ReLu激活函数，所述第一至第四瓶颈通路并行设置，从所述第一瓶颈通路开始到第四瓶颈通路结束，每条瓶颈通路中的瓶颈层不断减少，而第二至第四瓶颈通路相比于第一瓶颈通路输出特征图的大小不断缩小，且每个瓶颈层最终输出的特征图通道数随着层数的增加而增加，所述第一拼接操作模块将四个瓶颈通路提取的语义信息特征和空间信息特征进行拼接。
2.根据权利要求1所述的基于注意力卷积神经网络的CT图像分割系统，其特征在于，所述卷积层的卷积核大小为3×3，步长为2。
3.根据权利要求1所述的基于注意力卷积神经网络的CT图像分割系统，其特征在于，所述第一至第四瓶颈通路中瓶颈层数分别为4、3、2、1，而第二至第四瓶颈通路相比于第一瓶颈通路输出的特征图大小分别为1/2、1/4、1/8，且第一至第四瓶颈通路中输出特征图的通道数分别为128、256、512和1024。
4.根据权利要求1所述的基于注意力卷积神经网络的CT图像分割系统，其特征在于，每个瓶颈层包括顺序设置的三个卷积单元、相加单元和ReLu激活函数单元，每个卷积单元包括顺序设置的卷积核、批正则化和ReLu激活函数，所述相加单元还与输入至第一个卷积单元的卷积核中的特征图跳跃连接。
5.根据权利要求1所述的基于注意力卷积神经网络的CT图像分割系统，其特征在于，所述语义信息提取注意力模块包括第一通道注意力模块、第二通道注意力模块、全局池化模块、乘操作模块以及第二拼接操作模块，所述第一通道注意力模块和第二通道注意力模块并列设置，每个所述通道注意力模块包括顺序设置的用于捕捉输入特征图中上下文语义特征信息的全局平均池化，用于计算语义信息权重的卷积，用于细化语义信息提取的批正则化和Sigmoid激活函数，以及用于将细化后的语义信息与输入特征图相乘的乘操作，所述乘操作模块用于将第二通道注意力模块输出的特征图与该特征图经全局池化模块处理后的输出特征图相乘，所述第二拼接操作模块用于将第一通道注意力模块输出的特征图与乘操作模块的输出特征图进行拼接，两个所述通道注意力模块的输入特征图通过对接特征编码模块提取的语义信息特征获得。
6.根据权利要求1所述的基于注意力卷积神经网络的CT图像分割系统，其特征在于，所述特征融合池化注意力模块包括第三卷积模块、平均池化通路、最大池化通路和双路池化乘操作模块，所述第三卷积模块用于对融合的语义信息特征和空间信息特征的混合信息特征进行提取并同时转换信息的通道，所述平均池化通路和最大池化通路并联设置分别用于对第三卷积模块提取的特征进行处理，所述双路池化乘操作模块用于对平均池化通路和最大池化通路处理后的两路特征相乘组成为注意力特征图。
7.根据权利要求6所述的基于注意力卷积神经网络的CT图像分割系统，其特征在于，所述平均池化通路使用两个串联的平均池化模块对特征进行处理作为特征提取第一通路，所述最大池化通路使用两个串联的最大池化模块对特征进行处理作为特征提取第二通路。
8.根据权利要求1所述的基于注意力卷积神经网络的CT图像分割系统，其特征在于，所述特征图解码模块包括顺序设置的第一上采样模块、第四卷积模块、第二上采样模块、第五卷积模块和第六卷积模块，所述第一上采样模块和第四卷积模块输出的特征图大小相同，所述第二上采样模块、第五卷积模块和第六卷积模块输出的特征图大小均与输入图像相同。
9.根据权利要求8所述的基于注意力卷积神经网络的CT图像分割系统，其特征在于，所述第一上采样模块和第二上采样模块的采样系数为2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010190946.4A CN111325751B (zh) | 2020-03-18 | 2020-03-18 | 基于注意力卷积神经网络的ct图像分割系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010190946.4A CN111325751B (zh) | 2020-03-18 | 2020-03-18 | 基于注意力卷积神经网络的ct图像分割系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325751A CN111325751A (zh) | 2020-06-23 |
| CN111325751B true CN111325751B (zh) | 2022-05-27 |
Family
ID=71171544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010190946.4A Expired - Fee Related CN111325751B (zh) | 2020-03-18 | 2020-03-18 | 基于注意力卷积神经网络的ct图像分割系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325751B (zh) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798428B (zh) * | 2020-07-03 | 2023-05-30 | 南京信息工程大学 | 一种皮肤病理图像多种组织自动分割方法 |
| CN112149661B (zh) * | 2020-08-07 | 2024-06-21 | 珠海欧比特宇航科技股份有限公司 | 车牌识别方法、装置及介质 |
| CN111914947B (zh) * | 2020-08-20 | 2024-04-16 | 华侨大学 | 基于特征融合图像实例分割方法、装置、设备及存储介质 |
| CN112084911B (zh) * | 2020-08-28 | 2023-03-07 | 安徽清新互联信息科技有限公司 | 一种基于全局注意力的人脸特征点定位方法及系统 |
| CN112085760B (zh) * | 2020-09-04 | 2024-04-26 | 厦门大学 | 一种腹腔镜手术视频的前景分割方法 |
| CN112085741B (zh) * | 2020-09-04 | 2024-03-26 | 厦门大学 | 一种基于深度学习的胃癌病理切片分割算法 |
| CN112446891B (zh) * | 2020-10-23 | 2024-04-02 | 浙江工业大学 | 基于U-Net网络脑胶质瘤的医学图像分割方法 |
| CN112287940B (zh) * | 2020-10-30 | 2024-07-02 | 深圳市守卫者智能科技有限公司 | 一种基于深度学习的注意力机制的语义分割的方法 |
| CN112365480B (zh) * | 2020-11-13 | 2021-07-16 | 哈尔滨市科佳通用机电股份有限公司 | 制动夹钳装置闸片丢失故障识别方法 |
| CN112509052B (zh) * | 2020-12-22 | 2024-04-23 | 苏州超云生命智能产业研究院有限公司 | 黄斑中心凹的检测方法、装置、计算机设备和存储介质 |
| CN112598650A (zh) * | 2020-12-24 | 2021-04-02 | 苏州大学 | 眼底医学影像中视杯视盘的联合分割方法 |
| CN112580654A (zh) * | 2020-12-25 | 2021-03-30 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 遥感图像地物语义分割方法 |
| CN112767502B (zh) * | 2021-01-08 | 2023-04-07 | 广东中科天机医疗装备有限公司 | 基于医学影像模型的影像处理方法及装置 |
| CN112767247A (zh) * | 2021-01-13 | 2021-05-07 | 京东方科技集团股份有限公司 | 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质 |
| CN112784856A (zh) * | 2021-01-29 | 2021-05-11 | 长沙理工大学 | 胸部x射线图像的通道注意力特征提取方法和识别方法 |
| CN112927255B (zh) * | 2021-02-22 | 2022-06-21 | 武汉科技大学 | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 |
| CN113298083A (zh) * | 2021-02-25 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及装置 |
| CN113065412A (zh) * | 2021-03-12 | 2021-07-02 | 武汉大学 | 基于改进的Deeplabv3+的航拍图像电磁介质语义识别方法及装置 |
| CN113158802A (zh) * | 2021-03-22 | 2021-07-23 | 安徽理工大学 | 智慧场景分割技术 |
| CN113112465B (zh) * | 2021-03-31 | 2022-10-18 | 上海深至信息科技有限公司 | 一种颈动脉内中膜分割模型的生成系统及方法 |
| CN113129321A (zh) * | 2021-04-20 | 2021-07-16 | 重庆邮电大学 | 一种基于全卷积神经网络的涡轮叶片ct图像分割方法 |
| CN113033572B (zh) * | 2021-04-23 | 2024-04-05 | 上海海事大学 | 一种基于usv的障碍物分割网络及其生成方法 |
| CN113298825B (zh) * | 2021-06-09 | 2023-11-14 | 东北大学 | 一种基于MSF-Net网络的图像分割方法 |
| CN113744279B (zh) * | 2021-06-09 | 2023-11-14 | 东北大学 | 一种基于FAF-Net网络的图像分割方法 |
| CN113298174B (zh) * | 2021-06-10 | 2022-04-29 | 东南大学 | 一种基于渐进特征融合的语义分割模型的改进方法 |
| CN113436094B (zh) * | 2021-06-24 | 2022-05-31 | 湖南大学 | 一种基于多视角注意力机制的灰度图像自动上色方法 |
| CN113378791B (zh) * | 2021-07-09 | 2022-08-05 | 合肥工业大学 | 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法 |
| CN113689434B (zh) * | 2021-07-14 | 2022-05-27 | 淮阴工学院 | 一种基于条带池化的图像语义分割方法 |
| CN113361537B (zh) * | 2021-07-23 | 2022-05-10 | 人民网股份有限公司 | 基于通道注意力的图像语义分割方法及装置 |
| CN113689326B (zh) * | 2021-08-06 | 2023-08-04 | 西南科技大学 | 一种基于二维图像分割引导的三维定位方法 |
| CN113610164B (zh) * | 2021-08-10 | 2023-12-22 | 北京邮电大学 | 一种基于注意力平衡的细粒度图像识别方法及其系统 |
| JP2024538578A (ja) * | 2021-10-14 | 2024-10-23 | エコー イメージング，インク． | 畳み込みニューラルネットワークに基づく画像処理方法およびシステム |
| CN114049315B (zh) * | 2021-10-29 | 2023-04-18 | 北京长木谷医疗科技有限公司 | 关节识别方法、电子设备、存储介质及计算机程序产品 |
| CN114038037B (zh) * | 2021-11-09 | 2024-02-13 | 合肥工业大学 | 基于可分离残差注意力网络的表情标签修正和识别方法 |
| CN113989507B (zh) * | 2021-11-23 | 2024-07-12 | 江苏科技大学 | 一种水下图像语义分割模型及分割方法 |
| CN114519807B (zh) * | 2022-01-17 | 2024-09-17 | 天津大学 | 一种联合通道空间注意力的全局自注意力目标检测方法 |
| CN114638256B (zh) * | 2022-02-22 | 2024-05-31 | 合肥华威自动化有限公司 | 基于声波信号及注意力网络的变压器故障检测方法及其系统 |
| CN114565766B (zh) * | 2022-03-01 | 2024-06-18 | 智道网联科技(北京)有限公司 | 基于BiSeNet V2的路面图像语义分割方法及装置 |
| CN115035019B (zh) * | 2022-03-24 | 2024-08-02 | 什维新智医疗科技(上海)有限公司 | 一种基于卷积神经网络的颈部淋巴结分析装置 |
| CN114821340A (zh) * | 2022-06-01 | 2022-07-29 | 河南大学 | 一种土地利用分类方法及系统 |
| CN116229065B (zh) * | 2023-02-14 | 2023-12-01 | 湖南大学 | 一种基于多分支融合的机器人手术器械分割方法 |
| CN116630626B (zh) * | 2023-06-05 | 2024-04-26 | 吉林农业科技学院 | 连通双注意力多尺度融合语义分割网络 |
| CN118397066B (zh) * | 2024-06-21 | 2024-10-22 | 天津御锦人工智能医疗科技有限公司 | 基于超声内镜的病变浸润深度评估系统、方法和存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9965705B2 (en) * | 2015-11-03 | 2018-05-08 | Baidu Usa Llc | Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering |
| US10565305B2 (en) * | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
| CN107506774A (zh) * | 2017-10-09 | 2017-12-22 | 深圳市唯特视科技有限公司 | 一种基于局部注意掩模的分段感知神经网络方法 |
| US10878570B2 (en) * | 2018-07-17 | 2020-12-29 | International Business Machines Corporation | Knockout autoencoder for detecting anomalies in biomedical images |
| US10922816B2 (en) * | 2018-08-27 | 2021-02-16 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| CN110490813B (zh) * | 2019-07-05 | 2021-12-17 | 特斯联（北京）科技有限公司 | 卷积神经网络的特征图增强方法、装置、设备及介质 |
| CN110211127B (zh) * | 2019-08-01 | 2019-11-26 | 成都考拉悠然科技有限公司 | 基于双相关性网络的图像分割方法 |
| CN110490891A (zh) * | 2019-08-23 | 2019-11-22 | 杭州依图医疗技术有限公司 | 分割图像中关注对象的方法、设备和计算机可读存储介质 |
| CN110532955B (zh) * | 2019-08-30 | 2022-03-08 | 中国科学院宁波材料技术与工程研究所 | 基于特征注意力和子上采样的实例分割方法和装置 |
-
2020
- 2020-03-18 CN CN202010190946.4A patent/CN111325751B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325751A (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割系统 | |
| CN109241982B (zh) | 基于深浅层卷积神经网络的目标检测方法 | |
| CN113642390B (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
| CN110223304B (zh) | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 | |
| CN111340814A (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN114943963A (zh) | 一种基于双分支融合网络的遥感图像云和云影分割方法 | |
| CN113076957A (zh) | 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN114119975A (zh) | 一种语言引导的跨模态实例分割方法 | |
| CN113870286B (zh) | 一种基于多级特征和掩码融合的前景分割方法 | |
| CN110866938B (zh) | 一种全自动视频运动目标分割方法 | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| CN113240683A (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
| CN116129289A (zh) | 一种注意力边缘交互的光学遥感图像显著性目标检测方法 | |
| CN114219824A (zh) | 基于深度网络的可见光-红外目标跟踪方法及系统 | |
| CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN117152438A (zh) | 一种基于改进DeepLabV3+网络的轻量级街景图像语义分割方法 | |
| CN110599495B (zh) | 一种基于语义信息挖掘的图像分割方法 | |
| Zhang et al. | CSNet: a ConvNeXt-based Siamese network for RGB-D salient object detection | |
| CN115330703A (zh) | 基于上下文信息融合的遥感影像云与云阴影检测方法 | |
| CN115995002B (zh) | 一种网络构建方法及城市场景实时语义分割方法 | |
| CN118134779A (zh) | 一种基于多尺度重构Transformer与多维注意力的红外和可见光图像融合方法 | |
| CN114022719B (zh) | 一种多特征融合的显著性检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220527 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |