CN116563265B - 基于多尺度注意力和自适应特征融合的心脏mri分割方法 - Google Patents
基于多尺度注意力和自适应特征融合的心脏mri分割方法 Download PDFInfo
- Publication number
- CN116563265B CN116563265B CN202310582599.3A CN202310582599A CN116563265B CN 116563265 B CN116563265 B CN 116563265B CN 202310582599 A CN202310582599 A CN 202310582599A CN 116563265 B CN116563265 B CN 116563265B
- Authority
- CN
- China
- Prior art keywords
- layer
- feature map
- module
- convolution
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 85
- 230000011218 segmentation Effects 0.000 title claims abstract description 55
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000002595 magnetic resonance imaging Methods 0.000 title claims 2
- 230000003044 adaptive effect Effects 0.000 claims abstract description 36
- 238000011176 pooling Methods 0.000 claims description 166
- 230000004913 activation Effects 0.000 claims description 36
- 238000005070 sampling Methods 0.000 claims description 36
- 238000010586 diagram Methods 0.000 claims description 34
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 6
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 102100031786 Adiponectin Human genes 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 101000775469 Homo sapiens Adiponectin Proteins 0.000 claims description 3
- 238000002759 z-score normalization Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims 4
- 238000013507 mapping Methods 0.000 claims 4
- 238000012952 Resampling Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 claims 1
- 230000010339 dilation Effects 0.000 abstract description 25
- 239000000284 extract Substances 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000035945 sensitivity Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 56
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Image Processing (AREA)
Abstract
一种基于多尺度注意力和自适应特征融合的心脏MRI分割方法,有效提取多尺度上下文信息并通过注意力机制来融合不同尺度的特征,加强对目标区域的敏感度。通过不同膨胀率的膨胀卷积在不降低分辨率的情况下获取不同尺寸的感受野,提取多尺度目标特征。对包含丰富的空间信息的浅层特征和包含丰富的语义信息的深层特征进行融合,可以抑制无关背景的干扰,保留更重要的语义上下文信息进行更精确的定位。
Description
技术领域
本发明涉及图像分割技术领域,具体涉及一种基于多尺度注意力和自适应特征融合的心脏MRI分割方法。
背景技术
心脏核磁共振成像技术存在短轴切片数量少,切片厚度过厚等特点,导致图像的短轴分辨率过低、信息量稀疏等问题。同时还存在心脏子结构之间,子结构和周围组织之间对比度差,子结构形状大小多变等问题。所以,如何自动对心脏核磁共振图像进行精确的分割已经成为了一个重要的医学图像问题。
目前,心脏MRI分割的方法主要包括基于传统方法和基于深度学习的方法。传统方法具有很好的鲁棒性,也推动了该领域的进步,但是效率低下,逐渐不适用于医院的临床诊断工作。相对于传统方法,深度学习的方法在提高效率的同时也提高了准确性,所以被广泛应用。这类方法可以自动学习图像的特征信息,从而更加快速的分割心脏的各个子结构。虽然心脏MRI分割技术一直在不断进步,也取得了一定进展,但成像过程中由于不均匀的磁场强度以及心脏跳动的噪声产生伪影,造成边界模糊的问题仍然存在。因此,如何快速准确的分割心脏MRI仍然是医学图像处理中具有挑战性的问题。
发明内容
本发明为了克服以上技术的不足,提供了一种提高心脏MRI分割精度的方法。本发明克服其技术问题所采用的技术方案是:
一种基于多尺度注意力和自适应特征融合的心脏MRI分割方法,包括如下步骤:
a)选择N个有专家标注结果的心脏MRI数据;
b)对第i个有专家标注结果的心脏MRI数据进行预处理,得到第i个预处理后的图像Ai,i∈{1,...,N},得到预处理后的心脏MRI数据集A,A={A1,A2,...,Ai,...,AN};
c)将预处理后的心脏MRI数据集A划分为训练集、验证集、测试集,将训练集中的各个预处理后的图像沿Z轴切片,得到M个切片图像,第i个切片图像为Fi,i∈{1,...,M},Fi∈RC×H×W,其中R为实数空间,C为图像的通道数,H为图像的高度,W为图像的宽度,将测试集中的各个预处理后的图像沿Z轴切片,得到O个切片图像,第j个切片图像为Fj,j∈{1,...,O},Fj∈RC×H×W;
d)建立分割网络模型,分割网络模型由编码器、多尺度注意力模块MSA、解码器构成;
e)将训练集中第i个切片图像Fi输入到分割网络模型的编码器中,输出得到特征图特征图/>特征图/>特征图/>
f)将特征图特征图/>特征图/>特征图/>输入到分割网络模型的多尺度注意力模块MSA中,输出得到特征图/>
g)将特征图输入到分割网络模型的解码器中,输出得到预测分割图像/>
h)通过公式Ltotal=LDice+λLCE计算得到总损失Ltotal,式中LDice为Dice损失,LCE为交叉熵损失,λ为权重,利用总损失Ltotal通过Adam优化器训练分割网络模型,得到优化后的分割网络模型;
i)将测试集中第j个切片图像Fj输入到优化后的分割网络模型中,得到预测分割图像
优选的,步骤a)中从ACDC公开数据集中选择有专家标注结果的心脏MRI数据。进一步的,步骤b)包括如下步骤:
b-1)对第i个有专家标注结果的心脏MRI数据沿Z轴切片,将切割的若干切片进行体素为(1.5,1.5)的重采样操作,将重采样后的切片进行中心剪裁,剪裁后的切片的大小为192*192,将剪裁后的各个切片堆叠重新恢复为心脏MRI数据;
b-2)对重新恢复的心脏MRI数据进行Z-Score标准化处理,得到第i个预处理后的图像Ai。
优选的,将预处理后的心脏MRI数据集A按照7:1:2的比例划分为训练集、验证集、测试集。
进一步的,步骤e)包括如下步骤:
e-1)分割网络模型的编码器由第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块构成;
e-2)编码器的第一下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将训练集中第i个切片图像Fi输入到第一下采样模块的DC块中,输出得到特征图将特征图/>输入到第一下采样模块的最大池化层中,输出得到特征图/>e-3)编码器的第二下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将特征图/>输入到第二下采样模块的DC块中,输出得到特征图/>将特征图/>输入到第二下采样模块的最大池化层中,输出得到特征图/>
e-4)编码器的第三下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将特征图输入到第三下采样模块的DC块中,输出得到特征图/>将特征图/>输入到第三下采样模块的最大池化层中,输出得到特征图/>
e-5)编码器的第四下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将特征图输入到第四下采样模块的DC块中,输出得到特征图/>将特征图/>输入到第四下采样模块的最大池化层中,输出得到特征图/>
优选的,步骤e-2)中第一下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2;步骤e-3)中第二下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2;步骤e-4)中第三下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2;步骤e-5)中第四下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2。
进一步的,步骤f)包括如下步骤:
f-1)分割网络模型的多尺度注意力模块MSA由金字塔注意力融合模块PAF、多尺度残差块MSR构成;
f-2)多尺度注意力模块MSA的金字塔注意力融合模块PAF由第一最大池化层、第一卷积层、第二最大池化层、第二卷积层、第一Sigmoid层、第三最大池化层、第三卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第二Sigmoid层、第三Sigmoid层、第四卷积层构成,将特征图依次输入到金字塔注意力融合模块PAF的第一最大池化层、第一卷积层中,输出得到特征图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第二最大池化层、第二卷积层、第一Sigmoid层中,输出得到注意力图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第三最大池化层、第三卷积层中,输出得到特征图/>将注意力图/>与特征图/>相乘到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第一膨胀卷积层中,输出得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第二膨胀卷积层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图输入到金字塔注意力融合模块PAF的第三膨胀卷积层中,输出得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第二Sigmoid层中,输出得到注意力图/>将特征图/>输入到金字塔注意力融合模块PAF的第三Sigmoid层中,输出得到注意力图将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图相乘得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图将特征图/>输入到金字塔注意力融合模块PAF的第四卷积层中,输出得到特征图f-3)多尺度注意力模块MSA的多尺度残差块MSR由卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、SE模块构成,将特征图/>输入到多尺度残差块MSR的卷积层中,输出得到特征图/>将特征图/>依次输入到多尺度残差块MSR的第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层中,输出得到特征图/>将特征图/>输入到多尺度残差块MSR的SE模块中,输出得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图/>步骤f-2)中金字塔注意力融合模块PAF的第一最大池化层的卷积核大小为8×8,第二最大池化层的卷积核大小为4×4,第三最大池化层的卷积核大小为2×2,金字塔注意力融合模块PAF的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3、步长均为1、填充均为1,金字塔注意力融合模块PAF的第四卷积层的卷积核大小为1×1、步长为1、填充为0,金字塔注意力融合模块PAF的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1、第二膨胀卷积层的卷积核大小为3×3、膨胀率为2,第三膨胀卷积层的卷积核大小为3×3、膨胀率为4;步骤f-3)中多尺度残差块MSR的卷积层的卷积核大小为3×3、步长为1、填充为1,多尺度残差块MSR的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1,第二膨胀卷积层的卷积核大小为3×3、膨胀率为2,第三膨胀卷积层的卷积核大小为3×3、膨胀率为4。
进一步的,步骤g)包括如下步骤:
g-1)分割网络模型的解码器由第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块、卷积层构成;
g-2)解码器的第一上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图输入到第一上采样模块的上采样层中,输出得到特征图/>第一上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第一上采样模块的卷积块中,输出得到特征图/>g-3)解码器的第二上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图/>输入到第二上采样模块的上采样层中,输出得到特征图/>第二上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图/>将特征图输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第二上采样模块的卷积块中,输出得到特征图g-4)解码器的第三上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图/>输入到第三上采样模块的上采样层中,输出得到特征图/>第三上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第三上采样模块的卷积块中,输出得到特征图/>g-5)解码器的第四上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图/>输入到第四上采样模块的上采样层中,输出得到特征图/>第四上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第四上采样模块的卷积块中,输出得到特征图/>
g-6)将特征图输入到解码器的卷积层中,输出得到预测分割图像/>
优选的,步骤g-2)中第一上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;步骤g-3)中第二上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;g-4)中第三上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;g-5)中第四上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;步骤e-6)中解码器的卷积层的卷积核大小为1×1、步长为1、填充为0。
本发明的有益效果是:能够有效提取多尺度上下文信息并通过注意力机制来融合不同尺度的特征,加强对目标区域的敏感度。通过不同膨胀率的膨胀卷积在不降低分辨率的情况下获取不同尺寸的感受野,提取多尺度目标特征。对包含丰富的空间信息的浅层特征和包含丰富的语义信息的深层特征进行融合,可以抑制无关背景的干扰,保留更重要的语义上下文信息进行更精确的定位
附图说明
图1为本发明的分割网络模型的结构图;
图2为本发明的多尺度注意力模块MSA的结构图;
图3为本发明的自适应特征融合模块AF的结构图。
具体实施方式
下面结合附图1、附图2、附图3对本发明做进一步说明。
一种基于多尺度注意力和自适应特征融合的心脏MRI分割方法,包括如下步骤:
a)选择N个有专家标注结果的心脏MRI数据,用于心脏分割。
b)对第i个有专家标注结果的心脏MRI数据进行预处理,得到第i个预处理后的图像Ai,i∈{1,...,N},得到预处理后的心脏MRI数据集A,A={A1,A2,...,Ai,...,AN}。
c)将预处理后的心脏MRI数据集A划分为训练集、验证集、测试集,将训练集中的各个预处理后的图像沿Z轴切片,得到M个切片图像,第i个切片图像为Fi,i∈{1,...,M},Fi∈RC×H×W,其中R为实数空间,C为图像的通道数,H为图像的高度,W为图像的宽度,将测试集中的各个预处理后的图像沿Z轴切片,得到O个切片图像,第j个切片图像为Fj,j∈{1,...,O},Fj∈RC×H×W。
d)建立分割网络模型,分割网络模型由编码器、多尺度注意力模块MSA、解码器构成。
e)将训练集中第i个切片图像Fi输入到分割网络模型的编码器中,输出得到特征图特征图/>特征图/>特征图/>
f)将特征图特征图/>特征图/>特征图/>输入到分割网络模型的多尺度注意力模块MSA中,输出得到特征图/>
g)将特征图输入到分割网络模型的解码器中,输出得到预测分割图像/>
h)通过公式Ltotal=LDice+λLCE计算得到总损失Ltotal,式中LDice为Dice损失,LCE为交叉熵损失,λ为权重,利用总损失Ltotal通过Adam优化器训练分割网络模型,得到优化后的分割网络模型。进一步优选的,训练分割网络模型时,学习率设置为0.0001,批次大小为32,迭代次数epoch设置为200。
i)将测试集中第j个切片图像Fj输入到优化后的分割网络模型中,得到预测分割图像
通过不同膨胀率的膨胀卷积在不降低分辨率的情况下获取不同尺寸的感受野,提取多尺度目标特征。对包含丰富的空间信息的浅层特征和包含丰富的语义信息的深层特征进行融合,可以抑制无关背景的干扰,保留更重要的语义上下文信息进行更精确的定位。
实施例1:
步骤a)中从ACDC公开数据集中选择有专家标注结果的心脏MRI数据。
实施例2:
步骤b)包括如下步骤:
b-1)对第i个有专家标注结果的心脏MRI数据沿Z轴切片,将切割的若干切片进行体素为(1.5,1.5)的重采样操作,将重采样后的切片进行中心剪裁,剪裁后的切片的大小为192*192,将剪裁后的各个切片堆叠重新恢复为心脏MRI数据。b-2)对重新恢复的心脏MRI数据进行Z-Score标准化处理,得到第i个预处理后的图像Ai。
实施例3:
将预处理后的心脏MRI数据集A按照7:1:2的比例划分为训练集、验证集、测试集。
实施例4:
步骤e)包括如下步骤:
e-1)分割网络模型的编码器由第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块构成。
e-2)编码器的第一下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将训练集中第i个切片图像Fi输入到第一下采样模块的DC块中,输出得到特征图将特征图/>输入到第一下采样模块的最大池化层中,输出得到特征图/>e-3)编码器的第二下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将特征图/>输入到第二下采样模块的DC块中,输出得到特征图/>将特征图/>输入到第二下采样模块的最大池化层中,输出得到特征图/>
e-4)编码器的第三下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将特征图输入到第三下采样模块的DC块中,输出得到特征图/>将特征图/>输入到第三下采样模块的最大池化层中,输出得到特征图/>
e-5)编码器的第四下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将特征图输入到第四下采样模块的DC块中,输出得到特征图/>将特征图/>输入到第四下采样模块的最大池化层中,输出得到特征图/>
在该实施例中,优选的,步骤e-2)中第一下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2;步骤e-3)中第二下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2;步骤e-4)中第三下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2;步骤e-5)中第四下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2。
实施例5:
步骤f)包括如下步骤:
f-1)分割网络模型的多尺度注意力模块MSA由金字塔注意力融合模块PAF、多尺度残差块MSR构成。
f-2)多尺度注意力模块MSA的金字塔注意力融合模块PAF由第一最大池化层、第一卷积层、第二最大池化层、第二卷积层、第一Sigmoid层、第三最大池化层、第三卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第二Sigmoid层、第三Sigmoid层、第四卷积层构成,将特征图依次输入到金字塔注意力融合模块PAF的第一最大池化层、第一卷积层中,输出得到特征图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第二最大池化层、第二卷积层、第一Sigmoid层中,输出得到注意力图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第三最大池化层、第三卷积层中,输出得到特征图/>将注意力图/>与特征图/>相乘到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第一膨胀卷积层中,输出得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第二膨胀卷积层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图输入到金字塔注意力融合模块PAF的第三膨胀卷积层中,输出得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第二Sigmoid层中,输出得到注意力图/>将特征图/>输入到金字塔注意力融合模块PAF的第三Sigmoid层中,输出得到注意力图将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图相乘得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图将特征图/>输入到金字塔注意力融合模块PAF的第四卷积层中,输出得到特征图f-3)多尺度注意力模块MSA的多尺度残差块MSR由卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、SE模块构成,将特征图/>输入到多尺度残差块MSR的卷积层中,输出得到特征图/>将特征图/>依次输入到多尺度残差块MSR的第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层中,输出得到特征图/>将特征图/>输入到多尺度残差块MSR的SE模块中,输出得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图/>在该实施例中,优选的,步骤f-2)中金字塔注意力融合模块PAF的第一最大池化层的卷积核大小为8×8,第二最大池化层的卷积核大小为4×4,第三最大池化层的卷积核大小为2×2,金字塔注意力融合模块PAF的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3、步长均为1、填充均为1,金字塔注意力融合模块PAF的第四卷积层的卷积核大小为1×1、步长为1、填充为0,金字塔注意力融合模块PAF的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1、第二膨胀卷积层的卷积核大小为3×3、膨胀率为2,第三膨胀卷积层的卷积核大小为3×3、膨胀率为4;步骤f-3)中多尺度残差块MSR的卷积层的卷积核大小为3×3、步长为1、填充为1,多尺度残差块MSR的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1,第二膨胀卷积层的卷积核大小为3×3、膨胀率为2,第三膨胀卷积层的卷积核大小为3×3、膨胀率为4。
实施例6:
步骤g)包括如下步骤:
g-1)分割网络模型的解码器由第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块、卷积层构成。
g-2)解码器的第一上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图输入到第一上采样模块的上采样层中,输出得到特征图/>第一上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第一上采样模块的卷积块中,输出得到特征图/>g-3)解码器的第二上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图/>输入到第二上采样模块的上采样层中,输出得到特征图/>第二上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图相乘得到特征图/>将特征图/>输入到第二上采样模块的卷积块中,输出得到特征图/>g-4)解码器的第三上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图/>输入到第三上采样模块的上采样层中,输出得到特征图/>第三上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第三上采样模块的卷积块中,输出得到特征图/>g-5)解码器的第四上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图/>输入到第四上采样模块的上采样层中,输出得到特征图/>第四上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第四上采样模块的卷积块中,输出得到特征图/>g-6)将特征图/>输入到解码器的卷积层中,输出得到预测分割图像在该实施例中,优选的,步骤g-2)中第一上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;步骤g-3)中第二上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;g-4)中第三上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;g-5)中第四上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;步骤e-6)中解码器的卷积层的卷积核大小为1×1、步长为1、填充为0。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于多尺度注意力和自适应特征融合的心脏MRI分割方法,其特征在于,包括如下步骤:
a)选择N个有专家标注结果的心脏MRI数据;
b)对第i个有专家标注结果的心脏MRI数据进行预处理,得到第i个预处理后的图像Ai,i∈{1,...,N},得到预处理后的心脏MRI数据集A,A={A1,A2,...,Ai,...,AN};
c)将预处理后的心脏MRI数据集A划分为训练集、验证集、测试集,将训练集中的各个预处理后的图像沿Z轴切片,得到M个切片图像,第i个切片图像为Fi,i∈{1,...,M},Fi∈RC ×H×W,其中R为实数空间,C为图像的通道数,H为图像的高度,W为图像的宽度,将测试集中的各个预处理后的图像沿Z轴切片,得到O个切片图像,第j个切片图像为Fj,j∈{1,...,O},Fj∈RC×H×W;
d)建立分割网络模型,分割网络模型由编码器、多尺度注意力模块MSA、解码器构成;
e)将训练集中第i个切片图像Fi输入到分割网络模型的编码器中,输出得到特征图特征图/>特征图/>特征图/>
f)将特征图特征图/>特征图/>特征图/>输入到分割网络模型的多尺度注意力模块MSA中,输出得到特征图/>
g)将特征图输入到分割网络模型的解码器中,输出得到预测分割图像/>
h)通过公式Ltotal=LDice+λLCE计算得到总损失Ltotal,式中LDice为Dice损失,LCE为交叉熵损失,λ为权重,利用总损失Ltotal通过Adam优化器训练分割网络模型,得到优化后的分割网络模型;
i)将测试集中第j个切片图像Fj输入到优化后的分割网络模型中,得到预测分割图像
步骤e)包括如下步骤:
e-1)分割网络模型的编码器由第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块构成;
e-2)编码器的第一下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将训练集中第i个切片图像Fi输入到第一下采样模块的DC块中,输出得到特征图将特征图/>输入到第一下采样模块的最大池化层中,输出得到特征图/>
e-3)编码器的第二下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将特征图输入到第二下采样模块的DC块中,输出得到特征图/>将特征图/>输入到第二下采样模块的最大池化层中,输出得到特征图/>
e-4)编码器的第三下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将特征图输入到第三下采样模块的DC块中,输出得到特征图/>将特征图/>输入到第三下采样模块的最大池化层中,输出得到特征图/>
e-5)编码器的第四下采样模块由DC块、最大池化层构成,DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成,将特征图输入到第四下采样模块的DC块中,输出得到特征图/>将特征图/>输入到第四下采样模块的最大池化层中,输出得到特征图/>
步骤f)包括如下步骤:
f-1)分割网络模型的多尺度注意力模块MSA由金字塔注意力融合模块PAF、多尺度残差块MSR构成;
f-2)多尺度注意力模块MSA的金字塔注意力融合模块PAF由第一最大池化层、第一卷积层、第二最大池化层、第二卷积层、第一Sigmoid层、第三最大池化层、第三卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第二Sigmoid层、第三Sigmoid层、第四卷积层构成,将特征图依次输入到金字塔注意力融合模块PAF的第一最大池化层、第一卷积层中,输出得到特征图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第二最大池化层、第二卷积层、第一Sigmoid层中,输出得到注意力图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第三最大池化层、第三卷积层中,输出得到特征图/>将注意力图/>与特征图/>相乘到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第一膨胀卷积层中,输出得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第二膨胀卷积层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第三膨胀卷积层中,输出得到特征图/>将特征图输入到金字塔注意力融合模块PAF的第二Sigmoid层中,输出得到注意力图/>将特征图/>输入到金字塔注意力融合模块PAF的第三Sigmoid层中,输出得到注意力图将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图相乘得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图将特征图/>输入到金字塔注意力融合模块PAF的第四卷积层中,输出得到特征图
f-3)多尺度注意力模块MSA的多尺度残差块MSR由卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、SE模块构成,将特征图输入到多尺度残差块MSR的卷积层中,输出得到特征图/>将特征图/>依次输入到多尺度残差块MSR的第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层中,输出得到特征图/>将特征图/>输入到多尺度残差块MSR的SE模块中,输出得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图/>步骤g)包括如下步骤:
g-1)分割网络模型的解码器由第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块、卷积层构成;
g-2)解码器的第一上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图输入到第一上采样模块的上采样层中,输出得到特征图/>第一上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第一上采样模块的卷积块中,输出得到特征图/>
g-3)解码器的第二上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图输入到第二上采样模块的上采样层中,输出得到特征图/>第二上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第二上采样模块的卷积块中,输出得到特征图/>g-4)解码器的第三上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图/>输入到第三上采样模块的上采样层中,输出得到特征图/>第三上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第三上采样模块的卷积块中,输出得到特征图/>g-5)解码器的第四上采样模块由上采样层、自适应特征融合模块AF、卷积块构成,将特征图/>输入到第四上采样模块的上采样层中,输出得到特征图/>第四上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成,通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成,空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成,卷积块依次由卷积层、BN层、Relu激活函数层构成,将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中,输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中,输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中,输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中,输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中,输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中,输出得到注意力图将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第四上采样模块的卷积块中,输出得到特征图/>g-6)将特征图/>输入到解码器的卷积层中,输出得到预测分割图像/>
2.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法,其特征在于:步骤a)中从ACDC公开数据集中选择有专家标注结果的心脏MRI数据。
3.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法,其特征在于,步骤b)包括如下步骤:
b-1)对第i个有专家标注结果的心脏MRI数据沿Z轴切片,将切割的若干切片进行体素为(1.5,1.5)的重采样操作,将重采样后的切片进行中心剪裁,剪裁后的切片的大小为192*192,将剪裁后的各个切片堆叠重新恢复为心脏MRI数据;b-2)对重新恢复的心脏MRI数据进行Z-Score标准化处理,得到第i个预处理后的图像Ai。
4.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法,其特征在于:将预处理后的心脏MRI数据集A按照7:1:2的比例划分为训练集、验证集、测试集。
5.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法,其特征在于:步骤e-2)中第一下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2;步骤e-3)中第二下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2;步骤e-4)中第三下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2;步骤e-5)中第四下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1,最大池化层的卷积核大小为2×2。
6.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法,其特征在于:步骤f-2)中金字塔注意力融合模块PAF的第一最大池化层的卷积核大小为8×8,第二最大池化层的卷积核大小为4×4,第三最大池化层的卷积核大小为2×2,金字塔注意力融合模块PAF的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3、步长均为1、填充均为1,金字塔注意力融合模块PAF的第四卷积层的卷积核大小为1×1、步长为1、填充为0,金字塔注意力融合模块PAF的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1、第二膨胀卷积层的卷积核大小为3×3、膨胀率为2,第三膨胀卷积层的卷积核大小为3×3、膨胀率为4;步骤f-3)中多尺度残差块MSR的卷积层的卷积核大小为3×3、步长为1、填充为1,多尺度残差块MSR的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1,第二膨胀卷积层的卷积核大小为3×3、膨胀率为2,第三膨胀卷积层的卷积核大小为3×3、膨胀率为4。
7.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法,其特征在于:步骤g-2)中第一上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;步骤g-3)中第二上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;g-4)中第三上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;g-5)中第四上采样模块的上采样层的卷积核大小为2×2、步长为2,空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3,卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1;步骤e-6)中解码器的卷积层的卷积核大小为1×1、步长为1、填充为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310582599.3A CN116563265B (zh) | 2023-05-23 | 2023-05-23 | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310582599.3A CN116563265B (zh) | 2023-05-23 | 2023-05-23 | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116563265A CN116563265A (zh) | 2023-08-08 |
CN116563265B true CN116563265B (zh) | 2024-03-01 |
Family
ID=87489643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310582599.3A Active CN116563265B (zh) | 2023-05-23 | 2023-05-23 | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116563265B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117078941B (zh) * | 2023-09-22 | 2024-03-01 | 齐鲁工业大学(山东省科学院) | 一种基于上下文级联注意力的心脏mri分割方法 |
CN117409014B (zh) * | 2023-10-09 | 2024-05-28 | 齐鲁工业大学(山东省科学院) | 一种基于特征选择的轻量级心脏mri分割方法 |
CN117522881B (zh) * | 2023-11-06 | 2024-06-18 | 山东省人工智能研究院 | 基于注意力机制和多层级特征融合的心脏图像分割方法 |
CN117649523B (zh) * | 2023-11-28 | 2024-07-09 | 齐鲁工业大学(山东省科学院) | 一种基于LUnetr模型的可变心脏MRI分割方法 |
CN117593274B (zh) * | 2023-11-30 | 2024-06-04 | 齐鲁工业大学(山东省科学院) | 一种基于共享通道注意力机制的心脏mri分割方法 |
CN117635942B (zh) * | 2023-12-05 | 2024-05-07 | 齐鲁工业大学(山东省科学院) | 一种基于边缘特征增强的心脏mri图像分割方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114359297A (zh) * | 2022-01-04 | 2022-04-15 | 浙江大学 | 基于注意力金字塔的多分辨率语义分割方法及装置 |
CN114519719A (zh) * | 2022-01-07 | 2022-05-20 | 宁波大学 | 一种脑肿瘤mr图像分割方法 |
CN114581662A (zh) * | 2022-02-17 | 2022-06-03 | 华南理工大学 | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 |
CN115170582A (zh) * | 2022-06-13 | 2022-10-11 | 武汉科技大学 | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 |
CN115641340A (zh) * | 2022-09-07 | 2023-01-24 | 闽江学院 | 基于多尺度注意力门控网络的视网膜血管图像分割方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11580646B2 (en) * | 2021-03-26 | 2023-02-14 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on U-Net |
-
2023
- 2023-05-23 CN CN202310582599.3A patent/CN116563265B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114359297A (zh) * | 2022-01-04 | 2022-04-15 | 浙江大学 | 基于注意力金字塔的多分辨率语义分割方法及装置 |
CN114519719A (zh) * | 2022-01-07 | 2022-05-20 | 宁波大学 | 一种脑肿瘤mr图像分割方法 |
CN114581662A (zh) * | 2022-02-17 | 2022-06-03 | 华南理工大学 | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 |
CN115170582A (zh) * | 2022-06-13 | 2022-10-11 | 武汉科技大学 | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 |
CN115641340A (zh) * | 2022-09-07 | 2023-01-24 | 闽江学院 | 基于多尺度注意力门控网络的视网膜血管图像分割方法 |
Non-Patent Citations (1)
Title |
---|
改进的卷积神经网络在肺部图像上的分割应用;钱宝鑫;肖志勇;宋威;;计算机科学与探索(第08期);102-111 * |
Also Published As
Publication number | Publication date |
---|---|
CN116563265A (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116563265B (zh) | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 | |
CN111627019B (zh) | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 | |
CN110705555B (zh) | 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质 | |
CN116739985A (zh) | 一种基于Transformer和卷积神经网络的肺部CT图像分割方法 | |
WO2023221954A1 (zh) | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 | |
CN108603922A (zh) | 自动心脏体积分割 | |
CN116612131B (zh) | 一种基于ADC-UNet模型的心脏MRI结构分割方法 | |
CN114119516B (zh) | 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法 | |
CN115131280A (zh) | 一种融合注意力机制的改进YOLO v4肺结节检测方法 | |
CN116681894A (zh) | 一种结合大核卷积的相邻层特征融合Unet多器官分割方法、系统、设备及介质 | |
CN115063435A (zh) | 基于多尺度类间的肿瘤及周围器官的分割方法 | |
CN114549538A (zh) | 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法 | |
CN116071300A (zh) | 一种基于上下文特征融合的细胞核分割方法及相关设备 | |
CN117649385A (zh) | 一种基于全局和局部注意力机制的肺部ct图像分割方法 | |
CN117132616A (zh) | 一种医学图像器官分割方法、系统及病灶分类系统 | |
CN117611601A (zh) | 基于文字辅助的半监督3d医学图像分割方法 | |
CN112927203A (zh) | 基于多序列mri全局信息的胶质瘤患者术后生存期预测方法 | |
CN116468732A (zh) | 基于深度学习的肺部ct影像分割方法及成像方法 | |
CN116486156A (zh) | 融合多尺度特征上下文的全视野数字切片图像分类方法 | |
CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
CN117876370B (zh) | 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统 | |
CN113269774A (zh) | 一种mri图像的帕金森病分类及标注病灶区域的方法 | |
CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
CN117372484A (zh) | 一种基于深度自注意力网络的脑部核磁共振图像配准方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |