CN113538209A - 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 - Google Patents
一种多模态医学影像配准方法、配准系统、计算设备和存储介质 Download PDFInfo
- Publication number
- CN113538209A CN113538209A CN202010306670.1A CN202010306670A CN113538209A CN 113538209 A CN113538209 A CN 113538209A CN 202010306670 A CN202010306670 A CN 202010306670A CN 113538209 A CN113538209 A CN 113538209A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- registered
- neural network
- body region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 64
- 210000000746 body region Anatomy 0.000 claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 description 13
- 230000006872 improvement Effects 0.000 description 6
- 238000002600 positron emission tomography Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多模态医学影像配准方法、配准系统、计算设备和存储介质,包括:训练用于分割CT影像中全身人体区域的卷积神经网络模型;将待分割CT影像输入卷积神经网络模型中,得到CT影像的人体区域范围;将待分割CT影像与人体区域范围进行区域差分计算,得到只含有人体区域的CT影像;对只含有人体区域的CT影像进行处理,得到待配准CT影像;其中,待配准CT影像与待分割CT影像的尺寸与物理间距一致;对T1MRI影像进行插值处理,得到与待配准CT影像相同尺寸的待配准T1MRI影像;以待配准CT影像为参考影像,将待配准T1MRI影像向待配准CT影像进行配准变换,完成多模态医学影像配准。
Description
技术领域
本发明涉及影像配准技术领域,具体涉及一种多模态医学影像配准方法、配准系统、计算设备和存储介质。
背景技术
现代医疗诊断离不开各种医学影像的支持,医学多模态成像一般包含CT、磁共振成像(简称MRI)和PET等成像模式,它们成像各有特点,CT对于人体密度高的组织成像清晰,如骨骼、肝脏、肺和肾等组织,成像优势明显。MRI对软组织成像分辨率高,可进行多参数/任意方位成像,对组织器官即可以进行结构成像也可以进行功能性成像。PET正电子发射断层摄影(PET)是新发展起来的核医学检查方法。
为得到全面丰富的病人信息,需要将多种模态的医学影像信息融合,而医学影像配准是医学影像融合的基础和关键技术。通过多模态医学影像配准技术,可有效缓解不同成像模态在分辨率、组织位移、形变等造成的空间位置不匹配问题,进而可以让采自不同医疗设备下的CT、MRI、PET等成像结果在空间上叠加显示,从而可以在相同的空间位置上观察某个特定器官的多种成像结果,带给医生更丰富诊断信息。
目前医学影像配准技术主要分为两种,一种是以刚性配准、弹性配准为主的传统方法,另一种是以深度学习神经网络为代表的无监督配准方法。神经网络配准方法在算法上存在数据适应性较差、鲁棒性不高的问题,还未被广泛应用。在目前主流的传统医学影像配准方法中,因为不同模态的医学影像在成像过程中存在不同的影像噪音,如何降低影像噪音是提高最终配准效果的关键。但,在放疗依赖的CT影像中,CT影像在对人体成像的同时通常都含有扫描机器的床板成像,而MRI、PET影像则没有明显的床板。因此,如果对CT影像和其它模态的医学影像直接进行配准,CT影像中的床板部分会对配准的效果产生较大的干扰,直接影响配准结果。
发明内容
针对现有技术中存在的上述问题,本发明提供一种多模态医学影像配准方法、配准系统、计算设备和存储介质,其利用深度学习神经网络的前处理方法来去除床板等干扰,然后再配合配准算法实现医学影像配准。
本发明公开了一种多模态医学影像配准方法,包括:
训练用于分割CT影像中全身人体区域的卷积神经网络模型;
将待分割CT影像输入所述卷积神经网络模型中,得到CT影像的人体区域范围;
将所述待分割CT影像与所述人体区域范围进行区域差分计算,得到只含有人体区域的CT影像;
对只含有人体区域的CT影像进行处理,得到待配准CT影像;其中,所述待配准CT影像与所述待分割CT影像的尺寸与物理间距一致;
对T1 MRI影像进行插值处理,得到与所述待配准CT影像相同尺寸的待配准T1 MRI影像;
以所述待配准CT影像为参考影像,将所述待配准T1 MRI影像向所述待配准CT影像进行配准变换,完成多模态医学影像配准。
作为本发明的进一步改进,所述卷积神经网络模型的训练方法,包括:
采集预设数量且包含完整人体的CT影像,在所有CT影像上勾画出全身人体区域,作为网络训练标签;
对所述CT影像和网络训练标签进行插值和裁剪,得到同一物理间距和尺寸的CT影像和网络训练标签;
对插值和裁剪后的CT影像和网络训练标签进行数据增强,得到多组训练数据集;
建立任意有效的语义分割卷积神经网络模型;
将多组训练数据集输入到语义分割卷积神经网络模型中进行训练,直到模型稳定收敛,停止训练,得到用于分割CT影像中全身人体区域的卷积神经网络模型。
作为本发明的进一步改进,所述待分割CT影像在输入所述卷积神经网络模型进行分割前,需:
进行插值和裁剪,得到与训练样本同一物理间距和尺寸的CT影像。
作为本发明的进一步改进,所述语义分割卷积神经网络模型选用BiSeNet神经网络。
本发明的第二目的在于提供一种多模态医学影像配准系统,包括:
训练模块,用于训练用于分割CT影像中全身人体区域的卷积神经网络模型;
分割模块,用于将待分割CT影像输入所述卷积神经网络模型中,得到CT影像的人体区域范围;
差分模块,用于将所述待分割CT影像与所述人体区域范围进行区域差分计算,得到只含有人体区域的CT影像;
处理模块,用于对只含有人体区域的CT影像进行处理,得到待配准CT影像;其中,所述待配准CT影像与所述待分割CT影像的尺寸与物理间距一致;
插值模块,用于对T1 MRI影像进行插值处理,得到与所述待配准CT影像相同尺寸的待配准T1 MRI影像;
配准模块,用于以所述待配准CT影像为参考影像,将所述待配准T1 MRI影像向所述待配准CT影像进行配准变换,完成多模态医学影像配准。
作为本发明的进一步改进,在所述训练模块中,所述卷积神经网络模型的训练方法,包括:
采集预设数量且包含完整人体的CT影像,在所有CT影像上勾画出全身人体区域,作为网络训练标签;
对所述CT影像和网络训练标签进行插值和裁剪,得到同一物理间距和尺寸的CT影像和网络训练标签;
对插值和裁剪后的CT影像和网络训练标签进行数据增强,得到多组训练数据集;
建立任意有效的语义分割卷积神经网络模型;
将多组训练数据集输入到语义分割卷积神经网络模型中进行训练,直到模型稳定收敛,停止训练,得到用于分割CT影像中全身人体区域的卷积神经网络模型。
作为本发明的进一步改进,所述待分割CT影像在输入所述卷积神经网络模型进行分割前,需:
进行插值和裁剪,得到与训练样本同一物理间距和尺寸的CT影像。
作为本发明的进一步改进,所述语义分割卷积神经网络模型选用BiSeNet神经网络。
本发明的第三目的在于提供一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现上述多模态医学影像配准方法的步骤。
本发明的第四目的在于提供一种存储介质,其存储有计算机指令,所述计算机指令指令被处理器执行时实现上述多模态医学影像配准方法的步骤。
与现有技术相比,本发明的有益效果为:
1.本发明通过采用深度学习语义分割神经网络的方法,对CT影像数据去除床板等与目标配准区域无关的背景噪音,提高了多模态配准的精度和鲁棒性;
2.本发明根据身体区域的语义分割网络的分割结果,辅以形态学图像处理方法,高效地去除了身体以外信息;相比其他去床板方法,本发明的方法更准确、效率更高;
3.由于CT影像中的人体区域比床板区域范围更广、数据更大,训练所得分割模型更稳定;因此本发明采用基于深度学习语义分割神经网络来分割身体区域的方法,比直接使用语义分割神经网络来分割床板的方法,更易于实施,也更稳定有效。
附图说明
图1为本发明一种实施例公开的多模态医学影像配准方法的流程图;
图2为本发明一种实施例公开的训练卷积神经网络模型的流程图;
图3为本发明一种实施例公开的CT影像身体标签的勾画示意图;
图4为本发明一种实施例公开的BiSeNet语义分割神经网络架构示意图;
图5a为本发明一种实施例公开的CT原始影像示意图;
图5b为本发明一种实施例公开的去除床板的CT影像示意图;
图6为本发明一种实施例公开的多模态配准结果示意图;
图7为本发明一种实施例公开的多模态医学影像配准系统的框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述:
如图1所示,本发明提供一种多模态医学影像配准方法,包括:
步骤1、训练用于分割CT影像中全身人体区域的卷积神经网络模型;其中,
如图2所示,卷积神经网络模型的具体训练方法,包括:
步骤11、采集预设数量且包含完整人体的CT影像,在所有CT影像上勾画出全身人体区域,作为网络训练标签;
优选地,CT影像的数量不少于30例,数量越大效果越稳定;
优选地,在CT影像上勾画人体区域的方法可用完全手工的方式完成,勾画的CT影像示意图如图3所示。
步骤12、对CT影像和网络训练标签进行插值和裁剪,得到同一物理间距和尺寸的CT影像和网络训练标签;其中,
插值处理的目的是使CT影像和网络训练标签具有统一的物理间距,插值方法包括最邻近插值法、双线性插值法或PV插值法等算法,本发明优选采用线性插值方法;
裁剪处理为:根据人体区域的大小设定一个最大尺寸,并将所有CT影像及人体区域标签裁剪成这个固定尺寸,以尽量去除影像中人体区域以外的背景图像。
步骤13、对插值和裁剪后的CT影像和网络训练标签进行数据增强,得到多组训练数据集;其中,
数据增强的目的为增强卷积神经网络模型的泛化能力,数据增强包含对影像的平移、旋转和改变图像亮度等图像处理。
步骤14、建立任意有效的语义分割卷积神经网络模型;其中,
本发明的语义分割卷积神经网络模型选用兼顾图像细节和上下文语境信息的BiSeNet神经网络,BiSeNet神经网络示意图如图4所示,其中ARM为注意力优化模块,FFM为特征融合模块;在整个网络构建过程中,Spacial Path采用了Resnet101结构,是高分辨率卷积网络,全局路径Context Path的输出特征主要编码了语境信息。
步骤15、将多组训练数据集输入到语义分割卷积神经网络模型中进行训练,直到模型稳定收敛,停止训练,得到用于分割CT影像中全身人体区域的卷积神经网络模型;并保存网络模型及网络参数,用于后续CT影像中的人体区域预测。
步骤2、对待分割CT影像进行预处理,预处理方法为步骤12的插值和裁剪处理,从而得到与训练样本同一物理间距和尺寸的CT影像;将预处理后的待分割CT影像输入卷积神经网络模型中,得到CT影像的人体区域范围;其中,
将步骤1中保存的网络模型结构和权重加载到网络执行环境中,即可对步骤2中准备好的待配准CT影像进行预测,从而得到对应的CT影像的身体区域范围。
步骤3、将预处理后的待分割CT影像与人体区域范围进行区域差分计算,得到去除床板等噪音区域的只含有人体区域的CT影像;其中,
区域差分计算包括:
将步骤2中得到的CT影像在步骤3得到的人体区域范围内的CT影像的HU值保留,身体区域外的CT影像的HU值置0,从而达到去除人体之外的包括床板在内的噪音区域的目的。
步骤4、对只含有人体区域的CT影像进行处理,得到待配准CT影像;其中,待配准CT影像与待分割CT影像的尺寸与物理间距一致;
具体处理方法为:
通过填充背景的方式,将所得到的去除床板后的CT影像恢复为裁剪前的尺寸,再通过反向插值的方式恢复成步骤2中待配准的原始CT影像物理间距;其中,
与步骤2中相反的填充操作是指并通过填充背景的方式把所得到的去除床板后的CT影像恢复为裁剪前的尺寸;其中跟步骤2中相反的反向插值操作是指通过插值操作把去床板且已进行背景填充后的CT影像恢复成步骤(2)中待配准的原始CT影像物理间距;床板去除前的CT影像如图5a所示,去除床板后的图像如图5b所示。
步骤5、对T1 MRI影像按照待配准CT影像的尺寸进行插值处理,得到与待配准CT影像相同尺寸、相同分辨率的待配准T1 MRI影像。
步骤6、以待配准CT影像为参考影像、待配准T1 MRI影像为浮动影像,将待配准T1MRI影像向待配准CT影像进行跨模态配准变换,完成多模态医学影像配准;其中,
配准变换包括刚体变换配准、仿射变换配准、B-spline变换配准等经典算法。优选地采用仿射变换配准。最后配准的结果如图6所示,其中fix图像为参考图像,mov图像为浮动图像,reg图像为配准后图像。
如图7所示,本发明提供一种多模态医学影像配准系统,包括:
训练模块,用于实现多模态医学影像配准方法的步骤1;
分割模块,用于实现多模态医学影像配准方法的步骤2;
差分模块,用于实现多模态医学影像配准方法的步骤3;
处理模块,用于实现多模态医学影像配准方法的步骤4;
插值模块,用于实现多模态医学影像配准方法的步骤5;
配准模块,用于实现多模态医学影像配准方法的步骤6。
本发明提供一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,处理器执行指令时实现上述多模态医学影像配准方法的步骤;其中,
该计算设备的技术方案与上述勾画方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述勾画方法的技术方案的描述。
计算设备可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备;计算设备还可以是移动式或静止式的服务器。
计算机指令包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明提供一种存储介质,其存储有计算机指令,计算机指令指令被处理器执行时实现上述多模态医学影像配准方法的步骤;其中,
该存储介质的技术方案与上述勾画方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述勾画方法的技术方案的描述。
存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
在上述配准方法和配准系统中:
1.本发明中的多模态配准不局限于CT和T1 MRI影像,在适合的场景,可拓展为CT影像与用正电子CT(PET)、单光子CT(SPECT)之间任意两个影像模态之间的配准;
2.本发明中使用的语义分割神经网络模型可以根据目标配准部位,扩展为分割人体更小的具体部位(如头颈部、胸腔部、腹腔部、盆腔部等)的区域范围,成为能够提升相应目标配准操作结果的有效预处理手段。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本发明优选实施例只是用于帮助阐述本发明。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (10)
1.一种多模态医学影像配准方法,其特征在于,包括:
训练用于分割CT影像中全身人体区域的卷积神经网络模型;
将待分割CT影像输入所述卷积神经网络模型中,得到CT影像的人体区域范围;
将所述待分割CT影像与所述人体区域范围进行区域差分计算,得到只含有人体区域的CT影像;
对只含有人体区域的CT影像进行处理,得到待配准CT影像;其中,所述待配准CT影像与所述待分割CT影像的尺寸与物理间距一致;
对T1 MRI影像进行插值处理,得到与所述待配准CT影像相同尺寸的待配准T1 MRI影像;
以所述待配准CT影像为参考影像,将所述待配准T1 MRI影像向所述待配准CT影像进行配准变换,完成多模态医学影像配准。
2.如权利要求1所述的多模态医学影像配准方法,其特征在于,所述卷积神经网络模型的训练方法,包括:
采集预设数量且包含完整人体的CT影像,在所有CT影像上勾画出全身人体区域,作为网络训练标签;
对所述CT影像和网络训练标签进行插值和裁剪,得到同一物理间距和尺寸的CT影像和网络训练标签;
对插值和裁剪后的CT影像和网络训练标签进行数据增强,得到多组训练数据集;
建立任意有效的语义分割卷积神经网络模型;
将多组训练数据集输入到语义分割卷积神经网络模型中进行训练,直到模型稳定收敛,停止训练,得到用于分割CT影像中全身人体区域的卷积神经网络模型。
3.如权利要求2所述的多模态医学影像配准方法,其特征在于,所述待分割CT影像在输入所述卷积神经网络模型进行分割前,需:
进行插值和裁剪,得到与训练样本同一物理间距和尺寸的CT影像。
4.如权利要求2所述的多模态医学影像配准方法,其特征在于,所述语义分割卷积神经网络模型选用BiSeNet神经网络。
5.一种多模态医学影像配准系统,其特征在于,包括:
训练模块,用于训练用于分割CT影像中全身人体区域的卷积神经网络模型;
分割模块,用于将待分割CT影像输入所述卷积神经网络模型中,得到CT影像的人体区域范围;
差分模块,用于将所述待分割CT影像与所述人体区域范围进行区域差分计算,得到只含有人体区域的CT影像;
处理模块,用于对只含有人体区域的CT影像进行处理,得到待配准CT影像;其中,所述待配准CT影像与所述待分割CT影像的尺寸与物理间距一致;
插值模块,用于对T1 MRI影像进行插值处理,得到与所述待配准CT影像相同尺寸的待配准T1 MRI影像;
配准模块,用于以所述待配准CT影像为参考影像,将所述待配准T1 MRI影像向所述待配准CT影像进行配准变换,完成多模态医学影像配准。
6.如权利要求5所述的多模态医学影像配准系统,其特征在于,在所述训练模块中,所述卷积神经网络模型的训练方法,包括:
采集预设数量且包含完整人体的CT影像,在所有CT影像上勾画出全身人体区域,作为网络训练标签;
对所述CT影像和网络训练标签进行插值和裁剪,得到同一物理间距和尺寸的CT影像和网络训练标签;
对插值和裁剪后的CT影像和网络训练标签进行数据增强,得到多组训练数据集;
建立任意有效的语义分割卷积神经网络模型;
将多组训练数据集输入到语义分割卷积神经网络模型中进行训练,直到模型稳定收敛,停止训练,得到用于分割CT影像中全身人体区域的卷积神经网络模型。
7.如权利要求6所述的多模态医学影像配准系统,其特征在于,所述待分割CT影像在输入所述卷积神经网络模型进行分割前,需:
进行插值和裁剪,得到与训练样本同一物理间距和尺寸的CT影像。
8.如权利要求6所述的多模态医学影像配准系统,其特征在于,所述语义分割卷积神经网络模型选用BiSeNet神经网络。
9.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现权利要求1-4中任一项所述的多模态医学影像配准方法的步骤。
10.一种存储介质,其存储有计算机指令,其特征在于,所述计算机指令指令被处理器执行时实现权利要求1-4中任一项所述的多模态医学影像配准方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010306670.1A CN113538209A (zh) | 2020-04-17 | 2020-04-17 | 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010306670.1A CN113538209A (zh) | 2020-04-17 | 2020-04-17 | 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113538209A true CN113538209A (zh) | 2021-10-22 |
Family
ID=78093513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010306670.1A Pending CN113538209A (zh) | 2020-04-17 | 2020-04-17 | 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113538209A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116071372A (zh) * | 2022-12-30 | 2023-05-05 | 北京长木谷医疗科技有限公司 | 膝关节分割方法、装置、电子设备及存储介质 |
CN116402865A (zh) * | 2023-06-06 | 2023-07-07 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
CN117953022A (zh) * | 2024-03-27 | 2024-04-30 | 杭州邦杰星医疗科技有限公司 | 基于cuda卷积算法的医学影像配准处理系统及方法 |
-
2020
- 2020-04-17 CN CN202010306670.1A patent/CN113538209A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116071372A (zh) * | 2022-12-30 | 2023-05-05 | 北京长木谷医疗科技有限公司 | 膝关节分割方法、装置、电子设备及存储介质 |
CN116071372B (zh) * | 2022-12-30 | 2024-03-19 | 北京长木谷医疗科技股份有限公司 | 膝关节分割方法、装置、电子设备及存储介质 |
CN116402865A (zh) * | 2023-06-06 | 2023-07-07 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
CN116402865B (zh) * | 2023-06-06 | 2023-09-15 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
CN117953022A (zh) * | 2024-03-27 | 2024-04-30 | 杭州邦杰星医疗科技有限公司 | 基于cuda卷积算法的医学影像配准处理系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jin et al. | 3D PBV-Net: an automated prostate MRI data segmentation method | |
CN111260705B (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
Emami et al. | SA-GAN: Structure-aware GAN for organ-preserving synthetic CT generation | |
CN113538209A (zh) | 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 | |
CN113112559A (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
López-Linares Román et al. | Medical image segmentation using deep learning | |
CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
Kuang et al. | Towards simultaneous segmentation of liver tumors and intrahepatic vessels via cross-attention mechanism | |
Wang et al. | Accurate lung nodule segmentation with detailed representation transfer and soft mask supervision | |
CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
CN113538495A (zh) | 一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质 | |
Pal et al. | A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation | |
CN114169467A (zh) | 图像标注方法、电子设备及存储介质 | |
CN116309647B (zh) | 颅脑病灶图像分割模型构建方法、图像分割方法及设备 | |
Sharma et al. | Importance of deep learning models to perform segmentation on medical imaging modalities | |
Cui et al. | 3D Point-based Multi-Modal Context Clusters GAN for Low-Dose PET Image Denoising | |
WO2022163513A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
CN115761134A (zh) | 孪生模型的生成方法、系统、核磁共振装置和介质 | |
JP2023027751A (ja) | 医用画像処理装置及び医用画像処理方法 | |
Pal et al. | Panoptic Segmentation and Labelling of Lumbar Spine Vertebrae using Modified Attention Unet | |
CN113689353A (zh) | 三维图像的增强方法、图像增强模型的训练方法及装置 | |
Shihabudeen et al. | Autoencoder Network based CT and MRI Medical Image Fusion | |
Wu et al. | Clinical tooth segmentation based on local enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |