CN109192305B - 一种基于深度循环神经网络的心功能自动分析方法 - Google Patents
一种基于深度循环神经网络的心功能自动分析方法 Download PDFInfo
- Publication number
- CN109192305B CN109192305B CN201811063328.2A CN201811063328A CN109192305B CN 109192305 B CN109192305 B CN 109192305B CN 201811063328 A CN201811063328 A CN 201811063328A CN 109192305 B CN109192305 B CN 109192305B
- Authority
- CN
- China
- Prior art keywords
- neural network
- parameters
- recurrent neural
- heart
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Data Mining & Analysis (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Epidemiology (AREA)
- Fuzzy Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- High Energy & Nuclear Physics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度循环神经网络的心功能自动分析方法,属于医学图像分析技术领域。该方法包括以下步骤:S1:获取心脏核磁电影,并对其进行预处理;S2:构建多任务学习的循环神经网络模型,提取底层通用影像特征;S3:将提取到的底层通用影像特征输入到两层的长短记忆循环神经网络中,构建时空的依赖关系;S4:构建目标损失函数;S5:根据步骤S4中构建的损失函数对循环神经网络的参数,利用随机梯度下降法进行训练优化;S6:当循环神经网络模型完成训练后,将经过预处理后的心脏核磁电影输入到训练好的循环神经网络中,测量出心功能分析中的十三个参数。本发明无需人工勾画心室结构,自动完成端到端的心功能分析。
Description
技术领域
本发明属于医学图像分析技术领域,涉及一种端到端的自动心功能评估的方法与系统
背景技术
精确分析患者的心功能状态,并尽早的、准确的诊断出心脏疾病,对提高该病治疗效果,降低医疗成本有着重大意义。在众多影像学手段中,心脏磁共振(Cardiac MagneticResonance,CMR)的软组织对比度最高,其通过多参数、多平面、多序列成像可同时对心脏的解剖结构、运动功能和组织特征学改变等进行“一站式”观察,从而成为心功能评价的金标准。虽然CMR检查在心脏疾病诊断、危险分层及预后判断上有独特价值,但也存在以下不足:1)CMR序列多、融合难,数据处理非常耗时;2)临床高水平的影像诊断医师缺口大。这两个因素严重制约了其临床应用。近年来,影像检查积累的海量数据为智慧医疗提供了可能。借用现代人工智能新技术,将专业医疗知识、技能、经验利用算法进行学习,可精准智能的评价心脏形态结构、功能、组织特征学改变。
发明内容
有鉴于此,本发明的目的在于提供一种基于深度循环神经网络的心功能自动分析方法,将深度卷积神经网络与循环神经网络相结合,无需人工分割左心室心肌内外膜等解剖结构,直接完成心室期相、心室容积、心肌面积、心室内外膜轴向尺寸等13个参数的估测,实现端到端的心功能分析。
为达到上述目的,本发明提供如下技术方案:
一种基于深度循环神经网络的心功能自动分析方法,具体包括以下步骤:
S1:获取心脏核磁电影,并对其进行预处理;
S2:根据心功能分析的指标要求构建多任务学习的循环神经网络模型,并利用所述循环神经网络模型提取底层通用影像特征;
S3:将提取到的底层通用影像特征输入到两层的长短记忆循环神经网络中,从而构建时空的依赖关系,并更好的利用心脏运动信息;
S4:根据参数之间的依赖关系,构建目标损失函数;
S5:根据步骤S4中构建的损失函数对循环神经网络的参数,利用随机梯度下降法进行训练优化;
S6:当循环神经网络模型完成训练后,将经过预处理后的心脏核磁电影输入到训练好的循环神经网络中,最终完成心功能分析中所需要的十三个参数的自动测量。
进一步,步骤S1中,所述的心脏核磁电影的预处理过程为:
1)系统将采集到的影像里心室与心房的交点进行定位;
2)根据心室与心房交点的位置,将图像进行旋转对齐,使得心脏交点的连线相对于图像坐标系垂直于水平轴;
3)当心脏位置相对于图像坐标系对齐后,系统将旋转对准后的心脏区域进行裁剪,缩放成80*80的图像大小。
进一步,步骤S2中,所述的循环神经网络模型利用迁移学习的方法,将ImageNet上已经训练好的VGG深度模型的前三层转移到本网络结构中,作为共享神经网络的前三层,提取底层通用影像特征。
进一步,步骤S3中,所述将提取到的底层通用影像特征输入到两层的长短记忆循环神经网络中,具体步骤为:
1)通过迁移VGG网络后的卷积神经网络第一层,其中含有64个11*11大小的卷积核;
2)模型提取的第一层特征输入到第二层的神经网络中,其中含有256个5*5的卷积核;
3)将提取的第二层影像特征输入到第三层,其中含有235个3*3大小的卷积核;
4)提取的第三层卷积特征进行空间维数变换,变为一维特征;
5)将拉伸为一维的特征输入到循环神经网络。
进一步,步骤S4中,所述的目标损失函数分为两部分,具体为:
1)分类问题:心脏运动期相的判断;
2)回归问题:心脏运动参数的预测。
进一步,所述心脏运动期相判断的损失函数为:
进一步,所述心脏运动参数的损失函数为:
其中,心肌壁厚的6个参数及心肌面积1个参数具有强相关性,记为tmyo,而心腔内径的3个参数和心腔面积的1个参数具有强相关性,记为tcav;与分别代表tmyo和tcav的预测值,λ1与λ2为调和参数,L(.)是用于计算误差的最小二乘法。
进一步,所述目标损失函数表示为:
Lall=h1Lphase+h2Lmotion
其中,h1与h2是用于平衡损失的调和参数。
进一步,所述步骤S5中,在训练优化多任务学习的循环神经网络的参数时,每一幅影像将用13个特征参数加以描述,并将一个电影序列(含20帧影像)的特征参数输入到循环神经网络中。
进一步,步骤S5中,所述的随机梯度下降法主要对循环神经网络的参数进行训练优化,前三层迁移的VGG的模型参数保持不变。
本发明的有益效果在于:本发明提出了一种多任务学习的深度循环卷积神经网络,无需人工勾画心室结构,自动完成端到端的心功能分析,对提高临床诊断时效性,降低主观因素导致的误诊率,实现不同病人的精准智能诊疗有重大意义。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为心功能分析系统的流程图;
图2为心脏核磁共振电影的预处理流程图;
图3为心功能分析网络的结构图。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
本发明提供一种基于深度循环神经网络的心功能自动分析方法,根据心功能分析的任务进行分解,构建了深度循环网络的结构,并利用制作的数据集对网络参数进行训练,然后将训练好的神经网络应用在待分析的心脏核磁电影中,从而完成心室期相、心室容积、心肌面积、心室内外膜轴向尺寸等13个参数的估测,实现端到端的心功能分析。
图1为心功能分析系统的流程图,如图1所示,本发明所述的心功能自动分析方法具体包括以下步骤:
步骤一:获取心脏左心室短轴的核磁共振电影,并对其进行旋转对齐、裁剪缩放等图像预处理;
步骤二:对构建的深度循环神经网络模型进行参数训练,利用随机梯度下降法进行优化;
步骤三:将预处理好的图像输入到训练好的深度循环神经网络中,并且预测影像序列中每个时刻与心功能相关的十三个特征参数。
图2为心脏核磁共振电影的预处理流程图,如图2所示,所述步骤一具体为:
(1)系统将从核磁共振上获取心脏左室短轴的电影序列(20帧影像);
(2)在核磁共振短轴电影序列中,操作技师将定位心室与心房的交点;
(3)根据心室心房交点的位置,将图像进行旋转对齐,使得心脏交点的连线相对于图像坐标系垂直于水平轴;
(4)系统将旋转对准后的心脏区域进行裁剪,缩放成80*80的图像大小;
图3为心功能分析网络的结构图,如图3所示,所述步骤二具体为:
1)对构建的深度循环神经网络模型进行参数训练具体为:
(1)离线训练时,裁剪后的影像序列(每次5个序列)输入到循环神经网络中首先通过迁移VGG网络后的卷积神经网络第一层,其中含有64个11*11大小的卷积核;
(2)模型提取的第一层特征输入到第二层的神经网络中,其中含有256个5*5的卷积核;即第一层循环神经网络输出的特征输入到含有13个参数输出的第二层循环神经网络;
(3)将提取的第二层影像特征输入到第三层,其中含有235个3*3大小的卷积核;
(4)提取的第三层卷积特征进行空间维数变换,变为一维特征;
(5)将拉伸为一维的特征输入到循环神经网络中,其中含有64个处理单元;
2)利用随机梯度下降法进行优化具体为:
(1)计算用于整体优化的目标损失函数
每一帧的图像输出将于真实的心功能参数进行对比,其中损失函数分为两部分进行计算,其中一部分来自心脏运动期相的判断(分类问题),另外一部分为心脏运动参数的预测(回归问题)。其中,心脏运动的期相(舒张期、收缩期)判断的损失函数设计为:
值得注意的是,在心功能的11个运动参数里面,其中心肌壁厚的6个参数及心肌面积1个参数具有强相关性,记为tmyo,而心腔内径的3个参数和心腔面积的1个参数具有强相关性,记为tcav。心脏的运动参数损失函数设计为:
Lall=h1Lphase+h2Lmotion
其中,h1与h2是用于平衡损失的调和参数。
(2)计算出的函数损失,将利用随机下降法进行反向传播对模型的参数进行优化。
所述步骤三具体为:
每一个预处理后的心脏电影序列将经过训练好的深度循环神经网络,网络将输出每帧对应的心功能参数,其中包含心室期相、心室容积、心肌面积、心室内外膜轴向尺寸等13个参数的估测。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。
Claims (10)
1.一种基于深度循环神经网络的心功能自动分析方法,其特征在于,该方法具体包括以下步骤:
S1:获取心脏核磁电影,并对其进行预处理;
S2:根据心功能分析的指标要求构建多任务学习的循环神经网络,并利用所述循环神经网络提取底层通用影像特征;
S3:将提取到的底层通用影像特征输入到两层的长短记忆循环神经网络中,从而构建时空的依赖关系;
S4:根据参数之间的依赖关系,构建目标损失函数;
S5:根据步骤S4中构建的目标损失函数对循环神经网络的参数,利用随机梯度下降法进行训练优化;
S6:当循环神经网络完成训练后,将经过预处理后的心脏核磁电影输入到训练好的循环神经网络中,最终完成心功能分析中所需要的十三个参数的自动测量。
2.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法,其特征在于,步骤S1中,所述的心脏核磁电影的预处理过程为:
1)系统将采集到的影像里心室与心房的交点进行定位;
2)根据心室与心房交点的位置,将图像进行旋转对齐,使得心脏交点的连线相对于图像坐标系垂直于水平轴;
3)当心脏位置相对于图像坐标系对齐后,系统将旋转对准后的心脏区域进行裁剪,缩放成80*80的图像大小。
3.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法,其特征在于,步骤S2中,所述的循环神经网络利用迁移学习的方法,将ImageNet上已经训练好的VGG深度模型的前三层转移到本网络结构中,作为共享神经网络的前三层,提取底层通用影像特征。
4.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法,其特征在于,步骤S3中,所述将提取到的底层通用影像特征输入到两层的长短记忆循环神经网络中,具体步骤为:
1)通过迁移VGG网络后的卷积神经网络第一层;
2)模型提取的第一层特征输入到第二层的神经网络中;
3)将提取的第二层影像特征输入到第三层;
4)提取的第三层卷积特征进行空间维数变换,变为一维特征;
5)将拉伸为一维的特征输入到循环神经网络。
5.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法,其特征在于,步骤S4中,所述的目标损失函数分为两部分,具体为:
1)分类问题:心脏运动期相的判断;
2)回归问题:心脏运动参数的预测。
8.根据权利要求7所述的一种基于深度循环神经网络的心功能自动分析方法,其特征在于,所述目标损失函数表示为:
Lall=h1Lphase+h2Lmotion
其中,h1与h2是用于平衡损失的调和参数。
9.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法,其特征在于,所述步骤S5中,在训练优化多任务学习的循环神经网络的参数时,每一幅影像将用13个特征参数加以描述,并将一个电影序列的特征参数输入到循环神经网络中。
10.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法,其特征在于,步骤S5中,所述的随机梯度下降法主要对循环神经网络的参数进行训练优化,前三层迁移的VGG的模型参数保持不变。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811063328.2A CN109192305B (zh) | 2018-09-12 | 2018-09-12 | 一种基于深度循环神经网络的心功能自动分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811063328.2A CN109192305B (zh) | 2018-09-12 | 2018-09-12 | 一种基于深度循环神经网络的心功能自动分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109192305A CN109192305A (zh) | 2019-01-11 |
CN109192305B true CN109192305B (zh) | 2020-11-20 |
Family
ID=64910631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811063328.2A Active CN109192305B (zh) | 2018-09-12 | 2018-09-12 | 一种基于深度循环神经网络的心功能自动分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109192305B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175996A (zh) * | 2019-05-29 | 2019-08-27 | 中国人民解放军陆军军医大学第二附属医院 | 一种基于cmr双向循环网络的心衰自动分级方法 |
CN110420019B (zh) * | 2019-07-29 | 2021-04-20 | 西安电子科技大学 | 一种心冲击图信号的深度回归心率估计方法 |
US11348230B2 (en) * | 2019-10-25 | 2022-05-31 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for generating and tracking shapes of a target |
CN111553895B (zh) * | 2020-04-24 | 2022-08-02 | 中国人民解放军陆军军医大学第二附属医院 | 基于多尺度细粒度的磁共振左心房分割方法 |
CN111709485B (zh) * | 2020-06-19 | 2023-10-31 | 腾讯科技(深圳)有限公司 | 医学影像处理方法、装置和计算机设备 |
CN114581425B (zh) * | 2022-03-10 | 2022-11-01 | 四川大学 | 一种基于深度神经网络的心肌段缺损图像处理方法 |
CN114898882B (zh) * | 2022-06-21 | 2023-04-18 | 四川大学华西医院 | 基于超声对右心功能进行评估的方法和系统 |
WO2024108577A1 (zh) * | 2022-11-25 | 2024-05-30 | 深圳先进技术研究院 | 利用分层相关性传播对胰腺炎诊断模型进行解释的方法 |
CN115994919B (zh) * | 2023-03-23 | 2023-05-30 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于深度学习的膀胱壁自动分割工具和方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096632A (zh) * | 2016-06-02 | 2016-11-09 | 哈尔滨工业大学 | 基于深度学习和mri图像的心室功能指标预测方法 |
CN108280827A (zh) * | 2018-01-24 | 2018-07-13 | 北京红云视界技术有限公司 | 基于深度学习的冠状动脉病变自动检测方法、系统和设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9700219B2 (en) * | 2013-10-17 | 2017-07-11 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
-
2018
- 2018-09-12 CN CN201811063328.2A patent/CN109192305B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096632A (zh) * | 2016-06-02 | 2016-11-09 | 哈尔滨工业大学 | 基于深度学习和mri图像的心室功能指标预测方法 |
CN108280827A (zh) * | 2018-01-24 | 2018-07-13 | 北京红云视界技术有限公司 | 基于深度学习的冠状动脉病变自动检测方法、系统和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109192305A (zh) | 2019-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109192305B (zh) | 一种基于深度循环神经网络的心功能自动分析方法 | |
US11813047B2 (en) | Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy | |
CN109242860B (zh) | 基于深度学习及权重空间集成的脑肿瘤图像分割方法 | |
CN110599499B (zh) | 基于多路卷积神经网络的mri图像心脏结构分割方法 | |
Nurmaini et al. | Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation | |
CN110400298B (zh) | 心脏临床指标的检测方法、装置、设备及介质 | |
He et al. | Automatic segmentation and quantification of epicardial adipose tissue from coronary computed tomography angiography | |
CN110363772B (zh) | 基于对抗网络的心脏mri分割方法及系统 | |
CN110335236A (zh) | 心脏医学图像的处理方法、处理装置、处理系统和介质 | |
JP7325411B2 (ja) | 心エコー図を分析する方法及び装置 | |
Badano et al. | Artificial intelligence and cardiovascular imaging: A win-win combination. | |
CN115587971A (zh) | 基于心脏超声节段活动的机体反应及血流动力学监测方法及系统 | |
US11521323B2 (en) | Systems and methods for generating bullseye plots | |
CN112164447B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN110739050B (zh) | 一种左心室全参数及置信度的量化方法 | |
Ragnarsdottir et al. | Interpretable prediction of pulmonary hypertension in newborns using echocardiograms | |
CN114581425B (zh) | 一种基于深度神经网络的心肌段缺损图像处理方法 | |
KR20230096358A (ko) | 인공지능을 활용한 좌심실 비후 심장 초음파 영상의 분석 방법 및 장치 | |
US20220270240A1 (en) | Fully automatic inline processing for pc-mri imagesfully automatic inline processing for pc-mri images using machine learning | |
Xiao et al. | Learning motion based auxiliary task for cardiomyopathy recognition with cardiac magnetic resonance images | |
Mehta et al. | Heart Disease Diagnosis using Deep Learning | |
CN114418955A (zh) | 冠脉斑块狭窄度检测系统及方法 | |
CN112734770A (zh) | 一种基于多层级联的心脏核磁影像多序列融合分割方法 | |
Moreta-Martínez et al. | Multi-cavity heart segmentation in non-contrast non-ECG gated CT scans with F-CNN | |
Bui et al. | DeepHeartCT: A fully automatic artificial intelligence hybrid framework based on convolutional neural network and multi-atlas segmentation for multi-structure cardiac computed tomography angiography image segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |