[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117547306B - 基于m型超声的左心室射血分数测量方法、系统及装置 - Google Patents

基于m型超声的左心室射血分数测量方法、系统及装置 Download PDF

Info

Publication number
CN117547306B
CN117547306B CN202410031339.1A CN202410031339A CN117547306B CN 117547306 B CN117547306 B CN 117547306B CN 202410031339 A CN202410031339 A CN 202410031339A CN 117547306 B CN117547306 B CN 117547306B
Authority
CN
China
Prior art keywords
key point
cardiac cycle
information
left ventricular
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410031339.1A
Other languages
English (en)
Other versions
CN117547306A (zh
Inventor
陈群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wisonic Medical Technology Co ltd
Original Assignee
Shenzhen Wisonic Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wisonic Medical Technology Co ltd filed Critical Shenzhen Wisonic Medical Technology Co ltd
Priority to CN202410031339.1A priority Critical patent/CN117547306B/zh
Publication of CN117547306A publication Critical patent/CN117547306A/zh
Application granted granted Critical
Publication of CN117547306B publication Critical patent/CN117547306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • A61B8/065Measuring blood flow to determine blood output from the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/486Diagnostic techniques involving arbitrary m-mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Hematology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明适用于超声成像技术领域,提供了一种基于M型超声的左心室射血分数测量方法、系统及装置,方法包括获取对目标区域所进行采集的M型超声图像;根据M型超声图像分析出所包含的各个心动周期信息;根据M型超声图像定位出所有关键点;根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点;根据M型超声图像所包含的心动周期信息及所筛选的各个有效关键点匹配出每个心动周期的各个目标关键点;根据所匹配的每个心动周期的各个目标关键点计算出各个心动周期的左心室射血分数;根据所定义的显示方式进行对应的显示。本发明解决了现有测量方法输出的结果可靠性不足及可解释性不强的问题。

Description

基于M型超声的左心室射血分数测量方法、系统及装置
技术领域
本发明属于超声成像技术领域,尤其涉及一种基于M型超声的左心室射血分数测量方法、系统及装置。
背景技术
左心室射血分数(Left ventricular ejection fraction,LVEF)是指每个心动周期中左心室收缩时泵出的血液量占左心室舒张末期容积的比例,是反映心脏收缩功能是否正常的重要指标。其中测量LVEF方法主要有超声心动图、心导管介入治疗、磁共振成像(MRI)或计算机断层扫描(CT)等,由于超声心动图测量方法的无创性与低成本,因此该方法是目前最为常用的。
在临床上用超声心动图测量LVEF时,医生需要在超声图像时间序列上分别确定左心室收缩末期时刻(End systolic, ES)与左心室舒张末期时刻(End diastolic, ED),然后手动测量部分测量项,通过公式转化为这两个时刻的左心室容积,分别为舒张末期容积(end-diastolic volume,EDV)与收缩末期容积(end-systolic volume,ESV),然后基于现有公式计算得到LVEF。根据超声模式的不同,利用超声心动图测量LVEF的方法可分为两类,第一类是基于B型超声的测量方法,对二维B型超声图像时间序列进行检测,第二类是基于M型超声的测量方法,对一维M型超声图像时间序列进行检测,这两种方法在临床上都是非常常用的。
基于M型超声的测量方法,需要医生在M型超声图像上分别确定左心室收缩末期时刻(End diastolic, ED)与左心室舒张末期时刻(End systolic, ES),手动测量两个时刻的左心室内径(Left ventricular diameter, LVID)、左心室后壁厚度(Left ventricularposterior wall,LVPW)、室间隔厚度(Interventricular septum,IVS)以及右心室内径(Right ventricle diameter,RVD),然后基于现有公式计算得到LVEF。具体而言,为确定一个完整心动周期的LVEF过程,需要医生先确定一个心动周期内的ES时刻与ED时刻,然后手动测量上述测量项,在ES时刻绘制4段线段,分别是RVDs, IVSs, LVIDs, LVPWs,在ED时刻绘制4段线段,分别是RVDd, IVSd, LVIDd, LVPWd。
因此基于M型超声的测量LVEF方法在临床上需要较多的人工操作步骤,其中能够自动测量LVEF的技术可以在临床中大大减少医生的操作时间,减轻负担,然而,目前业界的相关研究还存在一些问题,如下所示:
(1) 相关研究主要集中在基于B型超声,基于M型超声的技术手段十分匮乏,有少数基于M型超声的方案,但并不完善,存在缺陷;
(2) M型超声图像的图像内容较为复杂,一张图像可能存在多个心动周期,每个心动周期所包含的LVEF信息可能有完整的,也可能有缺失的,现有方案多数是直接利用深度学习端到端输出结果,然后进入后续计算,没有对深度学习模型的输出进行可靠性判断,导致可靠性不足;
(3) 2) M型超声图像上往往会包含多个心动周期,同一测量项会有多个结果,现有在计算最终的LVEF时,直接取左心室舒张末内径最大时的值作为后续计算输入,这样的计算方式会使得输出的LVEF存在较大误差以及结果不问题,可靠性不足;
(4) 已有的方案完全依赖深度学习输出的结果,使得可解释性不强,在临床上不易被接受。
发明内容
本发明实施例的目的在于提供一种基于M型超声的左心室射血分数测量方法、系统及装置,旨在解决现有测量方法输出的结果可靠性不足及可解释性不强的问题。
本发明实施例是这样实现的,一种基于M型超声的左心室射血分数测量方法,所述方法包括:
获取对目标区域所进行采集的M型超声图像,所述M型超声图像的纵轴为不同组织的深度,横轴为时间;
根据所获取的M型超声图像分析出M型超声图像所包含的各个心动周期信息,所述心动周期信息包括收缩末期时刻及舒张末期时刻;
根据所获取的M型超声图像定位出M型超声图像上的所有关键点,所述关键点包括位置信息及类别信息;
根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点;
根据M型超声图像所包含的心动周期信息及所筛选的各个有效关键点匹配出每个心动周期的各个目标关键点,所述目标关键点为心动周期信息中成对的舒张末期时刻与收缩末期时刻所对应的有效关键点;
根据所匹配的每个心动周期的各个目标关键点计算出各个心动周期的左心室射血分数;
根据所定义的显示方式将M型超声图像、各个心动周期信息、所有关键点、各个有效关键点、各个目标关键点、及各个左心室射血分数进行对应的显示。
更进一步地,所述根据所获取的M型超声图像分析出M型超声图像所包含的各个心动周期信息的步骤包括:
根据所获取的M型超声图像确定出左心室后壁的运动曲线,并对左心室后壁的运动曲线进行求极值处理得到极值信息,所述极值信息包括极值点及所对应的位置信息;
从左至右依次遍历极值信息中的极值点,并按照极大值/极小值的顺序将相邻的两个极值点构成一个点对;
根据所有点对所计算的横向距离及纵向距离与对应的预设参数范围确定出各个有效点对,并根据各个有效点对确定出各个心动周期信息,其中有效点对中的极大值所对应的位置信息为舒张末期时刻,有效点对中的极小值所对应的位置信息为收缩末期时刻。
更进一步地,所述根据所获取的M型超声图像确定出左心室后壁的运动曲线的步骤包括:
从左至右依次遍历获取M型超声图像的每一列像素,并对每个像素列进行平滑处理;
分别计算平滑处理后的各个像素列的分割阈值,并根据分割阈值对各个像素列进行阈值处理得到各个新像素列;
根据梯度检测核对各个新像素列进行卷积处理得到各个新像素列的梯度信息;
根据各个新像素列中的各个亮带上下边缘的梯度值确定出各个新像素列中的左心室后壁位置,所述亮带为经阈值处理后聚集在一起的连续非零值的像素;
对各个新像素列中的左心室后壁位置所组成的点集进行平滑处理并相连得到左心室后壁的运动曲线。
更进一步地,所述分别计算平滑处理后的各个像素列的分割阈值,并根据分割阈值对各个像素列进行阈值处理得到各个新像素列的步骤包括:
遍历所有的灰度值作为阈值,并计算每个阈值下各个像素列的类间方差;
选择各个像素列中类间方差最大时的灰度值作为各个像素列的分割阈值;
根据各个像素列的分割阈值将各个像素列中小于所对应分割阈值的像素的灰度值置零,得到各个新像素列。
更进一步地,所述根据各个新像素列中的各个亮带上下边缘的梯度值确定出各个新像素列中的左心室后壁位置的步骤包括:
从上至下依次统计各个新像素列中的亮带信息,所述亮带信息包括亮带的个数及每个亮带的像素个数;
在各个新像素列中分别遍历亮带信息中的各个亮带得到每个亮带上边缘及下边缘的梯度值;
根据每个亮带上边缘及下边缘的梯度值的绝对值之和确定出各个亮带的亮带概率值,所述亮带概率值表示各个亮带为左心室后壁亮带的概率;
根据各个新像素列中的所有亮带概率值确定出各个新像素列中亮带概率值最高的亮带为目标亮带;
根据各个新像素列中的目标亮带的位置信息确定出各个新像素列中的左心室后壁位置。
更进一步地,所述根据所获取的M型超声图像定位出M型超声图像上的所有关键点的步骤包括:
根据已有标注数据集提取所有关键点的局部特征,并基于各个关键点的局部特征为每一类关键点分别建立各自的局部特征模板并进行分类保存;
在所获取的M型超声图像上遍历获取各个图像块,并提取各个图像块的局部特征;
根据各个图像块的局部特征与所保存的各类局部特征模版的比对,匹配出与局部特征模板的距离小于预设阈值的各个目标图像块;
根据各个目标图像块的位置信息及所匹配的局部特征模板的类型信息确定出各个关键点的位置信息及类别信息。
更进一步地,所述根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点的步骤包括:
根据所有关键点的纵坐标确定出各个关键点的第一深度先验权重;
根据所有关键点与邻域内其他类别的各个关键点之间的纵向距离确定出各个关键点的第二深度先验权重;
根据所有关键点与邻域内其他类别的各个关键点之间的横向距离确定出各个关键点的时间先验权重;
根据所有关键点与各个心动周期信息中的横坐标之间的横向距离确定出各个关键点的心动周期先验权重;
根据各个关键点所确定的第一深度先验权重、第二深度先验权重、时间先验权重及心动周期先验权重在所定位的各个关键点中确定出各个关键点的有效概率信息,所述有效概率信息为各个关键点为有效关键点的概率值;
根据各个关键点的位置信息、类别信息及有效概率信息筛选出各个有效关键点。
更进一步地,所述根据所有关键点的纵坐标确定出各个关键点的第一深度先验权重的计算公式为:
其中,为当前关键点的第一深度先验权重,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为标准差超参数,/>为当前关键点所对应类别的组织结构合理深度,/>为以自然底数e为底的指数函数。
更进一步地,所述根据所有关键点与邻域内其他类别的各个关键点之间的纵向距离确定出各个关键点的第二深度先验权重的计算公式为:
其中,为当前关键点的第二深度先验权重,/>为标准差超参数,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为当前关键点邻域内其它类别关键点的数量,/>表示当前关键点邻域内第/>个关键点的纵坐标,/>为当前关键点邻域内第/>个关键点到当前关键点的合理深度,/>为以自然底数e为底的指数函数。
更进一步地,所述根据所有关键点与邻域内其他类别的各个关键点之间的横向距离确定出各个关键点的时间先验权重的计算公式为:
其中,为当前关键点的时间先验权重,/>为标准差超参数,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为当前关键点邻域内其它类别关键点的数量,/>为当前关键点邻域内第/>个关键点的横坐标,/>为以自然底数e为底的指数函数。
更进一步地,所述根据所有关键点与各个心动周期信息中的横坐标之间的横向距离确定出各个关键点的心动周期先验权重的计算公式为:
其中,为当前关键点的心动周期先验权重,/>为标准差超参数,为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为距离当前关键点最近的心动周期信息中收缩末期时刻或舒张末期时刻的横坐标。
更进一步地,所述根据各个关键点所确定的第一深度先验权重、第二深度先验权重、时间先验权重及心动周期先验权重在所定位的各个关键点中确定出各个关键点的有效概率信息的计算公式为:
其中,为当前关键点的有效概率信息,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,阈值/>为一个经验参数,/>表示阈值二值化函数,其中小于阈值/>时置0,大于阈值/>时不变,/>为当前关键点的概率值,/>为当前关键点的第一深度先验权重,/>为当前关键点的第二深度先验权重,/>为当前关键点的时间先验权重,/>为当前关键点的心动周期先验权重。
更进一步地,所述根据所匹配的每个心动周期的各个目标关键点计算出各个心动周期的左心室射血分数的步骤包括:
根据所匹配的每个心动周期的各个目标关键点计算出每个心动周期中收缩末期时刻的左心室内径及舒张末期时刻的左心室内径;
根据每个心动周期中收缩末期时刻的左心室内径及舒张末期时刻的左心室内径计算出每个心动周期中的收缩末期容积及舒张末期容积;
根据每个心动周期中的收缩末期容积及舒张末期容积计算出每个心动周期的左心室射血分数。
本发明另一实施例的目的还在于提供一种基于M型超声的左心室射血分数测量系统,所述系统包括:
输入模块,用于获取对目标区域所进行采集的M型超声图像,所述M型超声图像的纵轴为不同组织的深度,横轴为时间;
分析模块,用于根据所获取的M型超声图像分析出M型超声图像所包含的各个心动周期信息,所述心动周期信息包括收缩末期时刻及舒张末期时刻;
定位模块,用于根据所获取的M型超声图像定位出M型超声图像上的所有关键点,所述关键点包括位置信息及类别信息;
筛选模块,用于根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点;
匹配模块,用于根据M型超声图像所包含的心动周期信息及所筛选的各个有效关键点匹配出每个心动周期的各个目标关键点,所述目标关键点为心动周期信息中成对的舒张末期时刻与收缩末期时刻所对应的有效关键点;
计算模块,用于根据所匹配的每个心动周期的各个目标关键点计算出各个心动周期的左心室射血分数;
显示模块,用于根据所定义的显示方式将M型超声图像、各个心动周期信息、所有关键点、各个有效关键点、各个目标关键点、及各个左心室射血分数进行对应的显示。
本发明另一实施例的目的还在于提供一种基于M型超声的左心室射血分数测量装置,所述装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行如上述所述的基于M型超声的左心室射血分数测量方法。
本发明实施例提供的基于M型超声的左心室射血分数测量方法,通过对M型超声图像进行多个步骤的处理,包括心动周期分析、关键点定位、关键点筛选、关键点匹配、左心室射血分数计算等,从而提高左心室射血分数测量的精度和可靠性,具体的,心动周期分析可以分析出M型超声图像所包含的各个心动周期;而关键点定位可以初步定位出M型超声图像上的各个关键点;而关键点筛选通过结合心动周期信息筛选掉无效虚假的关键点,保留可靠的有效关键点;而关键点匹配可以结合心动周期信息匹配出各个完整心动周期中成对的目标关键点;而左心室射血分数计算通过计算匹配得到的各个目标关键点,使得可以得到精确的左心室射血分数,从而保证结果的可靠性;而通过根据用户定义的显示方式,将M型超声图像、各个心动周期信息、所有关键点、各个有效关键点、各个目标关键点、及各个左心室射血分数进行对应的显示,使得可以查看最终左心室射血分数的测量结果,同时也可查看如心动周期信息、关键点、有效关键点及目标关键点的中间结果,提高在临床使用中的可解释性和可视化效果,解决了现有测量方法输出的结果可靠性不足及可解释性不强的问题。
附图说明
图1是本发明实施例提供的一种基于M型超声的左心室射血分数测量方法的流程图;
图2是本发明实施例提供的一种基于M型超声的左心室射血分数测量系统的结构示意图;
图3是本发明实施例提供的一种基于M型超声的左心室射血分数测量装置的结构示意图;
图4是本发明实施例提供的一种基于M型超声的左心室射血分数测量方法中的M型超声图像的示意图;
图5是本发明实施例提供的一种基于M型超声的左心室射血分数测量方法中的M型超声图像中指出包含多个完整心动周期的示意图;
图6是本发明实施例提供的一种基于M型超声的左心室射血分数测量方法中的M型超声图像中指出包含多个收缩末期和舒张末期的示意图;
图7是本发明实施例提供的一种基于M型超声的左心室射血分数测量方法中的M型超声图像中指出包含多个测量项与对应的关键点的示意图;
以下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1,是本发明第一实施例提供的一种基于M型超声的左心室射血分数测量方法的流程示意图,为了便于说明,仅示出了与本发明实施例相关的部分,该方法包括:
步骤S10,获取对目标区域所进行采集的M型超声图像,M型超声图像的纵轴为不同组织的深度,横轴为时间;
其中,在本发明的一个实施例中,M型超声是一种显示体内某一声束上各界面与探头的距离随时间变化的曲线的超声成像方式。其主要用于分析心脏和大血管的运动情况,如心壁、血管壁或瓣膜的活动。其中M型超声图像为二维图像,其横轴代表时间,纵轴代表不同组织的深度(也即活动的幅度),也就是反射回波信号的强度。其中横轴上的每个点对应一个心动周期时刻,纵轴上的每个点对应一个组织界面的位置。因此M型超声图像可以反映出不同深度的组织界面在不同心动周期中的运动曲线,从而评估组织的功能。
其中,在本发明的一个实施例中,目标区域为人体胸部的心脏区域,采用常规的超声探头和仪器,通过胸骨左缘的左心室长轴切面,对目标区域进行M型超声扫描,从而获取M型超声图像。其中所获取的M型超声图像反映了心脏的收缩和舒张过程,以及不同组织的深度和运动情况。其中图4是本实施例中所获取的M型超声图像的示意图。如图4所示,其M型超声图像上可以观察到心室波群、心房波群、二尖瓣E点和A点等特征,以及左心室后壁和室间隔的运动曲线。
进一步的,在本发明的一个实施例中,上述获取M型超声图像的数据输入来源可以为超声机器,也可以为存储超声图像的云端服务器,或者其它存储超声图像数据的设备。
步骤S20,根据所获取的M型超声图像分析出M型超声图像所包含的各个心动周期信息,心动周期信息包括收缩末期时刻及舒张末期时刻;
其中,本发明的一个实施例中,由于M型超声图像的纵轴表示人体组织的深度,横轴代表时间,因此根据M型超声图像可以观察到不同深度的组织在某一时间段内的运动曲线,而这些运动曲线包含了心动周期信息,因此通过对M型超声图像的分析,可获取该M型超声图像在有效时间范围内完整心动周期的数量和每个心动周期中的收缩末期/舒张末期时刻在横轴上的具体位置,从而实现分析出M型超声图像所包含的各个心动周期信息。其参照图5所示,其指出有该M型超声图像包括4个完整的心动周期,且参照图6所示,其指出有该M型超声图像中的各个收缩末期时刻及舒张末期时刻。
其中,分析M型超声图像所包含的各个心动周期信息可通过多种具体实施方式实现,其可采用深度学习方法进行分析,也可采用传统的图像处理算法进行分析,当然还可采用其他方法进行分析,在此不局限于其中的某一种,其根据实际使用需要进行设置,在此不做具体限定。在本发明实施例中,其具体采用两种具体实施方式实现分析M型超声图像所包含的各个心动周期信息。
其中,在本发明的第一种具体实施方式中,其采用深度学习方法,具体的在临床中收集大量左心室M型超声图像,然后由专业的医生对M型超声图像进行标注,其中标注内容包括图像上包含几个完整心动周期,每个心动周期的收缩末期时刻/舒张末期时刻在横轴上的具体位置(即x坐标),然后将标注好的M型超声图像用于训练神经网络模型,训练后的神经网络模型即可获取所输入的M型超声图像的心动周期信息。
更为具体的,首先,在临床中收集大量的左心室M型超声图像,并且由专业的医生对图像进行标注。标注的内容包括图像上包含几个完整的心动周期,以及每个心动周期的收缩末期时刻和舒张末期时刻在横轴上的具体位置,即x坐标。这些标注可以作为训练数据的真实值,用来指导神经网络的学习。其中标注的过程应该保证标注的准确性和一致性,以避免标注的误差或噪声对神经网络的影响。
其次,选择一个合适的神经网络模型,用来从M型超声图像中提取特征并预测心动周期的时刻点。其中神经网络模型可以使用常见的卷积神经网络(CNN)的结构,如VGGNet,ResNet,EfficientNet,Vision Transformer等。这些网络结构都是基于卷积层和池化层的堆叠,能够从图像中提取出不同层次的特征,从低级的边缘和纹理,到高级的形状和语义。一般来说,网络结构越深,能够提取的特征越丰富,但也越容易出现过拟合或梯度消失的问题。因此,需要根据数据的规模和复杂度,以及计算资源的限制,来选择合适的网络结构。
然后,定义一个合适的损失函数,用来衡量神经网络的预测值和真实值之间的差异,以及一个合适的优化算法,用来更新神经网络的参数,以最小化损失函数。其中损失函数可以使用均方误差(MSE)或平均绝对误差(MAE),其为回归任务中常用的损失函数,能够反映预测值和真实值之间的距离。其中优化算法可以使用随机梯度下降(SGD)或其变种,如Adam,RMSProp等,其均为基于梯度的优化算法,能够根据损失函数的梯度,调整神经网络的参数,使损失函数达到最小值。
再者,使用标注好的M型超声图像和对应的心动周期时刻点,来训练神经网络模型。其中训练的过程可以分为以下几个步骤:
将标注好的数据集划分为训练集、验证集和测试集。其中训练集用来训练神经网络模型,验证集用来评估模型的性能和调整模型的超参数,测试集用来最终测试模型的泛化能力。
对M型超声图像进行预处理,如裁剪、缩放、归一化、增强等,以适应神经网络模型的输入要求,以及提高数据的质量和多样性。
将训练集分为多个小批量(batch),每个批量包含一定数量的M型超声图像和对应的心动周期时刻点。然后依次将每个批量输入神经网络模型,得到预测值,并计算损失函数。然后根据损失函数的梯度,使用优化算法更新神经网络的参数。其中该过程称为一次迭代(iteration)。
重复上述迭代过程,直到训练集中的所有数据都被输入过神经网络模型一次。其中该过程称为一次训练周期(epoch)。
重复上述训练周期过程,直到神经网络模型的性能在验证集上达到最优或者不再提升,或者达到预设的最大训练周期数。其中该过程称为训练阶段(training phase)。
在训练阶段结束后,选择在验证集上性能最好的神经网络模型作为最终的神经网络模型。然后使用测试集来评估模型的泛化能力,即在未见过的数据上的表现。其中该过程称为测试阶段(testing phase)。
最后,使用训练好的神经网络模型,来获取所输入的M型超声图像的心动周期信息。此时将新的M型超声图像输入至训练好的神经网络模型中即可得到神经网络模型的预测值,即每个心动周期的收缩末期和舒张末期的时刻点的x坐标。
其中,在本发明的第二种具体实施方式中,其采用图像处理方法,具体的,上述根据所获取的M型超声图像分析出M型超声图像所包含的各个心动周期信息的步骤包括:
根据所获取的M型超声图像确定出左心室后壁的运动曲线,并对左心室后壁的运动曲线进行求极值处理得到极值信息,所述极值信息包括极值点及所对应的位置信息;
从左至右依次遍历极值信息中的极值点,并按照极大值/极小值的顺序将相邻的两个极值点构成一个点对;
根据所有点对所计算的横向距离及纵向距离与对应的预设参数范围确定出各个有效点对,并根据各个有效点对确定出各个心动周期信息,其中有效点对中的极大值所对应的位置信息为舒张末期时刻,有效点对中的极小值所对应的位置信息为收缩末期时刻。
其中,首先通过图像处理方法确定出M型超声图像中左心室后壁的运动曲线,由于左心室后壁的运动曲线的运动规律与左心室的运动规律一致,然后可以了解到在左心室舒张末期时,左心室后壁位置比在心动周期内其它时刻都要更靠M型超声图像下方;在左心室收缩末期时,左心室后壁位置比在心动周期内其它时刻都要更靠M型超声图像上方;因此当左心室后壁位置最低时表示左心室舒张末期,当左心室后壁位置最高时表示左心室收缩末期,而这些位置对应了曲线的极值点,因此通过求导或差分的方法对左心室后壁的运动曲线进行求极值处理,找出曲线的极大值点和极小值点,并将极大值定义为舒张末期候选点,将极小值定义为收缩末期候选点,合并这些极值点并记录位置信息,称为极值信息。
其次,由于曲线的极值点可能存在一些误差或干扰,不一定都是真实的左心室的状态,因此需要根据一些先验知识,对极值点进行筛选和匹配得到真正的舒张末期和收缩末期的时刻,具体的,从左至右遍历极值信息中的极值点,按照极大值/极小值的顺序,将相邻的两个极值点构成一个点对,也即舒张末期/收缩末期。例如,第一个极大值点和第一个极小值点构成一个点对,第二个极大值点和第二个极小值点构成一个点对,依次类推,这些点对表示一个完整的心动周期的左心室的状态。然后对于每个点对,计算其横向距离和纵向距离,即两个极值点的横坐标和纵坐标的差值,然后根据一些经验参数,判断它们是否为有效点对。经验参数包括人体心动周期的时间范围[thrtime0, thrtime1]和正常左心室收缩舒张起伏距离范围[thrdepth0, thrdepth1],它们可以通过统计或测量得到,其作用是限制点对的横向距离和纵向距离在合理的范围内,具体的,横向距离的由人体心动周期的时间范围[thrtime0, thrtime1]限制,而纵向距离由正常左心室收缩舒张起伏距离范围[thrdepth0,thrdepth1]限制,如果点对的横向距离与纵向距离超出范围,说明该点对不是真实的左心室的状态,应该被排除。此时通过这些限制后可以保留有效点对,记为舒张末期时刻/收缩末期时刻。
最后,根据各个有效点对确定出各个心动周期信息,有效点对的数量即为完整心动周期的个数,有效点对中的极大值所对应的位置信息为舒张末期时刻,有效点对中的极小值所对应的位置信息为收缩末期时刻。因此可以确定出M型超声图像中完整心动周期的个数以及每个心动周期的收缩末期时刻和舒张末期时刻。其中通过对有效点对的数量的确定也可计算出左心室的心率,即每分钟内的心动周期的个数,其心率也是反映左心室功能的重要指标之一。由于每个有效点对表示一个完整的心动周期的左心室的状态,因此可以通过统计有效点对的数量,得到完整心动周期的个数,然后根据M型超声图像的采样频率和时间长度计算出左心室的心率。
进一步的,在本发明的一个实施例中,上述根据所获取的M型超声图像确定出左心室后壁的运动曲线可通过如下步骤实现:
从左至右依次遍历获取M型超声图像的每一列像素,并对每个像素列进行平滑处理;
分别计算平滑处理后的各个像素列的分割阈值,并根据分割阈值对各个像素列进行阈值处理得到各个新像素列;
根据梯度检测核对各个新像素列进行卷积处理得到各个新像素列的梯度信息;
根据各个新像素列中的各个亮带上下边缘的梯度值确定出各个新像素列中的左心室后壁位置,所述亮带为经阈值处理后聚集在一起的连续非零值的像素;
对各个新像素列中的左心室后壁位置所组成的点集进行平滑处理并相连得到左心室后壁的运动曲线。
其中,由于M型超声图像的左心室后壁(LVPW)往往在整个时间轴上都是比较清晰可见的,且亮度较高,容易识别,因此通过阈值分割与梯度检测处理识别出左心室后壁的运动曲线。具体的,由于M型超声图像的每一列像素代表一个时刻的左心室运动情况,因此该方法的处理对象是M型超声图像的每一列,首先,从左到右依次遍历整张M型超声图像,此时每次获取M型超声图像中一列像素作为当前时刻的左心室运动情况,其图4-7中的每一竖表示一个像素列,其为一个一维的向量,其中每个元素代表一个深度的像素灰度值,其灰度值越大,表示该深度的组织结构的亮度越高,反之则越低。
其次,分别用平滑函数对每个像素列进行平滑处理,去除噪声的干扰,得到新的像素列。其中由于M型超声图像的质量受到多种因素的影响,可能存在一些噪声或模糊,其会影响后续的分析和计算,因此对每个像素列进行一定的平滑处理,使其更加平滑和清晰。其中平滑函数可以使用均值平滑或者高斯平滑等常用的图像平滑方法,其原理是用像素的邻域像素的平均值或加权平均值来替换原像素的值,从而达到降噪和增强的效果。
然后,分别计算平滑处理后的各个像素列的分割阈值,并根据分割阈值对各个像素列进行阈值处理得到各个新像素列,具体的,该步骤可通过如下方式实现:
遍历所有的灰度值作为阈值,并计算每个阈值下各个像素列的类间方差;
选择各个像素列中类间方差最大时的灰度值作为各个像素列的分割阈值;
根据各个像素列的分割阈值将各个像素列中小于所对应分割阈值的像素的灰度值置零,得到各个新像素列。
具体的,由于超声图像是一种灰度图像,每个像素只有一个灰度值,此时可以根据灰度值的大小,将像素分为前景和后景两类,前景为感兴趣的区域,如左心室的组织结构,而后景为不感兴趣的区域,如背景或其它器官。为了实现前后景的分割,需要找到一个合适的阈值,使得前景像素的灰度值都大于该阈值,而后景像素的灰度值都小于该阈值,从而达到最大的类间差异。更为具体的,其遍历所有可能的灰度值作为阈值,并计算每个阈值下的类间方差,然后选择使类间方差最大的灰度值作为最优阈值,也即分割阈值,从而可以实现像素列的前后景分割。此时每个像素列均需要计算出所对应的分割阈值。进一步的,基于分割阈值,将每个像素列中小于所对应分割阈值的像素置零,得到各个新像素列。此时通过将后景像素的灰度值设为零,表示将其忽略,只保留前景像素的灰度值,表示将其关注,从而实现了前后景的分割。因此在阈值处理后的新像素列中,左心室的组织结构的像素灰度值被保留,而其它的像素灰度值都被置为零。
然后,根据梯度检测核对各个新像素列进行卷积处理求得梯度,其中取大于零的部分为正向梯度,取小于零的部分为反向梯度,称为梯度信息。其中梯度是一种表示图像中像素灰度值变化程度和方向的矢量,可用于边缘检测、特征提取等图像处理任务。其中图像梯度的计算方法有多种,其中一种是使用卷积核对图像进行卷积运算,得到水平方向和垂直方向的梯度分量,然后根据梯度的幅值和方向公式,求得图像的梯度信息。具体在本发明实施例中,其采用梯度检测核filter = [1, 0, -1]进行卷积处理,该梯度检测核filter是一种一维的卷积核,可用于计算像素的竖直方向的梯度分量,即当前像素与其上下相邻像素的灰度差。对于每个新像素列,可将其视为一个一维的图像,然后用梯度检测核filter对其进行卷积处理求得梯度,具体的步骤如下:将梯度检测核filter与当前新像素列的第一个像素对齐,然后将梯度检测核filter中的每个元素与当前新像素列中的对应像素相乘,然后将乘积相加得到梯度的第一个元素。将梯度检测核filter向上移动一个像素,与当前新像素列的第二个像素对齐,重复上述步骤,得到梯度的第二个元素。依次类推,直到梯度检测核filter与当前新像素列的最后一个像素对齐,得到梯度的最后一个元素。此时,梯度就是当前新像素列的竖直方向的梯度分量,为是一个一维的向量,与当前新像素列的长度相同。其中根据梯度值的正负符号,将其分为正向梯度和反向梯度,其中当像素灰度值发生变化时,其梯度值也会发生变化,正向梯度值为正,反向梯度值为负,此时梯度值的绝对值越大,表示变化越剧烈,则越可能是边缘。
然后,根据各个新像素列中的各个亮带上下边缘的梯度值确定出各个新像素列中的左心室后壁位置,具体的,该步骤可通过如下方式实现:
从上至下依次统计各个新像素列中的亮带信息,所述亮带信息包括亮带的个数及每个亮带的像素个数;
在各个新像素列中分别遍历亮带信息中的各个亮带得到每个亮带上边缘及下边缘的梯度值;
根据每个亮带上边缘及下边缘的梯度值的绝对值之和确定出各个亮带的亮带概率值,所述亮带概率值表示各个亮带为左心室后壁亮带的概率;
根据各个新像素列中的所有亮带概率值确定出各个新像素列中亮带概率值最高的亮带为目标亮带;
根据各个新像素列中的目标亮带的位置信息确定出各个新像素列中的左心室后壁位置。
具体的,从上至下,依次统计各个新像素列的亮带(经阈值处理后,连续的非零值聚集在一起称为一个亮带),记录亮带个数与每个亮带的像素个数,称为亮带信息。由于经过阈值处理后,只有左心室的组织结构的像素灰度值是非零的,因此从上至下遍历统计各个新像素列的亮带可以找出各个新像素列中的左心室的组织结构,而且左心室的组织结构是由右心室、室间隔、左心室、左心室后壁四个部分组成,其在新像素列中呈现为各个亮带,每个亮带的像素个数反映了该部分的厚度。
进一步的,在各个新像素列中分别遍历亮带信息中的各个亮带,统计每个亮带上边缘处的反向梯度的绝对值与下边缘处正向梯度的绝对值,由于左心室后壁的亮度往往是最大的,且有一定厚度,因此左心室后壁亮带处会呈现中间亮,两边暗的情况,这种情况下,左心室后壁亮带的上下边缘的梯度值会比其它亮带的边缘的梯度值更大,即上边缘的反向梯度的绝对值较大,下边缘的正向梯度绝对值较大,因此通过用梯度值的大小来判断哪个亮带是左心室后壁亮带,具体的将每个亮带上下边缘处的两个梯度值的绝对值相加,也即每个亮带的上边缘处的反向梯度的绝对值与下边缘处正向梯度的绝对值相加得到一个亮带概率值,其表示该亮带是左心室后壁亮带的概率,其中亮带概率值越大表示越可能是左心室后壁亮带。
进一步的,分别在每个新像素列的所有亮带概率值中,找出亮带概率值最大的一个亮带以及对应的亮带序号,此时该亮带为左心室后壁亮带,该亮带中点的纵坐标为新像素列的左心室后壁位置。该中点的纵坐标也即是该亮带上边缘的纵坐标与下边缘的纵坐标之和的平均值。
然后,从左至右遍历M型超声图像,获取左心室后壁在整张M型超声图像上的运动位置点集,实现获取左心室后壁在整个心动周期内的运动轨迹,其中由于每一列像素代表一个时刻的左心室运动情况,此时通过遍历每一列像素,并重复上述的分析和计算步骤,得到每一列像素的左心室后壁位置,然后将这些左心室后壁位置点连接起来形成一个点集,其表示左心室后壁在整张M型超声图像上的运动曲线,如图4-图7所示,可以看出,其左心室后壁的运动曲线呈现出周期性的起伏,反映了左心室的收缩和舒张的变化。
最后,对左心室后壁在整张M型超声图像上的运动位置点集进行平滑处理,然后相连,得到左心室后壁的运动曲线,其中通过平滑处理是为了进一步消除噪声和波动,使左心室后壁的运动曲线更加平滑和清晰,便于后续的分析和计算。其中平滑处理可以使用一些常用的曲线平滑方法,如移动平均法、指数平滑法、样条插值法等,其原理为用曲线的邻域点的平均值或加权平均值来替换原曲线的值,从而达到平滑和拟合的效果。
步骤S30,根据所获取的M型超声图像定位出M型超声图像上的所有关键点,关键点包括位置信息及类别信息;
其中,在本发明的一个实施例中,M型超声图像是一种显示心脏结构和运动的超声技术,其可以用来测量心脏的大小和功能。为了测量心脏的参数,需要先找到心脏上的一些特定的点,比如左心室的内外壁,右心室的前壁,室间隔的前后壁等,这些点叫做关键点。其关键点的位置和类别可以反映心脏的形态和状态。因此基于M型超声图像观察左心室功能时,重要的指标是左心室收缩末期时刻与舒张末期时刻的左心室内径、左心室后壁厚度、室间隔厚度以及右心室内径。临床医生在获取上述测量项时,也是先通过获取左心室上的关键点,用关键点间的距离换算成对应的测量项值。具体而言,其定位的关键点有右心室前点、室间隔前点、室间隔后点、左心室后壁前点及左心室后壁后点。其中每个时刻(也即收缩末期时刻与舒张末期时刻)有4个线段,且4个线段相连,因此每两个关键点之间的距离就是一段线段,具体而言,右心室前点到室间隔前点之间的线段为右心室内径(RVD)、室间隔前点到室间隔后点之间的线段为室间隔厚度(IVS)、室间隔后点到左心室后壁前点之间的线段为左心室内径(LVID)、左心室后壁前点到左心室后壁后点之间的线段为左心室后壁厚度(LVPW)。此时通过M型超声图像定位出所有关键点,具体的各个关键点包括位置信息及类别信息。
其中,定位M型超声图像上的所有关键点可通过多种具体实施方式实现,其可采用深度学习方法进行分析,也可采用传统的图像处理算法进行分析,当然还可采用其他方法进行分析,在此不局限于其中的某一种,其根据实际使用需要进行设置,在此不做具体限定。在本发明实施例中,其具体采用两种具体实施方式实现定位M型超声图像上的所有关键点。
其中,在本发明的第一种具体实施方式中,其采用深度学习方法,具体的在临床中收集大量左心室M型超声图像,然后由专业的医生对M型超声图像进行标注,标注内容包括上述各个关键点的类别以及在M型超声图像上的具体位置。然后将标注好的M型超声图像用于训练神经网络模型,训练后的神经网络模型即可获取所输入的M型超声图像上的所有关键点及其位置信息与类别信息。其大体可参照上述分析M型超声图像所包含的各个心动周期信息时所采用的步骤,在此不予赘述,其区别在于,在该具体实施方式中,其神经网络模型可以采用如RCNN,SSD,YOLO等,这些模型均为常用的目标检测和定位的模型,其可从图像中识别出不同的物体,并给出具体的位置和类别。
其中,在本发明的第二种具体实施方式中,其采用图像处理方法,具体的,上述根据所获取的M型超声图像定位出M型超声图像上的所有关键点的步骤包括:
根据已有标注数据集提取所有关键点的局部特征,并基于各个关键点的局部特征为每一类关键点分别建立各自的局部特征模板并进行分类保存;
在所获取的M型超声图像上遍历获取各个图像块,并提取各个图像块的局部特征;
根据各个图像块的局部特征与所保存的各类局部特征模版的比对,匹配出与局部特征模板的距离小于预设阈值的各个目标图像块;
根据各个目标图像块的位置信息及所匹配的局部特征模板的类型信息确定出各个关键点的位置信息及类别信息。
更为具体的,首先,在临床中收集大量的M型超声图像,并且由专业的医生在M型超声图像上标注出关键点的位置和类别,形成一个已标注数据集。然后从已标注数据集中提取所有关键点的局部特征,其可使用一些常用的特征提取算法,如Harr,SIFT,LBP,HOG等。上述特征提取算法可从图像中检测出一些具有显著性和不变性的特征点,例如角点,边缘,纹理,形状等,并且为每个特征点生成一个特征向量,用来描述特征点的局部信息,例如灰度,梯度,方向,形状等。其中不同类别的关键点应该具有不同的特征向量,这样才能区分它们。
其次,为每一类关键点建立一个局部特征模板,其可使用一些常用的模板生成算法,如K-means,PCA,LDA等。上述模板生成算法可以从每一类关键点的特征向量中提取出一些共同的特征,或者降低特征的维度,从而得到一个代表该类关键点的特征模板。其中特征模板的维度应该与特征向量的维度相同,或者更低,以便于后续的比较和匹配。
然后,保存模板信息,其可使用一些常用的数据结构和存储方式,如数组,列表,字典,文件,数据库等。此时将每一类关键点的特征模板以及其对应的类别标签存储起来,以便于后续的检索和使用。其中存储的方式应该保证模板信息的完整性和可读性,以及方便的访问和修改。
然后,在测试新的M型超声图像时,用滑动窗口遍历的方式在M型超声图像上进行遍历取图像块,其可使用一些常用的图像处理算法,如OpenCV,PIL,scikit-image等。其需定义一个滑动窗口的大小,一般为与模板大小相同或稍大的矩形区域,然后将滑动窗口从M型超声图像的左上角开始,按照一定的步长,沿着水平和垂直方向移动,每次移动后,都截取滑动窗口内的图像块,直到遍历完整张M型超声图像。其中图像块的大小应该与模板大小相同,或者经过缩放后与模板大小相同,以便于后续的比较和匹配。
然后,用同样的特征提取算法提取各个图像块的局部特征,其可使用前述提到的特征提取算法。通过对每个图像块应用相同的特征提取算法,得到一个特征向量,用来描述图像块的局部信息,例如灰度,梯度,方向,形状等。其中特征向量的维度应该与模板的维度相同,或者经过转换后与模板的维度相同,以便于后续的比较和匹配。
然后,将当前图像块的局部特征与保存的各类局部特征模板信息进行比较/匹配,其可使用一些常用的相似度度量算法,如SSD,NCC,CC,SSIM等。通过对每个图像块的特征向量与每一类关键点的局部特征模板进行比较,确定它们之间的距离有多大。如果距离很小,说明该图像块的特征与某类局部特征模板很相似,此时可认为该图像块的中心点是一个关键点,且关键点的类别为这个局部特征模板所代表的类别。如果距离很大,说明该图像块的特征与所有的局部特征模板都不相似,此时可认为该图像块的中心点不是一个关键点,而是一些背景或噪声。
然后,当图像块的局部特征与某一类局部特征模板的距离小于预设阈值时,则可认为该图像块从属于这一类关键点,其可使用一些常用的阈值选择算法,如固定阈值,自适应阈值,Otsu阈值等。通过根据相似度得分的分布情况,选择一个合适的阈值,用来判断图像块是否是关键点。其中阈值的选择应该保证关键点的识别率和准确率,即尽可能地识别出所有的关键点,同时避免误识别非关键点的图像块。
最后,图像块的中心点可认为是该关键点的位置,在确定该图像块的局部特征与已知的某一类关键点的局部特征模板匹配后,可认为该图像块与所匹配的局部特征模板属于同一类关键点,然后使用一些常用的图像坐标转换算法,如仿射变换,透视变换,投影变换等。根据图像块的位置和大小,计算出图像块的中心点的坐标,用来表示该关键点的位置信息,同时根据图像块与局部特征模板的匹配情况,确定该关键点的类别,用来表示该关键点的类型信息。此时通过对所有的图像块都做同样的操作,直到遍历完整张M型超声图像时,可以得到M型超声图像中所有关键点及其位置信息与类别信息。
步骤S40,根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点;
其中,在本发明的一个实施例中,由于关键点定位是一个相对困难的任务,实际应用时会考虑尽可能多的定位关键点,因此上述步骤S30会定位出大量的关键点结果,其中极有可能包含虚假的关键点,因此需要依据一定的先验知识进行筛选,从而能够清除虚假的关键点,保留可靠的有效关键点。其中先验知识是一些关于心脏结构和运动的常识,在本发明实施例中,可用的先验有如下几项:
1、 深度一致先验,也即该关键点在M型超声图像纵轴方向的坐标:
通过从心脏解剖结构知识可以得知,在胸骨旁长轴切面下,从探头起点到人体深处,由近至远的主要组织结构是右心室、室间隔、左心室及左心室后壁,因此右心室前点会在最靠近探头的位置(即纵轴坐标较小),然后是室间隔前点,室间隔后点,左心室后壁前点,左心室后壁后点,因此左心室后壁厚度应该在最深的位置(即纵轴坐标较大),同时各个关键点在深度(纵轴坐标)上一定有距离差,且应该在一个合理的范围内,不能太近,也不会太远。此外,一个正常成年人的心脏,其组织结构的位置所属的深度是有一定范围的,因此可以基于此范围对所定位的所有关键点进行筛选。
2、时间一致先验,也即该点在M型超声图像横轴方向的坐标:
本发明实施例中所定位的关键点是一个心动周期内的收缩末期时刻中的右心室前点、室间隔前点、室间隔后点、左心室后壁前点、左心室后壁后点,同理舒张末期时刻同样有上述5个关键点,其中同一时刻下的关键点,在时间上的差值应该是较近的,也即反映为在M型超声图像横轴方向的距离应该是较小的。例如上述步骤S30定位出一个收缩末期的右心室前点的位置信息,但是在该关键点的前后一段时间范围内,都没有收缩末期的其它关键点,此时可认为此关键点为虚假关键点,应该被排除。
3、心动周期先验:
其中,心动周期信息包括M型超声图像包含了几个完整心动周期,以及每个心动周期中的舒张末期时刻/收缩末期时刻,也即在M型超声图像横轴方向的坐标。由于实际临床采集左心室图像时,M型超声方式的采样线很难做到同时与右心室、室间隔、左心室后壁都保持垂直,因此从M型超声图像上看,舒张末期时刻/收缩末期时刻是一个时间范围,因此可认为,合理的关键点应该落在这些时间范围内,收缩末期的关键点应该落在收缩末期的时间范围内,舒张末期的关键点应该落在舒张末期的时间范围内,且每个关键点与心动周期时刻的距离应该在一个合理的范围内,不能太远或太近。基于此,将不合理的关键点排除。
因此,结合上述先验,在本发明的一个实施例中,上述根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点的步骤包括:
根据所有关键点的纵坐标确定出各个关键点的第一深度先验权重;
根据所有关键点与邻域内其他类别的各个关键点之间的纵向距离确定出各个关键点的第二深度先验权重;
根据所有关键点与邻域内其他类别的各个关键点之间的横向距离确定出各个关键点的时间先验权重;
根据所有关键点与各个心动周期信息中的横坐标之间的横向距离确定出各个关键点的心动周期先验权重;
根据各个关键点所确定的第一深度先验权重、第二深度先验权重、时间先验权重及心动周期先验权重在所定位的各个关键点中确定出各个关键点的有效概率信息,所述有效概率信息为各个关键点为有效关键点的概率值;
根据各个关键点的位置信息、类别信息及有效概率信息筛选出各个有效关键点。
更为具体的,根据上述深度一致先验、时间一致先验以及心动周期先验的先验知识,为每个关键点计算一个有效概率,其有效概率由四个因素组合得到,其分别为:
一、关键点的第一深度先验权重,该权重表示关键点的深度与其所属的组织结构的合理深度的匹配程度,当关键点的深度(纵轴坐标)偏离该类组织结构应该位于的合理深度时,该权重会接近于0,反之则接近1,其中该权重可用高斯函数来计算,高斯函数的参数是关键点的深度,组织结构的合理深度,和一个标准差。
具体的,根据所有关键点的纵坐标确定出各个关键点的第一深度先验权重的计算公式为:
其中,为当前关键点的第一深度先验权重,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为标准差超参数,/>为当前关键点所对应类别的组织结构合理深度,/>为以自然底数e为底的指数函数。
二、关键点的第二深度先验权重,该权重表示关键点与邻域内其他类别的关键点的深度距离的合理程度,当邻域内其它类别关键点到当前关键点的深度距离(纵向距离)过小或者过大时,该权重会接近于0,在合理距离内时,该权重接近于1,需注意的是,不同类别的关键点到其它类别的关键点的合理距离是不同的,其可以通过统计得到。该权重可用多个高斯函数组合后来计算,每个高斯函数的参数是关键点的深度,邻域内其他类别的关键点的深度,和一个标准差,然后对所有的高斯函数的结果求平均,使得权重的范围在0到1之间。
具体的,根据所有关键点与邻域内其他类别的各个关键点之间的纵向距离确定出各个关键点的第二深度先验权重的计算公式为:
其中,为当前关键点的第二深度先验权重,/>为标准差超参数,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为当前关键点邻域内其它类别关键点的数量,/>表示当前关键点邻域内第/>个关键点的纵坐标,/>为当前关键点邻域内第/>个关键点到当前关键点的合理深度,/>为以自然底数e为底的指数函数。
三、关键点的时间先验权重,该权重表示关键点与邻域内其他类别的关键点的时间距离的合理程度,当关键点与邻域内其它关键点的时间距离(横向距离)都较大时,可认为该关键点的很可能是被错误检测出的虚假关键点,此时该权重接近于0,反之则接近于1,其中该权重可以用多个高斯函数的组合来计算,每个高斯函数的参数是关键点的时间,邻域内其他类别的关键点的时间,和一个标准差,然后对所有的高斯函数的结果求平均,使得权重的范围在0到1之间。
具体的,根据所有关键点与邻域内其他类别的各个关键点之间的横向距离确定出各个关键点的时间先验权重的计算公式为:
其中,为当前关键点的时间先验权重,/>为标准差超参数,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为当前关键点邻域内其它类别关键点的数量,/>为当前关键点邻域内第/>个关键点的横坐标,/>为以自然底数e为底的指数函数。
四、关键点的心动周期先验权重,该权重表示关键点与最近的心动周期的收缩末期时刻或舒张末期时刻的时间距离的合理程度,由于已得知具体的收缩末期时刻/舒张末期时刻(横轴位置),因此对于从属于收缩末期/舒张末期类别的关键点,当关键点与已知的收缩末期时刻/舒张末期时刻的时间差(横向距离)较大时,则该关键点属于有效关键点的概率会较低,此时该权重接近于0,反之则接近于1,该权重可用高斯函数来计算,高斯函数的参数是关键点的时间,最近的心动周期时刻的时间,和一个标准差。
具体的,根据所有关键点与各个心动周期信息中的横坐标之间的横向距离确定出各个关键点的心动周期先验权重的计算公式为:
其中,为当前关键点的心动周期先验权重,/>为标准差超参数,为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为距离当前关键点最近的心动周期信息中收缩末期时刻或舒张末期时刻的横坐标。
更进一步的,在本发明的一个实施例中,根据各个关键点所确定的第一深度先验权重、第二深度先验权重、时间先验权重及心动周期先验权重在所定位的各个关键点中确定出各个关键点的有效概率信息,其计算公式为:
其中,为当前关键点的有效概率信息,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,阈值/>为一个经验参数,/>表示阈值二值化函数,其中/>小于阈值/>时置0,大于阈值/>时不变,/>为当前关键点的概率值,/>为当前关键点的第一深度先验权重,/>为当前关键点的第二深度先验权重,/>为当前关键点的时间先验权重,/>为当前关键点的心动周期先验权重。其中/>的取值为0时表示当前关键点为虚假关键点(也即小于阈值/>),而/>的取值为非零值时表示当前关键点为有效关键点的概率值(也即/>大于阈值/>)。其中/>为当前关键点基于上述各个权重组合计算得到的概率值。
其中,在本发明的一个实施例中,基于上述公式,可以计算得到每个关键点的有效概率信息,也即每个关键点是有效关键点的概率值,然后对剩余关键点做唯一性筛选处理,即一个收缩末期内,只能有最多一个右心室前点,一个室间隔前点,一个室间隔后点,一个左心室后壁前点,一个左心室后壁后点,舒张末期也是同理。对于同一收缩末期/舒张末期内的多个同类别关键点,保留概率值最大的关键点,作为当前时刻的唯一关键点,舍弃其它概率值较低的关键点,从而得到筛选后的有效关键点结果。此时在每个完整心动周期内,收缩末期时刻有五个有效关键点,舒张末期时刻有五个有效关键点。
步骤S50,根据M型超声图像所包含的心动周期信息及所筛选的各个有效关键点匹配出每个心动周期的各个目标关键点,目标关键点为心动周期信息中成对的舒张末期时刻与收缩末期时刻所对应的有效关键点;
其中,在本发明的一个实施例中,由于对于医生而言,一个完整心动周期的左心室运动信息是更有价值的,如本发明实施例中的左心室射血分数测量中,需要获取左心室收缩末期时刻的收缩末期容积以及左心室舒张末期时刻的舒张末期容积,因此通过心动周期信息与筛选后的有效关键点,对关键点继续进行匹配,此时匹配结果只保留完整心动周期的各个目标关键点,而舍弃M型超声图像采集初期或者采集末期的不完整心动周期的关键点。因此可以匹配出多个心动周期下,每个心动周期中成对的舒张末期时刻与收缩末期时刻所对应的有效关键点。
具体实施时,首先根据所分析得到的心动周期信息,确定每个心动周期中的舒张末期时刻和收缩末期时刻;然后根据所筛选得到的有效关键点,找出每个类别的关键点,如右心室前点、室间隔前点、室间隔后点、左心室后壁前点、及左心室后壁后点,且各个关键点都有位置信息和类别信息;然后对每个类别的关键点进行匹配,即找出每个心动周期中成对的舒张末期时刻和收缩末期时刻所对应的有效关键点,对于每个心动周期,按照先舒张末期后收缩末期为一个完整心动周期信息,对各个有效关键点进行匹配,以右心室前点为例,先确定一个心动周期内舒张末期时刻是否存在右心室前点,如果没有,则认为该心动周期无成对的右心室室前点,舍弃该心动周期。如果存在,则继续寻找当前心动周期内收缩末期时刻是否存在右心室前点,如果存在,则可认为匹配成功,此时该心动周期能够在舒张末期时刻与收缩末期时刻都正确识别到具体为右心室前点的有效关键点,如果没有,则认为该心动周期无成对的右心室室前点,舍弃该心动周期。重复上述步骤,对其他类别的关键点也进行匹配,就可以得到每个心动周期的舒张末期时刻和收缩末期时刻的各个目标关键点,其中参照图7所示,其包括有多个心动周期中舒张末期时刻和收缩末期时刻的各个目标关键点。
步骤S60,根据所匹配的每个心动周期的各个目标关键点计算出各个心动周期的左心室射血分数;
其中,在本发明的一个实施例中,左心室射血分数(LVEF)是一种评估左心室收缩功能的指标,其表示每个心动周期中左心室收缩时所排出的血液量占左心室舒张末期的血液量的百分比。其中左心室射血分数的计算公式如下:
其中为左心室射血分数,EDV(end- diastolic volume)为舒张末期容积,即左心室在舒张末期时刻充满的血液量;ESV(end-systolic volume)为收缩末期容积,即左心室在收缩末期时刻剩余的血液量;其中在使用M型超声测量左心室射血分数时,往往不能直接得到舒张末期容积和收缩末期容积的值,而是得到左心室内径(LVID)的值,即左心室在舒张末期时刻和收缩末期时刻的直径,其左心室内径可通过室间隔后点到左心室后壁前点之间线段的纵向距离得到。
往往采用左心室内径(LVID)的值近似换算成舒张末期容积(EDV)与收缩末期容积(ESV),其中换算公式如下:
其中,表示舒张末期的左心室内径,/>表示收缩末期的左心室内径。其中需要指出的是,上述由左心室内径(LVID)换算成舒张末期容积(EDV)与收缩末期容积(ESV)的公式并非是固定的,其中在不同的医院/地区,换算公式可能会有细微的差异,因此该公式是可替换的,其根据实际使用需要进行设置,在此不做具体限定。
其中,由于上述步骤S50匹配出包含多个完整心动周期的各个目标关键点,因此在计算左心室射血分数时,需对每个完整心动周期进行左心室射血分数的计算。
其中,上述根据所匹配的每个心动周期的各个目标关键点计算出各个心动周期的左心室射血分数的步骤包括:
根据所匹配的每个心动周期的各个目标关键点计算出每个心动周期中收缩末期时刻的左心室内径及舒张末期时刻的左心室内径;
根据每个心动周期中收缩末期时刻的左心室内径及舒张末期时刻的左心室内径计算出每个心动周期中的收缩末期容积及舒张末期容积;
根据每个心动周期中的收缩末期容积及舒张末期容积计算出每个心动周期的左心室射血分数。
具体的,根据上述步骤S50匹配出每个心动周期的舒张末期时刻和收缩末期时刻的目标关键点,比如右心室前点,室间隔前点,室间隔后点,左心室后壁前点,左心室后壁后点,其中各个关键点均有位置信息和类别信息。
然后,根据关键点的位置信息,计算出每个心动周期的舒张末期时刻的左心室内径()和收缩末期时刻的左心室内径(/>),其中左心室内径根据上述目标关键点的纵坐标的差值计算得到,具体的舒张末期时刻的左心室内径(/>)由舒张末期时刻的室间隔后点的纵坐标与左心室后壁前点的纵坐标的差值计算得到,收缩末期时刻的左心室内径(/>)由收缩末期时刻的室间隔后点的纵坐标与左心室后壁前点的纵坐标的差值计算得到。
然后,根据上述的换算公式,将舒张末期时刻的左心室内径()和收缩末期时刻的左心室内径(/>)的值换算成舒张末期容积(EDV)与收缩末期容积(ESV)的值,然后再根据上述左心室射血分数的计算公式,得到每个心动周期的左心室射血分数的值,或者对每个心动周期的左心室射血分数进行平均,得到一个总的左心室射血分数的值。
步骤S70,根据所定义的显示方式将M型超声图像、各个心动周期信息、所有关键点、各个有效关键点、各个目标关键点、及各个左心室射血分数进行对应的显示;
其中,在本发明的一个实施例中,根据用户所定义的显示方式将M型超声图像、各个心动周期信息、所有关键点、各个有效关键点、各个目标关键点、及各个左心室射血分数组合得到的综合分析结果进行显示,供用户查看,使得可以大幅提高本发明实施例在临床使用中的可解释性。其中左心室M型超声图像可能包含多个完整心动周期,用户可选择查看某一个心动周期输出的左心室射血分数,还可以查看中间结果,包括M型超声图像所分析得到的各个心动周期信息、初始定位的所有关键点,经筛选后的各个有效关键点,经匹配后的目标关键点,此时这样显示方式对于临床而言是非常重要的,医生在使用自动检测技术时,需要知道自动检测技术做出判断的依据是什么。
例如,该M型超声图像在时间轴上包含四个完整心动周期,但是本发明实施例中最终只输出了其中两个完整心动周期的有效结果,且这两个心动周期的结果有细微误差,首先医生可以选择查看无有效输出的心动周期的中间结果,判断导致最终无有效结果输出的原因是什么(原因可能是探头扫描过程中由于抖动导致的图像缺失/模糊,或者是由于采集图像方式不太标准,导致部分关键点被遮挡等);对于剩余两个心动周期的有效结果,医生可以查看其中间结果,通过关键点定位的位置是否真实,位置是否准确等依据,来决定选择哪个心动周期的结果作为最终输出。其中所显示的方式可由用户自定义,用户可选择只查看最终左心室射血分数的测量结果,也可选择查看完整或者部分的中间结果。
进一步的,在本发明的一个实施例中,该方法还包括:
根据每个心动周期的左心室射血分数输出一个测量结果,其中测量结果包括每个心动周期的左心室射血分数的数值、正常范围、平均值、最大值、最小值、标准差、变异系数等统计信息,以及对测量结果的评价和建议。
在本实施例中,根据每个心动周期的左心室射血分数,利用统计学方法,输出一个测量结果。具体步骤如下:
对每个心动周期的左心室射血分数进行数据清洗,去除异常值和无效值,得到一个有效的左心室射血分数数据集;
根据有效的左心室射血分数数据集,计算出每个心动周期的左心室射血分数的数值、正常范围、平均值、最大值、最小值、标准差、变异系数等统计信息,以表格的形式展示;
根据正常人群的左心室射血分数的分布情况,确定一个正常范围(一般为50%~70%),并根据每个心动周期的左心室射血分数与正常范围的比较,对测量结果进行评价和建议,例如,如果左心室射血分数低于正常范围,提示存在左心室收缩功能不全的可能,建议进一步检查和治疗;如果左心室射血分数在正常范围内,提示心脏功能正常,无需特殊处理。
在本发明实施例中,基于临床操作逻辑,结合M型超声图像包含多个心动周期的特点,将左心室射血分数计算问题转化为多个子问题,通过各种解决方式分别解决各个子问题,其中每个解决方式都能得到部分有效信息,使得可在临床中减少医生的操作时间,减轻医生负担;而通过 可自定义方式的显示,结合上述各个解决方式所得到的部分有效信息,得到最终的测量结果,同时可查看中间结果(也即部分有效信息),使得本发明实施例的输出具备可解释性,同时本发明实施例中输出结果稳定,各个解决方式所得到的部分有效信息与临床逻辑相关,可作为教学示范,让不熟悉操作的医生学习能进行M型超声下左心室射血分数的测量。
综上,本实施例中,通过对M型超声图像进行多个步骤的处理,包括心动周期分析、关键点定位、关键点筛选、关键点匹配、左心室射血分数计算等,从而提高左心室射血分数测量的精度和可靠性,具体的,心动周期分析可以分析出M型超声图像所包含的各个心动周期;而关键点定位可以初步定位出M型超声图像上的各个关键点;而关键点筛选通过结合心动周期信息筛选掉无效虚假的关键点,保留可靠的有效关键点;而关键点匹配可以结合心动周期信息匹配出各个完整心动周期中成对的目标关键点;而左心室射血分数计算通过计算匹配得到的各个目标关键点,使得可以得到精确的左心室射血分数,从而保证结果的可靠性;而通过根据用户定义的显示方式,将M型超声图像、各个心动周期信息、所有关键点、各个有效关键点、各个目标关键点、及各个左心室射血分数进行对应的显示,使得可以查看最终左心室射血分数的测量结果,同时也可查看如心动周期信息、关键点、有效关键点及目标关键点的中间结果,提高在临床使用中的可解释性和可视化效果,解决了现有测量方法输出的结果可靠性不足及可解释性不强的问题。
实施例二
请参阅图2,是本发明第二实施例提供的基于M型超声的左心室射血分数测量系统的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分,该系统包括:
输入模块11,用于获取对目标区域所进行采集的M型超声图像,所述M型超声图像的纵轴为不同组织的深度,横轴为时间;
分析模块12,用于根据所获取的M型超声图像分析出M型超声图像所包含的各个心动周期信息,所述心动周期信息包括收缩末期时刻及舒张末期时刻;
定位模块13,用于根据所获取的M型超声图像定位出M型超声图像上的所有关键点,所述关键点包括位置信息及类别信息;
筛选模块14,用于根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点;
匹配模块15,用于根据M型超声图像所包含的心动周期信息及所筛选的各个有效关键点匹配出每个心动周期的各个目标关键点,所述目标关键点为心动周期信息中成对的舒张末期时刻与收缩末期时刻所对应的有效关键点;
计算模块16,用于根据所匹配的每个心动周期的各个目标关键点计算出各个心动周期的左心室射血分数;
显示模块17,用于根据所定义的显示方式将M型超声图像、各个心动周期信息、所有关键点、各个有效关键点、各个目标关键点、及各个左心室射血分数进行对应的显示。
进一步地,在本发明的一个实施例中,分析模块12包括:
曲线极值计算单元,用于根据所获取的M型超声图像确定出左心室后壁的运动曲线,并对左心室后壁的运动曲线进行求极值处理得到极值信息,所述极值信息包括极值点及所对应的位置信息;
点对构建单元,用于从左至右依次遍历极值信息中的极值点,并按照极大值/极小值的顺序将相邻的两个极值点构成一个点对;
心动周期确定单元,用于根据所有点对所计算的横向距离及纵向距离与对应的预设参数范围确定出各个有效点对,并根据各个有效点对确定出各个心动周期信息,其中有效点对中的极大值所对应的位置信息为舒张末期时刻,有效点对中的极小值所对应的位置信息为收缩末期时刻。
进一步地,在本发明的一个实施例中,所述曲线极值计算单元包括:
像素列获取子单元,用于从左至右依次遍历获取M型超声图像的每一列像素,并对每个像素列进行平滑处理;
像素列阈值处理子单元,用于分别计算平滑处理后的各个像素列的分割阈值,并根据分割阈值对各个像素列进行阈值处理得到各个新像素列;
像素列梯度检测子单元,用于根据梯度检测核对各个新像素列进行卷积处理得到各个新像素列的梯度信息;
左心室后壁位置确定子单元,用于根据各个新像素列中的各个亮带上下边缘的梯度值确定出各个新像素列中的左心室后壁位置,所述亮带为经阈值处理后聚集在一起的连续非零值的像素;
运动曲线构建子单元,用于对各个新像素列中的左心室后壁位置所组成的点集进行平滑处理并相连得到左心室后壁的运动曲线。
进一步地,在本发明的一个实施例中,所述像素列阈值处理子单元用于:
遍历所有的灰度值作为阈值,并计算每个阈值下各个像素列的类间方差;
选择各个像素列中类间方差最大时的灰度值作为各个像素列的分割阈值;
根据各个像素列的分割阈值将各个像素列中小于所对应分割阈值的像素的灰度值置零,得到各个新像素列。
进一步地,在本发明的一个实施例中,所述左心室后壁位置确定子单元用于:
从上至下依次统计各个新像素列中的亮带信息,所述亮带信息包括亮带的个数及每个亮带的像素个数;
在各个新像素列中分别遍历亮带信息中的各个亮带得到每个亮带上边缘及下边缘的梯度值;
根据每个亮带上边缘及下边缘的梯度值的绝对值之和确定出各个亮带的亮带概率值,所述亮带概率值表示各个亮带为左心室后壁亮带的概率;
根据各个新像素列中的所有亮带概率值确定出各个新像素列中亮带概率值最高的亮带为目标亮带;
根据各个新像素列中的目标亮带的位置信息确定出各个新像素列中的左心室后壁位置。
进一步地,在本发明的一个实施例中,定位模块13包括:
局部特征模板建立单元,用于根据已有标注数据集提取所有关键点的局部特征,并基于各个关键点的局部特征为每一类关键点分别建立各自的局部特征模板并进行分类保存;
局部特征提取单元,用于在所获取的M型超声图像上遍历获取各个图像块,并提取各个图像块的局部特征;
局部特征比对单元,用于根据各个图像块的局部特征与所保存的各类局部特征模版的比对,匹配出与局部特征模板的距离小于预设阈值的各个目标图像块;
关键点确定单元,用于根据各个目标图像块的位置信息及所匹配的局部特征模板的类型信息确定出各个关键点的位置信息及类别信息。
进一步地,在本发明的一个实施例中,筛选模块14包括:
第一深度先验权重确定单元,用于根据所有关键点的纵坐标确定出各个关键点的第一深度先验权重;
第二深度先验权重确定单元,用于根据所有关键点与邻域内其他类别的各个关键点之间的纵向距离确定出各个关键点的第二深度先验权重;
时间先验权重确定单元,用于根据所有关键点与邻域内其他类别的各个关键点之间的横向距离确定出各个关键点的时间先验权重;
心动周期先验权重确定单元,用于根据所有关键点与各个心动周期信息中的横坐标之间的横向距离确定出各个关键点的心动周期先验权重;
有效概率信息确定单元,用于根据各个关键点所确定的第一深度先验权重、第二深度先验权重、时间先验权重及心动周期先验权重在所定位的各个关键点中确定出各个关键点的有效概率信息,所述有效概率信息为各个关键点为有效关键点的概率值;
有效关键点筛选单元,用于根据各个关键点的位置信息、类别信息及有效概率信息筛选出各个有效关键点。
进一步地,在本发明的一个实施例中,第一深度先验权重确定单元的计算公式为:
其中,为当前关键点的第一深度先验权重,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为标准差超参数,/>为当前关键点所对应类别的组织结构合理深度,/>为以自然底数e为底的指数函数。
进一步地,在本发明的一个实施例中,第二深度先验权重确定单元的计算公式为:
其中,为当前关键点的第二深度先验权重,/>为标准差超参数,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为当前关键点邻域内其它类别关键点的数量,/>表示当前关键点邻域内第/>个关键点的纵坐标,/>为当前关键点邻域内第/>个关键点到当前关键点的合理深度,/>为以自然底数e为底的指数函数。
进一步地,在本发明的一个实施例中,时间先验权重确定单元的计算公式为:
其中,为当前关键点的时间先验权重,/>为标准差超参数,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为当前关键点邻域内其它类别关键点的数量,/>为当前关键点邻域内第/>个关键点的横坐标,/>为以自然底数e为底的指数函数。
进一步地,在本发明的一个实施例中,心动周期先验权重确定单元的计算公式为:
其中,为当前关键点的心动周期先验权重,/>为标准差超参数,为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为距离当前关键点最近的心动周期信息中收缩末期时刻或舒张末期时刻的横坐标。
进一步地,在本发明的一个实施例中,有效概率信息确定单元的计算公式为:
其中,为当前关键点的有效概率信息,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,阈值/>为一个经验参数,/>表示阈值二值化函数,其中小于阈值/>时置0,大于阈值/>时不变,/>为当前关键点的概率值,/>为当前关键点的第一深度先验权重,/>为当前关键点的第二深度先验权重,/>为当前关键点的时间先验权重,/>为当前关键点的心动周期先验权重。
进一步地,在本发明的一个实施例中,计算模块16包括:
左心室内径计算单元,用于根据所匹配的每个心动周期的各个目标关键点计算出每个心动周期中收缩末期时刻的左心室内径及舒张末期时刻的左心室内径;
容积计算单元,用于根据每个心动周期中收缩末期时刻的左心室内径及舒张末期时刻的左心室内径计算出每个心动周期中的收缩末期容积及舒张末期容积;
左心室射血分数计算单元,用于根据每个心动周期中的收缩末期容积及舒张末期容积计算出每个心动周期的左心室射血分数。
本发明实施例所提供的一种基于M型超声的左心室射血分数测量系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,系统实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例三
本发明另一方面还提出一种基于M型超声的左心室射血分数测量装置,请参阅图3,所示为本发明第三实施例当中的基于M型超声的左心室射血分数测量装置,包括存储器20、处理器10以及存储在存储器20上并可在处理器10上运行的计算机程序30,所述处理器10执行所述计算机程序30时实现如上述的基于M型超声的左心室射血分数测量方法。
其中,处理器10在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器20中存储的程序代码或处理数据,例如执行访问限制程序等。
其中,存储器20至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是基于M型超声的左心室射血分数测量装置的内部存储单元,例如该基于M型超声的左心室射血分数测量装置的硬盘。存储器20在另一些实施例中也可以是基于M型超声的左心室射血分数测量装置的外部存储装置,例如基于M型超声的左心室射血分数测量装置上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,存储器20还可以既包括基于M型超声的左心室射血分数测量装置的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于基于M型超声的左心室射血分数测量装置的应用软件及各类数据,还可以用于暂时地存储已经输出或者将要输出的数据。
需要指出的是,图3示出的结构并不构成对基于M型超声的左心室射血分数测量装置的限定,在其它实施例当中,该基于M型超声的左心室射血分数测量装置可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本发明实施例还提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如前述方法实施例中所述的基于M型超声的左心室射血分数测量方法。
本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种基于M型超声的左心室射血分数测量方法,其特征在于,所述方法包括:
获取对目标区域所进行采集的M型超声图像,所述M型超声图像的纵轴为不同组织的深度,横轴为时间;
根据所获取的M型超声图像分析出M型超声图像所包含的各个心动周期信息,所述心动周期信息包括收缩末期时刻及舒张末期时刻;
根据所获取的M型超声图像定位出M型超声图像上的所有关键点,所述关键点包括位置信息及类别信息;
根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点;
根据M型超声图像所包含的心动周期信息及所筛选的各个有效关键点匹配出每个心动周期的各个目标关键点,所述目标关键点为心动周期信息中成对的舒张末期时刻与收缩末期时刻所对应的有效关键点;
根据所匹配的每个心动周期的各个目标关键点计算出各个心动周期的左心室射血分数;
根据所定义的显示方式将M型超声图像、各个心动周期信息、所有关键点、各个有效关键点、各个目标关键点及各个左心室射血分数进行对应的显示;
所述根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点的步骤包括:
根据所有关键点的纵坐标确定出各个关键点的第一深度先验权重;
根据所有关键点与邻域内其他类别的各个关键点之间的纵向距离确定出各个关键点的第二深度先验权重;
根据所有关键点与邻域内其他类别的各个关键点之间的横向距离确定出各个关键点的时间先验权重;
根据所有关键点与各个心动周期信息中的横坐标之间的横向距离确定出各个关键点的心动周期先验权重;
根据各个关键点所确定的第一深度先验权重、第二深度先验权重、时间先验权重及心动周期先验权重在所定位的各个关键点中确定出各个关键点的有效概率信息,所述有效概率信息为各个关键点为有效关键点的概率值;
根据各个关键点的位置信息、类别信息及有效概率信息筛选出各个有效关键点;
所述根据所有关键点的纵坐标确定出各个关键点的第一深度先验权重的计算公式为:
其中,为当前关键点的第一深度先验权重,/>为当前关键点的横坐标,为当前关键点的纵坐标,/>为标准差超参数,/>为当前关键点所对应类别的组织结构合理深度,/>为以自然底数e为底的指数函数。
2.根据权利要求1所述的基于M型超声的左心室射血分数测量方法,其特征在于,所述根据所获取的M型超声图像分析出M型超声图像所包含的各个心动周期信息的步骤包括:
根据所获取的M型超声图像确定出左心室后壁的运动曲线,并对左心室后壁的运动曲线进行求极值处理得到极值信息,所述极值信息包括极值点及所对应的位置信息;
从左至右依次遍历极值信息中的极值点,并按照极大值/极小值的顺序将相邻的两个极值点构成一个点对;
根据所有点对所计算的横向距离及纵向距离与对应的预设参数范围确定出各个有效点对,并根据各个有效点对确定出各个心动周期信息,其中有效点对中的极大值所对应的位置信息为舒张末期时刻,有效点对中的极小值所对应的位置信息为收缩末期时刻。
3.根据权利要求2所述的基于M型超声的左心室射血分数测量方法,其特征在于,所述根据所获取的M型超声图像确定出左心室后壁的运动曲线的步骤包括:
从左至右依次遍历获取M型超声图像的每一列像素,并对每个像素列进行平滑处理;
分别计算平滑处理后的各个像素列的分割阈值,并根据分割阈值对各个像素列进行阈值处理得到各个新像素列;
根据梯度检测核对各个新像素列进行卷积处理得到各个新像素列的梯度信息;
根据各个新像素列中的各个亮带上下边缘的梯度值确定出各个新像素列中的左心室后壁位置,所述亮带为经阈值处理后聚集在一起的连续非零值的像素;
对各个新像素列中的左心室后壁位置所组成的点集进行平滑处理并相连得到左心室后壁的运动曲线。
4.根据权利要求3所述的基于M型超声的左心室射血分数测量方法,其特征在于,所述分别计算平滑处理后的各个像素列的分割阈值,并根据分割阈值对各个像素列进行阈值处理得到各个新像素列的步骤包括:
遍历所有的灰度值作为阈值,并计算每个阈值下各个像素列的类间方差;
选择各个像素列中类间方差最大时的灰度值作为各个像素列的分割阈值;
根据各个像素列的分割阈值将各个像素列中小于所对应分割阈值的像素的灰度值置零,得到各个新像素列。
5.根据权利要求3所述的基于M型超声的左心室射血分数测量方法,其特征在于,所述根据各个新像素列中的各个亮带上下边缘的梯度值确定出各个新像素列中的左心室后壁位置的步骤包括:
从上至下依次统计各个新像素列中的亮带信息,所述亮带信息包括亮带的个数及每个亮带的像素个数;
在各个新像素列中分别遍历亮带信息中的各个亮带得到每个亮带上边缘及下边缘的梯度值;
根据每个亮带上边缘及下边缘的梯度值的绝对值之和确定出各个亮带的亮带概率值,所述亮带概率值表示各个亮带为左心室后壁亮带的概率;
根据各个新像素列中的所有亮带概率值确定出各个新像素列中亮带概率值最高的亮带为目标亮带;
根据各个新像素列中的目标亮带的位置信息确定出各个新像素列中的左心室后壁位置。
6.根据权利要求1所述的基于M型超声的左心室射血分数测量方法,其特征在于,所述根据所获取的M型超声图像定位出M型超声图像上的所有关键点的步骤包括:
根据已有标注数据集提取所有关键点的局部特征,并基于各个关键点的局部特征为每一类关键点分别建立各自的局部特征模板并进行分类保存;
在所获取的M型超声图像上遍历获取各个图像块,并提取各个图像块的局部特征;
根据各个图像块的局部特征与所保存的各类局部特征模版的比对,匹配出与局部特征模板的距离小于预设阈值的各个目标图像块;
根据各个目标图像块的位置信息及所匹配的局部特征模板的类型信息确定出各个关键点的位置信息及类别信息。
7.根据权利要求1所述的基于M型超声的左心室射血分数测量方法,所述根据所有关键点与邻域内其他类别的各个关键点之间的纵向距离确定出各个关键点的第二深度先验权重的计算公式为:
其中,为当前关键点的第二深度先验权重,/>为标准差超参数,为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为当前关键点邻域内其它类别关键点的数量,/>表示当前关键点邻域内第/>个关键点的纵坐标,/>为当前关键点邻域内第/>个关键点到当前关键点的合理深度,/>为以自然底数e为底的指数函数。
8.根据权利要求1所述的基于M型超声的左心室射血分数测量方法,所述根据所有关键点与邻域内其他类别的各个关键点之间的横向距离确定出各个关键点的时间先验权重的计算公式为:
其中,为当前关键点的时间先验权重,/>为标准差超参数,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为当前关键点邻域内其它类别关键点的数量,/>为当前关键点邻域内第/>个关键点的横坐标,/>为以自然底数e为底的指数函数。
9.根据权利要求1所述的基于M型超声的左心室射血分数测量方法,所述根据所有关键点与各个心动周期信息中的横坐标之间的横向距离确定出各个关键点的心动周期先验权重的计算公式为:
其中,为当前关键点的心动周期先验权重,/>为标准差超参数,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,/>为距离当前关键点最近的心动周期信息中收缩末期时刻或舒张末期时刻的横坐标。
10.根据权利要求1所述的基于M型超声的左心室射血分数测量方法,所述根据各个关键点所确定的第一深度先验权重、第二深度先验权重、时间先验权重及心动周期先验权重在所定位的各个关键点中确定出各个关键点的有效概率信息的计算公式为:
其中,为当前关键点的有效概率信息,/>为当前关键点的横坐标,/>为当前关键点的纵坐标,阈值/>为一个经验参数,/>表示阈值二值化函数,其中/>小于阈值/>时置0,大于阈值/>时不变,/>为当前关键点的概率值,为当前关键点的第一深度先验权重,/>为当前关键点的第二深度先验权重,/>为当前关键点的时间先验权重,/>为当前关键点的心动周期先验权重。
11.根据权利要求1所述的基于M型超声的左心室射血分数测量方法,所述根据所匹配的每个心动周期的各个目标关键点计算出各个心动周期的左心室射血分数的步骤包括:
根据所匹配的每个心动周期的各个目标关键点计算出每个心动周期中收缩末期时刻的左心室内径及舒张末期时刻的左心室内径;
根据每个心动周期中收缩末期时刻的左心室内径及舒张末期时刻的左心室内径计算出每个心动周期中的收缩末期容积及舒张末期容积;
根据每个心动周期中的收缩末期容积及舒张末期容积计算出每个心动周期的左心室射血分数。
12.一种基于M型超声的左心室射血分数测量系统,其特征在于,所述系统包括:
输入模块,用于获取对目标区域所进行采集的M型超声图像,所述M型超声图像的纵轴为不同组织的深度,横轴为时间;
分析模块,用于根据所获取的M型超声图像分析出M型超声图像所包含的各个心动周期信息,所述心动周期信息包括收缩末期时刻及舒张末期时刻;
定位模块,用于根据所获取的M型超声图像定位出M型超声图像上的所有关键点,所述关键点包括位置信息及类别信息;
筛选模块,用于根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点;
所述根据M型超声图像所包含的各个心动周期信息在所定位的所有关键点中筛选出各个有效关键点的步骤包括:
根据所有关键点的纵坐标确定出各个关键点的第一深度先验权重;
根据所有关键点与邻域内其他类别的各个关键点之间的纵向距离确定出各个关键点的第二深度先验权重;
根据所有关键点与邻域内其他类别的各个关键点之间的横向距离确定出各个关键点的时间先验权重;
根据所有关键点与各个心动周期信息中的横坐标之间的横向距离确定出各个关键点的心动周期先验权重;
根据各个关键点所确定的第一深度先验权重、第二深度先验权重、时间先验权重及心动周期先验权重在所定位的各个关键点中确定出各个关键点的有效概率信息,所述有效概率信息为各个关键点为有效关键点的概率值;
根据各个关键点的位置信息、类别信息及有效概率信息筛选出各个有效关键点;
所述根据所有关键点的纵坐标确定出各个关键点的第一深度先验权重的计算公式为:
其中,为当前关键点的第一深度先验权重,/>为当前关键点的横坐标,为当前关键点的纵坐标,/>为标准差超参数,/>为当前关键点所对应类别的组织结构合理深度,/>为以自然底数e为底的指数函数;
匹配模块,用于根据M型超声图像所包含的心动周期信息及所筛选的各个有效关键点匹配出每个心动周期的各个目标关键点,所述目标关键点为心动周期信息中成对的舒张末期时刻与收缩末期时刻所对应的有效关键点;
计算模块,用于根据所匹配的每个心动周期的各个目标关键点计算出各个心动周期的左心室射血分数;
显示模块,用于根据所定义的显示方式将M型超声图像、各个心动周期信息、所有关键点、各个有效关键点、各个目标关键点及各个左心室射血分数进行对应的显示。
13.一种基于M型超声的左心室射血分数测量装置,其特征在于,所述装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行如权利要求1至11任一项所述的基于M型超声的左心室射血分数测量方法。
CN202410031339.1A 2024-01-09 2024-01-09 基于m型超声的左心室射血分数测量方法、系统及装置 Active CN117547306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410031339.1A CN117547306B (zh) 2024-01-09 2024-01-09 基于m型超声的左心室射血分数测量方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410031339.1A CN117547306B (zh) 2024-01-09 2024-01-09 基于m型超声的左心室射血分数测量方法、系统及装置

Publications (2)

Publication Number Publication Date
CN117547306A CN117547306A (zh) 2024-02-13
CN117547306B true CN117547306B (zh) 2024-03-15

Family

ID=89820810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410031339.1A Active CN117547306B (zh) 2024-01-09 2024-01-09 基于m型超声的左心室射血分数测量方法、系统及装置

Country Status (1)

Country Link
CN (1) CN117547306B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745726B (zh) * 2024-02-21 2024-06-07 中国医学科学院北京协和医院 基于经食管超声心动图的左心室射血分数计算方法与装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111557692A (zh) * 2020-04-26 2020-08-21 深圳华声医疗技术股份有限公司 目标器官组织的自动测量方法、超声测量装置及介质
CN116138806A (zh) * 2021-11-22 2023-05-23 深圳迈瑞生物医疗电子股份有限公司 分析心脏射血分数的方法及系统和超声成像系统
CN116869571A (zh) * 2023-09-07 2023-10-13 深圳华声医疗技术股份有限公司 超声心脏反流自动检测评估方法、系统及装置
CN117017347A (zh) * 2023-10-10 2023-11-10 深圳华声医疗技术股份有限公司 超声设备的图像处理方法、系统及超声设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111557692A (zh) * 2020-04-26 2020-08-21 深圳华声医疗技术股份有限公司 目标器官组织的自动测量方法、超声测量装置及介质
CN116138806A (zh) * 2021-11-22 2023-05-23 深圳迈瑞生物医疗电子股份有限公司 分析心脏射血分数的方法及系统和超声成像系统
CN116869571A (zh) * 2023-09-07 2023-10-13 深圳华声医疗技术股份有限公司 超声心脏反流自动检测评估方法、系统及装置
CN117017347A (zh) * 2023-10-10 2023-11-10 深圳华声医疗技术股份有限公司 超声设备的图像处理方法、系统及超声设备

Also Published As

Publication number Publication date
CN117547306A (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
Peng et al. A review of heart chamber segmentation for structural and functional analysis using cardiac magnetic resonance imaging
US9959615B2 (en) System and method for automatic pulmonary embolism detection
US10453191B2 (en) Automated intravascular plaque classification
Jolly Automatic segmentation of the left ventricle in cardiac MR and CT images
US20240346652A1 (en) Flow analysis in 4d mr image data
US8098918B2 (en) Method and system for measuring left ventricle volume
CN110197713B (zh) 一种医疗影像的处理方法、装置、设备和介质
Barbosa et al. Fast and fully automatic 3-d echocardiographic segmentation using b-spline explicit active surfaces: Feasibility study and validation in a clinical setting
US8831311B2 (en) Methods and systems for automated soft tissue segmentation, circumference estimation and plane guidance in fetal abdominal ultrasound images
WO2013088144A1 (en) Probability mapping for visualisation and analysis of biomedical images
CN117547306B (zh) 基于m型超声的左心室射血分数测量方法、系统及装置
US9196049B2 (en) Method and system for regression-based 4D mitral valve segmentation from 2D+t magnetic resonance imaging slices
CN110236544A (zh) 基于相关系数的中风灌注成像病变区域检测系统及方法
US20220301177A1 (en) Updating boundary segmentations
CN113592802B (zh) 一种基于超声图像的二尖瓣环位移自动检测系统
Hennersperger et al. Multi-scale tubular structure detection in ultrasound imaging
CN113112473A (zh) 一种人体扩张型心肌病的自动诊断系统
Mantilla et al. Discriminative dictionary learning for local LV wall motion classification in cardiac MRI
TWI490790B (zh) Dynamic cardiac imaging analysis and cardiac function assessment system
Al-Kadi Spatio-temporal segmentation in 3-D echocardiographic sequences using fractional Brownian motion
TWI548401B (zh) 血管三維結構重建方法
Oghli et al. Left ventricle volume measurement on short axis mri images using a combined region growing and superellipse fitting method
Carmo Image processing in echography and MRI
Lara et al. Supervised learning modelization and segmentation of cardiac scar in delayed enhanced MRI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant