肺部病灶统计属性获取方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种肺部病灶统计属性获取方法、装置、电子设备和存储介质。
背景技术
在肺部疾病的临床诊断和治疗中,通常需要获取患者肺部CT影像中的病灶统计属性,例如病灶的体积,作为辅助诊断或量化评估治疗效果的依据。
然而,目前的人工阅片方式,只能大致估计患者肺部CT影像中的病灶尺寸,且准确性完全依赖于影像科医生的经验,无法给出丰富、准确的病灶统计属性,进而影响后续诊断或治疗效果评估的准确性。
发明内容
本发明实施例提供一种肺部病灶统计属性获取方法、装置、电子设备和存储介质,用以解决现有人工阅片方式无法给出丰富、准确的病灶统计属性的问题。
第一方面,本发明实施例提供一种肺部病灶统计属性获取方法,包括:
提取待分析的肺部CT影像序列中的肺部区域;
确定所述肺部区域中的若干个病灶区域;
基于每一病灶区域在所述肺部CT影像序列的每一层肺部CT影像中的体积,确定所述肺部CT影像序列的病灶统计属性。
可选地,所述基于每一病灶区域在所述肺部CT影像序列的每一层肺部CT影像中的体积,确定所述肺部CT影像序列的病灶统计属性,具体包括:
基于任一病灶区域在所述肺部CT影像序列的任一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定所述任一层肺部CT影像中所述任一病灶区域的体积;
基于每一层肺部CT影像中所述任一病灶区域的体积,确定所述任一病灶区域的单病灶统计属性;
基于每一病灶区域的单病灶统计属性,确定所述病灶统计属性。
可选地,所述基于每一病灶区域在所述肺部CT影像序列的每一层肺部CT影像中的体积,确定所述肺部CT影像序列的病灶统计属性,具体包括:
基于所述肺部区域的肺叶分割信息、每一病灶区域在所述肺部CT影像序列的每一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定所述肺部CT影像序列的病灶统计属性;
其中,所述肺叶分割信息是基于所述肺部区域,以及患者进入CT设备的体位信息确定的。
可选地,所述患者进入CT设备的体位信息的获取方法,具体包括:
获取所述肺部CT影像序列中包含的检查体位信息;
和/或,基于所述肺部CT影像序列中的肺尖端、肺底端和脊柱,确定患者的形态学体位信息;所述形态学体位信息包括肺尖端和肺底端出现的先后顺序,以及脊柱与肺部区域的相对位置;
基于所述检查体位信息和/或所述形态学体位信息,确定所述患者进入CT设备的体位信息。
可选地,所述确定所述肺部区域中的若干个病灶区域,具体包括:
将所述肺部区域分别输入至病灶区域检测模型和病灶区域分割模型,得到所述病灶区域检测模型输出的病灶区域检测框,以及所述病灶区域分割模型输出的病灶分割结果;
若所述病灶分割结果中包含病灶掩膜,则基于所述病灶掩膜,确定病灶区域;否则基于所述病灶区域检测框,确定病灶区域。
可选地,所述确定所述肺部区域中的若干个病灶区域,之前还包括:
对所述肺部区域进行血管分割,去除所述肺部区域中的血管区域。
可选地,所述确定所述肺部区域中的若干个病灶区域,之后还包括:
基于用户反馈的补充修正信息,在所述肺部CT影像序列中定位感兴趣区域,基于所述感兴趣区域确定新增的病灶区域;
和/或,基于用户反馈的删除修正信息,在所述肺部CT影像序列中定位虚警区域,并删除所述虚警区域内的病灶区域。
可选地,所述基于用户反馈的补充修正信息,在所述肺部CT影像序列中定位感兴趣区域,基于所述感兴趣区域确定新增的病灶区域,具体包括:
基于所述感兴趣区域,确定所述感兴趣区域对应的三维区域块;
将所述三维区域块输入至三维病灶分割模型,得到所述三维病灶分割模型输出的病灶区域,并将所述三维病灶分割模型输出的病灶区域作为新增的病灶区域。
第二方面,本发明实施例提供一种肺部病灶统计属性获取装置,包括:
肺部区域提取单元,用于提取待分析的肺部CT影像序列中的肺部区域;
病灶区域确定单元,用于确定所述肺部区域中的若干个病灶区域;
病灶统计属性确定单元,用于基于每一病灶区域在所述肺部CT影像序列的每一层肺部CT影像中的体积,确定所述肺部CT影像序列的病灶统计属性。
第三方面,本发明实施例提供一种电子设备,包括处理器、通信接口、存储器和总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信,处理器可以调用存储器中的逻辑命令,以执行如第一方面所提供的方法的步骤。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种肺部病灶统计属性获取方法、装置、电子设备和存储介质,基于每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的体积,确定肺部CT影像序列的多种类型的病灶统计属性,实现了准确且多样化的肺部病灶量化分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的肺部病灶统计属性获取方法的流程示意图;
图2为本发明实施例提供的病灶统计属性计算方法的流程示意图;
图3为本发明实施例提供的体位信息获取方法的流程示意图;
图4为本发明实施例提供的病灶区域修正方法的流程示意图;
图5为本发明又一实施例提供的病灶统计属性获取方法的流程示意图;
图6为本发明实施例提供的肺部病灶统计属性获取装置的结构示意图;
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在肺部疾病的临床诊断和治疗中,通常需要获取患者肺部CT(ComputedTomography,电子计算机断层扫描)影像中的病灶统计属性,例如单一病灶的体积、所有病灶的总体积或病灶的体积占比等,作为辅助诊断或量化评估治疗效果的依据。
然而,目前一般采用人工阅片方式识别肺部CT影像中的病灶,仅能根据影像科医生的经验知识,大致估计患者肺部CT影像中的病灶尺寸,给出的检测结果单一,且估计出的病灶尺寸准确度欠佳、精度也不足,无法真实反应当前患者肺部病灶的统计属性,进一步影响了后续诊断或治疗效果评估的准确性。
对此,本发明实施例提供了一种肺部病灶统计属性获取方法。图1为本发明实施例提供的肺部病灶统计属性获取方法的流程示意图,如图1所示,该方法包括:
步骤110,提取待分析的肺部CT影像序列中的肺部区域。
具体地,首先获取CT设备拍摄的肺部CT影像序列,其中肺部CT影像序列中包括了患者肺部多个不同层的肺部横断面CT影像。一次CT检查中,通常会拍摄多个肺部CT影像序列,例如薄层影像序列和厚层影像序列,部分检查还会包括增强序列。并且,在相同层厚的影像序列中,还包含了不同重建算法生成的CT影像,其中,重建算法包括标准算法和骨算法等。因此,可以根据实际需求,从多个肺部CT影像序列中筛选出合适的肺部CT影像序列,作为待分析的肺部CT影像序列。
可选地,考虑到薄层影像相较于厚层影像,图像空间分辨率更高,更有助于检测微小病灶,因此为了准确分割出肺部的病灶,可以筛选出薄层影像序列作为待分析的肺部CT影像序列。另外,对比标准算法和骨算法等重建算法,标准算法更能体现肺部病灶的特点,因此也可以筛选出标准算法生成的CT影像组成待分析的肺部CT影像序列。
然后,提取待分析的肺部CT影像序列中的肺部区域。此处,可以将待分析的肺部CT影像序列输入至预先训练好的肺部区域识别模型中,得到肺部区域识别模型输出的肺部区域。其中,肺部区域识别模型可以采用连通成分分析、轮廓查找、面积筛查等多种方法中的任意一种或多种方法的结合,提取出肺部CT影像序列中的肺部区域,本发明实施例对此不作具体限定。
步骤120,确定肺部区域中的若干个病灶区域。
具体地,基于提取出的肺部区域,分割出肺部区域中的病灶区域。其中,病灶区域的数量为一个或多个,且单一病灶区域可能会跨越多层肺部CT影像。
可选地,可以将肺部区域输入至病灶分割模型中,得到病灶分割模型输出的病灶区域。例如,可以采用U-net模型、RCNN(Regions with CNN features)模型、Fast-RCNN模型或者Mask-RCNN模型等构建病灶分割模型,本发明实施例对此不作具体限定。在此基础上,还可以结合传统的图像分割方式,例如基于阈值的分割方法、基于区域的分割方法或者基于边缘检测的分割方法,进一步提高病灶区域分割的准确性。
步骤130,基于每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的体积,确定肺部CT影像序列的病灶统计属性。
此处,肺部CT影像序列的病灶统计属性可以包括基于每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的体积得到的全肺病灶总体积、全肺病灶体积占比、左肺病灶体积、右肺病灶体积、左肺病灶体积占比、右肺病灶体积占比、任一肺叶内病灶体积以及任一肺叶内病灶体积占比;还可以包括基于任一病灶区域在肺部CT影像序列的每一层肺部CT影像中的像素点数得到的该病灶区域的平均密度。
由于一个病灶区域可能会跨越多层肺部CT影像,因此为了得到该病灶区域的相关属性,例如该病灶区域的体积或者平均密度,需要综合考虑该病灶区域在肺部CT影像序列的每一层肺部CT影像中的病灶像素的相关信息。其中,对于任一病灶区域,基于该病灶区域在肺部CT影像序列的每一层肺部CT影像中的病灶像素点数,能够确定该病灶区域包含的像素总数,再加上各病灶像素点的密度值,即可确定该病灶区域的平均密度;基于该病灶区域在肺部CT影像序列的每一层肺部CT影像中的体积,可以累加得到该病灶区域的体积。
另外,由于每一层肺部CT影像的层厚或者层间距非常小,例如3mm或者1mm,因此对于某个病灶区域,可以将肺部CT影像序列的任一层肺部CT影像中的该病灶区域视为一个直柱体,从而将计算该病灶区域在任一层肺部CT影像中的体积,转换为计算该直柱体的体积。基于该病灶区域在每一层肺部CT影像中的病灶像素点数、像素间距,以及每一层肺部CT影像的层厚、层间距或者层厚与层间距之间的较小值,确定每层肺部CT影像中该病灶区域对应的直柱体的底面积和高,进而计算得到直柱体的体积,即该病灶区域在每一层肺部CT影像中的体积。
在确定每个病灶区域的体积和/或平均密度后,可以得到肺部CT影像序列的病灶统计属性。当病灶统计属性包括全肺病灶总体积时,可以将所有病灶区域的体积进行累加,得到全肺病灶总体积。当病灶统计属性包括全肺病灶体积占比时,可以求取全肺病灶总体积与全肺体积的比例,作为全肺病灶体积占比。其中,可以基于待分析的肺部CT影像序列中的肺部区域,采用与任一病灶区域体积计算方法相同的方式计算全肺体积。以此类推,也可以得到左肺病灶体积、右肺病灶体积、左肺病灶体积占比、右肺病灶体积占比、任一肺叶内病灶体积或者任一肺叶内病灶体积占比等其他病灶统计属性。当病灶统计属性包括任一病灶区域的平均密度时,直接获取该病灶区域的平均密度即可。
本发明实施例提供的方法,基于每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的体积,确定肺部CT影像序列的多种类型的病灶统计属性,实现了准确且多样化的肺部病灶量化分析。
在此基础上,将量化的病灶统计属性与医生在病历中对病灶的描述相比对,能够快速检测病历的质量;对同种肺部疾病的不同患者的病灶统计属性进行归纳分析,能够获取该肺部疾病所体现出的病灶统计属性,进而帮助人们了解该种肺部疾病病灶的特性;对比同一患者不同时期的肺部CT影像序列对应的病灶统计属性,能够跟踪肺部病灶在不同时期的演化状态,从而帮助人们了解该肺部病灶的演化规律。
需要说明的是,本发明实施例提供的方法,是以肺部CT影像序列为对象,获取肺部CT影像序列的病灶统计属性,而非以患者本人为对象。并且,本发明实施例提供的方法,目的是对病灶进行量化统计,且最终得到的病灶统计属性,是用于快速检测病历的质量、帮助人们了解该种肺部疾病病灶的特性、或者帮助人们了解肺部病灶的演化规律,而非以获得疾病诊断结果或健康状况为直接目的。因此,本发明实施例提供的方法,不属于疾病的诊断方法。
基于上述实施例,图2为本发明实施例提供的病灶统计属性计算方法的流程示意图,如图2所示,步骤130具体包括:
步骤131,基于任一病灶区域在肺部CT影像序列的任一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定该层肺部CT影像中该病灶区域的体积。
具体地,由于每一层肺部CT影像的层厚或者层间距非常小,例如3mm或者1mm,因此对于某个病灶区域,可以将肺部CT影像序列的任一层肺部CT影像中的该病灶区域视为一个直柱体,从而将计算该病灶区域在任一层肺部CT影像中的体积,转换为计算该直柱体的体积。在计算该直柱体的体积时,可以基于该病灶区域在肺部CT影像序列的该层肺部CT影像中的病灶像素点数、像素间距,计算该直柱体的底面积,再将层厚、层间距或者层厚与层间距间的较小值作为高,计算底面积与高的乘积,得到该直柱体的体积,即该层肺部CT影像中该病灶区域的体积。
步骤132,基于每一层肺部CT影像中该病灶区域的体积,确定该病灶区域的单病灶统计属性。
具体地,由于该病灶区域可能跨越了多层肺部CT影像,因此,可以将每一层肺部CT影像中该病灶区域的体积进行累加,得到该病灶区域的总体积,进而得到该病灶区域的单病灶统计属性。其中,单病灶统计属性包括任一病灶区域的总体积、任一病灶区域与全肺的体积占比、任一病灶区域与左肺的体积占比、任一病灶区域与右肺的体积占比或者任一病灶区域与任一肺叶的体积占比中的至少一种。
当单病灶统计属性包括任一病灶区域的体积时,累加该病灶区域在每一层肺部CT影像中的体积。其中,可以基于该病灶区域在任一层肺部CT影像中的病灶像素点数及像素间距,得到底面积,将层厚与层间距间的较小值作为高,再利用直柱体的体积计算方式得到该病灶区域在该层肺部CT影像中的体积。例如,可以采用如下公式计算得到任一病灶区域的体积:
其中,该病灶区域共跨越了T层肺部CT影像。“PixelSpacing”即DICOM Tag“(0028,0030)Pixel Spacing”像素间距对应的值。该值代表了像素与像素之间的物理间距,单位为毫米。PixelSpacing.X为像素之间的水平间距,PixelSpacing.Y为像素之间的垂直间距。“SliceThickness”即DICOM Tag“(0018,0050)Slice Thickness”层厚对应的值,单位为毫米,SliceThicknesst则为第t层的层厚,t∈[1,T]。“SliceLocation”即DICOM Tag“(0020,1041)Slice Location”层位置对应的值,单位为毫米,SliceLocationt则为第t层的层位置。“MIN”表示取最小值。“|SliceLocationt+1-SliceLocationt|”表示取第t+1层和第t层的层间距。nt是第t层肺部CT影像中该病灶区域的像素点数。
上述公式中,基于病灶区域在每一层肺部CT影像中的像素点数,利用DICOM Tag中记载的像素间距、层厚以及层间距,可以精确地计算出病灶区域在每一层肺部CT影像中对应的直柱体的体积,从而提高累加得到病灶区域体积的精确性。另外,虽然目前的CT设备大多能够保证拍摄的肺部CT影像的层厚较小,但是仍存在部分老旧CT设备,其拍摄的肺部CT影像的层厚较大,使得层间距小于层厚,导致连续拍摄的肺部CT影像序列中,相邻层的肺部CT影像中的病灶区域存在部分重合。因此,为了避免重复计算病灶区域重合部分的体积,取层厚与层间距间的较小值作为病灶区域在每一层肺部CT影像中对应的直柱体的高,从而提高病灶区域体积计算的准确性。
步骤133,基于每一病灶区域的单病灶统计属性,确定病灶统计属性。
具体地,可以将每一病灶区域的单病灶统计属性进行累加,得到对应的病灶统计属性。例如,当单病灶统计属性包括任一病灶区域的总体积时,将所有病灶区域的总体积相加,可以得到全肺病灶总体积,将左肺中包括的病灶区域的总体积相加,可以得到左肺病灶体积,将右肺中包括的病灶区域的总体积相加,可以得到右肺病灶体积,将任一肺叶中包括的病灶区域的总体积相加,可以得到该肺叶内病灶体积。又例如,当单病灶统计属性包括任一病灶区域与全肺的体积占比时,将所有病灶区域与全肺的体积占比相加,可以得到全肺病灶体积占比。以此类推,也可以得到左肺病灶体积占比、右肺病灶体积占比或者任一肺叶内病灶体积占比。
基于上述任一实施例,该方法中,步骤130具体包括:
基于肺部区域的肺叶分割信息、每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定肺部CT影像序列的病灶统计属性;其中,肺叶分割信息是基于肺部区域,以及患者进入CT设备的体位信息确定的。
具体地,可以基于肺部区域的肺叶分割信息,加上每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定任一肺叶内病灶体积或者任一肺叶内病灶体积占比。此处,肺叶分割信息包括分割得到的各个肺叶区域。进一步地,由于左肺被一个斜裂分为左上肺叶和左下肺叶,而右肺则被一个水平裂和一个斜裂分为右上肺叶、右中肺叶和右下肺叶,即整个肺部包含“左二右三”五个肺叶,因此还可以基于肺叶分割信息,识别出肺部区域的左肺区域和右肺区域,并在基础上,结合每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定左肺病灶体积、右肺病灶体积、左肺病灶体积占比或者右肺病灶体积占比。
进一步地,基于每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,可以计算得到每一病灶区域的体积。在此基础上,结合肺部区域的肺叶分割信息,可以确定任一肺叶中所包含的病灶区域,进而通过累加该肺叶包含的病灶区域的体积,得到任一肺叶内病灶体积;或者结合基于肺叶分割信息得到的左肺区域和右肺区域,确定左肺或者右肺中所包含的病灶区域,进而通过累加左肺或右肺包含的病灶区域的体积,得到左肺病灶体积或右肺病灶体积。若需要确定任一肺叶内病灶体积占比、左肺病灶体积占比或右肺病灶体积占比,则可以分别求取该肺叶内病灶体积与该肺叶体积的比例、左肺病灶体积与左肺体积的比例或者右肺病灶体积与右肺体积的比例。其中,可以基于肺叶分割信息中该肺叶对应的区域、左肺区域或右肺区域,采用与任一病灶区域体积计算方法相同的方式分别计算该肺叶体积、左肺体积或右肺体积。
另外,为了获取肺部区域的肺叶分割信息,可以将肺部区域输入至肺叶分割模型中,得到肺叶分割模型输出的各个肺叶区域,即肺叶分割信息。其中,肺叶分割模型通过识别肺叶间裂的方式确定肺部区域中的各个肺叶区域。然而,肺叶分割模型输出的各个肺叶区域可能存在分割错误。为了避免因分割错误导致得到错误的肺叶分割信息,进而得到不准确的病灶统计属性,需要对肺叶分割模型的输出结果进行确认。考虑到肺叶分布符合“左二右三”的规则,若能正确区分左肺和右肺,进而判断肺叶分割模型输出的各个肺叶区域是否符合“左二右三”的规则,则能确认肺叶分割模型输出结果是正确的。
因此,可以基于患者进入CT设备的体位信息,区分肺部CT影像中肺部区域的左肺和右肺,对肺叶分割模型输出的各个肺叶区域进行确认,以得到正确的肺叶分割信息。其中,患者进入CT设备的体位信息包括患者进入CT设备时是俯位或仰位,以及患者是头先进CT设备或是脚先进入CT设备。
例如,若患者以头先进入CT设备仰位的体位进入CT设备,则可以判断CT影像的肺部区域中的左侧为左肺,右侧为右肺;若患者以脚先进入CT设备仰位的体位进入CT设备,则可以判断CT影像的肺部区域中的右侧为左肺,左侧为右肺;患者以头先进入CT设备俯位的体位进入CT设备,则可以判断CT影像的肺部区域中的右侧为左肺,左侧为右肺;患者以脚先进入CT设备俯位的体位进入CT设备,则可以判断CT影像的肺部区域中的左侧为左肺,右侧为右肺。假设根据患者进入CT设备的体位信息,判断得知CT影像的肺部区域中的左侧为左肺,右侧为右肺,而肺叶分割模型输出的各个肺叶区域中,左侧有两个肺叶区域,右侧有三个肺叶区域,则能确认肺叶分割模型输出的结果是正确的。
本发明实施例提供的方法,基于肺部区域,以及患者进入CT设备的体位信息确定得到正确的肺叶分割信息,并基于肺叶分割信息、每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定肺部CT影像序列的病灶统计属性,进一步提高了病灶统计属性的准确性。
基于上述任一实施例,图3为本发明实施例提供的体位信息获取方法的流程示意图,如图3所示,该方法具体包括:
步骤1301,获取肺部CT影像序列中包含的检查体位信息。
具体地,CT检查拍摄的CT影像为DICOM(Digital Imaging and Communicationsin Medicine,医学数字成像和通信)影像。其中,DICOM影像的数据包含了患者基本信息、检查信息、设备信息等相关数据,且一般以“(GroupID,ElementID)Value”的方式存储。此处,“(GroupID,ElementID)”即DICOM Tag,GroupID和ElementID分别为组号和元素号,Value为DICOM Tag对应的值。下表示例性地列出了部分DICOM影像的DICOM Tag及其描述信息。
Group |
Element |
Tag Description |
中文描述 |
0010 |
0010 |
Patient’s Name |
患者姓名 |
0010 |
0040 |
Patient’s Sex |
患者性别 |
0008 |
0020 |
Study Date |
检查日期 |
0008 |
0015 |
Body Part Examined |
检查的部位 |
0018 |
5100 |
Patient’s Position |
患者体位 |
0028 |
0030 |
Pixel Spacing |
像素间距 |
0018 |
0050 |
Slice Thickness |
层厚 |
0020 |
1041 |
Slice Location |
层位置 |
7FE0 |
0010 |
Pixel Data |
像素信息 |
因此可以根据DICOM影像数据中DICOM Tag为(0018,5100)对应的值,得到患者的检查体位信息。其中,若值为HFP(head first-prone),代表头先进入CT设备俯位;若值为HFS(head first-supine),代表头先进入CT设备仰位;若值为FFP(feet first-prone),代表脚先进入CT设备俯位;若值为FFS(feet first-supine),代表脚先进入CT设备仰位。
和/或,步骤1302,基于肺部CT影像序列中的肺尖端、肺底端和脊柱,确定患者的形态学体位信息;形态学体位信息包括肺尖端和肺底端出现的先后顺序,以及脊柱与肺部区域的相对位置。
具体地,考虑到摄片技师可能会操作失误,导致配置到DICOM影像数据中的患者体位信息与实际检查时的体位信息不一致,因此还可以基于肺部CT影像序列中的肺尖端、肺底端和脊柱,确定患者的形态学体位信息,其中,形态学体位信息包括肺尖端和肺底端出现的先后顺序,以及脊柱与肺部区域的相对位置。进一步地,可以通过肺尖端和肺底端的形态学特征匹配,识别出肺部CT影像中的肺尖端和肺底端,进而可以得到肺尖端和肺底端在肺部CT影像序列中出现的先后顺序。另外,可以通过脊柱的形态学特征匹配识别出肺部CT影像中的脊柱。同时,由于脊柱为骨实质,其HU(Hounsfiled Unit,韩森费尔德单位)值较高,因此还可以选取合适的阈值,将脊柱与周围的组织区分开,进一步提高脊柱的识别准确率。识别出肺部CT影像中的脊柱后,即可确定脊柱与肺部区域的相对位置,从而得到完整的形态学体位信息。
步骤1303,基于检查体位信息和/或形态学体位信息,确定患者进入CT设备的体位信息。
具体地,当仅执行步骤1301不执行步骤1302时,直接将检查体位信息作为患者进入CT设备的体位信息。当仅执行步骤1302不执行步骤1301时,基于形态学体位信息,确定患者进入CT设备的体位信息。进一步地,基于脊柱与肺部区域的相对位置,可以确定患者是以仰位或是俯位进入CT设备;基于肺尖端和肺底端出现的先后顺序,可以确定患者是头先进入CT设备或是脚先进入CT设备。当既执行步骤1301,也执行步骤1302时,可以将两种方式得到的体位信息进行相互印证,得到准确的患者进入CT设备的体位信息。
本发明实施例提供的方法,基于DICOM影像中存储的检查体位信息,和/或形态学特征匹配得到的包含肺尖端和肺底端出现的先后顺序以及脊柱与肺部区域的相对位置的形态学体位信息,确定患者进入CT设备的体位信息,提高了患者进入CT设备体位信息的准确度,有助于提高肺叶分割的准确度。
基于上述任一实施例,该方法中,步骤120具体包括:
将肺部区域分别输入至病灶区域检测模型和病灶区域分割模型,得到病灶区域检测模型输出的病灶区域检测框,以及病灶区域分割模型输出的病灶分割结果;若病灶分割结果中包含病灶掩膜,则基于病灶掩膜,确定病灶区域;否则基于病灶区域检测框,确定病灶区域。
具体地,病灶区域检测模型用于对肺部区域进行病灶检测,并输出包围病灶的边界框(bounding box),即病灶区域检测框。病灶分割模型用于对肺部区域进行实例分割,将病灶区域从背景中分割出来并输出病灶掩膜。病灶分割模型相较于病灶区域检测模型,不仅能检测出病灶的边界框,还能将病灶区域完整分割,得到仅包括病灶区域的病灶掩膜,而病灶区域检测框中仍会存在部分非病灶像素点。
因此,若病灶区域分割模型输出的病灶分割结果中包含病灶掩膜,则优先基于病灶掩膜,确定病灶区域,以提高病灶区域的精确度。然而,由于病灶并非规则形状,且存在边界十分模糊的情况,因此可能存在病灶分割模型无法分割出边界模糊的病灶所对应的病灶掩膜的问题。此时,则基于病灶区域检测模型输出的病灶区域检测框,确定病灶区域,以弥补病灶区域分割模型在上述情况下无法分割病灶掩膜的缺陷。
另外,CT影像是一种特殊的3D图像,因此无论是病灶区域检测模型,还是病灶区域分割模型,均需要确定包围病灶的3D边界框。2D卷积仅能在某个平面抽取特征,而3D卷积的卷积核可在三维空间中遍历,得到三维空间特征,对病灶具备更强的表征能力,因此病灶区域检测模型和病灶区域分割模型均以3D卷积为基础单元。然而,在表征能力提升的同时,3D卷积也带来了运算量的增长,因此,为了保证模型的训练效率和应用的实时性,通过降低3D卷积层的通道数、增大空间池化层的步长来满足效率的需求。
本发明实施例提供的方法,将肺部区域输入至病灶区域检测模型和病灶区域分割模型中,以确定病灶区域,利用病灶区域检测模型和病灶区域分割模型相互补充,弥补两个模型各自的不足,在保证能够确定出病灶区域的情况下,提高病灶区域的精确度。
对于肺部炎症、纤维化病症或者肺结节造成的肺部病灶,一般会呈现高密度状态,即HU值较高。然而,由于每层肺部CT影像中包含有大量组织、脏器等,例如皮肤、肌肉、脊柱、肺、肺内血管组织和心脏等,即使在提取了肺部区域后,肺部区域内仍保留有大量的肺内血管组织,而肺内血管组织本身的HU值也相对较高。因此,肺部区域内的血管组织会干扰病灶区域的检测,导致肺部病灶分割或检测模型错误地将血管组织视为病灶区域,从而影响后续获取得到的病灶属性的准确率。
对此,基于上述任一实施例,在步骤120之前,对肺部区域进行血管分割,去除肺部区域中的血管区域。
具体地,虽然肺内血管呈现错综复杂的树型结构,且管径在20μm至15mm范围内变化,但是肺内血管不论粗细,都会呈现一种中空的管状结构,且血管在纵向方向上是连续的,因此可以通过形态学特征匹配方法识别和分割出肺部区域中的血管。可选地,可以基于血管具有细长、管状、树状分布的形状特点构建血管几何模型,再利用血管几何模型检测和分割血管;也可以利用基于水平集的分割方法、分水岭分割方法或基于Hessian矩阵特征值的分割方法等方式分割肺内血管,本发明实施例对此不作具体限定。
此外,考虑到肺内血管因内部充盈血液总体上显示高密度影,即HU值较高,且肺内血管的HU值较稳定,不会出现大的波动。因此,在上述血管分割方法的基础上,还可以结合基于HU值的阈值分割方法,以更准确地分割出肺部区域内的血管。
分割出肺部区域内的血管后,便可将肺部区域内的血管区域去除。
本发明实施例提供的方法,在分割并去除肺部区域内的血管后,再进行肺部病灶的检测和分割,能够降低肺内血管带来的干扰,提升病灶分割的准确率,提高肺部病灶分割的DICE系数(Dice coefficient)。
由于CT影像的质量欠佳,给图像处理带来了很大挑战。尤其对于某些微小病灶,利用上述图像检测、分割的方式仍然会存在检测、分割错误或者漏掉病灶的情形。
对此,基于上述任一实施例,图4为本发明实施例提供的病灶区域修正方法的流程示意图,如图4所示,在步骤120之后还包括:
步骤1201,基于用户反馈的补充修正信息,在肺部CT影像序列中定位感兴趣区域,基于感兴趣区域确定新增的病灶区域;
和/或,步骤1202,基于用户反馈的删除修正信息,在肺部CT影像序列中定位虚警区域,并删除虚警区域内的病灶区域。
具体地,用户通过删除病灶的方式删除步骤120确定的病灶区域中的虚警区域,和/或,添加补充修正信息,以补充步骤120所遗漏的病灶区域。此处,补充修正信息用于指示待新增的病灶区域的大致位置,删除修正信息用于指示待删除的虚警区域的大致位置。进一步地,用户可通过人机交互接口触发半自动勾画。若用户需要进行补充修正,则可以触发ROI(Region Of Interest,感兴趣区域)菜单,通过鼠标单击或者左键拖拽的方式获得ROI的代表性像素点或者代表性区域,作为用户反馈的补充修正信息。基于ROI的代表性像素点或者代表性区域,可以在肺部CT影像序列中定位感兴趣区域,并基于感兴趣区域确定新增的病灶区域。若用户需要进行删除修正,则可以勾画出需要删除的区域,作为用户反馈的删除修正信息。基于用户勾画的待删除区域,在肺部CT影像序列中定位虚警区域,并删除虚警区域内的病灶区域。
需要说明的是,可以仅执行步骤1201,也可以仅执行步骤1202,还可以既执行步骤1201,又执行步骤1202,本发明实施例对此不作具体限定。
本发明实施例提供的方法,基于用户反馈的补充修正信息,和/或删除修正信息,补充修正遗漏的病灶区域,和/或删除虚警病灶区域,提高了病灶区域的准确性,有助于提高后续确定的病灶统计属性的准确性。
基于上述任一实施例,该方法中,步骤1201具体包括:
基于感兴趣区域,确定感兴趣区域对应的三维区域块;将三维区域块输入至三维病灶分割模型,得到三维病灶分割模型输出的病灶区域,并将三维病灶分割模型输出的病灶区域作为新增的病灶区域。
具体地,基于感兴趣区域,根据事先对大量病灶区域进行统计分析得到的尺寸信息,确定感兴趣区域对应的三维区域块(Patch)的三维坐标值。随即,将三维区域块输入至三维病灶分割模型。三维病灶分割模型对输入的三维区域块进行三维病灶分割,输出分割得到的三维病灶区域,并将其作为新增的病灶区域。其中,三维病灶分割模型可以采用U-Net分割网络构建得到。
基于上述任一实施例,图5为本发明又一实施例提供的病灶统计属性获取方法的流程示意图,如图5所示,该方法包括:
步骤510,获取CT设备拍摄的多个肺部CT影像序列,筛选出合适的肺部CT影像序列,作为待分析的肺部CT影像序列。
步骤520,提取待分析的肺部CT影像序列中的肺部区域。
步骤530,确定肺部区域中的若干个病灶区域,然后基于用户反馈的补充修正信息和/或删除修正信息,新增病灶区域和/或删除病灶区域。
步骤540,基于肺部区域,以及患者进入CT设备的体位信息确定肺叶分割信息,其中患者进入CT设备的体位信息是基于肺部CT影像序列中包含的检查体位信息,和/或基于患者的形态学体位信息确定的。
需要说明的是,本发明实施例不对步骤530和步骤540的执行顺序作具体限定,步骤530可以在步骤540之前或之后执行,也可以与步骤540同步执行。
步骤550,基于肺部区域的肺叶分割信息、每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定肺部CT影像序列的病灶统计属性。
其中,病灶统计属性包括全肺病灶总体积、全肺病灶体积占比、左肺病灶体积、右肺病灶体积、左肺病灶体积占比、右肺病灶体积占比、任一肺叶内病灶体积和任一肺叶内病灶体积占比。需要说明的是,若某一个病灶区域横跨多个肺叶,在计算任一肺叶内病灶体积和任一肺叶内病灶体积占比时,将该病灶区域进行分割,仅计算该病灶区域在该肺叶中的体积或体积占比。
另外,还可以通过逐像素点累加求平均值的方式,计算得到任一病灶区域的平均密度,具体计算公式可以如下式所示:
其中,该病灶区域包括N个像素点,HUn表示该病灶区域中第n个像素点的HU值,n∈[1,N]。像素点的HU值可以从DICOM Tag“(7FE0,0010)Pixel Data”对应的值获取。考虑到病灶区域的平均密度相对于正常区域的平均密度更高,基于统计得到的各个病灶区域的平均密度,可以更直观地了解到该肺部疾病的病灶在平均密度上表现出来的特性。另外,病灶区域的密度越高,表明此病灶区域对应的病情可能越严重。因此,统计任一病灶区域的平均密度,有助于人们更直观地了解病灶区域的病情发展状况和演化规律。
基于上述任一实施例,图6为本发明实施例提供的肺部病灶统计属性获取装置的结构示意图,如图6所示,该装置包括肺部区域提取单元610、病灶区域确定单元620和病灶统计属性确定单元630。
其中,肺部区域提取单元610用于提取待分析的肺部CT影像序列中的肺部区域;
病灶区域确定单元620用于确定肺部区域中的若干个病灶区域;
病灶统计属性确定单元630用于基于每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的体积,确定肺部CT影像序列的病灶统计属性。
本发明实施例提供的装置,基于每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的体积,确定肺部CT影像序列的多种类型的病灶统计属性,实现了准确且多样化的肺部病灶量化分析。
基于上述任一实施例,病灶统计属性确定单元630具体用于:
基于任一病灶区域在肺部CT影像序列的任一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定该层肺部CT影像中该病灶区域的体积;
基于每一层肺部CT影像中该病灶区域的体积,确定该病灶区域的单病灶统计属性;
基于每一病灶区域的单病灶统计属性,确定病灶统计属性。
基于上述任一实施例,病灶统计属性确定单元630具体用于:
基于肺部区域的肺叶分割信息、每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定肺部CT影像序列的病灶统计属性;其中,肺叶分割信息是基于肺部区域,以及患者进入CT设备的体位信息确定的。
本发明实施例提供的装置,基于肺部区域,以及患者进入CT设备的体位信息确定得到正确的肺叶分割信息,并基于肺叶分割信息、每一病灶区域在肺部CT影像序列的每一层肺部CT影像中的病灶像素点数、像素间距以及层厚和/或层间距,确定肺部CT影像序列的病灶统计属性,进一步提高了病灶统计属性的准确性。
基于上述任一实施例,患者进入CT设备的体位信息的获取方法,具体包括:
获取肺部CT影像序列中包含的检查体位信息;
和/或,基于肺部CT影像序列中的肺尖端、肺底端和脊柱,确定患者的形态学体位信息;形态学体位信息包括肺尖端和肺底端出现的先后顺序,以及脊柱与肺部区域的相对位置;
基于检查体位信息和/或形态学体位信息,确定患者进入CT设备的体位信息。
本发明实施例提供的装置,基于DICOM影像中存储的检查体位信息,和/或形态学特征匹配得到的包含肺尖端和肺底端出现的先后顺序以及脊柱与肺部区域的相对位置的形态学体位信息,确定患者进入CT设备的体位信息,提高了患者进入CT设备体位信息的准确度,有助于提高肺叶分割的准确度。
基于上述任一实施例,病灶区域确定单元620具体用于:
将肺部区域分别输入至病灶区域检测模型和病灶区域分割模型,得到病灶区域检测模型输出的病灶区域检测框,以及病灶区域分割模型输出的病灶分割结果;若病灶分割结果中包含病灶掩膜,则基于病灶掩膜,确定病灶区域;否则基于病灶区域检测框,确定病灶区域。
本发明实施例提供的装置,将肺部区域输入至病灶区域检测模型和病灶区域分割模型中,以确定病灶区域,利用病灶区域检测模型和病灶区域分割模型相互补充,弥补两个模型各自的不足,在保证能够确定出病灶区域的情况下,提高病灶区域的精确度。
基于上述任一实施例,在确定肺部区域中的若干个病灶区域之前,还包括:
对肺部区域进行血管分割,去除肺部区域中的血管区域。
本发明实施例提供的装置,在分割并去除肺部区域内的血管后,再进行肺部病灶的检测和分割,能够降低肺内血管带来的干扰,提升病灶分割的准确率,提高肺部病灶分割的DICE系数。
基于上述任一实施例,该装置还包括病灶区域修正单元640。病灶区域修正单元640具体用于:
基于用户反馈的补充修正信息,在肺部CT影像序列中定位感兴趣区域,基于感兴趣区域确定新增的病灶区域;
和/或,基于用户反馈的删除修正信息,在肺部CT影像序列中定位虚警区域,并删除虚警区域内的病灶区域。
本发明实施例提供的装置,基于用户反馈的补充修正信息,和/或删除修正信息,补充修正遗漏的病灶区域,和/或删除虚警病灶区域,提高了病灶区域的准确性,有助于提高后续确定的病灶统计属性的准确性。
基于上述任一实施例,基于用户反馈的补充修正信息,在肺部CT影像序列中定位感兴趣区域,基于感兴趣区域确定新增的病灶区域,具体包括:
基于感兴趣区域,确定感兴趣区域对应的三维区域块;将三维区域块输入至三维病灶分割模型,得到三维病灶分割模型输出的病灶区域,并将三维病灶分割模型输出的病灶区域作为新增的病灶区域。
图7为本发明实施例提供的电子设备的结构示意图,如图7所示,该设备可以包括:处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740,其中,处理器710,通信接口720,存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑命令,以执行如下方法:提取待分析的肺部CT影像序列中的肺部区域;确定所述肺部区域中的若干个病灶区域;基于每一病灶区域在所述肺部CT影像序列的每一层肺部CT影像中的体积,确定所述肺部CT影像序列的病灶统计属性。
此外,上述的存储器730中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:提取待分析的肺部CT影像序列中的肺部区域;确定所述肺部区域中的若干个病灶区域;基于每一病灶区域在所述肺部CT影像序列的每一层肺部CT影像中的体积,确定所述肺部CT影像序列的病灶统计属性。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。