具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。显然,所描述的实施例仅仅是本发明一些示例或实施例,对于本领域普通技术人员来讲,在没有作出创造性劳动的前提下,还可以根据这些实施例和附图所获得的所有其他实施例,以及根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本发明的说明书和权利要求书及附图中的所使用的“系统”、“装置”、“单元”和/或“模组”系用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。本发明所示的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
除非上下文明确提示例外情形,本发明所示的“一”、“一个”、“一种”和/或“该”等词并非特指单个,也可包括多个。一般来讲,术语“包括”与“具有”以及它们的变形,仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含没有清楚地列出或这些方法或设备所固有的其他步骤或元素。
图6示意了本发明的一种图像重建设备的结构示意图,该图像重建设备包括图像采集设备61和计算机设备62。其中,图像采集设备61用于扫描待测试对象以获得待处理图像数据,其可以包括但不限于为PET系统、PET-CT系统、PET-MR系统等图像采集设备。计算机设备62用于对待处理图像数据进行运算处理,其可为台式电脑、笔记本、平板电脑等电子产品。该计算机设备62还包括存储器和处理器,存储器存储有计算机程序,处理器执行所述计算机程序时实现本发明的图像重建方法。计算机设备62可以包括输入装置、显示器以及与外界通信和信号传递的接口。
目前,在图像重建过程中,虽然基于蒙特卡洛模拟法对大统计量的湮灭光子数量进行校正,具有还原度高且校正精准,被认为是散射校正方法中的金标准。但是由于所统计的湮灭光子数量越多,其计算结果的误差就越小进而可获得较好的校正数据,但是其也需要消耗大量的计算资源及时间,受到低计算机运算能力的应用限制,同时也难以满足临床扫描对扫描时间的限制要求。为了解决该技术问题,本发明提供一种图像重建方法、装置、设备及存储介质。
图1示意了本发明的一实施例的图像重建方法的流程图,本发明的图像重建方法可以应用于图6所示的图像重建设备。如图1所示,该方法可以包括:
S102,获取待测试对象的成像数据。
在本发明实施例中,待测试对象例如可为人、动物或物体。成像数据可为通过图像采集设备获取到待测试对象的检测区域或检测部位的检测数据。该图像采集设备可以具体为PET系统、PET-CT系统、PET-MR系统等。
以PET系统为例,在被探测物体进行扫描前,给被探测物体含有放射性核素的示踪剂,示踪剂在被探测物体内会经过衰变产生正电子,衰变后所产生的正电子与邻近的电子相遇时会发生正负电子对湮灭反应,从而生成一对飞行方向相反、能量相同的511KeV伽玛(γ)光子,这一对γ光子由一对PET探测器在确定时间窗内采集到时,产生一个事件标记,称为符合事件。此时,成像数据可为PET系统扫描所探测到的符合事件所对应的数据,这里简称符合数据。通常,符合事件可分为真符合事件、散射符合事件和随机符合事件;相应的,成像数据可以具体包括真符合数据、散射数据和随机数据。
S104,基于所述成像数据生成放射图像。
在本发明实施例中,该放射图像为未做校正的放射图像。通过对成像数据进行图像重建,得到成像数据所对应的未做校正的放射图像。由于未做校正的放射图像中包含了很多干扰成分,无法准确反映示踪剂的定位信息,需要做进一步校正或降噪处理。
S106,生成所述放射图像对应的高噪声散射弦图。
在本发明的实施例中,可以通过蒙特卡洛模拟算法对放射图像进行处理,得到高噪声散射弦图。此时,高噪声散射弦图为采用低统计量的湮灭光子数量进行校正处理所对应的散射弦图。
蒙特卡洛模拟计算结果的噪声大小与计算统计量有关,计算统计量越大其对应的噪声越小,计算统计量越小其对应的噪声越大。
举例而言,在蒙特卡洛模拟计算中,若采用低计算统计量(示例的,可为1~10千万个湮灭事件所对应的计算量),计算中所采用的湮灭光子个数就越少,噪声也越大,进而经过蒙卡处理的散射弦图为高噪声散射弦图。相反,若采用高计算统计量(示例的,可为10~100亿个湮灭事件所对应的计算量),计算中所采用的湮灭光子个数就越多,噪声也越小,进而得到低噪声散射弦图。虽然,采用高计算统计量所得到的低噪声弦图,但是由于其计算量大需要消耗大量的计算资源及时间,受到低计算机运算能力的应用限制,同时也难以满足临床扫描对扫描时间的限制要求。
散射弦图的噪声大小还可以通过空间中不同位置处原始湮灭光子数之间的偏差来确定。具体的,通常通过统计空间中不同位置处湮灭光子个数之间的相对偏差来判断高噪声弦图或低噪声弦图,对于放射源分布均匀的物体,如果空间中不同位置处原始湮灭光子数之间的偏差小于5%,则认为获得低噪声散射弦图,反之则认为高噪声散射弦图。
示例性的,基于蒙特卡洛模拟算法,生成所述放射图像对应的高噪声散射弦图的步骤,可以包括:
S1061,获取所述成像数据所对应的衰减图。
由于CT扫描仪是基于待测试对象不同部位对X射线吸收不等的特性,将X射线穿过被测对象,探测待测试对象中不同部位吸收X射线后的衰减值的总和,得到对应的扫描图像。如此,可通过CT扫描仪对待测试对象进行扫描,得到成像数据对应的衰减图。
S1062,基于所述衰减图,对所述放射图像进行蒙特卡洛模拟处理,得到所述高噪声散射弦图。
利用CT扫描仪所获得的衰减图以及上述未做校正的放射图像,使用现有的蒙特卡洛模拟算法进行处理,得到对应的高噪声散射弦图。
为了获得高噪声散射弦图,针对蒙卡模拟算法,我们可以预设一个较低的计算统计量,基于CT扫描仪所获取的衰减图,对放射图进行蒙特卡洛模拟处理,直至达到该预设的低计算统计量(示例的,可以为1~10千万个湮灭事件所对应的计算量),即得到高噪声散射弦图。
示例的,蒙特卡洛模拟处理可通过蒙特卡洛模拟工具实现,该蒙特卡洛模拟工具可以包括EGSnrc、MCNP、Geant4、DPM、VMC、VMC++或者其他蒙特卡洛模拟工具,以及其他的基于蒙特卡洛原理设计的模拟工具。
当然,在其他实施例中,还可以通过例如解析建模法、源调制法等其它算法进行散射校正处理,得到对应的高噪声散射图像。
S108,基于经训练的优化模型对所述高噪声散射弦图进行处理,得到低噪声散射弦图。
优化模型可以包括基于金标准弦图和预设网络经过训练得到的模型。该预设网络可以为深度学习的网络,具体网络结构可以为全卷积网络(v-net、u-net等)、生成对抗网络(pix2pix、WGAN等)、循环网络、普通深度神经网络和深度信念网络中的至少一种。
示例的,该深度学习网络为全卷积网络,例如v-net、u-net等网络。通过以金标准弦图作为训练目标,高噪声散射弦图作为训练样本,对全卷积网络进行训练,得到经过训练的优化模型。之后,将高噪声散射弦图作为模型输入,基于经过训练的优化模型,对高噪声散射弦图进行散射分布准确度的优化处理,得到对应的低噪声散射弦图。
上述模型训练过程将在后面进行详细论述。
S110,基于所述低噪声散射弦图对所述成像数据进行重建,得到目标图像。
在本发明实施例中,将低噪声散射弦图插值到原始成像数据对应的采样空间,然后利用重建算法进行图像重建,得到目标图像。该重建算法包括但不限于为有序子集期望最大化重建算法(OSEM算法)、最大似然期望最大化算法(MLEM算法)、滤波反投影重建算法(FBP算法)等。
若所述图像采集设备为PET-CT系统,其对应的目标图像为PET图像。若所述图像采集设备为PET系统等其它系统,其对应的目标图像可以做适配调整。
在一可选的实施方式中,为了获得更准确的目标图像,所述基于所述低噪声散射弦图对所述成像数据进行重建,得到目标图像的步骤,可以包括:
S1101,基于所述低噪声散射弦图对所述成像数据进行处理,得到更新的放射图像。
具体的,针对低噪声散射弦图利用重建算法进行图像重建,以此得到更新的放射图像。此步骤的图像重建针对于低噪声散射弦图,可以是低分辨的快速图像重建。
该重建算法包括但不限于为有序子集期望最大化重建算法(OSEM算法)、最大似然期望最大化算法(MLEM算法)、滤波反投影重建算法(FBP算法)等。
S1102,基于所述更新的放射图像,迭代地获取所述待测试对象对应的高噪声散射弦图和低噪声散射弦图。
具体的,将更新的放射图像作为新的放射图像,重复步骤S106和S108,迭代得到待测试对象对应的高噪声散射弦图和低噪声散射弦图。
S1103,基于达到迭代结束条件时所得到的低噪声散射弦图对所述成像数据进行重建,得到目标图像。
该迭代结束条件包括但不限于为目标迭代次数、迭代运算时长以及迭代过程中所得的散射校正弦图的图像质量等。
示例的,若迭代结束条件为目标迭代次数。可以预先设置一个图像重建的目标迭代次数,该图像重建的目标迭代次数包括但不限于为2~20,例如可为3~8次。当迭代次数达到该目标迭代次数,获取此时的低噪声散射弦图。将该低噪声散射弦图对成像数据进行重建,得到目标图像。此步骤中的重建过程是为了获得目标医学图像,其可以是慢速、高分辨率的图像重建。
此步骤中的重建算法可为有序子集期望最大化重建算法(OSEM算法)、最大似然期望最大化算法(MLEM算法)、滤波反投影重建算法(FBP算法)等。
本发明的图像重建方法,基于经训练的优化模型对高噪声散射弦图进行处理,得到低噪声散射弦图,再基于训练得到的低噪声散射弦图进行图像重建,得到目标图像。由于采用低统计量的高噪声散射弦图并结合机器学习,对高噪声散射弦图进行处理得到低噪声散射弦图,基于低噪声散射弦图对成像数据进行重建,使得重建的目标图像的准确度高,加快了图像重建速度,大大缩短了重建耗时,可满足临床PET扫描对扫描时间的限制要求。
图2示意了本发明的另一实施例的图像重建方法的流程图,本发明的图像重建方法可以应用于图6所示的图像重建设备。如图2所示,该方法可以包括:
S202,获取待测试对象的成像数据。
S204,基于所述成像数据,生成符合计数弦图和延迟符合计数弦图。
该符合计数弦图是基于符合数据所对应的弦图。延迟符合计数弦图是基于随机数据所对应的弦图。示例的,该符合计数弦图可以基于获取的待测试对象在符合事件窗中的符合数据所生成的;该延迟符合计数弦图可以基于获取的在延迟时间窗中的数据所生成的。
S206,将所述符合计数弦图和延迟符合计数弦图进行相减,得到真符合计数弦图。
将符合计数弦图和延迟符合计数弦图进行相减处理,得到去除了随机数据的真符合计数弦图。该真符合计算弦图包括真符合事件和散射符合事件。
S208,基于所述真符合计数弦图,生成所述放射图像。
在本发明实施例中,该放射图像为真符合计数弦图重建得到的放射图像。
S210,生成所述放射图像对应的高噪声散射弦图。
S212,基于经训练的优化模型,对所述真符合计数弦图与所述高噪声散射弦图进行处理,得到低噪声散射弦图。
通过以金标准弦图作为训练目标,高噪声散射弦图和真符合计数弦图作为训练样本,对全卷积网络进行训练,得到经过训练的优化模型。基于该优化模型和真符合计数弦图,对高噪声散射弦图散射分布准确度的优化处理,得到对应的低噪声散射弦图。
在本发明一实施例中,在步骤S212之前,还可以包括:
S211,将所述真符合计数弦图与所述高噪声散射弦图进行连接,得到连接弦图。
具体的,可以将所述真符合计数弦图与所述高噪声散射弦图沿着“通道”维度进行连接在一起,得到连接弦图。
在进行弦图连接步骤之前,还可对真符合计数弦图与高噪声散射弦图分别进行标准化处理,得到经过标准化处理的真符合计数弦图与高噪声散射弦图,之后将经过标准化处理的真符合计数弦图与高噪声散射弦图进行连接,得到连接弦图。其中标准化处理可采用如下公式(1)进行:
其中,μ为图像的灰度均值,σ为图像的标准差,I为标准处理前的弦图,I'为经过标准化处理后的弦图。
通过上述公式(1),可得到经过标准化处理后的真符合计数弦图I'real与经过标准换处理的高噪声散射弦图I'high,将I'real和I'high进行连接,得到作为模型输入的连接弦图。
此时,步骤S212可以具体为:
S212’,基于所述经训练的优化模型,对所述连接弦图进行处理,得到低噪声散射弦图。
通过以金标准弦图作为训练目标,高噪声散射弦图和连接弦图作为训练样本,对全卷积网络进行训练,得到经过训练的优化模型。之后,将连接弦图作为模型输入,基于经过训练的优化模型,对高噪声散射弦图进行散射分布准确度的优化处理,得到对应的低噪声散射弦图。
可选地,所述基于所述经训练的优化模型,对所述连接弦图进行处理,得到低噪声散射弦图的步骤,可以包括:
S2121’,将所述连接弦图输入至所述经训练的优化模型中,得到预测的低噪声散射弦图。
S2122’,对预测的低噪声散射弦图进行线性变换处理,得到低噪声散射弦图。
线性变换处理是基于金标准弦图的灰度均值μgt,标准差σgt对预测的低噪声散射弦图进行的处理。线性变换处可以采用如下公式(2)进行:
Ilow=I'pre*σgt+μgt (2)
其中,μgt为金标准弦图的灰度均值,σgt为金标准弦图的标准差,I'pre为预测的低噪声散射弦图,Ilow为低噪声散射弦图。
S214,基于所述低噪声散射弦图对所述成像数据进行重建,得到目标图像。
上述步骤S202~S214的具体内容可参见上述实施例,为了减少篇幅,在此不再赘述。
本发明的图像重建方法,由于在机器学习过程中,结合了真符合计数弦图与高噪声散射弦图对低噪声散射弦图优化处理,试验证明,引入真符合计数弦图可获得更好的优化效果,所获得的低噪声散射弦图的质量越高。这是由于真符合计数弦图中包含了全部的散射信息,其可以弥补高噪声散射弦图在处理过程中的散射信息丢失的问题而导致的优化过程的难度,起到良好的辅助作用,可以更顺畅的完成图像重建工作。
图3示意了本发明的又一实施例的图像重建方法的部分流程图。如图3所示,所述基于所述低噪声散射弦图对所述成像数据进行重建,得到目标图像的步骤,可以包括:
S302,对所述低噪声散射弦图进行统计缩放,得到散射校正弦图。
统计缩放是为了使散射校正弦图与真符合计数弦图的统计保持一致。散射校正弦图是对真符合计数弦图中散射事件分布的估计。为了便于后续重建过程中对散射校正弦图和真符合计数弦图进行处理,需要使得两者的统计量相匹配,如此,可通过直接扣除或迭代去除的方式消除散射事件的影响。
作为一种示例,上述统计缩放的步骤可以包括:通过计算所得的低噪声散射弦图,与真符合计数弦图总计数作比,所得的比值即所需缩放系数。基于所需缩放系数,对低噪声散射弦图进行统计缩放,得到散射校正弦图。
作为另一种示例,上述统计缩放的步骤可以包括:可以将计算所得低噪声散射弦图与真符合计数弦图做线性最小二乘法拟合,基于拟合参数对低噪声散射弦图进行统计缩放,得到散射校正弦图。
此外,为了保证散射弦图的准确性,除了进行统计缩放处理外,还可基于成像数据中的几何数据以及散射弦图中的几何数据,对散射弦图的分布位置进行几何校正处理。
S304,基于所述散射校正弦图,对所述成像数据进行处理,得到更新的放射图像。
具体的,针对散射校正弦图利用重建算法进行图像重建,以此得到更新的放射图像。此步骤的图像重建针对于低噪声散射弦图,其采用的是快速、低分辨率的图像重建。
S306,基于所述更新的放射图像,迭代地获取所述待测试对象对应的高噪声散射弦图、低噪声散射弦图和散射校正弦图。
具体的,将更新的放射图像作为新的放射图像,重复步骤S106和S108,迭代得到待测试对象对应的高噪声散射弦图、低噪声散射弦图和散射校正弦图。
S308,基于达到迭代结束条件时所得到的散射校正弦图对所述成像数据进行重建,得到目标图像。
该迭代结束条件包括但不限于为目标迭代次数、迭代运算时长以及迭代过程中所得的散射校正弦图的图像质量等。
示例的,若迭代结束条件为目标迭代次数。可以预先设置一个图像重建的目标迭代次数,该图像重建的目标迭代次数包括但不限于为2~20,例如可为3~8次。当迭代次数达到该目标迭代次数,获取此时的散射校正弦图。将该散射校正弦图对成像数据进行重建,得到目标图像。此步骤中的重建过程是为了获得目标医学图像,其可以是慢速、高分辨率的图像重建。
此步骤中的重建算法可为有序子集期望最大化重建算法(OSEM算法)、最大似然期望最大化算法(MLEM算法)、滤波反投影重建算法(FBP算法)等。
本发明实施例的图像重建方法,通过增加统计缩放处理和迭代操作,在保证高重建速度的前提下,可进一步提高重建后的图像质量。
对于本发明实施例的图像重建方法与上述图像重建方法的实施例中,相同或相应的技术特征以及有益效果,在此并不作具体赘述。
为了便于理解,以下对本发明提供的图像重建方法进行详细介绍,图4示意了本发明一实施例的图像重建方法的简要流程图。如图4所示,本发明的图像重建方法包括以下流程:
S401,获取待测试对象的成像数据;
S402,基于成像数据,获得真符合计数弦图;
S403,基于真符合计数弦图,获得放射图;
S404,基于衰减图和放射图,采用蒙特卡洛模拟算法,得到高噪声散射弦图;
S405,基于金标准弦图和经训练的优化模型,通过深度学习对所述高噪声散射弦图进行处理,得到低噪声散射弦图;
S406,对低噪声散射弦图进行统计缩放处理,得到散射校正弦图;
S407,基于所述散射校正弦图,对所述成像数据进行处理,得到更新的放射图像;
S408,判断是否达到目标迭代次数,若否,进入步骤S403进行迭代;若是,则进入下一步;
S409,获取满足目标迭代次数所对应的最终的散射校正弦图;
S410,基于最终的散射校正弦图,对所述成像数据进行处理,得到目标图像。
以上步骤S401~S410的详细内容和有益效果可参见以上实施例,为了减少篇幅,在此不再赘述。
在一种实施例中,下面详细介绍优化模型的训练过程。本发明的优化模型可以包括采用下述方式训练得到:
S502,基于样本的真符合计数弦图、样本的高噪声散射弦图以及样本的金标准弦图,得到预设网络的输入数据。
样本可以为与待测试对象类似的模型,例如人体模型,当然也可为其他可行的样本。样本的真符合计数弦图可采用上述类似的方法进行得到,即获取样本的成像数据,之后对基于成像数据获取样本对应的符合计数弦图和延迟符合计数弦图做相减处理,得到样本的真符合计数弦图。样本的金标准弦图是用传统的蒙特卡洛模拟算法,经过高统计量模拟得到的。样本的高噪声散射弦图为采用上述所述的低统计量的蒙特卡洛模拟所得到的散射弦图。也即,样本的金标准弦图是样本的高噪声散射弦图所对应的低噪声弦图。
设样本的数量为N个,如此将获得N个样本的真实符合计数弦图、样本的金标准弦图和样本的高噪声散射弦图作为样本训练集,并作为预设网络的输入数据。
当然,在作为预设网络的输入数据之前,还可以对样本训练集进行标准化处理,之后将标准化处理的训练数据作为模型的输入数据。
S504,采用网络训练优化器以及循环学习率的训练方式,对所述预设网络进行训练,得到所述优化模型。
(1)预设网络的构建
预设网络可为深度学习网络,具体可为例如v-net、u-net等全卷积网络、例如pix2pix、WGAN等生成对抗网络。
下面以u-net网络作为预设网络为例进行说明。图7示意了本发明一实施例的优化模型的网络结构图。本发明对u-net网络进行了改进,得到改进的u-net网络。图7中的“conv”是指卷积,“bn”是指批量归一化,“relu”是指relu函数。“residual block”是指残差块。“max pooling”是指最大池化层,其用于对上一层输出进行池化操作,池化操作为将输入进行降采样的最大池化。“dropblock”是指正规化方法模块;“transpose conv”是指反卷积。“skip connection”是指跳层连接,其用于组合各层次特征,使得图像细节信息得以恢复。“long residual connection”是指长残差连接。是指相加操作;“X2”是指连续两次操作。
改进的u-net网络包括输入层、第一卷积层、残差块、池化层、反卷积层、第二卷积层和输出层。第一卷积层中包括两个第一卷积单元,每个第一卷积单元包括conv、bn和relu结构。残差块(residual block)是通过将输入分别进行第一卷积单元后进行相加操作所得到的。残差块的使用能够使网络重复利用特征,并避免网络参数梯度消失,从而更好的收敛。本发明实施例从输入到输出过程中的残差块的个数为8个,并添加了长残差连接,使得网络直接学习高噪声散射弦图与低噪声散射弦图的差值,保证网络的快速收敛。当然,在其他实施例中,残差块的个数可适当增加或减少。最大池化层(max pooling)用于对上一层输出进行池化操作,池化操作为将输入进行降采样的最大池化。跳层连接(skip connection)能够组合各层次特征,使得图像细节信息得以恢复。为了避免网络过拟合,使得训练的模型具有更好的泛化能力,网络结构采用了卷积神经网络正则化方法:dropblock,其不同于传统的防止过拟合方法dropout,dropblock通过随机抑制特征图(feature map)上的连续块来泛化网络的表达能力,从而使得测试图像能够重建的质量更高。为了能够使得重建加速效果明显,本发明实施例采用较窄的深度网络,即网络中特征图数较少,同时网络中尽可能的使用1x1的卷积过滤器(filter)。
(2)预设网络的训练过程
2.1裁剪
对标准化之后上述模型的输入数据(样本的真符合计数弦图、样本的高噪声散射弦图和样本的金标准弦图)分别进行裁剪,且保证这三幅图的裁剪的位置一一对应。裁剪的大小需要满足网络要求和图像维度的任意固定尺寸;示例性的,裁剪大小可以为[64,64,5]。
2.2连接
在本实施例,对输入数据做2.5D处理并连接。该2.5D处理指的是N张真符合计数弦图的图像切面(2D slice)和的N张高噪声散射弦图的图像切面(2D slice)对应金标准弦图的1张图像切面(2D slice),沿着通道维度进行连接。其中,该N值为奇数。
示例性的,2.5D处理具体可以是5张真符合计数弦图的图像切面(5张z方向连续的图像切面,大小为[64,64,5])和5张高噪声散射弦图的图像切面(5张z方向连续的图像切面,大小为[64,64,5])对应金标准弦图的1张图像切面(大小为[64,64,1]),沿着通道维度进行连接。所以网络输入可以表示为[64,64,10],对应的金标准弦图可以表示为[64,64,1]。
2.3模型训练
在模型训练过程中,网络训练优化器可以包括Adam优化器和/或SGD+Momentum优化器。在本发明实施例中,网络训练优化器选择Adam优化器和SGD+Momentum优化器。
具体的,先使用Adam优化器进行第一轮的网络训练,训练完成后将训练的模型的参数作为第二轮SGD+Momentum优化器训练的初始参数,这使得模型训练能够快速收敛且具有更强的网络表达能力。本发明采用了两种优化器对模型分别进行训练,如此可实现快速收敛、以及收敛至更好的局部最小值且具有更好的泛化能力。
关于网络训练学习率的选择,结合了所选择的两个优化器,采用了两种技术选择训练过程中的最佳学习率,即学习率范围测试(LR Range Test)和循环学习率(Cyclelearning rate)。
具体的,在Adam优化器训练阶段,首先采用学习率范围测试(LR Range Test)的技术选择最佳学习率。这个方法可以描述为:首先将学习率设置为一个很小的值,接着将模型和数据简单的迭代几次,每次迭代完成后增加学习率,并记录每次的训练损失loss;然后绘制学习率范围测试图,一般理想的学习率范围测试图包含三个区域:第一个区域学习率太小损失基本不变,第二个区域损失减小收敛很快,最后一个区域学习率太大以至于损失开始发散。则最佳学习率可以确定为学习率范围测试图中的最低点所对应的学习率。
在SGD+Momentum优化器训练阶段,采用一种循环学习率的训练方式,具体做法可描述为:通过学习率范围测试找到最佳学习率,并确定合适的最大的学习率和最小的学习率(最佳学习率在两者之间);从最小学习率开始,随着迭代的增加慢慢增大学习率,直到最大的学习率,接着从最大的学习率开始随着迭代的增加慢慢减小学习率,直到最小的学习率,这样一个由最小学习率到最大学习率再回到最小学习率的过程为1个循环。循环学习率的使用可以使得网络跳出窄的局部最优值,收敛到更宽的局部最优值,使得网络具有更好的泛化能力。实际使用中,可以根据训练的迭代次数设置任意个循环,保证网络的训练效果。
由于要重建出较高质量的低噪声散射弦图以及避免重建图像过于平滑,所以选择L1loss作为深度网络训练的损失函数。
训练阶段完成,得到最终的训练模型,即为经训练的优化模型。利用优化模型进行图像重建。
需要说明的是,训练过程中的优化器的选择和学习率选择方式并不限于以上所给出的,还可替换为其他常用的优化器和学习率选择方式。
图8分别示意了采用不同图像处理方法所得到的图像。其中,图8A是基于低计算统计量的蒙特卡洛模拟计算得到的散射弦图;图8B是由PET探测系统测量所得的表征真实弦图数据的真符合计数弦图;图8C是本发明的基于高噪声散射弦图和优化模型所得的散射弦图;图8D是基于传统的蒙特卡洛模拟算法(高计算统计量)所得的散射弦图。
图8A和图8C所得到散射弦图均采用低计算统计量的蒙特卡洛模拟计算得到,计算量少,然而由图可见,图8C所得到的散射弦图的噪声显然低于图8A所得到的散射弦图的噪声。因此,相比于直接采用低统计量的蒙特卡洛模拟计算得到散射弦图(图8A),本发明的基于高噪声散射弦图和优化模型所得的散射弦图(图8C)更适合进行后续的图像重建。
比较图8C和图8D可知,图8C所得到的散射弦图的图像噪声接近图8D所得到的散射弦图的图像噪声。然而,由于图8D是基于传统的蒙特卡洛模拟算法,经统计,采用传统的蒙特卡洛模拟算法耗时至少为采用低计算统计量的计算耗时的100倍。因此,相比于基于传统的蒙特卡洛模拟算法得到散射弦图(图8D),本发明的基于高噪声散射弦图和优化模型所得的散射弦图(图8C)的耗时更短,如此可加快图像重建速度。
由此可见,采用本发明的基于高噪声散射弦图和优化模型所得的的低噪声散射弦图,不仅可获得较低的噪声,图像质量好,而且计算量少、耗时短,可满足临床PET扫描对扫描时间的限制要求。
图5示意了本发明的一实施例的图像重建装置的结构示意图。如图5所示,该装置可以包括:
获取模块510,用于获取待测试对象的成像数据;
放射图生成模块520,用于基于所述成像数据生成放射图像;
散射弦图生成模块530,用于生成所述放射图像对应的高噪声散射弦图;
优化模块540,用于基于经训练的优化模型,对所述高噪声散射弦图进行处理,得到低噪声散射弦图;
重建模块550,用于基于所述低噪声散射弦图对所述成像数据进行重建,得到目标图像。
在本发明一些实施例中,所述散射弦图生成模块还可以包括:
第一获取子模块,用于获取所述成像数据所对应的衰减图;
第一生成子模块,用于基于所述衰减图,对所述放射图像进行蒙特卡洛模拟处理,得到所述高噪声散射弦图。
在本发明一些实施例中,所述重建模块可以包括:
第一更新子模块,用于基于所述低噪声散射弦图对所述成像数据进行处理,得到更新的放射图像;
第二获取子模块,用于基于所述更新的放射图像,迭代地获取所述待测试对象对应的高噪声散射弦图和低噪声散射弦图;
第一重建子模块,用于基于达到迭代结束条件时所得到的低噪声散射弦图对所述成像数据进行重建,得到目标图像。
在本发明一些实施例中,所述放射图生成模块还可以包括:
弦图生成子模块,用于基于所述成像数据,生成符合计数弦图和延迟符合计数弦图;
真符合弦图确定模块,用于将所述符合计数弦图和延迟符合计数弦图进行相减,得到真符合计数弦图;
第一放射图生成子模块,用于基于所述真符合计数弦图,生成所述放射图像。
在本发明一些实施例中,所述优化模块可以包括:
第一优化子模块,用于基于经训练的优化模型,对所述真符合计数弦图与所述高噪声散射弦图进行处理,得到低噪声散射弦图。
在本发明一些实施例中,所述装置还可以包括:
标准化处理模块,用于将所述真符合计数弦图与所述高噪声散射弦图分别进行标准化处理,得到经过标准化处理的所述真符合计数弦图与所述高噪声散射弦图;
弦图连接模块,用于将经过标准化处理的所述真符合计数弦图与所述高噪声散射弦图进行连接,得到连接弦图;
第二优化子模块,用于基于所述经训练的优化模型,对所述连接弦图进行处理,得到低噪声散射弦图。
在本发明一些实施例中,所述重建模块可以包括:
统计缩放处理子模块,用于对所述低噪声散射弦图进行统计缩放,得到散射校正弦图;
第二更新子模块,用于基于所述散射校正弦图,对所述成像数据进行处理,得到更新的放射图像;
第三获取子模块,用于基于所述更新的放射图像,迭代地获取所述待测试对象对应的高噪声散射弦图、低噪声散射弦图和散射校正弦图;
第二重建子模块,用于基于达到迭代结束条件时所得到的散射校正弦图对所述成像数据进行重建,得到目标图像。
在本发明一些实施例中,所述优化模型包括基于金标准弦图进行机器学习得到的模型,所述优化模型包括采用下述方式训练得到:
基于样本的真符合计数弦图以及与所述真符合计数弦图对应的金标准弦图以及样本的高噪声散射弦图,得到预设网络的输入数据;
采用网络训练优化器以及循环学习率的训练方式,对所述预设网络进行训练,得到所述优化模型;
其中,所述网络训练优化器包括Adam优化器和/或SGD+Momentum优化器。
本发明的图像重建装置与上述图像重建方法一一对应,为了减少篇幅,在此不再赘述。
应当说明的是,上述图像重建方法、装置和设备,仅用于对待测试对象的目标区域进行图像采集,所输出的目标图像只是用于辅助医生进行诊断,其本身并不能直接提供诊断结果。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元或模组的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本发明实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤。或者,本发明上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。
本发明实施例还公开了一种计算机可读存储介质,存储介质可设置于上述设备之中以保存用于实现方法实施例中一种图像重建方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述方法实施例提供的图像重建方法。
可选地,上述存储介质包括但不限于为:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。