CN113039493A - 用于将全息显微图像转换成各种模态的显微图像的系统和方法 - Google Patents

Abstract

经训练的深层神经网络将利用全息显微镜获得的样本的图像转换成与利用具有不同显微图像模态的显微镜获得的显微图像基本上类似的图像。不同成像模态的示例包括明场、荧光和暗场。对于明场应用，深度学习将明场显微术对比度带入样本的全息图像、将全息术的体积成像能力与明场显微术的无散斑和无伪影图像对比度联系起来。利用全息显微镜获得的全息显微图像被输入到经训练的深层神经网络中，以执行从与样本体积内的特定深度相对应的数字反向传播全息图到与利用具有不同显微图像模态的显微镜在相同特定深度获得的样本的显微图像类似的图像的跨模态图像转换。

Description

用于将全息显微图像转换成各种模态的显微图像的系统和 方法

相关申请

本申请要求于2018年11月15日提交的美国临时专利申请号62/768,040的优先权，其全部内容通过引用结合于此。根据35U.S.C.§119和任何其他适用法规要求优先权。

关于联邦资助的研发的声明

根据国家科学基金会授予的基金号码1533983，本发明由政府资助。政府对这项发明具有一定的权利。

技术领域

本技术领域通常涉及用于将全息图像转换成与使用其他显微成像方式获得的图像(例如包括非相干明场、荧光和暗场显微图像)类似的图像的方法和系统。

背景技术

数字全息显微术能够在没有任何机械扫描的情况下，从单次全息测量重建体积样本。然而，对于大多数实际应用来说，全息图像无法与非相干明场显微镜的无散斑和无伪影图像对比度相匹配。这些全息伪像中的一些包括与丢失的相位信息有关的孪生像和自干涉噪声，而由于照明源的长相干长度/直径而出现额外的伪像，这产生了来自光束路径内的离焦或不需要的物体/表面的散斑和背景干涉。另一方面，因为相干成像系统的点扩散函数沿横向和轴向都具有非递减的波纹，所以离焦对象将在全息重建中产生与对焦对象重叠的干涉条纹，这在重建体积样本时降低了图像对比度。使用不同的全息重建方法，有时也使用额外的测量以可以部分地缓解这些问题。然而，需要额外的方法和系统来提高用全息显微镜获得的图像的图像质量和有用性，而无需额外的测量和复杂的重建算法。

发明内容

在一个实施例中，描述了一种系统和方法，该系统和方法使用由使用计算装置的软件执行的经训练的深层神经网络，来执行从与样本体积内给定深度相对应的数字反向传播全息图(或原始全息图)到基本上与在相同深度获取的不同显微图像模态类似的图像的跨模态图像转换。在一个实施例中，不同的显微图像模态是明场、荧光和暗场显微图像中的一种。因为单个全息图用于数字地传播到样本体积内的不同部分或平面(例如，高度)，以虚拟地生成基本上与每个部分的不同显微图像模态类似的图像，所以该方法将数字全息术的体积成像能力与明场显微术(或者在其他实施例中的荧光显微术或暗场显微术)的无散斑和无伪影图像对比度联系起来。在其训练之后，深层神经网络学习全息成像系统与期望的不同显微图像模态(例如，在一个特定实施例中的非相干明场显微镜)之间的统计图像转换。在这方面，深度学习通过融合全息与非相干明场成像模式的优势，将两界的优点结合在一起。

用全息或干涉显微镜获得的全息显微图像输入到经训练的深层神经网络，以执行从与样本体积内特定深度相对应的数字反向传播全息图到与利用在相同深度获得的不同显微图像模态获得的图像类似的图像的跨模态图像转换。在本发明的一个优选方面，不同的显微图像模态是明场显微图像。全息术与明场显微术之间的该深度学习使能图像转换取代了机械扫描体积样本的需求。此外，可以使用经训练的深层神经网络将使用全息显微镜获得的单个单色图像转换成具有与等效明场图像基本相同的颜色分布的彩色图像。

在一个实施例中，一种将利用全息显微镜获得的样本图像转换成与利用不同显微图像模态获得的显微图像基本类似的图像的方法包括利用全息显微镜获得样本的单个全息图像。然后，样本的全息图像利用图像处理软件数字反向传播到特定深度。然后，反向传播的全息图像输入到包含在软件中的经训练的深层神经网络中，使用一个或多个处理器在计算装置上执行该软件。经训练的深层神经网络输出特定深度的样本图像，其中，在一个实施例中，输出图像基本上与样本的在相同特定深度处获得的明场显微图像类似。在另一实施例中，经训练的深层神经网络输出特定深度处的样本图像，其中，输出图像基本上与样本的在相同特定深度处获得的荧光显微图像类似。在另一实施例中，经训练的深层神经网络输出特定深度处的样本图像，其中，输出图像基本上与样本的在相同特定深度处获得的暗场显微图像类似。

在另一实施例中，将利用全息显微镜获得的样本图像转换成与利用具有不同显微图像模态的显微镜获得的显微图像基本类似的图像的方法包括利用全息显微镜获得样本的单个全息图像的操作。样本的全息图像(未反向传播)输入到由计算装置执行的经训练的深层神经网络。经训练的深层神经网络从经训练的深层神经网络输出特定深度处的样本图像，其中，输出图像基本上与利用具有不同显微图像模态的显微镜在相同特定深度处获得的样本显微图像类似。

在另一实施例中，显微系统包括全息显微镜(或使用导致干涉伪影的相干光源的其他成像模态)和计算装置，该计算装置具有被配置为执行经训练的深层神经网络的软件，该经训练的深层神经网络接收利用全息显微镜(或其他成像模态)获得的样本的原始和/或反向传播全息图像，作为输入，并且输出样本内任意深度处的样本的一个或多个输出图像，其中，一个或多个输出图像基本上与在相同的样本内任意深度处获得/获取的样本的明场显微图像类似。

附图说明

图1A示意性地示出根据一个实施例的系统，该系统用于将利用全息或干涉显微镜获得的样本图像转换成一个或多个深度(在如本文所解释的z方向上)处的输出图像，该输出图像基本上与利用具有不同显微图像模态的显微镜获得的显微图像类似；

图1B示意性地示出用于获得样本的全息图像的全息显微镜(例如，在本实施例中无透镜)的一个实施例；

图2示出流程图，示出将利用全息显微镜获得的样本图像转换成基本上与利用具有不同显微图像模态的显微镜获得的显微图像类似的图像的方法的操作；

图3示出根据一个实施例的神经网络结构的结构。数字代表每个块的大小和通道，ReLU：整流线性单元、Conv：卷积层；

图4示出根据一个实施例的用于训练神经网络的图像配准和数据预处理的流程图，该过程用于将不同平面上的明场图像对与用于训练深层神经网络的全息显微镜所获得的反向传播全息图配准；

图5示出在基板上捕获的花粉混合物的成像过程。每个输入全息图或全息图像都以较大的FOV显示，以更好地说明条纹。使用均方根误差(RMSE)、结构相似性指数(SSIM)和与显微镜比较图像接近的通用图像质量指数(UIQI)，将每个网络输出图像与对应的明场显微镜基准真实图像进行定量比较；

图6示出由GAN和CNN执行的样本重建图像以及基准真实图像。使用均方根误差(RMSE)、皮尔逊相关系数(Corr.)、结构相似性指数(SSIM)和通用图像质量指数(UIQI)，将图像与在相同深度处获得的对应显微图像基准真实进行比较。每个图像的每个标准的更好值以粗体突出显示；

图7A示意性地示出包含在PDMS 3D基板(厚度为～800μm)中的花粉混合物；

图7B是包含在PDMS 3D基板中的花粉混合物的照片图像；

图7C示出利用全息显微镜拍摄的PDMS基板的全息图像；

图7D示出不同距离(z)处的各种反向传播(BP)全息图像，该全息图像输入到生成网络输出的经训练的深层神经网络中。此外对应的网络输出图像旁边还示出了对应的显微图像；

图8示出用于体积花粉的样本明场全息术与迭代相位恢复方法的比较。使用了基于对象支持的阶段恢复(20次迭代)，为了比较的目的，使用Matlab函数rgb2gray将网络输出和明场显微基准真实图像转换为灰度。对比度噪声比(CNR)(被定义为对比度(CNR掩模外像素幅度的平均值减去掩模内像素幅度的平均值)相对于噪声(掩模外像素幅度的标准偏差)的比例)用于定量比较结果，对应的CNR值由每个图像左上角的数字标记；

图9A示出单个珠子的3D成像以及标准全息反向传播结果与网络输出和通过经由轴向步长为0.5μm的N＝81次扫描来扫描明场显微镜而捕获的图像的比较；

图9B示出与245个单个/孤立珠子相对应的横向PSF FWHM直方图比较；

图9C示出与245个单独/隔离珠子相对应的轴向PSF FWHM直方图比较。

具体实施方式

图1A示意性地示出系统10的一个实施例，该系统10用于将利用全息或干涉显微镜16获得的样本14的图像12转换成一个或多个深度(在如本文所解释的z方向上)处的输出图像20，该输出图像20基本上与利用具有不同显微图像模态的显微镜获得的显微图像类似。例如，系统10可用于将利用全息显微镜16获得的样本14的图像12转换成(在一个或多个深度处的)输出图像20，该输出图像20基本上与样本14在相同的一个或多个深度处的明场图像类似。在又一示例中，系统10可用于将利用全息显微镜16获得的样本14的图像12转换成(在一个或多个深度处的)输出图像20，该输出图像20基本上与样本14在相同的一个或多个深度处的荧光图像类似。在又一示例中，系统10可用于将利用全息显微镜16获得的样本14的图像12转换成(在一个或多个深度处的)输出图像20，该输出图像20基本上与样本14在相同的一个或多个深度处的暗场图像类似。如本文所解释的，系统10可以在单个深度处生成输出图像20，在该情况下，系统10输出二维(2D)图像。系统10还可以在多个深度处生成多个输出图像20，在该情况下，系统输出三维(3D)图像叠层。

如图1A所示，全息显微镜16获得样本14的全息图像12(或多个这样的图像或全息图12)。样本14可以设置在样本架18上，如图1A和图1B所示，尽管在其他实施例中可以省略样本架18。样本架18可以包括光学透明基板等。样本14可以包括生物样本(例如，组织、细胞、体液、环境流体等)。样本14还可以包括三维样本体积(例如，固体或流体体积)。在本文描述的示例中，样本14可以包括颗粒物质(例如，花粉或污染物)。样本14还可以包括有机或无机样本。样本14可以包括环境样本(例如，包含生物体或特定物质的水或流体)。样本14可以包括包含在载体介质或流体中的细胞。样本可以是静止的、也可以是移动的(例如，流体在微通道、流动池等中流动)。

如图1A所示，系统10包括计算装置30，该计算装置30具有在该计算机装置上使用一个或多个处理器34来执行的图像处理软件32。图像处理软件32包括如本文所述的训练神经网络36，作为其一部分。举例来说，计算装置30可以包括个人计算机、膝上型电脑、平板PC、便携式电子装置、服务器或虚拟服务器。计算装置30可以位于全息显微镜16的本地或附近。全息显微镜16与计算装置30之间的通信可以通过传统的有线连接或无线连接(例如，蓝牙、无线网络等)发生。计算装置30也可以远离全息显微镜16。例如，计算装置30可以是接收通过计算机网络(例如，例如互联网的广域网)传输的全息图像12的服务器或其他云型计算机。图像处理软件32可以以任何数量的程序实现。示例包括程序或编程语言(例如，C++、Python、Tensorflow、MATLAB等)。在一些实施例中，一个或多个处理器34可以包括一个或多个图形处理单元(GPU)，该图形处理单元(GPU)可以加速深层神经网络36的训练和系统10的输出，但不是必需的。图像处理软件32的各种方面(例如，反向传播和训练神经网络36的执行)可以由同一软件程序或模块运行，或者可以作为单独的程序或模块一起协同工作。此外，计算装置30可以采用多个计算装置30或计算模块来执行各种功能。例如，一个计算装置30或模块可以用于执行数字反向传播，而另一计算装置30或模块用于运行训练的神经网络36。当然，这些也可以由单个计算装置30或模块来执行。

图1B示出全息显微镜16的一个具体示例。该实施例中的全息显微镜16是无透镜的，但是应当理解，全息图像12可以由其他传统的基于透镜的全息显微镜16获得。在一些实施例中，全息显微镜16可以包括便携式或移动全息显微镜16，该便携式或移动全息显微镜16使用便携式电子装置(例如，智能电话)以及包含光源、外部透镜、样本架的光机械附件来获取样本14的全息图像12。在一些实施例中，全息显微镜16可以对移动样本14成像(例如，流体或包含在流动流体中的物体)。例如，全息显微镜14可以包括流式细胞术全息显微镜或基于微流体的全息显微镜。全息显微镜14还可用于对撞击在基板上的颗粒或物体成像。例如，气流中夹带的颗粒或物体可能会撞击并保留在基板上，然后该基板被成像。这些物体可以由基于冲击器的全息显微镜成像。在其他实施例中，系统10还可以包括使用相干光的另一种成像模态，代替全息显微镜16，该相干光导致与光束路径中的离焦或不需要的物体的散斑或干涉。

在图1B的实施例中，光源40发射相干或部分相干的照明。该光源40可以包括激光二极管、发光二极管、VCSEL二极管等。光源40从若干厘米的距离照射样本14。如图1B所示，样本14设置在样本架18上。图像传感器42设置在样本14和样本架18的相对侧，并且捕获样本14的全息图(全息图像)。图像传感器42例如可以包括互补金属氧化物半导体(CMOS)图像传感器等。图像传感器42可以获得样本14的单色或彩色图像。图像传感器42通常放置在非常靠近或邻近样本架18的位置(例如，在几μm到几mm的范围内)。图1B示出位于样本14的三维体积内的各种深度或z距离(例如，z₁、z₂、z₃)。如本文所述，系统10和方法可用于从单个全息图像12或镜头生成样本14内的任意深度(z)处的输出图像20，该镜头是与所获得的全息图像12不同的成像模态。该镜头可以包括一个或多个输出图像20(例如，明场、暗场和荧光图像)。

图2示出在系统10的操作中使用的步骤或操作的说明性工作流程。首先，在操作100中，用全息显微镜16对样本14成像，以生成全息图像12。接下来，如操作102所示，然后使用图像处理软件32将全息图像12数字反向传播到样本14的体积空间内的一个或多个z距离。例如，在图1B的上下文中，该一个或多个z距离可以是z₁、z₂、z₃。全息图像12的数字反向传播可以使用任何已知的数字反向传播技术来实现，该技术包括例如基于角谱的反向传播。角谱法是一种对波场传播建模的技术，并且涉及将复杂的波场扩展成无穷多个平面波的总和。首先使用快速傅里叶转换(FFT)将全息图转换到空间频域。然后，相位因子与角谱相乘，该相位因子是波长、传播距离和介质折射率的函数。最后，与角谱相乘的相位因子被反傅里叶转换到空间域，以获得样本的反向传播图像。

在另一实施例中，可以省略或绕过全息图像12被数字反向传播的操作102，并且全息图像12被直接输入到经训练的深层神经网络36，如操作104所示。因此，在图2中列出的操作的上下文中，操作102在一些实施例中可以是可选的，并且原始全息图像12或全息图被直接输入到经训练的深层神经网络36中。

对于特定的z距离，数字反向传播生成实部反向传播图像15a和虚部反向传播图像15b，如图2所示。接下来，如操作104所示，反向传播的图像15a、15b然后输入到图像处理软件32的经训练的深层神经网络36。接下来，如图2的操作106所示，经训练的深层神经网络36然后输出或生成特定z距离处的输出图像20，该输出图像20基本上类似于或基本上等效于利用具有不同显微图像模态的显微镜在相同特定深度z处获得的样本14的显微图像。例如，输出图像20可以基本上类似于或基本上等效于以相同的z距离从明场显微镜获得的图像(明场图像)、从暗场显微镜获得的图像(暗场图像)或从荧光显微镜获得的图像(荧光图像)。在另一实施例中，输出图像20可以具有横向和/或轴向分辨率，该分辨率超过利用具有不同图像模态的显微镜获得的原始、反向传播和/或基准真实图像的横向和/或轴向分辨率。

输出图像20基本上没有散斑和其他干涉伪影。一个显著的优点在于，获得的样本14的单个全息图像12可用于生成样本14内的任何深度(z)处的增强的输出图像20(例如，与明场显微图像、暗场显微图像或荧光图像类似)。即，单个全息图像12可以用于获得样本14的多个不同的伪图像20，这些伪图像20与样本14内的任意深度(z)处的完全不同的成像模态类似。此外，虽然在一个实施例中使用单色图像传感器42获得样本14的全息图像12，但是在一些实施例中，由经训练的深层神经网络36生成的输出图像20是彩色图像。即，使用单色图像传感器42获得的全息图像12可以使用适当经训练的神经网络36生成彩色输出图像20(例如，彩色明场图像)。

在传统的成像过程中，使用昂贵的光学显微镜在不同高度进行多次耗时的扫描，这需要对每个图像切片进行机械扫描。例如，使用传统的光学显微镜，在单个FOV中生成N＝81个切片叠层可能需要大约1分钟。相比之下，数字全息无透镜显微镜16便宜，并且只需要捕获单个(N＝1)全息图像12，然后将该全息图像12反向传播到任何z距离，并且在经训练的神经网络36的帮助下，以相当的质量生成重建的输出图像20。

系统10使用经训练的深层神经网络36来执行从与样本14的体积内的给定深度(z)相对应的数字反向传播全息图(15a、15b)到输出图像20的跨模态图像转换，输该出图像20基本上类似于或基本上等效于使用不同成像模态在相同深度获得的显微图像。在一个实施例中，因为单个全息图像12用于将图像信息数字地传播到样本14的不同部分，以虚拟地生成每个部分的伪明场图像20，所以该方法将数字全息术的快照体积成像能力与明场显微镜术的无散斑和无伪影图像对比度和轴向切片性能相结合。在深层神经网络36训练之后，该深层神经网络36已经学习了全息显微镜16与不同成像模态(例如，明场显微镜)之间的统计图像转换。从某种意义上说，深度学习融合了全息与非相干明场成像模式的优势，将两界优点结合在一起。

实验

进行实验，以将利用全息显微镜16获得的全息图像12转换成伪明场图像20。对于全息到明场图像的转换，经训练的深层神经网络36使用生成对抗网络(GAN)。图3示出GAN36的网络结构。深层神经网络36的训练数据集由来自花粉样本14的图像组成，使用粘性载玻片在平坦基板上捕获该花粉样本14。使用明场显微镜(Olympus IX83，20×/0.75NA物镜)对载玻片进行3D扫描，并且为每个关注区域捕获轴向间距为0.5μm的121个图像的叠层，以构成基准真实标签。接下来，使用无透镜全息显微镜16与利用明场显微镜扫描的相同视场(FOV)相对应地获取线上全息图像12。通过从全局坐标到每个图像块的局部坐标逐步应用一系列图像配准步骤(例如，如图4所示的全局和局部配准过程)，不同深度处的反向传播全息图像15a、15b在横向和轴向上都与明场显微镜基准真实图像叠层精准匹配。图4示出用于将基准真实图像与不同深度/平面的全息图像12对准的图像配准和数据预处理。这些配准的反向传播全息图像对15a、15b和相应的明场显微图像然后被裁剪成～6000个256×256像素的小块，用于深层神经网络36的训练。

图4示出样本14的大或全FOV全息图像12经受阴影校正操作110、随后进行自动聚焦操作112的过程。阴影校正去除图像中的灰尘和不需要的图案。在操作114中创建经裁剪的全息图FOV。如操作116所示，从该经裁剪的全息图FOV，生成具有更小的FOV(300×300像素)的全息图。在操作118中执行自动聚焦操作，以在最聚焦的平面生成具有小FOV的全息图。除了最聚焦的平面之外，如操作120所示，使用本文描述的数字反向传播102(图2)，生成多个(在该情况下为五个)在不同的z距离或平面上的额外全息图或全息图像，该不同的z距离或平面与基准真实(图4的操作140)图像的选定z距离相对应。为了训练，从样本14获得不同z距离或平面的基准真实(例如，明场)图像50。然后，如操作122所示，中平面FOV图像50拼接在一起，以生成全FOV明场图像。接下来，在操作124中，生成转换矩阵，该转换矩阵重新缩放图像，以校正图像的倾斜、旋转或移位。在操作126中，对中平面FOV图像50进行阴影校正。在操作124中生成的转换矩阵用于生成如操作128所示的转换后的明场FOV图像。然后，如操作130所示，在操作112的转换后的明场FOV图像50与自动聚焦的全FOV全息图中的重叠区域被裁剪。如操作132所示，从这个经裁剪的BF FOV生成具有小FOV(300×300像素)的图像。

仍然参考图4，然后对图像叠层的其他明场图像50进行阴影校正操作，如操作134所示。这些明场(BF)图像然后被裁剪，以创建小FOV图像的BF叠层，如操作136所示。如操作138所示，执行自动聚焦操作，以找到BF小FOV最聚焦平面。接下来，在操作140中，使用高斯采样来在z方向上选择其他随机平面(在该实施例中为5个)中的BF图像叠层，并且该BF图像叠层在x和y方向上对齐。执行如操作142所示的金字塔弹性配准过程，以生成总共六(6)个小FOV图像对。每个配准的图像对包括基准真实BF图像以及对应的数字反向传播图像。在最后的操作中，如操作144所示，裁剪经配准的图像对，以创建六(6)个更小的FOV图像对(256×256)。这些配准的图像对然后用于训练深层神经网络36。

虽然图4示出了用于相同深度处的全局和局部配准显微镜获得的明场图像和对应反向传播全息图图像的图像对的各种方面，但是如果样本图像特别干净或者没有污垢、灰尘、其他伪影，或者缺少倾斜、旋转等，可以省略这些操作中的一个或多个(例如，阴影校正、转换矩阵的应用等)。

应该强调的是，对于训练GAN网络36这些步骤只需要执行一次，随后，生成器网络36可以盲目地拍摄以前从未看到的新的反向传播图像15a、15b(反向传播的图像总的来说包括实部和虚部)，并且几乎实时地推断样本14的体积内任意深度(z)处的对应明场图像(或者在其他实施例中的荧光图像或者暗场图像)(例如，使用单个Nvidia 1080Ti GPU，对于～0.15mm²的FOV的推断时间为～0.1秒)。图5给出若干花粉混合物的这些盲测结果的示例，其中，反向传播的全息图像15a、15b受到孪生图像和自干涉伪影以及散斑和离焦干涉的损害。另一方面，对于每个深度(z)，生成器网络36的输出图像20清楚地显示出改善的对比度，并且未在反向传播全息图像15a、15b中观察到的伪像和噪声特征(例如，散斑和干涉伪像以及孪生图像噪声)。这些结果与相同样本深度的对应明场图像(基准真实图像)匹配良好。即，输出图像20基本上与使用明场显微镜在相同深度获得的样本14的图像类似。

此外，经训练的深层神经网络36基于复数输入图像15b中的模态特征，使用用单色传感器(索尼IMX219PQ，1.12μm像素大小)和窄带照明(λ＝850nm，带宽～1nm)获取的输入全息图像12，正确地对输出图像20进行着色，使得输出图像20匹配明场基准真实图像的颜色分布。在图5中可以看到黄色的豚草花粉和橡树花粉以及白色的百慕大草花粉。此外，均方根误差(RMSE)、结构类似性指数(SSIM)和通用图像质量指数(UIQI)被用于定量地证明网络推理(即输出图像20)与明场显微镜基准真实图像的密切类似性，如图5所示。此外，对GAN网络36框架的几种变化的性能进行了定量比较，包括没有对抗损失的变化、在鉴别器中增加了频谱归一化的变化、具有编解码结构的变化；这些比较的结果表明，这些GAN变化表现出类似的推理性能。

图6示出两种不同的经训练的深层神经网络36的结果，该两种深层神经网络36包括上面公开的GAN网络36和卷积神经网络(CNN)36。CNN与未使用鉴别器和对抗损失项的生成器网络一样。两种网络36在相同的数据集上训练相似的迭代次数(～40个时期)。显示了花粉样本14的四个焦点内重建。使用均方根误差(RMSE)、皮尔逊相关系数(Corr)、结构相似性指数(SSIM)和通用图像质量指数(UIQI)，将图像与在相同深度获得的对应基准真实显微图像进行比较。以粗体突出显示每个图像的每个标准的更好值。针对GAN和CNN输出图像20，从该比较得到的定量值几乎相同。然而，GAN输出图像20更清晰并且显示更多的信息，这在视觉上比CNN输出图像20更有吸引力。还使用非参考盲/无参考图像空间质量评估器(BRISQUE)分数来评估每个样本图像20，其中，较低的分数代表较好的视觉质量。在图像的右下角显示BRISQUE分数，其中，GAN输出图像20与CNN输出图像20相比具有更小/更好的分数。

下表1示出四种不同网络变化的定量比较。GAN 36是用于报告本文结果并且在图3中示出的网络36。CNN与生成器网络36相同，但不使用鉴别器和对抗损失。通过去除U-网络中的级联连接(图3中的级联箭头)来构建编码器-解码器结构。具有光谱归一化的GAN与GAN36是相同的结构，在鉴别器的每个卷积层上执行光谱归一化。所有不同的经训练的深层神经网络36在相同的数据集上训练相似的迭代次数(～40个时期)。经训练的神经网络36在175个数字化聚焦、反向传播的花粉全息图像上进行了测试。使用均方根误差(RMSE)、皮尔逊相关系数(Corr)、结构相似性指数(SSIM)和通用图像质量指数(UIQI)，将网络输出图像20与在相同深度获得的对应显微图像基准真实进行定量比较。不管引入了的这些不同的网络变化，从该比较中得到的定量值是相似的。

	GAN	CNN	编码器-解码器	具有光谱归一化的GAN
					RMSE	0.0201	0.0191	0.0218	0.0206
Corr.	0.9643	0.9666	0.9586	0.9626
					SSIM	0.8598	0.8567	0.8519	0.8554
UIQI	0.1419	0.1466	0.1345	0.1391

表1

尽管深层神经网络36仅使用在2D基板上捕获的花粉混合物进行训练，但是可以成功地对不同深度的样本进行体积成像推断。图7A和图7B示出以3D方式捕获的在厚度为～800μm的聚二甲基硅氧烷(PDMS)的体积中花粉混合物。样本14的单个共线全息图像12(图7C)被捕获，并且数字反向传播到样本体积内的不同深度(z)(图7D)。通过将这些反向传播的全息图像15a、15b馈送到经训练的深层神经网络36中，获得了输出图像20(图7D(网络输出图像20))，该输出图像20没有在全息术中观察到的散斑伪影和各种其他干涉伪影(例如，孪生图像、与离焦物体相关的条纹和自干涉)。这些图像与机械聚焦在3D样本内的同一平面上的明场显微图像的对比度和景深(DOF)相匹配。

因为从均匀且相对稀疏的样本(生物气溶胶)获取训练图像数据，所以对于更加密度或空间上相连的3D样本14，经训练的深层神经网络36推理过程可能生成次优的结果，并且在空间上密集或相连的样本14的情况下，全息图形成中的参考波可能由于共线操作而变得失真、由于密集散射和可能的样本内遮挡而偏离平面波。对于与例如气溶胶成像或细胞计量术相关的应用，这种现象不会造成限制；对于需要对更密集的样本进行3D成像的其他应用，可以通过用密集且空间连接的样本14训练网络36来提高这种方法的推理性能。

应当注意，不能通过标准相干去噪或相位恢复方法获得本文呈现的快照体积重建性能。为了提供这方面的示例，在图8中，示出应用于被反向传播到不同高度的相同样本全息图像12的基于物体支撑的相位恢复方法的比较结果。如所示出的，迭代相位恢复方法确实将反向传播全息图像的对比度噪声比(CNR)从～2提高到～3，特别是抑制了一些与孪生图像相关的伪影。然而，由3D物体产生的离焦条纹未被适当地分割，并且即使在迭代相位恢复之后仍然作为重建伪影保留。相反，经训练的深层神经网络36的输出图像20将散焦的相干条纹转换成减小的非相干散斑，实现了>15-25的高CNR，非常好地与由高NA明场显微镜捕获的基准真实图像匹配，如图8所示。

为了进一步量化这种跨模态转换性能，对包含1μm聚苯乙烯珠的样本14进行成像，并按照相同的方法训练另一GAN 36。接下来，对包含245个单独/分离的珠子的样本进行盲测，并在GAN推断前后测量该样本的3D PSF分布(图9A-图9C)。图9A中示出这种比较的一个示例，在该示例中，反向传播的全息图像(示出反向传播的振幅图像)包含被GAN去除的显著的干涉伪影(如输出图像20所证明的)，以产生与机械扫描的明场显微镜基准真实图像(图9A的显微图像)的对比度相匹配高的输出图像20。图9B显示了与使用这些245个珠子获得的3D点光源相对应的横向和轴向半最大全宽(FWHM)值的分布。由于干涉伪影和低对比度，反向传播全息图(输入)的PSF的FWHM值在横向上随机分布，中值FWHM为2.7176μm。相反，GAN输出图像20的FWHM的横向FWHM值是单分散的，中值FWHM为1.8254μm，与扫描基准真实明场显微镜(1.8719μm)相匹配(图9B)。与中值FWHM为9.8003μm的扫描基准真实明场显微镜相比，由于更长的相干长度，反向传播全息图(输入)的PSF在轴向上更长，中值FWHM为12.9218μm。网络推断结果显示了在轴向上显著更窄的PSF分布，中值FWHM为9.7978μm，与用扫描明场显微镜获得的基准真实非常匹配(图9C)。这些结果以及网络输出图像20与用扫描明场显微镜获得的基准真实图像之间的定量一致进一步支持了系统10的有效性。

全息术与明场成像之间的该深度学习使能的、跨模态图像转换系统10和方法(作为一个示例)可以消除机械扫描体积样本的需求。该系统和方法得益于全息术的数字波传播框架，以虚拟地扫描样本14的整个体积，并且这些数字传播场中的每一个被转换成输出图像20，输出图像20基本上类似于或等效于明场显微图像，该明场显微图像表现出空间和颜色对比度以及非相干显微术所期望的浅DOF。在这点上，深度学习使能的全息图转换网络36通过将全息术的体积数字成像能力与明场显微术的无散斑和无伪影图像对比度相融合，实现了两个世界的优点。该能力对于在液体中流动的样本的快速体积成像特别有用。该方法也可以应用于其他全息显微术和/或非相干显微术模态，以建立从一种相干成像模态到另一种非相干显微术模态的统计图像转换。系统10能够从单个快照全息图像12(例如，全息图)推断出整个3D样本体积，从而重新引入相干全息成像，作为高通量体积成像任务的高NA明场显微镜的强有力替代物，并且因此表示对相干显微镜领域的独特贡献。

方法

数字全息图像采集

使用图1B中示意性示出的定制的无透镜全息成像系统(例如，全息显微镜16)获取全息图像12。该系统由垂直腔面发射激光(VCSEL)二极管(λ＝850nm)作为照明光源40、互补金属氧化物半导体(CMOS)图像传感器42(索尼IMX219PQ，1.12μm像素大小)和用于系统控制的树莓派(Raspberry Pi)2组成。选择该近红外照明，以便能够使用彩色图像传感器42的所有四个拜耳通道，从而提高可以在单次快照中实现的全息图的像素尺寸受限分辨率。样本14安装在3D印刷样本架18上，样本架18放置在图像传感器42表面上方～500μm处。照明源40放置在样本平面上方～8cm处，而没有任何额外的空间或光谱滤光器。

扫描明场显微图像采集和校准

由倒置扫描显微镜(IX83，奥林巴斯生命科学(Olympus Life Science))使用20×0.75NA物镜(UPLSAPO20X，奥林巴斯生命科学)捕获明场显微图像(即基准真实图像)。显微镜在不同的横向位置扫描每个样本，并且在每个位置，捕获具有0.5μm步长的-30μm至30μm的图像叠层。在捕获这些明场图像后，使用ImageJ插件叠层配准(ImageJ pluginStackReg)对齐显微图像叠层，这校正了由显微镜扫描台不准确引起的刚性移动和旋转。

全息图反向传播和自动聚焦

原始数字共线全息图(全息图像12)通过使用小波转换估计每个拜耳通道的低频阴影来平衡和阴影校正。使用基于角谱的自由空间反向传播，将该校正后的全息图数字反向传播到不同的平面(与明场显微图像叠层中的相应平面相匹配)。为此，在角谱(傅里叶)域中使用了3×填充，这有效地将全息图像素大小内插了3×。为了匹配反向传播全息图与相应明场显微图像叠层的高度，焦平面被估计并交叉配准为“零”高度，并且相对轴向传播距离而被确定为与明场显微镜的轴向扫描步长(0.5μm)匹配。使用基于边缘稀疏性的全息自动聚焦标准来估计数字全息图的焦平面。

网络和训练

如图3所示，此处实现的用于训练的GAN 36由生成器网络(G)和鉴别器网络(D)组成。生成器网络(G)采用了原始U形网设计的变体并进行了微小的修改和额外的剩余连接。鉴别器网络(D)是具有六个卷积块和两个完全连接(线性)层的卷积神经网络。然而，注意，在训练GAN 36之后，鉴别器网络(D)不用于最终的经训练的深层神经网络36，因为它用于训练最终的经训练的深层神经网络36的参数。原始训练数据由～6000个图像对组成(见下面的表2)，通过图像的随机旋转和翻转，这些图像对增加到30000个图像对。

表2

2D花粉数据集由使用粘性载玻片在平坦基板上捕获的花粉样本图像组成。3D花粉数据集由花粉混合物在聚二甲基硅氧烷(PDMS)基板(厚度～800μm)中3D扩散的图像组成。3D花粉数据集仅具有测试图像，并使用利用2D花粉图像训练的网络进行评估。这两个数据集都包括聚焦和散焦的图像对，以用于训练以捕获全息和明场显微术模态中的3D光传播行为。3D花粉PDMS测试数据集的图像大小为1024×1024像素，其他图像大小为256×256像素。

验证数据未增加。在每次训练迭代中，生成器网络使用自适应矩估计(Adam)优化器以10^-4的学习速率更新六次，而鉴别器网络以3×10^-5的学习速率更新三次。验证集每50次迭代测试一次，并且选择验证集上平均绝对误差(MAE)损失最小的网络作为最佳网络。使用开源深度学习包TensorFlow构建网络36。在带有6核3.6GHz CPU和16GB RAM的PC上使用英伟达(Nvidia)GeForce GTX 1080Ti GPU进行训练和推理。训练过程平均花费～90小时，迭代～5万次(相当于～40个时期)。在训练之后，对于256×256像素的图像块，网络推理时间为～0.1s。

样本制备

干燥花粉样本：百慕大草花粉(狗牙根)、橡树花粉(禾叶栎)和豚草花粉(青蒿花粉)购自思泰乐金格利尔(Stallergenes Greer)(美国北卡罗来纳州)(分别为cat#：2、195和56)，并以2：3：1的重量比混合。将混合物从用于2D花粉样本的基于冲击的空气取样器中沉积到粘性载玻片上。混合物也被稀释到PDMS，并在载玻片上固化，以获得3D花粉样本。直径为1μm的聚苯乙烯珠子样本购自塞牟科技(Thermo Scientific)(cat#：5100A)，并且用甲醇稀释1000×。将一滴2.5μL稀释的珠子样本吸取至清洁的#1载玻片上，并使干燥。

训练数据制备

明场全息术背后的跨模态转换的成功依赖于反向传播全息图与三维扫描明场显微图像的准确配准。该配准可以分为两个部分，也如图4所示。第一部分将明场图像(2048×2048像素)与全息图的明场图像进行匹配，包括以下步骤：(1)通过使用ImageJ插件显微图像拼接工具(MIST)将每个明场显微镜叠层的中平面拼接在一起，生成～20,000×4,000像素的拼接明场全FOV图像，如操作122所示。(2)阴影校正的全FOV全息图被反向传播到通过在全息图中心的512×512像素的区域上自动聚焦而确定的全局聚焦距离，如操作112所示。(3)如操作124所示，通过3-5对手动选择的匹配点拟合刚性转换，明场全FOV图像被粗略地配准到反向传播的全息图全FOV。(4)然后使用该转换翘曲明场全FOV(操作128)，并且裁剪具有全息图的重叠区域，以生成匹配对(操作114、130)。

第二部分进一步细化了x-y和z方向上的配准，具有以下步骤：(1)如操作116、132所示，从经裁剪的FOV中选择小FOV对(300×300像素)。(2)对每个全息贴片执行自动聚焦(操作118)，以找到该贴片的聚焦距离，表示为

(3)计算叠层内的每个明场高度的标准偏差(std)，这为明场叠层提供聚焦曲线。对具有最高std值的聚焦曲线中的四个高度执行二阶多项式拟合，并且该明场叠层的焦点被确定为拟合的峰值位置，表示为

(4)对于在高度

处的叠层中的每个显微镜扫描，通过将全息图反向传播距离

来生成相应的全息图图像，其中，在传播期间在全息图上使用对称填充，以避免环形伪影。(5)选择每个叠层中的最佳聚焦平面以及另外五个随机选择的散焦平面(操作120)。(6)对最靠近焦平面的小FOV图像对执行金字塔弹性配准(操作142)，并且将相同的配准翘曲应用于其他五个散焦图像对，以总共生成6个对齐的小FOV对。(7)对应的贴片被裁剪成为256×256像素的图像尺寸(操作144)。由于金字塔式配准有时无法收敛到正确的转换，因此还需要手动检查生成的数据集，以移除由于配准误差而导致的严重伪影数据。

网络和训练的细节

如图3所示，此处实现的GAN 36由生成器网络(G)和鉴别器网络(D)组成。生成器(G)采用了原始U形网设计的变更，进行了微小的修改和额外的剩余连接。鉴别器网络(D)是具有六个卷积块和两个全连接(线性)层的卷积神经网络。生成器的输入大小为256×256×2，其中，两个通道是反向传播的复数值全息图的虚部15b和实部15a。生成器(G)的输出和鉴别器(D)的输入大小为256×256×3，其中，三个通道对与明场图像的红、绿、蓝(RGB)通道相对应。在图像配准和裁剪之后，数据集被分为：75％用于训练、15％用于验证、10％用于盲测。训练数据由～6000个图像对组成，通过图像的随机旋转和翻转，这些图像对进一步增加到30000个。验证数据没有增加。

在训练阶段期间，网络迭代地最小化生成器损耗L_G和鉴别器损耗L_D，该生成器损耗L_G和鉴别器损耗L_D被定义为：

其中，G(x⁽ⁱ⁾)是输入x⁽ⁱ⁾的生成器输出，z⁽ⁱ⁾是对应的目标(明场)图像，D(.)是鉴别器，MAE(.)代表平均绝对误差，该MAE(.)被定义为：

其中，图像具有L×L像素。N代表图像批量大小(例如，N＝20)，α是L_G中的GAN损耗和MAE损耗的平衡参数，该α被选择为α＝0.01，并且因此，GAN损耗和MAE损耗项分别占总损耗L_G的99％和1％。自适应动量(Adam)优化器用于最小化L_G和L_D，学习率分别为10^-4和3×10^-5。在每次迭代中，执行生成器的六次更新和鉴别器网络的三次更新。验证集每50次迭代测试一次，并且选择最佳网络作为验证集上MAE损失最小的网络。使用TensorFlow实现网络36，尽管应该理解，也可以使用其他软件程序。

针对PSF分析估计横向和轴向FWHM值

在最聚焦的全息图平面上使用阈值来提取单个子区域，每个子区域包含单个珠子。对每个子区域进行2D高斯拟合，以估计横向PSF FWHM。拟合的质心用于裁剪x-z切片，并且对每个切片执行另一2D高斯拟合，以估计(i)反向传播全息图叠层、(ii)网络输出叠层、和(iii)扫描明场显微镜叠层的轴向PSF FWHM值。如图9B和图9C所示，随后生成横向和轴向PSF FWHM的直方图。

图像质量的定量评估

参考对应的基准真实(明场显微镜)图像I^GT，使用四种不同的标准来评估每个网络输出图像I^out，该标准为：(1)均方根误差(RMSE)，(2)相关系数(Corr)，(3)结构相似性(SSIM)和(4)通用图像质量指数(UIQI)。RMSE被定义为：

其中，L_x和L_y分别表示x和y方向的像素数。

相关系数定义为：

其中，σ_out和σ_GT分别是I^out和I^GT的标准差，并且σ_out,GT是两个图像之间的交叉方差。

SSIM被定义为：

其中，μ_out和μ_GT分别是图像I^out和I^GT的平均值。C₁和C₂是用于防止被接近零的分母除的常数。

UIQI是三个分量的乘积：相关系数(Corr，见公式(5))、亮度失真(I)和对比度失真(c)，即：

UIQI(I^out，I^GT)＝Corr(I^out，I^GT)·l(I^out，I^GT)·c(I^out，I^GT) (7)

其中，

在大小为B×B的M个窗口中局部测量UIQI，生成局部UIQI：Q_i(i＝1，2，…，M)。然后，将全局UIQI定义为这些局部UIQI的平均值：

使用了大小为B＝8的窗口。

除了以上讨论的措施，还使用无盲参考图像空间质量评估器(BRISQUE)、使用Matlab内置函数“brisque”，来评估图像质量。

虽然已经示出和描述了本发明的实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。应当理解，虽然使用了共线无透镜全息显微镜，但是这些方法也适用于其他全息和干涉显微镜和成像器。因此，除了所附权利要求及其等效物之外，本发明不应受到限制。

Claims (39)

1.一种将利用全息显微镜获得的样本的图像转换成与利用具有不同显微图像模态的显微镜获得的显微图像基本上类似的图像的方法，包括：

利用所述全息显微镜获得所述样本的单个全息图像；

使用在计算装置上使用一个或多个处理器来执行的图像处理软件，将所述样本的所述全息图像反向传播到特定深度；

将所述样本的所述特定深度处的反向传播的全息图像输入到由所述计算装置执行的经训练的深层神经网络；并且

从经训练的所述深层神经网络输出所述样本的所述特定深度处的图像，其中，输出的图像与利用具有所述不同显微图像模态的所述显微镜在相同的所述特定深度处获得的所述样本的所述显微图像基本上类似。

2.根据权利要求1所述的方法，其中，所述全息图像包括单色图像，并且所述输出的图像包括彩色图像。

3.根据权利要求1所述的方法，其中，所述样本包括三维样本，并且所述输出的图像包括3D图像叠层。

4.根据权利要求1所述的方法，其中，所述全息显微镜包括相干光源或者部分相干光源。

5.根据权利要求1所述的方法，其中，所述输出的图像基本上没有散斑和干涉伪影、和/或孪生图像噪声。

6.根据权利要求1所述的方法，其中，使用利用所述全息显微镜获得的多个训练图像以及利用具有不同图像模态的所述显微镜获得的与所述训练图像相对应的基准真实图像，来训练所述深层神经网络。

7.根据权利要求6所述的方法，其中，所述不同图像模态包括明场显微图像。

8.根据权利要求6所述的方法，其中，所述不同图像模态包括荧光显微图像。

9.根据权利要求6所述的方法，其中，所述不同图像模态包括暗场显微图像。

10.根据权利要求6所述的方法，其中，通过匹配来自相应的所述训练图像与所述基准真实图像的视场、然后进行金字塔弹性配准操作，来将相应的所述训练图像与所述基准真实图像彼此配准。

11.根据权利要求6所述的方法，其中，所述输出的图像的横向和/或轴向分辨率超过利用具有所述不同图像模态的所述显微镜获得的输入图像和/或所述基准真实图像的横向和/或轴向分辨率。

12.根据权利要求1所述的方法，其中，所述计算装置包括一个或多个图形处理单元(GPU)。

13.根据权利要求1所述的方法，包括从经训练的所述深层神经网络输出所述样本的不同深度处的多个图像，其中，多个输出的图像与利用具有所述不同显微图像模态的所述显微镜在相同的各个深度处获得的所述样本的对应显微图像基本上类似。

14.根据权利要求1所述的方法，其中，所述全息显微镜包括无透镜显微镜。

15.根据权利要求1所述的方法，其中，所述全息显微镜包括便携式显微镜。

16.一种将利用全息显微镜获得的样本的图像转换成与利用具有不同显微图像模态的显微镜获得的显微图像基本上类似的图像的方法，包括：

利用所述全息显微镜获得所述样本的单个全息图像；

将所述样本的所述全息图像输入到由计算装置执行的经训练的深层神经网络；并且

从经训练的所述深层神经网络输出所述样本的特定深度处的图像，其中，输出的图像与利用具有所述不同显微图像模态的所述显微镜在相同的特定深度处获得的所述样本的所述显微图像基本上类似。

17.根据权利要求16所述的方法，其中，所述全息图像包括单色图像，并且所述输出的图像包括彩色图像。

18.根据权利要求16所述的方法，其中，所述样本包括三维样本，并且所述输出的图像包括3D图像叠层。

19.根据权利要求16所述的方法，其中，所述全息显微镜包括相干光源或者部分相干光源。

20.根据权利要求16所述的方法，其中，所述输出的图像基本上没有散斑和干涉伪影、和/或孪生图像噪声。

21.根据权利要求16所述的方法，其中，使用利用所述全息显微镜获得的多个训练图像以及利用具有不同图像模态的所述显微镜获得的与所述训练图像相对应的基准真实图像，来训练所述深层神经网络。

22.根据权利要求16所述的方法，其中，所述输出的图像的横向和/或轴向分辨率超过利用具有不同图像模态的所述显微镜获得的输入图像和/或基准真实图像的横向和/或轴向分辨率。

23.根据权利要求16所述的方法，其中，不同图像模态包括明场显微图像。

24.根据权利要求16所述的方法，其中，不同图像模态包括荧光显微图像。

25.根据权利要求16所述的方法，其中，不同图像模态包括暗场显微图像。

26.根据权利要求21所述的方法，其中，通过匹配来自相应的所述训练图像与所述基准真实图像的视场、然后进行金字塔弹性配准操作，来将相应的所述训练图像与所述基准真实图像彼此配准。

27.根据权利要求16所述的方法，其中，所述计算装置包括一个或多个图形处理单元(GPU)。

28.根据权利要求16所述的方法，包括从经训练的所述深层神经网络输出所述样本的不同深度处的多个图像，其中，多个输出的图像与利用具有不同显微图像模态的所述显微镜在相同的各个深度处获得的所述样本的对应显微图像基本上类似。

29.根据权利要求16所述的方法，其中，所述全息显微镜包括无透镜显微镜。

30.根据权利要求16所述的方法，其中，所述全息显微镜包括便携式显微镜。

31.一种显微系统，包括：

全息显微镜；以及

一个或多个计算装置，具有能够在所述计算装置上执行的软件，并且被配置为执行包括经训练的深层神经网络的图像处理软件，经训练的所述深层神经网络接收利用所述全息显微镜获得的样本的原始和/或反向传播的全息图图像作为输入，并且输出在所述样本内的任意深度处的所述样本的一个或多个输出图像，其中，一个或多个所述输出图像与利用具有不同显微图像模态的显微镜获取的在所述样本内的相同任意深度处获得的所述样本的显微图像基本上类似。

32.根据权利要求31所述的显微系统，其中，使用利用所述全息显微镜获得的多个训练图像以及利用具有不同图像模态的所述显微镜获得的与所述训练图像相对应的基准真实图像，来训练所述深层神经网络。

33.根据权利要求31所述的显微系统，其中，不同图像模态包括明场显微图像。

34.根据权利要求31所述的显微系统，其中，不同图像模态包括荧光显微图像。

35.根据权利要求31所述的显微系统，其中，不同图像模态包括暗场显微图像。

36.根据权利要求31所述的显微系统，其中，所述全息显微镜是无透镜显微镜。

37.根据权利要求31所述的显微系统，其中，所述全息显微镜包括便携式显微镜。

38.根据权利要求31所述的显微系统，其中，所述样本包括三维样本，并且所述输出图像包括3D图像叠层。

39.根据权利要求31所述的显微系统，其中，所述一个或多个计算装置包括个人计算机、膝上型电脑、平板PC、便携式电子装置、服务器以及虚拟服务器中的一个或多个。

Images