CN104155320B - 一种时间分辨重叠关联成像术 - Google Patents

Abstract

本发明公开了一种时间分辨重叠关联成像术，是一种用于提供图像数据的方法。该方法利用采集的相关联衍射图像重构目标物体的区域的相关信息。该方法步骤包括：获取目标图像，直到采集足够的相关联图像；通过增强型重叠关联成像术迭代引擎(ePIE)获得目标对象对于时间平均的重构；以重构全部时间序列的目标对象及探针函数为目标，改变初始输入，通过增强型重叠关联成像术迭代引擎(ePIE)最终获得结果。对于现有技术中存在的包括重叠关联成像术(Ptychography)以及很多其他成像技术，都只能够重建静态的目标对象的信息问题本发明能够获得目标对象的时间分辨的重构。

Description

一种时间分辨重叠关联成像术

技术领域

本发明涉及重叠关联成像术领域，更具体地，涉及重构目标对象的方法，可从一组相关联的图像重构生成目标对于时间的演化。

背景技术

用于得出目标对象的空间信息的成像技术有多种，使用重叠关联成像术(Ptychography)，可实现的分辨率是理论上的波长限制的许多倍，并且能够避免光学系统中通常透镜引入的像差和不稳定性。传统扫描透射成像需要花费大量时间来完成图像，并且仅能测量检测器处的总散射强度，而非相位信息，而重叠关联成像术(Ptychography)则能够以很少的时间完成对图像的采集，较少系统不稳定性的影响，并使用迭代的方式还原目标对象的若干信息。

在国际申请专利WO 2005/106531中，公开了一种获取图像的方法和装置，用于重构目标对象(下面有些地方称为样品)的相位信息，称之为重叠关联成像术(Ptychography)。同时，WO 2005/106531中还公布了使用通过移动探针函数(ProbeFunction)获得的图像对目标对象的重建方法，称为重叠关联成像术迭代引擎(Ptychography Iteration Engine,PIE)。重叠关联成像术的具体方法是利用待测对象在散焦(defocus)的条件下，由至少一个检测器检测由目标对象散射的在一定远处的强度。用于形成这样的图像的方法称为重叠关联成像术。

在国际申请专利WO 2010/064051中，公布了增强型重叠关联成像术迭代引擎(enhanced Ptychography Iteration Engine,ePIE)。其特征在于可以未知探针函数(Probe Function)，而通过估算初始值，并在迭代中逐步计算出来。增强型重叠关联成像术迭代引擎提供这样的技术，用一组衍射图案的测量，恢复所涉及区域的目标对象的若干特征。利用已知或者未知的探针函数与探测所得的相关图像，通过每一次迭代，更新目标对象与探针函数。

在国际申请专利WO 2008/142360，WO 2012/038749中，公开了一种构造三维目标对象区域的方法，该方法通过迭代过程确定目标对象内相应深度处目标对象的若干特征。该方法与重叠关联成像术(Ptychography)享有相同的技术基础。

但通常，包括重叠关联成像术(Ptychography)以及很多其他成像技术，都仅仅只能够重建静态的目标对象的信息，不能对动态的目标对象的信息进行重建。

发明内容

1.要解决的技术问题

针对现有技术中存在的包括重叠关联成像术(Ptychography)以及很多其他成像技术，都只能够重建静态的目标对象的信息问题，本发明提供了一种时间分辨重叠关联成像术，它可以实现通过改进迭代方式，得到时间分辨的重构对象信息。

2.技术方案

本发明的目的通过以下技术方案实现：

一种时间分辨重叠关联成像术，其步骤如下：

(1)：通过重叠关联成像术所表示的获取图像方法获取一组图像，并确定对应采集时间点，同时记录下探针函数对应原点的位移；

(2)：确定一组重构时间点和对应的重构时间区间；

(3)：利用一种构造三维目标对象区域的方法完成对目标对象以及探针函数的重构，结果作为后续步骤的初值；

(4)：对于单个重构时间点进行目标对象以及探针函数的重构；

(5)：重复步骤(4)，获得所有重构时间点的目标对象及探针函数的重构，组合得到目标对象及探针函数对时间分辨的重构。

优选地，所述的步骤(2)进一步包括以下步骤：

(2.1)确定一组重构时间点{t₁,t₂...t_M}，满足t₁<t₂<...<t_M，以及一个时间区间[-τ1,τ2]，使在每一个重构时间点的对应时间区间内均存在两个或两个以上采集时间点；

(2.2)将满足条件tr_r∈[t_m-τ1,t_m+τ2]的下标重新组合为一个集合，这一集合所对应的图像将用于步骤(4)，其中1≤m≤M。

优选地，所述的步骤(4)进一步包括以下步骤：

步骤(4.1)：将步骤(3)的结果，作为目标对象以及探针函数的初始条件；

步骤(4.2)：使用采集的图像中的一幅更新目标对象以及探针函数，并计算均方根误差；

步骤(4.3)：重复步骤(4.2)，直到使用完所有的图像，并计算均方根误差对所用图像的平均值；这些图像所需满足的条件在步骤(2.2)中给出；

步骤(4.4)：重复步骤(4.2)-(4.3)，直到获得需要的目标对象以及探针函数的更新。

优选地，所述的步骤(4.2)进一步包括以下步骤：

步骤(4.2.1)：采用分层的方式，对目标对象进行切片分层，将三维的目标对象分成S层的准二维目标对象，目标对象的第一层切片的前表面的波函数等于当前更新的探针函数；

步骤(4.2.2)：利用现阶段重构的目标对象，获取波函数在所有目标对象切片前表面以及后表面的波函数；

步骤(4.2.3)：利用图像的模量替换在探测平面的波函数的模量，并计算均方根误差；

步骤(4.2.4)：利用步骤(4.2.2)获得的数据，使用一种构造三维目标对象区域的方法更新算符，更新目标对象以及各切片前后表面的波函数；

步骤(4.2.5)：更新的探针函数等于目标对象在第一层切片的前表面的波函数。

3.有益效果

相比于现有技术，本发明的优点在于：

(1)相对于通常的重叠关联成像术(Ptychography)只能够重建静态的目标对象的若干信息，本发明能够获得目标对象的时间分辨的重构；

(2)相比于传统扫描透射成像需要花费大量时间来完成图像，基于重叠关联成像术(Ptychography)只需在较少的位置采集图像，从而能够在重构的样品信息中获得更高的时间分辨率，并减少长时间辐照对目标对象的破坏，同时获得重构的若干信息，例如相位。重叠关联成像术(Ptychography)在实现时，往往需要采取近百张图像，本方法将进一步增加重叠关联成像术的时间分辨能力；

(3)现在的光学，X射线以及电子光学出现一种倾向，利用单发射技术，通常是使用超快的脉冲信号源发射单个光子或是电子脉冲，然后从获取的图像中分析出想要的信息。如果，要求提高这种技术的分辨能力，将其与重叠关联成像术相结合，那么采集近百张图像所耗时间将与超快的时间分辨相违背。本发明可能提供解决两者结合的方法；

(4)对于快速连续变化的目标对象，原本的重叠关联成像术(Ptychography)在变化区域可能带来过多的人工结构(Artifact)，而本方法相比原本的重叠关联成像术提高了时间分辨，在一定程度上能够减少重构时人工结构(Artifact)的出现；

(5)本发明不仅可以对二维还可以对三维的图像进行时间上的重构，只需要少数的成像时间对其进行重构。

附图说明

图1为图像重叠关联成像术为一层时实现方式示意图；

图2为三维模式的重叠关联成像术实现方式示意图；

图3为时间分辨中重构时间点选取示意图；

图4为时间分辨中单个重构时间点的重构流程图。

图中标号说明：

1：辐射传播路径；2：辐射平移；3：目标样品前表面；4：目标样品后表面；5：散焦；6：目标对象；7：探测平面；8：切片间距；9：辐射真空传播区；10：三维目标对象第二层切片位置前表面；11：三维目标对象第二层切片位置后表面；12：目标对象最后切片后表面；13：目标对象后表面与探测平面位置；14：采集时间点；15：重构时间点周围较早的区间；16：重构时间点周围较晚的区间。

具体实施方式

下面结合附图和具体的实施例，对本发明的技术方案做进一步地解释说明。实施例中的数据采用matlab程序进行编程和计算。

一种时间分辨重叠关联成像术，步骤如下：

(1)：通重叠关联成像术所表示的获取图像方法获取一组R个图像{Image₁,Image₂...Image_R}，并确定对应采集时间点{tr₁,tr₂...tr_R}。同时，以光轴与目标对象前表面的焦点为原点，在图像的获取中，将记录下探针函数对应原点的位移{x₁,x₂...x_R}。

由于R个图像的排列没有具体要求，通过重组，使得tr₁<tr₂<...<tr_R，这里的“＜”代表时间上的提前。

对应采集时间点的确定包括通过图像采集设备在采集过程中记录采集时间点以及采用估计的方法确定采集时间点的分布。

(2)：确定一组重构时间点{t₁,t₂...t_M},满足t₁<t₂<...<t_M，并且0<M<R，对于重构时间点个数多于采集时间点个数的情况，即使0<M<R条件不满足时，只要满足其他条件，本技术方案同样给出结果。

(2.1)确定一个时间区间[-τ1,τ2]，使其满足条件，在每一个重构时间点的对应时间区间[t_m-τ1,t_m+τ2]内均存在至少两个采集时间点，m为集合{1,2,…M}中任意一个元素，用数学描述为使得

(2.2)对于任意的重构时间点t_m，令集合满足使得即将满足条件tr_r∈[t_m-τ1,t_m+τ2]的下标重新组合为一个集合，这一集合所对应的图像将用于步骤(4)，1≤m≤M。

(3)：利用一种构造三维目标对象区域的方法完成对目标对象的重构，结果记为以及探针函数的重构，结果记为

三维的目标对象被分成S层的准二维目标对象。对于厚度为D的目标对象，为达到d的轴向分辨率，令这里的括号内数值[.]代表向下取整。目标对象的厚度D可以通过其他检测手段获得，而S为任意自然数。

特别地，S＝1时，本发明对应于二维目标对象与探针函数的时间分辨重构。

(4)：对于单个重构时间点t_m进行目标对象以及探针函数的重构，t_m∈{t₁,t₂...t_M}。

目标为获得t_m时刻目标对象的重构的三维重构以及探针函数的重构

(5)：重复步骤(4)，使得t_m遍历集合{t₁,t₂...t_M}，最后获得时间分辨的目标对象三维重构以及探针函数的重构

具体地，步骤(4)包括以下步骤：

(4.1)：将步骤(3)的结果作为目标对象以及探针函数的初始条件：以及

(4.2)：使用采集的图像Image_r更新目标对象以及探针函数，任取并计算均方根误差E_j,r。在步骤(2)中给出。

(4.3)：重复步骤(4.2)，使r遍历集合并计算均方根误差对所用采集图像的平均E_j为第j次迭代均方根误差。式中，j表示迭代次数，r遍历集合

完成一次步骤(4.3)记为完成一次循环迭代。

将最后结果以及重新标记为：以及下标j代表迭代次数，j＝0,1,2,3...。

(4.4)：重复步骤(4.2)-(4.3)，直到获得需要的目标对象以及探针函数的更新。

判断步骤(4.4)停止的标准为达到一定迭代次数停止或者使用均方根误差进行判断，当均方根误差E_j小于某个实现指定的数值，例如1×e^-8时，即可结束迭代。

更具体地，步骤(4.2)包括以下步骤：

(4.2.1)：在目标对象的第一层切片的前表面，波函数ψ_i,1等于当前更新的探针函数，即前表面与后表面是相对与目标对象以及辐射入射方向而言的，前表面代表目标对象面向辐射入射方向的表面，后表面相反。本发明中所涉及的术语，前表面以及后表面的选择均以此为准。其中，x为探针函数所在平面坐标。

波函数用ψ_i,s或ψ_e,s表示，第一个下标i代表波函数在目标对象前表面的数学形式，第一个下表e代表波函数在目标对象后表面的数学形式。第二个下标s代表目标对象的切片标号，s∈{1,2,…S}，其中，从面对辐射入射方向的第一层切片标号为1，向远离辐射入射的方向标号逐步增加。

(4.2.2)：利用现阶段重构的目标对象，获取波函数在所有目标对象切片前表面以及后表面的波函数。由上一步获得的ψ_i,1，多次重复利用公式：

获得{ψ_i,1,ψ_i,2,...ψ_i,S},{ψ_e,1,ψ_e,2,...ψ_e,S}，

其中，H为波函数在真空中的传递函数，在不同的辐射源下，H有不同的近似表达，一般地，其中，z为传播距离，w为无量纲的频谱坐标。λ为波长。

(4.2.3)：利用图像Image_r的模量替换波函数在探测平面的模量，并记录均方根误差E_j,r，在探测平面上，波函数ψ_d＝FFT(ψ_e,S)，用图像Image_r替换掉波函数的模量由于探测器记录的图像为强度信息，因此其二次根式则代表其在实际采集图像中波函数在探测平面的模量。则去掉了ψ_d中的模量信息，而只保留了相位信息。由更新的波函数回推波函数在最后一层切片后表面的波函数U(ψ_e,s)＝FFT^-1(U(ψ_d))，均方根误差这里的求和是对探测平面上各处强度的求和。

(4.2.4)：由前几步获得的数据更新目标对象以及各切片前后表面的波函数。

使用更新算符如下：

U(ψ_e,s-1)＝FFT[FFT^-1[U(ψ_i,s)]×H^-1]

更新算符中，α代表目标对象更新速度，β代表波函数的更新速度，通常，0<α≤1,0<β≤1,。

更新算符中，ψ_i,s与ψ_e,s代表在不同位置的波函数，代表目标对象，其下标均已在前面做过解释。符号代表对符号内数值，取其所处平面的模量最大值，并平方。符号*代表取共轭。

由此获得{U(ψ_i,1),U(ψ_i,2),...U(ψ_i,S)},{U(ψ_e,1),U(ψ_e,2),...U(ψ_e,S)}以及更新的目标对象

(4.2.5)：更新的探针函数等于目标对象在第一层切片的前表面的波函数U(ψ_i,1)，如后续需进一步迭代处理目标对象以及探针函数，需将更新的目标对象以及探针函数作为已知，即：

实施例1

三维模式的重叠关联成像术实现，步骤如下：

步骤1：通过重叠关联成像术，国际公开号为WO 2005/106531，所表示的获取图像方法获取一组25个图像{Image₁,Image₂...Image₂₅}，并确定对应采集时间点14，将其间隔记为t₀。

如图1，将图像重叠关联成像术简化为一层方式，其为二维重叠关联成像术图像获取方式，获取一组图像的方式具体地说，在辐射传播路径1在伴有散焦5的情况下，通过目标样品前表面3和目标样品后表面4，经过目标对象6，在探测平面7记录辐射源的强度信息，即图像，通过辐射平移2，获取这样的一组图像。

在重构三维目标对象时，本发明采用分层的方式，将三维的目标对象分成S层的准二维目标对象。对于厚度为D的目标对象，为达到d的轴向分辨率，令这里的括号表示数值向下取整，S为任意自然数。

如图2，三维模式的重叠关联成像术实现方式示意图，所述三维图像目标对象有两层，随着时间变化，在采集图像过程中发生变化。

辐射源是由300kev电场加速的电子束，可以由一组平面波描述，通过一个20mrad的光阑汇聚，在目标对象6平面，伴有-600nm的散焦5以及1.2mm的三级球差。

步骤2：如图3，确定一组重构时间点，共24个，分别位于满足25个采集时间点14之间，令时间区间[-τ1,τ2]＝[-0.6t₀,0.6t₀]，τ1为重构时间点周围较早的区间15，τ2为重构时间点周围较晚的区间16，那么第一，第二个采集时间点在第一个重构时间段内，第二，第三个采集时间点在第二个重构时间段内，以此类推，确定一组重构时间点。

因此，本实施例的目标就在于获得时间序列的一组探针函数以及目标对象如图4，按照所述流程图进行时间分辨中重构时间点选取。

利用一种构造三维目标对象区域的方法，国际公开号为WO 2012/038749，完成对目标对象重构结果记为以及探针函数的重构结果记为

(a)以下(a)-(g)步骤以重构t₁时刻目标对象以及探针函数为例。

将步骤2的结果作为初值，

(b)波函数ψ_i,1，在目标样品前表面3，等于当前更新的探针函数，即：

波函数先与目标对象第一层作用，获得目标样品后表面4的波函数，再传播到三维目标对象第二层切片位置前表面10，再与第二层作用，获得三维目标对象第二层切片位置后表面11波函数：

ψ_i,2＝FFT[FFT^-1[ψ_e,1]×H]

其中，为电子波函数在辐射真空传播区9的传递函数。

z为两层目标对象切片间距8，这里令其为10nm。x为探针函数所在平面坐标，w＝λ/X，X为探针函数所在平面的大小。由于空间由有限的矩阵描述，模拟时，用了1024*1024的矩阵来描述这个平面，每个像素，即每个矩阵元素代表x＝0.02nm的空间尺度，因此X＝20.48nm。λ为波长，300kev电场加速的电子波长约为1.97pm。

由于目标样品一共两层，最终获得ψ_i,1,ψ_e,1,ψ_i,2,ψ_e,2四个数据。

(c)波函数从目标对象最后切片后表面12处传播到探测平面7上，目标对象后表面与探测平面位置13如图2所示，相当于进行了傅里叶变换：ψ_d＝FFT(ψ_e,2)。在两层切片情况下，其中目标对象最后切片后表面12和三维目标对象第二层切片位置后表面11为同一平面。

利用采集的图像更新出射波函数采集时间点只能为tr₁或tr₂，由于只有第一与第二个采集时间点在第一个重构时间段内。

最后，由更新的波函数回推波函数在目标对象最后切片后表面12的波函数U(ψ_e,2)＝FFT^-1(U(ψ_d))。

另外，计算均方根误差

(d)用更新后的出射波更新目标对象和探针函数。

用下式更新算符：

U(ψ_e,s-1)＝FFT[FFT^-1[U(ψ_i,s)]×H^-1]

其中，表示目标对象与探针函数更新速率的差别。

代表波函数在辐射真空传播区9，与上式出现的H相反方向的传递函数。这样就获得了U(ψ_i,1),U(ψ_i,2),U(ψ_e,1),U(ψ_e,2)以及

(e)更新的探针函数等于目标对象在目标样品前表面3的波函数。至此，使用一张采集图像对目标对象以及探针函数的更新就完成了。

(f)重复(b)-(e)步骤，直到所有满足条件的图像均已被使用,这样就完成了一个循环迭代，由于一共只有两个满足条件的图像，即在第一个重构时间段内的第一，第二个采集时间点对应的图像，计算均方根误差对所用采集图像的平均

(g)重复(b)-(f)步骤，直到均方根误差E_j<1e-4停止。获得对单一时间点的重构t₁。

(h)分别以重构不同时间点为目标，重复(a)-(g)步骤，获得全部24个时间点的重构。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。

Claims (1)

1.一种时间分辨重叠关联成像术，其步骤如下：

(1)：通过重叠关联成像术所表示的获取图像方法获取一组图像，并确定对应采集时间点，同时记录下探针函数对应原点的位移；

(2)：确定一组重构时间点和对应的重构时间区间；

包括如下步骤：(2.1)确定一组重构时间点{t₁,t₂...t_M}，满足t₁<t₂<...<t_M，0<M<R，以及一个时间区间[-τ1,τ2]，使在每一个重构时间点的对应时间区间内均存在两个或两个以上采集时间点；

(2.2)对于任意的重构时间点t_m，令集合满足使得将满足条件tr_r∈[t_m-τ1,t_m+τ2]的下标重新组合为一个集合，这一集合所对应的图像将用于步骤(4)，其中1≤m≤M；

(3)：利用一种构造三维目标对象区域的方法完成对目标对象以及探针函数的重构，结果作为后续步骤的初值；三维的目标对象被分成S层的准二维目标对象，对于厚度为D的目标对象，为达到d的轴向分辨率，令这里的括号内数值[.]代表向下取整，目标对象的厚度D可以通过其他检测手段获得，而S为任意自然数；

(4)：对于单个重构时间点进行目标对象以及探针函数的重构；

步骤(4.1)：将步骤(3)的结果，作为目标对象以及探针函数的初始条件；

步骤(4.2)：使用采集的图像中的一幅更新目标对象以及探针函数，并计算均方根误差；

步骤(4.2.1)：采用分层的方式，对目标对象进行切片分层，将三维的目标对象分成S层的准二维目标对象，目标对象的第一层切片的前表面的波函数等于当前更新的探针函数；

步骤(4.2.2)：利用现阶段重构的目标对象，获取波函数在所有目标对象切片前表面以及后表面的波函数；上一步获得的波函数ψ_i,1，多次重复利用公式：

获得{ψ_i,1,ψ_i,2,...ψ_i,S},{ψ_e,1,ψ_e,2,...ψ_e,S}；

其中，ψ_i,s、ψ_e,s为波函数，为目标对象，H为波函数在真空中的传递函数，下标i代表波函数在目标对象前表面的数学形式，第一个下标e代表波函数在目标对象后表面的数学形式，第二个下标s代表目标对象的切片标号，s∈{1,2,…S}，从面对辐射入射方向的第一层切片标号为1，向远离辐射入射的方向标号逐步增加；z为传播距离，w为无量纲的频谱坐标，λ为波长；下标j代表迭代次数，j＝0,1,2,3...；t_m为时间点；

步骤(4.2.3)：利用图像的模量替换在探测平面的波函数的模量，并计算均方根误差；

步骤(4.2.4)：利用步骤(4.2.2)获得的数据，使用一种构造三维目标对象区域的方法更新算符，更新目标对象以及各切片前后表面的波函数；使用更新算符如下：

U(ψ_e,s-1)＝FFT[FFT^-1[U(ψ_i,s)]×H^-1]

更新算符中，α代表目标对象更新速度，β代表波函数的更新速度，0<α≤1,0<β≤1,，

更新算符中，ψi_,s与ψe_,s代表在不同位置的波函数，代表目标对象，符号代表对符号内数值，取其所处平面的模量最大值，并平方，符号*代表取共轭；

U(ψ_i,s)

U(ψ_e,s-1)

代表更新后的目标对象和各切片前后表面的波函数；

步骤(4.2.5)：更新的探针函数等于目标对象在第一层切片的前表面的波函数；

步骤(4.3)：重复步骤(4.2)，直到使用完所有的图像，并计算均方根误差对所用图像的平均值；这些图像所需满足的条件在步骤(2.2)中给出；

步骤(4.4)：重复步骤(4.2)-(4.3)，直到获得需要的目标对象以及探针函数的更新；

(5)：重复步骤(4)，获得所有重构时间点的目标对象及探针函数的重构，组合得到目标对象及探针函数对时间分辨的重构。