CN111308682A - 基于结构光照明的超分辨重构方法 - Google Patents

Abstract

本发明涉及光学超分辨显微成像技术，为提出基于结构光照明方法，减少重建所需的图像数量，降低复杂程度，提高重建速率，本发明，基于结构光照明的超分辨重构方法，利用空间光调制器SLM生成结构光，调制物面待测样本，并用CCD相机首次采集图像，通过空间光调制器生成相移为π的结构光，调制后二次采集图像，通过首次采集图像和二次采集图像相加获得宽场图像，并且利用宽场图像的频谱以及对该频谱进行维纳滤波生成的频谱，分离出二次采集图像中的高频信息，进行滤波和频谱移动操作，将高频移回原位置，并且通过广义维纳滤波对频谱进行加权平均，获取超分辨率的频谱，最后通过傅里叶逆变换获得超分辨图像。本发明主要应用于显微成像场合。

Description

基于结构光照明的超分辨重构方法

技术领域

本发明涉及光学超分辨显微成像技术领域，特别是一种基于结构光照明的超分辨率成像技术，可用于细胞结构检测。

背景技术

传统光学显微镜的分辨率受到衍射极限的限制，极限分辨率在200nm左右，无法观测到亚细胞结构。

为了突破衍射极限的限制，一系列的超分辨成像技术被提出，考虑到活细胞成像，结构光超分辨显微镜成像技术无需任何特殊的样品制备，它对用于样品标记的荧光团没有特殊要求，而且所需激发光强度较小，光漂白性小，能够长时间观测活细胞，并且成像速度快，被大量使用。

实时动态活细胞研究是结构光超分辨显微镜成像技术主要应用方向之一，提高时间分辨率对于细胞器之间、内部作用机理的观察十分重要。目前主流结构光超分辨显微镜成像系统在硬件性能和系统同步效率上已经充分优化，提升空间有限，而目前减少重构帧数的算法仍需要大量迭代趋近或者并行计算的问题，使得重建速率并不高，影响成像实时性。

发明内容

为克服现有技术的不足，本发明旨在提出基于结构光照明的超分辨重构方法，减少重建所需的图像数量，降低重构方法的复杂程度，并且极大提高重建速率，特别适用于结构光照明的超分辨细胞成像。为此，本发明采取的技术方案是，基于结构光照明的超分辨重构方法，利用空间光调制器SLM(Spatial Light Modulator)生成结构光，调制物面待测样本，调制后引入原本不可采集的高频信息，并用CCD相机首次采集图像，通过空间光调制器生成相移为π的结构光，调制后二次采集图像，通过首次采集图像和二次采集图像相加获得宽场图像，并且利用宽场图像的频谱以及对该频谱进行维纳滤波生成的频谱，分离出二次采集图像中的高频信息，进行滤波和频谱移动操作，将高频移回原位置，并且通过广义维纳滤波对频谱进行加权平均，获取超分辨率的频谱，最后通过傅里叶逆变换获得超分辨图像。

通过自相关方法估计结构光条纹频率，并且求解结构光相位时利用求解条纹频率的结果，加速结构光相位和结构光条纹频率的求解，分离过程中在频率接近中心位置会产生残余频谱，通过维纳滤波对该部分噪声进行抑制，确保超分辨成像结果的质量。

具体步骤如下：

用CCD相机首次采集到图像0，图像0的频谱引入了超出衍射极限的高频信息，从而形成混叠的频谱，通过空间光调制器生成相移为π的结构光，调制后采集图像1，在均匀照明时，宽场成像系统采集到的像方图像表示为：

D₀(r)＝[S(r)·I(r)]*H(r) (1)

其中，r代表空间域的二维坐标，S(r)代表荧光浓度分布，H(r)代表成像系统的点扩散函数，*代表卷积符号，D₀(r)是图像0,在余弦结构光的调制下，引入了超出衍射极限的高频信息，照明的余弦结构光表示为

I₀是结构光的平均光强，m为调制度，p为结构光空间频率，φ为结构光相位，经过结构光调制后接收到的频谱：

其中

是D₀(r)、S(r)的傅里叶变换，～代表傅里叶变换，k为频域的二维坐标，

为光学传递函数OTF，并将结构光的相位移动π，成像面获得图像1，其频谱表示为：

为D₁(r)的傅里叶变换。频谱0和1中存在经过结构光调制后移入OTF内的高频频谱，图像0和1的频谱图相加，消去高频信息，得到如下：

是相加后获得的宽场图像频谱2，将频谱1和频谱2作差，得到除去中心低频的频谱图3，可以表示为：

结构光的条纹频率和相位利用自相关算法获取结构光条纹频率，并且通过求解条纹频率时的结果求解相位，加速结构光相位、结构光条纹频率的求解速度，再将

进行维纳滤波得到频谱图4，表示成：

代表频谱4，N_a代表噪声功率谱，A和α代表估计的信号功率谱的系数，A²|k|^-2α代表估计的信号功率谱，将频谱4分别沿着-p和+p移动，获得频谱5和频谱6，对应的频谱表示为

和

分别代表的是傅里叶变换和傅里叶逆变换，

和

代表频谱5和代表频谱6。用频谱3分别和频谱5作差，在频率为负的位置获得分离的高频频谱，分离过程中在频率接近零值会产生残余频谱，通过维纳滤波对该部分噪声进行抑制，抑制接近k为零值的频谱值，获得高频频谱7

为高频频谱7，再用频谱3分别和频谱6作差，在频率为正的位置获得分离的高频频谱，并进行维纳滤波，抑制接近k为零值的频谱值，获得高频频谱8：

为高频频谱8，I₀和m不需要求解，将高频频谱7和8的峰值从中心移回到k为+p和-p的位置，获取合成后的扩展频谱，利用空间光调制器改变结构光的照明方向，在不同的调制方向上获取超分辨率的频谱，通过广义维纳滤波加权平均后将三个结构光照明方向获取的超分辨频谱进行合成，再进行傅里叶逆变换，从而获得分辨率各向同性的超分辨图像。

本发明的特点及有益效果是：

(1)本发明在每个方向只需采集相移为π的2张图像，能够将超分辨重建所需的原始图像减少到6张，大大提高时间分辨率。

(2)在求取参数过程中，只需要在每个方向求解一张图像的条纹频率以及相位，大大提升了超分辨图像重构速率。

(3)本发明主要利用频谱相减的步骤分离出高频频谱，无需迭代计算或者并行计算，没有过于复杂的重构过程，对计算机性能的要求不高。

附图说明：

图1为本发明一种基于结构光照明的快速超分辨成像方法的流程图。

图2为本发明的频谱分离示意图，其中图2(a)为图片1的频谱图1，图2(b)为频谱图2，图2(c)为分离中心低频后的频谱3，图2(d)为左移的频谱5，图2(e)右移的频谱6，图2(f)提取的左高频频谱7，图2(g)提取的右高频频谱7，图2(h)合成的超分辨频谱。

具体实施方式

本发明的目的在于克服已有重构方法的缺陷，提供了基于结构光照明的超分辨重构方法，减少重建所需的图像数量，降低重构方法的复杂程度，并且极大提高重建速率，特别适用于结构光照明的超分辨细胞成像。

本发明的基于结构光照明的快速超分辨重构方法，利用空间光调制器(SpatialLight Modulator,SLM)生成结构光，调制物面待测样本，并用CCD相机采集图像0，图像0的频谱引入了超出衍射极限的高频信息，从而形成混叠的频谱，通过空间光调制器生成相移为π的结构光，调制后采集图像1，通过图像0和1相加获得宽场图像2，并且利用宽场图像2的频谱以及对该频谱进行维纳滤波生成的频谱，对低频频谱进行估计，从而分离出图像1中的对称的两部分高频信息。进行维纳滤波和频谱移动操作，将分离出的高频频谱移回其未经过结构光调制时的位置，并且通过广义维纳滤波对频谱进行加权平均，获取超分辨率的频谱，最后通过傅里叶逆变换(IFFT)获得超分辨图像。

通过空间光调制器参数产生不同条纹周期的结构光照明图案，用CCD相机采集图像，设置超分辨图像重构参数，根据超分辨效果对参数进行改善。

为确保超分辨重构的有效性，本方法需要满足产生的图像相移接近π，能够合成宽场图像2的频谱2。为了能够获取高质量的频谱3，本方法通过维纳滤波处理频谱2，并对频谱的信号和噪声进行估计。

为加快重建效率，利用自相关算法获取结构光条纹频率，并且通过求解条纹频率时的结果获取相位，加速结构光相位和结构光条纹频率的求解速度。分离过程中在频率接近中心位置会产生残余频谱，通过维纳滤波对该部分噪声进行抑制，确保超分辨成像结果的质量。

下面结合附图对本发明进行说明。

本发明一种基于结构光照明的快速超分辨重构方法的流程图如图1，具体步骤如下：

在均匀照明时，宽场成像系统采集到的像方图像表示为

D₀(r)＝[S(r)·I(r)]*H(r) (12)

其中，r代表空间域的二维坐标，S(r)代表荧光浓度分布，H(r)代表成像系统的点扩散函数，*代表卷积符号，D₀(r)是图像0，图像0的频谱信息受到衍射极限的限制，仅能采集到截止频率内的频谱信息。照明的余弦结构光可以表示为

I₀是结构光的平均光强，m为调制度，p为结构光空间频率，φ为结构光相位，经过结构光调制后接收到的频谱：

其中

是D₀(r)、S(r)的傅里叶变换，～代表傅里叶变换，k为频域的二维坐标，

为光学传递函数(OTF)。并将结构光的相位移动π，成像面获得图像1，其频谱表示为：

为D₁(r)的傅里叶变换。频谱0和1中存在经过结构光调制后移入OTF内的高频频谱。图像0和1的频谱图相加，消去高频信息，得到如下：

是相加后获得的宽场图像频谱2，将频谱1和频谱2作差，得到除去中心低频的频谱图3，可以表示为：

结构光的条纹频率和相位利用自相关算法获取结构光条纹频率，并且通过求解条纹频率时的结果求解相位，加速结构光相位、结构光条纹频率的求解速度。再将

进行维纳滤波得到频谱图4，可以表示成：

代表频谱4，N_a代表噪声功率谱，A和α代表估计的信号功率谱的系数，A²|k|^-2α代表估计的信号功率谱。将频谱4分别沿着-p和+p移动，获得频谱5和频谱6，对应的频谱可以表示为

和

分别代表的是傅里叶变换和傅里叶逆变换，

和

代表频谱5和代表频谱6。用频谱3分别和频谱5作差，在频率为负的位置获得分离的高频频谱，分离过程中在频率接近零值会产生残余频谱，通过维纳滤波对该部分噪声进行抑制，抑制接近k为零值的频谱值，可以获得高频频谱7

再用频谱3分别和频谱6作差，在频率为正的位置获得分离的高频频谱，并进行维纳滤波，抑制接近k为零值的频谱值，可以获得高频频谱8。

I₀和m不需要求解，将高频频谱7和8的峰值从中心移回到k为+p和-p的位置，获取合成后的扩展频谱。利用空间光调制器改变结构光的照明方向，在不同的调制方向上获取超分辨率的频谱，通过广义维纳滤波加权平均后将三个结构光照明方向获取的超分辨频谱进行合成，再进行傅里叶逆变换，即可获得分辨率各向同性的超分辨图像。

本发明在每个方向只需采集相移为π的2张图像，能够将超分辨重建所需的原始图像减少到6张，大大提高时间分辨率。在求取参数过程中，只需要在每个方向求解一张图像的结构光条纹频率以及相位，大大提升了超分辨图像重构速率。主要通过频谱相减的步骤分离出高频频谱，无需迭代计算或者并行计算，没有过于复杂的重构过程，对计算机性能的要求不高。

Claims (3)

1.一种基于结构光照明的超分辨重构方法，其特征是，利用空间光调制器SLM(SpatialLight Modulator)生成结构光，调制物面待测样本，调制后引入原本不可采集的高频信息，并用CCD相机首次采集图像，通过空间光调制器生成相移为π的结构光，调制后二次采集图像，通过首次采集图像和二次采集图像相加获得宽场图像，并且利用宽场图像的频谱以及对该频谱进行维纳滤波生成的频谱，分离出二次采集图像中的高频信息，进行滤波和频谱移动操作，将高频移回原位置，并且通过广义维纳滤波对频谱进行加权平均，获取超分辨率的频谱，最后通过傅里叶逆变换获得超分辨图像。

2.如权利要求1所述的基于结构光照明的超分辨重构方法，其特征是，通过自相关方法估计结构光条纹频率，并且求解结构光相位时利用求解条纹频率的结果，加速结构光相位和结构光条纹频率的求解，分离过程中在频率接近中心位置会产生残余频谱，通过维纳滤波对该部分噪声进行抑制，确保超分辨成像结果的质量。

3.如权利要求1所述的基于结构光照明的超分辨重构方法，其特征是，具体步骤如下：

用CCD相机首次采集到图像0，图像0的频谱引入了超出衍射极限的高频信息，从而形成混叠的频谱，通过空间光调制器生成相移为π的结构光，调制后采集图像1，在均匀照明时，宽场成像系统采集到的像方图像表示为：

D₀(r)＝[S(r)·I(r)]*H(r) (1)

其中，r代表空间域的二维坐标，S(r)代表荧光浓度分布，H(r)代表成像系统的点扩散函数，*代表卷积符号，D₀(r)是图像0,在余弦结构光的调制下，引入了超出衍射极限的高频信息，照明的余弦结构光表示为

I₀是结构光的平均光强，m为调制度，p为结构光空间频率，

为结构光相位，经过结构光调制后接收到的频谱：

其中

是D₀(r)、S(r)的傅里叶变换，～代表傅里叶变换，k为频域的二维坐标，

为光学传递函数OTF，并将结构光的相位移动π，成像面获得图像1，其频谱表示为：

为D₁(r)的傅里叶变换。频谱0和1中存在经过结构光调制后移入OTF内的高频频谱，图像0和1的频谱图相加，消去高频信息，得到如下：

是相加后获得的宽场图像频谱2，将频谱1和频谱2作差，得到除去中心低频的频谱图3，可以表示为：

结构光的条纹频率和相位利用自相关算法获取结构光条纹频率，并且通过求解条纹频率时的结果求解相位，加速结构光相位、结构光条纹频率的求解速度，再将

进行维纳滤波得到频谱图4，表示成：

代表频谱4，N_a代表噪声功率谱，A和α代表估计的信号功率谱的系数，A²|k|^-2α代表估计的信号功率谱，将频谱4分别沿着-p和+p移动，获得频谱5和频谱6，对应的频谱表示为

和

分别代表的是傅里叶变换和傅里叶逆变换，

和

代表频谱5和代表频谱6。用频谱3分别和频谱5作差，在频率为负的位置获得分离的高频频谱，分离过程中在频率接近零值会产生残余频谱，通过维纳滤波对该部分噪声进行抑制，抑制接近k为零值的频谱值，获得高频频谱7

为高频频谱7，再用频谱3分别和频谱6作差，在频率为正的位置获得分离的高频频谱，并进行维纳滤波，抑制接近k为零值的频谱值，获得高频频谱8：

为高频频谱8，I₀和m不需要求解，将高频频谱7和8的峰值从中心移回到k为+p和-p的位置，获取合成后的扩展频谱，利用空间光调制器改变结构光的照明方向，在不同的调制方向上获取超分辨率的频谱，通过广义维纳滤波加权平均后将三个结构光照明方向获取的超分辨频谱进行合成，再进行傅里叶逆变换，从而获得分辨率各向同性的超分辨图像。

Images