CN112585521B - 用于捕获具有湍流衰减的显微全光图像的设备和方法 - Google Patents
用于捕获具有湍流衰减的显微全光图像的设备和方法 Download PDFInfo
- Publication number
- CN112585521B CN112585521B CN201980051830.8A CN201980051830A CN112585521B CN 112585521 B CN112585521 B CN 112585521B CN 201980051830 A CN201980051830 A CN 201980051830A CN 112585521 B CN112585521 B CN 112585521B
- Authority
- CN
- China
- Prior art keywords
- sensor
- lens
- sample
- image
- reflected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 34
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 210000001747 pupil Anatomy 0.000 claims abstract description 14
- 230000000739 chaotic effect Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 238000005259 measurement Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000005314 correlation function Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 230000010287 polarization Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000007493 shaping process Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000023077 detection of light stimulus Effects 0.000 claims 1
- 238000000386 microscopy Methods 0.000 abstract description 7
- 239000000523 sample Substances 0.000 description 36
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000012885 constant function Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
Abstract
一种用于通过显微镜采集具有湍流衰减的显微全光图像的系统以组合的方式包括：应获得其图像的样本(S)，其能够被视为混沌光源，所述混沌光源的发射具有强度分布F(ρs)，其中ρs为样本平面上的平面坐标；分束器(BS)；两个传感器或检测器(Da和Db)，该两个传感器或检测器被配置为分别执行空间/方向和方向/空间检测，其中检测器平面上的平面坐标分别利用ρa和ρb指示；物镜(O)，该物镜具有焦距fO和光瞳函数PO(ρO)，其中ρO为透镜的平面上的平面坐标；第二透镜(T)，该第二透镜具有焦距fT和光瞳函数PT(ρT)，其中ρT为透镜的平面上的平面坐标；其中所述第二透镜(T)布置在由分束器(BS)透射/反射的光束的光学路径(a/b)中。
Description
技术领域
本发明涉及显微镜学、立体成像以及总体而言三维图像技术领域中用于图像的全光采集的技术。
特别地，根据本发明的全光采集过程被称为“相关全光成像”(CorrelationPlenoptic Imaging，CPI)，也就是说，它指的是基于由传感器记录的发光强度的时空相关性进行的全光图像采集，这些传感器被布置为采集图像的空间测量和角度测量。
背景技术
术语“图像的全光采集”指的是这样的特定光学方法，根据该方法，可以在给定场景中采集光的位置和传播方向两者。以这样的方式，可以获得允许以三维的方式重构所采集的图像的空间测量和角度测量。
事实上，在图像的采集之后的图像处理步骤中，例如，可以改变图像的焦平面的位置、或者扩展图像的景深、或者重构三维图像。
当前已知的常规图像采集技术允许通过相对于图像采集传感器被定位在上游的合适透镜来选择放大率、焦平面位置和景深。
然而，传统的图像采集技术具有提供原始三维场景的二维表示的局限性。为了确保用户的改进的体验和更真实的结果，图像的三维表示在许多技术应用(诸如涉及对将在虚拟仿真环境中使用的部件进行建模的那些应用、或者涉及用于原型制作、设计、生产、营销、检查和维护的物体表示的那些应用、或者通常涉及三维场景的物体的改进表示的那些应用)中是有用的。
而且，传统的图像采集技术不允许在图像采集之后的时间改变焦平面位置或景深。在摄影领域，非常常见的是需要在采集后的某个时刻聚焦在特定的平面上或选择图像的景深。
关于显微镜学领域，值得注意的是大分辨率对应于小景深。由于在采集之后不可能改变焦平面，如果人们想要深入表征被检查的样本，就需要用不同的聚焦平面进行大量的扫描。在这方面，应该注意的是，将样本暴露于辐射持续较长时间，特别是如果其是生物样本，则可能损坏样本，或者在体内观察的情况下，导致对患者的损坏。
因此，传统的显微图像采集技术具有全光采集技术要解决的几个缺点。
当前已知的全光图像采集技术允许在场景的三维空间的不同位置获得具有不同焦平面的图像。通过采集场景中光的空间测量和角度测量，这个特征成为可能。
术语“空间测量”指的是对场景内的平面进行传统的二维图像采集，而“角度测量”指的是采集确定来自要采集的场景的光束的传播方向所必需的信息。在图像采集之后的处理步骤中，可以组合空间测量和角度测量，以便重构三维图像。
当前已知的全光图像采集技术是基于插入布置在主透镜和传感器之间微透镜阵列，该主透镜适于将感兴趣场景的图像聚焦在微透镜阵列上，该传感器适于采集给定场景的图像。微透镜阵列起着双重作用。一方面，它的行为类似于能够采集场景的空间测量的点的阵列，另一方面，它在传感器上再现主透镜(每个微透镜一个)的图像序列，从而提供场景的角度大小。
与传统的图像采集技术不同，全光图像采集设备针对传感器的每个像素捕获关于光的位置和方向的双重信息。这意味着在图像处理中，可以获得场景的不同视角或视图，从而允许用户选择聚焦的场景平面和景深，以及获得场景的三维重构。
然而，目前已知的全光图像采集技术具有这样的缺点，即以比由主透镜的直径和焦距确定的物理极限(“衍射极限”)更低的分辨率产生图像。事实上，当前已知的全光图像采集技术提供了使用单个传感器来同时采集场景的空间测量和角度测量。这个特征限制了所采集的图像的空间分辨率，因为传感器的分辨率能力的一部分被牺牲以获得角度测量的益处。而且，在当前已知的全光图像采集技术中，由于使用单个传感器来获得空间信息和角度信息，最大空间分辨率和角度分辨率通过反比比率链接在一起。因此，由已知的全光图像采集设备产生的图像具有处于低分辨率的缺点，也就是说，它们的特征在于图像的分辨率远低于衍射极限给出的分辨率。
通过下面的详细描述并参考附图，能够更好地理解本发明及其相对于目前已知的东西目的和优点，附图以非限制性示例的方式示出了本发明的一些优选实施例。
在附图中：
图1示出了已知的全光设备的主要部件的构造方案；
图2示意性地示出了根据本发明的三种构造设置，其中三种情况全部的特征在于样本S、物镜O、第二透镜T、分束器BS和具有高空间分辨率的两个检测器Da和Db(分别用于透射光束的臂和反射光束的臂)，并且它们在分束器BS相对于透镜的位置方面不同，并且在设置III的情况下在第三附加透镜的存在方面不同；
图3A是比较标准显微镜(standard microscope，SI)、经典全光显微镜(plenopticmicroscope，PI)和使用设置III的构造的具有相关性测量(CPI)的显微镜的分辨率的图，这取决于样本从数值孔径NA＝0.3以及焦距fo＝26mm的透镜的焦平面开始的纵向位移f-fo。
图3B示出了利用SI、PI和CPI获得的、对应于图3A中的点A和点B的三重发光狭缝的模拟图像。
图4示意性地示出了根据本发明的三种另外的构造构型，它们是图2中示出的那些构型的替代方案并且以与图2中示出的那些构型相同的方式工作。
如已经提及那样，目前市场上的全光成像设备(包括全光显微镜)基于成像设备的标准结构，其中图像是通过测量传感器上的光强分布来采集的。这些设备通过在传感器前面插入微透镜阵列而适于全光成像。一方面，物体的图像形成在微透镜上：然后它们充当“有效像素”，从而确定图像的空间分辨率的极限，并且每个给定的微透镜对应于物体的给定部分。另一方面，每个微透镜在其后面的传感器部分上再现主透镜的图像。主透镜的这些图像中的每一个提供了关于从物体的对应于微透镜的部分传播到透镜的对应于传感器的像素的部分的光的方向的信息。
作为这种构型的结果(在图1中示出)，有以下缺点：
-空间分辨率和方向分辨率之间明显存在较强的折衷，以反比比率Nx Nu＝Ntot表示，其将每侧专用于空间检测的像素的数量(Nx)和专用于方向检测的像素的数量(Nu)结合起来，其中Ntot是传感器每侧的像素的数量。
-图像分辨率相对于由透镜的直径和焦距确定的物理极限(衍射极限)降低了因子Nu；因此，由全光显微镜(以及一般而言由全光设备)采集的图像的特征在于比相对应的非全光设备更差的分辨率。
-考虑到设备的结构，主透镜的多个图像的放大率必须比该单位低得多，这导致较低的方向分辨率。考虑到全光设备的景深是相对应的非全光系统Nu倍，这种结构限制限制了要达到的最大景深。
值得注意的是，由本发明的发明人组中的一部分已经开发了具有相关性测量的全光成像设备(CPI：相关全光成像)通过使专用于空间测量(物体的图像)的和专用于方向测量(透镜的图像)的传感器分离解决了上述限制。
事实上，在这种设备中，一旦传感器每侧的像素总数(Ntot)固定，链接空间分辨率和方向分辨率的约束是Nx+Nu＝Ntot。另外，对图像的分辨率没有限制，因此能够达到衍射极限。最后，在由发明人中的一些已经开发的上述设备中，整个透镜的图像被投影到专用于此目的的单个传感器上。该特征允许获得任意放大率，甚至大于该单位。因此，在几何光学有效的方案下，方向分辨率(由Nu确定)可以比标准全光成像设备更精确，并且景深可以广泛得多。
关于前述的CPI设备，本发明的第一目的是提供一种其中要获得其图像的物体被定位在分束器之前的全光设备。
本发明的第二目的是提供一种其中光源与物体本身重合的全光设备。
应该注意的是，从应用于全光显微镜学来看，最后的目标非常重要。事实上，旧的设置的操作原理是基于精确重构光从混沌光源传播通过物体的其方向的的可能性。因此，旧的设置无法获得荧光或漫射样本的全光图像，这在显微镜学中非常常见，在显微镜学中，发射的光的方向倾向于与入射光的方向不相关。
另一方面，第一目标从湍流(turbulence)衰减(即，决定了光的振幅和相位方面的随机的、不可预测的且通常与时间有关的变化的噪声效应)的观点来看是相关的。事实上，如果湍流仅沿着从物体S到分束器BS的公共路径改变光传播的相位和方向，则在分束器BS之后测量两个光束之间的强度的相关性具有部分抵消由于沿着全光设备的这一段的相位湍流而引起的噪声的效果。在湍流存在的情况下进行成像的能力是相关且实际上尚未解决的问题，尤其是在显微环境下。特别地，利用本发明采集的图像实际上对样本内或靠近其表面的湍流不敏感。旧的CPI设置不共享这个特征，其有效性实际上对物体附近的湍流的存在非常敏感。
与将显微镜学与对湍流不敏感的成像相关联的先前提议相比，所描述的设备是第一设备，其将这些特征与执行全光成像的可能性相结合，并且因此将物体重新聚焦到焦点之外、扩展景深、获得三维图像。另外，注意，本设备既不要求由样本发射的光的一致性，也不要求发射的光子的量子纠缠性质。
参考图2，下面将描述本发明的三个不同实施例，即，通过测量二阶强度相关性来执行全光显微镜检查的三种设置。
图2中示出的这三种设置的构造方案在部件的布置方面和采集关于光的方向的信息的策略有不同。必要的部件是：
必须获得其显微图像的样本S，其被视为混沌光源，其发射的特征在于强度分布F(ρs)，其中ρs为样本的平面上的平面坐标；
两个传感器Da和Db，它们分别对透射光束和反射光束进行空间和方向检测；如将在下面更详细地看到的那样，它们也可以由相同传感器的不同部分来表示；检测器平面上的平面坐标分别用ρa和ρb指示；
物镜O，其特征在于焦距fO和光瞳函数PO(ρO)，其中ρO为透镜平面上的平面坐标；
第二透镜T，其特征在于焦距fT和光瞳函数PT(ρT)，其中ρT是透镜平面上的平面坐标；
分束器BS；如果光强分布不依赖于偏振，则它也可以是偏振分束器；
仅在设置III中：第三透镜，其中焦距为fL。
根据所描述的本发明，全光显微镜学系统还可以包括附加部件，尽管操作原理不一定需要这些部件，但是它们可以帮助优化设备的结构和效率。这些附加部件中的一些包括：
频率滤波器，用于减小由物体发射的光的带宽，以便使其相干时间与传感器的响应时间相匹配；
附加透镜和反射镜，用于成形光学路径以便能够使用例如被分成两部分作为传感器Da和Db的单个传感器；
偏振和/或强度滤波器，用于吸收光学路径中的一个或两个中的光的部分以防止传感器饱和。
在所有情况下，虽然普通图像可以直接在传感器Da上由透射光束获得(假设物体聚焦，f＝fO)，但是也包含关于光的方向的信息的全光图像是通过分析两个传感器的像素之间的强度的相关性获得的。具体而言，图像是由强度波动之间的相关性产生
Γ(ρa，ρb)＝〈ΔIa(ρa)ΔIb(ρb)〉, (1)
其中<...>表示由样本发射的光的统计数据的平均值，Ia,b(ρa,b)是每个传感器上位置ρa和ρa的强度以及ΔIa,b＝Ia,b-<ΔIa,b>是相对于其平均值〈Ia，b〉的强度方面的波动。统计平均值实际上被在持续时间T的时间窗口中采集的具有持续时间τ的N个连续帧的时间平均值代替。在所发射的光具有可忽略的横向相干性的假设下，除了不相关的常数因子[3]，以下所述强度波动的相关性是有效的，
其中ga和gb分别是路径a和b中的光学传递函数。在接下来的章节中，将针对图2中的每个设置计算强度波动的相关性，考虑光学传递函数方面的差异和所做的近似。
在图2所示的所有设置中，透射光束从样本S到传感器Da的光学路径a与普通显微镜中的光的路径相同：在聚焦的情况下，样本和传感器Da分别在距物镜O距离fO处以及在距第二透镜T距离fT处。然而，为了揭示重新聚焦所建议的设置的能力，我们将考虑物体在距目标距离f(通常不同于fO)处的情况。
在所有这三种设置中，样本在分束器之前的定位确保了对S附近的湍流效应的鲁棒性，与其他CPI设备(在其他CPI设备中，物体被放置在BS之后、透射光束的臂中或反射光束的臂中)不同。有利的是，在根据本发明的设置中，在距物体的纵向距离dt处存在的湍流的影响可以忽略，只要横向尺寸δt(在该横向尺寸内，由于湍流引起的相位变化实际上是恒定的)满足以下条件：
其中k＝2π/λ是光波数和δ是最小样本细节的大小。
设置I
在第一设置中，分束器BS被放置在物镜O和第二透镜T之间。由分束器BS透射的光束影响第二透镜T并聚焦在传感器Da上，由分束器BS反射的光束到达传感器Db，该传感器Db相对于分束器BS放置在与第二透镜T相同的距离处。换句话说，从样本到第二透镜T以及从样本到检测器Db的光学路径实际上是相同的。这个特征确保当测量由传感器Da和Db测量的强度之间的相关性时，在Db[1,2]处形成第二透镜T的重影图像。因此，第二透镜T的图像和显微镜的物平面(通常不同于样本有效所处的平面)的图像的组合信息将有助于物体的失焦图像的重构。
假设物镜O的孔径不相关，或者PO(ρO)可以用传递函数中的常数代替，而不显著改变它们的值。这个假设是基于这样的事实，即分辨率基本上由第二透镜T的孔径PT和由样本的强度分布F固定。当不满足这个假设时，通过用有效光瞳函数代替第二T透镜的光瞳函数PT，可以将物镜的有限孔径包括在分析中。在这个方案中，相关性函数(2)变为
其中
其中k＝2π/λ是光波数，并且长度F定义为
是为了方便而引入的。在聚焦的情况下，(f＝fO)传感器平面ρb上相关函数的积分提供了样本的不一致的图像、放大了因子M＝fT/fO，
其点扩展函数由第二透镜T的光瞳函数的傅立叶变换确定，如在传感器Da上直接再现的图像中那样。然而，与后者不同的是，以相关性获得的图像在积分中包含呈平方模的形式的项：这与粗略的二进制对象不相关，但在一般情况下，它会导致相对于普通成像的变化。在这两种情况下，图像的分辨率随着第二透镜T的直径增加而增加，而自然景深以二次的方式下降。同样地，可以示出的是在传感器Da的平面上的积分返回作为ρb的函数的第二透镜T的图像，其点扩展函数由样本的强度分布确定。
对方程(4)的几何光学(光的大频率和小波长)的极限方面的主要贡献由相位(5)的驻点决定，并导致渐近近似
因此，相关性被减少为两个图像(即样本S的图像(第二项)和第二透镜T的图像(第一项))的乘积。由于方程(4)的结构，这些图像是一致的。样本图像在传感器Da上的位置取决于另一传感器Db上的坐标ρb，除了显微镜聚焦(f＝fO，)的情况。当图像失焦时，被调整用于提高信噪比的Db上的积分(如等式(7)那样)删除样本图像。然而，Γ(ρa,ρb)的逐点知识允许重新排序相关矩阵，以纳入对ρa和ρb的依赖性并重新聚焦图像。
在几何光学的极限下，“重新聚焦”的相关矩阵
提供独立于ρb的样本图像，如在聚焦的情况下那样。因此，在实施重新聚焦算法(9)之后对ρb的积分允许增加样本图像的信噪比，因为它利用了由第二透镜T透射的全部光：
等式(8)至(9)的结果显示了在几何光学的极限下重新聚焦第一设置的CPI显微镜的能力。
设置II
在第二设置中，分束器BS被放置在样本S和物镜O之间。虽然由分束器BS透射的光束路径与第一设置相同，但是由分束器BS反射的光束影响反射光束传感器Db，该反射光束传感器Db相对于物镜O被定位处于距分束器BS相同的距离处。这确保了通过测量由透射光束的传感器Da和反射光束的传感器Db检测的强度之间的相关性，透镜的重影图像由传感器Db再现。聚焦或失焦的样本S的图像由传感器Da直接再现或通过测量与Db的每个像素的相关性来再现。
与前面的情况不同，为了简单起见，假设第二透镜T的开口不相关，即PT(ρT)是常数函数，并且分辨率基本上由物镜的孔径PO和样本的强度分布固定。相关性函数(2)变为
其中
在聚焦(f＝fO)的情况下，反射光束的传感器平面Db上的相关函数的积分产生样本的具有M＝fT/fO的非相干放大图像
其点扩展函数由物镜O的光瞳函数的傅立叶变换确定，如在传感器Da上直接再现的图像中那样。分辨率随着透镜直径的增加而增加，而自然景深以二次的方式下降。相关函数在传感器平面Da上的积分产生了作为ρb的函数的物镜O的图像，其中点扩展函数由样本S的强度分布确定。
几何光学的极限方面的对(11)的主要贡献是由相位的静止点(12)固定的，并导致渐近近似
而且在这种情况下，样本图像在Da上的位置取决于另一检测器Db上的坐标ρb，除了显微镜聚焦的情况，并且在Db上的用于提高信噪比的积分可能会产生样本的失焦图像。然而，对ρa和ρb的依赖性可以通过适当选择相关矩阵的第一个参数来被纳入：
在执行重新聚焦操作(15)之后的ρb的积分产生具有更大信噪比的样本图像：
结果(14)至(15)示出了在几何光学的极限下，重新聚焦第二设置的CPI显微镜的能力。
第二设置相比于第一种设置具有优势，因为方向重构基于物镜的图像，该图像通常定义显微镜的开口：因此，不需要引入有效的光瞳函数，并且装置的设计(至少在原理上)更简单；关于重新聚焦算法，公式(15)取决于相对于(9)的系统距离的更简单组合。另一方面，从实际操作的角度来看，设置II有显著的缺点，由于需要将分束器BS插入到样本S和物镜O之间的通常非常小的空间中，这也意味着微调样本S和传感器Db之间的距离以获得聚焦的透镜重影图像。
设置III
图2中的设置III弥补了刚刚在设置II中讨论的缺点：它提供了物镜的图像(如设置II中那样)，并且具有被放置在物镜O和第二透镜T之间的分束器BS(如设置I中那样)。在这种情况下，物镜O的图像由焦距为fL的第三透镜L(优选地是薄的)形成，该第三透镜放置在反射光束b的臂中、直接在传感器Db上、并且在距离SO和SI满足1/SI+1/SO＝1/fL的情况下被聚焦。因此，物镜在传感器Db上的聚焦可以通过强度测量来实时控制，并且不需要相对于分束器BS和反射光束的传感器Db之间的距离来微调分束器BS和物镜O之间的距离，这对于设置II的正确操作是必要的。
Γ(ρa,ρb)的计算如情况II中那样通过ρb→-ρb/ML(其中ML＝SI/S0为由第三透镜L给出物镜的的放大率)的替换以及与PO(-ρb/ML)不相关的乘法，从而导致
其中
重新聚焦算法
和高SNR(Signal to Noise Ratio，信噪比)重新聚焦图像
如先前的情况那样遵循几何光学的近似。
分辨率和景深的极限
重新聚焦算法(10)、(16)和(20)是在几何光学极限下获得的。为了确定物理极限并因此确定通过重新聚焦可获得的最大分辨率和景深，人们应该在没有近似的情况下计算量(4)、(11)、(17)，这些量结合了有限波长和相干性(衍射和干涉)的影响。为了量化到目前为止描述的三个实施例(三个设置)的分辨率和景深，我们在简单的情况下执行这个计算，在这种情况下，我们想要求解具有宽度δ的两个狭缝，这两个狭缝由从中心到中心的距离d＝2δ分离。根据瑞利准则，最小分辨距离d被定义为双缝图像的可见度为10％的距离。使用这一标准，我们将具有固定模糊f-fO的CPI显微镜的分辨率与标准显微镜和标准全光显微镜的那些分辨率进行比较。为此，我们考虑Nu＝3的全光显微镜，即，具有3×3＝9个方向分辨率单元[4,5]；事实上，在标准的全光设备中，景深随着Nu而增加，而分辨率由于同样的因素而恶化(与具有相同数值孔径的标准设备相比)，因此所做的选择通常是良好的折衷。
比较结果在图3A中示出，对于NA＝0.3并且fO＝26mm的来自显微镜的物镜O，狭缝的中心之间的距离(在该距离下，狭缝图像的可见度达到10％)表示为距焦平面的距离f-fO的函数。我们可以看到，本发明(CPI)允许在比标准成像(SI)或Nu＝3的标准全光成像(PI)更宽的范围内重新聚焦，而没有后者典型的聚焦图像的分辨率的损失。
在图3B中，示出了两种情况，其中具有相关性的全光显微镜能够完全解决三重发光狭缝，而标准图像完全模糊，并且标准全光图像具有略低于10％的可见度。全部图均指设置III的情况，其他设置导致类似的结果。
总之，可以说这三个提出的方案本质上是相似的，并且不同之处仅在于一些光学部件的定位，以及因此在于重新聚焦算法。预期与前两个设置相比设置III可能更有利于组装和使用的实用性。
最后，值得注意的是，到目前为止关于图2所示的三个设置I、II和III所描述的相同的发明构思可以在没有修改的情况下应用、具有相同的优点和相同的形态、也可以交换沿着透射光束和反射光束布置的透镜、传感器和设备的位置，如图4所示，其中示出了分别对应于上述设置I、II和III的三个设置I(b)、II(b)和III(b)。这意味着传感器Da和Db作为空间和角度检测器的作用是相反的。
将参考图2的本说明书中提到的公式应用于图4的设置时，要观察的唯一注意事项是将ρa与ρb反置，反之亦然。
参考文献
[1]G.Scarcelli,V.Berardi,and Y.H.Shih,Phys.Rev.Lett.96,063602(2006).
[2]M.D’Angelo,F.V.Pepe,A.Garuccio,and G.Scarcelli,Phys.Rev.Lett 116,223602(2016).
[3]F.V.Pepe,O.Vaccarelli,A.Garuccio,G.Scarcelli,and M.D’Angelo,J.Opt.19,114001(2017).
[4]M.Levoy,R.Ng,A.Adams,M.Footer,and M.Horowitz,ACM Trans.Graph.25,924(2006).
[5]T.G.Georgiev,A.Lumsdaine,A,Journal of Electronic Imaging 19,021106(2010).。
Claims (20)
1.一种用于借助显微镜捕获具有湍流衰减的显微全光图像的系统，其中所述系统以组合的方式包括：
·应获得其图像的样本(S)，其能够被视为混沌光源，所述混沌光源的发射具有强度分布F(ρs)，其中ρs为样本平面上的平面坐标；
·分束器(BS)；
·两个传感器(Da，Db)，所述两个传感器被配置为分别执行由所述样本发射的光的空间检测和方向检测，其中传感器平面上的平面坐标分别由ρa和ρb指示；
·物镜(O)，所述物镜具有焦距fO和光瞳函数PO(ρO)，其中ρO为透镜平面上的平面坐标；
·第二透镜(T)，所述第二透镜具有焦距fT和光瞳函数PT(ρT)，其中ρT为所述透镜平面上的平面坐标；
其中所述第二透镜(T)布置在由所述分束器(BS)透射/反射的光束的光学路径(a/b)中；
所述系统还包括分析所述透射光束的传感器和所述反射光束的传感器的像素之间的强度相关性以便获得所述全光图像的装置，所述全光图像也包含关于光的方向的信息。
2.根据权利要求1所述的系统，其中所述系统还包括具有焦距fL的第三透镜(L)，所述第三透镜布置在由所述分束器(BS)反射/透射的所述光束的光学路径(b/a)中。
3.根据权利要求1或2所述的系统，其中所述系统还包括频率滤波器，以减小由物体发射的光的带宽，从而使其相干时间与所述传感器的响应时间相匹配。
4.根据权利要求1或2所述的系统，其中所述系统还包括用于成形所述光学路径的附加透镜和反射镜，以便使用被分成两部分作为传感器的单个传感器。
5.根据权利要求1或2所述的系统，其中所述系统还包括偏振和强度滤波器，用于吸收光学路径中的一个或两个中的光的部分，以防止所述传感器饱和并促进其上的信号的平衡。
6.根据权利要求1所述的系统，其中所述两个传感器由相同传感器的不同部分组成。
7.根据权利要求1所述的系统，其中如果光强分布不取决于偏振，则所述分束器(BS)是偏振分束器。
8.根据权利要求1或2所述的系统，其中从所述样本到所述传感器的光学路径(a)与普通显微镜中的普通光学路径相同：在聚焦的情况下，所述样本和所述传感器分别在距所述物镜一定距离(fO)处和在距所述第二透镜一定距离(fT)处。
9.根据权利要求3所述的系统，其中所述样本(S)在所述分束器(BS)之前的定位使得所述物体(S)附近的湍流效应忽略不计，这不同于具有相关性测量的其他全光成像设备，在所述其他全光成像设备中，所述物体(S)被放置在所述分束器(BS)之后、在由相同分束器透射的光束的臂(b)中或者由相同分束器反射的光束的臂(a)中。
10.根据权利要求1或2所述的系统，其中当在其内由于湍流引起的相位变化实际上是恒定的横向尺寸(δt)满足以下公式时，存在于距物体的纵向距离(dt)处的湍流的影响忽略不计：
其中k＝2π/λ是光波数，δ是最小样本细节的大小。
11.根据权利要求1或2所述的系统，其中所述分束器(BS)被放置在所述物镜(O)和所述第二透镜(T)之间，并且其中所述分束器被配置成使得由所述分束器(BS)透射/反射的光束朝向所述第二透镜(T)前进，以聚焦在所述透射/反射光束的传感器上，同时由所述分束器(BS)反射/透射的光束到达所述反射/透射光束的所述传感器，所述传感器相对于所述分束器(BS)被放置在与所述第二透镜(T)相同的距离处，从而获得从所述样本(S)到所述第二透镜(T)以及从所述样本(S)到所述反射/透射光束的传感器的光学路径实际上是相同的，使得当测量二阶相关性时，在所述反射/透射光束的传感器处形成所述第二透镜(T)的聚焦重影图像，而在所述透射/反射光束传感器处形成所述样本的聚焦或失焦图像；所述样本(S)的失焦图像因此能够通过组合关于所述第二透镜(T)的图像和所述显微镜的物平面的图像的信息来重构。
12.根据权利要求1或2所述的系统，其中所述分束器(BS)被放置在所述样本(S)和所述物镜(O)之间，并且其中所述分束器被配置为使得由所述分束器(BS)透射/反射的光束朝向所述第二透镜(T)前进，以聚焦在所述透射/反射光束的传感器上，同时由所述分束器(BS)反射/透射的光束到达所述反射/透射光束的传感器，所述传感器相对于所述物镜(O)被定位在距所述分束器(BS)相同的距离处，从而获得当测量由所述透射/反射光束的传感器和所述反射/透射光束的传感器测量的强度之间的二阶相关性时，所述透镜的聚焦重影图像将聚焦在所述反射/透射光束的传感器上，使得可以通过组合关于所述物镜(O)的图像和所述显微镜的物平面的图像的信息来重构所述样本的失焦图像。
13.根据权利要求2所述的系统，其中所述分束器(BS)被放置在所述物镜(O)和所述第二透镜(T)之间，并且其中所述物镜和所述第三透镜(L)之间的距离(SO)和所述第三透镜(L)和所述反射光束的传感器之间的距离(SI)两者满足关系
1/SI+1/SO＝1/fL，
使得所述物镜(O)的图像不是重影图像，而是由第三薄透镜(L)形成在所述反射/透射光束的传感器上的普通图像，从而获得实时控制所述物镜在所述传感器上的聚焦的可能性，而不需要相对于沿着所述反射/透射光束(b/a)的所述分束器(BS)和所述传感器之间的距离来微调沿着所述透射/反射光束(a/b)的所述分束器(BS)和所述物镜(O)之间的距离。
14.一种用于通过根据前述权利要求1至13中任一项所述的系统捕获具有湍流衰减的显微全光图像的方法，其中，还包含关于光方向的信息的全光图像是通过分析所述透射光束的传感器和所述反射光束的传感器的像素之间的强度相关性而获得的。
15.根据权利要求14的方法，其中关于所述图像的信息包含在以下所述强度波动之间的相关性中：
Γ(ρa，ρb)＝<ΔIa(ρa)ΔIb(ρb)>， (1)
其中：
<...>表示由样本发射的光的统计数据的平均值，
Ia，b(ρa，b)是每个传感器上的位置ρa和ρb的强度，以及
ΔIa，b＝Ia，b-<Ia，b>是相对于它们的平均值<Ia，b>的强度波动。
16.根据权利要求14或15所述的方法，其中所述统计平均值被在持续时间T的时间窗口中捕获的具有持续时间τ的N个连续帧的时间平均值代替。
17.根据权利要求15所述的方法，其中假设发射的光具有可忽略的横向相干性，除了不相关的常数因子，所述强度波动之间的相关性具有这样的值，
其中ga和gb分别是透射光束(a)和反射光束(b)的路径中的光学传递函数，是被视为混沌光源的样本S的横向强度分布；ρs是样本s横向平面上的平面坐标，ρa和ρb分别是传感器Da和Db的横向平面上的平面坐标，Γ(ρa，ρb)是在横向坐标为ρa和ρb的传感器点上测量到的强度波动之间的相关性。
18.根据权利要求14或15所述的方法，其中所述方法包括使用根据权利要求11所述的用于捕获显微全光图像的系统，并且其中为了根据强度波动之间的相关性函数的知识获得所述样本(S)的重新聚焦图像，所述方法包括使用在以下公式中指定的重新聚焦算法：
和
其中是被视为混沌光源的样本S的横向强度分布；ρs是样本S横向平面上的平面坐标，ρa和ρb分别是传感器Da和Db的横向平面上的平面坐标，Γ(ρa，ρb)是在横向坐标为ρa和ρb的传感器点上测量到的强度波动之间的相关性，fO是物镜O的焦距，f是样本S与物镜O之间的距离，PT是物镜T的光瞳函数，是物镜O与管状透镜T之间的距离，F是参数，其长度维度由公式(6)来定义，SI和S0如权利要求13所述，M是比率fT/fO，
在公式(9)中，对ρb的积分是在传感器Db的区域上进行的；符号～意味着在几何光学极限中这些量趋于相等；∑ref是重新聚焦后的图像。
19.根据权利要求14或15所述的方法，其中所述方法包括使用根据权利要求12所述的用于捕获显微全光图像的系统，并且其中为了根据所知道的强度波动之间的相关性函数获得所述样本(S)的重新聚焦图像∑ref，所述方法包括使用在以下公式中指定的重新聚焦算法：
和
其中是被视为混沌光源的样本S的横向强度分布；ρs是样本S横向平面上的平面坐标，ρa和ρb分别是传感器Da和Db的横向平面上的平面坐标，Γ(ρa，ρb)是在横向坐标为ρa和ρb的传感器点上测量到的强度波动之间的相关性，fO是物镜0的焦距，f是样本S与物镜O之间的距离，M是比率fT/fO，其中fT和fO如权利要求1所述，PO是物镜O的光瞳函数；对ρb的积分是在传感器Db的区域上进行的；符号～意味着在几何光学极限中这些量趋于相等。
20.根据权利要求14或15所述的方法，其中所述方法包括使用根据权利要求13所述的用于捕获显微全光图像的系统，并且其中为了根据强度波动之间的相关性函数的知识获得所述样本(S)的重新聚焦图像，所述方法包括使用在以下公式中指定的重新聚焦算法：
和
其中是被视为混沌光源的样本S的横向强度分布；ρs是样本S横向平面上的平面坐标，ρa和ρb分别是传感器Da和Db的横向平面上的平面坐标，Γ(ρa，ρb)是在横向坐标为ρa和ρb的传感器点上测量到的强度波动之间的相关性，fO是物镜O的焦距，f是样本S与物镜O之间的距离，M是比率fT/fO，其中fT和fO如权利要求1所述，PO是物镜O的光瞳函数。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102018000007857A IT201800007857A1 (it) | 2018-08-03 | 2018-08-03 | Dispositivo e procedimento per l’acquisizione di immagini plenottiche microscopiche con attenuazione della turbolenza. |
| IT102018000007857 | 2018-08-03 | ||
| PCT/IB2019/056370 WO2020026093A1 (en) | 2018-08-03 | 2019-07-25 | Device and process for capturing microscopic plenoptic images with turbulence attenuation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112585521A CN112585521A (zh) | 2021-03-30 |
| CN112585521B true CN112585521B (zh) | 2024-08-13 |
Family
ID=63896581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980051830.8A Active CN112585521B (zh) | 2018-08-03 | 2019-07-25 | 用于捕获具有湍流衰减的显微全光图像的设备和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11567308B2 (zh) |
| EP (1) | EP3830628B1 (zh) |
| CN (1) | CN112585521B (zh) |
| IT (1) | IT201800007857A1 (zh) |
| WO (1) | WO2020026093A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111465885A (zh) * | 2017-09-26 | 2020-07-28 | 巴里大学 | 用于对标准图像和全光图像的同时捕捉的设备和过程 |
| US11785347B2 (en) | 2019-02-04 | 2023-10-10 | Anduril Industries, Inc. | Systems and methods for digital imaging using computational pixel imagers with multiple in-pixel counters |
| IT202200019749A1 (it) * | 2022-09-26 | 2024-03-26 | Univ Degli Studi Di Bari Aldo Moro | “dispositivo e procedimento per la ricostruzione plenottica di immagini indirette di un oggetto” |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104344793A (zh) * | 2014-10-29 | 2015-02-11 | 南京理工大学 | 单帧光强传输定量相位显微系统及其方法 |
| US10877254B2 (en) * | 2015-07-17 | 2020-12-29 | Leica Microsystems Cms Gmbh | Light sheet microscope for simultaneously imaging a plurality of object planes |
| WO2018085531A2 (en) * | 2016-11-03 | 2018-05-11 | Oregon Health & Science University | Multispectral super resolution microscopy |
-
2018
- 2018-08-03 IT IT102018000007857A patent/IT201800007857A1/it unknown
-
2019
- 2019-07-25 EP EP19765560.8A patent/EP3830628B1/en active Active
- 2019-07-25 CN CN201980051830.8A patent/CN112585521B/zh active Active
- 2019-07-25 US US17/265,469 patent/US11567308B2/en active Active
- 2019-07-25 WO PCT/IB2019/056370 patent/WO2020026093A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN112585521A (zh) | 2021-03-30 |
| US11567308B2 (en) | 2023-01-31 |
| EP3830628B1 (en) | 2024-02-21 |
| EP3830628C0 (en) | 2024-02-21 |
| WO2020026093A1 (en) | 2020-02-06 |
| EP3830628A1 (en) | 2021-06-09 |
| IT201800007857A1 (it) | 2020-02-03 |
| US20210318532A1 (en) | 2021-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101252938B1 (ko) | 초고해상도 현미경 시스템 및 그 시스템을 이용한 영상 획득 방법 | |
| CN109615651B (zh) | 基于光场显微系统的三维显微成像方法及系统 | |
| US8525091B2 (en) | Wavefront imaging devices comprising a film with one or more structured two dimensional apertures and their applications in microscopy and photography | |
| CN112585521B (zh) | 用于捕获具有湍流衰减的显微全光图像的设备和方法 | |
| CN109477954A (zh) | 具有相位调制元件的scape显微术和图像重构 | |
| CN107615005A (zh) | 高分辨率3‑d谱域光学成像设备和方法 | |
| Berujon et al. | X-ray pulse wavefront metrology using speckle tracking | |
| RU2747129C1 (ru) | Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе | |
| CN108364342B (zh) | 光场显微系统及其三维信息重构方法和装置 | |
| CN112161953B (zh) | 一种基于散射介质的宽光谱单帧散射成像方法 | |
| US20190028641A1 (en) | Systems and methods for high resolution imaging using a bundle of optical fibers | |
| US20230125131A1 (en) | Ultrafast light field tomography | |
| CN110673330B (zh) | 基于散射的成像系统景深拓展装置及方法 | |
| US20210368154A1 (en) | Process and apparatus for the capture of plenoptic images between arbitrary planes | |
| JP2023134456A (ja) | マルチコアファイバイメージング | |
| CN113218914B (zh) | 一种非侵入式散射介质点扩展函数获取装置及方法 | |
| CN114813643A (zh) | 一种基于预置散射介质的穿散射介质关联成像方法及系统 | |
| RU2579640C1 (ru) | Конфокальный спектроанализатор изображений | |
| WO2017174743A1 (fr) | Procédé et dispositif de microscopie interférentielle plein champ en lumière incohérente | |
| KR101322833B1 (ko) | 이차원 실시간 공초점 영상에 기반한 티―레이 토모그래피 장치 및 방법 | |
| US10082659B2 (en) | Microscope | |
| Liu et al. | Future-proof imaging: Computational imaging | |
| Ma et al. | Extending the depth-of-field of computational ghost imaging: Computational refocus via in situ point spread function estimation | |
| KR102469852B1 (ko) | 집적 영상 현미경의 조명계 시스템 | |
| US20240135565A1 (en) | Method and device for light field microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |