CN109276231A - 一种成像系统及成像方法 - Google Patents

Abstract

本发明提供了一种成像系统及成像方法，采用白光和红外光同时照射携带荧光团的样品，白光被反射从而形成第一信号光，荧光团被激发从而形成第二信号光，RGBIR图像传感模块根据所述第一信号光和所述第二信号光得到所述样品的第一RGBIR图像信号，获取第一RGBIR图像信号只需要进行一次拍摄，极大地降低了获取同样数据所需要的数据量，减轻了对系统传输带宽的要求，有效提高了曝光调节时间，可获得更好的图像噪声抑制，并且对RGBIR图像传感模块的曝光频率要求较低，可以使用价格低廉的滚动快门图像传感器，降低了成本。

Description

一种成像系统及成像方法

技术领域

本发明涉及成像系统技术领域，尤其涉及一种成像系统及成像方法。

背景技术

近年来，在临床环境下手术移除肿瘤期间，使用红外(IR)染料标记组织(诸如肿瘤和血管)以形成荧光团的方法已被关注。红外染料被认为是优异的用于标记组织的标签染料，采用这些染料标记组织并用于例如临床操作室环境中，需要采用对IR敏感的成像系统(例如CCD图像传感器)在交替使用红外光照明和可见光照明的情况下分别采集红外图像信号和可见光图像信号，并且将红外图像信号叠加在可见光图像信号上以在操作时为外科医生提供对比，使外科医生能够区分正常组织和标记组织。但是采用这种方法需要将图像传感器的曝光时间与光源(包括红外光光源和可见光光源)的开关时间同步，需要精确的同步装置，并且，为得到一个复合帧需拍摄多帧图像，为保证画面的连续性，需要以非常高的帧率获得图像，会导致数据传输带宽骤增，并且曝光时间受限，不利于噪声抑制，系统复杂，要求高，成本必然也高。

发明内容

本发明的目的在于提供一种成像系统及成像方法，能够在同一时间获取包含可见光图像信息和红外光图像信息的RGBIR图像信号，极大地降低了数据量，减轻了对系统传输带宽的要求。

为了达到上述目的，本发明提供了一种成像系统，包括光源模块、第一光路、第二光路、第三光路及RGBIR图像传感模块，所述光源包括可见光光源及红外光光源；

所述可见光光源发出的白光沿着所述第一光路照射至一携带荧光团的样品上并被反射形成第一信号光，所述红外光光源发出的红外光沿着所述第二光路照射至所述样品上，所述样品的荧光团被激发以形成第二信号光，所述第一信号光和所述第二信号光同时沿着所述第三光路照射至所述RGBIR图像传感模块，所述RGBIR图像传感模块根据所述第一信号光和所述第二信号光得到所述样品的第一RGBIR图像信号。

可选的，所述成像系统还包括图像处理模块，所述图像处理模块包括依次连接的接收单元、插值单元、去分量单元、图像合并单元及输出单元；

所述接收单元连接所述RGBIR图像传感模块以接收所述第一RGBIR图像信号；所述插值单元通过内插法对所述第一RGBIR图像信号进行插值以得到全分量图像信号；所述去分量单元将所述全分量图像信号分离为第一RGB图像信号和第一IR图像信号，并将所述第一RGB图像信号中每个像素点上的受IR影响的成分去除以得到第二RGB图像信号；所述图像合并单元将所述第一IR图像信号进行伪色处理后与所述第二RGB图像信号合并以得到第二RGBIR图像信号；所述输出单元将所述第二RGBIR图像信号输出。

可选的，所述输出单元以一设定频率输出所述第二RGBIR图像信号的连续图像帧。

可选的，所述第二光路和所述第三光路的交界处设置有一陷波分束单元，所述陷波分束单元将所述红外光光源发出的红外光反射至所述样品上，并透射所述第一信号光和第二信号光。

可选的，所述陷波分束单元与所述RGBIR图像传感模块之间的所述第三光路上还设置有滤波单元，所述滤波单元使得第一波段和第二波段的光线进入所述RGBIR图像传感模块，所述第一信号光处于所述第一波段，所述第二信号光处于第二波段。

可选的，所述第二信号光的波长较所述红外光光源发出的红外光的波长更长，且所述红外光光源发出的红外光的波长处于所述第二波段之外。

可选的，所述RGBIR图像传感模块为RGBIR图像传感器。

本发明还提供了一种成像方法，包括：

一白光和红外光分别沿着第一光路和第二光路同时照射至一携带荧光团的样品上，所述白光被反射以形成第一信号光，所述样品的荧光团被激发以形成第二信号光；

根据所述第一信号光和所述第二信号光得到所述样品的第一RGBIR图像信号。

可选的，所述成像方法还包括：

通过内插法对所述第一RGBIR图像信号进行插值以补全每个像素点上缺失的像素值，以得到全分量图像信号；

将所述全分量图像信号分离为第一RGB图像信号和第一IR图像信号；

将所述第一RGB图像信号中每个像素点上的受IR影响的成分去除以得到第二RGB图像信号；

将所述第一IR图像信号进行伪色处理后与所述第二RGB图像信号合并以得到第二RGBIR图像信号。

可选的，通过以下公式将所述第一RGB图像信号中每个像素点上的受IR影响的成分去除：

R’＝R-C_r(R,IR)；

G’＝G-C_g(G,IR)；

B’＝B-C_b(B,IR)；

其中，R’、G’及B’分别为所述第二RGB图像信号中任一像素点的R值、G值及B值，R、G及B分别为所述第一RGB图像信号中对应像素点的R值、G值及B值，C_r(R,IR)、C_g(G,IR)及C_b(B,IR)分别为R像素、G像素及B像素对应的红外校正参数。

可选的，将所述第一IR图像信号进行伪色处理后与所述第二RGB图像信号合并以得到所述第二RGBIR图像信号的步骤包括：

将所述第一IR图像信号中每个像素点的IR值按照以下设定映射关系映射至一组RGB值中进行伪色处理，以得到IR伪色图像信号；

(R_ir，G_ir，B_ir)＝(f_r(IR),f_g(IR),f_b(IR))；

将所述IR伪色图像信号与所述第二RGB图像信号按照以下公式合并以得到所述第二RGBIR图像信号：

R_fin＝W_r(R’，R_ir)R’+(1-W_r(R’，R_ir))R_ir；

G_fin＝W_g(G’，G_ir)G’+(1-W_g(G’，G_ir))G_ir；

B_fin＝W_b(B’，B_ir)B’+(1-W_b(B’，B_ir))B_ir；

其中，R_fin、G_fin及B_fin分别为所述第二RGBIR图像信号的中任一像素点的R值、G值及B值；R_ir、G_ir及B_ir分别为所述IR伪色图像信号中对应像素点的R值、G值及B值；f_r(IR)、f_g(IR)及f_b(IR)分别为所述第一IR图像信号中任一像素点的IR值到对应所述IR伪色图像信号上像素点的R值、G值及B值的映射函数；W_r(R’，R_ir)、W_g(G’，G_ir)及W_b(B’，B_ir)分别为R像素、G像素及B像素的权重。

在本发明提供的成像系统及成像方法中，采用白光和红外光同时照射携带荧光团的样品，白光被反射从而形成第一信号光，荧光团被激发从而形成第二信号光，RGBIR图像传感模块根据所述第一信号光和所述第二信号光得到所述样品的第一RGBIR图像信号，获取第一RGBIR图像信号只需要进行一次拍摄，极大地降低了获取同样数据所需要的数据量，减轻了对系统传输带宽的要求，有效提高了曝光调节时间，可获得更好的图像噪声抑制，并且对RGBIR图像传感模块的曝光频率要求较低，可以使用价格低廉的滚动快门图像传感器，降低了成本。

附图说明

图1为本发明实施例提供的成像系统的结构示意图；

图2为本发明实施例提供的一种典型的RGBIR图像传感器的量化响应曲线；

图3为本发明实施例提供的RGBIR图像传感器的像素排列方式；

图4为本发明实施例提供的成像方法的流程图；

其中，附图标记为：

11-可见光光源；12-红外光光源；2-RGBIR图像传感模块；3-样品；4-陷波分束单元；5-滤波单元；K1第一光路；K2-第二光路；K3-第三光路；6-光学镜头。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

请参阅图1，其为本实施例提供的成像系统的结构示意图，如图1所示，所述成像系统包括光源模块、第一光路K1、第二光路K2、第三光路K3及RGBIR图像传感模块2，所述光源包括可见光光源11及红外光光源12；所述可见光光源11发出的白光沿着所述第一光路K1照射至一携带荧光团的样品3上并被反射以形成第一信号光，所述红外光光源12发出的红外光沿着所述第二光路K2照射至所述样品3上，所述样品的荧光团被激发以形成第二信号光，所述第一信号光和所述第二信号光同时沿着所述第三光路K3照射至所述RGBIR图像传感模块2，所述RGBIR图像传感模块2根据所述第一信号光和所述第二信号光得到所述样品3的第一RGBIR图像信号。

具体的，如图1所示，所述样品3可以是肿瘤、细胞、组织、器官或身体部分，其采用红外染料标记了部分组织以形成荧光团，所述可见光光源11发出波长为400nm-700nm的白光并沿着所述第一光路K1照射至所述样品3上(同时也照射至所述荧光团上)，并被反射形成携待所述样品3的可见光图像信息的第一信号光。同时，所述红外光光源12发出的红外光(例如是波长为785nm的红外光)沿着所述第二光路K2照射至所述样品3上(同时也照射至所述荧光团上)，所述荧光团被所述红外光激发并发出携待所述样品3的荧光团的红外光图像信息的第二信号光，所述第二信号光的波长较所述红外光光源12发出的红外光的波长更大，例如所述第二信号光可以是大于800nm的红外光。

进一步，所述第一信号光和所述第二信号光同时沿着所述第三光路K3照射至所述RGBIR图像传感模块2，所述RGBIR图像传感模块2为RGBIR图像传感器，所述RGBIR图像传感模块2曝光一次即可得到所述样品的第一RGBIR图像信号，即在同一时间获取了可见光图像信息和红外光图像信息，因此欲获得一帧可见光与红外光的复合图像，仅需令所述RGBIR图像传感模块2进行一次曝光。

图2是一种典型的RGBIR图像传感器的量化响应曲线，由于追求低光效果及图像传感器制造工艺等原因，RGBIR图像传感器的RGB通道在感应可见光(400～700nm)的同时还会感应红外光，因此，在红外光源12照明的情况下，需要利用IR像素的信息对第一RGBIR图像信号的R、G、B像素值加以校正，以消除红外光对RGB通道的影响。

图3所述RGBIR图像传感器的像素排列方式，故所述第一RGBIR图像信号包含R、G、B和IR四种像素分量信号，但每个像素点上只包含一种像素分量值。可选的，所述成像系统还包括图像处理模块，所述图像处理模块包括依次连接的接收单元、插值单元、去分量单元、图像合并单元及输出单元；所述接收单元连接所述RGBIR图像传感模块2以接收所述第一RGBIR图像信号；所述插值单元通过内插法(图像插值算法)对所述第一RGBIR图像信号进行插值，补全所述第一RGBIR图像信号中每个像素点上的R值、G值、B值以及IR值以得到全分量图像信号；接着，所述去分量单元将所述全分量图像信号分离为RGB分量下的第一RGB图像信号和IR分量下的第一IR图像信号，所述第一RGB图像信号中仅包含R、G和B分量，所述第一IR图像信号仅包含IR分量，将所述第一RGB图像信号中每个像素点上的受IR影响的成分去除以得到第二RGB图像信号(校正后的可见光图像信息)；所述图像合并单元将所述第一IR图像信号进行伪色处理，即将所述第一IR图像信号中的IR像素按照设定映射关系映射为一组RGB值(例如所述样品3的正常组织为红黄色，可以采用蓝色作伪色处理，以便于区分)，再与所述第二RGB图像信号合并以得到第二RGBIR图像信号，所述第二RGBIR图像信号即为携带校正后的可见光图像信息和红外光信息的复合图像信号，而所述红外光信息通过伪色处理后，能够明显的区分开所述样品3上被标记的组织和正常组织；最后所述输出单元将所述第二RGBIR图像信号输出。

所述可见光光源11及红外光光源12可以持续的对所述样品3进行照明，所述RGBIR图像传感模块2也可以连续进行曝光，所述输出单元即可以以一设定频率输出所述第二RGBIR图像信号的连续图像帧，以实时的反映出所述样品3的信息。

进一步，由于红外光光源12发出的红外光有很强的能量，其远强于荧光团辐射的第二信号光的能量，并且二者波长接近，本实施例中，所述第二光路K2和所述第三光路K3的交界处设置有一陷波分束单元4，所述陷波分束单元4将所述红外光光源12发出的红外光反射至所述样品3上，并透射所述第一信号光和第二信号光，即所述陷波分束单元4可以防止所述样品3反射的红外光进入所述RGBIR图像传感模块2中成像。

本实施例中，所述陷波分束单元4与所述RGBIR图像传感模块2之间的所述第三光路K3上还设置有滤波单元5，可选的，所述滤波单元5包括陷波滤波器及双波段滤波器，所述陷波滤波器可以进一步反射所述红外光，衰减其能量，防止所述样品3反射的红外光对成像的干扰，而所述双波段滤波器可以滤除第一波段和第二波段以外的光线，所述第一波段可以是400nm-700nm，所述第二波段可以是800nm-850nm，所述第一信号光处于所述第一波段，所述第二信号光处于第二波段，而其他的光线(例如所述红外光光源12发出的红外光)不在所述第一波段和第二波段内，即所述双波段滤波器允许所述第一信号光和所述第二信号光进入所述RGBIR图像传感模块2内成像，并防止带外其他杂散光的影响。

所述第二光路K2和所述第三光路K3的重叠部分上还设置有光学镜头6，所述光学镜头6可位于所述陷波分束单元4与所述样品3之间，以捕获光线。

基于此，如图4所示，本发明还提供了一种成像方法，包括：

S1:一白光和红外光分别沿着第一光路和第二光路同时照射至一携带荧光团的样品上，所述白光被反射以形成第一信号光，所述样品的荧光团被激发以形成第二信号光；

S2:根据所述第一信号光和所述第二信号光得到所述样品的第一RGBIR图像信号。

具体的，以上述成像系统为例进行举例说明，所述可见光光源11及红外光光源12发出的白光和红外光分别沿着第一光路K1和第二光路K2同时照射至携带荧光团的样品3上，并分别形成第一信号光和第二信号光，所述第一信号光和第二信号光沿着第三光路K3同时入射进所述RGBIR图像传感模块2中，所述RGBIR图像传感模块2得到包含所述样品3的可见光图像信息和红外图像信息的第一RGBIR图像信号。

进一步，为了对所述第一RGBIR图像信号中的RGB像素值进行校正，首先通过内插法对所述第一RGBIR图像信号进行插值以补全每个像素点上缺失的像素分量值，以得到全分量图像信号；接着将所述全分量图像信号分离为RGB分量下的第一RGB图像信号和IR分量下的第一IR图像信号；对于任一像素点，通过公式(1)-公式(3)将所述第一RGB图像信号中每个像素点上的受IR影响的成分去除以得到第二RGB图像信号；

R’＝R-C_r(R,IR) (1)

G’＝G-C_g(G,IR) (2)

B’＝B-C_b(B,IR) (3)；

其中，R’、G’及B’分别为所述第二RGB图像信号中任一像素点的R值、G值及B值，R、G及B分别为所述第一RGB图像信号中对应像素点的R值、G值及B值，C_r(R,IR)、C_g(G,IR)及C_b(B,IR)分别为R像素、G像素及B像素对应的红外校正参数。可以理解的是，所述R像素、G像素及B像素对应的红外校正参数由校正前的R值、G值、B和IR值共同决定，可以由具体的RGBIR图像传感模块2标定而得到。

接下来，将所述第一IR图像信号中每个像素点的IR值按照如下公式(4)的设定映射关系映射至一组RGB值中进行伪色处理，以得到IR伪色图像信号；

(R_ir，G_ir，B_ir)＝(f_r(IR),f_g(IR),f_b(IR))；(4)

其中，R_ir，G_ir及B_ir分别为所述IR伪色图像信号中的任一像素点的R值、G值及B值，f_r(IR)、f_g(IR)及f_b(IR)分别为所述第一IR图像信号中任一像素点的IR值到对应所述IR伪色图像信号上的像素点的R值、G值及B值的映射函数。

然后将所述IR伪色图像信号与所述第二RGB图像信号按照公式(5)-公式(7)合并以得到所述第二RGBIR图像信号：

R_fin＝W_r(R’，R_ir)R’+(1-W_r(R’，R_ir))R_ir； (5)

G_fin＝W_g(G’，G_ir)G’+(1-W_g(G’，G_ir))G_ir； (6)

B_fin＝W_b(B’，B_ir)B’+(1-W_b(B’，B_ir))B_ir； (7)

其中，R_fin、G_fin及B_fin分别为所述第二RGBIR图像信号的中任一像素点的R值、G值及B值，R_ir、G_ir及B_ir分别为所述IR伪色图像信号中对应像素点的R值、G值及B值，W_r(R’，R_ir)、W_g(G’，G_ir)及W_b(B’，B_ir)分别为R像素、G像素及B像素的权重。

综上，在本发明实施例提供的成像系统及成像方法中，采用白光和红外光同时照射携带荧光团的样品，白光被反射从而形成第一信号光，荧光团被激发从而形成第二信号光，RGBIR图像传感模块根据所述第一信号光和所述第二信号光得到所述样品的第一RGBIR图像信号，获取第一RGBIR图像信号只需要进行一次拍摄，极大地降低了获取同样数据所需要的数据量，减轻了对系统传输带宽的要求，有效提高了曝光调节时间，可获得更好的图像噪声抑制，并且对RGBIR图像传感模块的曝光频率要求较低，可以使用价格低廉的滚动快门图像传感器，降低了成本。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (11)

1.一种成像系统，其特征在于，所述成像系统包括光源模块、第一光路、第二光路、第三光路及RGBIR图像传感模块，所述光源包括可见光光源及红外光光源；

所述可见光光源发出的白光沿着所述第一光路照射至一携带荧光团的样品上并被反射形成第一信号光，所述红外光光源发出的红外光沿着所述第二光路照射至所述样品上，所述样品的荧光团被激发以形成第二信号光，所述第一信号光和所述第二信号光同时沿着所述第三光路照射至所述RGBIR图像传感模块，所述RGBIR图像传感模块根据所述第一信号光和所述第二信号光得到所述样品的第一RGBIR图像信号。

2.根据权利要求1所述的成像系统，其特征在于，所述成像系统还包括图像处理模块，所述图像处理模块包括依次连接的接收单元、插值单元、去分量单元、图像合并单元及输出单元；

所述接收单元连接所述RGBIR图像传感模块以接收所述第一RGBIR图像信号；所述插值单元通过内插法对所述第一RGBIR图像信号进行插值以得到全分量图像信号；所述去分量单元将所述全分量图像信号分离为第一RGB图像信号和第一IR图像信号，并将所述第一RGB图像信号中每个像素点上的受IR影响的成分去除以得到第二RGB图像信号；所述图像合并单元将所述第一IR图像信号进行伪色处理后与所述第二RGB图像信号合并以得到第二RGBIR图像信号；所述输出单元将所述第二RGBIR图像信号输出。

3.根据权利要求2所述的成像系统，其特征在于，所述输出单元以一设定频率输出所述第二RGBIR图像信号的连续图像帧。

4.根据权利要求1所述的成像系统，其特征在于，所述第二光路和所述第三光路的交界处设置有一陷波分束单元，所述陷波分束单元将所述红外光光源发出的红外光反射至所述样品上，并透射所述第一信号光和第二信号光。

5.根据权利要求4所述的成像系统，其特征在于，所述陷波分束单元与所述RGBIR图像传感模块之间的所述第三光路上还设置有滤波单元，所述滤波单元使得第一波段和第二波段的光线进入所述RGBIR图像传感模块，所述第一信号光处于所述第一波段，所述第二信号光处于第二波段。

6.根据权利要求5所述的成像系统，其特征在于，所述第二信号光的波长较所述红外光光源发出的红外光的波长更长，且所述红外光光源发出的红外光的波长处于所述第二波段之外。

7.根据权利要求1-6中任一项所述的成像系统，其特征在于，所述RGBIR图像传感模块为RGBIR图像传感器。

8.一种成像方法，其特征在于，所述成像方法包括：

一白光和红外光分别沿着第一光路和第二光路同时照射至一携带荧光团的样品上，所述白光被反射以形成第一信号光，所述样品的荧光团被激发以形成第二信号光；

根据所述第一信号光和所述第二信号光得到所述样品的第一RGBIR图像信号。

9.根据权利要求8所述的成像方法，其特征在于，所述成像方法还包括：

通过内插法对所述第一RGBIR图像信号进行插值以补全每个像素点上缺失的像素值，以得到全分量图像信号；

将所述全分量图像信号分离第一RGB图像信号和第一IR图像信号；

将所述第一RGB图像信号中每个像素点上的受IR影响的成分去除以得到第二RGB图像信号；

将所述第一IR图像信号进行伪色处理后与所述第二RGB图像信号合并以得到第二RGBIR图像信号。

10.根据权利要求9所述的成像方法，其特征在于，通过以下公式将所述第一RGB图像信号中每个像素点上的受IR影响的成分去除：

R’＝R-C_r(R,IR)；

G’＝G-C_g(G,IR)；

B’＝B-C_b(B,IR)；

其中，R’、G’及B’分别为所述第二RGB图像信号中任一像素点的R值、G值及B值，R、G及B分别为所述第一RGB图像信号中对应像素点的R值、G值及B值，C_r(R,IR)、C_g(G,IR)及C_b(B,IR)分别为R像素、G像素及B像素对应的红外校正参数。

11.根据权利要求10所述的成像方法，其特征在于，将所述第一IR图像信号进行伪色处理后与所述第二RGB图像信号合并以得到所述第二RGBIR图像信号的步骤包括：

将所述第一IR图像信号中每个像素点的IR值按照以下设定映射关系映射至一组RGB值中进行伪色处理，以得到IR伪色图像信号；

(R_ir，G_ir，B_ir)＝(f_r(IR),f_g(IR),f_b(IR))；

将所述IR伪色图像信号与所述第二RGB图像信号按照以下公式合并以得到所述第二RGBIR图像信号：

R_fin＝W_r(R’，R_ir)R’+(1-W_r(R’，R_ir))R_ir；

G_fin＝W_g(G’，G_ir)G’+(1-W_g(G’，G_ir))G_ir；

B_fin＝W_b(B’，B_ir)B’+(1-W_b(B’，B_ir))B_ir；

其中，R_fin、G_fin及B_fin分别为所述第二RGBIR图像信号的中任一像素点的R值、G值及B值；R_ir、G_ir及B_ir分别为所述IR伪色图像信号中对应像素点的R值、G值及B值；f_r(IR)、f_g(IR)及f_b(IR)分别为所述第一IR图像信号中任一像素点的IR值到对应所述IR伪色图像信号上像素点的R值、G值及B值的映射函数；W_r(R’，R_ir)、W_g(G’，G_ir)及W_b(B’，B_ir)分别为R像素、G像素及B像素的权重。