CN102316247B - 图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理装置，其根据多个普通光图像求出普通光运动矢量，将普通光运动矢量还使用于特殊光图像，由此能进行适当的噪声降低处理。图像处理装置包括：普通光图像取得部(213)，其取得包括白光波段上的信息的图像作为普通光图像；特殊光图像取得部(214)，其取得包括特定波段上的信息的图像作为特殊光图像；普通光运动矢量信息计算部(215)，其根据普通光图像内的特征量，计算表示多个普通光图像之间的运动矢量的普通光运动矢量信息；以及噪声降低部，其根据所计算出的普通光运动矢量信息，降低特殊光图像中的噪声量。

Description

图像处理装置

技术领域

本发明涉及图像处理装置等。

背景技术

通常，在动态图像信号中包含噪声分量，作为降低该噪声分量的方法，公知有帧巡回型噪声降低处理。根据前一帧的输出图像和当前的输入图像，检测动态图像信号的运动量，根据运动量对时间平均的程度进行控制。该帧巡回型噪声降低处理的性能很大程度上受上述运动检测精度的影响。这里，作为通常的运动检测算法，公知有如下的方式：计算动态图像信号的亮度的差分绝对值，对该差分绝对值和运动判定阈值进行比较。例如，在专利文献1中公开了在差分绝对值大于运动判定阈值的情况下判定为运动的方法。

【专利文献1】日本特开2005-150903号公报

在内窥镜诊断中，为了提高对病变部等的视觉辨识能力，往往使用利用具有特定波段的特殊光进行拍摄而得到的图像信号。但是，与普通光图像相比，利用具有比普通光窄的波段的特殊光进行拍摄而得到的图像信号比较暗，因此噪声的影响相对地增大。因此，在上述的通常运动检测算法中，由于该噪声的影响，运动检测精度也降低。因此，在现有的帧巡回型噪声降低处理中，根据前后两个特殊光图像信号检测运动矢量进行噪声降低处理，因此存在产生残像等假象的问题。

发明内容

根据本实施方式的几个方式，能够提供图像处理装置等，该图像处理装置通过根据多个普通光图像求出普通光运动矢量，将普通光运动矢量还用于特殊光图像，由此能够进行适当的噪声降低处理。

此外，根据本实施方式的几个方式，能够提供图像处理装置等，该图像处理装置根据多个普通光图像求出普通光运动矢量，根据普通光运动矢量求出特殊光图像中的特殊光运动矢量，由此即使对于特殊光，也能计算准确的运动量，进行适当的噪声降低处理。

本发明的一个方式涉及图像处理装置，该图像处理装置包括：普通光图像取得部，其取得包括白光波段上的信息的图像作为普通光图像；特殊光图像取得部，其取得包括特定波段上的信息的图像作为特殊光图像；普通光运动矢量信息计算部，其根据所述普通光图像内的特征量，计算表示多个普通光图像之间的运动矢量的普通光运动矢量信息；以及噪声降低部，其根据所计算出的所述普通光运动矢量信息，降低所述特殊光图像中的噪声量。

在本发明的一个方式中，取得普通光图像和特殊光图像，根据普通光图像计算普通光运动矢量信息，使用计算出的普通光运动矢量信息降低特殊光图像中的噪声量。由此，能使用比特殊光图像亮的普通光图像计算更加准确的运动矢量信息，因此，在帧巡回型噪声降低处理中，能够有效地降低噪声等。

附图说明

图1是说明第1实施方式中普通光运动矢量信息和特殊光运动矢量信息的关系的图。

图2是说明第2实施方式中普通光运动矢量信息和特殊光运动矢量信息的关系的图。

图3是包含本实施方式的图像处理装置的内窥镜系统的构成例。

图4是普通光摄像元件的分光特性。

图5是特殊光摄像元件的分光特性(NBI)。

图6是特殊光摄像元件的滤波器结构的例子。

图7是普通光运动矢量信息计算部的构成例。

图8是说明当前帧普通光图像和过去帧普通光图像的匹配处理的图。

图9是特殊光噪声模型的例子。

图10是包含本实施方式的图像处理装置的内窥镜系统的另一构成例。

图11是特殊光运动矢量信息计算部的构成例。

图12是用于说明本实施方式的处理的流程图。

图13是用于说明特殊光运动矢量信息计算处理的流程图。

图14是包含本实施方式的图像处理装置的内窥镜系统的另一构成例。

图15是光源部的构成例。

图16是旋转滤波器的构成例。

图17是特殊光运动矢量信息计算部的另一构成例。

图18是运动矢量校正部的构成例。

图19是用于说明第2实施方式的特殊光运动矢量信息计算处理的流程图。

标号说明

100、被摄体；101、普通光光源；102、插入部；103、光导；201、透镜；202、半反射镜；203、普通光摄像元件；204、滤波器；205、特殊光摄像元件；206、摄像元件；211、普通光图像A/D转换部；212、特殊光图像A/D转换部；213、普通光图像取得部；214、特殊光图像取得部；215、普通光运动矢量信息计算部；216、特殊光运动矢量信息计算部；217、普通光噪声降低部；218、特殊光噪声降低部；219、输出部；221、控制部；222、普通光图像保存部；223、特殊光图像保存部；301、第1缓存部；302、第2缓存部；303、分割部；304、相似度检测部；501、第3缓存部；502、校正系数计算部；503、校正部；512、运动矢量检测部；513、运动矢量校正部；601、光源部；603、发光控制部；604、A/D转换部；605、特殊光图像取得部；606、特殊光运动矢量信息计算部；701、普通光光源；702、旋转滤波器；703、聚光透镜；801、判定部；802、运动矢量更新部；803、RAM

具体实施方式

以下，说明本实施方式。另外，以下说明的本实施方式并非不恰当地限定权利要求所记载的本发明的内容。此外，本实施方式所说明的全部结构并非均是本发明的必要技术特征。

1.本实施方式的方法

首先，说明本实施方式的方法。作为使动态图像信号的噪声分量降低的方法，公知有帧巡回型噪声降低处理。在帧巡回型噪声降低处理中，进行三维噪声去除(使用了按时间序列不同的帧的图像的噪声去除)。

在该帧巡回型噪声降低处理中，根据在不同的帧之间对应的像素信息去除噪声，因此在被摄体静止的情况下，不会产生因基于对应像素信息的噪声降低处理而引起的弊病，但是在被摄体移动的情况下，在噪声去除后的图像中产生残像。因此，为了有效地进行噪声降低，需要准确地求出被摄体的移动量(运动量)。

但是，在除了取得普通光图像还取得特殊光图像(具有与窄带的光对应的信息的图像)的内窥镜系统中，在进行特殊光图像的噪声降低时会产生问题。这是因为，特殊光图像是基于窄带光的图像，因此与普通光图像相比，图像整体较暗，噪声分量的影响较大，因此很难准确地导出运动量。

因此，本申请人提出了这样的方法：使用普通光图像的信息，求出特殊光图像中的运动量(运动矢量)。如图1所示，如果是能同时取得普通光图像和特殊光图像的结构(例如如图3所示具有双板摄像元件的结构)，则根据普通光图像的过去帧图像(例如图1的A1)和普通光图像的当前帧图像(图1的A2)，取得普通光图像中的运动矢量，即普通光运动矢量VA1。该情况下，特殊光图像的过去帧图像A3与普通光图像A1是同时拍摄的，特殊光图像的当前帧图像A4与普通光图像A2是同时拍摄的，因此想求取的特殊光运动矢量VA2与VA1基本一致。由此，不是直接求出VA2，而是使用比特殊光图像明亮的普通光图像来求出VA1，由此能更准确地求出特殊光运动矢量VA2。

针对以上的本实施方式的基本方法，首先利用第1实施方式来说明。此外，在第2实施方式中，如图2所示，说明交替取得普通光图像和特殊光图像的结构(例如如图14所示的具有单板摄像元件的结构)的例子。该情况下，在求出B4与B5之间的特殊光运动矢量VB3时，求出B1与B2之间的运动矢量VB1和B2与B3之间的运动矢量VB2，以适当的方式对VB1和VB2进行合成(例如取平均)。

通过采用这种方法，可以不直接使用较暗的噪声多的特殊光图像，而是使用明亮的噪声少的普通光图像来求出特殊光运动矢量。由此，即使是特殊光图像，也能准确地求出被摄体的运动量，在帧巡回型噪声降低处理中能有效地除去噪声。

2.第1实施方式

图3是包括本实施方式的图像处理装置的内窥镜系统的结构图。内窥镜系统包括普通光光源101、插入部102、光导103、透镜201、半反射镜202、普通光摄像元件203、滤波器204、特殊光摄像元件205、普通光图像A/D转换部211、特殊光图像A/D转换部212、普通光图像取得部213、特殊光图像取得部214、普通光运动矢量信息计算部215、普通光噪声降低部217、特殊光噪声降低部218、输出部219、外部I/F 220、控制部221、普通光图像保存部222和特殊光图像保存部223。另外，结构不限于此，可以实施省略这些构成部件的一部分等的各种变形。

该图像处理装置适用于内窥镜，因此插入部102是能够弯曲成可插入体内的细长形状，普通光光源101照射出的光经由能弯曲的光导103，照射到被摄体100。在插入部102的前端部配置有透镜201，来自被摄体100的反射光经由该透镜201，被半反射镜202分离成两束反射光。

一束反射光进入普通光摄像元件203。该普通光摄像元件203是具有用于形成普通光图像的拜尔排列的滤色器的摄像元件。在本实施方式中，适用具有图4所示的分光特性的RGB滤色器的摄像元件(R(580nm～700nm)、G(480nm～600nm)、B(400nm～500nm))。普通光摄像元件203通过光电转换将反射光转换成普通光模拟图像信号。

另一方面，另一束反射光进入具有窄带滤色器的特殊光摄像元件205。在本实施例中，具有图5所示的规定窄带的透射率特性(G1(530nm～550nm)、B1(390nm～445nm))。特殊光摄像元件205是具有用于形成图6所示的特殊光图像的围棋盘状排列的两种滤色器的摄像元件，通过光电转换将窄带光转换成特殊光模拟图像信号(NBI图像信号)。在内窥镜诊断的领域，具有所述窄带分光特性的光容易被血液中的血红蛋白吸收，因此能实现粘膜表层的毛细血管、粘膜细微图案的强调显示。在食道、大肠、胃等癌症的诊断中，NBI图像信号的诊断效果很好。

由普通光摄像元件203转换后的普通光模拟图像信号被输出到普通光图像A/D转换部211，由特殊光摄像元件205转换后的特殊光模拟图像信号被输出到特殊光图像A/D转换部212。

普通光图像A/D转换部211经由普通光图像取得部213、普通光运动矢量信息计算部215和普通光噪声降低部217，与输出部219连接。普通光噪声降低部217双向地与普通光图像保存部222连接。普通光图像保存部222与普通光运动矢量信息计算部215连接。特殊光图像A/D转换部212经由特殊光图像取得部214和特殊光噪声降低部218与输出部219连接。特殊光噪声降低部218双向地与特殊光图像保存部223连接。普通光运动矢量信息计算部215与特殊光噪声降低部218连接。控制部221双向地连接普通光图像A/D转换部211、特殊光图像A/D转换部212、普通光图像取得部213、特殊光图像取得部214、普通光运动矢量信息计算部215、普通光噪声降低部217、特殊光噪声降低部218、输出部219、普通光图像保存部222和特殊光图像保存部223。外部I/F 220与控制部221连接。

普通光图像A/D转换部211对来自普通光摄像元件203的普通光模拟图像信号进行数字化，作为普通光数字图像信号(以下称为普通光图像信号)传送到普通光图像取得部213。另一方面，特殊光图像A/D转换部212对来自特殊光摄像元件205的特殊光模拟图像信号进行数字化，作为特殊光数字图像信号(以下称为特殊光图像信号)传送到特殊光图像取得部214。

普通光图像取得部213根据控制部221的控制，对来自普通光图像A/D转换部211的普通光图像信号进行图像处理。在本实施例中，进行公知的拜尔插值处理(从拜尔图像信号转换成3板图像信号的处理)、白平衡处理、色彩管理处理、灰度转换处理等。将由处理后的RGB信号构成的普通光图像信号传送到普通光运动矢量信息计算部215。

另一方面，特殊光图像取得部214根据控制部221的控制，对来自特殊光图像A/D转换部212的特殊光图像信号进行图像处理。在本实施例中，首先，使用由特殊光摄像元件生成的特殊光图像信号进行缺漏像素的插值处理，该特殊光摄像元件具有如图6所示的围棋盘状排列的G1和B1的两种滤色器。具体而言，计算同种类滤波器的缺漏像素的周围像素的平均信号值，作为信号值对缺漏像素进行插值。例如，使用下式(1)计算图6所示的G1(1，1)和B(2，1)。

G1(1，1)＝(G1(1，0)+G1(0，1)+G1(2，1)+G1(1，2))/4

B1(2，1)＝(B1(2，0)+B1(1，1)+B1(3，1)+B1(2，2))/4 ……(1)

通过以上的插值处理，生成所有像素的两个信号(G1、B1)的图像信号。

接下来，使用下式(2)生成NBI特殊光图像(NBI伪彩色图像)。

Rch_v(x，y)＝p1*G1(x，y)

Gch_v(x，y)＝p2*B1(x，y)

Bch_v(x，y)＝p3*B1(x，y) ……(2)

上式(2)中的Rch_v(x，y)是NBI特殊光图像信号的R通道的信号值，Gch_v(x，y)是NBI特殊光图像信号的G通道的信号值，Bch_v(x，y)是NBI特殊光图像信号的B通道的信号值，B1(x，y)是所述插值处理后的所有像素的两个信号(G1、B1)的图像信号中的B1(窄带)图像的像素值，G1(x，y)是所述插值处理后的所有像素的两个信号(G1、B1)的图像信号中的G1(窄带)图像的像素值，(x，y)是像素在图像信号内的横轴与纵轴的坐标位置，p1、p2、p3是规定系数。

接下来，对所述NBI特殊光图像信号进行灰度转换处理等。将处理后的RGB信号构成的特殊光图像信号(Rch_v，Gch_v，Bch_v)传送到特殊光噪声降低部218。

图7示出普通光运动矢量信息计算部215的结构的一例，包括第1缓存部301、第2缓存部302、分割部303和相似度检测部304。普通光图像取得部213经由第2缓存部302、分割部303和相似度检测部304，与普通光噪声降低部217、特殊光噪声降低部218连接。普通光图像保存部222经由第1缓存部301与相似度检测部304连接。控制部221双向地连接第1缓存部301、第2缓存部302、分割部303和相似度检测部304。

普通光图像取得部213根据控制部221的控制，将图像处理后的普通光图像信号传送到第2缓存部302进行临时保存。

普通光图像保存部222通过控制部221的控制，将所保存的进行了噪声降低后的过去的普通光图像信号传送到第1缓存部301，进行临时保存。该过去的普通光图像信号是指，与保存在第2缓存部302中的普通光图像信号相比在时间上刚刚拍摄的、时间距离最短的过去的普通光图像信号。在本实施例中，将保存在第1缓存部301中的过去的普通光图像信号称为过去帧普通光图像信号，将保存在第2缓存部302中的普通光图像信号称为当前帧普通光图像信号。

分割部303根据控制部221的控制，读入第2缓存部302中的当前帧普通光图像信号进行分割处理。具体而言，使用规定尺寸将当前帧普通光图像信号分割成多个块区域。例如，将当前帧普通光图像信号分割成该规定尺寸的M×N(8×8、16×16、32×32等)的矩形区域。将分割后得到的多个块区域的当前帧普通光图像信号传送到相似度检测部304。关于块区域，除了矩形以外还可以设定成多边形。此外，用户也可以经由外部I/F 220任意地指定分割区域的形状。

相似度检测部304根据控制部221的控制，使用来自分割部303的当前帧普通光图像信号的各块区域的普通光图像信号，对来自第1缓存部301的降低噪声后的过去帧普通光图像信号进行模板匹配处理，检测出相似度最高的块区域。在本实施例中，使用当前帧普通光图像信号的各分割块区域的普通光图像信号，按光栅扫描的顺序进行公知的模板匹配处理，提取对应的过去帧普通光图像信号的处理对象块区域。将过去帧普通光图像信号的处理对象块区域与当前帧普通光图像信号的处理对象块区域的坐标差(U、V)作为普通光运动矢量信息。

在作为模板的当前帧图像信号的所有的块区域的匹配处理结束之后，将普通光运动矢量信息和当前帧普通光图像信号传送到普通光噪声降低部217。并且，还将普通光运动矢量信息传送到特殊光噪声降低部218。

在本实施例中，如图8的上段所示，还将过去帧普通光图像信号分割成块单位，按块区域进行模板匹配处理，但不必限定于该结构。如图8的下段所示，也可以以像素为单位进行块匹配处理。例如，使用以处理对象像素为中心的规定尺寸的块区域的普通光图像信号，进行公知的模板匹配处理，提取对应的过去帧普通光图像信号的处理对象块区域。接着，将该处理对象像素与匹配后的过去帧普通光图像信号的位于处理对象块区域中心的像素之间的坐标差，设为处理对象像素的普通光运动矢量信息。通过这样，能够提高匹配精度。

在本实施例中，普通光噪声降低部217基于控制部221的控制，根据上述的匹配结果(普通光运动矢量)对亮度信号进行噪声降低处理。关于使用普通光运动矢量进行普通光图像信号的噪声降低的方法，是公知的，因此省略详细的说明。此外，普通光噪声降低部217利用公知的转换式将RGB信号转换成亮度信号和色差信号，因此即使对于色差信号，也利用与对亮度信号同样的方法进行噪声降低处理。

此外，在本实施方式中是将亮度信号作为特征量来计算普通光运动矢量信息的结构，但也可以在上述的式(2)中利用插值处理后的Gch_v图像信号(具有图4所示的G的分光特性)。

接下来，说明特殊光噪声降低部218中的针对特殊光图像信号的噪声降低处理。在本实施例中，是普通光图像信号和特殊光图像信号的解像度(图像尺寸)相同的情况所对应的结构。因此，也可以通过控制部221的控制，将来自普通光运动矢量信息计算部215的普通光运动矢量信息直接作为特殊光运动矢量信息，向特殊光噪声降低部218传送，利用与所述普通光噪声降低部217相同的内部结构，对特殊光图像信号进行噪声降低处理。

该情况下，特殊光噪声降低部218根据来自普通光运动矢量信息计算部215的普通光运动矢量信息，对来自特殊光图像保存部223的噪声降低后的过去帧特殊光图像信号，计算当前帧特殊光图像信号的每个像素的差分值(相似差分值)。接下来，使用图9所示的特殊光噪声模型，针对每个像素基于相似差分值使用下式(3)计算噪声量，使用下式(4)进行噪声去除处理。

S(x，y)＝C(x，y)-B(x，y)

If(|S(x，y)|＜S(T))NS(x，y)＝|S(x，y)|*Ka

Else NS(x，y)＝NS(T) ……(3)

其中，C(x，y)表示过去帧特殊光图像信号的处理对象块区域中的像素信号值，B(x，y)表示当前帧特殊光图像信号的处理对象块区域中的像素信号值，S(x，y)表示每个像素的相似差分值(在匹配后的过去帧特殊光图像信号的处理对象块区域与当前帧特殊光图像信号的处理对象块区域中，每个对应像素的差分值)，NS(x，y)表示处理对象像素的噪声量，Ka是相似差分值和噪声分量的倾斜系数，S(T)表示相似差分阈值，NS(T)表示噪声的阈值，S(Max)表示相似差分最大值。

这里，S(x，y)是在还考虑了运动矢量的基础上的过去帧特殊光图像信号(噪声已去除)与当前帧特殊光图像信号(噪声未去除)之间的差分值，因此，理想地说，应该是当前帧特殊光图像信号中包含的噪声值。但是，过去帧特殊光图像信号的噪声未被100％除去，而且由于其他因素(例如照明的变化、被摄体的变形等)使值发生变动，不能直接将S(x，y)设为噪声值NS(x，y)。

因此，使用图9所示的特殊光噪声模型。图9是将相似差分值与包含在相似差分值中的噪声量之间的关系进行模型化而得到的图。在相似差分值小于等于某一阈值S(T)的情况下，噪声量直线增加。并且，在相似差分值大于S(T)的情况下，噪声量取恒定值NS(T)。另外，相似差分值内除噪声以外的分量被认为是被摄体变形所引起的分量、光源变化所引起的分量等。

求出噪声量后，使用下式(4)进行噪声降低处理。

If(S(x，y)＞0)E’(x，y)＝B(x，y)+NS(x，y)

Else E’(x，y)＝B(x，y)-NS(x，y) ……(4)

其中，E’(x，y)表示噪声降低处理后的特殊光图像信号值。

如上所述，由于S(x，y)＝过去帧-当前帧，因此在S(x，y)＞0的情况下，过去帧＞当前帧，当前帧中很可能包括负的噪声。由此，将由式(3)求出的噪声值NS(x，y)与当前帧特殊光图像信号B(x，y)相加。相反，在S(x，y)≤0的情况下，过去帧≤当前帧，当前帧中很可能包括正的噪声。由此，从B(x，y)中减去NS(x，y)。

通过以上处理，以适当的强度对特殊光图像(当前帧特殊光图像信号)进行噪声降低处理。

但是，通常，特殊光图像信号与普通光图像信号的解像度是不同的。该情况下，如上所述，不能直接将根据普通光图像信号计算出的普通光运动矢量信息适用于特殊光图像信号的噪声降低处理。

图10是本申请第1实施方式的变形例的结构图。内窥镜系统包括：普通光光源101、插入部102、光导103、透镜201、半反射镜202、普通光摄像元件203、滤波器204、特殊光摄像元件205、普通光图像A/D转换部211、特殊光图像A/D转换部212、普通光图像取得部213、特殊光图像取得部214、普通光运动矢量信息计算部215、特殊光运动矢量信息计算部216、普通光噪声降低部217、特殊光噪声降低部218、输出部219、外部I/F 220、控制部221、普通光图像保存部222和特殊光图像保存部223。

由普通光摄像元件203转换后的普通光模拟图像信号被输出到普通光图像A/D转换部211，由特殊光摄像元件205转换后的特殊光模拟图像信号被输出到特殊光图像A/D转换部212。

普通光图像A/D转换部211经由普通光图像取得部213、普通光运动矢量信息计算部215和普通光噪声降低部217与输出部219连接。普通光噪声降低部217双向地与普通光图像保存部222连接。普通光图像保存部222与普通光运动矢量信息计算部215连接。特殊光图像A/D转换部212经由特殊光图像取得部214、特殊光运动矢量信息计算部216和特殊光噪声降低部218与输出部219连接。特殊光噪声降低部218双向地与特殊光图像保存部223连接。特殊光图像保存部223与特殊光运动矢量信息计算部216连接。普通光运动矢量信息计算部215与特殊光运动矢量信息计算部216连接。控制部221双向地连接普通光图像A/D转换部211、特殊光图像A/D转换部212、普通光图像取得部213、特殊光图像取得部214、普通光运动矢量信息计算部215、特殊光运动矢量信息计算部216、普通光噪声降低部217、特殊光噪声降低部218、输出部219、普通光图像保存部222和特殊光图像保存部223。外部I/F 220与控制部221连接。

在本变形例中，省略与第1实施方式相同结构的内容，仅说明不同的部分。

在本实施例中，根据控制部221的控制，将来自普通光运动矢量信息计算部215的普通光运动矢量信息和普通光图像信号的图像尺寸(I，J)传送到特殊光运动矢量信息计算部216。

接着，根据特殊光图像信号与普通光图像信号的解像度的比较信息，校正根据普通光图像信号计算出的运动矢量，根据特殊光图像信号进行噪声降低处理来作为特殊光运动矢量。

图11是示出特殊光运动矢量信息计算部216的结构的一例的图，包括第3缓存部501、校正系数计算部502、校正部503和RAM 504。特殊光图像取得部214经由校正系数计算部502和校正部503连接特殊光噪声降低部218。普通光运动矢量信息计算部215经由RAM 504连接校正系数计算部502和校正部503。特殊光图像保存部223经由第3缓存部501连接校正部503。普通光运动矢量信息计算部215连接RAM 504。控制部221双向地连接第3缓存部501、校正系数计算部502、校正部503和RAM 504。

特殊光图像取得部214根据控制部221的控制，将图像处理后的特殊光图像信号传送到校正系数计算部502，将特殊光图像信号的图像尺寸(K，L)传送到RAM 504并临时保存。此外，还将来自普通光运动矢量信息计算部215的普通光运动矢量信息和普通光图像信号的图像尺寸(I，J)传送到RAM 504并临时保存。

特殊光图像保存部223根据控制部221的控制，将所保存的噪声降低后的过去特殊光图像信号传送到第3缓存部501进行临时保存。该过去的特殊光图像信号是指，与来自特殊光图像取得部214的特殊光图像信号相比在时间上刚刚拍摄的、时间距离最短的过去的特殊光图像信号。在本实施例中，将保存在第3缓存部501中的过去的特殊光图像信号称为过去帧特殊光图像信号，将来自特殊光图像取得部214的特殊光图像信号称为当前帧特殊光图像信号。

校正系数计算部502根据控制部221的控制，使用来自RAM 504的普通光图像信号的图像尺寸(I，J)和来自特殊光图像取得部214的特殊光图像信号的图像尺寸(K，L)，通过下式(5)计算校正系数，与当前帧特殊光图像信号一起传送到校正部503。

PowerX＝K/I

PowerY＝L/J ……(5)

在本实施例中，校正部503通过控制部221的控制，使用通过上式(5)计算出的校正系数PowerX和PowerY，根据来自RAM 504的普通光运动矢量信息，利用下式(6)计算出特殊光运动矢量。

u＝U*PowerX

v＝V*PowerY ……(6)

其中，(u，v)是与特殊光图像信号的某块区域对应的运动矢量(特殊光运动矢量信息)，(U，V)是与该特殊光图像信号的块区域对应的普通光图像信号的块区域的运动矢量(普通光运动矢量信息)。

在计算出了所有的特殊光图像信号的块区域的特殊光运动矢量后，传送到特殊光噪声降低部218。

特殊光噪声降低部218根据控制部221的控制，使用所述当前帧特殊光图像信号、过去帧特殊光图像信号和特殊光图像信号的块区域的运动矢量信息，进行特殊光噪声降低处理。特殊光噪声降低处理的结构与上述的第1实施方式相同，因此，省略此处的说明。

这样，可以根据普通光图像信号计算普通光运动矢量，对该普通光运动矢量进行校正之后取得特殊光运动矢量，进行噪声降低处理，能够提高特殊光图像信号的噪声降低效果，因此提高利用特殊光图像信号的诊断能力。

以上说明的本实施方式的图像信号处理是通过硬件来实现的，但不必限于这样的结构。例如，还可以将A/D转换处理后的图像信号作为未处理的原样的原始(RAW)数据存储在存储卡等存储介质中，并且将来自控制部221的拍摄时信息(AGC灵敏度及白平衡系数等)作为头信息预先存储在存储介质中。然后，使计算机执行作为其它软件的图像信号处理程序，使计算机读取存储介质的信息进行处理。另外，与上述同样，从拍摄部到计算机的各种信息的传送也不限于经由存储介质进行，也可以构成为经由通信线路等进行。

图12是示出本实施方式的图像信号处理程序的处理的流程图。

当开始该处理时，首先在S1中，读入普通光图像信号和特殊光图像信号的原始数据、包括图像信号尺寸的头信息等，并且读入该图像信号处理程序所预先具备的灰度特性系数等信息，进入S2。此外，在存储器上临时保存头信息及灰度特性系数等信息。该处理相当于如下的处理：在作为摄像装置的图像处理装置中取得对被摄体进行拍摄而得到的普通光图像信号和特殊光图像信号。

接着，在S2中判断所读入的图像信号的种类。在普通光图像信号的情况下，进入S3。在特殊光图像信号的情况下，进入S6。并且，在S3中，对普通光图像信号进行公知的拜尔插值处理(从拜尔图像信号转换成三板图像信号)、白平衡处理、色彩管理处理、灰度转换处理等。处理后进入S4。这相当于图3的普通光图像取得部213的处理。

接着，在S4中，使用时间序列上过去帧的普通光图像信号和当前帧的普通光图像信号，计算普通光运动矢量信息。将该普通光运动矢量信息临时保存在存储器中。处理后进入S5。这相当于图3的普通光运动矢量信息计算部215的处理。然后，在S5中使用普通光图像信号和普通光运动矢量信息进行普通光噪声降低处理。处理后，将噪声降低处理后的普通光图像信号保存在存储器中。这相当于图3的普通光噪声降低部217的处理。处理后，将噪声降低处理后的普通光图像信号保存在存储器中。

另一方面，在S6中，对特殊光图像信号进行图像处理。特殊光图像信号为图6所示的围棋盘状排列的G1和B1的结构，因此根据式(1)、(2)实施插值处理，进行公知的灰度转换处理等。处理结束后进入S7。这相当于图3的特殊光图像取得部214的处理。接着，在S7中从存储器中读入普通光运动矢量信息，进入S8。然后，在S8中使用普通光运动矢量信息计算特殊光运动矢量。处理后进入S9。这相当于图10的特殊光运动矢量信息计算部216的处理。

接着，在S9中使用特殊光图像信号和特殊光运动矢量信息进行特殊光噪声降低处理。处理后，将噪声降低处理后的特殊光图像信号存储在存储器中。这相当于图3的特殊光噪声降低部218的处理。

接着，使用图13说明图12的S8中的特殊光运动矢量的计算处理的详细情况。

当开始该处理时，首先，在S16中从存储器读入普通光图像信号的图像尺寸(I，J)和特殊图像信号的图像尺寸(K，J)，计算校正系数(式(5))，进入S17。这相当于图11的校正系数计算部502的处理。接着，在S17中使用在S16中计算出的校正系数计算特殊光运动矢量(式(6))。处理结束后，返回图12所示的处理。这相当于图11的校正部503的处理。

并且，在本实施例中，由于实时地进行图像信号处理，因此构成为：使用当前帧普通光/特殊光图像信号以及过去帧普通光/特殊光图像信号来计算运动矢量，对该运动矢量进行校正后进行噪声降低处理，但不必限于该结构。例如，在胶囊内窥镜图像信号处理的情况下，暂且将由胶囊内窥镜拍摄的图像信号保存在存储介质中。之后，利用其它的软件从存储介质读入图像信号，进行显影处理。该情况下，所使用的图像信号不限于当前帧普通光/特殊光图像信号以及过去帧普通光/特殊光图像信号，也可以构成为：使用在时间序列上在当前帧普通光/特殊光图像信号之后拍摄的将来帧普通光/特殊光图像信号，计算运动矢量进行噪声降低处理。此外，在本实施例中，使用当前帧普通光/特殊光图像信号和一个过去帧普通光/特殊光图像信号计算运动矢量进行噪声降低处理，但也可以构成为：使用多张过去帧(或将来帧)普通光/特殊光图像信号计算运动矢量进行噪声降低处理。

在以上的本实施方式中，如图3所示，图像处理装置包括：普通光图像取得部213，其取得普通光图像；特殊光图像取得部214，其取得特殊光图像；普通光运动矢量信息计算部215，其根据通常光图像内的特征量计算多个普通光图像之间的运动矢量信息；噪声降低部(图3中的特殊光噪声降低部218)，其根据普通光运动矢量信息降低特殊光图像中的噪声量。

这里，普通光图像是包含与如图4所示的RGB信号对应的白光的波段上的信息的图像，特殊光图像是包括与如图5所示的特定波段上的信息的图像。此外，普通光运动矢量信息可以是多个普通光图像之间的运动矢量本身，也可以是与运动矢量等价的信息。例如，普通光运动矢量信息是能够获得与使用普通光运动矢量本身的情况相同的作用效果的信息即可。

通过这种方式，能实现如下的图像处理装置：取得普通光图像和特殊光图像，根据普通光图像计算出普通光运动矢量信息，由此降低特殊光图像中的噪声量。由此，关于在使用了多个特殊光图像之间的运动矢量信息的噪声降低处理(例如在取过去帧特殊光图像与当前帧特殊光图像之间的差分的帧巡回型噪声降低处理等)中产生的、由于特殊光图像较暗而不能求出准确的运动矢量信息(特殊光运动矢量信息)这一问题，可以通过利用基于明亮普通光图像的普通光运动矢量信息等来解决。因此，能有效地进行噪声降低。

此外，普通光图像取得部213在第1定时取得第1普通光图像，在第2定时取得第2普通光图像。然后，普通光运动矢量信息计算部215可以根据第1普通光图像内的特征量和第2普通光图像内的特征量，计算第1普通光图像与第2普通光图像之间的普通光运动矢量信息。具体而言，可以通过使用第1普通光图像内的特征量和第2普通光图像内的特征量进行如图8所示的匹配处理，来计算出普通光运动矢量信息。

由此，可以使用定时(例如帧)不同的普通光图像来计算普通光运动矢量信息。具体而言，如图8所示，可以通过进行按块单位/像素单位的匹配处理来计算普通光运动矢量信息。

此外，如图10所示，图像处理装置可以包括特殊光运动矢量信息计算部216，该特殊光运动矢量信息计算部216根据普通光运动矢量信息来计算特殊光运动矢量信息。并且，如图11所示，特殊光运动矢量信息计算部216还可以包括校正部503，该校正部503根据普通光图像和特殊光图像对普通光运动矢量信息进行校正。具体而言，校正部503可以根据普通光图像的解像度与特殊光图像的解像度之间的比较结果进行校正。并且，具体而言，可以对普通光运动矢量信息乘以根据普通光图像的解像度与特殊光图像的解像度之间的比较结果确定的放大率或缩小率，由此进行校正。

这里，特殊光运动矢量信息可以是多个特殊光图像之间的运动矢量本身，也可以是与运动矢量等价的信息。例如，特殊光运动矢量信息是能够获得与使用特殊光运动矢量本身的情况相同的作用效果的信息即可。

由此，不是直接利用普通光运动矢量信息，而是可以在对其实施了适当的校正处理后进行利用。具体而言，例如，在如图10所示具有双板摄像元件的结构中，普通光图像的解像度与特殊光图像的解像度可能不同。在这样的情况下，进行与解像度之比对应的校正。具体而言，例如进行如上述的式(5)、(6)的校正即可。

此外，特殊光图像取得部214在第1定时取得第1特殊光图像，在第2定时取得第2特殊光图像。并且，噪声降低部(图3中的特殊光噪声降低部218)在第1特殊光图像内设定第1处理对象区域，并且根据普通光运动矢量信息在第2特殊光图像内设定与第1处理对象区域对应的第2处理对象区域。而且，根据第1处理对象区域的特征量和第2处理对象区域的特征量，降低第1处理对象区域或第2处理对象区域的噪声量。

由此，可以在取得了定时(例如帧)不同的特殊光图像之后，根据普通光运动矢量信息，设定与各个图像内对应的区域。然后，可以使用对应的两个区域的特征量，进行任一区域的噪声降低处理。能进行噪声降低处理是因为考虑到，两个区域既然是根据运动矢量信息对应起来的，所拍摄的被摄体就是理想的同一物体，特征量的比较结果中主要包括对被摄体引起的分量进行抑制后的结果、即因噪声引起的分量。

此外，噪声降低部(特殊光噪声降低部218)也可以包括噪声量推测部，该噪声量推测部根据第1处理对象区域的特征量与第2处理对象区域的特征量的差分值，推测应该包含在第2处理对象区域中的第2噪声量。而且，噪声降低部可以通过求出噪声量推测部推测出的第2噪声量与第2处理对象区域的特征量之间的差分，来降低第2处理对象区域的噪声量。

这里，噪声量推测部取得下述对应关系信息(例如，可以是如图9所示的噪声模型，也可以是表数据)，并根据取得的对应关系信息推测噪声量，该对应关系信息表示第1处理对象区域的特征量和第2处理对象区域的特征量的差分值、与应推测的第2噪声量之间的对应关系。

由此，噪声降低部可以根据特征量的差分值推测噪声量，求出所推测的噪声量与处理对象区域的特征量的差分，由此进行噪声降低处理。在根据特征量差分值的噪声量推测中，可以使用图9所示的噪声模型等，由此能够进行更适合的噪声降低。

此外，噪声降低部(特殊光噪声降低部218)也可以使第1处理对象区域的特征量与第2处理对象区域的特征量的差分值接近零，由此降低第1处理对象区域或第2处理对象区域的噪声量。

由此，即使不使用上述的噪声模型等，也能降低噪声量。在该情况下，假设了特征量的差分值均是噪声分量这一理想状况。

此外，特定波段是比白光波段窄的波段。具体而言，特殊光图像是生物体内图像，特定波段是被血液中的血红蛋白吸收的波长的波段。更具体而言，是390nm～445nm或530nm～550nm的波段。

由此，可以观察位于生物体表层部和深部的血管的结构。此外，将得到的信号输入特定信道(R，G，B)，由此可以利用褐色等显示扁平上皮癌等在普通光下很难视觉辨识到的病变等，能抑制看漏病变部。另外，390nm～445nm或530nm～550nm是根据被血红蛋白吸收的特征和分别到达生物体的表层或深部的特性而获得的波长。但是，该情况下的波段不限于此，例如，由于与基于血红蛋白的吸收和到达生物体表层部或深部相关的实验结果等的变动因素，还考虑波段的下限值减少0～10％左右，上限值上升0～10％左右。

此外，特殊光图像可以是对生物体内进行拍摄后得到的生物体内图像。并且，生物体内图像中包含的特定波段可以是荧光物质发出的荧光的波段。具体而言，是490nm～625nm的波段。

由此，可以进行被称为AFI的荧光观察。通过照射激励光(390nm～470nm)，可以观察来自骨胶原等荧光物质的自身荧光。在这样的观察中，可利用与正常粘膜不同的色调对病变进行强调显示，能抑制看漏病变部等。另外，490nm～625nm的波长表示在照射了所述激励光时骨胶原等荧光物质发出的自身荧光的波段。其中，该情况的波段不限于此，例如，由于与荧光物质发出的荧光的波段相关的试验结果等的变动因素，还考虑波段的下限值减少0～10％左右，上限值上升0～10％左右。此外，还可以同时照射被血红蛋白吸收的波段(540nm～560nm)，生成伪彩色图像。

此外，特殊光图像可以是对生物体内进行拍摄后得到的生物体内图像。并且，生物体内图像中包含的特定波段可以是红外光的波段。具体而言，是790nm～820nm或者905nm～970nm的波段。

由此，可以进行被称为IRI的红外光观察。静脉注射了容易吸收红外光的红外指标药剂即ICG(靛青绿)之后，照射上述波段的红外线，由此能强调显示人的眼睛很难视觉辨识的粘膜深部的血管及血流信息，能进行胃癌的深度诊断和治疗方针的判定等。另外，790nm～820nm这一波长是根据红外指标药剂的吸收最强的特性求得的，905nm～970nm这一波长是根据红外指标药剂的吸收最弱的特性求得的。其中，该情况下的波段不限于此，例如，由于与红外指标药剂的吸收相关的试验结果等的变动因素，还认为波段的下限值减少0～10％左右，上限值上升0～10％左右。

此外，本实施方式涉及一种程序，该程序使计算机发挥普通光图像取得部213、特殊光图像取得部214、普通光运动矢量信息计算部215、噪声降低部(特殊光噪声降低部218)的功能。

由此，例如如胶囊型内窥镜等那样，可以首先积累图像数据，之后利用PC等计算机系统对积累的图像数据以软件的方式进行处理。

3.第2实施方式

图14是包括本实施方式的图像处理装置的内窥镜系统的构成例。内窥镜系统包括光源部601、插入部102、光导103、透镜201、摄像元件206、发光控制部603、A/D转换部604、普通光图像取得部213、特殊光图像取得部605、普通光运动矢量信息计算部215、特殊光运动矢量信息计算部606、普通光噪声降低部217、特殊光噪声降低部218、输出部219、外部I/F 220、控制部221、普通光图像保存部222和特殊光图像保存部223。

在本实施方式例中，省略与第1实施方式例相同的结构相关的内容，仅说明不同的部分。

图15是光源部601的结构的一例，包括普通光光源701、旋转滤波器702和聚光透镜703。构成为，来自普通光光源701的光被照射到旋转滤波器702，通过聚光透镜703将光传送到光导103。发光控制部603与旋转滤波器702连接。控制部221双向地连接发光控制部603。

图16示出了旋转滤波器702的结构的一例。该旋转滤波器具备F1、F2滤色器，均等地分成两个区域。F1滤波器对应于图4所示的R+G+B的透射率特性(400nm～700nm)，F2滤波器对应于图5所示的规定窄带B1+G1的透射率特性(G1(530nm～550nm)，B1(390nm～445nm))。来自普通光光源701的白光通过照射到F1滤波器而形成白光，与此相对，通过照射到F2滤波器而形成特殊光(NBI)。

在本实施例中，根据发光控制部603的控制，以规定的速度使旋转滤波器702旋转。通过该旋转滤波器702的旋转，来自普通光光源701的白光以F1->F2->F1->F2->F1->F2...的方式依次照射，由此形成白光->特殊光->白光->特殊光->白光->特殊光...。形成的白光和特殊光依次经由聚光透镜703，向光导103传送而照射到被摄体100。其结果，以规定的时间间隔依次反复白光和特殊光来照射被摄体100，其反射光经由透镜201照射到摄像元件206。

在本实施例中，摄像元件206是具有用于形成普通光图像的拜尔排列的滤色器的摄像元件。摄像元件206通过光电转换依次反复白光和特殊光的反射光，转换成普通光模拟图像信号和特殊光模拟图像信号。转换后的普通光模拟图像信号和特殊光模拟图像信号被依次反复地传送到A/D转换部604。

接着，根据控制部221的控制，对普通光模拟图像信号进行数字化，作为普通光数字图像信号(以下简称为普通光图像信号)传送到普通光图像取得部213。另一方面，对特殊光模拟图像信号进行数字化，作为特殊光数字图像信号(以下简称为特殊光图像信号)传送到特殊光图像取得部605。

特殊光图像取得部605根据控制部221的控制，对特殊光图像信号进行图像处理。在本实施方式中，首先进行公知的拜尔插值处理(从拜尔图像信号转换成三板图像信号)，其中，在该情况下，特殊光图像信号是根据具有规定窄带的B1+G1(G1(530nm～550nm)，B1(390nm～445nm))的分光特性的反射光形成的图像信号，因此不使用插值处理后形成的RGB通道中的R通道图像信号。然后，使用式(2)生成NBI特殊光图像(NBI伪彩色图像)。

接着，进行色彩管理处理和灰度转换处理等。将处理后的RGB信号构成的特殊光图像信号传送到特殊光运动矢量信息计算部606。

特殊光运动矢量信息计算部606根据控制部221的控制，使用来自普通光运动矢量信息计算部215的普通光运动矢量，计算特殊光运动矢量信息。具体而言，处理结构如下所述。在本实施例中，以规定的均等时间间隔依次反复生成普通光图像信号和特殊光图像信号，因此其特征在于，普通光图像信号和特殊光图像信号的形成定时错开。因此，使用由普通光图像信号构成的普通光运动矢量，预测以错开的定时形成的特殊光图像信号的运动，推测特殊光运动矢量的校正量。例如，在普通光图像信号1->特殊光图像信号1->普通光图像信号2->特殊光图像信号2->普通光图像信号3...的情况下，普通光图像信号和特殊光图像信号的形成时间间隔相同，所以使用根据普通光图像信号1、普通光图像信号2和普通光图像信号3计算出的普通光运动矢量，利用式(7)计算特殊光图像信号1与特殊光图像信号2之间的特殊光运动矢量。

u＝(U1+U2)/2

v＝(V1+V2)/2 ……(7)

其中，(u，v)是特殊光图像信号1和特殊光图像信号2的特殊光运动矢量，(U1，V1)是普通光图像信号1和普通光图像信号2的普通光运动矢量，(U2，V2)是普通光图像信号2和普通光图像信号3的普通光运动矢量。

图17示出特殊光运动矢量信息计算部606的结构的一个变形例，具备第3缓存部501、运动矢量检测部512、运动矢量校正部513和RAM 504。特殊光图像取得部605经由运动矢量检测部512和运动矢量校正部513与特殊光噪声降低部218连接。特殊光图像保存部223经由第3缓存部501与运动矢量检测部512连接。普通光运动矢量信息计算部215经由RAM 504与运动矢量校正部513连接。控制部221双向地连接第3缓存部501、运动矢量检测部512、运动矢量校正部513和RAM 504。

在本实施例中，设定对具有相同解像度(图像尺寸)的普通光图像信号和特殊光图像信号进行处理。将来自普通光运动矢量信息计算部215的普通光运动矢量信息保存在RAM 504中。

运动矢量检测部512根据控制部221的控制，使用来自特殊光图像取得部605的当前帧特殊光图像信号从特殊光图像保存部223对时间上最接近的过去帧特殊光图像信号，与上述普通光图像信号的处理同样进行公知的模板匹配处理，检测特殊光运动矢量。

但是，如上所述，利用具有比普通光窄的波段的特殊光拍摄而得到的图像信号比普通光图像暗，因此噪声的影响相对地增大。由此，在仅根据特殊光图像信号检测到特殊光运动矢量的情况下，由于噪声的影响，运动检测精度可能降低。

因此，运动矢量校正部513使用普通光运动矢量信息对特殊光运动矢量进行校正。

图18示出了运动矢量校正部513的结构的一例，具有判定部801、运动矢量更新部802和RAM 803。运动矢量检测部512经由判定部801和运动矢量更新部802连接特殊光噪声降低部218。RAM 803和RAM 504连接运动矢量更新部802。控制部221双向地连接判定部801、运动矢量更新部802和RAM 803。

判定部801根据控制部221的控制，对来自运动矢量检测部512的当前帧特殊光图像信号进行判定。具体而言，使用来自RAM 803的规定阈值，按每个像素与特殊光图像信号的Rch v图像信号值(具有图5所示的G1的分光特性)比较大小。将比较信息、当前帧特殊光图像信号和特殊光运动矢量信息传送到运动矢量更新部802。RAM 803中的规定阈值可以根据控制部221的控制，由用户经由外部I/F 222指定，也可以由用户经由外部I/F 222从事先保存的多个阈值候选中选择。

运动矢量更新部802根据控制部221的控制，使用来自判定部801的阈值比较信息、特殊光运动矢量信息和来自RAM 504的普通光运动矢量信息，对特殊光运动矢量进行校正。具体而言，在当前帧特殊光图像信号值大于阈值的情况下，不对特殊光运动矢量进行校正。另一方面，在当前帧特殊光图像信号值小于阈值的情况下，代入通过上述式(15)计算出的在时间上当前帧特殊光图像的前后帧的普通光运动矢量作为特殊光运动矢量。通过这种方式，关于特殊光运动检测，在特殊光图像信号中的明亮区域中使用特殊光运动矢量信息，与此相对，在暗的区域适用普通光运动矢量。由此，尽量根据特殊光图像信号检测特殊光运动矢量，因此能提高特殊光运动矢量的检测精度。

此外，在以上的说明中，作为特殊光运动矢量，使用根据特殊光图像求出的运动矢量(这里设为(XN，YN)或普通光运动矢量(XW，YW))的任一方，但不限于此。也可以以规定的混合比例对根据特殊光图像求出的运动矢量和普通光运动矢量进行混合来使用。

例如，针对特殊光图像的像素亮度信息，准备了两个阈值TH1和TH2(TH1＜TH2，即TH1较暗、TH2较亮)，在由特殊光图像的亮度信息表示的值小于TH1的情况下，使用(XW，YW)作为特殊光运动矢量，在大于TH2的情况下，使用(XN，YN)作为特殊光运动矢量。然后，在TH1与TH2之间的值时，可以根据亮度信息的值设定混合比例α，通过下式(8)来求出特殊光运动矢量(X，Y)。

(X，Y)＝(XN×(1-α)+XW×α，YN×(1-α)+YW×α)

……(8)

在本实施方式中，与第1实施方式相同，可以以软件的方式实现图像处理装置。表示本实施方式的详细处理的流程图与第1实施方式相同，是图12。

省略了关于进行与第1实施方式相同的处理的步骤的说明，描述不同的部分。首先，S1～S6的步骤与第1实施方式相同。

在S7中，取得普通光运动矢量。如上所述(或如图2所示)，为了求出与特殊光运动矢量相当的运动矢量，在本实施方式中需要两个普通光运动矢量。由此，不同于第1实施方式，取得两个普通光运动矢量。如图2所示，为了求出VB3需要求出VB1和VB2双方，因此在取得B5的阶段不能求出VB3。更加严格地说，在取得与B6相当的特殊光图像(图2中未图示)的定时，取得VB3。

接着，在S8中计算特殊光运动矢量。图19图示了S8的处理。当开始图19的处理时，首先在S21中对取得的两个普通光运动矢量求平均，由此取得与特殊光运动矢量对应的普通光运动矢量(XW，YW)。

接着，在特殊光图像中，对过去帧特殊光图像信号和当前帧特殊光图像信号进行匹配，由此取得基于特殊光图像的运动矢量(XN，YN)。

然后，在S23中对特殊光图像的亮度与阈值TH1进行比较，在小于TH1的情况下，在S25中将特殊光运动矢量设定为(XW，YW)。在大于等于TH1的情况下，在S24中对特殊光图像的亮度与阈值TH2进行比较，在大于TH2的情况下，在S26中将特殊光运动矢量设定为(XN，YN)。

在S24中，在小于等于TH2的情况下，通过上述的式(8)，将(XW，YW)与(XN，YN)混合后的矢量设为特殊光运动矢量。

此外，与第1实施方式的变形例同样，在普通光图像的解像度与特殊光图像的解像度不同的情况下，使用上述的式(5)、(6)进行(XW，YW)的校正处理。该校正处理例如可以在S21之后等进行。

求出特殊光运动矢量之后的S9的处理与第1实施方式相同。

这样，在对按照时间序列依次反复拍摄到的普通光图像信号和特殊光图像信号进行处理的图像处理装置中，首先，可以针对一个特殊光图像信号，对在时间序列上位于前后的普通光运动矢量进行平均，或者，对普通光运动矢量和特殊光运动矢量进行混合，预测拍摄定时错开的特殊光图像信号的运动，推测该特殊光运动矢量，能够使用该特殊光运动矢量来提高特殊光图像信号的噪声降低效果，因此提高了利用特殊光图像信号的诊断能力。

在以上的本实施方式中，如图14所示，图像处理装置还包括特殊光运动矢量信息计算部606，该特殊光运动矢量信息计算部606根据普通光运动矢量信息计算特殊光运动矢量信息。并且，噪声降低部(图14中的特殊光噪声降低部218)根据特殊光运动矢量信息降低特殊光图像中的噪声量。

由此，如图2所示，即使在没有同时取得普通光图像和特殊光图像的情况下，可以根据普通光运动矢量信息计算特殊光运动矢量信息，能进行有效的噪声降低处理。

此外，特殊光图像取得部605在第1定时取得第1特殊光图像，在第2定时取得第2特殊光图像。然后，特殊光运动矢量信息计算部606根据普通光运动矢量信息，计算第1特殊光图像与第2特殊光图像之间的特殊光运动矢量信息。然后，噪声降低部可以使用特殊光运动矢量信息降低第1特殊光图像或第2特殊光图像中的噪声量。

由此，可以计算出定时(帧)不同的特殊光图像之间的特殊光运动矢量信息。具体而言，例如相当于求出如图2所示的B4与B5之间的特殊光运动矢量信息VB3。

此外，普通光图像取得部213按时间序列取得多个普通光图像，特殊光图像取得部605按时间序列取得多个特殊光图像。然后，普通光运动矢量信息计算部215针对多个特殊光图像中第k(k是自然数)个特殊光图像，根据时间序列上位于前后的普通光图像，求出第1普通光运动矢量信息。并且，针对第k+1特殊光图像根据时间序列上位于前后的普通光图像，求出第2普通光运动矢量信息。并且，特殊光运动矢量信息计算部606可以根据第1普通光运动矢量信息和第2普通光运动矢量信息，计算第k特殊光图像与第k+1特殊光图像之间的特殊光运动矢量信息。

由此，如图2所示，在没有同时取得普通光图像和特殊光图像的情况下，针对希望计算出特殊光运动矢量信息的多个(这里是2个)特殊光图像的每一个，使用时间序列上位于前后的普通光图像来计算普通光运动矢量信息。然后，利用所计算出的普通光运动矢量信息，能计算特殊光运动矢量信息。以图2的例子而言，根据B4前后的B1和B2求出普通光运动矢量信息VB1。此时，VB1的前半部分与应求出的特殊光运动矢量信息无关，而VB1的后半部分是与特殊光运动矢量信息重复的部分。同样，根据作为B5前后的B2和B3求出的VB2的前半部分，与要求出的特殊光运动矢量信息重复。可以使用该重复部分来推测特殊光运动矢量信息。

具体而言，所谓相对于第k特殊光图像在时间序列上位于前后的普通光图像，可以是第p(p是自然数)普通光图像和第p+1普通光图像，所谓相对于第k+1特殊光图像在时间序列上位于前后的普通光图像，可以是第q普通光图像和第q+1普通光图像。这里，第p普通光图像和第p+1普通光图像可以是紧跟第k特殊光图像之前、之后的普通光图像，也可以不是。同样，第q(q是自然数)普通光图像和第q+1普通光图像可以是紧跟第k+1特殊光图像之前、之后的普通光图像，也可以不是。

这里，满足第p普通光图像是紧跟第k特殊光图像之前、第p+1普通光图像是紧跟第k特殊光图像之后、并且第q普通光图像是紧跟第k+1特殊光图像之前、第q+1普通光图像是紧跟第k+1特殊光图像之后这样的条件，进而p+1＝q的情况是图2所示的例子，相当于本实施方式所例示的结构。即，一张一张地交替取得普通光图像和特殊光图像。在这种情况下，特殊光运动矢量信息计算部606可以通过求出第1普通光运动矢量信息和第2普通光运动矢量信息的平均，来计算第k特殊光图像与第k+1特殊光图像之间的特殊光运动矢量信息。这根据以下情况可以明确，即：如图2所示，组合VB1的后半部分与VB2的前半部分而得的信息等于VB3。

以上，对适用了本发明的两个实施方式1～2及其变形例进行了说明，但本发明不限于各实施方式1～2及其变形例的原样，在实施阶段，可以在不脱离本发明主旨的范围内对构成要件进行变形而具体化。此外，通过适当组合上述各实施方式1～2及其变形例所公开的多个构成要件，可以形成各种发明。例如，可以从各实施方式1～2及其变形例所记载的所有构成要件中删除几个构成要件。并且，也可以适当地组合在不同实施方式和变形例中说明的构成要件。像这样，可以在不脱离发明主旨的范围内进行各种变形和应用。

Claims (21)

1.一种图像处理装置，其特征在于，该图像处理装置包括：

普通光图像取得部，其取得包括白光波段上的信息的图像作为普通光图像；

特殊光图像取得部，其取得包括特定波段上的信息的图像作为特殊光图像；

普通光运动矢量信息计算部，其根据所述普通光图像内的特征量，计算表示多个普通光图像之间的运动矢量的普通光运动矢量信息；

噪声降低部，其根据所计算出的所述普通光运动矢量信息，降低所述特殊光图像中的噪声量；以及

特殊光运动矢量信息计算部，该特殊光运动矢量信息计算部根据所述普通光运动矢量信息，计算表示所述特殊光图像之间的运动矢量的特殊光运动矢量信息，

所述特殊光运动矢量信息计算部包括校正部，该校正部根据所述普通光图像和所述特殊光图像对所计算出的所述普通光运动矢量信息进行校正。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述普通光图像取得部在第1定时取得第1普通光图像，并且在第2定时取得第2普通光图像，

所述普通光运动矢量信息计算部根据所述第1普通光图像内的特征量和所述第2普通光图像内的特征量，计算所述第1普通光图像与所述第2普通光图像之间的所述普通光运动矢量信息。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述普通光运动矢量信息计算部通过使用所述第1普通光图像内的特征量和所述第2普通光图像内的特征量进行匹配处理，来计算所述普通光运动矢量信息。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述噪声降低部使用计算出的所述特殊光运动矢量信息，降低所述特殊光图像中的噪声量。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述特殊光图像取得部在第1定时取得第1特殊光图像，并且在第2定时取得第2特殊光图像，

所述特殊光运动矢量信息计算部根据计算出的所述普通光运动矢量信息，计算所述第1特殊光图像与所述第2特殊光图像之间的所述特殊光运动矢量信息，

所述噪声降低部使用所述特殊光运动矢量信息，降低所述第1特殊光图像或所述第2特殊光图像中的噪声量。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述校正部根据所述普通光图像的解像度与所述特殊光图像的解像度的比较结果，对计算出的所述普通光运动矢量信息进行校正。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述校正部通过对计算出的所述普通光运动矢量信息乘以根据所述普通光图像的解像度与所述特殊光图像的解像度的比较结果而确定的、所述普通光运动矢量信息的放大率或缩小率，校正所述普通光运动矢量信息。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述普通光图像取得部按时间序列取得多个普通光图像作为所述普通光图像，

所述特殊光图像取得部按时间序列取得多个特殊光图像作为所述特殊光图像，

所述普通光运动矢量信息计算部根据相对于所述多个特殊光图像中第k特殊光图像在时间序列上位于前后的多个普通光图像，求出第1普通光运动矢量信息，并且根据相对于第k+1特殊光图像在时间序列上位于前后的多个普通光图像，求出第2普通光运动矢量信息，其中，k为自然数，

所述特殊光运动矢量信息计算部根据所述第1普通光运动矢量信息和所述第2普通光运动矢量信息，计算所述第k特殊光图像与所述第k+1特殊光图像之间的特殊光运动矢量信息。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述普通光运动矢量信息计算部根据相对于所述多个特殊光图像中第k特殊光图像在时间序列上位于前面的第p普通光图像、和在时间序列上位于后面的第p+1普通光图像，求出所述第1普通光运动矢量信息，并且根据相对于第k+1特殊光图像在时间序列上位于前面的第q普通光图像、和在时间序列上位于后面的第q+1普通光图像，求出所述第2普通光运动矢量信息，其中，k、p、q均为自然数，

所述特殊光运动矢量信息计算部根据所述第1普通光运动矢量信息和所述第2普通光运动矢量信息，计算所述第k特殊光图像与所述第k+1特殊光图像之间的特殊光运动矢量信息。

10.根据权利要求8所述的图像处理装置，其特征在于，

所述特殊光运动矢量信息计算部计算对所述第1普通光运动矢量信息和所述第2普通光运动矢量信息进行平均而得到的运动矢量信息，作为所述第k特殊光图像与所述第k+1特殊光图像之间的所述特殊光运动矢量信息。

11.根据权利要求1所述的图像处理装置，其特征在于，

所述特殊光图像取得部在第1定时取得第1特殊光图像，并且在第2定时取得第2特殊光图像，

所述噪声降低部根据所述普通光运动矢量信息，在所述第2特殊光图像内设定与所述第1特殊光图像内的第1处理对象区域对应的区域即第2处理对象区域，

所述噪声降低部根据所述第1处理对象区域的特征量和所述第2处理对象区域的特征量，降低所述第1处理对象区域或所述第2处理对象区域中的噪声量。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述噪声降低部包括噪声量推测部，该噪声量推测部根据所述第1处理对象区域的特征量与所述第2处理对象区域的特征量之间的差分量，推测应包含在所述第2处理对象区域中的第2噪声量，

所述噪声降低部通过求出所述噪声量推测部推测出的所述第2噪声量与所述第2处理对象区域的特征量之间的差分，来降低所述第2处理对象区域中的噪声量。

13.根据权利要求12所述的图像处理装置，其特征在于，

所述噪声量推测部取得第1处理对象区域的特征量和第2处理对象区域的特征量的差分值、与要推测的噪声量之间的对应关系信息，根据所取得的所述对应关系信息推测所述第2噪声量。

14.根据权利要求11所述的图像处理装置，其特征在于，

所述噪声降低部通过进行使所述第1处理对象区域的特征量与所述第2处理对象区域的特征量之差接近零的控制，来降低所述第1处理对象区域或所述第2处理对象区域中的噪声量。

15.根据权利要求1所述的图像处理装置，其特征在于，

所述特定波段是比所述白光波段窄的波段。

16.根据权利要求15所述的图像处理装置，其特征在于，

所述普通光图像和所述特殊光图像是对生物体内进行拍摄而得到的生物体内图像，

包含在所述生物体内图像中的所述特定波段是被血液中的血红蛋白吸收的波长的波段。

17.根据权利要求16所述的图像处理装置，其特征在于，

所述特定波段是390nm～445nm或530nm～550nm。

18.根据权利要求1所述的图像处理装置，其特征在于，

所述普通光图像和所述特殊光图像是对生物体内进行拍摄而得到的生物体内图像，

包含在所述生物体内图像中的所述特定波段是荧光物质发出的荧光的波段。

19.根据权利要求18所述的图像处理装置，其特征在于，

所述特定波段是490nm～625nm的波段。

20.根据权利要求1所述的图像处理装置，其特征在于，

所述普通光图像和所述特殊光图像是对生物体内进行拍摄而得到的生物体内图像，

包含在所述生物体内图像中的所述特定波段是红外光的波段。

21.根据权利要求20所述的图像处理装置，其特征在于，

所述特定波段是790nm～820nm或905nm～970nm的波段。