CN106714652B - 图像分析装置、图像分析系统、图像分析装置的动作方法 - Google Patents

Abstract

一种图像分析装置(10)，该图像分析装置(10)包含：图像输入部(11)；区域提取部(12)，其对从图像输入部(11)输入的第一图像和比第一图像靠后获取的第二图像确定关注要素，仅提取关注要素的中心部作为分析对象区域，所述关注要素具有环状的周边部和被周边部包围且与周边部颜色不同的中心部；以及颜色成分提取部(13)，其分别提取所提取的第一和第二图像的分析对象区域的颜色成分值。

Description

图像分析装置、图像分析系统、图像分析装置的动作方法

技术领域

本发明涉及从被检体的图像中确定关注要素并提取颜色成分的图像分析装置、图像分析系统、图像分析装置的动作方法。

背景技术

以往提出了各种确定图像中的区域并进行图像分析的图像分析装置。

例如在日本特开2012-152266号公报中记载有一种电子内窥镜系统：该电子内窥镜系统具有：电子内窥镜，其拍摄被检体内；变化区域检测部，其根据电子内窥镜所拍摄的图像数据检测像的特征发生变化的变化区域；掩模数据生成部，其根据检测出的变化区域，生成按像素确定图像处理的参数的掩模数据使得变化区域和其他区域以各自不同的方式被实施图像处理；以及图像处理部，其根据掩模数据对图像数据实施图像处理。

并且，在日本特表2007-502185号公报中记载了一种图像分析方法，该图像分析方法如下：拍摄牙齿的组织的数字图像，分别对数字图像内的多个像素确定像素的颜色的第一成分值和像素的颜色的第二成分值，并根据第一成分值和第二成分值来计算像素的第一函数值(例如R/G)。

作为上述的图像分析装置的分析对象的一例而举出了肠道绒毛。肠道绒毛具有周边部和与该周边部颜色不同的中心部。为了对这样的分析对象的图像进行分析，以往，需要用户例如在画面上搜索作为分析对象的绒毛并提取为关注要素，但正确地提取绒毛中引起变化的部分从而准确地进行定量评价很难。

本发明就是鉴于上述情况而完成的，其目的在于，提供着眼于在被检体中也发生变化的特征区域，通过进行该特征区域的色调变化的分析，能够在所需的区域中进行更准确的定量评价的图像分析装置、图像分析系统、图像分析装置的动作方法。

发明内容

用于解决课题的手段

本发明的某个方式的图像分析装置包含：图像输入部，其被输入随着时间经过而获取的被检体的图像；区域提取部，其对从所述图像输入部输入的在第一时刻获取的第一图像和在比所述第一时刻靠后的第二时刻获取的第二图像确定关注要素，仅提取所述关注要素的中心部作为分析对象区域，所述关注要素具有环状的周边部和被该周边部包围且与该周边部颜色不同的所述中心部；以及颜色成分提取部，其分别提取所述区域提取部所提取的所述第一图像的所述分析对象区域和所述第二图像的所述分析对象区域的颜色成分值。

本发明的某个方式的图像分析系统具有：内窥镜，其插入到被检体内，拍摄而获取所述被检体的图像；以及所述图像分析装置，所述内窥镜所获取的所述图像被输入至所述图像输入部。

本发明的某个方式的图像分析装置的动作方法是如下方法：把随着时间经过而获取的被检体的图像输入至图像输入部，由区域提取部对从所述图像输入部输入的在第一时刻获取的第一图像和在比所述第一时刻靠后的第二时刻获取的第二图像确定关注要素，仅提取所述关注要素的中心部作为分析对象区域，所述关注要素具有环状的周边部和被该周边部包围且与该周边部颜色不同的所述中心部，由颜色成分提取部分别提取所述区域提取部所提取的所述第一图像的所述分析对象区域和所述第二图像的所述分析对象区域的颜色成分值。

附图说明

图1是示出本发明的实施方式一中的图像分析系统的结构的框图。

图2是示出上述实施方式一中的区域提取部的结构的框图

图3是示出使用了上述实施方式一的图像分析系统的处理的流程图。

图4是示出上述实施方式一的图像分析装置的图像分析处理的流程图。

图5A是示出上述实施方式一的图像分析装置中的在所选择的区域中选择多个关注要素的中心部的处理的流程图。

图5B是示出上述实施方式一的图像分析装置中的在所选择的区域中选择多个关注要素的中心部的处理的变形例的流程图。

图6是示出上述实施方式一的图像分析装置中的双重闭合曲线边缘确定处理的流程图。

图7是示出上述实施方式一的图像分析装置中的单一闭合曲线边缘确定处理的流程图。

图8是示出在上述实施方式一中按时间序列顺序排序的被检体的图像的显示例的图。

图9是示出在上述实施方式一中被检体的图像的明亮度分布的图和将一个关注要素放大示出的图。

图10示出在上述实施方式一中作为关注要素的肠道绒毛的构造的图。

图11是示出在上述实施方式一中设定为被检体的图像的分析对象区域的例子的图。

图12是示出在上述实施方式一中内窥镜的明亮度的仿真结果的一例的图。

图13是示出在上述实施方式一中适于提取根据内窥镜的明亮度的仿真结果而求出的颜色成分值的区域的一例的图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

【实施方式一】

图1至图11示出本发明的实施方式一，图1是示出图像分析系统的结构的框图。

图像分析系统具有内窥镜20、以及图像分析装置10。

内窥镜20插入到被检体内，拍摄并获取被检体的图像，在本实施方式中，例如能够进行窄带光观察(NBI：Narrow Band Imaging：窄带成像)。这里，为了减少噪声成分进行NBI放大观察，在内窥镜20的前端例如安装有前端外罩或前端附件。而且，在本实施方式中，对被检体施加负载，而为了观察负载前后的被检体的变化，通过内窥镜20来随着时间经过而获取被检体的图像。并且，为了更准确地把握对被检体施加负载前后的被检体的变化，期望内窥镜20的明亮度的设定为相同的状态。因此，可以在对被检体施加负载前后不进行光源的调光，使来自光源的射出光量为恒定，获取被检体的图像。

图像分析装置10包含图像输入部11、区域提取部12、颜色成分提取部13、以及图像分析部14。

图像输入部11输入由内窥镜20随着时间经过而获取的被检体的图像。

区域提取部12对从图像输入部11输入的在第一时刻获取的第一图像和在比第一时刻靠后的第二时刻获取的第二图像，确定具有环状的周边部和被周边部包围且与周边部颜色不同的中心部的关注要素(本实施方式中的关注要素像后述那样是作为特征区域的例如肠道绒毛的图像部分)，仅提取关注要素的中心部作为分析对象区域。

颜色成分提取部13分别提取区域提取部12所提取的第一图像的分析对象区域和第二图像的分析对象区域的颜色成分值。

图像分析部14计算从分析对象区域提取的第一图像的颜色成分值和第二图像的颜色成分值的变化的程度。

接下来，图2是示出区域提取部12的结构的框图。

区域提取部12根据色调、饱和度以及亮度中的至少一个的差异来判定周边部和中心部的颜色的差异。因此，若颜色成分值不同则属于颜色不同，例如在色调和饱和度相同而仅亮度不同的情况下，属于颜色不同。

如图2所示，该区域提取部12具有边缘检测部21、闭合曲线边缘检测部22、大小滤波处理部23、双重闭合曲线边缘检测部24、双重闭合曲线边缘确定部25、单一闭合曲线边缘确定部26、以及区域提取控制部27。

边缘检测部21对图像例如通过应用边缘检测滤波器来进行边缘检测。

闭合曲线边缘检测部22从边缘检测部21所检测的边缘中进一步检测形成闭合曲线的边缘。

大小滤波处理部23从闭合曲线边缘检测部22所检测的闭合曲线边缘中仅选择闭合曲线边缘的大小处于能够作为关注要素的大小的范围内(例如处于能够作为肠道绒毛的大小的范围内)的闭合曲线边缘。

双重闭合曲线边缘检测部24从由闭合曲线边缘检测部22检测并且例如由大小滤波处理部23选择的闭合曲线边缘中，进一步检测形成双重的(即，由外侧闭合曲线边缘和包含于该外侧闭合曲线边缘内的内侧闭合曲线边缘构成的)双重闭合曲线边缘。

双重闭合曲线边缘确定部25在双重闭合曲线边缘检测部24所检测的双重闭合曲线边缘中的内侧闭合曲线边缘内的区域的颜色与内侧闭合曲线边缘和外侧闭合曲线边缘之间的区域的颜色不同的情况下，把内侧闭合曲线边缘内的区域确定为中心部。

此时，双重闭合曲线边缘确定部25还在内侧闭合曲线边缘内的区域的颜色在属于关注要素的中心部的第一颜色范围(作为一例，在关注要素是肠道绒毛的情况下，第一颜色范围例如是接近红色的颜色范围)内，并且内侧闭合曲线边缘和外侧闭合曲线边缘之间的区域的颜色在属于关注要素的周边部的第二颜色范围(与第一颜色范围不同的第二颜色范围)(作为一例，在关注要素是肠道绒毛的情况下，第二颜色范围例如是接近白色的颜色范围)内的情况下，把内侧闭合曲线边缘内的区域确定为中心部。

另外，如上所述，颜色的差异根据色调、饱和度以及亮度中的至少一个的差异来判定。因此，颜色范围为色调、饱和度以及亮度中的任意一个的范围或者通过两个以上的组合而确定的范围。例如，可以将颜色范围设为通过色调和饱和度的组合而确定的范围，或者也可以将颜色范围设为亮度范围(即，也可以仅根据亮度来区分中心部和周边部)。在关注要素是肠道绒毛并且将颜色范围设为亮度范围的情况下，例如只要第一颜色范围为亮度稍低的范围，第二颜色范围为比第一颜色范围亮度高的范围即可。

并且，更优选的是，双重闭合曲线边缘确定部25仅在由大小滤波处理部23判定为内侧闭合曲线边缘和外侧闭合曲线边缘的大小处于能够作为关注要素的范围内的情况下，把内侧闭合曲线边缘内的区域确定为中心部。

在本实施方式中，在上述的双重闭合曲线边缘确定部25所确定的关注要素的中心部的数量不足规定数量(这里规定数量是多个)的情况下，进一步使用单一闭合曲线边缘确定部26来确定关注要素的中心部(但是，也可以仅使用单一闭合曲线边缘确定部26来确定关注要素的中心部，而不使用双重闭合曲线边缘确定部25)。

单一闭合曲线边缘确定部26在闭合曲线边缘检测部22所检测的被闭合曲线边缘包围的区域的内外颜色不同的情况下，把被闭合曲线边缘包围的区域的内部确定为中心部。

另外，在本实施方式中，由单一闭合曲线边缘确定部26对不作为双重闭合曲线边缘确定部25的处理对象的闭合曲线边缘进行处理，但即使存在比双重多的三重、四重、…的闭合曲线边缘，该闭合曲线边缘都属于双重闭合曲线边缘。因此，单一闭合曲线边缘确定部26将单一闭合曲线边缘作为处理对象。

并且，单一闭合曲线边缘确定部26还在单一闭合曲线边缘内的区域颜色在属于关注要素的中心部的第一颜色范围内，并且单一闭合曲线边缘的外侧附近的区域颜色在属于关注要素的周边部的第二颜色范围内的情况下，确定单一闭合曲线边缘内的区域作为中心部。

而且，更优选的是，单一闭合曲线边缘确定部26仅在由大小滤波处理部23判定为单一闭合曲线边缘的大小处于能够作为关注要素的范围内的情况下，把被单一闭合曲线边缘包围的区域的内部确定为中心部。

区域提取控制部27对区域提取部12内的各部即上述的边缘检测部21、闭合曲线边缘检测部22、大小滤波处理部23、双重闭合曲线边缘检测部24、双重闭合曲线边缘确定部25、以及单一闭合曲线边缘确定部26等进行控制，使它们进行之后参照图5A～图7而说明的动作。

接下来，图3是示出使用了图像分析系统的处理的流程图。

当开始该处理时，在第一时刻通过内窥镜20拍摄而获取对被检体施加负载前的图像(负载前图像、第一图像)(步骤S1)。这里，本实施方式中的被检体例如是肠道(进一步例如是小肠)的绒毛(但是，被检体并不限定于此，作为其他几个例子，可举出舌部、食道、胃粘膜、大肠等)。并且，也可以在通过内窥镜20来获取被检体的图像的同时，将图像获取时的射出光量的信息例如记录到图像分析装置10或者内窥镜20中。

然后，对被检体施加负载(步骤S2)。这里，例如作为负载而散布葡萄糖(但是，并不限定于此，也可以进行静脈注射，也可以施加其他负载)。当散布葡萄糖时流过毛细血管的血液量增加，通过血液中的血红蛋白将光更多地吸收。因此，在绒毛内毛细血管聚集的部分被观察得较暗。

接着，在比上述的第一时刻靠后的第二时刻通过内窥镜20拍摄而获取施加负载后的图像(负载后图像、第二图像)(步骤S3)。在通过内窥镜20来获取对被检体施加负载后的图像时，在步骤S1中记录了射出光量的信息的情况下，参照射出光量的信息以与步骤S1相同的条件获取图像。另外，也可以具有之后擦除在步骤S1中记录的射出光量的信息的功能，射出光量的信息的获取、使用了射出光量的信息的图像的获取以及射出光量的信息的擦除例如也可以通过内窥镜20的操作部、设置于用于控制该图像分析系统的控制面板的开关、或者用于操作内窥镜20的脚踏开关等的操作来实现。

而且，进一步对是否获取下一个图像进行判定(步骤S4)，在判定为要获取的情况下，返回到步骤S3获取下一个负载后图像。

并且，在步骤S4中判定为结束图像的获取的情况下，由图像分析装置10进行图像分析(步骤S5)，在图像分析完成之后结束该处理。

图4是示出图像分析装置10的图像分析处理的流程图。

当开始该处理时，图像输入部11输入从内窥镜20随着时间经过而获取的被检体的图像并按时间序列顺序进行排序(步骤S10)。

图8是示出按时间序列顺序排序的被检体的图像的显示例的图。

在该图8所示的显示例中，使监视器等显示装置进行图像排列显示31、图像获取时间显示32、以及图像排列顺序显示33。

首先，图像排列显示31将获取的被检体的图像P0～P8按所获取的时间顺序排列并进行显示。

并且，图像获取时间显示32将图像P1～P8在负载的施加(葡萄糖的散布)后的哪个时间点获取的例如沿时间轴与获取时间一起配置并示出。另外，图像P0是在葡萄糖散布前(例如在刚要散布葡萄糖之前)获取的图像，但在该图8所示的例子中，为了方便，将图像P0显示在葡萄糖散布的位置上(但是，当然可以将时间轴延伸到比葡萄糖散布靠前的时刻来准确地示出图像P0的获取时刻)。

并且，图像排列顺序显示33对在图像排列显示31中显示的各图像与在图像获取时间显示32中显示的图像P0～P8内的哪个时刻获取的图像对应地进行显示。

接下来，图像分析装置10对是否存在尚未进行之后参照步骤S12～S19进行说明的处理的图像进行判定(步骤S11)。

这里，在判定为存在未处理的图像的情况下，区域提取部12从图像输入部11输入作为处理对象的图像数据(步骤S12)。

而且，将不适于提取颜色成分值的光晕等不合适要素的区域(不合适区域)IR(参照图9、图11等)从处理对象排除(步骤S13)。这里，作为不合适区域IR的例子，除了产生光晕的区域以外，例如还可举出产生了气泡的区域、焦点模糊的区域等。

并且，选择图像中的按规定大小的局部区域计算出的平均亮度为规定值以上的区域作为适当亮度区域(步骤S14)。例如在图9(或者图11)所示那样的图像Pi(此处i在图8所示的例子中是0～8中的任意一个(即Pi是P0～P8中的任意一个))中，右上半部分的区域的平均亮度比规定值低。这里，图9是示出被检体的图像的明亮度分布的图和将一个关注要素放大示出的图。

另外，在上述中，作为表示获取从图像输入部11输入的图像的摄像装置的性能的图像，使用由内窥镜20等获取的被检体的图像来确定分析对象区域，但并不限定于该方法，也可以采用如下方法：根据表示摄像装置的性能的其他图像(例如拍摄试验用板或白平衡盖等颜色均匀且平坦的对象物而得到的图像、或作为根据内窥镜20的设计值求出的明亮度的仿真结果SI(图12参照)等表示性能的指标的图像)，将适于根据按规定大小的局部区域计算出的平均亮度来提取颜色成分值的区域AR(参照图13)设定为分析对象区域。并且，也可以采用如下方法：根据按规定大小的局部区域计算出的平均亮度从适于提取上述颜色成分值的区域AR中确定分析对象区域。这里，图12是示出内窥镜20的明亮度的仿真结果SI的一例的图，图13是示出适于提取根据内窥镜20的明亮度的仿真结果SI求出的颜色成分值的区域AR的一例的图。

因此，区域提取部12选择平均亮度为规定值以上的图像Pi的左下半部分的区域作为适当亮度区域。通过进行这样的选择来选择适于提取颜色成分值的明亮的区域，从而将不适于提取颜色成分值的暗的区域排除。

另外，这里，将适于提取颜色成分值的适当亮度范围设为平均亮度为规定值以上的范围，但也可以将平均亮度接近饱和像素值那样的过亮的区域排除。在这种情况下，只要将适于提取颜色成分值的适当亮度范围设为平均亮度为规定的下限阈值以上且规定的上限阈值以下的范围即可。

若将图像上的亮度的等级例如设为0～255这256等级，则通过将其中的适当亮度范围设定为属于内窥镜图像的框体部分的例如10作为下限阈值，属于光晕的例如230作为上限阈值，能够仅提取分析对象物的颜色成分，从而提高了分析精度。

接着，在所选择的区域中，选择多个关注要素(在本实施方式中是肠道绒毛的图像部分)OBJ的中心部OBJc(该中心部OBJc也是要素)(步骤S15)。

对作为该关注要素OBJ的肠道绒毛的图像部分，像之后参照图5A～图7而说明的那样进行图像分析等通过自动处理来提取多个进行选择(但是，还可以准备用户一边观察图像一边手动选择的选项)。

这里，作为关注要素OBJ的肠道绒毛的图像部分是具有环状(不限于圆环状，可选取任意形状的闭合曲线状的)的周边部OBJp和被该周边部OBJp包围与周边部OBJp颜色不同的中心部OBJc的要素。

图10是示出作为关注要素的肠道绒毛的构造的图。

肠道绒毛为如下构造：在位于中心部的中心淋巴管CL的周围的部位分布有毛细血管BC，在其外侧形成有粘膜上皮ME而构成绒毛的表面。

当通过使用了容易被血液中的血红蛋白吸收的窄带化的波长的光的NBI对这样的肠道绒毛进行放大观察时，毛细血管BC的部分被观察为与粘膜上皮ME不同颜色。

当对从上拍摄这样的绒毛而得到的图像部分进行观察时，粘膜上皮ME的图像部分作为环状的周边部OBJp而被观察，被粘膜上皮ME包围的毛细血管BC的图像部分作为与粘膜上皮ME颜色不同的中心部OBJc而被观察。因此，像之后说明的那样利用中心部OBJc与周边部OBJp的颜色的差异来确定关注要素OBJ。

从这样选择出的多个中心部OBJc中进一步选择明亮度接近中央值的规定数量(在图11所示的例子中是五个)的中心部OBJc，将所选择的规定数量的中心部OBJc设定为分析对象区域OR(步骤S16)。这里，图11是示出设定于被检体的图像Pi中的分析对象区域OR的例子的图。

这里，选择接近中央值的明亮度的中心部OBJc是因为作为样本要将最适当的明亮度的中心部作为分析对象。另外，作为明亮度，也可以使用根据多个的颜色成分而计算出的亮度值，或者，也可以将简单相加了多个颜色成分而得到的值作为明亮度的指标来代替使用，也可以通过其他方法根据多个颜色成分来获取明亮度。这样，这里设定的图11所示的分析对象区域OR例如由五个肠道绒毛的图像部分的中心部OBJc构成。

接下来，颜色成分提取部13提取构成分析对象区域OR的各像素的颜色成分值例如R成分值、G成分值、以及B成分值(步骤S17)，并且，计算第一图像(负载前图像)中的分析对象区域OR的R成分值的平均值＜R＞、G成分值的平均值＜G＞、以及B成分值的平均值＜B＞、第二图像(负载后图像)中的分析对象区域OR的R成分值的平均值＜R’＞、G成分值的平均值＜G’＞、以及B成分值的平均值＜B’＞(步骤S18)。

而且，图像分析部14例如像下面那样计算颜色成分平均值的变化量作为负载后图像相对于负载前图像的变化的程度(步骤S19)。

即，图像分析部14像下面的数学式1所示那样计算变化量作为第一图像和第二图像的颜色成分值的差分的绝对值的总和。

【数学式1】

变化量＝|＜R’＞－＜R＞|+|＜G’＞－＜G＞|+|＜B’＞－＜B＞|

因此，计算出的变化量为第二图像比第一图像低的颜色成分值的平均值和第二图像比第一图像高的颜色成分值的平均值的总和。

另外，图像分析部14计算出的负载后图像相对于负载前图像的变化的程度不限于像数学式1所示那样进行计算。

首先，第一变形例是在将输出x和y中的不大的一方(在x≠y时是较小的一方)的函数设为Min(x，y)时像下面的数学式2所示那样计算作为变化的程度的变化量。

【数学式2】

变化量＝|Min(＜R’＞－＜R＞，0)

+Min(＜G’＞－＜G＞，0)

+Min(＜B’＞－＜B＞，0)|

因此，计算出的变化量仅为第二图像比第一图像低的颜色成分值的平均值的总和。使用这样的计算方法是因为考虑到人眼的特性。即，人眼对图像的明亮度从明亮的一方变化到暗的一方的情况比从暗的一方变化到明亮的一方的情况更敏锐地感觉到变化。因此，考虑到这样的人眼的特性，用户视觉上感觉到的图像的变化和通过图像分析获得的图像的变化的分析结果一致。

接下来，第二变形例是像下面的数学式3所示那样计算作为变化的程度的变化量。

【数学式3】

变化量＝|Min(＜R＞－＜R’＞，0)

+Min(＜G＞－＜G’＞，0)

+Min(＜B＞－＜B’＞，0)|

因此，计算出的变化量仅为第二图像比第一图像高的颜色成分值的平均值的总和。使用这样的计算方法是因为，也有时图像的明亮度从暗的一方变化到明亮的一方的情况对于分析结果较重要。

并且，第三变形例是将数学式1～3的右边所示的各颜色成分与每个颜色成分的加权系数α、β、γ(这里，α＞0、β＞0、γ＞0)相乘。

例如与数学式1对应地像下面的数学式4所示那样计算变化量。

【数学式4】

变化量＝|α×(＜R’＞－＜R＞)|

+|β×(＜G’＞－＜G＞)|

+|γ×(＜B’＞－＜B＞)|

或者与数学式2对应地像下面的数学式5所示那样计算变化量。

【数学式5】

变化量＝|α×Min(＜R’＞－＜R＞，0)

+β×Min(＜G’＞－＜G＞，0)

+γ×Min(＜B’＞－＜B＞，0)|

或者与数学式3对应地像下面的数学式6所示那样计算变化量。

【数学式6】

变化量＝|α×Min(＜R＞－＜R’＞，0)

+β×Min(＜G＞－＜G’＞，0)

+γ×Min(＜B＞－＜B’＞，0)|

此时，通过调整这些数学式4～6中的加权系数α、β、γ，能够控制各颜色成分平均值对变化量有多少贡献。

而且，第四变形例是代替变化量而计算变化率作为变化的程度。

即，在随着时间经过而获取的一系列的图像组(负载前图像和负载后图像)中的各图像的摄像条件(曝光时间、光圈值、被检体的照度等)相等的情况下，能够进行图像组内的变化量的比较，例如对负载后的图像P1相对于负载前的图像P0的第一变化量和负载后的图像P2相对于负载前的图像P0的第二变化量进行比较。

但是，在以不同的摄像条件拍摄的多个图像组之间的情况下，由于一般来说图像的明亮度不同，因此无法直接对变化量彼此进行比较。例如即使要比较对某个被检体获取的图像组和对另一被检体获取的图像组中的变化量，如果一个图像组的明亮度是另一个图像组的明亮度的2倍，则即使病理学的变化量相同，所计算出的变化量也会是一方为另一方的2倍。

因此，该第四变形例是计算变化率作为变化的程度，使得能够进行这样的情况下的比较。

例如，与数学式4对应地像下面的数学式7所示那样计算变化量。

【数学式7】

变化量＝{|α×(＜R’＞－＜R＞)|

+|β×(＜G’＞－＜G＞)|

+|γ×(＜B’＞－＜B＞)|}

/|＜R＞+＜G＞+＜B＞|

或者与数学式5对应地像下面的数学式8所示那样计算变化量。

变化量＝|α×Min(＜R’＞－＜R＞，0)

+β×Min(＜G’＞－＜G＞，0)

+γ×Min(＜B’＞－＜B＞，0)|

/|＜R＞+＜G＞+＜B＞|

或者与数学式6对应地像下面的数学式9所示那样计算变化量。

【数学式9】

变化量＝|α×Min(＜R＞－＜R’＞，0)

+β×Min(＜G＞－＜G’＞，0)

+γ×Min(＜B＞－＜B’＞，0)|

/|＜R＞+＜G＞+＜B＞|

另外，这些数学式7～9若α＝β＝γ＝1则成为与上述的数学式1～3的变化量对应的变化率。

在进行了该步骤S19之后返回到上述的步骤S11。这样，在步骤S11中判定为进行了所有的图像的处理的情况下，从该处理返回未图示的主处理。

图5A是示出图像分析装置10中的在所选择的区域中选择多个关注要素的中心部的处理的流程图。

当在图4的步骤S15中进入该处理时，边缘检测部21通过应用边缘检测滤波器对所选择的区域(例如图9所示的图像Pi的左下半部分的区域)提取边缘成分(步骤S21)。

接下来，闭合曲线边缘检测部22从边缘检测部21所检测的边缘中进一步检测形成闭合曲线的边缘(步骤S22)。

接着，大小滤波处理部23计算闭合曲线边缘检测部22所检测的闭合曲线边缘的大小(例如闭合曲线的最大径、平均径或者被闭合曲线包围的区域的面积等)，仅选择计算出的大小处于能够作为关注要素的范围内(例如处于能够作为肠道绒毛的大小的范围内)的闭合曲线边缘(步骤S23)。

而且，双重闭合曲线边缘检测部24从通过大小滤波处理部23的闭合曲线边缘中对全部双重闭合曲线边缘进行检测(步骤S24)。

另外，构成双重闭合曲线边缘的内侧闭合曲线边缘和外侧闭合曲线边缘由于都通过步骤S23中的大小滤波处理部23的处理，因此是判定为处于能够作为关注要素的范围内的大小的闭合曲线边缘。

并且，双重闭合曲线边缘确定部25像之后参照图6说明的那样进行对双重闭合曲线边缘检测部24所检测的双重闭合曲线边缘是否属于关注要素进行确定的处理(步骤S25)。

然后，区域提取控制部27对在双重闭合曲线边缘检测部24所检测的双重闭合曲线边缘中是否存在还未进行步骤S25的处理的双重闭合曲线边缘进行判定(步骤S26)，在存在的情况下对下一个双重闭合曲线边缘进行步骤S25的处理。

这样，在步骤S26中判定为对所有的双重闭合曲线边缘进行了步骤S25的处理的情况下，区域提取控制部27对判定为属于关注要素的双重闭合曲线边缘的数量(甚至所检测的关注要素的中心部的数量)是否为规定数量(在图11所示的例子中是五个)以上进行判定(步骤S27)。

这里，在判定为属于关注要素的双重闭合曲线边缘的数量被判定为不足规定数量的情况下，单一闭合曲线边缘确定部26像之后参照图7而说明的那样进行如下处理：对不属于双重闭合曲线边缘的单一闭合曲线边缘(该单一闭合曲线边缘是通过步骤S23中的大小滤波处理部23的处理而判定为是处于能够作为关注要素的范围内的大小的闭合曲线边缘)是否属于关注要素进行确定(步骤S28)。

接下来，区域提取控制部27对在单一闭合曲线边缘中是否存在还未进行步骤S25的处理的单一闭合曲线边缘进行判定(步骤S29)，在存在的情况下，对下一个单一闭合曲线边缘进行步骤S28的处理。

这样，在步骤S29中判定为对所有的单一闭合曲线边缘进行了步骤S28的处理的情况下或者在步骤S27中判定为属于关注要素的双重闭合曲线边缘的数量被判定为规定数量以上的情况下，从该处理返回图4所示的处理。

这样，首先进行属于关注要素的可靠性更高的双重闭合曲线边缘的确定，在判定为属于关注要素的双重闭合曲线边缘的数量不足规定数量的情况下，进一步对单一闭合曲线边缘进行是否属于关注要素进行确定。

另外，在图5A的处理中，在双重闭合曲线边缘的数量达到规定数量的情况下，不进行单一闭合曲线边缘的确定，但也可以不管双重闭合曲线边缘的数量是否达到规定数量都进行单一闭合曲线边缘的确定。

图5B是示出图像分析装置中的在所选择的区域中选择多个关注要素的中心部的处理的变形例的流程图。

该图5B所示的处理省略了图5A中的步骤S27的处理。由此，不仅进行双重闭合曲线边缘的确定，还进行单一闭合曲线边缘的确定，因此能够选择更多的关注要素的中心部。

图6是示出图像分析装置10中的双重闭合曲线边缘确定处理的流程图。

当进入该处理时，双重闭合曲线边缘确定部25从在步骤S24中双重闭合曲线边缘检测部24所检测的双重闭合曲线边缘中选择一个未处理的双重闭合曲线边缘(步骤S31)。

而且，双重闭合曲线边缘确定部25判定所选择的双重闭合曲线边缘的内侧闭合曲线边缘的内侧的各像素的颜色成分值的例如平均值是否在属于关注要素的中心部的第一颜色范围内。(步骤S32)。

这里，在判定为在第一颜色范围外的情况下，返回图5A(或图5B，由于下面相同因此省略)所示的处理，而不将在步骤S31中选择的双重闭合曲线边缘识别为关注要素。

并且，在步骤S32中判定为在第一颜色范围内的情况下，双重闭合曲线边缘确定部25进一步对所选择的双重闭合曲线边缘的外侧闭合曲线边缘和内侧闭合曲线边缘之间的各像素的颜色成分值的例如平均值是否在属于关注要素的周边部的第二颜色范围内进行判定(步骤S33)。

这里，在判定为在第二颜色范围外的情况下，返回图5A所示的处理，而不将在步骤S31中选择的双重闭合曲线边缘识别为关注要素。

并且，在步骤S33中判定为是第二颜色范围内的情况下(因此，在判定为内侧闭合曲线边缘内的区域的颜色与内侧闭合曲线边缘和外侧闭合曲线边缘之间的区域的颜色不同的情况下)，确定为在步骤S31中选择的双重闭合曲线边缘属于关注要素，在分别将内侧闭合曲线边缘的内侧确定为关注要素的中心部，将外侧闭合曲线边缘和内侧闭合曲线边缘之间确定为关注要素的周边部(步骤S34)之后，返回图5A所示的处理。

图7是示出图像分析装置10中的单一闭合曲线边缘确定处理的流程图。

当进入该处理时，单一闭合曲线边缘确定部26从通过大小滤波处理部23后的闭合曲线边缘中选择双重闭合曲线边缘以外的单一闭合曲线边缘中的一个未处理的闭合曲线边缘(步骤S41)。

而且，单一闭合曲线边缘确定部26对所选择的单一闭合曲线边缘的内侧的各像素的颜色成分值的例如平均值是否在属于关注要素的中心部的第一颜色范围内进行判定(步骤S42)。

这里，在判定为在第一颜色范围外的情况下，返回图5A所示的处理，而不将在步骤S41中选择的单一闭合曲线边缘识别为关注要素。

并且，在步骤S42中判定为在第一颜色范围内的情况下，单一闭合曲线边缘确定部26进一步对所选择的单一闭合曲线边缘的外侧附近的各像素的颜色成分值的例如平均值是否在属于关注要素的周边部的第二颜色范围(与第一颜色范围不同的第二颜色范围)内进行判定(步骤S43)。

这里，在判定为在第二颜色范围外的情况下，返回图5A所示的处理，而不将在步骤S41中选择的单一闭合曲线边缘识别为关注要素。

并且，在步骤S43中判定为在第二颜色范围内的情况下(因此，在判定为单一闭合曲线边缘的内侧区域的颜色与外侧附近区域的颜色不同的情况下)，在将在步骤S41中所选择的单一闭合曲线边缘内确定为关注要素的中心部(步骤S44)之后，返回图5A所示的处理。

另外，在上述的图5A～图7中，进行了边缘检测(闭合曲线边缘检测、双重闭合曲线边缘检测)、大小滤波处理、颜色范围判定等各处理，从而提高了关注要素的检测精度，但也可以省略任意的处理而减轻处理负荷从而提高检测速度。

根据这样的实施方式一，区域提取部12确定具有环状的周边部和被周边部包围且与周边部颜色不同的中心部的关注要素，仅提取关注要素的中心部作为分析对象区域，(具体而言，着眼于在被检体中发生变化的特征区域，进行该特征区域的色调变化的分析)，因此在必要的区域中能够进行更准确的定量评价。

并且，由于根据色调、饱和度以及亮度中的至少一个的差异来判定周边部与中心部的颜色的差异，因此能够进行基于图像的颜色成分值的判定。

并且，对图像进行边缘检测，进一步检测形成闭合曲线的边缘，在被所检测的闭合曲线边缘包围的区域的内外颜色不同的情况下，把被闭合曲线边缘包围的区域的内部确定为中心部，因此能够高精度地检测具有颜色不同的中心部和周边部的关注要素。

而且，由于仅在闭合曲线边缘的大小处于能够作为关注要素的范围内的情况下把被闭合曲线边缘包围的区域的内部确定为中心部，因此能够更加提高关注要素的检测精度。

此外，进一步检测双重闭合曲线边缘，在内侧闭合曲线边缘内的区域的颜色与内侧闭合曲线边缘和外侧闭合曲线边缘之间的区域的颜色不同的情况下，把内侧闭合曲线边缘内的区域确定为中心部，因此能够进行针对具有中心部和周边部的关注要素的形状的匹配性更高的检测。

并且，确定多个关注要素，提取所确定的多个关注要素的中心部作为分析对象区域，因此能够从更多的样本中提取分析对象区域的颜色成分值，从而使根据所提取的颜色成分值计算出的第一图像的颜色成分值与第二图像的颜色成分值的变化的程度成为更稳定的值。

并且，在提取分析对象区域时，由于排除了不适于提取颜色成分值的不合适要素，因此能够获得更准确的图像分析结果，而不被不合适要素左右。

而且，由于提取明亮度接近中央值的规定数量的关注要素的中心部作为分析对象区域，因此能够更适当地把握变化量。

从平均亮度在适于提取颜色成分值的适当亮度范围内的适当亮度区域中进行分析对象区域的提取，因此即使在被检体中发生变化，也能够防止将其变化量未必被像素值适当反映的过亮的区域或过暗的区域作为分析对象区域。

并且，能够对通过内窥镜20拍摄而获取的被检体的图像实现上述的效果。

并且，例如能够对肠道绒毛进行适当的图像分析。

另外，上述的各部也可以构成为电路。而且，如果任意电路都能实现相同的功能，则也可以安装成单一的电路，也可以安装成组合了多个电路而成的电路。并且，任意电路不限于构成为用于实现作为目的的功能的专用电路，也可以是通过使通用电路执行处理程序来实现作为目的的功能的结构。

并且，在上述中主要对图像分析装置(或者图像分析系统，以下相同)进行了说明，但也可以是使图像分析装置像上述那样进行动作的动作方法，也可以是用于使计算机进行与图像分析装置相同的处理的处理程序、能够通过记录了该处理程序的计算机进行读取的非暂时的记录介质。

并且，本发明并不限定于上述实施方式本身，可以在实施阶段中在不脱离其主旨的范围内对构成要素进行变形来具体化。并且，通过适当组合上述实施方式所公开的多个构成要素，可以形成各种发明的方式。例如，也可以从实施方式所示的所有构成要素中删除几个构成要素。并且，也可以适当组合不同的实施方式的构成要素。这样，当然可以在不脱离发明主旨的范围内进行各种变形和应用。

本申请是以2015年4月27日在日本申请的日本特愿2015-090620号作为优先权主张的基础而申请的，上述的公开内容被引用于本申请说明书、权利要求书以及附图。

Claims (12)

1.一种图像分析装置，其特征在于，该图像分析装置包含：

图像输入部，其被输入随着时间经过而获取的被检体的图像；

区域提取部，其对从所述图像输入部输入的在第一时刻获取的第一图像和在比所述第一时刻靠后的第二时刻获取的第二图像确定关注要素，仅提取所述关注要素的中心部作为分析对象区域，所述关注要素具有环状的周边部和被该周边部包围且与该周边部颜色不同的所述中心部；以及

颜色成分提取部，其分别提取所述区域提取部所提取的所述第一图像的所述分析对象区域和所述第二图像的所述分析对象区域的颜色成分值，

所述区域提取部确定多个所述关注要素，并提取所确定的多个所述关注要素的所述中心部作为所述分析对象区域。

2.根据权利要求1所述的图像分析装置，其特征在于，

所述区域提取部根据色调、饱和度以及亮度中的至少一个的差异来判定所述周边部与所述中心部的颜色的差异。

3.根据权利要求2所述的图像分析装置，其特征在于，

所述区域提取部对所述图像进行边缘检测，进一步检测形成闭合曲线的边缘，在被所检测的闭合曲线边缘包围的区域的内外颜色不同的情况下，把被所述闭合曲线边缘包围的区域的内部确定为所述中心部。

4.根据权利要求3所述的图像分析装置，其特征在于，

所述区域提取部还判定所述闭合曲线边缘的大小是否处于能够作为所述关注要素的范围内，仅在处于能够作为所述关注要素的范围内的情况下，把被所述闭合曲线边缘包围的区域的内部确定为所述中心部。

5.根据权利要求3所述的图像分析装置，其特征在于，

所述区域提取部还检测双重闭合曲线边缘，在所检测的双重闭合曲线边缘中的内侧闭合曲线边缘内的区域的颜色与内侧闭合曲线边缘和外侧闭合曲线边缘之间的区域的颜色不同的情况下，把所述内侧闭合曲线边缘内的区域确定为所述中心部。

6.根据权利要求1所述的图像分析装置，其特征在于，

所述区域提取部将不适于提取颜色成分值的不合适区域排除，来提取所述分析对象区域。

7.根据权利要求1所述的图像分析装置，其特征在于，

所述区域提取部提取所确定的多个所述关注要素内的明亮度接近中央值的规定数量的所述关注要素的所述中心部作为所述分析对象区域。

8.根据权利要求1所述的图像分析装置，其特征在于，

所述区域提取部在表示对从所述图像输入部输入的图像进行获取的摄像装置的性能的图像中，从按规定大小的局部区域计算出的平均亮度在适于提取颜色成分值的适当亮度范围内的适当亮度区域中，进行所述关注要素的确定和所述分析对象区域的提取。

9.根据权利要求1所述的图像分析装置，其特征在于，

输入至所述图像输入部的所述图像是由插入到所述被检体内的内窥镜进行拍摄而获取的图像。

10.根据权利要求9所述的图像分析装置，其特征在于，

所述关注要素是肠道的绒毛的图像部分，所述中心部是所述绒毛的中心部处的包含毛细血管的部位的图像部分，所述周边部是形成在所述绒毛的表面的粘膜上皮的图像部分。

11.一种图像分析系统，其特征在于，

该图像分析系统具有：

内窥镜，其插入到被检体内，拍摄而获取所述被检体的图像；以及

权利要求1所述的图像分析装置，

所述内窥镜所获取的所述图像被输入至所述图像输入部。

12.一种图像分析装置的动作方法，其特征在于，

把随着时间经过而获取的被检体的图像输入至图像输入部，

由区域提取部对从所述图像输入部输入的在第一时刻获取的第一图像和在比所述第一时刻靠后的第二时刻获取的第二图像确定关注要素，仅提取所述关注要素的中心部作为分析对象区域，所述关注要素具有环状的周边部和被该周边部包围且与该周边部颜色不同的所述中心部，

由颜色成分提取部分别提取所述区域提取部所提取的所述第一图像的所述分析对象区域和所述第二图像的所述分析对象区域的颜色成分值，

所述区域提取部确定多个所述关注要素，并提取所确定的多个所述关注要素的所述中心部作为所述分析对象区域。