JP6234648B1 - 画像解析装置、画像解析システム、及び画像解析装置の作動方法 - Google Patents

Abstract

ビデオプロセッサ３は、被検体に所定の作用を行う前後の第１及び第２のタイミングt1,t2で内視鏡２により取得された第１及び第２の画像が入力される画像入力部３２と、第１及び第２の補正用画像CP1,CP2を第１及び第２の画像を用いて作成する信号生成部３３と、第１及び第２の補正用画像CP1,CP2をそれぞれ第１及び第２の画像に作用させた第１及び第２の補正後画像AP1,AP2を生成する画像処理部３４と、及び第２の補正後画像AP1,AP2における色成分を抽出して第１及び第２の分布特性値をそれぞれ求める分布特性値算出部３５と、第１の分布特性値に対する第２の分布特性値の変化の度合いを算出する画像解析部３６と、を具備とする。

Description

本発明は、経時的に取得された被検体の画像から被検体の変化を解析する画像解析装置、画像解析システム、及び画像解析装置の作動方法に関する。

経時的に取得された被検体の画像から被検体の変化を解析する技術は、従来より種々のものが提案されている。

例えば、特開２０１０−５０５６号公報には、撮像素子により被観察体の通常像を撮像し、撮像素子から出力された画像信号に分光画像処理を施して所定波長の分光推定画像信号を生成する画像取得装置が開示されている。

その画像取得装置では、撮像素子から出力された画像信号に基づいて、分光画像生成部において被観察体に投与される薬剤に関する特定波長の分光推定画像信号が輝度情報取得用分光推定画像信号として生成される。

さらに、その画像取得装置では、輝度情報取得部において所定の時間間隔を空けて生成された輝度情報取得用分光推定画像信号の輝度情報がそれぞれ取得され、表示装置においてその輝度情報の変化率に基づいて画像が表示される。

また、特表２００７−５０２１８５号公報には、歯の組織のデジタル画像を撮像し、デジタル画像内の複数の画素のそれぞれについて、画素の色の第１の成分値および画素の色の第２の成分値を決定し、第１の成分値および第２の成分値に基づき画素の第１の関数値（例えば、Ｒ／Ｇ）を計算する画像解析方法が記載されている。

しかし、内視鏡画像の色成分から被検体の変化を検出する場合、内視鏡の先端部から出射される照明光の配光特性により、観察対象物に関係なく、照明光に近い部分が明るくなる等画像の明るさは一様ではないため、色成分を正確に抽出することが困難である。特に、より広い領域を解析範囲とする場合に明るさの傾きが顕著となる。

さらに、観察対象物が生体内であるため、観察光学系の光軸に対する被写体表面の傾き、内視鏡先端部から観察対象までの距離、あるいは被写体表面が平坦でないこと等によっても、内視鏡先端部の観察光学系により得られる画像に明るさの偏りによる輝度ムラが生じる。例えば小腸は固定されていない臓器であり、内視鏡撮影のときに視野が安定せず、画像の明るさによる輝度ムラが生じ易い。
また、例えば小腸絨毛のように、被写体表面に凹凸がある場合、凹部が影となるため、画像に明るさ分布が生じ易い。

すなわち、照明光の配光特性、あるいは内視鏡先端部から観察対象までの距離等によって、画像の明るさに傾きが生じる。この値は観察対象である被検体自体の輝度成分の標準偏差よりも高い値として検出される場合があり、本来の観察対象の輝度変化に埋もれてしまう可能性があった。このことにより、経時的に取得された被検体の画像の色成分の変化量を正確に抽出することが困難である。

そこで、本発明は、照明光の配光特性等による内視鏡画像における明るさの偏りの影響を抑制して、経時的に取得された被検体の画像について変化の度合いを正確に抽出することができる画像解析装置、画像解析システム、及び画像解析装置の作動方法を提供することを目的とする。

本発明の一態様の画像解析装置は、第１のタイミングで内視鏡により取得された被検体の第１の画像と、前記第１のタイミング以後の第２のタイミングで前記内視鏡により取得された前記被検体の第２の画像とを受信し、受信した前記第１の画像の明るさ分布の傾きを補正するための第１の明るさ分布補正データを、前記第１の画像を用いて作成するとともに、前記第２の画像の明るさ分布の傾きを補正するための第２の明るさ分布補正データを、前記第２の画像を用いて作成する補正データ生成部と、前記第１の明るさ分布補正データを前記第１の画像に作用させた第１の処理画像と、前記第２の明るさ分布補正データを前記第２の画像に作用させた第２の処理画像とを生成する画像処理部と、前記第１の処理画像と前記第２の処理画像の変化の度合いを解析する画像解析部と、を備え、前記補正データ生成部は、前記第１及び前記第２の画像から抽出した閉曲線で囲まれた領域を抽出して、抽出された前記各領域のサイズに基づいて、前記第１及び前記第２の明るさ分布補正データを生成する。

本発明の一態様の画像解析システムは、被検体内に挿入され、前記被検体内の画像を撮像して取得する内視鏡と、本発明の一態様の画像解析装置と、を備える。

本発明の一態様の画像解析装置の作動方法は、第１のタイミングで内視鏡により取得された被検体の第１の画像と、前記第１のタイミング以後の第２のタイミングで前記内視鏡により取得された前記被検体の第２の画像とを受信する工程と、受信した前記第１の画像の明るさ分布の傾きを補正するための第１の明るさ分布補正データを、前記第１の画像を用いて作成するとともに、前記第２の画像の明るさ分布の傾きを補正するための第２の明るさ分布補正データを、前記第２の画像を用いて作成する工程と、前記第１の明るさ分布補正データを前記第１の画像に作用させた第１の処理画像と、前記第２の明るさ分布補正データを前記第２の画像に作用させた第２の処理画像とを生成する工程と、前記第１の処理画像と前記第２の処理画像の変化の度合いを解析する工程と、を含み、前記第１及び前記第２の明るさ分布補正データを作成する工程において、前記第１及び前記第２の画像から抽出した閉曲線で囲まれた領域を抽出して、抽出された各領域のサイズに基づいて、前記第１及び前記第２の明るさ分布補正データを生成する。

本発明の第１の実施の形態に関わる、画像解析システムの概略構成を示すブロック図である。 本発明の第１の実施の形態に関わる、信号生成部３３の構成を示すブロック図である。 本発明の第１の実施の形態に関わる、画像処理部３４の構成を示すブロック図である。 本発明の第１の実施の形態に関わる、分布特性値算出部３５の構成を示すブロック図である。 本発明の第１の実施の形態に関わる、信号生成部３３の構造化要素指定部５２の構成を示すブロック図である。 本発明の第１の実施の形態に関わる、取得された２枚の内視鏡画像から、被検体の変化を検出するための処理の流れを説明するための図である。 本発明の第１の実施の形態に関わる、内視鏡画像の画像データの色成分から被検体の変化を検出する基本的な処理を示すフローチャートである。 本発明の第１の実施の形態に関わる、画像解析システムにおける画像解析装置であるビデオプロセッサ３による画像解析処理を示すフローチャートである。 本発明の第１の実施の形態に関わる、時系列順にソートした被検体の画像の例を示す図である。 本発明の第１の実施の形態に関わる、画像中の解析対象領域AAを説明するための図である。 本発明の第１の実施の形態に関わる、構造化要素の指定処理の流れの例を示すフローチャートである。 本発明の第１の実施の形態に関わる、構造化要素の指定処理の流れの例を示すフローチャートである。 本発明の第１の実施の形態に関わる、被検体の内視鏡画像および注目要素の１つを拡大して示す図である。 本発明の第１の実施の形態に関わる、注目要素である腸管の繊毛の構造を示す図である。 本発明の第１の実施の形態に関わる、内視鏡画像の例を示す図である。 図１５に示す内視鏡画像の解析対象領域AA内の二点鎖線で示すラインL上の画素群の輝度分布を示すグラフである。 本発明の第１の実施の形態に関わる構造化要素を説明するための図である。 本発明の第１の実施の形態に関わる、補正用画像CPを作成する処理の流れの例を示すフローチャートである。 本発明の第１の実施の形態に関わる、生成された補正用画像CP内の画素群の輝度分布を示すグラフである。 本発明の第１の実施の形態に関わる、生成された補正後画像AP内の画素群の輝度分布を示すグラフである。 本発明の第１の実施の形態に関わる、被検体に所定の負荷（所定の作用）を与える前の補正後画像AP1における輝度値のヒストグラムである。 本発明の第１の実施の形態に関わる、被検体に所定の負荷（所定の作用）を与えた後の補正後前画像AP2における輝度値のヒストグラムである。 本発明の第１の実施の形態に関わる、表示装置５に表示される拡大観察中における被検体の色成分の変化を示すユーザインターフェースの例を示す図である。 本発明の第１の実施の形態の変形例１ａに関わる信号生成部３３Aのブロック図である。 本発明の第１の実施の形態の変形例１ａに関わる、輝度ムラのない補正前画像BPPの生成処理を説明するための図である。 本発明の第２の実施の形態に関わる信号生成部３３Bのブロック図である。 本発明の第２の実施の形態に関わる、補正前画像BPにおいて指定された３点を説明するための図である。

以下、図面を参照して本発明の実施の形態を説明する。
なお、以下の説明において、同一要素には同一の符号を付している。さらに、図面は、模式的なものであり、各部の厚みと幅との関係、各部の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。

＜第１の実施の形態＞
（システム構成）
図１は、本発明の第１の実施の形態に係る画像解析システムの概略構成を示すブロック図である。

なお、以下に示す実施の形態においては、“画像解析システム”として内視鏡システムと、“画像解析装置”としてビデオプロセッサとを例に説明する。
図１に示すように、画像解析システムである内視鏡システム１は、内視鏡２と、画像解析装置であるビデオプロセッサ３と、光源装置４と、表示装置５を主に備えている。

内視鏡システム１は、本実施の形態においては、システム全体として、白色光による通常光観察が可能なだけでなく、狭帯域光観察（ＮＢＩ：Narrow Band Imaging。以下、ＮＢＩという）にも対応可能となっている。

内視鏡２は、被検体２００内に挿入される細長の挿入部（図示せず）を備え、さらに、当該挿入部の先端部に配設された、被検体２００の画像を撮像して画像信号を取得するための撮像部１１と、光源装置４からの照明光を伝送するライトガイド１２と、被検体２００に照明光を照射する照明部１３と、を備える。内視鏡２の挿入部の先端部の先端の同じ面に、被検体の像を取得する被検体像取得部と被検体を照明する照明窓が配置されている。

なお、ここでは、照明はライトガイドを利用して行われているが、複数の発光ダイオード（以下、ＬＥＤという）などの発光素子を挿入部の先端部に設け、複数のＬＥＤの照明光を照射するようにしてもよい。
また、当該内視鏡２は、ノイズ成分を少なくしてＮＢＩによる拡大観察を行うために、その先端には、例えば先端フードまたは先端アタッチメント等が装着可能になっている。

さらに、本実施の形態においては、被検体に所定の負荷（所定の作用）を与え、当該負荷（作用）を与える前後にまたがって経時的に被検体の変化を観察するために、内視鏡２において被検体の画像が経時的に取得されるようになっている。

ここで、上述した被検体に与える“所定の作用”とは、例えば、被検体に対する薬液の投与である。なお、本実施の形態において前記“薬液”とは、例えば、生理食塩水、ブドウ糖、液状の脂肪（脂肪乳剤等）を指し、後述する具体的な負荷（作用）の一例としては、ブドウ糖の散布を例に挙げて説明する。
また、前記“所定の作用”とは、上述した薬液の投与に限らず、静脈注射、体腔内への送気、または、物理的に処置具もしくは内視鏡自体を体内に接触させる等の作用であってもよい。

なお、被検体に所定の作用を与える前後における被検体の変化をより正確に捉えるためには、内視鏡２の明るさの設定が同じ状態であることが望ましい。そこで、被検体に所定の作用を与える前後で光源の調光は行わず、光源からの出射光量を一定にして被検体の画像を取得することが好ましい。

また、内視鏡２には、図示しない操作部が設けられており、検査者である内視鏡システム１のユーザは、操作部に設けられたフリーズボタン、レリーズボタン及び湾曲操作ノブなどの操作部材を操作することにより、被検体２００の画像取得、及び挿入部の先端部に設けられた湾曲部の湾曲操作、等を行うことができる。

光源装置４は、内視鏡２とビデオプロセッサ３に接続されている。光源装置４は、光源４１と、光源ドライバ４２と、回転フィルタ４３と、駆動部４４と、駆動ドライバ４５と、光源制御部４６と、を備える。

光源４１は、白色ＬＥＤまたはキセノンランプ等を用いて構成され、光源制御部４６の制御のもと、白色光を発生する。光源ドライバ４２は、光源制御部４６の制御下に光源４１に白色光を発生せしめる。光源４１が発生した光は、回転フィルタ４３および集光レンズ（図示せず）およびライトガイド１２を経由して内視鏡２の照明部１３から照射される。

回転フィルタ４３は、光源４１が発した白色光の光路上に配置され、回転することにより、光源４１が発する白色光を受けて狭帯域光観察（ＮＢＩ）に対応した光、すなわち、波長415nm付近（例えば、およそ400nm〜440nm）の青色光と、波長540nm付近（例えば、およそ525nm〜555nm）の緑色光との各波長領域を含む狭帯域化した光を透過させる。なお、図１では、通常光観察のためのフィルタは、省略されている。
よって、内視鏡２において得られる画像は、白色光より狭い所定の波長帯域の照明光で被検体を照明した際の反射光の画像である。

ここで、本実施の形態において採用するＮＢＩによる観察では、通常、青と緑の狭帯域光を腸粘膜面に照射し、青色の反射光を青色と緑色に、緑色の反射光を赤色に変換した内視鏡画像を表示装置５上に表示するようになっている。

なお、本実施の形態では、ＮＢＩのために、波長415nm付近の青色光と波長540nm付近の緑色光の２つの狭帯域光が用いられているが、波長415nm付近の青色光と波長540nm付近の緑色光の２つの狭帯域光のいずれかのみを用いてもよく、さらに１つ又は２つ以上の他の波長帯域の狭帯域光を用いるようにしてもよい。

内視鏡システム１が通常光観察モードに設定されているときには、光源装置４は、白色光を照明光として出射し、狭帯域光観察モードに設定されているときには、光源装置４は、狭帯域化した光を照明光として出射する。

駆動ドライバ４５は、光源制御部４６の制御下に駆動部４４に所定の電流を供給し、駆動部４４は、光源制御部４６の制御下に、ビデオプロセッサ３から送信される同期信号を基準として回転フィルタ４３を回転動作させる。

表示装置５は、ビデオプロセッサ３に接続され、所定の映像ケーブルを介してビデオプロセッサ３が生成した被検体画像等をビデオプロセッサ３から受信して表示する機能を有する。

（ビデオプロセッサの構成）
内視鏡２及び光源装置４が接続されたビデオプロセッサ３は、内視鏡システム１全体を統括的に制御する制御部３１と、制御部３１により制御される画像入力部３２と、信号生成部３３と、画像処理部３４と、分布特性値算出部３５と、画像解析部３６と、を含んでいる。

なお、本実施の形態においてビデオプロセッサ３は、内視鏡２の撮像部１１からの撮像信号の信号処理装置としての機能を果たすと共に、「画像解析装置」としての役目を果たすようになっている。

ビデオプロセッサ３は、中央処理装置（以下、CPUという）、ROM、RAM及びハードディスク装置などを有して構成されている。制御部３１は、CPUがROM等に記憶された各種プログラムを読み出して実行することによって、内視鏡システム１の全体の動作制御及び各機能の実現を行う。

画像入力部３２、信号生成部３３、画像処理部３４、分布特性値算出部３５及び画像解析部３６の動作制御も、CPUがROM等に記憶された各種プログラムを読み出して実行することによって行われる。

画像入力部３２は、内視鏡２の撮像部１１からの撮像信号を受信して、撮像信号からフレーム毎の画像データを生成する。すなわち、画像入力部３２には、撮像部１１によって経時的に取得された被検体の画像が入力され、画像入力部３２は、各フレームの画像データを生成する。また、後述するように、画像入力部３２は、入力された画像データを、時系列順にソートする機能も有する。

画像入力部３２は、被検体内に継続的に挿入した内視鏡２からの撮像信号に基づいて複数のフレームの画像データを所定時間分、あるいは所定フレーム数分だけ生成して記憶するRAMなどのメモリ３２ａを有し、制御部３１からの制御信号により指定されたフレームの画像データを出力する。

そして、画像入力部３２は、生成された複数のフレームの画像データの中から、制御部３１からの制御信号により指定された第１のタイミングで取得された第１の画像IMG1と、第１のタイミングよりも後の第２のタイミングで取得された第２の画像IMG2とを入力して、信号生成部３３に出力する。

信号生成部３３は、画像入力部３２からの第１の画像IMG1と第２の画像IMG2の画像データから、それぞれの補正用画像CPの画像データを作成する。
図２は、信号生成部３３の構成を示すブロック図である。信号生成部３３は、補正前画像取得部５１と、構造化要素指定部５２と、補正用画像作成部５３とを含む。

補正前画像取得部５１は、画像入力部３２からの第１の画像IMG1及び第２の画像IMG2のそれぞれの解析対象領域AAの画像データを取得する処理部である。すなわち、第１の画像IMG1及び第２の画像IMG2のそれぞれについての、照明光の配光特性等による明るさ分布が補正される前の画像である補正前画像BPが、補正前画像取得部５１に入力される。

構造化要素指定部５２は、解析対象に合わせた構造化要素パラメータを指定する処理部である。構造化要素指定部５２は、第１の画像IMG1及び第２の画像IMG2のそれぞれについて、解析対象に合わせた構造化要素パラメータを、解析対象である補正前画像BPの画像データから算出する。構造化要素パラメータは、解析対象の大きさに応じた値となるように算出される。構造化要素指定部５２の構成及び構造化要素パラメータの算出方法については、後述する。

補正用画像作成部５３は、後述する画像処理によって、画像データを補正するために用いられる補正用画像CPを作成し出力する処理部である。補正用画像CPの作成方法については、後述する。

図１に戻り、画像処理部３４は、第１の画像IMG1及び第２の画像IMG2のそれぞれについて、補正前画像BPと補正用画像CPの画像データを入力して、補正した画像データすなわち補正後画像APを生成する画像処理を行う処理部である。

図３は、画像処理部３４の構成を示すブロック図である。画像処理部３４は、補正前画像入力部６１と、補正用画像入力部６２と、画像差分抽出部６３とを含む。
補正前画像入力部６１は、解析対象となる補正前画像BPを入力する処理部である。第１の画像IMG1の補正前画像BP1及び第２の画像IMG2の補正前画像BP2は、画像入力部３２から出力される。

補正用画像入力部６２は、補正用画像作成部５３において作成された補正用画像CPを取得する処理部である。第１の画像IMG1の補正用画像CP1及び第２の画像IMG2の補正用画像CP 2は、信号生成部３３から出力される。

画像差分抽出部６３には、第１の画像IMG1及び第２の画像IMG2のそれぞれについての、補正前画像BPと補正用画像CPとが入力される。画像差分抽出部６３は、補正前画像BPと補正用画像CPとの差分をとって、差分画像を抽出し、差分画像を補正後画像APとして出力する。よって、画像差分抽出部６３は、第１の画像IMG1の解析対象領域AAの補正後画像AP1と第２の画像IMG2の解析対象領域AAの補正後画像AP2とを生成して、分布特性値算出部３５へ出力する。

画像処理部３４における補正後画像APの生成処理については、後述する。
図１に戻り、分布特性値算出部３５は、第１の画像IMG1及び第２の画像IMG2のそれぞれについて、補正後画像APを入力して、分布特性値の算出を行う処理部である。

図４は、分布特性値算出部３５の構成を示すブロック図である。分布特性値算出部３５は、色成分値抽出部７１と、合算輝度値算出部７２と、輝度値分布特性値算出部７３とを有する。

色成分値抽出部７１は、画像差分抽出部６３から出力された第１の画像IMG1の補正後画像AP1における各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）と、画像差分抽出部６３から出力された第２の画像IMG2の補正後画像AP2における各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）とをそれぞれ抽出する。

合算輝度値算出部７２は、色成分値抽出部７１において抽出した第１の画像IMG1の補正後画像AP1に係る各色成分値の合算値に係る輝度値（第１の合算輝度値）を求めると共に、色成分値抽出部７１において抽出した第２の画像IMG2の補正後画像AP2に係る各色成分値の合算値に係る輝度値（第２の合算輝度値）とを算出する。

輝度値分布特性値算出部７３は、合算輝度値算出部３７において算出したそれぞれの合算輝度値（第１の合算輝度値および第２の合算輝度値）に係るそれぞれの分布特性値（第１の分布特性値および第２の分布特性値）を算出する。なお、本実施の形態において「分布特性値」は、解析対象領域AA内の複数の画素の画素値分布の標準偏差または分散として求められる。

すなわち、分布特性値算出部３５は、画像差分抽出部６３により生成された第１の画像IMG1の補正後画像AP1と第２の画像IMG2の補正後画像AP2のそれぞれの色成分値を抽出すると共に、抽出した色成分値の合算値に係る輝度値の分布特性値をそれぞれ算出する（詳細については後述する）。

図１に戻り、画像解析部３６は、分布特性値算出部３５においてそれぞれ算出された、第１の画像IMG1の補正後画像AP1に係る分布特性値（第１の分布特性値）と第２の画像IMG2の補正後画像AP2に係る分布特性値（第２の分布特性値）との変化の度合いを算出する（詳細については後述する）。

次に、構造化要素指定部５２の構成について説明する。
図５は、信号生成部３３の構造化要素指定部５２の構成を示すブロック図である。
信号生成部３３の構造化要素指定部５２は、図５に示すように、エッジ検出部８１、閉曲線エッジ検出部８２、大きさフィルタ処理部８３、二重閉曲線エッジ検出部８４、二重閉曲線エッジ特定部８５、解析対象特定部８６、内接円描画部８７、内接円平均サイズ算出部８８、及び構造化要素指定制御部８９を含んで構成されている。

構造化要素指定部５２は、第１の画像IMG1及び第２の画像IMG2のそれぞれについて、補正用画像作成部５３において補正用画像CPを作成するときに用いられる構造化要素パラメータを指定する処理部である。

エッジ検出部８１は、画像に対して例えばエッジ検出フィルタをかけることにより、エッジ検出を行う。
閉曲線エッジ検出部８２は、エッジ検出部８１により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する。

大きさフィルタ処理部８３は、閉曲線エッジ検出部８２により検出された閉曲線エッジの中から、閉曲線エッジの大きさが注目要素として取り得る範囲内（例えば、腸管の絨毛として取り得る大きさの範囲内）であるもののみを選択する処理を行う。

二重閉曲線エッジ検出部８４は、閉曲線エッジ検出部８２により検出され、さらに例えば大きさフィルタ処理部８３により選択された閉曲線エッジの中から、さらに、二重をなす（つまり、外側閉曲線エッジと、この外側閉曲線エッジ内に含まれる内側閉曲線エッジと、で構成される）二重閉曲線エッジを検出する。

二重閉曲線エッジ特定部８５は、二重閉曲線エッジ検出部８４により検出された二重閉曲線エッジの内の、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なる場合に、内側閉曲線エッジ内の領域を中心部として特定する。

このとき、二重閉曲線エッジ特定部８５は、さらに、内側閉曲線エッジ内の領域の色が注目要素の中心部に該当する第１の色範囲（一例として注目要素が腸管の絨毛である場合には、第１の色範囲は例えば赤に近い色範囲）内であって、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色が注目要素の周辺部に該当する第２の色範囲（第１の色範囲とは異なる第２の色範囲）（一例として注目要素が腸管の絨毛である場合には、第２の色範囲は例えば白に近い色範囲）内である場合に、内側閉曲線エッジ内の領域を中心部として特定するようになっている。

なお、色の相違は、上述したように、色相と彩度と輝度との少なくとも１つの相違に基づき判定する。従って、色範囲は、色相、彩度、輝度の内の、何れか１つの範囲、または２つ以上の組み合わせにより決まる範囲となる。例えば、色範囲を色相および彩度の組み合わせにより決まる範囲としてもよいし、あるいは色範囲を輝度範囲としても構わない（すなわち、輝度のみに基づいて中心部と周辺部とを区別するようにしても構わない）。注目要素が腸管の絨毛であって色範囲を輝度範囲とした場合には、例えば、第１の色範囲はやや低輝度の範囲、第２の色範囲は第１の色範囲よりも高輝度の範囲とすればよい。

さらに、二重閉曲線エッジ特定部８５は、大きさフィルタ処理部８３により内側閉曲線エッジおよび外側閉曲線エッジの大きさが注目要素として取り得る範囲内であると判定された場合にのみ、内側閉曲線エッジ内の領域を中心部として特定すると、より好ましい。

解析対象特定部８６は、二重閉曲線エッジ特定部８５において特定された１又は２以上の二重閉曲線のエッジの内側閉曲線を、解析対象として特定する処理を行う。
内接円描画部８７は、各解析対象に内接する円を描画する処理を行う。

内接円平均サイズ算出部８８は、内接円描画部８７において描画された全ての内接円の平均サイズ、ここでは直径の平均値を算出する処理を行う。
構造化要素指定制御部８９は、構造化要素指定部５２内の各部、つまり、上述したエッジ検出部８１、閉曲線エッジ検出部８２、大きさフィルタ処理部８３、二重閉曲線エッジ検出部８４、二重閉曲線エッジ特定部８５、解析対象特定部８６、内接円描画部８７、および内接円平均サイズ算出部８８を制御して、後に詳述する図１１及び図１２を参照して説明するような動作を行わせる。

以上のような構成を有する内視鏡システム１を利用して、検査者であるユーザは、被検体内を観察しながら、所望の生体組織、ここでは小腸絨毛に対して所定の負荷を与え、その前後における生体組織の変化量を、画像処理により検出することができる。

（作用）
次に、内視鏡システム１の動作について説明する。

はじめに、ユーザが挿入部の先端部に先端フードを装着して内視鏡システム１を狭帯域光観察（ＮＢＩ）モードに設定して小腸絨毛を拡大観察する場合における内視鏡システム１の全体の処理の流れについて説明する。

＜全体の流れ＞
ユーザは、内視鏡システム１を利用して、小腸内を拡大観察しながら、所望の部位に対して所定の負荷（作用）を与え、被検体の変化をリアルタイムで観察することができる。

複数の正常な組織に所定の負荷を与えたときの被検体の変化あるいは病変組織に所定の負荷を与えたときの被検体の変化を、基準サンプルとして記憶装置に予め記憶しておき、検査すべき被検体に同じ所定の負荷を与えたときの被検体の変化と、その基準サンプルとの比較を行うことで、ユーザは、被検体の状態を推定する等のために、本内視鏡システム１を用いることができる。

そのために、内視鏡システム１では、連続した複数のフレームの画像データが取得され、ユーザからの指示に応じて決定された２枚の内視鏡画像の色成分から、その作用を与える前後における被検体の変化が検出される。

はじめに、被検体の変化を検出するための処理の流れと画像の関係を説明する。
図６は、取得された２枚の内視鏡画像から、被検体の変化を検出するための処理の流れを説明するための図である。

上述したように、所定の負荷を与える前の被検体の第１の画像IMG1と、所定の負荷を与えた後の被検体の第２の画像IMG2とが取得される。取得された第１の画像IMG1と第２の画像IMG2は、広いハレーション領域のない画像が選択される。

図６において、検査中に得られた複数のフレームFLsの中から、被検体に所定の負荷を与える前の第１のタイミングt1で取得されたフレームFL1が第１の画像IMG1であり、被検体に所定の負荷を与えた後、所定時間T経過したときの第２のタイミングt2で取得されたフレームFL2が第２の画像IMG1である。

画像入力部３２は、被検体内に継続的に挿入した内視鏡２により、被検体に所定の作用を行う前の第１のタイミングt1で取得された被検体の第１の画像IMG1と、第１のタイミングt1以後で被検体に作用の付与を行った後の第２のタイミングt2で取得された被検体の第２の画像IMG2とを、入力して取得する。

取得された第１の画像IMG1と第２の画像IMG2のそれぞれから抽出された解析対象領域AAが、補正前画像BP1とBP2として抽出される。
補正前画像BP1とBP2から、それぞれ補正用画像CP1,CP2が作成される。補正用画像CPは、明るさに全体的な傾きがある明るさ分布を補正して補正前画像BPを構成する色成分への光学的な影響を抑制する明るさ分布補正用のデータである。

上述した信号生成部３３が、第１の画像IMG1の明るさに全体的な傾きがある明るさ分布を補正して第１の画像IMG1を構成する色成分への光学的な影響を抑制するための第１の明るさ分布補正データである補正用画像CP1を、補正前画像である第１の画像IMG1を用いて作成するとともに、第２の画像IMG2の明るさに全体的な傾きがある明るさ分布を補正して第２の画像IMG2を構成する色成分への光学的な影響を抑制するための第２の明るさ分布補正データである補正用画像CP2を、補正前画像である第２の画像（IMG2）を用いて作成する。

すなわち、信号生成部３３は、入力された第１の画像IMG1の明るさ分布の傾きを補正するための第１の明るさ分布補正データを、第１の画像IMG1を用いて作成するとともに、第２の画像IMG2の明るさ分布の傾きを補正するための第２の明るさ分布補正データを、第２の画像IMG2を用いて作成する補正データ生成部を構成する。

補正後画像AP1,AP2は、補正前画像BP1,BP2と補正用画像CP1,CP2とから、それぞれ作成される。作成された補正後画像AP1,AP2は、照明の配光特性、観察光学系の光軸に対する被写体表面の傾き、挿入部の先端部から観察対象までの距離、あるいは被写体表面が平坦でないこと等による画像の明るさ分布の影響のない画像となっている。

上述した画像処理部３４が、第１の明るさ分布補正データとしての補正用画像CP1を第１の画像IMG1に作用させた第１の処理画像である補正後画像AP1と、第２の明るさ分布補正データとしての補正用画像CP2を第２の画像IMG2に作用させた第２の処理画像である補正後画像AP2とを生成する。

補正後画像AP1と補正後画像AP2のそれぞれについて、分布特性値が算出される。分布特性値算出部３５が、第１の処理画像である補正後画像AP1における色成分を抽出して第１の分布特性値を求めるとともに、第２の処理画像である補正後画像AP2における色成分を抽出して第２の分布特性値を算出して求める。

算出された補正後画像AP1の分布特性値から補正後画像AP2の分布特性値への変化量を算出することにより、所定の負荷を与えたときの被検体の変化を定量的に判定することができ、予め取得されている基準サンプルと比較することができる。画像解析部３６が、補正後画像AP1についての第１の分布特性値に対する、補正後画像AP2についての第２の分布特性値の変化の度合いを算出する。

なお、本実施の形態では、被検体は、例えば、生体の腸管の内面に存在する小腸の絨毛であるが、被検体はこれに限定されるものではなく、他の幾つかの例としては、舌部、食道、胃粘膜、大腸等でもよい。

次に、ビデオプロセッサ３における画像の取得から画像解析までの処理について説明する。
図７は、内視鏡画像の画像データの色成分から被検体の変化を検出する基本的な処理を示すフローチャートである。
ユーザは、内視鏡システム１を利用して、被検体内の内視鏡画像を表示装置５に表示させながら、被検体内の内視鏡画像観察を行う。

ここでは、ユーザは、内視鏡システム１をＮＢＩの拡大観察モードに設定して、ＮＢＩの内視鏡画像を表示装置５に表示させながら、被検体内を観察する。観察中に得られた内視鏡画像は、図示しないハードディスク装置などの大容量記憶装置に記憶される。

制御部３１は、まず内視鏡２を制御して、被検体へ負荷（所定の作用）を与える前の画像（負荷前画像である第１の画像IMG1）を第１のタイミングt1で撮像部１１より取得する（ステップＳ１）。第１の画像IMG1の取得は、例えば、ユーザによるレリーズボタンの操作に応じて行われる。

第１の画像IMG1の取得が行われると、制御部３１は、内視鏡２からの画像信号を入力してメモリ３２ａに記憶するように画像入力部３２を制御する。メモリ３２ａには、取得された第１の画像IMG1の取得時以降に取得された複数のフレームの内視鏡画像も記憶される。
また、内視鏡２により被検体の画像を取得するのと同時に、画像取得時の出射光量の情報を、例えば画像解析装置（ビデオプロセッサ３）、あるいは内視鏡２に記録してもよい。

ユーザは、表示装置５に表示される被検体のＮＢＩの拡大観察画像を観ながら、被検体へ負荷を与えるべき生体組織の領域を決め、被検体へ負荷（所定の作用）を付与する（ステップＳ２）。このステップＳ２における被検体へ負荷（所定の作用）は、ここではブドウ糖を散布するものとする。ブドウ糖を散布すると毛細血管を流れる血液量が増加して、血液中のヘモグロビンによって光がより多く吸収される。従って、絨毛内において毛細血管が集まっている部分が暗く観察されることになる。

例えば、ブドウ糖は、内視鏡２の処置具挿通チャンネルに所定の器具を挿通されて、挿入部の先端部から突出した器具の先端から被検体の表面に散布される。
なお、被検体へ負荷（所定の作用）はこれに限らず、上述したように、例えば、生理食塩水、ブドウ糖、液状の脂肪（脂肪乳剤等）等の、被検体に対する薬液の投与であってもよく、さらには、薬液の投与に限らず、静脈注射、体腔内への送気、または、物理的に処置具もしくは内視鏡自体を体内に接触させる等の作用であってもよい。

続いて制御部３１は、内視鏡２を引き続き被検体内に挿入したままの状態で、負荷を付与した後、内視鏡２から第２の画像IMG2を取得する（ステップＳ３）。制御部３１は、第１の画像IMG1の取得後、複数のフレームFLsの画像データの取得を所定時間Tの間連続的に行い、所定時間T経過したときのフレームFL2の画像の画像データを、第２の画像IMG2の画像データとして取得する。
なお、本実施の形態においては、前記作用の一例として被検体に対してブドウ糖を投与する場合は、所定時間Tは、当該作用後３分（１８０秒）程度の期間である。

そして、制御部３１は、さらに次の画像を取得するか否かを判定し（ステップＳ４）、取得すると判定した場合には、ステップＳ３へ戻って次の負荷後画像を取得する。すなわち、第１の画像IMG1の取得後、所定時間Tが経過するまで、次の画像の取得が行われ、所定時間Tが経過すると、所定時間T経過したときのフレームFL2の画像の画像データを、第２の画像IMG2の画像データとして取得し、処理は、ステップＳ５に移行する。

制御部３１はステップＳ４において、画像の取得が終了したと判定された場合には、ビデオプロセッサ３における信号生成部３３、画像処理部３４、分布特性値算出部３５、画像解析部３６等を制御して画像解析を行い（ステップＳ５）、画像解析が完了した後、当該処理を終了する。

ここで、被検体に負荷を付与した後の画像を内視鏡２より取得する際に、ステップＳ１で出射光量の情報を記録した場合は、出射光量の情報を参照して、ステップＳ１と同じ条件で画像を取得する。なお、ステップＳ１で記録した出射光量の情報を後に消去する機能を有していても良く、出射光量の情報の取得、出射光量の情報を用いた画像の取得、および出射光量の情報の消去は、例えば内視鏡２の操作部、この画像解析システムを制御するための制御パネルに設けたスイッチ、または内視鏡２を操作するためのフットスイッチ等の操作により実現するようにしてもよい。

以上のように、内視鏡システム１は、画像入力部３２に記憶されている複数の画像の画像データから、被検体へ負荷（所定の作用）を与える前後の画像データを抽出して、抽出した画像データに対して、所定の画像解析処理を実行する（ステップＳ５）。

よって、ユーザは、内視鏡観察をリアルタイムで行いながら、被検体へ負荷を与え、その負荷の前後における被検体の変化の状態を見ることができる。
＜画像解析の流れ＞
次に、ステップＳ５の画像解析処理の流れについて説明する。

図８は、第１の実施の形態に係る画像解析システムにおける画像解析装置であるビデオプロセッサ３による画像解析処理を示すフローチャートである。
制御部３１の制御下に当該処理が開始されると、画像入力部３２は、内視鏡２から経時的に取得してメモリ３２ａに記憶された被検体の画像データを、時系列順にソートする（ステップＳ１１）。

画像入力部３２に入力される画像データは、被検体へ負荷（所定の作用）を与える前の第１の画像IMG1から、被検体へ負荷を与えてから所定時間Tが経過するまでの間の複数のフレームの画像データである。

画像入力部３２は、広いハレーション等の領域を有する不適格画像なフレームが、ソートされた複数のフレームの画像データ中にあるか否かを判定する（ステップＳ１２）。画素値が０から２５５の範囲内の値であるとき、閾値を例えば２３０として、画素値が２３０以上である画素領域が、フレーム中で所定の割合以上を占めるとき、そのフレームは、不適格画像と判定される。すなわち、画像入力部３２は、ステップＳ１１でソートされた複数の画像の各々が、色成分値を抽出するのに適さない不適格画像であるか否かを判定する。例えば、輝度値が所定値以上である画素数が、１フレームの画像データ中に所定数以上存在すると、そのフレームの画像は、ハレーション領域が広いので、不適格画像の画像と判定される。不適格領域の例としては、ハレーションが生じている領域以外にも、例えば気泡が生じている領域、ピントがぼけている領域、などが挙げられる。

複数のフレームの画像データ中に、不適格画像が存在するとき（ステップＳ１２：ＹＥＳ）、画像入力部３２は、ステップＳ１１で得られた複数のフレームの画像データの中から、不適格画像と判定された１又は２以上のフレームの画像データを削除する（ステップＳ１３）。

なお、ここでは、画像入力部３２が、各フレームの各画素の画素値と、所定の閾値としての所定値とを比較して、各フレーム中にハレーション等の領域の広さが所定値以上であると、不適格画像の画像と判定するが、不適格画像の画像と判定をユーザに行わせるようにしてもよい。例えば、ハレーション等の領域が所定値以上の広さを有するフレームの画像を表示装置５の画面上に表示して、ユーザに、不適格画像の画像であるか否かを判定させ、フレーム単位で不適格画像を削除させるようにしてもよい。

図９は、時系列順にソートした被検体の画像の例を示す図である。
なお、図９の画像配列表示９１は、ソートされた画像の中の画像Ｐ０〜Ｐ８のみを、取得された時間の順序に示している。各画像の時間の取得タイミングは、画像取得時間表示９２に示されている。画像取得時間表示９２は、画像Ｐ１〜Ｐ８が、負荷の付与（本実施の形態においててはブドウ糖の散布）後のどの時間時点で取得されたかが、例えば、時間軸に沿って取得時間と共に示している。各画像Ｐ０〜Ｐ８と、取得タイミングとの対応関係が、画像配列順序表示９３に示されている。

よって、画像入力部３２において、負荷の付与直前の画像Ｐ０（第１の画像IMG1）から負荷の付与から所定時間Tが経過するまでの複数のフレームの画像データが取得されてメモリ３２ａに記憶され、ステップＳ１３において複数のフレームから不適格画像のフレームの削除が行われる。

なお、画像Ｐ０はブドウ糖散布前（例えば、ブドウ糖を散布する直前）に取得された第１の画像IMG1であるが、この図９では、便宜上、ブドウ糖散布の位置に表示している（ただし、時間軸をブドウ糖散布よりも前の時点まで延ばして、画像Ｐ０の取得時点を正確に示すようにしても勿論構わない）。

図８に戻り、画像入力部３２は、ステップＳ１２の後又はステップＳ１３の後、不適格画像のない複数のフレームの画像データの中から、画像解析の対象とする２枚の画像を選択して取得する画像選択を行い、信号生成部３３に出力する（ステップＳ１４）。 すなわち、画像入力部３２は、内視鏡２より取得された被検体の画像の中から、色成分値を抽出するのに適さない不適格要素を所定値以上含む画像を除いて、第１の画像IMG1及び第２の画像IMG2を選択する。

その２枚の画像は、第１の画像IMG1と、第１の画像IMG1の取得のタイミングから所定時間T経過時あるいは所定時間T経過前のタイミングにおける第２の画像IMG2である。

信号生成部３３は、その取得した各画像についての解析対象領域AAの設定を行う（ステップＳ１５）。信号生成部３３の補正前画像取得部５１は、画像解析の対象とする２枚の画像（第１の画像IMG1と第２の画像IMG2）を取得して、各画像についての解析対象領域の設定を行う。ステップＳ１５の処理が、第１の画像IMG1及び第２の画像IMG2のそれぞれに解析対象領域AAを設定する解析対象領域設定部を構成する。

図１０は、画像中の解析対象領域AAを説明するための図である。

解析対象領域AAは、色成分を正確に抽出する画素領域として、第１の画像IMG1と第２の画像IMG2中に予め設定される。解析対象領域AAの設定は、ユーザによって設定されてもよいし、内視鏡システム１に予め設定されていてもよい。

ここでは、解析対象領域AAは、内視鏡画像中のピントの合っている中央付近の矩形領域であり、画像の歪みも少ない領域である。ユーザが画像中に設定する場合は、ピントの合っている領域でかつ画像の歪みの少ない領域という選択条件に加えて、明るさのなるべく均一で、ハレーションがない、あるいは少ない領域であるいう条件も加重される。

なお、図１０では、第１の画像IMG1と第２の画像IMG2のそれぞれについて１つの解析対象領域AAが設定されているが、解析対象領域AAは、第１の画像IMG1と第２の画像IMG2の各々中に複数設定されるようにしてもよい。

信号生成部３３は、補正前画像BPから補正用画像CPの作成を行う（ステップＳ１６）。
補正前画像BPは、第１の画像IMG1と第２の画像IMG2であり、補正前画像取得部５１において取得される。補正データ生成部としての機能を有する信号生成部３３において、第１の画像IMG1と第２の画像IMG2の各々について補正用画像CPの作成が行われる。

構造化要素指定部５２が解析対象である第１の画像IMG1と第２の画像IMG2の各々に合わせた構造化要素を指定し、補正用画像作成部５３は、指定された構造化要素パラメータを用いて、第１の画像IMG1と第２の画像IMG2の各々について補正用画像CPを作成する。

具体的には、信号生成部３３は、補正データ生成部としての機能により、第１の画像IMG1と第２の画像IMG2から抽出した閉曲線で囲まれた領域を複数抽出して、抽出された各領域の内接円の平均サイズに基づいて、明るさ分布補正データとしての補正用画像CP1,CP2を作成する。

なお、解析対象領域AAが、第１の画像IMG1と第２の画像IMG2の各々中に複数設定されたときは、信号生成部３３は、補正データ生成部としての機能により、第１の画像IMG1及び第２の画像IMG2のそれぞれに設定された解析対象領域AA毎に、第１の明るさ分布補正データである補正用画像CP1及び第２の明るさ分布補正データである補正用画像CP2を作成する。

（構造化要素の指定処理）
まず、構造化要素指定部５２における構造化要素の指定処理について説明する。
図１１及び図１２は、構造化要素の指定処理の流れの例を示すフローチャートである。

構造化要素指定部５２は、上述したように、図５に示す構成を有する。エッジ検出部８１が、解析対象領域AAに対して、エッジ検出フィルタをかけることにより、エッジ成分を抽出してエッジを検出する（ステップＳ３１）。

次に、閉曲線エッジ検出部８２が、エッジ検出部８１により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する（ステップＳ３２）。
続いて、大きさフィルタ処理部８３が、閉曲線エッジ検出部８２により検出された閉曲線エッジの大きさ（例えば、閉曲線の最大径、平均径、あるいは閉曲線で囲まれる領域の面積など）を算出し、算出した大きさが、注目要素として取り得る範囲内（例えば、腸管の絨毛として取り得る大きさの範囲内）となる閉曲線エッジのみを選択する（ステップＳ３３）。

そして、二重閉曲線エッジ検出部８４が、大きさフィルタ処理部８３を通過した閉曲線エッジの中から、二重閉曲線エッジを全て検出する（ステップＳ３４）。
なお、二重閉曲線エッジを構成する内側閉曲線エッジおよび外側閉曲線エッジは、何れも、ステップＳ３３における大きさフィルタ処理部８３の処理を通過しているために、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである。

さらに、二重閉曲線エッジ特定部８５は、二重閉曲線エッジ検出部８４により検出された複数の二重閉曲線エッジの中から、１つを選択して（ステップＳ３５）、内側閉曲線エッジの内側の色、例えば各画素の色成分値の平均値が、注目要素の中心部に該当する第１の色範囲内であるか否かを判定する（ステップＳ３６）。

ここで、内側閉曲線エッジの内側の色が第１の色範囲外であると判定した場合には、ステップＳ３６で選択した二重閉曲線エッジを注目要素と同定することなく、処理は、ステップＳ３９に移行する。

内側閉曲線エッジの内側の色が第１の色範囲内であると判定した場合には（ステップＳ３６：ＹＥＳ）、二重閉曲線エッジ特定部８５は、さらに、選択した二重閉曲線エッジの、外側閉曲線エッジと内側閉曲線エッジとの間の色、例えば各画素の色成分値の平均値が、注目要素の周辺部に該当する第２の色範囲内であるか否かを判定する（ステップＳ３７）。

ここで、選択した二重閉曲線エッジの、外側閉曲線エッジと内側閉曲線エッジとの間の色が第２の色範囲内であると判定した場合には（ステップＳ３７：ＹＥＳ）、二重閉曲線エッジ特定部８５は、ステップＳ３５で選択した二重閉曲線エッジを注目要素として特定する。

ここで、外側閉曲線エッジと内側閉曲線エッジとの間の色が第２の色範囲外であると判定した場合には、ステップＳ３５で選択した二重閉曲線エッジを注目要素と同定することなく、処理は、ステップＳ３９に移行する。

ステップＳ３８の後、構造化要素指定制御部８９は、二重閉曲線エッジ検出部８４により検出された複数の二重閉曲線エッジの中に、ステップＳ３６〜Ｓ３８の処理を未だ行っていない未処理の二重閉曲線エッジが存在するか否かを判定し（ステップＳ３９）、存在する場合には、処理は、ステップＳ３５に戻り、次の二重閉曲線エッジに対してステップＳ３５の処理を行う。

こうして、ステップＳ３９において、全ての二重閉曲線エッジに対してステップＳ３５以降の処理が行われたと判定された場合には（ステップＳ３９：ＮＯ）、解析対象特定部８６は、ステップＳ３８で特定された一又は２以上の二重閉曲線のエッジの内側閉曲線を、解析対象として特定する（ステップＳ４０）。
内接円描画部８７は、各解析対象に内接する円を描画する（ステップＳ４１）。

内接円平均サイズ算出部８８は、ステップＳ４１で描画された全ての内接円の平均サイズ、ここでは直径の平均値を算出する（ステップＳ４２）。
ステップＳ４２で算出された平均サイズに相当する値を、構造化要素パラメータとして設定する（ステップＳ４３）。

図１３及び図１４を用いて、具体的な構造化要素パラメータの意義を説明する。
図１３は、被検体の内視鏡画像および注目要素の１つを拡大して示す図である。図１４は、注目要素である腸管の繊毛の構造を示す図である。

例えば、図１３に示すような第１の画像IMG1及び第２の画像IMG2において、ステップＳ３５では、二重閉曲線エッジが注目要素として特定されるが、１つの二重閉曲線は、腸管の１つの絨毛に対応する。

図１４に示すように、腸管の絨毛は、中心部にある中心リンパ管CLの周りの部位に毛細血管BCが分布し、その外側に粘膜上皮ＭＥが形成されて絨毛の表面を構成する構造を有している。

このような腸管の絨毛を、血液中のヘモグロビンに吸収され易い狭帯域化された波長の光を用いたＮＢＩにより拡大観察すると、毛細血管BCの部分が粘膜上皮ＭＥとは異なる色として観察される。

こうした絨毛を上から撮像した画像部分を観察すると、粘膜上皮ＭＥの画像部分が環状の周辺部ＯＢＪｐとして観察され、粘膜上皮ＭＥに囲まれる毛細血管BCの画像部分が粘膜上皮ＭＥと色が異なる中心部ＯＢＪｃとして観察される。よって、上述したように、中心部ＯＢＪｃと周辺部ＯＢＪｐとの色の違いを利用して、注目要素ＯＢＪが決定される。

そして、上述したステップＳ４０では、各二重閉曲線のエッジの内側閉曲線が解析対象とされ、ステップＳ４１では、各内側閉曲線に内接する円が描画される。図１３において、二点鎖線で示す円が、ステップＳ４１で描画された内側閉曲線の内接円ICである。例えば、小腸絨毛の毛細血管BCに対応する中心部ＯＢＪｃの画像の形状が楕円形であれば、内接円ICの直径は、その楕円の短軸の長さとなる。

さらに、ステップＳ４２では、全ての内接円ICの平均サイズが算出され、ステップＳ４３では、算出された平均サイズが構造化要素パラメータとして設定される。すなわち、構造化要素パラメータは、解析対象の大きさに応じた値である。

なお、ここでは、構造化要素指定部５２が解析対象である第１の画像IMG1と第２の画像IMG2の各々に基づいて、構造化要素パラメータを決定しているが、図２において点線で示すように、予め設定された値PPを構造化要素パラメータとして設定するようにしてもよい。

例えば、ユーザが、小腸絨毛の拡大観察において使用する値PPを予め指定することによって、構造化要素パラメータとして設定するようにしてもよい。また、被写体と、挿入部の先端部との距離に応じて、小腸絨毛の大きさが変化するので、距離に応じて複数の値PPを予め用意しておき、ユーザは、画像解析するときに距離に応じた値を選択するようにしてもよい。

以上のようにして得られた構造化要素は、解析対象である小腸の絨毛の色変化を検出するために最適なパラメータ値である。ここでは、構造化要素は、解析対象となる内側閉曲線の内接円ICの直径の平均値を越えない値に設定される。

さらに、ここでは、解析対象の画像から構造化要素パラメータを算出して求めるようにしているので、内視鏡２の挿入部の先端部と被写体間の距離が変化しても、色変化を検出する画像について構造化要素がリアルタイムで決定される。

なお、ここでは、構造化要素は、注目画素を中心とする複数の画素を含む円形形状を有しているが、構造化要素を規定する範囲の形状は、円以外の形状でもよく、解析対象に応じて変更してもよい。

（補正用画像の作成処理）
次に、補正用画像作成部５３における補正用画像の作成処理について説明する。

図８のステップ１６では、構造化要素指定部５２において指定された構造化要素パラメータを用いて、補正用画像CPが作成される。
補正用画像作成部５３は、第１の画像IMG1の補正前画像BP1と第２の画像IMG2の補正前画像BP2のそれぞれについて、以下に説明する画像処理を実行することによって補正用画像CPを作成する。

図１５は、内視鏡画像の例を示す図である。図１６は、図１５に示す内視鏡画像の解析対象領域AA内の二点鎖線で示すラインL上の画素群の輝度分布を示すグラフである。図１６には、内視鏡画像のラインL上の画素x1からxnの範囲の画素群の輝度分布が示されている。

図１５に示す内視鏡画像は、左下部分から右上部分に向かって明るさが低下するような明るさ分布を有している。従って、図１６に示すように、ラインLの画素群の輝度値は、左側が高く右側が低くなっている。

このような照明の配光特性、又は観察光学系の光軸に対する被写体表面の傾き等による画像の明るさ分布を有する内視鏡画像の色成分から被検体の変化を検出すると、各画素の輝度値は、明るさ分布の影響を受けるため、被検体の変化を正確に検出することが困難である。

例えば、内視鏡画像の色成分の輝度値の標準偏差又は分散などの値に基づいて被検体の変化を検出する場合、内視鏡画像が照明の配光特性等の影響によって画像の明るさ分布が変化してしまうため、その変化を正確に検出することは困難である。

そこで、本実施の形態では、補正前画像BPに対して所定の画像処理を行って補正し、補正後画像APを生成し、その補正後画像APの色成分から被検体の変化を検出する。
図１７は、構造化要素を説明するための図である。図１７は、構造化要素パラメータとしての、補正前画像BPに対して行う画像処理に用いられる輝度情報取得範囲を示す。

図１７において、点線で示す範囲内の画素が、注目画素PIについて、後述する収縮演算及び膨張演算を用いた画像処理が行われるときの構造要素となる。図１７において、１で示す画素が、構造化要素の画素である。

ここでは、構造要素パラメータは、注目画素PIを中心とする、直径Rの円の領域内の画素群であり、注目画素について輝度情報を取得する範囲を規定する。直径Rは、上述した解析対象となる内側閉曲線の内接円ICの直径の平均値である。なお、図１７では、二点鎖線で示す円内の画素群が構造化要素である。１で示す画素群が、注目画素について輝度情報を取得する範囲の画素である。すなわち、構造化要素は、後述する所定の演算が行われるときの、注目画素PIについての輝度情報が取得される範囲を示す。

構造化要素指定部５２は、その直径Rに対応する画素群の情報を、構造化要素パラメータとして、補正用画像作成部５３に出力する。
補正用画像作成部５３は、補正前画像BPの解析対象領域AA内の左端の画素から右端に向かってかつ最上辺のラインから最下辺のラインに向かって、左上の画素から右下について所定の演算処理を実行する。ここでは、所定の演算処理は、オープニング処理である。オープニング処理は、ある回数例えば３回の収縮処理を実行後、収縮処理と同じ回数の膨張演算を実行する処理を含む。

図１８は、補正用画像CPを作成する処理の流れの例を示すフローチャートである。画像処理部３４は、補正前画像BPに対して収縮演算処理を所定回数実行し（ステップＳ５１）、その後、収縮演算処理が行われた画像に対して、膨張演算処理を所定回数実行する（ステップＳ５２）。

収縮演算処理は、注目画素を含む構造化要素内の複数の画素の画素値の最小値を、注目画素の画素値とする演算処理である。膨張演算処理は、注目画素を含む構造化要素内の複数の画素の画素値の最大値を、注目画素の画素値とする演算処理である。

なお、注目画素PIが補正前画像BPの周辺領域にあるとき、直径Rの円の領域内には、存在しない画素が含まれるが、そのような場合は、存在する画素のみで演算を行う、存在しない画素を直径Rの円の領域内の平均輝度値に置き換える、等の処理を行うことによって、収縮演算及び膨張演算が行われる。

以上のように、補正用画像作成部５３は、例えば、補正前画像BPの左端の画素から右端に向かってかつ最上辺のラインから最下辺のラインに向かって、構造化要素指定部５２において算出された構造化要素を用いて、各画素について収縮演算を実行し、その後、同様の収縮演算を２回実行する。その後、同様の順番で、構造化要素指定部５２において算出された構造化要素を用いて、各画素について膨張演算を実行し、その後、同様の膨張演算を２回実行する。すなわち、補正用画像作成部５３は、３回の収縮演算の後、左上から右下の各画素について膨張演算を１回実行し、その後、さらに２回実行する。

オープニング処理で用いられる構造化要素は、構造化要素指定部５２において算出された、観察対象である小腸絨毛に対応する二重閉曲線のエッジの内側閉曲線の平均サイズである。

以上の処理を実行することにより、補正用画像CPが生成される。
なお、ここでは、補正用画像作成部５３は、所定の演算処理として、オープニング処理を用いて、補正用画像CPを作成しているが、クロージング処理を用いて、補正用画像CPを作成してもよい。

クロージング処理は、１回以上の膨張演算の後に、膨張演算と同じ回数の収縮演算を行う処理である。
なお、上述したオープニング処理などにおいては、注目画素を含む構造化要素内の複数の画素内におけるハレーション要素である画素を除いて、膨張演算及び収縮演算を行うようにしてもよい。

図１９は、生成された補正用画像CP内の画素群の輝度分布を示すグラフである。図１９は、図１５に示した内視鏡画像の解析対象領域AA内のラインL上の画素群の輝度分布を示す。補正用画像CPは、左から右に向かって明るさが低下するような明るさ分布を有している。従って、図１９に示すように、ラインLの画素群の輝度値は、左側が高く右側が低くなっている。

図８に戻り、画像処理部３４の補正前画像入力部６１は、補正前画像BPを入力し、補正用画像入力部６２は、信号生成部３３（補正データ生成部）において作成された補正用画像CPを入力し、画像差分抽出部６３は、解析対象領域AAにおける補正前画像BPと補正用画像CPの差分画像を抽出する（ステップＳ１７）。

ステップＳ１６では、第１の画像IMG1の補正用画像CP1と、第２の画像IMG2の補正用画像CP2とが作成される。ステップＳ１７では、第１の画像IMG1と第２の画像IMG2のそれぞれについて、補正前画像BP1内の各画素と、補正用画像CP1内の対応する画素との差分と、補正前画像BP2内の各画素と、補正用画像CP2内の対応する画素との差分とを取ることによって、差分画像を抽出して、補正後画像AP1,AP2が作成される。

図２０は、生成された補正後画像AP内の画素群の輝度分布を示すグラフである。図２０は、図１５に示した内視鏡画像の解析対象領域AA内のラインL上の画素群の輝度分布を示す。補正後画像APは、図１６の場合と比較して照明光の配光特性等による輝度ムラを抑制した画像となっている。

分布特性値算出部３５における色成分値抽出部７１が、補正後画像AP1と補正後画像AP2のそれぞれの各画素の色成分値、例えば、Ｒ成分値、Ｇ成分値、およびＢ成分値を抽出する（ステップＳ１８）。

すなわち、色成分値抽出部７１は、補正後画像AP1を構成する各画素の各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）と、補正後画像AP2を構成する各画素の各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）とを抽出する。

この後、分布特性値算出部３５の合算輝度値算出部７２において、色成分値抽出部７１において抽出した補正後画像AP1に係る前記各色成分値の合算輝度値（第１の合算輝度値）と、補正後画像AP2に係る前記各色成分値の合算輝度値（第２の合算輝度値）とが算出される。

そして、分布特性値算出部３５の輝度値分布特性値算出部７３が、合算輝度値算出部７２において算出したそれぞれの合算輝度値、すなわち第１の合算輝度値および第２の合算輝度値に係るそれぞれの分布特性値、すなわち第１の分布特性値および第２の分布特性値を算出して抽出する（ステップＳ１９）。

なお、上述したように本実施の形態においては、「分布特性値」は、解析対象領域AA内の複数の複数の画素値分布の標準偏差または分散として求められる。すなわち、分布特性値算出部３５は、第１の処理画像である補正後画像AP1における解析対象領域AAの色成分を抽出して第１の分布特性値を求めるとともに、第２の処理画像である補正後画像AP2における解析対象領域AAの色成分を抽出して第２の分布特性値を求める。

図２１は、被検体に所定の負荷（所定の作用）を与える前の補正後画像AP1における輝度値のヒストグラムである。図２２は、被検体に所定の負荷（所定の作用）を与えた後の補正後画像AP2における輝度値のヒストグラムである。

図２１及び図２２は、縦軸に、補正後画像AP1及び補正後画像AP2のそれぞれの対象領域における輝度値を、横軸に、当該輝度値に対応するピクセル数を示したヒストグラムである。負荷を与える前の図２１よりも負荷を与えた後の図２２の方が、輝度値の標準偏差が大きい、つまり分布特性値の変化量が大きいことを示している。

次に、画像解析部３６は、負荷前画像に対する負荷後画像の変化の度合いとして、前記輝度値分布特性値算出部７３において算出した分布特性値の変化量を、例えば次のように算出する（ステップＳ２０）。

すなわち、前記輝度値分布特性値算出部７３において算出した、第１の画像IMG1（負荷前画像）の補正後画像AP1に係る前記第１の分布特性値を＜１＞、また、第２の画像IMG2（負荷後画像）の補正後画像AP2に係る前記第２の分布特性値を＜２＞とすると、画像解析部３６は、前記変化量を、前記第１の分布特性値と第２の分布特性値との差分の絶対値として次の数式１に示すように算出する。

［数１］
変化量＝＜２＞−＜１＞
ステップＳ２０において得られる負荷前画像に対する負荷後画像の分布特性値の変化量は、照明の配光特性等による画像の明るさ分布を含まない。

画像解析部３６は、第１の画像IMG1の補正後画像AP1と、第２の画像IMG2の補正後画像AP2内に、ハレーション等の不適格要素があるか否かを判定する（ステップＳ２１）。画素値が０から２５５の範囲内の値であるとき、差分画像である補正後画像APでは、閾値を例えば１００として、画素値が１００以上である画素は、不適格画素と判定される。

画像解析部３６は、第１の画像IMG1と第２の画像IMG2のそれぞれの補正後画像AP1とAP2の少なくとも１つの中に、ハレーション等の不適格要素すなわち不適格画素があれば、補正後画像AP1と補正後画像AP2から不適格画素を除外して（ステップＳ２２）、不適格画素を除いた画素群についてステップＳ１９及びＳ２０の処理を実行する。すなわち、分布特性値算出部３５は、補正後画像AP1と補正後画像AP2において色成分値を抽出するのに適さない不適格要素を除外して第１及び第２の分布特性値を抽出する。

なお、ステップＳ２２の後に、ステップＳ１８にて再度解析対象領域の色成分抽出を行い、その抽出した色成分を基に、そのＳ１９及びＳ２０の処理を実行してもよい。

なお、ステップＳ２０の処理においては不適格要素があると判定された場合、補正後画像AP1と補正後画像AP2の少なくとも１つ中に不適格要素があることを告知するメッセージ等を表示装置５に表示し、ユーザに、ステップＳ２２の処理を実行するか否かをユーザに選択させるようにしてもよい。

ハレーション等の不適格要素のない画素群についてステップＳ１９及びＳ２０の処理を実行した後、表示装置５に表示する画像を生成する表示画像生成処理を実行する（ステップＳ２３）。表示画像生成処理は、図２３に示すような画像を生成する処理であり、所定の実行周期であるｔ秒周期、例えば１秒周期で、ステップＳ１１〜Ｓ２２の処理において使用されたフレームの画像データに基づいて、表示する画像を生成して表示装置５に表示する画像を更新する。

ステップＳ２３の後、ビデオプロセッサ３による判定又はユーザの判断により、画像等の情報の表示を継続するか否かを決定し（ステップＳ２４）、継続する場合には、処理は、ステップＳ１１の前に戻り、上記の処理を再び行う。

図２３は、表示装置５に表示される拡大観察中における被検体の色成分の変化を示すユーザインターフェースの例を示す図である。
ユーザは、内視鏡検査中、所定の表示モードにすると、表示装置５の表示画面５ａ上には、図２３に示すような色変化表示モード画面が表示される。表示画面５ａに表示される色変化表示モード画面には、ライブ画像表示部Ｇ１と、標準偏差グラフ表示部Ｇ２と、ライブ画像における輝度値の分布を示す輝度分布表示部Ｇ３と、第１の画像IMG1の補正前画像BP1又は補正後画像AP1が表示される表示部分Ｇ４とが表示される。

ライブ画像表示部Ｇ１は、内視鏡２から得られる内視鏡画像のライブ画像が表示される領域である。すなわち、ライブ画像表示部Ｇ１には、リアルタイムの内視鏡画像が表示される。

標準偏差グラフ表示部Ｇ２は、内視鏡画像の時間経過ｔに沿った、解析対象領域AA内の複数の画素の画素値の標準偏差の変化を示す領域である。標準偏差グラフ表示部Ｇ２における標準偏差は、上述した図８のステップＳ１９の処理タイミングを含む複数のタイミングで、例えば略１秒毎のタイミングで、サンプリングされた解析対象領域AA内の複数の画素の各色成分値の合算値に係る輝度値の標準偏差である。ここでは、現時点Tcから過去の所定の期間の標準偏差が表示されている。画像解析部３６において算出された分布特性値である標準偏差は、ブドウ糖散布前の標準偏差を基準線とした示した場合、ブドウ糖散布後基準線より大きくなり、その後小さくなるように変化するので、標準偏差グラフ表示部Ｇ２には、現時点Tcまでの変化の様子が示されている。

輝度分布表示部Ｇ３は、ライブ画像表示部Ｇ１に表示されるライブ画像の輝度値分布、標準偏差が、リアルタイムで表示される。輝度分布表示部Ｇ３における輝度値分布も、上述した図８のステップＳ１９の処理タイミングを含む複数のタイミングで、サンプリングされた補正後画像APに係る各色成分値の合算値の輝度値に基づいて決定される。図２１に示したように、ブドウ糖散布前の画像は解析領域内の色の濃淡の差が小さいのに対して、図２２に示したように、散布後の画像は薬液散布により絨毛内の血流量の増加が生じることから、解析領域内に含まれる絨毛内で色の濃淡の差が大きくなる。標準偏差の表示は、色成分ごとにモード切替も可能なため、観察対象に合わせて最適なモードを選択してもよい。輝度分布表示部Ｇ３は、このような輝度値分布の様子をリアルタイムで表示する。

なお、ライブ画像表示部Ｇ１も、上述した図８のステップＳ１９の処理タイミングを含む複数のタイミングで、例えば略１秒毎のタイミングで、サンプリングされた第１の画像IMG1の補正前画像BP1または補正後画像AP1を表示部分Ｇ４に表示するようにしてもよい。

さらになお、標準偏差グラフ表示部Ｇ２及び輝度分布表示部Ｇ３も、リアルタイムで得られた内視鏡画像に基づいて、解析対象領域AA内の複数の画素の標準偏差の算出及び輝度値の抽出を行って、表示するようにしてもよい。

このような色変化表示モード画面によれば、ユーザは、被検体の色成分の変化の検出を、標準偏差の推移、輝度分布の状態を確認しながら、行うことができる。
以上のように、上述した実施の形態によれば、照明の配光特性、あるいは挿入部の先端部から観察対象までの距離等による画像の明るさ分布の影響を有しない画像を用いて、被検体の色成分の変化を検出することできる。

特に、被検体が固定されていないような場合、あるいは拡大観察モード時のように被検体と挿入部の先端部間の距離変化し易い場合であっても、照明の配光特性等による画像の明るさ分布の影響を有しない画像を用いて、被検体の色成分の変化を検出することできる。

また、補正用画像CPは、解析対象に合わせた構造化要素を用いて作成されるので、被検体（例えば、小腸絨毛）内の輝度の特徴を残しつつ、照明光の配光特性等による画像の明るさ分布の影響を除去した補正後画像APが得られ、結果として、経時的に取得された被検体画像の色成分を正確に抽出することができる。

なお、上述した例では、構造化要素は画像に基づいてリアルタイムで決定しているが、ユーザが画像を見て、挿入部の先端部から被写体までの距離を入力あるいは選択することによって、距離に応じた構造化要素が用いられるようにしてもよい。

次に、上述した実施の形態の変形例について説明する。

（変形例１ａ）
上述した実施の形態では、補正前画像取得部５１は、内視鏡２で得られた画像を補正前画像BPとして取得し、補正前画像BPは、構造化要素指定部５２と補正用画像作成部５３へそのまま供給されている。これに対して、本変形例１の信号生成部３３は、内視鏡２で得られた画像を補正前画像BPに対して、シミュレーションにより得られたあるいは実機で得られた配光特性による輝度ムラを補正し、補正された補正前画像BPPを、構造化要素指定部５２と補正用画像作成部５３へ供給するように構成されている。

以下、変形例１ａに関わる構成のみについて説明する。
図２４は、本変形例１ａに関わる信号生成部３３Aのブロック図である。補正前画像取得部５１において取得された補正前画像BPは、配光特性による輝度ムラを補正する輝度ムラ補正部５１Aに入力される。輝度ムラ補正部５１Aには、輝度ムラデータBUと、補正前画像取得部５１からの補正前画像BPが入力され、補正前画像BPは、輝度ムラデータBUに基づいて、照明光の配光特性による輝度ムラを抑制するように補正され、輝度ムラのない補正前画像BPPが生成される。

輝度ムラ補正部５１Aは、画像入力部３２に入力された第１の画像IMG1と第２の画像IMG2に対して、シミュレーション又は実測により得られた照明光の配光特性による輝度ムラをなくすための補正を行う処理部である。

図２５は、輝度ムラのない補正前画像BPPの生成処理を説明するための図である。図２５に示すように、補正前画像BPは、元々配光特性による輝度ムラを有している。図２５では、補正前画像BPは、右上が暗くなるような輝度ムラを有している。輝度ムラ補正部５１Aは、輝度ムラデータBUを用いて、輝度ムラが無くなるように補正前画像BPを補正して、輝度ムラのない補正前画像BPPを生成する。すなわち、信号生成部３３Aは、補正データ生成部としての機能により、輝度ムラ補正部５１Aにより輝度ムラが補正された第１の画像IMG1及び第２の画像IMG2を用いて、第１及び第２の明るさ分布補正データである補正用画像CP1,CP2を作成する。

輝度ムラデータBUは、内視鏡２の挿入部の先端部の照明光学系を通る光の配光シミュレーションにより得られるデータでもよいし、内視鏡２の照明光の配光分布を実際に測定して得られたデータでもよい。

輝度ムラは、被写体と、挿入部の先端部との間の距離に応じて変化するので、その距離毎の輝度ムラデータBUが、シミュレーション演算あるいは実測により設定される。
輝度ムラデータBUは、シミュレーション演算においては、距離毎のシミュレーションにより生成することができる。

輝度ムラデータBUは、実測の場合は、例えばホワイトバランスキャップを内視鏡２の挿入部の先端部あるいは先端部の近傍に配置して、距離毎に撮像して得られた内視鏡画像から生成することができる。

ユーザは、内視鏡画像を見ながら、被写体（例えば小腸絨毛）の大きさに応じて、すなわち被写体の画像を見て推定した挿入部の先端部から被写体までの距離に応じて、使用する輝度ムラデータBUを選択あるいは指定する。
その結果、輝度ムラ補正部５１Aは、選択された輝度ムラデータBUにより、補正前画像BPが元々有する明るさ分布を除去して、輝度ムラのない補正前画像BPPを出力する。

本変形例１ａによれば、輝度ムラのない補正前画像BPPが、構造化要素指定部及び補正用画像作成部５３に供給されるので、被検体の色成分の変化をより正確に検出することができる。

（変形例１ｂ）
上述した実施の形態では、解析対象領域AAは、内視鏡２で得られた画像内に１つあるいは複数設定されている。これに対して、本変形例１ｂでは、内視鏡２で得られた画像中から抽出された複数の二重閉曲線エッジの内の複数の内側閉曲線エッジ内領域が解析対象領域AAsとして設定される。

すなわち、各二重閉曲線エッジの内の内側閉曲線エッジ内の領域すなわち中心部は、上述した二重閉曲線エッジ特定部８５によって抽出可能である、よって、その二重閉曲線エッジ特定部８５によって特定された複数の内側閉曲線エッジ内領域が、色成分を正確に抽出する領域である解析対象領域AAsとして抽出される。

解析対象領域設定部を構成するステップＳ１５において、第１及び第２の処理画像においてそれぞれ閉曲線で囲まれた複数の領域を抽出し、各領域から環状の周辺部に囲まれその周辺部と色が異なる中心部を所定数抽出して、複数の中心部を解析対象領域AAsとして定める。

信号生成部３３は、補正データ生成部としての機能により、補正前画像BP中の複数の内側閉曲線エッジ内領域に対して上述した処理を行って補正用画像CPを作成する。画像処理部３４は、補正前画像BPと補正用画像CPとの差分から補正後画像APを生成する。

補正後画像APの分布特性値は、解析対象領域AA内に含まれる複数の内側閉曲線エッジ内領域全体の分布特性値でもよいし、各内側閉曲線エッジ内領域の分布特性値の平均値でもよい。

本変形例１ｂによっても、照明の配光特性等による画像の明るさ分布の影響を有しない画像を用いて、被検体の色成分の変化を検出することできる。

＜第２の実施の形態＞
第１の実施の形態は、補正前画像BPから構造化要素を用いたオープニング処理などの画像処理を行うことによって、補正用画像CPを作成しているが、本実施の形態は、補正前画像BP上のサンプリング点における複数の画素値に基づいて、補正用画像CPを作成している。

本実施の形態の内視鏡システムは、第１の実施の形態の内視鏡システムと略同じ構成を有しているので、同じ構成要素については、同じ符号を用いて、異なる構成要素のみを説明する。

本実施の形態の内視鏡システムは、第１の実施の形態の内視鏡システム１の信号生成部の構成のみが異なっている。
図２６は、信号生成部３３Bのブロック図である。信号生成部３３Bは、補正前画像取得部５１と、輝度情報取得部５２Aと、補正用画像作成部５３A（補正データ生成部）を含んでいる。補正前画像取得部５１において取得された補正前画像BPは、輝度情報取得部５２Aに入力され、輝度情報取得部５２Aは、指定された複数の点SPの輝度情報を取得する。

図２７は、補正前画像BPにおいて指定された３点を説明するための図である。図２７は、輝度情報を取得する複数の点SPとして、３点SP1,SP2,SP3が指定された場合を示す。複数の点SPは、ユーザが画面上で指定してもよいし、解析対象領域AA内で予め設定された点でもよい。

信号生成部３３Bの補正用画像作成部５３Aは、指定された３点SP1,SP2,SP3の輝度値により決定される平面を算出し、算出された平面の傾きの方向と大きさに応じた補正用平面、すなわち補正用画像CPを生成する。すなわち、補正用画像作成部５３Aで作成される補正用画像CPは、３点SP1,SP2,SP3の輝度値により決定される平面の傾きによって輝度分布を規定する画像である。

信号生成部３３Bは、第１の画像IMG1及び第２の画像IMG2中のそれぞれ複数の点における明るさの差に基づいて記第１及び前記第２の明るさ分布補正データ（CP1,CP2）を作成する。

補正用画像作成部５３Aは、第１の画像IMG1の明るさに全体的な傾きがある明るさ分布を補正して第１の画像IMG1を構成する色成分への光学的な影響を抑制するための第１の明るさ分布補正データである補正用画像CP1を、第１の画像IMG1の３点SP1,SP2,SP3の輝度値を用いて作成するとともに、第２の画像IMG2の明るさに全体的な傾きがある明るさ分布を補正して第２の画像IMG2を構成する色成分への光学的な影響を抑制するための第２の明るさ分布補正データである補正用画像CP2を、第２の画像IMG2の３点SP1’,SP2’,SP3’の輝度値を用いて作成する。

画像処理部３４は、補正用画像作成部５３Aで作成される補正用画像CPを用いて、第１の画像IMG1及び第２の画像IMG2のそれぞれの補正前画像BP1とBP2から、補正後画像AP1,AP2を作成する。

よって、本第２の実施の形態によっても、照明の配光特性等による画像の明るさ分布の影響を有しない画像を用いて、被検体の色成分の変化を検出することできる。
次に、第１及び第２の実施の形態に適用可能な変形例について説明する。

（変形例１）
上述した第１及び第２の実施の形態及び各変形例では、２つの狭帯域光、具体的には４１５ｎｍ及び５４０ｎｍの波長帯域以外の狭帯域光を用いた観察モードにおいて被検体の画像の色成分の検出を行っているが、上述した第１及び第２の実施の形態及び各変形例は、これらの２つの波長帯域以外の狭帯域光を用いた観察モードにおいて得られる被検体の画像の色成分の検出にも適用可能である。

さらに、ＮＢＩモードではなく、白色光による通常光観察モードで得られた内視鏡画像から被検体の変化を検出する場合にも、上述した各実施の形態及び各変形例は適用可である。

さらに、蛍光観察、赤外光観察などの他の特殊光観察において得られた被検体の画像の色成分の変化の検出にも、上述した各実施の形態及び各変形例は適用可能である。

（変形例２）
上述した第１及び第２の実施の形態及び各変形例では、被検体の拡大観察モード時に被検体の画像の色成分の変化の検出が行われているが、上述した各実施の形態及び各変形例は、被検体の拡大観察モード以外のモード、すなわち通常観察モードにおいても、適用可能である。

（変形例３）
上述した第１及び第２の実施の形態及び各変形例では、画像の色成分として、RGBの合算値を用いているが、RGBの個々の色成分を用いて、色成分毎の分布特性値を算出して、各分布特性値の変化を検出するようにしてもよい。

（変形例４）
上述した第１及び第２の実施の形態及び各変形例では、内視鏡観察を行っているときに所望の観察部位に対して所定の負荷を与え、その負荷（作用）を与える前後にまたがって得られた第１の画像IMG1と第２の画像IMG2に対して、照明の配光特性等による画像の明るさの偏りの影響を抑制して、被検体の画像について変化の度合いの検出を行っているが、内視鏡観察を行ったときの画像を記憶装置に記録しておき、検査後に、その記録された画像から選択された第１の画像IMG1と第２の画像IMG2に対して、上述した被検体の画像の色成分の検出を行うようにしてもよい。言い換えれば、被検体の画像の色成分の検出を、いわゆるオンラインで被検体の検査中にリアルタイムで行ってもよいし、検査後にオフラインで行ってもよい。

よって、上述した各実施の形態及び各変形例によっても、照明の配光特性等による画像の明るさ分布の影響を有しない画像を用いて、被検体の色成分の変化を検出することできる。
すなわち、ユーザが、被検体内の観察中に、所望の観察部位に対して所定の負荷を与えながら、検査中の画像を連続的に取得してハードディスク装置などの記憶装置に記録して、一旦検査を終了させ、検査後に、所謂オフラインで記憶装置に記録された画像に対して、上述した画像処理を行うようにしてもよい。

以上のように、上述した各実施の形態及び各変形例によれば、照明光の配光特性等による内視鏡画像における明るさの偏りの影響を抑制して、経時的に取得された被検体の画像について変化の度合いを正確に抽出することができる画像解析装置、画像解析システム、及び画像解析装置の作動方法を提供することができる。

本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウエアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、以下、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウエアにより実現してもよい。

なお、以上説明した動作を実行するプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬媒体や、ハードディスク等の記憶媒体に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の画像処理装置等を実現することができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１６年１月１５日に日本国に出願された特願２０１５−６１９７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (16)

1. 第１のタイミングで内視鏡により取得された被検体の第１の画像と、前記第１のタイミング以後の第２のタイミングで前記内視鏡により取得された前記被検体の第２の画像とを受信し、受信した前記第１の画像の明るさ分布の傾きを補正するための第１の明るさ分布補正データを、前記第１の画像を用いて作成するとともに、前記第２の画像の明るさ分布の傾きを補正するための第２の明るさ分布補正データを、前記第２の画像を用いて作成する補正データ生成部と、
   前記第１の明るさ分布補正データを前記第１の画像に作用させた第１の処理画像と、前記第２の明るさ分布補正データを前記第２の画像に作用させた第２の処理画像とを生成する画像処理部と、
   前記第１の処理画像と前記第２の処理画像の変化の度合いを解析する画像解析部と、
   を備え、
   前記補正データ生成部は、前記第１及び前記第２の画像から抽出した閉曲線で囲まれた領域を抽出して、抽出された各領域のサイズに基づいて、前記第１及び前記第２の明るさ分布補正データを生成することを特徴とする画像解析装置。
2. 前記補正データ生成部は、前記第１及び前記第２の画像から抽出した閉曲線で囲まれた領域を抽出して、抽出された前記各領域の内接円の平均サイズに基づいて、前記第１及び前記第２の明るさ分布補正データを生成することを特徴とする請求項１に記載の画像解析装置。
3. 前記第１の処理画像における色成分を抽出して第１の分布特性値を求めるとともに、前記第２の処理画像における色成分を抽出して第２の分布特性値を求める分布特性値算出部を有することを特徴とする請求項１に記載の画像解析装置。
4. 前記第１の画像及び前記第２の画像のそれぞれに解析対象領域を設定する解析対象領域設定部を更に有し、
   前記分布特性値算出部は、前記第１の処理画像における前記解析対象領域の色成分を抽出して前記第１の分布特性値を求めるとともに、前記第２の処理画像における前記解析対象領域の色成分を抽出して前記第２の分布特性値を求めることを特徴とする請求項３に記載の画像解析装置。
5. 前記解析対象領域設定部は、前記第１及び前記第２の画像のそれぞれに、前記解析対象領域を複数設定し、
   前記補正データ生成部は、前記第１の画像及び前記第２の画像のそれぞれに設定された前記解析対象領域毎に、前記第１の明るさ分布補正データ及び前記第２の明るさ分布補正データを作成することを特徴とする請求項４に記載の画像解析装置。
6. 前記第１の画像と前記第２の画像に対して、シミュレーション又は実測により得られた照明光の配光特性による輝度ムラをなくすための補正を行う輝度ムラ補正部を有し、
   前記補正データ生成部は、前記輝度ムラ補正部により前記輝度ムラが補正された前記第１の画像及び前記第２の画像を用いて、前記第１及び前記第２の明るさ分布補正データを作成することを特徴とする請求項１に記載の画像解析装置。
7. 前記補正データ生成部は、前記第１及び前記第２の画像中のそれぞれ複数の点における明るさの差に基づいて前記第１及び前記第２の明るさ分布補正データを作成することを特徴とする請求項１に記載の画像解析装置。
8. 前記第１及び前記第２の分布特性値は、それぞれ前記第１及び前記第２の処理画像の色成分の輝度分布の標準偏差または分散であることを特徴とする請求項３に記載の画像解析装置。
9. 前記解析対象領域設定部は、前記第１及び前記第２の処理画像においてそれぞれ閉曲線で囲まれた複数の領域を抽出し、該各領域から環状の周辺部に囲まれ該周辺部と色が異なる中心部を所定数抽出して、複数の前記中心部を前記解析対象領域として定めることを特徴とする請求項４に記載の画像解析装置。
10. 前記分布特性値算出部は、前記第１及び前記第２の処理画像において色成分値を抽出するのに適さない不適格要素を除外して前記第１及び前記第２の分布特性値を抽出することを特徴とする請求項３に記載の画像解析装置。
11. 前記画像解析部は、前記内視鏡より取得された前記被検体の画像の中から、色成分値を抽出するのに適さない不適格要素を所定値以上含む画像を除いて、前記第１の画像と前記第２の画像を入力することを特徴とする請求項１に記載の画像解析装置。
12. 前記内視鏡の先端の同じ面に、前記被検体の像を取得する被検体像取得部と前記被検体を照明する照明窓が配置されることを特徴とする請求項１に記載の画像解析装置。
13. 前記第１及び前記第２の画像は、白色光より狭い所定の波長帯域の照明光で前記被検体を照明した際の反射光の画像であることを特徴とする請求項１に記載の画像解析装置。
14. 前記内視鏡が挿入される前記被検体は生体の腸管であり、前記第１及び前記第２の画像は、前記腸管の内面に存在する絨毛の像を含む画像であることを特徴とする請求項１に記載の画像解析装置。
15. 被検体内に挿入され、前記被検体内の画像を撮像して取得する請求項１に記載の内視鏡と、
    請求項１に記載の画像解析装置と、
    を備えたことを特徴とする画像解析システム。
16. 第１のタイミングで内視鏡により取得された被検体の第１の画像と、前記第１のタイミング以後の第２のタイミングで前記内視鏡により取得された前記被検体の第２の画像とを受信する工程と、
    受信した前記第１の画像の明るさ分布の傾きを補正するための第１の明るさ分布補正データを、前記第１の画像を用いて作成するとともに、前記第２の画像の明るさ分布の傾きを補正するための第２の明るさ分布補正データを、前記第２の画像を用いて作成する工程と、
    前記第１の明るさ分布補正データを前記第１の画像に作用させた第１の処理画像と、前記第２の明るさ分布補正データを前記第２の画像に作用させた第２の処理画像とを生成する工程と、
    前記第１の処理画像と前記第２の処理画像の変化の度合いを解析する工程と、
    を含み、
    前記第１及び前記第２の明るさ分布補正データを作成する工程において、前記第１及び前記第２の画像から抽出した閉曲線で囲まれた領域を抽出して、抽出された各領域のサイズに基づいて、前記第１及び前記第２の明るさ分布補正データを生成することを特徴とする画像解析装置の作動方法。

Images