JP6045396B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、生体の管腔内を撮像することにより取得された画像から異常領域を判別する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

内視鏡やカプセル型内視鏡等の医用観察装置により生体の管腔内を撮像した画像（以下、管腔内画像又は単に画像ともいう）に対する画像処理として、特許文献１には、管腔内画像から病変領域を検出する技術が示されている。より詳細には、特許文献１においては、管腔内画像内の各画素の画素値を色特徴量に基づく特徴空間に写像し、該特徴空間内でクラスタリングした後で、各クラスタの大きさや重心座標等の情報に基づいて正常粘膜クラスタや異常領域クラスタを特定し、異常領域クラスタに属する画素領域を異常所見領域として検出している。

また、特許文献２には、発赤や出血点等の異常領域と正常な透見血管とを判別する技術が開示されている。より詳細には、特許文献２においては、異常領域として検出した領域をラベリングし、各ラベルの形状情報に基づいて透見血管であるか否かを判別している。

特開２００５−１９２８８０号公報 特許４４３４７０５号公報

しかしながら、特許文献１に開示された技術においては、発赤や出血点等の異常領域と類似した色特徴量を有する正常な透見血管を特徴空間において精度良く判別することが困難であった。また、特許文献２に開示された技術においては、発赤や出血点と、柔毛等の影響により途切れて点状になっているものの、正常な透見血管とを判別することが困難であった。

本発明は、上記に鑑みて為されたものであって、発赤や出血点等の異常領域と類似した色特徴量を有する正常な透見血管を精度良く判別することができる画像処理装置、画像処理方法、及び画像処理プログラムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体を撮像することにより取得された画像を処理する画像処理装置において、画像内から複数の血管候補領域を抽出する血管候補領域抽出手段と、前記複数の血管候補領域のうち、統合した場合に線形状になると推定される血管候補領域群を同一血管候補領域として抽出する同一血管候補領域抽出手段と、前記同一血管候補領域に対し、同一の血管らしさを評価する１種類以上の評価値を算出する評価値算出手段と、前記評価値に基づき、前記同一血管候補領域が同一の血管領域を形成するか否かを判別する血管領域判別手段と、を備えることを特徴とする。

本発明に係る画像処理方法は、生体を撮像することにより取得された画像を処理する画像処理装置が実行する画像処理方法において、画像内から複数の血管候補領域を抽出する血管候補領域抽出ステップと、前記複数の血管候補領域のうち、統合した場合に線形状になると推定される血管候補領域群を同一血管候補領域として抽出する同一血管候補領域抽出ステップと、前記同一血管候補領域に対し、同一の血管らしさを評価する１種類以上の評価値を算出する評価値算出ステップと、前記評価値に基づき、前記同一血管候補領域が同一の血管領域を形成するか否かを判別する血管領域判別ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、生体を撮像することにより取得された画像を処理する画像処理装置に、画像内から複数の血管候補領域を抽出する血管候補領域抽出ステップと、前記複数の血管候補領域のうち、統合した場合に線形状になると推定される血管候補領域群を同一血管候補領域として抽出する同一血管候補領域抽出ステップと、前記同一血管候補領域に対し、同一の血管らしさを評価する１種類以上の評価値を算出する評価値算出ステップと、前記評価値に基づき、前記同一血管候補領域が同一の血管領域を形成するか否かを判別する血管領域判別ステップと、を実行させることを特徴とする。

本発明によれば、画像内から抽出した血管候補領域から、統合した場合に線形状になると推定される血管候補領域群を同一血管候補領域としてさらに抽出し、該同一血管候補領域の同一の血管らしさを評価する評価値に基づいて、同一血管候補領域が同一の血管領域を形成するか否かを判別するので、発赤や出血点等の異常領域と類似した色特徴量を有する正常な透見血管を精度良く判別することができる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、図１に示す血管候補領域抽出部が実行する詳細な処理を示すフローチャートである。 図４は、図１に示す同一血管候補領域抽出部が実行する処理の詳細を示すフローチャートである。 図５は、図１に示す同一血管候補領域抽出部が実行する処理を説明するための模式図である。 図６は、図１に示す同一血管候補領域抽出部が実行する処理を説明するための模式図である。 図７は、同一の血管らしさを評価する評価値の算出方法を説明するための模式図である。 図８は、同一の血管らしさを評価する評価値の算出方法を説明するための模式図である。 図９は、同一の血管らしさを評価する評価値の算出方法を説明するための模式図である。 図１０は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１１は、図１０に示す画像処理装置の動作を示すフローチャートである。 図１２は、図１０に示す同一血管候補領域抽出部が実行する処理の詳細を示すフローチャートである 図１３は、図１０に示す同一血管候補領域抽出部が実行する処理を説明するための模式図である。

以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を示すブロック図である。本実施の形態１に係る画像処理装置１は、発赤や出血点等の異常と正常な透見血管とを判別することにより、発赤や出血点等の異常領域を検出する画像処理を行う装置である。なお、以下の説明においては、被検体である生体の管腔内を内視鏡又はカプセル型内視鏡で撮像することにより取得された管腔内画像（以下、単に画像ともいう）を処理対象とするが、内視鏡又はカプセル型内視鏡以外の観察装置により取得された画像を処理対象としても良い。また、内視鏡等により取得された管腔内画像は、通常、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。

図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、内視鏡により撮像された狭帯域画像に対応する画像データを取得する画像取得部２０と、外部からの操作により入力信号を発生させる入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

画像取得部２０は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部２０を、内視鏡からケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。

入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。

表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。

記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、内視鏡により取得された管腔内画像から、発赤や出血点等の異常領域を正常な透見血管と識別して検出する画像処理を当該画像処理装置１に実行させる画像処理プログラム５１等を格納する。

演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことにより、管腔内画像から発赤や出血点等の異常領域を、正常な透見血管と識別して検出する画像処理を行う。

次に、演算部１００の構成について説明する。図１に示すように、演算部１００は、画像内から複数の血管候補領域を抽出する血管候補領域抽出部１１０と、複数の血管候補領域の内から同一の血管領域を形成すると見られる血管候補領域群（以下、同一血管候補領域）を抽出する同一血管候補領域抽出部１２０と、同一血管候補領域に対して同一の血管らしさを評価する評価値を算出する評価値算出部１３０と、該評価値に基づいて、同一血管候補領域が同一の血管領域を形成するか否かを判別する血管領域判別部１４０と、血管候補領域抽出部１１０により抽出された血管候補領域のうち、同一血管領域を形成すると判別されなかった血管候補領域を異常領域と判別する異常領域判別部１５０とを備える。

血管候補領域抽出部１１０は、色特徴量算出部１１１と、形状特徴量算出部１１３と、領域統合部１１２とを備え、画像内の赤みの強い領域を血管候補領域として抽出する。このうち、色特徴量算出部１１１は、画像内の各画素の色特徴量として、Ｒ／Ｇ値を算出する。また、領域統合部１１２は、該Ｒ／Ｇ値に基づいて領域統合処理を行う。形状特徴量算出部１１３は、領域統合部１１２により統合された領域の形状特徴量を算出する。

同一血管候補領域抽出部１２０は、候補点抽出部１２１及び近似曲線当てはめ部１２２を備え、血管候補領域内からの候補点の抽出と近似曲線の当てはめとを繰り返すことにより、統合した場合に線形状になると推定される血管候補領域群を同一血管候補領域として抽出する。このうち、候補点抽出部１２１は、血管候補領域抽出部１１０により抽出された複数の血管候補領域内の任意の画素若しくは領域、又は該複数の血管候補領域の内の任意の血管候補領域を、ロバスト推定における候補画素又は候補領域（以下、これらをまとめて候補点という）として抽出する。近似曲線当てはめ部１２２は、抽出された候補点に対して近似曲線を当てはめる。

評価値算出部１３０は、同一血管候補領域に対し、同一の血管らしさを評価する１種類以上の評価値を算出する。ここで、同一の血管らしさとは、同一血管候補領域に含まれる血管候補領域群が同一の血管を形成していると判断される度合いのことをいう。実施の形態１において、評価値算出部１３０は、同一血管候補領域内における色特徴量を算出する血管色特徴量算出部１３１と、同一血管候補領域の形状に関する特徴量（以下、単に形状特徴量という）を算出する血管形状特徴量算出部１３２と、処理対象の画像の奥行き情報を算出する血管奥行き情報算出部１３３と、画像内の溝領域を検出する溝領域検出部１３４とを備え、これらの各部により６種類の評価値を算出する。ここで、奥行き情報とは、処理対象の画像の撮像時における撮像手段（内視鏡、カプセル型内視鏡等）と被写体（生体の粘膜面等）との距離に対応する情報のことである。

このうち、血管色特徴量算出部１３１は、同一血管候補領域内における色特徴量の特性として、同一血管候補領域内における色特徴量の類似性を表す量を算出する色類似性特徴量算出部１３１ａを備える。

血管形状特徴量算出部１３２は、形状特徴量として、同一血管候補領域における血管候補領域の間隔に基づく特徴量を算出する間隔特徴量算出部１３２ａと、同一血管候補領域に対応する線形状の曲率に基づく特徴量を算出する曲率特徴量算出部１３２ｂと、同一血管候補領域の延在方向と該同一血管候補領域に含まれる各血管候補領域の長手方向との類似を表す特徴量を算出する方向特徴量算出部１３２ｃとを備える。

血管奥行き情報算出部１３３は、同一血管候補領域内における奥行き情報の連続性を表す特徴量を算出する奥行き連続性特徴量算出部１３３ａを備える。

溝領域検出部１３４は、画像内の各画素の輝度値等の勾配強度に基づいて、粘膜の襞といった溝領域を検出する。

血管領域判別部１４０は、評価値算出部１３０により算出された評価値に基づき、同一血管候補領域が同一の血管領域を形成するか否かを判別する。より詳細には、血管領域判別部１４０は、評価値が複数種類（例えば上述した６種類）算出された場合に、判別基準を切り替える判別基準切り替え部１４１ａを備え、全ての判別基準を満たす同一血管候補領域を血管領域として判別する。

異常領域判別部１５０は、血管候補領域抽出部１１０により抽出された血管候補領域のうち、同一血管領域と判別されなかった血管候補領域を、発赤や出血点等の異常領域として判別する。

次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。なお、処理対象の画像は、予め画像取得部２０を介して取得され、記録部５０に記録されている。

まず、ステップＳ１０において、演算部１００は、処理対象の画像を記録部５０から取得する。
続くステップＳ１１において、血管候補領域抽出部１１０は、処理対象の画像内から血管候補領域を抽出する。図３は、血管候補領域抽出部１１０が実行する詳細な処理を示すフローチャートである。

ステップＳ１１１において、色特徴量算出部１１１は、次式（１）に基づき、色特徴量として各画素の色比Ｇ／Ｒ値を算出する。式（１）において、Ｉ_G、Ｉ_Rは、各画素の画素値（色成分ごとの信号強度）を示す。
（Ｇ／Ｒ値）＝Ｉ_G／Ｉ_R …（１）

続くステップＳ１１２において、血管候補領域抽出部１１０は、Ｇ／Ｒ値が所定の閾値以下となる領域、即ち、赤みの強い領域を血管候補領域として抽出する。

続くステップＳ１１３において、領域統合部１１２は、抽出された血管候補領域と類似した色特徴を有する領域同士を統合する領域統合（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第１９６頁）を行う。例えば、血管候補領域におけるＧ／Ｒ値に対して、Ｇ／Ｒ値が所定の範囲内に収まる画素同士が統合される。これより、色特徴量を閾値処理（ステップ１１１）しただけでは形状の判別が困難であった血管候補領域の形状が判別し易くなる（後述するステップＳ１１５、Ｓ１１６参照）。なお、抽出された血管候補領域と特徴が類似した領域同士を統合することができれば、領域統合以外の手法を用いても良い。

続くステップＳ１１４において、形状特徴量算出部１１３は、ステップＳ１１３において統合された領域に対してラベリング処理（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第１８１〜１８２頁）を施す。同一ラベルが付与された領域は、１つの血管候補領域として扱われる。

続くステップＳ１１５において、形状特徴量算出部１１３は、血管候補領域を細線化（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第１８７〜１８８頁）する。

続くステップＳ１１６において、形状特徴量算出部１１３は、細線化された血管候補領域の面積（画素数）を算出し、面積が閾値以上となる（即ち、所定値以上の長さを有する、細長い形状の特徴を有する）血管候補領域を、細長い血管領域と判定する。この細長い血管領域は、正常な血管として出力（後述）されると共に、他の血管候補領域の連続性を評価するために、ステップＳ１２以降において、血管候補領域の１つとして引き続き用いられる。その後、画像処理装置１の動作はメインルーチンに戻る。

ステップＳ１１に続くステップＳ１２において、同一血管候補領域抽出部１２０は、ステップＳ１１において抽出された血管候補領域のうち、統合した場合に線形状になると推定される血管候補領域群を、同一血管候補領域として抽出する。図４は、同一血管候補領域抽出部１２０が実行する処理の詳細を示すフローチャートである。また、図５及び図６は、同一血管候補領域抽出部１２０が実行する処理を説明するための模式図である。

ステップＳ１２１において、候補点抽出部１２１は、血管候補領域内の画素若しくは領域、又は血管候補領域そのものを候補点として、所定数だけランダムに抽出する。なお、血管候補領域内の領域又は血管候補領域そのものを候補点とする場合には、領域内の代表点（例えば重心等）を候補点としても良いし、領域内の各画素を候補点としてもよい。

また、抽出する候補点の数は、予め固定値を決定しておいても良いし、ステップＳ１１において抽出された血管候補領域の数に応じて決定しても良い。後者の場合、抽出された血管候補領域の数が多いほど、候補点の数を増加させると良い。例えば図５に示すように、画像Ｍ１から血管候補領域ｍ１〜ｍ９が抽出された場合（ステップＳ１１参照）、これらの血管候補領域から、例えば画素ｐ１〜ｐ１４が候補点として抽出される。

続くステップＳ１２２において、近似曲線当てはめ部１２２は、ステップＳ１２１において抽出された候補点と近似する曲線を、例えば最小二乗法(Least Mean Square)により推定する。例えば図５の場合、画素ｐ１〜ｐ９に対して例えば曲線Ｌ１が推定される。

続くステップＳ１２３において、近似曲線当てはめ部１２２は、推定した曲線に対して閾値以下の距離にある候補点をインライア（当たり値）と判定する。また、それ以外の候補点をアウトライア（はずれ値）と判定する。例えば図５の場合、曲線Ｌ１に対して、画素ｐ３〜ｐ９がインライアと判定される。

続くステップＳ１２４において、近似曲線当てはめ部１２２は、インライアと判定された候補点と近似する曲線を、例えば最小二乗法により再推定する。この再推定された曲線から所定範囲内の距離にある血管候補領域群が同一血管候補領域として抽出される。例えば図５に示す画素ｐ３〜ｐ９に対して、図６に示す曲線Ｌ２が推定される。この場合、曲線Ｌ２から所定範囲内の距離にある血管候補領域ｍ２〜ｍ６が同一血管候補領域となる。

続くステップＳ１２５において、同一血管候補領域抽出部１２０は、ステップＳ１２１〜Ｓ１２４の処理を所定回数以上繰り返したか否かを判定する。所定回数以上繰り返した場合、画像処理装置１の動作はメインルーチンに戻る。一方、未だ所定回数以上繰り返していない場合、処理はステップＳ１２１に戻る。

ステップＳ１２に続くステップＳ１３において、評価値算出部１３０は、ステップＳ１２において抽出された同一血管候補領域の同一の血管らしさを評価する評価値を算出する。評価値としては、各同一血管候補領域に対して、以下に説明する評価値１〜６が算出される。

評価値１：色特徴量の分散
色類似性特徴量算出部１３１ａは、同一血管候補領域に含まれる血管候補領域、即ち、ステップＳ１２において推定された曲線から所定距離にある血管候補領域を抽出する。上述したように、例えば図６の場合、曲線Ｌ２に対して血管候補領域ｍ２〜ｍ６が抽出される。

続いて、色類似性特徴量算出部１３１ａは、抽出した血管候補領域に含まれる画素のＧ／Ｒ値の分散を算出する。この分散が色特徴量の類似性を表す量であり、評価値１として用いられる。この場合、分散が小さいほど色特徴量のばらつきが小さく、同一血管候補領域内における色特徴量の類似性は高く、当該同一血管候補領域は同一の血管らしいと評価される。

なお、評価値１の変形例として、曲線から所定距離にある血管候補領域に含まれる画素のＧ／Ｒ値の平均及び分散を算出すると共に、曲線から所定距離にある各血管候補領域のＧ／Ｒ値を算出してマハラノビス距離の最大値を求め、このマハラノビス距離の最大値と分散とを評価値（色特徴量の類似性を表す量）として用いても良い。この場合、分散及びマハラノビス距離の最大値が小さいほど、同一血管候補領域における血管候補領域の色のばらつきが少なく（類似性が高く）、当該同一血管候補領域は同一の血管らしいと評価される。

評価値２：重心間の最小距離の平均値
間隔特徴量算出部１３２ａは、同一血管候補領域ごとに、同一血管候補領域に含まれる血管候補領域、即ち、ステップＳ１２において推定された曲線から所定距離にある血管候補領域を抽出する。続いて、間隔特徴量算出部１３２ａは、抽出した血管候補領域の画像空間における重心座標を算出する。例えば図７に示すように、曲線Ｌ２に対して血管候補領域ｍ２〜ｍ６が抽出された場合、血管候補領域ｍ２〜ｍ６から重心ｇ２〜ｇ６の座標（ｘ_g2，ｙ_g2）〜（ｘ_g6，ｙ_g6）、がそれぞれ算出される。さらに、間隔特徴量算出部１３２ａは、各血管候補領域に対し、重心座標間の最小距離を算出する。例えば、重心ｇ２の場合、重心ｇ３と重心ｇ４とでは、重心ｇ３の方が距離は短いため、重心ｇ３との距離Δｇ（２−３）が算出される。また、重心ｇ３の場合、重心ｇ２と重心ｇ４とでは、重心ｇ２の方が距離は短いため、重心ｇ２との距離Δｇ（３−２）が算出される。さらに、重心ｇ４の場合、重心ｇ２と重心ｇ３とでは、重心ｇ３の方が距離は短いため、重心ｇ３との距離Δｇ（４−３）が算出される。他の重心ｇ４〜ｇ６についても同様である。これらの最小距離の平均値が評価値２として用いられる。この場合、最小距離の平均値が小さいほど、血管候補領域の連続性は高く、当該同一血管候補領域は同一の血管らしいと評価される。

評価値３：曲線の曲率の平均値
曲率特徴量算出部１３２ｂは、ステップＳ１２において推定された曲線において、等間隔に複数の点を抽出する。例えば図８に示すように、曲線Ｌ２に対して複数の点ａ１〜ａ１０が抽出される。続いて、曲率特徴量算出部１３２ｂは、抽出した全ての点に対し、近接する前後２点に対するベクトル内積を曲率として算出する。例えば、点ａ２の場合、点ａ１に向かうベクトルｖ１と、点ａ３に向かうベクトルｖ２との内積が算出される。さらに、曲率特徴量算出部１３２ｂは、各点について算出されたベクトル内積の平均値を算出する。例えば図８の場合、両端の点ａ１及びａ１０を除く点ａ２〜ａ９について算出されたベクトル内積の平均値が算出される。これらのベクトル内積（曲率）の平均値が評価値３として用いられる。この場合、曲率の平均値が大きいほど、推定された曲線は滑らかであり、当該同一血管候補領域は同一の血管らしいと評価される。

評価値４：同一血管候補領域の延在方向と血管候補領域の長手方向との類似性
方向特徴量算出部１３２ｃは、同一血管候補領域ごとに、同一血管候補領域に含まれる血管候補領域、即ち、ステップＳ１２において推定された曲線から所定距離にある血管候補領域を抽出する。続いて、方向特徴量算出部１３２ｃは、抽出した各血管候補領域の長手方向を算出する。例えば図９に示すように、曲線Ｌ２に対して血管候補領域ｍ２〜ｍ６が抽出された場合、血管候補領域ｍ２〜ｍ６の長手方向ｄ２〜ｄ６がそれぞれ算出される。一方、方向特徴量算出部１３２ｃは、同一血管候補領域の延在方向として、各血管候補領域の位置（例えば重心位置）における曲線の接線方向を算出する。例えば図９の場合、血管候補領域ｍ２〜ｍ６の位置（例えば重心位置）における曲線Ｌ２の接線方向ｄ２’〜ｄ６’がそれぞれ算出される。さらに、方向特徴量算出部１３２ｃは、血管候補領域ごとに、曲線の接線方向と血管候補領域の長手方向との差分を算出する。具体的には、差分として、接線方向と長手方向とがなす角度や、両者の内積等が算出される。この差分の平均値又は合計値が評価値４として用いられる。この場合、曲線の接線方向と血管候補領域の長手方向との差分が小さいほど、同一血管候補領域の延在方向と血管候補領域の長手方向とが一致（類似）しており、血管候補領域に沿って正しく曲線が推定されていると評価される。

評価値５：奥行き情報の連続性
奥行き連続性特徴量算出部１３３ａは、処理対象の画像内の奥行き情報を取得する。実施の形態１においては、生体内において吸収又は散乱し難い波長成分であるＲ成分に対応する画素値（Ｒ値）を奥行き情報として取得する。この場合、Ｒ値の値が大きいほど、奥行き方向の距離が短い位置に被写体が存在する。なお、奥行き情報としては、Ｒ値に限らず、画像の奥行き方向の距離と相関がある値（例えば輝度値等）であれば用いることができる。

続いて、奥行き連続性特徴量算出部１３３ａは、ステップＳ１２において推定された曲線において、等間隔に複数の点を抽出する。そして、抽出した全ての点に対し、近接する前後２点の間におけるＲ値の変化量を算出する。例えば図８に示すように、曲線Ｌ２において点ａ１〜ａ９が抽出された場合、点ａ１と点ａ２とにおけるＲ値の変化量、点ａ２と点ａ３とにおけるＲ値の変化量、…、点ａ８と点ａ９とにおけるＲ値の変化量が算出される。さらに、奥行き連続性特徴量算出部１３３ａは、算出したＲ値の変化量の最大値を抽出する。この最大値が、評価値５（奥行き情報の連続性を表す特徴量）として用いられる。この場合、最大値が小さいほど、奥行き情報が連続的に変化していると言えるため、当該同一血管候補領域は同一の血管らしいと評価される。

評価値６：同一血管候補領域における溝領域の画素数
溝領域検出部１３４は、処理対象の画像における画素値の勾配強度を、例えば、ラプラシアン（Laplacian）フィルタやソーベル（Sobel）フィルタ等（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第１１４〜１２１頁）等を用いて算出する。なお、画素値としては、各画素のＲ値やＧ値の他、輝度値を用いても良い。

続いて、溝領域検出部１３４は、勾配強度が所定値以上となる画素を溝領域として検出する。そして、ステップＳ１２において推定した曲線上の溝領域の画素数を算出し、該画素数を評価値６として用いる。この場合、画素数が小さいほど、曲線上に存在する溝領域は少ないと言えるため、当該同一血管候補領域は同一の血管らしいと評価される。

ステップＳ１３に続くステップＳ１４において、血管領域判別部１４０は、ステップＳ１３において算出された評価値に基づいて同一の血管領域を判別する。具体的には、評価値１〜６の全てが各々について予め設定された基準を満たす場合、その同一血管候補領域は同一の血管領域と判別される。

続くステップＳ１５において、異常領域判別部１５０は、ステップＳ１１において抽出された血管候補領域のうち、ステップＳ１４において同一の血管領域として抽出されなかった血管候補領域を、点状の異常領域（発赤や出血点等）と判別する。

続くステップＳ１６において、演算部１００は、ステップＳ１５において判別された点状の異常領域を出力して記録部５０に記録させる。併せて、演算部１００は、ステップＳ１１６において抽出された細長い血管領域や、ステップＳ１５において判別された同一の血管領域を、正常な血管として出力する。その後、画像処理装置１は動作を終了する。

以上説明したように、実施の形態１によれば、画像内の各画素の色特徴量に基づいて血管候補領域を抽出した後、統合した場合に線形状になると推定される血管候補領域群を同一血管候補領域として抽出し、該同一血管候補領域の色や形状等の特徴から算出した評価値に基づいて、同一血管候補領域が同一の血管領域を形成するか否かを判別するので、画像内から正常な透見血管を精度良く抽出することができる。さらに、実施の形態１によれば、同一血管領域として抽出されなかった血管候補領域を異常領域と判別するので、正常な透見血管と発赤や出血点等の異常領域を精度良く判別することが可能となる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１０は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１０に示すように、実施の形態２に係る画像処理装置２は、図１に示す演算部１００の代わりに演算部２００を備える。演算部２００は、内視鏡又はカプセル型内視鏡により撮像され、画像取得部２０を介して取得された一連の画像に対し、時系列順に画像処理を行う。

演算部２００は、血管候補領域抽出部１１０と、同一血管候補領域抽出部２１０と、評価値算出部２２０と、血管領域判別部１４０と、異常領域判別部１５０とを備える。このうち、血管候補領域抽出部１１０、血管領域判別部１４０、及び異常領域判別部１５０の構成及び動作は、実施の形態１と同様である。

同一血管候補領域抽出部２１０は、図１に示す候補点抽出部２１１及び近似曲線当てはめ部１２２を備える。候補点抽出部２１１は、血管候補領域抽出部１１０により抽出された複数の血管候補領域からロバスト推定における候補点を抽出する際に、血管候補領域内の画素又は血管候補領域そのものの血管らしさを判定する候補判定値を算出する候補判定値算出部２１１ａを備える。実施の形態２において、候補判定値算出部２１１ａは、血管が延在する方向を推定する血管方向推定部２１１ａ−１と、処理対象の画像における血管候補領域の奥行き方向の距離情報（奥行き情報）を算出する候補点奥行き情報算出部２１１ａ−２とを備え、該奥行き情報を候補判定値として用いる。
なお、近似曲線当てはめ部１２２の動作は、実施の形態１と同様である。

評価値算出部２２０は、図１に示す血管色特徴量算出部１３１、血管形状特徴量算出部１３２、血管奥行き情報算出部１３３、及び溝領域検出部１３４に加えて、評価値重み決定部２２１を備える。評価値重み決定部２２１は、血管色特徴量算出部１３１、血管形状特徴量算出部１３２、血管奥行き情報算出部１３３、及び溝領域検出部１３４において算出された複数種類の評価値１〜６に対する重み付けパラメータを決定する。

より詳細には、評価値重み決定部２２１は、撮像対象判別部２２１ａ及び時系列連続性特徴量算出部２２１ｂを備える。撮像対象判別部２２１ａは、画像内の撮像対象を判別する。具体的には、撮像対象判別部２２１ａは、画像に写った臓器の種類を判別する臓器判別部２２１ａ−１を備える。一方、時系列連続性特徴量算出部２２１ｂは、時系列で近接する画像間において血管領域の抽出結果の連続性を表す特徴量を算出する。
なお、評価値重み決定部２２１以外の評価値算出部２２０の各部の構成及び動作は、実施の形態１と同様である。

次に、画像処理装置２の動作について説明する。図１１は、画像処理装置２の動作を示すフローチャートである。なお、記録部５０には、内視鏡又はカプセル型内視鏡により撮像され、画像取得部２０を介して取得された一連の画像が、予め記録されている。

まず、ステップＳ２０において、演算部２００は、記録部５０に記録された一連の画像から、処理対象の画像を時系列に沿って取得する。

続くステップＳ２１において、血管候補領域抽出部１１０は、処理対象の画像内から血管候補領域を抽出する。なお、血管候補領域の抽出処理の詳細については、実施の形態１と同様である（図２のステップＳ１１参照）。

続くステップＳ２２において、同一血管候補領域抽出部２１０は、ステップＳ２１において抽出された血管候補領域のうち、統合した場合に線形状になると推定される血管候補領域群を、同一血管候補領域として抽出する。図１２は、同一血管候補領域抽出部２１０が実行する処理の詳細を示すフローチャートである。また、図１３は、同一血管候補領域抽出部２１０が実行する処理を説明するための模式図である。

まず、ステップＳ２２１において、候補点抽出部２１１は、血管候補領域の内の１つを初期候補点としてランダムに抽出する。

続くステップＳ２２２において、血管方向推定部２１１ａ−１は、初期候補点を内包する最小の矩形領域を抽出し、該矩形領域を所定倍にした領域を決定する。これにより、おおよそ血管が延在する可能性の高い領域が推定される。ここで、矩形領域の倍率は、方向ごとに異なっていても良い。例えば図１３に示すように、血管候補領域ｍ４が初期候補点として抽出された場合、血管候補領域ｍ４を内包する最小の矩形領域Ａが抽出され、さらに、矩形領域Ａを例えば長手方向及び短手方向に各５倍した矩形領域Ｂが設定される。

続くステップＳ２２３において、候補点奥行き情報算出部２１１ａ−２は、画像内の奥行き情報を取得する。実施の形態２においては、生体内において吸収又は散乱し難い波長成分であるＲ成分に対応する画素値（Ｒ値）を奥行き情報として取得する。この場合、Ｒ値の値が大きいほど、奥行き方向の距離が短い位置に被写体が存在する。なお、奥行き情報としては、Ｒ値に限らず、画像の奥行き方向の距離と相関がある値（例えば輝度値等）であれば用いることができる。

続くステップＳ２２４において、候補点抽出部２１１は、ステップＳ２２２において設定した矩形領域内に存在する血管候補領域の奥行き情報と初期候補点の奥行き情報との差を候補判定値として算出し、当該差が所定範囲内にある血管候補領域を候補点としてランダムに抽出する。例えば図１３の場合、初期候補点である血管候補領域ｍ４に対し、矩形領域Ｂ内の血管候補領域ｍ５、ｍ６のＲ値の差が所定範囲内であれば、これらの血管候補領域ｍ５、ｍ６が候補点として抽出され得る。

続くステップＳ２２５において、近似曲線当てはめ部１２２は、候補点と近似する曲線を、最小二乗法等により推定する。

続くステップＳ２２６において、近似曲線当てはめ部１２２は、推定した曲線に対して閾値以下の距離にある候補点をインライアと判定し、それ以外の候補点をアウトライアと判定する。

続くステップＳ２２７において、近似曲線当てはめ部１２２は、インライアと判定された候補点と近似する曲線を、例えば最小二乗法により再推定する。この再推定された曲線から所定範囲内の距離にある血管候補領域群が同一血管候補領域として抽出される。

続くステップＳ２２８において、同一血管候補領域抽出部２１０は、ステップＳ２２１〜Ｓ２２７の処理を所定回数以上繰り返したか否かを判定する。所定回数以上繰り返した場合、画像処理装置２の動作はメインルーチンに戻る。一方、未だ所定回数以上繰り返していない場合、処理はステップＳ２２１に戻る。

ステップＳ２２に続くステップＳ２３において、臓器判別部２２１ａ−１は、画像に写った臓器の種類を判別する。臓器判別方法としては、公知の種々の方法を用いることができる。以下においては、一例として、画像内の平均画素値に基づいて臓器種類を判別する方法を説明する（参考：特開２００６−２８８６１２号公報）。まず、食道、胃、小腸、大腸の各臓器の平均色を形成する色成分（Ｒ値、Ｇ値、Ｂ値）の数値範囲を事前に決定しておく。また、処理対象の画像について、画素値の各色成分の平均値（平均Ｒ値、平均Ｇ値、平均Ｂ値）を算出する。そして、算出したこれらの平均値が、事前に取得したいずれの臓器の色成分の数値範囲に含まれるかを判別する。例えば、算出した平均値が食道の平均色を形成する色成分の数値範囲に含まれる場合、処理対象の画像の観察部位は食道と判別される。また、算出した平均値が胃の平均色を形成する色成分の数値範囲に含まれる場合、処理対象の画像の観察部位は胃と判別される。算出した平均値が小腸の平均色を形成する色成分の数値範囲に含まれる場合、処理対象の画像の観察部位は小腸と判別される。算出した平均値が大腸の平均色を形成する色成分の数値範囲に含まれる場合、処理対象の画像の観察部位は大腸と判別される。

続くステップＳ２４において、時系列連続性特徴量算出部２２１ｂは、時系列の１つ前の画像についてなされた血管領域の判別結果を記録部５０から読み出す。なお、後述するように、一連の画像の各々についてなされた血管領域の判別結果は、順次記録部５０に記録される。

続くステップＳ２５において、評価値算出部２２０は、ステップＳ２２において抽出された同一血管候補領域の同一の血管らしさを評価する評価値を算出する。より詳細には、評価値算出部２２０は、実施の形態１と同様にして評価値１〜６を算出した後（図２のステップＳ１３参照）、これらの評価値１〜６に対し、臓器種類及び時系列の１つ前の画像に対する血管領域の判別結果に応じた重み付けを行う。

具体的には、処理対象の画像に写った臓器が観察目的とする臓器ではない場合や、処理対象の画像に写った臓器が、透見血管を観察し易い大腸である場合には、血管領域が抽出され易くなるように評価値の重みを決定する。例えば大腸の場合、同一血管候補領域が同一の血管として抽出され易くなるよう、評価値が全体的に底上げされるように重み付けを行う。また、時系列の一つ前の画像において抽出された血管領域が、今回の処理対象の画像において抽出された同一血管候補領域の近傍に存在する場合（例えば、前の画像における血管領域に対する同一血管候補領域の変位が所定範囲内の場合）には、両者の連続性は高く、評価値の信頼性が高いと考え、血管領域が抽出され易くなるよう、例えば評価値が全体的に底上げされるように重みを決定する。

続くステップＳ２６において、血管領域判別部１４０は、ステップＳ２５において算出され、重み付けがなされた評価値に基づいて同一の血管領域を判別する。具体的には、重み付けされた評価値１〜６の全てが各々について予め設定された基準を満たす場合、その同一血管候補領域は同一の血管領域と判別される。

続くステップＳ２７において、異常領域判別部１５０は、ステップＳ２１において抽出された血管候補領域のうち、ステップＳ２６において同一の血管領域として抽出されなかった血管候補領域を、点状の異常領域（発赤や出血点等）と判別する。

続くステップＳ２８において、演算部２００は、ステップＳ２７における判別結果を出力して記録部５０に記録させる。
続くステップＳ２９において、演算部２００は、血管領域の判別処理が未だなされていない画像、即ち、時系列の次の画像があるか否かを判断する。次の画像がある場合（ステップＳ２９：Ｙｅｓ）、画像処理装置２の動作はステップＳ２０に移行する。一方、次の画像がない場合（ステップＳ２９：Ｎｏ）、画像処理装置２の動作は終了する。

以上説明したように、実施の形態２によれば、処理対象の画像に写った臓器の種類や時系列の前の画像の判別結果に応じて評価値の重み付けを行うので、血管領域の判別精度をさらに向上させることが可能となる。

なお、上記説明においては、記録部５０に記録された一連の画像を時系列に沿って順次処理したが、時系列とは逆順に処理しても良い。この場合、ステップＳ２４においては、時系列の１つ後の画像の血管領域の判別結果を読み出せば良い。

以上説明した実施の形態１及び２に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１及び２に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。

なお、本発明は、実施の形態１及び２に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１、２ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００ 演算部
１１０ 血管候補領域抽出部
１１１ 色特徴量算出部
１１２ 領域統合部
１１３ 形状特徴量算出部
１２０、２１０ 同一血管候補領域抽出部
１２１、２１１ 候補点抽出部
１２２ 近似曲線当てはめ部
１３０、２２０ 評価値算出部
１３１ 血管色特徴量算出部
１３１ａ 色類似性特徴量算出部
１３２ 血管形状特徴量算出部
１３２ａ 間隔特徴量算出部
１３２ｂ 曲率特徴量算出部
１３２ｃ 方向特徴量算出部
１３３ 血管奥行き情報算出部
１３３ａ 奥行き連続性特徴量算出部
１３４ 溝領域検出部
１４０ 血管領域判別部
１４１ａ 判別基準切り替え部
１５０ 異常領域判別部
２１１ａ 候補判定値算出部
２１１ａ−１ 血管方向推定部
２１１ａ−２ 候補点奥行き情報算出部
２２１ 評価値重み決定部
２２１ａ 撮像対象判別部
２２１ａ−１ 臓器判別部
２２１ｂ 時系列連続性特徴量算出部

Claims (21)

1. 生体を撮像することにより取得された画像を処理する画像処理装置において、
   画像内から複数の血管候補領域を抽出する血管候補領域抽出手段と、
   前記複数の血管候補領域のうち、統合した場合に線形状になると推定される血管候補領域群を同一血管候補領域として抽出する同一血管候補領域抽出手段と、
   前記同一血管候補領域に対し、同一の血管らしさを評価する１種類以上の評価値を算出する評価値算出手段と、
   前記評価値に基づき、前記同一血管候補領域が同一の血管領域を形成するか否かを判別する血管領域判別手段と、
   を備えることを特徴とする画像処理装置。
2. 前記血管候補領域抽出手段により抽出された前記複数の血管候補領域のうち、前記血管領域判別手段により同一の血管領域を形成すると判別されなかった血管候補領域を異常領域として判別する異常領域判別手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記評価値算出手段は、
   前記同一血管候補領域内における色特徴量の類似性を表す量を算出する血管色特徴量算出手段を備え、
   前記色特徴量の類似性を表す量を前記評価値として用いることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記評価値算出手段は、
   前記同一血管候補領域の形状に関する特徴量を算出する血管形状特徴量算出手段を備え、
   前記形状に関する特徴量を前記評価値として用いることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記血管形状特徴量算出手段は、前記形状に関する特徴量として、前記同一血管候補領域に含まれる前記血管候補領域同士の間隔に基づく特徴量を算出する間隔特徴量算出手段を備えることを特徴とする請求項４に記載の画像処理装置。
6. 前記血管形状特徴量算出手段は、前記形状に関する特徴量として、前記同一血管候補領域に対応する線形状の曲率に基づく特徴量を算出する曲率特徴量算出手段を備えることを特徴とする請求項４に記載の画像処理装置。
7. 前記血管形状特徴量算出手段は、前記形状に関する特徴量として、前記同一血管候補領域の延在方向と該同一血管候補領域に含まれる各血管候補領域の長手方向との類似性を現す特徴量を算出する方向特徴量算出手段を備えることを特徴とする請求項４に記載の画像処理装置。
8. 前記評価値算出手段は、前記画像の撮像時における撮像手段と被写体との距離に対応する情報である奥行き情報を算出する血管奥行き情報算出手段を備え、
   前記血管奥行き情報算出手段は、前記同一血管候補領域内における前記奥行き情報の連続性を表す特徴量を算出する奥行き連続性特徴量算出手段を備え、
   前記評価値算出手段は、前記奥行き情報の連続性を表す特徴量を前記評価値として用いることを特徴とする請求項１又は２に記載の画像処理装置。
9. 前記評価値算出手段は、
   前記画像内の溝領域を検出する溝領域検出手段を備え、
   前記同一血管候補領域における前記溝領域の画素数に基づく前記評価値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
10. 前記評価値算出手段は、
    複数種類の前記評価値を算出し、
    複数種類の前記評価値の各々に付与される重み付けパラメータを決定する評価値重み決定手段を備えることを特徴とする請求項１又は２記載の画像処理装置。
11. 前記評価値重み決定手段は、前記画像に写った撮像対象である臓器の種類に応じて、前記重み付けパラメータを決定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像は、時系列に沿って撮像された時系列画像群に含まれ、
    前記評価値重み決定手段は、時系列において近接する他の画像に対する前記血管領域の抽出結果に基づいて、前記重み付けパラメータを決定することを特徴とする請求項１０に記載の画像処理装置。
13. 前記血管候補領域抽出手段は、
    前記画像内の各画素の色特徴量を算出する色特徴量算出手段を備え、
    前記色特徴量に基づき、血管の色特徴量を有する領域を血管候補領域として抽出することを特徴とする請求項１又は２に記載の画像処理装置。
14. 前記血管候補領域抽出手段は、
    前記血管候補領域と類似する特徴を有する領域同士を統合する領域統合手段を備えることを特徴とする請求項１３に記載の画像処理装置。
15. 前記血管候補領域抽出手段は、
    前記領域統合手段により統合された領域の形状特徴量を算出する形状特徴量算出手段を備え、
    前記形状特徴量に基づき、前記領域統合手段により統合された領域のうち、細長い形状の特徴を有する領域を血管領域として抽出することを特徴とする請求項１４に記載の画像処理装置。
16. 前記同一血管候補領域抽出手段は、
    前記複数の血管候補領域内の任意の画素若しくは領域、又は前記複数の血管候補領域の内の任意の血管候補領域を候補画素又は候補領域として所定数だけ抽出する候補抽出手段と、
    前記候補画素又は候補領域に近似曲線を当てはめる近似曲線当てはめ手段と、
    を備えることを特徴とする請求項１又は２に記載の画像処理装置。
17. 前記候補抽出手段は、
    前記複数の血管候補領域内の画素の血管らしさ、又は前記複数の血管候補領域の血管らしさを示す判定値を算出する候補判定値算出手段を備え、
    前記判定値が所定範囲内である前記複数の血管候補領域内の画素、又は前記複数の血管候補領域のうちから前記候補画素又は候補領域を抽出することを特徴とする請求項１６に記載の画像処理装置。
18. 前記候補判定値算出手段は、前記複数の血管候補領域の内の任意の血管候補領域の方向に基づいて、血管が延在する方向を推定する方向推定手段を備えることを特徴とする請求項１７に記載の画像処理装置。
19. 前記候補判定値算出手段は、前記血管候補領域に対し、前記画像の撮像時における撮像手段と被写体との距離に対応する情報である奥行き情報を算出する奥行き情報算出手段を備えることを特徴とする請求項１８に記載の画像処理装置。
20. 生体を撮像することにより取得された画像を処理する画像処理装置が実行する画像処理方法において、
    画像内から複数の血管候補領域を抽出する血管候補領域抽出ステップと、
    前記複数の血管候補領域のうち、統合した場合に線形状になると推定される血管候補領域群を同一血管候補領域として抽出する同一血管候補領域抽出ステップと、
    前記同一血管候補領域に対し、同一の血管らしさを評価する１種類以上の評価値を算出する評価値算出ステップと、
    前記評価値に基づき、前記同一血管候補領域が同一の血管領域を形成するか否かを判別する血管領域判別ステップと、
    を含むことを特徴とする画像処理方法。
21. 生体を撮像することにより取得された画像を処理する画像処理装置に、
    画像内から複数の血管候補領域を抽出する血管候補領域抽出ステップと、
    前記複数の血管候補領域のうち、統合した場合に線形状になると推定される血管候補領域群を同一血管候補領域として抽出する同一血管候補領域抽出ステップと、
    前記同一血管候補領域に対し、同一の血管らしさを評価する１種類以上の評価値を算出する評価値算出ステップと、
    前記評価値に基づき、前記同一血管候補領域が同一の血管領域を形成するか否かを判別する血管領域判別ステップと、
    を実行させることを特徴とする画像処理プログラム。

Images