JP5424584B2 - 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 - Google Patents

Description

本発明は、対象物を撮像した画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。

近年、カプセル型内視鏡に代表されるように、体内の管空内を移動しながら時系列の管空内画像を順次撮像する医用の撮像装置が開発されている。カプセル型内視鏡は、患者の口から飲み込まれて体内に導入されると、管空内を蠕動運動等により移動しながら順次画像を撮像して体外の受信装置に送信し、最終的に体外に排出される。このカプセル型内視鏡によって撮像されて体外の受信装置で受信された被検体内部の画像は、診断用のワークステーション等で時系列順に順次表示され、医師等の観察者によって確認される。

このカプセル型内視鏡は、膨大な枚数の画像を撮像する。このため、診断用のワークステーション等では、撮像された画像の中から、例えば出血等の異常部の存在が疑われる画像を観察すべき画像として検出する処理を行い、医師等による画像の観察にかかる負担を軽減している。例えば、画像をブロック分割してブロック毎に色調情報を算出し、算出した色調情報についてクラスタリングを行うことによって、正常な粘膜を構成するブロックのクラスタから所定の基準以上離れたクラスタに属するブロックを異常部として抽出する手法が知られている（特許文献１参照）。また、微小石灰化陰影の候補を検出するための形状依存性フォルダであるモフォロジフィルタを用いて微小石灰化陰を強調した画像を生成する手法が知られている（特許文献２参照）。

特開２００５−１９２８８０号公報 特開２００２−９９８９６号公報

ところで、カプセル型内視鏡によって撮像される画像は、体内器官を対象物として映した画像であり、この画像内には、体内器官内壁の粘膜構造の折りたたみやうねり等による隆起形状や沈降形状が映る。このため、特許文献１のように色調情報を用いて異常部の検出を行う場合、これらの隆起形状や沈降形状といった対象物の形状によって画像中に表れる画素値の変化が、正常な粘膜のクラスタと異常部のクラスタとの分離を困難にするという問題があった。また、この画素値の変化が、対象物上の異常部が映った場合の画素値の変化と類似しているため、これらを区別できないという問題があった。例えば、特許文献２のようにモフォロジフィルタを用いて異常陰影抽出を行う場合、様々な形状の粘膜構造や病変構造により、多くの誤検出が生じる。

本発明は、上記に鑑みてなされたものであって、対象物を撮像した画像内の異常部候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定部と、前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出部と、を備えるものである。

この態様にかかる画像処理装置によれば、画像内の画素値の勾配変化をモデル化し、実際の画素値とモデル化された画素値の勾配変化によって定まる推定画素値との差分をもとに、異常部の候補領域を検出することができる。したがって、対象物を撮像した画像内の異常部の候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる。

また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定手順と、前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出手順と、を実行させるためのものである。

また、本発明の別の態様にかかる画像処理方法は、対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定ステップと、前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出ステップと、を含むものである。

本発明によれば、対象物を撮像した画像内の異常部の候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる。

以下、図面を参照し、本発明を実施するための最良の形態について詳細に説明する。以下では、体内の管空内を移動するカプセル型内視鏡を用い、このカプセル型内視鏡が体内管空内を移動しながら連続的に撮像した画像を処理する画像処理装置について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態）
図１は、本実施の形態の画像処理装置７０を含む画像処理システムの全体構成を示す概略模式図である。図１に示すように、画像処理システムは、被検体１の体内の管空内の画像（以下、「管空内画像」と呼ぶ。）を撮像するカプセル型内視鏡３、カプセル型内視鏡３から無線送信される管空内画像の画像データを受信する受信装置４、受信装置４によって受信された管空内画像を画像処理する画像処理装置７０等を備える。受信装置４と画像処理装置７０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）５が使用される。

カプセル型内視鏡３は、撮像機能や無線機能、撮像部位を照明する照明機能等を具備するものであって、例えば、検査のために人や動物等の被検体１の口から飲込まれて被検体１内部に導入される。そして、自然排出されるまでの間、食道、胃、小腸、大腸等の内部の管空内画像を所定の撮像レートで連続的に撮像して取得し、体外に無線送信する。

受信装置４は、被検体１内におけるカプセル型内視鏡３の通過経路に対応する体表上の位置に分散配置される受信用アンテナＡ１〜Ａｎを備える。そして、受信装置４は、各受信用アンテナＡ１〜Ａｎを介してカプセル型内視鏡３から無線送信される画像データを受信する。この受信装置４は、可搬型記録媒体５の着脱が自在に構成されており、受信した画像データを可搬型記録媒体５に逐次保存する。このようにして、受信装置４は、カプセル型内視鏡３が撮像した被検体１内部の管空内画像を時系列順に可搬型記録媒体５に蓄積する。

画像処理装置７０は、ワークステーションやパソコン等の汎用コンピュータで実現されるものであり、可搬型記録媒体５の着脱が自在に構成される。この画像処理装置７０は、可搬型記録媒体５に保存された管空内画像を取得して処理し、表示装置に画面表示する。

図２は、画像処理装置７０の機能構成を示すブロック図である。本実施の形態では、画像処理装置７０は、外部インターフェース７１と、入力部７２と、表示部７３と、記憶部７４と、演算部７５と、画像処理装置７０全体の動作を制御する制御部７６とを備える。

外部インターフェース７１は、カプセル型内視鏡３で撮像され、受信装置４で受信した管空内画像の画像データを取得するためのものであり、例えば可搬型記録媒体５を着脱自在に装着し、この可搬型記録媒体５に保存された管空内画像の画像データを読み出すリーダ装置で構成される。なお、カプセル型内視鏡３によって撮像された時系列の管空内画像の取得は、可搬型記録媒体５を用いた構成に限定されるものではない。例えば、可搬型記録媒体５のかわりに別途サーバを設置し、このサーバに時系列の管空内画像を予め保存しておく構成としてもよい。この場合には、外部インターフェースを、サーバと接続するための通信装置等で構成する。そして、この外部インターフェースを介してサーバとデータ通信を行い、時系列の管空内画像を取得する。あるいは、記憶部７４内にカプセル型内視鏡３によって撮像された時系列の管空内画像を予め保存しておく構成としてもよい。

入力部７２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、入力された指示情報を制御部７６に出力する。表示部７３は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現されるものであり、制御部７６の制御によって、時系列の管空内画像の表示画面を含む各種画面を表示する。

記憶部７４は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものである。この記憶部７４には、画像処理装置７０を動作させ、この画像処理装置７０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。また、演算部７５が管空内画像に映る異常部を検出するための画像処理プログラム７４１が格納される。

演算部７５は、カプセル型内視鏡３によって撮像された管空内画像を処理し、この管空内画像に映る異常部を検出するための種々の演算処理を行う。この演算部７５は、モデル推定部としての隆起形状推定部７５１および沈降形状推定部７５２と、隆起頂上異常判定部７５３と、沈降領域異常判定部としての分割沈降領域異常判定部７５４と、異常部候補検出部７５５と、異常判定部７５６とを含む。

隆起形状推定部７５１は、管空内画像に映る隆起形状を推定する。この隆起形状推定部７５１は、隆起頂上推定部７５１ａと、初期隆起勾配モデル設定部としての画素隆起モデル推定部７５１ｂと、隆起勾配モデル修正部としての画素隆起モデル修正部７５１ｃとを有する。隆起頂上推定部７５１ａは、隆起形状を映した隆起領域の頂上付近の領域（以下、「隆起頂上領域」と呼ぶ。）を検出し、隆起領域の概略位置として推定する。画素隆起モデル推定部７５１ｂは、隆起頂上領域をもとに、画素値の勾配変化をモデル化した画素隆起モデル（隆起勾配モデル）の初期状態である初期隆起モデル（初期隆起勾配モデル）を作成する。画素隆起モデル修正部７５１ｃは、隆起領域の画素値をもとに初期隆起モデルを修正し、隆起領域に画素隆起モデルを設定する。

沈降形状推定部７５２は、管空内画像に映る沈降形状を推定する。この沈降形状推定部７５２は、沈降領域抽出部７５２ａと、沈降領域分割部７５２ｂと、初期沈降勾配モデル設定部としての画素沈降モデル推定部７５２ｃと、沈降勾配モデル修正部としての画素沈降モデル修正部７５２ｄとを有する。沈降領域抽出部７５２ａは、画像内の隆起領域を除いた領域を沈降領域として抽出する。沈降領域分割部７５２ｂは、近傍する隆起領域の位置をもとに沈降領域を分割する。画素沈降モデル推定部７５２ｃは、分割された沈降領域（以下、「分割沈降領域」と呼ぶ。）をもとに、画素値の勾配変化をモデル化した画素沈降モデル（沈降勾配モデル）の初期状態である初期沈降モデル（初期沈降勾配モデル）を作成する。画素沈降モデル修正部７５２ｄは、分割沈降領域の画素値をもとに初期沈降モデルを修正し、分割沈降領域に画素沈降モデルを設定する。

隆起頂上異常判定部７５３は、隆起頂上領域の特徴量をもとに、隆起頂上領域が異常部候補領域か否かを判定する。分割沈降領域異常判定部７５４は、分割沈降領域の特徴量をもとに、分割沈降領域が異常部候補領域か否かを判定する。異常部候補検出部７５５は、隆起領域において、その画素隆起モデルから外れた画素を異常部候補領域の構成画素として検出するとともに、分割沈降領域において、その画素沈降モデルから外れた画素を異常部候補領域の構成画素として検出する。異常判定部７５６は、異常部候補領域の特徴量をもとに、異常部候補領域が異常部か否かを判定する。

制御部７６は、ＣＰＵ等のハードウェアによって実現される。この制御部７６は、外部インターフェース７１を介して取得される画像データや入力部７２から入力される操作信号、記憶部７４に格納されるプログラムやデータ等に基づいて画像処理装置７０を構成する各部への指示やデータの転送等を行い、画像処理装置７０全体の動作を統括的に制御する。

図３は、画像処理装置７０の演算部７５が行う演算処理手順を示すフローチャートである。なお、ここで説明する処理は、演算部７５が記憶部７４に格納された画像処理プログラム７４１を読み出して実行することによって実現される。

図３に示すように、演算部７５は、先ず、外部インターフェース７１および制御部７６を介して画像（管空内画像）を取得する（ステップａ１）。図４は、ステップａ１で取得される画像（管空内画像）の一例を示す図である。カプセル型内視鏡３によって撮像される管空内画像には、対象物である体内器官内壁の粘膜構造や、この管空内を浮遊する内容物、泡等が映るとともに、時として病変等の重要箇所が映る。ここで、体内器官内壁の粘膜構造には、体内器官やその内壁粘膜の折りたたみ、うねり等による隆起形状または沈降形状が含まれる。

続いて、図３に示すように、隆起形状推定処理に移る（ステップａ３）。図５は、隆起形状推定処理の詳細な処理手順を示すフローチャートである。

隆起形状推定処理では先ず、隆起頂上推定部７５１ａが、領域分割部として、管空内画像を構成する各画素について例えばそのＲ（赤），Ｇ（緑），Ｂ（青）の画素値に基づいたクラスタリングを行う（ステップｂ１）。ここで、クラスタリングの手法としては、例えばｋ−ｍｅａｎｓ法によるクラスタリング（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，Ｐ２３２）や、ＥＭアルゴリズムを用いた混合分布の推定によるクラスタリング（参考：Maximum Likelihood from Incomplete Data via the EM Algorithm（A.ＰＤempster,et.al,Journal of the Royal Statistical Society.Series B（Methodological）,Vol.39,No.1.（1977）,pp.1-38.）等、公知の手法を用いることができる。

続いて、隆起頂上推定部７５１ａは、クラスタリングの結果をもとに、取得した画像の各画素にラベルを付与し、ラベリング画像を作成する（ステップｂ３）。図６は、ラベリング画像の一例を示す図である。例えば、隆起頂上推定部７５１ａは、各クラスタの重心の輝度値に従って、輝度値の大きい順に各クラスタにラベル（１，２，３・・・）を割り振る。そして、隆起頂上推定部７５１ａは、各画素に、その画素が属するクラスタに割り振られたラベルを画素値として付与する。これによって、図６に示すように、クラスタ毎のラベル領域に領域分けされたラベリング画像が得られる。なお、得られたラベル領域のうち、予め設定される所定の面積より小さいラベル領域については、以降の処理の対象から除外する。以下、以降の処理で対象とする領域を「処理対象領域」と呼ぶ。

続いて、隆起頂上推定部７５１ａは、図５に示すように、ラベリング画像をもとに処理対象領域内の隆起頂上領域を推定する（ステップｂ５）。具体的には、隆起頂上推定部７５１ａは、ラベリング画像を構成する各ラベル領域の中から、それ自身のラベルよりも大きいラベルのラベル領域で囲まれたラベル領域を抽出し、隆起頂上領域とする。

図７は、図６に示したラベリング画像から推定した隆起頂上領域Ｌ１１〜Ｌ１３，Ｌ１５，Ｌ１６を示す図である。図７に示すように、自身のラベルが“１”であり、周囲のラベルが“２”であるラベル領域Ｌ１１〜Ｌ１３や、自身のラベルが“２”であり、周囲のラベルが“３”であるラベル領域Ｌ１５，Ｌ１６が隆起頂上領域として抽出される。なお、ここでは、ラベルの小さいものから順に隆起頂上領域の抽出を行い、隆起頂上領域とされたラベル領域の周囲のラベル領域については抽出しない。例えば、自身のラベルが“３”であり、周囲のラベルが“４”であるラベル領域Ｌ１７等も自身のラベルより大きいラベルが付与されたラベル領域で囲まれているが、このラベル領域Ｌ１７は、隆起頂上領域として推定されたラベル領域Ｌ１３の周囲のラベル領域であるので、このラベル領域Ｌ１７については抽出しない。ただし、このラベル領域Ｌ１７が隆起頂上領域かどうかの推定は後で行う。

そして、図５に示すように、隆起頂上推定部７５１ａによって推定された隆起頂上領域がある場合には（ステップｂ７：Ｙｅｓ）、ステップｂ９〜ステップｂ１３の処理に移り、この隆起頂上領域を頂上部分とする隆起領域に画素隆起モデルを設定する。なお、推定された隆起頂上領域が複数ある場合には、各隆起頂上領域それぞれについて、ステップｂ９〜ステップｂ１３の処理を行う。

すなわち、ステップｂ９では、隆起頂上異常判定部７５３が、隆起頂上領域の異常判定を行い、予め設定される異常部候補条件を満たす隆起頂上領域を異常部候補領域として検出する。隆起頂上領域の異常判定に際しては、先ず、隆起頂上領域の特徴量を算出する。例えば、隆起頂上領域を構成する各画素のＲ値，Ｇ値，Ｂ値等の色調情報や、隆起頂上領域とその周囲の領域との色調の変化量、隆起頂上領域の形状等を隆起頂上領域の特徴量として算出する。次に、算出した特徴量を事前に用意しておいた基準指標と比較することによって、隆起頂上領域の異常判定を行う。基準指標としては、例えば、異常種類毎の特徴量の範囲を教師データとして定めておくことができる。この場合には、隆起頂上異常判定部７５３は、隆起頂上領域の特徴量が異常種類毎の特徴量の範囲内か否かを異常部候補条件としてその異常判定を行う。あるいは、正常なサンプルを用意して隆起頂上領域の特徴量を算出し、正常な隆起頂上領域の特徴量範囲を定めておくこととしてもよい。この場合には、隆起頂上異常判定部７５３は、隆起頂上領域の特徴量が正常な隆起頂上領域の特徴量範囲からどれだけ外れているかを異常部候補条件としてその異常判定を行う。

続いて、画素隆起モデル推定部７５１ｂが、異常でないと判定された隆起頂上領域をもとに、その隆起頂上領域に設定する初期隆起モデルを作成する（ステップｂ１１）。図８は、初期隆起モデルの作成原理を説明する説明図であり、隆起頂上領域Ｌ１１について作成される初期隆起モデルＭ_a１１を示している。初期隆起モデルＭ_a１１の作成に際しては、先ず、隆起頂上領域Ｌ１１の重心Ｐａを算出する。次に、設定点配置部として、算出した隆起頂上領域Ｌ１１の重心Ｐａから図８中に二点鎖線で示すように放射状に設定される各方向と、隆起頂上領域Ｌ１１の輪郭との交点を設定点の一例である端点Ｐｂとする処理を行う。そして、重心Ｐａと端点Ｐｂとの間にそれぞれ中間点Ｐｃを配置する。なお、配置する中間点の位置はこれに限定されるものではなく、予め設定される所定の間隔で中間点を配置するようにしてもよい。また、配置する中間点の数についても、端点と同数である必要はなく、適宜設定しておくことができる。

そして、この重心、端点および中間点を用いて隆起領域のモデル化を行い、画素隆起モデルの初期形状である初期隆起モデルを作成する。ここで、隆起の頂上（頂点）付近は光源からの距離が近く、隆起の裾付近は光源からの距離が遠い。このため、隆起の頂上に近づくにつれて光源からの光の反射として表れる画素値（輝度値）は大きくなり、裾に近づくにつれて小さくなる。本実施の形態では、これを利用して隆起領域のモデル化を行い、重心、端点および中間点の各位置（ｘ，ｙ）に、各位置の推定画素値（ｚ）を追加して隆起形状を３次元で表したものを「画素隆起モデル」と呼ぶ。すなわち、上記のようにして算出した重心、端点および中間点の各位置の推定画素値を求め、初期隆起モデルとする。重心、端点および中間点の各位置の推定画素値の算出に際しては、先ず、各位置それぞれについて、その近傍位置の画素を含む近傍領域のエッジ抽出を行う。エッジ抽出の手法としては、適宜公知の手法を用いることができるが、例えば、ソーベルフィルタを用いたエッジ抽出を行う（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，Ｐ１１６−Ｐ１１７）。そして、この近傍領域の画素のうち、エッジ抽出によってエッジとして抽出された画素を除く画素値の平均値を算出し、各位置の推定画素値とする。

続いて、図５に示すように、画素隆起モデル修正部７５１ｃが、初期隆起モデルを初期形状とする画素隆起モデルを修正し、隆起領域に設定する（ステップｂ１３）。画素隆起モデル（初期隆起モデル）の修正は、動的輪郭モデルを用いて端点および中間点を移動させることによって行う。

図９，図１０は、画素隆起モデルＭ_aの修正原理を説明する説明図であり、図１０は、図９に示した画素隆起モデルＭ_aの重心Ｐａおよび端点Ｐｂを通る断面を示している。ここで、図９に示すＥ_internalは、隣接する端点Ｐｂと中間点Ｐｃとを結ぶ直線の連続性や滑らかさのエネルギーを表す。このＥ_internalは、隣接する端点Ｐｂ間を結ぶ直線のなす角度θ１１が小さいほどその値が小さくなるように、隣接する中間点Ｐｃ間を結ぶ直線のなす角度θ１３が小さいほどその値が小さくなるように、あるいは中間点Ｐｃを重心Ｐａおよび隣接する端点Ｐｂとそれぞれ結んだ直線のなす角度θ１５が小さいほどその値が小さくなるように定義される。そして、Ｅ_externalは、端点Ｐｂおよび中間点Ｐｃを移動させ、画素隆起モデルＭ_aを画素勾配に沿って広げるエネルギーを表す。このＥ_externalは、端点Ｐｂおよび中間点Ｐｃが実際の画素値の勾配に沿いながら重心Ｐａから離れていくほど、その値が小さくなるように定義される。また、図１０に示すＥ_imageは、エッジに対する端点Ｐｂの適合性エネルギーを表すとともに、画素隆起モデルＭ_aの推定画素値とこの画素隆起モデルＭ_aが設定された隆起領域の図１０中に破線で示す実際の画素値との画素値差分エネルギーを表す。このＥ_imageは、端点Ｐｂがソーベルフィルタ等を用いて抽出したエッジと適合しているほどその値が小さくなり、端点Ｐｂおよび中間点Ｐｃの推定画素値とこの端点Ｐｂおよび中間点Ｐｃの各位置における実際の画素値との差分絶対値が小さいほどその値が小さくなるように定義される。

具体的には、動的輪郭モデルのエネルギーＥ_uを次式（１）によって定める。そして、この動的輪郭モデルのエネルギーＥ_uの値が最小となるように端点と中間点それぞれの位置および推定画素値を求める。α₁，α₂，α₃は、所定の係数を表す。
Ｅ_u＝α₁Ｅ_internal＋α₂Ｅ_external＋α₃Ｅ_image ・・・（１）

図１１−１は、管空内画像の画素値分布Ｇ２１の一例を示す図である。また、図１１−２は、図１１−１に示した画素値分布のＡ部断面図であり、Ａ部断面における画素値分布Ｇ２１とともに、このＡ部断面付近に設定された画素隆起モデルＭ_a２１の断面を示している。ここで、画素隆起モデルの重心と中間点との間の各画素や、中間点と端点との間の各画素の画素値（推定画素値）については、線形補間やスプライン曲面等で補間して求める。

なお、隣接する端点と中間点との間が引き合うエネルギーを別途定義し、これを加味して画素隆起モデルを修正することとしてもよい。また、隆起領域の抽出手法は、上記した手法に限定されるものではない。例えば、予め所定の分布形状の画素隆起モデルを定義しておき、これらの混合分布によって画像が表現されると仮定して画素隆起モデルを修正するようにしてもよい。この場合には、隆起頂上領域の抽出を行わずにＥＭアルゴリズムを用いた混合分布の推定を行い、画素隆起モデルを修正する。

図１２は、図７に示した隆起頂上領域Ｌ１１〜Ｌ１３，Ｌ１５，Ｌ１６をもとに設定した画素隆起モデルＭ_a１１〜Ｍ_a１３，Ｍ_a１５，Ｍ_a１６を示す図であり、図１２中において、各画素隆起モデルＭ_a１１〜Ｍ_a１３，Ｍ_a１５，Ｍ_a１６の外形を破線で示すとともに、その重心Ｐａおよび端点Ｐｂを示している。ステップｂ９〜ステップｂ１３の処理の結果、図１２に示すように、各隆起頂上領域Ｌ１１〜Ｌ１３，Ｌ１５，Ｌ１６を拡張するような範囲をそれぞれ隆起領域とした画素隆起モデルＭ_a１１〜Ｍ_a１３，Ｍ_a１５，Ｍ_a１６が画像内に設定され、各隆起頂上領域Ｌ１１〜Ｌ１３，Ｌ１５，Ｌ１６をそれぞれ頂上部分とした隆起形状が推定される。

図５に戻り、画素隆起モデル修正部７５１ｃは、以上のようにして画素隆起モデルを設定したならば、続いて、この画素隆起モデルを設定した隆起領域を処理対象領域から除外する（ステップｂ１５）。そして、ステップｂ５に移行し、隆起頂上推定部７５１ａが、再度ラベリング画像をもとに隆起頂上領域を推定する。そして、隆起頂上領域が推定された場合には（ステップｂ７：Ｙｅｓ）、画素隆起モデルの設定を行う（ステップｂ９〜ステップｂ１３）。

図１３は、既に画素隆起モデルが設定された領域（隆起領域）Ｌ２１〜Ｌ２３，Ｌ２５，Ｌ２６を除外して推定した隆起頂上領域Ｌ３１，Ｌ３２を示す図であり、図１４は、図１３に示した隆起頂上領域Ｌ３１，Ｌ３２をもとに設定した画素隆起モデルＭ_a３１，Ｍ_a３２を示す図である。ここでの処理によって、図１３に示すように、隆起領域Ｌ２１〜Ｌ２３，Ｌ２５，Ｌ２６を除外した処理対象領域から、自身より大きなラベル番号に囲まれたラベル領域が隆起頂上領域Ｌ３１，Ｌ３２として抽出される。そして、図１４に示すように、各隆起頂上領域Ｌ３１，Ｌ３２を拡張するような範囲をそれぞれ隆起領域とした画素隆起モデルＭ_a３１，Ｍ_a３２が画像内に設定される。以上のように、処理対象領域内から隆起頂上領域とするラベル領域が抽出されなくなるまで処理を繰り返し、抽出されなければ（ステップｂ７：Ｎｏ）、図３のステップａ３にリターンし、その後ステップａ５に移行する。

すなわち、ステップａ５では、沈降形状推定処理に移る。図１５は、沈降形状推定処理の詳細な処理手順を示す図である。

沈降形状推定処理では先ず、沈降領域抽出部７５２ａが、画像内の隆起領域を除く領域を、隣接する隆起領域間の沈降領域として抽出する（ステップｃ１）。続いて、沈降領域分割部７５２ｂが、沈降領域を分割する（ステップｃ３）。図１６は、分割沈降領域を示す図である。沈降領域抽出部７５２ａは、先ず、沈降領域を構成する各画素について、それぞれ最も近傍する隆起領域を選出する。そして、図１６中に破線で示すように、選出した隆起領域が異なる境界位置を分割位置として、沈降領域を分割する。

そして、図１５に示すように、沈降領域分割部７５２ｂは、分割沈降領域をさらに細かく細分化する（ステップｃ５）。具体的には、分割沈降領域と接している隆起領域、すなわち、分割沈降領域を構成する各画素について選出された隆起領域に設定された画素隆起モデルの端点を用いて細分化する。例えば、分割沈降領域を、画素隆起モデルの各端点位置で沈降勾配方向に沿って分割することによって、細分化する。なお、各端点位置で分割する必要はなく、例えば２端点毎に分割する等してもよい。

続いて、分割沈降領域異常判定部７５４が、分割され、細分化された分割沈降領域の異常判定を行い、予め設定される異常部候補条件を満たす分割沈降領域を異常部候補領域として検出する（ステップｃ７）。分割沈降領域の異常判定は、隆起頂上領域異常判定部７５６が行う異常判定と同様にして行うことができる。すなわち先ず、分割沈降領域の特徴量を算出する。例えば、分割沈降領域を構成する各画素のＲ値，Ｇ値，Ｂ値等の色調情報や、分割沈降領域と周囲の領域とその周囲の領域との色調変化量、分割沈降領域の形状等を分割沈降領域の特徴量として算出する。次に、算出した特徴量を事前に用意しておいた基準指標と比較することによって、分割沈降領域の異常判定を行う。例えば、基準指標として異常種類毎の特徴量の範囲を定めた教師データを用意しておく場合であれば、分割沈降領域異常判定部７５４は、分割沈降領域の特徴量が異常種類毎の特徴量の範囲内か否かを異常部候補条件としてその異常判定を行う。また、正常なサンプルを用意して分割沈降領域の特徴量を算出し、正常な分割沈降領域の特徴量範囲を基準指標として定めておく場合であれば、分割沈降領域異常判定部７５４は、分割沈降領域の特徴量が正常な分割沈降領域の特徴量範囲からどれだけ外れているかを異常部候補条件としてその異常判定を行う。

続いて、画素沈降モデル推定部７５２ｃが、異常でないと判定された分割沈降領域をもとに、その分割沈降領域に設定する初期沈降モデルを作成する（ステップｃ９）。図１７は、初期沈降モデルの作成原理を説明する説明図であり、細分化された分割沈降領域Ｌ４１について作成される初期沈降モデルＭ_b４１を示している。初期沈降モデルＭ_b４１の作成に際しては、先ず、分割沈降領域Ｌ４１の輪郭位置をもとに角を端点Ｐｄとする。そして、各端点Ｐｄの間に中間点Ｐｅを配置する。例えば、予め設定される所定間隔で中間点を配置することとしてもよいし、予め設定される所定数の中間点を配置することとしてもよい。そして、この端点および中間点を用いて沈降領域のモデル化を行い、画素沈降モデルの初期形状である初期沈降モデルを作成する。端点および中間点の各位置の推定画素値については、所期隆起モデルの作成と同様にして、先ず、各位置それぞれについて、その近傍位置の画素を含む近傍領域のエッジ抽出を行う。そして、この近傍領域の画素のうち、エッジ抽出によってエッジとして抽出された画素を除く画素値の平均値を算出し、各位置の推定画素値とする。

続いて、図１５に示すように、画素沈降モデル修正部７５２ｄが、初期沈降モデルを初期形状とする画素沈降モデルを修正し、分割沈降領域に設定する（ステップｃ１１）。画素沈降モデル（初期沈降モデル）の修正は、動的輪郭モデルを用いて端点および中間点を移動させることによって行う。

図１８，図１９は、画素沈降モデルＭ_bの修正原理を説明する説明図であり、図１９は、図１８に示した画素沈降モデルＭ_bの端点Ｐｄおよびこの端点Ｐｄと隣接する中間点Ｐｅを通る断面を示している。ここで、図１８に示すＥ_{internal_d}は、隣接する端点Ｐｄと中間点Ｐｅとを結ぶ直線の連続性や隣接する中間点Ｐｅ間を結ぶ直線の連続性や滑らかさのエネルギーを表す。このＥ_{internal_d}は、隣接する端点Ｐｄと中間点Ｐｅとを結ぶ直線のなす角度θ２１が小さいほどその値が小さくなるように、あるいは隣接する中間点Ｐｅ間を結ぶ直線のなす角度θ２３が小さいほどその値が小さくなるように定義される。そして、図１８および図１９に示すＥ_{external_d}は、中間点Ｐｅを画素勾配に沿って移動させるエネルギーを表す。このＥ_{external_d}は、初期沈降モデルＭ_bにおける中間点Ｐｅの推定画素値が、この中間点Ｐｅの位置における実際の画素値に近づく向きへと画素値が変化するときにその値が小さくなるように、あるいは初期沈降モデルＭ_bにおける中間点Ｐｅの位置が、この位置を基準とした所定範囲内の画素のうちの周囲との変化量が少ない画素の方向に動くほどその値が小さくなるように定義される。また、図１９に示すＥ_{image_d}は、画素沈降モデルＭ_bの推定画素値とこの画素沈降モデルＭ_bが設定された分割沈降領域の図１９中に破線で示す実際の画素値との画素値差分エネルギーを表す。このＥ_{image_d}は、中間点Ｐｅの推定画素値とこの中間点Ｐｅの位置における実際の画素値のと差分絶対値が小さくなるときにその値が小さくなるように定義される。

具体的には、動的輪郭モデルのエネルギーＥ_dを次式（２）によって定める。そして、この動的輪郭モデルのエネルギーＥ_dの値が最小となるように端点と中間点それぞれの位置および推定画素値を求める。α₅，α₆，α₇は、所定の係数を表す。
Ｅ_d＝α₅Ｅ_{internal_d}＋α₆Ｅ_{external_d}＋α₇Ｅ_{image_d} ・・・（２）

図２０−１は、管空内画像の画素値分布Ｇ５１の一例を示す図である。また、図２０−２は、図２０−１に示した画素値分布のＢ部断面図であり、Ｂ部断面における画素値分布Ｇ５１とともに、このＢ部断面付近に設定された画素沈降モデルＭ_b５１の断面を示している。ここで、画素沈降モデルの端点と中間点との間の各画素の画素値（補正画素値）については、線形補間やスプライン曲面等で補間して求める。この沈降形状推定処理を終えたならば、図３のステップａ５にリターンし、その後ステップａ７に移る。

すなわち、ステップａ７では、異常部候補検出部７５５が、異常部候補領域を検出する。異常部候補領域の検出に際しては、先ず、各隆起領域の実際の画素値をその画素隆起モデルと比較する。次に、実際の画素値と画素隆起モデルの推定画素値との差分が予め異常基準値範囲として設定される所定の閾値以上である場合に、画素値が画素隆起モデルから外れているとし、その画素を異常部候補領域の構成画素として検出する。図２１〜図２３は、異常部候補領域の検出原理を説明する説明図である。ここで、図２１は、管空内画像の一例を示している。また、図２２は、図２１に示した管空内画像内の領域Ｃ付近に設定された画素隆起モデルＭ_a６１の断面を示しており、画素隆起モデルＭ_a６１の断面とともに実際の画素値分布Ｇ６１を示している。ここでの処理によって、図２２中に矢印で示す位置の画素のように、その位置の画素の実際の画素値が画素隆起モデルの推定画素値から大きく外れている画素が、異常部候補領域の構成画素として検出される。同様にして、各分割沈降領域の実際の画素値をその画素沈降モデルと比較し、実際の画素値と画素沈降モデルの推定画素値との差分が予め異常基準値範囲として設定される所定の閾値以上である場合に、画素値が画素沈降モデルから外れているとし、その画素を異常部候補領域の構成画素として検出する。そして、抽出された異常部候補領域の構成画素について公知のラベリング処理を行い、連結している構成画素に固有のラベルを付与する（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，Ｐ１８１−Ｐ１８２）。異常部候補検出部７５５は、このラベリング処理の結果同一のラベルが付与された領域を、それぞれ異常部候補領域として検出する。図２３の例では、３つの異常部候補領域Ｌ７１〜Ｌ７３が検出されている。

続いて、異常判定部７５６が、図５のステップｂ９で異常部候補領域として検出された隆起頂上領域や、図１５のステップｃ７で異常部候補領域として検出された分割沈降領域、図３のステップａ７で検出された異常部候補領域について異常判定を行い、予め設定される異常部条件を満たす異常部候補領域を対象物上の異常部を映した領域と判定する（ステップａ９）。異常判定は、異常部候補領域のＲ値，Ｇ値，Ｂ値等の色調情報や、異常部候補領域とその周囲の領域との色調の変化量、異常部候補領域の輪郭のエッジ強度、異常部候補領域の形状等を異常部候補領域の特徴量として算出する。次に、算出した特徴量を事前に用意しておいた基準指標と比較することによって、異常部候補領域の異常判定を行う。そして、基準指標として異常種類毎の特徴量の範囲を定めた教師データを用意しておく場合であれば、異常判定部７５６は、異常部候補領域の特徴量が異常種類毎の特徴量の範囲内か否かを異常部条件としてその異常判定を行う。また、正常なサンプルを用意して異常部候補領域の特徴量を算出し、正常な異常部候補領域の特徴量範囲を基準指標として定めておく場合であれば、異常判定部７５６は、異常部候補領域の特徴量が正常な異常部候補領域の特徴量範囲からどれだけ外れているかを異常部条件としてその異常判定を行う。

そして、演算部７５が、異常判定の結果を出力し（ステップａ１１）、演算処理を終える。例えば、演算部７５は、異常と判定された隆起頂上領域や分割沈降領域、異常部候補領域を示した画像を生成する等して、異常と判定された画像上の位置を制御部７６を介して表示部７３に表示出力する制御を行う。

以上説明したように、本実施の形態によれば、画像内の画素値の勾配変化をモデル化した画素隆起モデルを画像内に設定することによって、この画像に映る粘膜構造の折りたたみやうねり等による隆起形状を推定することができる。また、画素沈降モデルを画像内に設定することによって、この画像に映る粘膜構造の沈降形状を推定することができる。そして、隆起領域の実際の画素値をその画素隆起モデルと比較し、実際の画素値と画素隆起モデルの推定画素値との差が大きく、画素値が画素隆起モデルから外れている場合に、その画素を異常部候補領域の構成画素として検出することができる。また、沈降領域の実際の画素値をその画素沈降モデルと比較し、実際の画素値と画素沈降モデルの推定画素値との差が大きく、画素値が画素沈降モデルから外れている場合に、その画素を異常部候補領域の構成画素として検出することができる。そして、検出された異常部候補領域のうち、予め設定される異常部条件を満たす異常部候補領域を粘膜構造上の異常部を映した領域と判定することができる。したがって、管空内画像の粘膜構造上に映る異常部の候補領域を、粘膜構造の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる。

なお、上記した実施の形態では、隆起形状を推定した後で沈降形状を推定する場合について説明したが、沈降形状を先に推定することとしてもよい。この場合には、画像内の画素値をクラスタリングし、このクラスタリングの結果をもとに各画素にラベルを付与してラベリング画像を作成した後、このラベリング画像をもとに沈降底部領域を推定する。具体的には、ラベリング画像を構成する各ラベル領域の中から、それ自身のラベルよりも小さいラベルのラベル領域で囲まれたラベル領域（周囲より輝度値が低いラベル領域）を抽出し、沈降底部領域とする。そして、この沈降底部領域をもとに初期沈降モデルを作成し、これを修正して画素沈降モデルを設定する。また、隆起形状を推定する際には、画素沈降モデルを設定した沈降領域を除外した画像内の領域について画素隆起モデルの設定を行う。

また、上記した実施の形態では、カプセル型内視鏡が体内管空内を移動しながら撮像した体腔内画像を処理し、この体腔内画像に映る粘膜構造上の異常部の候補領域を検出する場合について説明したが、処理可能な画像はカプセル内視鏡が撮像した管空内画像に限定されるものではなく、対象物を撮像した画像から対象物上の異常部を検出する場合に同様に適用できる。

画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 画像処理装置の機能構成を示すブロック図である。 画像処理装置の演算部が行う演算処理手順を示すフローチャートである。 管空内画像の一例を示す図である。 隆起形状推定処理の詳細な処理手順を示すフローチャートである。 ラベリング画像の一例を示す図である。 図６に示したラベリング画像から推定した隆起頂上領域を示す図である。 初期隆起モデルの作成原理を説明する説明図である。 画素隆起モデルの修正原理を説明する説明図である。 画素隆起モデルの修正原理を説明する説明図である。 管空内画像の画素値分布の一例を示す図である。 図１１−１に示した画素値分布のＡ部断面図である。 図７に示した隆起頂上領域をもとに設定した画素隆起モデルを示す図である。 隆起領域を除外して推定した隆起頂上領域を示す図である。 図１３に示した隆起頂上領域をもとに設定した画素隆起モデルを示す図である。 沈降形状推定処理の詳細な処理手順を示す図である。 分割沈降領域を示す図である。 初期沈降モデルの作成原理を説明する説明図である。 画素沈降モデルの修正原理を説明する説明図である。 画素沈降モデルの修正原理を説明する説明図である。 管空内画像の画素値分布の一例を示す図である。 図２０−１に示した画素値分布のＢ部断面図である。 異常部候補領域の検出原理を説明する説明図である。 異常部候補領域の検出原理を説明する説明図である。 異常部候補領域の検出原理を説明する説明図である。

符号の説明

３ カプセル型内視鏡
４ 受信装置
Ａ１〜Ａｎ 受信アンテナ
５ 可搬型記録媒体
７０ 画像処理装置
７１ 外部インターフェース
７２ 入力部
７３ 表示部
７４ 記憶部
７４１ 画像処理プログラム
７５ 演算部
７５１ 隆起形状推定部
７５１ａ 隆起頂上推定部
７５１ｂ 画素隆起モデル推定部
７５１ｃ 画素隆起モデル修正部
７５２ 沈降形状推定部
７５２ａ 沈降領域抽出部
７５２ｂ 沈降領域分割部
７５２ｃ 画素沈降モデル推定部
７５２ｄ 画素沈降モデル修正部
７５３ 隆起頂上異常判定部
７５４ 分割沈降領域異常判定部
７５５ 異常部候補検出部
７５６ 異常判定部
７６ 制御部
１ 被検体

Claims (23)

1. 被検体の体内の対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定部と、
   前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出部と、
   を備えることを特徴とする画像処理装置。
2. 前記モデル推定部は、前記対象物の隆起形状を映した前記画像内の隆起領域における画素値の勾配変化をモデル化し、前記隆起領域に隆起勾配モデルを設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記モデル推定部は、
   前記隆起勾配モデルの初期隆起勾配モデルを設定する初期隆起勾配モデル設定部と、
   前記初期隆起勾配モデルが設定された前記画像内の領域を構成する画素の画素値をもとに、前記初期隆起勾配モデルを初期状態とした前記隆起勾配モデルの修正を行う隆起勾配モデル修正部と、
   を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記隆起形状の頂上領域を検出し、前記隆起形状を映した前記画像内の隆起領域の概略位置として推定する隆起頂上推定部を備えることを特徴とする請求項３に記載の画像処理装置。
5. 前記初期隆起勾配モデル設定部は、前記隆起形状の前記頂上領域をもとに前記初期隆起勾配モデルを設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記隆起頂上推定部は、前記画像内を画素値をもとに複数の領域に分割する領域分割部を有し、前記領域毎に画素値を比較して、周囲の領域よりも画素値が大きい領域を前記頂上領域として検出することを特徴とする請求項４に記載の画像処理装置。
7. 前記領域分割部は、前記画像内の画素値をクラスタリングして領域分割を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記領域分割部は、ｋ−ｍｅａｎｓ法を適用して前記画素値のクラスタリングを行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記領域分割部は、前記画像内の画素値の分布を混合分布によって推定し、前記画素値のクラスタリングを行うことを特徴とする請求項７に記載の画像処理装置。
10. 前記隆起勾配モデル修正部は、動的輪郭モデルを用いて前記隆起勾配モデルを変形させることを特徴とする請求項３に記載の画像処理装置。
11. 前記頂上領域の特徴量を算出し、該算出した特徴量が所定の異常部候補条件を満たす頂上領域を前記異常部の候補領域として検出する隆起頂上異常判定部を備えることを特徴とする請求項４に記載の画像処理装置。
12. 前記異常部候補検出部は、前記隆起領域を構成する各画素の画素値と、該隆起領域に設定された隆起勾配モデルによって定まる前記隆起領域を構成する各画素の推定画素値との差分をもとに、該差分が所定の異常基準値範囲内である画素を前記異常部の候補領域の構成画素として検出することを特徴とする請求項２に記載の画像処理装置。
13. 前記モデル推定部は、前記対象物の沈降形状を映した前記画像内の沈降領域における画素値の勾配変化をモデル化し、前記沈降領域に沈降勾配モデルを設定することを特徴とする請求項２に記載の画像処理装置。
14. 前記モデル推定部は、
    前記沈降勾配モデルの初期沈降勾配モデルを設定する初期沈降勾配モデル設定部と、
    前記初期沈降勾配モデルが設定された前記画像内の領域を構成する画素の画素値をもとに、前記初期沈降勾配モデルの修正を行う沈降勾配モデル修正部と、
    を有することを特徴とする請求項１３に記載の画像処理装置。
15. 前記画像内の前記沈降領域を抽出する沈降領域抽出部を備えることを特徴とする請求項１３に記載の画像処理装置。
16. 前記沈降領域抽出部は、前記隆起勾配モデルが設定された隆起領域を除外した前記画像内の領域を前記沈降領域として抽出することを特徴とする請求項１５に記載の画像処理装置。
17. 前記沈降領域を構成する各画素についてそれぞれ最も近傍する隆起領域を選出し、選出した隆起領域が異なる境界位置を分割位置として前記沈降領域を分割する沈降領域分割部を備えることを特徴とする請求項１５に記載の画像処理装置。
18. 前記隆起領域の輪郭位置に所定数または所定間隔で設定点を配置する設定点配置部を備え、
    前記沈降領域分割部は、前記隆起領域について前記設定点配置部が設定した前記設定点を用い、前記分割された沈降領域をさらに分割することを特徴とする請求項１７に記載の画像処理装置。
19. 前記沈降勾配モデル修正部は、動的輪郭モデルを用いて前記沈降勾配モデルを変形させることを特徴とする請求項１４に記載の画像処理装置。
20. 前記沈降領域の特徴量を算出し、該算出した特徴量が所定の異常部候補条件を満たす分割沈降領域を前記異常部の候補領域として検出する沈降領域異常判定部を備えることを特徴とする請求項１５に記載の画像処理装置。
21. 前記異常部の候補領域の特徴量を算出し、該算出した特徴量が所定の異常部条件を満たす前記異常部の候補領域を前記対象物上の異常部と判定する異常判定部を備えることを特徴とする請求項１に記載の画像処理装置。
22. コンピュータに、
    被検体の体内の対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定手順と、
    前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出手順と、
    を実行させることを特徴とする画像処理プログラム。
23. 被検体の体内の対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定ステップと、
    前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出ステップと、
    を含むことを特徴とする画像処理装置の作動方法。