WO2012011303A1

WO2012011303A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2012011303A1
Application number: PCT/JP2011/058315
Authority: WO
Inventors: 田中　健一
Original assignee: オリンパスメディカルシステムズ株式会社
Priority date: 2010-07-21
Filing date: 2011-03-31
Publication date: 2012-01-26
Also published as: US8306301B2; CN102596001A; US20120121144A1; EP2476363A4; JPWO2012011303A1; CN102596001B; EP2476363A1; JP4971525B2

Abstract

　本発明の画像処理装置は、生体組織を撮像して得た画像の中から所定の形状の構造が存在すると推定される候補領域を検出する領域検出部と、候補領域の境界を検出する境界画素検出部と、境界の近傍かつ両側において局所領域を少なくとも１つずつ設定する領域設定部と、領域設定部により設定された各局所領域の画素単位毎に得られる所定の値に基づいて所定の特徴量を算出する特徴量算出部と、境界からみて一方の側の局所領域群における所定の特徴量の算出結果と、境界からみて他方の側の局所領域群における所定の特徴量の算出結果と、に基づいて判別値を算出する判別値算出部と、判別値の算出結果に基づいて候補領域の検出結果を補正する候補領域補正部と、を有する。

Description

画像処理装置及び画像処理方法

　本発明は、画像処理装置及び画像処理方法に関し、特に、生体組織の診断等に用いられる画像処理装置及び画像処理方法に関するものである。

　内視鏡等により体腔内の生体組織を撮像して得られた画像における病変部位（異常部位）の特定を支援する目的において、生体粘膜下の血管の走行パターン、及び（または）、上皮組織の所定の構造等を該画像の中から検出する画像処理に関する研究が近年進められている。

　例えば、日本国特開平１０－１４３６４８号公報には、ディジタル画像を平滑化して得られた平滑化画像を用い、該ディジタル画像に含まれる血管等の帯状の構造物のスケルトンを形成するような画像処理が開示されている。

　しかし、日本国特開平１０－１４３６４８号公報に開示された画像処理によれば、例えば、生体組織表面の段差の縁、及び、該段差に起因して生じた影のような、本来の検出対象とは異なるものが存在する領域と、血管等の帯状の構造物が存在する領域と、を混同したような処理結果が得られてしまう場合があるため、結果的に、本来の検出対象である血管等の検出精度が低下してしまう、という課題が生じている。

　本発明は、前述した事情に鑑みてなされたものであり、生体組織を撮像して得られた画像に含まれる所定の構造の検出精度を向上させることが可能な画像処理装置及び画像処理方法を提供することを目的としている。

　本発明の画像処理装置は、生体組織を撮像して得た画像の中から所定の形状の構造が存在すると推定される候補領域を検出する領域検出部と、前記候補領域の境界に相当する境界画素を検出する境界画素検出部と、前記境界画素の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域を少なくとも１つずつ設定する領域設定部と、前記領域設定部により設定された各局所領域の画素単位毎に得られる所定の値に基づいて所定の特徴量を算出する特徴量算出部と、前記境界画素からみて一方の側の近傍領域に設定された第１の局所領域群における前記所定の特徴量の算出結果と、前記境界画素からみて他方の側の近傍領域に設定された第２の局所領域群における前記所定の特徴量の算出結果と、に基づき、これら２つの前記所定の特徴量の算出結果の差異を判別可能とするための判別値を算出する判別値算出部と、前記判別値の算出結果に基づき、前記領域検出部による前記候補領域の検出結果を補正する候補領域補正部と、を有する。

　本発明の画像処理装置は、生体組織を撮像して得た画像の中から注目画素を選択する画素選択部と、前記注目画素の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域を少なくとも１つずつ設定する領域設定部と、前記領域設定部により設定された各局所領域の画素単位毎に得られる所定の値に基づいて所定の特徴量を算出する特徴量算出部と、前記注目画素からみて一方の側の近傍領域に設定された第１の局所領域群における前記所定の特徴量の算出結果と、前記注目画素からみて他方の側の近傍領域に設定された第２の局所領域群における前記所定の特徴量の算出結果と、に基づき、これら２つの前記所定の特徴量の算出結果の差異を判別可能とするための判別値を算出する判別値算出部と、前記判別値の算出結果に基づき、所定の形状の構造が存在すると推定される候補領域を前記画像の中から検出する候補領域検出部と、を有する。

　本発明の画像処理方法は、生体組織を撮像して得た画像の中から所定の形状の構造が存在すると推定される候補領域を検出する領域検出ステップと、前記候補領域の境界に相当する境界画素を検出する境界画素検出ステップと、前記境界画素の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域を少なくとも１つずつ設定する領域設定ステップと、前記領域設定ステップにより設定された各局所領域の画素単位毎に得られる所定の値に基づいて所定の特徴量を算出する特徴量算出ステップと、前記境界画素からみて一方の側の近傍領域に設定された第１の局所領域群における前記所定の特徴量の算出結果と、前記境界画素からみて他方の側の近傍領域に設定された第２の局所領域群における前記所定の特徴量の算出結果と、に基づき、これら２つの前記所定の特徴量の算出結果の差異を判別可能とするための判別値を算出する判別値算出ステップと、前記判別値の算出結果に基づき、前記領域検出ステップによる前記候補領域の検出結果を補正する候補領域補正ステップと、を有する。

　本発明の画像処理方法は、生体組織を撮像して得た画像の中から注目画素を選択する画素選択ステップと、前記注目画素の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域を少なくとも１つずつ設定する領域設定ステップと、前記領域設定ステップにより設定された各局所領域の画素単位毎に得られる所定の値に基づいて所定の特徴量を算出する特徴量算出ステップと、前記注目画素からみて一方の側の近傍領域に設定された第１の局所領域群における前記所定の特徴量の算出結果と、前記注目画素からみて他方の側の近傍領域に設定された第２の局所領域群における前記所定の特徴量の算出結果と、に基づき、これら２つの前記所定の特徴量の算出結果の差異を判別可能とするための判別値を算出する判別値算出ステップと、前記判別値の算出結果に基づき、所定の形状の構造が存在すると推定される候補領域を前記画像の中から検出する候補領域検出ステップと、を有する。

本発明の実施例に係る画像処理装置を有する内視鏡装置の要部の構成の一例を示す図。図１の光源装置が有する回転フィルタの構成の一例を示す図。図２の第１のフィルタ群が有する各フィルタの透過特性の一例を示す図。図２の第２のフィルタ群が有する各フィルタの透過特性の一例を示す図。本発明の第１の実施例において行われる処理の一例を示すフローチャート。処理対象となる画像データの一例を示す模式図。血管候補領域の検出結果の一例を示す模式図。本発明の第１の実施例において、２つの境界画素と、領域ＡＲ１及びＡＲ２との間の位置関係を説明するための図。血管候補領域に実際に血管が存在すると推定される場合の色調の変動の一例を示すグラフ。血管候補領域に非血管構造が存在すると推定される場合の色調の変動の一例を示すグラフ。補正後の血管候補領域の検出結果の一例を示す模式図。本発明の第１の実施例の変形例において行われる処理の一例を示すフローチャート。本発明の第１の実施例の変形例において、注目画素と、領域ＡＲ１及びＡＲ２との間の位置関係を説明するための図。本発明の第２の実施例において行われる処理の一例を示すフローチャート。本発明の第２の実施例において、２つの境界画素と、領域ＡＲ３及びＡＲ４との間の位置関係を説明するための図。血管候補領域に実際に血管が存在すると推定される場合の勾配強度の変動の一例を示すグラフ。血管候補領域に非血管構造が存在すると推定される場合の勾配強度の変動の一例を示すグラフ。

　以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

（第１の実施例）
　図１から図１１は、本発明の第１の実施例に係るものである。

　内視鏡装置１は、図１に示すように、被検者の体腔内に挿入され、該体腔内の生体組織１０１等の被写体を撮像して得た画像を信号出力する内視鏡２と、生体組織１０１を照明するための照明光を発する光源装置３と、内視鏡２からの出力信号に対して種々の処理を施すプロセッサ４と、プロセッサ４からの映像信号に応じた画像を表示する表示装置５と、プロセッサ４における処理結果に応じた出力信号を記憶する外部記憶装置６と、を有して構成されている。

　内視鏡２は、被検者の体腔内に挿入可能な形状及び寸法を備えた挿入部２１ａと、挿入部２１ａの先端側に設けられた先端部２１ｂと、挿入部２１ａの基端側に設けられた操作部２１ｃと、を有して構成されている。また、挿入部２１ａの内部には、光源装置３において発せられた照明光を先端部２１ｂへ伝送するためのライトガイド７が挿通されている。

　ライトガイド７の一方の端面（光入射端面）は、光源装置３に着脱自在に接続される。また、ライトガイド７の他方の端面（光出射端面）は、内視鏡２の先端部２１ｂに設けられた図示しない照明光学系の近傍に配置されている。このような構成によれば、光源装置３において発せられた照明光は、光源装置３に接続された状態のライトガイド７、及び、先端部２１ｂに設けられた図示しない照明光学系を経た後、生体組織１０１に対して出射される。

　内視鏡２の先端部２１ｂには、被写体の光学像を結像する対物光学系２２と、対物光学系２２により結像された光学像を撮像して画像を取得するＣＣＤ２３と、が設けられている。また、内視鏡２の操作部２１ｃには、観察モードを通常光観察モードまたは狭帯域光観察モードのいずれかに切り替えるための指示を行うことが可能な観察モード切替スイッチ２４が設けられている。

　光源装置３は、キセノンランプ等からなる白色光源３１と、白色光源３１から発せられた白色光を面順次な照明光とする回転フィルタ３２と、回転フィルタ３２を回転駆動させるモータ３３と、回転フィルタ３２及びモータ３３を白色光源３１の出射光路に垂直な方向に移動させるモータ３４と、プロセッサ４の制御に基づいてモータ３３及び３４を駆動させる回転フィルタ駆動部３５と、回転フィルタ３２を通過した照明光を集光してライトガイド７の入射端面に供給する集光光学系３６と、を有している。

　回転フィルタ３２は、図２に示すように、中心を回転軸とした円板状に構成されており、内周側の周方向に沿って設けられた複数のフィルタを具備する第１のフィルタ群３２Ａと、外周側の周方向に沿って設けられた複数のフィルタを具備する第２のフィルタ群３２Ｂと、を有している。そして、モータ３３の駆動力が前記回転軸に伝達されることにより、回転フィルタ３２が回転する。なお、回転フィルタ３２において、第１のフィルタ群３２Ａ及び第２のフィルタ群３２Ｂの各フィルタが配置されている部分以外は、遮光部材により構成されているものとする。

　第１のフィルタ群３２Ａは、各々が回転フィルタ３２の内周側の周方向に沿って設けられた、赤色の波長帯域の光を透過させるＲフィルタ３２ｒと、緑色の波長帯域の光を透過させるＧフィルタ３２ｇと、青色の波長帯域の光を透過させるＢフィルタ３２ｂとを有して構成されている。

　Ｒフィルタ３２ｒは、例えば図３に示すように、主に６００ｎｍから７００ｎｍまでの光（Ｒ光）を透過させるような構成を有している。また、Ｇフィルタ３２ｇは、例えば図３に示すように、主に５００ｎｍから６００ｎｍまでの光（Ｇ光）を透過させるような構成を有している。さらに、Ｂフィルタ３２ｂは、例えば図３に示すように、主に４００ｎｍから５００ｎｍまでの光（Ｂ光）を透過させるような構成を有している。

　すなわち、白色光源３１において発せられた白色光が第１のフィルタ群３２Ａを経ることにより、通常光観察モード用の広帯域光が生成される。

　第２のフィルタ群３２Ｂは、各々が回転フィルタ３２の外周側の周方向に沿って設けられた、青色かつ狭帯域な光を透過させるＢｎフィルタ３２１ｂと、緑色かつ狭帯域な光を透過させるＧｎフィルタ３２１ｇと、を有して構成されている。

　Ｂｎフィルタ３２１ｂは、例えば図４に示すように、中心波長が４１５ｎｍ付近に設定され、かつ、Ｂ光に比べて狭い帯域の光（Ｂｎ光）を透過させるように構成されている。

　また、Ｇｎフィルタ３２１ｇは、例えば図４に示すように、中心波長が５４０ｎｍ付近に設定され、かつ、Ｇ光に比べて狭い帯域の光（Ｇｎ光）を透過させるように構成されている。

　すなわち、白色光源３１において発せられた白色光が第２のフィルタ群３２Ｂを経て離散化されることにより、狭帯域光観察モード用の複数の帯域の狭帯域光が生成される。

　プロセッサ４は、画像処理装置としての機能を備えて構成されている。具体的には、プロセッサ４は、画像処理部４１と、制御部４２と、を有して構成されている。また、画像処理部４１は、画像データ生成部４１ａと、演算部４１ｂと、映像信号生成部４１ｃと、を有して構成されている。

　画像処理部４１の画像データ生成部４１ａは、制御部４２の制御に基づき、内視鏡２からの出力信号に対してノイズ除去及びＡ／Ｄ変換等の処理を施すことにより、ＣＣＤ２３において得られた画像に応じた画像データを生成する。

　画像処理部４１の演算部４１ｂは、画像データ生成部４１ａにより生成された画像データを用いた所定の処理を行うことにより、血管等の所定の構造を該画像データの中から検出する。なお、前述の所定の処理の詳細については、後程詳述するものとする。

　画像処理部４１の映像信号生成部４１ｃは、画像データ生成部４１ａにより生成された画像データに対してガンマ変換及びＤ／Ａ変換等の処理を施すことにより、映像信号を生成して出力する。

　制御部４２は、観察モード切替スイッチ２４の指示に基づき、通常光観察モードに切り替える指示が行われたことが検出された場合、通常光観察モード用の広帯域光を光源装置３から出射させるための制御を回転フィルタ駆動部３５に対して行う。そして、回転フィルタ駆動部３５は、制御部４２の制御に基づき、白色光源３１の出射光路上に第１のフィルタ群３２Ａを介挿させ、かつ、白色光源３１の出射光路上から第２のフィルタ群３２Ｂを退避させるように、モータ３４を動作させる。

　また、制御部４２は、観察モード切替スイッチ２４の指示に基づき、狭帯域光観察モードに切り替える指示が行われたことが検出された場合、狭帯域光観察モード用の複数の帯域の狭帯域光を光源装置３から出射させるための制御を回転フィルタ駆動部３５に対して行う。そして、回転フィルタ駆動部３５は、制御部４２の制御に基づき、白色光源３１の出射光路上に第２のフィルタ群３２Ｂを介挿させ、かつ、白色光源３１の出射光路上から第１のフィルタ群３２Ａを退避させるように、モータ３４を動作させる。

　すなわち、以上に述べた内視鏡装置１の構成によれば、通常光観察モードが選択された場合には、対象物を肉眼で見た場合と略同様の色合いを有する画像（通常光画像）を表示装置５に表示させ、さらに、外部記憶装置６に記憶させることができる。また、以上に述べた内視鏡装置１の構成によれば、狭帯域光観察モードが選択された場合には、生体組織１０１に含まれる血管が強調された画像（狭帯域光画像）を表示装置５に表示させ、さらに、外部記憶装置６に記憶させることができる。

　ここで、内視鏡装置１の作用について説明を行う。

　まず、術者は、内視鏡装置１の各部の電源を投入した後、観察モード切替スイッチ２４において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置５に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡２を体腔内に挿入してゆくことにより、観察対象の生体組織１０１が存在する部位に先端部２１ｂを近接させる。

　観察モード切替スイッチ２４において通常光観察モードが選択されると、Ｒ光、Ｇ光及びＢ光の各色の光が光源装置３から生体組織１０１へ順次出射され、内視鏡２において該各色の光に応じた画像がそれぞれ取得される。

　画像処理部４１の画像データ生成部４１ａは、Ｒ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が入力されると、各画像に対応する色成分の画像データをそれぞれ生成する（図５のステップＳ１）。なお、本実施例においては、説明の簡単のため、例えば図６に模式的に示すような、検出対象となる所定の構造に相当する血管と、生体組織表面の段差の縁等である非血管構造と、背景粘膜と、を含む画像データに対して処理を行うものとして説明を進める。

　領域検出部の機能を備えた演算部４１ｂは、画像データ生成部４１ａにより生成された画像データに対して公知の血管検出手法を用いた処理を施すことにより、血管が存在すると推定される候補領域としての血管候補領域を該画像データの中から検出した（図５のステップＳ２）後、該血管候補領域の検出結果を一時的に保持する。

　具体的には、演算部４１ｂは、図６に模式的に示した画像データに対して公知の血管検出手法を用いた処理を施すことにより、例えば図７に示すような血管候補領域の検出結果を得る。なお、本実施例においては、図７の斜線模様の部分を血管候補領域であるとして説明を進める。なお、前述のような検出結果を得るための公知の血管検出手法として、例えば、バンドパスフィルタを用いた血管検出手法、または、ベクトル集中度による線分検出手法等の種々の手法を適用することができる。

　一方、境界画素検出部の機能を備えた演算部４１ｂは、図５のステップＳ２の処理により得られた血管候補領域の検出結果に基づき、この検出結果に閾値処理等を施して二値化した画像を用いて該血管候補領域の縁部の画素に相当する境界画素を探索する（図５のステップＳ３）。

　演算部４１ｂは、図５のステップＳ３の処理により得られた境界画素に対してＳｏｂｅｌフィルタ等のフィルタを適用することにより、該境界画素の勾配方向を算出する（図５のステップＳ４）。

　演算部４１ｂは、互いの勾配方向のなす角度が１８０°または略１８０°であり、かつ、互いに最も近い位置に存在する２つの境界画素を１つの境界画素対として検出する処理を、図５のステップＳ４の処理により得られた境界画素に対して行う（図５のステップＳ５）。

　演算部４１ｂは、図５のステップＳ５の処理により検出された境界画素対に基づき、一方の境界画素から勾配方向に向かって所定の距離だけ離れた位置の画素を中心とする領域ＡＲ１と、他方の境界画素から勾配方向に向かって該所定の距離だけ離れた位置の画素を中心とする領域ＡＲ２と、をそれぞれ設定する（図５のステップＳ６）。

　具体的には、例えば、前述の所定の距離を２画素分の距離とし、かつ、領域ＡＲ１及びＡＲ２をいずれも３×３画素の矩形領域とした場合、１つの境界画素対をなす２つの境界画素と、領域ＡＲ１及びＡＲ２との間の位置関係は、図８に模式的に示すようなものとなる。

　なお、領域ＡＲ１及びＡＲ２は、いずれも１画素以上の面積の領域として設定される限りにおいては、どのような形状の領域であってもよい。また、１つの境界画素対に対して領域ＡＲ１及びＡＲ２がそれぞれ複数設定されるものであってもよい。さらに、前述の所定の距離は、任意の距離としてもよい。

　すなわち、領域設定部の機能を備えた演算部４１ｂは、１つの境界画素対の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域としての領域ＡＲ１及びＡＲ２を設定する。

　特徴量算出部の機能を備えた演算部４１ｂは、図５のステップＳ６の処理結果に基づき、領域ＡＲ１における色調特徴量Ｖａ１を算出するとともに、領域ＡＲ２における色調特徴量Ｖａ２を算出する（図５のステップＳ７）。

　具体的には、例えば、緑色の画素値をＧａとし、かつ、赤色の画素値をＲａとした場合、演算部４１ｂは、領域ＡＲ１において設定された画素単位毎に得られるＧａ／Ｒａの値の平均値を色調特徴量Ｖａ１として算出する。また、演算部４１ｂは、領域ＡＲ２において設定された画素単位毎に得られるＧａ／Ｒａの値の平均値を色調特徴量Ｖａ２として算出する。

　なお、演算部４１ｂは、各画素のＧａ／Ｒａの値の平均値を色調特徴量Ｖａ１及びＶａ２として算出するものに限らず、例えば、各画素のＧａ／Ｒａの値の最大値を取得して色調特徴量Ｖａ１及びＶａ２とするものであってもよく、または、各画素のＧａ／Ｒａの値の最小値を取得して色調特徴量Ｖａ１及びＶａ２とするものであってもよい。

　また、演算部４１ｂは、後述の図９及び図１０のような値の変動を示すものを用いる限りにおいては、例えば、Ｇａ／Ｒａの値と、ＲＧＢのいずれかの色成分の画素値と、輝度値（白黒の階調値）と、を単独でまたは複数組み合わせて用いて色調特徴量Ｖａ１及びＶａ２を算出してもよい。

　一方、演算部４１ｂは、境界画素対をなす２つの境界画素の間に存在する、血管候補領域の中央部の画素におけるＧａ／Ｒａの値を色調特徴量Ｖｓとして算出する。その後、演算部４１ｂは、色調特徴量Ｖａ１またはＶａ２が色調特徴量Ｖｓ以下であるか否かの判定を行う（図５のステップＳ８）。

　そして、演算部４１ｂは、色調特徴量Ｖａ１またはＶａ２の少なくともいずれか一方が色調特徴量Ｖｓ以下であるとの判定結果を得た場合、領域ＡＲ１側の境界画素と領域ＡＲ２側の境界画素との間の血管候補領域における重み係数Ｗ１を１とした（図５のステップＳ９）後、図５のステップＳ１１の処理を引き続き行う。また、演算部４１ｂは、色調特徴量Ｖａ１及びＶａ２の両方が色調特徴量Ｖｓよりも大きいという判定結果を得た場合、下記数式（１）を用いた演算を行って重み係数Ｗ１を算出する（図５のステップＳ１０）。なお、色調特徴量Ｖｓとして他の値（例えば血管候補領域の中央部の画素におけるＲａの値）を算出した場合には、図５のステップＳ８の判定処理における大小関係を適宜逆転させて重み係数Ｗ１を算出すればよい。また、本実施例によれば、色調特徴量Ｖａ１＝Ｖａ２の場合に重み係数Ｗ１が最大値となるような数式を用いる限りにおいては、下記数式（１）とは異なる数式を用いて重み係数Ｗ１を算出するものであってもよい。

　上記数式（１）におけるＴｈｒｅは、例えば、Ｔｈｒｅ＝０．４として予め設定される閾値であるとする。

　ここで、領域ＡＲ１の中心Ｃ１から領域ＡＲ２の中心Ｃ２に至るまでにおいてＧａ／Ｒａの値を順番に算出した際に、図９のグラフに示すような値の変動が得られた場合、すなわち、領域ＡＲ１と領域ＡＲ２との間に色調の差異が略生じていない場合には、領域ＡＲ１側の境界画素と領域ＡＲ２側の境界画素との間の血管候補領域に実際に血管が存在するものと推定される。

　その一方で、領域ＡＲ１の中心Ｃ１から領域ＡＲ２の中心Ｃ２に至るまでにおいてＧａ／Ｒａの値を順番に算出した際に、図１０のグラフに示すような値の変動が得られた場合、すなわち、領域ＡＲ１と領域ＡＲ２との間に明らかな色調の差異が生じている場合には、領域ＡＲ１側の境界画素と領域ＡＲ２側の境界画素との間の血管候補領域に非血管構造が存在するものと推定される。

　そして、色調特徴量Ｖａ１及びＶａ２の比を用いて構成された上記数式（１）によれば、領域ＡＲ１側の境界画素と領域ＡＲ２側の境界画素との間の血管候補領域に実際に血管が存在すると推定される場合には相対的に大きな値となり、かつ、該血管候補領域に非血管構造が存在すると推定される場合には相対的に小さな値となるような重み係数Ｗ１を、図５のステップＳ８の判定処理における判定条件に適合しない場合に得ることができる。

　すなわち、判別値算出部の機能を備えた演算部４１ｂは、領域ＡＲ１における色調特徴量Ｖａ１の算出結果と、領域ＡＲ２における色調特徴量Ｖａ２の算出結果と、に基づき、これら２つの色調特徴量の算出結果の差異を判別可能とするための判別値としての重み係数Ｗ１を算出する。

　また、例えば、領域ＡＲ１またはＡＲ２のいずれかに血管の分岐点等に相当する画素が含まれる場合においても、領域ＡＲ１と領域ＡＲ２との間に明らかな色調の差異が生じると考えられる。そのため、領域ＡＲ１またはＡＲ２のいずれかに血管の分岐点等に相当する画素が含まれる場合には、上記数式（１）を用いた演算により重み係数Ｗ１を算出することができない。そこで、本実施例においては、図５のステップＳ８の判定条件に適合した場合に、領域ＡＲ１側の境界画素と領域ＡＲ２側の境界画素との間の血管候補領域における重み係数Ｗ１を１とすることにより、図５のステップＳ２において得られた血管候補領域の検出結果が保持されるようにしている。

　一方、候補領域補正部の機能を備えた演算部４１ｂは、図５のステップＳ９及びＳ１０の処理により得られた重み係数Ｗ１を用い、図５のステップＳ２の処理により得られた血管候補領域の検出結果を補正する（図５のステップＳ１１）。

　具体的には、例えば、血管候補領域の画素群において一様に高い評価値となり、かつ、血管候補領域以外の画素群において一様に低い評価値となるような検出結果が図５のステップＳ２の処理を経て得られた場合、この検出結果に対して重み係数Ｗ１を重畳する（乗じる）ことにより、各血管候補領域に属する画素群のうち、非血管構造が存在すると推定される画素群の評価値を、血管候補領域以外の画素群における評価値と略同程度の大きさまで低下させることができる。

　そして、演算部４１ｂは、図５のステップＳ１１の処理結果として、例えば図１１に示すように補正された血管候補領域の検出結果を得ることができる。

　従って、本実施例によれば、非血管構造が存在すると推定される画素群が血管候補領域の検出結果として含まれてしまっている場合に、図５に示した一連の処理を行うことにより、該画素群を極力取り除くように該検出結果を補正することができる。

　なお、本実施例の処理は、血管に対してのみ適用されるものに限らず、例えばピットパターンのような、血管以外の構造に対しても略同様に適用することができる。また、本実施例によれば、上記数式（１）の演算を経て得られる重み係数Ｗ１の逆数を利用した処理を行うことにより、例えば、生体組織表面の段差の縁、及び、該段差に起因して生じた影に相当する部分を画像内から検出することもできる。そのため、本実施例によれば、生体組織を撮像して得られた画像に含まれる（血管等の）所定の構造の検出精度を従来に比べて向上させることができる。

　また、本実施例によれば、公知の手法を用いて得られた血管候補領域の検出結果に重み係数Ｗ１を適用して該検出結果を補正するような処理を行うものに限らず、例えば、画像データの各画素毎に重み係数Ｗ１を算出した算出結果を血管候補領域の検出結果として得るような処理を行うものであってもよい。

　ここで、図１２及び図１３を主に参照しつつ、本実施例の変形例に係る処理についての説明を行う。なお、以上までに既に述べたものと略同様の処理等を適用可能な部分については、適宜省略しつつ以降の説明を進めてゆくものとする。

　画像処理部４１の画像データ生成部４１ａは、Ｒ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が入力されると、各画像に対応する色成分の画像データをそれぞれ生成する（図１２のステップＳ２１）。

　画素選択部の機能を備えた演算部４１ｂは、画像データ生成部４１ａにより生成された画像データの各画素の中から、注目画素を１つ選択する（図１２のステップＳ２２）。

　演算部４１ｂは、図１２のステップＳ２２の処理において選択された注目画素に対してＳｏｂｅｌフィルタ等のフィルタを適用することにより、該注目画素の勾配方向を算出する（図１２のステップＳ２３）。

　演算部４１ｂは、図１２のステップＳ２３の処理において算出された勾配方向に基づき、注目画素から勾配方向に向かって所定の距離だけ離れた位置の画素を中心とする領域ＡＲ１と、注目画素から勾配方向の逆方向（勾配方向に対して１８０°または略１８０°の角度をなす方向）に向かって該所定の距離だけ離れた位置の画素を中心とする領域ＡＲ２と、をそれぞれ設定する（図１２のステップＳ２４）。

　具体的には、例えば、領域ＡＲ１及びＡＲ２をいずれも３×３画素の矩形領域とした場合、注目画素と、領域ＡＲ１及びＡＲ２との間の位置関係は、図１３に模式的に示すようなものとなる。

　すなわち、領域設定部の機能を備えた演算部４１ｂは、注目画素の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域としての領域ＡＲ１及びＡＲ２を設定する。

　演算部４１ｂは、図１２のステップＳ２４の処理結果に基づき、領域ＡＲ１における色調特徴量Ｖａ１を算出するとともに、領域ＡＲ２における色調特徴量Ｖａ２を算出する（図１２のステップＳ２５）。

　演算部４１ｂは、図１２のステップＳ２５において算出された色調特徴量Ｖａ１及びＶａ２を上記数式（１）に適用して重み係数Ｗ１を算出した（図１２のステップＳ２６）後、画像データに含まれる全画素において重み係数Ｗ１を算出したか否かの判定を行う（図１２のステップＳ２７）。

　その後、演算部４１ｂは、重み係数Ｗ１を算出していない画素がなくなるまで、図１２のステップＳ２２からステップＳ２６までの処理を繰り返し行う。そして、候補領域検出部の機能を備えた演算部４１ｂは、画像データに含まれる全画素における重み係数Ｗ１の算出が完了すると、重み係数Ｗ１の算出結果に基づき、重み係数Ｗ１が所定の閾値以上となる画素群を血管候補領域として検出する（図１２のステップＳ２８）。

　なお、本変形例の処理は、血管に対してのみ適用されるものに限らず、例えばピットパターンのような、血管以外の構造に対しても略同様に適用することができる。また、本変形例によれば、上記数式（１）の演算を経て得られる重み係数Ｗ１の逆数を利用した処理を行うことにより、例えば、生体組織表面の段差の縁、及び、該段差に起因して生じた影に相当する部分を画像内から検出することもできる。そのため、前述の実施例の処理の代わりに本変形例の処理を用いた場合であっても、生体組織を撮像して得られた画像に含まれる（血管等の）所定の構造の検出精度を従来に比べて向上させることができる。

（第２の実施例）
　図１４から図１７は、本発明の第２の実施例に係るものである。

　なお、本実施例においては、第１の実施例と同様の構成の内視鏡装置１を用いて処理を行う。そのため、本実施例においては、内視鏡装置の構成に関しての詳細な説明を省略する。

　ここで、本実施例の作用について説明を行う。なお、第１の実施例において既に述べたものと略同様の処理等を適用可能な部分については、適宜省略しつつ以降の説明を進めてゆくものとする。

　画像処理部４１の画像データ生成部４１ａは、Ｒ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が入力されると、各画像に対応する色成分の画像データをそれぞれ生成する（図１４のステップＳ４１）。なお、本実施例においては、説明の簡単のため、例えば図６に模式的に示すような、検出対象となる所定の構造に相当する血管と、生体組織表面の段差の縁等である非血管構造と、背景粘膜と、を含む画像データに対して処理を行うものとして説明を進める。

　演算部４１ｂは、画像データ生成部４１ａにより生成された画像データに対して公知の血管検出手法を用いた処理を施すことにより、血管が存在すると推定される候補領域としての血管候補領域を該画像データの中から検出した（図１４のステップＳ４２）後、該血管候補領域の検出結果を一時的に保持する。

　一方、演算部４１ｂは、図１４のステップＳ４２の処理により得られた血管候補領域の検出結果に基づき、この検出結果に閾値処理等を施して二値化した画像を用いて該血管候補領域の縁部の画素に相当する境界画素を探索する（図１４のステップＳ４３）。

　演算部４１ｂは、図１４のステップＳ４３の処理により得られた境界画素に対してＳｏｂｅｌフィルタ等のフィルタを適用することにより、該境界画素の勾配方向を算出する（図１４のステップＳ４４）。

　演算部４１ｂは、互いの勾配方向のなす角度が１８０°または略１８０°であり、かつ、互いに最も近い位置に存在する２つの境界画素を１つの境界画素対として検出する処理を、図１４のステップＳ４４の処理により得られた境界画素に対して行う（図１４のステップＳ４５）。

　演算部４１ｂは、図１４のステップＳ４５の処理により検出された境界画素対に基づき、一方の境界画素から勾配方向に向かって所定の距離だけ離れた位置の画素を中心とする領域ＡＲ３と、他方の境界画素から勾配方向に向かって該所定の距離だけ離れた位置の画素を中心とする領域ＡＲ４と、をそれぞれ設定する（図１４のステップＳ４６）。

　具体的には、例えば、前述の所定の距離を１．５画素分の距離とし、かつ、領域ＡＲ３及びＡＲ４をいずれも３×３画素の矩形領域とした場合、１つの境界画素対をなす２つの境界画素と、領域ＡＲ３及びＡＲ４との間の位置関係は、図１５に模式的に示すようなものとなる。

　なお、領域ＡＲ３及びＡＲ４は、いずれも境界画素の少なくとも一部を含む１画素以上の面積の領域として設定される限りにおいては、どのような形状の領域であってもよい。（図１５に示した領域ＡＲ３及びＡＲ４は、３×３画素の矩形領域内に境界画素を０．５画素分含むように設定される場合を例に挙げている。）また、１つの境界画素対に対して領域ＡＲ３及びＡＲ４がそれぞれ複数設定されるものであってもよい。さらに、前述の所定の距離は、領域ＡＲ３の内部に一方の境界画素の少なくとも一部が含まれ、かつ、領域ＡＲ４の内部に他方の境界画素の少なくとも一部が含まれるように設定される限りにおいては、任意の距離としてもよい。

　すなわち、領域設定部の機能を備えた演算部４１ｂは、境界画素対の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域としての領域ＡＲ３及びＡＲ４を設定する。

　特徴量算出部の機能を備えた演算部４１ｂは、図１４のステップＳ４６の処理結果に基づき、領域ＡＲ３における勾配特徴量Ｖｂ１を算出するとともに、領域ＡＲ４における勾配特徴量Ｖｂ２を算出する（図１４のステップＳ４７）。

　具体的には、演算部４１ｂは、例えば、領域ＡＲ３において設定された画素単位毎にＳｏｂｅｌフィルタを適用して得られる勾配強度の平均値を勾配特徴量Ｖｂ１として算出する。また、演算部４１ｂは、例えば、領域ＡＲ４において設定された画素単位毎にＳｏｂｅｌフィルタを適用して得られる勾配強度の平均値を勾配特徴量Ｖｂ２として算出する。

　なお、演算部４１ｂは、画素単位毎にＳｏｂｅｌフィルタを適用して勾配強度を得るものに限らず、他の手法を用いて画素単位毎の勾配強度を得るものであってもよい。

　一方、演算部４１ｂは、図１４のステップＳ４７の処理により得られた勾配特徴量Ｖｂ１及びＶｂ２を下記数式（２）に適用することにより、重み係数Ｗ２を算出する（図１４のステップＳ４８）。なお、本実施例によれば、勾配特徴量Ｖｂ１＝Ｖｂ２の場合に重み係数Ｗ２が最大値となるような数式を用いる限りにおいては、下記数式（２）とは異なる数式を用いて重み係数Ｗ２を算出するものであってもよい。

　ここで、領域ＡＲ３の中心Ｃ３から領域ＡＲ４の中心Ｃ４に至るまでにおいて勾配強度を順番に算出した際に、図１６のグラフに示すような値の変動が得られた場合、すなわち、領域ＡＲ３と領域ＡＲ４との間に勾配強度の差異が略生じていない場合には、領域ＡＲ３側の境界画素と領域ＡＲ４側の境界画素との間の血管候補領域に実際に血管が存在するものと推定される。

　その一方で、領域ＡＲ３の中心Ｃ３から領域ＡＲ４の中心Ｃ４に至るまでにおいて勾配強度を順番に算出した際に、図１７のグラフに示すような値の変動が得られた場合、すなわち、領域ＡＲ３と領域ＡＲ４との間に明らかな勾配強度の差異が生じている場合には、領域ＡＲ３側の境界画素と領域ＡＲ４側の境界画素との間の血管候補領域に非血管構造が存在するものと推定される。

　そして、勾配特徴量Ｖｂ１及びＶｂ２の比を用いて構成された上記数式（２）によれば、領域ＡＲ３側の境界画素と領域ＡＲ４側の境界画素との間の血管候補領域に実際に血管が存在すると推定される場合には相対的に大きな値となり、かつ、該血管候補領域に非血管構造が存在すると推定される場合には相対的に小さな値となるような重み係数Ｗ２を得ることができる。

　すなわち、判別値算出部の機能を備えた演算部４１ｂは、領域ＡＲ３における勾配特徴量Ｖｂ１の算出結果と、領域ＡＲ４における勾配特徴量Ｖｂ２の算出結果と、に基づき、これら２つの勾配特徴量の算出結果の差異を判別可能とするための判別値としての重み係数Ｗ２を算出する。

　候補領域補正部の機能を備えた演算部４１ｂは、図１４のステップＳ４８の処理により得られた重み係数Ｗ２を用い、図１４のステップＳ４２の処理により得られた血管候補領域の検出結果を補正する（図１４のステップＳ４９）。

　具体的には、例えば、血管候補領域の画素群において一様に高い評価値となり、かつ、血管候補領域以外の画素群において一様に低い評価値となるような検出結果が図１４のステップＳ４２の処理を経て得られた場合、この検出結果に対して重み係数Ｗ２を重畳する（乗じる）ことにより、各血管候補領域に属する画素群のうち、非血管構造が存在すると推定される画素群の評価値を、血管候補領域以外の画素群における評価値と略同程度の大きさまで低下させることができる。

　そして、演算部４１ｂは、図１４のステップＳ４９の処理結果として、例えば図１１に示すように補正された血管候補領域の検出結果を得ることができる。

　従って、本実施例によれば、非血管構造が存在すると推定される画素群が血管候補領域の検出結果として含まれてしまっている場合に、図１４に示した一連の処理を行うことにより、該画素群を極力取り除くように該検出結果を補正することができる。

　なお、本実施例の処理は、血管に対してのみ適用されるものに限らず、例えばピットパターンのような、血管以外の構造に対しても略同様に適用することができる。また、本変形例によれば、上記数式（２）の演算を経て得られる重み係数Ｗ２の逆数を利用した処理を行うことにより、例えば、生体組織表面の段差の縁、及び、該段差に起因して生じた影に相当する部分を画像内から検出することもできる。そのため、本実施例によれば、生体組織を撮像して得られた画像に含まれる（血管等の）所定の構造の検出精度を従来に比べて向上させることができる。

　本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

　本出願は、２０１０年７月２１日に日本国に出願された特願２０１０－１６４２３８号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims

　生体組織を撮像して得た画像の中から所定の形状の構造が存在すると推定される候補領域を検出する領域検出部と、
　前記候補領域の境界に相当する境界画素を検出する境界画素検出部と、
　前記境界画素の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域を少なくとも１つずつ設定する領域設定部と、
　前記領域設定部により設定された各局所領域の画素単位毎に得られる所定の値に基づいて所定の特徴量を算出する特徴量算出部と、
　前記境界画素からみて一方の側の近傍領域に設定された第１の局所領域群における前記所定の特徴量の算出結果と、前記境界画素からみて他方の側の近傍領域に設定された第２の局所領域群における前記所定の特徴量の算出結果と、に基づき、これら２つの前記所定の特徴量の算出結果の差異を判別可能とするための判別値を算出する判別値算出部と、
　前記判別値の算出結果に基づき、前記領域検出部による前記候補領域の検出結果を補正する候補領域補正部と、
　を有することを特徴とする画像処理装置。
　前記第１の局所領域群及び前記第２の局所領域群は、前記境界画素の勾配方向に基づいてそれぞれ設定されることを特徴とする請求項１に記載の画像処理装置。
　前記特徴量算出部は、前記領域設定部により設定された各局所領域の画素単位毎に得られる画素値、画素値の比、輝度値、及び、勾配強度のうちの少なくとも１つに基づいて前記所定の特徴量を算出することを特徴とする請求項１に記載の画像処理装置。
　前記特徴量算出部は、前記所定の値の平均値、最大値、または、最小値のいずれか１つを前記所定の特徴量として算出することを特徴とする請求項１に記載の画像処理装置。
　前記所定の形状は、線状であることを特徴とする請求項１に記載の画像処理装置。
　生体組織を撮像して得た画像の中から注目画素を選択する画素選択部と、
　前記注目画素の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域を少なくとも１つずつ設定する領域設定部と、
　前記領域設定部により設定された各局所領域の画素単位毎に得られる所定の値に基づいて所定の特徴量を算出する特徴量算出部と、
　前記注目画素からみて一方の側の近傍領域に設定された第１の局所領域群における前記所定の特徴量の算出結果と、前記注目画素からみて他方の側の近傍領域に設定された第２の局所領域群における前記所定の特徴量の算出結果と、に基づき、これら２つの前記所定の特徴量の算出結果の差異を判別可能とするための判別値を算出する判別値算出部と、
　前記判別値の算出結果に基づき、所定の形状の構造が存在すると推定される候補領域を前記画像の中から検出する候補領域検出部と、
　を有することを特徴とする画像処理装置。
　前記第１の局所領域群及び前記第２の局所領域群は、前記注目画素の勾配方向に基づいてそれぞれ設定されることを特徴とする請求項６に記載の画像処理装置。
　前記特徴量算出部は、前記領域設定部により設定された各局所領域の画素単位毎に得られる画素値、画素値の比、輝度値、及び、勾配強度のうちの少なくとも１つに基づいて前記所定の特徴量を算出することを特徴とする請求項６に記載の画像処理装置。
　前記特徴量算出部は、前記所定の値の平均値、最大値、または、最小値のいずれか１つを前記所定の特徴量として算出することを特徴とする請求項６に記載の画像処理装置。
　前記所定の形状は、線状であることを特徴とする請求項６に記載の画像処理装置。
　生体組織を撮像して得た画像の中から所定の形状の構造が存在すると推定される候補領域を検出する領域検出ステップと、
　前記候補領域の境界に相当する境界画素を検出する境界画素検出ステップと、
　前記境界画素の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域を少なくとも１つずつ設定する領域設定ステップと、
　前記領域設定ステップにより設定された各局所領域の画素単位毎に得られる所定の値に基づいて所定の特徴量を算出する特徴量算出ステップと、
　前記境界画素からみて一方の側の近傍領域に設定された第１の局所領域群における前記所定の特徴量の算出結果と、前記境界画素からみて他方の側の近傍領域に設定された第２の局所領域群における前記所定の特徴量の算出結果と、に基づき、これら２つの前記所定の特徴量の算出結果の差異を判別可能とするための判別値を算出する判別値算出ステップと、
　前記判別値の算出結果に基づき、前記領域検出ステップによる前記候補領域の検出結果を補正する候補領域補正ステップと、
　を有することを特徴とする画像処理方法。
　前記第１の局所領域群及び前記第２の局所領域群は、前記境界画素の勾配方向に基づいてそれぞれ設定されることを特徴とする請求項１１に記載の画像処理方法。
　前記特徴量算出ステップは、前記領域設定ステップにより設定された各局所領域の画素単位毎に得られる画素値、画素値の比、輝度値、及び、勾配強度のうちの少なくとも１つに基づいて前記所定の特徴量を算出することを特徴とする請求項１１に記載の画像処理方法。
　前記特徴量算出ステップは、前記所定の値の平均値、最大値、または、最小値のいずれか１つを前記所定の特徴量として算出することを特徴とする請求項１１に記載の画像処理方法。
　前記所定の形状は、線状であることを特徴とする請求項１１に記載の画像処理方法。
　生体組織を撮像して得た画像の中から注目画素を選択する画素選択ステップと、
　前記注目画素の近傍かつ両側に存在する２つの近傍領域において、１画素以上の面積を具備する局所領域を少なくとも１つずつ設定する領域設定ステップと、
　前記領域設定ステップにより設定された各局所領域の画素単位毎に得られる所定の値に基づいて所定の特徴量を算出する特徴量算出ステップと、
　前記注目画素からみて一方の側の近傍領域に設定された第１の局所領域群における前記所定の特徴量の算出結果と、前記注目画素からみて他方の側の近傍領域に設定された第２の局所領域群における前記所定の特徴量の算出結果と、に基づき、これら２つの前記所定の特徴量の算出結果の差異を判別可能とするための判別値を算出する判別値算出ステップと、
　前記判別値の算出結果に基づき、所定の形状の構造が存在すると推定される候補領域を前記画像の中から検出する候補領域検出ステップと、
　を有することを特徴とする画像処理方法。
　前記第１の局所領域群及び前記第２の局所領域群は、前記注目画素の勾配方向に基づいてそれぞれ設定されることを特徴とする請求項１６に記載の画像処理方法。
　前記特徴量算出ステップは、前記領域設定ステップにより設定された各局所領域の画素単位毎に得られる画素値、画素値の比、輝度値、及び、勾配強度のうちの少なくとも１つに基づいて前記所定の特徴量を算出することを特徴とする請求項１６に記載の画像処理方法。
　前記特徴量算出ステップは、前記所定の値の平均値、最大値、または、最小値のいずれか１つを前記所定の特徴量として算出することを特徴とする請求項１６に記載の画像処理方法。
　前記所定の形状は、線状であることを特徴とする請求項１６に記載の画像処理方法。