JP6045417B2 - 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法 - Google Patents

Description

本発明は、画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法等に関する。

内視鏡装置を用いた生体内部の観察、診断においては、生体表面の微小な凹凸状態を観察することで早期病変部か否かの識別を行う手法が広く用いられている。また、生体用の内視鏡装置ではなく、工業用の内視鏡装置においても、被写体（狭義には被写体表面）の凹凸構造を観察することは有用であり、例えば直接の目視が難しいパイプ内部等に発生した亀裂の検出等が可能になる。また、内視鏡装置以外の画像処理装置においても、処理対象となる画像から被写体の凹凸構造を検出することが有用であることは多い。

従来、撮像画像の構造（例えば溝等の凹凸構造）の強調処理としては、特定の空間周波数を強調する処理が広く用いられているが、この手法は上述したような微小な凹凸状態の検出には適していない。また、画像処理により凹凸状態を検出するのではなく、被写体側に何らかの変化を生じさせて、変化後の被写体を撮像する手法も知られている。一例としては、生体用の内視鏡装置であれば、インジゴカルミン等の色素を散布することで、生体自体を染色し表層粘膜にコントラストをつける手法がある。しかし、色素散布は手間やコストがかかる上、散布した色素により被写体本来の色味が損なわれたり、凹凸以外の構造の視認性が落ちるおそれもある。さらに生体に対する色素散布であれば、患者にとって侵襲製が高いという問題も生じうる。

特許文献１では、局所的な抽出領域の注目画素をその周辺画素の輝度レベルを比較し、注目領域が周辺領域よりも暗い場合には着色される処理を行うことで、凹凸構造を強調する手法が開示されている。

生体の凹凸構造の具体例としては、生体表面の腺管構造（ピットパターンと呼ばれている）を用いるものが考えられる。例えば、大腸での早期病変診断にピットパターンが利用されている。この診断方法はピットパターン診断と呼ばれており、正常状態から病変の種類に応じて６種類のタイプ（Ｉ型からＶ型まで）に分類されたピットパターン形状に対して、観察されるピットパターンがどの分類に類似するかにより判定するものである。

特許文献２では、内視鏡および光プローブを用いた三次元光断層画像を取得する装置が記載されており、この三次元光断層画像を基に、生体組織の深さ方向に垂直な平面のＸＹ画面像を複数の深さ位置について切り出し、その平均画像からピットパターン形状を強調表示する手法が開示されている。

特開２００３−８８４９８号公報 特開２０１０−６８８６５号公報

特許文献１の処理は、撮像部から被写体（生体表面）までの距離が遠い場合は、生体表面から反射してくる反射光量が少なくなる事で暗く撮像されるという仮定に基づく処理となる。よって、例えば輝点周辺部や手前の構造による影の領域や、血管とその周辺の粘膜等といった直接生体表面の微細な凹凸に関係の無い場合にも、輝度変化が発生する領域では凹凸構造を誤検出してしまうことになる。

また、ピットパターン診断を実施する場合とは、既にスクリーニング観察で病変部と疑われる領域が見つかっている状態であり、その領域に内視鏡先端を接近して精査観察をしている状態に当たる。近接、及び拡大観察状態では観察対象となる生体表面の撮像画像は倍率が大きくなるので、生体と撮像部との相対的な動きによる影響が大きい。特に、特許文献２の手法により上記三次元光断層画像を取得する場合には、光プローブのスキャン動作が必要となるため、生体と撮像部との相対的な動きに起因するＸＹ画像内のピット形状の変形は無視できない。そのため、ピットパターン検出に用いるモデルパターンとの類似度を安定して算出できず、精度のよい画像を取得できないという課題がある。

本発明の幾つかの態様によれば、被写体に関する既知特性情報と距離情報とに基づいて、当該被写体の凹凸部を精度よく検出する画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理方法を提供することができる。

本発明の一態様は、撮像部の撮像により、被写体の像を含む撮像画像を取得する画像取得部と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部と、前記距離情報と前記既知特性情報に基づいて、前記撮像画像に撮像された前記被写体から、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行う凹凸特定部と、を含む画像処理装置に関係する。

本発明の一態様では、被写体までの距離情報と既知特性情報を取得し、既知特性情報により特定される特性と合致する被写体の凹凸部を特定する。これにより、画像処理を用いた手法により精度よく凹凸部を特定すること等が可能になる。

本発明の他の態様は、上記の画像処理装置を含む電子機器に関係する。

本発明の他の態様は、上記の画像処理装置を含む内視鏡装置に関係する。

本発明の他の態様によれば、生体の凹凸部を撮像画像において特定することができるため、病変部の発見等を容易にすること等が可能になる。

本発明の他の態様は、上記の各部としてコンピュータを機能させるプログラムに関係する。

本発明の他の態様は、撮像部の撮像により、被写体の像を含む撮像画像を取得する処理を行い、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する処理を行い、前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する処理を行い、前記距離情報と前記既知特性情報に基づいて、前記撮像画像に撮像された前記被写体から、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行う画像処理方法に関係する。

画像処理装置のシステム構成例。 第１の実施形態に係る画像処理装置を含む内視鏡装置の構成例。 第１の実施形態の画像処理部の構成例。 図４（Ａ）〜図４（Ｆ）は第１の実施形態の抽出処理を説明する図。 第１の実施形態の距離情報取得部、凹凸情報抽出部の構成例。 第２の実施形態に係る画像処理装置を含む内視鏡装置の構成例。 第２の実施形態の画像処理部の構成例。 図８（Ａ）〜図８（Ｄ）は第２の実施形態の抽出処理を説明する図。 第２の実施形態の凹凸情報抽出部の構成例。 第３の実施形態に係る画像処理装置を含む内視鏡装置の構成例。 第３の実施形態の画像処理部の構成例。 第３の実施形態の凹凸情報抽出部の構成例。 第３の実施形態の距離情報取得部の構成例。 第４の実施形態に係る画像処理装置を含む画像記録再生装置及びカプセル内視鏡の構成例。 第４の実施形態の画像処理部の構成例。 第５の実施形態の画像処理部の構成例。 図１７（Ａ）は腺管構造の断面図の例、図１７（Ｂ）は撮像画像における腺管構造の例。 図１８（Ａ）、図１８（Ｂ）は表面形状情報を求める処理の説明図。 図１９（Ａ）、図１９（Ｂ）は基準パターンと修正パターンの例。 表面形状算出部の構成例。 第５の実施形態の分類処理部の構成例。 分類処理の結果である分類マップの例。 第６の実施形態に係る画像処理装置を含む内視鏡装置の構成例。 第６の実施形態の分類処理部の構成例。 複数の基準パターンを保持する場合の例。 図２６（Ａ）〜図２６（Ｄ）は複数の基準パターンを用いた場合の分類処理の結果である分類マップの例。 図２７（Ａ）〜図２７（Ｆ）は類似度算出処理を説明する図。 図２８（Ａ）〜図２８（Ｆ）はピットパターンの例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
本実施形態の画像処理装置は、図１に示したように、撮像部（後述する図２の撮像部２００等）の撮像により、被写体の像を含む撮像画像を取得する画像取得部３９０と、撮像の際の撮像部から被写体までの距離に基づく距離情報を取得する距離情報取得部３４０と、被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部３５０と、距離情報と既知特性情報に基づいて、撮像画像に撮像された被写体から、既知特性情報により特定される特性と合致する被写体の凹凸部を特定する凹凸特定処理を行う凹凸特定部３１０を含む。

ここで、凹凸特定部３１０により特定される凹凸部とは、既知特性情報により特定される所与のディメンジョン（幅、深さ、高さ等）を有する溝やポリープ等の、微小な凹凸構造であってもよいし、上述した生体表面の腺管構造（ピットパターン）であってもよい。

まず、微小な凹凸構造を対象とする場合について説明する。距離情報取得部３４０が取得する距離情報は、撮像部から被写体までの距離に対応する情報であるため、図４（Ａ）に示したように被写体（生体用の内視鏡装置であれば生体であり、特にその表面）の構造を表す情報である。つまり、距離情報は被写体表面の微小な凹凸構造を含んでいる。

しかし、距離情報には被写体表面の他の構造の情報も含まれている。例えば内視鏡装置で観察する生体は、食道や大腸等、管腔状のものが多い。その場合、生体壁面は所与の曲率を有する曲面となるため、距離情報により表される距離は当該局面に応じた値の変動を含むことになる。図４（Ａ）の例であれば、距離情報はさまざまな他の構造を含みつつも、全体としては右方向に行くほど撮像部から被写体までの距離は増加する構造を表している。

また、被写体表面には、本実施形態の手法により特定したい凹凸構造とは異なる凹凸構造も含まれうる。例えば、胃や大腸等の生体の表面には、図２の２，３，４に示したように襞構造が見られる。距離情報には、これらの襞構造に関する情報も含まれることになるが、本実施形態において内視鏡装置を用いた観察で想定している凹凸部とは、そのような生体表面に当然に見られる構造とはディメンジョンの異なる微小な凹凸構造である。

よって、強調処理等を行う際に有用な凹凸部を適切に特定するには、種々の構造に起因する距離変動を含む距離情報のうち、所望の凹凸構造に関する情報を適切に抽出する必要がある。これは工業用の内視鏡装置でも同様であり、距離情報には円形パイプの曲面に相当する距離変動や、パイプに所与の機能を持たせるためにあらかじめ掘られた溝や、深刻度が低いために見逃しても差し支えない傷等の情報が含まれうるが、それらを除外して有用な凹凸構造を抽出凹凸情報として抽出するとよい。

そこで本出願人は、被写体の構造に関する既知の特性を表す情報である既知特性情報を取得し、当該既知特性情報により特定される特性に合致する被写体の凹凸部を撮像画像において特定する手法を提案する。既知特性情報は、被写体表面の構造のうち、本実施形態において有用な構造とそうでない構造とを分離可能な情報である。具体的には、上述した生体壁面の曲率等の情報や、襞のディメンジョン情報等を既知特性情報として保持しておき、距離情報のうち既知特性情報と合致する情報を除外し、除外処理後の情報を抽出凹凸情報とすることで凹凸部を特定してもよい。或いは、有用な凹凸構造のディメンジョン情報を既知特性情報としてもよく、この場合距離情報のうち既知特性情報と合致する情報を抜き出して抽出凹凸情報として、凹凸部を特定すればよい。つまり、既知特性情報には、除外対象に対応する情報と、抽出対象に対応する情報とが含まれることになるが、以下の説明ではこの両方を用いるものとして説明する。ここでの「既知特性情報により特定される特性」とは、抽出対象に対応し、且つ除外対象に対応しない特性を表すものであり、例えば抽出対象と除外対象を明確に分離可能な値を境界値として有する（或いは当該境界値により決定される範囲の値を有する）特性である。

なお、典型的な襞のサイズ、或いは有用な凹凸構造のディメンジョン等は、観察対象となる部位（上部消化器系であれば胃、下部消化器系であれば大腸等）に応じて異なることが想定される。よって、既知特性情報は１つの情報ではなく、観察対象に応じて選択、変更等が可能にしておくことが望ましい。

また、既知特性情報が被写体の実サイズ（例えばマイクロメートル等の単位のサイズ）の情報として取得されていたとしても、画像上（距離情報上）でのサイズに変換する処理も必要である。例えば、所与の実サイズである襞構造も、撮像部から近い位置で撮像された場合には画像上でのサイズは大きくなるのに対して、撮像部から遠い位置で撮像された場合では画像上サイズは小さくなる。そこで本実施形態では、距離情報により表される値（距離）に応じて、適応的に処理を変更するものとする。具体的には、距離情報から抽出凹凸情報を抽出する際に用いられる抽出処理パラメータを、距離情報の値に応じて適応的に制御する。

次に、凹凸部としてピットパターンを特定する例について説明する。なお、以下ではピットパターンを例にとって説明するが、本実施形態は２次元パターンを用いたマッチング処理により、構造物を特定する手法に広く適用可能であり、ピットパターン以外のパターンを用いることが可能である。

生体表面のピットパターンは、図２８（Ａ）〜図２８（Ｆ）に示したように、正常状態であるか異常状態であるかに応じて、また異常状態である場合には病変の進行度等に応じて、その形状が変化することが知られている。例えば、正常粘膜であれば図２８（Ａ）に示したようにピットパターンは円形に近く、病変が進行すると図２８（Ｂ）の星芒状や、図２８（Ｃ）、図２８（Ｄ）の管状型といった複雑な形状になり、さらに進行すると図２８（Ｆ）に示したようにピットパターンが消失したりする。よって、これらの典型的なパターンを基準パターンとして保持しておき、撮像画像に撮像された被写体表面と、当該基準パターンとの類似度等を判定することで、被写体の状態を判定することができる。このようなピットパターン診断をアシストする手法は特許文献２等に開示されている。

しかし、ピットパターンの典型的な形状と、撮像画像上でのピットパターンの見え方とが一致するとは限らない。上述したように、生体には管腔構造の壁面や、襞等の構造が含まれる。よって、撮像部の光軸方向と生体表面とが直交しないことも充分考えられ、その場合、生体表面には円形のピットパターンがあったとしても、撮像画像上では楕円形等の形状となることが考えられる。例えば、図１７（Ａ）に示すように、生体表面に襞２があり、当該襞２の表面に円形のピットパターン４０が見られる被写体を撮像する場合を考える。この場合、図１７（Ｂ）に示したように、撮像部の光軸方向と生体表面のなす角度に起因して、本来円形状であるピットパターンが、種々の変形をされて観察されることになる。

図１７（Ｂ）から明らかなように、単純に基準パターンと撮像画像とのマッチング処理を行ったとしても、上述の理由によりピットパターンが変形している領域においては、精度のよい検出処理を行うことができない。そして、ピットパターン診断が近接、拡大観察時に行われるため、撮像部と生体との相対的な動きによる影響が大きい点、及び特許文献２の手法では光プローブのスキャン動作が必要となる点を考慮すると、撮像画像でのピットパターンの変形は無視できるものではない。

そこで本出願人は、既知特性情報と距離情報に基づいて、被写体表面の構造を表す表面形状情報を取得し、当該表面形状情報を用いて設定された分類基準を用いた分類処理により凹凸部を特定する手法を提案する。ここで表面形状情報とは、被写体表面の大局的な構造を表すものであり、例えば図１８（Ｂ）に示した曲面（図１８（Ａ）の微小な凹凸構造を除外した距離情報）であってもよし、当該曲面の法線ベクトルの集合であってもよい。

表面形状情報を用いることで、図１９（Ａ）、図１９（Ｂ）に示すように、処理対象としている被写体表面領域に、基準パターンが存在するとしたら、当該パターンは撮像画像上でどのように変形されて観察されるかを推定することができる。つまり、被写体表面に基準パターンに対応するピットパターンが見られるか否かは、図１９（Ｂ）に示したように、表面形状情報により変形処理が行われた後のパターン（以下、修正パターン）を分類基準として分類処理を行えばよい。

なお、ピットパターンを例に説明する分類処理においては、既知特性情報とはピットパターンであり、具体的にはピット形状やサイズ等の情報となる。

以下、第１〜第６の実施形態について説明する。なお、以下では図２に示すように内視鏡装置を例にとって説明するが、図１で上述したように、本実施形態は内視鏡装置に限定されない画像処理装置に適用可能である。

第１〜第４の実施形態は、抽出凹凸情報を用いて微小な凹凸構造を特定する手法に対応する。第１の実施形態では複数の視点に対応する撮像画像から得られる視差情報に基づいて距離情報を取得するとともに、モルフォロジー処理により距離情報から抽出凹凸情報を抽出する手法を説明する。第１の実施形態では、抽出処理パラメータは、モルフォロジー処理に用いられる構造要素のサイズとなる。また、第２の実施形態ではTime of Flight方式を用いて距離情報を取得するとともに、フィルタ処理（特にローパスフィルタ処理）により抽出凹凸情報を抽出する手法を説明する。第２の実施形態では、抽出処理パラメータは、フィルタ処理に用いられるフィルタの周波数特性を決定するパラメータとなる。

また、第３の実施形態では、複数の視点に対応する撮像画像から得られる視差情報に基づく手法、及びTime of Flight方式を組み合わせて距離情報を取得するとともに、フィルタ処理（特にハイパスフィルタ処理）により抽出凹凸情報を抽出する手法を説明する。また、第４の実施形態では、カプセル内視鏡を対象とした実施形態について説明する。

なお、距離情報の取得処理と、抽出凹凸情報の抽出処理の組み合わせは種々の変更が可能である。つまり、視差情報に基づく手法とフィルタ処理を組み合わせてもよいし、Time of Flight方式とモルフォロジー処理を組み合わせてもよい。その他、本実施形態は上述した手法の任意の組み合わせにより実現可能である。

また、第５〜第６の実施形態は、表面形状情報を用いて分類基準を生成して分類処理を行うことで、凹凸部（狭義には腺管構造だがこれに限定されない）を特定する手法に対応する。第５の実施形態では、正常状態のピットパターンを基準パターンとして保持し、撮像画像の被写体の各領域を正常状態か否かに分類する分類処理を行う手法を説明する。

また、第６の実施形態では、複数の状態のピットパターン（例えば正常状態と、１又は複数の異常状態のピットパターン）を基準パターンとして保持し、撮像画像の被写体の各領域をいずれの状態に該当するか（或いはいずれにも該当しないか）に分類する分類処理を行う手法を説明する。また、第６の実施形態では、基準パターンを変形した修正パターンを用いて、撮像画像から第２の基準パターンを取得し、当該第２の基準パターンを表面形状情報で変形した第２の修正パターンを分類基準とする手法についても説明する。このように、実際撮像された被写体から分類基準を求めることで、検出精度のさらなる向上が期待できる。

２．第１の実施形態
図２に第１の実施形態に係る画像処理装置（画像処理部３０１に対応）を含む内視鏡装置の構成例を示す。第１実施形態を構成する内視鏡装置は、光源部１００と撮像部２００とプロセッサ部３００と表示部４００と外部Ｉ／Ｆ部５００からなる。

光源部１００は、白色光源１０１と複数の分光透過率を持った回転色フィルタ１０２と回転色フィルタ１０２を駆動させる回転駆動部１０３と回転色フィルタ１０２からの分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４とからなる。

回転色フィルタ１０２は三原色の赤の色フィルタと緑の色フィルタと青の色フィルタと回転モータとから構成されている。

回転駆動部１０３はプロセッサ部３００の制御部３０２からの制御信号に基づき撮像素子２０６と２０７の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば色フィルタを１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切る事になり、撮像素子２０６と２０７は６０分の１秒間隔で３原色の各色光（Ｒ或いはＧ或いはＢ）に対する観察対象からの反射光を撮像し、画像の転送を完了することになる。つまりこの実施例はＲ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で面順次で撮像される内視鏡装置の例となり、実質のフレームレートは２０ｆｐｓとなる。

撮像部２００は例えば胃や大腸などの体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、ライトガイドファイバ２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０３と、観察対象から戻る反射光を集光する対物レンズ２０４、２０５と、集光した結像光を検出するための撮像素子２０６、２０７と撮像素子２０６、２０７からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０９と、撮像部２００のスコープＩＤ情報と製造バラツキを含めた固有情報が記録されているメモリ２１０と、プロセッサ部３００と着脱可能なコネクタ２１２を備えている。ここで前記撮像素子２０６、２０７はモノクロ単板撮像素子とし、ＣＣＤやＣＭＯＳ等が利用できる。

対物レンズ２０４、２０５は所定間隔離した位置に配置され所定の視差画像（以降、ステレオ画像と記す）が撮影可能な位置に配置されており、撮像素子２０６、２０７にそれぞれ左画像、及び右画像が結像されるようになっている。また撮像素子２０６、及び２０７から出力された左画像と右画像はＡ／Ｄ変換部２０９でデジタル信号に変換されて画像処理部３０１へ出力される。またメモリ２１０は制御部３０２と接続されておりスコープＩＤ情報と製造バラツキを含めた固有情報が制御部３０２へ送られる。

プロセッサ部３００は画像処理部３０１と制御部３０２とから構成される。

表示部４００はＣＲＴや液晶モニタ等の動画表示可能な表示装置である。

外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ（例えば生体表面の凹凸部の選択的な強調処理を行う為のスイッチ）などを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力するようになっている。

また胃や大腸等の生体表面は正常な生体が予め有している襞２、３、４と病変部１０、２０、３０があるものとする。病変部１０は陥凹型の僅かに凹んだ早期病変であり、病変２０は隆起型の僅かに出っ張った早期病変であり、病変部３０は粘膜面が不整となった早期病変である。なお、病変部１０の周辺や、襞４の右側にも凹凸部を示したように、病変部に見られる凹凸と同様の（例えばディメンジョンがよく似た）凹凸部は、正常部にも見られるものである。本実施形態の手法は、病変部の検出そのものではなく、病変検出等に有用な抽出凹凸情報の取得を行うものであるため、病変部に含まれる凹凸部と、正常部に含まれる凹凸部とを区別して取り扱うものではない。

続いて画像処理部３０１の詳細について図３に基づいて説明する。画像処理部３０１は、画像取得部３９０、画像構成部３２０、距離情報取得部３４０（距離マップ算出部）、既知特性情報取得部３５０、凹凸特定部３１０、強調処理部３３０からなり、凹凸特定部３１０は更に凹凸情報抽出部３６０、特定処理部３７０から構成される。

撮像部２００の撮像素子２０６、２０７から出力される左画像と右画像からなるステレオ画像が画像取得部３９０により取得され、取得されたステレオ画像は、画像構成部３２０と、距離情報取得部３４０に入力される。画像構成部３２０は撮像されたステレオ画像に対して表示部４００に出力可能画像とする為に所定画像処理（ＯＢ処理、ゲイン処理、γ処理）を施し強調処理部３３０へ出力される。

距離情報取得部３４０は撮像されたステレオ画像を構成する左画像を基準画像とし、左画像の局所領域の中央に位置する注目画素を通るエピポーラ線上で右画像の局所領域とのマッチング演算を行い、最大相関となる位置を視差として算出する。距離情報取得部３４０では更に算出された視差をＺ方向の距離に変換して距離情報（狭義には距離マップ）を取得し、取得された距離情報は、凹凸特定部３１０の凹凸情報抽出部３６０へ出力される。

既知特性情報取得部３５０は、制御部３０２（或いは不図示の記憶部）から既知特性情報を取得する。具体的には、生体表面から病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等などのディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）等を、既知特性情報として取得する。ここで観察部位情報は、制御部３０２にメモリ２１０から入力されるスコープＩＤ情報に基づき決定される、観察対象としている部位を表す情報であり、当該観察部位情報も既知特性情報に含まれてもよい。例えば上部消化器用スコープだと観察部位は食道、胃、十二指腸であり、下部消化器用スコープだと観察部位は大腸と判定される情報である。抽出したい凹凸部のディメンジョン情報、及び部位固有の管腔及び襞のディメンジョン情報は、部位に応じて異なるものであるため、既知特性情報取得部３５０では、観察部位情報に基づき取得された標準的な管腔及び襞のサイズ等の情報を凹凸情報抽出部３６０へ出力する。なお、観察部位情報はスコープＩＤ情報により決定されるものに限定されず、外部Ｉ／Ｆ部５００においてユーザが操作可能なスイッチを用いて選択される等、他の手法により決定されてもよい。

凹凸情報抽出部３６０は、既知特性情報に基づいて抽出処理パラメータを決定し、決定された抽出処理パラメータに基づいて抽出凹凸情報の抽出処理を行う。

まず凹凸情報抽出部３６０は、入力された距離情報に対してＮ×Ｎ画素の所定サイズのローパスフィルタ処理を施し、大まかな距離情報を抽出する。そして抽出された大まかな距離情報に基づいて、適応的に抽出処理パラメータを決定する。抽出処理パラメータの詳細については以降で説明するが、例えば距離マップの距離情報と直交する平面位置での距離情報に適応したモルフォロジーのカーネルサイズ（構造要素のサイズ）であったり、前記平面位置の距離情報に適応したローパス特性のフィルタであったり、前記平面位置に適応したハイパス特性のフィルタであったりする。つまり距離情報に応じた適応的な非線形、及び線形のローパスフィルタやハイパスフィルタを変更する変更情報となる。

次に、凹凸情報抽出部３６０は、決定された抽出処理パラメータに基づいて、抽出処理を行うことで被写体に実在する所望サイズの凹凸部のみを抽出する。これら抽出した凹凸部は特定処理部３７０において撮像画像と対応づけられる。ここでの抽出凹凸情報とは、後述する図４（Ｃ）や図４（Ｅ）等の情報であり、撮像画像との対応付けに所定の処理が必要となる場合も考えられるためである。例えば、抽出凹凸情報が撮像画像の定数倍のサイズを有する凹凸画像として取得された場合、凹凸画像上での凹凸部の位置を撮像画像上での位置に変換するために、特定処理部３７０では凹凸画像の変倍処理等を行うことになる。ただし、凹凸情報抽出部３６０において、画像構成部３２０から出力される画像と同一サイズの抽出凹凸情報（凹凸画像）が取得される場合には、特定処理部３７０を省略する構成として、当該抽出凹凸情報が強調処理部３３０へ出力されるものとしてもよい。

強調処理部３３０は特定された凹凸部に対応する所望の強調処理（例えば、輝度に対する強調であったり、色に対する色相や彩度強調であってもよい）を、撮像画像（例えば画像構成部３２０から出力された左右画像の内の視差算出の基準とした左画像）に対して処理し、処理した左画像のみを表示部４００へ出力する。つまり立体画像としては出力せず、２Ｄ画像表示を行う。ただし本実施形態での表示画像はこれに限定されず、強調表示された立体画像を出力してもよい。或いは、強調表示された２Ｄ画像と、強調表示されていない立体画像の両方を出力して切り替え表示を可能としてもよい。

続いて凹凸情報抽出部３６０における抽出処理パラメータの決定処理の詳細を、図４（Ａ）〜図４（Ｆ）を用いて説明する。図４（Ａ）〜図４（Ｆ）の抽出処理パラメータはモルフォロジー処理のオープニング処理とクロージング処理に利用する構造要素（球）の直径である。図４（Ａ）は、被写体の生体表面と撮像部２００の垂直方向の断面を模式的に示した図である。生体表面にある襞２、３、４は例えば胃壁の襞であるとする。また早期病変部１０、２０、３０が生体表面に形成されているものとする。

凹凸情報抽出部３６０における抽出処理パラメータの決定処理にて実現したいのは、このような生体表面から襞２、３、４は抽出せずに早期病変部１０、２０、３０のみを抽出するための抽出処理パラメータを決定することである。

これを実現するには、制御部３０２からの病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等などのディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）を用いる必要がある。

この２つの情報を使って実際の生体表面をオープニング処理及びクロージング処理でなぞる球の直径を決定すれば特定のディメンジョン特性を有する凹凸部のみを抽出できる。球の直径は観察部位情報に基づく部位固有の管腔及び襞のサイズよりも小さく、病変部起因の抽出したい生体固有の凹凸部のサイズよりも大きい直径を設定する。より詳細には襞のサイズの半分以下の直径で病変起因の抽出したい生体固有の凹凸部のサイズ以上に設定するのがよい。上記条件を満たす球をオープニング処理とクロージング処理に使用した例が、図４（Ａ）〜図４（Ｆ）に描かれている。

図４（Ｂ）はクロージング処理した後の生体表面であり、適切な抽出処理パラメータ（構造要素のサイズ）を決定することで、生体壁面による距離変化や、襞等の構造を維持しつつ、抽出対象としているディメンジョンの凹凸部のうち、凹部が埋められた情報が得られることがわかる。クロージング処理により得られた情報と、元の生体表面（図４（Ａ）に対応）との差分を取る事で図４（Ｃ）のような生体表面の凹部のみを抽出できる。

同様に図４（Ｄ）はオープニング処理した後の生体表面であり、抽出対象としているディメンジョンの凹凸部のうち、凸部が削られた情報が得られることがわかる。よってオープニング処理により得られた情報と、元の生体表面との差分を取る事で図４（Ｅ）のような生体表面の凸部のみを抽出できる。

上記のように実際の生体表面に対して全て同一サイズの球を使ったオープニング処理、クロージング処理を行えばよいのだが、ステレオ画像は距離情報が遠い程小さい領域として撮像素子上に結像されるので、所望サイズの凹凸部を抽出するには、距離情報が近い場合には上記球の直径を大きく、距離情報が遠い場合は上記球の直径を小さくするように制御すれば良い。

図４（Ｆ）には距離マップに対するオープニング処理、クロージング処理を行う場合の平均的な距離情報に対して、球の直径を変更する様に制御している事を示している。つまり距離マップに対して所望の凹凸部を抽出するには生体表面のリアルな大きさを撮像素子上の結像画像上の画素ピッチの大きさと一致させるために光学倍率で補正する必要がある。そのため、凹凸情報抽出部３６０は、メモリ２１０からのスコープＩＤ情報に基づき決定される撮像部２００の光学倍率等を取得しておくとよい。

続いて図５に示した距離情報取得部３４０、既知特性情報取得部３５０、凹凸情報抽出部３６０の詳細ブロック図の説明を行う。距離情報取得部３４０はステレオマッチング部３４１と視差・距離変換部３４２からなる。また凹凸情報抽出部３６０は、局所平均距離算出部３６１、モルフォロジー特性設定部３６２、クロージング処理部３６３−１、オープニング処理部３６３−２、凹部抽出部３６４、凸部抽出部３６５からなる。

撮像部２００から出力されたステレオ画像はステレオマッチング部３４１へ入力され、左画像を基準画像として、処理対象画素とその周辺領域（所定サイズのブロック）が右画像に対してエピポーラ線上をブロックマッチングして視差情報を算出する。算出した視差情報は視差・距離変換部３４２にて距離情報に変換される。この変換は撮像部２００の光学倍率の補正処理を含んでいる。

変換された距離情報は、狭義にはステレオ画像と同一サイズの画素からなる距離マップとして局所平均距離算出部３６１へ出力される。局所平均距離算出部３６１は、入力される距離マップに対して例えば３×３画素での平均値算出を行い局所的な領域での平均距離を算出する。算出した平均距離はモルフォロジー特性設定部３６２に入力され、更に制御部３０２からの病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等などのディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）によりオープニング処理及びクロージング処理に用いる球の直径（本実施形態での抽出処理パラメータ）を決定する。

決定した球の直径情報は距離マップと同一の画素数を持つ直径マップとしてクロージング処理部３６３−１とオープニング処理部３６３−２へ入力される。クロージング処理部３６３−１とオープニング処理部３６３−２は、直径マップにより画素単位で直径を変更してクロージング処理及びオープニング処理を行う。クロージング処理部３６３−１の処理結果は凹部抽出部３６４へ出力される。またオープニング処理部３６３−２の処理結果は凸部抽出部３６５へ出力される。

凹部抽出部３６４にはクロージング処理前後の距離マップが入力され、クロージング処理前の距離マップからクロージング処理後の距離マップを引き算する事で所望の凹部のみが抽出された凹部画像が出力される。一方、凸部抽出部３６５にはオープニング処理前後の距離マップが入力され、オープニング処理前の距離マップからオープニング処理後の距離マップを引き算する事で所望の凸部のみが抽出された凸部画像が出力される。

以上のように第１実施形態によれば、観察部位固有の襞や管腔形状に影響されずに病変部起因の抽出したい生体固有の凹凸部を高精度に抽出できるので、表示画像に対して病変部起因の凹凸部を選択的に強調表示すること等が可能となる。

以上の本実施形態では、画像処理装置は図１や図３に示したように、撮像部２００の撮像により、被写体の像を含む撮像画像を取得する画像取得部３９０と、撮像の際の撮像部２００から被写体までの距離に基づく距離情報を取得する距離情報取得部３４０と、被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部３５０と、距離情報と既知特性情報に基づいて、撮像画像に撮像された被写体から、既知特性情報により特定される特性と合致する被写体の凹凸部を特定する凹凸特定処理を行う凹凸特定部３１０を含む。

ここで距離情報とは、撮像部２００から被写体までの距離に基づいて取得される種々の情報である。例えば、本実施形態で上述したようにステレオ光学系で三角測量する場合は、視差を生む２つのレンズ（図２の対物レンズ２０４，２０５）を結ぶ面の任意の点を基準にした距離を距離情報とすればよい。一方、第２の実施形態等で後述するTime of Flight方式を用いた場合は、例えば、撮像素子面の各画素位置を基準にした距離を距離情報として取得することになる。これらは、距離計測の基準点を撮像部２００に設定した例であるが、基準点は、撮像部２００以外の任意の場所、例えば、撮像部や被写体を含む３次元空間内の任意の場所に設定してもよく、そのような基準点を用いた場合の情報も本実施形態の距離情報に含まれる。

撮像部２００から被写体までの距離とは、例えば撮像部２００から被写体までの奥行き方向の距離であることが考えられる。一例としては、撮像部２００の光軸方向での距離を用いればよく、図４（Ａ）に示したように光軸に対して垂直な方向に視点を設定した場合には、当該視点において観察される距離（図４（Ａ）の例であれば矢印で示した上下方向での撮像部２００から被写体までの距離）であってもよい。

例えば、距離情報取得部３４０は、撮像部２００の第１の基準点を原点とした第１の座標系における各対応点の座標を、公知の座標変換処理によって、３次元空間内の第２の基準点を原点とした第２の座標系における対応点の座標に変換し、その変換後の座標をもとに距離を計測してもよい。この場合、第２の座標系における第２の基準点から各対応点までの距離は、第１の座標系における第１の基準点から各対応点までの距離、すなわち「撮像部から各対応点までの距離」となり、両者は一致する。

また、距離情報取得部３４０は、撮像部２００に基準点を設定した場合に取得される距離マップ上の各画素間の距離値の大小関係と同様の大小関係が維持できるような位置に仮想の基準点を設置することで、撮像部２００から対応点までの距離をもとにした距離情報を取得してもよい。例えば、距離情報取得部３４０は、撮像部２００から３つの対応点までの実際の距離が「３」、「４」、「５」である場合、各画素間の距離値の大小関係が維持されたまま、それら距離が一律に半分にされた「１．５」、「２」、「２．５」を取得してもよい。この場合、凹凸情報抽出部３６０は、撮像部２００に基準点を設定した場合と比較して、抽出処理パラメータとして異なるパラメータを用いることになる。抽出処理パラメータの決定には距離情報を用いる必要があるため、距離計測の基準点が変わることで距離情報の表し方が変化した場合には、抽出処理パラメータの決定手法も変化するためである。例えば、本実施形態で上述したように、モルフォロジー処理により抽出凹凸情報を抽出する場合には、抽出処理に用いる構造要素のサイズ（例えば球の直径）を調整して、調整後の構造要素を用いて凹凸部の抽出処理を実施する。

これにより、既知特性情報と距離情報を用いて、撮像画像に撮像された被写体から、所与の特性を有する凹凸部を特定することができるため、精度よく被写体の凹凸部（狭義には被写体表面の凹凸部であるがこれには限定されない）を検出することが可能になる。その際、色素散布等の被写体側を変化させる手法を用いる必要がないため、強調対象以外の被写体の視認性低下や、生体を対象とした場合の侵襲性の問題等を考慮しなくてもよいという利点もある。

また、凹凸特定部３１０は、距離情報と既知特性情報に基づいて、既知特性情報により特定される特性と合致する被写体の凹凸部を表す情報を、抽出凹凸情報として距離情報から抽出する凹凸情報抽出部３６０を含んでもよい。そして、凹凸特定部３１０は、抽出凹凸情報とに基づいて凹凸特定処理を行う。

これにより、距離情報（例えば図４（Ａ）に示した情報）から、抽出凹凸情報（例えば図４（Ｃ）や図４（Ｅ）に示した情報）を抽出し、当該抽出凹凸情報を用いて撮像画像上で凹凸部を特定することが可能になる。つまり、被写体の三次元情報を含む距離情報を用いて、所望の特性を有する凹凸部に関する情報を取得し、その情報と撮像画像を対応づけることで、撮像された被写体のうち、どの部分に所望の凹凸部が位置するかを特定する処理を行うことができる。なお、抽出凹凸情報は狭義には、距離マップ、或いは画像構成部３２０で構成される画像に対応する画素数（例えば同一の画素数）を有し、各画素値が凹凸に対応する値となる凹凸画像であってもよい。凹凸に対応する値とは、例えば凸部が正、凹部が負の値となり、凸部の高さが高いほど、また凹部の深さが深いほど、その絶対値が大きくなる値が考えられる。ただし、抽出凹凸情報は凹凸画像に限定されず、他の形式の情報であってもよい。

また、凹凸情報抽出部３６０は、既知特性情報に基づいて抽出処理パラメータを決定し、決定された抽出処理パラメータに基づいて、被写体の凹凸部を抽出凹凸情報として抽出してもよい。

これにより、既知特性情報により決定された抽出処理パラメータを用いて抽出凹凸情報の抽出処理（例えば分離処理）を行うことが可能になる。抽出処理の具体的な手法は、本実施形態で上述したモルフォロジー処理や、後述するフィルタ処理等が考えられるが、いずれにせよ抽出凹凸情報を精度よく抽出するためには、距離情報に含まれる種々の構造の情報から、所望の凹凸部に関する情報を抽出しつつ、他の構造（例えば襞等の生体固有の構造）を除外する制御が必要になる。ここでは既知特性情報に基づいて抽出処理パラメータを設定することで、そのような制御を実現する。

また、既知特性情報取得部３５０は、被写体の種類を表す種類情報と、種類情報に関連づけられた被写体の凹凸部に関する情報である凹凸特性情報を、既知特性情報として取得してもよい。そして凹凸情報抽出部３６０は、種類情報と凹凸特性情報に基づいて、抽出処理パラメータを決定し、決定された抽出処理パラメータに基づいて、被写体の凹凸部を抽出凹凸情報として抽出する。

ここで種類情報とは、被写体の種類を特定するための情報である。例えば、工業用の内視鏡を考えた場合、観察対象とする装置等を特定する情報であってもよい。或いはより狭い範囲での種類を特定する情報でもよく、例えば装置に含まれる太さの異なる複数のパイプのうち、どの太さのパイプを観察しているかを特定する情報でもよい。凹凸特性情報とは、距離情報から抽出したい被写体の凹凸の特性を特定する情報である。具体的には、距離情報に含まれる凹凸のうち、除外対象とする凹凸の特性を表す情報と、抽出対象とする凹凸の特性を表す情報との少なくとも一方の情報を含む。

これにより、種類情報と凹凸特性情報を既知特性情報として用いて抽出処理パラメータを決定することが可能になる。上述したパイプの太さの例でもわかるように、観察対象の種類が異なれば抽出すべき凹凸部のディメンジョン等は異なるものになる。よって、本実施形態の画像処理装置は、凹凸特性情報を種類情報毎に複数保持しておき、取得された種類情報に応じて適切なものを選択することで、適切な抽出処理パラメータを決定するものとする。なお、凹凸特性情報は基準となる１つの情報であってもよく、当該１つの値を種類情報に応じて変換して用いるものであってもよい。

また、撮像画像が、生体の内部を撮像した生体内画像であり、既知特性情報取得部３５０は、被写体が生体のいずれの部位に対応するかを表す部位情報と、生体の凹凸部に関する情報である凹凸特性情報を、既知特性情報として取得してもよい。そして凹凸情報抽出部３６０は、部位情報と、凹凸特性情報に基づいて、抽出処理パラメータを決定し、決定された抽出処理パラメータに基づいて、被写体の凹凸部を抽出凹凸情報として抽出する。

これにより、生体内画像を対象とする場合（例えば生体用の内視鏡装置に本実施形態の画像処理装置が用いられる場合）に、当該生体内画像の被写体の部位に関する部位情報を、既知特性情報として取得することが可能になる。本実施形態の手法を生体内画像を対象として適用する場合には、早期病変部の検出等に有用な凹凸構造を抽出凹凸情報として抽出することが想定されるが、早期病変部に特徴的な凹凸部の特性（例えばディメンジョン情報）は部位によって異なる可能性がある。また、除外対象である生体固有の構造（襞等）は部位によって当然異なる。よって、生体を対象とするのであれば、部位に応じた適切な処理を行う必要があり、本実施形態では部位情報に基づいて当該処理を行うものとする。

具体的な手法は種々考えられるが、例えば不図示の記憶部は、前記生体の第１〜第Ｎの部位の各部位に対応する第１〜第Ｎの凹凸特性情報を記憶しておき、前記部位情報により前記被写体が第ｋの部位に対応すると特定された場合に、前記凹凸情報抽出部３６０は、前記第１〜第Ｎの凹凸特性情報のうち第ｋの凹凸特性情報を用いて前記抽出処理パラメータを決定するとしてもよい。或いは、不図示の記憶部は、前記凹凸特性情報として基準凹凸特性情報を記憶しておき、前記凹凸情報抽出部３６０は、前記部位情報に基づいて前記基準凹凸特性情報に対して変換処理を行い、前記変換処理後の前記凹凸特性情報を用いて前記抽出処理パラメータを決定するとしてもよい。

また、凹凸情報抽出部３６０は、既知特性情報に基づいて、オープニング処理及びクロージング処理に用いられる構造要素のサイズを、抽出処理パラメータとして決定し、決定されたサイズの構造要素を用いたオープニング処理及びクロージング処理を行って、被写体の凹凸部を抽出凹凸情報として抽出してもよい。

これにより、図４（Ａ）〜図４（Ｆ）に示したように、オープニング処理及びクロージング処理（広義にはモルフォロジー処理）に基づいて抽出凹凸情報を抽出することが可能になる。その際の抽出処理パラメータは、オープニング処理及びクロージング処理で用いられる構造要素のサイズである。図４（Ａ）では構造要素として球を想定しているため、抽出処理パラメータとは球の直径等を表すパラメータとなる。具体的には上述したように、襞等の除外対象とする形状に対して構造要素による処理を行った場合（図４（Ａ）では表面で球を滑らせた場合）には、当該形状を潰さない（形状に追従して球が移動する）ような構造要素のサイズを決定する。逆に、抽出凹凸情報として抽出対象となる凹凸部に対して構造要素による処理を行った場合には、当該凹凸部をなくす（上から滑らせた場合に凹部に入り込まない、或いは下から滑らせた場合に凸部に入り込まない）ような構造要素のサイズを決定すればよい。なおモルフォロジー処理については広く知られた手法であるため詳細な説明は省略する。

また、凹凸情報抽出部３６０は、オープニング処理及びクロージング処理の処理対象画素に対応する距離情報の値が大きいほど、抽出処理パラメータである構造要素のサイズを小さく設定してもよい。

これにより、実サイズと画像上サイズとの対応を取ることが可能になる。既知特性情報は被写体の構造に関する既知の特性であるため、実空間で考えた場合の実サイズ（例えばマイクロメートル、ミリメートル等の単位で決定されるサイズ）で表現されることが想定される。しかし図４（Ａ）等を考えればわかるように、撮像部２００から被写体までの距離にはばらつきがある以上、実サイズが同じ被写体（例えば同じ幅の溝）であっても距離が小さいものの方が距離が大きいものに比べて大きく観察されることになる。よって、実サイズと、距離情報上での見た目のサイズ（距離情報が画素単位で表される距離マップであれば、ピクセル単位で決定されるサイズ）との変換を行わなくては、既知特性情報により特定される特性と合致する凹凸部の抽出を行うことは困難である。そこで本実施形態では、距離情報の値に応じて抽出処理パラメータを変更することでその変換を行うものとする。具体的には、距離が大きいほど抽出すべき対象の凹凸部が小さく見えることから、構造要素のサイズも小さく設定すればよい。なお、この場合には撮像部２００における撮像倍率によっても、実サイズと画像上サイズとの対応関係は変化するため、凹凸情報抽出部３６０は撮像部２００から撮像倍率の情報を取得しておき、当該撮像倍率による変換処理も行うことが望ましい。

また、被写体は、大局的な三次元構造と、大局的な三次元構造に比べて局所的な凹凸構造とを有し、凹凸情報抽出部３６０は、被写体が有する大局的な三次元構造と局所的な凹凸構造のうち、既知特性情報により特定される特性と合致する被写体の凹凸部を、抽出凹凸情報として抽出してもよい。

これにより、被写体が大局的な構造と局所的な構造とを有する場合に、既知特性情報を用いていずれの構造を抽出すべきであるかを決定し、決定された構造に関する情報を抽出凹凸情報として抽出することが可能になる。

また、撮像画像が、生体の内部を撮像した生体内画像であり、被写体は、生体内部の管腔構造である生体の大局的な三次元構造と、管腔構造に形成され、大局的な三次元構造に比べて局所的な凹凸構造とを有し、凹凸情報抽出部３６０は、被写体に含まれる大局的な三次元構造と凹凸部のうち、既知特性情報により特定される特性と合致する被写体の凹凸部を、抽出凹凸情報として抽出してもよい。

これにより、生体内画像を対象とする場合には、本実施形態の手法は、距離情報に含まれる大局的な（ここでは凹凸部に比べて空間周波数が低い構造を指す）三次元構造と、凹凸部のうち、凹凸部を抽出する処理として実現することが可能になる。上述したように、本実施形態で生体内画像を対象とする場合には、早期病変部の発見に有用な凹凸部を抽出対象とする。つまり、生体固有の襞や、壁面の曲率に起因する構造等の生体固有の三次元構造は抽出対象とする必要はなく、凹凸情報抽出部３６０はそれらを除いて凹凸部を抽出すればよい。この場合、除外されるものが大局的（空間周波数が低い構造）となり、抽出対象が局所的（空間周波数が高い構造）となるため、その中間に相当する空間周波数等を境界として設定する（狭義には抽出処理パラメータとする）処理等を行うことになる。

また、距離情報取得部３４０は、取得された撮像画像の各画素において、撮像部から各画素に撮像された被写体までの距離に関する情報を対応づけた距離マップを、距離情報として取得してもよい。

ここで距離マップとは、距離情報の下位概念であり、例えば撮像部２００の光軸方向をＺ軸とした場合に、ＸＹ平面の各点（例えば各画素）について、被写体までのＺ軸方向での距離（奥行き・深度）を当該点の値としたマップのことである。

これにより、距離情報として距離マップを取得することが可能になる。この場合、距離情報、及び当該距離情報から抽出される抽出凹凸情報と、画像構成処理等が行われた被写体の画像（画像構成部３２０で取得される画像）とを、画素毎に容易に対応付けることができる。よって、被写体画像のどの位置に抽出対象となった凹凸部があるかを容易に把握することができ、強調処理部３３０等を用いた凹凸部の強調処理を行う際にも、強調すべき画素とそうでない画素の判定が容易である。

また、撮像部２００は、複数の視点を有するものであり、画像取得部３９０は、撮像部２００を介して、複数の視点のそれぞれに対応する撮像画像を複数取得し、距離情報取得部３４０は、取得された複数の撮像画像から得られる視差情報に基づいて、距離情報を取得してもよい。

これにより、複数の視点からの画像により取得される視差情報に基づいて、距離情報を取得することが可能になる。視差情報の取得手法、及び距離情報への変換手法等については、ステレオマッチング処理として広く知られているため、詳細な説明は省略する。この場合、撮像素子（図２では２０６及び２０７）としては、ベイヤ配列の単板素子等、広く用いられているものを利用可能であるため、実現が容易である。また、そのような素子は小型化等も進んでいるため、視点数に対応するだけの素子と光学系が必要となることを考慮しても、撮像部２００を小型化することは可能であり、内視鏡装置等、利用分野が広い。

また、以上の本実施形態は、上記の画像処理装置を含む電子機器に適用できる。

これにより、本実施形態の手法により凹凸部を検出する電子機器を実現することができる。ここでの電子機器は、撮像部２００及び距離情報を作成するためのハードウェア（本実施形態であればステレオの光学系であるが、後述するTime of Flight方式でのレーザー光源１０５や測距センサ２１４等であってもよい）を含むものでもよいし、その一方のみを含むものでもよいし、或いはその両方を含まないものでもよい。本実施形態の電子機器は例えば人工衛星からの情報を取得する機器（例えばＰＣやサーバ）であってもよい。この場合、人工衛星からレーザーを発することで人工衛星から富士山までの距離を計測し、本発明に係る電子機器は、人工衛星から、富士山が写った画像と距離情報を、ネットワークを介して取得する。そして電子機器は、富士山上のカルデラ（凹部）の幾何学的情報を示す情報を既知特性情報として記録部から取得し、その特性をもとに、画像上において富士山上に形成されているカルデラ部分を認識するといった処理を行うことが考えられる。

また、以上の本実施形態は、図２に示したように上記の画像処理装置を含む内視鏡装置に適用できる。

これにより、本実施形態の手法により凹凸部を検出する内視鏡装置を実現することができる。上述したように、生体の微小な凹凸部は早期病変部の発見に有用であることが知られているのに対して、従来は当該凹凸部の検出精度が十分でなかったり、画像処理ではなく被験者にとって侵襲製の高い色素散布等の手法が用いられていた。本実施形態の手法によれば、凹凸部を画像処理により精度よく検出することが可能になるため、医療分野等において有用である。なお、本実施形態の手法では早期病変部等に見られる凹凸部と同様の特性の凹凸部を検出するため、図２の病変部１０，２０，３０の凹凸部だけでなく、正常部の凹凸部も区別なく検出する。つまり、出力される抽出凹凸情報が早期病変部の発見に有用であることは確かであるが、実際に早期病変部をどのように検出するかについては本実施形態の手法が関知するものではない。

なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

３．第２の実施形態
図６は第２の実施形態となる内視鏡装置の機能ブロック図である。第２実施形態を構成する内視鏡装置も光源部１００と撮像部２００とプロセッサ部３００と表示部４００と外部Ｉ／Ｆ部５００からなる。

まず光源部１００は、白色ＬＥＤと青色レーザー光源１０５と白色ＬＥＤと青色レーザーの合成光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４とからなる。白色ＬＥＤと青色レーザー光源１０５は制御部３０２からの制御によりパルス点灯制御される。また青色レーザーは例えば白色ＬＥＤが発光する青色よりもより短波長の波長を使用する。

撮像部２００は、例えば胃や大腸などの体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、ライトガイドファイバ２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０３と、観察対象から戻る反射光を集光する対物レンズ２０４と、集光した結像光を青色レーザー光の波長のみ反射してそれ以外の波長の光を透過するダイクロイックプリズム２１５と、青色レーザー光の発光開始から撮像開始時刻までの時間を検出するTime of Flight方式の測距センサ２１４と、白色ＬＥＤ光の結像光を検出する撮像素子２１３が配置されている。さらに撮像部２００は、撮像素子２１３からの光電変換されたアナログ信号と、測距センサ２１４からの距離情報のアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０９と、撮像部２００のスコープＩＤ情報と製造バラツキを含めた固有情報が記録されているメモリ２１０と、プロセッサ部３００と着脱可能なコネクタ２１２を備えている。ここで前記撮像素子２１３は原色単板撮像素子（ベイヤ配列）とし、ＣＣＤやＣＭＯＳ等が利用できる。

またＡ／Ｄ変換部２０９でデジタル信号に変換された撮像素子２１３からの画像は画像処理部３０１へ出力され、測距センサ２１４からの距離情報はＡ／Ｄ変換部２０９でデジタル信号に変換されて距離マップ記録部３０３へ出力される。またメモリ２１０は制御部３０２と接続されておりスコープＩＤ情報と製造バラツキを含めた固有情報が制御部３０２へ送られる。

プロセッサ部３００は画像処理部３０１と制御部３０２と距離マップ記録部３０３とから構成される。

表示部４００はＣＲＴや液晶モニタ等の動画表示可能な表示装置である。

外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ（例えば生体表面の凹凸部の選択的な強調処理を行う為のスイッチ）などを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力するようになっている。

続いて画像処理部３０１の詳細について図７に基づいて説明する。画像処理部３０１は、画像取得部３９０、画像構成部３２０、既知特性情報取得部３５０、凹凸特定部３１０、強調処理部３３０からなり、凹凸特定部３１０は更に凹凸情報抽出部３６０、特定処理部３７０から構成される。

撮像部２００の撮像素子２１３から出力される画像が画像取得部３９０により取得され、取得された画像は画像構成部３２０に入力される。また測距センサ２１４からの距離情報が距離マップ記録部３０３に入力される。画像構成部３２０は撮像された画像に対して表示部４００に出力可能画像とする為に所定画像処理（ＯＢ処理、ゲイン処理、γ処理）を施し強調処理部３３０へ出力される。

距離マップ記録部３０３に記録された測距センサ２１４からの距離マップ（撮像素子２１３の画素数と同一画素であるとする）は、凹凸情報抽出部３６０へ出力される。

第２実施形態の凹凸情報抽出部３６０を図９で説明する。凹凸情報抽出部３６０は、局所平均距離算出部３６１、ローパス特性設定部３６６、ローパス処理部３６７，凹部抽出部３６４、及び凸部抽出部３６５からなる。

ここで本実施形態の凹凸情報抽出部３６０は、ローパスフィルタの周波数特性を局所平均距離により変更させる事で第１実施形態のモルフォロジーに類似した処理を行う。なお、ローパスフィルタは線形なガウシアンであっても、非線形なバイラテラルフィルタでもよい。つまり距離が近い場合は画像内の病変起因の凹凸部が大きくなり、距離が遠い場合には小さくなるため、所望の凹凸部の抽出に必要な基準面を距離情報に基づいて前記ローパスフィルタの特性を変更して作成する必要が発生する。つまり、本実施形態における抽出処理パラメータとは、ローパスフィルタの特性（狭義には周波数特性）を決定するパラメータとなる。

距離マップ記録部３０３から出力された距離マップは、局所平均距離算出部３６１で第１実施形態と同様な例えば３×３画素の平均値を算出し、ローパス特性設定部３６６へ出力される。

ローパス特性設定部３６６には、既知特性情報取得部３５０から、病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等などのディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）が既知特性情報として入力される。またローパス特性設定部３６６には、撮像部２００の光学倍率と、局所平均距離が入力され、まず距離マップ（Ｚ方向）の大きさとｚ方向と直交する座標系（画素ピッチ）に対応する被写体の大きさを一致させた後、上記病変部起因の抽出したい生体固有の凹凸部は平滑化可能で、観察部位固有の管腔及び襞の構造が保持されるローパスフィルタの特性を決定する。

ローパスフィルタは公知のガウスフィルタやバイラテラルフィルタとし、その特性はσで制御し、距離マップの画素に一対一対応するσマップを作成してもよい（バイラテラルフィルタの場合は輝度差のσと距離のσの両方或いはどちらか１つでσマップを作成してもよい）。ここで「輝度差のσ」における輝度とは、距離マップを画像と見なしたときの画素値を表すものであるため、輝度差とはＺ方向での距離の差を表す。一方、「距離のσ」における距離とは、ＸＹ方向の注目画素と周辺画素との間の距離を表すものである。なお、ガウスフィルタは下式（１）、バイラテラルフィルタは下式（２）で表すことができる。

例えばここでこのσマップは画素単位でなくても間引き処理したσマップを作成してローパス処理部３６７へ出力されてもよい。ローパス処理部３６７では距離マップとσマップにより距離マップに対して所望のローパスフィルタを作用させる。

ローパスフィルタの特性を決めるσは、例えば抽出したい生体固有の凹凸部のサイズに対応する距離マップの画素間距離Ｄ１の所定倍α（＞１）よりも大きく、観察部位固有の管腔及び襞のサイズに対応する距離マップの画素間距離Ｄ２の所定倍β（＜１）よりも小さい値を設定する。例えば、σ=(α*D1+β*D2)/2*Rσとしてもよい。

また、ローパスフィルタの特性として、より急峻なシャープカットな特性を設定することもできる。この場合はσではなくカットオフ周波数ｆｃでフィルタ特性を制御することになる。カットオフ周波数ｆｃは、上記Ｄ１周期の周波数Ｆ１をカットし、Ｄ２周期の周波数Ｆ２を通過するように指定すればよい。例えば、fc=(F1+F2)/2*Rfとしてもよい。

ここでRσは局所平均距離の関数であり、局所平均距離が小さくなれば出力値が大きく、局所平均距離が大きくなれば小さくなる。一方、Rfは局所平均距離が小さくなれば出力値が小さく、局所平均距離が大きくなれば大きくなる関数である。

凹部抽出部３６４は、ローパス処理部３６７の出力と距離マップ記録部３０３からの距離マップが入力され、ローパス処理していない距離マップからローパス処理結果を減算して負となる領域だけ抽出することで凹部画像を出力できる。凸部抽出部３６５は、ローパス処理部３６７の出力と距離マップ記録部３０３からの距離マップが入力され、ローパス処理していない距離マップからローパス処理結果を減算して正となる領域だけ抽出することで凸部画像を出力できる。

ローパスフィルタによる病変由来の所望の凹凸部の抽出に関する考え方を図８（Ａ）〜図８（Ｄ）に示す。図８（Ａ）の距離マップに対して、ローパスフィルタを用いたフィルタ処理を行うことで、図８（Ｂ）に示すように、生体壁面による距離変化や、襞等の構造を維持しつつ、抽出対象としているディメンジョンの凹凸部が除かれた情報が得られることがわかる。第１実施形態のようなオープニング処理とクロージング処理の２つの処理を行わなくてもローパスフィルタ処理結果が所望の凹凸部を抽出する基準局面（図８（Ｂ））となるので、大本の距離マップ（図８（Ａ））との減算処理で、図８（Ｃ）に示したように凹凸部を抽出できる。第１の実施形態で大まかな距離情報に応じて構造要素のサイズを適応的に変更したのと同様に、第２の実施形態では、大まかな距離情報に応じてローパスフィルタの特性を変更するとよく、その例を図８（Ｄ）に示す。

以降の処理は第１実施形態と同様であるので省略する。

以上により第２実施形態によれば、距離情報をTime of Flight方式の測距センサを設け、更に測距用の照明を青色レーザーとしたので、粘膜層への進入が少なく生体表面の凹凸に対応する距離情報を抽出できるので、結果として観察部位固有の襞や管腔形状に影響されずに病変部起因の抽出したい生体固有の凹凸部のみを高精度に抽出できる。

以上の本実施形態では、凹凸情報抽出部３６０は、既知特性情報に基づいて、距離情報に対するフィルタリング処理に用いられるフィルタの周波数特性を、抽出処理パラメータとして決定し、決定された周波数特性を有するフィルタ用いたフィルタリング処理を行って、被写体の凹凸部を抽出凹凸情報として抽出する。

これにより、図８（Ａ）〜図８（Ｄ）に示したように、フィルタ処理（本実施形態ではローパスフィルタを用いて説明したが、第３の実施形態で後述するハイパスフィルタ、或いはバンドパスフィルタを用いてもよい）に基づいて抽出凹凸情報を抽出することが可能になる。その際の抽出処理パラメータは、フィルタ処理で用いられるフィルタの特性（狭義には空間周波数特性）である。具体的には上述したように、襞等の除外対象に対応する周波数と、凹凸部に対応する周波数とに基づいてσの値やカットオフ周波数を決定すればよい。

また、撮像部２００は、図６に示したように青色光を射出する光源部１０５と、被写体による青色光の反射光を受光する測距素子（測距センサ２１４）とを含み、距離情報取得部３４０は、光源部１０５から青色光が射出されたタイミングから、測距素子で反射光を受光するタイミングまでの時間情報に基づいて、距離情報を取得してもよい。

これにより、Time of Flight方式を用いて距離情報を取得することが可能になる。この方式を用いることで、測距センサ２１４からのセンサ情報そのものから、或いはセンサ情報に対して単純な補正処理を行うだけで距離情報を取得することができるため、ステレオマッチング等に比べて処理が容易となる。また、波長の短い青色光を用いることで、照射光が被写体内部（狭義には生体内部）まで進入してしまうことを抑止できる。よって、被写体の凹凸部として特に被写体表面の凹凸部を抽出する際には、被写体表面までの距離情報が精度よく求められることになるため、抽出精度を向上させること等が可能になる。

４．第３の実施形態
図１０は第３の実施形態となる内視鏡装置の機能ブロック図である。第３実施形態を構成する内視鏡装置も光源部１００と撮像部２００とプロセッサ部３００と表示部４００と外部Ｉ／Ｆ部５００からなる。

第２実施形態との違いは、光源部１００が白色ＬＥＤと赤外レーザー光源１０６となり、撮像部２００に撮像素子２１５と２１６の２つが設けられている点である。撮像素子２１５，２１６は、第１実施形態のようにステレオ画像をプロセッサ部３００へ出力し、撮像素子２１５と２１６は少なくともどちらか１つに赤外光に対してTime of Flight方式の測距センサ画素が原色単板のＲＧＢ画素の下層に積層されているものとする。このような構成によりステレオ画像は画像処理部３０１へ出力され、距離マップ記録部３０３には赤外線で検出された距離マップが出力される。

続いて画像処理部３０１の詳細を図１１を使って説明する。画像処理部３０１は、画像取得部３９０、画像構成部３２０、距離情報取得部６０１、既知特性情報取得部３５０、凹凸特定部３１０、強調処理部３３０からなり、凹凸特定部３１０は更に凹凸情報抽出部３６０、特定処理部３７０から構成される。

撮像部２００の撮像素子２１５、２１６から出力される左画像と右画像からなるステレオ画像が画像取得部３９０により取得され、取得されたステレオ画像は、画像構成部３２０と、距離情報取得部６０１に入力される。

画像構成部３２０は撮像されたステレオ画像に対して表示部４００に出力可能画像とする為に所定画像処理（ＯＢ処理、ゲイン処理、γ処理）を施し強調処理部３３０へ出力される。

距離情報取得部６０１は、図１３に示すようにステレオマッチング部６０２と、視差・距離変換部３４２からなる。ステレオマッチング部６０２は、撮像されたステレオ画像を構成する左画像を基準画像とし左画像の局所領域の中央に位置する注目画素を通るエピポーラ線上で右画像の局所領域とのマッチング演算を行い、最大相関となる位置を視差として算出する。この時、マッチング演算は、距離マップ記録部３０３に記録されている距離に対応する視差の位置辺りのみ探索するものとする。つまり本実施形態では、Time of Flight方式により取得され距離マップ記録部３０３に記憶された距離マップにより、距離情報取得の際の探索範囲を限定しておき、ステレオ画像を用いた距離情報取得においては限定された当該探索範囲を探索する。よってステレオマッチングにおいて、高速にマッチングが出来るだけでなく、誤判定の防止にも役に立つ。距離情報取得部６０１では、マッチング処理からは視差情報が取得されるため、取得された視差情報をＺ方向の距離に変換し、変換された距離マップを凹凸情報抽出部３６０へ出力する。

第３実施形態では、凹凸情報抽出部３６０は、抽出凹凸情報の抽出処理にハイパスフィルタを利用する。その詳細が図１２で、距離情報取得部６０１で取得された距離マップが、局所平均距離算出部３６１に入力され、第１、第２実施形態と同様の局所平均距離を算出してハイパス特性設定部３６８へ出力される。

ハイパス特性設定部３６８は、第２実施形態と同じように、既知特性情報取得部３５０から、病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等などのディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）が既知特性情報として入力される。またハイパス特性設定部３６８には、撮像部２００の光学倍率と、局所平均距離が入力され、まず距離マップ（Ｚ方向）の大きさとｚ方向と直交する座標系（画素ピッチ）に対応する被写体の大きさを一致させた後、上記病変部起因の抽出したい生体固有の凹凸部を保持し、観察部位固有の管腔及び襞の構造がカットされるハイパスフィルタの特性を決定する。

ハイパスフィルタの特性として、例えばカットオフ周波数ｆｈｃでフィルタ特性を制御する。カットオフ周波数ｆｈｃは、上記Ｄ１周期の周波数Ｆ１を通過し、Ｄ２周期の周波数Ｆ２をカットするように指定すればよい。例えば、fhc=(F1+F2)/2*Rfとしてもよい。ここで、Rfは局所平均距離が小さくなれば出力値が小さく、局所平均距離が大きくなれば大きくなる関数である。

ハイパスフィルタ特性については第２実施形態と同様に画素毎に設定し、ハイパス処理部３６９にて、直接病変部起因の抽出したい凹凸部を抽出できる。具体的には、図８（Ｃ）に示したように、差分を取らなくとも直接抽出凹凸情報が取得されることになり、取得された抽出凹凸情報は、凹部抽出部３６４、凸部抽出部３６５へ出力される。

凹部抽出部３６４は、入力される凹凸部からなる抽出凹凸情報から符号が負の領域のみを抽出することで凹部画像を出力する。また凸部抽出部３６５は、入力される凹凸部からなる抽出凹凸情報から符号が正の領域のみを抽出することで凸部画像を出力する。

以降の処理は第１、第２実施形態と同様であるので省略する。

以上により第３実施形態によれば、距離情報の取得はステレオ画像及びTime of Flight方式の測距センサを設け、まず測距用の照明を赤色レーザーとして生体表面の距離情報を抽出し、その後でステレオマッチングで高精度に距離情報を算出するようにした。これによりステレオマッチングのマッチング範囲を前記距離情報により制限をかけられるので、マッチング誤判定を低減でき、更に処理速度の向上が図れる。

以上の本実施形態では、距離情報取得部３４０は、撮像部２００から被写体までの距離を表す低精度の暫定距離情報を取得し、取得した暫定距離情報により絞り込みが行われた探索範囲を対象として、複数の撮像画像から得られる視差情報に基づいて、暫定距離情報に比べて精度の高い距離情報を取得する。

これにより、視差情報を取得して距離情報を求める処理（ステレオマッチング）を行う場合に、処理負荷の軽減及び処理時間の短縮等が可能になる。探索範囲を絞り込まない場合には、計算量が膨大になる他、何らかの要因によりマッチングがとれないような場合に無理にマッチングを取ろうとすることで、取得される距離情報の精度が著しく低下するおそれがある。その点、抽出凹凸情報の抽出に用いられる最終的な距離情報よりも精度が低かったとしても、距離情報の概要をつかんでおくことができれば、その情報を活用した上で探索を行うことで上述の問題が発生することを抑止できる。

また、撮像部２００は図１０に示したように、赤外光を射出する光源部１０６と、被写体による赤外光の反射光を受光する測距素子とを含み、距離情報取得部３４０は、光源部１０６から赤外光が射出されたタイミングから、測距素子で反射光を受光するタイミングまでの時間情報に基づいて、暫定距離情報を取得してもよい。

この際、撮像部２００は、撮像画像の構成に用いられるＲＧＢ画素が配置された単板素子の下層に、測距素子が積層された撮像素子を有してもよい。図１０では撮像素子２１５，２１６の一方がこのような素子であることを想定している。

これにより、赤外光を用いたTime of Flight方式により、暫定距離情報を取得することが可能になる。赤外光はTime of Flight方式で広く用いられる照射光であるが、波長が長いため被写体表面で反射せずに被写体内部（狭義には生体内部）まで入り込み、当該被写体内部で散乱した光が測距素子により検出されるおそれがある。この場合、正確な距離情報の取得が難しいことが考えられるが、ステレオマッチングの探索範囲を限定するために用いられるのであれば十分な情報が取得可能である。さらに、通常の素子（例えば単板ベイヤ配列の素子）の下層に測距素子を積層することも可能であり、この場合図６の例とは異なり、画像構成用の光と測距用の光を分離する必要がなくなる（図１０はこれを想定しており、図６のダイクロイックプリズム２１７に相当するものがない）ため、撮像部２００の構成を簡略化することができ、撮像部２００の小型化等が可能になる。

５．第４の実施形態
図１４は第４の実施形態となるカプセル内視鏡装置の機能ブロック図である。第４実施形態を構成するカプセル内視鏡装置７００は、白色ＬＥＤ７０１と、赤外線レーザー７０１と、対物レンズ７０６と、照明用レンズ７０４及び７０５と、第３実施形態で用いたのと同じ撮像素子７０３（Time of Flight方式の測距センサ（赤外光利用）が合体した素子）と制御部７０７と無線送信部７０８とからなる。

白色ＬＥＤ７０１及び赤外線レーザー７０２はパルス発光させるように制御部７０７が制御し、発光タイミングに合わせて撮像素子７０３は撮像画像及び距離マップを無線送信部７０８へ出力する。

無線送信部７０８は画像記録＆再生装置７１０の無線受信部７１１と無線通信して撮像画像と距離マップが画像記録＆再生装置７１０へ転送される。転送された撮像画像と距離マップは、画像処理部７２０へ出力される。画像処理部７２０は距離マップと撮像画像に基づき病変認識処理を行い、画像記憶部７３０及び表示部７４０へ出力する。画像記憶部７３０に蓄積された画像は無線送信部７５０を経由してサーバーへ送信される。

画像処理部７２０の詳細は図１５に示されており、距離情報取得部７２１、既知特性情報取得部７２９、凹凸特定部７２２、画像構成部（前半）７２３、既知特性情報記憶部７２６、病変認識処理部７２７、画像選択＆画像構成部（後半）７２８から構成される。

凹凸特定部７２２は、第１〜第３実施形態と同様に、凹凸情報抽出部７２２２と、特定処理部７２２３からなる。なお、既知特性情報取得部７２９及び特定処理部７２２３の処理は第１〜第３の実施形態の、既知特性情報取得部３５０及び特定処理部３７０と同様であるため詳細な説明は省略する。また、凹凸情報抽出部７２２２についても、Time of Flight方式に用いる光が赤外光という違いはあるものの、第２の実施形態の凹凸情報抽出部３６０と同様の処理となるため説明を省略する。

画像構成部（前半）７２３はＯＢ処理、ＷＢ処理、デモザイキング、色マトリックス処理まで行い、病変認識処理部７２７と画像選択＆画像構成部（後半）７２８へ出力される。

凹凸特定部７２２から凹凸部が特定された情報が、病変認識処理部７２７へ出力される。病変認識処理部７２７では凹凸部が特定された撮像画像と、凹凸部に対応する画像の色情報により、病変部の有無を判定する。

判定結果は画像選択＆画像構成部（後半）７２８へ送られ、画像構成処理部（前半）７２３で処理された画像に対してγ処理、拡大縮小、エンハンス処理を行い、表示部７４０、及び画像記憶部７３０へ出力される。

以上により第４実施形態によれば、距離情報の取得をTime of Flight方式の測距センサを用いて行うので生体表面の凹凸部を画像認識処理に利用でき、これにより画像認識の誤判定率を低減できるので不要な画像を削除でき、画像要約が効果的に実現できる。

６．第５の実施形態
第５の実施形態となる内視鏡装置の機能ブロック図は、第１の実施形態において示した図１と同様である。ただし本実施形態では、図１７（Ａ）に示したように、観察対象である大腸の生体表面１は隆起病変のポリープ２を有しており、ポリープ２の粘膜表層には正常腺管４０と異常腺管５０を有しているものとし、またポリープ２の付け根には腺管構造が消失した陥凹型病変６０を有しているものとする。また図１７（Ｂ）が生体表面１のポリープ２の上部を上から見た模式図であり、正常腺管４０は略円形の形状を示し、異常腺管５０は正常腺管４０とは異形な形状を呈している。

続いて画像処理部３０１の詳細について図１６に基づいて説明する。画像処理部３０１は、第１の実施形態等と同様に、画像取得部３９０、画像構成部３２０、距離情報取得部３４０、既知特性情報取得部３５０、凹凸特定部３１０、強調処理部３３０から構成される。そして、第１の実施形態の図３と比較した場合に、凹凸特定部３１０の構成が異なり、本実施形態の凹凸特定部３１０は、表面形状算出部３８０、分類処理部３８５から構成される。以下、第１の実施形態等と同様の構成については説明を省略し、凹凸特定部３１０の各部について説明する。

表面形状算出部３８０は、距離情報取得部３４０から入力される距離情報（例えば距離マップ）に対して、クロージング処理、或いは適応ローパスフィルタをかける処理を施すことで所定構造要素以上の構造を抽出する。ここで所定構造要素は観察部位の生体表面１に形成されている分類判定したい腺管構造である。

構造要素情報は、既知特性情報の一つとして既知特性情報取得部３５０により取得されるものであり、既知特性情報取得部３５０から表面形状算出部３８０へ出力される。具体的には、構造要素情報はメモリ２１０からのスコープＩＤ情報に基づき決定される撮像部２００の光学倍率と生体表面１の表面構造から分類したい腺管構造のサイズ（幅の情報）で決定される大きさ情報であり、これは前記腺管構造が所定距離で撮像された場合の撮像画像上のサイズに対応する。

ここで観察部位は、例えば制御部３０２にてメモリ２１０から入力されるスコープＩＤ情報に基づき決定される。例えば上部消化器用スコープだと観察部位は食道、胃、十二指腸であり、下部消化器用スコープだと観察部位は大腸と判定される情報である。前記観察部位に基づき標準的な腺管サイズが予め制御部３０２内に記録されており、この情報が表面形状算出部３８０へ出力される。観察部位の決定方法をスコープＩＤ情報以外の方法で行う例としては外部Ｉ／Ｆ部５００にてユーザが操作可能なスイッチにより選択するようにしてもよい。

表面形状算出部３８０は、入力される距離情報に基づき適応的に表面形状算出情報を生成する。表面形状算出情報の詳細については以降で説明するが、例えば距離マップの注目位置の距離情報に適応したモルフォロジーのカーネルサイズ（構造要素のサイズ）であったり、前記距離情報に適応したローパス特性のフィルタであったりする。つまり距離情報に応じた適応的な非線形、及び線形のローパスフィルタを変更する変更情報となる。

生成された表面形状情報は、距離マップと共に分類処理部３８５に入力され、分類処理部３８５では前記腺管構造（ピットパターン）を分類するための１つの正常腺管構造をモデル化した基本ピット（２値画像）を修正し、撮像画像の生体表面の三次元形状に適応させた修正ピットを、分類基準として生成する。ここではピットパターンを想定しているため、基本ピット、修正ピットという用語を用いるが、より広義な用語として基準パターン、修正パターンと置き換えることが可能である。

さらに分類処理部３８５は、生成された分類基準（修正ピット）による分類処理を行う。分類処理部３８５には更に画像構成部３２０からの所定画像処理された画像が入力され、修正ピットが撮像画像上に存在するかどうかを公知のパターンマッチング処理により判定し、図２２に示すように分類領域をグルーピングした分類マップ（２値画像）が強調処理部３３０へ出力される。更に強調処理部３３０には画像構成部３２０から出力される所定画像処理を行った画像（前記分類画像と同一サイズ）が入力される。

そして強調処理部３３０では、図２２の分類結果を表す情報を用いて、画像構成部３２０から出力される画像に対して強調処理を行う。

続いて表面形状算出部３８０についての詳細を、図１８（Ａ）、図１８（Ｂ）を用いて説明する。図１８（Ａ）では被写体の生体表面１と撮像部２００の垂直方向の断面を示しており、更にモルフォロジー処理（クロージング処理）により表面形状を算出している状態を模式化している。ここでクロージング処理に利用する構造要素（球）の半径は表面形状算出情報である分類したい腺管構造のサイズの２倍以上としている。これは正常腺管４０と異常腺管５０と腺管消失領域６０の微小な凹凸を拾わずに、生体表面１のより滑らかな三次元表面形状を抽出し前記基本ピットを修正した修正ピットの修正誤差を低減することにある。

図１８（Ｂ）は、クロージング処理した後の生体表面の断面であり、更に生体表面に対して法線ベクトルを算出した結果を示している。この法線ベクトルが表面形状情報となる。ただし、表面形状情報は法線ベクトルに限定されるものではなく、図１８（Ｂ）で示した曲面そのものであってもよいし、その他表面形状を表現できる他の情報であってもよい。

これを実現するには、既知特性情報取得部３５０から、生体固有の腺管のサイズ（長手方向の幅など）を既知特性情報として取得すればよい。この情報を使って実際の生体表面をクロージング処理でなぞる球の半径を決定すれば、所望の表面形状のみを抽出できる。球の半径は前記腺管のサイズよりも大きく設定する。

構造要素のサイズについては差異があるものの、クロージング処理自体については第１の実施形態と同様であるため詳細な説明は省略する。また、構造要素のサイズを、距離情報や、撮像部２００の撮像倍率等を用いて適応的に決定してもよい点も、第１の実施形態と同様である。

続いて図２０に示した表面形状算出部３８０の詳細ブロック図の説明を行う。表面形状算出部３８０はモルフォロジー特性設定部３８１、クロージング処理部３８２、法線ベクトル算出部３８３から構成される。

既知特性情報取得部３５０から、既知特性情報である生体固有の腺管のサイズ（長手方向の幅など）がモルフォロジー特性設定部３８１に入力され、表面形状算出情報（クロージング処理に用いる球の半径等）が決定される。

決定した球の半径情報は、距離マップと同一の画素数を持つ半径マップとしてクロージング処理部３８２へ入力される。クロージング処理部３８２は、前記半径マップにより画素単位で半径を変更してクロージング処理を行う。クロージング処理部３８２の処理結果は法線ベクトル算出部３８３へ出力される。

法線ベクトル算出部３８３は、クロージング処理後の距離マップが入力され、距離マップの注目サンプル位置とその隣接する２つのサンプル位置の三次元情報により平面を定義し、定義した平面の法線ベクトルを算出する。算出した法線ベクトルは距離マップと同一サンプリング数の法線ベクトルマップとして分類処理部３８５へ出力される。

分類処理部３８５は、図２１に示すように分類基準データ記憶部３８５１、射影変換部３８５２、探索領域サイズ設定部３８５３、類似度算出部３８５４、領域設定部３８５５から構成される。

分類基準データ記憶部３８５１には、図１９（Ａ）に示す生体表面に露出している正常腺管をモデル化した基本ピットが記憶されている。この基本ピットは２値画像であり、所定距離にある正常腺管を撮像した場合に相当する大きさの画像である。この基本ピットは射影変換部３８５２へ出力される。

射影変換部３８５２には、距離情報取得部３４０からの距離マップと、表面形状算出部３８０からの法線ベクトルマップ、更に制御部３０２から光学倍率が入力される。距離マップの注目サンプル位置の距離情報と対応するサンプル位置の法線ベクトルを抽出し、基本ピットに対する射影変換を行い、更に光学倍率に合わせて倍率補正を行って修正ピットを生成し、分類基準として類似度算出部３８５４へ出力される。修正ピットの例を、図１９（Ｂ）に示す。射影変換部３８５２で生成した修正ピットのサイズは探索領域サイズ設定部３８５３へ出力される。

探索領域サイズ設定部３８５３は、修正ピットのサイズの縦横２倍の領域を、類似度算出処理の探索領域として設定して、類似度算出部３８５４へ出力する。

類似度算出部３８５４には、射影変換部３８５２からの注目サンプル位置の修正ピットと、探索領域サイズ設定部３８５３からの前記修正ピットに対応する探索領域が入力され、画像構成部３２０から出力される所定画像処理された画像から前記探索領域が抽出される。

類似度算出部３８５４では、抽出された探索領域画像に対してハイパスフィルタ、あるいはバンドパスフィルタ処理を施して低周波成分をカットした後に２値化処理を行った２値探索領域を生成する。２値探索領域内を、分類基準である修正ピットでパターンマッチング処理（相関値は差分絶対値和で算出）して相関値を算出し、そのピーク位置と最大相関値（差分絶対値和の最小値）マップが領域設定部３８５５へ出力される。なお、相関値の算出方法としてはＰＯＣ（Phase Only Correlation）等、他の手法を用いてもよい。ＰＯＣを用いる場合には、回転や倍率変化について不変となるので、相関算出の精度を高めることが可能である。

領域設定部３８５５は、類似度算出部３８５４から入力される最大相関値マップに基づいて、差分絶対値和が所定閾値Ｔ以下の領域を抽出し、更にその領域内の最大相関値の位置と隣接探索範囲の最大相関値の位置との間で三次元距離を算出する。算出された三次元距離が所定誤差の範囲に含まれている場合はその最大相関位置を含む領域を正常領域としてグルーピングを行い、図２２に示したような分類マップを強調処理部３３０へ出力する。

以上のように第５実施形態によれば、生体の表面形状に基づく正常腺管のピット形状の変更に対応した分類判定を行うので異常腺管領域との分類精度を高める事が可能となる。

以上の本実施形態では、凹凸特定部３１０は図１６に示したように、距離情報と既知特性情報に基づいて、被写体の表面形状情報を求める表面形状算出部３８０と、表面形状情報に基づいて分類基準を生成し、生成した分類基準を用いた分類処理を行う分類処理部３８５とを含む。そして凹凸特定部３１０は、分類基準を用いた分類処理を、凹凸特定処理として行う。

これにより、距離情報及び既知特性情報に基づいて表面形状情報を求め、当該表面形状情報を用いて生成した分類基準を用いた分類処理により凹凸部を特定することが可能になる。よって、表面形状情報により表される表面形状に基づいて、適応的に分類基準を生成し分類処理を行うこと等ができる。上述した撮像部２００の光軸方向と被写体表面のなす角度に起因する撮像画像上での構造物の変形等、表面形状による分類処理の精度低下要因は種々考えられるが、本実施形態の手法によれば、そのような場合でも精度よく分類処理、すなわち凹凸特定処理を行うことが可能である。

また、既知特性情報取得部３５０は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報として取得し、分類処理部３８５は、基準パターンに対して、表面形状情報に基づく変形処理を行うことで取得される修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。

これにより、既知特性情報として取得した基準パターンに対して、表面形状情報による変形処理を行った修正パターンを分類基準として分類処理を行うことができるため、被写体の構造物が表面形状によって変形された状態で撮像された場合にも、精度よく分類処理を行うことが可能になる。具体的には、円形の腺管構造は図１７（Ｂ）に示したように、種々の変形をされた状態で撮像されるが、基準パターン（図１９（Ａ）の基準ピット）から表面形状に応じて適切な修正パターン（図１９（Ｂ）の修正ピット）を生成して分類基準とすることで、変形された領域においても適切にピットパターンを検出、分類することができる。なお、表面形状情報に基づく変形処理は、例えば図２１に示した射影変換部３８５２で行われる。

また、分類処理部３８５は、撮像画像に撮像された被写体の構造物と、修正パターンである分類基準との類似度を、撮像画像の各画像内位置で求め、求めた類似度に基づいて、分類処理を行ってもよい。

これにより、撮像画像中の構造物と、分類基準（修正パターン）との類似度を用いて分類処理を行うことが可能になる。具体例を図２７（Ａ）〜図２７（Ｆ）に示す。ある画像内位置を図２７（Ａ）に示すように処理対象位置とした場合、当該処理対象位置での表面形状情報により基準パターンを変形することで、図２７（Ｂ）に示したように当該処理対象位置での修正パターンが取得される。取得された修正パターンから、図２７（Ｃ）に示すように処理対象位置の周辺の探索領域（上述の例であれば修正パターンの縦横２倍のサイズの領域）を設定し、図２７（Ｄ）に示したように当該探索領域において、撮像された構造物と修正パターンとのマッチングをとる。このマッチングを画素単位で行ったとすれば、画素毎に類似度が算出される。そして、図２７（Ｅ）に示したように、探索領域での類似度のピークに対応する画素を特定し、当該画素での類似度が所与の閾値以上であるか否かを判定する。類似度が閾値以上であれば、当該ピーク位置を基準とする修正パターンの大きさの領域（図２７（Ｅ）では修正パターンの中心部を基準位置としているが、これに限定されない）に、修正パターンが検出されたということであるから、当該領域は基準パターンに合致する領域であるという分類をすることができる。なお、図２７（Ｆ）に示したように、修正パターンを表す形状の内部を分類基準に合致する領域としてもよく、種々の変形実施が可能である。一方、類似度が閾値未満の場合には、処理対象位置の周辺領域では基準パターンにマッチングする構造はないということになる。この処理を各画像内位置で行うことで、撮像画像内に、０個、１個、或いは複数の基準パターンに合致する領域と、それ以外の領域とが設定されることになる。そして、基準パターンに合致する領域が複数ある場合には、それらのうち重なり合うものや近接するものを統合していくことで、最終的に図２２に示したような分類結果が得られることになる。ただし、ここで述べた類似度に基づく分類処理の手法は一例であり、他の手法により分類処理を行ってもよい。また、類似度の具体的な算出手法については、画像間類似度、画像間相違度を算出する種々の手法が知られているため、詳細な説明は省略する。

また、既知特性情報取得部３５０は、正常状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得してもよい。

これにより、図２２に示したように、撮像画像を正常である領域と、正常でない領域とに分類する分類処理を行うことが可能になる。正常でない領域とは、例えば生体用内視鏡であれば、生体の病変部であることが疑われる領域である。このような領域はユーザにとって注目度が高いことが想定されるため、適切に分類することで注目すべき領域の見逃しを抑止すること等が可能になる。

また、被写体は、大局的な三次元構造と、前記大局的な三次元構造に比べて局所的な凹凸構造とを有し、表面形状算出部３８０は、被写体が有する大局的な三次元構造と局所的な凹凸構造のうち、大局的な三次元構造を距離情報から抽出することで、表面形状情報を求めてもよい。

これにより、被写体の構造を大局的なものと局所的なものに分けた場合に、大局的な構造から表面形状情報を求めることが可能になる。本実施形態では表面形状情報に基づいて分類基準を生成する。その場合、基準パターンに比べて小さい凹凸構造があったとしても、当該凹凸構造による、撮像画像上での基準パターンの変形等の影響は大きくなく、分類処理の精度低下要因としては、基準パターンに比べて大きい構造である大局的な構造に起因するものが支配的である。さらにいえば、局所的な凹凸構造まで用いて分類基準を作成することで、基準パターンの変形処理（修正パターンを求める処理）の精度が低下するおそれもある。例えば、撮像部２００の光軸方向に対して被写体面が垂直であり、当該面の一部に基準パターンに比べて小さい凹みがあったとする。その場合、被写体を撮像して得られる画像上では、基準パターンに相当する被写体構造は基準パターン通り、或いはそれに充分近い形状に撮像されることが想定され、基準パターンをそのまま使えばマッチングが可能である。しかし、局所的な凹みの情報まで用いてしまうと、当該凹み部分での被写体面と光軸方向のなす角度は、９０度とは大きく異なることになり、凹み部分周辺での分類基準である修正パターンに無用な変形を加えることになってしまう。よって、本実施形態では大局的な三次元構造から表面形状情報を求めることで、精度よく分類処理を行うものとしている。

また、表面形状算出部３８０は、大局的な三次元構造により表される被写体の表面における法線ベクトルを、表面形状情報として求めてもよい。

これにより、図１８（Ｂ）に示したように、被写体表面における（狭義には直交する）法線ベクトルを表面形状情報とすることが可能になる。ただし、表面形状情報は法線ベクトルに限定されるものではなく、大局的な三次元構造を表す面そのもの（図１８（Ｂ）でいえば、クロージング処理の結果を表す情報）でもよいし、被写体面に接する接線の集合であってもよいし、表面形状を表す他の情報であってもよい。

また、既知特性情報取得部３５０は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得し、分類処理部３８５は、基準パターンに対して、所与の基準方向に対する法線ベクトルの向く角度に基づく変形処理を行うことで取得される修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。

これにより、表面形状情報として法線ベクトルを求めた場合には、当該法線ベクトルの方向を用いた変形処理により分類基準を生成することが可能になる。ここで所与の基準方向とは、撮像部２００の光軸方向、或いは当該光軸方向により決定される方向であり、基準方向と法線ベクトルの向く角度を用いることで、当該法線ベクトルに対応する位置での被写体構造が、どの程度変形されて撮像画像に撮像されるかを推定することができる。よって、基準パターンに対して推定結果と同様の変形処理を図１９（Ａ）、図１９（Ｂ）に示したように施すことで、精度よく分類処理を行うことが可能になる。

７．第６の実施形態
図２３は第６の実施形態となる内視鏡装置の機能ブロック図である。本発明の第６の実施形態を構成する内視鏡装置も光源部１００と撮像部２００とプロセッサ部３００と表示部４００と外部Ｉ／Ｆ部５００からなる。

第３の実施形態との違いは、光源部１００が白色ＬＥＤと赤外レーザー光源１０６となり、撮像部２００の撮像素子２１５は１つとし、赤外光に対してTime of Flight方式の測距センサー画素が原色単板のＲＧＢ画素の下層に積層されているものとする。このような構成により撮像素子２１５からの画像は画像処理部３０１へ出力され、距離マップ記録部３０３には赤外線で検出された距離マップが出力される。

本実施形態の画像処理部３０１の構成は、第５の実施形態で説明した図１６と同様であるため、詳細な説明は省略する。また、表面形状算出部３８０の処理も、第５実施形態の内容と変化が無い。ただし、第２の実施形態と同様に、モルフォロジー処理ではなくフィルター処理を行う等の変形が可能である。

本実施形態の分類処理部３８５の構成例を図２４に示す。第５の実施形態の図２１と比較した場合に、第２の分類基準データ生成部３８５６が追加された構成となっている。

本実施形態では、分類基準である基本ピットが正常腺管だけでなく、異常腺管に対しても用意する点、更に実際の撮像画像のピットを抽出し第２の分類基準データ（第２の基準パターン）として分類基準データを置き換えて、置き換え後の第２の分類基準データに基づいて、類似度算出をし直す点が第５実施形態と異なっている。

相違点について詳細に説明する。分類処理部３８５の分類基準データ記憶部３８５１には、正常腺管の基本ピットだけでなく図２５に示すような複数のピットが記録されており、射影変換部３８５２へ出力される。射影変換部３８５２の処理は第５の実施形態と同様であり、分類基準データ記憶部３８５１に格納されている全てのピットに対して射影変換処理を行い、複数の分類タイプに対する修正ピットが探索領域サイズ設定部３８５３と、類似度算出部３８５４へ出力される。

類似度算出部３８５４では、複数の修正ピットに対してそれぞれの最大相関値マップが生成される。ただし本実施形態では、この時点での最大相関値マップは分類マップの生成（分類処理の最終出力の生成）に用いられるものではなく、第２の分類基準データ生成部３８５６に出力され、新たな分類基準データの生成に用いられることになる。

第２の分類基準データ生成部３８５６では、類似度算出部３８５４で類似度が高い（差分絶対値が所定値以下）と判定された画像上の位置のピット画像を分類基準として採用する。これにより予め用意されている標準的なモデル化したピットではなく、より最適な精度の高い分類判定が可能となる。

具体的には、第２の分類基準データ生成部３８５６には、類似度算出部３８５４からの分類毎の最大相関値マップと、画像構成部３２０からの画像と、距離情報取得部３４０からの距離マップと、制御部３０２からの光学倍率と、既知特性情報取得部３５０からの分類毎の腺管のサイズと、が入力される。そして第２の分類基準データ生成部３８５６は、分類毎の最大相関値のサンプル位置に対応する画像データをその位置の距離情報と腺管のサイズと光学倍率に基づき抽出する。

さらに第２の分類基準データ生成部３８５６は、抽出された実画像から低周波成分を除いたグレースケール画像（明るさの違いをキャンセルする為）を取得し、当該グレースケール画像を第２の分類基準データとして、法線ベクトル及び距離情報と併せて分類基準データ記憶部３８５１へ出力し、分類基準データ記憶部３８５１は、出力された第２の分類基準データ、及び関連情報を記憶する。これにより各分類で、被写体との相関性が高い第２の分類基準データが収集できたことになる。

なお、上記の第２の分類基準データは、撮像部２００の光軸方向と被写体面のなす角度、及び撮像部２００から被写体面までの距離による変形の影響が排除されていない。よって、第２の分類基準データ生成部３８５６は、それらの影響をキャンセルする処理を行った上で第２の分類基準データを生成してもよい。具体的には、上記グレースケール画像に対して、所与の基準方向から所与の距離にあるものとして撮像した場合に相当するように変形処理（射影変換処理及び変倍処理）を行った結果を第２の分類基準データとすればよい。

第２の分類基準データが生成された後は、当該第２の分類基準データを対象として、射影変換部３８５２、探索領域サイズ設定部３８５３、類似度算出部３８５４において、再度処理を行えばよい。具体的には、第２の分類基準データに対して射影変換処理を行って第２の修正パターンを生成し、生成した第２の修正パターンを分類基準として第５の実施形態と同様の処理を行う。

なお、本実施形態で用いる異常腺管の基本ピットは、点対象で無い場合がほとんどである。よって、類似度算出部３８５４での類似度算出（修正パターンを用いる場合と、第２の修正パターンを用いる場合の両方において）では、回転不変のＰＯＣ（Phase Only Correction）を実施して類似度を算出するとよい。

領域設定部３８５５では、図２６（Ａ）〜図２６（Ｄ）に示すような分類マップが生成される。図２６（Ａ）は、正常腺管に分類される修正ピットで相関が得られた領域であり、図２６（Ｂ）と図２６（Ｃ）は、それぞれ異なる異常腺管に分類される修正ピットで相関が得られた領域である。そして、図２６（Ｄ）は３つの分類マップ（多値画像）を合成したものである。それぞれの分類で相関が得られた領域のオーバーラップ領域は分類未確定領域としてもよいし、悪性レベルの高い方の分類に置き換えてもよい。領域設定部３８５５からは、図２６（Ｄ）の合成した分類マップが強調処理部３３０へ出力される。

そして、強調処理部３３０では多値画像の分類マップに基づき、輝度、或は色の強調処理等がなされる。

その他、本実施形態で説明を省略した処理は第５実施形態と同様である。以上により第６実施形態によれば、正常腺管のみならず多様な異常腺管のパターンも含めて分類判定を行うのと、分類基準自体を平均的な基準ではなく撮像画像から取得するので分類判定の精度を向上させることが可能である。

以上の本実施形態では、既知特性情報取得部３５０は、異常状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得する。

これにより、例えば図２５に示したように、複数の基準パターンを取得し、それらを用いて分類基準を生成し、分類処理を行うことが可能になる。分類処理の具体的な手法は種々考えられるが、例えば第１〜第Ｎ（Ｎは２以上の整数）の基準パターンから、第１〜第Ｎの分類基準を生成し、それぞれの分類基準について、撮像画像を分類基準に合致する領域と、合致しない領域とに分け、その結果を統合すればよい。それぞれの分類基準を用いた処理結果の例が、図２６（Ａ）〜図２６（Ｃ）であり、それらを統合した結果（分類処理の結果出力）の例が図２６（Ｄ）である。

また、既知特性情報取得部３５０は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報として取得し、分類処理部３８５は、基準パターンに対して、表面形状情報に基づく変形処理を行うことで修正パターンを取得し、撮像画像に撮像された被写体の構造物と、修正パターンとの類似度を、撮像画像の各画像内位置で求め、求めた類似度に基づいて、第２の基準パターン候補を取得してもよい。そして、分類処理部３８５は、取得した第２の基準パターン候補と、表面形状情報に基づいて、新たな基準パターンである第２の基準パターンを生成し、第２の基準パターンに対して、表面形状情報に基づく変形処理を行うことで取得される第２の修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。

これにより、撮像画像に基づいて第２の基準パターンを生成し、当該第２の基準パターンを用いて分類処理を行うことが可能になる。よって、実際に撮像画像に撮像された被写体から分類基準を作成することができるため、当該分類基準は処理対象としている被写体の特性をよく反映したものとなり、既知特性情報として取得された基準パターンをそのまま用いる場合に比べて、分類処理の精度をより向上させること等が可能になる。

以上、本発明を適用した６つの実施の形態１〜６およびその変形例について説明したが、本発明は、各実施の形態１〜６やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜６や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜６や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１０，２０，３０ 病変部、４０ 正常腺管、５０ 異常腺管、６０ 腺管消失領域、
１００ 光源部、１０１ 白色光源、１０２ 回転色フィルタ、１０３ 回転駆動部、
１０４ 集光レンズ、１０５ 青色レーザー光源、１０６ 赤外レーザー光源、
２００ 撮像部、２０１ ライトガイドファイバ、２０３ 照明レンズ、
２０４ 対物レンズ、２０６，２１５，２１６ 撮像素子、２０９ Ａ／Ｄ変換部、
２１０ メモリ、２１２ コネクタ、２１３ 撮像素子、２１４ 測距センサ、
２１７ ダイクロイックプリズム、３００ プロセッサ部、３０１ 画像処理部、
３０２ 制御部、３０３ 距離マップ記録部、３１０ 凹凸特定部、
３２０ 画像構成部、３３０ 強調処理部、３４０ 距離情報取得部、
３４１ ステレオマッチング部、３４２ 視差・距離変換部、
３５０ 既知特性情報取得部、３６０ 凹凸情報抽出部、３６１ 局所平均距離算出部、
３６２ モルフォロジー特性設定部、３６３−１ クロージング処理部、
３６３−２ オープニング処理部、３６４ 凹部抽出部、３６５ 凸部抽出部、
３６６ ローパス特性設定部、３６７ ローパス処理部、３６８ ハイパス特性設定部、
３６９ ハイパス処理部、３７０ 特定処理部、３８０ 表面形状算出部、
３８１ モルフォロジー特性設定部、３８２ クロージング処理部、
３８３ 法線ベクトル算出部、３８５ 分類処理部、３９０ 画像取得部、
３８５１ 分類基準データ記憶部、３８５２ 射影変換部、
３８５３ 探索領域サイズ設定部、３８５４ 類似度算出部、３８５５ 領域設定部、
３８５６ 分類基準データ生成部４００ 表示部、５００ 外部Ｉ／Ｆ部、
６０１ 距離情報取得部、７００ カプセル内視鏡装置、７０１ 白色ＬＥＤ、
７０２ 赤外線レーザー、７０３ 撮像素子、７０４ 照明用レンズ、
７０６ 対物レンズ、７０７ 制御部、７０８ 無線送信部、７１０ 再生装置、
７１１ 無線受信部、７２０ 画像処理部、７２１ 距離情報取得部、
７２２ 凹凸特定部、７２６ 既知特性情報記憶部、７２７ 病変認識処理部、
７２９ 既知特性情報取得部、７３０ 画像記憶部、７４０ 表示部、
７５０ 無線送信部、７２２２ 凹凸情報抽出部、７２２３ 特定処理部

Claims (29)

1. 撮像部の撮像により、被写体の像を含む撮像画像を取得する画像取得部と、
   前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
   前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部と、
   前記距離情報と前記既知特性情報に基づいて、前記撮像画像に撮像された前記被写体から、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行う凹凸特定部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記凹凸特定部は、
   前記距離情報と前記既知特性情報に基づいて、前記既知特性情報により特定される前記特性と合致する前記被写体の前記凹凸部を表す情報を、抽出凹凸情報として前記距離情報から抽出する凹凸情報抽出部を含み、
   前記凹凸特定部は、
   前記抽出凹凸情報に基づいて前記凹凸特定処理を行うことを特徴とする画像処理装置。
3. 請求項２において、
   前記凹凸情報抽出部は、
   前記既知特性情報に基づいて抽出処理パラメータを決定し、決定された前記抽出処理パラメータに基づいて、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
4. 請求項３において、
   前記既知特性情報取得部は、
   前記被写体の種類を表す種類情報と、前記種類情報に関連づけられた前記被写体の前記凹凸部に関する情報である凹凸特性情報を、前記既知特性情報として取得し、
   前記凹凸情報抽出部は、
   前記種類情報と前記凹凸特性情報に基づいて、前記抽出処理パラメータを決定し、決定された前記抽出処理パラメータに基づいて、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
5. 請求項３において、
   前記撮像画像が、生体の内部を撮像した生体内画像であり、
   前記既知特性情報取得部は、
   前記被写体が前記生体のいずれの部位に対応するかを表す部位情報と、前記生体の前記凹凸部に関する情報である凹凸特性情報を、前記既知特性情報として取得し、
   前記凹凸情報抽出部は、
   前記部位情報と前記凹凸特性情報に基づいて、前記抽出処理パラメータを決定し、決定された前記抽出処理パラメータに基づいて、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
6. 請求項３において、
   前記凹凸情報抽出部は、
   前記既知特性情報に基づいて、オープニング処理及びクロージング処理に用いられる構造要素のサイズを、前記抽出処理パラメータとして決定し、
   決定されたサイズの前記構造要素を用いた前記オープニング処理及び前記クロージング処理を行って、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
7. 請求項６において、
   前記凹凸情報抽出部は、
   前記オープニング処理及び前記クロージング処理の処理対象画素に対応する前記距離情報の値が大きいほど、前記抽出処理パラメータである前記構造要素の前記サイズを小さく設定することを特徴とする画像処理装置。
8. 請求項３において、
   前記凹凸情報抽出部は、
   前記既知特性情報に基づいて、前記距離情報に対するフィルタリング処理に用いられるフィルタの周波数特性を、前記抽出処理パラメータとして決定し、
   決定された前記周波数特性を有する前記フィルタ用いた前記フィルタリング処理を行って、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
9. 請求項２において、
   前記被写体は、大局的な三次元構造と、前記大局的な三次元構造に比べて局所的な凹凸構造とを有し、
   前記凹凸情報抽出部は、
   前記被写体が有する前記大局的な三次元構造と前記局所的な凹凸構造のうち、前記既知特性情報により特定される特性と合致する前記被写体の前記凹凸部を、前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
10. 請求項２において、
    前記撮像画像が、生体の内部を撮像した生体内画像であり、
    前記被写体は、前記生体内部の管腔構造である大局的な三次元構造と、前記管腔構造に形成され、前記大局的な三次元構造に比べて局所的な凹凸構造とを有し、
    前記凹凸情報抽出部は、
    前記被写体が有する前記大局的な三次元構造と前記局所的な凹凸構造のうち、前記既知特性情報により特定される特性と合致する前記被写体の前記凹凸部を、前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
11. 請求項１において、
    前記距離情報取得部は、
    取得された前記撮像画像の各画素において、前記撮像部から前記各画素に撮像された前記被写体までの前記距離に関する情報を対応づけた距離マップを、前記距離情報として取得することを特徴とする画像処理装置。
12. 請求項１において、
    前記撮像部は、複数の視点を有するものであり、
    前記画像取得部は、
    前記撮像部を介して、前記複数の視点のそれぞれに対応する前記撮像画像を複数取得し、
    前記距離情報取得部は、
    取得された複数の前記撮像画像から得られる視差情報に基づいて、前記距離情報を取得することを特徴とする画像処理装置。
13. 請求項１２において、
    前記距離情報取得部は、
    前記撮像部から前記被写体までの距離を表す低精度の暫定距離情報を取得し、
    取得した前記暫定距離情報により絞り込みが行われた探索範囲を対象として、複数の前記撮像画像から得られる前記視差情報に基づいて、前記暫定距離情報に比べて精度の高い前記距離情報を取得することを特徴とする画像処理装置。
14. 請求項１３において、
    前記撮像部は、
    赤外光を射出する光源部と、前記被写体による前記赤外光の反射光を受光する測距素子とを含み、
    前記距離情報取得部は、
    前記光源部から前記赤外光が射出されたタイミングから、前記測距素子で前記反射光を受光するタイミングまでの時間情報に基づいて、前記暫定距離情報を取得することを特徴とする画像処理装置。
15. 請求項１４において、
    前記撮像部は、
    前記撮像画像の構成に用いられるＲＧＢ画素が配置された単板素子の下層に、前記測距素子が積層された撮像素子を有することを特徴とする画像処理装置。
16. 請求項１において、
    前記撮像部は、
    青色光を射出する光源部と、前記被写体による前記青色光の反射光を受光する測距素子とを含み、
    前記距離情報取得部は、
    前記光源部から前記青色光が射出されたタイミングから、前記測距素子で前記反射光を受光するタイミングまでの時間情報に基づいて、前記距離情報を取得することを特徴とする画像処理装置。
17. 請求項１において、
    前記凹凸特定部は、
    前記距離情報と前記既知特性情報に基づいて、前記被写体の表面形状情報を求める表面形状算出部と、
    前記表面形状情報に基づいて分類基準を生成し、生成した前記分類基準を用いた分類処理を行う分類処理部と、
    を含み、
    前記凹凸特定部は、
    前記分類基準を用いた前記分類処理を、前記凹凸特定処理として行うことを特徴とする画像処理装置。
18. 請求項１７において、
    前記既知特性情報取得部は、
    所与の状態における前記被写体の構造物に対応する基準パターンを、前記既知特性情報として取得し、
    前記分類処理部は、
    前記基準パターンに対して前記表面形状情報に基づく変形処理を行うことで取得される修正パターンを、前記分類基準として生成し、生成した前記分類基準を用いて前記分類処理を行うことを特徴とする画像処理装置。
19. 請求項１８において、
    前記分類処理部は、
    前記撮像画像に撮像された前記被写体の前記構造物と、前記修正パターンである前記分類基準との類似度を、前記撮像画像の各画像内位置で求め、求めた前記類似度に基づいて、前記分類処理を行うことを特徴とする画像処理装置。
20. 請求項１８において、
    前記既知特性情報取得部は、
    正常状態における前記被写体の前記構造物に対応する前記基準パターンを、前記既知特性情報として取得することを特徴とする画像処理装置。
21. 請求項２０において、
    前記既知特性情報取得部は、
    異常状態における前記被写体の前記構造物に対応する前記基準パターンを、前記既知特性情報として取得することを特徴とする画像処理装置。
22. 請求項１７において、
    前記既知特性情報取得部は、
    所与の状態における前記被写体の構造物に対応する基準パターンを、前記既知特性情報として取得し、
    前記分類処理部は、
    前記基準パターンに対して前記表面形状情報に基づく変形処理を行うことで、修正パターンを取得し、
    前記撮像画像に撮像された前記被写体の前記構造物と、前記修正パターンとの類似度を、前記撮像画像の各画像内位置で求め、求めた前記類似度に基づいて、第２の基準パターン候補を取得し、
    取得した前記第２の基準パターン候補と、前記表面形状情報に基づいて、新たな基準パターンである第２の基準パターンを生成し、
    前記第２の基準パターンに対して前記表面形状情報に基づく変形処理を行うことで取得される第２の修正パターンを、前記分類基準として生成し、生成した前記分類基準を用いて前記分類処理を行うことを特徴とする画像処理装置。
23. 請求項１７において、
    前記被写体は、大局的な三次元構造と、前記大局的な三次元構造に比べて局所的な凹凸構造とを有し、
    前記表面形状算出部は、
    前記被写体が有する前記大局的な三次元構造と前記局所的な凹凸構造のうち、前記大局的な三次元構造を前記距離情報から抽出することで、前記表面形状情報を求めることを特徴とする画像処理装置。
24. 請求項２３において、
    前記表面形状算出部は、
    前記大局的な三次元構造により表される前記被写体の表面における法線ベクトルを、前記表面形状情報として求めることを特徴とする画像処理装置。
25. 請求項２４において、
    前記既知特性情報取得部は、
    所与の状態における前記被写体の構造物に対応する基準パターンを、前記既知特性情報として取得し、
    前記分類処理部は、
    前記基準パターンに対して所与の基準方向に対する前記法線ベクトルの向く角度に基づく変形処理を行うことで取得される修正パターンを、前記分類基準として生成し、生成した前記分類基準を用いて前記分類処理を行うことを特徴とする画像処理装置。
26. 請求項１乃至２５のいずれかに記載の画像処理装置を含むことを特徴とする電子機器。
27. 請求項１乃至２５のいずれかに記載の画像処理装置を含むことを特徴とする内視鏡装置。
28. 撮像部の撮像により、被写体の像を含む撮像画像を取得する処理を行い、
    前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する処理を行い、
    前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する処理を行い、
    前記距離情報と前記既知特性情報に基づいて、前記撮像画像に撮像された前記被写体から、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行う、
    ステップをコンピュータに実行させるプログラム。
29. 画像取得部と、距離情報取得部と、既知特性情報取得部と、凹凸特定部と、を含む画像処理装置の作動方法であって、
    前記画像取得部が、撮像部の撮像により、被写体の像を含む撮像画像を取得する処理を行い、
    前記距離情報取得部が、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する処理を行い、
    前記既知特性情報取得部が、前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する処理を行い、
    前記凹凸特定部が、前記距離情報と前記既知特性情報に基づいて、前記撮像画像に撮像された前記被写体から、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行うことを特徴とする画像処理装置の作動方法。