JP2008093213A - 医療用画像処理装置及び医療用画像処理方法 - Google Patents

Abstract

【課題】２次元画像から３次元画像を精度よく構築し、局所的な隆起形状を有する病変を検出する場合の検出精度を向上させる。
【解決手段】本実施例の内視鏡システムは、医療用観察装置と、医療用画像処理装置と、モニタとを有して要部が構成されている。医療用画像処理装置のＣＰＵ２２は、３次元モデル推定部２２ａ、検出対象領域設定部２２ｂ、形状特徴量算出手段としての形状特徴量算出部２２ｃ、モデル補正部２２ｄ、３次元形状検出部２２ｅ、ポリープ決定部２２ｆの各機能部からなる。
【選択図】図２

Description

本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、生体組織の像の２次元画像データに基づき、該生体組織の３次元モデルデータを推定する医療用画像処理装置及び医療用画像処理方法に関する。

従来、医療分野において、Ｘ線診断装置、ＣＴ、ＭＲＩ、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、体腔内に挿入可能な挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。

また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等を総合的に観察することができる。

さらに、内視鏡装置は、局所的な隆起形状を有する病変が存在する所定の画像を検出可能な画像処理方法として、例えば、特開２００５−１９２８８０号公報（特許文献１）等に記載されている画像処理方法を用いることにより、ポリープ等の病変部位が含まれる画像を検出することもまた可能である。

この特許文献１に記載されている画像処理方法は、入力された画像が有する輪郭を抽出するとともに、該輪郭の形状に基づき、該画像における局所的な隆起形状を有する病変を検出することができる。

また、従来、大腸ポリープ検出処理においては、２次元画像から３次元データを推定し、３次元特徴量（Shape Index／Curvedness）を用いて大腸ポリープを検出している（非特許文献１）。この３次元特徴量は、参照点における偏微分係数を３次元データから算出して、偏微分係数を使用して算出することにより実現する。そして、大腸ポリープ検出処理では、３次元特徴量を閾値処理することにより、ポリープ候補を検出する。
特開２００５−１９２８８０号公報 電子情報通信学会、信学技報（MI2003-102），形状情報に基づく３次元腹部ＣＴ像からの大腸ポリープ自動検出手法に関する検討 木村、林、北坂、森、末長 ｐｐ．２９〜３４，２００４

しかしながら、従来より３次元データの推定手法として使用される”Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法は、２次元画像でエッジとして画像化される部分では、精度が悪化するといった問題がある。

詳細には、ポリープ等の３次元像を内視鏡にて撮像する場合、３次元像上の曲面の境や可視範囲とオクルージョン（可視隠蔽or不可視）範囲との境に、境界として、エッジ領域が発生する。２次元画像から３次元データを推定する”Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法は、２次元画像の画素値を元にして３次元位置を推定する手法である。このエッジ領域の画素値は、隣接する領域の画素値と比べ低い値となるため、”Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法では、このエッジ領域に「溝（凹）」が存在するかのごとく、３次元位置の推定値を算出してしまう。

例えば、図２６に示すようなポリープ５００を撮像対象とする大腸内視鏡画像に対して、”Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法により３次元データ点の座標を推定し、３次元データ点から３次元サーフェイスを生成する場合、理想的には、図２７に示すような３次元画像を生成すべきである。

しかし、平面ｘ＝ｘ0（図２６における点線位置）にて実際に”Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法により３次元サーフェイスを切り出す時の断面は、図２８に示すように、２次元画像データのエッジ領域部分にて、あらかも「溝（凹）」が存在するかのごとく推定されてしまう。腸管においては、このような「溝（凹）」が存在することがないため、従来の”Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法による推定では、存在しない「溝（凹）」を３次元データとして推定してしまうため、３次元画像の推定の精度が悪化するといった問題があり、３次元画像推定を利用した従来の大腸ポリープ検出処理は、検出精度の低下及び誤検出の発生といった課題を有している。

本発明は、上記事情に鑑みてなされたものであり、２次元画像から３次元画像を精度よく構築し、局所的な隆起形状を有する病変を検出する場合の検出精度を向上させることのできる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。

本発明の医療用画像処理装置は、
医療用撮像装置から入力される体腔内の生体組織の像の２次元画像から前記生体組織の３次元モデルを推定する３次元モデル推定手段と、
前記２次元画像画像を構成する画像領域の画像境界線を検出する画像境界線検出手段と、
前記画像境界線の線幅を算出する線幅算出手段と、
前記線幅に基づき、前記３次元モデル推定手段における、前記画像境界線の３次元モデルの推定結果を補正する補正手段と、
とを備えて構成される。

また、本発明の医療用画像処理方法は、
医療用撮像装置から入力される体腔内の生体組織の像の２次元画像から前記生体組織の３次元モデルを推定する３次元モデル推定ステップと、
前記２次元画像画像を構成する画像領域の画像境界線を検出する画像境界線検出ステップと、
前記画像境界線の線幅を算出する線幅算出ステップと、
前記線幅に基づき、前記３次元モデル推定ステップにおける、前記画像境界線の３次元モデルの推定結果を補正する補正ステップと、
とを備えて構成される。

本発明によれば、２次元画像から３次元画像を精度よく構築し、局所的な隆起形状を有する病変を検出する場合の検出精度を向上させることができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図１６は本発明の実施例１に係わり、図１は医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図、図２は図１のＣＰＵの機能構成を示す機能ブロック図、図３は図１のハードディスクの格納情報構成を示す図、図４は図２のＣＰＵの処理の流れを示すフローチャート、図５は図４の３次元モデルデータの補正処理の流れを示すフローチャート、図６は図１の処理を説明する第１の図、図７は図１の処理を説明する第２の図、図８は図１の処理を説明する第３の図、図９は図１の処理を説明する第４の図、図１０は図５のエッジ領域としてエッジ端点間の３次元点列データの補正処理の流れを示すフローチャート、図１１は図１の処理を説明する第５の図、図１２は図１の処理を説明する第６の図、図１３は図１０の第１の変形例の処理の流れを示すフローチャート、図１４は図１０の第２の変形例の処理の流れを示すフローチャート、図１５は図１４の処理を説明する第１の図、図１６は図１４の処理を説明する第２の図である。

図１に示すように、本実施例の内視鏡システム１は、医療用観察装置２と、医療用画像処理装置３と、モニタ４とを有して要部が構成されている。

前記医療用観察装置２は、被写体を撮像するとともに、該被写体の像の２次元画像を出力する観察装置である。また、医療用画像処理装置３は、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される２次元画像の映像信号に対して画像処理を行うと共に、該画像処理を行った後の映像信号を画像信号として出力する画像処理装置である。さらにモニタ４は、医療用画像処理装置３から出力される画像信号に基づく画像を表示する表示装置である。

前記医療用観察装置２は、内視鏡６と、光源装置７と、カメラコントロールユニット（以降、ＣＣＵと略記する）８と、モニタ９とを有して要部が構成されている。

前記内視鏡６は、被検体の体腔内に挿入されると共に、該体腔内に存在する生体組織等の被写体を撮像して撮像信号として出力するものである。前記光源装置７は、内視鏡６により撮像される被写体を照明するための照明光を供給するものである。前記ＣＣＵ８は、内視鏡６に対する各種制御を行うと共に、内視鏡６から出力される撮像信号に対して信号処理を行い、２次元画像の映像信号として出力するものである。前記モニタ９は、ＣＣＵ８から出力される２次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するものである。

前記内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。

前記ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されると共に、後端側が前記光源装置７に接続される。

ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。

内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。なお、撮像素子１６は、ＣＣＤに限らず、例えばＣ−ＭＯＳセンサにより構成してもよい。

前記撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動すると共に、ＣＣＵ８に対し、撮像した被写体の像に応じた撮像信号を出力する。

また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、２次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された２次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９は、ＣＣＵ８から出力される映像信号に基づく被写体の像を２次元画像として表示する。

医療用画像処理装置３は、医療用観察装置２から出力される２次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２が行う画像処理における演算結果等を記憶する解析情報記憶部２５とを有して構成される。

また、医療用画像処理装置３は、記憶装置インターフェース（Ｉ／Ｆ）２６と、記憶装置Ｉ／Ｆ２６を介してＣＰＵ２２の画像処理結果としての画像データ、ＣＰＵ２２が画像処理にて使用する各種データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うと共に、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボードあるいはマウス等のポインティングデバイス等により構成される入力操作部２９とを有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。

なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、解析情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９のそれぞれは、データバス３０を介して相互に接続されている。

図２に示すように、ＣＰＵ２２は、３次元モデル推定手段としての３次元モデル推定部２２ａ、検出対象領域設定部２２ｂ、形状特徴量算出部２２ｃ、線幅算出手段及び補正手段としてのモデル補正部２２ｄ、３次元形状検出部２２ｅ、ポリープ決定部２２ｆの各機能部からなる。

なお、本実施例では、これら機能部は、ＣＰＵ２２が行うソフトウエアにて実現される。また、これら機能部の詳細な作用については後述する。

また、図３に示すように、ハードディスク２７は、ＣＰＵ２２が行う各処理により生成される各種データを記憶する、複数の格納領域を有している。具体的にはハードディスク２７は、エッジ画像格納領域２７ａ，エッジ細線化画像格納領域２７ｂ，３次元点列データ格納領域２７ｃ，対応テーブル格納領域２７ｄ，検出病変部格納領域２７ｅを有している。これら各格納領域に格納されているデータの詳細は、後述する。

次に、このように構成された、本実施例の内視鏡システム１の作用について、図４、図５及び図１０のフローチャートを用い、図６〜図９及び図１１、図１２を参照して説明する。

まず、ユーザは、内視鏡システム１が有する各部の電源を投入した後、被検体の体腔内の、例えば大腸内に内視鏡６の挿入部１１を挿入する。

そして、ユーザにより挿入部１１が被検体の大腸内に挿入されると、例えば、該大腸内に存在する生体組織等である被写体、例えば図２６に示したポリープ５００の像が、先端部１４に設けられた撮像部１７により撮像される。そして、撮像部１７により撮像された被写体の像は、撮像信号としてＣＣＵ８に対して出力される。

ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を２次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、撮像部１７により撮像された被写体の像を２次元画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた２次元画像の映像信号を、医療用画像処理装置３に対して出力する。

医療用画像処理装置３に対して出力された２次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。

そして、図４に示すように、ＣＰＵ２２の３次元モデル推定部２２ａは、ステップＳ１にて画像入力部２１から出力される２次元画像に対し、例えば、“Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法等を用い、該２次元画像の輝度情報等に基づく幾何学的な変換等の処理を施すことにより、該２次元画像に応じた３次元モデルを推定する。このとき、３次元モデル推定部２２ａは、大腸の腸管表面を示す３次元データ点列と、２次元画像データとを対応させた対応テーブルを生成し、ハードディスク２７の対応テーブル格納領域２７ｄに格納する。

そして、ＣＰＵ２２のモデル補正部２２ｄにより、ステップＳ２にて推定した３次元モデルに対して、後述するモデル補正処理を施し、補正した３次元モデルの各データ点の座標を記憶装置Ｉ／Ｆ２６を介してハードディスク２７の３次元点列データ格納領域２７ｃに格納する。

次に、ＣＰＵ２２の検出対象領域設定部２２ｂは、ステップＳ３にて画像入力部２１から出力される２次元画像の色調変化と、ステップＳ２の処理により補正した３次元モデルの隆起性変化とを検出することにより、該３次元モデルにおける隆起形状を有する病変を検出するための処理の適用対象となる領域としての、検出対象領域である対象領域を設定する。

具体的には、ＣＰＵ２２の検出対象領域設定部２２ｂは、例えば、画像入力部２１から出力される２次元画像を、Ｒ（赤）画像、Ｇ（緑）画像及びＢ（青）画像の各プレーン画像に分離した後、該Ｒ画像に応じて推定した３次元モデルのデータに基づいて隆起性変化を検出するとともに、該Ｒ画像及びＧ画像の色度に基づいて色調変化を検出する。そして、ＣＰＵ２２の検出対象領域設定部２２ｂは、前記隆起性変化の検出結果及び前記色調変化の検出結果に基づき、前記隆起性変化及び前記色調変化の両方が検出された領域を、前記対象領域として設定する。

その後、ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ４にて対象領域の局所偏微分係数を算出する。具体的には、ＣＰＵ２２の形状特徴量算出部２２ｃは、算出された３次元形状に対して、注目する３次元位置（ｘ、ｙ、ｚ）を含む局所領域（曲面）におけるそのＲ画素値ｆにおける１階偏微分係数ｆｘ、ｆｙ、ｆｚ、及び２階偏微分係数ｆｘｘ，ｆｙｙ，ｆｚｚ，ｆｘｙ，ｆｙｚ，ｆｘｚを算出する。

さらに、ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ５にて３次元モデルの処理対象領域に存在する各データ点に対し、（３次元形状）の形状特徴量として、局所偏微分係数に基づき、Shape Index値及びCurvedness値を算出する処理を行う。

すなわち、これらの局所偏微分係数を用いて、ＣＰＵ２２の形状特徴量算出部２２ｃは、ガウス曲率Ｋ，平均曲率Ｈを算出する。

一方、曲面の主曲率ｋ１，ｋ２（ｋ１≧ｋ２）は、ガウス曲率Ｋと、平均曲率Ｈを用いて
ｋ１＝Ｈ＋（Ｈ²−Ｋ）^1/2 ｋ２＝Ｈ−（Ｈ²−Ｋ）^1/2 （１）
と表される。

また、この場合における曲面形状を表す特徴量であるShape IndexＳＩ及びCurvednessＣＶは、それぞれ
ＳＩ＝１／２−（１／π）arc tan［（ｋ１＋ｋ２）／（ｋ１−ｋ２）］ （２）
ＣＶ＝（（ｋ１²＋ｋ２²）／２）^1/2 （３）
となる。

ＣＰＵ２２の形状特徴量算出部２２ｃは、このようにして、３次元の各曲面におけるShape IndexＳＩ及びCurvednessＣＶを３次元形状情報として算出し、解析情報記憶部２５に格納する。

前述したShape Index値は、３次元モデルが有する各データ点における凹凸の状態を示すための値であり、０以上１以下の範囲内の数値として示される。具体的には、３次元モデル内に存在する個々のデータ点において、Shape Index値が０に近い場合には凹型形状の存在が示唆され、また、Shape Index値が１に近い場合には凸型形状の存在が示唆される。

また、前述したCurvedness値は、３次元モデルが有する各データ点における曲率を示すための値である。具体的には、３次元モデル内に存在する個々のデータ点において、Curvedness値が小さければ小さい程鋭く曲がった曲面の存在が示唆され、また、Curvedness値が大きければ大きい程鈍く曲がった曲面の存在が示唆される。

次に、ＣＰＵ２２の３次元形状検出部２２ｄは、ステップＳ６にて３次元モデルの対象領域に存在する各データ点において、Shape Index値及びCurvedness値の各値と、予め設定されている所定の閾値Ｔ1，Ｔ2との比較処理を行うことにより、該各データ点のうち、隆起形状を有するデータ群として検出する。具体的には、ＣＰＵ２２は、３次元モデルの処理対象領域に存在する各データ点のうち、例えば、Shape Index値が閾値Ｔ1より大きく、かつ、Curvedness値が閾値Ｔ2より大きい複数のデータ点を、隆起形状を有するデータ群として検出する。

そして、ＣＰＵ２２のポリープ決定部２２ｆは、ステップＳ７にて３次元モデルにおいて隆起形状を有するデータ群として検出した複数のデータ点各々が、ポリープ等の病変に由来する隆起形状に該当するデータ点であるかを判別する隆起形状判別処理を行う。

その後、ＣＰＵ２２のポリープ決定部２２ｆは、ステップＳ８にて病変に由来する隆起形状に該当するデータ点からなるデータ群を有する領域をポリープ領域として決定し、病変領域であるポリープを検出する。

そして、ＣＰＵ２２は、その検出結果を、例えば図１のハードディスク２７の検出病変部格納領域２７ｅに検出対象の内視鏡画像と関連付けて格納すると共に、表示処理部２８を経てモニタ４に、例えば検出対象の内視鏡画像と並べて表示する。

これにより、モニタ４には、ポリープ等の病変に由来する隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の３次元モデルが画像表示される。

次に、上記のステップＳ２における、モデル補正部２２ｄによるモデル補正処理について説明する。図５に示すように、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ２１にて、入力された２次元画像に対してエッジ抽出処理を実施しエッジ画像を生成し、ハードディスク２７のエッジ画像格納領域２７ａに格納する。また、モデル補正部２２ｄは、ステップＳ２１にて、生成したエッジ画像に対して細線化処理を施しエッジ細線化画像を生成し、ハードディスク２７のエッジ細線化画像格納領域２７ｂに格納する。

なお、２次元のエッジ画像が図６とすると、エッジ細線化画像は、細線化処理によりエッジ画像の各エッジ領域を線幅１画素に細線化した画像となる。

次に、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ２３にてパラメータｉ，ｊをそれぞれ１にセットする。続いて、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ２４にてエッジ細線化画像の第ｉ番目のエッジ線Ｌiを取得し、ステップＳ２５にて第ｉ番目エッジ線Ｌi上の第ｊ番目の（注目点である）エッジ点Ｐi,jを取得する。

そして、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ２６にて第ｊ番目エッジ点Ｐi,jを通る、第ｉ番目エッジ線Ｌiに直交するエッジ直交線Ｈi,jを生成する。続いて、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ２７にてエッジ直交線Ｈi,j上の２次元画像上の各点（ｘi,j，ｙi,j，ｚi,j）に対応する３次元データ点列を対応テーブルから取得する。なお、この対応テーブルは、上述したように、ステップＳ１にてＣＰＵ２２の３次元モデル推定部２２ａによりハードディスク２７の対応テーブル格納領域２７ｄに格納されている。

そして、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ２８にてエッジ直交線Ｈi,j上のエッジの端点Ａi,j，Ｂi,j（図６の拡大図参照）を決定する。具体的には、本実施例では、図７に示すように、２次元画像上の各点に対応する画素値を取得し、その画素値が所定の閾値ｔよりも小さい値をエッジ上の点とする判定処理を用いて、上記の細線化したエッジ上の各点から双方向に１点づつ判定を行うことにより、エッジの端点Ａi,j，Ｂi,jを求める。

次に、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ２９にてエッジの端点Ａi,j，Ｂi,j間の距離Ｄi,jを求める。そして、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ３０にてエッジの端点Ａi,j，Ｂi,j間の距離Ｄi,jが所定の値Ｄ0よりも小さい（Ｄi,j＜Ｄ0）かどうか判定する。

エッジの端点Ａi,j，Ｂi,j間の距離Ｄi,jが所定の値Ｄ0よりも小さい（Ｄi,j＜Ｄ0）と判定すると、ＣＰＵ２２のモデル補正部２２ｄはステップＳ３１にてエッジの端点Ａi,j，Ｂi,j間はエッジ領域として表現される部分と判断して３次元点列データの補正を行い、ステップＳ３３に進む。なお、ステップＳ３１における３次元点列データの補正処理の詳細は後述する。

また、エッジの端点Ａi,j，Ｂi,j間の距離Ｄi,jが所定の値Ｄ0以上と判定すると、ＣＰＵ２２のモデル補正部２２ｄはステップＳ３２にてエッジの端点Ａi,j，Ｂi,j間はオクルージョン領域として表現される部分と判断して、エッジの端点Ａi,j，Ｂi,j間の３次元点列データを消去し、ステップＳ３３に進む。具体的には、モデル補正部２２ｄは、ステップＳ３２において、図８に示すように、エッジの端点Ａi,j，Ｂi,j間の距離Ｄi,jが所定の値Ｄ0以上と判定すると、腸管表面を示す３次元点列データ線上から、エッジの端点Ａi,j，Ｂi,j間の３次元点列データを、図９に示すように消去して、オクルージョン領域として補正した３次元点列データ線を生成する。

そして、ＣＰＵ２２のモデル補正部２２ｄはステップＳ３３にてパラメータｊがエッジ線Ｌi上のすべての点数Ｎj未満かどうか判断し、パラメータｊがエッジ線Ｌi上のすべての点数Ｎj未満の場合には、ステップＳ３４にてパラメータｊをインクリメントしてステップＳ２５に戻り、エッジ線Ｌi上のすべての点について、上記ステップＳ２５〜Ｓ３４を繰り返す。

エッジ線Ｌi上のすべての点について上記ステップＳ２５〜Ｓ３３が実施されると、ＣＰＵ２２のモデル補正部２２ｄはステップＳ３５にてパラメータｉがすべてのエッジ線数Ｎi未満かどうか判断し、パラメータｉがすべてのエッジ線数Ｎi未満の場合には、ステップＳ３６にてパラメータｉをインクリメントしてステップＳ２４に戻り、すべてのエッジ線について、上記ステップＳ２４〜Ｓ３６を繰り返す。

次に、上記ステップＳ３１における３次元点列データの補正処理について説明する。この３次元点列データの補正処理では、ＣＰＵ２２のモデル補正部２２ｄは、図１０に示すように、ステップＳ４１にて３次元点列データを有する３次元空間上に、（注目点である）エッジ点Ｐi,jを中心とするＮ×Ｎ×Ｎの立方領域を形成し、このＮ×Ｎ×Ｎの立方領域内に含まれる３次元点列データの座標の平均値を算出する。そして、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ４２にて、算出した平均値によりエッジ部分の点列データ線上の３次元点列データの座標データを平滑化する。

図１０の処理を具体的に説明すると、例えば、図１１に示すように、Ｎ＝５として（注目点である）エッジ点Ｐi,jを中心とする５×５×５の立方領域を、３次元点列データを有する３次元空間上に形成する。そして、この５×５×５の立方領域内に含まれる３次元点列データの座標の平均値を算出し、算出した平均値によりエッジ部分の点列データ線上の３次元点列データの座標データを平滑化することで、図１２に示すような補正後の点列データ線を得ることができる。

なお、３次元点列データの補正処理は、図１０の処理に限らず、以下の変形例１、２の３次元点列データの補正処理を実施してもよい。

（変形例１）
この変形例１の３次元点列データの補正処理では、ＣＰＵ２２のモデル補正部２２ｄは、図１３に示すように、ステップＳ４１ａにて、Ｎ＝５として（注目点である）エッジ点Ｐi,jを中心とする５×５の正方領域を、画像入力部２１から出力される２次元画像上に形成する。そして、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ４２ａにて、この５×５の正方領域内に含まれる２次元画像の座標点のそれぞれの画素値（濃淡値）の平均値を算出する。

この変形例の場合、すべての平均（平滑化）処理が行われた後で、エッジ領域について３次元点列データの再計算を行い、３次元点列データの更新を行う。

（変形例２）
この変形例２の３次元点列データの補正処理では、ＣＰＵ２２のモデル補正部２２ｄは、図１４に示すように、ステップＳ４１ｂにて、エッジの端点Ａi,j，Ｂi,jから、エッジの端点Ａi,j，Ｂi,jをそれぞれ含む連続するＮ点（ただし、（注目点である）エッジ点Ｐi,jから離れる方向のＮ点）の座標を取得し直線に近似し、近似した２直線をｘ＝０平面に投影し、投影した２つの近似直線の交点を求める。具体的には、例えばＮ ＝３としたとき、図１５に示すように、エッジの端点Ａi,j，Ｂi,jをそれぞれ含む直線に近似し、ｘ＝０平面に投影した２つの近似直線の交点Ｑi,jを求める。

続いて、ＣＰＵ２２のモデル補正部２２ｄは、ステップＳ４２ｂにて、エッジ領域の各点の例えばｚ座標と、交点Ｑi,jの例えばｚ座標とを比較し、その大小関係に応じて補正に使用する近似直線を決定する。具体的には、図１６に示すように、エッジ領域の各点のｙ座標が交点Ｑi,jのｙ座標より小さい場合には、交点Ｑi,jのｙ座標より小さい座標値を使用して近似した近似直線（図１６の場合、エッジの端点Ａi,j側の近似直線）を使用し、逆にエッジ領域の各点のｙ座標が交点Ｑi,jのｙ座標より大きい場合には、交点Ｑi,jのｙ座標より大きい座標値を使用して近似した近似直線（図１６の場合、エッジの端点Ｂi,j側の近似直線）を使用する。そして、使用する近似直線を決定した後、補正対象となるエッジ領域の点のｙ座標を近似直線に代入する（置き換える）こととにより補正点を決定する。

上述したように本実施例及び変形例１、２では、３次元データの着目点における位置（Ｚ座標）を用いて閾値を補正するため、対象の反射／散乱特性や対象への２次光による影響を除外した閾値をポリープ検出処理に使用でき、ポリープ候補の検出精度を向上させることができる。よって、ユーザに対して、大腸内視鏡検査においてポリープ候補発見率の向上を促すことが可能となる。

図１７ないし図２５は本発明の実施例２に係わり、図１７はハードディスクの格納情報構成を示す図、図１８は実施例２を説明する第１の図、図１９は実施例２を説明する第２の図、図２０は実施例２を説明する第３の図、図２１は実施例２に係るＣＰＵの処理の流れを示すフローチャート、図２２は図２１の３次元モデルデータの補正処理の流れを示すフローチャート、図２３は図２２の処理を説明する第１の図、図２４は図２２の処理を説明する第２の図、図２５は図２２の処理を説明する第３の図である。

本実施例の構成は実施例１とほとんど同じであるので、異なる点のみ説明する。

本実施例では、図１７に示すように、ハードディスク２７は、エッジ画像格納領域２７ａ，エッジ細線化画像格納領域２７ｂ，３次元点列データ格納領域２７ｃ，対応テーブル格納領域２７ｄ，検出病変部格納領域２７ｅの他に、さらにモフォロジーパラメータマップ格納領域２７ｆを有している。その他の構成は実施例１と同じである。

上述したように、”Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法では、２次元画像上にエッジがある場合、エッジ上の画素数が低い値をとるために、そのエッジ部分に溝が存在するかのごとく推定値を算出してしまう問題があり、例えば実施例１のような補正を実施しても、補正もれにより、スパイク状またはエッジ状のノイズが発生してしまう場合がある。

一般に、ノイズ除去の方法として、モフォロジー変換一つであるdilation処理とerosion処理との組み合わせが、広く利用される。

このモフォロジー変換は、３次元サーフェイス上に球を転がすときの球の中心を出力する変換方法であり、dilation処理は腸管の表面に、erosion処理は腸管の裏面に球を転がすこととなる。

上記モフォロジー変換における球の中心は、対象となるのノイズの大きさによって決定する。例えば図１８のように、例えば１画素の幅のノイズのあるサーフェイス表面に例えば直径５の球３００ａを転がす場合、その中心の軌跡は直線となるため、その軌跡のなすサーフェイス裏側から同じサイズの球を転がすことによってノイズを埋めることができる。

しかし、図１９のように、例えば５画素の幅のノイズのあるサーフェイス表面に、上記直径５の球３００ａを転がす場合、その中心の軌跡のなすサーフェイス表面にもノイズのくぼみが存在し、サーフェイスの裏側から球を転がしてもノイズを除去できない。

３次元データ全体にゴマシオ上のノイズがのる場合、そのノイズの大きさは小サイズであるが、エッジ上に存在するスパイク状ノイズまたはエッジ状ノイズの大きさはエッジの太さに依存する。よって、２次元画像にエッジが存在する位置では、平滑化のための球の直径、すなわち平滑化のパラメタを変更する必要がある。

例えば、図２０に示すように、モフォロジー変換時の球サイズが十分な大きさの球３００ｂを持っている場合には、球サイズに最適なノイズ大きさから、より小サイズのノイズまでを平滑化することが可能となるが、球サイズを大きくするに従って、処理速度が低下するため、ノイズの大きさに最適な球サイズを決定して処理を実行しなければ処理速度が低下する。

本実施例では、図２１に示すように、ＣＰＵ２２のモデル補正部２２ｄにより、実施例１で説明したステップＳ２のモデル補正処理後に、ステップＳ１０にてモフォロジーパラメータWiによるモフォロジー処理を実行し、実施例１で説明したステップＳ３に処理を移行する。

具体的には、本実施例では、ステップＳ２のモデル補正処理において、ＣＰＵ２２のモデル補正部２２ｄは、図２２に示すように、ステップＳ１００及びＳ１０１にて、図２３に示すような３次元空間を一定間隔の立方小領域に分割し、各小領域にモフォロジーパラメタを格納可能なマップを作成し、図２４に示すエッジ線幅Ｄi,jに対する、図２５に示すようなモフォロジー変換パラメタＷi,jの対応テーブルをハードディスク２７のモフォロジーパラメータマップ格納領域２７ｆに格納する。

すなわち、モデル補正部２２ｄは、ステップＳ１００にて、エッジ細線化画像のうちの１つのエッジを処理対象として選択取得し、エッジ線のうちの１つの選択点におけるエッジ幅Wi,jを算出する。続いて、モデル補正部２２ｄは、図２５のエッジ線幅Ｄi,jとモフォロジー変換パラメタＷi,jの対応テーブルを用いて、モフォロジー変換パラメタＷを取得する。

そして、モデル補正部２２ｄは、ステップＳ１０１にて、ステップＳ１００の処理を実施したエッジ線上の選択点に対応する３次元座標を、ハードディスク２７に記録された対応点テーブルから取得し、取得した３次座標に対応する３次元小領域マップの座標位置を求める。求めた３次元小領域マップの座標位置へ、前記モフォロジー変換パラメタＷを加算格納するとともに、座標位置におけるカウント値を1つ加算する。

ここで、エッジ線幅Ｄi,jは、図２４に示すように、エッジ細線化画像のエッジ細線上の点において、エッジ線に直交する線を引いたときの、エッジ画像の対応するエッジの幅を示す。また、エッジ画像におけるモフォロジー変換パラメタＷi,jは、前述の球（図１８ないし図２０参照）の直径を示す。

そして、上記ステップＳ１０にて、モフォロジー変換時のモフォロジー変換パラメタＷを３次元座標に基づき決定して、モフォロジー変換処理であるdilation処理、erosion処理を連続実行し、ノイズ除去処理を行う。

以上の処理を、画像上の全エッジの全点に対して処理を実施した後、３次元小領域マップの各座標位置におけるモフォロジー変換パラメタＷを、各座標位置におけるカウント値により平均化する。このような処理により、３次元座標位置に基づき３次元小領域マップを参照することにより平滑化に最適なパラメタを取得することを実現する。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図 図１のＣＰＵの機能構成を示す機能ブロック図 図１のハードディスクの格納情報構成を示す図 図２のＣＰＵの処理の流れを示すフローチャート 図４の３次元モデルデータの補正処理の流れを示すフローチャート 図１の処理を説明する第１の図 図１の処理を説明する第２の図 図１の処理を説明する第３の図 図１の処理を説明する第４の図 図５のエッジ領域としてエッジ端点間の３次元点列データの補正処理の流れを示すフローチャート 図１の処理を説明する第５の図 図１の処理を説明する第６の図 図１０の第１の変形例の処理の流れを示すフローチャート 図１０の第２の変形例の処理の流れを示すフローチャート 図１５の処理を説明する第１の図 図１５の処理を説明する第２の図 本発明の実施例２に係るハードディスクの格納情報構成を示す図 実施例２を説明する第１の図 実施例２を説明する第２の図 実施例２を説明する第３の図 実施例２に係るＣＰＵの処理の流れを示すフローチャート 図２１の３次元モデルデータの補正処理の流れを示すフローチャート 図２２の処理を説明する第１の図 図２２の処理を説明する第２の図 図２２の処理を説明する第３の図 従来例の課題を説明する第１の図 従来例の課題を説明する第２の図 従来例の課題を説明する第３の図

符号の説明

１…内視鏡システム
２…医療用観察装置
３…医療用画像処理装置
４、９…モニタ
６…内視鏡
７…光源装置
８…ＣＣＵ
１１…挿入部
１２…操作部
１３…ライトガイド
１４…先端部
１５…対物光学系
１６…撮像素子
１７…撮像部
２１…画像入力部
２２…ＣＰＵ
２２ａ…３次元モデル推定部
２２ｂ…検出対象領域設定部
２２ｃ…形状特徴量算出部
２２ｄ…モデル補正部
２２ｅ…３次元形状検出部
２２ｆ…ポリープ決定部
２３…処理プログラム記憶部
２４…画像記憶部
２５…解析情報記憶部
２６…記憶装置Ｉ／Ｆ
２７…ハードディスク
２８…表示処理部
２９…入力操作部
３０…データバス

Claims (6)

1. 医療用撮像装置から入力される体腔内の生体組織の像の２次元画像から前記生体組織の３次元モデルを推定する３次元モデル推定手段と、
   前記２次元画像画像を構成する画像領域の画像境界線を検出する画像境界線検出手段と、
   前記画像境界線の線幅を算出する線幅算出手段と、
   前記線幅に基づき、前記３次元モデル推定手段における、前記画像境界線の３次元モデルの推定結果を補正する補正手段と、
   を備えたことを特徴とする医療用画像処理装置。
2. 前記補正手段は、
   前記線幅の値と所定値を比較し、
   前記線幅の値が前記所定値以内ならば前記画像境界線を第１の補正対象画像とし、
   前記線幅の値が前記所定値を超えている場合には前記画像境界線を第２の補正対象画像とし、
   前記第１の補正対象画像あるいは前記第２の補正対象画像に応じて、前記３次元モデル推定手段における、前記画像境界線の３次元モデルの推定結果を補正する
   ことを特徴とする請求項１に記載の医療用画像処理装置。
3. 前記第１の補正対象画像は、前記画像境界線を溝と見なした溝画像であり、
   前記第２の補正対象画像は、前記画像境界線をオクルージョンと見なしたオクルージョン画像である
   ことを特徴とする請求項２に記載の医療用画像処理装置。
4. 前記補正手段は、前記３次元モデル推定手段における、前記画像境界線の画素値の平均値に基づいて、前記画像境界線の３次元モデルの推定結果を補正する
   ことを特徴とする請求項１、２または３のいずれかに記載の医療用画像処理装置。
5. 前記補正手段は、前記３次元モデル推定手段における、前記画像境界線の画素値を近似して、前記画像境界線の３次元モデルの推定結果を補正する
   ことを特徴とする請求項１、２または３のいずれかに記載の医療用画像処理装置。
6. 医療用撮像装置から入力される体腔内の生体組織の像の２次元画像から前記生体組織の３次元モデルを推定する３次元モデル推定ステップと、
   前記２次元画像画像を構成する画像領域の画像境界線を検出する画像境界線検出ステップと、
   前記画像境界線の線幅を算出する線幅算出ステップと、
   前記線幅に基づき、前記３次元モデル推定ステップにおける、前記画像境界線の３次元モデルの推定結果を補正する補正ステップと、
   を備えたことを特徴とする医療用画像処理方法。

Images