JP4823725B2 - 医療用画像処理装置 - Google Patents

Description

本発明は、医療用の入力画像に対して画像処理を行う医療用画像処理装置に関する。

医療分野において、撮像機能を有する医療機器を用いた体腔内の臓器の観察及び診断が広く行われている。この撮像機能を有する医療機器において、例えば、内視鏡装置は、細長の挿入部を体腔内に挿入し、その挿入部の先端部に設けられた撮像手段により、体腔内の臓器を撮像する。術者は、撮像された内視鏡画像から観察及び診断を行う。

これらの内視鏡画像には、例えば色彩強調等の診断時の視認性を高めるような画像処理が画像処理装置等によって施されることがある。しかし、撮像された内視鏡画像は、例えばハレーション部もしくは暗部等が含まれることがあり、正確な画像処理結果が得られないことがある。

そのため、特開平１０−２１０４５４号公報には、例えばハレーション部もしくは暗部等の正確な画像処理結果が得られない部分の画像データを適切に除去して、画像処理が正確に行われるようにする画像処理装置が提案されている。
特開平１０−２１０４５４号公報

しかしながら、上述した画像処理装置は、正確な画像処理結果が得られない部分の画像データを除去するのみであり、その部分の画像データを補うことについてはなんら考慮されていない。

そこで、本発明は、上述の問題点に鑑みてなされたものであり、正確な画像処理結果が得られない部分の画像データを算出し補うことができる医療用画像処理装置を提供することを目的とする。

本発明の医療用画像処理装置は、医療用の入力画像に対して画像処理を行う医療用画像処理装置であって、上記入力画像において所定の条件を満たす不適切画素を抽出する画素抽出手段と、抽出された上記不適切画素を含んだ、又は上記不適切画素に隣接する所定の領域の画素情報に基づいて、上記不適切画素の画素情報と置換するための置換情報を算出する置換画素情報算出手段と、上記入力画像における上記不適切画素の画素情報を上記置換情報に置換し、置換画像を生成する置換画像生成手段と、を具備し、上記入力画像は、ＲＧＢ画像であり、上記所定の条件を満たす不適切画素は、Ｒ信号の信号強度値が所定の閾値以上の画素であり、上記画素情報は、ＲＧＢ信号における各色の信号強度値であり、上記置換画素情報算出手段は、抽出された上記不適切画素におけるＧ信号もしくはＢ信号の信号強度値を平滑化して平滑信号強度値を算出する平滑化手段と、抽出された上記不適切画素と隣接した所定の領域における上記Ｒ信号の信号強度値の平均値である第１の平均信号強度値、及び、上記Ｇ信号もしくはＢ信号の信号強度値の平均値である第２の平均信号強度値を求める平均化手段と、上記平滑信号強度値と、上記第１の平均信号強度値と、上記第２の平均信号強度値と、に基づいて上記置換情報を算出する置換情報算出手段と、を具備することを特徴とする。

本発明の医療用画像処理装置は、正確な画像処理結果が得られない部分の画像データを算出し補うことができる。

以下に本発明における実施の形態を説明する。
本発明の実施の形態の画像処理装置は、入力される医療用の画像に存在する例えばハレーション画素、Ｒの信号強度値のみが飽和している画素（以下Ｒ飽和画素と記す）、欠落画素等を抽出し、その画素周辺の例えば信号強度値等の画素情報に基づいて新しい画素情報を算出し、その画素の画素情報を算出した画素情報に置換した画像を生成することができるものである。

つまり、この画像処理装置は、入力画像に含まれる例えばハレーション画素、Ｒ飽和画素、欠落画素等を、立体画像の生成処理に適した画素に修正することができるようにしたものである。

まず、第１の実施の形態の画像処理装置を説明する。
（第１の実施の形態）
以下に、第１の実施の形態の画像処理装置について説明する。
近年、医療用画像において、病変部を発見するため、２次元の画像から３次元の立体画像に変換する処理が行われている。この立体画像は、２次元の撮像画像を構成する各画素に、それぞれの画素の輝度に基づいた３次元座標を付加することにより生成する。

立体画像を生成する手法としては、例えば２次元の内視鏡画像における最暗部の位置を中心位置とし、管腔方向のＺ方向と、周方向のθ方向との座標系に変換して展開図を生成するといった手法がある。そのため、例えばハレーション画素、Ｒ飽和画素、欠落画素等の輝度が異常な画素の３次元座標は、本来得られるべき値とは大きく乖離してしまうことがある。

本実施の形態の画像処理装置は、入力画像に含まれるハレーション画素等を、立体画像の生成処理に適した画素に修正し、その修正された画像に基づいて立体画像を生成することができるようにしたものである。なお、以下の説明において、Ｒ飽和画素は、不適切画素と記す。

まず、本実施の形態における画像処理装置について以下に説明する。
図１は、本実施の形態における画像処理装置の概略的な構成図である。図１に示すように、画像処理装置１は、抽出部２、算出部３、置換部４、及び立体画像生成部５を含んで構成される。これら抽出部２、算出部３、置換部４、及び立体画像生成部５は、それぞれＣＰＵを含む複数の電子機器を有する。

画素抽出手段としての抽出部２は、入力画像に含まれる不適切画素を抽出する。置換画素情報算出手段としての算出部３は、抽出された不適切画素における画素情報を置換するための置換情報を算出する。置換画像出力手段としての置換部４は、不適切画素における画素情報を算出された置換情報に置換した置換画像を生成する。立体画像生成手段としての立体画像生成部５は、生成された置換画像に基づいて、立体画像を生成する。

この画像処理装置１に入力される入力画像は、ＣＣＤカメラ等を有する内視鏡装置６により撮像された撮像画像である。この撮像画像は、例えば大腸等の体腔内が撮像された内視鏡画像であり、ＲＧＢの各色信号から構成される。各色信号は、画素情報である赤色の信号強度値Ｒ、緑色の信号強度値Ｇ、及び青色の信号強度値Ｂを有する。

ここで、このｘ、ｙの２次元の撮像画像のある行（もしくはある列）におけるＲＧＢ信号強度と画素の位置との関係の一例を図２に示す。図２においては、縦軸が信号強度、横軸が撮像画像におけるある行（もしくはある列）、例えばｘ方向（もしくはｙ方向）に沿った画素の位置である。

図２に示すように、入力される撮像画像は、赤色の信号強度値Ｒ、緑色の信号強度値Ｇ、及び青色の信号強度値Ｂは、各画素においてほぼ同じ比率を示す。

また、体腔内の表面の生体粘膜における光の吸収が酸素と結合したヘモグロビンの量に依存するために、赤色の信号強度値Ｒが最も強度が大きい。そのため、生体粘膜の画像においては、赤色の信号強度値Ｒのみが飽和するケースが見られる。

つまり、図２に示す赤色の信号強度値Ｒが飽和している画素、例えば信号強度が２５５以上の画素は、不適切画素であることを示している。

画像処理装置１は、撮像画像に含まれるこのような不適切画素を抽出し、不適切画素における画素情報と置換するための置換情報を算出し、不適切画素における画素情報を算出された置換情報に置換して生成した置換画像に基づいて、立体画像を生成する。

そこで、画像処理装置１における画像処理の詳細について図２及び図３を用いて説明する。図３は、画像処理装置１における画像処理の流れの例のフローチャートである。以下に説明する処理は、画像処理装置１に撮像画像が入力されたときに始まるものである。

まず、画像処理装置１は、入力された撮像画像における不適切画素の抽出を行う（ステップＳ１１）。この不適切画素の抽出は、抽出部２によって行われる。

不適切画素は、２次元の撮像画像の各画素について、例えば（１，１）の画素から順次走査し、赤色の信号強度値Ｒｉｊ（ｉ，ｊ：撮像画像における画素の座標）が所定の閾値以上であるかどうか判定されることによって抽出される。

本実施の形態において、この所定の閾値は、信号強度値２５５であり、図２に示す赤色の信号強度値Ｒｉｊが２５５以上である画素は、不適切画素であると判定される。なお、この所定の閾値は、抽出したい不適切画素に応じた値に設定しても良い。

次に、画像処理装置１は、抽出した不適切画素にラベリングを行う（ステップＳ１２）。このラベリングは、抽出部２によって行われる。

このラベリングによって、２次元の撮像画像が、例えば（１，１）の画素から順次走査され、隣接する不適切画素に同一の番号などの属性つまりラベルが付加される。

ラベルは、複数の不適切画素からなる領域毎に異なる値が付加され、以降の処理は、このラベリングされた領域毎に行われる。以下、この複数の不適切画素からなる領域を不適切領域と記す。

図２に、赤色の信号強度値Ｒｉｊが２５５以上である不適切画素からなる領域を、不適切領域Ｒ１と示す。この不適切領域Ｒ１を構成する各不適切画素には、同一のラベルが付加される。

続いて、画像処理装置１は、不適切領域Ｒ１の各画素の緑色の信号強度値Ｇｉｊを平滑化し、平滑信号強度である平滑信号強度値Ｇｓを算出する（ステップＳ１３）。この平滑化は、算出部３によって行われる。また、このステップＳ１３は、平滑化手段を構成する
この平滑化は、不適切領域に属する各不適切画素を対象画素として、その対象画素における緑色の信号強度値Ｇｉｊを、例えば周囲８画素の範囲における信号強度値の平均値に順次置き換える処理である。

この平滑化の他の手法としては、例えば近傍加重平均法、メディアン法等の手法があり、どのような手法を用いても構わない。また、平滑化における平均値の算出範囲は、周囲８画素に限らず、所望の平滑化の程度によって自由に変更可能である。

この平滑化は、ラベリングされた各不適切領域に属する各不適切画素に順次行われる。図２において、この平滑化が行われる対象画素は、不適切領域Ｒ１内のＧｉｊである。

次に、画像処理装置１は、所定の領域における第１の平均信号強度値としての赤色の信号強度値Ｒの平均値（μ＿Ｒ）、及び第２の平均信号強度値としての緑色の信号強度値Ｇの平均値（μ＿Ｇ）を算出する（ステップＳ１４）。この平均値は、算出部３によって算出される。また、このステップＳ１４は、平均化手段を構成する。

この所定の領域は、対象ラベルの不適切領域に隣接する画素を少なくとも一つ含み、不適切画素ではない画素から成る例えば５ｘ５画素の、可能な限り多くの領域である。つまり、この所定の領域は、不適切領域に属した画素と接した不適切領域近傍の領域である。

この所定の領域は、５×５画素に限らず、入力される撮像画像に応じて自由に変更可能である。

図２に、この所定の領域Ｒ２を示す。赤色の信号強度値Ｒの平均値（μ＿Ｒ）、及び緑色の信号強度値Ｇの平均値（μ＿Ｇ）は、この所定の領域Ｒ２に属する赤色の信号強度値Ｒｉｊ、及び緑色の信号強度値Ｇｉｊに基づいて算出される。

そして、画像処理装置１は、不適切領域に属する各不適切画素における置換情報としての赤色の信号強度値Ｒ′ｉｊを算出する（ステップＳ１５）。この赤色の信号強度値Ｒ′ｉｊは、算出部３によって算出される。また、このステップＳ１５は、置換情報算出手段を構成する。

上述したように、赤色の信号強度値Ｒ及び緑色の信号強度値Ｇは、撮像画像を構成する各画素においてほぼ同じ比率を示す。そのため、不適切領域内の赤色の信号強度値Ｒ′ｉｊ及び平滑化信号強度値Ｇｓの比率が、不適切領域近傍の領域において算出された平均値（μ＿Ｒ）及び平均値（μ＿Ｇ）の比率とほぼ同じ比率であるものと仮定すると、赤色の信号強度値Ｒ′ｉｊは、以下に示す（１）式に基づいて算出される。
Ｒ′ｉｊ ＝ Gｓｉｊ × [（μ＿Ｒ）／（μ＿Ｇ）] ・・・・・（１）
（１）式に示すように、平滑化信号強度Gｓｉｊに平均値（μ＿Ｒ）と平均値（μ＿Ｇ）の比率を乗ずることによって、不適切領域における赤色の信号強度値Ｒ′ｉｊを算出する。

次に、画像処理装置１は、各不適切領域に属する各不適切画素の赤色の信号強度値Ｒｉｊと、算出した赤色の信号強度値Ｒ′ｉｊとを順次置換して、置換画像を生成する（ステップＳ１６）。この処理は、置換部４によって行われる。また、このステップＳ１６は、置換画像出力手段を構成する。

最後に、画像処理装置１は、置換画像に基づいて立体画像を生成する（ステップＳ１７）。この処理は、立体画像生成部５によって行われる。また、このステップＳ１７は、立体画像生成手段を構成する。

なお、ステップＳ１１、及びステップＳ１２は、画素抽出ステップを構成する。また、ステップＳ１３からステップＳ１５は、置換画素情報算出ステップを構成する。ステップＳ１６は、置換画像出力ステップを構成する。

以上説明したように、本実施の形態の画像処理装置１は、正確な画像処理結果が得られない部分の画像データを算出して補い、立体画像を出力することができる。つまり、入力画像に含まれる不適切画素（Ｒ飽和画素）を、立体画像の生成処理に適した画素に修正し、その修正された画像に基づいて立体画像を生成することができる。

なお、本実施の形態の画像処理装置１は、図２のステップＳ１３において、緑色の信号強度値Ｇを平滑化し、平滑信号強度値Ｇｓを算出しているが、青色の信号Ｂを平滑化し、平滑信号強度値Ｂｓを算出するようにしてもよい。これは、上述したように、各画素における赤色の信号強度値Ｒ、緑色の信号強度値Ｇ、及び青色の信号強度値Ｂの比率がほぼ同じであるためである。

また、同様の理由から、ステップＳ１４において緑色の信号強度Ｇの平均値（μ＿Ｇ）を算出するが、青色の信号強度Ｂの平均値（μ＿Ｂ）を算出するようにしても良い。ただし、ステップＳ１３、及びステップＳ１４において算出する平滑信号強度値と信号強度の平均値は、同じ色信号を対象にして算出しなければならない。

（第２の実施の形態）
続いて、以下に第２の実施の形態を説明する。
以下に、第２の実施の形態の画像処理装置について説明する。本実施の形態の画像処理装置は、第１の実施の形態とは異なり、入力画像に含まれるＲ飽和画素だけでなく、ハレーション画素や欠落画素も立体画像の生成処理に適した画素に修正し、その修正された画像に基づいて立体画像を生成することができるようにしたものである。なお、以下の説明においては、Ｒ飽和画素、ハレーション画素、及び欠落画素のことを不適切画素と記す。

本実施の形態の画像処理装置は、第１の実施の形態の画像処理装置と同様の構成であり、同じ構成要素には同じ符号により記し、説明は省略する。また、第１の実施の形態と同様に、画像処理装置１に入力される撮像画像は、内視鏡装置６によって撮像された例えば大腸等の内視鏡画像であるものとする。

そこで、本実施の形態の画像処理装置１における画像処理の詳細について図４から図１０を用いて説明する。図４は、本実施の形態の画像処理装置における画像処理の流れの例のフローチャートである。また、図５は、生成したエッジ画像の一例の概略図であり、図６から図１０は、不適切領域近傍の拡大図である。
なお、以下に説明する処理は、画像処理装置１に撮像画像が入力されたときに始まるものである。

まず、画像処理装置１は、入力された撮像画像における不適切画素の抽出を行う（ステップＳ２１）。上述したように、抽出される不適切画素は、Ｒ飽和画素、ハレーション画素、及び欠落画素である。この不適切画素の抽出は、抽出部２によって行われる。

不適切画素は、２次元の撮像画像の各画素について、例えば（１，１）の画素から順次走査し、各色信号の信号強度値が所定の第１の閾値以上である画素、もしくは、すべての色信号の信号強度値が所定の第２の閾値以下である画素を不適切画素であると判定し抽出される。

所定の第１の閾値は、信号強度値２５５であり、例えば赤色の信号強度値が２５５以上である画素は、Ｒ飽和画素あるいはハレーション画素として不適切画素であると判定される。また、所定の第２の閾値は、信号強度値０であり、すべての色信号の信号強度値が０以下である画素は、欠落画素として不適切画素であると判定される。この第１の閾値、および第２の閾値は、上述した値に限らず、抽出したい不適切画素に応じて自由に変更可能である。

次に、画像処理装置１は、抽出した不適切画素にラベリングを行う（ステップＳ２２）。このラベリングは、抽出部２によって行われる。

このラベリングは、２次元の撮像画像の各画素について、例えば（１，１）の画素から順次走査し、隣接する不適切画素に同一の番号などの属性つまりラベルを付加する処理である。

付加されるラベルは、複数の不適切画素からなる領域毎に異なる値であり、以降の処理は、ラベリングされた領域毎に行われる。以下、この複数の不適切画素からなる領域を不適切領域と記す。

続いて、画像処理装置１は、入力された撮像画像を構成する各色信号においてエッジ検出・細線化を行い、エッジ画像を生成する（ステップＳ２３）。このエッジ検出・細線化は、算出部３によって行われる。また、このステップＳ２３は、エッジ画像生成手段を構成する。

エッジ検出によって、入力された撮像画像における各色信号の明るさが急激に変化する画素がエッジとして検出される。この検出結果に基づいて、検出されたエッジ部分の画素を信号値「１」、その他の画素を信号値「０」とした２値化画像であるエッジ画像が生成される。

さらに、算出部３は、生成したエッジ画像のエッジを例えば１画素幅の連続した細線に修正する細線化を行う。なお、このエッジ検出・細線化処理に用いられる手法は、どのような手法でも良い。

ここで、図５に、生成したエッジ画像の一例を示す。図５に示すように、入力された撮像画像における管腔内壁がエッジとして検出されている。また、このエッジ画像は、不適切領域２０が含まれている。

そして、画像処理装置１は、エッジが不適切領域に接する第１の境界位置を抽出する（ステップＳ２４）。この第１の境界位置の抽出は、算出部３により行われる。また、このステップＳ２４は、第１の境界位置抽出手段を構成する。

第１の境界位置とは、あるエッジが不適切領域に接する画素の位置である。ここで、図６に不適切領域２０の近傍を拡大した図を示す。図６において、１つの正方形が１つの画素に対応し、斜線入りの画素は信号が「１」でありエッジを表す。一方、無柄の画素は信号が「０」の画素である。太線によって囲まれた画素部分は不適切領域２０を示す。

図６に示すように、不適切領域２０には、エッジ１０、及びエッジ１１が接している。第１の境界位置は、エッジ１０が不適切領域２０に接する画素の位置（ｘ１，ｙ１）である。

次に、画像処理装置１は、エッジ方向を抽出する（ステップＳ２５）。このエッジ方向の抽出は、算出部３により行われる。また、このステップＳ２５は、エッジ方向抽出手段を構成する。

まず、第１の境界位置にある画素に接しており、かつ、不適切領域に接していない位置にある画素を検出する。この画素の位置を（ｘ２，ｙ２）とすると、エッジの方向は、（ｘ１−ｘ２，ｙ１−ｙ２）によって算出される。図７にエッジの方向を矢印ＡＲによって図示する。

エッジ方向を抽出すると、画像処理装置１は、第１の境界位置と、エッジ方向とに基づいて仮到達位置を算出する（ステップＳ２６）。この仮到達位置の算出は、算出部３によって行われる。また、このステップＳ２６は、仮到達位置算出手段を構成する。

仮到達位置とは、第１の境界位置から不適切領域２０内にエッジ方向に沿ってエッジを伸張させ、その伸張させたエッジが不適切領域２０を越えた最初の位置である。

図８に仮到達位置を図示する。図８に示すように、第１の境界位置（ｘ１，ｙ１）からエッジ方向である矢印ＡＲの方向にエッジ１０を伸張させ、その伸張させたエッジが不適切領域２０を越えた最初の位置（ｘ３，ｙ３）が仮到達位置となる。

次に、画像処理装置１は、仮到達位置に基づいて、第２の境界位置を抽出する（ステップＳ２７）。この第２の境界位置の抽出は、算出部３によって行われる。また、このステップＳ２７は、第２の境界位置抽出手段を構成する。

算出部３は、まず、仮到達位置を中心とした例えば３×３画素の範囲の中にあるエッジ１０とは異なるエッジ、つまりエッジ１１を構成する画素があるかどうかを検出する。なお、エッジ１１を検出する範囲は、３×３画素の範囲に限らず、自由に変更可能である。

エッジ１１を構成する画素がある場合、エッジ１０とエッジ１１とが本来連続した一つのエッジであるものと判断し、算出部３は、エッジ１１が不適切領域２０に接する画素の位置を第２の境界位置として抽出する。

図９に第２の境界位置を示す。まず、仮到達位置（ｘ３，ｙ３）を中心とした３×３画素の範囲の中にあるエッジ１１を構成する画素が検出される。その検出されたエッジ１１が不適切領域２０に接する画素の位置が、第２の境界位置（ｘ４，ｙ４）である。

ただし第２の境界位置（ｘ４，ｙ４）が、仮到達位置（ｘ３，ｙ３）を中心とした例えば５ｘ５画素の範囲内に無ければ、エッジ１０とエッジ１１とは連続したエッジではないものとし、不適切領域２０内にエッジが存在しないものと判断する。

また、仮到達位置（ｘ３，ｙ３）を中心とした例えば３ｘ３画素検出範囲内にエッジを構成する画素が無い場合、算出部３は、不適切領域２０内にエッジが存在しないものと判断し、ラベリングされた次の不適切領域の処理を行う。

そして、画像処理装置１は、第１の境界位置と、第２の境界位置との間の経路において線形補間処理を行い、その経路における各画素の新しい信号値を算出する（ステップＳ２８）。この線形補間処理は、算出部３によって行われる。また、このステップＳ２８は、置換情報算出手段を構成する。

線形補間処理とは、処理対象の画素の周囲に位置する例えば４つの画素の信号値に、その処理対象の画素との距離に基づいた重み付けを行って、置換情報としての新しい信号値を算出する処理のことである。

この新しい信号値は、ステップＳ２６において仮到達画素を算出した際の経路を可能な限り多く含み、かつ、第１の境界画素と、第２の境界画素との最短距離になるように算出される。

画像処理装置１は、不適切領域の各画素の画素情報を、算出された新しい信号値に置換した置換画像を生成する（ステップＳ２９）。この置換画像の生成は、置換部によって行われる。また、このステップＳ２９は、置換画像生成手段を構成する。

図１０に、生成した置換画像における不適切領域２０の近傍の拡大図を示す。図１０に示すように、第１の境界位置（ｘ１，ｙ１）と、第２の境界位置（ｘ４，ｙ４）との間の経路において、線形補間処理によって算出された新しい信号値がエッジ１２を構成する。その結果、エッジ１２は、エッジ１０と、エッジ１１とを連結させる。

最後に、画像処理装置１は、置換画像に基づいて立体画像を生成する（ステップＳ３０）。この処理は、立体画像生成部５によって行われる。また、このステップＳ３０は、立体画像生成手段を構成する。

以上で処理は終了するが、上述のステップＳ２３からステップＳ２９の各処理は、各色信号に対してそれぞれ行われるものである。
なお、ステップＳ２１、及びステップＳ２２は、画素抽出ステップを構成する。また、ステップＳ２３からステップＳ２８は、置換画素情報算出ステップを構成する。ステップＳ２９は、置換画像出力ステップを構成する。

以上説明したように、本実施の形態の画像処理装置１は、正確な画像処理結果が得られない部分の画像データを算出し補い、立体画像を出力することができる。つまり、画像処理装置１は、入力画像に含まれるＲ飽和画素、ハレーション画素、及び欠落画素を、立体画像の生成処理に適した画素に修正し、その修正された画像に基づいて立体画像を生成することができる。

なお、本実施の形態において、立体画像生成処理を最初に行い、その後に画素抽出ステップ・置換画素情報算出ステップ・置換画像出力ステップを行うようにしても良い。

また、本実施の形態において、不適切領域内のエッジ以外の画素については、例えば米国特許出願公開第２００５／０００１８３２号明細書に示されるような公知の多項式演算手法を用いて各画素の信号値を算出して置換する。

ところで、上述したように第１、及び第２の実施の形態における画像処理装置１に入力される撮像画像は、内視鏡装置６によって撮像される内視鏡画像である。近年、これら内視鏡画像から、画像処理によってポリープなどの病変部を発見する手法が用いられている。上述した実施の形態の画像処理装置１は、不適切画素を置換した置換画像を生成することができるため、このような病変部を発見する画像処理を行う際にも有効である。

このとき、第１、及び第２の実施の形態の画像処理装置１は、図１１に示すような処理を行うようにしても良い。図１１は、本発明の実施の形態に係る、画像処理の変形例の流れを示すフローチャートである。以下に説明する処理は、画像処理装置１に撮像画像が入力されたときに行われるものとする。

まず、画像処理装置１は、不適切画素を抽出する（ステップＳ３１）。このステップにおいては、上述した第１、第２の実施の形態と同様に、入力された撮像画像に含まれる不適切画素を抽出する。

次に、画像処理装置１は、抽出された不適切画素にＮＧフラグを立てる（ステップＳ３２）。例えば不適切画像には、ＮＧフラグを「１」として、立体画像生成部５において行われる立体画像の生成処理の対象から除外されるようにする。

以上で処理は終了する。この処理によって、立体画像生成部５において立体画像の生成処理における不適切画素の影響を排除することができる。

以上説明したように、本発明の実施の形態の画像処理装置１は、正確な画像処理結果が得られない部分の画像データを算出し補うことができる。つまり、この画像処理装置１は、入力画像に含まれる例えばＲ飽和画素、ハレーション画素、欠落画素等を、立体画像の生成処理に適した画素に修正することができる。

なお、本発明の実施の形態において、入力画像を構成する全画素における不適切画素の割合が一定以上である場合、その入力画像を信頼度が低いと判定して処理を行わないようにしても良い。

また、本発明の実施の形態において、画像処理装置１の有する立体画像生成部５は、異なる画像処理を行うようにしても良い。さらに、立体画像生成部５を画像処理装置１の外部に設けるような構成にしても良い。つまり、画像処理装置１は、不適切画素を含む入力画像を画像処理に適した画像に修正することができるため、どのような画像処理にも適用可能である。

なお、本発明の実施の形態の画像処理装置１は、内視鏡装置６とは異なる装置により構成されるが、内視鏡装置６の内部に設けられるようにしても良い。

また、本発明の実施の形態における抽出部２と算出部３と置換部４と立体画像生成部５は、それぞれ異なる構成であるが、例えば一つの画像処理部等が上述の処理を行うようにしても良い。

また、本発明の実施の形態において、画像処理装置１に入力される撮像画像は、内視鏡装置６が撮像しているが、異なる撮像手段を用いた撮像画像でも良い。

なお、本発明は前述した実施の形態に限定されるものではなく、本発明の要旨を変更しない程度に改変が可能である。

第１の実施の形態に係る、画像処理装置の概略的な構成図である。 第１の実施の形態に係る、撮像画像におけるＲＧＢ信号強度値と画素の位置との関係の一例を示す図である。 第１の実施の形態に係る、画像処理装置における画像処理の流れの例のフローチャートである。 第２の実施の形態に係る、画像処理装置における画像処理の流れの例のフローチャートである。 第２の実施の形態に係る、エッジ画像の一例の概略図である。 第２の実施の形態に係る、第１の境界位置を示す不適切領域近傍の拡大図である。 第２の実施の形態に係る、エッジ方向を示す不適切領域近傍の拡大図である。 第２の実施の形態に係る、仮到達画素の位置を示す不適切領域近傍の拡大図である。 第２の実施の形態に係る、第２の境界位置を示す不適切領域近傍の拡大図である。 第２の実施の形態に係る、置換画像における不適切領域近傍の拡大図である。 本発明の実施の形態に係る、画像処理の変形例の流れを示すフローチャートである。

符号の説明

１ 画像処理装置
２ 抽出部
３ 算出部
４ 置換部
５ 立体画像生成部
６ 内視鏡装置
１０ エッジ
１１ エッジ
１２ エッジ
２０ 不適切領域

Claims (1)

1. 医療用の入力画像に対して画像処理を行う医療用画像処理装置であって、
   上記入力画像において所定の条件を満たす不適切画素を抽出する画素抽出手段と、
   抽出された上記不適切画素を含んだ、又は上記不適切画素に隣接する所定の領域の画素情報に基づいて、上記不適切画素の画素情報と置換するための置換情報を算出する置換画素情報算出手段と、
   上記入力画像における上記不適切画素の画素情報を上記置換情報に置換し、置換画像を生成する置換画像生成手段と、
   を具備し、
   上記入力画像は、ＲＧＢ画像であり、
   上記所定の条件を満たす不適切画素は、Ｒ信号の信号強度値が所定の閾値以上の画素であり、
   上記画素情報は、ＲＧＢ信号における各色の信号強度値であり、
   上記置換画素情報算出手段は、
   抽出された上記不適切画素におけるＧ信号もしくはＢ信号の信号強度値を平滑化して平滑信号強度値を算出する平滑化手段と、
   抽出された上記不適切画素と隣接した所定の領域における上記Ｒ信号の信号強度値の平均値である第１の平均信号強度値、及び、上記Ｇ信号もしくはＢ信号の信号強度値の平均値である第２の平均信号強度値を求める平均化手段と、
   上記平滑信号強度値と、上記第１の平均信号強度値と、上記第２の平均信号強度値と、に基づいて上記置換情報を算出する置換情報算出手段と、
   を具備することを特徴とする医療用画像処理装置。

Images