JP6577887B2 - 画像処理装置、内視鏡システム、画像処理方法、画像処理プログラム、及び記録媒体 - Google Patents

Description

本発明は画像処理装置、内視鏡システム、画像処理方法、画像処理プログラム、及び記録媒体に関し、特に生体の血管情報を推定する画像処理装置、内視鏡システム、画像処理方法、画像処理プログラム、及び記録媒体に関する。

医用画像処理の分野では、生体の画像を処理して生体に関する情報を取得し、取得した情報を診断に用いることが行われている。例えば特許文献１及び特許文献２には、波長帯域が異なる画像信号の輝度比に基づいて血管深さ及び酸素飽和度を求めることが記載されている。また特許文献２には、血管太さ等の特徴量に基づいて関心領域を設定し、その関心領域を強調表示することも記載されている。さらに特許文献３には、ＰＳＦ（Point Spread Function：点広がり関数）の逆関数によるフィルタリング処理を施すことにより、オブジェクトの深さに起因する画像のボケを補正することが記載されている。

特許５４５７２４７号公報 特開２０１１−１９４１８２号公報 特開２００９−１５３９６９号公報

血管を撮影した画像では、観察光が生体中で散乱することにより血管同士が相互に干渉し、血管コントラスト等に影響する。そしてこのような干渉の度合いは血管の密度に応じて異なる。このため、血管コントラスト等の情報から血管情報を推定する場合は血管密度に応じた干渉の影響を考慮しなければ精度良く推定することができないが、上述の特許文献１〜３に記載されるような従来の技術では血管密度に応じた干渉の影響を考慮したものではなく、その結果血管深さ等の血管情報を精度良く推定できるものではなかった。

本発明はこのような事情に鑑みてなされたもので、血管情報を精度良く推定できる画像処理装置、内視鏡システム、画像処理方法、画像処理プログラム、及びそのような画像処理プログラムを記録した記録媒体を提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、生体の画像を取得する画像取得部と、取得した画像から生体の血管指標値を算出する血管指標値算出部と、取得した画像から生体の血管密度を算出する血管密度算出部と、算出した血管密度に応じて算出した血管指標値を補正する血管指標値補正部と、補正された血管指標値に基づいて生体の血管情報を推定する血管情報推定部と、を備える。

第１の態様に係る画像処理装置では、血管密度に応じた干渉の影響を考慮して、血管密度に応じて血管指標値を補正し、補正された血管指標値に基づいて生体の血管情報を推定するので、血管情報を精度良く推定することができる。なお第１の態様において、生体の画像は撮像装置で取得してもよいし、撮像済みの画像をネットワークまたは記録媒体を介して取得してもよい。

第２の態様に係る画像処理装置は第１の態様において、血管密度と血管指標値との関係を示す関係情報を記憶する関係情報記憶部をさらに備え、血管指標値補正部は記憶された関係情報に基づいて算出した血管指標値を補正する。第２の態様は血管指標値を補正する手法を規定するものである。

第３の態様に係る画像処理装置は第２の態様において、関係情報記憶部は生体に照射される観察光の帯域に応じた関係情報を記憶し、画像取得部は画像を撮影した際の観察光の帯域を示す帯域情報を取得し、血管指標値補正部は、記憶された関係情報の内から取得した帯域情報に基づいて選択した関係情報に基づいて血管指標値を補正する。第３の態様では、血管密度と血管指標値との関係は観察光の帯域によって異なることを考慮し、観察光の帯域に応じた関係情報に基づいて血管指標値を補正する。これにより血管指標値を精度良く補正し、補正された血管指標値に基づき血管情報を精度良く推定することができる。なお第３の態様において、帯域情報は画像ファイルのヘッダ部分に記録しておく等の方法により画像と共に取得してもよいし、画像と別個に取得してもよい。なお第３の態様において、観察光の帯域ごとの関係情報を「観察光の帯域に応じた関係情報」として記憶しておき、この関係情報を用いて血管指標値を補正することが好ましい。

第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、画像取得部は生体に照射される観察光の帯域が異なる複数の画像を取得し、血管指標値算出部は取得した複数の画像を用いて血管指標値を算出する。第４の態様では、生体における吸収及び散乱の度合いが観察光の帯域によって異なることを考慮し、観察光の帯域が異なる複数の画像を用いて血管指標値を算出する。第４の態様において、「観察光の帯域が異なる複数の画像」は複数の狭帯域観察光の波長を順次切り替えることにより取得することができる。また、観察光は広帯域として、透過波長域の異なるバンドパスフィルタを順次切り替えることで取得することもできる。なお、「狭帯域の観察光」の波長は例えば赤色、青色、緑色、及び紫色の中から選択した波長とすることができ、「広帯域の観察光」の波長は例えば白色（複数色に亘る範囲の波長）とすることができるが、これらに限定されるものではない。

第５の態様に係る画像処理装置は第１から第４の態様のいずれか１つにおいて、取得した画像において血管指標値の算出対象となる対象血管を選択する血管選択部を備える。第５の態様において、対象血管は血管自体を個別に指定してもよいし、指定した領域に含まれる血管を対象血管として指定してもよい。なお第５の態様において、血管密度の算出及び血管情報の推定は、このようにして選択した対象血管、あるいは指定した領域に含まれる対象血管について行ってよい。

第６の態様に係る画像処理装置は第５の態様において、血管選択部は取得した画像に対するユーザの指示入力に基づいて対象血管を選択する。第６の態様によれば、ユーザは所望の対象血管について血管指標値を算出することができる。なお第６の態様においても、第５の態様と同様に、対象血管は血管自体を個別に指定してもよいし、指定した領域に含まれる血管を対象血管として指定してもよい。また、血管密度の算出及び血管情報の推定は、このようにして選択した対象血管あるいは選択した領域に含まれる対象血管について行うようにしてよい。

第７の態様に係る画像処理装置は第１から第６の態様のいずれか１つにおいて、血管指標値は生体の血管のコントラスト、血管部分の輝度値、及び血管部分の色情報のうち少なくとも１つを含む。第７の態様は血管指標値の具体的な項目を規定するものである。

第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、血管情報は生体の血管の深さ、血管の太さ、及び血管の酸素飽和度のうち少なくとも１つを含む。第８の態様は血管情報の具体的な項目を規定するものである。

上述した目的を達成するため、本発明の第９の態様に係る内視鏡システムは生体に観察光を照射する光源と、照射された観察光の下で生体の画像を撮像する撮像部と、第１から第８の態様のいずれか１つに記載の画像処理装置と、を備え、画像処理装置は撮像部が撮像した画像を取得する。第９の態様は、生体の画像を取得する内視鏡装置と、取得した画像を処理する画像処理装置と、を備える内視鏡システムを規定するもので、第１の態様と同様に血管情報を精度良く推定することができる。

上述した目的を達成するため、本発明の第１０の態様に係る画像処理方法は、生体の画像を取得する画像取得工程と、取得した画像から生体の血管指標値を算出する血管指標値算出工程と、取得した画像から生体の血管密度を算出する血管密度算出工程と、算出した密度に応じて算出した血管指標値を補正する血管指標値補正工程と、補正された血管指標値に基づいて生体の血管情報を推定する血管情報推定工程と、を含む。第１０の態様に係る画像処理方法によれば、第１の態様と同様に血管情報を精度良く推定することができる。なお第１０の態様に係る画像処理方法において、第２から第８の態様と同様の構成をさらに含めてもよい。

上述した目的を達成するため、本発明の第１１の態様に係る画像処理プログラムは、第１０の態様に係る画像処理方法を画像処理装置に実行させる。第１１の態様に係る画像処理プログラムによれば、第１，第１０の態様と同様に血管情報を精度良く推定することができる。

上述した目的を達成するため、本発明の第１２の態様に係る非一時的記録媒体には、第１１の態様に係る画像処理プログラムのコンピュータ読み取り可能なコードが記録されている。第１２の態様に係る記録媒体によれば、血管情報を精度良く推定することができる画像処理プログラムを実行させることができる。なお、非一時的記録媒体の例としてコンパクトディスク、ハードディスク等の光磁気記録媒体、及び各種の半導体メモリを挙げることができるが、本発明に係る非一時的記録媒体はこれらの例に限定されるものではない。

以上説明したように、本発明の画像処理装置、内視鏡システム、画像処理方法、画像処理プログラム、及び記録媒体によれば、血管情報を精度良く推定することができる。

図１は、第１の実施形態に係る内視鏡システムを示す外観図である。 図２は、内視鏡システムの概略構成を示すブロック図である。 図３は、光源の波長を示す図である。 図４は、カラーフィルタの波長と透過率との関係を示す図である。 図５は、画像処理部の機能構成を示す図である。 図６は、第１の実施形態に係る画像処理方法の処理を示すフローチャートである。 図７は、ユーザ操作に基づく対象血管選択の様子を示す図である。 図８は、ユーザ操作に基づく対象血管選択の様子を示す他の図である。 図９は、血管密度による輝度への影響を説明するための図である。 図１０は、血管密度による輝度への影響を説明するための他の図である。 図１１は、血管密度による輝度への影響を説明するためのさらに他の図である。 図１２は、血管密度に起因する輝度値の変化を示す概念図である。 図１３は、血管密度と輝度値変動量との関係を示す概念図である。 図１４は、血管密度に応じた輝度値補正量を示す図である。 図１５は、輝度値の補正を示す図である。 図１６は、観察光の帯域に応じた関係情報を記憶する様子を示す図である。 図１７は、内視鏡システムの変形例の構成を示すブロック図である。 図１８は、変形例におけるロータリーフィルタを示す図である。 図１９は、本発明の第２の実施形態に係る画像処理システムの構成を示す図である。 図２０は、第２の実施形態における画像処理装置の構成を示すブロック図である。

以下、添付図面を参照しつつ、本発明に係る画像処理装置、内視鏡システム、画像処理方法、画像処理プログラム、及び記録媒体の実施形態について説明する。

＜第１の実施形態＞
図１は、第１の実施形態に係る内視鏡システム１０（内視鏡システム）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡本体１１０（撮像部）、内視鏡プロセッサ２００（画像処理装置）、光源装置３００（光源）、及びモニタ４００から構成される内視鏡装置１００を含んでいる。

＜内視鏡本体の構成＞
内視鏡本体１１０は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者は手元操作部１０２を把持して操作し、挿入部１０４を被検体の体内に挿入して観察する。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。先端硬質部１１６には、撮像光学系１３０（撮像部）、照明部１２３、鉗子口１２６等が設けられる。

観察や処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の観察光用レンズ１２４から後述する帯域（図３，４参照）の観察光を照射することができる。また、操作部２０８の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮像レンズ１３２及び観察光用レンズ１２４を洗浄することができる。先端硬質部１１６の先端側端面１１６Ａで開口する鉗子口１２６には不図示の管路が連通しており、この管路に図示せぬ処置具が挿通されて、適宜進退して必要な処置を施せるようになっている。

また、先端側端面１１６Ａには、撮像レンズ１３２に隣接して照明部１２３の観察光用レンズ１２４が設けられている。観察光用レンズ１２４の奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。

図１，２に示すように、先端側端面１１６Ａには撮像レンズ１３２が配設されており、この撮像レンズ１３２の奥にＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子１３４、駆動回路１３６、及びＡＦＥ（Analog Front End）１３８が配設されて、画像信号を出力するようになっている。撮像レンズ１３２により撮像素子１３４の受光面に被検体の光学像が結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ２００に出力されて映像信号に変換され、画像出力部２０６を介してモニタ４００に観察画像が表示される。

上述した撮像素子１３４はカラー撮像素子であり、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｂ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状（２次元状）に配置された複数の受光素子により構成される複数の画素を備え、各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ、及び光電変換部（フォトダイオード等）を含んでいる。撮像素子１３４は、ＢカラーフィルタＢ−ＣＦが設けられたＢ画素（青色画素）で紫色から青色の光を受光し、ＧカラーフィルタＧ−ＣＦが設けられたＧ画素（緑色画素）で受光し、ＲカラーフィルタＲ−ＣＦが設けられたＲ画素（赤色画素）で赤色の光を受光する。Ｒ，Ｇ，Ｂのカラーフィルタの波長に対する透過率は図４の通りである。

撮像光学系１３０は、赤色画素，緑色画素，青色画素の信号からカラー画像を生成することができる。カラー画像の生成に際してはカラーフィルタの配列パターンに応じたデモザイク処理（同時化処理ともいう）が行われて各画素で不足した色の信号が補間によって生成され、全画素がＲＧＢ各色の信号を有するようになる。また赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。

なお第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。

＜光源装置の構成＞
図２に示すように、光源装置３００（光源）は、観察光用の光源３１０（光源）、光源制御部３２０、絞り３３０、及び集光レンズ３４０等から構成されており、観察光をライトガイド１７０に入射させる。観察光はライトガイド１７０によって挿入部１０４内を導かれ、先端側端面１１６Ａに設けられた観察光用レンズ１２４から被検体に照射される。

本実施形態において、光源３１０は図２に示すように紫色光を発するＶ−ＬＥＤ（Violet Light Emitting Diode）３１０Ａ、青色光を発するＢ−ＬＥＤ（Blue Light Emitting Diode）３１０Ｂ、緑色光を発するＧ−ＬＥＤ（Green Light Emitting Diode）３１０Ｃ、及び赤色光を発するＲ−ＬＥＤ（Red Light Emitting Diode）３１０Ｄの４色のＬＥＤ（Light Emitting Diode）を有する。これらのＬＥＤは、それぞれ図３に示す波長の光を発する（Ｖ：紫色光、Ｂ：青色光、Ｇ：緑色光、Ｒ：赤色光）。これらのＬＥＤの点灯や消灯、点灯時の発光量等は、光源制御部３２０によって個々に制御することができ、複数のＬＥＤを同時に点灯することもできるし、１つのＬＥＤのみを点灯することもできる。

＜内視鏡プロセッサの構成＞
次に、図２に基づき内視鏡プロセッサ２００の構成を説明する。内視鏡プロセッサ２００は、内視鏡装置１００から出力される画像信号を画像入力部２０２（画像取得部）を介して入力し、画像処理部２０４（血管指標値算出部、血管密度算出部、血管指標値補正部、血管情報推定部、関係情報記憶部、血管選択部）で必要な画像処理を行って画像出力部２０６を介して出力する。これによりモニタ４００に観察画像が表示される。これらの処理はＣＰＵ（Central Processing Unit；中央処理装置）２１０の制御下で行われる。

画像処理部２０４では、ホワイトバランス調整等の画像処理の他、モニタ４００に表示する画像の切替や重畳表示、電子ズーム処理、操作モードに応じた画像の表示・切替、画像信号からの特定成分（例えば輝度信号）の抽出等を行う。ＲＯＭ（Read Only Memory）２１２（非一時的記録媒体）には本実施形態に係る画像処理プログラムのコンピュータ読み取り可能なコードが記録されており、ＲＡＭ（Random Access Memory）２１４は処理の際の一時的記憶領域として用いられる。またＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）２１６には、後述する関係情報（図１３，１６参照）等、ＣＰＵ２１０や画像処理部２０４が行う処理に必要な情報があらかじめ記憶されている。

また、内視鏡プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬキーボード及びマウス等の入力デバイスを備えており、ユーザはこれら入力デバイスを介して対象血管の指定等の操作を行うことができる。このような操作については後述する。また、操作部２０８は図示せぬ操作モード設定スイッチや送水指示ボタン等を備えており、また観察光の照射を操作することができる。

＜画像処理部の機能構成＞
図５は画像処理部２０４の機能構成を示す図である。画像処理部２０４は血管指標値及び血管情報の算出対象となる対象血管を選択する血管選択部２０４Ａと、血管コントラスト等の血管指標値を算出する血管指標値算出部２０４Ｂと、血管密度を算出する血管密度算出部２０４Ｃと、算出した血管密度に応じて血管指標値を補正する血管指標値補正部２０４Ｄと、補正した血管指標値に基づいて血管情報を推定する血管情報推定部２０４Ｅと、を備える。

＜画像処理手順＞
次に、上述した構成の内視鏡システム１０における画像処理について説明する。図６は第１の実施形態に係る画像処理の手順（画像処理方法）を示すフローチャートである。

＜画像取得＞
まず、上述した構成の光源装置３００から紫色、青色、緑色、及び赤色の観察光を出射し、撮像光学系１３０で被検体（生体）を撮像して青色、緑色、及び赤色の画像信号を取得する（ステップＳ１００：画像取得工程）。出射する観察光の種類は取得する画像に応じて設定することができ、各色の観察光は必要に応じ同時に出射してもよいし、順次帯域を切り替えてもよい。内視鏡システム１０では、このようにして取得した３色の画像信号を用いたカラー画像を生成することもできるし、３色のうち１色または２色の画像信号を用いた画像を生成することもできる。また、３色のうち２色以上の画像信号を用いて、差分処理及び／または強調処理を施した画像（例えば、所望の深さの血管が強調された画像）を生成することもできる。このように、本実施形態では観察光の帯域が異なる複数の画像を取得することができる。

＜対象血管の選択＞
次に、画像処理部２０４（血管選択部２０４Ａ）は、ステップＳ１００で取得した画像において血管指標値の算出対象となる対象血管を選択する（ステップＳ１１０：血管選択工程）。対象血管の選択は、画像処理部２０４がユーザの指示入力を介さず自動的に行ってもよいし、操作部２０８を介したユーザの指示入力に基づいて行ってもよい。対象血管を自動的に選択する場合、画像の中央等一部の領域に含まれる血管を選択してもよいし、画像の全領域に含まれる血管を選択してもよい。また、指定された条件を満たす特徴量（例えば、形状、太さ、色等）を有する血管を対象血管として選択してもよい。対象血管は一本に限らず複数本指定してよい。

一方、ユーザの指示入力に基づいて対象血管を選択する場合は、モニタ４００に画像を表示し、操作部２０８の操作デバイス（キーボード、マウス等）を介して、表示した画像に対するユーザの指示入力を受け付ける。この場合、図７に示すようにユーザに画像ｉ０上で血管部分をクリックさせる、あるいは血管に沿ってカーソルを移動させる等の方法により対象血管を直接選択させてもよいし、図８に示すように画像ｉ０上で関心領域（ＲＯＩ：Region Of Interest）を指定させ、その中に含まれる血管を対象血管として選択してもよい。なお図７において曲線Ｄ１及び点Ｄ２はカーソルの移動軌跡及びその起点を示し、図８において領域Ｒ１は指定された関心領域を示す。

＜血管指標値の算出＞
ステップＳ１１０において対象血管を選択したら、画像処理部２０４（血管指標値算出部２０４Ｂ）は選択した対象血管について血管指標値を算出する（ステップＳ１２０：血管指標値算出工程）。なお血管指標値としては血管コントラスト、血管部分の輝度値、及び血管部分の色情報を挙げることができるが、これらに限定されるものではない。血管指標値は、例えば特開２０１５−９１４６７号公報に記載されているように、画像信号に基づいて血管領域を特定し、特定した血管領域における画像信号から算出することができる。具体的には、ステップＳ１００の画像取得工程で取得した青色画像信号と緑色画像信号とに基づいて、青色信号と緑色信号の輝度比を示すＢ／Ｇ比画像を生成し、このＢ／Ｇ比画像においてＢ／Ｇ比が一定範囲内の画素領域を粘膜と特定し、Ｂ／Ｇ比が一定範囲外の画素領域を血管と特定する。

上述の処理により血管と粘膜が特定されたら、画像処理部２０４は血管の輝度値と粘膜の輝度値の比を血管コントラストとして算出する。また、血管部分におけるＲＧＢ（赤色、緑色、青色）の画像信号を下記の式（１），（２），及び（３）によりＹＣｂＣｒ形式に変換することで、血管部分の輝度値（Ｙ信号の値）を算出することができる。また、血管部分におけるＲＧＢの画像信号から血管の色情報（Ｒ／Ｇ比、Ｂ／Ｇ比等）を算出することができる。
Ｙ ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ ・・・（１）
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５×Ｂ ・・・（２）
Ｃｒ＝ ０．５×Ｒ −０．４１９×Ｇ−０．０８１×Ｂ ・・・（３）

＜血管密度の算出＞
次に、画像処理部２０４（血管密度算出部２０４Ｃ）は血管密度を算出する（ステップＳ１３０：血管密度算出工程）。ステップＳ１３０で血管密度を算出するのは、血管指標値が血管密度に応じて変動するため、血管指標値から血管情報を推定する場合は血管指標値の変動の影響を補正する必要があるためである。血管密度が血管指標値に与える影響、及び算出した血管密度に基づく血管指標値の補正については詳細を後述する。

血管密度は、例えば上述の手法により血管領域を特定し、画像上に占める血管領域の面積から算出することができる。なお、血管の本数が同じでも太さが違えば血管同士の干渉の度合いも異なるため、血管の本数に基づく密度（本数密度）ではなく、上述のように血管の面積に基づく密度（面積密度）を算出することが好ましい。なお血管密度は、このように血管部分の面積から求める他に画像上の輝度値（例えば、関心領域内の輝度値）から算出してもよいし、観察光の帯域が異なる複数の画像に基づいて算出してもよい。観察光の帯域が異なる複数の画像に基づいて血管密度を算出する場合は、例えば血管がほぼ写らない長波の観察光（例えば赤色）に基づく画像と、血管による吸収が大きく血管が鮮明に写る短波の観察光（例えば青色、緑色）に基づく画像との差分をとればよい。

＜血管指標値の補正＞
次に、画像処理部２０４（血管指標値補正部２０４Ｄ）は、ステップＳ１３０で算出した血管密度に応じて血管指標値を補正する（ステップＳ１４０：血管指標値補正工程）。

＜血管密度が血管指標値に与える影響＞
血管指標値の補正に関し、まず血管密度が血管指標値に与える影響について説明する。なおここでは、血管部の輝度値を血管指標値の例として説明する。図９は１本の血管ＢＶ１が写った画像ｉ１を模式的に示す図であり、図１０は３本の血管ＢＶ２，ＢＶ３，及びＢＶ４が写った画像ｉ２を模式的に示す図である。図１１は画像ｉ１におけるＡ−Ａ線部分での輝度値ＰＲ１、及び画像ｉ２におけるＣ−Ｃ線部分での輝度値ＰＲ３を示す図である。

血管部の信号は生体中の光の散乱によって空間的に広がりをもって観測されるため、図１１に示す輝度値ＰＲ１，ＰＲ３において、血管部分（図９，１０の点Ｐ１〜Ｐ４の位置）における輝度値だけでなく血管部分の周辺の輝度値も干渉されて変動する。この影響は周辺の血管密度によって見積もることができ、図１２の曲線Ｌ１に示すように血管密度が高くなるほど血管部の輝度値が低下する。すなわち、図１３の曲線Ｌ２に示すように、血管密度が高くなるほど輝度値変動量（絶対値）は増加する。

＜血管密度に応じた血管指標値の補正＞
上述のように血管指標値は血管密度に応じて変動するため、血管部の輝度値のような血管指標値から血管情報を推定する場合はこの影響を補正する必要がある。そこで第１の実施形態では、図１３の曲線Ｌ２に示すような血管密度と輝度値変動量との関係（関係情報）をＥＥＰＲＯＭ２１６（関係情報記憶部）に記憶しておき、関係情報を参照して輝度値を補正する。具体的には、画像処理部２０４は図１４の曲線Ｌ３のような、関係情報（曲線Ｌ２）に対応した補正量（血管密度が高くなるほど補正量が増加する）を補正前の輝度値に加算することにより輝度値を補正する。図１５はこのような輝度値の補正を示す図であり、補正前の輝度値ＰＲ３（図１０，１１に示す、血管が３本の場合の輝度値）が補正量の加算によりＰＲ３ａとなる様子を示している。

なお関係情報は血管を模擬したファントム（phantom）を用いて実験的に作成してもよいし、モンテカルロシミュレーション等の光学シミュレーションにより作成してもよい。

血管密度による輝度値の変動は光の散乱に起因しているため、観察光の帯域が異なると粘膜の散乱係数が異なり、輝度値の変動量も異なる。そこでこのような観点から、図１６に示すような観察光の帯域毎の関係情報（赤色、緑色、青色、及び紫色の関係情報Ｒ−Ｌ２，Ｇ−Ｌ２，Ｂ−Ｌ２，Ｖ−Ｌ２）をＥＥＰＲＯＭ２１６等に記憶しておき、この帯域毎の関係情報を参照して補正を行うようにしてもよい。このように観察光の帯域に応じた関係情報を用いる場合、画像を撮影した際の観察光の帯域を示す情報（帯域情報）を例えば画像ファイルのヘッダ部分に記録し、画像処理部２０４がこの帯域情報を参照して選択した関係情報に基づいて輝度値の補正を行うようにすればよい。なお、青色光及び紫色光は共にＢ画素（青色画素）で受光されるが、それぞれ異なる帯域の情報を持つ。したがって輝度値の変動を考慮できる帯域は赤色、緑色、青色、及び紫色の４種類であり、このため図１６に示すように赤色、緑色、青色、及び紫色についての関係情報を記憶しておき、これら４種類の関係情報を用いることが好ましい。

なお、血管指標値の補正に関し血管密度と輝度値変動量との関係を関係情報として記憶する場合について説明したが、図１４の曲線Ｌ３に示すような、輝度値変動量に対応した補正量（加算量）を関係情報として記憶しておいてもよい。また、血管指標値の補正に関し輝度値を補正する場合について説明したが、コントラストを補正する場合はコントラスト補正用の関係情報（あるいは補正係数）を記憶しておき、この関係情報に基づく補正係数を乗算すればよい。また色情報を補正する場合は、各色（赤色、緑色、青色）の画像信号に対する関係情報（補正量）を記憶しておき、この関係情報に基づく補正量を加算すればよい。

＜血管情報の推定＞
ステップＳ１４０において血管指標値が補正されたら、画像処理部２０４（血管情報推定部２０４Ｅ）は、補正された血管指標値に基づいて血管太さ、血管深さ、酸素飽和度等生体の血管情報を推定する（ステップＳ１５０：血管情報推定工程）。血管情報の推定は、ステップＳ１１０で選択された対象血管、または対象血管を含む領域（関心領域等）について行う。血管深さ及び酸素飽和度については、例えば特開２０１１−１９４１８２号公報に記載されているように、画像信号の輝度比と血管中の酸素飽和度及び血管深さとの相関関係を記憶しておき、この相関関係と補正後の各色の輝度値に基づいて推定することができる。また血管深さについては、例えば特開２０１５−２３１５７６号公報に記載されているように、画像信号の輝度比（Ｂ／Ｇ）と血管深さとの相関関係（血管深さが大きくなるほど輝度比Ｂ／Ｇも大きくなる比例関係）を記憶しておき、この相関関係と補正後の各色の輝度値に基づいて推定することもできる。また、血液量及び血管飽和度については、例えば特開２０１５−７０３６９号公報に記載されているように、画像信号の輝度比（Ｂ／Ｇ及びＲ／Ｇ）と血液量及び酸素飽和度との相関関係を記憶しておき、この相関関係と補正後の各色の輝度値に基づいて推定することができる。

以上説明したように、第１の実施形態に係る内視鏡システム１０では、血管密度に応じた干渉の影響を考慮して血管密度に応じて血管指標値を補正し、補正された血管指標値に基づいて生体の血管情報を推定するので、血管深さ、血管太さ、酸素飽和度等の血管情報を精度良く推定することができ、診断上有用な情報を提示することができる。

＜光源装置及び画像取得の変形例＞
次に、第１の実施形態における光源装置の変形例について説明する。図２に示す例では、光源装置３００が紫色，青色，緑色，及び赤色のＬＥＤ、及び青色，緑色，赤色のカラーフィルタを備え、デモザイク処理（同時化処理）によりカラー画像を取得する場合について説明したが、本発明における光源装置及び画像取得はこのような態様に限定されるものではない。以下、他の構成の光源装置について説明する。なお図１７，１８の変形例において、図２と同様の要素には同一の参照符号を付し、詳細な説明を省略する。

図１７に示す変形例では、光源装置３００Ａは光源３１１として白色光を発するＷ−ＬＥＤ（White Light Emitting Diode）３１１Ａを備え、Ｗ−ＬＥＤ３１１Ａの前方には、図１８に示すロータリーフィルタ３５０が設けられている。ロータリーフィルタ３５０には赤色、青色、緑色のカラーフィルタ３５２、３５４、３５６（バンドパスフィルタ）がそれぞれ設けられており、ロータリーフィルタ３５０を回転させて白色の観察光をカラーフィルタ３５２、３５４、３５６を透過させることで、赤色、青色、緑色の観察光を照射することができる。そして、各色の観察光が照射される毎に挿入部１０４に設けられたモノクロ（monochrome）の撮像素子１３４Ａで面順次方式で撮像することによって赤色、青色、緑色の撮像信号が得られ、これら３色の撮像信号からカラー画像を生成することができる。また、赤色、青色、緑色のうち１色または２色の撮像信号から画像を生成してもよい。なおロータリーフィルタ３５０のようなフィルタは、光源であるＷ−ＬＥＤ３１１Ａの前面ではなく、撮像素子１３４Ａの前面に設けてもよい。また、ロータリーフィルタではなく、第１の実施形態と同様のカラーフィルタ（各画素に対しＲ，Ｇ，Ｂのカラーフィルタのいずれかが設けられたカラーフィルタ）を撮像素子１３４Ａの前面に設けてもよい。このように、本変形例においても観察光の帯域が異なる複数の画像を取得することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図１９は第２の実施形態に係る医用画像処理システム５００の構成を示す図である。医用画像処理システム５００は、サーバ５１０と、画像データベース５２０と、内視鏡装置５３０と、画像処理装置５４０と、これらを接続するネットワークＮＷと、を備える。

サーバ５１０は画像の送受信及び記録を制御し、画像データベース５２０にはサーバ５１０の制御により画像が記録される。内視鏡装置５３０は、第１の実施形態に係る内視鏡システム１０と同様の光源装置（不図示）及び撮像部（不図示）により被検体（生体）の画像を撮像する。画像処理装置５４０は第１の実施形態における内視鏡プロセッサ２００に相当し、画像データベース５２０から取得した画像を処理して血管情報の推定等の処理を行う。画像処理装置５４０は本発明の画像処理装置の一態様であり、例えばコンピュータ及びコンピュータ上で動作するプログラム（本発明に係る画像処理方法を画像処理装置に実行させる画像処理プログラム）により構成される。

図２０は画像処理装置５４０の概略構成を示すブロック図である。図２０に示すように、画像処理装置５４０はネットワークＮＷを介してサーバ５１０及び内視鏡装置５３０と通信する通信部５４４と、通信部５４４を制御して画像を入力する画像入力部５４６と、取得した画像を処理して血管情報の推定等を行う画像処理部５４８（血管選択部、血管指標値算出部、血管密度算出部、血管指標値補正部、血管情報推定部）と、画像処理部５４８が処理の際に参照する関係情報（図１３，１６参照）が記憶される関係情報記憶部５５０と、医用画像、処理に必要な情報、及び処理結果が表示される表示部５５２と、ユーザが画像取得や血管情報の推定等の処理に必要な情報を入力するための操作部５５４（血管選択部）と、を備え、これら各部は互いに接続されていて、必要な情報を送受信できるようになっている。通信部５４４及び画像入力部５４６は画像取得部５４２を構成する。なお第２の実施形態において、観察光の帯域情報は画像ファイルのヘッダに記録しておいたものを画像と共に取得してもよいし、画像とは別個に画像データベース５２０または内視鏡装置５３０から取得してもよい。

画像処理装置５４０の各部の機能は、例えばＣＰＵ（Central Processing Unit）等の制御デバイスがＲＯＭ等の記憶手段（非一時的記録媒体）に記憶された画像処理プログラムを実行することで実現でき、これにより本発明に係る画像処理方法（図６参照）が実行される。また、通信部５４４は無線通信用アンテナ及び入出力インタフェース回路を含み、関係情報記憶部５５０はＨＤＤ（Hard Disk Drive）等の記録デバイスを含んで構成される。また表示部５５２は液晶ディスプレイ等の表示デバイスを含み、操作部５５４はキーボードやマウス等の入力及び操作デバイスを含む。なおこれらは第２の実施形態に係る画像処理装置５４０の構成の一例を示すものであり、他の構成を適宜採用し得る。

上述した構成の画像処理装置５４０においても、第１の実施形態に係る内視鏡システム１０と同様にして、血管深さ、血管太さ、酸素飽和度等の血管情報を精度良く推定することができ、診断上有用な情報を提示することができる。

以上、本発明の実施形態及び変形例について説明したが、本発明はこれらの実施形態及び変形例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０ 内視鏡システム
１００ 内視鏡装置
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１０ 内視鏡本体
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２４ 観察光用レンズ
１２６ 鉗子口
１３０ 撮像光学系
１３２ 撮像レンズ
１３４ 撮像素子
１３４Ａ 撮像素子
１３６ 駆動回路
１７０ ライトガイド
２００ 内視鏡プロセッサ
２０２ 画像入力部
２０４ 画像処理部
２０４Ａ 血管選択部
２０４Ｂ 血管指標値算出部
２０４Ｃ 血管密度算出部
２０４Ｄ 血管指標値補正部
２０４Ｅ 血管情報推定部
２０６ 画像出力部
２０８ 操作部
２１０ ＣＰＵ
２１６ ＥＥＰＲＯＭ
３００ 光源装置
３００Ａ 光源装置
３１０ 光源
３１１ 光源
３１１Ａ Ｗ−ＬＥＤ
３２０ 光源制御部
３３０ 絞り
３４０ 集光レンズ
３５０ ロータリーフィルタ
３５２ カラーフィルタ
３５４ カラーフィルタ
３５６ カラーフィルタ
４００ モニタ
５００ 医用画像処理システム
５１０ サーバ
５２０ 画像データベース
５３０ 内視鏡装置
５４０ 画像処理装置
５４２ 画像取得部
５４４ 通信部
５４６ 画像入力部
５４８ 画像処理部
５５０ 関係情報記憶部
５５２ 表示部
５５４ 操作部
Ｒ−ＣＦ Ｒカラーフィルタ
Ｂ−ＣＦ Ｂカラーフィルタ
Ｇ−ＣＦ Ｇカラーフィルタ
ＢＶ１ 血管
ＢＶ２ 血管
ＢＶ３ 血管
ＢＶ４ 血管
ＮＷ ネットワーク
ＰＲ１ 輝度値
ＰＲ３ 輝度値
Ｒ−Ｌ２ 関係情報
Ｂ−Ｌ２ 関係情報
Ｇ−Ｌ２ 関係情報
Ｒ１ 領域
Ｓ１００〜Ｓ１５０ 画像処理方法の各ステップ
ｉ０ 画像
ｉ１ 画像
ｉ２ 画像

Claims (11)

1. 生体の画像を取得する画像取得部と、
   前記取得した画像から前記生体の血管指標値を算出する血管指標値算出部と、
   前記取得した画像から前記生体の血管密度を算出する血管密度算出部と、
   前記算出した血管密度に応じて前記算出した血管指標値を補正する血管指標値補正部と、
   前記補正された血管指標値に基づいて前記生体の血管情報を推定する血管情報推定部と、
   前記血管密度と前記血管指標値との関係を示す関係情報を記憶する関係情報記憶部と、
   を備え、
   前記血管指標値補正部は前記記憶された関係情報に基づいて前記算出した血管指標値を補正する画像処理装置。
2. 前記関係情報記憶部は前記生体に照射される観察光の帯域に応じた関係情報を記憶し、
   前記画像取得部は前記画像を撮影した際の前記観察光の帯域を示す帯域情報を取得し、
   前記血管指標値補正部は、前記記憶された関係情報の内から前記取得した帯域情報に基づいて選択した関係情報に基づいて前記血管指標値を補正する請求項１に記載の画像処理装置。
3. 前記画像取得部は前記生体に照射される観察光の帯域が異なる複数の画像を取得し、前記血管指標値算出部は前記取得した複数の画像を用いて前記血管指標値を算出する請求項１または２に記載の画像処理装置。
4. 前記取得した画像において前記血管指標値の算出対象となる対象血管を選択する血管選択部を備える請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記血管選択部は前記取得した画像に対するユーザの指示入力に基づいて前記対象血管を選択する請求項４に記載の画像処理装置。
6. 前記血管指標値は前記生体の血管のコントラスト、血管部分の輝度値、及び血管部分の色情報のうち少なくとも１つを含む請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記血管情報は前記生体の血管の深さ、血管の太さ、及び血管の酸素飽和度のうち少なくとも１つを含む請求項１から６のいずれか１項に記載の画像処理装置。
8. 生体に観察光を照射する光源と、前記照射された観察光の下で前記生体の画像を撮像する撮像部と、請求項１から７のいずれか１項に記載の画像処理装置と、を備え、
   前記画像処理装置は前記撮像部が撮像した画像を取得する内視鏡システム。
9. 生体の画像を取得する画像取得工程と、
   前記取得した画像から前記生体の血管指標値を算出する血管指標値算出工程と、
   前記取得した画像から前記生体の血管密度を算出する血管密度算出工程と、
   前記算出した密度に応じて前記算出した血管指標値を補正する血管指標値補正工程と、
   前記補正された血管指標値に基づいて前記生体の血管情報を推定する血管情報推定工程と、
   前記血管密度と前記血管指標値との関係を示す関係情報を記憶する関係情報記憶工程と、を含み、
   前記血管指標値補正工程では前記記憶された関係情報に基づいて前記算出した血管指標値を補正する画像処理方法。
10. 請求項９に記載の画像処理方法を画像処理装置に実行させる画像処理プログラム。
11. 請求項１０に記載の画像処理プログラムのコンピュータ読み取り可能なコードが記録された非一時的記録媒体。

Images