JP7118147B2

JP7118147B2 - 内視鏡システム

Info

Publication number: JP7118147B2
Application number: JP2020523887A
Authority: JP
Inventors: 浩司松本
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2018-06-05
Filing date: 2018-06-05
Publication date: 2022-08-15
Anticipated expiration: 2038-06-05
Also published as: WO2019234829A1; US11871906B2; JPWO2019234829A1; CN112236067A; CN112236067B; US20210106207A1

Description

本発明は、内視鏡システムに関するものである。

照明された物体から生じる光には、鏡面反射光、拡散反射光、散乱光等の複数種類の成分が含まれる。物体の画像に含まれるこのような成分を、縞状の明暗パターンを有する構造化照明光を用いた高周波パターン投影法によって分離することで、物体の表面の情報と内部の情報とを分離する技術が提案されている（例えば、非特許文献１参照。）。
構造化照明光は、物体の形状計測技術においても使用されている（例えば、特許文献１および２参照。）。特許文献１では、光の干渉を利用して構造化照明光を生成しており、特許文献２では、基板に形成された格子パターンの投影によって構造化照明光を生成している。

高谷剛志、外３名、「多重重み付け計測による反射・散乱光の分解」、第１４回画像の認識・理解シンポジウム（ＭＩＲＵ２０１１）、２０１１年７月

特開２０１６－２００４１８号公報特開２０１６－１９８３０４号公報

非特許文献１の高周波パターン投影法を細径の内視鏡に適用するためには、光学系の小型化が必要となる。一方、高周波パターン投影法で使用される構造化照明光の空間周波数は、形状計測で使用される構造化照明光の空間周波数よりも高い。特許文献１，２に開示されている方法では、高コントラストと高光量を維持しながら高空間周波数の構造化照明光を生成することが困難である。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、照明光を被写体に照射し、前記照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、照明部と、前記照明光で照明されている前記被写体の第１照明画像を取得する第１撮像部と、前記照明光で照明されている前記被写体の第２照明画像を取得し、前記第１撮像部とは異なる位置に配置されている、第２撮像部と、前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第１表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多く、前記第２深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第２表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多い、分離処理部と、前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備える内視鏡システムである。

物体に投影される明暗パターンのコントラストが低い場合、物体表面で発生したスペキュラ光に基づく高輝度のノイズが、物体の深層の情報を多く含む深層画像に表れるという問題がある。すなわち、暗部において強度を有する低コントラストの構造化照明光が物体に照射されると、暗部の照射位置においてスペキュラ光が発生する。暗部の照射位置において発生したスペキュラ光の情報は、物体の深層の情報として分離される。

本発明は、上述した事情に鑑みてなされたものであって、照明光の高周波パターンのコントラストが低い状態であっても、スペキュラ光に基づくノイズを含まない深層画像を提供することができる内視鏡システムを提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、照明光を被写体に照射し、前記照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、照明部と、前記照明光で照明されている前記被写体の第１照明画像を取得する第１撮像部と、前記照明光で照明されている前記被写体の第２照明画像を取得し、前記第１撮像部とは異なる位置に配置されている、第２撮像部と、前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像が前記第１表層画像よりも前記被写体の深層領域の情報を多く含み、前記第２深層画像が前記第２表層画像よりも前記被写体の深層領域の情報を多く含む、分離処理部と、前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備える内視鏡システムである。

本態様によれば、散乱体である被写体に照明光が照射されたときに、被写体の表面において鏡面反射された鏡面反射光（スペキュラ光）と、被写体内部の表層での散乱を経て被写体の表面から射出された表面散乱光と、被写体内部の深層での散乱を経て被写体の表面から射出された内部散乱光とが生じる。照明部から空間的に非一様な強度分布を有する照明光を被写体に照射することで、内部散乱光がスペキュラ光および表面散乱光とは空間的に分離される。すなわち、明部ではスペキュラ光、表面散乱光および内部散乱光が生じるのに対し、暗部では、明部から暗部まで回り込んだ内部散乱光が支配的に生じる。

したがって、撮像部によって取得された照明画像内において、暗部に対応する領域は深層の情報を多く含み、明部に対応する領域は表面および表層の情報を多く含む。情報とは、生体組織に入射し、生体組織やその内部の構造物によって散乱、吸収などの変調を受けて生体組織から射出される光の光量などを意味する。分離処理部は、暗部に対応する領域の画素値に基づいて、被写体の深層の情報を多く含む深層画像を作成する。また、分離処理部は、明部に対応する領域の画素値に基づいて、被写体の表面および表層の情報を多く含む表層画像を作成する。

照明光のコントラストが低い場合、被写体の表面上の暗部の領域においてスペキュラ光が発生することがあり、その結果、第１深層画像および第２深層画像内に、スペキュラ光に基づく高輝度のノイズが表れることがある。第１撮像部および第２撮像部は相互に異なる位置に配置されているので、スペキュラ光に基づくノイズの位置は第１深層画像と第２深層画像との間で異なる。

第１深層画像内のノイズの位置は、第１表層画像内のスペキュラ光の位置と同一である。第２深層画像内のノイズの位置は、第２表層画像内のスペキュラ光の位置と同一である。したがって、第１および第２表層画像の画素値に基づいてノイズを除外しながら第１深層画像と第２深層画像とを合成処理部によって合成することができる。これにより、照明光の高周波パターンのコントラストが低い状態であっても、スペキュラ光に基づくノイズを含まない合成深層画像を提供することができる。

本発明の他の態様は、第１照明光を被写体に照射し、前記第１照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第１照明部と、第２照明光を被写体に照射し、前記第１照明部とは異なる位置に配置され、前記第２照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第２照明部と、前記第１照明光で照明されている前記被写体の第１照明画像および前記第２照明光で照明されている前記被写体の第２照明画像を取得する撮像部と、前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第１表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多く、前記第２深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第２表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多い、分離処理部と、前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備える内視鏡システムである。

本態様によれば、照明光のコントラストが低い場合、被写体の表面上の暗部の領域においてスペキュラ光が発生することがあり、その結果、第１深層画像および第２深層画像内に、スペキュラ光に基づく高輝度のノイズが表れることがある。第１照明部および第２照明部は相互に異なる位置に配置されているので、スペキュラ光に基づくノイズの位置は第１深層画像と第２深層画像との間で異なる。

本発明の第１態様は、前記合成処理部が、前記第１深層画像内のスペキュラ光に基づくノイズ領域を前記第１表層画像および前記第２表層画像の画素値の差分に基づいて検出し、前記第１深層画像内の検出されたノイズ領域に前記第２深層画像内の対応する領域を合成することによって、前記合成深層画像を作成する。
上記のように、第１深層画像内のノイズの位置は、第１表層画像内のスペキュラ光の位置と同一であり、第１表層画像内のスペキュラ光の位置では、第１表層画像の画素値が第２表層画像の画素値よりも顕著に大きくなる。したがって、第１表層画像と第２表層画像の画素値の差分に基づいて、第１深層画像内のノイズ領域を検出することができる。そして、第１深層画像内のノイズ領域に第２深層画像内の対応する領域を合成することによって、ノイズが除外された合成深層画像を作成することができる。

本発明の第２態様は、前記強度分布における前記明部と前記暗部との周期を変更する強度分布変更部を備えている。
表層画像と深層画像との間の分離深さは、被写体上における暗部の幅に依存する。分離深さとは、表層画像に含まれる表層の情報の深さと、深層画像に含まれる深層の情報の深さとの間の大まかな境目である。強度分布変更部によって被写体上での暗部の幅を変更することによって、所望の深さの情報が強調された深層画像が作成されるように分離深さを制御することができる。

また、本発明の第２態様は、前記撮像部と前記被写体との間の撮影距離を計測する撮影距離計測部を備え、前記強度分布変更部が、前記被写体上での前記照明光の強度分布が前記撮像部と前記被写体との間の距離に依らずに一定となるように、前記撮影距離に基づいて前記強度分布における前記明部と前記暗部との周期を変更する。
この構成によって、撮影距離に依らずに、一定の深さの情報を含む深層画像を作成することができる。

本発明の第３態様は、前記照明部が、前記撮像部と前記被写体との間の撮影距離に比例して前記被写体上での前記明部および前記暗部のパターンが拡大されるように、前記照明光を発散光束として射出する。
この構成によって、撮影距離を変更するだけで被写体上での暗部の幅を変更させることができる。

本発明の第４態様は、前記照明光が、互いに異なる波長を有する複数の光からなり、該複数の光は、波長が長い程、前記明部と前記暗部との周期が小さくなる前記強度分布を有している。
被写体内に入射した光は、波長が長い程、深い位置まで到達するので、より長い波長の光の内部散乱光は、より深い層の情報を含む。波長が長い程、明部と暗部との周期を小さくすることによって、波長の違いによる情報の深さの違いを低減することができる。

本発明によれば、照明光の高周波パターンのコントラストが低い状態であっても、スペキュラ光に基づくノイズを含まない深層画像を提供することができるという効果を奏する。

本発明の第１の実施形態に係る内視鏡システムの全体構成図である。照明光の明暗パターンの時間変化の一例を示す図である。分離処理部による表層画像および深層画像の作成方法を説明する図である。図１の内視鏡システムの画像処理部による画像処理を示すフローチャートである。照明光の照射によって生体組織で発生するスペキュラ光、表面散乱光および内部散乱光と、これらの発生位置との関係を説明する図である。合成処理部による合成表層画像および合成深層画像の作成方法を説明する図である。内視鏡の先端面を正面から見たときの、照明部および２つの撮像部の配置の他の例を示す図である。内視鏡の先端面を正面から見たときの、照明部および３つの撮像部の配置の一例を示す図である。本発明の第２の実施形態に係る内視鏡システムの全体構成図である。内視鏡の先端面を正面から見たときの、２つの照明部および撮像部の配置の他の例を示す図である。内視鏡の先端面を正面から見たときの、３つの照明部および撮像部の配置の一例を示す図である。

（第１の実施形態）
本発明の第１の実施形態に係る内視鏡システムについて図面を参照して説明する。
本実施形態に係る内視鏡システム１は、図１に示されるように、体内を観察する内視鏡２と、内視鏡２の基端に接続された本体部３とを備えている。
また、内視鏡システム１は、明暗パターンを有する照明光Ｌを内視鏡２の先端から体内の生体組織（被写体）Ａに向けて射出する照明部４と、照明光Ｌの明暗パターンを時間変化させる強度分布変更部５と、照明光Ｌで照明されている生体組織Ａの照明画像を取得する２つの撮像部６１，６２と、生体組織Ａ内の互いに異なる深さの情報を有する表層画像および深層画像を照明画像から作成する画像処理部７とを備えている。

照明部４は、光軸に垂直な光束断面において空間的に非一様な強度分布を有する照明光Ｌを生成し、照明光Ｌを生体組織Ａに向けて射出する。照明光Ｌは、例えば、白色光、赤外光等の単波長光、赤、緑、青等の単色光、または、波長が異なる複数の光の混合光である。照明光Ｌは、一般に、光束の中心から周縁に向かって明るさが漸次低下する強度の勾配を有する。このような光束断面の全体的な強度勾配とは別に、照明光Ｌは、図２に示されるように、光束断面において、高強度の明部と該明部よりも低強度の暗部とが交互に繰り返される明暗パターンを有する。図２において、白い領域は明部を表し、黒い領域は暗部を表す。

照明部４は、本体部３に設けられた光源４ａ、マスク４ｂおよび集光レンズ４ｃを備えている。また、照明部４は、内視鏡２に設けられたイメージガイドファイバ４ｄおよび投影レンズ４ｅを備えている。
光源４ａは、例えば、ＬＥＤまたはＬＤのような半導体光源である。あるいは、光源４ａは、本体部３の外部の光源装置（図示略）に接続された光ファイバの射出端であってもよい。

マスク４ｂは、光源４ａからの光が入射する入射領域内の各位置の光透過率を電気的に制御することができる液晶素子であり、光を透過させる透光領域と光を遮断する遮光領域とからなり明暗パターンに対応する投影パターンが形成されている。光源４ａから出力された光は、マスク４ｂを透過することで明暗パターンが与えられて照明光Ｌに生成される。生成された照明光Ｌは、内視鏡２の被写体側の先端部において起点サイズを小さくする必要があるため、集光レンズ４ｃによってイメージガイドファイバ４ｄの入射端に集光され、内視鏡２の先端に設けられた投影レンズ４ｅまで明暗パターンを保存しながらイメージガイドファイバ４ｄによって導光され、投影レンズ４ｅから発散光束として射出される。

強度分布変更部５は、マスク４ｂの入射領域内の各位置の光透過率を制御する制御素子である。強度分布変更部５は、図２に示されるように、光束断面において明部と暗部とが入れ替わるように照明光Ｌの強度分布を時間変化させる。これにより、生体組織Ａの表面Ｂ上の照明光Ｌの照射範囲内の各位置には、明部および暗部が順番に投影されるようになっている。

第１撮像部６１および第２撮像部６２は、相互に異なる位置に配置されている。
第１撮像部６１は、内視鏡２の先端に設けられ生体組織Ａからの光を集める撮像レンズ６１ａと、撮像レンズ６１ａによって形成された生体組織Ａの像を撮影する撮像素子６２ｂとを備えている。第１撮像部６１は、照明光Ｌで照明された生体組織Ａの２枚の第１照明画像を撮像素子６１ｂによって取得する。２枚の第１照明画像は、撮像素子６１ｂから画像処理部７に送信される。

第２撮像部６２は、内視鏡２の先端に設けられ生体組織Ａからの光を集める撮像レンズ６２ａと、撮像レンズ６２ａによって形成された生体組織Ａの像を撮影する撮像素子６２ｂとを備えている。第２撮像部６２は、照明光Ｌで照明された生体組織Ａの２枚の第２照明画像を撮像素子６２ｂによって取得する。２枚の第２照明画像は、撮像素子６２ｂから画像処理部７に送信される。

ここで、生体組織Ａに照射される照明光Ｌの強度分布は、図２に示されるように強度分布変更部５によって時間変化する。撮像素子６１ｂは、明部と暗部とが相互に反転した照明光Ｌが生体組織Ａに照射される２つの時刻で撮影を実行することによって、図３に示されるように、２枚の第１照明画像を取得する。２枚の第１照明画像は、明部の投影領域と暗部の投影領域とが相互に反転し、明部の投影領域同士および暗部の投影領域同士が補完し合う画像である。図３の第１照明画像において、白い領域は明部の投影領域を表し、黒い領域は暗部の投影領域を表す。同様に、撮像素子６２ｂは、明部と暗部とが相互に反転した照明光Ｌが生体組織Ａに照射される２つの時刻で撮影を実行することによって、２枚の第２照明画像を取得する。したがって、強度分布変更部５による強度分布の変更のタイミングと撮像素子６１ｂ，６２ｂによる撮影のタイミングとが互いに同期するように、強度分布変更部５および撮像素子６１ｂ，６２ｂの動作は、図示しない制御装置によって制御される。

画像処理部７は、分離処理部７１と、合成処理部７２とを機能として備えている。図４は、画像処理部７による処理を示している。
分離処理部７１は、図３に示されるように、２枚の第１照明画像から第１表層画像および第１深層画像を作成する（ステップＳ１）。２枚の第１照明画像の各位置の画素について、明部が投影されているときの強度値Ｉｍａｘと、暗部が投影されているときの強度値Ｉｍｉｎとが取得される。分離処理部７１は、下式（１）から第１表層画像の各画素の強度値Ｉｓを算出し、強度値Ｉｓを有する表層画像を作成する。また、分離処理部７１は、下式（２）から第１深層画像の各画素の強度値Ｉｄを算出し、強度値Ｉｄを有する深層画像を作成する。
Ｉｓ＝Ｉｍａｘ－Ｉｍｉｎ …（１）
Ｉｄ＝Ｉｍｉｎ×２ …（２）
同様にして、分離処理部７１は、２枚の第２照明画像から第２表層画像および第２深層画像を作成する（ステップＳ２）。

図５に示されるように、散乱体である生体組織Ａに明暗パターンを有する照明光Ｌが照射されたときに、生体組織Ａからは、鏡面反射光（スペキュラ光）Ｌｒ、表面散乱光Ｌｓおよび内部散乱光Ｌｄが発生する。符号α，βは、生体組織Ａ内に存在する血管のような構造を示している。
スペキュラ光Ｌｒは、生体組織Ａの表面Ｂで鏡面反射された照明光Ｌの反射光であり、明部の投影領域において発生する。
表面散乱光Ｌｓは、明部の投影領域から生体組織Ａ内に入射し、散乱を繰り返しながら表層Ｃを通過し、表面Ｂから射出された照明光Ｌの散乱光である。表面散乱光のほとんどは、明部の投影領域から射出される。
内部散乱光Ｌｄは、明部の投影領域から生体組織Ａ内に入射し、散乱を繰り返しながら深層Ｄを通過し、表面Ｂから射出された照明光Ｌの散乱光である。内部散乱光の一部は明部の投影領域から射出され、他の部分は暗部の投影領域まで伝播して暗部の投影領域から射出される。

すなわち、第１および第２照明画像内の暗部の投影領域の強度値Ｉｍｉｎは、主に内部散乱光Ｌｄに基づいており、深層Ｄの情報を主に含む。したがって、強度値Ｉｍｉｎに基づく第１および第２深層画像は、深層Ｄの情報を主に含む画像である。一方、第１および第２照明画像内の明部の投影領域の強度値Ｉｍａｘは、スペキュラ光Ｌｒ、表面散乱光Ｌｓおよび内部散乱光Ｌｄに基づいており、表面Ｂ、表層Ｃおよび深層Ｄの情報を含む。したがって、強度値Ｉｓに基づく第１および第２表層画像は、深層Ｄの情報が除去され表面Ｂおよび表層Ｃの情報を主に含む画像である。

ここで、第１撮像部６１の撮像レンズ６１ａおよび第２撮像部６２の撮像レンズ６２ａは、内視鏡２の先端面上の相互に異なる位置に配置されている。そのため、生体組織Ａの表面Ｂ上のある位置で発生したスペキュラ光Ｌｒは、第１撮像部６１および第２撮像部６２の両方に入射することはない。したがって、第１照明画像内のスペキュラ光Ｌｒの位置と第２照明画像内のスペキュラ光Ｌｒの位置は、相互に異なり、図６に示されるように、第１表層画像内のスペキュラ光Ｌｒの位置と第２表層画像内のスペキュラ光Ｌｒの位置も、相互に異なる。

照明光Ｌの明部と暗部との間のコントラストが低く暗部の強度が十分に低くない場合、暗部の投影領域においてもスペキュラ光Ｌｒが発生することがある。暗部の投影領域で発生したスペキュラ光Ｌｒの情報は深層画像に分離される。したがって、図６に示されるように、深層画像に、スペキュラ光Ｌｒに基づく高輝度のノイズＮが表れることがある。第１深層画像内のノイズＮの位置は、第１表層画像内のスペキュラ光Ｌｒの位置と同一であり、第２深層画像内のノイズＮの位置は、第２表層画像内のスペキュラ光Ｌｒの位置と同一である。

合成処理部７２は、図６に示されるように、第１表層画像と第２表層画像とを合成し合成表層画像を作成する。また、合成処理部７２は、第１深層画像と第２深層画像とを合成し合成深層画像を作成する。

図４に示されるように、まず、合成処理部７２は、第１表層画像と第２表層画像の画素値の差分に基づいて、第１表層画像内のスペキュラ光Ｌｒおよび第１深層画像内のノイズＮを検出する（ステップＳ３，Ｓ４）。表層画像は、深層画像に比べてスペキュラ光Ｌｒの情報を多く含む。したがって、第１および第２表層画像の画素値に基づいて、スペキュラ光Ｌｒを正確に検出することができる。

具体的には、合成処理部７２は、第１表層画像および第２表層画像の対応する画素ｉｊの画素値Ａｉｊ，Ｃｉｊの差分の絶対値｜Ａｉｊ－Ｃｉｊ｜を算出し、絶対値｜Ａｉｊ－Ｃｉｊ｜を所定の閾値Ｔｈと比較する（ステップＳ３）。上述したように、スペキュラ光Ｌｒの位置は第１表層画像と第２表層画像との間で異なる。したがって、スペキュラ光Ｌｒの位置では、第１表層画像の画素値Ａｉｊと第２表層画像の画素値Ｃｉｊとの差分の絶対値｜Ａｉｊ－Ｃｉｊ｜が所定の閾値Ｔｈよりも大きくなる。

絶対値が所定の閾値Ｔｈ以下である場合（ステップＳ３のＮＯ）、合成処理部７２は、その画素ｉｊの位置ではスペキュラ光Ｌｒが発生していないと判断し、第１表層画像の画素値Ａｉｊおよび第１深層画像の画素値Ｂｉｊを合成表層画像の画素値Ｅｉｊおよび合成深層画像の画素値Ｆｉｊとしてそれぞれ選択する（ステップＳ６）。
一方、絶対値｜Ａｉｊ－Ｃｉｊ｜が所定の閾値Ｔｈよりも大きい場合（ステップＳ３のＹＥＳ）、合成処理部７２は、画素値Ａｉｊと画素値Ｃｉｊとを比較することによって、スペキュラ光Ｌｒが第１表層画像および第２表層画像のいずれで発生しているかを判断する（ステップＳ４）。

スペキュラ光Ｌｒが第１表層画像内に発生している場合、画素値Ａｉｊが画素値Ｃｉｊよりも大きくなる。合成処理部７２は、画素値Ａｉｊが画素値Ｃｉｊよりも大きい場合（ステップＳ４のＹＥＳ）、第２表層画像の画素値Ｃｉｊを合成表層画像の画素値Ｅｉｊとして選択し、第２深層画像の画素値Ｄｉｊを合成深層画像の画素値Ｆｉｊとして選択する（ステップＳ５）。
一方、スペキュラ光Ｌｒが第２表層画像内に発生している場合、画素値ＡｉｊがＣｉｊよりも小さくなる。合成処理部７２は、画素値Ａｉｊが画素値Ｃｉｊよりも小さい場合（ステップＳ４のＮＯ）、第１表層画像の画素値Ａｉｊを合成表層画像の画素値Ｅｉｊとして選択し、第１深層画像の画素値Ｂｉｊを合成深層画像の画素値Ｆｉｊとして選択する（ステップＳ６）。

以上のステップＳ４～Ｓ６によって、第１表層画像からスペキュラ光Ｌｒの領域が除去され、第２表層画像から、第１表層画像内のスペキュラ光Ｌｒの領域と対応する領域が選択される。そして、スペキュラ光Ｌｒの領域が除去された第１表層画像に第２表層画像から選択された領域が合成されることによって、合成表層画像が作成される。また、第１深層画像からノイズＮの領域が除去され、第２深層画像から、第１深層画像内のノイズＮの領域と対応する領域が選択される。そして、ノイズＮの領域が除去された第１深層画像に第２深層画像から選択された領域が合成されることによって、合成深層画像が作成される。

このように、本実施形態によれば、共通の照明部４からの照明光Ｌで照明されている生体組織Ａを、相互に異なる位置に配置された２つの撮像部６１，６２によって撮像することで、スペキュラ光Ｌｒの位置が相互に異なる第１照明画像および第２照明画像が取得される。そして、第１および第２照明画像から、スペキュラ光Ｌｒに基づくノイズＮの位置が相互に異なる第１深層画像および第２深層画像が作成される。また、第１および第２照明画像から、第１および第２深層画像内のノイズＮと同一位置にそれぞれスペキュラ光Ｌｒを含む第１および第２表層画像が作成される。

これにより、照明光Ｌの高周波パターンのコントラストが低い場合に第１および第２深層画像内の発生するノイズＮを、第１および第２表層画像の画素値に基づいて正確に検出し、ノイズＮが除去された合成深層画像を第１および第２深層画像から合成することができるという利点がある。

図７Ａは、内視鏡２の先端面における照明部４と撮像部６１，６２の配置の他の例を示している。図７Ａに示されるように、第１撮像部６１および第２撮像部６２は、照明部４の両側に配置されていてもよい。また、第１撮像部６１と照明部４との間の距離と、第２撮像部６２と照明部４との間の距離は、相互に異なっていてもよい。第１撮像部６１および第２撮像部６２の照明部４に対する距離および方向を相互に異ならせることによって、第１表層画像および第２表層画像との間、および、第１深層画像と第２深層画像との間で、スペキュラ光ＬｒおよびノイズＮの位置を確実に異ならせることができる。

本実施形態においては、２つの撮像部６１，６２が設けられていることとしたが、これに代えて、３つ以上の撮像部が設けられていてもよい。図７Ｂは、内視鏡２の先端面における照明部４と３つの撮像部６１，６２，６３の配置の一例を示している。図７Ｂに示されるように、３つの撮像部６１，６２，６３の照明部４に対する距離および方向を相互に異ならせることによって、いずれの位置においてもいずれかの照明画像内でスペキュラ光Ｌｒが発生していないような照明画像を確実に取得することができ、ノイズＮを含まない合成深層画像を確実に作成することができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る内視鏡システムについて図面を参照して説明する。
本実施形態においては、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る内視鏡システム１０は、図８に示されるように、内視鏡２と、本体部３とを備えている。また、内視鏡システム１０は、照明光Ｌ１，Ｌ２を内視鏡２の先端から体内の生体組織（被写体）Ａに向けてそれぞれ射出する２つの照明部４１，４２と、強度分布変更部５１，５２と、照明光Ｌで照明されている生体組織Ａの照明画像を取得する撮像部６と、画像処理部７とを備えている。

第１照明部４１および第２照明部４２は、相互に異なる位置に配置されている。第１照明部４１は、光源４１ａ、マスク４１ｂ、集光レンズ４１ｃ、イメージガイドファイバ４１ｄおよび投影レンズ４１ｅを備えている。第２照明部４２は、光源４２ａ、マスク４２ｂ、集光レンズ４２ｃ、イメージガイドファイバ４２ｄおよび投影レンズ４２ｅを備えている。光源４１ａ，４２ａ、マスク４１ｂ，４２ｂ、集光レンズ４１ｃ，４２ｃ、イメージガイドファイバ４１ｄ，４２ｄおよび投影レンズ４１ｅ，４２ｅは、光源４ａ、マスク４ｂ、集光レンズ４ｃ、イメージガイドファイバ４ｄおよび投影レンズ４ｅとそれぞれ同様に構成されている。第１照明部４１は、第１照明光Ｌ１を生成し、第１照明光Ｌ１を生体組織Ａに照射する。第２照明部４２は、第２照明光Ｌ２を生成し、第２照明光Ｌ２を生体組織Ａに照射する。第１および第２照明光Ｌ１，Ｌ２は、照明光Ｌと同様である。第１照明部４１および第２照明部４２は、時分割で照明光Ｌ１，Ｌ２を生体組織Ａに照射する。

第１強度分布変更部５１は、マスク４１ｂを制御する制御素子であり、第１照明光Ｌ１の明暗パターンを時間変化させる。
第２強度分布変更部５２は、マスク４２ｂを制御する制御素子であり、第２照明光Ｌ２の明暗パターンを時間変化させる。

撮像部６は、撮像レンズ６ａと、撮像素子６ｂとを備えている。撮像レンズ６ａおよび撮像素子６ｂは、撮像レンズ６１ａおよび撮像素子６１ｂとそれぞれ同様に構成されている。撮像部６は、第１照明光Ｌ１で照明された生体組織Ａの２枚の第１照明画像を撮像素子６ｂによって取得し、第２照明光Ｌ２で照明された生体組織Ａの２枚の第２照明画像を撮像素子６ｂによって取得する。２枚の第１照明画像および２枚の第２照明画像は、撮像素子６ｂから画像処理部７に送信される。したがって、照明部４１，４２からの照明光Ｌ１，Ｌ２の射出のタイミングと、強度分布変更部５１，５２による強度分布の変更のタイミングと撮像素子６ｂによる撮影のタイミングとが互いに同期するように、照明部４１，４２、強度分布変更部５１，５２および撮像素子６ｂの動作は制御装置によって制御される。

ここで、第１照明部４１および第２照明部４２は、相互に異なる位置に配置されている。したがって、生体組織Ａの表面Ｂ上の同一位置で発生した第１照明光Ｌ１のスペキュラ光Ｌ１ｒと第２照明光Ｌ２のスペキュラ光Ｌ２ｒが、共通の撮像部６に入射することはない。したがって、第１の実施形態と同様に、第１照明画像内のスペキュラ光Ｌｒの位置と第２照明画像内のスペキュラ光Ｌｒの位置は、相互に異なる。

分離処理部７１は、第１の実施形態と同様にして、２枚の第１照明画像から第１表層画像および第１深層画像を作成し、２枚の第２照明画像から第２表層画像および第２深層画像を作成する。
合成処理部７２は、第１の実施形態と同様にして、第１表層画像および第２表層画像から合成表層画像を作成し、第１深層画像および第２深層画像から合成深層画像を作成する。

このように、本実施形態によれば、相互に異なる位置に配置された２つの照明部４１，４２からの照明光Ｌ１，Ｌ２で照明されている生体組織Ａを共通の撮像部６によって撮像することで、スペキュラ光Ｌｒの位置が相互に異なる第１照明画像および第２照明画が取得される。したがって、第１の実施形態と同様に、照明光Ｌの高周波パターンのコントラストが低い場合に第１および第２深層画像内の発生するノイズＮを、第１および第２表層画像の画素値に基づいて正確に検出し、ノイズＮが除去された合成深層画像を第１および第２深層画像から合成することができるという利点がある。

図９Ａは、内視鏡２の先端面における照明部４１，４２と撮像部６の配置の他の例を示している。図９Ａに示されるように、第１照明部４１および第２照明部４２は、撮像部６の両側に配置されていてもよい。また、第１照明部４１と撮像部６との間の距離と、第２照明部４２と撮像部６との間の距離は、相互に異なっていてもよい。このように、第１照明部４１および第２照明部４２の撮像部６に対する距離および方向を相互に異ならせることによって、第１表層画像および第２表層画像との間、および、第１深層画像と第２深層画像との間で、スペキュラ光ＬｒおよびノイズＮの位置を確実に異ならせることができる。

本実施形態においては、２つの照明部４１，４２が設けられていることとしたが、これに代えて、３つ以上の照明部が設けられていてもよい。図９Ｂは、内視鏡２の先端面における３つの照明部４１，４２，４３と撮像部６の配置の一例を示している。図９Ｂに示されるように、３つの照明部４１，４２，４３の撮像部６に対する距離および方向を相互に異ならせることによって、いずれの位置においてもいずれかの照明画像内でスペキュラ光Ｌｒが発生していないような照明画像を確実に取得することができ、ノイズＮを含まない合成深層画像を確実に作成することができる。

第１および第２の実施形態においては、照明部４，４１，４２が、縞状の強度分布を有する照明光Ｌ，Ｌ１，Ｌ２で生体組織Ａを照明することとしたが、照明光Ｌ，Ｌ１，Ｌ２の強度分布のパターンはこれに限定されず、明部と暗部とが空間的に繰り返される他の分布であってもよい。例えば、照明光Ｌ，Ｌ１，Ｌ２の強度分布は、市松模様、ドット、またはランダムドットであってもよい。

第１および第２の実施形態においては、照明部４，４１，４２が、明暗パターンを有する照明光Ｌ，Ｌ１，Ｌ２を液晶素子４ｂ，４１ｂ，４２ｂによって生成し、強度分布変更部５，５１，５２が、液晶素子４ｂ，４１ｂ，４２ｂを制御することによって明暗パターンを変化させることとしたが、照明部４，４１，４２および強度分布変更部５，５１，５２の構成はこれに限定されるものではない。

例えば、照明部４，４１，４２は、２つのレーザ光の干渉縞を明暗パターンとして利用し、強度分布変更部５，５１，５２は、２つのレーザ光のうち一方の光路長を変化させることによって、干渉縞の位置を照明光の光軸に直交する方向にシフトさせてもよい。
あるいは、照明部４，４１，４２は、明暗パターンに対応する投影パターンが形成されたマスクに光を透過させることによって、影絵のようにして明暗パターンを生体組織Ａの表面Ｂ上に形成してもよい。この場合、強度分布変更部５，５１，５２は、マスクと、該マスクに向かって光を射出する発光部とを、明部および暗部の幅方向に相対移動させることによって、強度分布を時間変化させる。

第１および第２の実施形態においては、強度分布変更部５，５１，５２が、照明光Ｌ，Ｌ１，Ｌ２の強度分布を、明部および暗部が相互に反転した２つの明暗パターンの間で連続的に変化させてもよい。
明暗パターンを連続的に変化させる場合、撮像部６１，６２，６は、明部および暗部の位置が相互に異なる３つ以上の時刻で撮影を実行し、明部の投影領域および暗部の投影領域の位置が相互に異なる３枚以上の照明画像を取得してもよい。分離処理部７１は、３枚以上の照明画像から表層画像および深層画像を作成してもよい。この場合、各位置の画素について３つ以上の強度値が得られるので、最大強度値をＩｍａｘとして、最小強度値をＩｍｉｎとして用いて、強度値Ｉｓ，Ｉｄが算出される。

第１および第２の実施形態においては、生体組織Ａの表面Ｂ上に投影される明暗パターンが生体組織Ａと撮像部６１，６２，６との間の撮影距離に比例して拡大されるように、照明部４，４１，４２が、発散光束の照明光Ｌ，Ｌ１，Ｌ２を生体組織Ａに向けて射出することが好ましい。
図５に示されるように、表層画像と深層画像との分離深さは、生体組織Ａの表面Ｂ上での暗部の幅Ｗｄに依存する。分離深さとは、表層画像に含まれる情報の深さと深層画像に含まれる情報の深さとの大まかな境目である。暗部の幅Ｗｄが大きい程、分離深さが深くなり、より深い位置の情報が強調された深層画像が得られる。したがって、撮影距離を変更して生体組織Ａの表面Ｂ上での明暗パターンを拡大または縮小することで、異なる深さの情報が強調された深層画像を取得することができる。

第１および第２の実施形態においては、生体組織Ａと撮像部６，６１，６２との間の撮影距離を計測する撮影距離計測部をさらに備え、強度分布変更部５，５１，５２が、撮影距離に依らずに生体組織Ａの表面Ｂ上での明部と暗部との空間的な周期が一定に維持されるように、撮影距離に基づいて明暗パターンにおける明部と暗部との空間的な周期を調整してもよい。
このようにすることで、撮影距離に依らずに、所定の深さの情報を含む合成深層画像を作成することができる。
撮影距離計測部としては、生体組織Ａに非接触で撮影距離を計測することができる公知の任意の手段を採用することができる。

第１および第２の実施形態においては、照明部４，４１，４２が、波長が互いに異なる複数の光から構成された照明光Ｌ，Ｌ１，Ｌ２で生体組織Ａを照明してもよい。例えば、照明光Ｌ，Ｌ１，Ｌ２は、赤、緑および青の３つの光が混合された白色光であってもよい。
波長が互いに異なる複数の光を照明光Ｌ，Ｌ１，Ｌ２として使用する場合、波長が長い程、明部と暗部との周期が小さくなるように、波長に応じて各光の強度分布を異ならせてもよい。

一般に、光は、波長が短い程、散乱体によって強く散乱される。したがって、赤い光に比べて青い光は生体組織Ａの深層Ｄまで届き難く、青い光の内部散乱光に含まれる情報は、赤い光の内部散乱光に比べて浅い位置の情報となる。そこで、波長が長い程、明部と暗部との周期を小さくすることで、赤、緑および青の光のいずれの内部散乱光も同一の深さの情報を有するように、各色の内部散乱光に含まれる情報の深さを制御することができる。

１，１０内視鏡システム
２内視鏡
３本体部
４，４１，４２照明部
５，５１，５２強度分布変更部
６，６１，６２撮像部
７画像処理部
７１分離処理部
７２合成処理部
Ｌｒスペキュラ光
Ｎノイズ

Claims

照明光を被写体に照射し、前記照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、照明部と、
前記照明光で照明されている前記被写体の第１照明画像を取得する第１撮像部と、
前記照明光で照明されている前記被写体の第２照明画像を取得し、前記第１撮像部とは異なる位置に配置されている、第２撮像部と、
前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第１表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多く、前記第２深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第２表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多い、分離処理部と、
前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備え、
前記合成処理部が、前記第１深層画像内のスペキュラ光に基づくノイズ領域を前記第１表層画像および前記第２表層画像の画素値の差分に基づいて検出し、前記第１深層画像内の検出されたノイズ領域に前記第２深層画像内の対応する領域を合成することによって、前記合成深層画像を作成する内視鏡システム。
第１照明光を被写体に照射し、前記第１照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第１照明部と、
第２照明光を被写体に照射し、前記第１照明部とは異なる位置に配置され、前記第２照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第２照明部と、
前記第１照明光で照明されている前記被写体の第１照明画像および前記第２照明光で照明されている前記被写体の第２照明画像を取得する撮像部と、
前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第１表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多く、前記第２深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第２表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多い、分離処理部と、
前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備え、
前記合成処理部が、前記第１深層画像内のスペキュラ光に基づくノイズ領域を前記第１表層画像および前記第２表層画像の画素値の差分に基づいて検出し、前記第１深層画像内の検出されたノイズ領域に前記第２深層画像内の対応する領域を合成することによって、前記合成深層画像を作成する内視鏡システム。
前記強度分布における前記明部と前記暗部との周期を変更する強度分布変更部を備える請求項１または請求項２に記載の内視鏡システム。
照明光を被写体に照射し、前記照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、照明部と、
前記照明光で照明されている前記被写体の第１照明画像を取得する第１撮像部と、
前記照明光で照明されている前記被写体の第２照明画像を取得し、前記第１撮像部とは異なる位置に配置されている、第２撮像部と、
前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第１表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多く、前記第２深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第２表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多い、分離処理部と、
前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部と、
前記強度分布における前記明部と前記暗部との周期を変更する強度分布変更部と、
前記第１撮像部および前記第２撮像部と前記被写体との間の撮影距離を計測する撮影距離計測部とを備え、
前記強度分布変更部が、前記被写体上での前記照明光の強度分布が前記第１撮像部および前記第２撮像部と前記被写体との間の距離に依らずに一定となるように、前記撮影距離に基づいて前記強度分布における前記明部と前記暗部との周期を変更する内視鏡システム。
第１照明光を被写体に照射し、前記第１照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第１照明部と、
第２照明光を被写体に照射し、前記第１照明部とは異なる位置に配置され、前記第２照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第２照明部と、
前記第１照明光で照明されている前記被写体の第１照明画像および前記第２照明光で照明されている前記被写体の第２照明画像を取得する撮像部と、
前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第１表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多く、前記第２深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第２表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多い、分離処理部と、
前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部と、
前記強度分布における前記明部と前記暗部との周期を変更する強度分布変更部と、
前記撮像部と前記被写体との間の撮影距離を計測する撮影距離計測部とを備え、
前記強度分布変更部が、前記被写体上での前記第１照明光および前記第２照明光の強度分布が前記撮像部と前記被写体との間の距離に依らずに一定となるように、前記撮影距離に基づいて前記強度分布における前記明部と前記暗部との周期を変更する内視鏡システム。
照明光を被写体に照射し、前記照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、照明部と、
前記照明光で照明されている前記被写体の第１照明画像を取得する第１撮像部と、
前記照明光で照明されている前記被写体の第２照明画像を取得し、前記第１撮像部とは異なる位置に配置されている、第２撮像部と、
前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第１表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多く、前記第２深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第２表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多い、分離処理部と、
前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備え、
前記照明部が、前記第１撮像部および前記第２撮像部と前記被写体との間の撮影距離に比例して前記被写体上での前記明部および前記暗部のパターンが拡大されるように、前記照明光を発散光束として射出する内視鏡システム。
第１照明光を被写体に照射し、前記第１照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第１照明部と、
第２照明光を被写体に照射し、前記第１照明部とは異なる位置に配置され、前記第２照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第２照明部と、
前記第１照明光で照明されている前記被写体の第１照明画像および前記第２照明光で照明されている前記被写体の第２照明画像を取得する撮像部と、
前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第１表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多く、前記第２深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第２表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多い、分離処理部と、
前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備え、
前記第１照明部および前記第２照明部が、前記撮像部と前記被写体との間の撮影距離に比例して前記被写体上での前記明部および前記暗部のパターンが拡大されるように、前記第１照明光および前記第２照明光を発散光束として射出する内視鏡システム。
照明光を被写体に照射し、前記照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、照明部と、
前記照明光で照明されている前記被写体の第１照明画像を取得する第１撮像部と、
前記照明光で照明されている前記被写体の第２照明画像を取得し、前記第１撮像部とは異なる位置に配置されている、第２撮像部と、
前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第１表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多く、前記第２深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第２表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多い、分離処理部と、
前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備え、
前記照明光が、互いに異なる波長を有する複数の光からなり、該複数の光は、波長が長い程、前記明部と前記暗部との周期が小さくなる前記強度分布を有する内視鏡システム。
照明光を被写体に照射し、前記照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、照明部と、
前記照明光で照明されている前記被写体の第１照明画像を取得する第１撮像部と、
前記照明光で照明されている前記被写体の第２照明画像を取得し、前記第１撮像部とは異なる位置に配置されている、第２撮像部と、
前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第１表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多く、前記第２深層画像の有する情報に占める前記被写体の深層領域の情報の比率が前記第２表層画像の有する情報に占める前記被写体の深層領域の情報の比率よりも多い、分離処理部と、
前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備え、
前記照明光が、互いに異なる波長を有する複数の光からなり、該複数の光は、波長が長い程、前記明部と前記暗部との周期が小さくなる前記強度分布を有する内視鏡システム。