JP6535701B2

JP6535701B2 - 撮像装置

Info

Publication number: JP6535701B2
Application number: JP2017107597A
Authority: JP
Inventors: 菅野　哲生; 哲生菅野; 大河北口
Original assignee: Mitsubishi Electric Engineering Co Ltd
Current assignee: Mitsubishi Electric Engineering Co Ltd
Priority date: 2017-05-31
Filing date: 2017-05-31
Publication date: 2019-06-26
Anticipated expiration: 2037-05-31
Also published as: JP2018201648A

Description

本発明は、医療用の撮像装置に関するもので、特に、患部の撮像とともに血流などの観測を行う撮像装置に関するものである。

従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、その通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。

また、上記のような内視鏡システムとしては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光画像を撮像して自家蛍光画像を得、モニタ画面上に表示する蛍光画像撮像システムが広く実用化されている。

たとえば、蛍光造影剤であるインドシアニングリーン（ＩＣＧ）の投与による血管血流や病変組織での蛍光観察は以前より行われており、７５０〜７９０ｍｍの励起光照射に対して８３０〜８４０ｍｍの蛍光が得られることが一般で知られている。波長帯的には近赤外のため、ここで得られる画像はモノクロであり、得られる輝度変化画像により観察者が目視で血管内血流の確認を行うものである。これは、内視鏡だけでなく手術用顕微鏡にも応用されている。

そこで、特許文献１に記載の蛍光観察装置では、観察者が観察しやすいように、通常画像と蛍光画像とを適宜切り替えて、モニタ画面上に表示することが提案されている。

特許第３５６０６７１号公報

しかしながら、現行の医療用撮像装置では、可視光画像および蛍光画像にて撮像画像を表示するのみで、得られる輝度変化画像により観察者が目視で血管内血流の確認する必要がある。

また、定量的な観測の例として、記録済み画像に対しソフトウエアによる後処理を行うことで、部分的な血流変化の観測が可能な例が存在するが、あくまで撮像後の画像処理が前提であったり、逐次検出位置の設定が必要であったりなど、必ずしも使い勝手のよいものではなかった。

本発明は、上記の問題に鑑みてなされたもので、所望の観測を撮像と同時に行うことができる撮像装置を提供する。

本発明に係る撮像装置は、医療用の撮像装置であって、近赤外を含む波長帯域の光を発光して被写体へ照射する照明手段と、前記照明手段を使用し、近赤外を含む波長帯域の被写体からの光像を高速に撮像する高速撮像手段と、前記高速撮像手段により撮像された画像に基づいて被写体の画像の撮像とともに被写体内に流れる流体の観測のための信号処理を行う画像処理手段とを備え、前記画像処理手段は、前記高速撮像手段にて撮像された画像より輝度を検出する輝度検出手段と、前記輝度検出手段にて検出された輝度の単位時間当たりの移動量を検出する移動量検出手段とを備える。

本発明によれば、照明に近赤外光を使用することで、無侵襲にて生体の中を観察可能となる。

また、本発明によれば、高速撮像手段を用いることで、流速の早い血流の観測を行うことができる。

本発明によれば、撮像しながら輝度変化を検出することで、画像表示と同時に観測を行うことが可能である。

本発明の実施の形態１に係る撮像装置の概略構成を示すブロック図である。図１に示されるカメラヘッドブロック１２の内部構成を示すブロック図である。図２に示されるノッチフィルター２８の特性図である。図１に示される近赤外画像処理部１４の内部構成を示すブロック図ある。図１に示される近赤外画像処理部１４の画像処理例を示す図である。図１に示される近赤外画像処理部１４による観測用画像処理フローチャートである。本発明の実施の形態２に係る撮像装置を説明するもので、図１に示されるカメラヘッドブロック１２の内部構成を示すブロック図である。本発明の実施の形態２に係る撮像装置を説明するもので、図１に示される近赤外画像処理部１４の画像処理例を示す図である。

実施の形態１．

以下、本発明の実施の形態１に係る撮像装置について、硬性鏡システムに適用した例として図を用いて説明する。図１は本発明の実施の形態１に係る撮像装置の概略構成を示すブロック図、図２は図１に示されるカメラヘッドブロック１２の内部構成を示すブロック図、図３は図２に示されるノッチフィルター２８の特性図、図４は図１に示される近赤外画像処理部１４の内部構成を示すブロック図、図５は画像処理例、図６は画像処理のフローチャートをそれぞれ示す。

本発明の実施の形態１に係る撮像装置は、図１に示すように、レーザー光源による可視発光部２と近赤外発光部４などにて照明手段が構成されており、可視発光部２と近赤外発光部４からの可視光と近赤外光とが照明混合部５で混合されたのち、デリバリーファイバー６にて硬性鏡７へ注入され、照明出射部８より被写体へ照射される。

このとき、近赤外光は、血流観察のための造影剤であるインドシアニングリーン（indocyanine green；以下ＩＣＧと称す）の励起波長中心約７８５ｍｍで発光するもので、蛍光発光効率がよい。可視光は青と緑と赤の３原色を発光させることで可視照明を構成する。

被写体からの光像は、可視の反射光とともにＩＣＧからの蛍光像が硬性鏡７の対物レンズ１０及びアダプターレンズ１１を通してカメラヘッドブロック１２へ送られる。カメラヘッドブロック１２は、照明手段を使用し、近赤外を含む波長帯域の被写体からの光像を高速に撮像する高速撮像手段を構成するもので、図２にその概略構成が示されており、ＩＣＧの励起光はノッチフィルター２８でカットされたうえで、ビームスプリッター２１で波長分光され、通常の可視光像Ｌ３は結像光学系２５を介して可視センサー２６へ、近赤外光像Ｌ４は特殊光カットフィルタ２２を透過し結像光学系２３を介して近赤外センサー２４へ、それぞれ送られて光電変換が実行される。

ここで、ノッチフィルター２８は、図３にその特性３０と３１を示す。励起光をカットする必要があり、蛍光観察時のコントラスト確保のため、可視の帯域や蛍光帯域が若干抑制される。

カメラヘッドブロック１２の可視センサー２６及び近赤外センサー２４により光電変換されて出力される画像信号は、撮像制御ユニット２７を介してＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施され、後段の画像処理部としての可視画像処理部１３及び近赤外画像処理部１４へ送られ、撮像画像表示とともに血流観測のための信号処理が行われる。

なお、図１において、１５は撮像画像とともに血流観測のための信号処理結果を表示する画像表示部、１６は可視画像処理部１３及び近赤外画像処理部１４を制御するとともに、可視発光部２及び近赤外発光部４を制御する可視発光制御部１及び近赤外光制御部３に制御指示を与える制御部である。

次に、血流観測のための信号処理について、図４に示す近赤外画像処理部１４の内部構成、図５に示す近赤外画像処理部１４の画像処理例、図６に示す近赤外画像処理部１４による観測用画像処理フローチャートを参照して説明する。

体内の血流速度は、頸動脈などの大動脈では毎秒６０ｃｍを超えるため、従来の３０フレームカメラシステムでは、画角によってはフレームアウトしてしまうため、リアルタイムでの血流観測には不向きであった。そこで、本発明では、近赤外センサー２４として、３０フレームより高速に撮影が可能なセンサーを採用することで、撮像とともに同時観測を可能とした。

まず、通常の可視画像表示のため、可視画像処理部１３は、画像出力フォームに合せた処理を行う。これと同時に、近赤外蛍光画像表示のため、近赤外画像処理部１４は、図４のように、ｎフレーム目で輝度値検出部３５にてある値以上の輝度情報ｆｎを検出する。ｆｎ：Ａ１（Ｘ１，Ｙ１）

つまり、ＩＣＧ投与時に血管内を高速で移動する蛍光輝度のピーク量を検出し（図６のステップＳ５０）、その量（Ａ）と位置（Ｘ，Ｙ）を一旦記憶部３７に記憶する。このときのピーク量とは、ある規定値を超える高輝度な範囲であり、血管の断面積に相当する値と定義しておく。

そして、単位時間で画像比較を行う（図６のステップＳ５１）。つまり、ｎフレームの次のｎ＋１フレーム目での輝度情報ｆ（ｎ＋１）を抽出し、比較部３６にてｎフレーム目での輝度情報ｆｎとの比較を行い、差分を検出することで単位時間での移動量を検出する（図６のステップＳ５２）。
ｆ（ｎ＋１）：Ａ２（Ｘ２，Ｙ２）

この検出を、近赤外画像処理部１４の画像処理例を示す図５のように、単位時間ｎｓ毎に繰り返すことで、計測データとして制御部１５内部に纏めて記憶される。なお、図５において、４０−４４は、単位時間ｎｓ毎のフレームｎ、ｎ＋１〜ｎ＋４を示し、４５−４９は各フレームでのピーク量を示す。

差分の検出を繰り返すことで、流速、流量、方向性の検出を行う（図６のステップＳ５３）。たとえば、毎秒２００フレームの撮像系で画角が約Φ５０ｍｍの条件で、フレーム間の位置（ＹＸ）の差分が１ｍｍ、量が面積２ｍｍ^２であれば、血流速は２０ｃｍ／秒、血流量は、４００ｍｍ^３／秒ということが分かる。これら演算は、演算部３８で行われ、制御部１６で制御される。

このように、実施の形態１に係る撮像装置では、図２に示す構成において、ノッチフィルター２８など励起光抑制策が必要ながら、ＩＣＧなど血液造影剤にて比較的容易に得られる蛍光画像を利用し、その輝度のピーク量や位置を単位時間で差分を検出し演算することで、撮像と同時に血液など生体内の血流計測を行うことが可能となる。

上述した説明では、計測のための演算に、毎秒２００フレームの繰り返し周期を使用したが、血流計測が可能な範囲であれば、いずれの値でもよく、演算の効率を考慮して固定でなく可変としてもよい。また、硬性鏡への応用例を示したが、これに限らず、もちろん手術用顕微鏡に応用してもよいのは勿論である。

また、照明にレーザー光源を利用することでエネルギー効率がアップするが、ＬＥＤであっても勿論実現可能な内容である。採取画像から血流観測を行う場合、上記に加え動きベクトルを利用することでもよく、また、動き検知機能を追加し計測に応用してもよい、また、術野中血管一本のだけでなく複数本同時観測可能である。蛍光造影剤はＩＣＧに限らず、計測可能な波長であればいずれでもよく、どちらかといえば、体に低侵襲な近赤外が好ましい。

また、撮像手段に使用される撮像センサーの画素数は、血流計測が可能であれば基本的に何れでも良いが、ヘモグロビンなどの微小な被写体を撮像するために、やはり１９２０×１０８０ハイビジョンもしくはこれを超える高精細な画素数が望ましい。このとき高精細センサーは、しばしば撮像感度が課題となる場合があるが、たとえば必要に応じて画素加算を行うなど、可能な範囲で解像度を犠牲にして、必要感度を確保する手法をとっても良いのは言うまでもない。

実施の形態２．

次に、本発明の実施の形態２に係る撮像装置について、硬性鏡システムに適用した例として図を用いて説明する。本発明の実施の形態２に係る撮像装置においては、実施の形態１と同様に、図１に示す撮像装置の概略構成、図４に示す近赤外画像処理部１４の内部構成、図６に示す画像処理のフローチャートを用いる。しかし、図１に示されるカメラヘッドブロック１２の内部構成としては、図７に示すブロック図を用いると共に、近赤外画像処理部１４の画像処理例としては、図８を用いる。なお、図７において、図２とは異なり、ノッチフィルター２８を用いてない。

本発明の実施の形態２に係る撮像装置は、図１に示すように、レーザー光源による可視発光部２と近赤外発光部４などにて照明手段が構成されており、可視発光部２と近赤外発光部４からの可視光と近赤外光とが照明混合部５で混合されたのち、デリバリーファイバー６にて硬性鏡７へ注入され、照明出射部より被写体へ照射される。

このとき、近赤外光は、生体へ低侵襲な波長帯域８００〜９００ｍｍを利用する。可視光は青と緑と赤の３原色を発光させることで可視照明を構成する。

被写体からの光像は、可視と近赤外の反射光像が硬性鏡７の対物レンズ１０及びアダプターレンズ１１を通してカメラヘッドブロック１２へ送られる。カメラヘッドブロック１２は、照明手段を使用し、近赤外を含む波長帯域の被写体からの光像を高速に撮像する高速撮像手段を構成するもので、図２にその概略構成が示されており、ＩＣＧの励起光はノッチフィルター２８でカットされたうえで、ビームスプリッター２１で波長分光され、通常の可視光像Ｌ３は結像光学系２５を介して可視センサー２６へ、近赤外光像Ｌ４は特殊光カットフィルタ２２を透過し結像光学系２３を介して近赤外センサー２４へ、それぞれ送られて光電変換が実行される。

カメラヘッドブロック１２による光電変換後、実施の形態１と同様に、光電変換された画像信号は、さらに後段の画像処理部としての可視画像処理部１３及び近赤外処理部１４へ送られ、撮像画像表示とともに血流観測のための信号処理が行われる。

次に、血流観測のための信号処理について、図４に示す近赤外画像処理部１４の内部構成、図８に示す近赤外画像処理部１４の画像処理例、図６に示す近赤外画像処理部１４による観測用画像処理フローチャートを参照して説明する。

体内の血流速度は、頸動脈などの大動脈では毎秒６０ｃｍを超えるため、従来の３０フレームカメラシステムでは、画角によってはフレームアウトしてしまうため、リアルタイムでの血流観測には不向きであった。そこで、本発明では、近赤外センサー２４として、３０フレームより高速に撮影が可能なセンサーを採用することで、撮像とともに同時観測が可能とした。

まず、通常の可視画像表示のため、可視画像処理部１３は、画像出力フォームに合せた処理を行う。これと同時に、近赤外蛍光画像表示のため、近赤外画像処理部１４は、図４のように、ｎフレーム目で輝度値検出部３５にてある値以上の輝度情報ｆｎを検出する。

そのとき、近赤外センサー２４として、高精細且つ高速な撮像センサーを使用することで、血管内のヘモグロビンもしくは赤血球の流れを直接観測する。ただし、ヘモグロビンもしくは赤血球を１個づつ観測するのではなく、図８の単位時間ｎＳ毎のフレーム６３−６５のテクスチャー６０〜６２のように、複数のヘモグロビンをひとつのテクスチャー（模様）として扱う。

つまり、ＩＣＧ投与時に血管内を高速で移動する蛍光輝度のテクスチャーを検出し、その量（Ａ）と位置（Ｘ、Ｙ）を一旦記憶部３７に記憶する。このときのテクスチャー値とは、ある規定値を超える高輝度な範囲であり、血管の断面積に相当する値と定義しておく。
ｆｎ：Ａ１（Ｘ１，Ｙ１）

たとえば、ｎフレームの次のｎ＋１フレーム目での輝度情報ｆ（ｎ＋１）を抽出し、比較部３６にて比較を行い、単位時間での移動量を検出する。
ｆ（ｎ＋１）：Ａ２（Ｘ２、Ｙ２）

この検出を、図８のように、単位時間ｎＳ毎のフレーム６３−６５について繰り返すことで、計測データとして制御部１５内部に纏めて記憶される。

たとえば、毎秒２００フレームの撮像系で画角が約Φ５０ｍｍの条件で、フレーム間の位置（ＹＸ）の差分が１ｍｍ、量が面積２ｍｍ^２であれば、血流速は２０ｃｍ／秒、血流量は、４００ｍｍ^３／秒ということが分かる。これら演算は、演算部３８で行われ、制御部１５で制御される。

このように、実施の形態２に係る撮像装置によれば、高精細なカメラにて直接ヘモグロビンや赤血球の流れを検出することで、ＩＣＧなどの血液造影剤を利用しなくとも、量相当の値と位置情報を単位時間で差分を検出し演算することで、撮像と同時に血液など生体内の血流計測を行うことが可能となる。

上述した説明では、計測のための演算に、２００フレームの繰り返し周期を使用したが、血流計測が可能な範囲であれば、いずれの値でもよく、演算の効率を考慮して固定でなく可変としてもよい。また、硬性鏡への応用例を示したが、これに限らず、もちろん手術用顕微鏡に応用してもよいのは勿論である。

また、照明にレーザー光源を利用することでエネルギー効率がアップするが、ＬＥＤであってももちろん実現可能な内容である。さらに、ヘモグロビンもしくは赤血球は、テクスチャーでとらえなくとも、もちろん個々に直接その量がわかれば、そのままでも問題はなく、むしろ正確かと思われる。ヘモグロビンや赤血球を直接観察するには、さらに高感度のカメラを用いる、もしくは、さらなる高精細のカメラを利用してもよい。

以上のように、本発明によれば、照明に近赤外光を使用することで、無侵襲にて生体の中を観察可能となる。

また、本発明によれば、撮像しながら輝度変化を検出することで、画像表示と同時に観測を行うことが可能である。

さらに、本発明によれば、照明にレーザー照明を使用することで、被写体に対して効率良く光を伝送・照射することができる。

１可視発光制御部
２可視発光部
３近赤外発光制御部
４近赤外発光部
５照明混合部
６デリバリーファイバー
７硬性鏡
８照明出射部
９照明照射範囲例
１０対物レンズ
１１アダプターレンズ
１２カメラヘッドブロック
１３可視画像処理部
１４近赤外画像処理部
１５画像表示部
１６制御部
２８ノッチフィルター
３５比較部

Claims

医療用の撮像装置であって、
可視光帯域の光と、近赤外の波長帯域の光との複数種類の光を発光して被写体へ同時に照射する照明手段と、
前記照明手段を使用し、近赤外を含む波長帯域の被写体からの光像を波長分光するビームスプリッターと、
前記ビームスプリッターによる波長分光後の光像を毎秒３０フレームより高速に撮像することで、前記可視光帯域と前記近赤外の波長帯域とを含む画像情報を同時に取得する高速撮像手段と、
前記高速撮像手段により撮像された前記画像情報に基づいて被写体内に流れる流体の観測のための信号処理を行う画像処理手段と
を備え、
前記画像処理手段は
前記高速撮像手段にて撮像された前記画像情報の輝度を検出する輝度検出手段と、
前記輝度検出手段にて検出された特定の輝度レベルの位置につきその単位時間当たりの移動量を検出する移動量検出手段とを有し、
前記画像処理手段は、前記画像情報における複数の輝度レベルを一つのテクスチャーとして扱うことで移動量を検出する
撮像装置。
前記照明手段は、
可視光帯域の光を発光する第一照明手段と、
蛍光造影剤のための近赤外励起光を発光する第二照明手段と
を備え、
前記高速撮像手段は、前記第一照明手段と前記第二照明手段を使用し、近赤外蛍光を含む波長帯域の光像を高速に撮像し、
前記画像処理手段は、蛍光造影剤が使用されていることで得られた蛍光画像情報を利用し、被写体内に流れる流体の観測のための信号処理を行う
ことを特徴とする請求項１に記載の撮像装置。
前記照明手段は、レーザー光源を使用する
ことを特徴とする請求項１または２に記載の撮像装置。
前記照明手段は、前記近赤外の波長帯域の光として、生体へ低侵襲な波長帯域を使用し、
前記画像処理手段は、蛍光造影剤の使用の有無に関係なく、被写体内に流れる流体の観測のための信号処理を行う
ことを特徴とする請求項１に記載の撮像装置。
前記照明手段は、
可視光帯域の光を発光する第一照明手段と、
近赤外光を発光する第二照明手段と
を備え、
前記第二照明手段は、前記近赤外光として、生体へ低侵襲な波長帯域を使用し、
前記高速撮像手段は、前記第一照明手段と前記第二照明手段を使用し、近赤外を含む波長帯域の光像を高速に撮像し、
前記画像処理手段は、蛍光造影剤の使用の有無に関係なく、被写体内に流れる流体の観測のための信号処理を行う
ことを特徴とする請求項１に記載の撮像装置。
前記照明手段は、レーザー光源を使用する
ことを特徴とする請求項４または５に記載の撮像装置。
前記高速撮像手段は、画素数が１９２０×１０８０もしくはこれを超える高精細な画素数の撮像素子を用いる
ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。