JP2012065698A - 手術支援システムおよびそれを用いた手術支援方法 - Google Patents

Abstract

【課題】画面を見ながら処置具を用いて行われる手術を支援する手術支援システムおよびそれを用いた手術支援方法において、補助者を介さずに術者自らが手術支援作業を行うことを可能とする。
【解決手段】被観察部の画像を撮像する撮像部２０と、被観察部の画像を画面に表示する画像表示部４とを備え、上記画像が表示された画面を見ながら処置具６を用いて行われる手術を支援する手術支援システムにおいて、上記画像中に処置具６が含まれる場合に、画像中における処置具６の代表点Ｐの位置を抽出する画像処理部３３と、メニューＮを形成するメニュー形成部３９ａと、メニューＮが表示されている位置の情報と、代表点Ｐの位置の情報とに基づいて、支援項目Ｉを選択する項目選択部３９ｂと、選択された支援項目Ｉに基づいて、この支援項目Ｉに関する手術支援作業を実行する手術支援手段とを備える。
【選択図】図７

Description

本発明は、画面を見ながら処置具を用いて行われる被観察部の手術を支援する手術支援システムおよびそれを用いた手術支援方法に関するものである。

従来、画面を見ながら処置具を用いて、画面に映し出された被観察部に処置を行う手術が利用されている。例えば、このような手術として、特許文献１に示すような内視鏡システムを用いた手術が挙げられる。このような内視鏡システムは、被検部位へ内視鏡を挿入し、光源装置からの照明光を被観察部へ照射し、内視鏡で被観察部の光学像を得て、当該光学像の画像信号に所望の信号処理を施し、モニタの画面上に光学像の画像を映し出すようになっている。そして、術者は、内視鏡に挿入された鉗子等の処置具を用いて、上記画面を見ながら被観察部の処置を行う。

上記のような手術においては、手術を行う術者にとって最適な術野を確保するために、状況に応じて、画面に映し出される被観察部の範囲や位置、および画面の明るさ等を適宜調整する必要がある。しかし通常、術者は、手術を行うための処置具を両手に保持しているため、上記のような画面調整の作業を自ら迅速に行うことができない。或いは、術者が画面調整を目的として直接調整機器等を操作することは、術野、医療機器および手術室等の清浄度を確保する観点から好ましくない。

そこで、一般的には、術者がスコピスト等と呼ばれる補助者に対して指示を与えることにより、当該補助者がその指示に応じて調整機器を操作して上記のような画面調整を行うという方法が採られている。

特開２００２−２６３０５３号公報

しかしながら、上記のような補助者を介した方法では、術者の指示が正確に伝わらず、必ずしも術者が希望する画面調整が行われるとは限らないという問題がある。そこで、術者が希望する画面調整が適切に行われるように、補助者を介さずに術者自らが画面調整を行うことを可能にするシステムが望まれている。

さらに、上記のような問題は、画面調整に限られる話ではなく、例えば照明光の波長の切換えや、可視画像および蛍光画像の合成処理等、一般的に手術を支援するための作業（手術支援作業）について同様に起こりうる。

本発明は上記問題に鑑みてなされたものであり、画面に映し出された被観察部に処置を行う手術を支援するシステムおよび方法において、術者が希望する手術支援作業が適切に行われるように、補助者を介さずに術者自らが、手術支援作業を行う手術支援手段を制御することを可能にする手術支援システムおよびそれを用いた手術支援方法を提供することを目的とするものである。

上記課題を解決するために、本発明に係る手術支援システムは、
被観察部の画像を撮像する撮像部と、被観察部の画像を画面に表示する画像表示部とを備え、上記画像が表示された画面を見ながら処置具を用いて行われる被観察部の手術を支援する手術支援システムにおいて、
上記画像中に処置具が含まれる場合に、画像中における処置具の代表点の位置を抽出する抽出部と、
処置具によって施される手術を支援する手術支援作業に関する１以上の支援項目のメニューを形成するメニュー形成部と、
上記画面のうち画像が表示される画像表示領域上に、画像中の所定部分に重畳してメニューを表示できるように、上記画像およびメニューを合成する画像合成部と、
メニューが表示されている上記所定部分の位置の情報と、代表点の上記位置の情報とに基づいて、支援項目のうちいずれか１つを選択する項目選択部と、
選択された支援項目に基づいて、この支援項目に関する手術支援作業を実行する手術支援手段とを備えたことを特徴とするものである。

本明細書において、「代表点」とは、画像中における処置具の位置（座標）を代表する点を意味する。代表する点の数は、複数でもよいが、処理を簡潔にするために１つであることが好ましい。

「代表点の位置」とは、画像中における代表点の座標を意味する。

「手術支援作業」とは、手術を支援するために行われる作業を意味し、例えば、画像が表示された画面調整（画像の倍率の変更、画像の明るさの変更）等が挙げられる。

「メニューが表示されている所定部分の位置の情報」とは、メニューが画像中のどの位置に表示されているかを示す、例えばメニューの画像中の座標等を意味する。

さらに、本発明に係る手術支援システムにおいて、処置具は、この処置具のうち画像中で認識可能な位置にマーカを有するものであり、抽出部は、処置具の代表点の位置として、マーカの位置を抽出するものであることが好ましい。

さらに、マーカは、発光ダイオードであることが好ましい。

さらに、処置具は、この処置具の持ち手部分に発光ダイオードを点灯せしめるためのスイッチを備え、抽出部は、発光ダイオードが点灯状態にある場合にのみ、発光ダイオードの点灯部分から代表点の位置を抽出するものであることが好ましい。

さらに、処置具は、この処置具の持ち手部分に発光ダイオードを点灯せしめるためのスイッチを備え、項目選択部は、発光ダイオードが点灯状態にあることを条件として、支援項目を選択するものであることが好ましい。

さらに、処置具は、この処置具の持ち手部分に発光ダイオードを点滅せしめるためのスイッチを備え、項目選択部は、発光ダイオードが点滅状態にあることを条件として、支援項目を選択するものであることが好ましい。

さらに、メニュー形成部は、発光ダイオードの点灯状態に連動してメニューを形成するものであることが好ましい。

さらに、撮像部は、上記画像として、照明光を照射することにより生じる被観察部からの反射光を受光して可視画像を撮像するものであり、発光ダイオードは、青色の光を生じせしめるものであることが好ましい。

本明細書において、「青色の光」とは、波長が４５０ｎｍ近傍の範囲に含まれる光を意味する。

或いは、撮像部は、上記画像として、励起光を照射することにより生じる被観察部からの蛍光を受光して蛍光画像を撮像するものであり、発光ダイオードは、蛍光の波長帯域に含まれる光を生じせしめるものであることが好ましい。

本明細書において、「蛍光の波長帯域に含まれる光」とは、波長が９００ｎｍ近傍の範囲に含まれる光を意味する。

さらに、処置具が、この処置具の持ち手部分にメニューの表示の有無を選択するためのスイッチを備えることもできる。

さらに、支援項目は、画像の倍率の変更、画像の明るさの変更、画像の強調、静止画の作成、画像の合成、撮像場所の移動、照明光の波長の切替え、励起光の照明の有無の切替え、画像の表示の切替えおよびレンズの洗浄のうち少なくとも１つの手術支援作業に関するものとすることができる。

さらに、処置具は、鉗子であることが好ましく、本発明に係る手術支援システムは、内視鏡システムに用いることができる。

そして、本発明に係る手術支援方法は、
被観察部の画像を撮像し、被観察部の画像を画面に表示して、上記画像が表示された画面を見ながら処置具を用いて行われる被観察部の手術を支援する手術支援方法において、
上記画像中に処置具が含まれる場合に、画像中における処置具の代表点の位置を抽出し、
処置具によって施される手術を支援する手術支援作業に関する１以上の支援項目のメニューを形成し、
上記画面のうち画像が表示される画像表示領域上に、画像中の所定部分に重畳してメニューを表示できるように、上記画像およびメニューを合成し、
メニューが表示されている上記所定部分の位置の情報と、代表点の上記位置の情報とに基づいて、支援項目のうちいずれか１つを選択し、
選択された支援項目に基づいて、この支援項目に関する手術支援作業を実行することを特徴とするものである。

本発明に係る手術支援システムおよびそれを用いた手術支援方法は、被観察部の画像を撮像する撮像部と、被観察部の画像を画面に表示する画像表示部とを備え、上記画像が表示された画面を見ながら処置具を用いて行われる被観察部の手術を支援する手術支援システムにおいて、上記画像中に処置具が含まれる場合に、画像中における処置具の代表点の位置を抽出する抽出部と、処置具によって施される手術を支援する手術支援作業に関する１以上の支援項目のメニューを形成するメニュー形成部と、上記画面のうち画像が表示される画像表示領域上に、画像中の所定部分に重畳してメニューを表示できるように、上記画像およびメニューを合成する画像合成部と、メニューが表示されている上記所定部分の位置の情報と、代表点の上記位置の情報とに基づいて、支援項目のうちいずれか１つを選択する項目選択部と、選択された支援項目に基づいて、この支援項目に関する手術支援作業を実行する手術支援手段とを備えている。これにより、術者が自ら処置具を用いて、支援項目を選択し、手術支援手段を制御し、手術支援作業を実行せしめることができる。この結果、画面に映し出された被観察部に処置を行う手術を支援するシステムおよび方法において、術者が希望する手術支援作業が適切に行われるように、補助者を介さずに術者自らが、手術支援作業を行う手術支援手段を制御することが可能となる。

本発明の手術支援システムを構成する内視鏡システムの一実施形態を示す概略図である。 図１の内視鏡システムを構成する硬質挿入部の構成を示す概略図である。 図１の内視鏡システムを構成する撮像部の内部構成を示す概略図である。 図１の内視鏡システムの画像処理装置および光源装置の内部構成を示すブロック図である。 本発明の手術支援システムを構成する処置具の一実施形態を示す概略図である。 図５Ａの処置具にマーカが設けられた様子を示す概略図である。 硬質挿入部と処置具とが体腔内に挿入された状態の一例を示す図である。 本発明の手術支援システムにおいてメニューが重畳された通常画像が画像表示部に表示された様子を示す概略図である。 本発明の手術支援システムを構成する処置具の他の実施形態を示す概略図である。 本発明の手術支援システムを構成する処置具の他の実施形態を示す概略図である。 通常画像と蛍光画像が切り替わったときのマーカの見え方を説明する概略図である。 本発明の手術支援システムにおいてメニューが重畳された蛍光画像が画像表示部に表示された様子を示す概略図である。 本発明の手術支援システムにおけるメニューの表示方法の他の実施形態を示す概略図である。

以下、本発明の実施形態について図面を用いて説明するが、本発明はこれに限られるものではない。なお、視認しやすくするため、図面中の各構成要素の縮尺等は実際のものとは適宜異ならせてある。

「手術支援システムおよびそれを用いた手術支援方法の実施形態」
本実施形態の手術支援システムは、鉗子のような処置具、および内視鏡システムから構成される。ここで、本実施形態の内視鏡システムは、被観察部の画像を撮像する撮像部と、被観察部の画像を画面に表示するモニタ（画像表示部）と、上記画像中に処置具が含まれる場合に、画像中における処置具の代表点の位置を抽出する抽出部と、処置具によって施される手術を支援する手術支援作業に関する１以上の支援項目のメニューを形成するメニュー形成部と、上記画面のうち画像が表示される画像表示領域上に、画像中の所定部分に重畳してメニューを表示できるように、上記画像およびメニューを合成する画像合成部と、メニューが表示されている上記所定部分の位置の情報と、代表点の上記位置の情報とに基づいて、支援項目のうちいずれか１つを選択する項目選択部と、選択された支援項目に基づいて、この支援項目に関する手術支援作業を実行する手術支援手段とを備える。

図１は、本実施形態の手術支援システムを構成する内視鏡（硬性鏡）システム１の概略構成を示す外観図である。本実施形態の硬性鏡システム１は、図１に示すように、白色の通常光および励起光を射出する光源装置２と、光源装置２から射出された通常光および励起光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および励起光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像および蛍光画像を表示するモニタ４とを備えている。

硬性鏡撮像装置１０は、図１に示すように、腹腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像部２０とを備えている。

また、硬性鏡撮像装置１０は、図２に示すように、硬質挿入部３０と撮像部２０とが着脱可能に接続されている。そして、硬質挿入部３０は接続部材３０ａ、挿入部材３０ｂ、ケーブル接続口３０ｃ、照射レンズ３０ｄ、および撮像レンズ３０ｅを備えている。

接続部材３０ａは、硬質挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像部２０側に形成された開口２０ａに嵌め合わされることにより、撮像部２０と硬質挿入部３０とが着脱可能に接続される。

挿入部材３０ｂは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略１０ｍｍの円柱形状を有している。挿入部材３０ｂの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像は撮像レンズ３０ｅおよび上記レンズ群を介して一端側３０Ｘの撮像部２０側に射出される。

挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに光ケーブルＬＣが機械的に接続される。これにより、光源装置２と挿入部材３０ｂとが光ケーブルＬＣを介して光学的に接続されることになる。

照射レンズ３０ｄは、硬質挿入部３０の他端側３０Ｙに設けられており、光ケーブルＬＣによって導光された通常光および励起光を被観察部に対し照射するものである。なお、挿入部材３０ｂ内にはケーブル接続口３０ｃから照射レンズ３０ｄまで通常光および励起光を導光するライトガイドが収容されており（図示せず）、照射レンズ３０ｄはライトガイドによって導光された通常光および励起光を被観察部に照射するものである。

図３は、撮像部２０の概略構成を示す図である。撮像部２０は、硬質挿入部３０内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第１の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第２の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられている。

第１の撮像系は、硬質挿入部３０から射出され、ダイクロイックプリズム２１を透過した励起光をカットする励起光カットフィルタ２２と、硬質挿入部３０から射出され、ダイクロイックプリズム２１および励起光カットフィルタ２２を透過した蛍光像Ｌ４を結像する第１結像光学系２３と、第１結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。

第２の撮像系は、硬質挿入部３０から射出され、ダイクロイックプリズム２１を反射した通常像Ｌ３を結像する第２結像光学系２５と、第２結像光学系２５により結像された通常像Ｌ３を撮像する撮像素子２６を備えている。

高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子２４はモノクロの撮像素子である。

撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子２６の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。

また、撮像部２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介して画像処理装置３に出力するものである。

画像処理装置３は、図４に示すように、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ（タイミングジェネレータ）３７、ＣＰＵ３８、メニュー形成部３９ａおよび項目選択部３９ｂを備えている。

通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像部２０の撮像制御ユニット２７から出力された１フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。

画像処理部３３は、メモリ３４から読み出された１フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。上記画像処理には、画像の明るさ調整や、通常画像および蛍光画像の合成処理等の他、通常画像および／または蛍光画像中に処置具が含まれる場合に、画像中における処置具を画像認識する処理も含まれる。つまり、画像処理部３３は、本発明における抽出部としての機能を有する。具体的には、画像処理部３３は、画像中における処置具を画像認識し、画像認識した処置具の代表点の位置（画像中における座標）を抽出し、抽出した位置の情報をバスに出力するものである。画像認識処理は、特に限定されず一般的な方法によって実施することができる。代表点の位置の情報は、バスを介してメモリ３４に格納される。この代表点は、画面上に表示されたメニュー中の支援項目を選択する際にポインタとして利用される。代表点は、操作性の観点から、処置具の先端部に設定することが好ましい。また、画像処理部３３は後述するように、メニュー形成部３９ａによって形成されたメニューを、撮像部２０によって撮像された画像と重畳する合成処理も行う。つまり、画像処理部３３は、本発明における画像合成部としての機能を有する。また、画像処理部３３は、上記メニューが画像中のどの位置に重畳されて表示されるのかという情報も生成し、この情報はバスを介してメモリ３４に格納される。

メニュー形成部３９ａは、手術を支援するために行われる作業（手術支援作業）に関する支援項目を含むメニューを形成するものである。そして、メニュー形成部３９ａによって形成されたメニューは、バスを介して画像処理部３３へ渡される。当該メニューは、画像処理部３３によって撮像部２０によって撮像された画像と重畳されて、モニタ４に表示される。メニューに含まれる支援項目は、予め設定することができ、例えばメモリ３４に格納されている。手術支援作業としては、画像の倍率の変更、画像の明るさの変更、画像の強調、静止画の作成、画像の合成、撮像場所の移動、照明光の波長の切替え、励起光の照明の有無の切替え、画像の表示の切替えおよびレンズの洗浄等が挙げられる。具体的には、「画像の倍率の変更」とは、モニタに表示されている画像を拡大したり縮小したりすることである。「画像の明るさの変更」とは、モニタの輝度を調整することである。「画像の強調」とは、画像処理により画像の鮮鋭度を上げたりノイズを除去したり、さらには画像中の特定領域を色別表示することである。「静止画の作成」とは、動画を撮像している最中に静止画を作成することである。「画像の合成」とは、例えば上記のような通常画像と蛍光画像とを合成することである。「撮像場所の移動」とは、モニタに表示される被観察部の領域が変更されるように、内視鏡の観察方向を変更することである。「照明光の波長の切替え」とは、照明光として例えば白色光と励起光とを切り替えることである。「励起光の照明の有無」とは、例えば白色光と共に励起光を照明する場合と励起光を照明しない場合を切り替えることである。「画像の表示形式の切替え」とは、モニタに表示される画像として、例えば通常画像や蛍光画像等の画像の形式を切り替えたり、これら複数の形式の画像を単独でまたは同時に表示するのかといった表示方法を切り替えたりすることである。「レンズの洗浄」とは、内視鏡に備えられた洗浄機構によって、レンズに付着した付着物を落とすことである。

項目選択部３９ｂは、メニューが表示されている上記所定部分の位置の情報および代表点の上記位置の情報をメモリ３４から受け取り、この情報に基づいて、支援項目のうちいずれか１つを選択する。具体的には、例えば、メニューの支援項目が表示されている画像中の領域に、処置具の代表点が含まれる場合に、当該支援項目を選択する。

本実施形態の手術支援システムを構成する処置具は、例えば図５Ａに示すような鉗子６である。図５Ａに示す鉗子６は、被観察部を挟持したり、所定の処置を施したりする作動部６ａと、作動部６ａが設けられた、細い円柱形状からなる柄部分６ｂと、操作者が作動部６ａの動作を行うための操作部６ｃとを備えている。そして、鉗子６の先端部分の作動部６ａには、図５Ｂに示すように、代表点抽出用のマーカＭが設けられている。マーカＭの色は、特に限定されないが、通常画像上で腹腔内における識別を容易にするため血液の色等を考慮して、生体内における存在量が少ない色相範囲を選択することが好ましく、例えばＬ^＊ａ^＊ｂ^＊（ＣＩＥ）表色系で表した場合、（３４，８０,−１０６）〜（４０,−２０,−１４）の範囲の色相が好ましい。また、マーカＭの色は、特に青色が好ましい。また、マーカＭは、蛍光画像上で腹腔内における識別を容易にするため、７５０ｎｍ以上８００ｎｍ以下の近赤外の励起光の照射によって８００ｎｍ以上８５０ｎｍ以下の蛍光を発する蛍光材料を含ませて形成することもできる。例えばこのような蛍光材料としては、後述するＩＣＧなどの蛍光薬剤や自家蛍光の波長帯域と同じ波長帯域の蛍光を発する材料を用いることが望ましい。なお、マーカのない鉗子を用いることもできる。このような場合には、処置具の代表点を抽出する抽出部は、鉗子６の作動部６ａの全体を画像認識し、その中から代表点を抽出することとなる。

ビデオ出力部３５は、画像処理部３３から出力された通常画像信号および蛍光画像信号、またはメニューが重畳されたこれらの画像がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。

操作部３６は、種々の操作指示や制御パラメータなどの操作者による予め必要な入力等を受け付けるものである。また、ＴＧ３７は、撮像部２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。

また、ＣＰＵ３６は装置全体を制御するものである。そして、本発明においてＣＰＵ３６は、バスを介して項目選択部により選択された支援項目を受信し、当該支援項目に関する手術支援作業を実行するように該当する作業を行う手術支援手段に指示を出す。手術支援手段とは、実際に手術支援作業を実行する構成部分を指す。例えば、手術支援手段は、支援項目が画像の倍率に関するものである場合には撮像部２０であり、支援項目が画像の明るさの変更、照明光の波長の切替えおよび励起光の照明の有無の切替えに関するものである場合には光源装置２であり、例えば内視鏡が軟性鏡であり支援項目が撮像場所の移動に関するものである場合には軟性鏡の挿入部分の駆動機構であり、支援項目が画像の表示形式の切替えに関するものである場合にはビデオ出力部３５である。

光源装置２は、図４に示すように、約４００〜７００ｎｍの広帯域の波長からなる通常光（白色光）Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する励起光Ｌ２を反射し、通常光Ｌ１および励起光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。また、通常光源４０と集光レンズ４２との間には、絞り４１が設けられており、ＡＬＣ（Automatic light control）からの制御信号に基づいてその絞り量が制御される。

また、光源装置２は、蛍光色素であるＩＣＧを励起して蛍光を発生させる７５０〜８００ｎｍの近赤外光を励起光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された励起光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された励起光Ｌ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。

また、本実施形態においては、励起光Ｌ２として、上述したような波長帯域の光を用いるようにしたが、上記波長帯域の光に限定されず、マーカＭを形成する蛍光材料、被検者に投入される蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。

ＬＤドライバ４５は、ＬＤ光源４４から出力される励起光の強度を制御するものである。

次に、本実施形態の手術支援システムの作用について説明する。
まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像部２０に取り付けられた後、光源装置２および撮像部２０および画像処理装置３の電源が投入され、これらが駆動される。

次に、図６に示すように、操作者により硬質挿入部３０および鉗子６が腹腔内に挿入され、鉗子６により被観察部が挟持されるとともに、硬質挿入部３０の先端が被観察部の近傍に設置される。

そして、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。一方、光源装置２のＬＤ光源４４から射出された励起光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に通常光とともに照射される。

そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像が撮像されるとともに、励起光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像が撮像される。なお、被観察部には、予めＩＣＧが投与されており、このＩＣＧから発せられる蛍光を撮像するものとする。

より具体的には、通常像の撮像の際には、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像部２０に向けて射出される。

撮像部２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって所定間隔を空けて順次撮像される。なお、本実施形態においては、通常画像は３０ｆｐｓのフレームレートで撮像されるものとする。

撮像素子２６から順次出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。

一方、蛍光像の撮像の際には、励起光の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像部２０に向けて射出される。

撮像部２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および励起光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって所定間隔を空けて撮像される。なお、本実施形態においては、蛍光画像は５〜１０ｆｐｓのフレームレートで撮像されるものとする。

高感度撮像素子２４から順次出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。

そして、画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の通常画像信号は、画像処理部３３において階調補正処理およびシャープネス補正処理が施された後、さらに、画像中における鉗子６の代表点Ｐの抽出処理およびメニューＮの重畳処理を行う。これらの画像処理が施された後、通常画像信号は、ビデオ出力部３５に順次出力される。

そして、ビデオ出力部３５は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて通常画像を表示する。図７は、上記のような工程を経てメニューが重畳された通常画像が表示された様子を示す概略図である。

一方、画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の蛍光画像信号は、画像処理部３３において所定の画像処理が施された後、さらに、通常画像の場合と同様に、画像中における鉗子６の代表点Ｐの抽出処理およびメニューＮの重畳処理を行う。これらの画像処理が施された後、蛍光画像信号は、ビデオ出力部３５に順次出力される。

そして、ビデオ出力部３５は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて蛍光画像を表示する。

本実施形態においては、通常画像と蛍光画像とは操作者の指示に応じて切り替えて表示されるものとするが、これに限らず、同時に表示してもよい。なお、通常画像および蛍光画像を同時に表示する場合には、メニューは例えば通常画像にのみ重畳すれば充分である。

術者は、図７に示すような画像およびこの画像に重畳されたメニューが表示されたモニタ４を見ながら鉗子６を操作する。そして、術者は、手術支援作業として画面調整を希望する場合には、画面調整に関する支援項目をメニュー中から選択し、モニタ４の画面上で当該支援項目に鉗子６の代表点Ｐを合わせる。例えば、画面を拡大したい場合にはメニュー中の「ズーム＋」という支援項目に代表点Ｐが合わせられ、画面の明るさを上げたい場合にはメニュー中の「明るさ＋」という支援項目に代表点Ｐが合わせられることになる。

項目選択部３９ｂは、上記のようにして、代表点Ｐが合わされたことを、メモリ３４から受け取った、メニューＮが表示されている上記所定部分の位置の情報および代表点Ｐの上記位置の情報に基づいて判断し、支援項目のうち１つを選択する。この選択された支援項目は、バスを介してＣＰＵに出力され、ＣＰＵ３８は当該支援項目に関する手術支援作業を実行するように該当する作業を行う手術支援手段に指示を出す。例えば、上記のように支援項目が「ズーム＋」であれば、ＣＰＵ３８は、撮像部２０に画像を拡大するように指示を出す。

以上のようにして、術者が自ら処置具を用いて、支援項目を選択し、手術支援手段を制御し、手術支援作業を実行せしめることができる。この結果、画面に映し出された被観察部に処置を行う手術を支援するシステムおよび方法において、術者が希望する手術支援作業が適切に行われるように、補助者を介さずに術者自らが、手術支援作業を行う手術支援手段を制御することが可能となる。

（手術支援システムおよびそれを用いた手術支援方法の設計変更）
上記の実施形態では、マーカは塗料或いは蛍光材料によって形成したが、本発明はこれに限定されるものではない。

例えば、図８ａに示すように、マーカを発光ダイオードＤによって形成してもよい。この場合、発光ダイオードＤの発光を検出することにより容易に代表点を抽出することができる。さらに、発光ダイオードＤの点灯状態を利用して、術者のメニュー選択の利便性を向上させることができる。例えば、処置具が、図８ｂに示すように、この処置具の持ち手部分に発光ダイオードＤを点灯せしめるためのスイッチＳＷを備え、画像処理部が、発光ダイオードＤが点灯状態にある場合にのみ、発光ダイオードの点灯部分から代表点の位置を抽出するものと設定した場合には、スイッチＳＷが押されなければ代表点Ｐが抽出されないため、術者は、支援項目の選択の最終判断を上記スイッチＳＷによって下すことができる。これにより、代表点が移動中に意図しない支援項目に触れて、術者の望まない手術支援作業が行われることを防止することができる。一方、処置具が、図８ｂに示すようにこの処置具の持ち手部分に発光ダイオードＤを点灯せしめるためのスイッチＳＷを備え、項目選択部が、発光ダイオードＤが点灯状態にあることを条件として、支援項目を選択するように設定した場合には、スイッチＳＷが押されなければ支援項目が選択されないため、術者は、支援項目の選択の最終判断を上記スイッチＳＷによって下すことができる。したがって、上記と同様の効果が得られる。

さらに、処置具が、図８ｂに示すようにこの処置具の持ち手部分に発光ダイオードＤを点滅せしめるためのスイッチＳＷを備え、項目選択部が、発光ダイオードＤが点滅状態にあることを条件として、支援項目を選択するように設定した場合にも、スイッチＳＷが押されなければ支援項目が選択されないため、術者は、支援項目の選択の最終判断を上記スイッチＳＷによって下すことができる。したがって、上記と同様の効果が得られる。

さらに、メニュー形成部は、発光ダイオードの点灯状態に連動してメニューを形成するものとすることができる。これにより、メニューが必要な場合にのみ、発光ダイオードＤを点灯させると同時にメニューが表示されるため、メニューが不要な場合の術野を広く確保することができる。

また、撮像部が、画像として、照明光を照射することにより生じる被観察部からの反射光を受光して可視画像（例えば、上記実施形態における白色光に基づく画像等）を撮像するものである場合には、発光ダイオードは、生体内における存在量が少ない色相範囲を選択するという観点から、青色の光を生じせしめるものであることが好ましい。青色の光は、波長が４００〜５００ｎｍに含まれる光であることが好ましく、波長が４３０〜４７０ｎｍに含まれる光であることが特に好ましい。これにより、腹腔内の血管や臓器等を発光ダイオードの発光を明確に識別することができる。一方、撮像部が、画像として、励起光を照射することにより生じる被観察部からの蛍光を受光して蛍光画像を撮像するものである場合には、発光ダイオードは、非可視でかつ光の生体透過率が高いこと、撮像素子の感度範囲という観点から、蛍光の波長帯域に含まれる光を生じせしめるものであることが好ましい。蛍光の波長帯域に含まれる光は、波長が８００〜１０００ｎｍに含まれる光であることが好ましく、波長が８５０〜９５０ｎｍに含まれる光であることが特に好ましい。これにより、蛍光画像中においても鉗子６の代表点Ｐを抽出することができる。

また、図９に示すように、鉗子６の作動部６ａに代表点抽出用マーカＭを設けるとともに発光ダイオードＤを設け、発光ダイオードＤの点灯状態や点滅状態を利用して支援項目の選択の最終判断の合図として使用してもよい。

そして、上記実施形態では、通常画像にメニューを重畳させた場合について詳細に述べたが、前述したように本発明は蛍光画像にメニューを重畳させてもよい。図１０ａは、鉗子６に設けられたマーカＭが認識可能な状態の通常画像を示す概略図であり、図１０ｂは、当該通常画像の状態から蛍光画像に画像の表示形式が変更された場合の蛍光画像を示す概略図である。図１０ｂからわかるように、本発明ではマーカＭを蛍光材料によって形成すれば、蛍光画像中においても蛍光発光したマーカＭＧに基づいて代表点を抽出することができる。したがって、図１１に示すように、蛍光画像中にメニューを表示することにより、通常画像の場合と同様に、術者が自ら処置具を用いて、支援項目を選択し、手術支援作業を実行することができる。この結果、画面に映し出された被観察部に処置を行う手術を支援するシステムおよび方法において、術者が希望する手術支援作業が適切に行われるように、補助者を介さずに術者自らが手術支援作業を行うことが可能となる。これは、発光ダイオードが蛍光の波長帯域に含まれる光を生じせしめるものである場合にも同様である。

そして、本発明では、メニューＮの大きさや形状は、前述した図７のようなものに限定されず、例えば、図１２ａに示すような所定の位置に支援項目Ｉが配されたマトリクス状のメニューＮでもよく、また図１２ｂに示すような画面のうち画像が表示される画像表示領域の全体を分割し、それらのすべて或いは一部の領域に支援項目Ｉを関連付けたようなメニューＮでもよい。

また、上記の実施形態では、本発明の手術支援システムを内視鏡システムに適用した場合について説明したが、本発明はこれに限られるものではない。例えば本発明は、遠隔手術ロボットを用いたような手術に対しても、画面を見ながら処置具を用いて被観察部の手術を行うという点で共通するため適用することができる。

１ 硬性鏡システム
２ 光源装置
３ 画像処理装置
４ モニタ
５ ケーブル
６ 鉗子
６ａ 鉗子の作動部
６ｂ 鉗子の柄部分
６ｃ 鉗子の操作部
１０ 硬性鏡撮像装置
２０ 撮像部
２７ 撮像制御ユニット
３０ 硬質挿入部
３０ａ 接続部材
３０ｂ 挿入部材
３１ 通常画像入力コントローラ
３２ 蛍光画像入力コントローラ
３３ 画像処理部
３４ メモリ
３５ ビデオ出力部
３６ 操作部
３９ａ メニュー形成部
３９ｂ 項目選択部
４０ 通常光源
４４ ＬＤ光源
Ｄ 発光ダイオード
Ｉ 支援項目
Ｌ１ 通常光
Ｌ２ 励起光
Ｌ３ 通常像
Ｌ４ 蛍光像
ＬＣ 光ケーブル
Ｍ マーカ
ＭＧ マーカ
Ｎ メニュー
Ｐ 代表点
ＳＷ スイッチ

Claims (14)

1. 被観察部の画像を撮像する撮像部と、前記被観察部の画像を画面に表示する画像表示部とを備え、前記画像が表示された前記画面を見ながら処置具を用いて行われる前記被観察部の手術を支援する手術支援システムにおいて、
   前記画像中に前記処置具が含まれる場合に、前記画像中における前記処置具の代表点の位置を抽出する抽出部と、
   前記処置具によって施される手術を支援する手術支援作業に関する１以上の支援項目のメニューを形成するメニュー形成部と、
   前記画面のうち前記画像が表示される画像表示領域上に、前記画像中の所定部分に重畳して前記メニューを表示できるように、前記画像および前記メニューを合成する画像合成部と、
   前記メニューが表示されている前記所定部分の位置の情報と、前記代表点の前記位置の情報とに基づいて、前記支援項目のうちいずれか１つを選択する項目選択部と、
   選択された前記支援項目に基づいて、該支援項目に関する前記手術支援作業を実行する手術支援手段とを備えたことを特徴とする手術支援システム。
2. 前記処置具が、該処置具のうち前記画像中で認識可能な位置にマーカを有するものであり、
   前記抽出部が、前記処置具の前記代表点の位置として、前記マーカの位置を抽出するものであることを特徴とする請求項１に記載の手術支援システム。
3. 前記マーカが、発光ダイオードであることを特徴とする請求項２に記載の手術支援システム。
4. 前記処置具が、該処置具の持ち手部分に前記発光ダイオードを点灯せしめるためのスイッチを備え、
   前記抽出部が、前記発光ダイオードが点灯状態にある場合にのみ、前記発光ダイオードの点灯部分から前記代表点の前記位置を抽出するものであることを特徴とする請求項３に記載の手術支援システム。
5. 前記処置具が、該処置具の持ち手部分に前記発光ダイオードを点灯せしめるためのスイッチを備え、
   前記項目選択部が、前記発光ダイオードが点灯状態にあることを条件として、前記支援項目を選択するものであることを特徴とする請求項３に記載の手術支援システム。
6. 前記処置具が、該処置具の持ち手部分に前記発光ダイオードを点滅せしめるためのスイッチを備え、
   前記項目選択部が、前記発光ダイオードが点滅状態にあることを条件として、前記支援項目を選択するものであることを特徴とする請求項３または４に記載の手術支援システム。
7. 前記メニュー形成部が、前記発光ダイオードの点灯状態に連動して前記メニューを形成するものであることを特徴とする請求項３から６いずれかに記載の手術支援システム。
8. 前記撮像部が、前記画像として、照明光を照射することにより生じる前記被観察部からの反射光を受光して可視画像を撮像するものであり、
   前記発光ダイオードが、青色の光を生じせしめるものであることを特徴とする請求項３から７いずれかに記載の手術支援システム。
9. 前記撮像部が、前記画像として、励起光を照射することにより生じる前記被観察部からの蛍光を受光して蛍光画像を撮像するものであり、
   前記発光ダイオードが、前記蛍光の波長帯域に含まれる光を生じせしめるものであることを特徴とする請求項３から７いずれかに記載の手術支援システム。
10. 前記処置具が、該処置具の持ち手部分に前記メニューの表示の有無を選択するためのスイッチを備えることを特徴とする請求項１から９いずれかに記載の手術支援システム。
11. 前記支援項目が、画像の倍率の変更、画像の明るさの変更、撮像場所の移動、照明光の波長の切替え、励起光の照明の有無の切替え、画像の表示形式の切替え、レンズの洗浄および画像の合成のうち少なくとも１つの手術支援作業に関するものであることを特徴とする請求項１から１０いずれかに記載の手術支援システム。
12. 前記処置具が、鉗子であることを特徴とする請求項１から１１いずれかに記載の手術支援システム。
13. 内視鏡システムに用いられることを特徴とする請求項１から１２いずれかに記載の手術支援システム。
14. 被観察部の画像を撮像し、前記被観察部の画像を画面に表示して、前記画像が表示された前記画面を見ながら処置具を用いて行われる前記被観察部の手術を支援する手術支援方法において、
    前記画像中に前記処置具が含まれる場合に、前記画像中における前記処置具の代表点の位置を抽出し、
    前記処置具によって施される手術を支援する手術支援作業に関する１以上の支援項目のメニューを形成し、
    前記画面のうち前記画像が表示される画像表示領域上に、前記画像中の所定部分に重畳して前記メニューを表示できるように、前記画像および前記メニューを合成し、
    前記メニューが表示されている前記所定部分の位置の情報と、前記代表点の前記位置の情報とに基づいて、前記支援項目のうちいずれか１つを選択し、
    選択された前記支援項目に基づいて、該支援項目に関する前記手術支援作業を実行することを特徴とする手術支援方法。

Images