JP3816599B2 - 体腔内処置観察システム - Google Patents
体腔内処置観察システム Download PDFInfo
- Publication number
- JP3816599B2 JP3816599B2 JP28702396A JP28702396A JP3816599B2 JP 3816599 B2 JP3816599 B2 JP 3816599B2 JP 28702396 A JP28702396 A JP 28702396A JP 28702396 A JP28702396 A JP 28702396A JP 3816599 B2 JP3816599 B2 JP 3816599B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- orientation
- head
- visual field
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Surgical Instruments (AREA)
- Endoscopes (AREA)
Description
【発明の属する技術分野】
本発明は内視鏡下で処置具により体腔内の処置を行う体腔内処置観察システムに関する。
【0002】
【従来の技術】
近年、開腹・開胸等を伴う外科手術に比べて患者への侵襲が小さい、いわゆる内視鏡下外科手術が行われるようになってきた。特に腹腔鏡下外科手術は広く行われつつある。
【0003】
この内視鏡下外科手術においては、内視鏡により得られる観察視野をTVモニタに映し出し、この画面の術野を見ながら処置具を操作して患部の摘出等の処置が行われる。
【0004】
この内視鏡下外科手術は患者への侵襲が小さいという長所がある反面、観察画面が2次元であり遠近感が得ずらいため、術者が処置操作に熟練を要することや、適切な観察視野を得るために内視鏡を保持している助手が行う内視鏡操作に熟練が必要であること、長時間に渡る手術では助手の負担が大きくなること等の問題があった。
【0005】
これらの問題点を解決するものとして、特開平7−328016公報で示される手術用マニピュレータシステムが提供されている。このシステムは、3次元観察/処置用の手術用マニピュレータと、術者が操作するマニピュレータ操作手段とを備え、術者の動きに応じてマニピュレータを動作させるものである。また、3次元観察マニピュレータで得られた画像は、頭部装着型表示装置(Head Mounted Display、以下HMD)によって立体観察が可能である。
【0006】
【発明が解決しようとする課題】
観察用マニピュレータの操作手段が術者の頭の動きであるため、観察視野を少しだけ変換したい場合にもいちいち頭を動かさなくてはならず、操作が煩雑でかつ術者の負担となっていた。
【0007】
(発明の目的)
本発明は上述した点に鑑みてなされたもので、観察視野の変換をより簡単な操作行うことができ、術者の負担を軽減できる体腔内処置観察システムを提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明の体腔内処置観察システムは、体腔内に挿入され、患者体内の画像を体外に伝送する画像伝送手段と、前記画像伝送手段により得られる画像の視野を変換する視野変換手段とを備えた体腔内観察手段と、前記体腔内観察手段により得られた画像を表示する頭部装着型画像表示手段と、操作者の頭部の位置と方位を検出する位置・方位検出手段と、前記頭部装着型画像表示手段を装着する操作者の当該頭部装着型画像表示手段に対する視線を検知する視線検知手段と、前記位置・方位検出手段からの出力値と所定のしきい値と比較し、この比較結果に基づいて、当該位置・方位検出手段からの出力値が前記所定のしきい値以上の場合は、当該位置・方位検出手段からの出力に基づいて前記視野変換手段を駆動し、当該位置・方位検出手段からの出力値が前記所定のしきい値未満の場合は、前記視線検知手段からの出力に基づいて前記視野変換手段を駆動するよう制御する駆動信号選択手段と、を備えたことを特徴とする。
【0009】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を具体的に説明する。
(第1の実施の形態)
図1ないし図4は本発明の第1の実施の形態に係り、図1は本発明の第1の実施の形態の体腔内処置観察システムを示し、図2は視線検知手段を示し、図3は制御信号選択装置の構成を示し、図4は視野変更の処理を行うフローチャートを示す。
【0010】
図1に示す本発明の第1の実施の形態の体腔内処置観察システム1は旋回・昇降・伸縮の3自由度を有し、内部に駆動用のモータと位置検出用のエンコーダを備えている電動マニピュレータ2を有し、この電動マニピュレータ2は先端のフリー関節で、体内の2次元画像を体外に伝送する硬性の内視鏡3を保持している。
フリー関節は2自由度を有しているため、内視鏡3は5自由度で移動可能であり、この視野変換手段を形成する電動マニピュレータ2を介して内視鏡3を移動等することにより、内視鏡3による画像を変換(変更)可能にしている。
【0011】
この内視鏡3は体内に挿入できるように細長にされた硬性の挿入部4と、その挿入部4の後端には接眼部が設けられている。挿入部4内には図示しないライトガイドが挿通され、このライトガイドは挿入部4の後端付近に設けたライトガイド口金に接続されるライトガイドケーブルを介して図示しない光源装置に接続される。
【0012】
光源装置から供給される照明光はライトガイドケーブルで伝送され、ライトガイドの先端面から出射される。出射された照明光により照明された患部等は挿入部4の先端に配置した対物レンズにより結像され、その光学像は挿入部4内に配置された光学像伝送手段としてのリレー光学系により、接眼部まで伝送される。挿入部4は体内に挿入されるので、リレー光学系は体内の像を体外に伝送する像伝送手段を形成する。
【0013】
そして、接眼部に配置された接眼レンズを介して肉眼により伝送された光学像を観察することができる。モニタ等の画像表示手段に表示する場合には、この接眼部に着脱自在のTVカメラ6が装着される。
【0014】
上記挿入部4はトラカール7を介して手術台8上に固定された患者の腹腔9内に導入される。患者の腹腔9内には、さらに別のトラカール11を介して処置具としての鉗子12が導入され、上記内視鏡による観察下で腹腔内の患部組織等に対する治療の処置を行うことができるようにしている。
【0015】
電動マニピュレータ2は、その手元側に設けられた把持部13と、この把持部13から符号Aで示すように進退自在(つまり上下方向に昇降自在)で、かつ符号Bで示すように回転自在(旋回自在)の第1のアーム14と、例えばL字状に屈曲されたこの第1のアーム14の先端に符号Cで示すように進退自在(つまり水平方向に伸縮自在)に延出される第2のアーム15とを有する。
【0016】
また、把持部13には固定手段16が設けられ、電動マニピュレータ2は、この固定手段16を介して手術台8に取り付けられたベッドサイドレール17(例えば図1の紙面垂直方向に延出されている)の任意の位置に着脱可能に支持される。
【0017】
内視鏡3の接眼部に装着されるTVカメラ6は内部に電荷結合素子(CCDと略記)等の固体撮像素子等からなる撮像手段を有し、撮像手段はケーブルを介してカメラコントロールユニット(以下CCUと略記)18と接続され、CCU18から出力される駆動信号により、固体撮像素子の撮像面に結像された光学像を光電変換して撮像信号を出力信号としてCCU18に出力し、CCU18で信号処理され、映像信号が生成される。
【0018】
このCCU18から出力される映像信号は術者の頭部に着脱自在で装着される頭部装着型の画像表示手段としてのHMD21に入力される。このHMD21は装着者の右眼及び左眼の眼前に配置される液晶ディスプレイ等のHMD表示素子19(図2参照)を備えており、内視鏡3で捉えた体腔9内の患部等の画像を(体外で)表示する。
【0019】
またHMD21には、術者頭部の3次元位置と方位を検出する磁気センサ22と、術者の視線を検出する視線検知センサ23とを備えており、これらの出力を選択使用して、電動マニピュレータ2内のモータを制御して内視鏡3による視野を変換する構成にしている。
【0020】
磁気センサ22は互いに直角に交わる3つのセンサコイルを有し、手術台8に固定されて磁気センサ22と同様に直交する3つのコイルを有する図示しない磁気ソースから発せられる磁界を検出して、磁気ソースを基準位置とした時の磁気センサ22(つまり術者頭部)の位置と方位を求めるものである。
【0021】
また、視線検知センサ23は、図2(A)に示すようにCCDカメラ24で術者の眼球25a、25bを観察し、画像処理により眼球25a、25bの位置と(角膜K内側の)瞳孔の中心位置の相対関係から2点鎖線で示す視線方向を検知するものや、図2(B)に示すように眼球25a、25bに対し発光ダイオード26から赤外光を出射し、眼球25a、25bで反射した光をPSD(ポジションセンシングデバイス)27で検出することにより、視線方向を検知するもので形成される。なお、1点鎖線はHMD表示素子19を正面から見た場合の視線方向を示す。
【0022】
磁気センサ22、視線検知センサ23のいずれも公知の方式であり、詳述を省略する。磁気センサ22、視線検知センサ23と、動作入力のON/OFFを行う動作入力スイッチ28の出力は制御信号を選択する制御信号選択装置29に入力される。この動作入力スイッチ28は、フットスイッチや鉗子12に設けられたハンドスイッチが適する。
【0023】
制御信号選択装置29は、図3に示すように視線位置を演算により算出する視線位置演算回路30と、頭部位置・方位を演算により算出する頭部位置・方位演算回路31と、視線位置演算回路30の出力及び頭部位置・方位演算回路31の出力から変化量(変位量)を検出すると共に、これらを比較してその結果に応じた信号を出力する変位検出・比較回路32と、この変位検出・比較回路32の出力信号によりモータ制御信号を生成するモータ制御信号生成回路33を有し、このモータ制御信号をモータ制御ユニット34に出力する。
【0024】
このモータ制御ユニット34は電動マニピュレータ2に接続され、電動マニピュレータ2の内部のモータを前記制御する。
上記制御信号選択装置29は後述するように、頭部位置・方位演算回路31により算出された頭部位置・方位の値と、視線位置演算回路30により算出された視線位置の値とから変位検出・比較回路32により、頭部位置・方位の変化量を検出し、その値が設定されたしきい値未満か否かを判断し、しきい値未満の場合にはさらに視線位置の変化量を算出して、その変化量をモータ制御信号発生回路33に出力し、その変化量に対応してモータを駆動するモータ制御信号を生成する。
【0025】
一方、頭部位置・方位の変化量がしきい値以上の場合にはその変化量をモータ制御信号発生回路33に出力し、その変化量に対応してモータを駆動するモータ制御信号を生成する。そして、このモータ制御信号によりモータを介して電動マニピュレータ2のアーム14、15等を駆動し、この駆動により視線位置の変化或いは頭部位置・方位の変化に追随するように内視鏡3を移動等して、その移動等により内視鏡3により得られる画像の視野を変更(変換)することを可能にしている。
【0026】
次に本実施の形態の作用を説明する。
術者はHMD21を頭部に装着し、患者体内の画像を観察しながら鉗子12を操作し処置を行う。処置対象部を変更する場合は、内視鏡3を保持している電動マニピュレータ2を動かし、観察視野を変換する。
【0027】
観察視野を変換するためのモータ制御信号は、視線位置演算回路30の出力と頭部位置・方位演算回路31の出力からそれぞれの視野変換のための移動量を検出し、そのどちらかを選択することで得られる。
【0028】
図4はこの選択のフローチャートを示す。動作入力スイッチ28がONされると、以下のように変位検出・比較回路32は、ONされた時点を基準として、視線位置と頭部位置・方位の変化量を求める。
【0029】
まず、動作入力スイッチ28がONされると、変位検出・比較回路32はステップS1に示すように頭部位置・方位の変化量を検出する。この頭部位置・方位の変化量は3次元空間の距離と角度である。
【0030】
変位検出・比較回路32には予め頭部位置・方位の変化量に対してしきい値が設定されており、ステップS2に示すように変位検出・比較回路32は変化量がしきい値未満であるか否かを判断する。
【0031】
そして、頭部位置・方位の変化量がしきい値未満と判断した場合は、次段のステップS3の処理に移り、逆に以上であればステップS4に示すように、以上であったその変化量をモータ制御信号生成回路33に出力して最初のステップS1に戻る。
【0032】
ステップS3では変位検出・比較回路32は視線位置の変化量をモータ制御信号生成回路33に出力して最初のステップS1に戻る。この視線位置の変化量はは観察画面中の画素アドレスである。
【0033】
HMD21に設けられている磁気センサ22の位置・方位は、内視鏡3の先端位置・方位と対応するように座標系が初期設定時等に設定されており、頭部の平行移動/回転に応じて磁気センサ22がそれを検出し、その出力で(しきい値以上の場合)内視鏡3先端も追随して移動等するように電動マニピュレータ2内のモータを制御する。
【0034】
頭部位置・方位の変化量がしきい値未満の場合は、頭部位置・方位の変化がないものとみなし、視線位置演算回路30の出力から動作入力スイッチON時点からの変化量を求め、その変化量をモータ制御信号生成回路33に出力する。この場合には視線を変化させる前の視野内の画像からその変化した視線が画像の中央位置となるように小さな視野変換を行う。
【0035】
なお、頭部の方位(回転)のしきい値に関しては例えばHMD表示素子の中心からその周辺近くの角度にすると、その角度未満では視線位置により小さな画像変換を行い、これを越えるような頭部の方位の変化があると、その変化量に対応して大きな視野の変換が行われる。
【0036】
モータ制御信号生成回路33は入力された信号が頭部位置・方位であるか視線位置であるかを判断し、そのデータに基づいてモータ制御信号を生成し、モータ制御ユニット34に出力し電動マニピュレータ2を駆動する。
【0037】
術者は、処置対象部が観察視野内にない場合、すなわち大きく視野を変換したい場合には、動作入力スイッチ28をONして頭部を動かすことで大きな視野変換を行い、観察画像中に次の処置対象部が存在する場合、すなわち微小に視野を変換したい場合には、術者は頭部を動かさず動作入力スイッチ28をONして視線を移動させ、視野変換を行う。
【0038】
また、視線検知による視野変換において、視線変化量の基準位置を画像中央に設定しておき、動作入力スイッチ28がONの時点で視線位置によって変化量を求めるようにすれば、処置対象部に視線を合わせて動作入力スイッチ28をONするだけの簡単な操作で、処置対象部が画面中央に来るように視野変換を行うことができる。
【0039】
さらに内視鏡3として、その内部に2本のリレー光学系を備えている2リレー方式や、1本のリレー光学系で伝送された画像を接眼部で視差のある2つの画像に分割する瞳分割方式等の3次元画像を伝送可能な立体視内視鏡を採用して、HMD21に備えられている2つのHMD表示素子19にそれぞれ右眼用・左眼用の画像を表示することにより、術者は体腔内画像を立体観察しながら処置が行える。
【0040】
従って、視野変換のための入力として、術者の頭部の位置・方位と視線位置を検出し、頭部の位置・方位の変化量がしきい値未満の場合は検知した視線位置に基づいて視野変換を行うことによって、微小な視野変換を簡単な操作で実現可能である。
【0041】
本実施の形態によれば、観察視野の変換を術者頭部の位置と術者の視線位置のどちらかを選択して視野変換を行うようにしているので、視野変換の操作が簡素化できかつ所望の観察視野に設定でき、さらに術者への負担を軽減することができる。
【0042】
つまり、小さな視野変換を行う場合には視線を視野変更を行おうとする方向に向ける操作を行うことにより、視線の検知手段の出力によりその方向に観察視野を変換でき、大きな視野変更を行う場合には頭部を移動させることにより頭部位置・方位検知手段の出力により、その移動方向に大きく観察視野を変換することができる。
【0043】
なお、制御信号選択回路29からのモータ制御信号でモータ制御ユニット34を介してモータを制御する自動視野変換モードの他に、把持部13等に旋回・昇降・伸縮等の指示を行うスイッチ群を設けて、選択的なスイッチ操作によりその信号をモータ制御ユニット34を介してモータを駆動することができるようにしても良い。
【0044】
(第2の実施の形態)
次に本発明の第2の実施の形態を図5及び図6を参照して説明する。図5は本発明の第2の実施の形態の体腔内処置観察システムを示し、図6(A)はズーム機能を有するTVカメラの概略の構造を示し、図6(B)はズーム機能により得られる視野変換可能な画像を示す。
【0045】
図5に示す本実施の形態の体腔内処置観察システム41は図1の電動マニピュレータ2の代わりに、リンク機構42を有する内視鏡保持アーム43を用いて内視鏡3を任意の位置で固定的に保持している。
【0046】
この内視鏡保持アーム43は、その手元側の把持部44に設けられた固定手段45を介して手術台8に取り付けられたベッドサイドレール17の任意の位置に着脱可能に支持される。この内視鏡保持アーム43は、把持部44に対して回転自在の第1のアーム46と、このアーム46の先端に回転自在の枢支部を介して接続されたリンク機構42とを有し、このリンク機構42を形成する2本のアームの先端に内視鏡3が保持されている。
【0047】
内視鏡3の接眼部47(図6(A)参照)には視野変換機構を有するTVカメラ48が着脱可能に取り付けられている。図6(A)に示すようにTVカメラ48の内部には、内視鏡3の光軸方向に進退可能であるズームレンズ49、結像レンズ50、撮像平面上を移動可能であるCCD51、ズームレンズ49及びCCD51をそれぞれ駆動する図示しないモータが備えられている。
【0048】
本実施の形態では通常は、ズーム光学系(ズームレンズ49及び結像レンズ50より構成される)によって、内視鏡3の観察光学系(対物光学系、リレー光学系及び接眼光学系)による光学像をCCD51の撮像面よりも大きく投影し、従ってHMD21の表示手段にはその一部(CCD51の撮像面部分)の画像が表示されるようにしている。
【0049】
モータ制御ユニット34の出力はTVカメラ48に入力される。本実施の形態では、動作入力スイッチ28にはズームイン/アウトスイッチが更に設けられ、ズーム制御信号は制御信号選択装置29を経てモータ制御ユニット34に入力される。その他の構成は第1の実施の形態と同一であり、同一の構成要素には同じ符号を付け、その説明を省略する。
【0050】
本実施の形態では内視鏡3を保持する保持手段には内視鏡3を移動などさせる電気的な駆動手段を有しない構造で、マニュアルで操作する内視鏡保持アーム43を用い、かつTVカメラ48内にはCCD51の撮像面よりも大きく投影するズーム光学系で結像することにより、視野変換が必要な場合にはCCD51の位置を移動することによって必要とされる視野変換を行うようにしてコンパクトな構成で実現している。
【0051】
次に本実施の形態の作用を説明する。
TVカメラ48による視野変換について説明する。内視鏡3で捉えられた患者体内の画像はズームレンズ49によってCCD51のサイズよりも大きく投影される。
【0052】
例えば図6(A)の体腔内の広い範囲R1に対応する画像R1′をCCD51の撮像面を含む面に投影し、CCD51は、この拡大投影された画像R1′の1部分である範囲R2の画像R2′を撮像する。この画像R1′及びR2′を図6(B)に示す。
【0053】
CCD51を図6(A)の矢印で示すように撮像平面上で移動させることにより、図6(B)に示すように実際に撮像する画像R2′の部分を変えることができる。即ち、内視鏡3を固定した状態で観察視野の変換を行うことができる。
【0054】
動作入力スイッチ28がONされると、頭部位置・方位あるいは視線位置の変化量をモータ制御信号に変換したモータ制御信号が制御信号選択装置29より出力され、その信号を受けたモータ制御ユニット34は、TVカメラ48内のCCD51を駆動するモータを駆動制御する信号を出力し、視野変換を行う。
【0055】
磁気センサ22で検出される頭部の方位については、CCD51の駆動機構に対応するものがないため、頭部位置・方位演算回路31にて方位のデータを位置のデータに変換して、変位検出・比較回路32に出力する。
また、動作入力スイッチ28に設けられているズームイン/アウトスイッチをONすることにより、モータ制御ユニット34はズームレンズ49を駆動するモータを駆動制御する信号を出力し、ズームイン/アウトを行う。
【0056】
観察画像中に処置対象中に処置対象部がない場合は、内視鏡保持アーム43を手で動かし、所望の位置で固定する。その他の作用は第1の実施の形態と同一である。
【0057】
本実施の形態によれば、視野変換がTVカメラ48内のCCD51を移動させることで可能であるため、セットアップが簡単で、システム構成がよりコンパクトにできる効果がある。
また、ズームイン/ズームアウトにより、診断対象部位を拡大観察したり、異常部位等を探し易いように広域的に観察する等の状態に簡単に設定できる。
【0058】
また、第1の実施の形態と同様に、処置対象部が観察視野内にない場合、すなわち大きく視野を変換したい場合には、動作入力スイッチ28をONして頭部を動かすことで大きな視野変換を行うことができ、観察画像中に次の処置対象部が存在する場合、すなわち微小に視野を変換したい場合には、術者は頭部を動かさず動作入力スイッチ28をONして視線を移動させることにより、視野変換を行うことができる。
【0059】
(第3の実施の形態)
次に本発明の第3の実施の形態を図7及び図8を参照して説明する。図7は第3の実施の形態の体腔内処置観察システムを示し、図8は視野変換の画像メモリを用いた視野変換の説明図を示す。
【0060】
図7に示す第3の実施の形態の体腔内処置観察システム61は、図5の体腔内処置観察システム41において、CCU18の出力信号と制御信号選択装置29の出力信号を画像読み出し制御装置62に入力し、この画像読み出し制御装置62の出力信号をHMD21に入力する構成にしている。また、硬性の内視鏡3の接眼部には例えば高解像度の(画素数が多い)CCDを内蔵したTVカメラ63が装着されている。
【0061】
そして、TVカメラ63の出力信号はCCU18に入力され、信号処理を受け、映像信号(画像信号)が生成される。
【0062】
信号処理されたCCU10の出力信号は、画像メモリ等を備えた画像読み出し制御装置31に入力され、画像読み出し制御装置31からの出力信号はHMD21に入力され、画像を表示する。
【0063】
制御信号選択装置29に備えられていたモータ制御信号生成回路33(図3参照)は画像読み出し位置を制御する画像読み出し位置制御回路に置き換えられ、その出力信号は画像読み出し制御装置61に入力され、この出力信号により画像の読み出し位置を制御する。その他の構成は第2の実施の形態と同一である。
【0064】
次に本実施の形態の作用を説明する。
画像読み出し制御装置62による視野変換について説明する。TVカメラ63内に備えられた高解像CCDで撮像された画像は、画像読み出し制御装置62に備えられた画像メモリの格納領域64(図8参照)に格納される。
【0065】
図8に示すようにこの画像メモリの格納領域64は読み出し領域65よりも広く設定され、この画像メモリの格納領域64から画像の読み出し位置66を変化させることによって格納された画像の一部分のみが読み出されるように設定しておく。この読み出される画像の読み出し位置を変化させることにより、視野変換を行うことができる。
【0066】
即ち、動作入力スイッチ28がONされると、頭部位置・方位あるいは視線位置の変化量を画像読み出し位置の制御信号に変換した読み出し位置制御信号が、制御信号選択装置29より出力される。
【0067】
その信号を受けた画像読み出し位置制御装置31は備えられている画像メモリから読み出される画像の読み出し位置を入力された信号に応じて変化させ、HMD21に読み出された画像を表示することにより視野変換を行う。
高解像のCCDを用いることで、領域全体の1部分を切り出して拡大表示することによる解像度の劣化を抑えることができる。
【0068】
また、撮像素子としてCCDに代えて高解像度のCMD(Charge Modulation Device)を用いることもできる。図9に示すように、CMD71は光電変換を行う画素(代表として1画素部分を符号Gで示している)がそれぞれがトランジスタで構成されており、水平走査回路72および垂直走査回路73により選択された画素から光電変換により発生した電荷量に応じた信号を電流として読み出すことができる。
【0069】
この水平走査回路72および垂直走査回路73を、制御信号選択装置29から出力される読み出し位置制御信号によって制御することで、画像の読み出し位置を頭部位置・方位あるいは視線位置の変化量に応じて移動させ、視野変換を行う。
【0070】
CCDを用いた場合では、検出した電荷量は順次転送されるため、撮像した画像の任意の領域を読み出すのに画像メモリが必要となるが、CMD71は上述の如く素子自体に画像読み出し位置制御機能が備わっているため、画像メモリ無しで視野変換機能を実現できる。
【0071】
さらにCCD或いはCMD71を用いた場合ともに、動作入力スイッチ28に設けられているズームイン/アウトスイッチをONすることにより、設定されている読み出し画像領域の大きさを変化させ、電子的なズーム機能を達成できる。その他の作用は第2の実施の形態と同一である。
【0072】
本実施の形態によれば、電子的に視野変換を行うため視野変換をメカニカルに駆動する機構部が不要となり、組立性・耐久性の向上を図ることができる。
その他、第2の実施の形態と同様の効果を有する。
【0073】
次に本発明の参考例について図10を参照して説明する。図10は本発明の参考例である体腔内処置観察システムを示す。本参考例は裸眼で立体視が可能な画像表示手段を用いて、術者が移動等した場合にも、その移動等を検出して、画像表示手段の移動等を制御して(助手が立体視できるように画像表示手段の移動等の調整を行う作業を必要とすることなく)立体視できる状態を維持するものである。
【0074】
図10に示すように本参考例の体腔内処置観察システム81では、硬性の内視鏡82は、リンク機構42を有する内視鏡保持アーム43によって任意の位置で固定的に保持され、トラカール7を介して手術台8上に固定された患者の腹腔9内に導入される。
【0075】
患者の腹腔9内には、さらにトラカール11を介して組織の処置を行う鉗子12が導入されている。内視鏡保持アーム43は、その手元側の把持部44に設けられた固定手段45を介して手術台8に取り付けられたベッドサイドレール17の任意の位置に着脱可能に支持される。
【0076】
内視鏡82は、その内部に2本のリレー光学系を備える2リレー式や、1本のリレーレンズで伝送された画像を接眼部で視差のある2つの画像に分割する瞳分割方式等の3次元画像を伝送可能な立体内視鏡である。
【0077】
その接眼部には伝送されたそれぞれの画像を撮像する撮像素子を有するTVカメラ83が着脱可能に取り付けられており、その出力は第1のCCU18a及び第2のCCU18bに入力され、信号処理を受けた後にレンチキュラ方式の立体表示用ディスプレイ84に入力され、内視鏡82で捉えた患者体内の画像を立体画像として表示する。
【0078】
立体表示用ディスプレイ84は、その内部に駆動用のモータと位置検出用のエンコーダを備えている天吊り型の電動アーム85によって保持されている。この電動アーム85は、基部側で旋回・昇降・伸縮の3自由度、立体表示用ディスプレイ84を保持している先端部で上下・左右の首振り(パン・ティルト)の2自由度、合計5自由度を有する。
【0079】
術者の頭部には、3次元位置と方位を検出する磁気センサ86が取り付けられるようになってている。この磁気センサ86は第1の実施の形態の磁気センサ22と同様のものであり、図示しない磁気ソースは電動アーム85に対して既知の位置に固定されている。
【0080】
アーム制御ユニット87は、磁気センサ86の出力信号と電動アーム85内部のエンコーダ出力信号とを入力し、電動アーム85を駆動するための信号を出力する。
【0081】
次に本参考例の作用を説明する。
磁気センサ86は、図示しない磁気ソースを基準としたときのセンサ位置・方位、すなわち術者頭部の3次元位置・方位を検出する。また、電動アーム85内部のエンコーダ信号から、電動アーム85の基準位置に対する先端部位置・方位すなわち立体表示用ディスプレイ84の位置・方位が算出可能である。
【0082】
さらに、磁気ソースと電動アーム85の位置関係が既知であることから、アーム制御ユニット87は入力される磁気センサ86の信号と電動アーム85内部のエンコーダ信号とによって、検出した術者頭部に対する立体表示用ディスプレイ84の位置・方位を求め、この位置関係があらかじめ設定された範囲を越えた場合には、両者の位置関係が範囲内に収まるように電動アーム85を駆動する信号を出力する。
【0083】
ここで設定されている範囲は、立体表示用ディスプレイ84に表示されている画像を立体画像として観察可能である範囲である。術中に術者が移動した場合は、その移動に応じて立体表示用ディスプレイ84が立体観察が可能となるような位置・方位に移動し、術者が立体観察を行える位置関係を保持する。
【0084】
なお術者頭部の位置・方位検出は、2台のTVカメラによって得られた立体画像から画像処理によって検出するものでもよい。
【0085】
本参考例によれば、術中に術者が移動した場合でも、その移動に応じて立体表示用ディスプレイ84が移動し立体観察可能な位置関係を維持するため、いちいち人手によるディスプレイ位置の調節なしで、術中常に裸眼による患者体内の立体画像観察が可能である。
【0086】
なお、立体表示用ディスプレイとしてはレンチキュラ方式の代わりに、パララックスバリア方式のものを採用しても良い。
なお、上述した実施の形態等を部分的等で組み合わせて形成される実施の形態等も本発明に属する。
【0087】
[付記]
1.体腔内に挿入され、患者体内の画像を体外に伝送する画像伝送手段と、画像伝送手段により得られる画像の視野を変換する視野変換手段とを備えた体腔内観察手段と、
体腔内観察手段により得られた画像を表示する頭部装着型画像表示手段と、
操作者の頭部の位置と方位を検出する位置・方位検出手段と、
頭部装着型画像表示手段を装着する操作者の表示手段に対する視線を検知する視線検知手段と、
位置・方位検出手段と視線検知手段の出力から、視野変換手段を駆動する信号を選択する駆動信号選択手段と、
を備えた体腔内処置観察システム。
【0088】
(付記1〜5の課題)
観察用マニピュレータの操作手段が術者の頭の動きであるため、観察視野を少しだけ変換したい場合にもいちいち頭を動かさなくてはならず、操作が煩雑でかつ術者の負担となっていた。
【0089】
(付記1〜5の目的)
観察視野の変換をより簡単な操作行うことができ、術者の負担を軽減できる体腔内処置観察システムを提供すること。この目的を達成するために付記1〜5の構成にすることによって、観察視野の変換を術者頭部の位置と術者の視線位置のどちらかを選択して行うことができる。
【0090】
2.位置・方位検出手段は頭部装着型画像表示手段に取り付けられた磁気式3次元位置・方位センサであり、視線検知手段は頭部装着型画像表示手段に備えられたCCDカメラもしくはPSDであり、駆動信号選択手段は検出した3次元位置・方位センサ位置と視線位置のどちらかを出力するか判定する判定回路と、判定回路の出力から視野変換手段の制御信号を生成する制御信号生成回路とを有する付記1記載の体腔内処置観察システム。
【0091】
3.画像伝送手段は内視鏡であり、視野変換手段は内視鏡を保持する電動マニピュレータである付記2記載の体腔内処置観察システム。
【0092】
4.画像伝送手段は内視鏡であり、視野変換手段は内視鏡の接眼部に着脱可能に取り付けられ、内視鏡により伝送された画像の任意の1部を撮像するため撮像平面内を移動可能なCCDが備えられたTVカメラである付記2記載の体腔内処置観察システム。
【0093】
5.画像伝送手段は内視鏡であり、視野変換手段は内視鏡により伝送され撮像された画像の任意の1部が読み出し可能である画像読み出し制御手段である付記2記載の体腔内処置観察システム。
【0094】
6.体腔内に挿入され、立体画像を得る体腔内観察手段と、
体腔内観察手段により得られた立体画像を表示し、裸眼での立体視が可能である立体画像表示手段と、
操作者の頭部の位置と方位を検出する位置・方位検出手段と、
立体画像表示手段を保持する電動マニピュレータと、
位置・方位検出手段の出力に基づいて、電動マニピュレータを駆動するマニピュレータ駆動手段と、
を備えた体腔内処置観察システム。
【0095】
(付記6〜8の課題)
HMDは常に眼前に画像が表示されるため、従来の内視鏡下手術のように術者がTVモニタを見るために無理な姿勢をとらずにすむ反面、術者に拘束感を与える・周囲が見づらいといった問題点があるため、裸眼で立体視が可能な画像表示装置が望ましい。
【0096】
動画を表示できる裸眼立体視の可能な表示装置としては、図11に示すパララックスバリア方式、図12に示すレンチキュラ方式のものがある。
パララックスバリア方式では、立体画像表示面91に交互に表示された右眼用画像92R,左眼用画像92Lを、その表示面91と適当な間隙dで配置された細いスリット状の開口部及び遮光部を有するスリットバリア93によって、右眼94R及び左眼94Lから見た場合に分離して立体視を行えるようにしたものである。
【0097】
一方、レンチキュラ方式では図12(A)及び図12(B)に示すように半円筒型の形状をしたレンチキュラスクリーン96を用いる。図12(A)は、レンチキュラスクリーン96の斜視図、図12(B)は立体視する作用の説明図を示す。
【0098】
このレンチキュラスクリーン96方式では厚みがtでピッチがpの半円筒型のレンズの焦点面に左眼用画像97Lと右眼用画像97Rをストライプ状に配置したレンチキュラスクリーン96を用いて、図12(B)に示すようにレンズの指向性によって右眼98R及び左眼98Lから見た場合に左右画像を分離できるようにして立体観察可能にしている。
【0099】
いずれの方式も、立体視が可能である観察位置範囲が決まっており、立体視が可能である状態から術者が動くと立体視ができなくなってしまい、助手がその都度表示装置の位置を調節するという作業が発生する。
【0100】
(付記6〜8の目的)
術者が移動した場合でも、立体画像表示装置の位置を人手によって調節せずに裸眼立体視が可能である体腔内処置観察システムを提供すること。この目的を達成するために、付記6〜8の構成にすることによって術者の位置の移動に対応して立体画像表示手段を保持している電動マニピュレータを駆動し、術者が移動しても立体視を行うことができる。
【0101】
7.立体画像表示手段は、パララックスバリア方式もしくはレンチキュラ方式の立体ディスプレイである付記6記載の体腔内処置観察システム。
【0102】
8.体腔内観察手段は2リレー方式もしくは瞳分割方式の立体視内視鏡であり、位置・方位検出手段は磁気式3次元位置・方位センサである付記7記載の体腔内処置観察システム。
【0103】
【発明の効果】
以上説明したように本発明によれば、観察視野の変換を術者頭部の位置と術者の視線位置のどちらかを選択してその出力で視野変換を行うので、視野変換の操作が簡素化できかつ所望の観察視野に設定でき、しかも術者への負担を軽減することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の体腔内処置観察システムの構成を示す図。
【図2】視線検知手段の構成例を示す図。
【図3】制御信号選択装置の構成を示すブロック図。
【図4】視野変換の処理を行うフローチャートを示す図。
【図5】本発明の第2の実施の形態の体腔内処置観察システムの構成を示す図。
【図6】ズーム機能を有するTVカメラの概略の構造等を示す図。
【図7】本発明の第3の実施の形態の体腔内処置観察システムの構成を示す図。
【図8】第3の実施の形態における視野変換の作用の説明図。
【図9】第3の実施の形態の変形例に使用される固体撮像素子の構成を示す図。
【図10】本発明の参考例である体腔内処置観察システムの構成を示す図。
【図11】裸眼により立体視が可能なパララックスバリア方式の表示装置を示す図。
【図12】裸眼により立体視が可能なレンチキュラ方式の表示装置を示す図。
【符号の説明】
1…体腔内処置観察システム
2…電動マニピュレータ
3…内視鏡
4…挿入部
6…TVカメラ
7,11…トラカール
8…手術台
9…腹腔
12…鉗子
13…把持部
14,15…アーム
16…固定手段
17…ベッドサイドレール
18…CCU
19…HMD表示素子
21…HMD
22…磁気センサ
23…視線検知センサ
24…CCDカメラ
25a,25b…眼球
27…PSD
28…動作入力スイッチ
29…制御信号選択装置
30…視線位置演算回路
31…頭部位置・方位演算回路
32…変位検出・比較回路
33…モータ制御信号生成回路
34…モータ制御ユニット
Claims (2)
- 体腔内に挿入され、患者体内の画像を体外に伝送する画像伝送手段と、前記画像伝送手段により得られる画像の視野を変換する視野変換手段とを備えた体腔内観察手段と、
前記体腔内観察手段により得られた画像を表示する頭部装着型画像表示手段と、
操作者の頭部の位置と方位を検出する位置・方位検出手段と、
前記頭部装着型画像表示手段を装着する操作者の当該頭部装着型画像表示手段に対する視線を検知する視線検知手段と、
前記位置・方位検出手段からの出力値と所定のしきい値と比較し、この比較結果に基づいて、当該位置・方位検出手段からの出力値が前記所定のしきい値以上の場合は、当該位置・方位検出手段からの出力に基づいて前記視野変換手段を駆動し、当該位置・方位検出手段からの出力値が前記所定のしきい値未満の場合は、前記視線検知手段からの出力に基づいて前記視野変換手段を駆動するよう制御する駆動信号選択手段と、
を備えたことを特徴とする体腔内処置観察システム。 - 前記所定のしきい値は、前記位置・方位検出手段によって検出される操作者の頭部の3次元空間における距離および角度の変化量に係る所定の値であることを特徴とする請求項1に記載の体腔内処置観察システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28702396A JP3816599B2 (ja) | 1996-10-29 | 1996-10-29 | 体腔内処置観察システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28702396A JP3816599B2 (ja) | 1996-10-29 | 1996-10-29 | 体腔内処置観察システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10127565A JPH10127565A (ja) | 1998-05-19 |
JP3816599B2 true JP3816599B2 (ja) | 2006-08-30 |
Family
ID=17712049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28702396A Expired - Fee Related JP3816599B2 (ja) | 1996-10-29 | 1996-10-29 | 体腔内処置観察システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3816599B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11016579B2 (en) | 2006-12-28 | 2021-05-25 | D3D Technologies, Inc. | Method and apparatus for 3D viewing of images on a head display unit |
US11228753B1 (en) | 2006-12-28 | 2022-01-18 | Robert Edwin Douglas | Method and apparatus for performing stereoscopic zooming on a head display unit |
US11275242B1 (en) | 2006-12-28 | 2022-03-15 | Tipping Point Medical Images, Llc | Method and apparatus for performing stereoscopic rotation of a volume on a head display unit |
US11315307B1 (en) | 2006-12-28 | 2022-04-26 | Tipping Point Medical Images, Llc | Method and apparatus for performing rotating viewpoints using a head display unit |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004298458A (ja) * | 2003-03-31 | 2004-10-28 | Olympus Corp | 立体観察システム |
JP5704833B2 (ja) | 2010-05-10 | 2015-04-22 | オリンパス株式会社 | 操作入力装置およびマニピュレータシステム |
JP2015192697A (ja) | 2014-03-31 | 2015-11-05 | ソニー株式会社 | 制御装置および制御方法、並びに撮影制御システム |
JP6765787B2 (ja) * | 2015-05-28 | 2020-10-07 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムにおける内視鏡画像とカメラ画像との切替制御方法 |
EP3335661A4 (en) * | 2015-10-09 | 2019-05-22 | Sony Corporation | SURGICAL APPARATUS, METHOD FOR SURGICAL CONTROL AND PROGRAM |
JP2017070636A (ja) * | 2015-10-09 | 2017-04-13 | ソニー株式会社 | 手術システム、並びに、手術用制御装置および手術用制御方法 |
JP6646880B2 (ja) * | 2018-07-03 | 2020-02-14 | ソニー株式会社 | 医療用観察システム、医療用観察方法、および医療用制御装置 |
CN112971944A (zh) * | 2019-12-12 | 2021-06-18 | 广州迪克医疗器械有限公司 | 带电子保护机构的直视人流刮宫装置及系统 |
CN111759461A (zh) * | 2020-07-30 | 2020-10-13 | 上海交通大学医学院附属第九人民医院 | 一种基于眼动仪的眼眶内镜导航手术操作系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3540362B2 (ja) * | 1994-06-14 | 2004-07-07 | オリンパス株式会社 | 手術用マニピュレータの制御システム及びその制御方法 |
JP3482228B2 (ja) * | 1993-11-02 | 2003-12-22 | オリンパス株式会社 | 視線検出によるマニピュレータ制御システム |
-
1996
- 1996-10-29 JP JP28702396A patent/JP3816599B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11016579B2 (en) | 2006-12-28 | 2021-05-25 | D3D Technologies, Inc. | Method and apparatus for 3D viewing of images on a head display unit |
US11036311B2 (en) | 2006-12-28 | 2021-06-15 | D3D Technologies, Inc. | Method and apparatus for 3D viewing of images on a head display unit |
US11228753B1 (en) | 2006-12-28 | 2022-01-18 | Robert Edwin Douglas | Method and apparatus for performing stereoscopic zooming on a head display unit |
US11275242B1 (en) | 2006-12-28 | 2022-03-15 | Tipping Point Medical Images, Llc | Method and apparatus for performing stereoscopic rotation of a volume on a head display unit |
US11315307B1 (en) | 2006-12-28 | 2022-04-26 | Tipping Point Medical Images, Llc | Method and apparatus for performing rotating viewpoints using a head display unit |
US11520415B2 (en) | 2006-12-28 | 2022-12-06 | D3D Technologies, Inc. | Interactive 3D cursor for use in medical imaging |
Also Published As
Publication number | Publication date |
---|---|
JPH10127565A (ja) | 1998-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7671888B2 (en) | Stereoscopic-endoscope display control apparatus and stereoscopic endoscope system | |
US9307894B2 (en) | Endoscope comprising a system with multiple cameras for use in minimal-invasive surgery | |
EP2903551B1 (en) | Digital system for surgical video capturing and display | |
US6414708B1 (en) | Video system for three dimensional imaging and photogrammetry | |
US7601119B2 (en) | Remote manipulator with eyeballs | |
JP3032214B2 (ja) | 手術用顕微鏡 | |
US20140179997A1 (en) | System with Decoupled Multiple Cameras for Use in Minimal-Invasive Surgery | |
JP3540375B2 (ja) | 内視鏡を先に接続した観察及び/又は映像化装置並びにそれを動作させる方法 | |
JP4398352B2 (ja) | 医療用立体撮像装置 | |
JP4098535B2 (ja) | 医療用立体表示装置 | |
JP7444065B2 (ja) | 医療用観察システム、医療用観察装置及び医療用観察方法 | |
JP3816599B2 (ja) | 体腔内処置観察システム | |
US20140187857A1 (en) | Apparatus and Methods for Enhanced Visualization and Control in Minimally Invasive Surgery | |
US11678791B2 (en) | Imaging system and observation method | |
JP2005334462A (ja) | 立体視内視鏡システム | |
JP4383188B2 (ja) | 立体観察システム | |
JP5946777B2 (ja) | 立体撮像装置 | |
WO2018235608A1 (ja) | 手術システムおよび手術用撮像装置 | |
JPWO2018142993A1 (ja) | 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置 | |
JPH06261860A (ja) | 内視鏡の映像表示装置 | |
KR101339667B1 (ko) | 의료 수술용 현미경의 3차원 고화질 영상 인터페이스 시스템 | |
JPH09248276A (ja) | 視野方向可変硬性鏡装置 | |
US20040165258A1 (en) | Stereoscopic microscope, and an observation mechanism for use in a stereoscopic microscope | |
JP4246510B2 (ja) | 立体内視鏡システム | |
WO2020054193A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060608 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090616 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110616 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |