WO2011142165A1 - 操作入力装置およびマニピュレータシステム - Google Patents

Abstract

　簡易な構成で操作部の可動範囲が制限されてしまうのを防止する。ディスプレイ（５）と、該ディスプレイ（５）上に表示された表示物（２）を操作する操作部（７）と、操作者（Ｂ）の頭部（Ｃ）に装着される頭部装着部（６）と、該頭部装着部（６）または操作部（７）の一方に対する他方の相対位置および相対姿勢を検出する相対位置センサ（９，１２）と、該相対位置センサ（９，１２）により検出された相対位置および相対姿勢の変化に基づいてディスプレイ（５）内に表示されている表示物（２）を作動させる制御部（８）とを備える操作入力装置（１）を提供する。

Description

操作入力装置およびマニピュレータシステム

　本発明は、操作入力装置およびマニピュレータシステムに関するものである。

　従来、ディスプレイおよび操作部の位置検出を行うセンサを天井に設けた仮想体験型ゲーム装置が知られている（例えば、特許文献１参照。）。

特開２０００－１２６４６２号公報

　しかしながら、天井に設けた空間センサによりディスプレイや操作部の位置および姿勢検出を行う方法では、天井とディスプレイや操作部との間に障害物のない専用の部屋では適用できるが、照明装置や計器等の設備が存在して障害物となる手術室では適用することが困難であり、可動範囲が制限されてしまうという不都合がある。従来技術の方法では、それぞれの座標系を有するディスプレイや操作部の位置や姿勢情報を、天井に固定された空間センサによって取得することによりディスプレイと操作部それぞれの空間センサ座標系における位置・姿勢情報から、ディスプレイと操作部の相対位置関係を取得するので、座標変換の演算が複雑で時間がかかるという不都合がある。

　本発明は、上述した事情に鑑みてなされたものであって、簡易な構成で操作部の可動範囲が制限されてしまうのを防止することができる操作入力装置およびマニピュレータシステムを提供することを目的としている。

　上記目的を達成するために、本発明は以下の手段を提供する。
　本発明の一態様は、ディスプレイと、該ディスプレイ上に表示された表示物を操作する操作部と、操作者の頭部に装着される頭部装着部と、該頭部装着部または前記操作部の一方に対する他方の相対位置および相対姿勢を検出する相対位置センサと、該相対位置センサにより検出された相対位置および相対姿勢の変化に基づいて前記ディスプレイ内に表示されている表示物を作動させる制御部とを備える操作入力装置を提供する。

　上記態様によれば、頭部装着部を頭部に装着した操作者がディスプレイに表示されている標示物を見ながら、操作部を操作すると、相対位置センサにより頭部装着部または操作部の一方に対する他方の相対位置および相対姿勢が検出され、制御部により、検出された相対位置および相対姿勢の変化に基づいてディスプレイ内に表示されている表示物が作動される。操作者の頭部に装着した頭部装着部と、同一の操作者が操作する操作部との相対位置および相対姿勢を検出するので、天井や壁面にセンサを備える従来の方法とは異なり、操作部の可動範囲が他の障害物によって制限されてしまうのを防止することができる。

　上記態様においては、前記ディスプレイは、前記頭部装着部が前記操作者の頭部に装着されたときに、前記操作者の眼前に配置されるように、前記頭部装着部に固定されていてもよい。
　このようにすることで、頭部装着部を装着した操作者は、眼前に配置されたディスプレイに表示された表示物を見ながら操作することができる。ディスプレイが操作者の頭部に装着されることにより、操作者の移動を可能にすることができる。

　上記態様においては、前記相対位置センサが、前記頭部装着部または前記操作部の一方に設けられた指標と、前記頭部装着部または前記操作部の他方に設けられ、前記指標を撮影する撮像部とを備えていてもよい。
　このようにすることで、頭部装着部または操作部の一方に設けられた指標を、他方に設けられた撮像部によって撮影することにより、頭部装着部と操作部との相対位置を直接的に検出することができる。頭部装着部に固定したディスプレイを、操作者の眼前に置くことで、操作者の視野を基準とした視線座標系での操作部の相対位置・姿勢情報が取得できるため、ディスプレイ上に表示される表示物と、それを表示する視線座標系との変換が省略あるいは容易になる。これにより、演算量を低減して高速処理が可能となると共に直感的な操作が可能となる。

　上記態様においては、前記撮像部を１つ備えていることにしてもよい。
　この場合は、前記指標が同一平面上に配置されない少なくとも４箇所に設けられていればよい。
　このようにすることで、４箇所の指標の全体的な位置の変化によって頭部装着部と操作部との相対姿勢の変化を検出し、４箇所の指標の指標間の位置の変化によって頭部装着部と操作部との相対位置の変化を検出することができる。
　上記態様においては、前記撮像部を２以上備えていてもよい。
　この場合は、前記指標が同一直線上に配置されない少なくとも３箇所に設けられていればよい。
　このようにすることで、３箇所の指標の全体的な位置の変化によって頭部装着部と操作部との相対姿勢の変化を検出し、３箇所の指標の指標間の位置の変化によって頭部装着部と操作部との相対位置の変化を検出することができる。
　上記態様においては、前記相対位置センサが、操作者の視線を取得可能な視線検出センサを備えていてもよい。このようにすることで、より正確な操作者の視線と操作部の相対位置が取得できる。

　上記態様においては、前記頭部装着部または前記操作部の少なくとも一方に、その空間座標系における変位情報を検出する空間センサを備えていてもよい。
　このようにすることで、空間センサが備えられた頭部装着部または操作部の空間座標系における変位情報と、頭部装着部と操作部との相対位置および相対姿勢とに基づいてディスプレイ内に表示されている表示物の動作の精度を向上することができる。
　頭部装着部と操作部との間の相対位置あるいは相対姿勢の変化が、頭部装着部あるいは操作部のいずれを変位させたために発生したものであるのかを判別でき、制御部による表示物の作動をより正確に制御することが可能となる。

　上記態様においては、前記ディスプレイが、空間座標系に固定されるとともに、前記頭部装着部または前記操作部の前記他方に設けられた前記撮像部により撮影されるディスプレイ用指標を備えていてもよい。
　このようにすることで、空間座標系に固定されたディスプレイに備えられたディスプレイ用指標を撮像部によって撮影して、撮像部に対するディスプレイの角度や位置を検出することができる。これにより、操作者がディスプレイに対して移動しても、表示物の角度や方向を調節することができ、操作者の視線座標系に対して、表示物の座標を常に一定に保つことが可能となる。

　本発明の一態様は、上記いずれかの操作入力装置と、前記表示物であるマニピュレータと、前記ディスプレイに表示する前記表示物の映像を取得する観察装置とを備えるマニピュレータシステムを提供する。
　このようにすることで、観察装置により取得された表示物であるマニピュレータの映像がディスプレイに表示され、操作入力装置に備えられた操作部と頭部装着部との相対位置および相対姿勢の変化によって制御部がマニピュレータを作動させる。これにより、操作部の可動範囲が他の障害物によって制限されてしまうのを防止ししながら、マニピュレータによる処置を行うことができる。

　本発明によれば、簡易な構成で操作部の可動範囲が制限されてしまうのを防止することができる、煩雑な座標変換による計算コストを低減できるという効果を奏する。

本発明の一実施形態に係るマニピュレータシステムを示す全体構成図である。 図１のマニピュレータシステムに備えられた本実施形態に係る操作入力装置を示すブロック図である。 図２の操作入力装置の変形例を示す全体構成図である。 図２の操作入力装置の他の変形例を示す全体構成図である。 図２の操作入力装置の他の変形例を示す全体構成図である。

　本発明の一実施形態に係る操作入力装置およびマニピュレータシステムについて、図面を参照して以下に説明する。
　本実施形態に係るマニピュレータシステム１は、図１に示されるように、患者Ａの体内に挿入されるマニピュレータ２と、該マニピュレータ２の映像を撮影する内視鏡（観察装置）３と、本実施形態に係る操作入力装置４とを備えている。

　マニピュレータ２は、図１に示す例では、２つ設けられ、それぞれモータ２ａによって、その姿勢や位置や作動状態をそれぞれ変化させることができるようになっている。内視鏡３もモータ３ａによって、その姿勢や位置や作動状態を変化させることができるようになっている。

　本実施形態に係る操作入力装置４は、内視鏡３により取得された患者Ａの体内におけるマニピュレータ２の映像を表示する表示部（ディスプレイ）５を備え、操作者Ｂの頭部Ｃに装着される頭部装着型ディスプレイ（頭部装着部：以下、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）という。）６と、操作者Ｂによって操作される操作部７と、操作部７の操作によりマニピュレータ２を作動させる制御部８とを備えている。

　ＨＭＤ６は、操作者Ｂの頭部Ｃに装着された状態で、表示部５を操作者Ｂの眼前に配置するように構成されている。ＨＭＤ６には、操作者Ｂの頭部Ｃに装着された状態で、操作者Ｂの頭部Ｃの前方を撮影可能な視野を有するＣＣＤのような撮像部（相対位置センサ）９と、ＨＭＤ６の空間座標系における加速度を検出する加速度センサ（空間センサ）１０とが備えられている。
　ＨＭＤ６は、図２に示されるように、撮像部９により撮影した画像信号および加速度センサ１０により検出したＨＭＤ６の空間座標系における加速度信号を無線送信する送信部１１を備えている。

　操作部７は操作者Ｂが手に保持して、操作することにより、マニピュレータ２および内視鏡３を操作することができるようになっている。操作部７には、同一平面上に配置されない位置に配置されて発光する４個のＬＥＤ（指標：相対位置センサ）１２が固定されている。操作部７は、マニピュレータ２および、内視鏡３の操作入力信号を無線送信する送信部１３を備えている。

　制御部８は、内視鏡３により取得された画像信号が入力されることにより、これを処理してＨＭＤ６に送信する送受信部１４を備え、ＨＭＤ６に設けられた表示部５に撮影された画像を表示させるようになっている。
　制御部８は、ＨＭＤ６から無線送信されてきた画像信号および加速度信号と、操作部７から無線送信されてきた操作入力信号を受信部１４により受信して、マニピュレータ２を動作させるための制御信号を生成し、生成した制御信号に基づいてマニピュレータ２のモータ２ａを作動させ、マニピュレータ２を移動させあるいは作動状態を変化させるようになっている。これらの制御信号に基づいて内視鏡３のモータ３ａを作動させ、内視鏡３を移動させあるいは作動状態を変化させることもできる。

　具体的には、制御部８は、ＨＭＤ６に設けられた撮像部９により取得された画像を処理して、撮像部９により撮影された操作部７上のＬＥＤ１２の位置および間隔によって、ＨＭＤ６に対する操作部７の相対位置および相対姿勢を算出するようになっている。制御部８は、ＨＭＤ６に設けられた加速度センサ１０から出力される加速度信号に基づいて、空間座標系におけるＨＭＤ６の位置および姿勢を算出するようになっている。

　制御部８は、ＨＭＤ６に対する操作部７の相対位置および相対姿勢が変化したときには、加速度センサ１０からの加速度信号によって、それがＨＭＤ６の変位によるものであるのか、操作部７の変位によるものであるのかを判定し、ＨＭＤ６の変位による部分については内視鏡３を動かすための制御信号を発生させ、操作部７の変位による部分についてはマニピュレータの制御信号を発生させるようになっている。

　すなわち、ＨＭＤ６を固定して操作部７を変位させた場合および操作部７を固定してＨＭＤ６を変位させた場合のいずれにおいても撮像部９により取得されたＬＥＤ１２の位置および間隔を変化させることができる。しかし、加速度センサ１０によって検出されたＨＭＤ６の変位量分については、操作者Ｂが頭部Ｃを移動させたために発生したものであるので、このＨＭＤ６の変位量に基づいた制御信号により内視鏡３を制御し、ＨＭＤ６の変位量を除いた操作部７の変位による部分を制御信号としてマニピュレータ２を作動させることができる。内視鏡３の動作は、ＨＭＤ６の変位にフィルタや閾値を設けて、停止や動作などの制御モードが選択できる。 

　このように、本実施形態に係るマニピュレータシステム１および操作入力装置４によれば、操作者Ｂの頭部Ｃに装着するＨＭＤ６に、操作者Ｂが手に保持する操作部７のＨＭＤ６に対する相対位置および相対姿勢を検出する撮像部９を配置しているので、操作者Ｂが移動しても、照明や計器等の障害物によって両者間の空間が遮られず、操作部７の移動範囲が制限されることを防止することができる。すなわち、操作者Ｂは自由な位置で、自由な姿勢でマニピュレータ２を操作することができる。

　ＨＭＤ６に固定された操作者Ｂの視線座標系に対する相対的な操作部７の３次元情報をＨＭＤ６に設けた撮像部９によって直接的に取得することができる。その結果、制御部８における座標変換を軽減して、演算を高速に行うことができるという利点がある。
　ＨＭＤ６に操作者の視線を取得できる視線検出センサ１８を取り付けることで、より正確な操作者の視線と操作部の相対位置が取得できる。

　本実施形態においては、相対位置センサとしてＨＭＤ６に設けた撮像部９と操作部７に設けた４個のＬＥＤ１２とを備えるものを例示したが、これに代えて、撮像部９を操作部７に設け、ＨＭＤ６にＬＥＤ１２を設けることにしてもよい。
　撮像部９を２つ設けることで、操作部７もしくはＨＭＤ６に取り付けるＬＥＤを３点として相対位置を取得してもよい。この場合、ＬＥＤつまり指標は同一直線上に配置されない位置に配置されて固定される。また、指標は、少なくとも３箇所あればよい。さらに、撮像部は、２つ以上設けることにしてもよい。
　加速度センサ１０からなる空間センサをＨＭＤ６に設けることにしたが、これに代えて、操作部７に設けることにしてもよい。

　加速度センサ１０については、ＨＭＤ６および操作部７の両方に設けることにしてもよい。このようにすることで撮像部９が動作不良の場合においても操作可能とすることができる。一方の加速度センサ１０の検出値を用いて、相対位置および相対姿勢を補正することにより、検出精度を向上することができるという利点がある。
　加速度センサ１０をＨＭＤ６および操作部７の両方に設けた場合、相対位置を撮像部９と少なくとも１つの指標とから検出し、相対姿勢を加速度センサ１０により取得してもよい。

　操作部７およびＨＭＤ６からの信号を無線送信により制御部８に送ることとしたが、これに代えて、図３に示されるように、ＨＭＤ６と操作部７とを制御部８に配線１５によって接続して、有線にて送信することにしてもよい。図４に示されるように、制御部８を操作者Ｂに装着することにして、さらに操作者Ｂの自由な移動を可能にしてもよい。

　本実施形態においては、頭部装着部として操作者Ｂの眼前に配置される表示部５を有するＨＭＤ６を例示したが、これに代えて、図５に示されるように、操作者Ｂの頭部Ｃには、撮像部９と加速度センサ１０のみを固定し、表示部５については、空間座標系に固定される別置き型のディスプレイ１６を採用してもよい。この場合に、操作者Ｂの移動により、操作者Ｂとディスプレイ１６との相対位置関係や相対角度が変化するため、表示を変更しなければ、操作者Ｂはディスプレイ１６に表示されているマニピュレータ２の動きを脳内で変換して理解しなければならない。

　そこで、ディスプレイ１６に上記と同様のＬＥＤ（ディスプレイ用指標）１７を設け、操作者Ｂの頭部Ｃに設けた撮像部９と加速度センサ１０とにより、操作者Ｂの頭部Ｃとディスプレイ１６との相対位置関係をも検出して、表示を変更することにより、脳内で変換しなくても、操作者Ｂに対して常に同一の状態でマニピュレータ２の動作を表示することが可能となる。

　本実施形態においては、指標として、同一平面上に配置されない４個のＬＥＤ１２を例示したが、これに代えて、蛍光マーカや他の任意の指標を採用してもよい。
　指標は５個以上設けることにしてもよい。
　本実施形態においては、空間センサとして加速度センサ１０を例示したが、これに代えてジャイロセンサや速度センサを採用してもよい。また、これらの組み合わせでもよい。

　Ａ　患者
　Ｂ　操作者
　Ｃ　頭部
　１　マニピュレータシステム
　２　マニピュレータ（表示物）
　３　内視鏡（観察装置）
　４　操作入力装置
　５　表示部（ディスプレイ）
　６　ＨＭＤ（頭部装着型ディスプレイ、頭部装着部）
　７　操作部
　８　制御部
　９　撮像部（相対位置センサ）
　１０　加速度センサ（空間センサ）
　１２　ＬＥＤ（指標、相対位置センサ）
　１５　配線
　１６　ディスプレイ
　１７　指標（ディスプレイ用指標）
　１８　視線検出センサ

Claims (11)

1. 　ディスプレイと、
   　該ディスプレイ上に表示された表示物を操作する操作部と、
   　操作者の頭部に装着される頭部装着部と、
   　該頭部装着部または前記操作部の一方に対する他方の相対位置および相対姿勢を検出する相対位置センサと、
   　該相対位置センサにより検出された相対位置および相対姿勢の変化に基づいて前記ディスプレイ内に表示されている表示物を作動させる制御部とを備える操作入力装置。
2. 　前記ディスプレイは、前記頭部装着部が前記操作者の頭部に装着されたときに前記操作者の眼前に配置されるように、前記頭部装着部に固定されている請求項１に記載の操作入力装置。
3. 　前記相対位置センサが、前記頭部装着部または前記操作部の一方に設けられた指標と、前記頭部装着部または前記操作部の他方に設けられ、前記指標を撮影する撮像部とを備える請求項１に記載の操作入力装置。
4. 　前記撮像部を１つ備える請求項３に記載の操作入力装置。
5. 　前記指標が同一平面上に配置されない少なくとも４箇所に設けられている請求項４に記載の操作入力装置。
6. 　前記撮像部を２以上備える請求項３に記載の操作入力装置。
7. 　前記指標が同一直線上に配置されない少なくとも３箇所に設けられている請求項６に記載の操作入力装置。
8. 　前記相対位置センサが、操作者の視線を取得可能な視線検出センサを備える請求項１に記載の操作入力装置。
9. 　前記頭部装着部または前記操作部の少なくとも一方に、その空間座標系における変位情報を検出する空間センサを備える請求項１に記載の操作入力装置。
10. 　前記ディスプレイが、空間座標系に固定されるとともに、前記頭部装着部または前記操作部の前記他方に設けられた前記撮像部により撮影されるディスプレイ用指標を備える請求項３に記載の操作入力装置。
11. 　請求項１から請求項１０のいずれかに記載の操作入力装置と、
    　前記表示物であるマニピュレータと、
    　前記ディスプレイに表示する前記表示物の映像を取得する観察装置とを備えるマニピュレータシステム。

Images