JP6142462B1 - 重畳画像表示システム - Google Patents

Abstract

【課題】実空間に重なった状態で当該ユーザに視認されるアイコンを任意の線図としてユーザが自由に生成可能となる重畳画像表示システムを提供すること。【解決手段】重畳画像表示システム１０は、所定の状態を検出する状態検出装置１４と、ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを含む提示画像を表示部２０に提示する画像提示装置１５とを備えている。状態検出装置１４は、実空間に存在する１又は複数の部位における３次元位置を含む位置情報を検出する位置情報検出手段２３を有する。画像提示装置１５は、ユーザによる任意の形状で前記アイコンを生成するアイコン生成手段５８と、位置情報検出手段２３の検出結果により、アイコンが前記部位に連なって見えるように、当該アイコンを含む提示画像を提示するアイコン付画像提示手段６０とを備えている。【選択図】 図６

Description

本発明は、重畳画像表示システムに係り、更に詳しくは、別途取得された重畳画像が外界の実空間の一部領域に重なった状態でユーザに視認させる提示画像を所望の状態で所定のディスプレイに表示する重畳画像表示システムに関する。

ユーザの頭部に装着され、所定の重畳画像を外界の実空間に重ね合わせてユーザに視認させる透過型のヘッドマウントディスプレイが知られている。このヘッドマウントディスプレイは、様々な分野での利用が進んでいるが、例えば、医療分野においては、手術現場で術者が装着するヘッドマウントディスプレイに、Ｘ線画像診断装置や超音波画像診断装置等によって得られた患者の診断画像を前記重畳画像として表示するシステムが知られている（例えば、特許文献１参照）。

前記特許文献１のシステムは、超音波プローブを用いて取得した超音波画像と、撮像部により撮像された生体の外観に係る生体画像とを重ね合わせた提示画像を表示部に表示するシステムである。このシステムでは、超音波プローブにマーカが固定され、当該マーカを撮像部で撮像することで、マーカの３次元位置を検出し、当該３次元位置からマーカの位置及び向きに応じた位置、形状、大きさの超音波画像を生体画像に重ね合わせた提示画像を生成するようになっている。

特許第５４１０６２９号公報

前記マーカの認識状態は、前記システムの安定性にとって重要であるため、当該マーカの認識状態をユーザに視認させることが好ましい。また、提示画像としては、マーカの認識状態を表したもののみならず、前記システムを使った医療行為の際に有用となる任意の線図を前記生体画像の所定位置に配置することが有用である。すなわち、ユーザである術者自身が、術前或いは術中に、生体画像や超音波画像を見ながら、任意の線図を自由に生成し、当該生成された線図が前記超音波画像や前記生体画像に併せて術者に提示可能にすることが前記システムの使用価値を高め、円滑な医療行為に資すると考えられる。

本発明は、このような課題に着目して案出されたものであり、その目的は、ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを任意の線図として所望のタイミングでユーザが自由に生成することができる重畳画像表示システムを提供することにある。

前記目的を達成するため、本発明は、主として、ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを含む提示画像を所定のディスプレイに表示する重畳画像表示システムにおいて、所定の状態を検出する状態検出装置と、前記提示画像を前記ディスプレイに提示する画像提示装置とを備え、前記状態検出装置は、前記実空間に存在する１又は複数の部位における３次元位置を含む位置情報を検出する位置情報検出手段を備え、前記画像提示装置は、前記ユーザによる任意の形状で前記アイコンを生成するアイコン生成手段と、前記位置情報検出手段の検出結果により、前記アイコンが前記部位に連なって見えるように、当該アイコンを含む前記提示画像を前記ディスプレイに提示するアイコン付画像提示手段とを備える、という構成を採っている。

本発明によれば、提示画像に付加されるアイコンについて、ユーザが任意の線図を自由且つ柔軟に作成して提示画像内の所定位置に表示することができ、別途取得された重畳画像を実空間の一部領域に重ねた状態でユーザに視認させる重畳画像システムの有用性を更に高めることができる。

本実施形態に係る重畳画像表示システムの主たる構成を表す概念図である。 前記重畳画像表示システムの全体構成を表すブロック図である。 第１の処理部の構成を説明するためのブロック図である。 第２の処理部の構成を説明するためのブロック図である。 第３の処理部の構成を説明するためのブロック図である。 第４の処理部の構成を説明するためのブロック図である。 （Ａ）〜（Ｃ）は、アイコンの表示例を示す概念図である。 （Ａ）、（Ｂ）は、アイコンの他の表示例を示す概念図である。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本実施形態に係る重畳画像表示システムの主たる構成を表す概念図が示され、図２には、前記重畳画像表示システムの全体構成を表すブロック図が示されている。これらの図において、前記重畳画像表示システム１０は、医療用として適用されるものであって、患者Ｐの患部等の診断画像を取得する画像診断装置１１と、ユーザである医師Ｄの頭部に装着されるとともに、当該医師Ｄが視認可能となるように所定の画像を表示するディスプレイとして機能するヘッドマウントディスプレイ１２と、医師Ｄ等により所定の情報や指令が入力される入力装置１３と、所定の状態を検出する状態検出装置１４と、所定の提示画像をヘッドマウントディスプレイ１２に提示する画像提示装置１５とを備えて構成されている。

この重畳画像表示システム１０は、ヘッドマウントディスプレイ１２を装着した医師Ｄの視界に存在する患者Ｐやその患部の実空間の一部領域に、画像診断装置１１により別途取得された診断画像等を重畳画像として重ねた提示画像をヘッドマウントディスプレイ１２で表示するシステムである。

本実施形態において、前記画像診断装置１１としては、２次元超音波診断装置が適用される。この２次元超音波診断装置では、プローブ１７（図１参照）によるビーム走査によって、ビーム走査面と同一断面における断層画像であるカラー若しくはモノクロの２次元画像等の超音波画像を生成するようになっている。ここで、患部の所定範囲でビーム走査を行い、当該ビーム走査時におけるプローブ１７の３次元位置を所定時間毎に計測することで、前記患部の所定範囲内における体内の臓器等の立体像の生成を可能にする機能を画像診断装置１１に付随して設けることもできる。なお、以下の説明において、前記超音波画像等の診断画像と前記立体像とを適宜「医療情報画像」と総称する。また、前記画像診断装置１１としては、本実施形態の超音波診断装置に限らず、ＣＴ、ＭＲＩ等の他の画像診断装置を本発明に適用することも可能である。

前記ヘッドマウントディスプレイ１２は、いわゆるビデオシースルー型のものが用いられており、実空間を撮像することで前記重畳画像の背景となる背景画像を取得する撮像装置としてのビデオカメラ１９と、画像提示装置１５からの提示画像を表示する表示部２０とを備えている。

前記ビデオカメラ１９は、ヘッドマウントディスプレイ１２を装着した医師Ｄが、自身の目前の実空間を実際に直視したのと同様の背景画像を取得できるように配置されている。従って、医師Ｄは、自身の目前に存在する患者Ｐやその患部の様子について、表示部２０に表示される背景画像で視認可能となる。なお、本発明においては、前記背景画像を取得できる限りにおいて、他の種々の撮像装置を採用することもできる。

なお、本発明においては、ヘッドマウントディスプレイ１２として、前記提示画像を医師Ｄの左右両眼に提示する複眼タイプのものが用いられている。なお、このヘッドマウントディスプレイ１２では、左右両側のビデオカメラ１９で撮像された画像データから、公知の画像処理により、医師Ｄの眼前に配置され左右両眼に対応する左右の表示部２０を通じて、医師Ｄが視認可能な後述の提示画像が提示されるようになっている。

また、ヘッドマウントディスプレイ１２として、ハーフミラー等を用いた光学的手法を用いることで、医師Ｄが直視する実空間の背景に重畳画像を重ね合わせて医師Ｄに提示する光学シースルー型のヘッドマウントディスプレイを用いても良い。この場合、当該光学シースルー型のヘッドマウントディスプレイに前記撮像装置が別途取り付けられ、後述と同様の処理が行われる。

なお、本発明は、前記ヘッドマウントディスプレイ１２への画像提示に限定されるものではなく、後述する各処理によって他のディスプレイへの画像提示も可能である。

前記入力装置１３は、特に限定されるものではないが、コンピュータ等の機器に対する画面操作や画面入力をする際に用いられるキーボード、マウス、タッチパネル、タッチペン等の公知の装置からなる。

前記状態検出装置１４は、医師Ｄの所定の部位の動作方向や動作量を検出するユーザ動作検出手段２２と、実空間内に存在する所定の部位の３次元位置を含む位置情報を検出する位置情報検出手段２３とを備えている。

前記ユーザ動作検出手段２２では、ヘッドマウントディスプレイ１２に設けられた加速度センサ等を用いて、医師Ｄの頭部の動作方向や動作量を計測するようになっている。なお、当該ユーザ動作検出手段２２として、医師Ｄの頭部以外の身体部位の動作方向等を計測可能に構成し、当該身体部位の動作に基づく後述の処理を行うようにしても良い。

前記位置情報検出手段２３は、実空間に存在する１又は複数の所定の物体の部位に設置されるマーカ２６と、当該マーカ２６を認識して前記部位の３次元位置を特定し、当該部位の姿勢等を含めた前記位置情報を検出する検出部２７とにより構成された公知のセンシングシステムからなる。

前記マーカ２６は、特に限定されるものではないが、仰向けで寝た状態の患者Ｐの体表部分の複数箇所に固定配置された光学マーカ２６Ａと、プローブ１７の先端側１箇所等に取り付けられた磁気マーカ２６Ｂとにより構成されている。

前記検出部２７は、ビデオカメラ１９で光学マーカ２６Ａを撮像することにより、光学マーカ２６Ａが設置された部位の位置情報を検出する光学トラッキング機能と、図示しない磁界発生装置からの磁界の状態を磁気マーカ２６Ｂで検知することで、磁気マーカ２６Ｂが設置された部位の位置情報を検出する磁気トラッキング機能とを有している。

なお、前記位置情報検出手段２３としては、実空間に配置されるマーカ２６を使って、当該マーカ２６の設置部位の位置情報を検出可能な限りにおいて、超音波センサ等、他のセンサ等を用いることもできる。

前記画像提示装置１５は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段や各部として機能させるためのプログラムがインストールされている。

この画像提示装置１５は、図２に示されるように、画像診断装置１１とビデオカメラ１９で得られた各種の画像データを取り込む画像取込手段２９と、外部で生成された関連情報を取り込む関連情報取込手段３０と、画像取込手段２９からの画像データや関連情報取込手段３０からの関連情報から、ヘッドマウントディスプレイ１２に提示する提示画像を決定する提示画像決定手段３１とを備えて構成されている。

前記画像取込手段２９は、画像診断装置１１からの各種画像データを取得する診断画像取込部３３と、背景画像となるビデオカメラ１９の撮像画像を取得するカメラ画像取込部３４と、診断画像取込部３３で取り込まれた画像データが取得時刻や前記位置情報に対応して逐次記憶される画像データ記憶部３５とを備えている。

前記関連情報取込手段３０では、図示省略した外部の各種装置やコンピュータで生成された外部高度医療情報、例えば、ＣＴやＭＲＩ等の画像情報、それらから特定の器官のみを抽出した画像情報、所定のシミュレーション結果、その他文字による付記情報等が取り込まれるようになっている。

前記提示画像決定手段３１では、入力装置１３による医師Ｄからの入力指令により、ヘッドマウントディスプレイ１２における後述の第１〜第４のモードでの画像表示態様が選択され、選択された各画像表示態様に応じた各種の処理がなされる。

すなわち、提示画像決定手段３１は、重畳画像の背後に存在する背景画像の一部領域の重畳画像に対する透視度合いを表す重畳画像の透明度が調整される第１のモードでの画像提示を行うための第１の処理部３７と、提示画像における超音波画像の提示態様を経時的に変化させる第２のモードでの画像提示を行うための第２の処理部３８と、関連情報取込手段３０で取り込まれた関連情報を包含した第３のモードでの画像提示を行うための第３の処理部３９と、医師Ｄ側で任意に作成した線図からなるアイコンを包含した第４のモードでの画像提示を行うための第４の処理部４０とからなる。

前記第１の処理部２７は、図３に示されるように、画像取込手段２９で取り込まれて重畳画像となる超音波画像の透明度を調整する透明度調整手段４２と、当該透明度が調整された後の超音波画像を画像取込手段２９からの背景画像に重ね合わせた合成画像を提示画像として生成する合成画像生成手段４３とを有している。

前記透明度調整手段４２では、超音波画像を構成する色彩毎に、当該超音波画像の透明度を調整する画像処理が行われる。すなわち、ここでは、入力装置１３による医師Ｄからの入力指令により、黒色の透明度と、黒以外の色の透明度と、予め指定する特定色（青や赤等）の透明度とをそれぞれ独立して指定し、当該指定に基づいて、超音波画像の透明度を色彩毎に独立して調整する画像処理が行われる。

前記合成画像生成手段４３では、背景画像中のプローブ１７の先端位置付近で、その向きに対応した向きで重畳画像が表示されるように合成画像を生成する。すなわち、位置情報検出手段２３で検出されたプローブ１７の先端部分の位置情報に基づいて、背景画像内のプローブ１７の先端部分の位置や姿勢を特定し、背景画像中のプローブ１７の先端部分に、当該プローブ１７の姿勢に対応した向きで超音波画像を重畳するようになっている。なお、ここでは、医師Ｄの選択等により、リアルタイムで得られた１枚の２次元画像が重畳画像とされ、或いは、経時的に連続する複数枚の２次元画像を抽出し、それらを順に重ねたものが重畳画像とされる。

以上により、第１の処理部３７では、医師Ｄの視界に存在する患者Ｐの患部を含む実空間の画像が背景画像となり、その患部にプローブ１７を当てることで得られた超音波画像が、重畳画像となって当該患部に突き刺さったように見えるように、合成画像が生成される。この際、背景画像に重畳される超音波画像は、医師Ｄのニーズに応じて指定された透明度とされる。例えば、全色を透明にしないで、画像取込手段２９からのそのままの状態の超音波画像を重畳画像とし、或いは、全色を透明にして、画像取込手段２９からの超音波画像を見せずに、超音波画像の背後に存在する背景画像の一部領域を完全に視認可能にすることができる。加えて、超音波画像の黒色部分のみを透明にし、黒色以外の色や特定の色の透明度を調整した超音波画像を重畳画像とする等、超音波画像の透明度を種々調整できる。これにより、手術中において、背景画像に重畳画像を重ね合わせた合成画像を医師Ｄに提示する際に、背景画像の色彩に応じて重畳画像の表示部分を必要最小限にし、背景画像において重畳画像による隠蔽部分を極力少なくしつつ、得られた超音波画像のうち必要情報のみを同時に医師Ｄに視認させることが可能になる。

前記第２の処理部３８は、図４に示されるように、提示態様の異なる複数種類の提示画像を生成する複数画像生成手段４５と、表示部２０での提示画像の提示態様を経時的に変化させる画像切替手段４６とを有している。

前記複数画像生成手段４５は、画像取込手段２９からの超音波画像を所定の位置及び姿勢で提示する第１の提示態様に係る提示画像を生成する第１生成部４８と、正面視の超音波画像を立体的に提示する第２の提示態様に係る提示画像を生成する第２生成部４９と、正面視の超音波画像を平面的に提示する第３の提示態様に係る提示画像を生成する第３生成部５０からなる。

前記第１生成部４８では、第１の処理部３７の合成画像生成手段４３（図３参照）と同様の処理により、プローブ１７の先端部分の姿勢に対応した向きの超音波画像を重畳画像として背景画像に重ね合わせた合成画像が提示画像として生成される。

前記第２生成部４９では、診断画像取込部３３若しくは画像データ記憶部３５から、現在若しくは過去の超音波画像を取得し、プローブ１７の位置及び姿勢に関係無く、当該超音波画像を正面視の３次元画像として背景画像の中央に重畳した合成画像が提示画像として生成される。すなわち、ここでは、医師Ｄの両眼視差により、超音波画像が背景画像に対して立体的に重なって見えるように合成画像が生成される。

前記第３生成部５０では、診断画像取込部３３若しくは画像データ記憶部３５から取得された現在若しくは過去の超音波画像を取得し、プローブ１７の位置及び姿勢に関係無く、当該超音波画像を正面視の２次元画像として背景画像の中央に重畳した合成画像が提示画像として生成される。

なお、特に限定されるものではないが、前記第２生成部４９、前記第３生成部５０においては、画像取込手段２９から取得された超音波画像が、正面視で背景画像のほぼ中央付近に配置されるように当該背景画像に重畳され、背景画像に対する超音波画像のサイズの割合は、予め設定された割合とされ、第２生成部４９においては、画像取込手段２９から取得された超音波画像が、３次元画像として背景画像に重畳されるが、重畳する視野における３次元位置は、ヘッドマウントディスプレイ１２の表示部２０から例えば５０ｃｍ前方など、予め設定された距離とされる。

前記画像切替手段４６では、前記第１、第２、第３の提示態様の順で、若しくは、その逆の順で、表示部２０に表示される各提示画像が所定時間毎に自動的に切り替わるように、画像切り替えを行う。

前記第３の処理部３９は、図５に示されるように、超音波画像を重畳画像として背景画像に重ね合わせた合成画像を生成する合成画像生成手段５２と、ユーザ動作検出手段２２での検出結果に基づいて、関連情報取込手段３０からの関連情報を提示する関連情報提示手段５３とを備えている。

前記合成画像生成手段５２では、第１の処理部３７の合成画像生成手段４３（図３参照）と同様の処理により、プローブ１７の先端部分の姿勢に対応した向きの超音波画像を重畳画像として背景画像に重ね合わせた合成画像が提示画像として生成される。

前記関連情報提示手段５３では、ユーザ動作検出手段２２で検出された医師Ｄの頭部の動作方向や動作量により、合成画像生成手段５２で生成された合成画像に、関連情報取込手段３０からの関連情報を所定部位に付加した提示画像を生成するようになっている。すなわち、ここでは、所定量以上医師Ｄが上を向いたと判断された場合に、合成画像生成手段５２で生成された合成画像について、表示部２０の表示範囲の上方に関連情報が提示されるようになっており、それ以外の場合は、合成画像生成手段５２で生成された合成画像のみが表示部２０に提示される。

前記第４の処理部４０は、図６に示されるように、実空間を撮像した背景画像に、超音波画像等の前記医療情報画像を重畳画像として重畳した合成画像を生成する合成画像生成手段５７と、合成画像中の所望の部位に重ね合されて医師Ｄに視認されるアイコンを医師Ｄによる任意の形状で生成するアイコン生成手段５８と、アイコン生成手段５８で生成されたものを含め各種のアイコンが記憶されるアイコン記憶手段５９と、合成画像生成手段５７での合成画像中の所定の位置に、アイコンを含む提示画像を生成して表示部２０に提示するアイコン付画像提示手段６０とを備えている。

前記アイコンとしては、図７に示されるように、背景画像中のマーカ２６の位置に表示される基準アイコン６２と、基準アイコン６２に連なって表示される拡張アイコン６３とがある。

前記基準アイコン６２は、マーカ２６に対応して予め設定された形状のものがアイコン記憶手段５９に記憶されている。なお、特に限定されるものではないが、本実施形態では、光学マーカ２６Ａに対応する基準アイコン６２として、光学マーカ２６Ａを囲む矩形状のアイコンがアイコン記憶手段５９に予め記憶されている。また、磁気マーカ２６Ｂに対応する基準アイコン６２として、立方体状のアイコンがアイコン記憶手段５８に予め記憶されている。

前記拡張アイコン６３は、医師Ｄ等の入力に基づいてアイコン生成手段５８により生成された任意の形状の線図、すなわち、直線や曲線、或いは、面や立体等の図形等からなる。

前記合成画像生成手段５７では、第１の処理部３７の合成画像生成手段４３（図３参照）と同様の処理により、背景画像におけるプローブ１７の先端部分に、超音波画像等の医療情報画像を重畳画像として重ね合わせた合成画像が生成される。

前記アイコン生成手段５８は、図６に示されるように、描画ソフトウェアやＣＡＤソフトウェア等のコンピュータにより拡張アイコン６３の生成を行う画像エディタ描画手段６８と、医師Ｄ等の空中描画により拡張アイコン６３の生成を行う手書き描画手段６９とを有している。当該アイコン生成手段５８では、医師Ｄ等の入力指令により、画像エディタ描画手段６８での拡張アイコン６３の生成と、手書き描画手段６９での拡張アイコン６３の生成とを選択可能となっている。

前記画像エディタ描画手段６８では、予め付番等されたマーカ２６のうち、拡張アイコン６３を付加したい対象のマーカ２６（以下、「対象部位」と称する）が指定されると、当該対象部位それぞれについて、医師Ｄ等が入力装置１３を操作することによるコンピュータ描画によって任意の形状の拡張アイコン６３が生成される。当該拡張アイコン６３は、検出部２７で検出された対象部位の位置情報に対応してアイコン記憶手段５９に記憶される。

前記手書き描画手段６９は、マーカ２６が取り付けられた入力部材７１と、検出部２７で検出される入力部材７１の位置情報に基づき拡張アイコン６３の形状を特定するアイコン形状特定部７２とからなる。

前記手書き描画手段６７では、マーカ２６が取り付けられて検出部２７で３次元位置等の位置情報が検出される入力部材７１を用い、次のようにして拡張アイコン６３が生成される。すなわち、先ず、医師Ｄ等が入力部材７１で対象部位を直接接触することで、当該対象部位が指定される。その後、アイコン形状特定部７２では、医師Ｄ等が入力部材７１を手で空中を移動させたときの当該入力部材７１の軌跡に基づく位置情報の経時変化により、任意の形状の拡張アイコン６３が位置情報を伴って生成される。このように生成された拡張アイコン６３は、前記対象部位の位置情報に対応してアイコン記憶手段５９に記憶される。なお、手書き描画手段６７では、合成画像生成手段５７で生成された合成画像中の任意の部分や領域をトレースするように入力部材７１を移動させることもできる。これにより、例えば、合成画像中の複雑な形状の術具等のガイドとなる拡張アイコン６３を生成することが可能になり、また、合成画像中の複雑な形状の患部における注意部位等のガイドとなる拡張アイコン６３を生成することも可能になる。

なお、前記アイコン生成手段５８にあっては、予め設定された形状の異なる複数の拡張アイコン６３の中から、対象部位毎に医師Ｄが選択することも可能である。更に、当該選択された拡張アイコン６３をテンプレートとし、画像エディタ描画手段６８や手書き描画手段６９を用いて当該テンプレートを任意に変形することにより、拡張アイコン６３を生成することもできる。

前記アイコン付画像提示手段６０は、合成画像生成手段５７で生成された合成画像中の前記各対象部位に基準アイコン６２を重畳する基準アイコン重畳部７３と、対象部位の基準アイコン６２に対応して設定された拡張アイコン６３を合成画像中に重畳する拡張アイコン重畳部７４と、各拡張アイコン６３の交点や交線を合成画像中に重畳する付加線図重畳部７５と、各拡張アイコン６３の延長線や延長面を合成画像中に重畳する延長線図重畳部７６と、これら各重畳部７４〜７６での重畳処理後の画像を提示画像として、表示部２０に提示する提示部７７とにより構成されている。

前記基準アイコン重畳部７３では、検出部２７により対象部位の位置情報が検出されたときに、当該対象部位に設置されているマーカ２６に対応した基準アイコン６２がアイコン記憶手段５９から抽出され、合成画像中の当該対象部位の位置に重畳される。なお、検出部２７による対象部位の認識状態や認識誤差の大小により、基準アイコン６２の色彩や濃淡を変化させることもでき、また、任意の時点で、基準アイコン６２の表示非表示を切り替えることも可能である。

前記拡張アイコン重畳部７４では、図７に示されるように、基準アイコン６２に拡張アイコン６３が連なるように合成画像に重畳される。すなわち、ここでは、合成画像中の基準アイコン６２の存在する部位を対象部位とし、当該対象部位に対応する形状の拡張アイコン６３が、アイコン記憶手段５９から抽出され、合成画像中で、医師Ｄの指定する位置や向きで基準アイコン６２に連なるように重畳される。

また、図８に示されるように、拡張アイコン６３として、複数の対象部位間に跨る線図が設定されたときに、患者や機器等の物体の相対移動等、各対象部位が経時的に相対移動した場合、それに伴い、基準アイコン重畳部７３では、合成画像中において、検出部２７の検出結果に基づき、各対象部位に重畳される基準アイコン６２を経時的に画面内を移動させる。この場合、拡張アイコン重畳部７４では、同図中矢印で表されるように、各基準アイコン６２の相対移動に伴って、基準アイコン６２間を跨る接続状態を維持するように、拡張アイコン６３の形状の自動変形を行うようになっている。

前記付加線図重畳部７５では、図７（Ｂ）に示されるように、拡張アイコン重畳部７４で重畳された複数の拡張アイコン６３の交点部分や交線部分が発生した場合、これら部分を合成画像中で強調表示するための交点や交線が付加される。

前記延長線図重畳部７６では、図７（Ｃ）に示されるように、拡張アイコン重畳部７４で重畳された複数の拡張アイコン６３を延長した拡張部分の線図をそれぞれ自動的に生成した上で、当該各拡張部分の線図において交点部分や交線部分が発生した場合、これら部分を合成画像中で強調表示するための交点や交線が付加される。

なお、これら付加線図重畳部７５や延長線図重畳部７６での処理は、入力装置１３による医師Ｄ等の指令に基づいて選択的に行われる。

以上のように、拡張アイコン６３を設定することにより、例えば、前記重畳画像表示システム１０を穿刺治療に関する医療行為に用いる場合において、穿刺目標の確認等に有用となる。特に、付加線図重畳部７５で交点や交線が付加されると、穿刺針の先端が特定平面に到達する距離等の目安を把握することができ、また、延長線図重畳部７６で交点や交線が付加されると、穿刺針の移動における将来位置や将来の危険性について医師Ｄが容易に把握可能となる。

なお、前記第１〜第４の処理部３７〜４０での各種処理は、それぞれ単独で行っても良いし、これら処理を複数組み合わせて行っても良い。例えば、第１と第４の処理部３７，４０での処理を併用し、提示画像として、重畳画像の透明度を調整しつつ、重畳画像と背景画像を合成した合成画像に任意のアイコンを付加したものを生成することも可能である。

また、前記実施形態では、重畳画像表示システム１０を医療現場で用いた場合を図示説明したが、本発明はこれに限らず、同様の構成で他の用途に適用することもできる。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

１０ 重畳画像表示システム
１２ ヘッドマウントディスプレイ（ディスプレイ）
１４ 状態検出装置
１５ 画像提示装置
２２ ユーザ動作検出手段
２３ 位置情報検出手段
２６ マーカ
２７ 検出部
２９ 画像取込手段
３０ 関連情報取込手段
４２ 透明度調整手段
４６ 画像切替手段
５３ 関連情報提示手段
５８ アイコン生成手段
６０ アイコン付画像提示手段
６８ 画像エディタ描画手段
６９ 手書き描画手段
７１ 入力部材
７２ アイコン形状特定部

Claims (6)

1. ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを含む提示画像を所定のディスプレイに表示する重畳画像表示システムにおいて、
   所定の状態を検出する状態検出装置と、前記提示画像を前記ディスプレイに提示する画像提示装置とを備え、
   前記状態検出装置は、前記実空間に存在する複数の部位における３次元位置を含む位置情報を検出する位置情報検出手段を備え、
   前記位置情報検出手段は、相対移動する複数の前記部位にそれぞれ配置されるマーカと、当該マーカの認識によって前記各部位の前記位置情報をそれぞれ検出する検出部とからなり、
   前記画像提示装置は、前記ユーザによる任意の形状で前記アイコンを生成するアイコン生成手段と、前記位置情報検出手段の検出結果により、前記アイコンが前記部位に連なって見えるように、当該アイコンを含む前記提示画像を前記ディスプレイに提示するアイコン付画像提示手段と、前記アイコンとして、前記マーカに相当する基準アイコンと前記アイコン生成手段で生成される拡張アイコンとが記憶されるアイコン記憶手段とを備え、
   前記アイコン付画像提示手段では、前記検出部で認識された前記マーカに重なった状態で前記基準アイコンが配置されるとともに、前記ユーザが指定する状態で、前記拡張アイコンが前記基準アイコンに連なるように配置された前記提示画像を提示し、前記各部位間に跨る前記拡張アイコンが生成されたときに、前記検出部で検出された前記各部位の位置情報に基づいて、前記拡張アイコンが前記各部位に跨った状態を維持するように、当該拡張アイコンを自動変形することを特徴とする重畳画像表示システム。
2. ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを含む提示画像を所定のディスプレイに表示する重畳画像表示システムにおいて、
   所定の状態を検出する状態検出装置と、前記提示画像を前記ディスプレイに提示する画像提示装置とを備え、
   前記状態検出装置は、前記実空間に存在する１又は複数の部位における３次元位置を含む位置情報を検出する位置情報検出手段を備え、
   前記位置情報検出手段は、前記部位に設置されるマーカと、当該マーカの認識によって前記位置情報を検出する検出部とからなり、
   前記画像提示装置は、前記ユーザによる任意の形状で前記アイコンを生成するアイコン生成手段と、前記位置情報検出手段の検出結果により、前記アイコンが前記部位に連なって見えるように、当該アイコンを含む前記提示画像を前記ディスプレイに提示するアイコン付画像提示手段と、前記アイコンとして、前記マーカに相当する基準アイコンと前記アイコン生成手段で生成される拡張アイコンとが記憶されるアイコン記憶手段とを備え、
   前記アイコン付画像提示手段では、前記検出部で認識された前記マーカに重なった状態で前記基準アイコンが配置されるとともに、前記ユーザが指定する状態で、前記拡張アイコンが前記基準アイコンに連なるように配置された前記提示画像を提示し、前記アイコン生成手段で複数生成された前記拡張アイコンの間で交点部分及び交線部分の少なくとも一方が発生した場合に、当該部分が強調表示される前記提示画像を提示することを特徴とする重畳画像表示システム。
3. ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを含む提示画像を所定のディスプレイに表示する重畳画像表示システムにおいて、
   所定の状態を検出する状態検出装置と、前記提示画像を前記ディスプレイに提示する画像提示装置とを備え、
   前記状態検出装置は、前記実空間に存在する１又は複数の部位における３次元位置を含む位置情報を検出する位置情報検出手段を備え、
   前記位置情報検出手段は、前記部位に設置されるマーカと、当該マーカの認識によって前記位置情報を検出する検出部とからなり、
   前記画像提示装置は、前記ユーザによる任意の形状で前記アイコンを生成するアイコン生成手段と、前記位置情報検出手段の検出結果により、前記アイコンが前記部位に連なって見えるように、当該アイコンを含む前記提示画像を前記ディスプレイに提示するアイコン付画像提示手段と、前記アイコンとして、前記マーカに相当する基準アイコンと前記アイコン生成手段で生成される拡張アイコンとが記憶されるアイコン記憶手段とを備え、
   前記アイコン付画像提示手段では、前記検出部で認識された前記マーカに重なった状態で前記基準アイコンが配置されるとともに、前記ユーザが指定する状態で、前記拡張アイコンが前記基準アイコンに連なるように配置された前記提示画像を提示し、前記アイコン生成手段で複数生成された前記拡張アイコンについて、更に自動的に延長した拡張部分の線図をそれぞれ生成した上で、これら拡張アイコンの間で交点部分及交線部分の少なくとも一方が発生した場合に、当該部分が強調表示される前記提示画像を提示することを特徴とする重畳画像表示システム。
4. 前記アイコン生成手段は、コンピュータにより前記拡張アイコンの生成を行う画像エディタ描画手段を備えたことを特徴とする請求項１、２又は３記載の重畳画像表示システム。
5. 前記アイコン生成手段は、前記ユーザの空中描画により前記拡張アイコンの生成を行う手書き描画手段を備えたことを特徴とする請求項１、２又は３記載の重畳画像表示システム。
6. 前記手書き描画手段は、前記マーカが取り付けられた入力部材と、前記位置情報検出手段で検出される当該入力部材の位置情報に基づき前記拡張アイコンの形状を特定するアイコン形状特定部とを備え、
   前記アイコン形状特定部では、前記ユーザが前記入力部材を用いて、前記拡張アイコンを付加したい実空間中の対象部位を直接接触することで、当該対象部位が指定され、前記ユーザが前記入力部材を手で空中移動させたときの当該入力部材の３次元位置の経時変化により、前記拡張アイコンが生成されることを特徴とする請求項５記載の重畳画像表示システム。

Images