JP2005049996A

JP2005049996A - 画像表示方法及び装置

Info

Publication number: JP2005049996A
Application number: JP2003203939A
Authority: JP
Inventors: Kazuki Takemoto; 和樹武本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-07-30
Filing date: 2003-07-30
Publication date: 2005-02-24
Anticipated expiration: 2023-07-30
Also published as: EP1503348B1; EP1503348A2; US20050024388A1; US7830334B2; EP1503348A3; JP4262011B2

Abstract

【課題】複合現実感提示システムにおいて、複合現実空間を観察する観察者の視野を、別の観察者が当該複合現実空間上で的確に把握可能とする。
【解決手段】観察者１０３Ｂ及び提示者１０３Ａに複合現実空間画像を提示する画像提示方法において、ＨＭＤ１０２Ｂの位置姿勢に基づいて、観察者１０３Ｂが観察している複合現実空間に対応した３次元的な視野領域が算出され、この視野領域を表す視野領域オブジェクト１０１が生成される。そして、生成された視野領域オブジェクト１０１は、提示者１０３Ａが観察する仮想現実空間画像中に重畳される。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばコンピュータグラフィクスによる仮想画像を現実の空間に融合させて観察者に提示する複合現実感提示技術に関する。
【０００２】
【従来の技術】
複合現実空間を観察する方法としては、ビデオシースルー方式と光学シースルー方式があることが一般に知られている。前者は、現実の空間をビデオカメラなどで撮像した画像データにコンピュータグラフィックス（ＣＧ）等の画像を合成して観察者に提示する方式である。また、後者は、半透過型（シースルー型）の表示装置にＣＧ等の画像を合成する方式である。
【０００３】
さらに、複合現実空間を観察者に提示する方法として、観察者の頭部にＨＭＤ（ＨｅａｄＭｏｕｎｔＤｉｓｐｌａｙ）を装着させて提示する方法と、観察者の近くにディスプレイを設置して提示する方法と、観察者に手持ちのディスプレイを操作させるなどの、観察者の体の動きに基づいて表示映像を変化させて提示する方法の３つがある。複合現実空間を表現する装置としては、これら３つの提示方法と、前述のビデオシースルー方式及び光学シースルー方式との組み合わせが考えられる。
【０００４】
さて、これらのうちのいずれかの組み合わせで実現された複合現実空間を複数人で共有し、協調作業を行う場合がある。このような場合において、互いが複合現実空間内のどこを見ているのかを把握できると作業をスムーズに行えるという効果がある。例えば、ある作業者が他の作業者に物体を提示する場合に、相手（観察者）の視野を把握できていれば提示物を確実に観察者に見せることができる。また、強調したい部分を観察者側に向けて注目させるなどの効率的な提示方法を容易に実現することができる。また、観察者が高齢者である場合など、観察者自身で視野を変更させることが大きな負担になる状況では、提示する作業者（提示者）がその観察者の視野内に提示物を運び、観察者に提示物を見せるようにできるという効果も考えられる。しかしながら、観察者の視野を把握するためには、提示者が観察者の外部状態や、観察に利用される装置の位置姿勢などを視認して観察者の視野を予測することが必要であった。
【０００５】
特許文献１では、複合現実空間を表示するためのＨＭＤを装着する場合に、観察者の視線方向を検出してこれを提示者の複合現実空間画像中に示すことが記載されている。具体的には、提示者の視点から観察者が存在する方向を撮像した画像上で、ＨＭＤを装着している観察者の頭部位置に視線方向を示す仮想物体を重畳表示する。
【０００６】
しかしながら、特許文献１の方法で得られる情報は視線方向に関する情報のみであり、観察者の視野領域を提示者に明確に示すものではない。
【０００７】
さらに、仮想物体の描画にクリッピング処理を施すシステムにおいては、別の課題を生じる。クリッピング処理とは、例えば図３に示すような視体積１０１（ビューボリューム）の前方クリッピング面３０２と後方クリッピング面３０３の間から外れて提示物が配置された場合には、たとえ提示物が視野領域内であっても当該提示物の仮想情報を表示（レンダリング）しないようにするものである。このようなシステムにおいては、たとえ観察者の視野内に提示物が存在していても、例えば後方クリッピング面よりも後方に提示物が配置されると、当該提示物の仮想情報が表示されなくなってしまう。しかしながら、提示者は、上記のような視線方向を示す仮想物体の表示のみからはこれを判断することができない。
【０００８】
【特許文献１】
特開２０００−３５３２４８
【非特許文献１】
Ｈ．Ｔａｍｕｒａ，Ｈ．ＹａｍａｍｏｔｏａｎｄＡ．Ｋａｔａｙａｍａ： “Ｍｉｘｅｄｒｅａｌｉｔｙ：Ｆｕｔｕｒｅｄｒｅａｍｓｓｅｅｎａｔｔｈｅｂｏｒｄｅｒｂｅｔｗｅｅｎｒｅａｌａｎｄｖｉｒｔｕａｌｗｏｒｌｄｓ，” ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，ｖｏｌ．２１，ｎｏ．６，ｐｐ．６４−７０，２００１．
【非特許文献２】
Ａ．Ｔａｋａｇｉ，Ｓ．Ｙａｍａｚａｋｉ，Ｙ．Ｓａｉｔｏ，ａｎｄＮ．Ｔａｎｉｇｕｃｈｉ： “Ｄｅｖｅｌｏｐｍｅｎｔｏｆａｓｔｅｒｅｏｖｉｄｅｏｓｅｅ−ｔｈｒｏｕｇｈＨＭＤｆｏｒＡＲｓｙｓｔｅｍｓ”，ＩＳＡＲ２０００，ｐｐ．６８−７７，２０００．
【０００９】
【発明が解決しようとする課題】
本発明は、上記の課題に鑑みてなされたものであり、複合現実感提示システムにおいて、複合現実空間を観察する観察者の視野を、別の観察者が当該複合現実空間上で的確に把握可能とすることを目的とする。
より詳しくは、観察者の３次元的な視野空間である視体積の領域をＣＧ等を用いて提示者が観察する画像上に表示することにより、提示者が観察者の視体積領域を確実に認識できるようにすることを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像提示方法は、
複合現実空間の画像を提示する画像提示方法であって、
前記複合現実空間における、他ユーザの３次元的な視野領域を算出する算出工程と、
前記視野領域を表す仮想視野オブジェクトを生成する生成工程と、
提示する複合現実空間画像中に前記仮想視野オブジェクトを重畳する重畳工程とを備える。
【００１１】
また、上記の目的を達成するための本発明による画像提示装置は以下の構成を備える。すなわち、
複合現実空間の画像を提示する画像提示装置であって、
前記複合現実空間における、他ユーザの３次元的な視野領域を算出する算出手段と、
前記視野領域を表す仮想視野オブジェクトを生成する生成手段と、
提示する複合現実空間画像中に前記仮想視野オブジェクトを重畳する重畳手段とを備える。
【００１２】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態を詳細に説明する。
なお、以下の実施形態の説明では、ビデオシースルー型のＨＭＤを用いた複合現実感システムに本発明を適用した視野領域提示装置及び視野領域提示方法について述べる。なお、本発明は、ビデオシースルー型ＨＭＤを用いた複合現実感システムのみに適用されるものではなく、光学シースルー型ＨＭＤをはじめとして、前述した「観察者の近くにディスプレイを設置して提示する方法」、「観察者の体の動きに基づいて表示映像を変化させて提示する方法」の３つの提示方法と光学シースルー方式とビデオシースルー方式の２つの方式を組み合わせた全ての方法に適用可能である。
【００１３】
本実施形態において、複合現実感システムとは、現実空間の画像とＣＧ等の非現実空間（仮想空間）画像を合成した複合現実空間を、体験者に提示するシステムである。なお、複合現実感技術に関する情報は、例えば、非特許文献１から得ることができる。
【００１４】
［第１実施形態］
第１実施形態では、２人の作業者がそれぞれビデオシースルー型ＨＭＤを装着しながら共同で作業を行い、複合現実空間を共有している場合に、一人の作業者が、もう一人の作業者に仮想情報を重畳した現実物体を提示する場合の視野領域提示装置及び方法を説明する。
【００１５】
図１は本発明を適用した第１実施形態の動作時の外観を説明する模式図である。１０３Ａが物体（以下、提示物体）を提示する側の作業者（以下、提示者とする）であり、１０３Ｂが提示物体を観察する作業者（以下、観察者とする）である。提示者１０３Ａ及び観察者１０３ＢはそれぞれビデオシースルーＨＭＤ１０２Ａ及び１０２Ｂを通して複合現実空間を共有している。なお、第１実施形態におけるビデオシースルーＨＭＤ１０２Ａと１０２Ｂは撮像部（図１では不図示）を１つ備える単眼のビデオシースルーＨＭＤとする。また、本発明は観察者１０３Ａと提示者１０３Ｂに複合現実感を提示するＨＭＤなどの表示装置が同じ方式である必要はなく、両者が互いに別の方式の表示装置で複合現実空間を共有する場合にも適用可能である。
【００１６】
１０４は提示者１０３Ａが観察者１０３Ｂに提示する提示物体である。本実施形態ではこの提示物体を直方体の模型（現実物体）とし、この直方体の画像の上に仮想情報を重畳し、提示者１０３Ａ、観察者１０３Ｂの両者のＨＭＤ１０２Ａ、１０２Ｂに表示するものとする。１０５は指示棒であり、本例では提示者１０２Ａが手に持って提示物体１０４の注目点を観察者１０３Ｂに示すのに用いられる。なお、本実施形態においては、指示棒１０５の位置姿勢計測を行わずに注目点を指示するためだけに用いる。しかし、指示棒１０５の位置姿勢を計測して装置に入力し、提示物体１０４に重畳する仮想物体の位置を変更するなど、指示棒１０５を仮想物体とのインタラクションに利用してもよいことは言うまでもない。
【００１７】
１０１は観察者１０３Ｂの視野と視体積を示す仮想物体（以降、視野領域オブジェクトと呼ぶ）である。この視野領域オブジェクトの形状は、観察者１０３Ｂの装着するＨＭＤ１０２Ｂの視野角等のパラメータや、仮想空間画像を生成する装置のクリッピング平面のパラメータ等によって決定される。第１実施形態においては、ＨＭＤ１０２Ｂに固定されている撮像部の内部パラメータ、図３により後述する視点３０１から前方クリッピング面３０２までの距離、視点３０１から後方クリッピング面３０３までの距離によって視野領域オブジェクト１０１の形状を決定する。また、本実施形態では、視野領域オブジェクト１０１は、提示者１０３Ａの装着するＨＭＤ１０２Ａにのみ表示され、観察者１０３ＢのＨＭＤ１０２Ｂには表示されない。視野領域オブジェクト１０１を観察者１０３Ｂに表示しない理由は、観察者１０３Ｂによる提示物体１０４の観察に影響を与えないようにするためである。さらに、視野領域オブジェクト１０１は、提示物体１０４と重ねて表示する場合もあるため、半透明で表示される。なお、この視野領域オブジェクト１０１を半透明で表示することに限定されるものではなく、ワイヤフレーム等の他の表現形態で表示するようにしてもよいことは明らかであろう。
【００１８】
図２は提示者１０３ＡのＨＭＤ１０２Ａに表示される提示画像を説明する図である。２０２は提示者１０３Ａの腕が撮像され、表示されている様子を示し、左手で提示物体１０４を、右手で指示棒１０５を持っている状況を示している。２０３は、提示者１０３Ａが観察者１０３Ｂに特に注目させたい注目部位を示す。また、２０１は、提示物体１０４と視野領域オブジェクト１０１との境界を示す仮想物体（以下、境界オブジェクト）である。境界オブジェクト２０１により、提示者１０３Ａは、観察者１０３ＢのＨＭＤ１０２Ｂに表示される複合現実空間の画像上で提示物体１０４のどの部位が表示されておりどの部位が表示されていないかを視覚的に確認することができる。例えば、この境界オブジェクト２０１を提示物体１０４に重畳して表示することにより、提示者１０３Ａは注目部位２０３が観察者１０３Ｂの視野内に入っているかどうかなどを視覚的に確認することができる。なお、第１実施形態では、境界オブジェクト２０１は、提示物体１０４と視野領域オブジェクト１０１との境界面を表す線分から構成される。
【００１９】
図３は、視野領域オブジェクトの形状を説明するための模式図である。３０１は、ＨＭＤ１０２Ｂに固定されている撮像部の視点を表す。視野を示す四角錐の形状は、視点３０１とカメラ内部パラメータによって決定される。ここで、カメラ内部パラメータとは、撮像部の焦点距離Ｌ_ｃ、投影面水平解像度Ｒ、主点位置Ｐ（Ｐ_ｘ，Ｐ_ｙ）、投影面の縦横比Ａを示す。このカメラ内部パラメータを用いて視野を表す領域を求める。この視野を表す領域（視野領域という）は、視点３０１と投影面（不図示）の各辺を通る４つの平面（図３の四角錐における４つの斜面にそれぞれ平行な４面）で視軸を囲む領域である。また、３０２と３０３はそれぞれ前方クリッピング面、後方クリッピング面を表す。仮想空間の画像を生成する装置では、前述の視野を表す領域と前方クリッピング面、後方クリッピング面とが囲む領域（視体積という）内にある仮想物体のみを描画する。この領域に基づいて視野領域オブジェクト１０１の形状を以下のように決定する。
【００２０】
【数１】

【００２１】
上記（式１）〜（式４）によるｌ、ｒ、ｔ、ｂはそれぞれ前方クリッピング面の左辺、右辺、上辺、下辺の位置、Ｌ_Ｎは視点３０１から前方クリッピング面３０２までの距離を表すパラメータである。なお、後方クリッピング面の左辺、右辺、上辺、下辺の位置は、ｌ、ｒ、ｔ、ｂと視点３０１によって決まる４つの平面と、後方クリッピング面（後方クリッピング面までの距離によって自動的に決定される）との交線の位置によって決まる。
【００２２】
図４は第１実施形態に係る視野領域提示装置の構成を示すブロック図である。提示者用ＨＭＤ１０２Ａ、観察者用ＨＭＤ１０２Ｂは同じ構成であり、それぞれ頭部位置姿勢計測部４０１Ａ（４０１Ｂ）、撮像部４０２Ａ（４０２Ｂ）、表示部４０３Ａ（４０３Ｂ）から構成される。
【００２３】
頭部位置姿勢計測部４０１Ａ（４０１Ｂ）は、第１実施形態においては、Ｐｏｌｈｅｍｕｓ社の３ＳＰＣＡＣＥＦＡＳＴＲＡＫ（登録商標）の磁気センサを用いる。このＦＡＳＴＲＡＫセンサは、トランスミッタから発生する磁界をレシーバ（不図示）が受け、レシーバが接続されているＦＡＳＴＲＡＫセンサのコントローラ（不図示）によってレシーバの位置と姿勢を出力する。レシーバはＨＭＤ１０２Ａ（１０３Ｂ）に固定され、頭部の位置姿勢を計測する。また、撮像部４０２Ａ（４０２Ｂ）と表示部４０３Ａ（４０３Ｂ）は、第１実施形態においては、ＨＭＤ１０２Ａ（１０２Ｂ）に内蔵され、表示部の光学系と撮像部の撮像系が一致するように設置されている。
なお、上述のような形態のＨＭＤについては、例えば非特許文献２から情報を得ることができる。
【００２４】
ＭＲ画像生成部４０４Ａ、４０４Ｂは、それぞれ提示者１０３Ａと観察者１０３Ｂに提示する複合現実空間の画像（以降、ＭＲ画像という）を生成する。これらＭＲ画像生成部４０４Ａ、４０４Ｂも同じ構成であり、それぞれ頭部位置姿勢計測部４０１Ａ、４０１Ｂと撮像部４０２Ａ、４０２Ｂからの入力を受け、それぞれの頭部位置姿勢に合わせた複合現実感画像を生成し、表示部４０３Ａ、４０３Ｂに表示する。
【００２５】
提示物位置姿勢計測部４０６は、提示者１０３Ａが持つ提示物体１０４の位置姿勢を計測する。本実施形態では、頭部位置姿勢計測部４０１Ａ、４０１Ｂと同様にＰｏｌｈｅｍｕｓ社の３ＳＰＣＡＣＥＦＡＳＴＲＡＫ（登録商標）の磁気センサを用いる。提示物体１０４にはＦＡＳＴＲＡＫセンサのレシーバ（不図示）が固定されているものとする。
【００２６】
仮想空間管理部４０５は、提示者１０３Ａと観察者１０３Ｂが共有し、ＭＲ画像に使用するための仮想物体の情報を管理する。仮想物体の情報は、例えば、仮想物体の頂点属性、テクスチャ画像から構成される。頂点属性には、頂点の３次元座標値、頂点の属する仮想物体ＩＤ、テクスチャ座標等が記述されている。仮想空間管理部４０５では、共有される仮想物体の情報を記憶する機能の他に、頭部位置姿勢計測部４０１Ｂの出力から現実空間中における視野領域オブジェクト１０１を生成する機能と、提示物位置姿勢計測部４０６の出力から視野領域オブジェクト１０１と提示物体１０４の境界を表す境界オブジェクト２０１を生成する機能と、ＭＲ画像生成部４０４Ａ、４０４Ｂに適切な仮想物体情報を配信する機能とを持つ。初期状態では提示物体１０４の形状情報、提示物体１０４に重畳する仮想物体の情報等が格納されている。
【００２７】
なお、上記システムでは、複数人で複合現実空間を共有する方法として、仮想空間管理部４０５のように仮想物体の情報を一元管理する方式を説明したが、これに限定されるものではない。例えば、各観察者や提示者の装置が必要な仮想情報を保持し、差分情報のみを配信するような共有方式など、複合現実空間を適切に共有できる方式であればいずれも本発明に適用可能である。
【００２８】
図５は、ＭＲ画像生成部４０４Ｂの構成を示すブロック図である。仮想空間画像生成部５０１は、まず観察者１０３Ｂの頭部位置姿勢を計測する頭部位置姿勢計測部４０１Ｂから基準座標系上のカメラ位置姿勢を表すビューイング変換行列Ｍｃを取得する。次に仮想空間管理部４０５から配信される仮想物体の情報のうち、仮想物体を構成する頂点群Ｖとビューイング変換行列Ｍｃとを積算することにより、カメラ座標系における仮想物体の頂点群Ｖ’を算出する。
Ｖ’＝Ｍｃ・Ｖ（式５）。
【００２９】
さらに、Ｖ’が視体積の領域内にあるかが判定され、クリッピング処理が行われる。このクリッピング処理により、視体積内に存在する仮想物体のみをレンダリングするように設定する。第１実施形態では、クリッピング処理を始めとする仮想空間の描画処理については、３次元ＣＧ描画用ライブラリであるＯｐｅｎＧＬの機能を用いるものとする。ただし、本発明は仮想空間の描画処理をＯｐｅｎＧＬの機能を用いることに限定されるものではなく、所望の仮想物体が描画可能な手段であればいずれも適用可能である。最終的に、利用する仮想物体の頂点情報と、テクスチャ座標情報、テクスチャ画像情報を用いて仮想空間画像が生成される。生成された仮想空間画像は融合描画部５０３に出力される。
【００３０】
画像取得部５０２は、観察者用ＨＭＤ１０２Ｂに内蔵される撮像部４０２Ｂが撮像する現実空間の画像を取得し保存する。融合描画部５０３は、画像取得部５０２が保存した現実空間の撮像画像の上に、仮想空間画像生成部５０１が生成した画像を重畳し、ＭＲ画像を生成する。さらに、このＭＲ画像を観察者用ＨＭＤ１０２Ｂ内の表示部４０３Ｂに表示することにより観察者１０３Ｂに適切なＭＲ空間を提示することができる。なお、提示者１０３Ａに提示するＭＲ画像を生成するＭＲ画像生成部４０４Ａについては、ＭＲ画像生成部４０４Ｂと同一の構成、同一の機能を持つものであるので説明を省略する。
【００３１】
図６は、仮想空間管理部４０５の構成を示すブロック図である。ＨＭＤ情報記憶部６０１は、仮想空間管理部４０５に接続する観察者用ＨＭＤ１０２Ｂのカメラ内部パラメータ情報、視点３０１から前方クリッピング面３０２までの距離、視点３０１から後方クリッピング面３０３までの距離を記憶する。提示情報生成部６０２は、ＨＭＤ情報記憶部６０１に格納されている情報と頭部位置姿勢計測部４０１Ｂから出力される観察者１０３Ｂの頭部位置姿勢情報から、基準座標系上に図３に示すような四角錐台の視野領域オブジェクト１０１を生成する。さらに、提示情報生成部６０２は、この視野領域オブジェクト１０１と提示物体１０４の形状情報及び位置姿勢情報から境界オブジェクト２０１を生成する。
【００３２】
なお、提示物体１０４の位置姿勢情報と提示物体１０４の形状情報（ポリゴン平面の構成情報などを含む）は仮想空間記憶部６０３から入力される。この境界オブジェクト２０１は視野領域オブジェクトを構成する６面（図３参照、前方クリッピング面３０２、後方クリッピング面３０３、四角錐の４側面）と提示物体１０４を構成するポリゴン平面との交線によって決定される複数の線分によって構成される。ここで、視野領域オブジェクト１０１は領域を形成する四角錐台の頂点である８つの頂点の３次元座標値として、境界オブジェクト２０１は線分ごとに２頂点の３次元座標値に分割されて、仮想物体記憶部６０３に記憶する。
【００３３】
仮想空間記憶部６０３は、仮想物体の頂点情報や、テクスチャ画像等の仮想物体の情報を記憶する。さらに、仮想空間記憶部６０３はＭＲ画像生成部（例えば４０４Ａ）に仮想物体の情報を配信する機能を持つ。例えば、提示情報生成部６０２で生成された視野領域オブジェクトや境界オブジェクトをＭＲ画像生成部４０４Ａに配信する。また、仮想空間情報の中の頂点情報を外部から入力することにより、位置姿勢を変更するなどの機能を持つ。例えば、提示物位置姿勢計測部４０６からの入力を受け、提示物体１０４の形状情報の位置姿勢を更新する場合などに利用される。
【００３４】
不要物体除去部６０４は、観察者１０３Ｂ用の仮想物体として不必要な視野領域オブジェクト１０１、境界オブジェクト２０１を仮想空間記憶部６０３からＭＲ画像生成部４０４Ｂに配信する仮想物体データから除去する。このように不要な仮想物体データを配信情報から除去することによって、複合現実空間において提示物体１０４などの提示される物体に集中することができる。さらに、除去によって、ＭＲ画像生成部４０４Ｂの描画にかかる負担も軽減する。
【００３５】
図７は本実施形態に係る視野領域提示装置の処理を説明するためのフローチャートである。まず、ステップＳ７０１では、提示者用ＨＭＤ１０２Ａ、観察者用ＨＭＤ１０２Ｂに内蔵される撮像部４０２Ａ、４０２Ｂが画像を取得する。次に、ステップＳ７０２では、頭部位置姿勢計測部４０１Ａ、４０１Ｂ、提示物位置姿勢計測部４０６を用いて各計測対象の位置姿勢を取得する。次に、ステップＳ７０３では、仮想空間管理部４０５が、ステップＳ７０２の計測結果を受けて仮想空間情報を更新する。仮想空間管理部４０５の処理の詳細は図８により後述する。次に、ステップＳ７０４では、仮想空間管理部４０５によって配信された仮想空間情報を用いてＭＲ画像生成部４０４Ａ、４０４Ｂ内の仮想空間画像生成部５０１が、ＨＭＤ１０２Ａ、１０２Ｂの位置姿勢に合わせた仮想空間画像をそれぞれ生成する。最後に、ステップＳ７０５では、融合描画部５０３により、画像取得部５０２による現実空間の撮像画像と仮想空間画像生成部５０１による仮想空間画像とを合成してＭＲ画像を生成し、各ＨＭＤの表示部４０３Ａ、４０３Ｂに表示する。
【００３６】
図８は、仮想空間管理部４０５の処理を説明するためのフローチャートである。まず、ステップＳ８０１で、ＨＭＤ情報記憶部６０１から観察者用ＨＭＤ１０２Ｂの情報を読み込み、提示情報生成部６０２に入力する。次に、ステップＳ８０２で、提示情報生成部６０２は頭部位置姿勢計測部４０１Ｂから観察者の頭部位置姿勢を取得し、仮想空間記憶部６０３は提示物位置姿勢計測部４０６から提示物体１０４の位置姿勢を取得する。ここで、仮想空間記憶部６０３は提示物体１０４の位置姿勢を更新させる。次に、ステップＳ８０３では、提示情生成部６０２において、観察者の頭部位置姿勢とＨＭＤ情報記憶部６０１に記憶されているＨＭＤ情報から視野領域オブジェクト１０１の形状と位置姿勢を決定する。そして、ステップＳ８０４において、ステップＳ８０３で生成した視野領域オブジェクト１０１を仮想空間記憶部６０３に追加する。
【００３７】
次に、ステップＳ８０５では、提示物体１０４が視野領域オブジェクト１０１を構成する６平面と接触するかが判定され、接触しない場合はステップＳ８０８へ、接触する場合はステップＳ８０６へ処理を移す。ステップＳ８０６では、提示情報生成部６０２において、視野領域オブジェクト１０１の形状情報と提示物体１０４の形状情報から接触する平面の交線を求め、境界オブジェクト２０１とする。そして、ステップＳ８０７で、ステップＳ８０６で生成した境界オブジェクト２０１を仮想空間記憶部６０３に追加する。
【００３８】
ステップＳ８０８では、仮想空間情報の配信先が観察者１０３ＢのＭＲ画像生成部か、もしくは提示者１０３ＡのＭＲ画像生成部であるかどうかを判定する。仮想空間情報の配信先が提示者１０３ＡのＭＲ画像生成部である場合はそのままステップＳ８１０へ進み、仮想空間情報を提示者１０３ＡのＭＲ画像生成部に配信し、処理を終了する。一方、配信先が観察者１０３ＢのＭＲ画像生成部４０４Ｂである場合はステップＳ８０９へ進む。ステップＳ８０９では、不要物体除去部６０４において、観察者１０３Ｂに提示する仮想空間情報として不要な視野領域オブジェクト１０１と境界オブジェクト２０１を仮想空間情報から除去する。そして、ステップＳ８１０へ進み、不要物体が除去された仮想空間情報を観察者１０３ＢのＭＲ画像生成部に配信し、処理を終了する。
【００３９】
以上のように、第１実施形態に係る視野領域提示装置に前述のような処理を行わせることによって、観察者１０３Ｂと提示者１０３ＡのＨＭＤには、夫々の頭部位置姿勢に応じたＭＲ画像が提示され、観察者１０３Ｂと提示者１０３Ａは複合現実空間を認識することができる。さらに、提示者１０３Ａは複合現実感を認識すると同時に、観察者１０３Ｂの観察する領域を表す視野領域オブジェクト１０１、即ち視体積を視覚的に確認することが可能となる。
【００４０】
［第２実施形態］
上述した第１実施形態においては、提示者用ＨＭＤ１０２Ａ、観察者用ＨＭＤ１０２Ｂは双方とも１つの撮像部を有した単眼ＨＭＤとした。第２実施形態では、少なくとも観察者用ＨＭＤ１０２Ｂが２つの撮像部を有する、２眼のＨＭＤ（ステレオＨＭＤ）である場合の視野領域提示装置を説明する。なお、第２実施形態で用いるステレオ型のビデオシースルーＨＭＤ１０３Ｂの詳細は、上記の非特許文献２に記載されている。
【００４１】
図９は、第２実施形態における視野領域オブジェクト１０１の形状を説明するための模式図である。第１実施形態で説明したように、単眼のＨＭＤの場合は視体積領域が１つの四角錐台で形成されていたが、ステレオＨＭＤの場合は、ステレオで画像を撮像するため、視体積領域は、それぞれの視点位置３０１Ｌ、Ｒを頂点とする２つの四角錐台１０１Ｌ、１０１Ｒで形成される。また、前方クリッピング面３０２Ｌ、Ｒ、及び後方クリッピング面３０３Ｌ、Ｒはそれぞれの視体積領域中に設定される。第２実施形態で用いるステレオ型のビデオシースルーＨＭＤ１０３Ｂは、２つの視体積領域が一部重複する領域を持つ。この重複する領域が観察者の左右眼で同時に観察することができる融像可能領域となる。提示者１０３Ａが提示物体１０４を提示する場合は、融像可能領域以外の視体積領域１０１Ｌ、１０１Ｒに提示物体１０４を配置するよりも、融像可能領域に提示した方が好ましい。よって、第２実施形態の視野領域オブジェクト１０１の形状は融像可能領域（図９太線で囲まれた領域）を用いる。
【００４２】
なお、第２実施形態における観察者用ＨＭＤ１０２Ｂは、ステレオで画像を撮像するため、図５の撮像部４０２Ｂは２つの撮像部を有するものとする。さらに、これら２つの撮像部は、上記の非特許文献２にあるように、観察者の視軸とカメラの視軸が一致するように設置されている。さらに、ＭＲ画像生成部４０４Ｂの仮想空間画像生成部５０１においては、頭部位置姿勢計測部４０１Ｂで求められる観察者の頭部位置姿勢から各撮像装置の位置姿勢を求めて、それぞれの撮像装置に対応する仮想空間画像を生成する。さらに、融合描画部５０３では、画像取得部５０２で取得した２つの撮像装置の現実空間画像と、仮想空間画像生成部５０１で生成した２つの仮想空間画像をそれぞれ合成し、表示部４０３Ｂに表示する。
【００４３】
また、図６における提示情報生成部６０２では、前述のように、融合可能領域から視野領域オブジェクト１０１の形状を決定し、そのパラメータを生成する。第２実施形態においては、視野領域オブジェクトは図９内の１０１に示すような形状となり、６点の頂点情報を仮想物体記憶部に記憶する。
【００４４】
以上のように、第２実施形態によれば、視野領域提示装置をステレオ型のビデオシースルーＨＭＤに対応させることにより、提示者１０３Ａは、観察者１０３Ｂが融像可能な領域を視覚的に確認することができ、観察者１０３Ｂの見やすい位置に提示物体１０４などの提示物体を確実に配置することができる。
【００４５】
［第３実施形態］
第１実施形態においては、観察者と提示者がそれぞれ１人ずつの場合において、本発明を適用した視野領域提示装置の例を示した。しかしながら、本発明は、観察者及び提示者とも人数を限定するものではなく、複数人の観察者、複数人の提示者が同時に存在する場合についても適用可能である。第３実施形態では、第１実施形態と同様の視野領域提示装置において、１人の提示者と２人の観察者が存在する場合を説明する。
【００４６】
第３実施形態では、観察者が２人であるため、図１０に示すように２つの視野領域が形成される。なお、図１０では図示の複雑化を避けるために平面図を用いた。ここで、２人の観察者をそれぞれ１０３Ｂ、１０３Ｃとする。第３実施形態に係る視野領域提示装置では、第１実施形態における図４の構成に観察者用ＨＭＤ１０２Ｃ、ＭＲ画像生成部４０４Ｃが追加されることになる。なお、それらの接続形態は、観察者用ＨＭＤ１０２Ｂ、ＭＲ画像生成部４０４Ｂと同様である。また、観察者用ＨＭＤ１０２Ｃ、ＭＲ画像生成部４０４Ｃの内部構成についても、観察者用ＨＭＤ１０２Ｂ、ＭＲ画像生成部４０４Ｂと同様である。
【００４７】
図１０により、第３実施形態における視野領域オブジェクト１０１の形状を説明する。提示者１０３Ａが２人の観察者１０３Ｂ、１０３Ｃに同時に提示物体１０４を提示する場合には、２人の観察者の視体積が重複する領域に提示物体１０４を移動させて示すことが望ましい。ゆえに、第３実施形態では、仮想空間管理部４０５内の提示情報生成部６０２において、各観察者１０３Ｂ、１０３Ｃの視体積が重複する領域（以降、視体積重複領域とする）を表すオブジェクトを視野領域オブジェクト１０１として生成する。この視野領域オブジェクトの頂点情報を仮想空間記憶部６０３に追加し、提示者１０３Ａに配信することにより、提示者１０３Ａは、２人の観察者１０３Ｂ、１０３Ｃに同時に提示物体１０４を示すことが可能な領域を視覚的に確認できる。なお、３０２Ｂ、３０３Ｂは視体積１０１Ｂに設定された前方クリッピング面及び後方クリッピング面であり、３０２Ｃ、３０３Ｃは視体積１０１Ｃに設定された前方クリッピング面及び後方クリッピング面である。
【００４８】
第３実施形態においては、提示情報生成部６０２において視体積重複領域を表す視野領域オブジェクト１０１のみを生成するが、設定によって、各観察者１０３Ｂ、１０３Ｃの視野領域１０１Ｂ、１０１Ｃを個別に生成しておき、提示者１０３Ａにそれぞれを同時に提示したり、切り替えて提示することを可能にしてもよい。各観察者１０３Ｂ、１０３Ｃの視野領域１０１Ｂ、１０１Ｃを提示者１０３Ａに提示することにより、２人の観察者が別の方向を観察して視体積重複領域１０１が存在しない場合に、提示者１０３Ａはそのような状況を把握することができる。なお、第３実施形態において視野領域１０１Ｂ及び１０１Ｃ及び視体積重複領域１０１は半透明属性で描画され、各々の区別ができるように表示色を色分けするものとするが、前述のように表示属性を限定するものではなく、観察者１０３Ａが視野領域を個別に認識可能な表示であれば適用可能である。
【００４９】
また、第３実施形態においては、仮想物体管理部４０５内の不要物体除去部６０４が観察者１０３Ｂの視野領域１０１ＢをＭＲ画像生成部４０４Ｂに配信する直前に除去することにより、観察者１０３Ｃが観察者１０３Ｂの視野領域１０１Ｂを確認することはできない。しかし、設定によって仮想物体管理部４０５内の不要物体除去部６０４が他の観察者の視野領域を除去せずに配信し、観察者自身が他の観察者の視野領域を確認できるように切り替え可能としてもよい。
【００５０】
また、観察者として視野領域提示装置を利用していた作業者が、設定を変更することで動的に提示者として視野領域提示装置を利用できるようにしてもよいことは明らかであろう。また、提示者として視野領域提示装置を利用していた作業者が、設定を変更することで動的に観察者として視野領域提示装置を利用できるようにしてもよいことも明らかである。更に、上記各実施形態において、視野領域オブジェクトとして視体積、視体積の重複領域を表示したが、「視野領域」を同時に（視体積と区別可能に）提示してもよい。
【００５１】
以上説明したように、上記各実施形態によれば、複数人で複合現実空間を共有する場合に、他者の視野領域を提示することにより、共同作業を効率的に行える効果がある。例えば、ある一人の作業者が他の作業者に物体を提示する場合などにおいて、確実に相手の視野内に提示物体を提示することが可能となり、強調したい部分を観察者側に向けて注目させるなどの効率的な提示方法を実行することが可能となる。
【００５２】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５４】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５６】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５７】
【発明の効果】
以上のように、本発明によれば、複合現実空間を観察する観察者の視野を、別の観察者が当該複合現実空間上で的確に把握することができる。
例えば、観察者の３次元的な視野空間である視体積の領域をＣＧ等を用いて提示者が観察する画像上に表示されるので、提示者は観察者の視体積領域を確実に認識できるようになる。また、この結果、提示者は強調したい部分を観察者側に向けて注目させるといった効果的な提示を容易に実行することが可能となる。
【図面の簡単な説明】
【図１】第１実施形態における動作時の外観を説明するための模式図である。
【図２】提示者１０３ＡのＨＭＤに表示される提示画像を説明する図である。
【図３】視野領域オブジェクトの形状を説明するための模式図である。
【図４】第１実施形態に係る視野領域提示装置の構成を示すブロック図である。
【図５】ＭＲ画像生成部の構成を示すブロック図である。
【図６】仮想空間管理部の構成を示すブロック図である。
【図７】第１実施形態に係る視野領域提示装置の処理を説明するフローチャートである。
【図８】仮想空間管理部の処理を説明するためのフローチャートである。
【図９】第２実施形態における視野領域オブジェクトの形状を説明するための模式図である。
【図１０】第３実施形態における視野領域オブジェクトの形状を説明するための模式図である。

Claims

複合現実空間の画像を提示する画像提示方法であって、
前記複合現実空間における、他ユーザの３次元的な視野領域を算出する算出工程と、
前記視野領域を表す仮想視野オブジェクトを生成する生成工程と、
提示する複合現実空間画像中に前記仮想視野オブジェクトを重畳する重畳工程とを備えることを特徴とする画像提示方法。
前記生成工程は、更に、現実空間に配置された物体の面と前記視野領域を構成する面との交線を示す仮想境界オブジェクトを生成し、
前記重畳工程は前記仮想視野オブジェクトと前記仮想境界オブジェクトを提示する複合現実空間画像中に重畳することを特徴とする請求項１に記載の画像提示方法。
前記仮想視野オブジェクト及び前記仮想境界オブジェクトは、前記他のユーザが観察する画像には重畳されないことを特徴とする請求項２に記載の画像提示方法。
前記他のユーザには、撮像部によって撮像された現実空間画像に仮想画像を重畳することで得られる複合現実空間画像が提示され、
前記算出工程は、前記撮像部の位置姿勢と該撮像部のカメラ内部パラメータに基づいて前記視野領域を算出することを特徴とする請求項１に記載の画像提示方法。
前記視野領域は、前方クリッピング面及び後方クリッピング面で制限された領域であることを特徴とする請求項１乃至４のいずれかに記載の画像提示方法。
前記他のユーザには、２つの撮像部によってステレオ撮像された現実空間画像に仮想画像を重畳した複合現実空間画像が提示され、
前記算出工程は前記２つの撮像部の夫々の視野領域を算出し、
前記生成工程は算出された２つの視野領域の重複部分を前記仮想視野オブジェクトとすることを特徴とする請求項１に記載の画像提示方法。
前記他のユーザが複数存在する場合に、
前記算出工程は複数の他のユーザのそれぞれに対応した複数の視野領域を算出し、
前記生成工程は、前記複数の視野領域に基づいて前記仮想視野オブジェクトを生成することを特徴とする請求項１に記載の画像提示方法。
前記生成工程は、前記複数の視野領域の重複部分を前記仮想視野オブジェクトとすることを特徴とする請求項７に記載の画像提示方法。
前記生成工程は、前記複数の視野領域のそれぞれに対応した複数の仮想視野オブジェクトを生成し、
前記複数の仮想視野オブジェクトを選択的に表示することを特徴とする請求項７に記載の画像提示方法。
前記生成工程は、前記複数の視野領域のそれぞれに対応した複数の仮想視野オブジェクトを生成し、
前記複数の仮想視野オブジェクトを異なる色で表示することを特徴とする請求項７に記載の画像提示方法。
複合現実空間の画像を提示する画像提示装置であって、
前記複合現実空間における、他ユーザの３次元的な視野領域を算出する算出手段と、
前記視野領域を表す仮想視野オブジェクトを生成する生成手段と、
提示する複合現実空間画像中に前記仮想視野オブジェクトを重畳する重畳手段とを備えることを特徴とする画像提示装置。
請求項１乃至請求項１０のいずれか１項に記載の画像提示方法をコンピュータ装置に実行させるためのコンピュータプログラム。
請求項１２に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ装置読み取り可能な記憶媒体。