JP2006163383A - 情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】 観察者に提供する情報をこの観察者が受けているのか否かに応じて、情報の提供を制御するための技術を提供すること。
【解決手段】 頭部装着型表示装置１０８の位置及び／又は姿勢に基づいて、頭部装着型表示装置１０８の電源のオン／オフを制御する。
【選択図】 図１

Description

本発明は、観察者に情報を提供する装置の制御処理に関するものである。

近年、仮想空間や複合現実空間（以下、本明細書では両空間を「仮想空間」と総称する）において、頭部装着型ディスプレイ（以下、ＨＭＤ：Head Mounted Display／ＨＨＤ:Hand Held Displayと略記）という液晶モニタを左右に設けたものを、頭部に装着することによって、３次元像を再現することが行われている（特許文献１参照）。

この技術を応用し、試作段階にあるデータをあたかもその場に存在するかのように表示し、デザイン等の検証をするといったことが可能になってきている。
特開平１１−０８８９１３号公報

しかしながら、ＨＭＤ／ＨＨＤは、通常液晶ディスプレイを使用者の両眼の前にメガネのように装着させる構造となっている。このため、使用者はＨＭＤ／ＨＨＤに表示されている像以外は目に入らない。また、多種多様なＧＵＩを用意し、ＨＭＤ／ＨＨＤに表示したとしても、解像度が十分ではないため、ＨＭＤ／ＨＨＤ越しに細かなＧＵＩなどを目で確認しながら操作することはできない。よって、ＨＭＤ／ＨＨＤの装着時の各種操作が容易にできず、作業に要する時間も長くなる、というような問題点も発生する。

また、観察者に仮想空間を提供するためのシステムを起動すると、ＨＭＤ／ＨＨＤは常に画像を表示するので、観察者はこの画像を観察することで仮想空間を見ることができる。しかしながら、観察者が一度現場を離れるなどの理由で、ＨＭＤ／ＨＨＤを机の上などに置いて退出すると、ＨＭＤ／ＨＨＤに表示されている画像は誰も見ることがないので、この表示は無駄なものとなる。

また、このようなシステムは画像だけでなく音声も提供することがあるが、このようなシステムにおいても、このような問題は生じうる問題である。以上のような問題は、観察者に情報を提供するシステムを駆動する電源に無駄があるということでもある。よって、システムが提供する情報を観察者が受けていない場合には、その状況に応じて、情報の提供を制御する必要がある。

本発明は以上の問題を鑑みて成されたものであり、観察者に提供する情報をこの観察者が受けているのか否かに応じて、情報の提供を制御するための技術を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する入力手段と、
前記入力手段が入力した位置及び／又は姿勢に基づいて、前記表示装置の電源を制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
前記検出手段による前記視線の検出の有無に基づいて、前記表示装置の電源を制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の第１の表示装置の位置姿勢を入力する入力手段と、
前記入力手段が入力した位置及び／又は姿勢に基づいて、前記第１の表示装置とは異なる第２の表示装置に表示するＧＵＩのサイズを制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の第１の表示装置に取り付けられており、当該第１の表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
前記検出手段による前記視線の検出の有無に基づいて、前記第１の表示装置とは異なる第２の表示装置に表示するＧＵＩのサイズを制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する位置姿勢入力手段と、
所望の指示を示す音声を入力するための音声入力手段と、
前記位置姿勢入力手段が入力した位置及び／又は姿勢に基づいて、前記音声入力手段の電源を制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
所望の指示を示す音声を入力するための音声入力手段と、
前記検出手段による前記視線の検出の有無に基づいて、前記音声入力手段の電源を制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する位置姿勢入力手段と、
各種の指示を入力するための入力手段と、
前記位置姿勢入力手段が入力した位置及び／又は姿勢に基づいて、前記入力手段からの指示受付の可否を制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
各種の指示を入力するための入力手段と、
前記検出手段による前記視線の検出の有無に基づいて、前記入力手段からの指示受付の可否を制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する入力工程と、
前記入力工程で入力した位置及び／又は姿勢に基づいて、前記表示装置の電源を制御する制御工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段を有する情報処理装置が行う情報処理方法であって、
前記検出手段による前記視線の検出の有無に基づいて、前記表示装置の電源を制御することを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の第１の表示装置の位置姿勢を入力する入力工程と、
前記入力工程で入力した位置及び／又は姿勢に基づいて、前記第１の表示装置とは異なる第２の表示装置に表示するＧＵＩのサイズを制御する制御工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の第１の表示装置に取り付けられており、当該第１の表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段を有する情報処理装置が行う情報処理方法であって、
前記検出手段による前記視線の検出の有無に基づいて、前記第１の表示装置とは異なる第２の表示装置に表示するＧＵＩのサイズを制御することを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、所望の指示を示す音声を入力するための音声入力手段を有する情報処理装置が行う情報処理方法であって、
観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する位置姿勢入力工程と、
前記位置姿勢入力工程で入力した位置及び／又は姿勢に基づいて、前記音声入力手段の電源を制御する制御工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
所望の指示を示す音声を入力するための音声入力手段と
を有する情報処理装置が行う情報処理方法であって、
前記検出手段による前記視線の検出の有無に基づいて、前記音声入力手段の電源を制御することを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、各種の指示を入力するための入力手段を有する情報処理装置が行う情報処理方法であって、
観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する位置姿勢入力工程と、
前記位置姿勢入力工程で入力した位置及び／又は姿勢に基づいて、前記入力手段からの指示受付の可否を制御する制御工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
各種の指示を入力するための入力手段と
を有する情報処理装置が行う情報処理方法であって、
前記検出手段による前記視線の検出の有無に基づいて、前記入力手段からの指示受付の可否を制御することを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置に取り付けられているセンサでもって、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する工程と、
観察者の瞳位置を検出する工程と、
前記瞳位置より、観察者が正しく装着しているかどうかを判別する工程と、
前記判断の結果に応じて、前記観察者に対する音声通知を制御する工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置に取り付けられているセンサでもって、当該観察者が当該表示装置の表示画面を見た場合の視線の有無を検出する工程と、
前記視線が有ると連続して検出している時間に応じて、前記観察者に通知する画像の表示制御を行う工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置を見る観察者の生体情報を入力する工程と、
前記生体情報に基づいて前記観察者を認証する工程と、
前記認証が成功した場合には、前記観察者に応じた画像の表示制御を行う工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置に取り付けられているセンサでもって、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する工程と、
観察者の瞳位置を検出する工程と、
前記瞳位置より、観察者が正しく装着しているかどうかを判別する工程と、
前記観察者が正しく装着していると判別した場合には、その旨を報知する工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する手段と、
観察者の瞳位置を検出する手段と、
前記瞳位置より、観察者が正しく装着しているかどうかを判別する手段と、
前記観察者が正しく装着していと判別した場合には、その旨を報知する手段と
を備えることを特徴とする。

本発明の構成により、観察者に提供する情報をこの観察者が受けているのか否かに応じて、情報の提供を制御することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
本実施形態に係るシステムでは、ＨＭＤ／ＨＨＤ（以下、この装置を含んで単に「表示装置」と呼称する）を用いて仮想空間を観察する観察者が、この表示装置の表示画面を見ているのか否かを判定する。判定の結果、見ていない場合には表示装置による画像表示は無駄なものと判断し、この表示装置の電源をオフにし、逆に見ていれば、表示装置による画像表示は有効なものと判断し、この表示装置の電源をオンにする。以下、このようなシステムについて説明する。

図１は、本実施形態に係るシステムの機能構成を示すブロック図である。

同図において１０１はビデオカメラで、観察者の頭部に装着する頭部装着型表示装置（Head Mounted Display、以下ＨＭＤと呼称する）１０８に設置されるものであり、自身の位置姿勢に応じて見える現実空間を連続して撮像する。撮像した各フレームの画像信号は画像入力部１０２に出力される。なお、ビデオカメラ１０１は、観察者の視点として用いることから、観察者が自身の頭部に頭部装着型表示装置１０８を装着した際に、観察者の視点（目）の位置にできるだけ近い位置に設けるようにする。

なお、以下の説明は、頭部装着型表示装置１０８の代わりに、体験者が手で保持するタイプの表示装置（Hand Held Display、以下ＨＨＤと呼称する）を用いても同様である。

１０２は画像入力部で、ビデオカメラ１０１から受けた画像信号をディジタル画像データとして後段の画像合成部１０３に送出する。

１０４は位置姿勢センサで、頭部装着型表示装置１０８に取り付けられており、不図示のトランスミッタが発する磁場の変化を検知し、検知した結果の信号を位置姿勢計測部１０５に出力するものである。検知した結果の信号は、トランスミッタの位置を原点とし、この原点の位置で互いに直交する３軸をｘ、ｙ、ｚ軸とする座標系（以下、センサ座標系と呼称する）において、位置姿勢センサ１０４の位置姿勢に応じて検知される磁場の変化を示す信号である。位置姿勢計測部１０５は、この信号に基づいて、センサ座標系における位置姿勢センサ１０４の位置姿勢を求める。位置姿勢計測部１０５が求めたセンサ座標系における位置姿勢センサ１０４の位置姿勢を示すデータは後段の画像生成部１０７に送出される。

画像生成部１０７は、このデータが示す「センサ座標系における位置姿勢センサ１０４の位置姿勢」に、予め測定した「位置姿勢センサ１０４とビデオカメラ１０１との位置姿勢関係」を加算して、「センサ座標系におけるビデオカメラ１０１の位置姿勢」を求める。予め測定した「位置姿勢センサ１０４とビデオカメラ１０１との位置姿勢関係」を示すデータは後述する仮想空間データベース１０６に予め保存されているものとする。

１０６は仮想空間データベースで、仮想空間を構成する１以上の仮想物体に係るデータが登録されているデータベースである。ここで、仮想物体に係るデータとは、例えば仮想物体をポリゴンでもって構成する場合、各ポリゴンの頂点データ、ポリゴンの法線データ、テクスチャデータ、仮想物体の初期位置データなど、仮想物体の映像を描画するために必要なデータである。また仮想空間データベース１０６には上述の通り、予め測定した「位置姿勢センサ１０４とビデオカメラ１０１との位置姿勢関係」を示すデータも保持されている。

よって画像生成部１０７は、仮想空間データベース１０６が保持する仮想物体に係るデータを用いて、仮想空間中に仮想物体を配置する。そして、これを位置姿勢計測部１０５が求めた位置姿勢の視点（ビデオカメラ１０１）から見える仮想空間の映像を生成し、生成した画像のデータを画像合成部１０３に送出する。

画像合成部１０３は、画像入力部１０２から受けた現実空間の画像上に、画像生成部１０７から受けた仮想空間の画像を重畳させて、頭部装着型表示装置１０８に送出する。頭部装着型表示装置１０８には周知の通り、表示部が設けられている。この表示部は、観察者が頭部装着型表示装置１０８を頭部に装着したときに眼前に位置するように頭部装着型表示装置１０８に装着されたものであり、画像合成部１０３から送出された画像信号に基づいた画像を表示する。従って観察者の眼前には画像合成部１０３が生成した画像（現実空間の画像上に仮想空間の画像が重畳された画像）が提供されることになる。

１１０は装着状態検出部で、観察者が頭部装着型表示装置１０８に表示される画像を見ているのか否かを判断する。

１０９は電源制御部で、装着状態検出部１１０による判断結果に基づいて、頭部装着型表示装置１０８の電源のオン／オフ制御を行う。即ち、電源制御部１０９は、装着状態検出部１１０から「観察者は頭部装着型表示装置１０８に表示されている画像を見ている」旨の通知を受けた場合には頭部装着型表示装置１０８の電源をオンにする。しかしながら、装着状態検出部１１０から「観察者は頭部装着型表示装置１０８に表示されている画像を見ていない」旨の通知を受けた場合には頭部装着型表示装置１０８の電源をオフにする処理を行う。

図２は、現実物体としての机の上に配置された仮想物体としてのポットを、頭部装着型表示装置１０８を自身の頭部２０２に装着した観察者２０１が観察している様子を示す図である。同図において２０４は上記机で、２０５が上記ポットである。また、２０１は上記観察者で、頭部２０２には頭部装着型表示装置１０８を装着している。また頭部装着型表示装置１０８には同図に示す如く、位置姿勢センサ１０４、ビデオカメラ１０１が装着されている。よって、ビデオカメラ１０１は、観察者２０１の頭部２０２の位置姿勢に応じて見える現実空間の画像を撮像することになる。また、位置姿勢センサ１０４は、観察者２０１の頭部２０２の位置姿勢に応じてその位置姿勢を変化させるので、変化した位置姿勢を計測する。

２０３は観察者２０１が頭部装着型表示装置１０８を自身の頭部からはずす際に、はずした頭部装着型表示装置１０８を置く、置き台である。また置き台２０３は、最初に頭部装着型表示装置１０８を置く台でもある。

図１６は、本実施形態に係るシステムの基本構成を示すブロック図である。同図に示す如く、システムはコンピュータ１６００、頭部装着型表示装置１０８、位置姿勢計測装置１６６０により構成されている。

先ずコンピュータ１６００について説明する。１６０１はＣＰＵで、ＲＡＭ１６０２やＲＯＭ１６０３に格納されているプログラムやデータを用いてコンピュータ１６００全体の制御を行うと共に、コンピュータ１６００が行う後述の各処理を実行する。なお、図１に示した画像生成部１０７、画像合成部１０３、装着状態検出部１１０は、このＣＰＵ１６０１が有する機能の一部として動作する。

１６０２はＲＡＭで、外部記憶装置１６０７からロードされたプログラムやデータを一時的に記憶するためのエリア、後段のＩ／Ｆ１６０８、１６０９のそれぞれを介して受信したデータを一時的に記憶するためのエリアを備える。さらに、ＣＰＵ１６０１が各種の処理を行う際に用いるワークエリアを備える。

１６０３はＲＯＭで、コンピュータ１６００の設定データやブートプログラムなどを格納する。

１６０４、１６０５はそれぞれキーボード、マウスで、各種の指示をＣＰＵ１６０１に対して入力することができる。

１６０６は表示装置で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１６０１による処理結果を画像や文字などでもって表示することができる。

１６０７は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置により構成されており、ここにＯＳ（オペレーティングシステム）や、コンピュータ１６００が行う後述の各処理をＣＰＵ１６０１に実行させるためのプログラムやデータが保存されている。これらの一部もしくは全部はＣＰＵ１６０１の制御に従ってＲＡＭ１６０２にロードされ、ＣＰＵ１６０１がこれを用いることで、コンピュータ１６００は（コンピュータ１６００が行う）後述する各処理を実行することになる。なお、図１に示した仮想空間データベース１０６はこの外部記憶装置１６０７が有する機能の一部として動作する。

１６０８はＩ／Ｆで、頭部装着型表示装置１０８を本コンピュータ１６００に接続するためのものであり、このＩ／Ｆ１６０８を介してコンピュータ１６００は頭部装着型表示装置１０８とのデータ通信を行うことになる。なお、図１に示した画像入力部１０２はこのＩ／Ｆ１６０８が有する機能の一部として動作する。

１６０９はＩ／Ｆで、位置姿勢計測装置１６６０を本コンピュータ１６００に接続するためのものであり、このＩ／Ｆ１６０９を介してコンピュータ１６００は位置姿勢計測装置１６６０からのデータを受けることができる。

１６１０は上述の各部を繋ぐバスである。

なお、コンピュータ１６００の代わりに、同様の処理を行うための専用ハードウェアを用いても良いし、ワークステーションなどを用いるようにしても良い。

次に、頭部装着型表示装置１０８について説明する。頭部装着型表示装置１０８は上述の通りビデオカメラ１０１、位置姿勢センサ１０４が備わっていると共に、電源制御装置１６５０が備わっている。この電源制御装置１６５０はコンピュータ１６００からの指示に応じて頭部装着型表示装置１０８の電源をオン／オフする。なお、図１に示した電源制御部１０９はこの電源制御装置１６５０に相当する。

次に、位置姿勢計測装置１６６０について説明する。位置姿勢計測装置１６６０は、上記位置姿勢計測部１０５に相当するものであり、位置姿勢センサ１０４から受けた信号をディジタルデータとしてＩ／Ｆ１６０９に送出する。

以下では、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かのチェック処理の様々な形態について説明する。

＜チェック処理１＞
頭部装着型表示装置１０８は使用されていないときには置き台２０３の上に置かれている。この置き台２０３に置かれている位置を以降、初期位置と呼称する場合がある。そして、観察者が頭部装着型表示装置１０８に表示されている画像を見ている場合、当然ながら、頭部装着型表示装置１０８は置き台２０３の上にはなく、観察者の頭部に装着されている。即ち、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かのチェックは、頭部装着型表示装置１０８が置き台２０３の上にあるか否かをチェックすれば成される。

よって、頭部装着型表示装置１０８が置き台２０３の上にあるか否かのチェックを行うために、ビデオカメラ１０１の位置を用いる。先ず、頭部装着型表示装置１０８を置き台２０３の上に置き、そのときのセンサ座標系における位置（置き台２０３上の所定の位置）を初期位置として計測し、データとして仮想空間データベース１０６に登録しておく。

よって、観察者が何もしなければ、ビデオカメラ１０１の位置は、この初期位置と略同じである。即ち、ビデオカメラ１０１と初期位置との距離は略０である。しかし、観察者が頭部装着型表示装置１０８を自身の頭部に装着しようとすると、この距離が０ではなくなる。そこで装着状態検出部１１０はこの距離を常に求めており、この距離が所定距離以上であれば、観察者が頭部装着型表示装置１０８を自身の頭部に装着しようとしていると判断し、その旨を電源制御部１０９に通知する。それにより、電源制御部１０９は頭部装着型表示装置１０８の電源をオンにする。一方、所定距離よりも小さい場合には、観察者が頭部装着型表示装置１０８を自身の頭部に装着しようとしていないと判断し、その旨を電源制御部１０９に通知する。それにより、電源制御部１０９は頭部装着型表示装置１０８の電源をオフにする。

このように、初期位置との距離に応じて、頭部装着型表示装置１０８の電源のオン／オフ制御処理を行う。なお、この「所定距離」はシステムの構築に応じて適宜決めればよい。

なお、電源のオン／オフ制御処理はこれ以外にも例えば、位置姿勢計測部１０５が求めたビデオカメラ１０１の姿勢が略９０度鉛直上向きである場合には、頭部装着型表示装置１０８の電源をオンにする。すなわち、観察者が置き台２０３の上に置かれている頭部装着型表示装置１０８を手にとって自身の頭部に装着しようとしていると判断し、頭部装着型表示装置１０８の電源をオンにする。

また、頭部装着型表示装置１０８の置き台２０３の上における初期位置姿勢を予め求めておき、現在のビデオカメラ１０１の位置姿勢がこの初期位置姿勢から所定量以上異なっていれば、頭部装着型表示装置１０８の電源をオンにする。すなわち、観察者が置き台２０３の上に置かれている頭部装着型表示装置１０８を手にとって自身の頭部に装着しようとしていると判断し、頭部装着型表示装置１０８の電源をオンにする、というようにしても良い。このように、置き台２０３の上に置かれている頭部装着型表示装置１０８を、観察者が自身の頭部に装着しようとしている／いないを判断するためのビデオカメラ１０１の位置成分、姿勢成分の使用方法については特に限定するものではない。

図３は、コンピュータ１６００が行う＜チェック処理１＞による頭部装着型表示装置１０８の電源制御処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１６００に実行させるためのプログラムやデータは外部記憶装置１６０７に保存されている。これをＣＰＵ１６００の制御によりＲＡＭ１６０２にロードし、ＣＰＵ１６００がこれを用いて処理を行うことで、コンピュータ１６００は後述する各処理を行うことになる。なお、図３のフローチャートに従った処理は、例えば、本システムが観察者に対して情報（本実施形態では現実空間の画像上に仮想空間の画像を重畳した画像）を提供するための処理中にサブルーチンとして常に呼び出されるものである。

先ず、以下の処理を行う前段で、置き台２０３の上における頭部装着型表示装置１０８の初期位置（センサ座標系における位置）を計測しておき、データとして外部記憶装置１６０７に登録しておく（ステップＳ０）。

そして、本システムを起動する（ステップＳ１）。そして、頭部装着型表示装置１０８に備わっている位置姿勢センサ１０４から位置姿勢計測装置１６６０に、「センサ座標系における位置姿勢センサ１０４の位置姿勢」を示す信号が入力される。位置姿勢計測装置１６６０はこれをデータとしてＩ／Ｆ１６０９を介してＲＡＭ１６０２に送出する。ＣＰＵ１６００は、このデータが示す「センサ座標系における位置姿勢センサ１０４の位置姿勢」に、予め測定した「位置姿勢センサ１０４とビデオカメラ１０１との位置姿勢関係」を加算して、「センサ座標系におけるビデオカメラ１０１の位置姿勢」を求める（ステップＳ２）。

そして、外部記憶装置１６０７にステップＳ０で予め登録されている初期位置とステップＳ２で求めた位置との距離を求め（ステップＳ３）、この距離が所定距離以上であるのか否かを判断する（ステップＳ４）。ステップＳ４における処理は換言すれば、観察者が頭部装着型表示装置１０８を自身の頭部に装着しようとしているのか否かを判断する処理である。

そしてステップＳ３で求めた距離が所定距離以上である場合（観察者が頭部装着型表示装置１０８を自身の頭部に装着しようとしている場合）、処理をステップＳ５に進める。ＣＰＵ１６００は頭部装着型表示装置１０８に備わっている電源制御装置１６５０に電源をオンにする指示を送出する（ステップＳ５）ので、電源制御装置１６５０は、頭部装着型表示装置１０８の電源をオンにする。

一方、ステップＳ３で求めた距離が所定距離よりも小さい場合（観察者が頭部装着型表示装置１０８を自身の頭部に装着しようとしていない場合）、処理をステップＳ６に進める。ＣＰＵ１６００は頭部装着型表示装置１０８に備わっている電源制御装置１６５０に電源をオフにする指示を送出する（ステップＳ６）ので、電源制御装置１６５０は、頭部装着型表示装置１０８の電源をオフにする。

そして、以上の処理の終了指示が例えば、コンピュータ１６００に備わっているキーボード１６０４やマウス１６０５などでもって入力され、ＣＰＵ１６００がこれを検知した場合には本処理を終了する（ステップＳ７のＹｅｓ）。検知していない場合には処理をステップＳ２に戻し（ステップＳ７のＮｏ）、以降の処理を繰り返す。

＜チェック処理２＞
チェック処理２では、電源制御装置１６５０として、視線検出装置を用いる。即ち、チェック処理２を行うためには、頭部装着型表示装置１０８の表示部の近傍位置、且つ頭部装着型表示装置１０８を頭部に装着した観察者がこの表示部を見た場合に、その視線を検出可能な位置に視線検出装置を装着する。そして視線検出装置によりこのような視線が検出された場合には、コンピュータ１６００にその旨を通知する。ＣＰＵ１６００は、この通知を受けると観察者が頭部装着型表示装置１０８に表示されている画像を見ていると判断し、電源制御装置１６５０に頭部装着型表示装置１０８の電源をオンにするよう、指示する。よって、電源制御装置１６５０は、頭部装着型表示装置１０８の電源をオンにする。

一方、視線検出装置が上記視線を検出しなかった場合には、コンピュータ１６００にその旨を通知する。ＣＰＵ１６００はこの通知を受けると観察者は頭部装着型表示装置１０８に表示されている画像を見ていないと判断し、電源制御装置１６５０に頭部装着型表示装置１０８の電源をオフにするよう、指示する。よって、電源制御装置１６５０は、頭部装着型表示装置１０８の電源をオフにする。

図４は、コンピュータ１６００が行う＜チェック処理２＞による頭部装着型表示装置１０８の電源制御処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１６００に実行させるためのプログラムやデータは外部記憶装置１６０７に保存されている。これをＣＰＵ１６００の制御によりＲＡＭ１６０２にロードし、ＣＰＵ１６００がこれを用いて処理を行うことで、コンピュータ１６００は後述する各処理を行うことになる。なお、図４のフローチャートに従った処理は、例えば、本システムが観察者に対して情報（本実施形態では現実空間の画像上に仮想空間の画像を重畳した画像）を提供するための処理中にサブルーチンとして常に呼び出されるものである。また、図４に示した各ステップにおいて、図３と同じ処理ステップについては同じステップ番号を付けており、その説明は省略する。

ステップＳ４２では、視線検出装置により観察者の視線検出処理を行うので、その検出結果を受ける。視線検出処理については周知の技術であるので、ここでの説明は省略する。そしてＣＰＵ１６００はこの検出結果を参照し、視線が検出されていれば処理をステップＳ４３を介してステップＳ５に進める。ステップＳ５における処理は上述の通りである。

一方、視線を検出できなかった場合には処理をステップＳ４３を介してステップＳ６に進める。ステップＳ６における処理は上述の通りである。

＜チェック処理３＞
チェック処理３では、頭部装着型表示装置１０８にスイッチを設け、観察者は、頭部装着型表示装置１０８でもって画像を見たい場合にはこのスイッチを押下する。スイッチが押下されていれば電源制御装置１６５０はスイッチが押下されている旨をコンピュータ１６００に通知する。コンピュータ１６００はこの通知を受けると「頭部装着型表示装置１０８を使用している」と解釈し、頭部装着型表示装置１０８の電源がオンにする指示を電源制御装置１６５０に通知する。この通知に基づき、電源制御装置１６５０は頭部装着型表示装置１０８の電源をオンにする。

図５は、コンピュータ１６００が行う＜チェック処理３＞による頭部装着型表示装置１０８の電源制御処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１６００に実行させるためのプログラムやデータは外部記憶装置１６０７に保存されている。これをＣＰＵ１６００の制御によりＲＡＭ１６０２にロードし、ＣＰＵ１６００がこれを用いて処理を行うことで、コンピュータ１６００は後述する各処理を行うことになる。なお、図５のフローチャートに従った処理は、例えば、本システムが観察者に対して情報（本実施形態では現実空間の画像上に仮想空間の画像を重畳した画像）を提供するための処理中にサブルーチンとして常に呼び出されるものである。また、図５に示した各ステップにおいて、図３と同じ処理ステップについては同じステップ番号を付けており、その説明は省略する。

ステップＳ５２では、電源制御装置１６５０に備わっているスイッチの押下状態が電源制御装置１６５０によって検知されるので、この検出結果を受ける。そしてＣＰＵ１６００はこの検出結果を参照し、スイッチが押下されていれば処理をステップＳ５３を介してステップＳ５に進める。ステップＳ５における処理は上述の通りである。

一方、スイッチが押下されていなければ処理をステップＳ５３を介してステップＳ６に進める。ステップＳ６における処理は上述の通りである。

以上の説明により、本実施形態によって、観察者に提供する画像をこの観察者が見ているのか否かに応じて、頭部装着型表示装置１０８の電源のオン／オフ制御を行うことができ、システムの電力を省電力化することができる。

なお、本実施形態に係るセンサは磁気センサを用いているが、これに限定するものではなく、その他にも例えば、光学式センサ、超音波式センサ、機械式センサなどを、用途に応じて使い分けるようにしても良い。

また、本実施形態では現実空間と仮想空間とを合成した画像を観察者に提供するためのシステムにおける頭部装着型表示装置１０８の電源のオン／オフ制御について説明した。しかしながら、単に仮想空間のみを観察者に提供する（仮想空間の画像のみを頭部装着型表示装置１０８に表示する）システムに対しても、上記「頭部装着型表示装置１０８の電源のオン／オフ制御」を適用することができる。さらに、適用対象のシステムは以上のようなシステムに限定するものではない。

［第２の実施形態］
本実施形態に係るシステムは、現実空間の画像上に仮想空間の画像を重畳させて頭部装着型表示装置１０８に出力する処理に加え、音声入力を可能とする。音声入力は、所望の指示を音声で入力することによりなされる。音声入力は頭部装着型表示装置１０８に表示されている画像を観察者が見ている時には行うことができるのであるが、見ていないときには、音声入力は行うことができない。以下ではこのようなシステムについて説明する。

図６は、本実施形態に係る機能構成を示すブロック図である。なお、同図において図１に示したものと同じ部分については同じ番号を付けており、その説明は省略する。

７０１は音声入力部で、観察者から発せられた音声を入力する為のものである。７０２は音声情報変換部で、音声入力部７０１から入力された音声を、本システムが解釈可能な命令に変換する処理を行う。変換した命令は画像生成部１０７に送出され、ここで命令に応じた画像が生成される。

また、７１０は電源制御部で、第１の実施形態と同様に、装着状態検出部１１０からの通知に応じて電源のオン／オフ制御処理を行う。しかしながら、第１の実施形態と異なるのは電源のオン／オフ制御処理の対象が頭部装着型表示装置１０８ではなく、音声入力部７０１、及び音声情報変換部７０２である点にある。

図１７は、本実施形態に係るシステムの基本構成を示すブロック図である。本実施形態に係るシステムは第１の実施形態に係るシステムに加えて音声入力装置１７０１、音声入力装置用のＩ／Ｆ１６１１が備わっている点、頭部装着型表示装置１０８には電源制御装置が備わっていない点が第１の実施形態とは異なる。

音声入力装置１７０１には図６に示した音声入力部７０１、電源制御部７１０が備わっている。

図７は、コンピュータ１６００が行う音声入力装置１７０１の電源制御処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１６００に実行させるためのプログラムやデータは外部記憶装置１６０７に保存されている。これをＣＰＵ１６００の制御によりＲＡＭ１６０２にロードし、ＣＰＵ１６００がこれを用いて処理を行うことで、コンピュータ１６００は後述する各処理を行うことになる。なお、図７のフローチャートに従った処理は、例えば、本システムが観察者に対して情報（本実施形態では現実空間の画像上に仮想空間の画像を重畳した画像）を提供するための処理中にサブルーチンとして常に呼び出されるものである。また、図７に示した各ステップにおいて、図３と同じ処理ステップについては同じステップ番号を付けており、その説明は省略する。

ステップＳ４において、外部記憶装置１６０７にステップＳ０で予め登録されている初期位置とステップＳ２で求めた位置との距離が所定距離以上であると判断した場合には、処理をステップＳ７５に進める。ＣＰＵ１６００は音声入力装置１７０１に備わっている音声入力部７０１をオンにする指示を音声入力装置１７０１に送出する（ステップＳ７５）。それと共に、音声入力装置１７０１に備わっている音声情報変換部７０２をオンにする指示を音声入力装置１７０１に送出する（ステップＳ７６）ので、音声入力装置１７０１は、音声入力部７０１、音声情報変換部７０２の電源をオンにする。

その結果、音声入力装置１７０１には音声が入力可能となるし、入力した音声をシステムが解釈可能な命令に変換することができる。

一方、ステップＳ３で求めた距離が所定距離よりも小さい場合、処理をステップＳ７７に進め、ＣＰＵ１６００は音声入力装置１７０１に備わっている音声入力部７０１をオフにする指示を音声入力装置１７０１に送出する（ステップＳ７７）。それと共に、音声入力装置１７０１に備わっている音声情報変換部７０２をオフにする指示を音声入力装置１７０１に送出する（ステップＳ７８）ので、音声入力装置１７０１は、音声入力部７０１、音声情報変換部７０２の電源をオフにする。

以上の処理により、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かに応じて、音声入力装置１７０１の電源のオン／オフ制御処理を行うことができる。

なお、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かの判断処理については、第１の実施形態でも説明したように、これ以外にも考えられる。例えば、上記視線検出装置を用いた視線検出によって判断しても良い。この場合、視線を検出した場合には音声入力装置１７０１の電源をオンにし、検出していなければオフにする。

また、頭部装着型表示装置１０８に設けた上記スイッチの押下状態でもって、判断するようにしても良い。この場合、スイッチが押下されていれば音声入力装置１７０１の電源をオンにし、押下されていなければオフにする。

このように、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かの判断処理は様々なものが考えられる。

［第３の実施形態］
本実施形態に係るシステムは、頭部装着型表示装置１０８と液晶表示装置とを有し、観察者が頭部装着型表示装置１０８に表示されている画像を見ていれば頭部装着型表示装置１０８の電源をオン、液晶表示装置の電源をオフにする。一方、観察者が頭部装着型表示装置１０８に表示されている画像を見ていなければ頭部装着型表示装置１０８の電源をオフにし、液晶表示装置の電源をオンにする。以下、このようなシステムについて説明する。

図８は、本実施形態に係るシステムの機能構成を示すブロック図である。なお、同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。

８０１は表示先切り替え部で、装着状態検出部１１０による判断結果に基づいて、液晶表示装置８０２，頭部装着型表示装置１０８の電源をオン／オフにする処理を行う。装着状態検出部１１０が行う処理は第１の実施形態と同様である。即ち、本実施形態においても装着状態検出部１１０は、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かの判断処理を行う。い、表示先切り替え部８０１はこの判断処理結果に従って、液晶表示装置８０２、頭部装着型表示装置１０８のうち一方をオンにし、他方をオフにする処理を行う。

図１８は、本実施形態に係るシステムの基本構成を示すブロック図である。本実施形態に係るシステムは第１の実施形態に係るシステムに液晶表示装置８０２、液晶表示装置用のＩ／Ｆ１６１２が加わった構成となる。液晶表示装置８０２には頭部装着型表示装置１０８が有する電源制御装置１６５０と同様の電源制御装置１８０２が備わっており、コンピュータ１６００から指示に従って液晶表示装置８０２の電源のオン／オフ制御処理を行う。

図９は、現実物体としての机の上に配置された仮想物体としてのポットを、頭部装着型表示装置１０８を自身の頭部２０２に装着した観察者が観察している様子を示す図である。同図において図２と同じ部分については同じ番号を付けており、その説明は省略する。図９では、液晶表示装置８０２は机２０４の上に配置されており、観察者２０１は、頭部装着型表示装置１０８に表示された画像と、液晶表示装置８０２に表示された画像の両方を見ることができる。よって、上述の通り、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かに応じて何れか一方の表示装置に画像が表示されることになるが、観察者２０１はその何れに表示された画像も見ることができる。

図１０は、コンピュータ１６００が行う液晶表示装置８０２、頭部装着型表示装置１０８それぞれの電源制御処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１６００に実行させるためのプログラムやデータは外部記憶装置１６０７に保存されている。これをＣＰＵ１６００の制御によりＲＡＭ１６０２にロードし、ＣＰＵ１６００がこれを用いて処理を行うことで、コンピュータ１６００は後述する各処理を行うことになる。なお、図１０のフローチャートに従った処理は、例えば、本システムが観察者に対して情報（本実施形態では現実空間の画像上に仮想空間の画像を重畳した画像）を提供するための処理中にサブルーチンとして常に呼び出されるものである。また、図１０に示した各ステップにおいて、図３と同じ処理ステップについては同じステップ番号を付けており、その説明は省略する。

ステップＳ４において、外部記憶装置１６０７にステップＳ０で予め登録されている初期位置とステップＳ２で求めた位置との距離が所定距離以上であると判断した場合には、処理をステップＳ１０５に進める。ＣＰＵ１６００は先ず電源制御装置１６５０に電源をオンにする指示を送出すると共に、現実空間と仮想空間との合成画像を頭部装着型表示装置１０８に出力する（ステップＳ１０５）。このとき、液晶表示装置８０２の電源制御装置１８０２には電源をオフにする指示を送出するので、このとき液晶表示装置８０２の電源はオフとなる。

一方、ステップＳ３で求めた距離が所定距離よりも小さい場合、処理をステップＳ１０６に進める。ＣＰＵ１６００は先ず電源制御装置１６５０に電源をオフにする指示を送出すると共に、液晶表示装置８０２の電源制御装置１８０２には電源をオンにする指示を送出し、現実空間と仮想空間との合成画像を液晶表示装置８０２に出力する（ステップＳ１０６）。

これにより、観察者が見ているであろう方の表示装置に画像を表示することができる。

なお、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かの判断処理については、第１の実施形態でも説明したように、これ以外にも考えられる。例えば上記視線検出装置を用いた視線検出によって判断しても良い。この場合、視線を検出した場合には頭部装着型表示装置１０８の電源をオンにし、検出していなければオフにする。

また、頭部装着型表示装置１０８に設けた上記スイッチの押下状態でもって、判断するようにしても良い。この場合、スイッチが押下されていれば頭部装着型表示装置１０８の電源をオンにし、押下されていなければオフにする。

このように、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かの判断処理は様々なものが考えられる。

また上述の処理では、観察者が見ていないであろう方の表示装置の電源はオフにしているが、オフにしなくても良い。

また、本実施形態では液晶表示装置８０２、頭部装着型表示装置１０８のそれぞれの電源のオン／オフ制御処理を行っている。しかしながら、電源はそれぞれ共にオンにしておき、表示対象の画像の出力先を液晶表示装置８０２、頭部装着型表示装置１０８の何れかに切り替えるようにしても良い。その場合、上記説明で「電源をオンにする」という部分を「画像の出力先とする」と読み替え、「電源をオフにする」という部分を「画像の出力先としない」と読み替えれば良い。

［第４の実施形態］
本実施形態では、ユーザが頭部装着型表示装置１０８に表示されている画像を見ているのか否かに応じて液晶表示装置８０２に表示するグラフィカルユーザインタフェース（ＧＵＩ）の表示サイズを変化させる。本実施形態では頭部装着型表示装置１０８、液晶表示装置８０２の両方に画像が出力される。しかしながら、頭部装着型表示装置１０８の表示部が有する表示解像度が低いと、いくら液晶表示装置８０２の解像度が高くても、観察者はこの表示部を介して液晶表示装置８０２の表示画面を見るので、小さい文字などはつぶれて見えにくい。

そこで、液晶表示装置８０２にＧＵＩを表示する場合に、観察者が頭部装着型表示装置１０８に表示されている画像を見ていない場合には通常のサイズのＧＵＩを液晶画面に表示する。一方、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのであれば、液晶表示装置８０２に表示するＧＵＩの表示サイズを大きくする。これにより、いくら頭部装着型表示装置１０８の表示部の表示解像度が低くても、ＧＵＩ上の文字を見ることができる。

図１１は、液晶表示装置８０２におけるＧＵＩの表示サイズの変更を示す図である。観察者が頭部装着型表示装置１０８に表示されている画像を見ていない場合には、同図１００１に示す如く、通常のサイズでもってＧＵＩを表示する、一方、観察者が頭部装着型表示装置１０８に表示されている画像を見ている場合には、同図１００２に示す如く、通常のサイズよりも大きいサイズでもってＧＵＩを表示する。

図１２は、本実施形態に係るシステムの機能構成を示す図である。同図において、図８と同じ部分については同じ番号を付けており、その説明は省略する。同図において１２０１は解像度切り替え部で、装着状態検出部１１０による判断結果に基づいて、液晶表示装置８０２に表示するＧＵＩのサイズを変更する。装着状態検出部１１０が行う処理は第１の実施形態と同様である。即ち、本実施形態においても装着状態検出部１１０は、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かの判断処理を行う。そして、解像度切り替え部１２０１はこの判断処理結果に従って、液晶表示装置８０２に表示するＧＵＩのサイズの変更処理を行う。

なお、本実施形態に係るシステムの基本構成については基本的には第３の実施形態と同じである。

図１３は、コンピュータ１６００が行う液晶表示装置８０２に表示するＧＵＩのサイズの変更処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１６００に実行させるためのプログラムやデータは外部記憶装置１６０７に保存されている。これをＣＰＵ１６００の制御によりＲＡＭ１６０２にロードし、ＣＰＵ１６００がこれを用いて処理を行うことで、コンピュータ１６００は後述する各処理を行うことになる。なお、図１３のフローチャートに従った処理は、例えば、本システムが観察者に対して情報（本実施形態では現実空間の画像上に仮想空間の画像を重畳した画像）を提供するための処理中にサブルーチンとして常に呼び出されるものである。また、図１３に示した各ステップにおいて、図３と同じ処理ステップについては同じステップ番号を付けており、その説明は省略する。

ステップＳ４において、外部記憶装置１６０７にステップＳ０で予め登録されている初期位置とステップＳ２で求めた位置との距離が所定距離以上であると判断した場合には、処理をステップＳ１３０５に進める。ＣＰＵ１６００は液晶表示装置８０２に表示すべきＧＵＩのサイズを大きくし、液晶表示装置８０２に出力する（ステップＳ１３０５）。

一方、ステップＳ３で求めた距離が所定距離よりも小さい場合、処理をステップＳ１３０６に進める。ＣＰＵ１６００は液晶表示装置８０２に表示すべきＧＵＩを通常のサイズ（ステップＳ１３０５で表示するＧＵＩのサイズよりは小さいサイズ）でもって液晶表示装置８０２に出力する（ステップＳ１３０６）。

なお、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かの判断処理については、第１の実施形態でも説明したように、これ以外にも考えられる。例えば上記視線検出装置を用いた視線検出によって判断しても良い。この場合、視線を検出した場合には液晶表示装置８０２に表示するＧＵＩのサイズを大きくし、視線を検出していない場合には液晶表示装置８０２に表示するＧＵＩのサイズを通常のサイズにする。

また、頭部装着型表示装置１０８に設けた上記スイッチの押下状態でもって、判断するようにしても良い。この場合、スイッチが押下されていれば液晶表示装置８０２に表示するＧＵＩのサイズを大きくし、スイッチが押下されていなければ液晶表示装置８０２に表示するＧＵＩのサイズを通常のサイズにする。

このように、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かの判断処理は様々なものが考えられる。

［第５の実施形態］
本実施形態に係るシステムは、次の通りである。即ち、キーボード１６０４やマウス１６０５等の入力装置からの各種の指示入力を、頭部装着型表示装置１０８に表示されている画像を観察者が見ている時には行うことができるが、見ていないときには指示入力は行うことができない。以下ではこのようなシステムについて説明する。

図１４は、本実施形態に係る機能構成を示すブロック図である。なお、同図において図１に示したものと同じ部分については同じ番号を付けており、その説明は省略する。

１４０１は入力装置制御部で、入力部１４０２からの指示入力を許可するのか否かを、装着状態検出部１１０からの通知に応じて判断する。入力部１４０１は、キーボード１６０４やマウス１６０５等の入力装置に相当するものである。

なお、本実施形態に係るシステムの基本構成については、第１の実施形態と同じである。

図１５は、コンピュータ１６００が行うキーボード１６０４やマウス１６０５等の入力装置からの指示入力の入力制御処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１６００に実行させるためのプログラムやデータは外部記憶装置１６０７に保存されている。これをＣＰＵ１６００の制御によりＲＡＭ１６０２にロードし、ＣＰＵ１６００がこれを用いて処理を行うことで、コンピュータ１６００は後述する各処理を行うことになる。なお、図１５のフローチャートに従った処理は、例えば、本システムが観察者に対して情報（本実施形態では現実空間の画像上に仮想空間の画像を重畳した画像）を提供するための処理中にサブルーチンとして常に呼び出されるものである。また、図１５に示した各ステップにおいて、図３と同じ処理ステップについては同じステップ番号を付けており、その説明は省略する。

ステップＳ４において、外部記憶装置１６０７にステップＳ０で予め登録されている初期位置とステップＳ２で求めた位置との距離が所定距離以上であると判断した場合には、処理をステップＳ１５０５に進める。ＣＰＵ１６００はキーボード１６０４やマウス１６０５等の入力装置からの入力指示を受け付ける（ステップＳ１５０５）。

一方、ステップＳ３で求めた距離が所定距離よりも小さい場合、処理をステップＳ１５０６に進める。ＣＰＵ１６００はキーボード１６０４やマウス１６０５等の入力装置からの入力指示を受け付けない（ステップＳ１５０６）。

なお、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かの判断処理については、第１の実施形態でも説明したように、これ以外にも考えられる。例えば、上記視線検出装置を用いた視線検出によって判断しても良い。この場合、視線を検出した場合にはキーボード１６０４やマウス１６０５等の入力装置からの指示入力を受け付ける。

また、頭部装着型表示装置１０８に設けた上記スイッチの押下状態でもって、判断するようにしても良い。この場合、スイッチが押下されていればキーボード１６０４やマウス１６０５等の入力装置からの指示入力を受け付ける。

このように、観察者が頭部装着型表示装置１０８に表示されている画像を見ているのか否かの判断処理は様々なものが考えられる。

［第６の実施形態］
上記各実施形態では、観察者がＨＭＤ１０８に表示されている画像を見ているのか否かに応じて、様々な情報（画像、音声）の提供方法を切り替える構成について説明した。しかしながら、提供する情報が異なっても基本的な処理は同じであるので、上記各実施形態、及び以下の各実施形態は適宜組み合わせて用いることが可能である。また、提供する情報はこれ以外にも考えられ、画像、音声のみに限定するものではない。

［第７の実施形態］
上記各実施形態では、観察者がＨＭＤ１０８に表示されている画像を見ているのか否かに応じて、様々な情報（画像、音声）の提供方法を切り替える構成について説明した。しかしながら、同様の原理で観察者がＨＭＤ１０８を適切に装着しているか否かに応じて、観察者に適切な装着を促すものが考えられる。

例えば、先ず、ＨＭＤ１０８が有する表示部に取り付けられた上記視線検出装置でもって観察者の視線を検知する。更に、このセンサでもって、観察者の瞳位置を検出する。その結果、観察者の瞳位置が所定の位置ではない場合（例えば表示部の正面に２つの瞳が位置していない場合）には、観察者がＨＭＤ１０８を適切に頭部に装着していないと判断することができる。なお、観察者がＨＭＤ１０８を適切に頭部に装着しているか否かを判断するための構成についてはこれに限定するものではない。

そして、観察者がＨＭＤ１０８を適切に頭部に装着していない場合には、正しく装着するよう促す為の報知を行う。報知形態としては、例えば、音声にて行うようにしても良いし、上記様々な表示装置を用いて表示にて行うようにしても良い。

一方、観察者の瞳位置が所定の位置である場合（例えば表示部の正面に２つの瞳が位置している場合）には、観察者がＨＭＤ１０８を適切に頭部に装着していると判断することができるので、その場合には、上記実施形態と同様の処理を行う。

なお、このように、観察者がＨＭＤ１０８を適切に頭部に装着しているか否かを瞳位置に基づいて判断し、その判断結果に応じて行う一連の処理についてはコンピュータ１６００が行う。

［第８の実施形態］
本実施形態では、上記視線検出装置によって視線が有ると連続して検出している時間をコンピュータ１６００が計時する。そして、計時した時間が所定時間以上である場合、画像を連続して観察することに起因して生ずる目の疲れなどを考慮し、ＨＭＤ１０８を頭部から外して休憩する旨の報知を観察者に対して行う。なお、報知の形態としては、例えば、音声にて行うようにしても良いし、ＨＭＤ１０８が有する表示部にその旨を表示するようにしても良い。

一方、コンピュータ１６００は上記視線検出装置にて視線がない旨を検出している時間についても計時する。そして、視線が有ることを検出していない時間が連続して所定時間に達しないのに、ＨＭＤ１０８を頭部に装着した（即ち視線検出装置が視線を検出した）場合には、観察者の休憩時間が短いことに起因して、もう少し休憩する旨を報知する。この報知形態についても特に限定するものではなく、例えば、上記のように音声や表示にて行うようにする。

［第９の実施形態］
本実施形態では上記実施形態に加え、個人固有の生体情報（人間の虹彩、指紋、静脈など）を利用し、適切な権限を持った観察者にのみコンテンツを表示する。このような生体情報の利用については、例えば、これらのような生体情報を検知するセンサをコンピュータ１６００に取り付け、本システムの利用前にこのセンサにより生体情報を読み取ってコンピュータ１６００に送出する。そして、コンピュータ１６００側で認証処理を行うようにすればよい。

そして認証が成功した場合には、上記実施形態と同様に、システムを動作させる。なおその際には、認証した観察者が権限を有するユーザである場合、この観察者のみが閲覧可能な情報をＨＭＤ１０８が有する表示部に表示するようにしても良い。一方、認証が失敗した場合には、適切な観察者ではないと判断し、例えば、その旨をＨＭＤ１０８が有する表示部などに表示する。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、カメラのＣＰＵやＭＰＵが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、カメラが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、カメラ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、カメラに挿入された機能拡張カードやカメラに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート（機能構成）に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係るシステムの機能構成を示すブロック図である。 現実物体としての机の上に配置された仮想物体としてのポットを、頭部装着型表示装置１０８を自身の頭部２０２に装着した観察者が観察している様子を示す図である。 コンピュータ１６００が行う＜チェック処理１＞による頭部装着型表示装置１０８の電源制御処理のフローチャートである。 コンピュータ１６００が行う＜チェック処理２＞による頭部装着型表示装置１０８の電源制御処理のフローチャートである。 コンピュータ１６００が行う＜チェック処理３＞による頭部装着型表示装置１０８の電源制御処理のフローチャートである。 本発明の第２の実施形態に係る機能構成を示すブロック図である。 コンピュータ１６００が行う音声入力装置１７０１の電源制御処理のフローチャートである。 本発明の第３の実施形態に係るシステムの機能構成を示すブロック図である。 現実物体としての机の上に配置された仮想物体としてのポットを、頭部装着型表示装置１０８を自身の頭部２０２に装着した観察者が観察している様子を示す図である。 コンピュータ１６００が行う液晶表示装置８０２、頭部装着型表示装置１０８それぞれの電源制御処理のフローチャートである。 液晶表示装置８０２におけるＧＵＩの表示サイズの変更を示す図である。 本発明の第４の実施形態に係るシステムの機能構成を示す図である。 コンピュータ１６００が行う液晶表示装置８０２に表示するＧＵＩのサイズの変更処理のフローチャートである。 本発明の第５の実施形態に係る機能構成を示すブロック図である。 コンピュータ１６００が行うキーボード１６０４やマウス１６０５等の入力装置からの指示入力の入力制御処理のフローチャートである。 本発明の第１の実施形態に係るシステムの基本構成を示すブロック図である。 本発明の第２の実施形態に係るシステムの基本構成を示すブロック図である。 本発明の第３の実施形態に係るシステムの基本構成を示すブロック図である。

Claims (28)

1. 観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する入力手段と、
   前記入力手段が入力した位置及び／又は姿勢に基づいて、前記表示装置の電源を制御する制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記制御手段は、前記入力手段が入力した位置と前記表示装置の初期位置との距離が所定距離以上である場合には前記表示装置の電源をオンにし、当該距離が当該所定距離よりも小さい場合には前記表示装置の電源をオフにすることを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記入力手段が入力した姿勢が略鉛直上向きであれば前記表示装置の電源をオフにし、当該姿勢が略鉛直上向きでなければ前記表示装置の電源をオンにすることを特徴とする請求項１に記載の情報処理装置。
4. 観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
   前記検出手段による前記視線の検出の有無に基づいて、前記表示装置の電源を制御する制御手段と
   を備えることを特徴とする情報処理装置。
5. 前記制御手段は、前記検出手段が前記視線を検出した場合には前記表示装置の電源をオンにし、前記検出手段が前記視線を検出していない場合には前記表示装置の電源をオフにすることを特徴とする請求項４に記載の情報処理装置。
6. 前記制御手段は、前記表示装置の電源をオフにした場合には、前記表示装置とは異なる表示装置の電源をオンにすることを特徴とする請求項５に記載の情報処理装置。
7. 前記制御手段は、前記表示装置の電源をオンにした場合には、前記表示装置とは異なる表示装置の電源をオフにすることを特徴とする請求項５に記載の情報処理装置。
8. 観察者の眼前に画像を表示する為の第１の表示装置の位置姿勢を入力する入力手段と、
   前記入力手段が入力した位置及び／又は姿勢に基づいて、前記第１の表示装置とは異なる第２の表示装置に表示するＧＵＩのサイズを制御する制御手段と
   を備えることを特徴とする情報処理装置。
9. 観察者の眼前に画像を表示する為の第１の表示装置に取り付けられており、当該第１の表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
   前記検出手段による前記視線の検出の有無に基づいて、前記第１の表示装置とは異なる第２の表示装置に表示するＧＵＩのサイズを制御する制御手段と
   を備えることを特徴とする情報処理装置。
10. 観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する位置姿勢入力手段と、
    所望の指示を示す音声を入力するための音声入力手段と、
    前記位置姿勢入力手段が入力した位置及び／又は姿勢に基づいて、前記音声入力手段の電源を制御する制御手段と
    を備えることを特徴とする情報処理装置。
11. 観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
    所望の指示を示す音声を入力するための音声入力手段と、
    前記検出手段による前記視線の検出の有無に基づいて、前記音声入力手段の電源を制御する制御手段と
    を備えることを特徴とする情報処理装置。
12. 観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する位置姿勢入力手段と、
    各種の指示を入力するための入力手段と、
    前記位置姿勢入力手段が入力した位置及び／又は姿勢に基づいて、前記入力手段からの指示受付の可否を制御する制御手段と
    を備えることを特徴とする情報処理装置。
13. 観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
    各種の指示を入力するための入力手段と、
    前記検出手段による前記視線の検出の有無に基づいて、前記入力手段からの指示受付の可否を制御する制御手段と
    を備えることを特徴とする情報処理装置。
14. 観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する入力工程と、
    前記入力工程で入力した位置及び／又は姿勢に基づいて、前記表示装置の電源を制御する制御工程と
    を備えることを特徴とする情報処理方法。
15. 観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段を有する情報処理装置が行う情報処理方法であって、
    前記検出手段による前記視線の検出の有無に基づいて、前記表示装置の電源を制御することを特徴とする情報処理方法。
16. 観察者の眼前に画像を表示する為の第１の表示装置の位置姿勢を入力する入力工程と、
    前記入力工程で入力した位置及び／又は姿勢に基づいて、前記第１の表示装置とは異なる第２の表示装置に表示するＧＵＩのサイズを制御する制御工程と
    を備えることを特徴とする情報処理方法。
17. 観察者の眼前に画像を表示する為の第１の表示装置に取り付けられており、当該第１の表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段を有する情報処理装置が行う情報処理方法であって、
    前記検出手段による前記視線の検出の有無に基づいて、前記第１の表示装置とは異なる第２の表示装置に表示するＧＵＩのサイズを制御することを特徴とする情報処理方法。
18. 所望の指示を示す音声を入力するための音声入力手段を有する情報処理装置が行う情報処理方法であって、
    観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する位置姿勢入力工程と、
    前記位置姿勢入力工程で入力した位置及び／又は姿勢に基づいて、前記音声入力手段の電源を制御する制御工程と
    を備えることを特徴とする情報処理方法。
19. 観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
    所望の指示を示す音声を入力するための音声入力手段と
    を有する情報処理装置が行う情報処理方法であって、
    前記検出手段による前記視線の検出の有無に基づいて、前記音声入力手段の電源を制御することを特徴とする情報処理方法。
20. 各種の指示を入力するための入力手段を有する情報処理装置が行う情報処理方法であって、
    観察者の眼前に画像を表示する為の表示装置の位置姿勢を入力する位置姿勢入力工程と、
    前記位置姿勢入力工程で入力した位置及び／又は姿勢に基づいて、前記入力手段からの指示受付の可否を制御する制御工程と
    を備えることを特徴とする情報処理方法。
21. 観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する検出手段と、
    各種の指示を入力するための入力手段と
    を有する情報処理装置が行う情報処理方法であって、
    前記検出手段による前記視線の検出の有無に基づいて、前記入力手段からの指示受付の可否を制御することを特徴とする情報処理方法。
22. 観察者の眼前に画像を表示する為の表示装置に取り付けられているセンサでもって、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する工程と、
    観察者の瞳位置を検出する工程と、
    前記瞳位置より、観察者が正しく装着しているかどうかを判別する工程と、
    前記観察者が正しく装着していると判別した場合には、その旨を報知する工程と
    を備えることを特徴とする情報処理方法。
23. 更に、前記視線が有ると連続して検出している時間が所定時間以上である場合には、所定のメッセージを報知する工程を備えることを特徴とする請求項１５に記載の情報処理方法。
24. 更に、前記視線が有ることを検出していない時間が連続して所定時間以上である場合には、所定のメッセージを報知する工程を備えることを特徴とする請求項１５に記載の情報処理方法。
25. 更に、
    観察者の眼前に画像を表示する為の表示装置を見る観察者の生体情報を入力する工程と、
    前記生体情報に基づいて前記観察者を認証する工程と、
    前記認証が成功した観察者に応じた画像の表示制御を行う工程と
    を備えることを特徴とする請求項１４に記載の情報処理方法。
26. 観察者の眼前に画像を表示する為の表示装置に取り付けられており、当該表示装置の表示画面を当該観察者が見た際の視線の有無を検出する手段と、
    観察者の瞳位置を検出する手段と、
    前記瞳位置より、観察者が正しく装着しているかどうかを判別する手段と、
    前記観察者が正しく装着していと判別した場合には、その旨を報知する手段と
    を備えることを特徴とする情報処理装置。
27. コンピュータに請求項１４乃至２５の何れか１項に記載の情報処理方法を実行させることを特徴とするプログラム。
28. 請求項２７に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images