WO2014171200A1

WO2014171200A1 - 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム

Info

Publication number: WO2014171200A1
Application number: PCT/JP2014/055352
Authority: WO
Inventors: 山本　一幸; 育英細田; 城井　学
Original assignee: ソニー株式会社
Priority date: 2013-04-16
Filing date: 2014-03-04
Publication date: 2014-10-23
Also published as: BR112015025869A2; EP2988275A4; JP6217747B2; EP2988275A1; CN105144248B; US20160093107A1; CN105144248A; US10269180B2; JPWO2014171200A1

Abstract

　仮想物体と現実空間とのインタラクションを好適に提示する。　ユーザーが実在物体１５１を見たことに応じて、又は、見付けたことに応じて、その実在物体１５１に対応する仮想物体１５０が出現する。実在物体１５１は、振動や、電気パルス、発熱又は冷却、風、音、発光、移動、跳躍などの出力を生じさせる出力デバイスを備え、仮想物体１５０が実在物体１５１に行なったアクションに対するリアクションを行なう。仮想物体１５０と実在物体１５１間のインタラクションがうまく同期して行なわれると、よりリアルな印象を与えることができる。

Description

情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム

　本明細書で開示する技術は、拡張現実画像内で現実画像に合成された仮想画像に関する処理を行なう情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システムに係り、特に、仮想物体と現実空間とのインタラクションを提示する情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システムに関する。

　２Ｄ若しくは３Ｄゲームのキャラクターや、プレイヤー（ユーザー）本人の化身であるアバター、さらには、コンピューターのユーザー・インターフェースとして、情報処理の記述分野で、仮想生物が広く利用されている。この種の仮想生物は、情報処理装置上で動作が生成され、画面上を自由に動き回ったり、音声を発したりする。

　また最近では、拡張現実感（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：ＡＲ）若しくは複合現実感のように、仮想的な画像を現実画像に重ね合わせて見せる技術が浸透しつつある。現実画像に重ね合わせる仮想画像には、ゲームのキャラクターや、プレイヤー（ユーザー）本人の化身であるアバター、仮想ペット、コンピューターのユーザー・インターフェースといった仮想生物、あるいは自動車などの仮想的な移動体が挙げられる。

　例えば、ユーザーと対話することが可能で、仮想画面上を歩き回る仮想ペットを、実環境の画像と合成して表示するエンタテイメント装置について提案がなされている（例えば、特許文献１を参照のこと）。このエンタテイメント装置は、システム・ユニットで生成した仮想ペットをビデオ・カメラで捕捉した実画像にレンダリングして、ディスプレイとスピーカーを有するモニターやテレビセットのようなディスプレイ・サウンド出力装置に表示する。しかしながら、仮想ペットは画面内でのみ移動し、その行動やリアクションを表現する音声などがディスプレイ・サウンド出力装置の設置場所から出力されるだけであり、仮想ペットと現実空間とのインタラクションをリアルに表現するには限界がある。

　また、実物体が通過する奥行き位置に、ＤＦＤ（Ｄｅｐｔｈ　Ｆｕｓｉｏｎ　Ｄｉｓｐｌａｙ）型の３次元表示装置により表示される３次元立体像の奥行き位置を一致させ、仮想物体が観察者にとってあたかも同じ空間に立体的に存在し、両者がインタラクションを持つかのような感覚を呈示するオブジェクト表示装置について提案がなされている（例えば、特許文献２を参照のこと）。しかしながら、このオブジェクト表示装置が与えることができるのは、視覚的なインタラクションの効果に限定される。また、インタラクションの効果が及ぶのは、仮想物体を表示するオブジェクト表示装置の設置場所に限定される。

　また、仮想物体を含んだ仮想空間の映像を現実空間に重畳させてヘッド・マウント・ディスプレイで提示する画像処理方法について提案がなされている（例えば、特許文献３を参照のこと）。この画像処理方法によれば、仮想物体が仮想空間中を動き回る音などの効果音をスピーカーから出力する。しかしながら、効果音は、仮想物体の仮想空間中でのインタラクションを表現したものであり、仮想物体の現実空間とのインタラクションを提示するものではない。

　また、実視野内の皮膚の上に仮想ペットが虚像として現れるように、仮想ペットの画像を表示させる情報端末装置について提案がなされている（例えば、特許文献４を参照のこと）。仮想ペットが手などの皮膚の動きに合わせて動くことにより、あたかも皮膚の動きに仮想ペットが反応しているような印象を与える。すなわち、この情報端末装置によれば、現実空間にいるユーザーは仮想ペットに対するアクションを行なうことができるが、逆に仮想ペットが現実空間でアクションを行なうことはできない。すなわち、仮想ペットと現実空間とのインタラクションを提示するものではない。

　本明細書で開示する技術の目的は、仮想物体と現実空間とのインタラクションを好適に提示することができる、優れた情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システムを提供することにある。

　本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
　実在物体に動作を加える出力部と、
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記出力部からの出力を制御する制御部と、
を具備する情報処理装置である。

　本願の請求項２に記載の技術によれば、請求項１に記載の情報処理装置は、前記情報処理装置を識別するための識別情報をさらに備えている。

　本願の請求項３に記載の技術によれば、請求項１に記載の情報処理装置は、前記仮想物体が前記実在物体に対して行なう動作の検出結果を受信する受信部をさらに備えている。そして、前記制御部は、受信した前記検出結果に従って、前記出力部からの出力を制御するように構成されている。

　本願の請求項４に記載の技術によれば、請求項１に記載の情報処理装置は、前記仮想物体の動作を制御する仮想物体制御部をさらに備えている。そして、前記制御部は、前記仮想物体制御部により制御される前記仮想物体の動作に応じて、前記出力部からの出力を制御するように構成されている。

　本願の請求項５に記載の技術によれば、請求項１に記載の情報処理装置の前記出力部は、前記実在物体の中に組み込まれた、振動デバイス、パルス発生デバイス、発熱デバイス、冷却デバイス、送風デバイス、音響デバイス、発光デバイス、移動デバイスのうち少なくとも１つの出力デバイスを備えている。

　また、本願の請求項６に記載の技術は、
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作を取得するステップと、
　前記仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記実在物体に動作を加えるステップと、
を有する情報処理方法である。

　また、本願の請求項７に記載の技術は、
　特定の実在物体を検出する検出部と、
　前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示部と、
を具備する表示装置である。

　本願の請求項８に記載の技術によれば、請求項７に記載の表示装置の前記検出部は、前記実在物体を識別し、前記表示部は、識別した前記実在物体に対応した前記仮想物体を表示するように構成されている。

　本願の請求項９に記載の技術によれば、請求項７に記載の表示装置の前記検出部は、前記実在物体が備える識別情報に基づいて前記実在物体を識別し、又は、物体認識により前記実在物体を識別するように構成されている。

　本願の請求項１０に記載の技術によれば、請求項７に記載の表示装置の前記検出部は、ユーザーの視界内から前記実在物体を検出し、前記表示部は、前記実在物体に重ね合わせて前記仮想物体を表示するように構成されている。

　本願の請求項１１に記載の技術によれば、請求項７に記載の表示装置は、前記仮想物体の動作を制御する仮想物体制御部をさらに備えている。

　本願の請求項１２に記載の技術によれば、請求項１１に記載の表示装置の前記仮想物体制御部は、ユーザーの行動に応じて前記仮想物体の出現又は消滅を制御するように構成されている。

　本願の請求項１３に記載の技術によれば、請求項１１に記載の表示装置の前記仮想物体制御部は、ユーザーの行動又は状況、時間帯に応じて、前記表示部が表示する前記仮想物体の情報量を制御するように構成されている。

　本願の請求項１４に記載の技術によれば、請求項１１に記載の表示装置の前記仮想物体制御部は、前記仮想物体の前記実在物体に対する動作を制御し、又は、前記仮想物体が前記実在物体から受ける動作に応じて、前記仮想物体の動作を制御するように構成されている。

　本願の請求項１５に記載の技術によれば、請求項１１に記載の表示装置の前記検出部は、前記仮想物体の前記実在物体に対する動作、又は、前記仮想物体が前記実在物体から受ける動作を検出し、前記仮想物体制御部は、前記検出部の検出結果に基づいて、前記仮想物体の動作を制御するように構成されている。

　本願の請求項１６に記載の技術によれば、請求項１１に記載の表示装置の前記仮想物体制御部は、前記実在物体の動作と同期するように、前記仮想物体の動作を制御するように構成されている。

　本願の請求項１７に記載の技術によれば、請求項７に記載の表示装置の前記表示部は、ユーザーの頭部又は顔部に装着して用いられ、ユーザーの頭部又は顔部の位置並びに姿勢を検出する位置姿勢検出部をさらに備えている。そして、前記表示部は、ユーザーの頭部又は顔部の位置又は姿勢の変化とは逆方向に、前記仮想物体の表示を修正するように構成されている。

　また、本願の請求項１８に記載の技術は、
　特定の実在物体を検出する検出ステップと、
　前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示ステップと、
を有する表示方法である。

　また、本願の請求項１９に記載の技術は、
　仮想物体の動作を制御する制御装置と、
　実在物体を検出して、対応する仮想物体を表示する表示装置と、
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
を具備する情報処理システムである。

　但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない（以下同様）。

　また、本願の請求項２０に記載の技術は、
　実在物体を検出して、対応する仮想物体を表示するとともに、仮想物体の動作を制御する表示装置と、
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
を具備する情報処理システムである。

　本明細書で開示する技術によれば、仮想物体と現実空間とのインタラクションを好適に提示することができる、優れた情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システムを提供することができる。

　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、拡張現実感画像をユーザーに提示する情報処理システム１００の機能的構成を模式的に示した図である。図２は、情報処理システムの具体的に構成例１００－２を示した図である。図３は、情報処理システム１００－２内の通信シーケンス例を示した図である。図４は、情報処理システムの具体的に構成例１００－４を示した図である。図５は、図４に示した情報処理システムの変形例１００－５を示した図である。図６は、情報処理システム１００－４内の通信シーケンス例を示した図である。図７は、本明細書に開示する技術に適用可能な画像表示装置７００の外観構成を示した図である。図８は、ユーザーが装着した状態の画像表示装置７００を上方から眺めた様子を示した図である。図９は、画像表示装置７００の内部構成例を示した図である。図１０は、専用のハードウェア装置として構成される出力装置２０２の内部構成例を模式的に示した図である。図１１は、アクチュエーター部１０２０の構成例を模式的に示した図である。図１２Ａは、出力装置２０２の具体例を示した図である。図１２Ｂは、出力装置２０２の具体例を示した図である。図１２Ｃは、出力装置２０２の具体例を示した図である。図１３は、振動デバイス１１０１の構成例を示した図である。図１４は、図１３に示した振動デバイス１１０１の動作例を示した図である。図１５は、図１３に示した振動デバイス１１０１の動作例を示した図である。図１６は、図１２Ｃに示した出力装置２０２の動作例を示した図である。図１７は、図１２Ｃに示した出力装置２０２の動作例を示した図である。図１８は、図１２Ｃに示した出力装置２０２の動作例を示した図である。図１９は、図１２Ｃに示した出力装置２０２の動作例を示した図である。図２０は、図１２Ｃに示した出力装置２０２の動作例を示した図である。図２１は、ユーザーの頭部の動きに追従して仮想物体１５０を提示する様子を示した図である。図２２は、ユーザーの頭部の動きに追従させずに仮想物体１５０を提示する様子を示した図である。図２３は、ユーザーの頭部の動きに対して、仮想物体１５０の画像の動きが遅延している様子を示した図である。図２４Ａは、ユーザーがヘッド・マウント・ディスプレイ２４０１越しに実在物体１５１を観察している様子を示した図である。図２４Ｂは、ユーザーがヘッド・マウント・ディスプレイ２４０１越しに仮想物体１５０を観察している様子を示した図である。図２５は、各ユーザーがヘッド・マウント・ディスプレイ２５０１、２５０２、２５０３、…越しに仮想物体１５０Ａ、１５０Ｂ、１５０Ｃ、…を観察する様子を示した図である。図２６は、室内の識別情報１５２が配設された領域が実在物体になる例を示した図である。図２７は、ユーザーの身体の一部が実在物体になる例を示した図である。図２８は、ユーザーの身体の一部が実在物体になる例を示した図である。図２９は、図４に示した情報処理システムのさらなる変形例１００－２９を示した図である。

　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

　図１には、仮想的な画像を現実画像に重ね合わせた拡張現実感又は複合現実感の画像をユーザーに提示する情報処理システム１００の機能的構成を模式的に示している。図示の情報処理システム１００は、仮想的な画像として、仮想物体１５０を現実空間に合成して提示するが、仮想物体制御部１０１と、仮想物体生成部１０２と、表示部１０３と、検出部１０４と、出力部１０５と、出力制御部１０６と、環境検出部１０７と、状態検出部１０８を備えている。

　本実施形態で言う「仮想物体」とは、例えばユーザーの化身などのアバターや、２Ｄ若しくは３Ｄゲームのキャラクター、コンピューターのユーザー・インターフェースなどである。仮想物体１５０は、人物である必要はなく、仮想ペットなど動物であってもよい。また、仮想物体１５０は生物である必要はなく、自動車やヘリコプター、船舶などの移動体であってもよい。あるいは、仮想物体１５０は、物の画像ではなく、テキストであってもよい。あるいは、仮想物体１５０は、（画像の表示を伴わない）音声（音声アシスタントなど）であってもよい。仮想物体１５０を、物の画像と音声の組み合わせで表現する場合には、画像の出現場所と音声の発生場所を一致させる必要がある。以下では、説明の便宜上、人物の仮想物体１５０として扱う。また、仮想物体を現実画像に合成する方法として、シースルーのヘッド・マウント・ディスプレイで観察されるユーザーの視界である現実空間に仮想画像を重ね合わせる方法や、ビデオシースルーのヘッド・マウント・ディスプレイのようにカメラで撮影された現実空間の画像に仮想画像を重ね合わせる方法がある。

　仮想物体制御部１０１は、仮想物体１５０の（現実空間への）出現並びに（現実空間からの）消滅、（現実空間中に）出現中の仮想物体１５０の動作や行動を制御する。基本的には、ユーザーが実在物体１５１を見たことに応じて、又は、見付けたことに応じて、仮想物体制御部１０１は、その実在物体１５１に対応する仮想物体１５０を出現させる（但し、実在物体１５１に仮想物体１５０があらかじめ対応付けられていることが前提となる）。

　ここで、実在物体１５１には、ＩＣタグやバーコード（ＱＲコード（登録商標）、ドット・コードでもよい）などの識別情報１５２が配設されている。実在物体１５１がスマートフォンのように表示部を持つ情報端末の場合、識別情報１５２はバーコードなどの表示画像であってもよい。実在物体１５１は、印刷物でもよいし、特徴を持った（言い換えれば、画像認識し易い）物体でもよく、ＩＣタグなどの識別情報１５２を必ずしも含んでいなくてもよい。上記の「実在物体１５１を見たことに応じて」又は「見付けたことに応じて」とは、実際には、実在物体１５１に配設された識別情報１５２を認識したり、画像の物体認識により実在物体１５１を特定したりする処理で実現される。識別情報１５２毎に、対応する仮想物体１５０の情報がライブラリー化されている。

　また、仮想物体１５０を出現させる方法は、ユーザーがジェスチャーやその他の入力操作などにより出現を要求したことに応じて出現するプル（ＰＵＬＬ）型と、ユーザーの意図とは関係なく、システム側で所定のイベントが発生したことにより出現するプッシュ（ＰＵＳＨ）型に分類される。

　上述した、実在物体１５１に対応する仮想物体１５０が出現させる方法は、ＰＵＬＬ型の出現に該当する。また、ユーザーが仮想物体１５０若しくは実在物体１５１が存在する領域から目線を外す（又は、目線を外してから所定時間が経過する）、ユーザーが仮想物体１５０に関心を示さなくなる（例えば、所定時間以上話し掛けない）といったイベントが発生すると、仮想物体制御部１０１は仮想物体１５０を消滅させる。

　一方、ＰＵＳＨ型の場合、出現形態が画像、テキスト、音声のいずれであれ、ユーザーの心地の良いタイミングで心地の良い出現方法で、仮想物体１５０が出現することが望ましい。例えば、ユーザーの行動認識を行ないながら、仮想物体１５０の出現タイミングと出現方法を制御する。ユーザーの行動や状況、時間帯などに応じて、仮想物体１５０の情報量を制御する必要もある（例えば、ユーザーが電車の中で座っているときには、仮想物体１５０は画像付きのリッチ・コンテンツでもよいが、人混みの中を歩いているときには、音声だけの仮想物体１５０にする）。また、ＰＵＳＨ型で出現する仮想物体１５０を、例えばユーザーの操作によって消滅させるようにしてもよい（例えば、表示された仮想物体１５０をユーザーが摘まんで動かす、指先で弾き飛ばすなどのジェスチャーで、消滅させるようにしてもよい）。勿論、ＰＵＬＬ型で出現する仮想物体１５０に対しても、同様の消滅方法を適用してもよい。

　また、仮想物体制御部１０１は、仮想物体１５０の動作又は行動として、実在物体１５１に対するアクションを行なわせる。仮想物体制御部１０１は、仮想物体１５０の動作や行動を、例えば以下の（１）～（６）のうちいずれか１つの制御ルール、又は、（１）～（６）のうち２以上の組み合わせからなる制御ルールに基づいて、制御する。要するに、仮想物体１５０は、自律動作する場合もあれば、ユーザーの操作で動作する場合もある。

（１）ユーザーが現在行なっているゲームのルールなどに従う自律動作
（２）ユーザーが現実世界で行なっている行動若しくは動作
（３）ユーザーが仮想空間で行なう行動若しくは動作（例えばマウスやタッチパネル、その他の入力デバイスを介して行なうゲームの操作）
（４）現実空間（若しくは仮想空間）におけるユーザーの現在の状態
（５）仮想物体１５０がいる現実空間（若しくは仮想空間）における環境
（６）実在物体１５１（出力部１０５）が仮想物体１５０に対して行なうアクション又はリアクション

　仮想物体生成部１０２は、仮想物体制御部１０１で出現と消滅、動作や行動が制御される、人物や動物などの仮想物体１５０の画像を生成する。仮想物体１５０の画像データの生成には、テクスチャー・マッピングや、光源、シェーディングなど、さまざまなレンダリング技術を適用することができるが、本明細書では詳細な説明を省略する。また、仮想物体生成部１０２は、仮想物体１５０の画像とともにテキストや音声を生成することや、画像を伴わない、テキスト又は音声のみからなる仮想物体１５０を生成することもある（前述）。

　表示部１０３は、仮想物体生成部１０２で生成した仮想物体１５０の画像を、現実画像と重なり合うように合成して、画面に表示出力する。表示部１０３が、ユーザーの頭部又は顔部に装着して用いられる画像表示装置（ヘッド・マウント・ディスプレイ）として構成される場合（後述）、ユーザーの視界内に仮想物体１５０の画像を、ユーザーの視界である現実空間に重ね合わせてシースルー表示し、又は、カメラで撮影された現実空間の画像に重ね合わせてビデオシースルー表示する。あるいは、表示部１０３に投影型の画像装置を適用して、現実空間上の物体に仮想物体１５０を投影するようにしてもよい。例えば、ユーザーが実在物体１５１を見たことに応じて、又は、見付けたことに応じて、仮想物体１５０が出現する場合（前述）、後述するように、仮想物体１５０は実在物体１５１に重ね合わせて表示される。

　検出部１０４は、現実空間又は仮想空間で発生するイベントを検出する。例えば、検出部１０４は、カメラを備え、カメラで撮影したユーザーの視界の画像を認識処理して、例えばその形状などに基づいて仮想物体１５０がアクションの対象となっている実在物体１５１を特定する。あるいは、実在物体１５１にＩＣタグやバーコード（ＱＲコード（登録商標）、ドット・コードでもよい）などの識別情報１５２が配設されている場合には、検出部１０４は、識別情報１５２を読み取って、実在物体１５１を特定することができる。実在物体１５１が特定されると、これに対応する仮想物体１５０が出現する。

　本実施形態では、仮想物体１５０と現実空間に存在する実在物体１５１の間でインタラクションを行なうことを想定している。検出部１０４は、このようなインタラクション、すなわち、仮想物体１５０が実在物体１５１に対して行なうアクションや実在物体１５１からのリアクション、実在物体１５１が仮想物体１５０に対して行なうアクションや仮想物体１５０からのリアクションの検出も行なう。仮想物体１５０が実在物体１５１に対して行なうアクションとは、例えば仮想物体１５０が実在物体１５１に乗り上げる、実在物体１５１上で足踏みをする、実在物体１５１を叩くなどの物理的な操作である。検出部１０４は、仮想物体１５０と実在物体１５１間のインタラクションを常時モニタリングする必要がある。但し、仮想物体１５０が出現していない間はモニタリングする必要がないので、カメラの動作をオフにして、消費電力を低減するようにしてもよい。

　また、検出部１０４は、表示部１０３に表示される仮想物体１５０の画像を解析して、仮想物体１５０が実在物体１５１に対して行なっているアクションを検出してもよいし、あるいは、アクションに関する情報を、仮想物体１５０の動作若しくは行動を制御する仮想物体制御部１０１から直接取得するようにしてもよい。

　また、検出部１０４は、出力部１０５が実在物体１５１を通じて仮想物体１５０に対して行なうアクション（後述）も検出する。例えば、実在物体１５１に重ね合わせて表示した仮想物体１５０の画像の解析結果や、カメラの撮像画像の認識結果などに基づいて、実在物体１５１が行なうアクションを検出することができる。あるいは、検出部１０４は、出力部１０５に仮想物体１５０に対して行なわせたアクションを、出力制御部１０６からフィードバックを受けてもよい。この検出結果は、仮想物体制御部１０１に通知される。仮想物体制御部１０１は、出力部１０５が行なったアクションに対して、仮想物体１５０のリアクションを制御する。

　また、検出部１０４は、ユーザーと仮想物体１５０間のインタラクションも検出する（例えば、ユーザーの身体の一部が実在物体１５１となる場合など）。ユーザーが行なうアクション又はリアクションの検出には、モーション・キャプチャー技術を応用したジェスチャー認識や、音声認識などが用いられる。

　検出部１０４は、表示部１０３に表示される仮想物体１５０の表情、あるいは、仮想物体１５０がとった行動などのコンテキストに基づいて、仮想物体１５０の精神状態（興奮している、又は、冷めている）やその他の状態を判断するようにしてもよい。あるいは、検出部１０４は、仮想物体制御部１０１から仮想物体１５０の精神状態に関する情報を取得して、出力制御部１０６に通知するようにしてもよい。これによって、出力制御部１０６は、出力部１０５の動作を制御して、仮想物体１５０の精神状態に応じたアクション又はリアクション、ユーザーへの触感フィードバック（後述）を行なうことができる。

　出力部１０５は、仮想物体１５０がアクションを行なう対象となっている実在物体１５１に対して、振動や、電気パルス、発熱又は冷却、風、音、発光、移動、跳躍などの出力を生じさせ、実在物体１５１によるリアクションを実現する。出力部１０５は、このような出力を行なうために、振動デバイス、パルス発生デバイス、発熱デバイス、冷却デバイス、送風デバイス、音響デバイス、発光デバイス、車輪などの移動デバイスのうち少なくとも一部の出力デバイスを備えている。あるいは、これらの出力デバイスを備えた出力部１０５が実在物体１５１の中に組み込まれている（言い換えれば、実在物体１５１の中には、出力部１０５を内蔵したものがある）。以下では、便宜上、実在物体１５１は出力部１０５を内蔵しているものとして説明する。

　出力制御部１０６は、検出部１０４が検出した、仮想物体１５０が実在物体１５１に対して行なっているアクションに応じたリアクションとして、出力部１０５を構成する各出力デバイスの駆動を制御する。例えば、仮想物体１５０が実在物体１５１上で足踏みする力（あるいは叩く力）の強弱に応じて、出力制御部１０６は、振動の振幅や周期、発熱量、音声又は音響の音量、発光量など出力部１０５の各出力デバイス１１０１～１１０８（後述並びに図１１を参照のこと）からの出力を調整して、実在物体１５１によるリアクションを行なうことによって、仮想物体１５０と現実空間とのインタラクションを表現する。出力制御部１０６は、仮想物体１５０が行なうアクション（すなわち、表示部１０３が表示する仮想物体１５０の動作）と正確に同期をとりながら、出力部１０５のリアクションを行なわせることによって、仮想物体１５０がリアルにその場所に存在するという感じを演出する。

　また、出力制御部１０６は、出力部１０５を用いて、仮想物体１５０のアクションに対するリアクションではなく、仮想物体１５０に対するアクションを行なうこともできる。例えば、仮想物体１５０を揺する、加熱する、冷やす、風を吹くなど、逆に仮想物体１５０に対するアクションを行なうこともできる。

　環境検出部１０７は、仮想物体１５０やユーザーを取り巻く現実空間の環境に関する情報を検出する。仮想物体制御部１０１は、環境検出部１０７で検出された環境情報を必要に応じて入力して、仮想物体１５０の動作や行動の制御に利用するようにしてもよい。また、出力制御部１０６も、環境情報に応じて出力部１０５の出力を調整して、仮想物体１５０と実在物体１５１とのインタラクションの表現に環境の影響を付加するようにしてもよい。

　環境検出部１０７は、環境情報として、例えば、環境光強度、音響強度、位置若しくは場所、温度、天気、時刻、周囲画像、外側にいる人数などを検出する。環境検出部は、このような環境情報を検出するために、光量センサーや、マイクロフォン、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサー、温度センサー、湿度センサー、時計、イメージ・センサー（カメラ）、放射線センサーなどの各種の環境センサーを備えている。

　状態検出部１０８は、仮想物体１５０を利用する（若しくは仮想物体１５０を観察する）ユーザーの状態を検出する。仮想物体制御部１０１は、状態検出部１０８で検出された状態情報を必要に応じて入力して、仮想物体１５０の出現・消滅のタイミング制御、仮想物体１５０の動作や行動の制御に利用する。また、出力制御部１０６も、状態情報に応じて出力部１０５の出力を調整して、仮想物体１５０と現実空間とのインタラクションの表現にユーザーの状態の影響を付加するようにしてもよい。

　状態検出部１０８は、ユーザーの頭部動作を追跡するために、例えばユーザーの頭部の位置及び姿勢の情報又は姿勢の情報を取得する。ユーザーの頭部動作を追跡するために、状態検出部１０８は、例えば３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。また、状態検出部１０８は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか１つ又は２以上のセンサーをさらに組み合わせて用いてもよい。

　また、状態検出部１０８は、位置情報の取得に、携帯電話基地局情報やＰｌａｃｅＥｎｇｉｎｅ（登録商標）情報（無線ＬＡＮアクセスポイントからの電測情報）など、各種インフラストラクチャーから提供される情報を組み合わせて用いるようにしてもよい。

　また、状態検出部１０８は、ユーザーの作業状態や行動状態（静止、歩行、走行などの移動状態、瞼の開閉状態、視線方向）、精神状態（ユーザーが仮想物体を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など）、さらには生理状態を検出する。状態検出部１０８は、これらの状態情報をユーザーから取得するために、ユーザーの顔を撮影するカメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・センサーなどの各種の状態センサー、タイマーを備えていてもよい。

　環境検出部１０７並びに状態検出部１０８は、情報処理システム１００の任意の構成要素である。仮想物体制御部１０１が環境情報や状態情報に基づいて仮想物体１５０の動作又は行動を制御するかどうかは任意である。

　図１に示したような構成の情報処理システム１００は、１台の装置で実現する場合もあれば、物理的に独立しネットワークなどで相互接続される２台以上の装置で実現する場合もある。

　図２には、情報処理システムの具体的な構成例１００－２を示している。図示の例では、情報処理システム１００－２は、仮想物体１５０を現実空間に合成して表示する表示装置２０１と、仮想物体１５０が現実空間で行なったインタラクションを表現する出力装置２０２という２台の物理的に独立した装置で構成される。

　表示装置２０１は、例えばゲーム機本体などであり、仮想物体制御部１０１と、仮想物体生成部１０２と、表示部１０３と、検出部１０４を備えている。

　仮想物体制御部１０１は、ゲームなどのルールに従って仮想物体１５０の出現や消滅、その動作若しくは行動を制御する。仮想物体生成部１０２は、仮想物体１５０の画像を生成する。そして、表示部１０３は、仮想物体生成部１０２で生成した仮想物体１５０の画像を、現実画像と重なり合うように合成して、画面に表示出力する。また、検出部１０４は、仮想物体制御部１０１で制御される仮想物体１５０の動作や行動を常時監視して、仮想物体１５０が現実空間で（若しくは仮想空間で）行なうアクションを検出する。

　なお、図２では省略したが、表示装置２０１は、環境検出部１０７と状態検出部１０８のうち少なくとも一方を備えていてもよい。仮想物体制御部１０１は、検出された環境情報や状態情報に影響を受けたように、仮想物体１５０の動作若しくは行動、実在物体１５１に対して行なうアクションを変化させるようにしてもよい。

　出力装置２０２は、実在物体１５１内に内蔵された、出力制御部１０６と出力部１０５を備えている。出力制御部１０６は、仮想物体１５０が実在物体１５１に対して行なっているアクションに応じて、出力部１０５を構成する各出力デバイスの駆動を制御して、仮想物体１５０に対するリアクションを表現する。あるいは、逆に、出力制御部１０６は、出力装置２０２が仮想物体１５０に対してアクションを行なうための出力制御を、出力部１０５に対して行なう。

　表示装置２０１と出力装置２０２は、それぞれ通信部２１１、２１２を備えている。例えば、表示装置２０１は、検出部１０４が検出した仮想物体１５０のアクションに関する情報、あるいは、仮想物体制御部１０１が指示した仮想物体１５０のアクションに関する情報を、通信部２１１を介して出力装置２０２に送信する。一方、出力装置２０２側では、通信部２１２が表示装置２０１からアクションに関する情報を受信すると、出力制御部１０６は、仮想物体１５０が実在物体１５１に行なっているアクションに対するリアクションとして、出力部１０５を構成する各出力デバイスの駆動を制御する。

　通信部２１１、２１２間は無線又は有線通信など、任意の通信手段を用いて接続される。ここで言う通信手段として、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）　Ｌｏｗ　Ｅｎｅｒｇｙ）通信、ＡＮＴなどの超低消費電力無線通信、ＩＥＥＥ８０２．１１ｓなどで規格化されたメッシュ・ネットワーク、赤外線通信、人体通信、導電性繊維を介した信号伝送などを挙げることができる。

　また、出力装置２０２は、環境検出部２１３をさらに備えていてもよい。環境検出部２１３は、実在物体１５１にアクションを行なっている仮想物体１５０を取り巻く現実空間に関する情報を検出する。このような場合、出力制御部１０６は、環境情報に応じて出力部１０５の出力を調整して、仮想物体１５０と現実空間とのインタラクションの表現に環境の影響を付加することができる。

　出力装置２０２は、例えば、仮想物体１５０が現実空間で行なったインタラクションを表現する、専用のハードウェア装置として構成することができる。この場合の出力部１０５は、仮想物体１５０が行なったアクションに対するリアクションを、実在物体１５１の振動や、発熱又は冷却、風、音、発光、移動、跳躍などさまざまな形態で表現するために、振動デバイス、パルス発生デバイス、発熱デバイス、冷却デバイス、送風デバイス、音響デバイス、発光デバイス、移動デバイスなど多種類の出力デバイスで構成される。また、出力装置２０２は、これらの出力デバイスを用いて、仮想物体１５０のアクションに対するリアクションではなく、仮想物体１５０に対するアクションを行なうこともできる。例えば、仮想物体１５０を揺する、加熱する、冷やす、風を吹くなど、逆に仮想物体１５０に対するアクションを行なうこともできる。

　あるいは、出力装置２０２は、専用のハードウェア装置としてではなく、例えばバイブレーション機能とスピーカーを備えたスマートフォン、多機能端末など、既存の電子機器を代用して構成することもできる。このような場合、出力部１０５として装備する出力デバイスの種類は限定的であり、仮想物体１５０と実在物体１５１とのインタラクションを表現する方法も限定されることになる。

　仮想物体１５０と実在物体１５１の間で行なうアクションとリアクションが正確に同期している、言い換えれば、表示部１０３で表示する仮想物体１５０の動作と、出力装置２０２側の出力部１０５の駆動とが正確に同期していることが、リアルなインタラクションとして見せる上で重要である。逆に、アクションに対してリアクションの遅延時間が長過ぎるなど、うまく同期がとれていないと、不自然なインタラクションになってしまう。なお、仮想物体１５０を常時動作させていると、ユーザーにはリアルタイムでインタラクションを行なっているように映り易くなる。

　図３には、情報処理システム１００－２内の通信シーケンス例を示している。

　表示装置２０１は、識別情報１５２の読み取りや物体に認識などにより実在物体１５１を特定すると、特定した実在物体１５１に対応する仮想物体１５０を現実空間に合成して表示する（ＳＥＱ３０１）。表示装置２０１は、所定の制御周期で仮想物体１５０の動作又は行動をリフレッシュする。

　また、表示装置２０１は、仮想物体１５０が実在物体１５１に対して行なったアクションを検出すると、その検出結果を含んだメッセージを、例えば所定の時間間隔で出力装置２０２に送信する（ＳＥＱ３０２）。但し、表示装置２０１は、仮想物体１５０のアクションに関する情報ではなく、仮想物体１５０のアクションに対するリアクションを実在物体１５１で表現するための指示、あるいは、出力部１０５の制御情報に変換して送信するようにしてもよい。

　これに対し、出力装置２０２は、表示装置２０１からメッセージを受け取る度に、実在物体１５１側のリアクションとして出力部１０５を動作させて（ＳＥＱ３０３）、仮想物体１５０と実在物体１５１とのインタラクションを表現する。ここで、実在物体１５１のリアクションは、仮想物体１５０が実在物体１５０に対して行なうアクションと正確に同期して実施されると、ユーザーにはインタラクションがリアルであるような印象を与えることができる。

　また、出力装置２０２は、表示装置２０１からのメッセージに対する確認応答や、リアクションの出力（インタラクション）の完了報告などを、表示装置２０１に返すようにしてもよい（ＳＥＱ３０４）。

　また、逆に、出力装置２０２は、仮想物体１５０のアクションに対する実在物体１５１のリアクションとしてではなく、仮想物体１５０に対するアクションを行なうこともできる（ＳＥＱ３０５）。このような場合、仮想物体１５０がリアクションを行なうように、出力装置２０２は、出力部１０５で行なったアクションに関する情報を表示装置２０１に送信するようにしてもよい（ＳＥＱ３０６）。

　表示装置２０１は、出力装置２０２から仮想物体１５０に対するアクションの情報を受け取ると、これに対するリアクションをとる仮想物体１５０の画像を生成し、現実空間上の実在物体１５１に合成して表示する。仮想物体１５０のリアクションは、出力装置２０２すなわち実在物体１５１が行なうアクションと正確に同期して（若しくは、小さな遅延時間で）実施されると、インタラクションがリアルに行なわれているような印象をユーザーに与えることができる。

　図４には、情報処理システムの他の具体的な構成例１００－４を示している。図示の例では、情報処理システム１００－４は、仮想物体１５０の出現や消滅、その動作若しくは行動を制御する制御装置４０１と、仮想物体１５０を現実空間に合成して表示する表示装置４０２と、仮想物体１５０と現実空間とのインタラクションを表現する出力装置４０３という３台の物理的に独立した装置で構成される。

　例えば、制御装置４０１は家庭内若しくはクラウド上に設置されたサーバー、表示装置４０２はそのサーバーにログインするユーザー端末であってもよい。同じサーバーに、複数のユーザー端末が同時にログインしている場合もある。このような場合、複数のユーザー端末が１台の出力装置４０３を共用することも想定される（図２５並びに後述を参照のこと）。例えば、ユーザー端末毎に対応した仮想物体が出現し、１台の出力装置４０３が各々の仮想物体に対してリアクションをとるができる。

　図示しないが、制御装置４０１と表示装置４０２間、表示装置４０２と出力装置４０３間、並びに、出力装置４０３と制御装置４０１間は、無線又は有線の通信手段で相互接続されているものとする。接続には、ホーム・ネットワークなどのＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や、インターネットなどの広域ネットワークなどの通信媒体（図示しない）を使用することができる。

　制御装置４０１は、仮想物体制御部１０１を備え、例えばゲームなどのルールや、ユーザーの行動のコンテキストなどに従って、仮想物体１５０の出現や消滅、その動作若しくは行動を制御する。あるいは、制御装置４０１を、インターネット上に設置された１台のサーバー装置、あるいは複数台のサーバー装置の組み合わせで構成することもできる。

　表示装置４０２は、仮想物体生成部１０２と、表示部１０３と、検出部１０４を備えている。仮想物体生成部１０２は、制御装置４０２から仮想物体１５０の動作若しくは行動に関する情報を受け取ると、仮想物体１５０の画像を生成する。そして、表示部１０３は、仮想物体生成部１０２で生成した仮想物体１５０の画像を、対応する実在物体１５１と重なり合うように合成して、画面に表示出力する。また、検出部１０４は、仮想物体制御部１０１で制御される仮想物体１５０の動作や行動（若しくは、表示部１０３が表示する仮想物体１５０の画像）を常時監視して、仮想物体１５０が仮想物体１５１に対して行なうアクションを検出する。

　なお、表示装置４０２は、環境検出部と状態検出部のうち少なくとも一方を備えていてもよい。図示の例では、表示装置４０２は状態検出部４１４を備えている。仮想物体制御部１０１は、表示装置４０２で検出された環境情報や状態情報を受け取ると、仮想物体１５０が環境や状態から影響を受けて動作若しくは行動するかのように、実在物体１５１に対して行なうアクションを変化させるようにしてもよい。状態検出部４１４は、例えば、加速度センサーやジャイロ・センサーなどの表示装置４０２の位置及び姿勢を検出するセンサーを備えている。視界の動きに応じて仮想物体１５０の表示位置を画面上で移動させるために、加速度センサーやジャイロ・センサーなどの検出結果が利用される。

　出力装置４０３は、実在物体１５１内に内蔵された出力制御部１０６と出力部１０５を備えている。出力制御部１０６は、仮想物体１５０が実在物体１５１に行なっているアクションに対する実在物体１５１のリアクションとして、出力部１０５を構成する各出力デバイスの駆動を制御する。出力装置４０３は、表示装置４０２などから仮想物体１５０のアクションの検出結果を受け取るか、又は、制御装置４０１から直接、仮想物体１５０の動作若しくは行動などアクションに関する情報を受け取ると、これに基づいて、出力部１０５で仮想物体１５０に対するリアクションの出力を行ない、仮想物体１５０と現実空間とのインタラクションを表現する。

　また、出力装置４０３は、環境検出部４１３をさらに備えていてもよい。環境検出部４１３は、実在物体１５１に対してアクションを行なっている仮想物体１５０を取り巻く現実空間に関する情報を検出する。このような場合、出力制御部１０６は、環境情報に応じて出力部１０５の出力を調整して、仮想物体１５０と行なうインタラクションの表現に、環境からの影響を付加することができる。

　また、出力装置２０２は、状態検出部４１５をさらに備えていてもよい。状態検出部４１５は、例えばジャイロ・センサーを含み、仮想物体１５０に対してアクション又はリアクションを行なったときに生じる実在物体１５１の位置や姿勢の変化を検出する。制御装置４０１側では、実在物体１５１のこのような位置又は姿勢の変化に応じて、その上に載っている仮想物体１５０のアクションを制御して、仮想物体１５０と実在物体１５１とのインタラクションをよりリアルなものにすることができる。

　図５には、図４に示した情報処理システムの変形例１００－５を示している。図４に示した例では、表示装置４０２内に仮想物体生成部１０２が装備されるのに対し、図５に示す例では、ゲーム機本体などの制御装置４０１内に仮想物体生成部１０２が装備される点で相違する。図示しないが、制御装置４０１と表示装置４０２間、表示装置４０２と出力装置４０３間、並びに、出力装置４０３と制御装置４０１間は、無線又は有線の通信手段で相互接続されているものとする。

　図４、図５のいずれも、表示装置２０２を１台しか描いていないが、情報処理システム１００－４、１００－５内に複数台の表示装置２０２が存在するというシステム構成例も想定される。このような場合、１台の制御装置４０２が各々の表示装置に個別の仮想物体の動作若しくは行動に関する情報、又は、個別の仮想物体の画像を送信することも考えられる。例えば、ゲーム機本体としての制御装置４０１が、ゲームに参加する複数のユーザーの各々が所持するゲーム・コントローラーとしての表示装置４０２に対して、同じ仮想物体、ユーザー毎に固有の仮想物体（アバターやゲームのキャラクターなど）の情報を送信するようにしてもよい。また、制御装置４０１は、ユーザー本人のアバターとともに、周囲にいる他ユーザーのアバターなど、各々表示装置に対して、複数の仮想物体（各ユーザーの仮想物体）の情報を送信するようにしてもよい（図２５並びに後述を参照のこと）。

　仮想物体１５０と実在物体１５１の間で行なうアクションとリアクションが正確に同期していること、言い換えれば、表示部１０３で表示する仮想物体１５０の動作と、出力装置２０２側の出力部１０５の駆動とが正確に同期していることが、仮想物体１５０と実在物体１５１とのインタラクションがよりリアルであるような印象を与える上で重要である。逆に、アクションに対してリアクションの遅延時間が長過ぎるなど、うまく同期がとれていないと、不自然なインタラクションになってしまう。仮想物体１５０を常時動作させていると、リアルタイムでリアクションをとっているような印象をユーザーに与え易くなる。

　図６には、情報処理システム１００－４（又は、１００－５）内の通信シーケンス例を示している。

　表示装置４０２は、例えばユーザーの視界内で、識別情報１５２の読み取りや物体認識などにより実在物体１５１を特定すると（ＳＥＱ６０１）、制御装置４０１に通知する（ＳＥＱ６０２）。

　これに対し、制御装置４０１は、読み取った識別情報１５２に対応した仮想物体１５０を出現させ（ＳＥＱ６０３）、仮想物体１５０の動作又は行動の情報、又は、その情報から導出される仮想物体１５０の画像データを、表示装置４０２に送信する（ＳＥＱ６０４）。また、制御装置４０１は、所定の制御周期で仮想物体１５０の動作又は行動をリフレッシュする。そして、表示装置４０２は、現実空間に合成して、特定した実在物体１５１に対応する仮想物体１５０の画像を表示する（ＳＥＱ６０５）。

　表示装置４０２は、表示装置４０２自体、又は、表示装置４０２を利用しているユーザーの状態やユーザーを取り巻く環境情報を検出すると（ＳＥＱ６０６）、その検出結果を制御装置４０１に送信する（ＳＥＱ６０７）。そして、制御装置４０１側では、受信した状態情報に応じて画像の更新処理を行ない（ＳＥＱ６０８）、表示装置４０２に必要な情報を送信する（ＳＥＱ６０９）。

　ここで、表示装置４０２を使用するユーザーの位置又は姿勢の変化に応じて、表示装置４０２越しにシースルー表示又はビデオシースルー表示される現実画像が移動する。例えば表示装置４０２がヘッド・マウント・ディスプレイのようにユーザーが装着して用いるタイプの装置の場合、あるいは移動体上に搭載された装置の場合には、実在物体１５１の上に仮想物体１５０を重ね合わせるには、ユーザーの視界の動きを検出するとともに、ユーザーの視界の動きとは逆の向きに仮想物体１５０の表示位置を画面上で移動させる必要がある。頭部の動きを打ち消すように仮想物体１５０の表示領域を移動させることで、ユーザーの頭部の動きに追従した仮想物体１５０の動きを提示することができる。

　このため、表示装置４０２は、加速度センサーやジャイロ・センサーなどの表示装置４０２の位置及び姿勢を検出するセンサーを備えている。表示装置４０２は、加速度センサーやジャイロ・センサーなどで位置及び姿勢を検出すると（ＳＥＱ６１０）、その検出結果を制御装置４０１に送信する（ＳＥＱ６１１）。そして、制御装置４０１側では、ユーザーの頭部の動きを打ち消すように仮想物体１５０の表示領域を移動させて、現実空間の適切な場所（例えば、実在物体１５１の上）に仮想物体１５０が重なり合うように、画像の修正処理を行なう（ＳＥＱ６１２）。あるいは、このような画像の修正処理を表示装置４０２側で行なうようにしてもよい。

　また、ユーザーの頭部の動きを打ち消すように仮想物体１５０の表示領域を移動させるという画像修整をかけたとしても、レイテンシーの問題があり、ユーサーの首振り運動などによる視界の動きに追従できずに、ずれた場所に仮想物体１５０が表示されてしまうことが懸念される。そこで、本実施形態では、サーボ制御（例えば、ＰＩＤ制御のうち、Ｄ（微分）制御）や動き予測をかけて、仮想物体１５０の表示位置のずれがある時間で０に収束するようにしている。

　そして、制御装置４０１は、画像修正後の仮想物体１５０の情報を、表示装置４０２に送信し（ＳＥＱ６１３）、表示装置４０２は、修正後の仮想物体１５０を表示する（ＳＥＱ６１４）（同上）。

　また、表示装置４０２は、仮想物体１５０が実在物体１５１に対して行なったアクションを検出すると（ＳＥＱ６１５）、その検出結果を含んだメッセージを、例えば所定の時間間隔で出力装置４０３に送信する（ＳＥＱ６１６）。あるいは、制御装置４０１は、仮想物体１５０にアクションを指示したことを（ＳＥＱ６１７）、出力装置４０３に通知する（ＳＥＱ６１８）。

　これに対し、出力装置４０３は、表示装置４０２又は制御装置４０１からメッセージを受け取る度に、実在物体１５１側のリアクションとして出力部１０５を動作させて（ＳＥＱ６１９）、仮想物体１５０と現実空間とのインタラクションを表現する。ここで、実在物体１５１のリアクションは、仮想物体１５０が実在物体１５０に対して行なうアクションと正確に同期して実施されると、仮想物体１５０とのインタラクションが現実空間でリアルに行なわれているような印象をユーザーに与えることができる。

　また、出力装置４０３は、表示装置４０２や制御部４０１からのメッセージに対する確認応答や、リアクションの出力（インタラクション）の完了報告などを、表示装置４０２や制御部４０１に返すようにしてもよい（ＳＥＱ６２０、ＳＥＱ６２１）。

　また、逆に、出力装置２０２は、仮想物体１５０のアクションに対する実在物体１５１のリアクションとしてではなく、仮想物体１５０に対するアクションを行なうこともできる（ＳＥＱ６２２）。このような場合、仮想物体１５０がリアクションを行なうように、出力装置４０３は、出力部１０５で行なったアクションに関する情報を制御装置４０１や表示装置４０２に送信するようにしてもよい（ＳＥＱ６２３、ＳＥＱ６２４）。

　このような場合、制御装置４０１が、実在物体１５１のアクションに対するリアクションを仮想物体１５０に行なわせることで、仮想物体１５０と現実空間とのインタラクションを表現することができる（ＳＥＱ６２５）。仮想物体１５０のリアクションは、出力装置２０２すなわち実在物体１５１が行なうアクションと正確に同期して実施されると、ユーザーにはインタラクションがリアルに映る。

　図４に示した情報処理システムのさらなる変形例１００－２９を、図２９に示しておく。図２９では、仮想物体制御部１０１などの制御装置４０１の機能が出力装置４０３と一体化されている。図４では、制御装置４０１をクラウド上のサーバーと想定した（前述）。これに対し、図２９では、出力装置４０３は家庭内に設置されたゲーム機本体、表示装置４０２はそのゲーム機本体に接続されるゲーム・コントローラーであることも想定される。１台のゲーム機本体に、複数のユーザーのゲーム・コントローラーが接続されることも想定される。

　出力装置４０３内の仮想物体制御部１０１は、例えばゲームなどのルールに従って仮想物体１５０の出現や消滅、その動作若しくは行動を制御する。

　一方、表示装置４０２内の仮想物体生成部１０２は、仮想物体制御部１０１から仮想物体１５０の動作若しくは行動に関する情報を受け取ると、仮想物体１５０の画像を生成する。そして、表示部１０３は、仮想物体生成部１０２で生成した仮想物体１５０の画像を、現実画像と重なり合うように合成して、画面に表示出力する。

　また、出力装置４０３内の出力制御部１０６は、仮想物体１５０が実在物体１５１に行なっているアクションに関する情報を仮想物体制御部１０１から受け取ると、実在物体１５１のリアクションとして、出力部１０５を構成する各出力デバイスの駆動を制御する。

　図２９に示すようなシステム構成例では、図６に示した通信シーケンス中の、制御装置４０１と出力装置４０３間の通信動作は、出力装置４０３内部での情報転送動作に置き換わる。

　仮想物体１５０と実在物体１５１の間で行なうアクションとリアクションが正確に同期していること、言い換えれば、表示部１０３で表示する仮想物体１５０の動作と、出力装置２０２側の出力部１０５の駆動とが正確に同期していることが、インタラクションがリアルに行なわれている印象をユーザーに与える上で重要である。逆に、アクションに対してリアクションの遅延時間が長過ぎるなど、うまく同期がとれていないと、インタラクションが不自然であるという印象をユーザーに与えてしまう。仮想物体１５０を常時動作させていると、ユーザーにはリアルタイムでリアクションをとっているように映り易くなる。

　なお、仮想物体１５０は、図２、図４、図５、図２９に示したように画像として出現する以外に、仮想物体１５０が話す言葉など音声が画像に伴う場合や、画像は表示されず、所定の方位から発される音声のみが出現する場合など、仮想物体１５０の出現形態はさまざまである。また、仮想物体１５０は、ユーザーがジェスチャーやその他の入力操作などにより出現を要求したことに応じて出現するプル（ＰＵＬＬ）型の出現の他に、ユーザーの意図とは関係なく、システム側で所定のイベントが発生したことにより出現するプッシュ（ＰＵＳＨ）型の出現方法が想定される。

　図２に示した表示装置２０１や、図４、図５、図２９に示した表示装置４０２は、ユーザーの頭部又は顔部に装着して用いる画像表示装置（ヘッド・マウント・ディスプレイ）として構成することができる。

　図２４Ａには、識別情報１５２が貼設された実在物体１５１をユーザーがヘッド・マウント・ディスプレイ２４０１越しに観察している様子を示している。上述したように、ユーザーが実在物体１５１を見たことに応じて、又は、見付けたことに応じて、実在物体１５１（又は、識別情報１５２）に対応付けられた仮想物体１５０が出現する。図２４Ｂには、出現した仮想物体１５０を、ユーザーがヘッド・マウント・ディスプレイ２４０１越しに観察している様子を示している。

　上述したように、同じサーバーに複数のユーザー端末が同時にログインして、各ユーザー端末に対応する仮想物体が同じ実在物体の上に同時に出現することも想定される。このような場合、複数のユーザー端末が１台の出力装置４０３を共用することになる。図２４に示した例に当て嵌めると、図２５に示すように、それぞれヘッド・マウント・ディスプレイ２５０１、２５０２、２５０３、…を装着した複数のユーザーが同じ実在物体１５１を眺めているというシーンである。ユーザー毎に異なる仮想物体１５０Ａ、１５０Ｂ、１５０Ｃ、…が実在物体１５１（又は、識別情報１５２）に対応付けられ、各ユーザーはそれぞれ自分のヘッド・マウント・ディスプレイ２５０１、２５０２、２５０３、…越しに自分及び他ユーザーの仮想物体１５０Ａ、１５０Ｂ、１５０Ｃ、…を観察することができる。また、各仮想物体１５０Ａ、１５０Ｂ、１５０Ｃ、…はそれぞれ実在物体１５１とインタラクションを行なうとともに、仮想物体１５０Ａ、１５０Ｂ、１５０Ｃ、…同士でインタラクションを行なうこともある。

　勿論、ヘッド・マウント・ディスプレイ２５０１、２５０２、２５０３、…越しに同じ実在物体１５１を眺める各ユーザーが、それぞれ自分の仮想物体しか表示されない（すなわち、ユーザー毎の仮想物体は同時に出現するが、他ユーザーの仮想物体は見えない）、という実施形態も考えられる。この場合、仮想物体毎に実在物体１５１とのインタラクションは行なうが、仮想物体同士でのインタラクションは行なわない。

　図７には、本明細書で開示する技術の一実施形態に係る画像表示装置７００の外観構成を示している。画像表示装置７００は、ユーザーが頭部又は顔部に装着して用いられるヘッド・マウント・ディスプレイであり、左右の眼毎に画像を表示する。図示の画像表示装置７００は、透過性すなわちシースルーのタイプであり、画像を表示している間も、ユーザーは、画像越しに現実世界の風景を眺める（すなわち、シースルーする）ことができる。したがって、仮想物体１５０を始めとするＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：拡張現実感）画像を現実世界の風景に重ね合わせて見せることができる。また、表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。この画像表示装置７００は、図２に示した表示装置２０１や、図４、図５、図２９に示した表示装置４０２として活用することができる。

　図示の画像表示装置７００は、視力矯正用の眼鏡に類似した構造からなる。画像表示装置７００本体のユーザーの左右の眼に対向する位置には、透明な導光部などからなる虚像光学部７０１Ｌ、７０１Ｒが配設され、各虚像光学部７０１Ｌ、７０１Ｒの内側には、ユーザーが観察する画像（図示しない）が表示される。各虚像光学部７０１Ｌ、７０１Ｒは、例えば、眼鏡フレームに類似した形状の支持体７０２によって支持されている。

　眼鏡フレーム状の支持体７０２のほぼ中央には、周囲画像（ユーザーの視界）入力用の外側カメラ７１２が設置されている。外側カメラ７１２は、例えばユーザーの視線方向の風景を撮影することができる。視差情報を利用して、周囲画像の３次元情報を取得できるように、外側カメラ７１２を複数台のカメラで構成することができる。また、１台のカメラでも、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し（例えば、特許文献５を参照のこと）、算出した視差情報から周囲画像の３次元情報を取得することもできる。本実施形態では、例えば、仮想物体１５０を目線で追うユーザーの視界を外側カメラ７１２で撮影する。画像表示装置７００の基本的動作として、外側カメラ７１２で実在物体１５１を捕捉すると、これに対応する仮想物体１５０が各虚像光学部７０１Ｌ、７０１Ｒの少なくとも一方に表示される。

　また、支持体７０２の左右の両端付近にそれぞれマイクロフォン７０３Ｌ、７０３Ｒが設置されている。左右ほぼ対称的にマイクロフォン７０３Ｌ、７０３Ｒを持つことで、中央に定位した音声（ユーザーの声）だけを認識して、周囲の雑音や他人の話声と分離することができる。例えば、マイクロフォン７０３Ｌ、７０３Ｒからの音声入力による操作を行なうときに、ユーザー以外の声を拾う誤動作を防止することができる。

　図８には、ユーザーが装着した状態の画像表示装置７００を上方から眺めた様子を示している。図示のように、画像表示装置７００の左右両端には、左眼用及び右眼用の画像をそれぞれ表示出力する表示パネル７０４Ｌ、７０４Ｒが配設されている。各表示パネル７０４Ｌ、７０４Ｒは、液晶ディスプレイ又は有機ＥＬ素子などのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式のディスプレイからなる。表示パネル７０４Ｌ、７０４Ｒから出力される左右の表示画像は、虚像光学部７０１Ｌ、７０１Ｒによって左右それぞれの眼付近まで導光され、その拡大虚像がユーザーの瞳に結像される。詳細な図示を省略するが、虚像光学部７０１Ｌ、７０１Ｒはそれぞれ、マイクロ・ディスプレイからの照射光を集光する光学系と、光学系の通過光を入射する位置に配設された導光板と、導光板への入射光を反射する偏向フィルターと、導光板内を全反射して伝播された光をユーザーの眼に向かって出射させる偏向フィルターを備えている。

　本実施形態では、ＡＲ画像の１つとして仮想物体１５０をシースルー表示するのに、表示パネル７０４Ｌ、７０４Ｒが用いられる。なお、ユーザーの頭部又は顔部に装着して用いられる画像表示装置７００は、シースルーではなく、ビデオシースルーにより仮想物体１５０を表示するようにしてもよい。

　図９には、画像表示装置７００の内部構成例を示している。以下、各部について説明する。

　制御部９０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０１ＡやＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０１Ｂを備えている。ＲＯＭ９０１Ａ内には、制御部９０１で実行するプログラム・コードや各種データを格納している。制御部９０１は、ＲＡＭ９０１Ｂへロードしたプログラムを実行することで、画像の表示制御を始め、画像表示装置７００全体の動作を統括的にコントロールする。

　ＲＯＭ９０１Ａに格納するプログラムやデータとして、画像の表示制御プログラムや、仮想物体１５０を生成し又は表示制御するための制御プログラム、仮想物体１５０が現実空間上で行なうアクションを検出する（例えば、仮想物体１５０が物理操作を行なっている実在物体１５１を特定し、実在物体１５１に対し行なっている行為を検出する）検出プログラム、インターネット上のサーバー（図示しない）など外部機器との通信処理プログラム）、実在物体１５１毎に対応する仮想物体１５０のライブラリー、当該装置７００に固有の識別情報１５２などを挙げることができる。但し、仮想物体１５０のライブラリーは、画像表示装置７００がローカルに保持せず、インターネット上のサーバー（図示しない）から逐次取得するようにしてもよい。

　入力操作部９０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう１以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部９０１に出力する。また、入力操作部９０２は、リモコン受信部９０３で受信したリモコン・コマンドからなるユーザーの指示を同様に受け付けて、制御部９０１に出力する。

　本実施形態では、仮想物体１５０の表示の出現や消滅、仮想物体１５０に対する操作を、ユーザーが入力操作部９０２を介して行なうこともある。

　状態情報取得部９０４は、当該画像処理装置７００本体、又は当該装置７００を装着したユーザーの状態情報を取得する機能モジュールである。状態情報取得部９０４は、自ら状態情報を検出するための各種センサーを装備していてもよいし、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部９０５（後述）を介して状態情報を取得するようにしてもよい。

　状態情報取得部９０４は、ユーザーの頭部動作を追跡するために、例えばユーザーの頭部の位置及び姿勢の情報又は姿勢の情報を取得する。ユーザーの頭部動作を追跡するために、状態情報取得部９０４は、例えば３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。また、状態情報取得部３０４は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか１つ又は２以上のセンサーをさらに組み合わせて用いてもよい。また、状態情報取得部９０４は、位置姿勢情報の取得に、携帯電話基地局情報やＰｌａｃｅＥｎｇｉｎｅ（登録商標）情報（無線ＬＡＮアクセスポイントからの電測情報）など、各種インフラストラクチャーから提供される情報をさらに組み合わせて用いるようにしてもよい。図９に示す例では、頭部動作追跡のための状態取得部９０４は、画像表示装置７００としてのヘッド・マウント・ディスプレイに内蔵されるが、ヘッド・マウント・ディスプレイに外付けされるアクセサリー部品などで構成するようにしてもよい。後者の場合、外付け接続される状態取得部９０４は、頭部の姿勢情報を例えば回転マトリックスの形式で表現し、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信やＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）のような高速な有線インフェース経由でヘッド・マウント・ディスプレイ本体に送信する。

　また、状態情報取得部９０４は、上述したユーザーの頭部動作の追跡の他に、当該画像表示装置７００を装着したユーザーの状態情報として、例えば、ユーザーの作業状態（画像表示装置７００の装着の有無）や、ユーザーの行動状態（静止、歩行、走行などの移動状態、瞼の開閉状態、視線方向、瞳孔の大小、仮想物体１５０に対して行なうアクション又はリアクションなどの物理操作）、精神状態（ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など）、さらには生理状態を取得する。また、状態情報取得部９０４は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの各種の状態センサー、タイマー（いずれも図示しない）を備えていてもよい。

　本実施形態では、状態情報取得部９０４が取得した状態又は状態の変化に基づいて、仮想物体１５０の表示の出現や消滅、仮想物体１５０の動作、実在物体１５１の仮想物体１５０に対する操作を制御することもある。

　環境情報取得部９１６は、当該画像処理装置７００本体、又は当該装置７００を装着したユーザーを取り巻く１以上の環境因子に関する情報を取得する機能モジュールである。ここで言う環境因子として、当該装置７００又はユーザーが浴びる電磁波（紫外線、ブルーライト、電波）、熱線（赤外線）、放射線、大気中を漂う有害化学物質、騒音、マイナスイオンなどである。

　環境情報取得部９１６は、このような環境因子を検出するための各種センサーを装備していてもよい。あるいは、環境情報取得部９１６は、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）や、環境情報を収集するサーバーから通信部９０５（後述）を介して環境因子に関する情報を取得するようにしてもよい。

　本実施形態では、環境情報取得部９１６が取得した環境又は環境の変化に基づいて、仮想物体１５０の表示の出現や消滅、仮想物体１５０の動作、実在物体１５１の仮想物体１５０に対する操作を制御することもある。

　外側カメラ９１２は、例えば画像表示装置７００本体前面のほぼ中央に配置され（図７中の外側カメラ７１２を参照のこと）、周囲画像を撮影することができる。また、状態情報取得部９０４で検出したユーザーの視線方向に合わせて外側カメラ９１２のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ９１２でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影することができる。視差情報を利用して、周囲画像の３次元情報を取得できるように、外側カメラ９１２を複数台のカメラで構成することができる。また、１台のカメラでも、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し（例えば、特許文献５を参照のこと）、算出した視差情報から周囲画像の３次元情報を取得することもできる。ユーザーは、入力操作部９０２の操作、内部カメラで認識される瞳孔の大小や音声入力を通じて、外側カメラ９１２のズームを調整することができるものとする。外側カメラ９１２の撮影画像を、表示部９０９に表示出力することができ、また、記憶部９０６に格納することもできる。

　仮想物体１５０を目線で追うユーザーの視界を外側カメラ９１２で捕捉することができる。したがって、本実施形態では、外側カメラ９１２を上記の検出部１０４として活用することもできる。例えば、実在物体１５１に貼り付けられたバーコードなどの識別情報１５２を外側カメラ９１２の撮影画像から読み取る、あるいは、外側カメラ９１２の撮影画像から物体認識することによって、実在物体１５１を特定することができる。

　通信部９０５は、他の画像表示装置や多機能端末、インターネット上のサーバー（図示しない）などの外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。また、制御部９０１は、外部機器への送信データを通信部９０５から送出する。通信部９０５の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信方式に応じて、通信部９０５を構成することができる。通信方式は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）　Ｌｏｗ　Ｅｎｅｒｇｙ）通信、ＡＮＴなどの超低消費電力無線通信、ＩＥＥＥ８０２．１１ｓなどで規格化されたメッシュ・ネットワーク、赤外線通信、人体通信、導電性繊維を介した信号伝送などを挙げることができる。

　あるいは、通信部９０５は、例えばＷ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ　Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）などの標準規格に従って動作する、セルラー無線送受信機であってもよい。

　本実施形態では、画像表示装置７００内部で生成した仮想物体１５０の情報、取得した状態情報や環境情報を、通信部９０５を介して外部の装置に送信することがある。あるいは、外部のサーバーなどで生成された、仮想物体１５０の表示を制御するための情報（ライブラリーなど）を、通信部９０５を介して受信することもある。

　記憶部９０６は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などで構成される大容量記憶装置である。記憶部９０６は、制御部９０１で実行するアプリケーション・プログラムや各種データを記憶している。例えば、制御部９０１で表示制御している仮想物体１５０の情報（ライブラリーなど）や、表示部９０９に表示した仮想物体１５０の表示画像を、記憶部９０６内に記憶するようにしてもよい。

　画像処理部９０７は、制御部９０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部９０９の画面に合わせた解像度に変換する。そして、表示駆動部９０８は、表示部９０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

　表示部９０９は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイ、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される表示パネルを有する。虚像光学部９１０は、表示部９０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。本実施形態では、虚像光学部９１０を通じて、仮想物体１５０やその他のＡＲ画像をユーザーに観察させるようになっている。

　外側表示部９１５は、表示画面が画像表示装置７００の外側（装着したユーザーの顔とは反対の方向）に向けられており、表示部９０９と同じ画像又は異なる画像を、周囲にいる他のユーザーに表示することができる。例えば、表示部９０９に表示している仮想物体１５０の画像を外側表示部９１５でも表示すると、周囲にいる他ユーザーとの間で仮想現実感を共有することができる。なお、外側表示部９１５の詳細な構成については、例えば本出願人に既に譲渡されている特願２０１２－２００９０２号明細書、特願２０１２－２００９０３号明細書を参照されたい。

　音声処理部９１３は、制御部９０１から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部９１４は、音声処理後の音声を外部出力、並びにマイクロフォン（前述）からの音声入力を行なう。本実施形態では、音声入出力部９１４はバイノーラル音源を出力できるものとする。

　上記では、ユーザーが実在物体１５１を見たことに応じて、又は、見付けたことに応じて、仮想物体１５０が出現するのが基本動作である、と説明した。表示装置２０１又は表示装置４０２がヘッド・マウント・ディスプレイとして構成される場合、外側カメラ９１２でユーザーの視界を捕捉し、その撮影画像を解析することによって識別情報１５２を読み取り、又は、物体認識により実在物体１５１を特定することができ、これに応じて表示部９０９で仮想物体１５０が出現する。

　なお、図７乃至図９には、ヘッド・マウント・ディスプレイとして実現される表示装置２０１又は表示装置４０２の構成例を示したが、本明細書で開示する技術はこれに限定されるものではない。例えば、カメラの撮影画像をスルー表示するスマートフォンやディジタルカメラなどの情報機器（例えば、特許文献６を参照のこと）を用いて、表示装置２０１又は表示装置４０２を構成することもできる。

　図１０には、専用のハードウェア装置として構成される出力装置２０２又は４０３の内部構成例を模式的に示している。既に述べたように、出力装置２０２は、仮想物体１５０が現実空間で行なったインタラクションを表現するハードウェア装置であり、例えば実在物体１５１と一体若しくは内蔵される。出力装置２０２は、仮想物体１５０のアクションに対するリアクションを行なったり、仮想物体１５０に対するアクションを行なったりする。

　図示の出力装置２０２は、制御部１００１と、通信部１００２と、状態検出部１００３と、環境検出部１００４と、アクチュエーター部１０２０と、駆動制御部１０１０を備えている。

　制御部１００１は、ＲＯＭ１００１ＡやＲＡＭ１００１Ｂを備えている。ＲＯＭ９０１Ａ内には、制御部１００１で実行するプログラム・コードや各種データを格納している。制御部１００１は、ＲＡＭ１００１Ｂへロードしたプログラムを実行することで、駆動制御部１０１０を介してアクチュエーター部１０２０の動作をコントロールする。

　ＲＯＭ１００１Ａに格納するプログラムとして、仮想物体１５０が実在物体１５１に対して行なったアクションに対するリアクションや、実在物体１５１が仮想物体１５０に対して行なうアクションなどを表現するための、アクチュエーター部１０２０の動作を制御する制御プログラムである。また、実在物体１５１を通じて仮想物体１５０に行ないたいアクション又はリアクションを表現するためのアクチュエーター部１０２０の動作パターンなどのデータを、ＲＯＭ１００Ａに格納しておいてもよい。

　状態検出部１００３は、出力装置２０２を搭載する実在物体１５１の状態又は状態の変化を検出する。状態検出部１００３は、例えばジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの、１以上の状態センサーを備えている。

　環境検出部１００４は、出力装置２０２を搭載する実在物体１５１、あるいは、実在物体１５１に対して物理操作を行なっている仮想物体１５０を取り巻く１以上の環境因子又はその変化を検出する。

　アクチュエーター部１０２０は、仮想物体１５０に対する実在物体１５１のリアクション又はアクションを出力するための１以上の出力デバイス群からなる。

　図１１には、アクチュエーター部１０２０の構成例を模式的に示している。アクチュエーター部１０２０は、振動デバイス１１０１、発熱デバイス１１０２、冷却デバイス１１０３、ファンなどの送風デバイス１１０４、スピーカーなどの音響デバイス１１０５、発光デバイス１１０６、車輪などの移動デバイス１１０７、パルス発生デバイス１１０８のうち少なくとも一部の出力デバイスを備えている。制御部１００１は、駆動制御部１０１０を通じて、これらの出力デバイス１１０１～１１０８の動作を制御することができる。そして、アクチュエーター部１０２０は、仮想物体１５０に対するリアクション又はアクションとして、仮想物体１５０がアクションを行なう対象となっている実在物体１５１に対して、振動や、発熱又は冷却、風、音、発光、移動、跳躍などの出力を生じさせることができる。アクチュエーター部１０２０が装備する出力デバイスの種類が多く、且つ、複数の出力デバイスを組み合わせて動作させると、より多様なインタラクションを提示することができる。

　制御部１００１は、通信部１００２を介して、表示装置２０１、４０２などから、仮想物体１５０が現実空間で行なうアクション（例えば、実在物体１５１に対して行なう物理操作）の検出結果を受信すると、そのアクションに対するリアクションを計算して、駆動制御部１０１０を介してアクチュエーター部１０２０の動作をコントロールする。あるいは、制御部１００１は、通信部１００２を介して、表示装置２０１、４０２などからリアクションの計算結果を受信すると、これに従ってアクチュエーター部１０２０の動作を制御する。

　また、制御部１００１は、通信部１００２を介して、表示装置２０１、４０２などから、ユーザーの状態や状態の変化に関する情報、又は、表示装置２０１、４０２やユーザーを取り巻く環境や環境の変化に関する情報を受信すると、状態や状態の変化、又は、環境や環境の変化に対応した実在物体１５１のリアクション又はアクションを計算して、駆動制御部１０１０を介してアクチュエーター部１０２０の動作をコントロールする。あるいは、制御部１００１は、通信部１００２を介して、表示装置２０１、４０２などから状態や環境に応じたリアクション又はアクションの計算結果を受信すると、これに従ってアクチュエーター部１０２０の動作を制御する。

　なお、ここで言うユーザーの状態には、ユーザー自身が仮想物体１５０に対して行なうアクション又はリアクションなどの物理操作が含まれる。

　また、制御部１００１は、状態検出部１００３で検出された実在物体１５１の状態又は状態の変化や、状態検出部１００４で検出された仮想物体１５０を取り巻く環境因子又はその変化に応じたリアクション又はアクションを計算し、これに従ってアクチュエーター部１０２０の動作を制御する。

　制御部１００１は、アクチュエーター部１０２０を用いて実施した実在物体１５１のアクション又はリアクションを、通信部１００２を介して表示装置２０１、４０２などにフィードバックするようにしてもよい。

　出力装置２０２、若しくは出力装置２０２を搭載する実在物体１５１の形状やサイズは任意である（以下では、出力装置２０２と、出力装置２０２を搭載する実在物体１５１を、統一して「出力装置２０２」と呼ぶことにする）。

　例えば、アバターのような人の形をした仮想物体１５０が歩いて乗り上がる、上で足踏みをするといった物理操作を行なうことを想定すると、図１２Ａに示すように座布団のような平板状の出力装置２０２や、図１２Ｂに示すような円盤状の出力装置２０２が考えられる。

　また、アクションを行ない又はリアクションを受ける仮想物体１５０のサイズに応じて、出力装置２０２の適正なサイズも異なる。例えば、仮想物体１５０が手のひらサイズの場合には、図１２Ｃに示すように、出力装置２０２も手のひらサイズであってもよい。

　図１２Ａ～図１２Ｃの各図に例示した出力装置２０２において、上面は物理操作（仮想物体１５０が行なうアクション、並びに、出力装置２０２が仮想物体１５０に対して行なうリアクション）を行なう操作面１２０１であり、仮想物体１５０は、操作面１２０１上に乗って、歩く、走る、ジャンプする、楽器を演奏するなど、さまざまな活動を行なう。

　なお、図１２Ａ～図１２Ｃに示す例では、１つの出力装置２０２（実在物体１５１）上に、単一の仮想物体１５０しか出現していないが、図２５にも示したように２以上の仮想物体が同時に出現して共存するというシーンも想定される。例えば、複数の仮想物体のうち１つは、ユーザー本人のアバターや、ユーザーがプレイしているゲームのキャラクターであり、それ以外の仮想物体は、その他のユーザーのアバターやゲームのキャラクターである。

　図１、図２、図４、図５の各々に示したシステム構成では、実在物体１５１は、出力部１０５を搭載し、又は、出力部１０５と一体となっており、実在物体１５１上に出現した仮想物体１５０のアクションに対してリアクションしたり、あるいは仮想物体１５０に対してアクションを行なったりすることができる。しかしながら、最も簡素なシステム構成は、実在物体１５１は出力部１０５を備えず、単に識別情報１５２が配設され又は物体認識が可能な物体であり、仮想物体１５０が出現するステージでしかなく、インタラクションは行なわない。

　あるいは、実在物体１５１は、図２６に示すように室内などで識別情報１５２が配設された領域２６０１や、画像認識などにより特定することが可能な場所であってもよい。ユーザーがヘッド・マウント・ディスプレイ２６０２越しに識別情報１５２を眺めると、領域２６０１内に重なるように仮想物体１５０が表示される。識別情報１５２が配設された場所は、仮想物体１５０を呼び出すためのアンカーに過ぎず、仮想物体１５０に対して物理操作は行なわない（仮想物体１５０とのインタラクションは行なわない）。

　また、ユーザーの手のひらや右肩など、ユーザーの身体の一部であってもよい。図２７に示すように、ヘッド・マウント・ディスプレイ２７０１を頭部に装着したユーザーが右を向き、右肩を見つめる。ユーザーが右を向いたことは、例えば外側カメラ９１２の撮影画像の認識処理や、ジャイロ・センサーなどセンサー出力に基づいて検出することができる。そして、ヘッド・マウント・ディスプレイ２７０１は、ユーザーの右肩の上に直接載るように、仮想物体１５０を表示する。ユーザーが仮想物体１５０を表示させたいときに（あるいは、仮想物体１５０と対話したいとき）、右を向くという出現の仕方は、ＰＵＬＬ型（前述）に相当する。

　例えば、バイノーラル音源などを利用して、ユーザーの右肩付近から仮想物体１５０が話しかける音声を発生させる。そして、ユーザーが右側を振り向くと、これに応答して、仮想物体１５０を表示し始める。右肩などいつも決まった方向から仮想物体１５０が話しかけてくるのが、自然なインタラクションである。仮想物体１５０が出現したくなったときに、自律的にユーザーに話しかけるという出現の仕方は、ＰＵＳＨ型（前述）に分類される。また、ユーザーが右肩から眼をそらし、右肩に載っている仮想物体１５０が視界から外れると、仮想物体１５０の表示を消滅させる。

　なお、ユーザーが右肩を見たことを検出するには、ユーザーが胴体ごと姿勢を変えて右側を向いたのか、胴体の姿勢は一定のままで頭部だけを動かしたのかを判別する必要がある。

　あるいは、図２８に示すように、ヘッド・マウント・ディスプレイ２８０１を頭部に装着したユーザーが自分の手のひら２８０２を見つめたことを検出すると、ヘッド・マウント・ディスプレイ２８０１は、ユーザーの手のひら２８０２の上に直接載るように、仮想物体１５０を表示する。その際、ユーザーが見つめたのがユーザー本人の手のひらかどうかは、例えば外側カメラ９１２で撮影した指紋の認証処理などにより確認するようにしてもよい。あるいは、ユーザー本人の手のひらかどうかといった個人認証ではなく、右手か左手かを判別して、右手であれば仮想物体１５０を表示する、特定の姿勢をした手のひらを発見して仮想物体１５０を表示する、というアバウトな方法であってもよい。機械学習により手のひらを判別することができる。また、ユーザーが手のひらを引っ込める、あるいは手を握ることによって、仮想物体１５０の表示を消滅させるようにしてもよい。

　図２７や図２８に示したように、右肩や手のひらなど、実在物体１５１が人体の一部で構成される場合、アクチュエーター部１０２０のようなハードウェア・デバイスの駆動ではなく、右肩を上げ下げする、右肩を震わせる、手のひらを上げ下げする、手を結ぶ、といった人的作業によって、仮想物体１５０に対するアクションを行なうことができる。外側カメラ９１２の撮影画像などに基づいて、ユーザーが仮想物体１５０に対して行なったアクションは、例えば外側カメラ９１２の撮影画像などに基づいて検出することができる。仮想物体制御部１０１は、検出された仮想物体１５０へのアクションに対応して、右肩や手のひら上でステップする、ジャンプする、転げ落ちるなど、仮想物体１５０のリアクション動作を制御するようにすればよい。

　続いて、出力装置２０２を用いて仮想物体１５０に対して行なうリアクション又はアクションの動作について説明する。

　振動デバイス１１０１は、圧電素子のように、電気信号を力や機械的な歪みに変換する１以上のデバイスの組み合わせで構成される。図１３に示す例では、出力装置２０２の操作面１２０１を、３以上の圧電素子１３０１、１３０２、１３０３で支持するように配置している。そして、図１４に示すように、各圧電素子１３０１、１３０２、１３０３のストロークを異ならせるように動作することで、図１５に示すように、操作面１２０１で自由空間を表現することができる。

　図１５に示すような動作は、操作面１２０１上に載っている仮想物体１５０に対し、床が傾く、というアクションを与えることができる。これに対し、例えば歩行型の仮想物体１５０は、前傾する、足の接地位置を変える、ジャンプするなどの動作をさせなければ、操作面１２０１から転げ落ちてしまう。

　検出部１０４は、外側カメラ９１２の撮像画像の認識結果などに基づいて、実在物体１５１の操作面１２０が傾くという、出力装置２０２（実在物体１５１）の仮想物体１５０に対するアクションを検出する。あるいは、検出部１０４は、操作面１２０を傾けるようにアクチュエーター部１０２０を動作させたという通知を、出力制御部１０６から受け取る。そして、検出部１０４は、出力装置２０２が仮想物体１５０に対して行なったアクションを、仮想物体制御部１０１に通知する。これに対し、仮想物体制御部１０１は、床から転げ落ちないように移動したり姿勢を変化させたりする、あるいは、姿勢を変えるなど何ら行なわずに床から転げ落ちてしまうなど、仮想物体１５０のリアクションを制御する。そして、表示部１０３は、リアクションをとる仮想物体１５０を表示する。

　図１２Ｃに示したように、手のひらなどユーザーの身体に付けるタイプの出力装置２０２の場合、アクチュエーター部１０２０の動作は、仮想物体１５０に対するアクションだけでなく、ユーザーへの触感フィードバックにもなる。

　例えば、図１６に示すように、ユーザーの手のひらに置いた出力装置２０２（実在物体１５１）上で、アバターのような仮想物体１５０が足踏みをすると、振動デバイス１１０１が振動して、足踏みしている触覚１６０１を出力装置２０２（実在物体１５１）の下面から手のひらに伝える。それと同時に、音響デバイス１１０５が足踏み音（「ドン、ドン」などの擬音）１６０２を発生して、臨場感を高めるようにしてもよい。また、発熱デバイス１１０６が熱を発生して、仮想物体１５０から物理操作を受けていることを温度で表現するようにしてもよい。また、仮想物体１５０の足踏みを続けるなど、常時動作させる仮想物体１５０を表示すると、仮想物体１５０が遅延なくインタラクションを行なっているような印象を与えることができる。

　また、図１７に示すように、仮想物体１５０が出力装置２０２（実在物体１５１）上を駆け抜けるときには、上記の振動デバイス１１０１の振動１７０１や音響デバイス１１０５によるより大きな足踏み音１７０２を発生するとともに、送風デバイス１１０４が疾風１７０３を発生したり、発熱デバイス１１０２が熱を発生したり、発光デバイス１１０６が閃光１７０４を発したりして、仮想物体１５０が現実に通り過ぎる演出を行なうようにしてもよい。また、仮想物体１５０の足踏みを続けるなど、常時動作させる仮想物体１５０を表示すると、仮想物体１５０が遅延なくインタラクションを行なっているような印象を与えることができる。

　また、出力装置２０２は、発熱デバイス１１０２と冷却デバイス１１０３を用い、仮想物体１５０の精神状態を温度でユーザーの手のひらに伝えることができる。例えば、仮想物体１５０が興奮しているとき（若しくは激怒しているとき）には、発熱デバイス１１０２が熱を発して、その熱気１８０１で仮想物体１５０の興奮状態を、手のひらからユーザーに伝えることができる（図１８を参照のこと）。また、仮想物体１５０が怯えているとき（若しくは冷静なとき）には、冷却デバイス１１０３がユーザーの手のひらを冷却して、その冷気１９０１で仮想物体１５０が冷めた（凍えた）状態を、手のひらからユーザーに伝えることができる（図１９を参照のこと）。

　また、出力装置２０２は、音響デバイス１１０５を用いて、仮想物体１５０が行なうアクションやリアクションに効果音などを付加して、臨場感を与えることができる。例えば、仮想物体１５０がバイオリン２０００などの楽器を演奏しているときには、他の楽器２００１、２００２、…の音を音響デバイス１１０５から発声して、演奏の効果を上げることができる（図２０を参照のこと）。また、状態情報取得部９０４などで、仮想物体１５０の演奏にユーザーが感銘を受けたタイミングに同期して、拍手喝采２０１０の音を音響デバイス１１０５から発することで、雰囲気をさらに盛り上げることができる。

　図１０並びに図１１には、複数の出力デバイス１１０１、１１０２、…を装備したハイスペックな出力装置２０２の構成例を示した。アクチュエーター部１０２０が多種類の出力デバイスを装備していれば、図１６乃至図２０を参照しても分かるように、仮想物体１５０の現実空間でのアクションやリアクションをより多様に表現することができる。但し、限られた出力デバイスしか装備していない情報端末で出力装置２０２を代用することもできる。例えば、偏心モーターなどのバイブレーター機能を装備したスマートフォンなどの平型で手のひらサイズの情報処理装置（例えば、特許文献７を参照のこと）を、本実施形態に係る出力装置２０２として代用することもできる。

　仮想物体１５０は、出力装置４０３が行なうアクションやリアクションと同期して動作しなければ、不自然な動作になる。表示装置４０２がヘッド・マウント・ディスプレイとして構成される場合には、ユーザーが首振り動作したときには、ジャイロ・センサーなどで検出した頭部の動きを打ち消すように、仮想物体１５０の表示領域を移動させることで、ユーザーの頭部の動きに追従した仮想物体１５０を提示することができる。

　図２１に示すように、ユーザーが右に振り向き、ヘッド・マウント・ディスプレイ２１０１越しに見える視界が右側に移動するのに伴って、仮想物体１５０の表示領域をその逆の左側に移動させると、仮想物体１５０が出現場所である実在物体１５１の上に留まっているので、ユーザーには仮想物体１５０が現実空間に存在しているかのように映る。これに対し、図２２に示すように、ユーザーの頭部の動きすなわち視界の移動に仮想物体１５０の表示領域を追従させないと（すなわち、仮想物体１５０を元の実在物体１５１の場所まで戻さないと）、仮想物体１５０はヘッド・マウント・ディスプレイ２１０１の表示画像としての印象が強く、現実空間に存在しているようには映らない。

　ここで、ユーザーの頭部の動きを打ち消すように仮想物体１５０の表示領域を移動させるという画像修整をかけたとしても、レイテンシーの問題がある。レイテンシーのために、ユーザーの頭部の動きと仮想物体１５０の表示領域の変化が同期をとることができなければ、不自然な表示になってしまう。例えば、外側カメラ９１２の撮影画像の画像認識により、ヘッド・マウント・ディスプレイを装着したユーザーの頭部の動きを検出しようとすると、時間遅れてしか正しい値が分からない。付言すれば、図４、図５、図２９に示したように、仮想物体１５０を制御する制御装置４０１と、仮想物体１５０を表示する表示装置４０２が、物理的に独立した装置で構成される場合には、通信処理による遅延も生じるため、レイテンシーの問題はより深刻になる。

　図２３には、ユーザーの頭部の動きに対して、仮想物体１５０の画像の動きが遅延している様子を示している。同図中、ユーザーの頭部の実際の動きを実線２３０１で示し、カメラの撮影画像から認識される頭部の動きの検出量を一点鎖線２３０２で示している。図示のように、画像認識による動き検出では、時間遅れでしか正しい値が分からない。

　ユーザーの頭部の動き自体は、ジャイロ・センサー（前述）などのセンサーにより検出することができる。図２３中で、ジャイロ・センサーなどのセンサーによる頭部の動きの検出量を点線２３０３で示している。

　そこで、仮想物体生成部１０２又は仮想物体制御部１０１が行なう処理として、ジャイロ・センサーなどのセンサーにより検出されるユーザーの頭部の動きを打ち消すように、仮想物体１５０の表示領域を移動させるという画像修整をかける。

　但し、ジャイロ・センサーは相対センサーなので、単位時間当たりのユーザーの頭部の動きを検出することはできるが、絶対座標が分からず、やがてずれていくことが懸念される。この対策として、ずれ量に対しては、参照番号２３０２で示される画像認識の結果を利用して、正しい値に合わせ込むという処理を並行して行なうようにすればよい。具体的には、ジャイロ・センサーによる頭部の動きの検出量が画像認識による検出量との差分がゼロになるようにサーボをかけ、ある時間で差分がゼロに収束するか（画像を参照して、絶対座標に吸着させる）、あるいは頭部が止まっているときに差分がゼロになるように合わせ込むようにする。あるいは、ジャイロ・センサーの検出量を微分制御（微分信号を重畳するという、微分制御のフィードフォワード的使用などの動き予測）であっても、一定の効果がある。

　また、実在物体１５１のアクションに対して、仮想物体１５０がリアクションをとる場合も、同様に、レイテンシーの問題がある。例えば、仮想物体１５０が載っている実在物体１５１が傾くのに対し（図１５を参照のこと）、仮想物体１５０が、前傾する、足の接地位置を変える、ジャンプする、あるいは転げ落ちるというリアクションをとる場合、実在物体１５１の動きに対し、仮想物体１５１がリアクションをとるまでの遅延時間が大き過ぎると、仮想物体１５０の動作がリアクションには見えず、不自然な画像になってしまう。実在物体１５１をカメラで撮影して画像認識によりその動きを検出しようとすると、時間遅れでしか正しい値が分からない。勿論、表示装置４０２内の検出部１０４がカメラの撮影画像などから実在物体１５１のアクションを検出し、制御装置４０１でそのアクションに対応する仮想物体１５０のアクションを生成して、表示装置４０２で表示を行なう場合、各装置４０１、４０２での演算処理と装置４０１、４０２間の通信処理による遅延が生じる。

　そこで、仮想物体生成部１０２又は仮想物体制御部１０１が行なう処理として、出陸装置４０３が状態検出部４１５として備えるジャイロ・センサー（前述）により検出される、実在物体１５１の位置又は姿勢の変化に対応した仮想物体１５０の動作を制御するようにすればよい。例えば、仮想物体１５０が、前傾する、足の接地位置を変える、ジャンプする、あるいは転げ落ちるというリアクションをとらせる。

　但し、ジャイロ・センサーは相対センサーなので、単位時間当たりのユーザーの頭部の動きを検出することはできるが、絶対座標が分からないので、画像情報とのすり合わせを行なうようにする（同上）。

特開２０１０－４９６９０号公報特開２００５－１２３８５号公報特開２００５－１６５７７６号公報特開２００６－２６２９８０号公報特開２００８－３０４２６８号公報特開２０１２－２４８９３０号公報特開２０１２－１５５６５５号公報

　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

　本明細書で開示する技術は、仮想物体と現実空間とのインタラクションを提示する技術に関するものであり、本明細書では当該技術を実現するシステム構成として、図２、図４、図５、図２９を例示したが、実現形態はこれらに限定されない。

　また、本明細書では、ユーザーに仮想物体を提示する表示装置として、ヘッド・マウント・ディスプレイを挙げたが、本明細書で開示する技術はこれに限定されるものではない。スマートフォンやタブレット端末、ゲーム・コントローラーなど、表示画面を持つさまざまな情報端末を表示装置に用いることができる。

　また、本明細書では、仮想物体が出現する実在物体として、図１２、図２６、図２７、図２８を挙げたが、本明細書で開示する技術はこれらに限定されるものではない。

　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）実在物体に動作を加える出力部と、
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記出力部からの出力を制御する制御部と、
を具備する情報処理装置。
（２）前記情報処理装置を識別するための識別情報をさらに備える、
上記（１）に記載の情報処理装置。
（３）前記仮想物体が前記実在物体に対して行なう動作の検出結果を受信する受信部をさらに備え、
　前記制御部は、受信した前記検出結果に従って、前記出力部からの出力を制御する、
上記（１）に記載の情報処理装置。
（４）前記仮想物体の動作を制御する仮想物体制御部をさらに備え、
　前記制御部は、前記仮想物体制御部により制御される前記仮想物体の動作に応じて、前記出力部からの出力を制御する、
上記（１）に記載の情報処理装置。
（５）前記仮想物体制御部は、前記仮想物体の出現と消滅を制御する、
上記（４）に記載の情報処理装置。
（６）前記出力部は、前記実在物体の中に組み込まれた、振動デバイス、パルス発生デバイス、発熱デバイス、冷却デバイス、送風デバイス、音響デバイス、発光デバイス、移動デバイスのうち少なくとも１つの出力デバイスを備える、
上記（１）に記載の情報処理装置。
（７）前記制御部は、表示装置が表示する前記仮想物体の動作と同期して、前記出力部からの出力を制御する、
上記（１）に記載の情報処理装置。
（８）仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作を取得するステップと、
　前記仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記実在物体に動作を加えるステップと、
を有する情報処理方法。
（９）特定の実在物体を検出する検出部と、
　前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示部と、
を具備する表示装置。
（１０）前記検出部は、前記実在物体を識別し、
　前記表示部は、識別した前記実在物体に対応した前記仮想物体を表示する、
上記（９）に記載の表示装置。
（１１）前記検出部は、前記実在物体が備える識別情報に基づいて前記実在物体を識別し、又は、物体認識により前記実在物体を識別する、
上記（９）に記載の表示装置。
（１２）前記検出部は、ユーザーの視界内から前記実在物体を検出し、
　前記表示部は、前記実在物体に重ね合わせて前記仮想物体を表示する、
上記（９）に記載の表示装置。
（１３）前記仮想物体の動作を制御する仮想物体制御部をさらに備える、
上記（９）に記載の表示装置。
（１４）前記仮想物体制御部は、前記仮想物体の出現と消滅を制御する、
上記（１３）に記載の表示装置。
（１５）前記仮想物体制御部は、ユーザーの行動に応じて前記仮想物体の出現又は消滅を制御する、
上記（１３）に記載の表示装置。
（１６）前記仮想物体制御部は、ユーザーの行動又は状況、時間帯に応じて、前記表示部が表示する前記仮想物体の情報量を制御する、
上記（１３）に記載の表示装置。
（１７）前記仮想物体制御部は、前記仮想物体の前記実在物体に対する動作を制御する、
上記（１３）に記載の表示装置。
（１８）前記仮想物体制御部は、前記仮想物体が前記実在物体から受ける動作に応じて、前記仮想物体の動作を制御する、
上記（１３）に記載の表示装置。
（１９）前記検出部は、前記仮想物体の前記実在物体に対する動作、又は、前記仮想物体が前記実在物体から受ける動作を検出し、
　前記仮想物体制御部は、前記検出部の検出結果に基づいて、前記仮想物体の動作を制御する、
上記（１３）に記載の表示装置。
（２０）前記仮想物体制御部は、前記実在物体の動作と同期するように、前記仮想物体の動作を制御する、
上記（１３）に記載の表示装置。
（２１）前記検出部の検出結果を外部の装置に送信する送信部をさらに備える、
上記（９）に記載の表示装置。
（２２）前記表示部で表示する前記仮想物体を常時動作させる、
上記（９）に記載の表示装置。
（２３）前記表示部は、ユーザーの頭部又は顔部に装着して用いられる、
上記（９）に記載の表示装置。
（２４）ユーザーの頭部又は顔部の位置並びに姿勢を検出する位置姿勢検出部をさらに備え、
　前記表示部は、ユーザーの頭部又は顔部の位置又は姿勢の変化とは逆方向に、前記仮想物体の表示を修正する、
上記（２３）に記載の表示装置。
（２５）特定の実在物体を検出する検出ステップと、
　前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示ステップと、
を有する表示方法。
（２６）仮想物体の動作を制御する制御装置と、
　実在物体を検出して、対応する仮想物体を表示する表示装置と、
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
を具備する情報処理システム。
（２７）実在物体を検出して、対応する仮想物体を表示するとともに、仮想物体の動作を制御する表示装置と、
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
を具備する情報処理システム。

　１０１…仮想物体制御部、１０２…仮想物体生成部
　１０３…表示部、１０４…検出部
　１０５…出力部、１０５…出力制御部
　１０７…環境検出部、１０８…状態検出部
　１５０…仮想物体、１５１…実在物体、１５２…識別情報
　２０１…表示装置、２０２…出力装置、２１３…環境検出部
　４０１…制御装置、４０２…表示装置、４０３…出力装置
　４１３…環境検出部、４１４…状態検出部、４１５…状態検出部
　７００…画像表示装置（透過型）
　７０１Ｌ、７０１Ｒ…虚像光学部、７０２…支持体
　７０３Ｌ、７０３Ｒ…マイクロフォン、７０４Ｌ、７０４Ｒ…表示パネル
　９０１…制御部、９０１Ａ…ＲＯＭ、９０１Ｂ…ＲＡＭ
　９０２…入力操作部、９０３…リモコン受信部
　９０４…状態情報取得部、９０５…通信部、９０６…記憶部
　９０７…画像処理部、９０８…表示駆動部
　９０９…表示部、９１０…虚像光学部、９１２…外側カメラ
　９１３…音声処理部、９１４…音声入出力部
　９１５…外側表示部、９１６…環境情報取得部
　１００１…制御部、１００１Ａ…ＲＯＭ、１００１Ｂ…ＲＡＭ
　１００２…通信部、１００３…状態検出部、１００４…環境検出部
　１０１０…駆動制御部、１０２０…アクチュエーター部
　１１０１…振動デバイス、１１０２…発熱デバイス
　１１０３…冷却デバイス、１１０４…送風デバイス
　１１０５…音響デバイス、１１０６…発光デバイス
　１１０７…移動デバイス、１１０８…パルス発生デバイス

Claims

　実在物体に動作を加える出力部と、
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記出力部からの出力を制御する制御部と、
を具備する情報処理装置。
　前記情報処理装置を識別するための識別情報をさらに備える、
請求項１に記載の情報処理装置。
　前記仮想物体が前記実在物体に対して行なう動作の検出結果を受信する受信部をさらに備え、
　前記制御部は、受信した前記検出結果に従って、前記出力部からの出力を制御する、
請求項１に記載の情報処理装置。
　前記仮想物体の動作を制御する仮想物体制御部をさらに備え、
　前記制御部は、前記仮想物体制御部により制御される前記仮想物体の動作に応じて、前記出力部からの出力を制御する、
請求項１に記載の情報処理装置。
　前記出力部は、前記実在物体の中に組み込まれた、振動デバイス、パルス発生デバイス、発熱デバイス、冷却デバイス、送風デバイス、音響デバイス、発光デバイス、移動デバイスのうち少なくとも１つの出力デバイスを備える、
請求項１に記載の情報処理装置。
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作を取得するステップと、
　前記仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記実在物体に動作を加えるステップと、
を有する情報処理方法。
　特定の実在物体を検出する検出部と、
　前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示部と、
を具備する表示装置。
　前記検出部は、前記実在物体を識別し、
　前記表示部は、識別した前記実在物体に対応した前記仮想物体を表示する、
請求項７に記載の表示装置。
　前記検出部は、前記実在物体が備える識別情報に基づいて前記実在物体を識別し、又は、物体認識により前記実在物体を識別する、
請求項７に記載の表示装置。
　前記検出部は、ユーザーの視界内から前記実在物体を検出し、
　前記表示部は、前記実在物体に重ね合わせて前記仮想物体を表示する、
請求項７に記載の表示装置。
　前記仮想物体の動作を制御する仮想物体制御部をさらに備える、
請求項７に記載の表示装置。
　前記仮想物体制御部は、ユーザーの行動に応じて前記仮想物体の出現又は消滅を制御する、
請求項１１に記載の表示装置。
　前記仮想物体制御部は、ユーザーの行動又は状況、時間帯に応じて、前記表示部が表示する前記仮想物体の情報量を制御する、
請求項１１に記載の表示装置。
　前記仮想物体制御部は、前記仮想物体の前記実在物体に対する動作を制御し、又は、前記仮想物体が前記実在物体から受ける動作に応じて、前記仮想物体の動作を制御する、
請求項１１に記載の表示装置。
　前記検出部は、前記仮想物体の前記実在物体に対する動作、又は、前記仮想物体が前記実在物体から受ける動作を検出し、
　前記仮想物体制御部は、前記検出部の検出結果に基づいて、前記仮想物体の動作を制御する、
請求項１１に記載の表示装置。
　前記仮想物体制御部は、前記実在物体の動作と同期するように、前記仮想物体の動作を制御する、
請求項１１に記載の表示装置。
　前記表示部は、ユーザーの頭部又は顔部に装着して用いられ、
　ユーザーの頭部又は顔部の位置並びに姿勢を検出する位置姿勢検出部をさらに備え、
　前記表示部は、ユーザーの頭部又は顔部の位置又は姿勢の変化とは逆方向に、前記仮想物体の表示を修正する、
請求項７に記載の表示装置。
　特定の実在物体を検出する検出ステップと、
　前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示ステップと、
を有する表示方法。
　仮想物体の動作を制御する制御装置と、
　実在物体を検出して、対応する仮想物体を表示する表示装置と、
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
を具備する情報処理システム。
　実在物体を検出して、対応する仮想物体を表示するとともに、仮想物体の動作を制御する表示装置と、
　仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
を具備する情報処理システム。