JPWO2014073345A1 - 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

簡単かつ直観的な方法で実世界とデジタル情報とが融合された拡張作業空間において、デジタル情報の取り扱いを可能にする。本開示の情報処理装置は、実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される仮想オブジェクトの表示を制御する情報処理装置であって、拡張作業空間で検出される情報端末の位置情報と、仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、拡張作業空間への入力情報の解析結果に基づいて、拡張作業空間に表示される仮想オブジェクトへの操作処理を決定する操作決定部と、決定された操作処理に基づいて、仮想オブジェクトの表示制御処理を行う表示制御部と、を備える。

Description

本開示は、情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体に関する。

紙の上にペンで文字を書く、キッチンの上で食材を切る、カードゲームで遊ぶといった、実際に触ることのできる実体を伴った行為と、パソコンやスマートフォンのようにデジタル情報を用いて行う行為とは、同一空間で行うことができない。しかし、将来的には実世界の上に例えばプロジェクタ等を用いてデジタル情報を重畳することで、実世界とデジタル情報の世界とを融合した空間での作業ができるようになると考えられる。例えば、紙の上に数式を記述することでグラフを自動生成する、料理に合わせて食材を適切に切られるようカットラインをプロジェクションすることが考えられる。このような処理を実現するためのＡＲアプリケーションとして、例えば特許文献１等に開示された技術がある。

実世界の上に仮想オブジェクトであるデジタル情報を提示する先行技術としては、例えば、プロジェクタや、シースル型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、スマートフォン等のカメラ内蔵型ディスプレイなどを用いた技術がある。このような実世界とデジタル情報とが融合された作業空間を、以下、拡張作業空間と称する。

特開２０１０−２３８０９８号公報

拡張作業空間で行われる作業として、例えば天気、ニュース、時計、写真等のデジタル情報を机上や壁面等にプロジェクションして拡張作業空間で取り扱うことが考えられる。このような場合において、スマートフォンやタブレット端末、パソコン等のようにホーム画面からアプリケーションを指定して起動し、所望のデジタル情報をプロジェクションすることで拡張作業空間でのデジタル情報の取り扱いを可能とすることができる。しかし、所望のデジタル情報を拡張作業空間で取り扱うために、その都度ホーム画面に切り替え、アプリケーションを選択するという手間が発生する。他の方法として、例えばスマートフォンから特定のアプリケーションを起動して、別のデバイスに転送する方法が考えられるが、複雑な階層メニュー構造から転送したいデバイスを選択するなどの手間が発生する。

そこで、本開示では、簡単かつ直観的な方法で実世界とデジタル情報とが融合された拡張作業空間において、デジタル情報の取り扱いを可能にする、新規かつ改良された情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体を提案する。

本開示によれば、実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される仮想オブジェクトの表示を制御する情報処理装置であって、拡張作業空間で検出される情報端末の位置情報と、仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、拡張作業空間への入力情報の解析結果に基づいて、拡張作業空間に表示される仮想オブジェクトへの操作処理を決定する操作決定部と、決定された操作処理に基づいて、仮想オブジェクトの表示制御処理を行う表示制御部と、を備える、情報処理装置が提供される。

本開示によれば、拡張作業空間において、情報端末を用いて所定の動作が行われたとき、情報処理装置と情報端末との間で制御対象とされている仮想オブジェクトの表示制御が行われる。これにより、簡単かつ直感的な方法でユーザが操作を行っているようなユーザインフェースを提供できる。

また、本開示によれば、実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される仮想オブジェクトの表示を制御する情報処理方法であって、拡張作業空間で検出される情報端末の位置情報と、仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、拡張作業空間への入力情報の解析結果に基づいて、拡張作業空間に表示される仮想オブジェクトへの操作処理を決定すること、決定された操作処理に基づいて、仮想オブジェクトの表示制御処理を行うこと、を含む、情報処理方法が提供される。

さらに、本開示によれば、コンピュータに上記情報処理装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体が提供される。

以上説明したように本開示によれば、簡単かつ直観的な方法で実世界とデジタル情報とが融合された拡張作業空間において、デジタル情報の取り扱いを可能にする情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体を提供することができる。

本開示の第１の実施形態に係る拡張作業空間システムの一構成例を示す説明図である。 同実施形態に係る情報認識表示装置の機能構成を示すブロック図である。 情報端末から拡張作業空間へのデジタル情報の取り込み処理を示すフローチャートである。 拡張作業空間から情報端末へ作業面に表示されたデジタル情報の取り去り処理を示すフローチャートである。 拡張作業空間内の作業面と情報端末との間で行われる写真の授受処理を説明する説明図である。 冷蔵庫の扉を拡張作業空間の作業面として利用した例を示す説明図である。 拡張作業空間内に表示されたデジタル情報と情報端末のデジタル情報とが同期されるときの、同期の一例を示す説明図である。 拡張作業空間内の実物を認識して、認識された情報に関連付けられたデジタル情報を拡張作業空間の作業面に表示させる一操作例を示す説明図である。 拡張作業空間内の実物を認識して、認識された情報に関連付けられたデジタル情報を拡張作業空間の作業面に表示させる他の操作例を示す説明図である。 デジタル情報の授受の誤操作を防止するための操作を説明する説明図である。 本開示の第２の実施形態に係る拡張作業空間システムにおけるリモートコラボレーション機能の起動処理を示す説明図である。 同実施形態に係る拡張作業空間システムにおけるリモートコラボレーション機能の起動処理の他の例を示す説明図である。 同実施形態に係る認証方法の一例を示す説明図である。 同実施形態に係る認証方法の他の例を示す説明図である。 同実施形態に係る認証方法の他の例を示す説明図である。 同実施形態に係る認証方法の他の例を示す説明図である。 同実施形態に係る認証方法の他の例を示す説明図である。 認証成立時に操作可能な処理をリスト表示する例を示す説明図である。 デジタル情報に対する排他処理を説明する説明図である。 情報処理部の一ハードウェア構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態（デジタル情報の授受）
１．１．拡張作業空間システムの構成例
１．２．情報認識表示装置の機能構成
１．３．拡張作業空間での作業
２．第２の実施形態（リモートコラボレーション機能）
２．１．リモートコラボレーション機能
２．２．インタラクティブな認証方法
３．ハードウェア構成例

＜１．第１の実施形態＞
［１．１．拡張作業空間システムの構成例］
まず、図１を参照して、本開示の第１の実施形態に係る拡張作業空間システムの構成例について説明する。なお、図１は、本実施形態に係る拡張作業空間システムの一構成例を示す説明図である。

本実施形態に係る拡張作業空間システムは、実世界に存在する実物を認識可能であるとともに、仮想オブジェクトであるデジタル情報を実世界に重畳し、実世界とデジタル情報とが融合する拡張作業空間を構築するシステムである。拡張作業空間システムは、例えば、デジタル情報を拡張作業空間に投影するプロジェクタや、拡張作業空間を撮影するカメラ、拡張作業空間で行われたタッチやピンチイン、ピンチアウト等のジェスチャ認識を行うセンシングデバイス、無線通信装置から構成される。

例えば図１に示すように、卓上を作業面２とし、プロジェクタ、カメラ、無線通信装置、センシングデバイスを備えた情報認識表示装置１００を卓上に設置して作業面２にデジタル情報を投影することで、拡張作業空間を構築することができる。作業面２は拡張作業空間で情報の操作や表示が行われる情報操作面であり、プロジェクタで投影可能かつカメラで撮像可能な領域をいう。情報認識表示装置１００は、作業面２を含む空間をカメラで撮影し、作業面２で行われるユーザのジェスチャをセンシングデバイスにより認識する。また、プロジェクタによりデジタル情報を作業面２に投影し、実世界に存在する物体にデジタル情報を重畳する。

拡張作業空間システムにおいて、図１の例では、卓上にプロジェクタを備える情報認識表示装置１００を設置して作業面２にデジタル情報を投影しているが、プロジェクタは卓上に設置されるデスクライトスタンドや天井照明、あるいは壁等に設置してもよい。また、プロジェクタによりデジタル情報を投影する代わりに、例えば、カメラが内蔵されたＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）やシースル型のＨＭＤ等のようにメガネ型のデバイスを用いてもよい。このとき、拡張作業空間に重畳されるデジタル情報は、ユーザが装着するメガネ型のディスプレイ上に重畳される。また、プロジェクタの代替としてカメラおよびディスプレイが内蔵されたスマートフォン等のデバイスを用いて、ディスプレイに表示された、カメラにより撮影されているスルー画像の上に、デジタル情報を重畳して表示してもよい。

また、センシングデバイスには、例えば作業面２に対して並行に照射された赤外線を検出するＩＲカメラや、ステレオカメラ、奥行き情報を取得可能な特殊センサ等で用いてもよい。また、センシングデバイスには、指等の作業面２への接触を検出するタッチセンサや、超音波と赤外線とを用いてデジタルペンによる筆跡の座標を取得可能なデバイスを用いてもよい。なお、筆跡の座標は、デジタルペンを用いなくとも、通常のペンの筆跡をカメラ等の別のセンサで検出してもよい。

無線通信装置には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ‐ｆｉ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の外部デバイスと通信可能な装置が用いられる。

［１．２．情報認識表示装置の機能構成］
次に、図２に基づいて、情報認識表示装置１００の機能構成について説明する。なお、図２は、本実施形態に係る情報認識表示装置１００の機能構成を示すブロック図である。本実施形態に係る情報認識表示装置１００は、投影部１１０と、検出部１２０と、撮像部１３０と、情報処理部１４０と、通信部１５０とから構成される。

投影部１１０は、デジタル情報を拡張作業空間に投影する機能部であり、図１で説明したプロジェクタ等により実現される。投影部１１０は、後述する情報処理部１４０からの表示指示を受けて、投影部１１０が設置されている拡張作業空間にデジタル情報を表示する。

検出部１２０は、拡張作業空間における動き情報を検出する。検出部１２０は、例えば図１で説明したセンシングデバイス等により実現される。検出部１２０は、検出結果を後述する情報処理部１４０へ出力する。

撮像部１３０は、拡張作業空間を撮影する機能部であり、図１で説明したカメラ等により実現される。撮像部１３０は、撮像画像を後述する情報処理部１４０へ出力する。

情報処理部１４０は、拡張作業空間における物体の位置や動きを解析し、解析結果に対応して当該拡張作業空間におけるデジタル情報の表示処理を行う。情報処理部１４０は、図２に示すように、解析部１４２と、操作決定部１４４と、表示制御部１４６と、設定記憶部１４８とを備える。

解析部１４２は、検出部１２０の検出結果および撮像部１３０による撮像画像のうち少なくともいずれか一方の情報に基づいて、拡張作業空間における物体の位置や動きを解析する。例えば、解析部１４２は、検出部１２０による検出結果よりユーザの手の動きの変化を算出する。そして、解析部１４２は、設定記憶部１４８を参照し、特定したユーザの手の動きの変化から、拡張作業空間においてユーザが行ったタッチやピンチイン、ピンチアウト等のジェスチャを特定する。解析部１４２による解析結果はユーザが拡張作業空間で行った操作入力情報であり、当該解析結果に基づいて仮想作業空間へデジタル情報が表示される。解析部１４２は、解析結果を操作決定部１４６へ出力する。

操作決定部１４４は、解析部１４２の解析結果に基づいて、拡張作業空間におけるデジタル情報の操作内容を決定する。操作決定部１４４は、設定記憶部１４８を参照して、例えば解析部１４２により特定されたユーザのジェスチャに対応するデジタル情報の操作内容を決定する。デジタル情報の操作内容としては、例えば、情報端末のデジタル情報を作業面２にコピーする、作業面２のデジタル情報を情報端末へ移動する、作業面２に表示されているデジタル情報の拡大・縮小、等がある。操作決定部１４４は、決定した操作内容を表示制御部１４６へ出力する。

表示制御部１４６は、操作決定部１４４により決定された操作内容に基づいて、拡張作業空間のデジタル情報の表示処理を行う。表示制御部１４６は、例えば、情報端末と作業面２との間でのデジタル情報の授受を行うようにみせるための表示処理や、拡張作業空間に表示されたデジタル情報の表示変更処理（拡大、縮小、移動等）等を行う。表示制御部１４６は、デジタル情報に対する表示処理の内容を投影部１１０へ出力し、デジタル情報の表示指示を行う。

設定記憶部１４８は、情報処理部１４０にて行われる解析やデジタル情報の操作内容等決定するための情報を記憶する。設定記憶部１４８に記憶された情報を参照して、例えば解析部１４２はユーザが拡張作業空間で行った操作入力情報を特定し、操作決定部１４４は拡張作業空間におけるデジタル情報の操作内容を決定する。

通信部１５０は、他の拡張作業空間の情報認識表示装置１００と情報を送受信する。通信部１５０により他の拡張作業空間の情報認識表示装置１００との情報のやり取りが可能となることで、互いの拡張作業空間の状況をそれぞれの空間に反映させることができる。

［１．３．拡張作業空間での作業］
本実施形態に係る情報認識表示装置１００は、拡張作業空間で入力された操作入力情報に応じて、拡張作業空間内にある実物および情報端末でのデジタル情報の操作を制御する装置である。情報認識表示装置１００は、従来デジタル情報を拡張作業空間で取り扱う際に複雑な操作や手間が生じていたことを解決するため、簡単かつ直観的なデジタル情報の取り扱いを可能にするよう制御する。

まず、図３〜図５に基づいて、情報認識表示装置１００による基本的な処理である、拡張作業空間内の作業面２と情報端末との間で行われるデジタル情報の授受処理を説明する。なお、図３は、情報端末２００から拡張作業空間へのデジタル情報の取り込み処理を示すフローチャートである。図４は、拡張作業空間から情報端末２００へ作業面に表示されたデジタル情報の取り去り処理を示すフローチャートである。図５は、拡張作業空間内の作業面２と情報端末２００との間で行われる写真の授受処理を説明する説明図である。

拡張作業空間内の作業面２と情報端末２００との間でデジタル情報の授受が可能となると、デジタル情報を操作しやすい場所で編集等の作業を行うことができ、作業完了後には持ち運びしやすい情報端末２００に取り込むことも可能となる。なお、情報端末２００とは、例えばスマートフォンやタブレット端末、デジタルカメラ等のデバイス等が考えられる。

情報端末２００は操作領域に限りがある一方、拡張作業空間内では作業面２を広く確保することが可能である。したがって、例えば、情報端末２００が保持する複数の画像の編集作業を行う場合には、情報端末２００では操作領域の制限から編集対象のみを表示して１つずつ編集することになる。そこで、情報端末２００の保持する画像を作業面２に取り込むことで、取り込んだ複数の画像を作業面２に広げて、他の画像を見ながら同時に編集作業を行うことが可能になる。その他、写真を複数人で閲覧して共有する場合や、画面にメッセージを書き込む場合等、広い作業空間を必要とする場合において、拡張作業空間を利用したデジタル情報の作業は特に有効である。

なお、以下において、デジタル情報は、動画、音声のようなコンテンツや、ｔｗｉｔｔｅｒ（登録商標）等の情報投稿サービス、時計、ニュース、ゲームのようなアプリケーション等様々な情報を想定している。また、情報端末２００で指定されるデジタル情報は、情報端末２００本体内に保持されていてもよく、クラウド・コンピューティングのように情報端末２００とネットワークを介して通信可能に接続されたサーバに保持されていてもよい。拡張作業空間の情報認識表示装置１００と情報端末２００とは、予め無線通信接続されているものとする。これらの装置のペアリングは、従来行われている操作端末の設定画面を用いた設定方法で行ってもよく、ペアリングする情報端末２００を情報認識表示装置１００に接触させることでペアリングが自動的に行われるタッチペアリングを用いてもよい。

（１）デジタル情報取り込み処理
まず、情報端末２００から拡張作業空間内の作業面２に情報端末２００で指定されたデジタル情報を作業面２に取り込む処理について説明する。図３に示すように、まず、ユーザは、情報端末２００を操作して、作業面２への取り込み対象とするデジタル情報を選択する（Ｓ１００）。取り込み対象とするデジタル情報は１つであっても複数であってもよい。図５左側では、デジタル情報として写真を例にとり、情報端末２００の写真を拡張作業空間の作業面２へ取り込む一操作例を示している。この例では、情報端末２００に取り込み対象の写真３００を画面に表示させることで、取り込み対象を選択する。なお、複数の写真を取り込む場合には、ユーザが取り込み対象を決定する操作（例えば、画面を長押しして取り込み対象決定ボタンを表示させ、当該ボタンを押下する、等）を情報端末２００で行えばよい。

取り込み対象のデジタル情報を選択した後、ユーザは、デジタル情報の取り込みを指示する動作として、拡張作業空間内の作業面２に情報端末２００を置く（Ｓ１０２）。図５左側の例では、ユーザは情報端末２００を作業面２である卓上に置いている。ユーザが情報端末２００を作業面２に置いたことを情報認識表示装置１００が認識すると、作業面２に情報端末２００が置かれたことが表示制御トリガ情報となって取り込み対象のデジタル情報が作業面２に取り込まれる（Ｓ１０４）。デジタル情報の取り込み動作が行われたことを判定する方法としては、例えば画像認識技術を用いる方法やタイムスタンプを用いる方法等が考えられる。

画像認識技術を用いる方法では、まず、情報端末２００に表示されたデジタル情報を情報認識表示装置１００の撮像部１３０で撮影し、解析部１４２により撮影されたデジタル情報の画像を画像認識する。画像認識は、例えば、情報端末２００に表示されるデジタル情報に対応する登録画像を情報認識表示装置１００に予め登録しておき、撮像部１３０により撮影された画像と登録画像とをマッチングすることで行うことができる。それ以外にも、例えば情報端末２００に表示されたＱＲコード（登録商標）等の２次元バーコードを識別したり、情報端末２００の画面の時系列点灯パターンを識別したりすることによって、取り込み対象のデジタル情報を認識することもできる。画像認識に際して予め取得しておくべき情報は、画像認識表示装置１００の設定記憶部１４８に記録される。

一方、タイムスタンプを用いる方法では、動きが検出された情報端末２００が静止した時点（「静止判定時点」とする。）のタイムスタンプと、検出部１２０により取得された静止判定時点のタイムスタンプとの時間差から、取り込み動作を判定してもよい。なお、情報端末２００と情報認識表示装置１００との内部時計は予め一致させておく、あるいは内部時計の時間差を予め計測し当該時間差だけいずれか一方のタイムスタンプを補正するものとする。また、タイムスタンプの比較に加え、解析部１４２により情報端末２００が認識する動き情報と情報認識表示装置１００が認識する情報端末２００の動き情報との正規化相互相関を計算し、相関値が最も高い時刻差に基づき取り込み動作の実行を判定してもよい。

このようなデジタル情報の取り込み動作の実行判定とともに、解析部１４２は、検出部１２０の検出結果から情報端末２００が作業面２に接触したか否かを判定する。そして、操作決定部１４４は、解析部１４２の解析結果より、情報端末２００が作業面２に接触したと判定され、かつ、画像認識より取り込み対象となるデジタル情報が特定されたとき、当該デジタル情報の作業面２への取り込み処理を開始する（Ｓ１０６）。

具体的には、取り込み対象のデジタル情報が、通信部を介して、情報端末２００から情報認識表示装置１００へ送信される。情報端末２００本体に取り込み対象のデジタル情報を保持していない場合には、当該デジタル情報を保持するサーバ等から情報認識表示装置１００へ送信してもよい。情報認識表示装置１００も、情報認識表示装置１００本体にデジタル情報を記憶していなくともよく、情報端末２００と同様、ネットワークを介して通信可能に接続されたサーバに保持されていてもよい。この場合、情報端末２００は、情報認識表示装置１００のデジタル情報を保持するサーバへ取り込み対象のデジタル情報を送信する。

ステップＳ１０６では、拡張作業空間の作業面２に取り込み対象のデジタル情報を表示させることで、情報端末２００から作業面２へデジタル情報が取り込まれたとする。表示制御部１４６は、操作決定部１４４がデジタル情報の取り込み処理を開始すると、開始処理を受けて取り込み対象のデジタル情報を保持している機器から当該デジタル情報を取得する。取り込み対象のデジタル情報は、情報端末２００あるいはネットワークを介して通信可能なサーバ等が保持しており、操作決定部１４４は、通信部１５０を介してネットワークに接続し、取り込み対象のデジタル情報を取得する。

そして、表示制御部１４６は、取得したデジタル情報を投影部１１０に投影させる（Ｓ１０８）。こうして、情報端末２００のデジタル情報を拡張作業空間に取り込むことができる。例えば、図５左側の例において、卓上に置かれた情報端末２００の画面に表示されている写真３００の画像認識が正常に行われ、かつ、情報端末２００が卓上に置かれたことが認識されたとする。この場合、情報端末２００から情報認識表示装置１００へ写真が送信されて、投影部１１０により当該写真が卓上に投影される。ユーザが情報端末２００を卓上から持ち上げたときに情報端末２００に表示された写真が卓上に表示されていることで、ユーザは情報端末２００の写真が拡張作業空間に取り込まれことを認識できる。

以上、デジタル情報の取り込み処理について説明した。なお、情報端末２００から拡張作業空間の作業面２へのデジタル情報の取り込みは、情報端末２００を情報認識表示装置１００へコピーするものでもよく、情報端末２００のデジタル情報を情報認識表示装置１００へ移動するものであってもよい。情報端末２００のデジタル情報を情報認識表示装置１００へ移動した場合、作業面２にのみデジタル情報を表示させ、情報端末２００側では当該デジタル情報を表示しないようにしてもよい。また、情報端末２００のデジタル情報を情報認識表示装置１００へ移動した場合、情報端末２００側に、情報端末２００のデジタル情報を情報認識表示装置１００へ移動したことを明示する表示情報を表示させるようにしてもよい。これにより、ユーザはデジタル情報が情報端末２００から移動されたことを直観的に認識することができる。このような情報端末２００側の表示制御は、デジタル情報の取り込み処理に応じたタイミングで情報端末２００側の表示を変化させるための情報を情報認識表示装置１００から情報端末２００側へ送信することにより実現される。作業面２に表示されているデジタル情報を情報端末２００で取り去る場合も同等に表示処理してもよい。図５右側に示すように、情報端末２００へデジタル情報が取り去られたときに作業面２からデジタル情報の表示を消去してもよく、情報端末２００へデジタル情報を移したときにも作業面２に当該デジタル情報を表示させていてもよい。さらに、情報端末２００から拡張作業空間の作業面２へ取り込まれたデジタル情報は、作業面２において編集や移動等、自由に操作可能である。拡張作業空間の作業面２で実施可能な操作内容の具体例は後述する。

（２）デジタル情報取り去り処理
次に、図４および図５に基づき、拡張作業空間の作業面２に表示されたデジタル情報を情報端末２００で取り去る処理について説明する。図５右側には、デジタル情報として写真を例にとり、拡張作業空間の作業面２の写真を情報端末２００で取り去る一操作例を示している。

まず、ユーザは、拡張作業空間の作業面２に表示されたデジタル情報から、情報端末２００で取り去るデジタル情報を決定する。そして、ユーザは、デジタル情報を作業面２から取り去る動作として、取り去り対象として決定したデジタル情報の上に情報端末２００を置く（Ｓ１１０）。図５右側の例では、拡張作業空間の作業面２に表示されている写真４００に対して、ユーザは付加オブジェクト４０２として文字列を追加した後、当該写真４００の上に情報端末２００を置いている。ユーザが情報端末２００を作業面２に置いたことを情報認識表示装置１００が認識すると（Ｓ１１２）、作業面２に情報端末２００が置かれたことが表示制御トリガ情報となって取り去り対象のデジタル情報が作業面２から情報端末２００に移動される（Ｓ１１４）。

このとき、情報端末２００へは、情報端末２００が置かれた時点での、作業面２に表示されている内容のデジタル情報が移動される。例えば図５右側の例では、付加オブジェクト４０２が追加された写真４００が情報端末２００へ移動される。なお、デジタル情報の取り去り動作が行われたことを判定する方法としては、例えば上述の画像認識技術を用いる方法やタイムスタンプを用いる方法等が考えられる。このとき、タイムスタンプを用いる方法では、上述した情報端末２００が静止した時点を判定するのとは逆に、情報端末２００が静止状態から動き始めた時点のタイムスタンプを用いて動作判定が行われる。

その後、ユーザにより情報端末２００が作業面２から持ち上げられたことが検出されると、操作決定部１４４は、表示制御部１４６に、情報端末２００へ移動されたデジタル情報の表示を作業面２から消去させる（Ｓ１１６）。例えば図５右側の例では、ユーザが卓上に置いた情報端末２００を持ち上げると、作業面２の情報端末２００が置いてあった位置に表示されていた取り去り対象の写真４００の表示が消去される。これにより、ユーザは取り去り対象の写真４００が情報端末２００に移動されたことを視認することができる。また、情報端末２００には、写真４００を取り去る前に作業面２に表示されていた編集後の写真の内容が表示される。以上、デジタル情報の取り去り処理について説明した。なお、上記説明では作業面２に情報端末２００の動きが表示制御トリガ情報となって、デジタル情報の取り込みや取り去りが行われたが、作業面２に情報端末２００が置いてあるという状態を表示制御トリガ情報としてもよい。

（３）拡張作業空間におけるデジタル情報の操作
このように、拡張作業空間のデジタル情報を制御する情報認識表示装置１００と情報端末２００との間でデジタル情報の授受ができるようになると、デジタル情報に対する作業内容や利用状態に応じて、様々な場所でデジタル情報を操作することができる。例えば、図６に示すように、冷蔵庫の扉を拡張作業空間における作業面２として利用することもできる。図６の例では、冷蔵庫の扉に情報認識表示装置１００が設置されている。ニュース等の動画アプリケーションを情報端末２００で起動した状態で当該情報端末２００を冷蔵庫の扉にタッチすると、情報端末２００から情報認識表示装置１００へ動画アプリケーションが取り込まれる。こうしてユーザは冷蔵庫の扉に表示された動画アプリケーションを操作して、ニュースを視聴することができる。

・デジタル情報の同期
拡張作業空間での作業が可能となったデジタル情報は、当該デジタル情報の取得元である情報端末２００のデジタル情報と同期させてもよく、同期させず独立した情報として取り扱えるようにしてもよい。拡張作業空間内に表示されたデジタル情報と情報端末２００のデジタル情報とを同期させると、例えば拡張作業空間内のデジタル情報の編集内容や操作内容が情報端末２００側にリアルタイムに反映される。また、図７に示すように、情報端末２００側に写真３００ａが表示され、拡張作業空間内の作業面２に写真３００ａに対応する写真４００ａが投影されている状況で、情報端末２００側の操作面で指を移動させてスライド操作が行われたとする。この操作を受けて、情報端末２００に表示されていた写真３００ａがスライドされて次の写真３００ｂが情報端末２００に表示されるとともに、作業面２でも写真４００ａから写真３００ｂに対応する写真４００ｂに表示が変更される。

・実物に関連付けられたデジタル情報の利用
また、上述の説明では、デジタル情報の授受は、情報認識表示装置１００と情報端末２００との間で行われたが、情報認識表示装置１００は、情報端末２００以外にも、本や雑誌、新聞等、実物を認識し、認識された実物に対応するデジタル情報を取得してもよい。例えば、実物の雑誌が拡張作業空間内の作業面２上に置かれると、撮像部１３０により撮影された雑誌の画像が設定記憶部１５０に予め記憶されている登録情報とマッチングされる。このとき、表紙等のように実物を特定しやすい部分を用いて実物を認識するようにしてもよい。解析部１４２は、雑誌の画像がある登録情報と一致すると判定すると、操作決定部１４４に当該登録情報に関連付けられたデジタル情報（すなわち、認識された雑誌のデジタル情報）を、ネットワークを介して取得させる。取得された雑誌のデジタル情報は、表示制御部１４６を経由して、投影部１１０により作業面２に投影される。

作業面２に表示された雑誌のデジタル情報は、情報端末２００での操作と同様、作業面２に対してユーザがデジタル情報を操作するジェスチャを行うことで操作することができる。例えば図８に示すように、作業面２に雑誌のデジタル情報４２０が表示されているとき、ユーザがデジタル情報４２０の表示されている領域で指をスライドさせると、スライド方向に応じて、デジタル情報４２０で表示されている雑誌のページがめくられる。このように、拡張作業空間の実物を認識し、認識された情報に関連付けられたデジタル情報を拡張作業空間の作業面２に表示させることも可能であり、当該デジタル情報を操作することもできる。

拡張作業空間内の実物を認識して、認識された情報に関連付けられたデジタル情報を拡張作業空間の作業面２に表示させる他の例として、実物に設けられた２次元バーコードの識別によりデジタル情報を表示させてもよい。図９に、２つの算数の問題の回答表示方法の例を示す。図９左側の例では、拡張作業空間の作業面２に置かれた答案用紙４３０の上で指をスライドさせると、答案用紙４３０に回答が表示される。この例では、指をスライドする動作が回答表示指示となっており、解析部１４２により認識された答案用紙４３０の内容と拡張作業空間でのユーザの動作とに基づき操作決定部１４４は答案用紙４３０の問題に対応する回答を答案用紙４３０に表示する。

あるいは、図９右側の例では、拡張作業空間の作業面２に置かれた答案用紙４３０の上に、回答表示指示を示す２次元バーコード５０２が記載された用紙５００を答案用紙４３０上に置くことで回答表示させてもよい。情報認識表示装置１００は、用紙５００の２次元バーコードを識別し、問題の解答を用紙５００に表示させる。用紙５００の２次元バーコード５０２は、問題毎に対応するものであってもよく、複数の問題に対して共通のものであってもよい。

このように、実物に関連付けられたデジタル情報を拡張作業空間に表示させる操作は、例えば、スーパーマーケットの広告を認識して各商品の詳細情報を表示させたり、映画のトレーラの表示を認識して動画を再生させたりすることにも利用できる。

・誤操作防止処理
情報認識表示装置１００と情報端末２００との間でのデジタル情報の授受は、情報端末２００を作業面２に置いて離すという動作により実行される。ここで、情報端末２００を卓上等に置く動作は頻繁に行われる動作でもあるため、デジタル情報の授受を目的としていない場合にも取り込み動作や取り去り動作が行われたと認識され、意図しないデジタル情報の授受が行われる可能性もある。そこで、デジタル情報の授受を行うことを明示する動作を行うことで、意図しないデジタル情報の授受を防止してもよい。

例えば図１０に示すように、拡張作業空間の作業面２に情報端末２００が置かれているとする。情報端末２００から情報認識表示装置１００へのデジタル情報の取り込みについて考えると、図３に示したフローチャートでは、作業面２に置かれた情報端末２００を持ち上げると取り込み対象のデジタル情報が情報認識表示装置１００へ取り込まれる。このとき、意図しないデジタル情報の取り込みを防止するために、例えば、作業面２に置かれた情報端末２００を作業面２側に押し込む動作が行われたときに、初めて情報認識表示装置１００へのデジタル情報の取り込みを開始する。情報端末２００への押し込み動作が行われた後当該情報端末２００が持ち上げられたことが認識されると、取り込み対象のデジタル情報が情報認識表示装置１００に取り込まれる。

一方、作業面２に置かれた情報端末２００への押し込み動作が行われずに当該情報端末２００が持ち上げられると、情報端末２００のデジタル情報は情報認識表示装置１００に取り込まれない。したがって、情報端末２００を持ち上げた後の作業面２には、情報端末２００のデジタル情報は表示されないことになる。

図１０に示す例では、誤操作防止のために行うデジタル情報授受の指示を明示的な動作により行ったが、例えば、ジェスチャ認識と音声認識とを組み合わせて、図３あるいは図４の処理において音声でデジタル情報の取り込みや取り去りを指示してもよい。

以上、第１の実施形態に係る拡張作業空間システムの構成と、拡張作業空間で行われるデジタル情報の授受処理について説明した。本実施形態によれば、簡単かつ直観的な方法で実世界とデジタル情報とが融合された拡張作業空間において、デジタル情報の取り扱いを可能にすることができる。

＜２．第２の実施形態＞
［２．１．リモートコラボレーション機能］
次に、図１１を参照して、本開示の第２の実施形態に係る拡張作業空間システムの機能について説明する。本実施形態に係る拡張作業空間システムは、複数の拡張作業空間の情報を相互に共有できる機能（「リモートコラボレーション機能」ともいう。）を実現する。

拡張作業空間で行われる作業の１つとして、離れた位置にある拡張作業空間同士をネットワークで接続し協調作業することも考えられる。例えば、離れた位置にあるユーザの作業空間の机上の映像を別のユーザの作業空間の上に重畳することで、それぞれのユーザに拡張作業空間を提供し、協調作業を実現できると考える。この際、簡単に協調作業を行う拡張作業空間を構築することができ、また、協調作業空間においては、お互いの状況を確認しながら、より手軽でかつ直感的に協調作業を実現できることが望まれる。そこで、リモートコラボレーション機能により他の拡張作業空間での作業状況を認識しながら、ユーザは自身の作業を行うことができるようにする。なお、図１１は、本実施形態に係る拡張作業空間システムにおけるリモートコラボレーション機能の起動処理を示す説明図である。

図１１では、２つの拡張作業空間を共有する手順を示している。各拡張作業空間は、それぞれの空間に設置された情報認識表示装置１００Ａ、１００Ｂにより構築される。なお、情報認識表示装置１００Ａ、１００Ｂの機能構成は、図２に示した第１の実施形態に係る情報認識表示装置１００と同様とする。情報認識表示装置１００Ａ、１００Ｂはネットワークを介して通信可能な状態である。なお、以下では、符号１００Ａを第１の情報認識表示装置、符号１００Ｂを第２の情報認識表示装置とする。本実施形態では、ユーザが情報端末２００を拡張作業空間内の作業面２に置いて持ち上げる動作を行ったことが検出されると、他の拡張作業空間の情報共有を開始する。これにより簡単な動作で複数の拡張作業空間の情報を共通させることができる。

具体的には、第１の情報認識表示装置１００Ａの設置された拡張作業空間の作業面２に、情報端末２００が置かれ、その後持ち上げられたとする。この動作の判定は、例えば第１の実施形態にて説明した、画像認識技術を用いる方法やタイムスタンプを用いる方法等を用いることができる。第１の情報認識表示装置１００Ａは、情報端末２００が置かれ、その後持ち上げられた動作を認識すると、第２の情報認識表示装置１００Ｂに対して情報共有の開始を要求する。第２の情報認識表示装置１００Ｂは、第１の情報認識表示装置１００Ａからの要求を受けて、第１の情報認識装置１００Ａの置かれた第１の拡張作業空間の映像を受信し、第２の拡張作業空間に表示する。こうして、第２の拡張作業空間には、第１の拡張作業空間がデジタル情報として表示される。

図１１に示す例では、第１の拡張作業空間の作業面２Ａに情報端末２００が置かれたときに、第１の実施形態にて説明した機能によりデジタル情報の授受が情報端末２００と第１の情報認識表示装置１００Ａとの間で行われる。情報端末２００が作業面２Ａから離隔されると、作業面２Ａには情報端末２００から取り込まれたデジタル情報、例えば写真４００Ａが表示される。このとき、第１の情報認識表示装置１００Ａと第２の情報認識表示装置１００Ｂとの間でリモートコラボレーション機能が機能しているので、第２の拡張作業空間の作業面２Ｂに、第１の拡張作業空間に表示されている写真４００Ａが同様に表示される。

第１の拡張作業空間の映像が第２の拡張作業空間にデジタル情報として表示されると、第１の拡張作業空間の映像も第１の拡張作業空間にデジタル情報として表示されるようになる。例えば図１１に示すように、第２の拡張作業空間のユーザＢが作業面２Ｂに表示されている写真４００Ｂを指差すと、ユーザＢの手ＨＢの映像が第２の情報認識表示装置１００Ｂから第１の情報認識表示装置１００Ａへ出力される。そして、第１の拡張作業空間には、ユーザＢの手がデジタル情報ＨＢ＿Ｉとして表示される。これにより、第１の拡張作業空間のユーザＡは、ユーザＢが写真４００Ｂを指差していることを認識できる。

このように、リモートコラボレーション機能によって複数の拡張作業空間の状況やユーザの動作を互いに認識することができるようになり、例えば１つの作業を複数のユーザで意思を確認しながら進めることも可能となる。

なお、図１１の例では、情報共有する各拡張作業空間にデジタル情報４００Ａ、４００Ｂを表示させたが、例えば図１２に示すように、第１の拡張作業空間の作業面２Ａに置いた情報端末２００の実物のデジタル情報を第２の拡張作業空間に表示させてもよい。この場合、リモートコラボレーション機能の開始は、例えば情報端末２００が作業面２Ａに置かれたときとなる。リモートコラボレーション機能が機能すると、作業面２Ａに置かれた情報端末２００の映像が、デジタル情報２００＿Ｉとして第２の拡張作業空間の作業面２Ｂに表示される。

［２．２．インタラクティブな認証方法］
例えば、上述した図１１の例において、リモートコラボレーション機能により、第２の拡張作業空間のユーザＢはそのデジタル情報に対して指を指したり触ったりといった動作をすることができる。このとき、第１の情報認識表示装置１００Ａが保持するデジタル情報は、第２の拡張作業空間側で操作可能にしてもよい。この場合、第２の情報認識表示装置１００Ｂでも当該デジタル情報を保持していることが必要であり、所定のタイミングで第１の情報認識表示装置１００Ａから第２の情報認識表示装置１００Ｂへ送信されている。所定のタイミングは、例えばリモートコラボレーション機能が開始したときであってもよく、ユーザ間で情報の操作について同意がとれたときであってもよい。

ユーザ間の同意は、認証機能を用いて確認することができる。本実施形態に係る拡張作業空間システムでは、複数の拡張作業空間の情報共通が可能であることを利用して認証を行うことができる。図１３に、本実施形態に係る認証方法の一例を示す。この例では、各拡張作業空間の手の重なりに基づき認証判定を行う。

例えば、認証を要求する側のユーザ（ユーザＢ）が、認証要求動作として手のひらを上に向けて拡張作業空間の作業面２Ｂ上に手を置いたとする。そうすると、認証の要求を受けた側のユーザ（ユーザＡ）の拡張作業空間には、ユーザＢの手のデジタル情報ＨＢ＿Ｉが表示される。ユーザＡは、ユーザＢの認証要求を受ける場合、作業面２Ａに表示されたユーザＢの手のデジタル情報ＨＢ＿Ｉ上に手のひらを重ねるようにして手ＨＡを置く。情報認識表示装置１００Ａは、手形状認識によりユーザＡの手ＨＡとユーザＢの手ＨＢ＿Ｉとが重なり合っているか否かを判定し、重なり合っていると判定した場合にユーザＢの要求を認証する。

認証要求動作は、例えば図１４に示すように、親指と人差し指とを向い合せる動作であってもよい。この場合、認証の要求を受けた側のユーザ（ユーザＡ）は、ユーザＢの手のデジタル情報ＨＢ＿Ｉの親指と人差し指とにそれぞれ自分の親指と人差し指とを合わせるように手ＨＡを置くことで、認証要求に応えることができる。

あるいは、認証動作は、指示された認証領域において指を重ね合う動作であってもよい。例えば図１５に示すような、ゲーム内の物品を交換する場合等において、ユーザＡからユーザＢへ品物Ｘを渡すとする。このとき、ユーザＡの作業面２ＡおよびユーザＢの作業面２Ｂには、図１５上に示すような認証案内が表示される。認証案内には、承認を確認するメッセージが表示されており、承認する場合には承認エリア４６０に指をタッチさせる動作を行うことが記載されている。このメッセージを受けてユーザＡおよびユーザＢがそれぞれ認証動作を行うと、相手の拡張作業空間に認証動作を行う手が表示される。これにより、相手の動きを見ながら認証動作を行うことができ、例えば図１５に示すように、ユーザＡはユーザＢが承認したことを確認してから認証動作を行うこともできる。

更には、認証動作は、ある拡張作業空間にて入力された情報と同一情報を他の拡張作業空間で入力する動作であってもよい。例えばユーザのペンの筆跡を検出可能な場合には、複数の拡張作業空間にて入力された筆跡を比較し、一致する場合には承認するといった認証処理を行うことができる。一例として、図１６に示すように、認証要求動作として、一方のユーザ（例えばユーザＢ）が作業面２Ｂにおいてペンで入力を行ったとする。情報認識表示装置１００Ｂは、作業面２Ｂのペンの筆跡を取得すると、筆跡情報を認証要求とともに他のユーザ（例えばユーザＡ）側の情報認証表示装置１００Ａへ出力する。

情報認証表示装置１００Ａは、認証要求を受けて、作業面２ＡにユーザＢのペンの筆跡を表すデジタル情報ＬＢ＿Ｉを作業面２Ａに表示させる。ユーザＡは、承認する場合には、作業面２Ａに表示されたデジタル情報ＬＢ＿Ｉをペン４でなぞり、デジタル情報ＬＢ＿Ｉと同一の図形を入力する。情報認識表示装置１００Ａは、ユーザＡのペン４の筆跡がデジタル情報ＬＢ＿Ｉと同一であると判定すると、ユーザＡが承認したとして、情報認証表示装置１００Ｂへ通知する。これにより、ユーザＡおよびユーザＢとの間で認証が成立する。

このように、本実施形態に係る拡張作業空間システムにおいては、各拡張作業空間の情報を共有可能であることを利用して、各ユーザの認証動作を確認しながら認証処理を行うことができる。このため、ユーザは直観的に認証処理を行うことができ、各ユーザの認証動作を確認しながら処理を進めることができるので安心して認証動作を行うことができる。

認証によって行われる動作は、例えばユーザ間でデジタル情報を共有したり、削除したり、第三者との共有を可能にする等、多岐の操作を行うことも可能となる。例えば、ユーザＡ側の第１の情報認識表示装置１００Ａにて保持するデジタル情報を、他の拡張作業空間のユーザＢ側の情報端末２００Ｂでも取り去りする場合を考える。このとき、ユーザＢ側の情報端末２００Ｂでのデジタル情報の取り去りを許可するための認証動作として、取り去り対象のデジタル情報の上でお互いの情報端末を重ねる動作を行ってもよい。

例えば図１７に示すように、ユーザＡ側の第１の情報認識表示装置１００Ａにて写真４５０Ａのデジタル情報を保持しているとする。写真４５０Ａは、リモートコラボレーション機能により、他の拡張作業空間のユーザＢ側の作業面２Ｂにも表示されているとする。ユーザＢ側の情報端末２００Ｂで写真４５０Ａを取り去る場合にはユーザＡの許可が必要であり、認証要求動作として、ユーザＢは作業面２Ｂに表示されている写真の上に情報端末２００Ｂを置く。この動作はユーザＡ側の作業面２Ａに表示され、ユーザＡは、作業面２Ａに表示されたユーザＢの動作を見て、当該写真４５０Ａの取り去り要求があったことを認識する。

そして、ユーザＢの要求を承認する場合、ユーザＡは自身の情報端末２００Ａを作業面２Ａに表示された情報端末２００Ｂのデジタル情報２００Ｂ＿Ｉの上に重ねる。第１の情報認識表示装置１００Ａは、ユーザＡの動作より、写真４５０Ａに対してユーザＢが情報端末２００Ｂを取り去ることを承認したと判定すると、判定結果を第２の情報認証表示装置１００Ｂへ通知する。これにより、ユーザＡおよびユーザＢとの間で認証が成立し、情報端末２００Ｂに写真４５０Ａがコピーされる。

また、認証動作によって実行可能な操作が複数ある場合には、例えばユーザ間の認証が成立した際に実行可能な操作をリスト表示してもよい。図１８に示す例では、図１７と同様、ユーザＡ側の第１の情報認識表示装置１００Ａにて保持されている写真４５０Ａが、リモートコラボレーション機能により、他の拡張作業空間のユーザＢ側の作業面２Ｂにも表示されているとする。ユーザＢが作業面２Ｂに表示されている写真の上に指を置き、かつユーザＡもユーザＢの指の上に自身の指を置くと、ユーザＡおよびユーザＢとの間で認証が成立する。このとき、第１の情報認識表示装置１００Ａは、ユーザ間の認証が成立した際に実行可能な操作のリスト７００を作業面２Ａに表示する。このリスト７００は、ユーザＢ側の作業面２Ｂにも表示される。

リスト７００には、例えばデジタル情報の共有を可能にしたり（Ｓｈｅｒｅ）、デジタル情報を削除したり（Ｄｅｌｅｔｅ）といった項目がある。このリスト７００が表示されると、デジタル情報を保持していない側のユーザ（本例ではユーザＢ）も操作可能となったデジタル情報の共有や削除を行うことができるようになる。

なお、複数のユーザ間で１つのデジタル情報を操作可能となった場合、当該デジタル情報に対して複数のユーザが同時に操作しようとする可能性もある。デジタル情報は同時に操作可能であってもよく、特定のユーザのみが操作可能であってもよい。特定のユーザのみの操作を可能する方法としては、排他処理を行えばよく、例えば先に操作を行ったユーザからの操作を有効とし、このユーザの操作が終了するまでは他のユーザの操作を排除するようにしてもよい。

例えば図１９に示すように、第１の情報認識表示装置１００Ａと第２の情報認識表示装置１００Ｂとの間でリモートコラボレーション機能が機能しているとき、ユーザＡが作業面２Ａに表示された写真４００Ａを指で触り操作したとする。このとき、第１の情報認識表示装置１００Ａは、第２の情報認識表示装置１００ＢへユーザＢ側の作業面２Ｂに表示されている写真４００Ｂに対する操作を排除するよう指示する。第２の情報認識表示装置１００Ｂは、排除指示を受けて、写真４００Ｂに対する操作を排除する。このとき、写真４００Ｂに対する操作が排除されることをユーザＢに通知してもよく、通知方法としては例えば図１９のような写真４００Ｂのマスキングや音声等を用いることができる。

以上、本実施形態に係る拡張作業空間システムのリモートコラボレーション機能について説明した。このような機能によって複数の拡張作業空間の状況やユーザの動作を互いに認識することができるようになり、１つの作業を複数のユーザで意思を確認しながら進めることが可能となる。

＜３．ハードウェア構成例＞
上述の実施形態に係る情報認識表示装置１００の情報処理部１４０による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、情報処理部１４０は、図２０に示すように構成することもできる。以下、図２０に基づいて、情報処理部１４０の一ハードウェア構成例について説明する。

情報処理部１４０は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理部１４０は、図２０に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、情報処理部１４０は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置（ＨＤＤ）９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理部１４０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。

ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

ストレージ装置９０８は、情報処理部１４０の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理部１４０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網１０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、上記実施形態において、情報処理部１４０は情報認識表示装置１００に設けたが、本技術はかかる例に限定されず、情報処理部１４０あるいはこれを構成する機能の一部のみを例えばネットワークに接続されたサーバ上に設けてもよい。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される前記仮想オブジェクトの表示を制御する情報処理装置であって、
前記拡張作業空間で検出される情報端末の位置情報と、前記仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、前記拡張作業空間への入力情報の解析結果に基づいて、前記拡張作業空間に表示される仮想オブジェクトへの操作処理を決定する操作決定部と、
決定された前記操作処理に基づいて、前記仮想オブジェクトの表示制御処理を行う表示制御部と、
を備える、情報処理装置。
（２） 前記操作決定部は、前記表示制御トリガ情報に基づき前記情報端末によって前記拡張作業空間内の情報操作面に対して所定の動作が行われたと判定されたとき、前記表示制御部に対して制御対象とされている前記仮想オブジェクトの表示制御を行わせる、前記（１）に記載の情報処理装置。
（３） 前記操作決定部は、前記入力情報の解析結果より前記情報操作面に前記情報端末が置かれたと判定したとき、前記情報端末が置かれた位置に制御対象の前記仮想オブジェクトを前記仮想作業空間に表示させる、前記（２）に記載の情報処理装置。
（４） 前記操作決定部は、前記情報操作面に前記情報端末が置かれたことにより、前記拡張作業空間内における、前記情報操作面へ表示された前記仮想オブジェクトの操作を可能とする、前記（３）に記載の情報処理装置。
（５） 前記操作決定部は、前記入力情報の解析結果より前記情報操作面に前記情報端末が置かれたと判定し、かつ、当該情報端末に対して所定の動作が行われたと判定したとき、前記情報端末が置かれた位置に当該情報端末にて指定された制御対象の前記仮想オブジェクトを前記仮想作業空間に表示させる、前記（３）または（４）に記載の情報処理装置。
（６） 前記操作決定部は、前記入力情報の解析結果より前記情報操作面に表示されている制御対象の前記仮想オブジェクト上に前記情報端末が置かれたと判定したとき、当該情報端末に表示させる、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７） 前記操作決定部は、前記入力情報の解析結果より前記拡張作業空間内の情報操作面に前記情報端末が置かれたと判定したことにより、他の拡張作業空間との情報通信を可能とし、
前記表示制御部は、前記各拡張作業空間内の情報を反映して表示する、前記（２）に記載の情報処理装置。
（８） 前記操作決定部は、
前記入力情報の解析結果より一の前記拡張作業空間におけるユーザの動作と他の前記拡張作業空間におけるユーザの動作とが対応するか否かを判定し、
前記各拡張作業空間におけるユーザの動作が対応すると判定したとき、所定の処理の実行を承認する、前記（７）に記載の情報処理装置。

２ 作業面
１００ 情報認識表示装置
１１０ 投影部
１２０ 検出部
１３０ 撮像部
１４０ 情報処理部
１４２ 解析部
１４４ 操作決定部
１４６ 表示制御部
１４８ 設定記憶部
１５０ 通信部
２００ 情報端末

Claims (10)

1. 実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される前記仮想オブジェクトの表示を制御する情報処理装置であって、
   前記拡張作業空間で検出される情報端末の位置情報と、前記仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、前記拡張作業空間への入力情報の解析結果に基づいて、前記拡張作業空間に表示される仮想オブジェクトへの操作処理を決定する操作決定部と、
   決定された前記操作処理に基づいて、前記仮想オブジェクトの表示制御処理を行う表示制御部と、
   を備える、情報処理装置。
2. 前記操作決定部は、前記表示制御トリガ情報に基づき前記情報端末によって前記拡張作業空間内の情報操作面に対して所定の動作が行われたと判定されたとき、前記表示制御部に対して制御対象とされている前記仮想オブジェクトの表示制御を行わせる、請求項１に記載の情報処理装置。
3. 前記操作決定部は、前記入力情報の解析結果より前記情報操作面に前記情報端末が置かれたと判定したとき、前記情報端末が置かれた位置に制御対象の前記仮想オブジェクトを前記仮想作業空間に表示させる、請求項２に記載の情報処理装置。
4. 前記操作決定部は、前記情報操作面に前記情報端末が置かれたことにより、前記拡張作業空間内における、前記情報操作面へ表示された前記仮想オブジェクトの操作を可能とする、請求項３に記載の情報処理装置。
5. 前記操作決定部は、前記入力情報の解析結果より前記情報操作面に前記情報端末が置かれたと判定し、かつ、当該情報端末に対して所定の動作が行われたと判定したとき、前記情報端末が置かれた位置に当該情報端末にて指定された制御対象の前記仮想オブジェクトを前記仮想作業空間に表示させる、請求項３に記載の情報処理装置。
6. 前記操作決定部は、前記入力情報の解析結果より前記情報操作面に表示されている制御対象の前記仮想オブジェクト上に前記情報端末が置かれたと判定したとき、当該情報端末に表示させる、請求項２に記載の情報処理装置。
7. 前記操作決定部は、前記入力情報の解析結果より前記拡張作業空間内の情報操作面に前記情報端末が置かれたと判定したことにより、他の拡張作業空間との情報通信を可能とし、
   前記表示制御部は、前記各拡張作業空間内の情報を反映して表示する、請求項２に記載の情報処理装置。
8. 前記操作決定部は、
   前記入力情報の解析結果より一の前記拡張作業空間におけるユーザの動作と他の前記拡張作業空間におけるユーザの動作とが対応するか否かを判定し、
   前記各拡張作業空間におけるユーザの動作が対応すると判定したとき、所定の処理の実行を承認する、請求項７に記載の情報処理装置。
9. 実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される前記仮想オブジェクトの表示を制御する情報処理方法であって、
   前記拡張作業空間で検出される情報端末の位置情報と、前記仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、前記拡張作業空間への入力情報の解析結果に基づいて、前記拡張作業空間に表示される仮想オブジェクトへの操作処理を決定すること、
   決定された前記操作処理に基づいて、前記仮想オブジェクトの表示制御処理を行うこと、
   を含む、情報処理方法。
10. コンピュータに、
    実体と仮想オブジェクトとを操作可能な拡張作業空間で検出される情報端末の位置情報と、前記仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、前記拡張作業空間への入力情報の解析結果に基づいて、前記拡張作業空間に表示される仮想オブジェクトへの操作処理を決定する操作決定部と、
    決定された前記操作処理に基づいて、前記仮想オブジェクトの表示制御処理を行う表示制御部と、
    を備える、前記拡張作業空間内に表示される前記仮想オブジェクトの表示を制御する情報処理装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images