JP7143847B2 - 情報処理システム、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理システム、情報処理方法、およびプログラムに関する。

従来、例えばテレビ会議システムなど、遠隔地間のコミュニケーションを実現するための技術が各種開発されている。

例えば、下記特許文献１には、複数の情報処理装置間において共通の表示画面を共有可能とするとともに、一方の作業空間に存在する実オブジェクトの情報を他方の作業空間に表示情報として提示する技術が記載されている。

国際公開第２０１７／０３３５４４号

しかしながら、特許文献１に記載の技術では、ある場所における操作体の操作に適応的に当該操作体に対応する画像を生成して別の場所に表示させることは考慮されていなかった。

そこで、本開示では、ある場所における操作体の操作に適応的に生成される当該操作体に対応する画像を別の場所に表示させることが可能な、新規かつ改良された情報処理システム、情報処理方法、およびプログラムを提案する。

本開示によれば、第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得する情報取得部と、前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる出力制御部と、を備える、情報処理システムが提供される。

また、本開示によれば、第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得することと、前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像をプロセッサが前記第２の場所内の表示面に表示させることと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータを、第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得する情報取得部と、前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる出力制御部、として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、ある場所における操作体の操作に適応的に生成される当該操作体に対応する画像を別の場所に表示させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

複数の地点に設置されている情報処理システム１０が通信網２２を介して接続されている例を示した図である。 本開示の各実施形態に共通する情報処理システム１０の構成例を示した図である。 各実施形態に共通する情報処理システム１０の別の構成例を示した図である。 各実施形態に共通する情報処理システム１０の別の構成例を示した図である。 各実施形態に共通する情報処理システム１０の別の構成例を示した図である。 ユーザが部屋着を着ている様子を示した図である。 ユーザがスクリーン２０上で手指のポインティング位置を移動させている様子を示した図である。 図７に示した状況において手のポインティング位置の情報のみを別の地点に伝達することにより、当該手の動きを再現した例を示した図である。 第１の実施形態に係る情報処理システム１０の機能構成を示したブロック図である。 スクリーン２０上のユーザの手の指位置、手位置、腕位置、および、手の形状の特定例を示した図である。 第１の実施形態に係る情報生成再現規則ＤＢ１３０の構成例を示した図である。 第１の実施形態に係るユーザの手に対応する画像の生成例を示した図である。 図７に示した状況における、第１の実施形態に係るユーザの手に対応する画像の表示例を示した図である。 第１の実施形態に係る「伝達情報生成時の処理の流れ」を示したフローチャートである。 第１の実施形態に係る「伝達情報の生成処理」の流れを示したフローチャートである。 第１の実施形態に係る「伝達情報再現時の処理の流れ」を示したフローチャートである。 第１の実施形態に係る「伝達情報のチェック処理」の流れを示したフローチャートである。 第１の実施形態に係る「伝達情報に基づいた出力処理」の流れを示したフローチャートである。 第２の実施形態に係る情報生成再現規則ＤＢ１３０の構成例の一部を示した図である。 第２の実施形態に係るドラッグ操作に基づく一枚の付箋の画像３２の表示位置の変更例を示した図である。 第２の実施形態に係るドラッグ操作に基づく付箋のグループの画像３４の表示位置の変更例を示した図である。 第２の実施形態に係るユーザの書き込み操作に基づく軌跡の画像の表示例を示した図である。 第２の実施形態に係るユーザの書き込み操作に基づく軌跡の画像の別の表示例を示した図である。 第３の実施形態に係る情報適合規則ＤＢ１３２の構成例を示した図である。 第１の実施形態に係る手の画像３０の表示例を示した図である。 第１の実施形態に係る手の画像３０の別の表示例を示した図である。 第３の実施形態に係る、図２２Ｂに示した伝達情報に対応する手の画像３０の表示例を示した図である。 第４の実施形態に係る情報生成再現規則ＤＢ１３０の構成例を示した図である。 「地点Ａ」において二人のユーザがスクリーン２０を囲んでいる例を示した図である。 「地点Ｂ」において二人のユーザがスクリーン２０を囲んでいる例を示した図である。 第４の実施形態に係る、地点Ａおよび地点Ｂに位置する各ユーザの手の画像の表示例を示した図である。 ユーザの胴体から近くの位置をユーザが手でポインティングした際の、第１の実施形態に係る手の画像３０の表示例を示した図である。 ユーザの胴体から遠くの位置をユーザが手でポインティングした際の、第１の実施形態に係る手の画像３０の表示例を示した図である。 第５の実施形態に係る情報適合規則ＤＢ１３２の構成例を示した図である。 図２５Ｂに示した伝達情報の補正後の手の画像の表示例を示した図である。 付箋３２に対して手を伸ばしている状況における、第１の実施形態に係る手の画像３０の表示例を示した図である。 第６の実施形態に係る情報生成再現規則ＤＢ１３０の構成例の一部を示した図である。 第６の実施形態に係る、図２８に示した状況における手の画像の表示例を示した図である。 地点Ａ内のスクリーン２０の近辺にユーザが位置している例を示した図である。 地点Ｂ内のスクリーン２０の近辺にユーザが位置している例を示した図である。 地点Ｃ内のスクリーン２０の近辺にユーザが位置している例を示した図である。 図３１Ａ～図３１Ｃに示した状況における、第１の実施形態に係る手の画像３０の表示例を示した図である。 第７の実施形態に係る情報適合規則ＤＢ１３２の構成例の一部を示した図である。 図３１Ａ～図３１Ｃに示した状況における、第７の実施形態に係る手の画像３０の表示例を示した図である。 地点Ａのスクリーン２０‐１上に教材が配置されており、かつ、地点Ａのテーブルの撮影画像が地点Ｂのスクリーン２０上に表示されている例を示した図である。 図３４Ａに示した状況における地点Ａでの、第１の実施形態に係る手の画像３０の表示例を示した図である。 第８の実施形態に係る情報適合規則ＤＢ１３２の構成例の一部を示した図である。 第８の実施形態に係る教師の腕位置の補正例を模式的に示した図である。 図３４Ａに示した状況における地点Ａでの、第８の実施形態に係る手の画像３０の表示例を示した図である。 第９の実施形態に係る情報生成再現規則ＤＢ１３０の構成例の一部を示した図である。 第９の実施形態に係るユーザの仮想的な腕位置の決定例を示した図である。 第９の実施形態に係る仮想的な腕位置と仮想的な手位置との決定例を示した図である。 ポインティング位置の移動時における仮想的な腕位置と仮想的な手位置との移動例を示した図である。 第１０の実施形態に係る情報生成再現規則ＤＢ１３０の構成例を示した図である。 他地点のユーザと自地点のユーザとの親交度が低い場合における他地点のユーザの手の画像の表示例を示した図である。 他地点のユーザと自地点のユーザとの親交度が高い場合における他地点のユーザの手の画像の表示例を示した図である。 他地点のユーザの手の画像３０と自地点のユーザの手２とが重なった領域に所定のエフェクトを重畳して表示させる例を示した図である。 第１１の実施形態に係る情報生成再現規則ＤＢ１３０の構成例の一部を示した図である。 第１１の実施形態に係る発話の収音結果に応じてユーザの手の画像の表示を変化させる例を示した図である。 第１２の実施形態に係る情報生成再現規則ＤＢ１３０の構成例の一部を示した図である。 他地点においてセンシングされた音量の空間的分布の例を示した図である。 図４４Ａに示したタイミングにおける、当該他地点から取得される伝達情報に基づいて特定されたユーザの手の位置情報の例を示した図である。 第１２の実施形態に係る、図４４Ａに示したタイミングにおける発話者の腕位置に対応する部分のみにエフェクトを重畳して表示させる例を示した図である。 第１３の実施形態に係る情報生成再現規則ＤＢ１３０の構成例の一部を示した図である。 第１３の実施形態に係る、他地点のユーザの発話の音声認識結果の表示例を示した図である。 第１３の実施形態に係る、他地点のユーザの発話の音声認識結果の別の表示例を示した図である。 第１４の実施形態に係る情報生成再現規則ＤＢ１３０の構成例の一部を示した図である。 第１４の実施形態に係る、他地点のユーザの発話の音量強度が最も大きい方向に当該発話の音を定位させる例を示した図である。 第１５の実施形態に係る情報生成再現規則ＤＢ１３０の構成例の一部を示した図である。 地点Ａのスクリーン２０上に付箋３２が配置されている例を示した図である。 地点Ｂのスクリーン２０上に付箋３２が配置されている例を示した図である。 第１５の実施形態に係る「地点Ａ」において配置された付箋３２の画像をフォーカスして表示させる例を示した図である。 第１６の実施形態に係る、個々の付箋３２に対するポインティングの累計回数に応じた当該付箋３２に対応する画像の表示例を示した図である。 第１６の実施形態に係る、個々の付箋３２に対するポインティングの累計回数に応じた当該付箋３２に対応する画像の別の表示例を示した図である。 第１６の実施形態に係る、個々の付箋３２に対するポインティングの累計回数に応じた当該付箋３２に対応する画像の別の表示例を示した図である。 第１７の実施形態に係る、他地点のスクリーン２０上のオブジェクトに対応する画像の自地点のスクリーン２０における表示例を示した図である。 第１７の実施形態に係る、他地点のスクリーン２０上のオブジェクトに対応する画像の自地点のスクリーン２０における表示例を示した図である。 第１７の実施形態に係る、他地点のスクリーン２０上のオブジェクトに対応する画像の自地点のスクリーン２０における表示例を示した図である。 第１７の実施形態に係る、他地点のスクリーン２０上のオブジェクトに対応する画像の自地点のスクリーン２０における表示例を示した図である。 第１８の実施形態に係る、異なる地点間の議論の記録データを時間方向に分割および結合する例を示した図である。 第１８の実施形態に係る、異なる地点間の議論の記録データを時間方向に分割および結合する例を示した図である。 第１８の実施形態に係る、異なる地点間の議論の記録データを時間方向に分割および結合する例を示した図である。 第１８の実施形態に係る、異なる地点間の議論の記録データを時間方向に分割および結合する例を示した図である。 第１８の実施形態に係る、異なる地点間の議論の記録データを空間方向に分割および結合する例を示した図である。 第１８の実施形態に係る、異なる地点間の議論の記録データを空間方向に分割および結合する例を示した図である。 第１８の実施形態に係る、異なる地点間の議論の記録データを空間方向に分割および結合する例を示した図である。 第１８の実施形態に係る、異なる地点間の議論の記録データを空間方向に分割および結合する例を示した図である。 自地点のスクリーン２０の外観の例を示した図である。他地点に共有されるオブジェクトの選択例を示した図である。 図５５Ａに示したタイミングにおける他地点のスクリーン２０の外観の例を示した図である。 第１９の実施形態に係る、自地点のスクリーン２０の映像の共有を中断する操作例を示した図である。 図５６Ａに示した操作による、他地点における該当のスクリーン２０の映像の表示例を示した図である。 第２０の実施形態に係る、複数の地点に設置されているテレプレゼンスシステム８０が通信網２２を介して接続されている例を示した図である。 ある地点における情報処理システム１０およびテレプレゼンスシステム８０の利用例を示した図である。 第２０の実施形態に係る、情報処理システム１０およびテレプレゼンスシステム８０の機能構成例を示したブロック図である。 各実施形態に共通する情報処理システム１０のハードウェア構成の例を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてテーブル９０ａおよびテーブル９０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、テーブル９０ａおよびテーブル９０ｂを特に区別する必要が無い場合には、単にテーブル９０と称する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの構成
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６．第５の実施形態
７．第６の実施形態
８．第７の実施形態
９．第８の実施形態
１０．第９の実施形態
１１．第１０の実施形態
１２．第１１の実施形態
１３．第１２の実施形態
１４．第１３の実施形態
１５．第１４の実施形態
１６．第１５の実施形態
１７．第１６の実施形態
１８．第１７の実施形態
１９．第１８の実施形態
２０．第１９の実施形態
２１．第２０の実施形態
２２．ハードウェア構成
２３．変形例

＜＜１．情報処理システムの構成＞＞
まず、本開示の各実施形態に共通する情報処理システムの構成例について、図１を参照して説明する。各実施形態では、地点ごとに情報処理システム１０が設置されている場面を想定する。ここで、地点は、本開示に係る「場所」の一例である。例えば、図１に示したように、複数の地点（例えば３地点以上）の各々に情報処理システム１０が設置されている。そして、各地点の情報処理システム１０は、後述する通信網２２を介して互いに通信可能に接続され得る。

本明細書において、システムとは、所定の処理を実行するための構成を意味し得る。システムは、１つの装置から構成されてもよいし、または、複数の装置から構成されてもよい。また、各実施形態に係る情報処理システム１０も、情報処理システム１０全体として所定の処理を実行可能に構成されていればよく、情報処理システム１０内のどの構成を１つの装置とみなすかは任意であってよい。

なお、本明細書および図面において、各地点の情報処理システム１０を、「情報処理システム１０」の後に異なる数字を付して区別する場合がある。例えば「地点Ａ」の情報処理システム１０を情報処理システム１０‐１、「地点Ｂ」の情報処理システム１０を情報処理システム１０‐２などのように記載する場合がある。

＜１－１．通信網２２＞
通信網２２は、通信網２２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

＜１－２．情報処理システム１０＞
図２は、各実施形態に係る情報処理システム１０の一構成例を示す図である。図２を参照すると、各実施形態に係る情報処理システム１０ａは、入力部１２０ａおよび出力部１２４ａを備える。

｛１－２－１．出力部１２４｝
出力部１２４ａは、各種の情報をテーブル９０ａ上に表示する。出力部１２４ａは、投影部（プロジェクタ）を含み得る。例えば、図２に示したように、出力部１２４ａは、テーブル９０ａの上方に、天井から吊り下げられた状態でテーブル９０ａと所定の距離離隔して配置され得る。この場合、出力部１２４ａは、テーブル９０ａの天面に情報を投影し得る。例えば、出力部１２４ａは、ペンダントライトやデスクスタンドライトであってもよい。このように上方からテーブル９０ａの天面に情報を表示する方式を「プロジェクション型」とも呼称する。また、以下では、テーブル９０の天面をスクリーン２０と称する場合がある。スクリーン２０は、出力部１２４による投影の対象となる面（表示面）を含む。

例えば、出力部１２４ａは、後述する表示処理部１２２の制御に従って、仮想的な表示オブジェクトを表示する。表示オブジェクトは、例えば、ウィンドウやＵＩオブジェクトなどである。ＵＩオブジェクトは、ユーザによる各種の操作（選択や入力など）を受け付ける所定の画像（静止画像や動画像）である。例えば、ＵＩオブジェクトは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品（例えば、ボタン、スライダー、チェックボックス、テキストボックス、ソフトウェアキーボード等）を含む画像である。また、ＵＩオブジェクトは、ウィンドウ内に配置され得る。

さらに、出力部１２４ａは、例えばスピーカーなどの音声出力装置を含み得る。例えば、出力部１２４ａは、表示処理部１２２等の制御に従って音を出力する。

｛１－２－２．入力部１２０｝
入力部１２０ａは、例えば、１つのレンズでテーブル９０ａを撮像するカメラを含む。または、入力部１２０ａは、２つのレンズでテーブル９０ａを撮像することにより、奥行き方向の情報を記録することが可能なステレオカメラを含み得る。ステレオカメラとしては、例えば可視光カメラや、赤外線等の不可視光を検出可能な不可視光カメラ等が用いられ得る。また、入力部１２０ａは、ユーザが発する音声や、周囲の環境の環境音を収音するマイクロフォン等の音声入力装置をさらに含み得る。

上記のカメラが入力部１２０ａとして用いられる場合、情報処理システム１０ａは、そのカメラが撮像した画像（撮像画像）を解析することにより、スクリーン２０上に位置する物体（例えばユーザの手など）の位置を検出することができる。また、入力部１２０ａとしてステレオカメラが用いられる場合には、情報処理システム１０ａは、当該ステレオカメラによる撮像画像を解析することにより、スクリーン２０上に位置する物体の位置情報に加えて、当該物体の深度情報を取得することができる。情報処理システム１０ａは、当該深度情報に基づいて、スクリーン２０へのユーザの手の接触若しくは近接、及びスクリーン２０からの手の離脱を検出することが可能である。なお、入力部１２０ａは、ステレオカメラの代わりに、デプスセンサ（例えばｔｉｍｅ ｏｆ ｆｌｉｇｈｔ方式のセンサや、ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ方式のセンサなど）を有してもよい。この場合、デプスセンサが、スクリーン２０上に位置する物体の深度情報を取得することが可能である。

各実施形態では、入力部１２０ａにより撮像される画像に基づいて、スクリーン２０上における操作体（例えばユーザの手や、スタイラス等の各種の操作部材など）の位置が検出され、そして、検出された操作体の位置に基づいて各種の情報が入力され得る。つまり、ユーザは、スクリーン２０上で操作体を動かすことにより、各種の操作入力を行うことができる。例えば、ウィンドウやＵＩオブジェクトに対するユーザの手の接触が検出されることにより、当該ウィンドウやＵＩオブジェクトに対する操作入力が行われることになる。

また、入力部１２０ａに含まれるカメラは、テーブル９０ａの天面を撮影するだけでなく、テーブル９０ａの周囲に存在するユーザを撮影してもよい。この場合、情報処理システム１０ａは、入力部１２０ａによる撮像画像に基づいて、テーブル９０ａの周囲におけるユーザの位置を検出することができる。また、情報処理システム１０ａは、当該撮像画像に基づいて、個々のユーザを特定し得る身体的な特徴（顔や体の大きさ等）を抽出することにより、ユーザの個人認識を行ってもよい。

前述した例に限定されず、他の方法によりユーザの操作入力が実行されてもよい。例えば、入力部１２０ａは、テーブル９０ａの天面（スクリーン２０ａ）上にタッチパネルとして設置されてもよく、そして、ユーザの操作入力は、当該タッチパネルに対するユーザの指等の接触によって検出されてもよい。また、入力部１２０ａに含まれるカメラに対するジェスチャによってユーザの操作入力が検出されてもよい。

｛１－２－３．変形例｝
以上、各実施形態に係る情報処理システム１０ａの構成について説明した。なお、各実施形態に係る情報処理システム１０の構成は図２に示した例に限定されず、例えば図３～図５に示したような構成であってもよい。

（１－２－３－１．変形例１）
図３は、各実施形態に係る情報処理システム１０の別の構成例（情報処理システム１０ｂ）を示す図である。図３に示したように、情報処理システム１０ｂでは、テーブル９０ｂの下方に出力部１２４ｂが配置される。出力部１２４ｂは、例えばプロジェクタであり、当該テーブル９０ｂの天板に向かって下側から情報を投影する。例えば、テーブル９０ｂの天板は、ガラス板や透明プラスチック板等の透明な材質で形成される。そして、出力部１２４ｂによって投影された情報は、（当該天板を透過して）テーブル９０ｂの天面（スクリーン２０ｂ）に表示される。このようにテーブル９０ｂの下から情報を出力部１２４ｂに投影させることによりスクリーン２０ｂに情報を表示する方式を「リアプロジェクション型」とも称する。

また、図３に示す例では、スクリーン２０ｂ（表示面）に入力部１２０ｂが設けられる。入力部１２０ｂは、例えばタッチパネルによって構成される。この場合、スクリーン２０ｂへの操作体の接触が当該タッチパネルによって検出されることにより、ユーザによる操作入力が行われる。但し、かかる例に限定されず、図２に示した情報処理システム１０ａと同様に、テーブル９０ｂの下方にテーブル９０ｂと離隔して入力部１２０ｂが設置されてもよい。この場合、入力部１２０ｂはカメラを含み、そして、テーブル９０ｂの天板越しに、スクリーン２０ｂ上に位置する操作体を当該カメラは撮影し得る。そして、当該撮影画像に基づいて当該操作体の位置が検出され得る。

（１－２－３－２．変形例２）
図４は、各実施形態に係る情報処理システム１０のさらに別の構成例（情報処理システム１０ｃ）を示す図である。図４に示したように、情報処理システム１０ｃでは、タッチパネル式のディスプレイが、その表示面を上方に向けた状態でテーブル９０ｃ上に設置される。情報処理システム１０ｃでは、入力部１２０ｃ及び出力部１２４ｃは、当該タッチパネル式のディスプレイとして一体的に構成され得る。つまり、ディスプレイの表示画面（スクリーン２０ｃ）に各種の情報が表示され、そして、当該ディスプレイの表示画面に対する操作体の接触がタッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、情報処理システム１０ｃにおいても、図２に示した情報処理システム１０ａと同様に、出力部１２４ｃの上方にカメラ（入力部１２０ｃの一例）が設置されてもよい。この場合、当該カメラによる撮影画像に基づいて、テーブル９０ｃの周囲に位置する個々のユーザの位置等が検出され得る。

（１－２－３－３．変形例３）
図５は、各実施形態に係る情報処理システム１０のさらに別の構成例（情報処理システム１０ｄ）を示す図である。図５に示したように、情報処理システム１０ｄは、例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの頭部装着型デバイス（例えば眼鏡型デバイスなど）として構成され得る。当該頭部装着型デバイスは、入力部１２０ｄ（図示省略）及び出力部１２４ｄ（図示省略）を含み得る。出力部１２４ｄは、透過型の表示装置として構成されてもよい。この場合、出力部１２４ｄは、頭部装着型デバイスに含まれる右目用レンズおよび左目用レンズの各々（または、ゴーグル型レンズ）の少なくとも一部の領域を投影面（スクリーン２０ｄ）として映像を投影し得る。

または、出力部１２４ｄは、非透過型の表示装置として構成されてもよい。例えば、出力部１２４ｄは、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、または、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などを含んで構成され得る。この場合、入力部１２０ｄに含まれるカメラは、当該頭部装着型デバイスを装着するユーザの前方の映像を撮影し、そして、出力部１２４ｄは、撮影された映像を逐次表示してもよい。これにより、ユーザは、出力部１２４ｄに表示される映像を介して、ユーザの前方の風景を見ることができる。

｛１－２－４．課題の整理｝
以上、各実施形態に係る情報処理システム１０の構成について説明した。ところで、異なる地点に位置するユーザ間で、それぞれの地点の入力部１２０により取得される情報に基づいてコミュニケーション可能であることが望まれる。

この場合、仮に各地点の入力部１２０により取得される映像自体を共有しようとすると、リアルタイムに画像処理を行う必要があるので、計算負荷が大きく、かつ、伝達コストが大きくなり得る。

また、映像自体が伝達される場合、コミュニケーション（例えば議論など）に必要のない情報も伝達され得るので、コミュニケーションの妨げになり得る。例えば、ある地点がユーザの自宅であり、そして、図６に示したように、当該ユーザが部屋着を着ている場合では、当該ユーザの部屋着や、当該ユーザの身体情報（例えば腕の体毛など）の映像が当該別の地点に位置する他のユーザに伝達され得る。しかしながら、ユーザによっては、自分の服装や皮膚などの映像が、別の地点に位置する他のユーザに見られることを望まないケースも想定される。この場合、ユーザは、遠隔地のユーザとの議論に集中し難くなり得る。または、遠隔地のユーザとコミュニケーションを行うために、ユーザは、あえて別の服に着替える必要性を感じるなど、不便に感じ得る。

なお、各地点の入力部１２０により取得される情報のうち、ユーザのポインティング位置のみを別の地点に伝達する方法も考えられる。例えば、図７に示したように、ユーザの手が操作体として用いられる場面において、当該手のポインティング位置の情報のみを別の地点に伝達する方法も考えられる。しかしながら、この方法では、例えば図８に示したように、当該別の地点のスクリーン２０‐２において、ポインティング位置（図８に示した例では人差し指の位置）の変化と同じ変化量（つまり同じ方向および同じ距離）で例えば手首や腕などが動く映像９２が表示され得る。このため、当該別の地点に位置するユーザは、映像９２を見た際に臨場感が乏しいと感じ得る。

そこで、上記事情を一着眼点にして、各実施形態に係る情報処理システム１０を創作するに至った。各実施形態に係る情報処理システム１０は、第１の地点に位置する第１のユーザに関連する操作体の操作に応じた、第２の地点に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得し、そして、当該第１の伝達情報に基づいて特定される、当該第２の地点における当該操作体のポインティング位置と、当該第２の地点における当該第１のユーザの第１の仮想的な位置とに基づいて生成される当該操作体に対応する画像を当該第２の地点内の表示面に表示させることが可能である。これにより、異なる地点間で円滑なコミュニケーションを実現可能としつつ、当該地点間で伝送される情報量を削減することができる。

ここで、ユーザに関連する操作体とは、当該ユーザの手であってもよいし、または、当該ユーザが使用中の操作用デバイス（例えばスタイラス、マウス、キーボード、または、タッチパネルなど）であってもよい。

例えば、当該操作体が当該ユーザの手である場合には、当該第１の伝達情報は、当該手のポインティング位置の情報、当該手の位置情報、および、（当該手と同じ側の）腕の位置情報を含み得る。さらに、当該第１の伝達情報は、当該手の形状（例えば、該当の手が開いているか否かなど）を含んでもよい。ここで、手の位置（以下、手位置と称する場合がある）は、本開示に係る「第２の仮想的な位置」の一例である。また、腕の位置（以下、腕位置と称する場合がある）は、本開示に係る「第１の仮想的な位置」の一例である。または、当該操作体が当該操作用デバイスである場合には、当該第１の伝達情報は、当該操作用デバイスに対応するポインティング位置の情報を含み得る。以下では、当該操作体がユーザの手である例を中心として説明を行う。

なお、本明細書および図面において「手」という記載は、主として手（ｈａｎｄ）自体を意味する表現として用いられるが、かかる例に限定されず、手指、腕、または、これらの部位のうちの２以上（例えば上肢など）を意味する表現として用いられる場合がある。以下、各実施形態の内容について順次詳細に説明を行う。

＜＜２．第１の実施形態＞＞
＜２－１．機能構成＞
まず、第１の実施形態に係る機能構成について詳細に説明する。図９は、第１の実施形態に係る情報処理システム１０の機能構成を示したブロック図である。図９に示すように、情報処理システム１０は、処理部１００、入力部１２０、表示処理部１２２、出力部１２４、通信部１２６、および、記憶部１２８を含む。なお、以下では、上記の説明と同様の内容については説明を省略する。

｛２－１－１．表示処理部１２２｝
表示処理部１２２は、一または複数の処理回路（例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔなど）を含んで構成され得る。表示処理部１２２は、入力部１２０が取得した入力情報に基づき、出力部１２４により表示されるグラフィックスに関する処理を行う。例えば、表示処理部１２２は、ウィンドウなどの表示オブジェクトの描画制御を行ったり、個々の表示オブジェクトに対するユーザの操作に応じた描画処理などを行う。

さらに、表示処理部１２２は、入力部１２０が取得した入力情報（例えば撮像画像など）を、後述する処理部１００へ出力し得る。また、表示処理部１２２は、処理部１００により処理された情報を処理部１００から受け取り、そして、当該情報に基づいて描画処理を行う。

｛２－１－２．処理部１００｝
処理部１００は、一または複数の処理回路（例えば、後述するＣＰＵ１５０など）を含んで構成され得る。処理部１００は、入力部１２０が取得した入力情報に基づいて各種の処理を行う。

また、図９に示すように、処理部１００は、情報生成部１０２、送信制御部１０４、情報取得部１０６、および、出力制御部１０８を有する。

｛２－１－３．情報生成部１０２｝
情報生成部１０２は、入力部１２０が取得した各種の情報に基づいて、他地点に位置する他のユーザとのコミュニケーションのための伝達情報を生成する。

例えば、情報生成部１０２は、まず、入力部１２０が取得した各種の情報に基づいて、自地点における個々のユーザが使用中の操作体（例えば当該ユーザの手など）に関する情報を取得する。そして、情報生成部１０２は、取得した情報に応じて当該伝達情報を生成する。例えば、当該伝達情報は、当該操作体に関する情報よりも情報量が少ない。一例として、当該伝達情報は、当該操作体に関する情報が抽象化された情報である。ここで、自地点は、本開示に係る第２の地点の一例である。自地点は、該当の情報処理システム１０が位置する地点（現在の地点）であり得る。

（２－１－３－１．生成例１）
例えば、当該操作体がユーザの手である場合には、情報生成部１０２は、入力部１２０が取得した入力情報（撮像画像など）と、後述する情報生成再現規則ＤＢ１３０とに基づいて、当該伝達情報を生成する。ここで、情報生成再現規則ＤＢ１３０は、伝達情報の生成時のルールと、他地点から伝達情報が受信された際の当該伝達情報の再現（例えば当該伝達情報に応じた映像の表示）時のルールとが登録されているデータベースである。図１１は、情報生成再現規則ＤＢ１３０の構成例を示した図である。図１１に示したように、情報生成再現規則ＤＢ１３０では、例えば、ＩＤ１３００、情報タイプ１３０２、生成時条件１３０４、生成時処理１３０６、および、再現時処理１３０８が関連付けられている。ＩＤ１３００には、伝達情報に含まれ得る個々の情報タイプの識別情報が記録される。情報タイプ１３０２には、該当のＩＤに対応する情報の種類（タイプ）が記録される。生成時条件１３０４には、情報生成部１０２が該当の情報タイプの情報を生成する際の条件が記録される。生成時処理１３０６には、該当の情報タイプの情報の生成時に情報生成部１０２が行う処理の内容が記録される。再現時処理１３０８には、伝達情報が他地点で受信された際に、当該伝達情報に含まれる該当の情報タイプの情報を再現する際の処理内容が記録される。

図１１に示した例では、情報生成部１０２は、まず、入力部１２０が取得した入力情報に基づいて、スクリーン２０上に位置する個々の手に関して、スクリーン２０に対する手指、手、および、腕の各々の位置情報、および、手の形状を特定する。例えば、図１０に示した例では、情報生成部１０２は、入力部１２０が取得した撮像画像に基づいて、手２ａに関して、手指の位置情報Ｐｆ０を（５００，６００）、手の位置情報Ｐｈ０を（６４０，８００）、腕の位置情報Ｐａ０を（７００，１０８０）とそれぞれ特定する。さらに、情報生成部１０２は、手２ａの形状を「手の平が閉じている形状」と特定する。

さらに、情報生成部１０２は、スクリーン２０‐１上に配置されている個々のオブジェクトに関する情報（例えば位置、形状、および、テクスチャなど）を当該入力情報に基づいて特定してもよい。さらに、情報生成部１０２は、自地点における音情報（例えば該当のユーザが発した音声や、環境音など）を当該入力情報に基づいて特定してもよい。そして、情報生成部１０２は、これらの情報を全て含むように伝達情報を生成し得る。

（２－１－３－２．生成例２）
または、当該操作体が操作用デバイスである場合には、情報生成部１０２は、当該操作用デバイスから取得される操作情報と、情報生成再現規則ＤＢ１３０とに基づいて、当該伝達情報を生成する。例えば、情報生成部１０２は、少なくとも当該操作用デバイスのポインティング位置を含むように当該伝達情報を生成する。

｛２－１－４．送信制御部１０４｝
送信制御部１０４は、他地点に対する、情報生成部１０２により生成された伝達情報の送信を制御する。例えば、送信制御部１０４は、現在通信中の個々の他地点の情報処理システム１０に対して、生成された伝達情報を、後述する通信部１２６に送信させる。

｛２－１－５．情報取得部１０６｝
情報取得部１０６は、通信部１２６により他地点から受信される伝達情報を受信又は読出し処理などを行うことにより通信部１２６から取得する。

｛２－１－６．出力制御部１０８｝
出力制御部１０８は、情報取得部１０６により取得された伝達情報に基づいて、出力部１２４に対する各種の情報の出力の制御を行う。例えば、出力制御部１０８は、取得された伝達情報に基づいて特定される、自地点（つまり、該当の情報処理システム１０が位置する地点）における、当該伝達情報に対応する操作体（例えば当該伝達情報の送信元（の地点内）のユーザの手など）のポインティング位置と、自地点における、当該伝達情報の送信元のユーザの腕位置とに基づいて生成される当該操作体に対応する画像を、自地点内のスクリーン２０（表示面）に表示させる。

一例として、出力制御部１０８は、まず、取得された伝達情報に含まれる、当該送信元の地点におけるユーザの手指、手、および、腕の各々の位置情報に基づいて、自地点における、当該送信元のユーザの手のポインティング位置と、当該送信元のユーザの仮想的な手の位置と、当該送信元のユーザの仮想的な腕の位置とを特定する。次に、出力制御部１０８は、特定した、自地点における、当該送信元のユーザの手のポインティング位置と、当該送信元のユーザの仮想的な手の位置と、当該送信元のユーザの仮想的な腕の位置と、当該伝達情報に含まれる手の形状の情報とに基づいて、例えば図１２に示したような、当該送信元のユーザの手に対応する画像を例えば実物大で生成（再構成）する。例えば、出力制御部１０８は、当該ユーザの手のポインティング位置と、当該ユーザの仮想的な手の位置と、当該ユーザの仮想的な腕の位置と、当該手の形状の情報と、所定の手のモデリングデータとに基づいて、当該ユーザの手に対応する画像を生成する。そして、出力制御部１０８は、例えば図１３に示したように、生成した画像を自地点内のスクリーン２０に表示させる。

この表示例によれば、例えば図７に示したように、送信元の地点においてユーザの手が操作体として用いられ、かつ、当該ユーザが手を動かすことによりポインティング位置を移動させる場面において、出力制御部１０８は、当該送信元の地点のユーザの手に関して、手首や関節の動きが反映された自然な手の動きを再現することができる。例えば、図７に示した手２ａに対応する伝達情報が受信された際には、出力制御部１０８は、当該伝達情報に基づいて、図１３に示した画像３０ａを自地点のスクリーン２０‐２に表示させる。同様に、図７に示した手２ｂに対応する伝達情報が受信された際には、出力制御部１０８は、当該伝達情報に基づいて、図１３に示した画像３０ｂを自地点のスクリーン２０‐２に表示させる。このように、例えば図８に示した公知の技術と比較して、より自然な手の動きを再現することができる。例えば、遠隔地とミーティングを行う場面において、ポインティング情報を変えることなく、違和感のない映像を遠隔地に提示することができる。

｛２－１－７．通信部１２６｝
通信部１２６は、送信制御部１０４の制御に従って、他地点の情報処理システムとの間で各種の情報を送受信する。例えば、通信部１２６は、送信制御部１０４の制御に従って、情報生成部１０２により生成された伝達情報を、現在通信中の他地点の各々の情報処理システム１０へ送信する。また、通信部１２６は、他地点の情報処理システム１０により生成された伝達情報を当該他地点から受信する。

例えば、同一地点の情報処理システム１０内の通信の場合には、通信部１２６は、一般的なプロセス間通信を行う。また、異なる地点間の通信の場合には、通信部１２６は、通信網２２を介して通信を行う。

｛２－１－８．記憶部１２８｝
記憶部１２８は、各種のデータや各種のソフトウェアを記憶する。例えば、記憶部１２８は、情報生成再現規則ＤＢ１３０および情報適合規則ＤＢ１３２を記憶する。情報適合規則ＤＢ１３２は、他地点から受信された伝達情報をユーザに提示することの妥当性を判断するための規則が登録されているデータベースである。情報適合規則ＤＢ１３２は、例えば、リレーショナルデータベースやルックアップテーブルのような形状で実現され得る。

図２１は、情報適合規則ＤＢ１３２の構成例を示した図である。図２１に示したように、情報適合規則ＤＢ１３２では、例えば、ＩＤ１３２０、情報タイプ１３２２、チェック対象１３２４、適合条件１３２６、および、条件不成立時処理１３２８が関連付けられている。ここで、ＩＤ１３２０には、個々の適合規則の識別番号が記録される。情報タイプ１３２２には、該当のＩＤに対応する適合規則に含まれ得る情報の種類（タイプ）が記録される。チェック対象１３２４には、該当の適合規則においてチェックされる対象の種類が記録される。適合条件１３２６には、該当のチェック対象が適合であると判定される条件が記録される。条件不成立時処理１３２８には、該当のチェック対象が適合ではないと判定された際に実行される処理の内容が記録される。

＜２－２．処理の流れ＞
以上、第１の実施形態に係る機能構成について説明した。次に、第１の実施形態に係る処理の流れについて、「２－２－１．伝達情報生成時の処理の流れ」および「２－２－２．伝達情報再現時の処理の流れ」において説明する。なお、各地点における情報処理システム１０は、基本的に、「伝達情報生成時の処理の流れ」および「伝達情報再現時の処理の流れ」を並行的に実行し得る。

｛２－２－１．伝達情報生成時の処理の流れ｝
（２－２－１－１．全体的な流れ）
まず、図１４および図１５を参照して、「伝達情報生成時の処理の流れ」について説明する。図１４は、第１の実施形態に係る「伝達情報生成時の処理」の全体的な流れを示したフローチャートである。

図１４に示したように、まず、情報生成部１０２は、入力部１２０により例えばリアルタイムに取得された入力情報を受信又は読出し処理などを行うことにより、表示処理部１２２から取得する。例えば、情報生成部１０２は、入力部１２０によりリアルタイムに撮影された、ユーザの手の画像を（当該入力情報の一部として）表示処理部１２２から取得する（Ｓ１０１）。

続いて、情報生成部１０２は、後述する「伝達情報の生成処理」を行う（Ｓ１０３）。

続いて、通信部１２６は、送信制御部１０４の制御に従って、Ｓ１０３で生成された伝達情報を、例えば通信中の他地点の情報処理システム１０の各々へ送信する（Ｓ１０５）。

続いて、処理部１００は、ユーザによる終了操作が行われたか否かを判定する（Ｓ１０７）。終了操作が行われていない場合には（Ｓ１０７：Ｎｏ）、処理部１００は、再びＳ１０１以降の処理を繰り返す。一方、終了操作が行われた場合には（Ｓ１０７：Ｙｅｓ）、当該処理の流れは終了する。

（２－２－１－２．伝達情報の生成処理）
ここで、図１５を参照して、Ｓ１０３（「伝達情報の生成処理」）の内容について詳細に説明する。図１５に示したように、まず、情報生成部１０２は、処理対象の生成規則の番号を示す変数Ｉに「１」を設定する（Ｓ１５１）。そして、情報生成部１０２は、情報生成再現規則ＤＢ１３０に格納されている生成規則の総数をＮに設定する（Ｓ１５３）。

そして、ＩがＮ以下である限り（Ｓ１５５：Ｙｅｓ）、情報生成部１０２は、以下のＳ１５７～Ｓ１６５の処理を行う。なお、ＩがＮよりも大きくなった場合には（Ｓ１５５：Ｎｏ）、当該「伝達情報の生成処理」は終了する。

具体的には、まず、情報生成部１０２は、情報生成再現規則ＤＢ１３０に格納されているＩ番目の生成規則で定義されている全ての情報タイプの情報が、Ｓ１０１で取得された入力情報に含まれているか否かを判定する。例えば、Ｉ番目の生成規則において情報タイプとして指の位置情報が定義されている場合には、情報生成部１０２は、Ｓ１０１で取得された入力情報内に指の位置情報が含まれているか否かを判定する。また、Ｉ番目の生成規則において情報タイプとして音声が定義されている場合には、情報生成部１０２は、所定の閾値以上の音量の収音結果が、Ｓ１０１で取得された入力情報内に含まれているか否かを判定する（Ｓ１５７）。少なくとも一つの情報タイプの情報が当該入力情報に含まれていない場合には（Ｓ１５７：Ｎｏ）、情報生成部１０２は、後述するＳ１６５の処理を行う。

一方、全ての情報タイプの情報が当該入力情報に含まれている場合には（Ｓ１５７：Ｙｅｓ）、情報生成部１０２は、次に、情報生成再現規則ＤＢ１３０においてＩ番目の生成規則に関連付けられている生成時条件が成立するか否かを判定する（Ｓ１５９）。当該生成時条件が成立しないと判定した場合には（Ｓ１５９：Ｎｏ）、情報生成部１０２は、後述するＳ１６５の処理を行う。

一方、当該生成時条件が成立すると判定した場合には（Ｓ１５９：Ｙｅｓ）、情報生成部１０２は、情報生成再現規則ＤＢ１３０においてＩ番目の生成規則に関連付けられている生成時処理を行う（Ｓ１６１）。

そして、情報生成部１０２は、Ｓ１６１の処理結果を、生成対象の伝達情報内に格納する。例えば、情報生成部１０２は、ユーザの手指、手、および、腕の位置情報を当該生成対象の伝達情報内に格納する（Ｓ１６３）。

続いて、情報生成部１０２は、Ｉに「１」を加算する（Ｓ１６５）。その後、情報生成部１０２は、再びＳ１５５以降の処理を繰り返す。

｛２－２－２．伝達情報再現時の処理の流れ｝
（２－２－２－１．全体的な流れ）
次に、図１６～図１８を参照して、「伝達情報再現時の処理の流れ」について説明する。図１６は、第１の実施形態に係る「伝達情報再現時の処理」の全体的な流れを示したフローチャートである。

図１６に示したように、まず、通信部１２６は、他地点の情報処理システム１０により生成された伝達情報を当該他の情報処理システム１０から受信する。そして、情報取得部１０６は、受信された伝達情報を受信又は読出し処理などを行うことにより通信部１２６から取得する（Ｓ２０１）。

続いて、出力制御部１０８は、後述する「伝達情報のチェック処理」を行う（Ｓ２０３）。

続いて、出力制御部１０８は、後述する「伝達情報に基づいた出力処理」を行う（Ｓ２０５）。

続いて、処理部１００は、ユーザによる終了操作が行われたか否かを判定する（Ｓ２０７）。終了操作が行われていない場合には（Ｓ２０７：Ｎｏ）、処理部１００は、再びＳ２０１以降の処理を繰り返す。一方、終了操作が行われた場合には（Ｓ２０７：Ｙｅｓ）、当該処理の流れは終了する。

（２－２－２－２．伝達情報のチェック処理）
ここで、図１７を参照して、Ｓ２０３（「伝達情報のチェック処理」）の内容について詳細に説明する。図１７に示したように、まず、出力制御部１０８は、処理対象の適合規則の番号を示す変数Ｉに「１」を設定する（Ｓ２２１）。そして、出力制御部１０８は、情報適合規則ＤＢ１３２に格納されている適合規則の総数をＮに設定する（Ｓ２２３）。

そして、ＩがＮ以下である限り（Ｓ２２５：Ｙｅｓ）、出力制御部１０８は、以下のＳ２２７～Ｓ２３５の処理を行う。なお、ＩがＮよりも大きくなった場合には（Ｓ２２５：Ｎｏ）、当該「伝達情報のチェック処理」は終了する。

具体的には、まず、出力制御部１０８は、情報適合規則ＤＢ１３２に格納されているＩ番目の適合規則で定義されている全ての情報タイプの情報が、Ｓ２０１で取得された伝達情報に含まれているか否かを判定する（Ｓ２２７）。少なくとも一つの情報タイプの情報が当該伝達情報に含まれていない場合には（Ｓ２２７：Ｎｏ）、出力制御部１０８は、後述するＳ２３５の処理を行う。

一方、全ての情報タイプの情報が当該伝達情報に含まれている場合には（Ｓ２２７：Ｙｅｓ）、出力制御部１０８は、情報生成再現規則ＤＢ１３０においてＩ番目の適合規則に関連付けられているチェック対象を特定する。そして、出力制御部１０８は、例えば当該伝達情報などに基づいて当該チェック対象の値を特定する（Ｓ２２９）。

続いて、出力制御部１０８は、情報生成再現規則ＤＢ１３０においてＩ番目の適合規則に関連付けられている適合条件を、Ｓ２２９で特定された値が満たすか否かを判定する（Ｓ２３１）。当該適合条件を、Ｓ２２９で特定された値が満たす場合には（Ｓ２３１：Ｙｅｓ）、出力制御部１０８は、後述するＳ２３５の処理を行う。

一方、当該適合条件を、Ｓ２２９で特定された値が満たさない場合には（Ｓ２３１：Ｎｏ）、出力制御部１０８は、情報生成再現規則ＤＢ１３０においてＩ番目の適合規則に関連付けられている条件不成立時処理を行う（Ｓ２３３）。

続いて、出力制御部１０８は、Ｉに「１」を加算する（Ｓ２３５）。その後、出力制御部１０８は、再びＳ２２５以降の処理を繰り返す。

（２－２－２－３．伝達情報に基づいた出力処理）
ここで、図１８を参照して、Ｓ２０５（「伝達情報に基づいた出力処理」）の内容について詳細に説明する。図１８に示したように、まず、出力制御部１０８は、処理対象の再現規則の番号を示す変数Ｉに「１」を設定する（Ｓ２５１）。そして、出力制御部１０８は、情報生成再現規則ＤＢ１３０に格納されている再現規則の総数をＮに設定する（Ｓ２５３）。

そして、ＩがＮ以下である限り（Ｓ２５５：Ｙｅｓ）、出力制御部１０８は、以下のＳ２５７～Ｓ２６１の処理を行う。なお、ＩがＮよりも大きくなった場合には（Ｓ２５５：Ｎｏ）、当該「伝達情報に基づいた出力処理」は終了する。

具体的には、まず、出力制御部１０８は、情報生成再現規則ＤＢ１３０に格納されているＩ番目の再現規則で定義されている全ての情報タイプの情報が、Ｓ２０１で取得された伝達情報に含まれているか否かを判定する（Ｓ２５７）。少なくとも一つの情報タイプの情報が当該伝達情報に含まれていない場合には（Ｓ２５７：Ｎｏ）、出力制御部１０８は、後述するＳ２６１の処理を行う。

一方、全ての情報タイプの情報が当該伝達情報に含まれている場合には（Ｓ２５７：Ｙｅｓ）、出力制御部１０８は、情報生成再現規則ＤＢ１３０においてＩ番目の再現規則に関連付けられている再現時処理を行う（Ｓ２５９）。

続いて、出力制御部１０８は、Ｉに「１」を加算する（Ｓ２６１）。その後、出力制御部１０８は、再びＳ２５５以降の処理を繰り返す。

＜２－３．効果＞
｛２－３－１．効果１｝
以上説明したように、第１の実施形態に係る情報処理システム１０は、他地点に位置する第１のユーザに関連する操作体の操作に応じた、自地点に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得し、そして、当該第１の伝達情報に基づいて特定される、自地点における当該操作体のポインティング位置と、自地点における当該第１のユーザの腕位置とに基づいて生成される当該操作体に対応する画像を自地点内の表示面に表示させる。このため、異なる地点間で円滑なコミュニケーションを実現可能としつつ、当該地点間で伝送される情報量を削減することができる。

例えば、当該情報処理システム１０は、入力部１２０により取得される入力情報（映像など）自体を共有する代わりに、当該入力情報に基づいて生成されるコミュニケーションに必要な情報のみを伝達情報として他地点へ共有する。このため、コミュニケーションに集中することを阻害する成分をカットすることができるので、異なる地点間のユーザがよりコミュニケーションに集中可能となることが期待できる。例えば、異なる地点間のユーザが、自分の皮膚や服装等を気にせずに、気兼ねなく議論に参加することができる。また、同様の理由により、異なる地点間のユーザがより円滑に議論を行うことができたり、相手の意図をより理解しやすくなることが期待できる。

｛２－３－２．効果２｝
また、情報処理システム１０は、他地点のユーザの手指、手、および、腕の各々の位置情報に基づいて、自地点における当該他地点のユーザの手指、手、および、腕の各々の位置情報を特定し、そして、これらの位置情報に基づいて当該他地点のユーザの手を示す画像を生成し、そして、自地点内の表示面に表示させることが可能である。このため、他地点のユーザの手の動きを自地点において自然に再現することができる。その結果、例えば、他地点のユーザが情報を操作する過程を自地点のユーザが理解することができる。

＜＜３．第２の実施形態＞＞
以上、第１の実施形態について説明した。次に、本開示に係る第２の実施形態について説明する。第２の実施形態では、異なる地点に位置するユーザ間でブレインストーミングを行う場面を想定する。後述するように、第２の実施形態によれば、異なる地点間でユーザがオブジェクトを操作して議論する際に、誰がどのオブジェクトを操作しているかをユーザは明確に理解することができる。

＜３－１．構成＞
第２の実施形態に係る情報処理システム１０に含まれる構成要素は、（図９に示した）第１の実施形態と同一であってよい。なお、後述する第２の実施形態～第１９の実施形態に関しても同様であり得る。以下では、第１の実施形態とは異なる機能を有する構成要素についてのみ説明を行う。

｛３－１－１．情報生成再現規則ＤＢ１３０｝
第２の実施形態に係る情報生成再現規則ＤＢ１３０では、図１１に示した登録内容に加えて、図１９に示した登録内容がさらに追加され得る。

｛３－１－２．情報生成部１０２｝
第２の実施形態に係る情報生成部１０２は、スクリーン２０上の例えばオブジェクトが配置されていない領域において手をスライドさせる操作（以下、書き込み操作と称する場合がある）が行われたことが検出された場合には、当該書き込み操作に対応するユーザの手のポインティング位置の並びを点群として、送信対象の伝達情報内にさらに格納する。

｛３－１－３．出力制御部１０８｝
第２の実施形態に係る出力制御部１０８は、他地点から受信された伝達情報に基づいて当該他地点において少なくとも一つのオブジェクトを移動させる操作が特定された場合には、当該少なくとも一つのオブジェクトに対応する画像の、スクリーン２０上の表示位置を、特定された操作に応じて移動させる。例えば、他地点のユーザの手が当該他地点において少なくとも一つのオブジェクトに接触しながらスライドされることが当該伝達情報に基づいて特定された場合には、出力制御部１０８は、当該少なくとも一つのオブジェクトに対応する画像の表示位置を、特定されたスライドに応じて移動させる。ここで、オブジェクトは、実オブジェクトであってもよいし、例えばスクリーン２０に表示されている仮想オブジェクトであってもよい。

または、他地点の表示面上で書き込み操作が行われたことが当該伝達情報に基づいて特定された場合には、出力制御部１０８は、当該書き込み操作に対応する当該他地点のユーザの手のポインティング位置の軌跡を示す画像を自地点の表示面上にさらに表示させることが可能である。

ここで、図２０Ａ～図２０Ｄを参照して、上記の出力制御部１０８の機能についてより詳細に説明する。以下では、他地点のスクリーン２０‐１上に複数の付箋が配置されている例について説明する。当該複数の付箋は、実オブジェクトであってもよいし、仮想オブジェクト（例えば、スクリーン２０‐２上に投影された映像など）であってもよい。この場合、自地点の出力制御部１０８は、当該複数の付箋の各々の画像３２を自地点のスクリーン２０‐２上に表示（投影など）させ得る。

（３－１－３－１．具体例１）
そして、当該複数の付箋のうちの一枚を当該他地点のユーザが指１本でドラッグする操作が当該他地点において検出されたとする。この場合、出力制御部１０８は、まず、当該他地点から取得された伝達情報に基づいて当該指のドラッグ操作を特定し得る。そして、図２０Ａに示したように、出力制御部１０８は、当該ドラッグ操作の対象の付箋の画像３２の表示位置を、特定されたドラッグ操作に応じて移動させ得る。

（３－１－３－２．具体例２）
または、当該複数の付箋のうちの複数枚のグループを当該他地点のユーザが手の平でドラッグする操作が当該他地点において検出されたとする。この場合、出力制御部１０８は、まず、当該他地点から取得された伝達情報に基づいて当該手の平のドラッグ操作を特定し得る。そして、図２０Ｂに示したように、出力制御部１０８は、当該ドラッグ操作の対象の付箋のグループの画像３４の表示位置を、特定されたドラッグ操作に応じて移動させ得る。

（３－１－３－３．具体例３）
または、当該他地点のスクリーン２０上の、付箋が存在しない領域において当該他地点のユーザがドラッグする操作（書き込み操作）が当該他地点において検出されたとする。この場合、出力制御部１０８は、まず、当該他地点から取得された伝達情報に基づいて、当該他地点において現在までに書き込みされた情報（点群）を特定し得る。そして、図２０Ｃまたは図２０Ｄに示したように、出力制御部１０８は、特定された点群を順に結んだ線分３６を自地点のスクリーン２０‐２上に表示（投影など）させ得る。例えば、出力制御部１０８は、当該他地点における書き込み操作に追従させて、書き込まれた点群から構成される線分３６をリアルタイムに更新し、そして、更新された線分３６を自地点のスクリーン２０‐２上に表示させる。

＜３－２．効果＞
以上説明したように、第２の実施形態によれば、異なる地点間でユーザが付箋を操作して議論する際に、誰がどの付箋を操作しているかをユーザは明確に理解することができる。

さらに、第２の実施形態によれば、自地点のスクリーン２０に表示される、当該他地点のユーザの手の画像と、自地点において出力される当該他地点のユーザの音声とに基づいて、異なる地点間のユーザ同士で、対面している場合と同様に自然にコミュニケーションを行うことができる。例えば代名詞（「これ」や「それ」など）などの、意味が曖昧な言葉を他地点のユーザが発話する場合であっても、当該他地点のユーザが何を対象に議論しているかを自地点のユーザは容易に把握することができる。

＜＜４．第３の実施形態＞＞
以上、第２の実施形態について説明した。次に、本開示に係る第３の実施形態について説明する。図２２Ａおよび図２２Ｂは、第１の実施形態に係る出力制御部１０８により表示される手の画像３０の例を示した図である。図２２Ｂでは、送信元の地点において誤検出や通信エラーなどが発生したことにより、受信された伝達情報内に手の位置情報Ｐｈとして不正確な値が格納されており、そして、当該伝達情報に基づいて手の画像が生成された例を示している。

図２２Ｂに示した画像３０ｂでも、当該他地点のユーザのポインティング位置Ｐｆを自地点のユーザは理解可能であるが、より自然な形状（例えば、手首の曲がり角度が人間の標準の可動範囲内である形状）の手の画像を表示可能であることが望ましい。

後述するように、第３の実施形態によれば、他地点から受信される伝達情報に基づいて、より自然な形状の手の画像を表示させることができる。

＜４－１．構成＞
｛４－１－１．情報適合規則ＤＢ１３２｝
図２１は、第３の実施形態に係る情報適合規則ＤＢ１３２の構成例を示した図である。図２１に示した例では、適合規則が一つだけ定められており、そして、当該適合規則では、他地点から受信される伝達情報に基づいて特定される、他地点のユーザの指位置と手位置とがなす直線と、当該ユーザの手位置と腕位置とがなす直線との間の角度がチェック対象として定められている。さらに、当該適合規則では、当該角度が「－３０度以上３０度以下である場合」が適合であると定められている。

｛４－１－２．出力制御部１０８｝
（４－１－２－１．伝達情報の補正）
第３の実施形態に係る出力制御部１０８は、他地点から取得される伝達情報に基づいて特定される、当該他地点のユーザの手のポインティング位置、自地点における当該他地点のユーザの手位置、および、自地点における当該他地点のユーザの腕位置の関係が所定の関係になった場合には、当該他地点のユーザの腕位置および／または手位置を当該他地点のユーザの手のポインティング位置に基づいて補正することが可能である。

例えば、図２２Ｂでは、指位置と手位置とがなす直線と、手位置と腕位置とがなす直線との間の角度の適合範囲を「Ａ」と示している。しかしながら、図２２Ｂに示した例では、他地点から受信された伝達情報に基づいて特定された、指位置と手位置とがなす直線と、手位置と腕位置とがなす直線との間の角度の値は、「Ｂ」だけ当該適合範囲からずれている。この場合、出力制御部１０８は、当該角度が適合ではないと判定する。そして、出力制御部１０８は、当該他地点のユーザの腕位置および／または手位置を、当該他地点のユーザの手のポインティング位置に基づいて補正する。

ここで、図２２Ｃを参照して、上記の補正例についてより詳細に説明する。図２２Ｃに示したように、出力制御部１０８は、まず、スクリーン２０における、当該他地点のユーザの腕位置Ｐａの最寄りの辺に対して、当該ユーザの指位置（手のポインティング位置）Ｐｆから垂直に降ろした直線と当該辺との交点を、新たな腕位置Ｐｖａとして設定する。次に、出力制御部１０８は、当該他地点のユーザの指位置Ｐｆと当該新たな腕位置Ｐｖａとを結ぶ線分において、手の大きさ分だけ当該指位置Ｐｆからずらした点の位置を新たな手位置Ｐｖｈとして設定する。そして、出力制御部１０８は、当該ユーザの腕位置Ｐａを当該新たな腕位置Ｐｖａに補正し、かつ、当該ユーザの手位置Ｐｈを当該新たな手位置Ｐｖｈに補正する。

（４－１－２－２．補正後の手の画像の表示）
さらに、出力制御部１０８は、上記の補正後に、該当の他地点のユーザの手のポインティング位置と、補正後の当該ユーザの手位置と、補正後の当該ユーザの腕位置とに基づいて、当該他地点のユーザの手に対応する画像を生成する。そして、出力制御部１０８は、図２２Ｃに示したように、生成した画像を自地点内のスクリーン２０に表示させる。

＜４－２．効果＞
以上説明したように、第３の実施形態によれば、他地点から受信される伝達情報に基づいて、より自然な形状の手の画像を表示させることができる。例えば、他地点から受信される伝達情報に対応するユーザのポインティング位置を変えることなく、当該ユーザの手（手首など）の形状がより自然となるように当該ユーザの手位置および腕位置を補正することができる。

＜＜５．第４の実施形態＞＞
以上、第３の実施形態について説明した。次に、本開示に係る第４の実施形態について説明する。後述するように、第４の実施形態によれば、他地点から受信される伝達情報に基づいて、より単純化、または、より匿名化した手の画像を表示させることができる。

＜５－１．構成＞
｛５－１－１．情報生成再現規則ＤＢ１３０｝
第４の実施形態に係る情報生成再現規則ＤＢ１３０では、図１１に示した登録内容に加えて、図２３に示した登録内容が追加され得る。図２３では、個々のユーザに対応する手の画像を、個々のユーザの職種に対応する色で描画することが再現時処理として定義されている例を示している。

｛５－１－２．情報生成部１０２｝
第４の実施形態に係る情報生成部１０２は、自地点の個々のユーザに関して、当該ユーザの属性情報（例えば職種や性別など）を、当該ユーザに対応する伝達情報内にさらに格納する。

｛５－１－３．出力制御部１０８｝
第４の実施形態に係る出力制御部１０８は、他地点から取得される伝達情報に基づいて生成される、当該伝達情報に対応するユーザの手の画像の表示パラメータの値を、当該伝達情報に含まれる当該ユーザの属性情報に応じて変更する。当該表示パラメータは、例えば、表示色、描画される線の太さ、または、描画される線種などであってもよい。

ここで、図２４Ａ～図２４Ｃを参照して、上記の機能についてより詳細に説明する。図２４Ａに示したように、「地点Ａ」では、エンジニアであるユーザ４ａ、および、デザイナであるユーザ４ｂがスクリーン２０‐３を囲んでいる場面を想定する。同様に、図２４Ｂに示したように、「地点Ｂ」では、デザイナであるユーザ４ｃ、および、エンジニアであるユーザ４ｄがスクリーン２０‐３を囲んでいる場面を想定する。この場合、例えば「地点Ｃ」における出力制御部１０８は、図２４Ｃに示したように、地点Ａおよび地点Ｂ内の各ユーザ４に関して、当該ユーザの職種がエンジニアである場合には当該ユーザの手の画像を例えば赤色（図２４Ｃに示した例では実線）で表示面に表示させ得る。さらに、出力制御部１０８は、地点Ａおよび地点Ｂ内の各ユーザ４に関して、当該ユーザの職種がデザイナである場合には当該ユーザの手の画像を例えば青色（図２４Ｃに示した例では破線）で表示面に表示させ得る。

＜５－２．効果＞
以上説明したように、第４の実施形態によれば、他地点から取得される伝達情報に対応するユーザの手の画像の表示色を、当該伝達情報に含まれる当該ユーザの職種に応じて変更する。このため、ユーザの手の画像をより単純化、または、より匿名化して表示させることができる。例えば、ユーザごとに色分けされる場合や、地点ごとに色分けされる場合と比較して、表示される画像が単純化され、かつ、匿名化され得る。その結果、異なる地点のユーザ間の議論がより円滑化することや、異なる地点に位置するユーザ同士が互いの意図を理解しやすくなることが期待できる。

＜＜６．第５の実施形態＞＞
以上、第４の実施形態について説明した。次に、本開示に係る第５の実施形態について説明する。まず、第５の実施形態を創作するに至った背景について、図２５Ａおよび図２５Ｂを参照して説明する。図２５Ａの左図は、スクリーン２０におけるユーザの胴体から比較的近くの位置を当該ユーザが手でポインティング（指差し）している例を示した図である。図２５Ｂの左図は、スクリーン２０におけるユーザの胴体から遠くの位置を当該ユーザが手でポインティングしている例を示した図である。

図２５Ａおよび図２５Ｂに示した例では、地点間で送信される伝達情報内に当該ユーザの腕の太さの情報は格納されていないことを想定している。この場合、例えば肘関節の位置を特定不可能などの理由により、第１の実施形態では、図２５Ｂの右図に示したように、前腕の長さが不自然に長いような画像３０ｂが表示され得る。

なお、この事象を改善するために、ユーザの腕の太さの情報を伝達情報内に格納する方法も考えられる。しかしながら、この方法では、手の画像の面積（例えば、腕の領域の面積）がより大きくなる。その結果、コミュニケーション（議論など）時にユーザが邪魔に感じ得る。

後述するように、第５の実施形態によれば、他地点内のユーザの胴体から遠くの位置を当該ユーザがポインティングする場合であっても、当該ポインティング時の伝達情報に基づいて、より自然な形状の手の画像を表示させることができる。

＜６－１．構成＞
｛６－１－１．情報適合規則ＤＢ１３２｝
第５の実施形態に係る情報適合規則ＤＢ１３２では、図２１に示した適合規則に加えて（または代わりに）、図２６に示した適合規則が登録され得る。図２６に示した適合規則では、他地点から受信される伝達情報に基づいて特定される当該他地点のユーザの手位置と腕位置との間の距離がチェック対象として定められている。さらに、当該適合規則では、当該距離が「３００ピクセル」以下である場合が適合であると定められている。

｛６－１－２．出力制御部１０８｝
（６－１－２－１．伝達情報の補正）
第５の実施形態に係る出力制御部１０８は、他地点から取得される伝達情報に基づいて特定される、当該他地点のユーザの手位置と当該ユーザの腕位置との間の距離が所定の距離よりも大きくなった場合には、当該ユーザの指位置および当該ユーザの手位置を、自地点における当該ユーザの腕位置に基づいて補正することが可能である。

図２６に示した例では、他地点から受信された伝達情報に取得される伝達情報に基づいて特定される、当該他地点のユーザの手位置と当該ユーザの腕位置との距離が「３００ピクセル」よりも大きい場合には、出力制御部１０８は、まず、当該距離が適合ではないと判定する。そして、出力制御部１０８は、当該ユーザの指位置および当該ユーザの手位置を、自地点における当該ユーザの腕位置に基づいて補正する。

ここで、図２７を参照して、上記の補正例についてより詳細に説明する。図２７に示したように、例えば、出力制御部１０８は、まず、自地点における当該他地点のユーザの腕位置Ｐａから「３００ピクセル」だけ離れた位置を、新たな指位置Ｐｖｆとして設定する。次に、出力制御部１０８は、当該ユーザのポインティング位置Ｐｆと当該新たな指位置Ｐｖｆとを結ぶ直線上で、かつ、当該新たな指位置Ｐｖｆから腕位置Ｐａの方へ所定の距離だけずらした点の位置を、新たな手位置Ｐｖｈとして設定する。そして、出力制御部１０８は、当該ユーザの手の位置Ｐｈを当該新たな手位置Ｐｖｈに補正する。

（６－１－２－２．補正後の手の画像の表示）
さらに、出力制御部１０８は、上記の補正後に、図２７の右図に示したように、新たに設定された指位置Ｐｖｆと、補正後の当該ユーザの手位置Ｐｖｈと、当該ユーザの腕位置Ｐａとに基づいて、当該ユーザの手に対応する画像を生成する。そして、出力制御部１０８は、生成した手の画像を自地点内のスクリーン２０に表示させる。同時に、出力制御部１０８は、当該ユーザの手のポインティング位置Ｐｆを示す画像３８（例えば点の画像など）を当該手の画像と関連付けてスクリーン２０に表示させる。例えば、図２７の右図に示したように、出力制御部１０８は、当該手の画像３０のうちの指位置Ｐｖｆと当該ポインティング位置Ｐｆとを結ぶ線分をスクリーン２０にさらに表示させる。

＜６－２．効果＞
以上説明したように、第５の実施形態によれば、他地点内のユーザの胴体から遠くの位置を当該ユーザがポインティングする場合であっても、当該ポインティング時の伝達情報に基づいて、より自然な形状の手の画像を表示させることができる。さらに、当該手の画像のサイズを抑制することができるので、コミュニケーションの邪魔になることを防止できる。

＜＜７．第６の実施形態＞＞
以上、第５の実施形態について説明した。次に、本開示に係る第６の実施形態について説明する。まず、第６の実施形態を創作するに至った背景について図２８を参照して説明する。図２８は、他地点のユーザが付箋３２に対して手を伸ばしている状況における、第１の実施形態に係る出力制御部１０８による当該ユーザの手の画像３０の表示例を示した図である。第１の実施形態では、基本的に当該ユーザの指の高さ情報（以下「ｚ座標」とも称する）が考慮されずに、当該ユーザの手の画像がスクリーン２０に表示される。このため、図２８に示したように、例えば画像３０ａの表示時や画像３０ｂの表示時において、付箋３２をポインティングするために当該ユーザが手を伸ばしている途中であるのか、あるいは、すでに当該ユーザは付箋３２をポインティングしているのかを画像３０を閲覧中のユーザは判別し難い。

なお、他地点から取得される伝達情報に含まれるｚ座標が一定の値以上である場合に限り、手の画像３０を表示させる方法も考えられる。しかしながら、この方法では、ユーザのポインティング位置に画像３０が突然表示され得るので、閲覧中のユーザに不自然に感じられ得る。

後述するように、第６の実施形態によれば、他地点のユーザが手を伸ばしている途中において、当該ユーザが何らかのオブジェクトをポインティングしているか否かを区別可能なように当該ユーザの手の画像を表示させることができる。

＜７－１．構成＞
｛７－１－１．情報生成再現規則ＤＢ１３０｝
第６の実施形態に係る情報生成再現規則ＤＢ１３０では、図１１に示した登録内容に加えて、図２９に示した登録内容が追加され得る。図２９では、他地点から取得される伝達情報に含まれるｚ座標に応じて、当該伝達情報に対応する手の画像の透明度を変更することが再現時処理として定義されている例を示している。

｛７－１－２．情報生成部１０２｝
第６の実施形態に係る情報生成部１０２は、入力部１２０により取得された入力情報から特定される、自地点のスクリーン２０を基準としたユーザの手の高さのセンシング結果を、当該ユーザに対応する伝達情報内にさらに格納する。

｛７－１－３．出力制御部１０８｝
第６の実施形態に係る出力制御部１０８は、他地点から取得される伝達情報に基づいて生成される、当該伝達情報に対応するユーザの手の画像の表示パラメータの値を、当該伝達情報に含まれる当該ユーザの手の高さ情報に応じて変更する。当該表示パラメータは、例えば、透明度、表示色、または、手の画像の輪郭線のぼかしの度合いなどであってもよい。

例えば、図３０に示したように、出力制御部１０８は、当該伝達情報に含まれる当該ユーザの手の高さ情報が示す値が大きいほど、当該ユーザの手の画像の透明度を高くする。この表示例によれば、ユーザがスクリーン２０上をホバー中（例えば、ポインティング対象のオブジェクトに対してユーザが手を伸ばしている途中など）である場合には当該手の画像は薄く表示される。また、ユーザが何らかのオブジェクトをポインティング中である場合には当該手の画像は濃く表示される。従って、操作者の意図を明確に提示することができる。

または、出力制御部１０８は、第１の閾値と、第１の閾値よりも大きい第２の閾値と、当該手の高さ情報が示す値とに基づいて、当該ユーザの手の画像の透明度を変更してもよい。例えば、当該手の高さ情報が示す値が当該第１の閾値未満である場合には、出力制御部１０８は、当該ユーザの手の画像の透明度を低く設定する（例えば「０％」など）。また、当該手の高さ情報が示す値が当該第１の閾値以上で、かつ、第２の閾値未満である場合には、出力制御部１０８は、当該ユーザの手の画像の透明度を高く設定する（例えば「５０％」など）。また、当該手の高さ情報が示す値が当該第２の閾値以上である場合には、出力制御部１０８は、当該ユーザの手の画像を非表示にしてもよい。

＜７－２．効果＞
以上説明したように、第６の実施形態によれば、他地点のユーザが手を伸ばしている途中において、当該ユーザが何らかのオブジェクトをポインティングしているか否かを区別可能なように当該ユーザの手の画像を表示させることができる。このため、他地点のユーザの意図がより容易に理解可能になる。

＜＜８．第７の実施形態＞＞
以上、第６の実施形態について説明した。次に、本開示に係る第７の実施形態について説明する。まず、第７の実施形態を創作するに至った背景について、図３１Ａ～図３１Ｄを参照して説明する。

第７の実施形態では、複数の地点を結んでミーティングを行う場面を想定する。図３１Ａ～図３１Ｃでは、各地点（「地点Ａ」、「地点Ｂ」、および「地点Ｃ」）において、ユーザがスクリーン２０に対して同じ側（図３１Ａ～図３１Ｃに示した例では下側）にそれぞれ位置している例を示している。

前述したように、第１の実施形態に係る出力制御部１０８は、基本的には、他地点におけるスクリーン２０と当該他地点のユーザの腕位置との位置関係を維持しながら、自地点のスクリーン２０‐４上に当該ユーザの手の画像を表示させ得る。このため、図３１Ａ～図３１Ｃに示した状況では、図３１Ｄに示したように、各ユーザの手がスクリーン２０‐４の同じ辺から伸びているように各ユーザの手の画像３０が表示される。従って、複数の画像３０が重なり得るので、視認性が悪くなり得る。さらに、他地点の各ユーザの手が自分の手元から伸びているように表示されるので、自地点のユーザは操作時に不自然（または不快）に感じ得る。

後述するように、第７の実施形態によれば、各地点の各ユーザのポインティング位置を維持しつつ、各ユーザの手の画像を視認性高く表示させることができる。

＜８－１．構成＞
｛８－１－１．情報適合規則ＤＢ１３２｝
第７の実施形態に係る情報適合規則ＤＢ１３２では、図２１に示した適合規則に加えて（または代わりに）、図３２に示した適合規則が登録され得る。図３２に示した適合規則では、自地点のスクリーンの一辺に存在する（他地点の各ユーザの）腕位置の個数がチェック対象として定められている。さらに、当該適合規則では、当該腕位置の個数が「２個」以下である場合が適合であると定められている。

｛８－１－２．出力制御部１０８｝
（８－１－２－１．表示位置の変更）
第７の実施形態に係る出力制御部１０８は、複数の他地点から取得される個々の伝達情報に基づいて、当該伝達情報に対応するユーザの、自地点における手のポインティング位置と、当該ユーザの手位置と、当該ユーザの腕位置とを特定する。さらに、特定された個々のユーザの腕位置の関係が所定の関係になった場合には、出力制御部１０８は、当該個々のユーザの手に対応する画像の表示位置を当該ユーザが位置する地点に応じて変更する。

ここで、図３２を参照して、上記の機能についてより詳細に説明する。例えば、複数の他地点の個々のユーザの自地点における腕位置のうち、自地点のスクリーン２０の一辺に存在する腕位置の個数が「３個」以上になった場合には、出力制御部１０８は、当該腕位置の個数が適合ではないと判定する。そして、出力制御部１０８は、当該複数の他地点の個々のユーザのポインティング位置を維持しつつ、自地点のスクリーン２０の一辺に存在する腕位置の個数が「２個」以下になるように当該個々のユーザの腕位置を補正する。例えば、出力制御部１０８は、個々のユーザが位置する地点ごとに、当該個々のユーザの腕位置がスクリーン２０の別々の辺に位置するように、当該個々のユーザの腕位置を振り分けてもよい。

さらに、出力制御部１０８は、腕位置が移動された各ユーザに関して、移動後の当該ユーザの腕位置と当該ユーザのポインティング位置とに基づいて当該ユーザの手位置を補正する。

（８－１－２－２．表示色の変更）
さらに、出力制御部１０８は、例えば図３３に示したように、個々のユーザが位置する地点ごとに、当該個々のユーザの手の画像３０の表示色を異ならせてもよい。なお、図３３では、画像３０ａおよび画像３０ｂがそれぞれ、（図３１Ａに示した）「地点Ａ」の各ユーザ４に対応する手の画像を示している。また、画像３０ｃが、（図３１Ｂに示した）「地点Ｂ」のユーザ４ｃに対応する手の画像を示している。また、画像３０ｄおよび画像３０ｅがそれぞれ、（図３１Ｃに示した）「地点Ｃ」の各ユーザ４に対応する手の画像を示している。

＜８－２．効果＞
以上説明したように、第７の実施形態によれば、各地点の各ユーザのポインティング位置を維持しつつ、各ユーザの手の画像を視認性高く表示させることができる。そして、ユーザビリティを向上させることができる。

＜＜９．第８の実施形態＞＞
以上、第７の実施形態について説明した。次に、本開示に係る第８の実施形態について説明する。まず、第８の実施形態を創作するに至った背景について、図３４Ａおよび図３４Ｂを参照して説明する。

第８の実施形態では、遠隔地から教師が生徒に対して教育指導を行う場面を想定する。例えば、図３４Ａに示したように、地点Ａのテーブル上に教材が配置されており、そして、地点Ａのテーブルが撮影された映像が地点Ｂに送信され、かつ、地点Ｂのスクリーン２０上に表示される。そして、地点Ｂのスクリーン２０に表示されている（当該映像に含まれる）当該教材の向きと、地点Ａにおける教材の向きとは同じであることを想定する。

前述したように、第１の実施形態に係る出力制御部１０８は、基本的には、他地点におけるスクリーン２０とユーザの腕位置との位置関係を維持しながら、自地点のスクリーン２０‐４上に当該ユーザの手の画像を表示させ得る。このため、図３４Ａに示した状況では、図３４Ｂに示したように、地点Ａに位置する生徒の手元に、（地点Ｂに位置する）教師の手の画像３０ａが表示される。このため、当該生徒は教材を見難くなるので、学習の妨げになり得る。

後述するように、第８の実施形態によれば、遠隔地の教師のポインティング位置を維持しつつ、教師の手の画像を視認性高く表示させることができる。

＜９－１．構成＞
｛９－１－１．情報適合規則ＤＢ１３２｝
第８の実施形態に係る情報適合規則ＤＢ１３２では、図２１に示した適合規則に加えて（または代わりに）、図３５に示した適合規則が登録され得る。図３５に示した適合規則では、自地点のスクリーンの一辺に存在する（他地点の各ユーザの）腕位置の個数がチェック対象として定められている。さらに、当該適合規則では、当該腕位置の個数が「１個」以下である場合が適合であると定められている。

｛９－１－２．出力制御部１０８｝
（９－１－２－１．伝達情報の補正）
第８の実施形態に係る出力制御部１０８は、他地点から取得される伝達情報に基づいて特定される、自地点における当該他地点のユーザの腕位置と自地点のユーザの腕位置との関係が所定の関係になった場合には、当該他地点のユーザの腕位置を、自地点のユーザの腕位置と当該他地点のユーザの手のポインティング位置とに基づいて補正する。

ここで、図３５を参照して、上記の機能についてより詳細に説明する。例えば、図３５に示したように、自地点のスクリーン２０の一辺に存在するユーザの腕位置の個数が「２個」以上になった場合には、出力制御部１０８は、まず、当該腕位置の個数が適合ではないと判定する。そして、出力制御部１０８は、当該他地点のユーザのポインティング位置を維持しつつ、自地点のスクリーン２０の一辺に存在する腕位置の個数が「１個」以下になるように、当該他地点のユーザの腕位置を他の辺に移動させる。図３４Ａに示した例では、出力制御部１０８は、図３６Ａに示したように、地点Ａにおける（地点Ｂに位置する）教師の（仮想的な）腕位置が生徒の反対側の辺に位置するように、教師の腕位置を移動させてもよい。

さらに、出力制御部１０８は、腕位置が移動されたユーザの手位置を、移動後の当該ユーザの腕位置と当該ユーザのポインティング位置とに基づいて補正する。

（９－１－２－２．補正後の手の画像の表示）
さらに、出力制御部１０８は、上記の補正後に、図３６Ｂに示したように、該当の他地点のユーザ（図３６Ｂに示した例では「教師」）の手のポインティング位置と、補正後の当該ユーザの手位置と、補正後の当該ユーザの腕位置とに基づいて、当該ユーザの手に対応する画像を生成する。そして、出力制御部１０８は、生成した画像を自地点内のスクリーン２０に表示させる。

＜９－２．効果＞
以上説明したように、第８の実施形態によれば、遠隔地の教師のポインティング位置を維持しつつ、教師の手の画像を視認性高く表示させることができる。例えば、生徒と教師の双方が実際には同じ方向から教材を見ながらも、あたかも教師が対面して指導しているような映像を生徒に対して提示することができる。

＜＜１０．第９の実施形態＞＞
以上、第８の実施形態について説明した。次に、本開示に係る第９の実施形態について説明する。第９の実施形態では、少なくとも一つの地点のユーザが例えばマウスなどの操作用デバイスを使用することにより、他の地点のユーザとコミュニケーションする場面を想定する。このような場合、操作体として手が用いられる地点では、ユーザの手位置や腕位置が取得可能であるのに対して、操作体としてマウスが使用される地点では、通常、マウスのカーソル位置の情報だけしか取得できない。

後述するように、第９の実施形態によれば、他地点のユーザが操作用デバイスを使用する場合であっても、当該他地点から取得される伝達情報に応じて、当該ユーザに対応する手が自然に動く画像をスクリーン２０に表示させることができる。

＜１０－１．構成＞
｛１０－１－１．情報生成再現規則ＤＢ１３０｝
第９の実施形態に係る情報生成再現規則ＤＢ１３０では、図１１に示した登録内容に加えて、図３７に示した登録内容が追加され得る。図３７では、他の地点から取得される伝達情報に含まれるカーソル位置の情報に基づいて手の画像を生成することが再現時処理として定義されている例を示している。

｛１０－１－２．情報生成部１０２｝
第９の実施形態に係る情報生成部１０２は、ユーザが操作用デバイスを使用している場合には、入力部１２０により取得された入力情報から特定される、当該操作用デバイスのポインティング位置の情報（例えばｘ座標およびｙ座標など）を、当該ユーザに対応する伝達情報内にさらに格納する。なお、入力部１２０は当該操作用デバイスを含んでもよい。また、入力部１２０と当該操作用デバイスとは有線通信または無線通信により通信可能に構成されていてもよい。

｛１０－１－３．出力制御部１０８｝
（１０－１－３－１．手の画像の生成）
第９の実施形態に係る出力制御部１０８は、他地点から取得される伝達情報内に操作用デバイスのポインティング位置の情報が含まれる場合には、当該ポインティング位置の情報から特定される自地点におけるポインティング位置と、自地点のスクリーンの各辺との位置関係に基づいて、自地点における当該他地点のユーザの仮想的な手位置および当該ユーザの仮想的な腕位置を決定する。そして、出力制御部１０８は、自地点におけるポインティング位置と、決定された仮想的な手位置と、決定された仮想的な腕位置とに基づいて、当該他地点のユーザの手の画像を生成する。

ここで、図３８Ａ～図３８Ｂを参照して、上記の機能についてより詳細に説明する。例えば、出力制御部１０８は、まず、取得された伝達情報に含まれる操作用デバイスのポインティング位置に対応する自地点のスクリーン２０上の位置を、当該他地点のユーザの指位置として決定する。次に、出力制御部１０８は、図３８Ａおよび図３８Ｂに示したように、スクリーン２０における、決定された指位置（Ｐｆ）に最も近い辺と、当該指位置からの当該辺に対する垂直線との交点位置を当該ユーザの仮想的な腕位置として決定する。そして、出力制御部１０８は、図３８Ｂに示したように、当該ユーザの指位置（Ｐｆ）と、当該ユーザの仮想的な腕位置（Ｐｖａ）と、所定の手モデルとに基づいて、当該ユーザの仮想的な手位置（Ｐｖｈ）を決定する。

（１０－１－３－２．手の画像の表示）
さらに、出力制御部１０８は、生成された手の画像をスクリーン２０上に表示させる。

なお、操作用デバイスのポインティング位置が変更される際（例えばマウスカーソルが移動される際）に、当該ユーザの仮想的な手位置および仮想的な腕位置を単純に当該カーソル位置の移動に合わせて平行移動させると、不自然な動きであると閲覧者は感じ得る。例えば、閲覧者は、遠隔地のユーザがマウス等を操作していることが分かってしまう。

そこで、他地点において操作用デバイスのポインティング位置が変更される際には、出力制御部１０８は、当該他地点のユーザの仮想的な手位置および仮想的な腕位置を、当該操作用デバイスのポインティング位置の変更量よりも小さい量だけ当該ポインティング位置の変更に追従して変更させることが可能である。例えば、図３８Ｃに示したように、当該ポインティング位置がＰｆ０からＰｆ１へと移動される際には、出力制御部１０８は、当該ポインティング位置の移動方向と同じ方向へ、Ｐｆ０とＰｆ１との距離よりも小さい距離だけ当該ユーザの仮想的な手位置（Ｐｖｈ）を移動させる。また、出力制御部１０８は、当該ポインティング位置の移動方向と同じ方向へ、当該ユーザの仮想的な手位置の移動量よりもさらに小さい距離だけ当該ユーザの仮想的な腕位置（Ｐｖａ）を移動させる。

これにより、例えば、他地点においてマウスのカーソル位置（つまりポインティング位置）が移動されたことが検出された際には、当該ポインティング位置の変化に沿った自然な手の動きを自地点において提示することができる。

＜１０－２．効果＞
以上説明したように、第９の実施形態によれば、他地点のユーザが操作用デバイスを使用する場合であっても、当該他地点から取得される伝達情報に応じて、当該ユーザに対応する手が自然に動く画像をスクリーン２０に表示させることができる。これにより、全てのユーザが手で操作しているような映像を各地点で提示することができるので、コミュニケーションの円滑化につながる。

＜＜１１．第１０の実施形態＞＞
以上、第９の実施形態について説明した。次に、本開示に係る第１０の実施形態について説明する。一般的に、異なる地点間のユーザが初めてミーティングを行う場面では、当該異なる地点に位置する個々のユーザは、自己の全ての情報を他のユーザに開示することに関して抵抗感を抱き得る。

後述するように、第１０の実施形態によれば、他地点のユーザとの親交度に応じて、当該他地点のユーザに開示される情報量（情報の種類など）を増減させることができる。

＜１１－１．構成＞
｛１１－１－１．情報生成再現規則ＤＢ１３０｝
図３９は、第１０の実施形態に係る情報生成再現規則ＤＢ１３０の構成例を示した図である。図３９では、図１１に示した情報生成再現規則ＤＢ１３０ａと比較して、ユーザの性別情報、手の大きさ、および、腕の太さが情報タイプとしてさらに定義されている例を示している。

｛１１－１－２．情報生成部１０２｝
第１０の実施形態に係る情報生成部１０２は、入力部１２０により取得された入力情報から特定される、例えばユーザの性別情報、手の大きさ、および、腕の太さなどを当該ユーザに対応する伝達情報内にさらに格納する。

なお、ユーザの性別情報は、予め記憶部１２８に格納されていてもよいし、または、当該情報処理システム１０の利用時にユーザにより入力されてもよい。また、手の大きさ、および、腕の太さは、例えば入力部１２０により撮影される画像に対する認識に基づいて特定され得る。

｛１１－１－３．情報取得部１０６｝
第１０の実施形態に係る情報取得部１０６は、他地点の個々のユーザと自地点のユーザとの親交度を示す情報をさらに取得し得る。ここで、当該親交度を示す情報は、例えば、異なる地点のユーザ間で行われた所定の行動に応じて特定されてもよい。例えば、当該ユーザ間で自己紹介や、アイスブレーキング（ｉｃｅ ｂｒｅａｋｉｎｇ）を目的とした簡単なゲームなどが行われたことが検出された場合には、当該ユーザ間の親交度が所定の閾値（図３９に示した例では「親交レベルが２」）以上に達したと特定されてもよい。または、図４０Ｃに示したように、自地点のスクリーン２０上に表示された他地点のユーザの手の画像と、自地点のユーザの手との間で握手のような動作が行われたことが検出された場合には、当該ユーザ間の親交度が当該所定の閾値以上に達したと特定されてもよい。

なお、当該握手の動作が検出された際には、図４０Ｃに示したように、出力制御部１０８は、当該他地点のユーザの手の画像３０と自地点のユーザの手２とが重なった領域のみに所定のエフェクト４４（例えば所定の色で塗りつぶすなど）をさらに重畳して表示させてもよい。この表示例によれば、実際には伝達できない、握手に基づく触覚情報を個々のユーザに錯覚させる効果が期待できる。

または、当該親交度を示す情報は、例えば、所定のＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）における他地点の個々のユーザおよび自地点のユーザの登録情報などに基づいて特定されてもよい。

｛１１－１－４．出力制御部１０８｝
第１０の実施形態に係る出力制御部１０８は、他地点の各ユーザの手の画像の表示態様を、当該各ユーザと自地点のユーザとの親交度に応じて変更する。例えば、他地点のユーザと自地点のユーザとの親交度が当該所定の閾値未満である間は、出力制御部１０８は、当該他地点のユーザの身体的特徴および性別を反映させずに、当該他地点のユーザの手の画像を表示させる。この場合、例えば図４０Ａに示したように、出力制御部１０８は、他地点における該当のユーザの指位置、手位置、腕位置、および、手形状のみが反映された手の画像を表示させてもよい。この表示例によれば、ユーザ間の親交度が低い場合には、各ユーザの身体的な情報は互いに伝達されないので、各ユーザの心理的抵抗は小さくなり得る。

また、他地点のユーザと自地点のユーザとの親交度が所定の閾値以上になった後は、出力制御部１０８は、当該他地点のユーザの身体的特徴（例えば手の大きさや腕の太さなど）や性別をさらに反映させた表示態様で当該他地点のユーザの手の画像を表示させてもよい。この場合、例えば図４０Ｂに示したように、出力制御部１０８は、当該他地点から取得される伝達情報に含まれる当該ユーザの手の大きさに応じて、当該ユーザの手の画像における手の大きさを変更してもよい。また、出力制御部１０８は、当該他地点から取得される伝達情報に含まれる当該ユーザの腕の太さに応じて、当該ユーザの手の画像における腕の太さを変更してもよい。また、出力制御部１０８は、当該他地点のユーザの性別に応じて、当該ユーザの手の画像の表示色を変更してもよい（例えば、女性の場合は赤色で表示し、男性の場合は青色で表示するなど）。

なお、変形例として、例えば、ファシリテーションを行う役割の地点の出力制御部１０８は、現在通信中の全ての他地点の個々のユーザに関して、常に、当該ユーザの全ての情報を反映させた表示態様で当該ユーザの手の画像を表示させてもよい。

＜１１－２．効果＞
以上説明したように、第１０の実施形態によれば、他地点のユーザとの親交度に応じて、当該他地点のユーザに開示される情報量（情報の種類など）を増減させることができる。その結果、各ユーザが当該システムをより気軽に利用できることが期待できる。

＜＜１２．第１１の実施形態＞＞
以上、第１０の実施形態について説明した。次に、本開示に係る第１１の実施形態について説明する。

第１１の実施形態では、各地点において、入力部１２０はマイクロフォン（音声入力装置）を一台のみ含み、かつ、出力部１２４はスピーカー（音声出力装置）を一台のみ含むことを想定する。この場合、仮に、通信中の複数の他の地点に位置するユーザが同時に発話したことが検出される場合には、出力部１２４は、当該発話された音を同時に出力し得る。その結果、どの地点のどのユーザが現在話しているかを、自地点のユーザは分からなくなり得る。

後述するように、第１１の実施形態によれば、他地点のユーザの発話の収音結果に応じて、当該他地点のユーザの手の画像の表示態様を変更することができる。

＜１２－１．構成＞
｛１２－１－１．情報生成再現規則ＤＢ１３０｝
第１１の実施形態に係る情報生成再現規則ＤＢ１３０では、図１１に示した登録内容に加えて、図４１に示した登録内容がさらに追加され得る。

｛１２－１－２．情報生成部１０２｝
第１１の実施形態に係る情報生成部１０２は、入力部１２０により取得されたユーザの発話の収音結果を当該ユーザに対応する伝達情報内にさらに格納する。

｛１２－１－３．出力制御部１０８｝
第１１の実施形態に係る出力制御部１０８は、他地点から取得される伝達情報に含まれるユーザの発話の収音結果に応じて、当該ユーザの手の画像の表示態様を変更する。例えば、図４１に示したように、出力制御部１０８は、収音された発話の音量に応じて、当該ユーザの手の画像の透明度や表示色を変化させてもよい。

または、図４２に示したように、出力制御部１０８は、一定以上の音量の発話が収音されたタイミングにおいて、当該発話をしたユーザに対応する手の画像（図４２に示した例では画像３０ａ）を点滅させてもよい。

＜１２－２．効果＞
以上説明したように、第１１の実施形態によれば、他地点のユーザの発話の収音結果に応じて、当該他地点のユーザの手の画像の表示態様を変更することができる。このため、例えば「コレを見て下さい」などの代名詞を用いて他地点のユーザが発話した場合であっても、当該ユーザがどのオブジェクト（項目等）をポインティングしているのかを、自地点のユーザは容易に理解することができる。

また、音の強弱や発話のタイミングを反映して該当の画像の表示を変化させることができる。従って、例えば図４２に示したように、複数の他地点のユーザと同時にコミュニケーションをしている場面であっても、現在出力されている発話と、当該発話者（他地点のユーザ）に対応する手の画像との関係を、自地点のユーザは容易に理解することができる。

＜＜１３．第１２の実施形態＞＞
以上、第１１の実施形態について説明した。次に、本開示に係る第１２の実施形態について説明する。第１２の実施形態では、各地点において、入力部１２０はマイクロフォン（音声入力装置）を複数台含むことを想定する。例えば、当該複数のマイクロフォンは、マイクアレイとして構成されている。また、各地点において、主に複数のユーザが位置することを想定する。

後述するように、第１２の実施形態によれば、他地点においてセンシングされた音量の空間的分布に応じて、当該他地点のユーザの手の画像の表示態様を変更することができる。

＜１３－１．構成＞
｛１３－１－１．情報生成再現規則ＤＢ１３０｝
第１２の実施形態に係る情報生成再現規則ＤＢ１３０では、図１１に示した登録内容に加えて、図４３に示した登録内容がさらに追加され得る。

｛１３－１－２．情報生成部１０２｝
第１２の実施形態に係る情報生成部１０２は、入力部１２０によりセンシングされた（自地点における）音量の空間的分布を示す情報を伝達情報内にさらに格納する。

｛１３－１－３．出力制御部１０８｝
第１２の実施形態に係る出力制御部１０８は、他地点から取得された伝達情報に含まれる、当該他地点においてセンシングされた音量の空間的分布を示す情報と、当該伝達情報に基づいて特定された、当該伝達情報に対応するユーザの腕位置とに応じて、当該ユーザの発話状況を示す画像をスクリーン２０上にさらに表示させることが可能である。

ここで、図４４Ａ～図４４Ｃを参照して、上記の機能についてより詳細に説明する。例えば、他地点の音量の空間的分布を示す情報に基づいて、図４４Ａに示したような音量の分布４６が特定されたとする。図４４Ａでは、図４４Ａの右下側に対応する方向から到来した音の大きさが、他の方向と比べて大きいことを示している。また、図４４Ｂは、図４４Ａに示したタイミングにおける当該他地点の一人のユーザに対応する伝達情報に基づいて特定された、自地点における当該ユーザの指位置、手位置、および、腕位置の例を示している。なお、図４４Ｂでは、一人のユーザの手のみを示しているが、かかる例に限定されず、当該他地点には複数のユーザが同時に位置し得る。

この場合、例えば、出力制御部１０８は、まず、図４４Ａに示した音量の分布４６に基づいて、発話者の方向（および位置）を特定する。次に、出力制御部１０８は、取得された個々の伝達情報から特定される個々のユーザの腕位置のうち、特定された発話者の方向に最も近い腕位置に対応するユーザを当該発話者として特定する。そして、図４４Ｃに示したように、出力制御部１０８は、当該発話者の腕位置に対応する部分のみに、発話中であることを示すエフェクト４８を重畳して表示させる。

変形例として、出力制御部１０８は、エフェクト４８を表示させる代わりに（あるいは、加えて）、当該発話者の手の画像の透明度や表示色を変化させてもよいし、または、当該発話者の手の画像を点滅させてもよい。

＜１３－２．効果＞
以上説明したように、第１２の実施形態によれば、他地点においてセンシングされた音量の空間的分布に応じて、当該他地点のユーザの手の画像の表示態様を変更することができる。

＜＜１４．第１３の実施形態＞＞
以上、第１２の実施形態について説明した。次に、本開示に係る第１３の実施形態について説明する。第１３の実施形態では、（第１２の実施形態と同様に）各地点において、入力部１２０はマイクロフォン（音声入力装置）を複数台含むことを想定する。

後述するように、第１３の実施形態によれば、他地点のユーザの発話の音声認識結果を当該ユーザの手の画像とともにスクリーン２０上に表示させることができる。

＜１４－１．構成＞
｛１４－１－１．情報生成再現規則ＤＢ１３０｝
第１３の実施形態に係る情報生成再現規則ＤＢ１３０では、図１１に示した登録内容に加えて、図４５に示した登録内容がさらに追加され得る。

｛１４－１－２．情報生成部１０２｝
第１３の実施形態に係る情報生成部１０２は、入力部１２０により取得されたユーザの発話の収音結果を音声認識し得る。そして、情報生成部１０２は、入力部１２０によりセンシングされた（自地点における）音量の空間的分布を示す情報と、当該発話の音声認識結果の文字列と、収音された音データとを伝達情報内にさらに格納する。

｛１４－１－３．出力制御部１０８｝
（１４－１－３－１．表示例１）
第１３の実施形態に係る出力制御部１０８は、他地点から取得された伝達情報に含まれる発話の音声認識結果の文字列を、当該伝達情報に対応するユーザの手の画像と関連付けてスクリーン２０に表示させる。例えば、出力制御部１０８は、取得された伝達情報に基づいて特定される、ユーザの発話時において、当該発話の音声認識結果の文字列を当該ユーザの手の画像と関連付けてスクリーン２０に表示させる。

一例として、出力制御部１０８は、まず、取得された伝達情報に含まれる、センシングされた音量の空間的分布を示す情報に基づいて、当該伝達情報に対応するユーザが発話しているか（または直前に発話したか）否かを判定する。そして、当該ユーザが発話していると判定された際には、出力制御部１０８は、例えば図４６Ａに示したように、当該伝達情報に含まれる当該発話の音声認識結果の文字列５０を、自地点における当該ユーザの腕位置付近に表示させる。

または、出力制御部１０８は、当該ユーザのポインティング位置に対応するオブジェクトと関連付けて、当該発話の音声認識結果の文字列を表示させてもよい。例えば、出力制御部１０８は、当該ユーザのポインティング先のオブジェクトの近辺に、当該発話の音声認識結果の文字列を表示させてもよい。

（１４－１－３－２．表示例２）
さらに、出力制御部１０８は、当該音声認識結果の文字列に対する形態素解析の結果から得られる一以上のキーワード（例えば名詞など）をタグ情報としてスクリーン２０上にさらに表示させてもよい。例えば、出力制御部１０８は、まず、当該音声認識結果の文字列に対する形態素解析を行う。そして、図４６Ｂに示したように、出力制御部１０８は、当該音声認識結果の文字列５０、および、当該形態素解析の結果から得られた一以上のキーワード５２を、当該ユーザのポインティング先のオブジェクト３２と関連付けて表示させてもよい。

さらに、出力制御部１０８は、当該音声認識結果の文字列に対する形態素解析の結果から得られる一以上のキーワード（タグ情報）を他の各種の情報と関連付けて記憶部１２８に格納してもよい。当該他の各種の情報は、例えば、当該音声認識結果、該当の発話を行ったユーザの識別情報、当該ユーザが発話時にポインティングしていたオブジェクトの識別情報、該当の発話の日時情報、または、該当のコミュニケーション時の音声バイナリデータなどを含んでもよい。

これにより、これらの情報を会議の議事録として活用することができる。また、会議の録画データ（または録音データ）を再生して当該会議を振り返る場面において、当該録画データとともにタグ情報を表示することができるので、臨場感が向上し得る。さらに、タグ情報や他の種類の情報をキーにして検索を行うことも可能であるので、後に、所望の会議の録画データを検索したり、または、ある録画データのうち所望の再生タイミングを検索することが可能となる。

＜１４－２．効果＞
以上説明したように、第１３の実施形態によれば、他地点のユーザの発話の音声認識結果を、当該他地点のユーザの手の画像とともに表示させることができる。

＜＜１５．第１４の実施形態＞＞
以上、第１３の実施形態について説明した。次に、本開示に係る第１４の実施形態について説明する。第１４の実施形態では、各地点において、入力部１２０はマイクロフォン（音声入力装置）を複数台含み、かつ、出力部１２４はスピーカー（音声出力装置）を複数台含むことを想定する。

後述するように、第１４の実施形態によれば、他地点において収音されたユーザの発話の音像を、自地点における当該ユーザの腕位置付近に定位させることができる。

＜１５－１．構成＞
｛１５－１－１．情報生成再現規則ＤＢ１３０｝
第１４の実施形態に係る情報生成再現規則ＤＢ１３０では、図１１に示した登録内容に加えて、図４７に示した登録内容がさらに追加され得る。

｛１５－１－２．情報生成部１０２｝
第１４の実施形態に係る情報生成部１０２は、（第１３の実施形態と同様に）入力部１２０によりセンシングされた（自地点における）音量の空間的分布を示す情報と、収音された音データとを伝達情報内にさらに格納する。

｛１５－１－３．出力制御部１０８｝
第１４の実施形態に係る出力制御部１０８は、取得された伝達情報に含まれる、センシングされた音量の空間的分布を示す情報に基づいて、当該伝達情報に含まれる音データを、出力部１２４に含まれる複数のマイクロフォンに出力させる。例えば、出力制御部１０８は、図４８に示したように、当該音量の空間的分布を示す情報が示す音量強度が最も大きい方向（角度）に当該発話の音を定位させるように、当該複数のマイクロフォンの出力を制御する。これにより、当該他地点においてユーザが発話した向きと同じ向きから、自地点において当該発話の音が聞こえるような表現を実現することができる。

＜１５－２．効果＞
以上説明したように、第１４の実施形態によれば、他地点において収音されたユーザの発話の音像を、自地点における当該ユーザの腕位置付近に定位させることができる

＜＜１６．第１５の実施形態＞＞
以上、第１４の実施形態について説明した。次に、本開示に係る第１５の実施形態について説明する。後述するように、第１５の実施形態によれば、いずれかの他地点のユーザが発話したことが検出された際に、当該他地点において配置されたオブジェクトを強調して表示させることができる。例えば当該オブジェクトをフォーカスして表示させることができる。

第１５の実施形態では、地点ごとに当該地点内のユーザが予め配置したオブジェクトが記憶されていることを想定する。例えば、図５０Ａに示したように、地点Ａにおいて付箋３２ａがスクリーン２０‐１上に予め配置された場合には、地点Ａと付箋３２ａとが関連付けて例えば記憶部１２８内に記憶される。また、図５０Ｂに示したように、地点Ｂにおいて付箋３２ｂおよび付箋３２ｃがスクリーン２０‐２上に予め配置された場合には、地点Ｂと、付箋３２ｂおよび付箋３２ｃとが関連付けて例えば記憶部１２８内に記憶される。

＜１６－１．構成＞
｛１６－１－１．情報生成再現規則ＤＢ１３０｝
第１５の実施形態に係る情報生成再現規則ＤＢ１３０では、図１１に示した登録内容に加えて、図４９に示した登録内容がさらに追加され得る。

｛１６－１－２．情報生成部１０２｝
第１５の実施形態に係る情報生成部１０２は、（第１１の実施形態と同様に）入力部１２０により取得されたユーザの発話の収音結果を当該ユーザに対応する伝達情報内にさらに格納する。

｛１６－１－３．出力制御部１０８｝
第１５の実施形態に係る出力制御部１０８は、例えば現在通信中の複数の他地点の各々から取得された伝達情報に基づいて、当該伝達情報に対応するユーザが発話したことが特定された際には、記憶部１２８に記憶されている、当該伝達情報に対応する地点において予め配置されたオブジェクト（および／または、当該他地点のユーザの手の画像）を強調して表示させる。例えば、「地点Ａ」内のユーザが発話したことが検出された際には、出力制御部１０８は、図５０Ｃに示したように、「地点Ａ」において予め配置された付箋３２ａの画像をそのまま表示させ、かつ、その他のオブジェクト（図５０Ｃに示した例では付箋３２ｂおよび付箋３２ｃ）の画像をぼかして表示させてもよい。または、出力制御部１０８は、その他のオブジェクトの画像をそのまま表示させながら、付箋３２ａの画像をより強調して表示させてもよい（例えば点滅させたり、輝度を上げるなど）。

＜１６－２．効果＞
以上説明したように、第１５の実施形態によれば、いずれかの他地点のユーザが発話したことが検出された際に、当該他地点において配置されたオブジェクトを強調して表示させることができる。

例えば、議論の途中において「さっきのコレが」など、言葉が不足して発話された場合であっても、当該発話者の地点において配置されたオブジェクトが強調して表示され得るので、当該ユーザの発話の意図が理解しやすい。例えば、過去の議論において当該地点のユーザがどのような意図で該当のオブジェクトを配置したのかを他の地点のユーザは容易に理解することができる。このため、例えば全てのオブジェクトが一様に表示される場合と比べて、コンテキストを補いながらユーザはディスカッションすることができる。

＜＜１７．第１６の実施形態＞＞
以上、第１５の実施形態について説明した。次に、本開示に係る第１６の実施形態について説明する。後述するように、第１６の実施形態によれば、ユーザがオブジェクトをポインティングした回数に応じて、当該オブジェクトに対応する画像の表示態様を変更することができる。

＜１７－１．構成＞
｛１７－１－１．処理部１００｝
第１６の実施形態に係る処理部１００は、スクリーン上に配置（または表示）されているオブジェクトごとに、少なくとも一人のユーザが当該オブジェクトをポインティングした回数を記録し、そして、当該回数を例えば記憶部１２８に保存する。

｛１７－１－２．出力制御部１０８｝
第１６の実施形態に係る出力制御部１０８は、オブジェクトごとの、当該オブジェクトがポインティングされた累計回数に応じて、当該オブジェクトに対応する画像の表示態様を変更する。例えば、出力制御部１０８は、ポインティングされた回数が多いオブジェクトほど目立たせるように、個々のオブジェクトに対応する画像の表示態様を変更する。

ここで、図５１Ａ～図５１Ｃを参照して、上記の機能についてより詳細に説明する。図５１Ａ～図５１Ｃでは、スクリーン２０上に３個の付箋３２（オブジェクト）が配置されており、かつ、当該３個の付箋３２のうち付箋３２ｂに対するポインティングの累計回数が最も多い例を示している。例えば、図５１Ａの右図に示したように、出力制御部１０８は、個々の付箋３２に関して、ユーザが当該付箋３２をポインティングした累計回数が多いほど、当該付箋３２に対応する画像の表示サイズを大きくしてもよい。

または、図５１Ｂの右図に示したように、出力制御部１０８は、個々の付箋３２に関して、ユーザが当該付箋３２をポインティングした累計回数に応じて当該付箋３２を光らせてもよい。例えば、出力制御部１０８は、ユーザがポインティングした累計回数が所定の回数以上である付箋３２だけを光らせてもよい。

または、図５１Ｃの右図に示したように、出力制御部１０８は、個々の付箋３２に関して、ユーザが当該付箋３２をポインティングした累計回数が多いほど、当該付箋３２に記載されている個々の文字をより太く表示させたり、または、より大きく表示させてもよい。

＜１７－２．効果＞
以上説明したように、第１６の実施形態によれば、ユーザがオブジェクトをポインティングした回数に応じて、当該オブジェクトに対応する画像の表示態様を変更することができる。これにより、個々のオブジェクトに対応する画像を見るだけで、ユーザは、個々のオブジェクトの重要度を把握することができる。

＜＜１８．第１７の実施形態＞＞
以上、第１６の実施形態について説明した。次に、本開示に係る第１７の実施形態について説明する。後述するように、第１７の実施形態によれば、他地点のスクリーン上に配置（または表示）されているオブジェクトに対応する画像を自地点のスクリーン上に表示させる際に、自地点のユーザの属性情報に応じて当該画像の表示態様を適切に変更することができる。

ここで、ユーザの属性情報は、例えば、ユーザの年齢、性別、国籍、または、使用言語などを含む。なお、各実施形態に係る情報処理システム１０の利用開始時に個々のユーザにより自分の属性情報が予め登録されてもよい。または、処理部１００は、個々のユーザの発話内容や声質などの認識結果に基づいて、個々のユーザの年齢や国籍を推定してもよい。または、処理部１００は、個々のユーザの手や腕の大きさなどの認識結果に基づいて、個々のユーザの年齢や性別を推定してもよい。

＜１８－１．構成＞
｛１８－１－１．出力制御部１０８｝
第１７の実施形態に係る出力制御部１０８は、他地点のスクリーン上に配置（または表示）されているオブジェクトに対応する画像を自地点のスクリーン上に表示させる際に、自地点のユーザの属性情報に応じて当該画像の表示態様を変更する。

ここで、図５２Ａ～図５２Ｄを参照して、上記の機能についてより詳細に説明する。図５２Ａ～図５２Ｄでは、他地点（「地点Ａ」）のスクリーン２０上に３個の付箋３２（オブジェクト）が表示されており、かつ、当該３個の付箋３２の各々に対応する画像を自地点（「地点Ｂ」、「地点Ｃ」、「地点Ｄ」、または「地点Ｅ」）のスクリーン２０上に表示させる例を示している。例えば、図５２Ａに示したように、出力制御部１０８は、「地点Ａ」のスクリーン２０上に表示されている個々の付箋３２に関して、自地点（「地点Ｂ」）に位置する一以上のユーザの位置に応じて、当該付箋３２に対応する画像の表示方向を回転させてもよい。

または、出力制御部１０８は、当該オブジェクト内に記載されている文字列を自地点のユーザの知識レベルや認識レベルに応じて変換し、そして、変換後の画像を自地点のスクリーン上に表示させてもよい。例えば、自地点（「地点Ｃ」）のユーザが子どもである場合には、図５２Ｂに示したように、出力制御部１０８は、「地点Ａ」のスクリーン２０上に表示されている個々の付箋３２に関して、当該付箋３２に記載されている文字列を、同一の言語の、子ども向けの文字列に変換し、そして、変換後の文字列を含む画像を自地点のスクリーン上に表示させてもよい。図５２Ｂでは「片仮名」の文字列が「ひらがな」の文字列に変換された例を示している。

または、自地点（「地点Ｃ」）のユーザが高齢者である場合には、図５２Ｃに示したように、出力制御部１０８は、「地点Ａ」のスクリーン２０上に表示されている個々の付箋３２に関して、当該付箋３２内の個々の文字をより太くされたり、または、より拡大された画像を自地点のスクリーン上に表示させてもよい。

または、図５２Ｄに示したように、出力制御部１０８は、「地点Ａ」のスクリーン２０上に表示されている付箋３２に関して、当該付箋３２に記載されている文字列を、自地点（「地点Ｄ」）のユーザの使用言語（図５２Ｄに示した例では「英語」）に翻訳し、そして、翻訳語の文字列を含む画像を自地点のスクリーン上に表示させてもよい。

＜１８－２．効果＞
以上説明したように、第１７の実施形態によれば、他地点のスクリーン上に配置（または表示）されているオブジェクトに対応する画像を自地点のスクリーン上に表示させる際に、自地点のユーザの属性情報に応じて当該画像の表示態様を適切に変更することができる。これにより、例えば、異なる地点間の会議時において、地点ごとのユーザの知識レベルや認識レベルが異なっていたり、または、使用言語が異なる場合であっても、上記の処理がリアルタイムに行わることにより、各ユーザはストレスなくディスカッションすることができる。

＜＜１９．第１８の実施形態＞＞
以上、第１７の実施形態について説明した。次に、本開示に係る第１８の実施形態について説明する。後述するように、第１８の実施形態によれば、異なる地点間の議論の記録データを時間方向または空間方向に分割したり、結合することができる。

第１８の実施形態では、異なる地点間で議論が行われる際に、処理部１００は、当該議論中の各ユーザの手指の動きの情報と、スクリーン２０上に配置（または表示）されている個々のオブジェクトの情報とを例えば定期的に記憶部１２８に記録する。

＜１９－１．時間方向の結合＞
ここで、図５３Ａ～図５３Ｄを参照して、第１８の実施形態に係る異なる地点間の議論の記録データを時間方向に分割および結合する例について説明する。図５３Ａおよび図５３Ｂは、複数の地点間で行われた議論中に取得された、当該複数の地点のスクリーン２０上に配置されている個々のオブジェクト３２の位置関係の例を示した図である。例えば、図５３Ａは、当該議論の開始時のオブジェクト３２の位置関係を示している。また、図５３Ｂは、当該議論の終了時のオブジェクト３２の位置関係を示している。

その後、ユーザは、時間を遡ること（例えば記録された映像を再生するなど）により、議論をやり直すことが可能である。そして、議論をやり直した結果、図５３Ｂのタイミングにおけるスクリーン２０の状態が（図５３Ｂの代わりに）図５３Ｃに示したような状態に変化したとする。この場合、一回目の議論の記録データと、二回目の議論の記録データとから所望な箇所だけをユーザはそれぞれ抽出し、そして、例えば図５３Ｄに示したように、抽出したデータ同士を合成することが可能である。

または、議論に参加していないユーザも当該議論の内容を後で参照することができ、臨場感高く議論を追体験することができる。その際、再生スピードを調整することもできる。また、第１８の実施形態によれば、各ユーザの手指の動きの情報と、スクリーン２０上に配置（または表示）されている個々のオブジェクトの情報とだけを保存するだけでよく、例えば議論の内容を映像として保存する必要がない。このため、記録されるデータ量を抑制することができる。

＜１９－２．空間方向の結合＞
次に、図５４Ａ～図５４Ｄを参照して、第１８の実施形態に係る異なる地点間の議論の記録データを空間方向に分割および結合する例について説明する。例えば、まず、複数の地点間で一緒に議論を行う。図５４Ｂは、当該複数の地点間で行われた議論中に取得された、当該複数の地点のスクリーン２０上に配置されている個々のオブジェクト３２の位置関係の例を示した図である。

その後、例えば地点ごとや、所定のグループごとに分かれて、当該議論中に取得された記録データを利用しながらそれぞれ議論を行うことが可能である。例えば、「グループＡ」と「グループＢ」とに分かれ、そして、各グループで議論を行う。その結果、「グループＡ」では、例えば図５４Ａのタイミングにおけるスクリーン２０の状態が（図５４Ａの代わりに）図５４Ｂに示したような状態に変化したとする。また、「グループＢ」では、例えば図５４Ａのタイミングにおけるスクリーン２０の状態が（図５４Ａの代わりに）図５４Ｃに示したような状態に変化したとする。

この場合、ユーザは「グループＡ」の議論の記録データと、「グループＢ」の議論の記録データとを持ち寄ることにより、例えば図５４Ｄに示したような合成データを得ることができる。さらに、各グループの議論の結果を比較することもできる。

｛１９－２－１．変形例｝
さらに、合成された記録データに関して、出力制御部１０８は、各オブジェクトを操作したグループや、オブジェクトごとの重要度などに応じて、各オブジェクトに対応する画像の表示態様を変更してもよい。例えば、出力制御部１０８は、より多くのグループで重要と判断されたオブジェクトの画像を、他のオブジェクトの画像よりも強調して表示させてもよい。

＜１９－３．効果＞
以上説明したように、第１８の実施形態によれば、異なる地点間の議論の記録データを時間方向または空間方向に分割したり、結合することができる。

＜＜２０．第１９の実施形態＞＞
以上、第１８の実施形態について説明した。次に、本開示に係る第１９の実施形態について説明する。後述するように、第１９の実施形態によれば、異なる地点間でコミュニケーションを行う場面において、自地点の情報を所望のタイミングだけ他地点と共有したり、または、所望のタイミングだけ他地点と共有しないようにユーザがコントロールすることができる。

＜２０－１．構成＞
｛２０－１－１．送信制御部１０４｝
（２０－１－１－１．共有されるオブジェクトの指示）
第１９の実施形態に係る送信制御部１０４は、自地点のスクリーン２０上に配置（または表示）されている一以上のオブジェクトのうち、ユーザにより指定されたオブジェクトの情報だけを他地点の情報処理システム１０へ通信部１２６に送信させる。

ここで、図５５Ａおよび図５５Ｂを参照して、上記の機能についてより詳細に説明する。図５５Ａは、自地点（「地点Ａ」）のスクリーン２０‐１の外観の例を示した図である。また、図５５Ｂは、図５５Ａに示したタイミングにおける他地点（「地点Ｂ」）のスクリーン２０‐２の外観の例を示した図である。

図５５Ａの右図に示したように、付箋３２ａが「地点Ｂ」と共有されていない状況において、例えば付箋３２ａをポインティングしながら「コレが」と発話することなどにより、付箋３２ａを「地点Ｂ」と共有するように自地点のユーザが指示したとする。この場合、送信制御部１０４は、まず、「地点Ｂと共有されるオブジェクト」のグループの中に付箋３２ａを追加する。そして、送信制御部１０４は、当該グループに含まれる個々のオブジェクトの情報（例えば撮像画像など）を「地点Ｂ」へ通信部１２６に送信させる。これにより、図５５Ｂの右図に示したように、「地点Ｂ」のスクリーン２０‐２ｂ上には、付箋３２ａに対応する画像が新たに表示されるようになる。

この制御例によれば、例えば、他地点と共有することをユーザが指示していない全てのオブジェクト（例えば図５５Ａに示したコーヒーカップ３２など）の情報は、当該他地点に表示されない。従って、自地点のテーブルが片付いていない場合であっても、ユーザは、抵抗感なく会議を行うことができる。そして、話題とすべき必要最小限のオブジェクトだけを他地点と共有して会議を行うことができる。

（２０－１－１－２．共有される画面に関する指示）
さらに、送信制御部１０４は、他地点と共有される画面に関する表示指示情報を、ユーザの指定に基づいて当該他地点へ通信部１２６に送信させることが可能である。当該他地点と共有される画面は、自地点のスクリーン２０の撮像画像に応じた画面であり得る。

例えば、図５６Ａに示したように、自地点のスクリーン２０に表示されている、画面の共有を中断するためのＧＵＩボタン７０をユーザが押下している間は、送信制御部１０４は、当該他地点と共有される画面をぼやかして表示させるための表示指示情報を当該他地点へ通信部１２６に送信させる。これにより、図５６Ｂに示したように、当該他地点では、当該画面がぼやけて表示される。

この制御例によれば、自地点のスクリーン２０の映像を他地点と共有するタイミングをユーザが明示的に指示することができる。例えば、会議の途中において、他地点のユーザに見られたくない資料のみを共有しないように指示したり、または、他地点のユーザに聞かれたくない議論のみを共有しないように指示することができる。

＜２０－２．効果＞
以上説明したように、第１９の実施形態によれば、異なる地点間でコミュニケーションを行う場面において、自地点の情報を所望のタイミングだけ他地点と共有したり、または、所望のタイミングだけ他地点と共有しないようにユーザがコントロールすることができる。

＜＜２１．第２０の実施形態＞＞
以上、第１９の実施形態について説明した。ところで、ある場所に位置するユーザが操作体（例えばユーザの手など）を操作する際に、当該操作体に対応する画像とともに、操作時の当該ユーザの撮像映像を別の場所に表示可能であると、臨場感がさらに向上し得る。

次に、本開示に係る第２０の実施形態について説明する。後述するように、第２０の実施形態によれば、ある場所に位置するユーザが操作体を操作する際に、当該操作体に対応する画像と、当該ユーザを含む空間の撮像映像とを別の場所に同時に表示させることが可能である。

＜２１‐１．システム＞
まず、第２０の実施形態に係るシステムの構成例について、図５７および図５８を参照して説明する。図５７に示したように、第２０の実施形態では、地点（場所）ごとに、情報処理システム１０（図５７では図示省略）およびテレプレゼンスシステム８０が設置されていることを想定する。テレプレゼンスシステム８０は、例えばビデオ会議システムである。

図５８は、ある地点（「地点Ａ」）における情報処理システム１０およびテレプレゼンスシステム８０の利用例を示した図である。図５８に示した例では、３つの地点（「地点Ａ」、「地点Ｂ」、および「地点Ｃ」）間で通信中であり、かつ、地点Ａ内のユーザは、（情報処理システム１０の）出力部１２４の手前に位置している。そして、出力部１２４は、（第１～第１９の実施形態と同様に）出力制御部１０８の制御に従って、他の各地点（地点Ｂおよび地点Ｃ）から取得された伝達情報に基づいて生成される画像を、地点Ａ内のスクリーン２０（例えばテーブル９０の天板など）に表示している。

そして、例えば出力部１２４よりも後方に位置するスクリーン２４（壁面など）には、地点Ｂから受信された、例えばリアルタイムに地点Ｂの内部が撮像された映像が、後述する出力部８２４ａにより表示（例えば投影）されている。当該映像は、地点Ｂ内の一以上のユーザ（例えば当該ユーザの正面）および当該一以上のユーザの周囲の空間が撮像された映像であり得る。なお、スクリーン２４は、本開示に係る第２の表示面の一例である。

さらに、図５８に示したように、地点Ｃから受信された、例えばリアルタイムに地点Ｃの内部が撮像された映像が、例えば地点Ａ内のユーザの横方向に配置されている出力部８２４ｂに表示されている。当該映像は、地点Ｃ内の一以上のユーザ（例えば当該ユーザの正面）および当該一以上のユーザの周囲の空間が撮像された映像であり得る。

上記の表示例によれば、地点Ａ内のユーザは、スクリーン２０に表示される地点Ｂおよび地点Ｃ内の各ユーザに対応する手の画像と、地点Ｂおよび地点Ｃ内の各ユーザが例えばリアルタイムに撮像された映像とを同時に見ることができる。このため、異なる地点間のユーザ同士で、さらに臨場感高くコミュニケーションを行うことができる。

＜２１‐２．構成＞
以上、第２０の実施形態に係るシステムの構成例について説明した。次に、第２０の実施形態に係る機能構成について詳細に説明する。図５９は、第２０の実施形態に係る情報処理システム１０およびテレプレゼンスシステム８０の機能構成の例を示したブロック図である。なお、図５９に示した機能構成を有する情報処理システム１０およびテレプレゼンスシステム８０は、各地点にそれぞれ設置され得る。

｛２１－２－１．情報処理システム１０｝
第２０の実施形態に係る情報処理システム１０の機能構成は、前述した第１～第１９の実施形態のうちの一以上と同様であり得る。例えば、第２０の実施形態に係る情報処理システム１０は、図１～図５６Ｂを参照して説明した全ての機能や処理を同様に実行可能であってよい。

例えば、図３３等を参照して説明した第７の実施形態と同様に、出力制御部１０８は、現在通信中の複数の他の地点に位置する個々のユーザの手に対応する画像の表示位置を当該個々のユーザが位置する地点に応じて変更してもよい。図５８に示した例では、出力制御部１０８は、テレプレゼンスシステム８０により各地点に対応するスクリーン２４の位置や、当該スクリーン２４に表示される当該地点の撮像映像中の個々のユーザの表示位置に応じて、スクリーン２０における当該ユーザに対応する手の画像の表示位置を決定（または変更）してもよい。例えば、出力制御部１０８は、各地点に対応するスクリーン２４に表示される当該地点内の個々のユーザの表示位置と、スクリーン２０に投影される当該ユーザに対応する手の画像の表示位置とが対応するように（例えば位置関係が整合するように）、スクリーン２０における当該手の画像の表示位置を決定してもよい。

例えば、情報処理システム１０は、スクリーン２４に表示されている地点Ｂ内のユーザの手に対応する画像を、図５８におけるスクリーン２４の側を基準としてスクリーン２０に表示してもよい。また、情報処理システム１０は、出力部８２４ｂに表示されている地点Ｃ内のユーザの手に対応する画像を出力部８２４ｂの側を基準としてスクリーン２０に表示してもよい。

｛２１－２－２．テレプレゼンスシステム８０｝
図５９に示したように、第２０の実施形態に係るテレプレゼンスシステム８０は、処理部８００、撮像部８２０、収音部８２２、出力部８２４、および、通信部８２６を含む。

（２１－２－２－１．処理部８００）
処理部８００（出力制御部と称する場合もある）は、一または複数の処理回路（例えばＣＰＵやＧＰＵなど）を含んで構成され得る。処理部８００は、テレプレゼンスシステム８０を統括的に制御する。

例えば、処理部８００は、一以上の他地点から受信される当該他地点の撮像映像および音声を出力部８２４に出力させる。一例として、図５８に示したように、処理部８００は、受信された一以上の他地点の撮像映像を、地点ごとに別々の出力部８２４に表示（例えば投影など）させる。

また、処理部８００は、例えば撮像部８２０によりリアルタイムに撮像された映像、および、収音部８２２によりリアルタイムに収音された音データを、例えば現在通信中の他の全ての地点へ通信部８２６に逐次送信させる。

（２１－２－２－２．撮像部８２０）
撮像部８２０は、外光をレンズを通して例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子に結像させることにより、画像（動画像など）を撮影する。例えば、撮像部８２０は、自地点（つまり、該当のテレプレゼンスシステム８０が設置されている地点）に位置する一以上のユーザの外観および当該一以上のユーザの周囲の空間を撮像する。

さらに、撮像部８２０は、例えば２つのレンズを用いて撮像することにより奥行き方向の情報を記録可能なステレオカメラを含んでもよい。

（２１－２－２－３．収音部８２２）
収音部８２２は、例えばマイクロフォン等の音声入力装置から構成される。収音部８２２は、自地点で発せられる音（例えば自地点内のユーザの発話など）を収音する。

（２１－２－２－４．出力部８２４）
出力部８２４は、例えばプロジェクタ、ＬＣＤ、または、ＯＬＥＤなどの表示装置を含み得る。さらに、出力部８２４は、例えばスピーカーなどの音声出力装置を含み得る。出力部８２４は、処理部８００の制御に従って、映像を表示（投影など）したり、音を出力する。

（２１－２－２－５．通信部８２６）
通信部８２６は、他地点のテレプレゼンスシステム８０との間で各種の情報を送受信する。例えば、通信部８２６は、処理部８００の制御に従って、撮像部８２０により撮像された映像や、収音部８２２により収音された音データなどを他地点のテレプレゼンスシステム８０へ送信する。また、通信部８２６は、他地点で撮影された映像などを当該他地点のテレプレゼンスシステム８０から受信する。

｛２１－２－３．変形例｝
なお、第２０の実施形態に係る機能構成は、前述した例に限定されない。例えば、情報処理システム１０とテレプレゼンスシステム８０とは別々に設けられる代わりに、一体的に構成されてもよい。一例として、処理部８００が設けられる代わりに、前述した処理部８００の全ての機能を処理部１００が有してもよい。同様に、入力部１２０、撮像部８２０、および、収音部８２２は一体的に構成されてもよい。また、出力部１２４と出力部８２４とは一体的に構成されてもよい。また、通信部１２６と通信部８２６とは一体的に構成されてもよい。

＜２１‐３．効果＞
以上説明したように、第２０の実施形態によれば、ある場所に位置するユーザが操作体を操作する際に、当該操作体に対応する画像と、当該ユーザを含む空間の撮像映像とを別の場所に同時に表示させることが可能である。このため、異なる地点間のユーザ同士で、さらに臨場感高くコミュニケーションを行うことができる。

＜＜２２．ハードウェア構成＞＞
以上、第２０の実施形態について説明した。次に、各実施形態に共通する情報処理システム１０のハードウェア構成について、図６０を参照して説明する。図６０に示すように、情報処理システム１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５４、バス１５６、インターフェース１５８、入力装置１６０、出力装置１６２、ストレージ装置１６４、および、通信装置１６６を備える。

ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム１０内の動作全般を制御する。また、ＣＰＵ１５０は、情報処理システム１０において処理部１００および表示処理部１２２の機能を実現し得る。ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成され得る。

ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。

ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

バス１５６は、ＣＰＵバスなどから構成される。バス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、および、ＲＡＭ１５４を相互に接続する。

インターフェース１５８は、入力装置１６０、出力装置１６２、ストレージ装置１６４、および通信装置１６６をバス１５６と接続する。

入力装置１６０は、ユーザが情報を入力するための入力手段（例えばタッチパネル、ボタン、スイッチ、ダイヤル、レバー、または、マイクロフォンなど）を含む。さらに、入力装置１６０は、ユーザによる入力に基づいて入力信号を生成し、かつ、当該入力信号をＣＰＵ１５０に出力する入力制御回路などを含む。入力装置１６０は、情報処理システム１０において入力部１２０の機能を実現し得る。

出力装置１６２は、例えば、プロジェクタ、液晶ディスプレイ装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、または、ランプなどの表示装置を含む。また、出力装置１６２は、スピーカーなどの音声出力装置を含む。出力装置１６２は、情報処理システム１０において出力部１２４の機能を実現し得る。

ストレージ装置１６４は、データ格納用の装置である。ストレージ装置１６４は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または、記憶媒体に記録されたデータを削除する削除装置などを含む。ストレージ装置１６４は、情報処理システム１０において記憶部１２８の機能を実現し得る。

通信装置１６６は、通信網２２に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６６は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。通信装置１６６は、情報処理システム１０において通信部１２６の機能を実現し得る。

＜＜２３．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

＜２３－１．変形例１＞
各実施形態に係る情報処理システム１０の構成は前述した例に限定されない。例えば、図９では、表示処理部１２２と処理部１００とが別々に設けられる例を示したが、かかる例に限定されず、表示処理部１２２と処理部１００とは一体的に構成されてもよい。

また、図９では、情報取得部１０６が処理部１００に含まれる例を示したが、かかる例に限定されず、情報取得部１０６は、入力部１２０または表示処理部１２２と一体的に構成されてもよい。

＜２３－２．変形例２＞
各実施形態に係る処理部１００を含む装置（情報処理装置）は、入力部１２０、表示処理部１２２、または、出力部１２４のうちの一以上を含んでもよい。例えば、当該情報処理装置は、処理部１００、表示処理部１２２、および、出力部１２４を含むプロジェクタであってもよい。

または、当該情報処理装置は、テーブル９０と一体的に構成されてもよい。または、当該情報処理装置は、入力部１２０、表示処理部１２２、および、出力部１２４のうちの少なくとも一つと通信網２２を介して接続されていてもよい。例えば、当該情報処理装置は、サーバ、汎用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、テレビジョン受信機、例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、または、スマートウォッチなどのウェアラブルデバイス、または、ロボットなどであってもよい。

＜２３－３．変形例３＞
前述した処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並行的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。

また、前述した各実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、前述した各実施形態に係る情報処理システム１０（特に処理部１００）の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得する情報取得部と、
前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる出力制御部と、
を備える、情報処理システム。
（２）
前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置との間の前記第１のユーザの第２の仮想的な位置が、前記第１の伝達情報に基づいてさらに特定され、
前記操作体に対応する画像は、前記第１のユーザの第２の仮想的な位置にさらに基づいて生成される、前記（１）に記載の情報処理システム。
（３）
前記情報取得部は、前記第１の場所内の表示面上に位置する少なくとも一つのオブジェクトのセンシング結果をさらに取得し、
前記出力制御部は、前記少なくとも一つのオブジェクトに対応する画像を前記第２の場所内の表示面にさらに表示させる、前記（２）に記載の情報処理システム。
（４）
前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
前記少なくとも一つのオブジェクトを移動させる操作が前記第１の伝達情報に基づいて特定された場合には、前記出力制御部は、前記少なくとも一つのオブジェクトに対応する画像の表示位置を、特定された前記操作に応じて移動させる、前記（３）に記載の情報処理システム。
（５）
前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
前記操作体のポインティング位置は、前記第１のユーザの手のポインティング位置であり、
前記第１の場所内の表示面上で前記第１のユーザの手がスライドされたことが前記第１の伝達情報に基づいて特定された場合には、前記出力制御部は、当該スライド中の前記第１のユーザの手のポインティング位置の軌跡を示す画像を前記第２の場所内の表示面にさらに表示させる、前記（２）または（３）に記載の情報処理システム。
（６）
前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
前記操作体のポインティング位置は、前記第１のユーザの手のポインティング位置であり、
前記第１のユーザの手のポインティング位置と、前記第１のユーザの第２の仮想的な位置と、前記第１のユーザの第１の仮想的な位置との関係が所定の関係になった場合には、前記第１のユーザの第１の仮想的な位置、および／または、前記第１のユーザの第２の仮想的な位置は、前記第１のユーザの手のポインティング位置に基づいて補正され、かつ、
前記出力制御部は、前記第１のユーザの手のポインティング位置と、補正後の前記第１のユーザの第２の仮想的な位置と、補正後の前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる、前記（２）～（５）のいずれか一項に記載の情報処理システム。
（７）
前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
前記操作体のポインティング位置は、前記第１のユーザの手のポインティング位置であり、
前記第１のユーザの第２の仮想的な位置と前記第１のユーザの第１の仮想的な位置との距離が所定の距離よりも大きくなった場合には、前記第１のユーザの手のポインティング位置、および、前記第１のユーザの第２の仮想的な位置はそれぞれ、前記第１のユーザの第１の仮想的な位置に基づいて補正され、かつ、
前記出力制御部は、補正後の前記第１のユーザの手のポインティング位置と、補正後の前記第１のユーザの第２の仮想的な位置と、前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させ、かつ、
補正前の前記第１のユーザの手のポインティング位置を示す画像を前記操作体に対応する画像と関連付けて前記第２の場所内の表示面にさらに表示させる、前記（２）～（６）のいずれか一項に記載の情報処理システム。
（８）
前記第１の伝達情報は、前記第１のユーザの属性情報をさらに含み、
前記出力制御部は、前記操作体に対応する画像の表示パラメータの値を前記第１のユーザの属性情報に応じて変更する、前記（２）～（７）のいずれか一項に記載の情報処理システム。
（９）
前記情報取得部は、前記第１のユーザと前記第２のユーザとの親交度を示す情報をさらに取得し、
前記出力制御部は、前記操作体に対応する画像の表示態様を、前記第１のユーザと前記第２のユーザとの親交度に応じて変更する、前記（２）～（８）のいずれか一項に記載の情報処理システム。
（１０）
前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
前記第１の伝達情報は、前記第１の場所内の表示面を基準とした前記第１のユーザの手の高さのセンシング結果をさらに含み、
前記出力制御部は、前記操作体に対応する画像の表示パラメータの値を、前記第１のユーザの手の高さのセンシング結果に応じて変更する、前記（２）～（９）のいずれか一項に記載の情報処理システム。
（１１）
前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
前記操作体のポインティング位置は、前記第１のユーザの手のポインティング位置であり、
前記情報取得部は、前記第１の場所を含む、前記第２の場所以外の複数の場所に位置する複数のユーザの各々に関して、当該ユーザの手の操作に応じた前記第２のユーザとのコミュニケーションのための、当該ユーザに対応する伝達情報をさらに取得し、
前記複数のユーザの各々に関して、前記第２の場所における当該ユーザの手のポインティング位置と前記第２の場所における当該ユーザの第１の仮想的な位置とが、当該ユーザに対応する伝達情報に基づいて特定され、
前記出力制御部は、前記複数のユーザの各々に関して、当該ユーザの手のポインティング位置と前記第２の場所における当該ユーザの第１の仮想的な位置とに基づいて生成される、当該ユーザの手に対応する画像を前記第２の場所内の表示面に表示させ、かつ、
前記第２の場所における前記複数のユーザの各々の第１の仮想的な位置の関係が所定の関係になった場合には、前記出力制御部は、前記複数のユーザの各々に関して、当該ユーザの手に対応する画像の表示位置を当該ユーザが位置する場所に応じて変更する、前記（１）～（１０）のいずれか一項に記載の情報処理システム。
（１２）
前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
前記操作体のポインティング位置は、前記第１のユーザの手のポインティング位置であり、
前記第１のユーザの第１の仮想的な位置と前記第２の場所における前記第２のユーザの位置との関係が所定の関係になった場合には、前記第１のユーザの第１の仮想的な位置は、前記第２のユーザの位置と前記第１のユーザの手のポインティング位置とに基づいて補正され、かつ、
前記出力制御部は、前記第１のユーザの手のポインティング位置と、補正後の前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる、前記（２）～（１１）のいずれか一項に記載の情報処理システム。
（１３）
前記第１のユーザに関連する操作体は、前記第１のユーザが使用する操作用デバイスであり、
前記第２の場所における前記第１のユーザの第１の仮想的な位置は、前記第２の場所における前記操作体のポインティング位置に基づいて決定され、
前記操作体のポインティング位置が変更される場合には、前記第１のユーザの第１の仮想的な位置は、前記操作体のポインティング位置の変更量よりも小さい量だけ当該変更に追従して変更され、かつ、
前記出力制御部は、変更後の前記操作体のポインティング位置と、変更後の前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる、前記（２）～（１２）のいずれか一項に記載の情報処理システム。
（１４）
前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
前記操作体に対応する画像は、前記第１のユーザの手を示す画像であり、
前記第１の伝達情報は、前記第１のユーザの発話の収音結果を含み、
前記出力制御部は、前記第１のユーザの手を示す画像の表示態様を前記第１のユーザの発話の収音結果に応じて変更する、前記（２）～（１３）のいずれか一項に記載の情報処理システム。
（１５）
前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
前記操作体に対応する画像は、前記第１のユーザの手を示す画像であり、
前記第１の伝達情報は、前記第１の場所においてセンシングされた音量の空間的分布を示す情報をさらに含み、
前記出力制御部は、前記第１の場所においてセンシングされた音量の空間的分布と、前記第１のユーザの第１の仮想的な位置とに応じて、前記第１のユーザの発話状況を示す画像を前記第２の場所内の表示面にさらに表示させる、前記（２）～（１４）のいずれか一項に記載の情報処理システム。
（１６）
前記第１の伝達情報は、前記第１のユーザの発話の収音結果を含み、
前記出力制御部は、前記第１のユーザの発話の収音結果に対する音声認識の結果を、前記操作体に対応する画像、または、前記第２の場所における前記操作体のポインティング位置と関連付けて前記第２の場所内の表示面にさらに表示させる、前記（２）～（１５）のいずれか一項に記載の情報処理システム。
（１７）
前記第１の伝達情報は、前記第１のユーザの発話の収音結果と、前記第１の場所においてセンシングされた音量の空間的分布を示す情報とをさらに含み、
前記第２の場所には、複数の音声出力部が配置されており、
前記出力制御部は、さらに、前記第１の場所においてセンシングされた音量の空間的分布に応じて、前記第１のユーザの発話の収音結果を前記複数の音声出力部に出力させる、前記（２）～（１６）のいずれか一項に記載の情報処理システム。
（１８）
前記第１の伝達情報は、前記第１のユーザの発話の収音結果を含み、
前記第１のユーザが発話したことが検出された際に、前記出力制御部は、前記第１の場所において配置された第１のオブジェクトに対応する画像の方が、前記第１の場所以外の場所において配置された第２のオブジェクトに対応する画像よりも視認性が高くなるように、前記第１のオブジェクトに対応する画像および前記第２のオブジェクトに対応する画像を前記第２の場所内の表示面に表示させる、前記（２）～（１７）のいずれか一項に記載の情報処理システム。
（１９）
第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得することと、
前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像をプロセッサが前記第２の場所内の表示面に表示させることと、
を含む、情報処理方法。
（２０）
コンピュータを、
第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得する情報取得部と、
前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる出力制御部、
として機能させるためのプログラム。
（２１）
第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報と、前記操作体の操作時を含む期間において撮像された、前記第１のユーザを含む空間の撮像映像とを取得する情報取得部と、
前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の第１の表示面に表示させ、かつ、
前記撮像映像を前記第２の場所内の第２の表示面に表示させる出力制御部と、
を備える、情報処理システム。

１０ 情報処理システム
２０ スクリーン
２２ 通信網
９０ テーブル
１００ 処理部
１０２ 情報生成部
１０４ 送信制御部
１０６ 情報取得部
１０８ 出力制御部
１２０ 入力部
１２２ 表示処理部
１２４ 出力部
１２６ 通信部
１２８ 記憶部
１３０ 情報生成再現規則ＤＢ
１３２ 情報適合規則ＤＢ

Claims (20)

1. 第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得する情報取得部と、
   前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる出力制御部と、
   を備え、
   前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
   前記操作体のポインティング位置は、前記第１のユーザの手のポインティング位置であり、
   前記出力制御部は、
   前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置との間の前記第１のユーザの第２の仮想的な位置を、前記第１の伝達情報に基づいてさらに特定し、
   前記第１のユーザの第２の仮想的な位置と、前記第１のユーザの第１の仮想的な位置との関係が所定の状態になった場合には、
   前記第１のユーザの第１の仮想的な位置、前記第１のユーザの第２の仮想的な位置、及び、前記第１のユーザの手のポインティング位置のうちの少なくとも１つを、前記第１のユーザの手のポインティング位置、又は、前記第１のユーザの第１の仮想的な位置に基づいて補正し、
   次いで、前記第１のユーザの手のポインティング位置と、前記第１のユーザの第２の仮想的な位置と、前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる、
   情報処理システム。
2. 前記情報取得部は、前記第１の場所内の表示面上に位置する少なくとも一つのオブジェクトのセンシング結果をさらに取得し、
   前記出力制御部は、前記少なくとも一つのオブジェクトに対応する画像を前記第２の場所内の表示面にさらに表示させる、請求項１に記載の情報処理システム。
3. 前記少なくとも一つのオブジェクトを移動させる操作が前記第１の伝達情報に基づいて特定された場合には、前記出力制御部は、前記少なくとも一つのオブジェクトに対応する画像の表示位置を、特定された前記操作に応じて移動させる、請求項２に記載の情報処理システム。
4. 前記第１の場所内の表示面上で前記第１のユーザの手がスライドされたことが前記第１の伝達情報に基づいて特定された場合には、前記出力制御部は、当該スライド中の前記第１のユーザの手のポインティング位置の軌跡を示す画像を前記第２の場所内の表示面にさらに表示させる、請求項１又は２に記載の情報処理システム。
5. 前記出力制御部は
   前記第１のユーザの手のポインティング位置と、前記第１のユーザの第２の仮想的な位置と、前記第１のユーザの第１の仮想的な位置との関係が所定の関係になった場合には、前記第１のユーザの第１の仮想的な位置、および／または、前記第１のユーザの第２の仮想的な位置を、前記第１のユーザの手のポインティング位置に基づいて補正し、
   前記第１のユーザの手のポインティング位置と、補正後の前記第１のユーザの第２の仮想的な位置と、補正後の前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる、請求項１～４のいずれか１項に記載の情報処理システム。
6. 前記出力制御部は、
   前記第１のユーザの手のポインティング位置と前記第１のユーザの第２の仮想的な位置とがなす第１の直線と、前記第１のユーザの第１の仮想的な位置と前記第１のユーザの第２の仮想的な位置とがなす第２の直線とによる角度が所定の角度範囲に入っていない場合には、前記補正を実施する、
   請求項５に記載の情報処理システム。
7. 前記出力制御部は
   前記第１のユーザの第２の仮想的な位置と前記第１のユーザの第１の仮想的な位置との距離が所定の距離よりも大きくなった場合には、前記第１のユーザの手のポインティング位置、および、前記第１のユーザの第２の仮想的な位置をそれぞれ、前記第１のユーザの第１の仮想的な位置に基づいて補正し、
   補正後の前記第１のユーザの手のポインティング位置と、補正後の前記第１のユーザの第２の仮想的な位置と、前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させ、かつ、
   補正前の前記第１のユーザの手のポインティング位置を示す画像を前記操作体に対応する画像と関連付けて前記第２の場所内の表示面にさらに表示させる、請求項１～６のいずれか１項に記載の情報処理システム。
8. 前記第１の伝達情報は、前記第１のユーザの属性情報をさらに含み、
   前記出力制御部は、前記操作体に対応する画像の表示パラメータの値を前記第１のユーザの属性情報に応じて変更する、請求項１～７のいずれか１項に記載の情報処理システム。
9. 前記情報取得部は、前記第１のユーザと前記第２のユーザとの親交度を示す情報をさらに取得し、
   前記出力制御部は、前記操作体に対応する画像の表示態様を、前記第１のユーザと前記第２のユーザとの親交度に応じて変更する、請求項１～８のいずれか１項に記載の情報処理システム。
10. 前記第１の伝達情報は、前記第１の場所内の表示面を基準とした前記第１のユーザの手の高さのセンシング結果をさらに含み、
    前記出力制御部は、前記操作体に対応する画像の表示パラメータの値を、前記第１のユーザの手の高さのセンシング結果に応じて変更する、請求項１～９のいずれか１項に記載の情報処理システム。
11. 前記情報取得部は、前記第１の場所を含む、前記第２の場所以外の複数の場所に位置する複数のユーザの各々に関して、当該ユーザの手の操作に応じた前記第２のユーザとのコミュニケーションのための、当該ユーザに対応する伝達情報をさらに取得し、
    前記複数のユーザの各々に関して、前記第２の場所における当該ユーザの手のポインティング位置と前記第２の場所における当該ユーザの第１の仮想的な位置とが、当該ユーザに対応する伝達情報に基づいて特定され、
    前記出力制御部は、前記複数のユーザの各々に関して、当該ユーザの手のポインティング位置と前記第２の場所における当該ユーザの第１の仮想的な位置とに基づいて生成される、当該ユーザの手に対応する画像を前記第２の場所内の表示面に表示させ、かつ、
    前記第２の場所における前記複数のユーザの各々の第１の仮想的な位置の関係が所定の関係になった場合には、前記出力制御部は、前記複数のユーザの各々に関して、当該ユーザの手に対応する画像の表示位置を当該ユーザが位置する場所に応じて変更する、請求項１～１０のいずれか１項に記載の情報処理システム。
12. 第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得する情報取得部と、
    前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる出力制御部と、
    を備え、
    前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
    前記操作体のポインティング位置は、前記第１のユーザの手のポインティング位置であり、
    前記出力制御部は、
    前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置との間の前記第１のユーザの第２の仮想的な位置を、前記第１の伝達情報に基づいてさらに特定し、
    前記第１のユーザの第１の仮想的な位置と前記第２の場所における前記第２のユーザの位置との関係が所定の関係になった場合には、前記第１のユーザの第１の仮想的な位置を、前記第２のユーザの位置と前記第１のユーザの手のポインティング位置とに基づいて補正し、
    前記出力制御部は、前記第１のユーザの手のポインティング位置と、前記第１のユーザの第２の仮想的な位置と、補正後の前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる、
    情報処理システム。
13. 第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得する情報取得部と、
    前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる出力制御部と、
    を備え、
    前記第１のユーザに関連する操作体は、前記第１のユーザが使用する操作用デバイスであり、
    前記出力制御部は、
    前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置との間の前記第１のユーザの第２の仮想的な位置を、前記第１の伝達情報に基づいてさらに特定し、
    前記第２の場所における前記第１のユーザの第１の仮想的な位置は、前記第２の場所における前記操作体のポインティング位置に基づいて決定し、
    前記操作体のポインティング位置が変更される場合には、前記第１のユーザの第１の仮想的な位置を、前記操作体のポインティング位置の変更量よりも小さい量だけ当該変更に追従して変更し、
    変更後の前記操作体のポインティング位置と、前記第１のユーザの第２の仮想的な位置と、変更後の前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる、
    情報処理システム。
14. 前記操作体に対応する画像は、前記第１のユーザの手を示す画像であり、
    前記第１の伝達情報は、前記第１のユーザの発話の収音結果を含み、
    前記出力制御部は、前記第１のユーザの手を示す画像の表示態様を前記第１のユーザの発話の収音結果に応じて変更する、請求項１～１２のいずれか１項に記載の情報処理システム。
15. 前記操作体に対応する画像は、前記第１のユーザの手を示す画像であり、
    前記第１の伝達情報は、前記第１の場所においてセンシングされた音量の空間的分布を示す情報をさらに含み、
    前記出力制御部は、前記第１の場所においてセンシングされた音量の空間的分布と、前記第１のユーザの第１の仮想的な位置とに応じて、前記第１のユーザの発話状況を示す画像を前記第２の場所内の表示面にさらに表示させる、請求項１～１２のいずれか１項に記載の情報処理システム。
16. 前記第１の伝達情報は、前記第１のユーザの発話の収音結果を含み、
    前記出力制御部は、前記第１のユーザの発話の収音結果に対する音声認識の結果を、前記操作体に対応する画像、または、前記第２の場所における前記操作体のポインティング位置と関連付けて前記第２の場所内の表示面にさらに表示させる、請求項１～１５のいずれか１項に記載の情報処理システム。
17. 前記第１の伝達情報は、前記第１のユーザの発話の収音結果と、前記第１の場所においてセンシングされた音量の空間的分布を示す情報とをさらに含み、
    前記第２の場所には、複数の音声出力部が配置されており、
    前記出力制御部は、さらに、前記第１の場所においてセンシングされた音量の空間的分布に応じて、前記第１のユーザの発話の収音結果を前記複数の音声出力部に出力させる、請求項１～１６のいずれか１項に記載の情報処理システム。
18. 第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得する情報取得部と、
    前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる出力制御部と、
    を備え、
    前記第１の伝達情報は、前記第１のユーザの発話の収音結果を含み、
    前記出力制御部は、
    前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置との間の前記第１のユーザの第２の仮想的な位置を、前記第１の伝達情報に基づいてさらに特定し、
    前記第１のユーザの第２の仮想的な位置に基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる、
    前記第１のユーザが発話したことが検出された際には、前記第１の場所において配置された第１のオブジェクトに対応する画像の方が、前記第１の場所以外の場所において配置された第２のオブジェクトに対応する画像よりも視認性が高くなるように、前記第１のオブジェクトに対応する画像および前記第２のオブジェクトに対応する画像を前記第２の場所内の表示面に表示させる、
    情報処理システム。
19. 情報処理装置が、
    第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得することと、
    前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像をプロセッサが前記第２の場所内の表示面に表示させることと、
    を含む、情報処理方法であって、
    前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
    前記操作体のポインティング位置は、前記第１のユーザの手のポインティング位置であり、
    前記情報処理装置が、
    前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置との間の前記第１のユーザの第２の仮想的な位置を、前記第１の伝達情報に基づいてさらに特定し、
    前記第１のユーザの第２の仮想的な位置と前記第１のユーザの第１の仮想的な位置との関係が所定の状態になった場合には、
    前記第１のユーザの第１の仮想的な位置、前記第１のユーザの第２の仮想的な位置、及び、前記第１のユーザの手のポインティング位置のうちの少なくとも１つを、前記第１のユーザの手のポインティング位置、又は、前記第１のユーザの第１の仮想的な位置に基づいて補正し、
    次いで、前記第１のユーザの手のポインティング位置と、前記第１のユーザの第２の仮想的な位置と、前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる、
    ことをさらに含む、
    情報処理方法。
20. コンピュータを、
    第１の場所に位置する第１のユーザに関連する操作体の操作に応じた、第２の場所に位置する第２のユーザとのコミュニケーションのための第１の伝達情報を取得する情報取得部と、
    前記第１の伝達情報に基づいて特定される、前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる出力制御部、
    として機能させるためのプログラムであって、
    前記第１のユーザに関連する操作体は、前記第１のユーザの手であり、
    前記操作体のポインティング位置は、前記第１のユーザの手のポインティング位置であり、
    前記出力制御部は、
    前記第２の場所における前記操作体のポインティング位置と前記第２の場所における前記第１のユーザの第１の仮想的な位置との間の前記第１のユーザの第２の仮想的な位置を、前記第１の伝達情報に基づいてさらに特定し、
    前記第１のユーザの第２の仮想的な位置と前記第１のユーザの第１の仮想的な位置との関係が所定の状態になった場合には、
    前記第１のユーザの第１の仮想的な位置、前記第１のユーザの第２の仮想的な位置、及び、前記第１のユーザの手のポインティング位置のうちの少なくとも１つを、前記第１のユーザの手のポインティング位置、又は、前記第１のユーザの第１の仮想的な位置に基づいて補正し、
    次いで、前記第１のユーザの手のポインティング位置と、前記第１のユーザの第２の仮想的な位置と、前記第１のユーザの第１の仮想的な位置とに基づいて生成される前記操作体に対応する画像を前記第２の場所内の表示面に表示させる、
    プログラム。

Images