WO2021044787A1

WO2021044787A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2021044787A1
Application number: PCT/JP2020/029762
Authority: WO
Inventors: 憲太中島
Original assignee: ソニー株式会社
Priority date: 2019-09-04
Filing date: 2020-08-04
Publication date: 2021-03-11
Also published as: US20220365588A1

Abstract

本技術の一形態に係る情報処理装置は、表示制御部を具備する。前記表示制御部は、現実空間に関する空間関連情報に基づいて、前記現実空間内の人物と前記現実空間内の対象物との関連付け及び前記人物の動きが前記対象物へどのように影響するかを、前記人物が把握可能となる関連付画像の、前記現実空間への表示を制御する。これにより、人物と対象物との関係性の明示、可動特性の明示、及び物理物体と仮想空間とのインタラクションを実現することが可能となり、新たなユーザ体験を実現することが可能となる。

Description

情報処理装置、情報処理方法、及びプログラム

　本技術は、画像の表示を制御可能な情報処理装置、情報処理方法、及びプログラムに関する。

　特許文献１には、ユーザにコンテンツを提供するコンテンツ提供システムについて開示されている。このコンテンツ提供システムでは、コンテンツの種類に基づいて対象ユーザが特定される。特定された対象ユーザの方を向くように、コンテンツを表示する表示面の向きが制御される。これにより、表示されるコンテンツが自分を対象としたものであることをユーザに伝えることが可能とのことである（特許文献１の明細書段落［００３６］～［００３８］等）。

特開２０１７－６９８６５号公報

　例えばコンテンツ画像等の画像を視聴するユーザに対して、新たなユーザ体験（ＵＸ：User Experience）を提供することを可能とする技術が求められている。

　以上のような事情に鑑み、本技術の目的は、新たなユーザ体験を実現可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

　上記目的を達成するため、本技術の一形態に係る情報処理装置は、表示制御部を具備する。
　前記表示制御部は、現実空間に関する空間関連情報に基づいて、前記現実空間内の人物と前記現実空間内の対象物との関連付け及び前記人物の動きが前記対象物へどのように影響するかを、前記人物が把握可能となる関連付画像の、前記現実空間への表示を制御する。

　この情報処理装置では、人物と対象物との関連付け、及び人物の動きが対象物へどのように影響するかを、人物が把握可能となる関連付画像の表示が制御される。これにより、新たなユーザ体験を実現することが可能となる。

　前記空間関連情報は、前記現実空間内の人物の動きに関する動き情報を含んでもよい。この場合、前記表示制御部は、前記動き情報に基づいて、前記関連付画像の表示を制御してもよい。

　前記情報処理装置は、さらに、前記現実空間内の人物からの指示を判定する判定部を具備してもよい。この場合、前記画像表示部は、前記指示に基づいて、前記関連付画像の表示を制御してもよい。

　前記関連付画像は、前記人物と前記対象物とを結ぶように表示される紐状の画像を含んでもよい。

　前記紐状の画像は、長さが規定された現実の紐状の物体を模した画像であってもよい。

　前記空間関連情報は、前記人物の位置情報と、前記対象物の位置情報とを含んでもよい。この場合、前記表示制御部は、前記人物と前記対象物との距離に基づいて、前記紐状の画像の表示態様を制御してもよい。

　前記表示制御部は、前記人物と前記対象物との距離が大きくなるほど前記紐状の画像が引っ張られるように前記紐状の画像を表示し、前記人物と前記対象物との距離が小さくなるほど前記紐状の画像が緩むように前記紐状の画像を表示してもよい。

　前記空間関連情報は、前記人物の位置情報と、前記対象物の位置情報とを含んでもよい。この場合、前記表示制御部は、前記人物の位置及び前記対象物の位置に基づいて、前記紐状の画像の前記人物側の第１の端点の位置と、前記紐状の画像の前記対象物側の第２の端点の位置とを算出し、前記第１の端点と前記第２の端点とを結ぶように前記紐状の画像を表示させてもよい。

　前記対象物は、前記現実空間内に表示された画像である対象物画像を含んでもよい。この場合、前記表示制御部は、前記対象物画像の表示を制御可能であり、前記紐状の画像が伸びきった状態で、前記人物が前記対象物画像から離れる方向に移動した場合、前記人物の動きに追従するように前記対象物画像を移動させてもよい。

　前記表示制御部は、前記人物の前記紐状の画像を操作する動きに基づいて、前記対象物画像を移動させてもよい。

　前記情報処理装置は、さらに、前記人物に関連付けられた前記対象物に関する処理を実行する処理実行部を具備してもよい。

　情報処理装置であって、さらに、前記現実空間内の人物からの指示を判定する判定部を具備してもよい。この場合、前記処理実行部は、前記現実空間内の人物からの指示に基づいて、前記指示を入力した人物に関連付けられた前記対象物に関する処理を実行してもよい。

　前記空間関連情報は、前記現実空間内の電子機器に関する機器情報を含んでもよい。この場合、前記対象物は、前記現実空間内に表示された画像である対象物画像を含んでもよい。また、前記処理実行部は、前記人物の前記紐状の画像を操作して前記対象物画像を前記電子機器に重ねる動きに基づいて、前記電子機器を制御してもよい。

　前記電子機器は、表示デバイスを含んでもよい。この場合、前記処理実行部は、前記対象物画像を前記表示デバイスに重ねる動きに基づいて、前記対象物画像に関する画像を前記表示デバイスに表示させてもよい。

　前記空間関連情報は、前記現実空間内の物体に関する物体情報を含んでもよい。この場合、前記表示制御部は、前記人物に関連付けられた前記物体に関する前記物体情報を、前記現実空間内に表示してもよい。

　前記空間関連情報は、前記現実空間内の電子機器に関する機器情報を含んでもよい。この場合、前記表示制御部は、前記人物と前記電子機器とを結ぶように表示された前記紐状の画像の先端を、前記電子機器から他の位置に移動させる動きに基づいて、前記電子機器に関する画像を前記人物と関連付けられた前記対象物として前記現実空間内に表示してもよい。

　前記対象物は、前記現実空間内に表示された画像である対象物画像を含んでもよい。この場合、前記表示制御部は、前記現実空間内の第１の人物と第２の人物との距離が所定の閾値よりも小さい場合に、前記第１の人物に関連付けられた第１の対象物画像と、前記第２の人物に関連付けられた第２の対象物画像とを一括表示してもよい。

　前記表示制御部は、前記人物に対して複数の対象物が関連付けられている場合に、前記人物と前記複数の対象物とを結ぶような複数の紐状の画像の表示を制御可能であってもよい。この場合、前記対象物は、前記現実空間内に表示された画像である対象物画像を含んでもよい。また前記表示制御部は、前記人物の前記複数の紐状の画像を操作して、前記人物に関連付けられた第１の対象物画像及び第２の対象物画像を互いに重ねる動きに基づいて、前記第１の対象物画像と前記第２の対象物画像とに関する統合情報を、前記人物に関連付けられた前記対象物として前記現実空間内に表示してもよい。

　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、現実空間に関する空間関連情報に基づいて、前記現実空間内の人物と前記現実空間内の対象物との関連付け及び前記人物の動きが前記対象物へどのように影響するかを、前記人物が把握可能となる関連付画像の、前記現実空間への表示を制御することを含む。

　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　現実空間に関する空間関連情報に基づいて、前記現実空間内の人物と前記現実空間内の対象物との関連付け及び前記人物の動きが前記対象物へどのように影響するかを、前記人物が把握可能となる関連付画像の、前記現実空間への表示を制御するステップ。

本技術に係る画像表示システムの一例について説明するための模式図である。画像表示システム及び情報処理装置の機能的な構成例を示すブロック図である。情報処理装置の動作例を示すフローチャートである。紐状画像を新たに表示する際の処理例を示すフローチャートである。紐状画像の表示例を示す模式図である。コンテンツ画像の表示の指示に応じた、関連付けの処理例を示すフローチャートである。紐状画像を消去する際の処理例を示すフローチャートである。対象物画像の追従について説明するための模式図である。対象物画像の追従制御の具体的な処理例を示すフローチャートである。表示規制領域について説明するための模式図である。紐状画像の操作例として、対象物画像の７の移動を示す模式図である。紐状画像の操作による連動デバイスの制御例を説明するための模式図である。電子機器ではない物体への操作の一例を説明するための模式図である。対象物画像から物理物体への操作に応じた処理例を示すフローチャートである。電子機器が結ばれている紐状画像の操作について説明するための模式図である。物体が結ばれている紐状画像の操作に応じた処理例を示すフローチャートである。複数の対象物画像の一括表示について説明するための模式図である。一括表示の処理例を示すフローチャートである。統合情報の表示について説明するための模式図である。情報処理装置のハードウェア構成例を示すブロック図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　［画像表示システム］
　図１を参照して、本技術に係る画像表示システムの一例について説明する。
　本技術に係る画像表示システム１００では、画像の表示を制御することで、今までにない新たなユーザ体験を実現することが可能である。

　本技術に係る画像表示システム１００は、典型的には、現実空間Ｓを対象として構築される。現実空間は、物理空間ということも可能である。
　現実空間Ｓとして、リビング等の部屋、体育館等の施設内の屋内スペース等、任意の現実空間が採用可能である。もちろん屋内の空間に限定されず、広場や駐車場等に画像を表示可能なスクリーン等が配置されたような屋外の空間に対しても、本技術に係る画像表示システム１００を構築することが可能である。
　図１に示す例では、壁面５を含む部屋内の空間を現実空間Ｓとして、画像表示システム１００が構築されている。

　画像表示システム１００は、画像表示ユニット１０と、センサユニット２０と、情報処理装置３０とを含む。
　画像表示ユニット１０、センサユニット２０、及び情報処理装置３０は、有線又は無線を介して、通信可能に接続されている。各デバイス間の接続形態は限定されず、例えばＷｉＦｉ等の無線ＬＡＮ通信や、Bluetooth（登録商標）等の近距離無線通信を利用することが可能である。

　画像表示ユニット１０は、現実空間Ｓに対して画像を表示可能である。例えば、図１に示す壁面５、床、天井等に画像を表示可能なように、画像表示ユニット１０が構成される。
　画像表示ユニット１０として、例えば壁面５等に画像を投影可能なプロジェクタが用いられる。プロジェクタの具体的な構成、数、配置位置等は限定されず、現実空間Ｓ内の所望の領域に画像を投影可能なように、任意に設計されてよい。
　例えば、可動プロジェクタや自由視点プロジェクタ等が用いられてもよい。
　その他、画像表示ユニット１０の構成は限定されず、任意に設計されてよい。例えば、画像を投影するデバイスに限定されず、透明ディスプレイ等の表示デバイスが、壁面５等に設置されてもよい。

　センサユニット２０は、現実空間Ｓに関する種々のデータを検出可能である。
　センサユニット２０として、例えばデジタルカメラ、ＴｏＦ（Time of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置が配置される。またレーザ測距センサ、接触センサ、超音波センサ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等のセンサデバイスが用いられてもよい。
　またセンサユニット２０として、現実空間Ｓ内にて発生する音を検出可能な種々のマイクが配置される。またＧＰＳ等が配置されてもよい。その他、センサユニット２０の構成は限定されず、任意に設計されてよい。

　情報処理装置３０は、例えばＣＰＵやＧＰＵ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ＨＤＤ等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する（図２０参照）。例えばＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る情報処理方法が実行される。
　例えばＰＣ（Personal Computer）等の任意のコンピュータにより、情報処理装置３０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。
　本実施形態では、ＣＰＵが所定のプログラムを実行することで、機能ブロックとしての表示制御部３１が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
　プログラムは、例えば種々の記録媒体を介して情報処理装置３０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
　プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

　情報処理装置３０は、空間関連情報３２を取得する。なお本開示において、空間関連情報３２の取得は、外部から送信された空間関連情報３２を受信すること、及び情報処理装置３０自身により空間関連情報３２を生成することの両方を含む。

　空間関連情報３２は、以下に例示するような環境情報、人物情報、物体情報等、現実空間Ｓに関する任意の情報を含む。
　「環境情報」
　例えば、現実空間Ｓを構成する物体の位置情報及び物体の種類を識別する識別情報、又は現実空間Ｓ内に存在する物体の位置情報及び物体の種類を識別する識別情報等が、環境情報として取得される。
　なお「物体」は「人物」を含む概念である。一方で、本開示では、人物と人物ではない物体とを区別して説明することも多い。従って、以下、人物ではない物体を、単に物体として説明を行う場合がある。また物体は、物理物体という事も可能である。
　位置情報は、例えば、現実空間Ｓに設定された座標系に基づいた座標値により規定される。例えば、絶対座標系（ワールド座標系）が用いられてもよいし、所定の点を基準（原点）とした相対座標系が用いられてもよい。相対座標系が用いられる場合、基準となる原点は、任意に設定されてよい。
　現実空間Ｓに関する地図情報も、環境情報に含まれる。
　図１に示す例では、現実空間Ｓを構成する壁面５、床、天井等を識別する識別情報や位置情報等が環境情報として取得される。
　また図１に示す例では、現実空間Ｓ内にテレビ２、照明装置３、及び電子ピアノ４の電子機器が配置されている。これら各々の電子機器を識別する識別情報、及び各々の電子機器の位置情報が、環境情報として取得される。

　「人物情報」
　例えば、現実空間Ｓ内に存在する人物に関する種々の情報が、人物情報として取得される。
　例えば、人物の状態に関する種々の情報が、人物情報に含まれる。例えば、人物を識別する識別情報、人物の位置情報、人物の動き情報、人物の発話情報、人物の姿勢、人物の視線、人物の表情等が、人物情報に含まれる。
　また、人物により入力される種々の指示も、人物情報に含まれる。例えば、音声、動き（ジェスチャ）、姿勢、表情等を介して入力された指示の内容が、人物情報として取得される。
　図１に示す例では、現実空間Ｓ内に３人の人物１（１ａ～１ｃ）が存在している。人物１を識別する識別情報、人物１の動き、人物１からの指示が、人物情報として取得される。
　現実空間Ｓ内に存在する人物１は、本画像表示システム１００のユーザに相当する。従って、人物情報は、ユーザ情報とも言える。

　「物体情報」
　例えば、現実空間Ｓ内に存在する物体（人物ではない物体）に関する任意の情報が、物体情報として取得される。
　例えば現実区間Ｓ内に存在する電子機器の機能、ステータス、制御が可能であるか否かの情報等が、物体情報として取得される。電子機器に関する情報は、機器情報とも言える。
　また電子機器ではない物体、例えば観葉植物やテーブル、食材等に関する任意の情報が、物体情報として取得される。

　環境情報、人物情報、物体情報等を含む空間関連情報３２は、例えば、予め準備されており記憶されていてもよい。あるいは、センサユニット２０の検出結果に基づいて、リアルタイムで生成されてもよい。また、センサユニット２０の検出結果に基づいて生成された情報と、予め記憶等されているテーブル情報等とが参照されることで、空間関連情報３２が取得される場合もあり得る。その他、空間関連情報３２を取得するための任意の技術（アルゴリズム等）が採用されてよい。

　例えばＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング（深層学習）を行うＡＩ（人工知能）等を用いることで、空間関連情報３２の生成精度を向上させることが可能となる。
　例えば空間関連情報３２を生成するために学習部及び識別部が構築される。学習部は、入力された情報（学習データ）に基づいて機械学習を行い、学習結果を出力する。また、識別部は、入力された情報と学習結果に基づいて、当該入力された情報の識別（判断や予測等）を行う。
　学習部における学習手法には、例えばニューラルネットワークやディープラーニングが用いられる。ニューラルネットワークとは、人間の脳神経回路を模倣したモデルであって、入力層、中間層（隠れ層）、出力層の３種類の層から成る。
　ディープラーニングとは、多層構造のニューラルネットワークを用いたモデルであって、各層で特徴的な学習を繰り返し、大量データの中に潜んでいる複雑なパターンを学習することができる。
　ディープラーニングは、例えば画像内のオブジェクトや音声内の単語を識別する用途として用いられる。もちろん、本実施形態に係る空間関連情報３２の生成に適用することも可能である。
　また、このような機械学習を実現するハードウェア構造としては、ニューラルネットワークの概念を組み込まれたニューロチップ／ニューロモーフィック・チップが用いられ得る。

　機械学習の問題設定には、教師あり学習、教師なし学習、半教師学習、強化学習、逆強化学習、能動学習、転移学習等がある。
　例えば教師あり学習は、与えられたラベル付きの学習データ（教師データ）に基づいて特徴量を学習する。これにより、未知のデータのラベルを導くことが可能となる。
　また、教師なし学習は、ラベルが付いていない学習データを大量に分析して特徴量を抽出し、抽出した特徴量に基づいてクラスタリングを行う。これにより、膨大な未知のデータに基づいて傾向の分析や未来予測を行うことが可能となる。
　また、半教師学習は、教師あり学習と教師なし学習を混在させたものであって、教師あり学習で特徴量を学ばせた後、教師なし学習で膨大な訓練データを与え、自動的に特徴量を算出させながら繰り返し学習を行う方法である。
　また、強化学習は、ある環境内におけるエージェントが現在の状態を観測して取るべき行動を決定する問題を扱うものである。エージェントは、行動を選択することで環境から報酬を習得し、一連の行動を通じて報酬が最も多く得られるような方策を学習する。このように、ある環境における最適解を学習することで、人間の判断力を再現し、また、人間を超える判断力をコンピュータに習得させることが可能となる。
　機械学習によって、仮想的なセンシングデータを生成することも可能である。例えば、入力された画像情報から位置情報を生成するなど、あるセンシングデータから別のセンシングデータを予測して入力情報として使用することが可能である。
　また、複数のセンシングデータから別のセンシングデータを生成することも可能である。また、必要な情報を予測し、センシングデータから所定の情報を生成することも可能である。
　また、機械学習とは異なる任意の学習アルゴリズム等が用いられてよい。所定の学習アルゴリズムに従って空間関連情報３２を生成することで、空間関連情報３２の生成精度を向上させることが可能となる。もちろん学習アルゴリズムが用いられる場合に限定される訳ではない。
　なお学習アルゴリズムの適用は、本開示内の任意の処理に対して実行されてよい。

　人物情報の生成方法として、骨格推定が実行されてもよい。骨格推定は、ボーン推定やスケルトン推定ともいわれ、周知の技術を用いて実行可能である。骨格推定により、人物の姿勢等を高精度に判定することが可能となる。例えば、腕を伸ばした方向や、手首を切替した方向、足を蹴り上げた方向等も、検出することが可能である。

　図１に例示する情報処理装置３０の表示制御部３１は、空間関連情報３２に基づいて、現実空間Ｓに対して配置された画像表示ユニット１０による画像の表示を制御することが可能である。
　例えば、表示制御部３１は、空間関連情報３２に基づいて、画像の表示位置（例えば座標値等）を算出する。そして算出した表示位置に、所定の画像を表示する。
　本開示において、画像は、静止画像及び動画像を含む。もちろん動画像に含まれる複数のフレーム画像も、画像に含まれる。

　表示される画像の種類として、例えば以下のような種類が挙げられる。
　「コンテンツ画像」
　例えば、映画、テレビ番組等のコンテンツが表示された画像が含まれる。
　「仮想物体画像」
　例えば、現実の物体等が仮想的に表示された画像が含まれる。
　「情報提示画像」
　例えば、種々の情報が表示された画像が含まれる。Ｗｅｂブラウザを介して表示されるＷｅｂページ等を含む画像も、情報提示画像に含まれる。
　「機器制御画像」
　例えば、電子機器の制御を示す画像が含まれる。例えば、「音量アップ」「電源ＯＮ」等の電子機器に対する任意の制御（コマンド）が表示された画像が、機器制御画像として表示される。また、電子機器のステータス（状態）が表示された画像等も、機器制御画像に含まれる。
　その他、種々の種類の画像が表示される。また上記の画像の分類は一例であり、このような分類に基づいて画像が種類分けされる場合に限定される訳ではない。

　［関連付画像］
　また本実施形態では、表示制御部３１により、本技術に係る関連付画像の、現実空間Ｓへの表示が制御される。
　本技術に係る関連付画像は、現実空間Ｓ内の人物１と、現実空間内の対象物との関連付け及び人物１の動きが対象物へどのように影響するかを、人物１が把握可能となる画像である。
　すなわち、関連付画像は、人物１にとって、自分と関連付けられた対象物は何かが把握可能であり、自分の動きが対象物へどのように影響するかが把握可能な任意の画像を含む。関連付画像は、自分の動きに対する対象物の動きが予測可能な画像とも言える。
　人物１と関連付けられる対象物は、例えば、現実空間Ｓ内に存在する任意の物体を含む。例えば電子機器や電子機器ではない物体等、任意の物体が対象物となる。
　また対象物は、現実空間Ｓ内にて表示される任意の画像を含む。すなわち現実空間Ｓ内において、種々の画像は対象物として表示される。以下、対象物として表示される種々の画像を、包括的に対象物画像と記載する場合がある。

　図１に示す例では、関連付画像として、人物１と対象物とを結ぶように紐状の画像（以下、紐状画像と記載する）１５が表示される。紐状画像１５は、仮想紐ということも可能である。
　人物１ａと対象物画像７ａとを結ぶように、紐状画像１５ａが表示される。
　人物１ｂと対象物画像７ｂとを結ぶように、紐状画像１５ｂが表示される。
　人物１ｂと照明装置３とを結ぶように、紐状画像１５ｃが表示される。このように、１人の人物１に対して複数の対象物が関連付けられてもよい。この場合、各対象物との間に紐状画像１５が表示される。すなわち１人の人物から複数の紐状画像１５が伸びているような状態もあり得る。
　なお、途中までは１本の紐状画像１５であり、途中から枝分かれして複数の対象物に向かって伸びるような表示形態もあり得る。
　人物１ｃと電子ピアノ４とを結ぶように、紐状画像１５ｄが表示される。

　紐状画像１５は、例えば、長さが規定された現実の紐状の物体を模した画像として表示される。例えば、ロープ、リード、糸等、任意の紐状の物体を模した画像を、関連付画像として採用可能である。また太さや、色等も任意に設定されてよい。
　例えば人物１ごとに、紐状画像１５の色等を区別する。これにより、人物１と対象物との関連付けをより簡単に把握することが可能となる。

　表示制御部３１は、人物１と、人物１と関連付けられた対象物との距離に基づいて、紐状画像１５の表示態様を制御することが可能である。例えば、人物１と対象物との距離に基づいて、紐状画像１５の張力表現が制御される。
　例えば、人物１と対象物との距離が大きくなるほど、紐状画像１５が引っ張られるように（テンションがかかるように）、紐状画像１５が表示される。人物１と対象物との距離が小さくなるほど、紐状画像１５が緩むように、紐状画像１５が表示される。
　なお、人物１と対象物との距離は、人物１の位置情報、及び対象物の位置情報に基づいて算出することが可能である。

　人物１ａは、紐状画像１５ａにより、自分と対象物画像７ａとの関連付けを把握することが可能である。
　また紐状画像１５ａの表示態様、具体的には、紐状画像１５ａの形状（張力表現）により、自分の動きの対象物画像７ａへの影響を把握することが可能である。
　例えば、紐状画像１５ａが緩んでいる状態であれば、自分が移動しても、その影響は対象物画像７ａには及ばないことが分かる。また緩み具合により、対象物画像７ａへの影響を及ぼさない移動距離を把握することが可能である。
　紐状画像１５ａが直線状に伸びきった状態であれば、自分が移動すると、その影響が対象物画像７ａにダイレクトに伝わることが分かる。例えば、紐状画像１５が伸びている方向にそのまま進むと、その方向に対象物画像７ａが引っ張られる状態となることが分かる。
　人物１ｂは、紐状画像１５ｂにより、自分と対象物画像７ｂとの関連付けを把握することが可能である。また紐状画像１５ｂの形状（張力表現）により、自分の動きの対象物画像７ｂへの影響を把握することが可能である。
　また人物１ｂは、紐状画像１５ｃにより、自分と照明装置３との関連付けを把握することが可能である。また紐状画像１５ｃの形状（張力表現）により、自分の動きの照明装置３への影響を把握することが可能である。
　人物１ｃは、紐状画像１５ｄにより、自分と電子ピアノ４との関連付けを把握することが可能である。また紐状画像１５ｄの形状（張力表現）により、自分の動きの電子ピアノ４への影響を把握することが可能である。

　なお、紐状画像１５はあくまで画像であるので、関連付けられている対象物に物理的な力が作用することはない。以下に説明するように、本画像表示システム１００では、新しいユーザ体験を実現させるための処理の１つとして、人物１の動き等に応じて対象物画像７の表示位置を変更させるといった処理が可能である。このような処理を実行する際に、仮想的な紐状画像１５の表示を制御することで、人物１の動きの対象物画像７への影響を、人物１にフィードバックすることが可能である。
　紐状画像１５を、現実の紐状物体を模した画像とすることで、人物１にとっては、特別な知見等がなくても、自分の動きがどのように対象物に影響するかを容易に把握することが可能となる。
　例えば、「ロープ（紐状画像１５）が緩んでいるから自由に動ける」とか、「ロープ（紐状画像１５）が伸びきっているから動いたら対象物画像７も動いてしまう」、あるいは、「ロープ（紐状画像１５）が伸びきっているから動いたら対象物画像７を動かすことができる」、といった、対象物画像７との動きに関する関係性を直感的に把握することが可能となる。この結果、高品質であり、新たなユーザ体験を実現することが可能となる。

　例えば、現実空間Ｓ内に存在する物体（物理物体）を移動させたり倒したりすることが可能な移動機構やアクチュエータ機構等が備えられるとする。この場合、紐状画像１５を介して結ばれている人物１の動きに基づいて、物体が移動したり倒れたりするといった制御も可能である。これにより、人物１の動きに応じたアトラクション等が実現可能であり、新たなユーザ体験を実現することが可能である。

　図２は、画像表示システム１００、及び情報処理装置３０の機能的な構成例を示すブロック図である。
　図２に示す例では、現実空間Ｓ内に、画像表示ユニット１０及びセンサユニット２０に加えて、スピーカ２５が配置される。
　スピーカ２５を制御することで、音声を介して、種々の情報を人物１に通知することが可能である。またコンテンツ画像の音声等、コンテンツとして音声を出力することも可能である。また効果音等を出力することも可能である。
　図２に示す連動デバイス２６は、情報処理装置３０が動作を制御可能な電子機器等である。

　図２に例示する情報処理装置３０では、ＣＰＵ等のプロセッサが所定のプログラムを実行することで、機能ブロックとして、環境認識部３４、人物認識部３５、デバイス制御部３６、及び表示制御部３１が構成される。
　環境認識部３４は、上記した環境情報を生成する。
　人物認識部３５は、上記した人物情報を生成する。
　すなわち図２に例示する情報処理装置３０は、空間関連情報３２に含まれる環境情報及び人物情報を生成する機能を有する。上記したように、環境情報及び人物情報を生成するためのアルゴリズム等は限定されない。
　デバイス制御部３６は、スピーカ２５及び連動デバイス２６の動作を制御する。スピーカ２５及び連動デバイス２６の動作を制御する方法は限定されず、任意の方法（アルゴリズム等）が採用されてよい。
　例えば、連動デバイス２６等を制御するためのソフトウェア（例えば、アプリケーションプログラム）等が、情報処理装置３０に備えられていてもよい。
　例えば、予め連動デバイス２６の位置情報や機器情報等が登録されており、所定のソフトウェアを起動することで、連動デバイス２６の動作が制御可能であってもよい。
　あるいは、連動デバイス２６の動作を制御するためのソフトウェアのＡＰＩ（Application Programming Interface）が公開されている場合には、ＡＰＩを呼び出すことで、連動デバイス２６等の動作を制御することが可能である。

　図２には、記憶部４０が図示されている。記憶部４０は、情報処理装置３０内に備えられたＨＤＤ等の記憶デバイスにより構成されてもよい。あるいは、情報処理装置３０と接続された外部の記憶デバイスにより構成されてもよい。外部の記憶デバイスが用いられる場合でも、情報処理装置３０の一部として見做すことが可能である。

　図２に示す例では、記憶部４０に、関連付情報４１、上記した物体情報４２、及び実行処理情報４３が記憶される。その他の、図示は省略しているが、本画像表示システム１００の動作に必要な種々の情報が記憶されている。
　関連付情報４１は、人物１と対象物との関連付けを含む。図１に示す例では、人物１ａと対象物画像７ａとの関連付け、人物１ｂと対象物画像７ｂとの関連付け、人物１ｂと照明装置３との関連付け、人物１ｃと電子ピアノ４との関連付けが記憶される。
　実行処理情報４３は、後に説明する人物１による紐状画像１５を利用した操作等に応じて実行される処理に関する情報を含む。
　記憶部４０に記憶される情報のデータ形式や保存形式等は限定されない。例えば各情報を記憶するためにキーバリュー型のデータベースや、ドキュメント型のデーベース等が構築されてもよい。

　図２に示す例では、表示制御部３１により、本技術に係る表示制御部が実現される。
　人物認識部３５により、現実空間Ｓ内の人物からの指示を判定する判定部が実現される。
　デバイス制御部３６と、表示制御部３１とが連動することで、人物１に関連付けられた対象物に関する処理を実行する処理実行部が実現される。

　［画像表示システムの動作］
　画像表示システム１００の動作例を説明する。
　図３は、情報処理装置３０の動作例を示すフローチャートである。
　図３に示すように、センサユニット２０による検出結果に基づいて、環境認識部３４による環境情報の生成と、人物認識部３５による人物情報の生成とが、所定の間隔で繰り返し実行される（ステップ１０１、ステップ１０２）。
　すなわち本実施形態では、現実空間Ｓに対して、環境認識と人物認識とが繰り返し実行される。生成された環境情報及び人物情報は、デバイス制御部３６及び表示制御部３１に出力される。

　図４は、紐状画像１５を新たに表示する際の処理例を示すフローチャートである。図５は、紐状画像１５の表示例を示す模式図である。
　表示制御部３１により、現実空間Ｓ内の人物１と対象物４５との関連付けが設定されたか否かが監視される（ステップ２０１）。
　人物１と対象物との関連付けが設定さされた場合（ステップ２０１のＹｅｓ）、表示制御部３１により、紐状画像１５の表示位置が算出される（ステップ２０２）。
　図５Ａ～Ｃに示すように、例えば、人物１の位置と、対象物４５との位置情報とに基づいて、紐状画像１５の人物１側の第１の端点Ｐ１と、紐状画像１５の対象物４５側の第２の端点Ｐ２の位置とが算出される。
　例えば、人物１の周縁の１点が第１の端点Ｐ１として算出され、対象物４５の周縁の１点が第２の端点Ｐ２として算出される。第１の端点Ｐ１及び第２の端点Ｐ２の算出方法は限定されず、紐状画像１５を表示可能な所定の位置が算出されればよい。

　表示制御部３１により、紐状画像１５の表示態様が選択される（ステップ２０３）。例えば、人物１と対象物４５との距離に基づいて、表示態様が選択される。図５Ａ～Ｃに示す第１の端点Ｐ１と第２の端点Ｐ２との距離に基づいて、紐状画像１５の表示態様が選択されてもよい。
　表示態様は、典型的には、紐状画像１５の形状（張力表現）である。すなわち紐状画像１５がどの程度引っ張られているか（どの程度テンションがかかっているか）や、紐状画像１５がどの程度緩んでいるかを表現可能な形状が適宜選択される。
　例えば図５Ａに示すように、人物１と対象物４５との距離が小さい場合には、紐状画像１５が十分に緩んでいる表示態様が選択される。図５Ｂに示すように、人物１と対象物４５との距離が大きくなると、紐状画像１５が引っ張られ、緩みが少なくなる表示態様が選択される。図５Ｃに示すように、人物１と対象物４５との距離が大きい場合は、紐状画像１５が伸びきっている表示態様が選択される。
　例えは、紐状画像１５の張力を表現可能な複数の表示態様が記憶されている。そして人物１と対象物４５との距離に基づいて、複数の表示態様のうち１つの表示態様が選択される。表示態様を選択するための閾値等が、人物１と対象物４５との距離に関して段階的に設定されてよい。
　例えば、人物１と対象物４５との距離が最大閾値と等しくなった場合には、図５Ｃに例示するような伸びきった表示形態が選択される。

　表示制御部３１により、紐状画像１５が表示される（ステップ２０４）。図５に示す例では、第１の端点Ｐ１と第２の端点Ｐ２とを結ぶように、ステップ２０３にて選択された表示態様の紐状画像１５が表示される。
　例えば、紐状画像１５は、壁面５や床等を這うように表示される。これに限定されず、レーザ光やホログラム画像等を用いて、３Ｄ上に立体的に紐状画像１５が表示されてもよい。

　新たな関連付けに応じて紐状画像１５を表示する方法は限定されず、他の任意の方法が採用されてよい。
　例えば、人物１と対象物４５との距離に基づいて、紐状画像１５の全体の表示位置が設定されてもよい。すなわち張力表現を加味した紐状画像１５の全体の表示位置が、算出されてもよい。そして、算出された表示位置に紐状画像１５の全体が表示されてもよい。
　また人物１と対象物４５との距離に応じてどのように表示態様（張力表現）を変更するかも限定されない。例えば、図５に例示するような第１の引っ張り状態（緩み状態とも言える）、第２の引っ張り状態、第３の引っ張り状態といった３段階の変化のみでもよい。
　一方で実際の紐状物体が少しずつ引っ張られるような、人物１と対象物４５との距離に応じた再現性の高い（リアリティの高い）表示制御が実行されてもよい。これにより、高品質なユーザ体験を実現することが可能となる。

　図４のステップ２０１において、新たな関連付けが設定される例について説明する。新たな関連付けは、新たな紐状画像１５の表示のトリガとも言える。
　例えば、人物１により関連付けを希望する対象物が指定される。対象物の指定は、ジェスチャや音声を介した任意の指示方法により実行可能である。
　例えば、対象物を指さしながら「（対象物）と関連付けして欲しい」等の発話により、対象物を指定することが可能である。もちろん、対象物を指さすジェスチャのみで、対象物を指定する指示が入力可能であってもよい。また、「テレビと関連付けして欲しい」等、発話のみで対象物を指定する指示が入力可能であってもよい。その他、任意の方法が採用されてよい。
　なお、人物の動き情報に基づいて、人物１が指さす方向や、人物１が腕を伸ばす方向等は、算出可能である。また環境情報に基づいて、指さす方向上に存在する対象物を認識することも可能である。
　表示制御部３１は、関連付けを希望する対象物を指定する指示に基づいて、人物１と対象物との関連付けを設定する。これに応じて、ステップ２０２に進み紐状画像１５が表示される。また記憶部４０内の関連付情報４１が更新される。

　人物１が現実空間Ｓ内の対象物に関してなんらかの指示を入力した場合に、人物１と指示の対象となる対象物とが関連付けられてもよい。
　例えば、人物１により、壁面５に表示されているコンテンツ画像（対象物画像７）のコンテンツ内容を変更する指示が入力されたとする。この場合、人物１と指示の対象となるコンテンツ画像とを関連付ける。また人物１により、照明装置３を点灯させる指示が入力された場合に、人物１と照明装置３とを関連付ける。このように対象物に対して、関連付けを希望する旨の指示とは異なる指示が入力された場合に、それをトリガとして関連付けが設定され、紐状画像１５が表示されてもよい。

　発話やジェスチャ等により、人物１から対象物画像７を表示する旨の指示が入力されたとする。この場合に、対象物画像７が表示されるとともに、対象物画像７と人物１とが関連付けられてもよい。なお、対象物画像７の表示位置を指定することも可能である。
　図６は、コンテンツ画像の表示の指示に応じた、関連付けの処理例を示すフローチャートである。
　例えば、人物１により、壁面５に向けて腕を伸ばすジェスチャが行われる。本ジェスチャは、表示位置の指定を伴うコンテンツ画像の表示指示として記憶されているとする。
　表示制御部３１は、ステップ３０１で、コンテンツ画像の表示指示があったと判定し、ステップ３０２にて、コンテンツ画像の表示位置を算出する。例えば、人物１の腕を伸ばす方向に存在する壁面５が検出される。そして腕を伸ばす方向（ベクトル）と、壁面５との交差点を基準として、コンテンツ画像の表示位置が算出される。
　ステップ３０３にて、紐状画像１５の表示位置が算出される。ステップ３０４にて、人物１とコンテンツ画像の表示位置との距離に基づいて、紐状画像１５の表示態様が選択される。ステップ３０５にて、コンテンツ画像と紐状画像１５とが表示される。
　ステップ３０５にて、人物１と壁面５上のコンテンツ画像の表示位置とに基づいて、コンテンツ画像に対して幾何変換が実行されてもよい。具体的には、人物１に対してコンテンツ画像が正対して表示されるように、画像が幾何変換される。これにより、高品質のユーザ体験を提供可能である。画像を幾何変換するためのアルゴリズム等は限定されない。
　なお、表示位置の指定がない場合には、例えば、デフォルトの位置等に対象物画像７が表示されればよい。
　なお、腕を伸ばすジェスチャに限定されず、他の姿勢や、視線、顔の向き等により、表示位置の指定や対象物画像７の表示の指示を入力することも可能である。

　このように、発話やジェスチャ等を介した種々の指示の入力に応じて、関連付けの設定及び紐状画像１５の表示を実行することが可能である。
　これに限定されず、人物１の動きに基づいて、関連付けの設定及び紐状画像１５の表示が実行されてもよい。
　例えば、人物１の対象物に対して腕を伸ばす動きに基づいて、人物１と対象物とを関連付け紐状画像１５を表示してもよい。また人物１の壁面５を指さす動きに基づいて、壁面５に対象物画像７を表示し、また人物１と対象物画像７とを関連付ける。このように、入力された指示の判定をすることなく、動きの実に応じて関連付けが実行されてもよい。
　すなわち、本画像表示システム１００では、人物１から指示に基づいた紐状画像１５の表示制御、及び人物１の動き情報に基づいた紐状画像１５の表示制御を適宜組み合わせて実行することが可能である。もちろん、指示に基づいた表示制御と動きに基づいた表示制御のいずれか一方のみが実行可能なような実施形態も実現可能である。

　なお、発話による指示等が入力された場合に、発話をした人物１を識別できなかった場合には、指示の再入力を依頼する旨の通知がスピーカ２５等を介して出力される。

　図７は、紐状画像１５を消去する際の処理例を示すフローチャートである。
　例えば、人物１と対象物との関連付けが解消された場合に、紐状画像１５が消去される（ステップ４０１、４０２）。
　例えば、人物１から関連付けを解消する旨の指示が入力された場合に、関連付けが解消される。関連付けを解消する旨の指示を入力する方法は限定されず、発話やジェスチャ等を用いた任意の方法が用いられてよい。
　あるいは、所定の動きが行われた場合に、関連付けが解消されてもよい。
　例えば人物１により、紐状画像１５を切断する旨のジェスチャが行われた場合に、関連付けが解消される。あるいは「この紐を切って！」等の発話に基づいて、関連付けが解消されてもよい。

　［紐状画像１５の表示後の処理］
　本画像表示システム１００では、紐状画像１５の特徴を生かした種々のユーザ体験を実現することが可能である。
　例えば、図１に示す例において、人物１ａと関連付けられた対象物画像７ａは、映画やテレビ番組等のコンテンツ画像であるとする。人物１ｂと関連付けられた対象物画像７ｂもコンテンツ画像とする。人物１ｃには、電子ピアノ４が関連付けられている。
　ここで人物１ａ～１ｃのいずれかの人物１が、発話を通じて、音量を大きくする旨の指示を入力したとする。
　人物認識部３５により、発話した人物１が識別され、指示の内容が判定される。
　発話した人物が人物１ａである場合には、コンテンツ画像である対象物画像７ａに関する音量を増加するように、スピーカ２５が制御される。
　発話した人物が人物１ｂである場合には、コンテンツ画像である対象物画像７ｂに関する音量を増加するように、スピーカ２５が制御される。
　発話した人物が人物１ｃであったとする。この場合、電子ピアノ４が連動デバイス２６である場合には、電子ピアノ４の音量が増加される。電子ピアノ４が連動可能なデバイスではない場合には、例えば、何もせずそのままの状態が維持される。あるいは、エラー表示の画像や音声等が通知されてもよい。
　このように、現実空間Ｓ内の人物１からの指示に基づいて、指示を入力した人物１に関連付けられた対象物に関する処理が実行される。表示制御部３１やデバイス制御部３６は、指示を入力した人物１の関連付けに基づいて、実行可能なコマンドを実行する。
　例えば、音声入力等で「音量を上げて」等の操作対象を明示的に指示しない（あいまいな指示の）操作が行われた場合でも、紐状画像１５により操作対象との関係が分かっているため、操作実行が可能である。また人物１ごとに異なる対応をとることが可能である。

　［対象物画像の追従移動］
　図８は、対象物画像７の追従について説明するための模式図である。
　図８に示すように、表示制御部３１は、人物１と対象物画像７とを結ぶ紐状画像１５が伸びきった状態で、人物１が対象物画像７から離れる方向に移動した場合、人物１の動きに追従するように、対象物画像７を移動させることが可能である。

　図９は、対象物画像７の追従制御の具体的な処理例を示すフローチャートである。図９に示す処理は、対象物として対象物画像７が関連付けられている場合に実行される。
　人物１が移動したか否かが監視される（ステップ５０１）。
　人物１が移動した場合（ステップ５０１のＹｅｓ）、紐状画像１５の表示位置が更新される（ステップ５０２）。例えば、図５に例示した第１の端点Ｐ１及び第２の端点Ｐ２の位置が更新される。
　人物１と対象物画像７との距離が閾値を超えたか否か判定される（ステップ５０３）。例えば第１の端点Ｐ１及び第２の端点Ｐ２の距離が判定対象とされてもよい。また閾値は、任意に設定されてよい。人物１により、閾値が設定可能でもよい。
　人物１と対象物画像７との距離が閾値を超えない場合（ステップ５０３のＮｏ）、人物１と対象物画像７との距離に基づいて紐状画像１５の表示態様が選択され、紐状画像１５が表示される（ステップ５０４、５０５）。
　人物１と対象物画像７との距離が閾値を超えた場合（ステップ５０３のＹｅｓ）、対象物画像７が移動可能か否か判定される（ステップ５０６）。
　典型的には、対象物画像７は移動可能に設定されている。一方で、人物１により対象物画像７の移動が規制することも可能である。このような場合には、対象物画像７は移動が不可能な状態となる。
　対象物画像７が移動可能である場合（ステップ５０６のＹｅｓ）、対象物画像７の表示位置が更新され、対象物画像７と紐状画像１５とが表示される（ステップ５０７、５０８）。なお、紐状画像１５の表示態様は、伸びきった状態が維持される。
　対象物画像７の表示位置の算出について、人物１の動きや、紐状画像１５の表示位置に基づいて対象物画像７が移動する軌跡が算出され、その軌跡に基づいて対象物画像７の表示位置が更新されてもよい。例えばボール等の物体の運動モデルを擬態化することで、対象物画像７の軌跡が算出されてもよい。
　対象物画像７が移動可能ではない場合（ステップ５０６のＮｏ）、紐状画像１５が切れるように紐状画像１５の表示が制御される（ステップ５０９）。これに限定されず、対象物画像７が追従できない旨の通知が実行されてもよい。あるいは、このまま移動すると紐状画像１５が切れてしまい、関連付けが解消してしまう旨の警告等が実行されてもよい。その他、紐状画像１５が伸びるような表示制御が実行されてもよい。

　例えば、紐状画像１５を表示することなく、人物１の動きに合わせて、対象物画像７を追従させるとする。この場合、人物１にとって、なぜ対象物画像７がそのような動きをするのかを把握することが難しくなる可能性が高い。
　本画像表示システム１００では、紐状画像１５の表示態様（張力表現）を利用して、対象物画像７の追従動作が制御される。これにより、人物１は対象物画像７の動きを直感的に把握することが可能となる。すなわち人物１は、システム側の意図を理解して適宜操作を行うことが可能となる。
　なお、紐状画像１５の張力表現を利用した追従動作の制御として、種々のバリエーションが考えられる。例えば、伸びきった状態となる直前から、対象物画像７の追従が始まり、追従速度が徐々に増加するといった表示制御も可能である。紐状画像１５の張力表現に応じて、対象物画像７の人物１への追従度が適宜制御されてもよい。
　また、人物が停止した場合には、対象物画像７も追従して同じタイミングで停止する。これに限定されず、対象物画像７が若干慣性的に動いた後に停止するといった表示制御も可能である。

　図１に示す例では、人物１ａに対象物画像７ａが関連付けられており、紐状画像１５ａが表示されている。また人物１ｂに対象物画像７ｂが関連付けられており、紐状画像１５ｂが表示されている。
　対象物画像７の追従制御は、対象物画像７から見て関連付けられている人物１の動きに基づいた実行される。すなわち対象物画像７ａは、人物１ａにのみ追従するように表示が制御される。対象物画像７ｂは、人物１ｂのみに追従するように表示が制御される。
　なお、１人の人物１に対して複数の対象物画像７が関連付けられている場合には、人物１の移動に追従して複数の対象物画像７が追従して移動することが可能である。もちろん、紐状画像１５が伸びきった状態になった対象物画像７から順に移動するといった表示制御も可能である。

　なお、アプリケーションの内容によっては、対象物画像７の方が移動する場合もあり得る。例えば、風船の仮想物体画像等が対象物画像７として表示されており、人物１と関連付けられている場合等が考えられる。
　このような場合、対象物画像７の移動に応じて、対象物画像７と人物１との距離が閾値を超えるか否かが判定される。対象物画像７と人物１との距離が閾値を超えない場合には、対象物画像７と人物１との距離に基づいて、紐状画像１５の表示態様が適宜選択され、対象物画像７と紐状画像１５とが表示される。
　対象物画像７と人物１との距離が閾値を超える場合には、紐状画像１５が伸びきった状態で、対象物画像７の移動が規制される。すなわち対象物画像７の表示位置が固定される。これに限定されず、現実の風船のように、ふわふわ漂うような表示制御が実行されてもよい。

　現実空間Ｓ内に存在する物体と人物１とが関連付けられている状態で、人物１が移動したとする。この場合、人物１と物体との距離が閾値を超えない場合には、人物１と物体との距離に基づいて、紐状画像１５の表示態様が適宜選択されて表示される。人物１と物体との距離が閾値を超えた場合には、例えば図９のステップ５０９のように、紐状画像１５が切れるような切断表示が実行される。もちろんこれに限定されず、警告等が実行されてもよい。

　図１０に例示すように、現実空間Ｓ内に、画像の表示が規制された表示規制領域４７が設定されてもよい。例えば、画像表示ユニット１０により画像を表示できない表示不可領域や、画像の表示が禁止されている表示禁止領域が、表示規制領域４７として設定される。
　例えば、人物１により、表示規制領域４７が設定可能であってもよい。
　現実空間Ｓ内の表示規制領域４７の情報は、空間関連情報に含まれる情報である。
　図１０に例示するように、人物１の動きに追従して対象物画像７が移動しているとする。例えば、表示制御部３１は、表示規制領域４７に向かって移動する対象物画像７を、表示規制領域４７の直前の位置で固定させる。対象物画像７はそれ以上の移動が不可能な状態となり、例えば図９に例示するフローでは、ステップ５０６にて、対象物画像７の移動が不可能であると判定される。
　対象物画像７の表示位置を固定する場合に限定されず、対象物画像７が跳ね返るような表示制御が実行されてもよい。

　［紐状画像１５の操作］
　本画像表示システム１００では、人物１は、紐状画像１５を操作することで、種々の処理を実行させることが可能である。
　例えば図１１に例示するように、人物１に、猫が仮想的な表示された仮想物体画像が、対象物画像７として関連付けられているとする。
　人物１は、紐状画像１５を操作することで、対象物画像７を移動させることが可能である。

　例えば、人物認識部３５により、人物１の紐状画像１５を操作する動きが認識される。表示制御部３１は、人物１の紐状画像１５を操作する動きに基づいて、対象物画像７を移動させることが可能である。
　例えば、人物１の腕が伸びる方向、腕の振りの方向、腕の振りの速度、腕の振りの加速度等に基づいて、対象物画像７の最終位置（移動後の位置）や対象物画像７の移動の軌跡が算出される。
　対象物画像７の最終位置と人物１の位置とに基づいて、紐状画像１５の表示位置が算出され、表示態様が選択される。表示態様としては、典型的には、伸びきった状態が選択される。
　最終位置に対象物画像７が表示され、対象物画像７と人物１との間に紐状画像１５が表示される。なお、対象物画像７の移動の軌跡を表現するような画像が表示されてもよい。
　紐状画像１５の操作としては、引っ張る、つまむ、巻き取る、切る、繋ぐ、移植、伸ばす、縮める、割く（分ける）タップする等の、実際の紐状物体に行うことが可能な種々の操作が考えられる。各操作に応じて、適宜処理が関連付けられ、実行されてよい。関連付けられた処理は、例えば実行処理情報４３として記憶される。
　また、紐状画像１５を太くする、細くする、軟化させる、硬化させる、といったことも可能である。これにより、人物１への追従に関する特性（パラメータ）を変更することも可能である。

　また、紐状画像１５が、人物１の足首あたりに接続されるように、紐状画像１５が表示されているとする。この場合、紐状画像１５が結ばれている足を蹴り上げるといったことで、紐状画像１５を操作することが可能である。
　これに限定されず、紐状画像１５は足に接続されているが、腕を振るといったことで、紐状画像１５を操作可能であってもよい。すなわち紐状画像１５が接続されている位置（紐状画像１５が表示されている位置）と、紐状画像１５への操作とが、関連付けられてもよいし、関連付けられなくてもよい。
　例えば、足に接続された紐状画像１５を手に取る動作をした後に、腕を振ることで紐状画像１５が操作可能であるといった制御も可能である。これにより、リアリティの高い表示制御が実現される。

　［対象物画像７から物理物体への操作］
　対象物画像７を移動させ物理物体へ重ねる操作について説明する。対象物画像７を物理物体へ重ねる操作は、対象物画像７を物理物体へ衝突させる操作とも言える。
　図１２は、紐状画像１５の操作による連動デバイス２６の制御例を説明するための模式図である。
　本画像表示システム１００では、人物１は、紐状画像１５を操作して対象物画像７を現実空間Ｓ内の電子機器に重ねることで、種々の処理を実行させることが可能である。すなわち本画像表示システム１００では、人物１の、紐状画像１５を操作して対象物画像７を電子機器に重ねる動きに基づいて、電子機器を制御することが可能である。
　図１２Ａに示す例では、人物１ａに、猫を仮想的な表示された仮想物体画像が、対象物画像７として関連付けられている。また人物１ｂに、電子機器の電源をＯＦＦにする旨が表示された機器制御画像が、対象物画像７ｂとして関連付けられている。
　図１２Ｂに例示するように、人物１ａが紐状画像１５ａを操作して、対象物画像７ａを移動させテレビ２に重ねる。これに応じて、デバイス制御部３６は、テレビ２にコンテンツを表示させる。表示制御部３１は、対象物画像７ａを消去して、人物１ａとテレビ２との間に紐状画像１５ａを表示させる。すなわち関連付けの設定が変更される。
　このように、対象物画像７ａをテレビ２等の表示デバイスに重ねる動きに基づいて、対象物画像７ａに関する画像を表示デバイスに表示させることが可能である。
　例えば、対象物画像７ａとして表示されている画像と同じ画像が、テレビ２に表示されてもよい。例えば映画等のコンテンツ画像が対象物画像７ｂとして表示されている場合、テレビ２に同じコンテンツ画像が表示されてもよい。
　これに限定されず、なんらかの属性等が関連している他の画像が表示されている。例えば図１Ｂに示すように猫の仮想物体画像がテレビ２に重ねられた場合に、猫に関する他の画像（例えばコンテンツ画像等）が表示されてもよい。その他、種々の画像が表示されてよい。

　人物１ｂが紐状画像１５ｂを操作して、対象物画像７ｂを移動させ照明装置３に重ねる。これに応じて、デバイス制御部３６は、照明装置３の電源をＯＦＦにして、消灯させる。表示制御部３１は、対象物画像７ｂを消去して、人物１ｂと照明装置３との間に紐状画像１５ｂを表示させる。すなわち関連付けの設定が変更される。

　図１３は、紐状画像１５の電子機器ではない物体への操作の一例を説明するための模式図である。
　図１３Ａに示す例では、人物１に、情報を提示する旨が表示された制御画像が、対象物画像７として関連付けられている。
　図１３Ｂに示すように、人物１が紐状画像１５を操作して、対象物画像７を移動させ観葉植物８に重ねる。これに応じて、表示制御部３１は、対象物画像７ｂを消去して、観葉植物８に関する情報を表示させる。また人物１と観葉植物８との間に紐状画像を表示させる。すなわち関連付けの設定が変更される。
　観葉植物８に関する情報は、例えば観葉植物８に近い位置に表示される。これに限定されず、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）等の仮想表現が可能な場合には、観葉植物８に重畳するように表示されてもよい。
　なお、観葉植物８に関する情報は、例えば物体情報として、記憶部４０に記憶されている。
　人物１と観葉植物８とが関連付けられていない状態で、人物１が観葉植物８との関連付けを指示したとする。あるいは、人物１が観葉植物８に向けて腕を伸ばす動きをしたとする。そのような指示や動きに応じて、人物１と観葉植物８とが関連付けられ、紐状画像１５が表示される。その時に、図１３Ｂに示すのと同様に、観葉植物８に関する情報も合わせて、表示されてもよい。
　いずれにせよ、本画像表示システム１００では、人物１に関連付けられた物体に関する物体情報を、現実空間Ｓ内に表示することが可能である。

　図１４は、対象物画像７から物理物体への操作に応じた処理例を示すフローチャートである。図１４に示す処理は、対象物画像７が関連付けられている場合に実行される。
　紐状画像１５が操作されたか否かが監視される（ステップ６０１）。
　紐状画像１５が操作された場合（ステップ６０１のＹｅｓ）、例えば、人物１の腕が伸びる方向や腕の振りの加速度等に基づいて、対象物画像７の最終位置（移動後の位置）や対象物画像７の移動の軌跡が算出される（ステップ６０２）。
　算出された軌跡上に物体が存在するか否かが判定される（ステップ６０３）。軌跡上に物体が存在しない場合（ステップ６０３のＮｏ）、対象物画像７の表示制御が実行される（ステップ６０４）。例えば、図１１に例示したような、対象物画像７の移動が実行される。
　軌跡上に物体が存在しない場合（ステップ６０３のＹｅｓ）、物体と対象物画像７とに関する処理が実行可能か否か判定される（ステップ６０５）。例えば、記憶部４０に記憶された実行処理情報４３を参照することで、実行可能な処理があるかどうかが判定される。
　互いに重ね合わされた対象物画像７と物体とに関する処理が実行可能ではない場合（ステップ６０５のＮｏ）、処理不可の表示制御が実行される（ステップ６０６）。
　例えば、対象物画像７が、物体に衝突して跳ね返るような表示制御が実行される。あるいは、対象物画像７が物体を素通りするような表示制御が実行されてもよい。素通りの表示制御は、ステップ６０４の表示制御と同一の表示制御になり得る。その他、処理が不可能な旨の通知が、音声や画像を介して通知されてもよい。
　対象物画像７と物体とに関する処理が実行可能な場合（ステップ６０５のＹｅｓ）、処理が実行される（ステップ６０７）。例えば図１２及び図１３に例示した、テレビ２による画像表示、照明装置３の消灯、観葉植物８に関する情報の表示等が実行される。
　対象物画像７が重ねされた物体との間で、紐状画像１５が表示される（ステップ６０８）。

　対象物画像７を物体に重ねることで実行可能な処理は限定されず、様々な処理が実行可能であってよい。これにより、高品質で新たなユーザ体験を、様々なバリエーションで提供することが可能である。以下、バリエーション例を列挙する。
　電子機器の制御やステータスに関する対象物画像７を電子機器に重ねることで、電子機器を制御することが可能である。
　コンテンツ画像等の対象物画像７を表示デバイスに重ねることで、対象物画像７に関する画像を表示デバイスに表示させることが可能である。
　料理のレシピが表示されたＷｅｂページが情報提示画像として壁面５に表示されている。その情報提示画像を食材に重ねることで、その食材を使ったレシピを表示することが可能である。
　なおレシピの表示は、人物１による食材との関連付けの指示や、食材に向かって腕を伸ばす動きに応じて、関連付けの設定（紐状画像１５の表示）と合わせて実行されてもよい。
　カメラのアイコンが対象物画像７として表示されている。カメラのアイコンを現実空間Ｓ内の物体に重ねることで、その物体を撮影することが可能である。撮影は、例えばセンサユニット２０に含まれるカメラにより実行される。
　カメラのアイコンを物体に向けて重ねる際の軌跡に応じて、撮影方向やズーム倍率等の撮影条件が設定可能であってもよい。例えば、観葉植物８の下方側からカメラのアイコンを重ねることで、観葉植物８を下方から見た場合の画像が撮影される。このような処理も可能である。
　ＳＮＳ（Social Networking Service）のサイトが対象物画像７として表示されている。ＳＮＳの対象物画像７を現実空間Ｓ内の物体に重ねることで、その物体の撮影画像をＳＮＳに投稿することが可能である。
　皿等の所定の物体に、光の球のような対象物画像７を重ねることで、所定の物体の周りにアニメーションが展開される。
　対象物画像７を重ねる動作に応じて実行可能な処理として、人物１ごとのオリジナルの処理が登録可能であってもよい。登録された処理の情報は、実行処理情報４３として記憶される。

　人物１に対して、人物１と関連付けられた対象物画像７を重ねることでなんらかの処理が実行可能となる物体を把握することを補助するような制御がされてもよい。
　例えば、電子機器の制御に関する対象物画像７が関連付けられているとする。この場合に、その対象物画像７を重ねることで制御が可能な電子機器に向けては、対象物画像７はスムーズに移動する。一方、制御が不可能な電子機器に向けては、対象物画像７は移動がスムーズではなく移動させにくい。といった制御も可能である。
　また対象物画像７を重ねることでなんらかの処理が実行可能な物体に照明が当てられ、人物１にとって認識しやすくする。このような処理も可能である。
　また効果音やガイド音声等が適宜用いられてもよい。また対象物画像７自体の色や形状や大きさを変更することで、人物１に情報が提示されてもよい。またテキストが表示されてもよい。

　［物理物体から現実空間Ｓへの操作］
　本画像表示システム１００では、人物１は、物理物体に結ばれている紐状画像１５を操作することで、種々の処理を実行することが可能である。
　図１５は、電子機器が結ばれている紐状画像１５の操作について説明するための模式図である。
　図１５Ａに示す例では、人物１ａに、コンテンツ（猫）を表示しているテレビ２が関連付けられている。また人物１ｂに、点灯状態の照明装置３が関連付けられている。
　図１５Ｂに例示するように、人物１ａが紐状画像１５ａを操作して、テレビ２と結ばれていている紐状画像１５ａの先端を、テレビ２から他の位置に移動させる。これに応じて、デバイス制御部３６は、コンテンツの表示をＯＦＦにする。表示制御部３１は、テレビ２に関する画像を人物１ａと関連付けられた対象物として現実空間Ｓ内に表示する。
　図１５Ｂに示す例では、テレビ２に表示されているコンテンツ（猫）に関するコンテンツ画像や仮想物体画像等が、壁面５に対象物画像７ａとして表示される。そして人物１ａと対象物画像７ａとを結ぶ紐状画像１５ａが表示される。テレビ２に関する画像として、任意の画像が表示されてよい。

　人物１ｂは、紐状画像１５ｂを操作して、照明装置３と結ばれていている紐状画像１５ｂの先端を、照明装置３から他の位置に移動させる。これに応じて、デバイス制御部３６は、照明装置３を消灯させる。表示制御部３１は、照明装置３に関する画像を人物１ｂと関連付けられた対象物として現実空間Ｓ内に表示する。
　図１５Ｂに示す例では、照明装置３の点灯状態を模したような光の画像が、対象物画像７ｂとして表示される。そして、そして人物１ｂと対象物画像７ｂとを結ぶ紐状画像１５ｂが表示される。照明装置３に関する画像として、任意の画像が表示されてよい。

　このように表示制御部３１は、人物１による、人物１と電子機器とを結ぶように表示された紐状画像１５の先端を電子機器から他の位置に移動させる動きに基づいて、電子機器に関する画像を人物１と関連付けられた対象物として現実空間Ｓ内に表示することが可能である。

　図１６は、物体が結ばれている紐状画像１５の操作に応じた処理例を示すフローチャートである。図１６に示す処理は、物体が関連付けられている場合に実行される。
　紐状画像１５が操作されたか否かが監視される（ステップ７０１）。
　紐状画像１５が操作された場合（ステップ７０１のＹｅｓ）、例えば、人物１の腕が伸びる方向や腕の振りの加速度等に基づいて、紐状画像１５の先端の最終位置（移動後の位置）や先端の移動の軌跡が算出される（ステップ７０２）。
　算出された軌跡上に物体が存在するか否かが判定される（ステップ７０３）。軌跡上に物体が存在する場合（ステップ７０３のＹｅｓ）、例えば関連付けの変更が実行される（ステップ７０４）。人物１と軌跡上に存在する物体とが関連付けられ、紐状画像１５が表示される。
　軌跡上に物体が存在しない場合（ステップ７０３のＹｅｓ）、物体に関する画像が表示可能か否か判定される（ステップ７０５）。例えば、記憶部４０に記憶された実行処理情報４３を参照することで、表示可能な画像があるかどうかが判定される。
　物体に関する画像が表示可能ではない場合（ステップ７０５のＮｏ）、例えば関連付けの解消が実行される（ステップ７０６）。表示制御部３１は、紐状画像１５を消去する。関連付けが解消された旨の通知が、音声や画像を介して通知されてもよい。
　物体に関する画像が表示可能な場合（ステップ７０５のＹｅｓ）、物体に関する画像が表示される（ステップ７０７）。例えば図１５に例示した対象物画像７ａ及び７ｂが表示される。表示された対象物画像７との間で、紐状画像１５が表示される（ステップ７０８）。
　物理物体から現実空間Ｓへの操作は、現実世界を、画像により表現される仮想世界に拡張する操作とも言える。あるいは、コンテンツ等を仮想世界へ引っ張り出す操作とも言える。

　物理物体に結ばれた紐状画像１５の操作に応じた画像表示として、種々の画像表示が実行可能であってもよい。これにより、高品質で新たなユーザ体験を、様々なバリエーションで提供することが可能である。以下、バリエーション例を列挙する。
　現実の表示デバイスに表示されているコンテンツ等を引っ張り出すことが可能である。
　照明装置３の光を引っ張り出し、仮想光源として用いることが可能である。
　天窓等に結ばれている紐状画像１５を操作することで、太陽を模した画像を仮想光源として表示することが可能である。
　デジタルフォトフレームに表示されている撮影画像を引っ張り出すことが可能である。なおデジタルフォトフレームが表示している撮影画像の情報を取得できない場合には、センサユニット２０によりデジタルフォトフレームに表示されている撮影画像を物理的に撮影することで複製し、その複製画像を壁面５等に表示するといった処理も可能である。

　［対象物画像の一括表示］
　図１７は、複数の対象物画像７の一括表示について説明するための模式図である。
　図１７Ａに示す例では、人物１ａに対象物画像７ａが関連付けられており、紐状画像１５ａが表示されている。また人物１ｂに対象物画像７ｂが関連付けられており、紐状画像１５ｂが表示されている。
　人物１ａ及び対象物画像７ａは、本技術に係る第１の人物及び第１の対象物画像の一実施形態に相当する。人物１ｂ及び対象物画像７ｂは、本技術に係る第２の人物及び第２の対象物画像の一実施形態に相当する。「第１」「第２」のあてはめを逆にすることも可能である。
　図１７Ｂに示すように、人物１ａと人物１ｂとの距離が所定の閾値よりも小さい場合に、人物１ａに関連付けられた対象物画像７と、人物１ｂに関連付けられた対象物画像７ｂとが一括表示される。
　例えば、図１７Ｂに示すように、１枚の一括表示画像が対象物画像７ｃとして拡大されて表示される。対象物画像７ｃに対して、人物１ａ及び人物１ｂの両方が関連付けられる。

　図１８は、一括表示の処理例を示すフローチャートである。図１８に示す処理は、コンテンツ画像が関連付けられている複数の人物に対して実行される。
　人物間の距離が所定の閾値よりも小さいか否かが判定される（ステップ８０１）。
　人物間の距離が閾値より小さい場合（ステップ８０１のＹｅｓ）、既に一括表示が実行されているか否か判定される（ステップ８０２）。
　一括表示が実行されていない場合（ステップ８０２のＮｏ）、同一コンテンツであるか否か判定される（ステップ８０３）。例えば図１７を参照して、人物１ａに関連付けられているコンテンツ画像（対象物画像７ａ）と、人物１ｂに関連付けられているコンテンツ画像（対象物画像７ｂ）とが、同一のコンテンツ画像であるか否かが判定される。
　同一コンテンツである場合（ステップ８０３のＹｅｓ）、一括表示が実行される（ステップ８０４）。例えば、共通のコンテンツ画像が図１７ｂに示す一括表示画像（対象物画像７ｃ）として表示される。そして、一括表示画像により、コンテンツの表示が継続される（ステップ８０５）。
　同一コンテンツでない場合（ステップ８０３のＮｏ）、一括表示は実行されず、コンテンツ画像（対象物画像７ａ）と、コンテンツ画像（対象物画像７ｂ）との各々にて、コンテンツの表示が継続される（ステップ８０５）。

　人物間の距離が閾値より小さくない場合（ステップ８０１のＮｏ）一括表示が実行されているか否か判定される（ステップ８０６）。
　一括表示が実行されている場合（ステップ８０６のＹｅｓ）、一括表示が終了される（ステップ８０７）。すなわち、コンテンツ画像（対象物画像７ａ）と、コンテンツ画像（対象物画像７ｂ）とに分離される。そしてその状態で、コンテンツの表示が継続される（ステップ８０５）。
　一括表示が実行されていない場合（ステップ８０６のＮｏ）、コンテンツ画像（対象物画像７ａ）と、コンテンツ画像（対象物画像７ｂ）との各々にて、コンテンツの表示が継続される（ステップ８０５）。

　一括表示の方法として、任意の方法が実行されてよい。例えば、１つの枠画像内に、互いに異なる複数の画像が表示され、全体として１つの一括表示画像が構成されてもよい。この場合、同一のコンテンツ画像でなくても、一括表示が可能である。
　またコンテンツ画像とは異なる種類の対象物画像７に対して、一括表示が実行されてもよい。
　一括表示画像の表示位置やサイズ等も限定されない。例えば複数の人物１の全てがコンテンツ画像を適正に使用可能なサイズや、複数の人物１の全てが機器制御画像に適正にアクセス可能な表示位置やサイズ等が適宜算出されればよい。
　一括表示を実行するための条件やトリガも限定されない。人物１からの一括表示をする旨の指示が入力された場合に、一括表示が実行されてもよい。また人物１ａと人物１ｂとが、自分に関連付けられている対象物画像７同士を衝突させるような動きをした場合に、一括表示が実行されてもよい。

　［統合情報の表示］
　図１９は、統合情報の表示について説明するための模式図である。
　図１９に示す例では、人物１に複数の対象物画像７が関連付けられている。具体的には、対象物画像７ａと対象物画像７ｂとが関連付けられていている。対象物画像７ａ及び対象物画像７ｂは、本技術に係る第１の対象物画像及び第２の対象物画像一実施形態に相当する。
　図１９Ａ及びＢに例示するように、人物１が、紐状画像１５ａ及び１５ｂを操作して、人物１に関連付けられた対象物画像７ａ及び対象物画像７ｂを互いに重ねる。これにより、対象物画像７ａと対象物画像７ｂとに関する統合情報が、対象物画像７ｃとして表示される。統合情報は、対象物画像７ａの内容と、対象物画像７ｂの内容とが統合された情報である。
　人物１対象物画像７ｃとの間には、１本の紐状画像１５ｃが表示される。紐状画像１５ｃは、紐状画像１５ａ及び１５ｃが統合された紐状画像１５と見做すことも可能である。
　このように人物１の紐状画像１５ａ及び１５ｂを操作して、人物１に関連付けられた対象物画像７ａ及び対象物画像７ｂを互いに重ねる動きに基づいて、対象物画像７ａと対象物画像７ｂとに関する統合情報を、人物１に関連付けられた対象物として現実空間Ｓ内に表示することが可能である。
　複数の対象物画像を重ねることで統合情報を表示する操作は、情報と情報とを統合して統合情報を得る操作とも言える。

　どのような対象物画像７を重ねることで、どのような統合情報を表示するかについては、様々なバリエーションが考えられる。
　例えば、検索サイトのＷｅｂページが表示された対象物画像７ａに対して、対象物画像７ｂとして表示されている画像を重ねる。これにより、対象物画像７ｂとして表示されている画像の画像検索結果が、統合情報として表示される。
　例えば、所定の画家に関する情報を含むＷｅｂページが表示された対象物画像７ａに対して、対象物画像７ｂとして表示されている画像を重ねる。これにより、対象物画像７ｂとして表示されている画像が、対象物画像７ａに含まれる画家の作品風に加工され、統合情報として表示される。
　食材Ａを含む対象物画像７ａとある国の国旗を含む対象物画像７ｂが互いに重ねられる。これにより、食材Ａを用いたその国の名物料理のレシピが、統合情報として表示される。
　統合情報を生成するための処理方法（統合の組み合わせ等）については、例えば実行処理情報４３として記憶されている。人物１にとって、オリジナルの統合情報が生成するための処理が登録可能であってもよい。その他、様々な統合情報が生成されて表示可能であってよい。これにより、高品質で新たなユーザ体験を、様々なバリエーションで提供することが可能である。

　以上、本実施形態に係る画像表示システム１００及び情報処理装置３０では、人物１と対象物との関連付け、及び人物１の動きが対象物へどのように影響するかを、人物１が把握可能となる関連付画像の表示が制御される。これにより、新たなユーザ体験を実現することが可能となる。

　情報等を提示する画像が複数表示されており、人物（ユーザ）も複数がいる場合、画像が誰に対して表示されているものかが分からない。また画像が可動する場合、その可動特性を人物に提示することが難しい。
　可動特性を提示することが難しいため、人物がその画像の位置をジェスチャ等で操作しようとした場合、適切な調整が難しい。

　本実施形態では、画像や物理物体と人物１との関係を、仮想的な紐状画像１５でつなぐことで人物１に明示することが可能となる。また紐状画像１５の張力表現により、画像の追従度合を提示することも可能である。
　また例えば、紐状画像１５を引っ張る等のジェスチャにより操作し、先端につながった対象物画像７を電子機器等の物体に衝突させる事で、様々な処理を実行させることが可能である。また紐状画像１５の先端につながった物理物体に関する情報を引っ張り出して表示させることも可能である。また例えば、紐状画像１５の先端につながったもの同士を衝突させる事で統合情報を提示することも可能である。
　このように、関係性の明示、可動特性の明示、及び物理物体と仮想空間とのインタラクションを実現することが可能である。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
　図１５に示す人物１ａとテレビ２との関連付けに関して、紐状画像１５ａの先端を移動させる操作に応じて、紐状画像１５ａの先端にテレビ２の仮想物体画像が表示されてもよい。そして、仮想的に表示されたテレビ２により、テレビ２に関する画像が表示されてもよい。
　このように、紐状画像１５により人物１と現実の物体とが関連付けられている状態で、紐状画像１５の先端が移動された場合に、それまで関連付けられた現実の物体の仮想物体画像が、対象物画像として表示されてもよい。人物１との関連付けは、現実の物体から仮想物体画像に変更される。現実の物体が電子機器等である場合には、仮想物体画像により電子機器が有する機能が発揮されるような表示制御が実行されてもよい（例えば表示デバイスによる画像表示等）。

　上記したように対象物画像は、現実空間Ｓ内にて表示される任意の画像を含む。従って、現実空間Ｓ内に配置される表示デバイスにより表示される画像（コンテンツ画像等）も、対象物画像に含まれる。
　例えば、図１５に示す人物１ａとテレビ２との関連付けを、人物１ａとテレビ２に表示されている対象物画像との関連付けとして、本技術を実施することも可能である。
　この場合、紐状画像１５ａの先端を移動させる操作に応じて、テレビ２に表示されていた対象物画像に関する画像が、関連付けの対象となる新たな対象物画像として、壁面５に表示される。
　例えば、テレビ２により現実の猫が表示されている場合、その猫の画像が対象物画像として、人物１ａに関連付けられる。人物１ａが紐状画像１５ａの先端を移動させた場合には、猫の仮想物体画像７ａが対象物画像として壁面５に表示され、人物１ａと関連付けられる。人物１ａとの関連付けは、テレビ２に表示される画像から、壁面５に表示される仮想物体画像に変更される。
　人物１ａにとっては、テレビ２内のコンテンツ等を、テレビ２の外へ引っ張り出して好きな位置に表示させるといった操作が可能となり、新たなユーザ体験が実現される。
　なお、表示デバイスに表示されている画像の内容を検出する方法として、種々の方法が用いられてよい。例えば表示デバイスを含む現実空間Ｓが撮影された画像に対して、物体認識を実行することで、表示デバイスに何が表示されているかを判別することが可能である。もちろんセマンティックセグメンテーション（Semantic Segmentation）や背景差分等の機械学習アルゴリズムを利用した認識等が実行されてもよい。その他、テレビ２に表示される画像にタグ等のメタ情報が付加されている場合には、当該メタ情報が適宜参照されてもよい。

　人物１の頭部に透過型のＨＭＤ（Head Mounted Display）が装着され、現実空間Ｓに対して、ＨＭＤにより紐状画像１５等が表示されてもよい。すなわち、ＡＲ空間に対して、本技術を適用することが可能である。
　また埋没型のＨＭＤが装着され、ＶＲ（Virtual Reality）空間に対して、本技術に係る紐状画像１５の表示制御等が実行されてもよい。
　紐状画像１５の表現方法として、上記したように、床は壁面等を這うように紐状画像１５が表示される。これに限定されずＡＲ画像等により立体的に紐状画像１５が表現されてもよい。
　人物１の１人称視点で紐状画像１５がつながっている様に表現されてもよい。例えば、錯覚的提示方法等を採用することが可能である。
　典型的には、人物１と対象物とを結ぶ紐状画像１５が、他の人物１にとっても視認可能に、紐状画像１５が表示される。これに限定されず、他の人物１から見ると途切れているように見えるが、本人にとっては対象物と連結しているように見えるといった表示制御が実行されてもよい。

　紐状画像１５の分岐表現により、関連する項目等のグループ分けが実行されてもよい。
　また紐状画像１５に対して、様々なアニメーション表現が実現されてもよい。紐状画像１５が脈打つような表現により、対象物との間のデータ通信等が表現されてもよい。
　また関連付画像として、紐状画像１５以外の画像が表示されてもよい。

　例えば、所定の触覚を提示可能な触覚提示装置を連動して動作させることで、現実の紐状物体から受けるような触覚や力等が再現可能であってもよい。例えば、図８に例示するような対象物画像７の追従に応じて、対象物画像７から受ける反作用の力が触覚提示により再現されてもよい。また図１１等にて例示した紐状画像１５への様々な操作に応じて、人物１に触覚等が提示されてもよい。例えば、紐状画像１５の振動等も実現させることが可能である。これにより高品質なユーザ体験を実現することが可能である。
　また微弱な電気信号を人物１の所定の筋肉に与えることで、人物１に所定の動きを誘発させることも可能である。これにより、例えば紐状画像１５から引っ張られているような感覚を実現することも可能である。
　触覚提示装置としては、スマートフォン等の携帯端末や、人物１が装着可能なウェアラブル装置等を採用することができる。例えば、リストバンド型、腕輪型、ネックバンド型等の種々の種類のウェアラブル装置を採用することが可能である。

　図２０は、情報処理装置３０のハードウェア構成例を示すブロック図である。
　情報処理装置３０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、入出力インタフェース２０５、及びこれらを互いに接続するバス２０４を備える。
　入出力インタフェース２０５には、表示部２０６、入力部２０７、記憶部２０８、通信部２０９、及びドライブ部２１０等が接続される。
　表示部２０６は、例えば液晶、ＥＬ等を用いた表示デバイスである。
　入力部２０７は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部２０７がタッチパネルを含む場合、そのタッチパネルは表示部２０６と一体となり得る。
　記憶部２０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。
　ドライブ部２１０は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体２１１を駆動することが可能なデバイスである。
　通信部２０９は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部２０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部２０９は、情報処理装置３０とは別体で使用される場合が多い。
　上記のようなハードウェア構成を有する情報処理装置３０による情報処理は、記憶部２０８またはＲＯＭ２０２等に記憶されたソフトウェアと、情報処理装置３０のハードウェア資源との協働により実現される。
　具体的には、ＲＯＭ２０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ２０３にロードして実行することにより、本技術に係る情報処理方法が実現される。
　プログラムは、例えば記録媒体２１１を介して情報処理装置３０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムが情報処理装置３０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

　ネットワーク等を介して通信可能に接続された複数のコンピュータにより本技術に係る情報処理装置が構成され、本技術に係る情報処理方法、及びプログラムが実行されてもよい。
　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。
　なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。従って、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば空間関連情報の取得、紐状画像の表示制御、対象物画像の表示制御、種々の処理の実行等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。
　また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
　すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

　各図面を参照して説明した画像表示システム、画像表示ユニット、センサユニット、情報処理装置等の各構成、空間関連情報の取得、環境認識、人物認識、紐状画像の表示制御、種々の処理の実行等の処理フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　なお、本技術は以下のような構成も採ることができる。
（１）
　現実空間に関する空間関連情報に基づいて、前記現実空間内の人物と前記現実空間内の対象物との関連付け及び前記人物の動きが前記対象物へどのように影響するかを、前記人物が把握可能となる関連付画像の、前記現実空間への表示を制御する表示制御部
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記空間関連情報は、前記現実空間内の人物の動きに関する動き情報を含み、
　前記表示制御部は、前記動き情報に基づいて、前記関連付画像の表示を制御する
　情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、さらに、
　前記現実空間内の人物からの指示を判定する判定部を具備し、
　前記画像表示部は、前記指示に基づいて、前記関連付画像の表示を制御する
　情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
　前記関連付画像は、前記人物と前記対象物とを結ぶように表示される紐状の画像を含む
　情報処理装置。
（５）（４）に記載の情報処理装置であって、
　前記紐状の画像は、長さが規定された現実の紐状の物体を模した画像である
　情報処理装置。
（６）（４）又は（５）に記載の情報処理装置であって、
　前記空間関連情報は、前記人物の位置情報と、前記対象物の位置情報とを含み、
　前記表示制御部は、前記人物と前記対象物との距離に基づいて、前記紐状の画像の表示態様を制御する
　情報処理装置。
（７）（４）から（６）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記人物と前記対象物との距離が大きくなるほど前記紐状の画像が引っ張られるように前記紐状の画像を表示し、前記人物と前記対象物との距離が小さくなるほど前記紐状の画像が緩むように前記紐状の画像を表示する
　情報処理装置。
（８）（４）から（７）のうちいずれか１つに記載の情報処理装置であって、
　前記空間関連情報は、前記人物の位置情報と、前記対象物の位置情報とを含み、
　前記表示制御部は、前記人物の位置及び前記対象物の位置に基づいて、前記紐状の画像の前記人物側の第１の端点の位置と、前記紐状の画像の前記対象物側の第２の端点の位置とを算出し、前記第１の端点と前記第２の端点とを結ぶように前記紐状の画像を表示させる
　情報処理装置。
（９）（４）から（８）のうちいずれか１つに記載の情報処理装置であって、
　前記対象物は、前記現実空間内に表示された画像である対象物画像を含み、
　前記表示制御部は、前記対象物画像の表示を制御可能であり、前記紐状の画像が伸びきった状態で、前記人物が前記対象物画像から離れる方向に移動した場合、前記人物の動きに追従するように前記対象物画像を移動させる
　情報処理装置。
（１０）（４）から（９）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記人物の前記紐状の画像を操作する動きに基づいて、前記対象物画像を移動させる
　情報処理装置。
（１１）（４）から（１０）のうちいずれか１つに記載の情報処理装置であって、さらに、
　前記人物に関連付けられた前記対象物に関する処理を実行する処理実行部を具備する
　情報処理装置。
（１２）（１１）に記載の情報処理装置であって、さらに、
　前記現実空間内の人物からの指示を判定する判定部を具備し、
　前記処理実行部は、前記現実空間内の人物からの指示に基づいて、前記指示を入力した人物に関連付けられた前記対象物に関する処理を実行する
　情報処理装置。
（１３）（１１）又は（１２）に記載の情報処理装置であって、
　前記空間関連情報は、前記現実空間内の電子機器に関する機器情報を含み、
　前記対象物は、前記現実空間内に表示された画像である対象物画像を含み、
　前記処理実行部は、前記人物の前記紐状の画像を操作して前記対象物画像を前記電子機器に重ねる動きに基づいて、前記電子機器を制御する
　情報処理装置。
（１４）（１３）のうちいずれか１つに記載の情報処理装置であって、
　前記電子機器は、表示デバイスを含み、
　前記処理実行部は、前記対象物画像を前記表示デバイスに重ねる動きに基づいて、前記対象物画像に関する画像を前記表示デバイスに表示させる
　情報処理装置。
（１５）（１１）から（１４）のうちいずれか１つに記載の情報処理装置であって、
　前記空間関連情報は、前記現実空間内の物体に関する物体情報を含み、
　前記表示制御部は、前記人物に関連付けられた前記物体に関する前記物体情報を、前記現実空間内に表示する
　情報処理装置。
（１６）（１１）から（１５）のうちいずれか１つに記載の情報処理装置であって、
　前記空間関連情報は、前記現実空間内の電子機器に関する機器情報を含み、
　前記表示制御部は、前記人物と前記電子機器とを結ぶように表示された前記紐状の画像の先端を、前記電子機器から他の位置に移動させる動きに基づいて、前記電子機器に関する画像を前記人物と関連付けられた前記対象物として前記現実空間内に表示する
　情報処理装置。
（１７）（４）から（１６）のうちいずれか１つに記載の情報処理装置であって、
　前記対象物は、前記現実空間内に表示された画像である対象物画像を含み、
　前記表示制御部は、前記現実空間内の第１の人物と第２の人物との距離が所定の閾値よりも小さい場合に、前記第１の人物に関連付けられた第１の対象物画像と、前記第２の人物に関連付けられた第２の対象物画像とを一括表示する
　情報処理装置。
（１８）（４）から（１７）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記人物に対して複数の対象物が関連付けられている場合に、前記人物と前記複数の対象物とを結ぶような複数の紐状の画像の表示を制御可能であり、
　前記対象物は、前記現実空間内に表示された画像である対象物画像を含み、
　前記表示制御部は、前記人物の前記複数の紐状の画像を操作して、前記人物に関連付けられた第１の対象物画像及び第２の対象物画像を互いに重ねる動きに基づいて、前記第１の対象物画像と前記第２の対象物画像とに関する統合情報を、前記人物に関連付けられた前記対象物として前記現実空間内に表示する
　情報処理装置。
（１９）
　現実空間に関する空間関連情報に基づいて、前記現実空間内の人物と前記現実空間内の対象物との関連付け及び前記人物の動きが前記対象物へどのように影響するかを、前記人物が把握可能となる関連付画像の、前記現実空間への表示を制御する
　ことをコンピュータシステムが実行する情報処理方法。
（２０）
　現実空間に関する空間関連情報に基づいて、前記現実空間内の人物と前記現実空間内の対象物との関連付け及び前記人物の動きが前記対象物へどのように影響するかを、前記人物が把握可能となる関連付画像の、前記現実空間への表示を制御するステップを
　コンピュータシステムに実行させるプログラム。
（２１）（１）から（１８）のうちいずれか１つに記載の情報処理装置であって、
　前記空間関連情報は、前記現実空間内の画像の表示が規制された表示規制領域の情報を含み、
　前記表示制御部は、前記表示規制領域に向かって移動する前記対象物画像を、前記表示規制領域の手前で固定させる
　情報処理装置。
（２２）（４）から（１８）のうちいずれか１つに記載の情報処理装置であって、
　前記対象物は、前記現実空間内の物体であり、
　前記表示制御部は、前記紐状の画像が伸びきった状態で、前記人物が前記物体から離れる方向に移動した場合、前記紐状の画像が切れるように前記紐状の画像を表示する
　情報処理装置。
（２３）（１３）に記載の情報処理装置であって、
　前記対象物画像は、前記電子機器の機能に関する機能画像、又は前記電子機器のステータスに関するステータス画像の少なくとも一方を含む
　情報処理装置。
（２４）（１６）に記載の情報処理装置であって、
　前記電子機器に関する画像は、前記電子機器が仮想的に表示された画像を含む
　情報処理装置。
（２５）（１４）に記載の情報処理装置であって、
　前記対象物画像は、前記表示デバイスに表示される画像を含み、
　前記表示制御部は、前記人物と前記表示デバイスとを結ぶように表示された前記紐状の画像の先端を、前記表示デバイスから他の位置に移動させる動きに基づいて、前記表示デバイスに表示されていた画像に関する画像を前記人物と関連付けられた前記対象物として前記現実空間内に表示する
　情報処理装置。

　Ｐ１…第１の端点
　Ｐ２…第２の端点
　１…人物１
　２…テレビ
　３…照明装置
　４…電子ピアノ
　７…対象物画像
　８…観葉植物
　１０…画像表示ユニット
　１５…紐状画像
　２０…センサユニット
　２６…連動デバイス
　３０…情報処理装置
　３１…表示制御部
　３２…空間関連情報
　３６…デバイス制御部
　４２…物体情報
　４５…対象物
　４７…表示規制領域
　１００…画像表示システム

Claims

　現実空間に関する空間関連情報に基づいて、前記現実空間内の人物と前記現実空間内の対象物との関連付け及び前記人物の動きが前記対象物へどのように影響するかを、前記人物が把握可能となる関連付画像の、前記現実空間への表示を制御する表示制御部
　を具備する情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記空間関連情報は、前記現実空間内の人物の動きに関する動き情報を含み、
　前記表示制御部は、前記動き情報に基づいて、前記関連付画像の表示を制御する
　情報処理装置。
　請求項１に記載の情報処理装置であって、さらに、
　前記現実空間内の人物からの指示を判定する判定部を具備し、
　前記画像表示部は、前記指示に基づいて、前記関連付画像の表示を制御する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記関連付画像は、前記人物と前記対象物とを結ぶように表示される紐状の画像を含む
　情報処理装置。
　請求項４に記載の情報処理装置であって、
　前記紐状の画像は、長さが規定された現実の紐状の物体を模した画像である
　情報処理装置。
　請求項４に記載の情報処理装置であって、
　前記空間関連情報は、前記人物の位置情報と、前記対象物の位置情報とを含み、
　前記表示制御部は、前記人物と前記対象物との距離に基づいて、前記紐状の画像の表示態様を制御する
　情報処理装置。
　請求項４に記載の情報処理装置であって、
　前記表示制御部は、前記人物と前記対象物との距離が大きくなるほど前記紐状の画像が引っ張られるように前記紐状の画像を表示し、前記人物と前記対象物との距離が小さくなるほど前記紐状の画像が緩むように前記紐状の画像を表示する
　情報処理装置。
　請求項４に記載の情報処理装置であって、
　前記空間関連情報は、前記人物の位置情報と、前記対象物の位置情報とを含み、
　前記表示制御部は、前記人物の位置及び前記対象物の位置に基づいて、前記紐状の画像の前記人物側の第１の端点の位置と、前記紐状の画像の前記対象物側の第２の端点の位置とを算出し、前記第１の端点と前記第２の端点とを結ぶように前記紐状の画像を表示させる
　情報処理装置。
　請求項４に記載の情報処理装置であって、
　前記対象物は、前記現実空間内に表示された画像である対象物画像を含み、
　前記表示制御部は、前記対象物画像の表示を制御可能であり、前記紐状の画像が伸びきった状態で、前記人物が前記対象物画像から離れる方向に移動した場合、前記人物の動きに追従するように前記対象物画像を移動させる
　情報処理装置。
　請求項４に記載の情報処理装置であって、
　前記表示制御部は、前記人物の前記紐状の画像を操作する動きに基づいて、前記対象物画像を移動させる
　情報処理装置。
　請求項４に記載の情報処理装置であって、さらに、
　前記人物に関連付けられた前記対象物に関する処理を実行する処理実行部を具備する
　情報処理装置。
　請求項１１に記載の情報処理装置であって、さらに、
　前記現実空間内の人物からの指示を判定する判定部を具備し、
　前記処理実行部は、前記現実空間内の人物からの指示に基づいて、前記指示を入力した人物に関連付けられた前記対象物に関する処理を実行する
　情報処理装置。
　請求項１１に記載の情報処理装置であって、
　前記空間関連情報は、前記現実空間内の電子機器に関する機器情報を含み、
　前記対象物は、前記現実空間内に表示された画像である対象物画像を含み、
　前記処理実行部は、前記人物の前記紐状の画像を操作して前記対象物画像を前記電子機器に重ねる動きに基づいて、前記電子機器を制御する
　情報処理装置。
　請求項１３に記載の情報処理装置であって、
　前記電子機器は、表示デバイスを含み、
　前記処理実行部は、前記対象物画像を前記表示デバイスに重ねる動きに基づいて、前記対象物画像に関する画像を前記表示デバイスに表示させる
　情報処理装置。
　請求項１１に記載の情報処理装置であって、
　前記空間関連情報は、前記現実空間内の物体に関する物体情報を含み、
　前記表示制御部は、前記人物に関連付けられた前記物体に関する前記物体情報を、前記現実空間内に表示する
　情報処理装置。
　請求項１１に記載の情報処理装置であって、
　前記空間関連情報は、前記現実空間内の電子機器に関する機器情報を含み、
　前記表示制御部は、前記人物と前記電子機器とを結ぶように表示された前記紐状の画像の先端を、前記電子機器から他の位置に移動させる動きに基づいて、前記電子機器に関する画像を前記人物と関連付けられた前記対象物として前記現実空間内に表示する
　情報処理装置。
　請求項４に記載の情報処理装置であって、
　前記対象物は、前記現実空間内に表示された画像である対象物画像を含み、
　前記表示制御部は、前記現実空間内の第１の人物と第２の人物との距離が所定の閾値よりも小さい場合に、前記第１の人物に関連付けられた第１の対象物画像と、前記第２の人物に関連付けられた第２の対象物画像とを一括表示する
　情報処理装置。
　請求項４に記載の情報処理装置であって、
　前記表示制御部は、前記人物に対して複数の対象物が関連付けられている場合に、前記人物と前記複数の対象物とを結ぶような複数の紐状の画像の表示を制御可能であり、
　前記対象物は、前記現実空間内に表示された画像である対象物画像を含み、
　前記表示制御部は、前記人物の前記複数の紐状の画像を操作して、前記人物に関連付けられた第１の対象物画像及び第２の対象物画像を互いに重ねる動きに基づいて、前記第１の対象物画像と前記第２の対象物画像とに関する統合情報を、前記人物に関連付けられた前記対象物として前記現実空間内に表示する
　情報処理装置。
　現実空間に関する空間関連情報に基づいて、前記現実空間内の人物と前記現実空間内の対象物との関連付け及び前記人物の動きが前記対象物へどのように影響するかを、前記人物が把握可能となる関連付画像の、前記現実空間への表示を制御する
　ことをコンピュータシステムが実行する情報処理方法。
　現実空間に関する空間関連情報に基づいて、前記現実空間内の人物と前記現実空間内の対象物との関連付け及び前記人物の動きが前記対象物へどのように影響するかを、前記人物が把握可能となる関連付画像の、前記現実空間への表示を制御するステップを
　コンピュータシステムに実行させるプログラム。