JP6121647B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、現実の画像に付加的な情報を重畳してユーザに呈示する、拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、アノテーションとも呼ばれ、例えばテキスト、アイコンまたはアニメーションなど、さまざまな形態の仮想オブジェクトとして可視化される。このようなＡＲ技術の例として、特許文献１には、家具などの現実の物体を模倣した仮想物体の画像を現実の画像に重畳して表示し、家具などの配置の試行を容易にする技術が記載されている。

特開２００３−２５６８７６号公報

上記のようなＡＲ技術は、例えば、ユーザが把持する装置を用いて現実の画像を撮像し、その画像に映った物体に関連する仮想オブジェクトの表示を重畳することで実現される。この場合、例えばユーザの移動や装置の把持の仕方の変化によって、映っている物体の姿勢は、さまざまに変化する。つまり、同じ物体であっても、画像における大きさや角度は、場合によって変化する。これによって、同じ物体を撮像した画像を表示する場合であっても、付加的な情報の適切な表示の仕方が異なる場合がある。

そこで、本開示では、物体の姿勢に合わせて適切に付加的な情報を表示することを可能にする、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。

本開示によれば、画像に映る物体と該画像を撮像する機器との間の位置関係を検出する位置関係検出部、上記位置関係に応じて、上記物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から表示対象オブジェクトを選択する選択部、および上記表示対象オブジェクトの情報を、上記画像に上記表示対象オブジェクトを重畳して表示させる表示制御部に向けて出力する表示対象情報出力部を有する情報処理装置が提供される。

また、本開示によれば、画像に映る物体と該画像を撮像する機器との間の位置関係を検出すること、上記位置関係に応じて、上記物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から表示対象オブジェクトを選択すること、および上記表示対象オブジェクトの情報を、上記画像に上記表示対象オブジェクトを重畳して表示させる表示制御部に向けて出力することを含む情報処理方法が提供される。

さらに、本開示によれば、画像に映る物体と該画像を撮像する機器との間の位置関係を検出する機能、上記位置関係に応じて、上記物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から表示対象オブジェクトを選択する機能、および上記表示対象オブジェクトの情報を、上記画像に上記表示対象オブジェクトを重畳して表示させる表示制御部に向けて出力する機能をコンピュータに実現させるためのプログラムが提供される。

上記のような本開示の実施形態の構成によれば、物体と機器との間の位置関係、つまり物体の姿勢に応じて、異なる種類の仮想オブジェクトから適切な種類の仮想オブジェクトを表示対象オブジェクトとして選択し、この表示対象オブジェクトを画像に重畳して表示させることが可能になる。

以上説明したように本開示によれば、物体の姿勢に合わせて適切に付加的な情報を表示することができる。

本開示の第１の実施形態に関する参考技術を示す図である。 本開示の第１の実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。 本開示の第１の実施形態に係る情報処理装置による仮想オブジェクトの表示の第１の状態を示す図である。 本開示の第１の実施形態に係る情報処理装置による仮想オブジェクトの表示の第２の状態を示す図である。 本開示の第１の実施形態に係る情報処理装置による仮想オブジェクトの表示の変化について説明するための図である。 本開示の第１の実施形態に係る情報処理装置における画像表示処理の処理フローの例を示すフローチャートである。 本開示の第１の実施形態に係る情報処理装置における表示対象設定処理の処理フローの例を示すフローチャートである。 本開示の第１の実施形態における代替選択およびメッセージ表示の例を示す図である。 本開示の第２の実施形態に係る情報処理装置による仮想オブジェクトの表示の第１の状態を示す図である。 本開示の第２の実施形態に係る情報処理装置による仮想オブジェクトの表示の第２の状態を示す図である。 本開示の第２の実施形態に係る情報処理装置による仮想オブジェクトの表示の変化について説明するための図である。 本開示の第３の実施形態において検出される物体と機器との位置関係について説明するための図である。 本開示の第３の実施形態に係る情報処理装置による仮想オブジェクトの表示の第１の状態を示す図である。 本開示の第３の実施形態に係る情報処理装置による仮想オブジェクトの表示の第２の状態を示す図である。 本開示の第３の実施形態に係る情報処理装置による仮想オブジェクトの表示の変化について説明するための図である。 本開示の第３の実施形態に係る情報処理装置における表示対象設定処理の処理フローの例を示すフローチャートである。 本開示の実施形態に係る情報処理装置の機能構成の別の例を示すブロック図である。 本開示の実施形態に係る情報処理装置の機能構成のさらに別の例を示すブロック図である。 情報処理装置のハードウェア構成を説明するためのブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態（物体に対する表示位置を変更する例）
２．第２の実施形態（表示する情報の量を変更する例）
３．第３の実施形態（表示する情報の内容を変更する例）
４．装置構成に関する他の実施形態
５．補足

（１．第１の実施形態）
図１〜図８を参照して、本開示の第１の実施形態について説明する。本開示の第１の実施形態では、画像に映る物体と、画像を撮像する機器との間の相対的な位置関係に応じて、仮想オブジェクトの物体に対する表示位置が変更される。

（１−１．参考技術）
まず、図１を参照して、本実施形態を理解するための参考技術について説明する。図１は、本開示の第１の実施形態に関する参考技術を示す図である。

図１には、参考技術に係る情報処理装置１０が示されている。情報処理装置１０は、撮像部（図示せず）と、表示部１２とを有し、ＡＲアプリケーションを実行する。

ここで、表示部１２には、情報処理装置１０が撮像部によって撮像した現実の物体ｏｂｊ＿ｒが映っている画像に、物体ｏｂｊ＿ｒに関連する仮想オブジェクトｏｂｊ＿ｖが重畳された画像が表示される。図示された例では、（ａ）のように物体ｏｂｊ＿ｒ（本）が正面から撮像される場合と、（ｂ）のように物体ｏｂｊ＿ｒが斜めから撮像される場合とで、仮想オブジェクトｏｂｊ＿ｖ（本の内容に関する画像）が異なる形に変形されて表示される。つまり、仮想オブジェクトｏｂｊ＿ｖは、物体ｏｂｊ＿ｒの姿勢の変化による見かけの形状の変化に合わせて変形されて表示される。

このように、ＡＲアプリケーションでは、仮想オブジェクトが、現実の物体の姿勢に合わせて変形されてＡＲ空間内に配置される場合がある。これによって、例えば、ユーザは、仮想オブジェクトがあたかも物体の面に映りこんでいるかのように認識し、物体と仮想オブジェクトとの関係を容易に把握することができる。

しかしながら、図示された例の（ｂ）に示されるように、物体ｏｂｊ＿ｒの姿勢によっては、変形された仮想オブジェクトｏｂｊ＿ｖが視認しにくい場合がある。このような場合、仮想オブジェクトｏｂｊ＿ｖは、適切な仕方で表示されているとはいい難い。

そこで、本実施形態では、画像に映る物体と画像を撮像する機器との間の位置関係に応じて仮想オブジェクトの物体に対する表示位置を変更することによって、上記のような場合にも適切な仕方で仮想オブジェクトｏｂｊ＿ｖを表示することを可能にする。

（１−２．装置構成）
次に、図２を参照して、本実施形態の機能構成について説明する。図２は、本開示の第１の実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。

図２を参照すると、本実施形態に係る情報処理装置１００は、撮像部１０２、画像認識部１０４、モデルＤＢ１０６、位置関係検出部１０８、選択部１１０、オブジェクトＤＢ１１２、表示対象情報出力部１１４、メッセージ情報出力部１１６、表示制御部１１８、および表示部１２０を含む。

本実施形態において、情報処理装置１００は、スマートフォン、タブレット型ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、携帯用ゲーム機、または携帯用音楽プレーヤのような、撮像部から表示部までが一体になった端末装置として説明される。しかしながら、情報処理装置１００は、ノート型またはデスクトップ型のＰＣなどの他の情報処理装置であってもよい。この場合、例えば撮像部や表示部がその他の部分とは分離して設けられてもよい。なお、このように情報処理装置１００が複数の部分に分かれている場合、“情報処理装置１００と物体との間の位置関係”または“情報処理装置１００に対する物体の角度”のような記載における“情報処理装置１００”は、別途の記載がない限り、情報処理装置１００の撮像部が設けられる部分を指す。

上記の機能構成のうち、撮像部１０２は、例えば情報処理装置１００が有する撮像装置によって実現される。また、画像認識部１０４、位置関係検出部１０８、選択部１１０、表示対象情報出力部１１４、メッセージ情報出力部１１６、および表示制御部１１８は、例えば情報処理装置１００のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、およびＲＯＭ（Read Only Memory）がプログラムに従って動作することによって実現される。モデルＤＢ１０６、およびオブジェクトＤＢ１１２は、例えば情報処理装置１００の内部または外部のストレージ装置によって実現される。表示部１２０は、例えば情報処理装置１００が出力装置として有する、または情報処理装置１００に外部接続機器として接続される各種のディスプレイによって実現される。

（撮像部）
撮像部１０２は、現実の空間を撮像して画像を生成する。撮像部１０２は、動画像を撮像するものでありうる。動画像は、連続したフレームを構成する複数の画像によって構成される。撮像部１０２は、生成した画像を画像認識部１０４、および表示制御部１１８に提供する。このとき、生成された画像は、例えばＲＡＭやストレージ装置に一時的に蓄積されてもよい。

（画像認識部）
画像認識部１０４は、モデルＤＢ１０６に格納されているデータを用いて物体認識を実行する。モデルＤＢ１０６は、情報処理装置１００が認識の対象とする物体の形状または外観に関するモデルデータが予め蓄積されたデータベースである。本実施形態において、情報処理装置１００による認識の対象は、現実の空間における任意の物体である。モデルデータは、各物体の形状を定義するデータ、各物体に付される所定のシンボルマークもしくはテキストラベルなどの画像データ、または各物体について既知の画像から抽出された特徴量セットのデータなどを含む。

より具体的には、画像認識部１０４は、撮像部１０２によって撮像された画像を入力画像として用いて、入力画像にどの物体が映っているかを認識する。画像認識部１０４は、例えば、入力画像から抽出される特徴点のセットを、モデルデータによって定義される物体の形状と照合する。また、画像認識部１０４は、モデルデータによって定義されるシンボルマークまたはテキストラベルなどの画像データを、入力画像と照合してもよい。さらにまた、画像認識部１０４は、モデルデータによって定義される既知の物体の画像の特徴量を、入力画像から抽出される特徴量と照合してもよい。

（位置関係検出部）
位置関係検出部１０８は、画像認識部１０４について認識された物体について、物体と情報処理装置１００（より詳しくは撮像部１０２）との間の位置関係を検出する。本実施形態では、物体と情報処理装置１００との間の位置関係として、情報処理装置１００に対する物体の角度を用いる。この角度は、例えば、物体について予め設定された基準姿勢からの傾きとして表現される。つまり、本実施形態では、位置関係検出部１０８が、物体と情報処理装置１００との間の位置関係として、物体と情報処理装置１００との間の姿勢関係を検出する。

より具体的には、位置関係検出部１０８は、撮像部１０２によって撮像された画像を入力画像として用いて、入力画像に映っている物体の姿勢を検出する。ここで、本実施形態において、物体の姿勢は、モデルＤＢ１０６に格納されたモデルデータでのモデル座標系と、入力画像に映っている物体の座標系との間の変換を表す４行４列の１つの同次変換行列によって統合的に表現される。位置関係検出部１０８は、この同次変換行列から、情報処理装置１００に対する物体の角度を抽出する。

なお、かかる位置関係検出部１０８によって取得される位置関係の具体的な例については後述する。位置関係検出部１０８の処理は、モデルＤＢ１０６の参照などで画像認識部１０４の処理と共通するため、画像認識部１０４の処理と並行して実行されてもよい。

（選択部）
選択部１１０は、物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から、位置関係検出部１０８によって検出された位置関係に応じて、画像に重畳される表示対象オブジェクトを選択する。より具体的には、選択部１１０は、位置関係検出部１０８によって取得された、情報処理装置１００に対する物体の角度に応じて、物体に対する表示位置が相異なる複数の仮想オブジェクトを含む仮想オブジェクト群から、ユーザにとって視認しやすい位置に表示される仮想オブジェクトを選択する。かかる仮想オブジェクト、および選択部１１０による仮想オブジェクトの選択の例については、後述する。

本実施形態において、仮想オブジェクト群のデータは、オブジェクトＤＢ１１２に格納されている。オブジェクトＤＢ１１２は、各物体に対応する仮想オブジェクト群のデータが予め蓄積されたデータベースであってもよい。また、オブジェクトＤＢ１１２は、画像認識部１０４によって認識された物体に対応する仮想オブジェクト群が外部装置からダウンロードされたものが一時的に蓄積されたデータベースであってもよい。

さらにまた、オブジェクトＤＢ１１２は、撮像部１０２によって撮像された画像に映っている物体の一部または全部を加工部（図示せず）によって加工した仮想オブジェクトが一時的に蓄積されたデータベースであってもよい。加工部は、選択部１１０における選択の結果に応じて画像を加工して仮想オブジェクトを生成してもよい。この場合、選択部１１０は、例えばオブジェクトＤＢ１１２に格納された“どのような種類の仮想オブジェクトが生成可能であるか”という情報を参照して、表示する仮想オブジェクトの種類を選択し、加工部に仮想オブジェクトの生成を指示する。

なお、代替選択およびメッセージ表示の例として後述するように、選択部１１０は、選択された仮想オブジェクトが画像の領域に表示可能でない場合に、上記の選択の結果に関わらず、画像の領域に表示可能な仮想オブジェクトを代わりに選択してもよい。

また、選択部１１０は、互いに関連する複数の物体について、同じ種類の仮想オブジェクトが選択されるように、選択の結果を調整してもよい。この場合、例えば、選択部１１０は、各物体についての位置関係検出部１０８の検出結果を平均して、各物体に共通の位置関係として用いてもよい。また、選択部１１０は、各物体についての位置関係検出部１０８の検出結果をカウントして、より多くの物体で検出された検出結果を各物体に共通の位置関係として用いてもよい。これによって、例えば、互いに関連する複数の物体について表示される仮想的なオブジェクトの種類を統一し、仮想的なオブジェクトでもこれらの物体の統一をユーザに対して示すことができる。

（表示対象情報出力部）
表示対象情報出力部１１４は、選択部１１０によって選択された表示対象オブジェクトの情報を、撮像部１０２によって撮像された画像に重畳して表示させるために表示制御部１１８に出力する。ここで、出力される表示対象オブジェクトの情報は、仮想オブジェクトの画像データそのものであってもよいし、仮想オブジェクトの画像データを別途参照するためのＩＤなどの識別情報であってもよい。ここで、仮想オブジェクトの画像データを出力する場合、表示対象情報出力部１１４は、例えば位置関係検出部１０８によって検出される物体と情報処理装置１００との間の位置関係に応じて仮想オブジェクトの重畳画像を生成し、この重畳画像の情報を表示制御部１１８に出力してもよい。このような処理のために、表示対象情報出力部１１４は、オブジェクトＤＢ１１２を参照してもよい。

（メッセージ情報出力部）
メッセージ情報出力部１１６は、付加的に設けられる。メッセージ情報出力部１１６は、画像に重畳して表示されるメッセージの情報を生成し、表示制御部１１８に出力する。メッセージ情報出力部１１６は、例えば、後述するように、撮像部１０２によって撮像された画像の領域の制約のために代わりの表示対象オブジェクトが選択されている場合に、撮像部１０２を移動させて画像の領域を変化させることを促すメッセージの情報を生成して表示制御部１１８に出力する。

（表示制御部）
表示制御部１１８は、表示対象情報出力部１１４から出力された情報を用いて、表示対象オブジェクトである仮想オブジェクトを撮像部１０２によって撮像された画像に重畳して、ＡＲアプリケーションの画像として表示部１２０に表示させる。このとき、表示制御部１１８は、画像に映っている物体の位置、姿勢および大きさに合わせて、表示対象オブジェクトを配置および変形した重畳画像を生成し、これを画像に重畳してもよい。上記のように、重畳画像は、表示対象情報出力部１１４によって生成されてもよい。重畳画像を生成する場合、表示制御部１１８は、例えば位置関係検出部１０８によって検出される物体と情報処理装置１００との間の位置関係の情報を利用してもよい。メッセージ情報出力部１１６が設けられる場合、表示制御部１１８は、メッセージ情報出力部１１６から出力された情報をさらに用いて、メッセージを画像に重畳する。

（表示部）
表示部１２０は、表示制御部１１８によって生成されたＡＲアプリケーションの画像をユーザに呈示する。上記のように、表示部１２０は、情報処理装置１００と一体または別体に形成される各種のディスプレイによって実現される。表示部１２０は、例えばＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light-Emitting Diode）、またはＰＤＰ（Plasma Display Panel）などによる表示画面のほか、ユーザによって装着されるシースルー型または非シースルー型のＨＭＤ（Head Mounted Display）であってもよい。

以上のように、本実施形態に係る情報処理装置１００では、物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から、物体と情報処理装置１００との位置関係に応じて表示対象オブジェクトが選択される。なお、ここで、“複数の種類の仮想オブジェクト”とは、例えば“物体の内部の空間にあるように見える画像”や、“物体から飛び出しているように見える画像”のように、オブジェクトＤＢ１１２に格納された相異なる画像データ（いわば元データ）に従って重畳画像が生成される仮想オブジェクトである。また、“仮想オブジェクト”は、上述のように、現実の画像に対する付加的な情報（アノテーション）を示すオブジェクトである。

（１−３．表示変化の例）
次に、図３〜図５を参照して、本実施形態における表示変化の例について説明する。図３は、本開示の第１の実施形態に係る情報処理装置による仮想オブジェクトの表示の第１の状態を示す図である。図４は、本開示の第１の実施形態に係る情報処理装置による仮想オブジェクトの表示の第２の状態を示す図である。図５は、本開示の第１の実施形態に係る情報処理装置による仮想オブジェクトの表示の変化について説明するための図である。

図３には、本実施形態における情報処理装置１００による仮想オブジェクトの表示の第１の状態が示されている。上述のように、本実施形態では、情報処理装置１００に対する物体の角度に応じて、表示対象の仮想オブジェクトの種類が選択される。図示された例における第１の状態では、情報処理装置１００に対する物体ｏｂｊ＿ｒ（本）の角度Ａ１が比較的小さいため、物体ｏｂｊ＿ｒの内部の空間にあるように見える仮想オブジェクトｏｂｊ＿ｖ１（本の内容に関する画像）が表示される。以下の説明では、このような、物体ｏｂｊ＿ｒが正面視に近い状態で画像に映っている場合の仮想オブジェクトの表示を、“正面表示”ともいう。

ここで、情報処理装置１００に対する物体ｏｂｊ＿ｒの角度Ａは、情報処理装置１００の撮像部１０２からの視線方向を基準にした場合の、物体ｏｂｊ＿ｒの姿勢の基準姿勢からの傾きとして表されうる。物体の基準姿勢は、例えば物体ごとに予め定義された姿勢であり、上記のモデル座標系に従った物体の姿勢であってもよい。図示された例の物体ｏｂｊ＿ｒ（本）では、表紙が撮像部１０２に正対する姿勢が基準姿勢に設定されている。ここでは、物体ｏｂｊ＿ｒが平板状であるため、その面の垂線と撮像部１０２からの視線とがなす角として角度Ａを定義する。なお、物体ｏｂｊ＿ｒの形状は平板状には限られず、任意の形状でありうる。従って、情報処理装置１００に対する物体ｏｂｊ＿ｒの角度Ａは、図示された例以外にも様々な仕方で定義されうる。

図４には、本実施形態における情報処理装置１００による仮想オブジェクトの表示の第２の状態が示されている。図示された例における第２の状態では、情報処理装置１００に対する物体ｏｂｊ＿ｒ（本）の角度Ａ２が比較的大きいため、物体ｏｂｊ＿ｒから飛び出しているように見える仮想オブジェクトｏｂｊ＿ｖ２（本の内容に関する画像）が表示される。以下の説明では、このような、物体ｏｂｊ＿ｒが斜方視の状態で画像に映っている場合の仮想オブジェクトの表示を、“斜方視表示”ともいう。

このように、本実施形態では、情報処理装置１００と物体ｏｂｊ＿ｒとの位置関係に応じて、物体ｏｂｊ＿ｒに対する表示位置が相異なる仮想オブジェクトｏｂｊ＿ｖ１と仮想オブジェクトｏｂｊ＿ｖ２との表示が選択される。図示された例において、仮想オブジェクトｏｂｊ＿ｖ１と仮想オブジェクトｏｂｊ＿ｖ２とは、物体ｏｂｊ＿ｒの面を基準面とした奥行き方向の位置が異なる。より具体的には、物体ｏｂｊ＿ｒが正面視に近い状態で画像に映っている場合には、物体ｏｂｊ＿ｒの面の中に映りこんでいるように見える仮想オブジェクトｏｂｊ＿ｖ１が表示される。一方、物体ｏｂｊ＿ｒが斜方視の状態で画像に映っている場合には、物体ｏｂｊ＿ｒの面から飛び出しているように見える仮想オブジェクトｏｂｊ＿ｖ２が表示される。

これによって、ユーザは、画像に映る物体ｏｂｊ＿ｒの姿勢が様々に変化する場合にも、それぞれの姿勢に合わせて、視認しやすく、物体ｏｂｊ＿ｒとの関係も把握しやすい仮想オブジェクトｏｂｊ＿ｖの呈示を受けることができる。なお、ここでは、正面表示の仮想オブジェクトｏｂｊ＿ｖ１と斜方視表示の仮想オブジェクトｏｂｊ＿ｖ２とからなる仮想オブジェクト群から表示対象オブジェクトが選択される例について説明したが、仮想オブジェクト群に含まれる仮想オブジェクトは２種類には限られない。例えば、さらに多くの種類の仮想オブジェクトが仮想オブジェクト群に含まれ、物体と情報処理装置１００との姿勢関係に応じて、さらに多段階で表示対象オブジェクトが切り替えられてもよい。

図５には、本実施形態における情報処理装置１００による仮想オブジェクトの表示の変化の例が示されている。上記のように、本実施形態において、情報処理装置１００による仮想オブジェクトの表示は、情報処理装置１００に対する物体の角度に応じて変化する。また、ここで説明されている例では、情報処理装置１００に対する平板状の物体ｏｂｊ＿ｒの角度Ａが、物体ｏｂｊ＿ｒの面の垂線と情報処理装置１００の撮像部１０２からの視線とがなす角として定義される。図５は、かかる角度Ａと仮想オブジェクトの正面表示および斜方視表示との関係について、情報処理装置１００と物体ｏｂｊ＿ｒとの位置関係を２次元平面上の１方向だけに簡略化して示した図である。当業者には明らかなように、実際には、３次元空間上の任意の方向について同様の関係が成り立つ。

図示された例では、情報処理装置１００が物体ｏｂｊ＿ｒに正対する場合に、角度Ａ＝０°である。角度Ａ＝０°の状態では、仮想オブジェクトの表示は図３に示す角度Ａ＝Ａ１の場合のような正面表示である。その状態から徐々に情報処理装置１００が物体ｏｂｊ＿ｒに対して傾き、角度Ａが閾値Ｔ１を上回ると、仮想オブジェクトの表示が図４に示す角度Ａ＝Ａ２の場合のような斜方視表示に切り替わる。一方、仮想オブジェクトの表示が斜方視表示である状態から、徐々に情報処理装置１００が物体ｏｂｊ＿ｒの正面に近づき、角度Ａが閾値Ｔ２を下回ると、仮想オブジェクトの表示が正面表示に切り替わる。

このように、本実施形態において、表示対象オブジェクトになる仮想オブジェクトの種類は、情報処理装置１００と物体ｏｂｊ＿ｒとの位置関係に関する指標値（角度Ａ）に設定される閾値を用いて選択される。撮像部１０２が動画像を撮像し、連続したフレームを構成する各画像について仮想オブジェクトの種類が選択される場合、上記の閾値Ｔ１，Ｔ２のように、それまで表示されていた仮想オブジェクト、つまり前のフレームの画像で選択された仮想オブジェクトの種類によって、異なる閾値の値が用いられてもよい。このように仮想オブジェクトの選択にヒステリシスをもたせることによって、例えば手振れなどによる閾値付近での角度Ａの振動によって仮想オブジェクトの表示が頻繁に変化して視認性が低下するのを防ぐことができる。

（１−４．処理フローの例）
次に、図６および図７を参照して、本実施形態における情報処理装置の処理フローの例について説明する。図６は、本開示の第１の実施形態に係る情報処理装置における画像表示処理の処理フローの例を示すフローチャートである。図７は、本開示の第１の実施形態に係る情報処理装置における表示対象設定処理の処理フローの例を示すフローチャートである。

図６は、本実施形態における画像表示処理を示すフローチャートである。ここで説明される画像表示処理は、情報処理装置１００が現実の空間の画像を取得してから、その画像に仮想的なオブジェクトを重畳して表示するまでの一連の処理である。図示された例では、撮像部１０２が動画像を撮像するため、画像表示処理は、連続したフレームを構成する画像のそれぞれについて繰り返して実行される。

まず、ステップＳ１０１において、撮像部１０２が、画像を取得する。ここで、取得される画像は、現実の空間を撮像した画像であり、物体ｏｂｊ＿ｒが映っている画像である。

次に、ステップＳ１０３において、画像認識部１０４が、取得された画像について、物体認識を実行する。ここで、画像認識部１０４は、モデルＤＢ１０６に格納されたモデルデータを用いて、画像に映っている物体ｏｂｊ＿ｒを認識する。

次に、ステップＳ１０５において、位置関係検出部１０８が、情報処理装置１００と物体ｏｂｊ＿ｒとの間の位置関係を検出する。ここで、位置関係検出部１０８は、物体ｏｂｊ＿ｒの情報処理装置１００に対する角度Ａを検出する。

次に、ステップＳ１０７において、選択部１１０が、角度Ａによって示される情報処理装置１００と物体ｏｂｊ＿ｒとの間の位置関係が、前のフレームの画像と比べて変化しているか否かを判定する。位置関係が変化している場合、選択部１１０は、ステップＳ１０９において、変化後の位置関係に基づいて表示対象オブジェクトを選択する。一方、位置関係が変化していない場合、選択部１１０は、前のフレームの画像について表示対象オブジェクトとして選択された種類の仮想オブジェクトを引き続き表示対象オブジェクトとして用いるため、ステップＳ１０９をスキップする。

なお、ステップＳ１０９の表示対象選択処理については、後で図７を参照して詳細に説明する。

次に、ステップＳ１１１において、表示対象情報出力部１１４が、選択部１１０によって選択された表示対象オブジェクトの情報を、表示制御部１１８に出力する。

次に、ステップＳ１１３において、表示制御部１１８が、表示対象情報出力部１１４から出力された表示対象オブジェクトの情報に従って、仮想オブジェクトを画像に重畳して表示部１２０に表示させる。これによって、選択部１１０によって適切に選択された仮想オブジェクトが重畳された画像がＡＲアプリケーション画像としてユーザに呈示される。

図７は、本実施形態における表示対象設定処理を示すフローチャートである。ここで説明される表示対象設定処理は、上記のように、画像表示処理のステップＳ１０９において実行される処理である。図示された例では、撮像部１０２が動画像を撮像するため、表示対象設定処理も、連続したフレームを構成する画像のそれぞれについて実行されうる。

まず、ステップＳ２０１において、選択部１１０は、前のフレームでの仮想オブジェクトの表示が正面表示であったか否かを判定する。上記のように、正面表示とは、物体ｏｂｊ＿ｒが正面視に近い状態で画像に映っている場合の、物体ｏｂｊ＿ｒの内部の空間にあるように見える仮想オブジェクトｏｂｊ＿ｖ１の表示である。

ここで、前のフレームでの仮想オブジェクトの表示が正面表示であった場合、選択部１１０は、ステップＳ２０３において、続く表示対象の判定に用いる角度Ａの閾値として閾値Ｔ１を設定する。一方、前のフレームでの仮想オブジェクトの表示が正面表示ではなかった、つまり斜方視表示であった場合、選択部１１０は、ステップＳ２０５において、上記の閾値として閾値Ｔ２を設定する。図５を参照して説明したように、本実施形態における角度Ａの閾値Ｔ１，Ｔ２は、Ｔ２＜Ｔ１となるような関係にある。これによって、ヒステリシスをもった表示対象オブジェクトの選択が可能になる。

次に、ステップＳ２０７において、選択部１１０は、位置関係検出部１０８によって検出された角度Ａが、ステップＳ２０３またはステップＳ２０５で設定された閾値以下であるか否かを判定する。

ここで、角度Ａが閾値以下である、つまり物体ｏｂｊ＿ｒが正面視に近い状態で画像に映っていると判断される場合、選択部１１０は、ステップＳ２０９において、正面表示の仮想オブジェクトを表示対象に設定する。一方、角度Ａが閾値以下ではない、つまり物体ｏｂｊ＿ｒが斜方視の状態で画像に映っていると判断される場合、選択部１１０は、ステップＳ２１１において、斜方視表示の仮想オブジェクトを表示対象に設定する。

以上で、表示対象設定処理が終了し、ここで設定された表示対象オブジェクトの情報が、表示対象情報出力部１１４によって表示制御部１１８に出力される。

（１−５．代替選択およびメッセージ表示の例）
次に、図８を参照して、本実施形態において代替選択およびメッセージ表示がされる場合の例について説明する。図８は、本開示の第１の実施形態における代替選択およびメッセージ表示の例を示す図である。

図８には、代替選択およびメッセージ表示がされる場合とそうではない場合とが比較して示されている。図の（ａ）に示す場合、物体ｏｂｊ＿ｒは、斜方視の状態で画像に映っている。従って、物体ｏｂｊ＿ｒから飛び出しているように見える仮想オブジェクトｏｂｊ＿ｖ２が表示されている。

一方、図の（ｂ）に示す場合、物体ｏｂｊ＿ｒは、（ａ）と同様に、斜方視の状態で画像に映っている。しかしながら、（ｂ）では、物体ｏｂｊ＿ｒが画面の端近くに映っているため、（ａ）と同様に仮想オブジェクトｏｂｊ＿ｖ２を表示しようとすると、仮想オブジェクトｏｂｊ＿ｖ２の表示位置が画像の領域を超えてしまう。そこで、選択部１１０は、情報処理装置１００に対する物体ｏｂｊ＿ｒの角度Ａによる判定結果に関わらず、画像の領域に表示可能な仮想オブジェクトｏｂｊ＿ｖ１を表示対象として選択する。

これによって、仮想オブジェクトの表示が画面の領域を超えてしまいユーザによって視認されなくなることは防止される。しかしながら、（ｂ）の状態での仮想オブジェクトｏｂｊ＿ｖ２の表示は、例えば物体ｏｂｊ＿ｒの面の傾きに合わせて大きく変形されるために、必ずしもユーザが視認しやすい状態ではない。また、このままでは、（ａ）のような仮想オブジェクトｏｂｊ＿ｖ２の表示が可能であることがユーザには伝わりにくい。

そこで、図示された例では、メッセージ情報出力部１１６によって生成された情報に基づくメッセージｍｓｇを、画像に重畳して表示する。メッセージｍｓｇは、例えば“ＬＯＯＫ ＡＴ ＴＨＥ ＯＢＪＥＣＴ！”のように、ユーザに物体ｏｂｊ＿ｒへの注目を促し、それによって画像の領域を変化させて、本来選択される仮想オブジェクトｏｂｊ＿ｖ２が表示可能な状態へと誘導するものでありうる。なお、メッセージ情報出力部１１６は、仮想オブジェクトｏｂｊ＿ｖ１に重複しないように調整されたメッセージｍｓｇの表示位置を指定する情報を、メッセージの情報として出力してもよい。

上記の例で、例えば、メッセージに代えて、アイコンなどの画像が表示されてもよい。また、情報処理装置１００が有するＬＥＤ（Light-Emitting Diode）ランプが点灯または点滅することや、情報処理装置１００から音声が出力されることなどによって、ユーザへの通知がされてもよい。つまり、本実施形態におけるメッセージ情報出力部１１６は、代わりの表示対象オブジェクトが選択されている場合に画像の領域を変化させるようユーザに通知する通知部の一例である。かかる通知は、上記の例のようにメッセージ情報出力部１１６、表示制御部１１８および表示部１２０による表示の変化によってされてもよく、またランプなどの視覚的通知部によってされてもよく、スピーカなどの音声通知部によってされてもよい。

以上、本開示の第１の実施形態について説明した。本開示の第１の実施形態では、画像に映る物体と、画像を撮像する機器との間の位置関係に応じて、仮想オブジェクトの物体に対する表示位置が変更される。位置関係として、上記の例では角度が用いられたが、他の位置関係が用いられてもよい。例えば、位置関係として、物体と機器との距離が用いられてもよい。この場合、例えば物体と機器との間が所定の距離よりも近く物体が比較的大きく表示される場合には仮想オブジェクトが物体の内部に表示され、そうではなく物体が比較的小さく表示される場合には仮想オブジェクトが物体の外部にも飛び出して表示されてもよい。

かかる本開示の第１の実施形態によれば、例えば、物体と機器との位置関係に応じて、それぞれの場合に最も見やすい位置に表示される仮想オブジェクトを画像に重畳させてユーザに呈示することが可能になる。

（２．第２の実施形態）
続いて、図９〜図１１を参照して、本開示の第２の実施形態について説明する。本開示の第２の実施形態では、画像に映る物体と、画像を撮像する機器との間の位置関係に応じて、仮想オブジェクトによって表示される情報の量が変更される。

なお、この第２の実施形態の構成のうち、以下に説明する部分以外の部分は、上記の第１の実施形態と同様である。かかる部分の構成については、以下の説明に従って第１の実施形態の説明を適宜読み替えることで十分に説明されうるものであるため、重複した詳細な説明は省略する。

ここでは、図９〜図１１を参照して、本実施形態における表示変化の例について説明する。図９は、本開示の第２の実施形態に係る情報処理装置による仮想オブジェクトの表示の第１の状態を示す図である。図１０は、本開示の第２の実施形態に係る情報処理装置による仮想オブジェクトの表示の第２の状態を示す図である。図１１は、本開示の第２の実施形態に係る情報処理装置による仮想オブジェクトの表示の変化について説明するための図である。

図９には、本実施形態における情報処理装置１００による仮想オブジェクトの表示の第１の状態が示されている。本実施形態では、情報処理装置１００からの物体の距離に応じて、表示対象の仮想オブジェクトの種類が選択される。図示された例における第１の状態では、情報処理装置１００から物体ｏｂｊ＿ｒ（看板）までの距離ｄ１が比較的長く、画像に映る物体ｏｂｊ＿ｒが比較的小さいため、より少ない量の情報を表示する仮想オブジェクトｏｂｊ＿ｖ３（“ＳＡＬＥ”とだけ表示）が表示される。以下の説明では、このような、より少ない量の情報を表示する場合の仮想オブジェクトの表示を、“概要表示”ともいう。

図１０には、本実施形態における情報処理装置１００による仮想オブジェクトの表示の第２の状態が示されている。図示された例における第２の状態では、情報処理装置１００から物体ｏｂｊ＿ｒ（看板）までの距離ｄ２が比較的短く、画像に映る物体ｏｂｊ＿ｒが比較的大きいため、より多い量の情報を表示する仮想オブジェクトｏｂｊ＿ｖ４（期間や場所をさらに表示）が表示される。以下の説明では、このような、より多い量の情報を表示する場合の仮想オブジェクトの表示を、“詳細表示”ともいう。

図１１には、本実施形態における情報処理装置１００による仮想オブジェクトの表示の変化の例が示されている。上記のように、本実施形態において、情報処理装置１００による仮想オブジェクトの表示は、情報処理装置１００から物体までの距離ｄに応じて変化する。図１１は、距離ｄと仮想オブジェクトの詳細表示および概要表示との関係について、情報処理装置１００と物体ｏｂｊ＿ｒとの位置関係を２次元平面上の１方向だけに簡略化して示した図である。当業者には明らかなように、実際には、３次元空間上の任意の方向について同様の関係が成り立つ。

図示された例では、情報処理装置１００が物体ｏｂｊ＿ｒに最も接近した状態である場合に、距離ｄ＝０である。距離ｄ＝０の状態では、仮想オブジェクトの表示は図９に示す距離ｄ＝ｄ１の場合のような詳細表示である。その状態から、徐々に情報処理装置１００が物体ｏｂｊ＿ｒから離れ、距離ｄが閾値Ｌ１を上回ると、仮想オブジェクトの表示が図１０に示す距離ｄ＝ｄ２の場合のような概要表示に切り替わる。一方、仮想オブジェクトの表示が概要表示である状態から、徐々に情報処理装置１００が物体ｏｂｊ＿ｒに近づき、距離ｄが閾値Ｌ２を下回ると、仮想オブジェクトの表示が詳細表示に切り替わる。

このように、本実施形態において、表示対象オブジェクトになる仮想オブジェクトの種類は、情報処理装置１００と物体ｏｂｊ＿ｒとの位置関係に関するパラメータ（距離ｄ）に設定される閾値を用いて選択される。撮像部１０２が動画像を撮像し、連続したフレームを構成する各画像について仮想オブジェクトの種類が選択される場合、上記の閾値Ｌ１，Ｌ２のように、それまで表示されていた仮想オブジェクト、つまり前のフレームの画像で選択された仮想オブジェクトの種類によって、異なる閾値の値が用いられてもよい。このように仮想オブジェクトの選択にヒステリシスをもたせることによって、例えば手振れなどによる閾値付近での距離ｄの振動によって仮想オブジェクトの表示が頻繁に変化して視認性が低下するのを防ぐことができる。

以上、本開示の第２の実施形態について説明した。本開示の第２の実施形態では、画像に映る物体と、画像を撮像する機器との間の位置関係に応じて、仮想オブジェクトによって表示される情報の量が変更される。位置関係として、上記の例では距離が用いられたが、他の位置関係が用いられてもよい。例えば、位置関係として、機器に対する物体の角度が用いられてもよい。この場合、例えば物体の面がほぼ正面から見えていて表示面積が大きい場合にはより多くの情報を表示する仮想オブジェクトが表示され、そうではなく物体の面が斜めから見えていて表示面積が小さい場合にはより少ない情報を表示する仮想オブジェクトが表示されてもよい。

かかる本開示の第２の実施形態によれば、例えば、物体と機器との位置関係に応じて、それぞれの場合に最も見やすい量の情報を効果的に表示する仮想オブジェクトを画像に重畳させてユーザに呈示することが可能になる。

（３．第３の実施形態）
続いて、図１２〜１６を参照して、本開示の第３の実施形態について説明する。本開示の第３の実施形態では、画像に映る物体と、画像を撮像する機器との間の位置関係に応じて、仮想オブジェクトによって表示される情報の種類が変更される。

なお、この第３の実施形態の構成のうち、以下に説明する部分以外の部分は、上記の第１の実施形態と同様である。かかる部分の構成については、以下の説明に従って第１の実施形態の説明を適宜読み替えることで十分に説明されうるものであるため、重複した詳細な説明は省略する。

（３−１．検出される位置関係の例）
まず、図１２を参照して、本実施形態において検出される物体と機器との位置関係の例について説明する。図１２は、本開示の第３の実施形態において検出される物体と機器との位置関係について説明するための図である。

図１２には、本実施形態において検出される位置関係について説明するための４つの例（ａ）〜（ｄ）が示されている。本実施形態では、映像に映る物体ｏｂｊ＿ｒの回転角度Ｂが、情報処理装置１００と物体ｏｂｊ＿ｒとの間の位置関係として検出される。例えば（ａ）の状態では、情報処理装置１００が正立した状態で、撮像部１０２が物体ｏｂｊ＿ｒを含む画像を撮像している。図示された例では、この場合に、回転角度Ｂ＝０°である。ここで、（ａ）の状態から情報処理装置１００が時計回りに９０°回転して（ｂ）の状態になると、撮像部１０２によって撮像されて表示部１２０に表示される画像において、物体ｏｂｊ＿ｒは、（ａ）の状態から回転角度Ｂ＝９０°だけ回転した状態で表示される。

さらに、情報処理装置１００が時計回りに９０°回転して（ｃ）の状態になると、表示部１２０に表示される画像において、物体ｏｂｊ＿ｒは、（ａ）の状態から回転角度Ｂ＝１８０°だけ回転した状態で表示される。一方、（ａ）の状態から情報処理装置１００が反時計回りに９０°回転して（ｄ）の状態になると、表示部１２０に表示される画像において、物体ｏｂｊ＿ｒは、（ａ）の状態から回転角度Ｂ＝−９０°だけ回転した状態で表示される。

本実施形態では、情報処理装置１００の位置関係検出部１０８が、上記の例のような物体ｏｂｊ＿ｒの情報処理装置１００に対する回転を、物体と情報処理装置１００との間の位置関係として検出する。より具体的には、位置関係検出部１０８は、撮像部１０２の撮像軸に平行な軸の回りの物体ｏｂｊ＿ｒの回転を、位置関係として検出する。ここで、撮像部１０２の撮像軸は、例えば、撮像部１０２の光学系のうち最も物体ｏｂｊ＿ｒ寄りの部分での光軸として定義されうる。

なお、本実施形態が上記の第１および第２の実施形態と異なる点の１つは、上記のような物体と情報処理装置１００との間の位置関係の変化が、画像における物体の表示を実質的に変化させるものではないことである。

例えば図１２の例では、情報処理装置１００を基準にした座標系では、物体ｏｂｊ＿ｒの表示が回転しているといえる。しかしながら、（ａ）〜（ｄ）のような状態の変化は、実際には、ユーザが情報処理装置１００の持ち方を変えることによって生じていることが多い。この場合、表示部１２０で物体ｏｂｊ＿ｒの表示が回転するのと逆向きに情報処理装置１００自体も回転しているため、ユーザによって視認される物体ｏｂｊ＿ｒは実質的に回転しない。例えば（ｃ）の場合、表示部１２０に表示される物体ｏｂｊ＿ｒは回転角度Ｂ＝１８０°だけ回転しているが、情報処理装置１００自体が元の姿勢から１８０°回転した状態でユーザに把持されていれば、ユーザが視認する物体ｏｂｊ＿ｒの表示は（ａ）と同じものである。

つまり、本実施形態は、１つには、このように物体と情報処理装置１００との間の位置関係の変化によって物体や仮想オブジェクトをユーザが必ずしも視認しにくくなるわけではない場合においても、本開示に係る技術が有効であることを示すものである。

（３−２．表示変化の例）
次に、図１３〜１５を参照して、本実施形態における表示変化の例について説明する。図１３は、本開示の第３の実施形態に係る情報処理装置による仮想オブジェクトの表示の第１の状態を示す図である。図１４は、本開示の第３の実施形態に係る情報処理装置による仮想オブジェクトの表示の第２の状態を示す図である。図１５は、本開示の第３の実施形態に係る情報処理装置による仮想オブジェクトの表示の変化について説明するための図である。

図１３には、本実施形態における情報処理装置１００による仮想オブジェクトの表示の第１の状態が示されている。上述のように本実施形態では、情報処理装置１００に対する物体の回転に応じて、表示対象の仮想オブジェクトの種類が選択される。図示された例における第１の状態では、情報処理装置１００が物体ｏｂｊ＿ｒ（モニタ）に対して横置きになった状態である。この場合、物体ｏｂｊ＿ｒから飛び出すようにして、物体ｏｂｊ＿ｒの表示内容（コンテンツ）が仮想オブジェクトｏｂｊ＿ｖ５として表示される。以下の説明では、このような仮想オブジェクトの表示を“コンテンツ表示”ともいう。

図１４には、本実施形態における情報処理装置１００による仮想オブジェクトの表示の第２の状態が示されている。図示された例における第２の状態では、情報処理装置１００が物体ｏｂｊ＿ｒ（モニタ）に対して縦置きになった状態である。この場合、物体ｏｂｊ＿ｒから飛び出すようにして、物体ｏｂｊ＿ｒの表示内容（コンテンツ）に関連する情報が仮想オブジェクトｏｂｊ＿ｖ６として表示される。以下の説明では、このような仮想オブジェクトの表示を“関連情報表示”ともいう。

図１５には、本実施形態における情報処理装置１００による仮想オブジェクトの表示の変化の例が示されている。上記のように、本実施形態において、情報処理装置１００による仮想オブジェクトの表示は、情報処理装置１００に対する物体の回転によって変化する。本実施形態では、この回転角度に範囲を設定し、この範囲によって仮想オブジェクトによって表示される情報の種類を変更している。

図示された例では、情報処理装置１００が物体ｏｂｊ＿ｒに対して縦置きになっていて、情報処理装置１００が正立している状態を基準として、情報処理装置１００に対する物体ｏｂｊ＿ｒの回転角度Ｂが検出される。検出された回転角度Ｂについて、範囲Ｒ１または範囲Ｒ２が設定され、回転角度Ｂがこの範囲内にある場合にはコンテンツ表示で仮想オブジェクトが表示される。一方、回転角度Ｂがこの範囲内にない場合は、関連情報表示で仮想オブジェクトが表示される。

ここで、範囲Ｒ１および範囲Ｒ２は、情報処理装置１００が物体ｏｂｊ＿ｒに対して横置きになった状態であると判断される、物体ｏｂｊ＿ｒの回転角度の範囲である。それゆえ、範囲Ｒ１および範囲Ｒ２は、いずれも、例えば±９０°の近傍の範囲でありうる。また、範囲Ｒ１は、仮想オブジェクトの表示がコンテンツ表示である場合に用いられ、範囲Ｒ２は、仮想オブジェクトの表示が関連情報表示である場合に用いられる。つまり、既にコンテンツ表示がされている状態でそのコンテンツ表示が継続される範囲Ｒ２は、関連情報表示がされる状態でコンテンツ表示に切り替わる範囲Ｒ１よりも大きい。このように、仮想オブジェクトの選択にヒステリシスをもたせることによって、例えば手振れなどによる範囲の境界付近での回転角度Ｂの振動によって仮想オブジェクトの表示が頻繁に変化して視認性が低下するのを防ぐことができる。

（３−３．処理フローの例）
次に、図１６を参照して、本実施形態における情報処理装置の処理フローの例について説明する。図１６は、本開示の第３の実施形態に係る情報処理装置における表示対象設定処理の処理フローの例を示すフローチャートである。

図１６は、本実施形態における表示対象設定処理を示すフローチャートである。ここで説明される表示対象設定処理は、図６を参照して説明したものと同様の画像表示処理のステップＳ１０９において実行される処理である。図示された例では、撮像部１０２が動画像を撮像するため、表示対象設定処理も、連続したフレームを構成する画像のそれぞれについて実行されうる。

まず、ステップＳ３０１において、選択部１１０は、前のフレームでの仮想オブジェクトの表示がコンテンツ表示であったか否かを判定する。上記のように、コンテンツ表示とは、情報処理装置１００が物体ｏｂｊ＿ｒに対して横置きになっている場合の、物体ｏｂｊ＿ｒのコンテンツを表示する仮想オブジェクトｏｂｊ＿ｖ５の表示である。

ここで、前のフレームでの仮想オブジェクトの表示がコンテンツ表示であった場合、選択部１１０は、ステップＳ３０３において、続く表示対象の判定に用いる回転角度Ｂの範囲として範囲Ｒ１を設定する。一方、前のフレームでの仮想オブジェクトの表示がコンテンツ表示ではなかった、つまり関連情報表示であった場合、選択部１１０は、ステップＳ３０５において、上記の範囲として範囲Ｒ２を設定する。図１５を参照して説明したように、本実施形態における回転角度Ｂの範囲Ｒ１，Ｒ２は、範囲Ｒ１が範囲Ｒ２よりも広い。これによって、ヒステリシスをもった表示対象オブジェクトの選択が可能になる。

次に、ステップＳ３０７において、選択部１１０は、検出された物体ｏｂｊ＿ｒの回転角度Ｂが、ステップＳ３０３またはステップＳ３０５で設定された範囲内にあるか否かを判定する。

ここで、回転角度Ｂが範囲内にある、つまり情報処理装置１００が物体ｏｂｊ＿ｒに対して横置きになっていると判断される場合、選択部１１０は、ステップＳ３０９において、コンテンツ表示の仮想オブジェクトを表示対象に設定する。一方、回転角度Ｂが範囲内にない、つまり情報処理装置１００が物体ｏｂｊ＿ｒに対して縦置きになっていると判断される場合、選択部１１０は、ステップＳ３１１において、関連情報表示の仮想オブジェクトを表示対象に設定する。

以上で、表示対象設定処理が終了し、ここで設定された表示対象オブジェクトの情報が、表示対象情報出力部１１４によって表示制御部１１８に出力される。

以上、本開示の第３の実施形態について説明した。本開示の第３の実施形態では、画像に映る物体と、画像を撮像する機器との間の位置関係に応じて、仮想オブジェクトによって表示される情報の種類が変更される。位置関係として、上記の例では回転角度が用いられたが、他の位置関係が用いられてもよい。例えば、位置関係として、機器に対する物体の角度が用いられてもよい。この場合、例えば物体の面がほぼ正面から見えている場合には物体のコンテンツが表示され、そうではなく物体の面が斜めから見えている場合には物体のコンテンツに関連する情報が表示されてもよい。

かかる本開示の第３の実施形態によれば、例えば、物体と機器との位置関係を変化させることで、物体に関して表示される仮想オブジェクトによって表示される情報の種類を変更することが可能になる。例えば、位置関係の変化がユーザによって意図的にもたらされる場合、ユーザは機器の姿勢の変化を表示内容の変更の指示操作として用いることができる。また、例えば、位置関係の変化が偶発的に生じる場合、ユーザはそれまで見えていなかった別の種類の情報に接する機会を得ることができる。

（４．装置構成に関する他の実施形態）
続いて、図１７および図１８を参照して、装置構成に関する本開示の他の実施形態の例について説明する。

（センサ部を有する例）
図１７は、本開示の実施形態に係る情報処理装置の機能構成の別の例を示すブロック図である。図１７を参照すると、情報処理装置２００は、撮像部１０２、画像認識部１０４、モデルＤＢ１０６、位置関係検出部１０８、選択部１１０、オブジェクトＤＢ１１２、表示対象情報出力部１１４、メッセージ情報出力部１１６、表示制御部１１８、および表示部１２０に加えて、センサ部２２２を含む。

センサ部２２２は、撮像部１０２の動きを計測する動きセンサ群を含む。動きセンサは、例えば、撮像部１０２の加速度を測定する加速度センサ、傾き角を測定するジャイロセンサ、または撮像部１０２の向けられた方位を測定する地磁気センサなどでありうる。また、センサ部２２２は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

図示された例において、位置関係検出部１０８は、センサ部２２２によって取得された撮像部１０２の動きに基づいて、物体と情報処理装置２００（より詳しくは撮像部１０２）との間の位置関係を検出する。例えば、位置関係検出部１０８は、撮像部１０２の加速度または傾き角の情報に基づいて、情報処理装置２００の姿勢を検出する。物体の位置や、地面などの水平面にあるか壁などの鉛直面にあるかなどの情報があれば、情報処理装置２００の姿勢を検出することで物体との間の位置関係を把握することが可能である。なお、位置関係検出部１０８は、図示されているようにセンサ部２２２からの情報を用いて位置関係を検出してもよいし、さらに画像認識部１０４からの情報をも合わせて用いて位置関係を検出してもよい。

（ネットワーク上のサーバの例）
図１８は、本開示の実施形態に係る情報処理装置の機能構成のさらに別の例を示すブロック図である。図１８を参照すると、情報処理装置３００は、画像認識部１０４、モデルＤＢ１０６、位置関係検出部１０８、選択部１１０、オブジェクトＤＢ１１２、表示対象情報出力部１１４、メッセージ情報出力部１１６、および通信部３２４を含む。

図示された例において、情報処理装置３００は、撮像部１０２、表示制御部１１８、および表示部１２０を有さない。情報処理装置３００は、例えばネットワーク上に設置されたサーバであり、クライアントである装置の撮像部によって撮像された画像のデータを入力画像として通信部３２４で受信する。また、情報処理装置３００は、表示対象情報出力部１１４から出力される表示対象オブジェクトの情報、および付加的にメッセージ情報出力部１１６から出力されるメッセージの情報を、通信部３２４から上記のクライアントに送信する。送信された情報を用いて、端末装置の表示制御部において仮想オブジェクトが重畳された画像が生成され、表示される。

このように、本開示に係る情報処理装置は、必ずしも撮像部１０２や表示部１２０を有するものでなくてよく、その構成には様々なバリエーションがある。例えば、上記の情報処理装置３００において、表示制御部１１８を設けて、仮想オブジェクトが重畳された画像を生成してこれを通信部３２４からクライアントに送信してもよい。また、情報処理装置は、撮像部１０２を有さない一方で表示部１２０を有し、外部の装置によって撮像された画像に仮想的なオブジェクトを重畳して表示してもよい。さらにまた、情報処理装置は、撮像部１０２を有する一方で表示部１２０を有さず、撮像した画像に仮想的なオブジェクトを重畳した画像を外部の装置に転送してもよい。

（５．補足）
（ハードウェア構成）
最後に、図１９を参照して、本開示の実施形態に係る情報処理装置を実現しうる情報処理装置９００のハードウェア構成について説明する。図１９は、情報処理装置のハードウェア構成を説明するためのブロック図である。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。さらに、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、および通信装置９２５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）などの処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）画像に映る物体と該画像を撮像する機器との間の位置関係を検出する位置関係検出部、
前記位置関係に応じて、前記物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から表示対象オブジェクトを選択する選択部、および
前記表示対象オブジェクトの情報を、前記画像に前記表示対象オブジェクトを重畳して表示させる表示制御部に向けて出力する表示対象情報出力部
を備える情報処理装置。
（２）
前記表示対象情報出力部は、前記位置関係に応じて、前記画像に重畳する前記表示対象オブジェクトの重畳画像を生成し、該重畳画像の情報を前記表示制御部に向けて出力する、前記（１）に記載の情報処理装置。
（３）前記仮想オブジェクト群は、前記物体に対する表示位置が相異なる複数の仮想オブジェクトを含む、前記（１）または（２）に記載の情報処理装置。
（４）前記仮想オブジェクト群は、前記物体の面を基準面とした奥行き方向の位置が相異なる複数の仮想オブジェクトを含む、前記（３）に記載の情報処理装置。
（５）前記選択部は、前記表示対象オブジェクトの表示位置が前記画像の領域を超える場合に、前記画像の領域に表示可能な前記仮想オブジェクトを代わりの表示対象オブジェクトとして選択する、前記（３）に記載の情報処理装置。
（６）前記代わりの表示対象オブジェクトが選択されている場合に、前記画像の領域を変化させるようユーザに通知する通知部をさらに備える、前記（５）に記載の情報処理装置。
（７）前記通知部は、前記画像の領域を変化させることを促す表示の情報を、前記画像に前記表示を重畳して表示させる表示制御部に向けて出力する、前記（６）に記載の情報処理装置。
（８）前記仮想オブジェクト群は、表示する情報の種類が相異なる複数の仮想オブジェクトを含む、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）前記仮想オブジェクト群は、前記物体に表示されるコンテンツを直接的に表現する情報を表示する仮想オブジェクトと、前記コンテンツに関連する他の情報を表示する仮想オブジェクトとを含む、前記（８）に記載の情報処理装置。
（１０）前記仮想オブジェクト群は、表示する情報の量が相異なる複数の仮想オブジェクトを含む、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）前記選択部は、互いに関連する複数の前記物体について、同じ種類の前記仮想オブジェクトを選択する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）前記選択部は、前記位置関係を表す指標値に設定される閾値を用いて前記表示対象オブジェクトを選択する、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）前記画像は、連続したフレームとして撮像されて動画像を構成し、
前記選択部は、前のフレームの前記画像の前記表示対象オブジェクトとしてどの種類の仮想オブジェクトが選択されたかによって異なる前記閾値を用いる、前記（１２）に記載の情報処理装置。
（１４）前記位置関係検出部は、前記画像の解析によって前記位置関係を検出する、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）前記位置関係検出部は、前記画像を撮像する機器の姿勢に基づいて前記位置関係を検出する、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）前記画像を撮像する撮像部、および前記表示制御部をさらに備え、
前記位置関係検出部は、前記撮像部から前記画像のデータを取得する、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）外部機器と通信して、前記画像のデータを前記外部機器から受信し、前記表示対象オブジェクトの情報を前記外部機器に送信する通信部をさらに備え、
前記位置関係検出部は、前記通信部から前記画像のデータを取得する、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１８）画像に映る物体と該画像を撮像する機器との間の位置関係を検出すること、
前記位置関係に応じて、前記物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から表示対象オブジェクトを選択すること、および
前記表示対象オブジェクトの情報を、前記画像に前記表示対象オブジェクトを重畳して表示させる表示制御部に向けて出力すること
を含む情報処理方法。
（１９）画像に映る物体と該画像を撮像する機器との間の位置関係を検出する機能、
前記位置関係に応じて、前記物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から表示対象オブジェクトを選択する機能、および
前記表示対象オブジェクトの情報を、前記画像に前記表示対象オブジェクトを重畳して表示させる表示制御部に向けて出力する機能
をコンピュータに実現させるためのプログラム。

１００，２００，３００ 情報処理装置
１０２ 撮像部
１０４ 画像認識部
１０８ 位置関係検出部
１１０ 選択部
１１４ 表示対象情報出力部
１１６ メッセージ情報出力部
１１８ 表示制御部
１２０ 表示部
２２２ センサ部
３２４ 通信部
ｏｂｊ＿ｒ 物体
ｏｂｊ＿ｖ 仮想オブジェクト

Claims (19)

1. 画像に映る物体と該画像を撮像する機器との間の位置関係を検出する位置関係検出部、
   前記位置関係に応じて、前記物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から表示対象オブジェクトを選択する制御部、および
   前記表示対象オブジェクトの情報を、前記画像に前記表示対象オブジェクトを重畳して表示させる表示制御部に向けて出力する表示対象情報出力部
   を備え、
   前記制御部は、さらに、前記表示対象オブジェクトの表示位置が前記画像の領域を超えるか否かに基づいて、前記仮想オブジェクト群から前記表示対象オブジェクトを選択する、情報処理装置。
2. 前記表示対象情報出力部は、前記位置関係に応じて、前記画像に重畳する前記表示対象オブジェクトの重畳画像を生成し、該重畳画像の情報を前記表示制御部に向けて出力する、請求項１に記載の情報処理装置。
3. 前記仮想オブジェクト群は、前記物体に対する表示位置が相異なる複数の仮想オブジェクトを含む、請求項１または２に記載の情報処理装置。
4. 前記仮想オブジェクト群は、前記物体の面を基準面とした奥行き方向の位置が相異なる複数の仮想オブジェクトを含む、請求項３に記載の情報処理装置。
5. 前記制御部は、前記表示対象オブジェクトの表示位置が前記画像の領域を超える場合に、前記画像の領域に表示可能な前記仮想オブジェクトを代わりの表示対象オブジェクトとして選択する、請求項３に記載の情報処理装置。
6. 前記代わりの表示対象オブジェクトが選択されている場合に、前記画像の領域を変化させるようユーザに通知する通知部をさらに備える、請求項５に記載の情報処理装置。
7. 前記通知部は、前記画像の領域を変化させることを促す表示の情報を、前記画像に前記表示を重畳して表示させる表示制御部に向けて出力する、請求項６に記載の情報処理装置。
8. 前記仮想オブジェクト群は、表示する情報の種類が相異なる複数の仮想オブジェクトを含む、請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記仮想オブジェクト群は、前記物体に表示されるコンテンツを直接的に表現する情報を表示する仮想オブジェクトと、前記コンテンツに関連する他の情報を表示する仮想オブジェクトとを含む、請求項８に記載の情報処理装置。
10. 前記仮想オブジェクト群は、表示する情報の量が相異なる複数の仮想オブジェクトを含む、請求項１〜９のいずれか１項に記載の情報処理装置。
11. 前記制御部は、互いに関連する複数の前記物体について、同じ種類の前記仮想オブジェクトを選択する、請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 前記制御部は、前記位置関係を表す指標値に設定される閾値を用いて前記表示対象オブジェクトを選択する、請求項１〜１１のいずれか１項に記載の情報処理装置。
13. 前記画像は、連続したフレームとして撮像されて動画像を構成し、
    前記制御部は、前のフレームの前記画像の前記表示対象オブジェクトとしてどの種類の仮想オブジェクトが選択されたかによって異なる前記閾値を用いる、請求項１２に記載の情報処理装置。
14. 前記位置関係検出部は、前記画像の解析によって前記位置関係を検出する、請求項１〜１３のいずれか１項に記載の情報処理装置。
15. 前記位置関係検出部は、前記画像を撮像する機器の姿勢に基づいて前記位置関係を検出する、請求項１〜１４のいずれか１項に記載の情報処理装置。
16. 前記画像を撮像する撮像部、および前記表示制御部をさらに備え、
    前記位置関係検出部は、前記撮像部から前記画像のデータを取得する、請求項１〜１５のいずれか１項に記載の情報処理装置。
17. 外部機器と通信して、前記画像のデータを前記外部機器から受信し、前記表示対象オブジェクトの情報を前記外部機器に送信する通信部をさらに備え、
    前記位置関係検出部は、前記通信部から前記画像のデータを取得する、請求項１〜１５のいずれか１項に記載の情報処理装置。
18. 画像に映る物体と該画像を撮像する機器との間の位置関係を検出すること、
    前記位置関係に応じて、前記物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から表示対象オブジェクトを選択すること、
    前記表示対象オブジェクトの情報を、前記画像に前記表示対象オブジェクトを重畳して表示させる表示制御部に向けて出力すること、および
    前記表示対象オブジェクトの表示位置が前記画像の領域を超えるか否かに基づいて、前記仮想オブジェクト群から前記表示対象オブジェクトを選択すること
    を含む情報処理方法。
19. 画像に映る物体と該画像を撮像する機器との間の位置関係を検出する機能、
    前記位置関係に応じて、前記物体に関連する複数の種類の仮想オブジェクトを含む仮想オブジェクト群から表示対象オブジェクトを選択する機能、
    前記表示対象オブジェクトの情報を、前記画像に前記表示対象オブジェクトを重畳して表示させる表示制御部に向けて出力する機能、および
    前記表示対象オブジェクトの表示位置が前記画像の領域を超えるか否かに基づいて、前記仮想オブジェクト群から前記表示対象オブジェクトを選択する機能
    をコンピュータに実現させるためのプログラム。

Images