JP2015152940A - 提示制御装置、提示制御方法、およびプログラム - Google Patents

Abstract

【課題】撮像画像に基づき認識される認識対象に応じた提示を、ユーザに対して行わせることが可能な提示制御装置、提示制御方法、およびプログラムを提供する。
【解決手段】撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定する判定部と、認識対象に応じた条件を満たすと判定された場合に、認識対象に関連付けられた提示を行わせる提示制御部とを備え、認識対象に応じた条件には、提示の内容を伝達する対象のユーザの状態に関する条件が含まれる、提示制御装置が提供される。
【選択図】図１４

Description

本開示は、提示制御装置、提示制御方法、およびプログラムに関する。

例えばライフログのように、撮像された画像などをユーザの履歴を示すデータとして記録媒体に記憶する技術が知られている。また、例えば、記録媒体に記憶されている履歴を示す情報（データ）を用いて、提示を行う技術が開発されている。履歴を示す情報を用いて提示を行う技術としては、例えば、下記の特許文献１に記載の技術が挙げられる。

特開２００６−４８４４３号公報

撮像された画像（動画像、または、静止画像。以下、「撮像画像」と示す。）に基づき認識される認識対象に応じた提示を、提示の内容を伝達する対象のユーザ（以下、単に「ユーザ」と示す場合がある。）に対して行いたいというニーズがある。ここで、例えば特許文献１に記載の技術では、ＩＤやキーワードなどによりデータベースが検索されることによって抽出された物品の情報が、ユーザに提示される。しかしながら、例えば特許文献１に記載の技術を用いたとしても、上記ニーズを満たすことは望むべくもない。

本開示では、撮像画像に基づき認識される認識対象に応じた提示を、ユーザに対して行わせることが可能な、新規かつ改良された提示制御装置、提示制御方法、およびプログラムを提案する。

本開示によれば、撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定する判定部と、上記認識対象に応じた条件を満たすと判定された場合に、上記認識対象に関連付けられた提示を行わせる提示制御部と、
を備え、上記認識対象に応じた条件には、上記提示の内容を伝達する対象のユーザの状態に関する条件が含まれる、提示制御装置が提供される。

また、本開示によれば、撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定するステップと、上記認識対象に応じた条件を満たすと判定された場合に、上記認識対象に関連付けられた提示を行わせるステップと、を有し、上記認識対象に応じた条件には、上記提示の内容を伝達する対象のユーザの状態に関する条件が含まれる、提示制御方法が提供される。

また、本開示によれば、撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定するステップ、上記認識対象に応じた条件を満たすと判定された場合に、上記認識対象に関連付けられた提示を行わせるステップ、をコンピュータに実行させ、上記認識対象に応じた条件には、上記提示の内容を伝達する対象のユーザの状態に関する条件が含まれる、プログラムが提供される。

本開示によれば、撮像画像に基づき認識される認識対象に応じた提示を、ユーザに対して行わせることができる。

本実施形態に係る提示制御方法に係る処理の一例を示す流れ図である。 本実施形態に係る提示制御方法に係る処理の第１の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第２の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第２の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第２の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第３の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第４の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第４の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第４の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第４の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第４の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第５の例を説明するための説明図である。 本実施形態に係る提示制御方法に係る処理の第５の例を説明するための説明図である。 本実施形態に係る提示制御装置の構成の一例を示すブロック図である。 本実施形態に係る提示制御装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る提示制御システムにおける処理の一例を説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る提示制御方法
２．本実施形態に係る提示制御装置
３．本実施形態に係る提示制御システム
４．本実施形態に係るプログラム

（本実施形態に係る提示制御方法）
［１］本実施形態に係る提示制御方法の概要
本実施形態に係る提示制御装置の構成について説明する前に、まず、本実施形態に係る提示制御方法について説明する。以下では、本実施形態に係る提示制御装置が、本実施形態に係る提示制御方法に係る処理を行う場合を例に挙げて、本実施形態に係る提示制御方法について説明する。

撮像画像に基づき認識される認識対象に応じた提示が、ユーザに対して行われれば、より適した提示内容が、より適したタイミングで、ユーザに対して提示される可能性が高まる。また、より適した提示内容が、より適したタイミングで、ユーザに対して提示されれば、提示された内容を受け取ったユーザの利便性を、より向上させることができることが期待される。

そこで、本実施形態に係る提示制御装置は、撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定する（判定処理）。そして、本実施形態に係る提示制御装置は、上記判定処理において認識対象に応じた条件を満たすと判定された場合に、認識対象に関連付けられた提示を行わせる（提示制御処理）。

ここで、本実施形態に係る撮像画像は、例えば、光学系のレンズや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子などで構成される撮像デバイスによって撮像された画像である。本実施形態に係る撮像画像は、例えば、撮像デバイスによって、常時、定期的、非定期的のいずれかのタイミングで撮像される。また、本実施形態に係る撮像画像は、例えば、異なるユーザにそれぞれ対応する複数の撮像デバイスそれぞれにより撮像された画像であってもよい。

本実施形態に係る撮像画像は、例えば、本実施形態に係る提示制御装置が備える記憶部（後述する）や、本実施形態に係る提示制御装置に接続されている記録媒体、本実施形態に係る提示制御装置の外部装置が備える記録媒体、当該外部装置に接続されている記録媒体などに記憶される。記憶部（後述する）などに記憶されている撮像画像を処理する場合、本実施形態に係る提示制御装置は、例えば、記憶部（後述する）などに記憶されている撮像画像を読み出し、読み出された撮像画像を処理する。

本実施形態に係る撮像デバイスとしては、例えば、本実施形態に係る提示制御装置が備える撮像部（後述する）を構成する撮像デバイスや、本実施形態に係る提示制御装置に接続されている撮像デバイス、本実施形態に係る提示制御装置の外部装置が備える撮像デバイス、当該外部装置に接続されている撮像デバイスなどが挙げられる。

ここで、本実施形態に係る撮像デバイスは、例えば、ユーザに装着されるデバイスであってもよい。本実施形態に係る撮像デバイスがユーザに装着される場合、本実施形態に係る撮像デバイスは、例えば、ヘッドマウントディスプレイ（Head Mounted Display。以下、「ＨＭＤ」と示す。）のように、ユーザの前方に表示面が位置するようにユーザに装着される表示装置や、時計型の装置などの、ウェアラブル装置に備えられ、または、接続される。本実施形態に係るＨＭＤとしては、例えば、透過型のＨＭＤや、遮蔽型のＨＭＤが挙げられる。また、本実施形態に係る撮像デバイスがユーザに装着される場合、本実施形態に係る撮像画像は、例えば、１人のユーザに装着される撮像デバイスにより撮像された画像、または、異なるユーザに装着される複数の撮像デバイスそれぞれにより撮像された画像を示す。

また、撮像画像に基づき認識される、本実施形態に係る認識対象としては、例えば、撮像画像に含まれるオブジェクトや、複数のオブジェクトの組み合わせ、撮像画像に含まれる空間などが挙げられる。本実施形態に係る提示制御装置は、例えば、画像から特定のオブジェクトなどを認識することが可能な、任意の認識技術を用いて、撮像画像から本実施形態に係る認識対象を認識する。

また、本実施形態に係る認識対象に関連付けられた提示の方法としては、例えば、文字や画像を用いた視覚的な提示方法や、音声（音楽も含む。）を用いた聴覚的な提示方法、振動などを用いた触覚的な提示方法、２以上の提示方法を組み合わせた提示方法などが挙げられる。

本実施形態に係る提示制御装置は、例えば、提示方法に対応する提示を行うことが可能な提示デバイスに対して、提示を制御する制御信号と、提示内容を示すデータ（画像データや、音声データ、振動パターンのデータなど）とを伝達することによって、当該提示デバイスに、認識対象に関連付けられた提示を行わせる。ここで、本実施形態に係る提示デバイスとしては、例えば、本実施形態に係る提示制御装置が備える提示部（後述する）を構成する提示デバイスや、本実施形態に係る提示制御装置に接続されている提示デバイス、本実施形態に係る提示制御装置の外部装置が備える提示デバイス、当該外部装置に接続されている提示デバイスなどが挙げられる。また、本実施形態に係る提示デバイスとしては、例えば、表示デバイス（視覚的な提示方法を行うことが可能な提示デバイスの一例）や、スピーカ（聴覚的な提示方法を行うことが可能な提示デバイスの一例）、バイブレータ（触覚的な提示方法を行うことが可能な提示デバイスの一例）などが挙げられる。

図１は、本実施形態に係る提示制御方法に係る処理の一例を示す流れ図である。ここで、図１に示すステップＳ１００の処理が、本実施形態に係る判定処理に該当し、図１に示すステップＳ１０２の処理が、本実施形態に係る提示制御処理に該当する。

本実施形態に係る提示制御装置は、撮像画像に基づき認識される認識対象に応じた条件を満たすか否かを判定する（Ｓ１００）。なお、本実施形態に係る認識対象の具体例、および、本実施形態に係る認識対象に応じた条件の具体例については、後述する。

ステップＳ１００において、認識対象に応じた条件を満たすと判定されない場合には、本実施形態に係る提示制御装置は、認識対象に応じた条件を満たすと判定されるまで処理を進めない。

また、ステップＳ１００において、認識対象に応じた条件を満たすと判定された場合には、本実施形態に係る提示制御装置は、認識対象に関連付られた提示を行わせる（Ｓ１０２）。本実施形態に係る提示制御装置は、例えば、ステップＳ１００において満たすと判定された条件に対応する提示方法、提示タイミングで、ユーザに対して提示を行わせることによって、認識対象に関連付られた提示を行わせる。なお、本実施形態に係る認識対象に関連付けられた提示の一例については、後述する。

例えば図１に示すように、本実施形態に係る提示制御装置は、撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定し、認識対象に応じた条件を満たすと判定された場合に、認識対象に関連付けられた提示を行わせる。

したがって、本実施形態に係る提示制御装置は、撮像画像に基づき認識される認識対象に応じた提示を、ユーザに対して行わせることができる。また、撮像画像に基づき認識される認識対象に応じた提示をユーザに対して行わせることによって、提示された内容を受け取ったユーザの利便性の向上を図ることができる。

［２］本実施形態に係る提示制御方法に係る処理の具体例
次に、上述した本実施形態に係る提示制御方法に係る処理の具体例について説明する。

［２−１］本実施形態に係る提示制御方法に係る処理の第１の例：物理的に遮蔽されている場所などの提示を実現する例
本実施形態に係る提示制御装置は、例えば、物理的に遮蔽されている場所や物に関する情報や、ユーザから離れたところにある物に関する情報を、ユーザに対して提示させる。

具体例を挙げると、本実施形態に係る提示制御装置は、例えば、新たに取得された撮像画像から、ドアが閉まっている冷蔵庫が検出された場合には、冷蔵庫の中が撮像されている撮像画像のうちの最新の撮像画像に基づく提示内容を、ユーザに対して提示させる。本実施形態に係る提示制御装置は、例えば、ドアが閉まっている冷蔵庫の画像と、冷蔵庫の中が撮像されている最新の撮像画像とが合成された画像や、冷蔵庫の中が撮像されている最新の撮像画像を、ユーザに対して提示させる（本実施形態に係る認識対象に関連付けられた提示の一例）。また、本実施形態に係る提示制御装置は、例えば、冷蔵庫の中が撮像されている最新の撮像画像から検出されたオブジェクトを、文字や音声によって、ユーザに提示してもよい（本実施形態に係る認識対象に関連付けられた提示の他の例）。

上記のように、冷蔵庫の中が撮像されている最新の撮像画像に基づく提示内容が、ユーザに対して提示されることによって、本実施形態に係る提示制御装置は、ドアが閉まっている冷蔵庫の中（物理的に遮蔽されている場所の一例）の状態を、ユーザに認識させることが可能となる。

ここで、上記冷蔵庫の中が撮像されている最新の撮像画像としては、例えば、提示の内容を伝達する対象のユーザに対応する撮像デバイス（例えば、当該ユーザに装着された撮像デバイスなど）により撮像された撮像画像が挙げられるが、本実施形態に係る最新の撮像画像は、上記に限られない。例えば、上記冷蔵庫の中が撮像されている最新の撮像画像は、提示の内容を伝達する対象のユーザとは別のユーザに対応する撮像デバイスにより撮像された撮像画像であってもよい。

上記冷蔵庫の中が撮像されている最新の撮像画像として、提示の内容を伝達する対象のユーザとは別のユーザに対応する撮像デバイスにより撮像された撮像画像が許容される場合には、本実施形態に係る提示制御装置が、より最新の撮像画像を用いた処理を行うことができる可能性が、より高まる。よって、上記冷蔵庫の中が撮像されている最新の撮像画像として、提示の内容を伝達する対象のユーザとは別のユーザに対応する撮像デバイスにより撮像された撮像画像が許容される場合には、本実施形態に係る提示制御装置は、より情報の鮮度が高い提示内容を、ユーザに対して提示させることができる。

上記のように、本実施形態に係る提示制御装置が、提示の内容を伝達する対象のユーザとは別のユーザに対応する撮像デバイスにより撮像された撮像画像を、処理に用いることによって、複数のユーザが共同で使用している物や場所に関するより鮮度の高い提示内容を、複数のユーザで共有することができる。

［２−１−１］第１の例に係る判定処理の一例
第１の例に係る処理を実現する場合、本実施形態に係る提示制御装置は、例えば、撮像画像から所定のオブジェクトが検出されるか（本実施形態に係る認識対象に応じた条件の一例）を、判定する。上記第１の例に係る処理の具体例を実現する場合には、本実施形態に係る提示制御装置は、例えば、撮像画像から冷蔵庫（所定のオブジェクトの一例）が検出される場合に、本実施形態に係る認識対象に応じた条件を満たすと判定する。

なお、第１の例に係る処理における、本実施形態に係る認識対象に応じた条件は、撮像画像から所定のオブジェクトが検出されることに限られない。例えば、本実施形態に係る提示制御装置は、さらに、撮像画像から所定のオブジェクトを検出する処理を開始する信号（例えば、ユーザ操作に基づく操作信号）が検出されることを、本実施形態に係る認識対象に応じた条件とすることも可能である。

［２−１−２］第１の例に係る提示制御処理の一例
撮像画像から冷蔵庫が検出された場合（本実施形態に係る認識対象に応じた条件を満たすと判定された場合）には、本実施形態に係る提示制御装置は、満たすと判定された認識対象に応じた条件に対応する提示を行わせる。例えば、本実施形態に係る提示制御装置は、撮像画像から冷蔵庫が検出された場合に、ドアが閉まっている冷蔵庫の画像と、冷蔵庫の中が撮像されている最新の撮像画像とが合成された画像などを、ユーザに対して提示させる。

本実施形態に係る提示制御装置は、第１の例に係る処理として、例えば上記に示すような処理を行う。

なお、第１の例に係る処理の例は、上記に限られない。

例えば、本実施形態に係る提示制御装置は、上記ドアが閉まっている冷蔵庫の中（物理的に遮蔽されている場所の一例）の状態をユーザに認識させる例と同様の処理を行うことによって、屋内において部屋の壁の向こう側に存在する可能性がある物（物理的に遮蔽されている場所にある物、または、ユーザから離れたところにある物の一例）を提示することも可能である。本実施形態に係る提示制御装置は、例えば、部屋の壁の向こう側に存在する可能性がある物が投影されるような画像を、ユーザに対して提示させる（本実施形態に係る認識対象に関連付けられた提示の一例）。

また、本実施形態に係る提示制御装置は、例えば、記憶部（後述する）などに記憶されている撮像画像を処理する際に、撮像画像から所定のオブジェクトなどを検索し、検索結果を提示させることも可能である。検索結果を提示させることによって、本実施形態に係る提示制御装置は、例えば、物理的に遮蔽されている場所にある物に関する情報や、ユーザから離れたところにある物に関する情報を、ユーザに対して提示させることができる。

図２は、本実施形態に係る提示制御方法に係る処理の第１の例を説明するための説明図である。図２は、撮像画像から所定のオブジェクトとして鍵が検索された場合において、検索結果が提示される場合の提示の一例を示している。ここで、図２は、検索結果が、メガネ型のＨＭＤ（提示デバイスの一例）の表示面に表示される場合を示している。

撮像画像から所定のオブジェクトとして鍵が検索された場合、本実施形態に係る提示制御装置は、例えば図２に示すように、検索された鍵の画像（図２に示すＡ）と、検索された鍵に関する情報（図２に示すＢ）とを表示面に表示させる。

また、例えば図２のＣに示すように、本実施形態に係る提示制御装置は、検索された鍵が存在する方向を提示してもよい。本実施形態に係る提示制御装置は、例えば、ユーザの位置を示す位置情報と、撮像画像に基づき検索された鍵（所定のオブジェクトの一例）の位置を示す位置情報とに基づいて、例えば図２のＣに示すように検索された鍵が存在する方向を提示する。

ここで、ユーザの位置は、例えば、ＧＰＳ（Global Positioning System）デバイスなど、位置を特定することが可能な任意の位置検出デバイスにより検出される。そして、本実施形態に係る提示制御装置は、位置検出デバイスから、検出された位置を示す位置情報を取得することによって、ユーザの位置を特定する。本実施形態に係る位置検出デバイスは、例えば、ユーザに装着されるウェアラブル装置や、ユーザが所持する装置（例えば、携帯電話などの通信装置など）などの、ユーザが装着または所持する装置（以下、総称して「ユーザ装置」と示す。）に備えられる。

また、撮像画像に基づき検索された所定のオブジェクトの位置は、例えば、撮像デバイスの撮像時にメタデータとして記録される。そして、本実施形態に係る提示制御装置は、撮像画像に対応するメタデータを参照することによって、所定のオブジェクトの位置を特定する。

人間は視界に入っている情報のほとんどを捨てているが、ある時点に置いて、視界に入っていた情報がユーザにとって重要な情報となる場合がある。例えば図２に示すように、撮像画像から検索さえた所定のオブジェクトなどの検索結果が提示されることによって、ユーザは、自己の記憶に頼るのではなく、外部化された記憶（すなわち、記憶部（後述する）などに記憶されている撮像画像）から所定のオブジェクトなどを検索することが可能となる。よって、例えば図２に示すように、撮像画像から検索さえた所定のオブジェクトなどの検索結果が提示されることによって、ユーザは、膨大な情報をより小さな労力で管理することができる。

［２−２］本実施形態に係る提示制御方法に係る処理の第２の例：ユーザが所持する物の欠落の提示を実現する例
次に、本実施形態に係る提示制御方法に係る処理の第２の例として、ユーザが所持する物の欠落（以下、「忘れ物」と示す場合がある。）の提示を実現することが可能な処理について説明する。

例えば、記憶部（後述する）などに記憶されている撮像画像が、ユーザに装着される撮像デバイスにより撮像された撮像画像である場合、当該ユーザに対応する撮像画像が記憶部（後述する）などに蓄積されることによって、当該ユーザの行動が画像として記憶される。ここで、記憶部（後述する）などに記憶されている撮像画像には、記録された時刻の情報や、撮像画像が撮像された位置の情報、撮像画像が撮像された時刻の情報などが、メタデータなどにより対応付けられていてもよい。

また、蓄積された撮像画像を解析することによって、ユーザの行動履歴に関する履歴情報（データ）を得ることが可能である。

よって、解析により得られた履歴情報が示すユーザの行動と、新たに取得された撮像画像が示すユーザの行動とを比較することによって、ユーザが忘れ物をしたことを、ユーザに対して提示させることが可能となる。

図３は、本実施形態に係る提示制御方法に係る処理の第２の例を説明するための説明図である。図３に示すＡは、履歴情報が示すユーザの行動の一例を示しており、図３に示すＢは、新たに取得された撮像画像が示すユーザの行動の一例を示している。

例えば、図３のＡに示すユーザの行動と、図３のＢに示すユーザの行動とを比較すると、“ケータイデンワを取る”というユーザの行動が、新たに取得された撮像画像から得られていない。履歴情報が示すユーザの行動と新たに取得された撮像画像が示すユーザの行動とを比較して、差分をとることによって、本実施形態に係る提示制御装置は、例えば図３に示す例のように、“ケータイデンワを取る”というユーザの行動が行われていないことを検出し、ケータイデンワという忘れ物がある旨をユーザに対して提示させることができる。

以下、第２の例に係る判定処理および提示制御処理の一例について、より具体的に説明する。

［２−２−１］第２の例に係る判定処理の一例
本実施形態に係る提示制御装置は、例えば、ユーザの行動履歴に関する条件と、提示の内容を伝達する対象のユーザの状態に関する条件とを、本実施形態に係る認識対象に応じた条件として、判定処理を行う。

より具体的には、まず、本実施形態に係る提示制御装置は、例えば図３を参照して説明したように、履歴情報と撮像画像とに基づいて、忘れ物、すなわち、ユーザが所持している物の欠落を検出する。そして、本実施形態に係る提示制御装置は、ユーザが所持している物に欠落が検出された場合に、ユーザの行動履歴に関する条件を満たすと判定する。つまり、第２の例に係る判定処理におけるユーザの行動履歴に関する条件としては、例えば、ユーザが所持する物の欠落に関する条件、すなわち、ユーザが所持する物に欠落があるという条件が挙げられる。

本実施形態に係る提示制御装置は、ユーザが所持する物の欠落に関する条件（ユーザの行動履歴に関する条件の一例）を満たすと判定されると、ユーザの状態に関する条件を満たすかを判定する。第２の例に係る判定処理におけるユーザの状態に関する条件としては、例えば、ユーザが所定の行動をとっているかに関する条件、すなわち、ユーザが所定の行動をとっているという条件が挙げられる。

そして、本実施形態に係る提示制御装置は、ユーザの状態に関する条件を満たすと判定された場合に、認識対象に応じた条件を満たすと判定する。

より具体的には、本実施形態に係る提示制御装置は、例えば、撮像画像、ユーザの動きを示す動き情報、ユーザの位置を示す位置情報のうちの、１または２以上に基づいて、ユーザの行動を推定する。例えば、本実施形態に係る提示制御装置は、撮像画像に含まれるオブジェクトを解析することによって、ユーザが電車やバスなどの車内にいること、すなわち、電車などに乗車中であることなどを推定する。また、本実施形態に係る提示制御装置は、例えば、動き情報が示す動きに基づいて、ユーザが運動中であるか否かや、運動の程度、ユーザの姿勢の変化（例えば、立っている状態と座っている状態との変化など）などを推定する。また、本実施形態に係る提示制御装置は、例えば、動き情報が示す動きと、位置情報が示す位置の変化とに基づいて、ユーザが自動車や自転車などを運転していることなどを推定する。なお、本実施形態に係るユーザの行動の推定に係る処理は、上記に示す例に限られず、本実施形態に係る提示制御装置は、ユーザの行動を推定することが可能な任意の技術を用いることが可能である。

そして、本実施形態に係る提示制御装置は、推定されたユーザの行動が、ユーザの状態に関する条件に係る所定の行動である場合に、ユーザの状態に関する条件を満たすと判定する。

ここで、ユーザの動きは、例えば、加速度センサやジャイロセンサなど、動きを直接的に検出することが可能な任意の動き検出センサや、心拍数や血圧、脳波などの生体に関する値を検出する生体センサなど、動きを間接的に検出することが可能な任意の動き検出センサにより検出される。以下では、動きを直接的に検出することが可能な動き検出センサと、動きを間接的に検出することが可能な動き検出センサとを、総称して「動き検出センサ」と示す。

そして、本実施形態に係る提示制御装置は、動き検出センサから、検出された動きを示す動き情報を取得することによって、ユーザの動きを特定する。本実施形態に係る動き検出センサは、例えばユーザ装置に備えられる。なお、例えば、本実施形態に係る提示制御装置が、上記ユーザ装置である場合には、本実施形態に係る提示制御装置が、本実施形態に係る動き検出センサを備えることとなる。

また、本実施形態に係る提示制御装置は、上述したように、位置検出デバイスから、検出された位置を示す位置情報を取得することによって、ユーザの位置を特定する。

図４は、本実施形態に係る提示制御方法に係る処理の第２の例を説明するための説明図であり、本実施形態に係る提示制御装置が、第２の例に係る提示制御方法に係る処理において用いるテーブルの一例を示している。図４に示すＡは、ユーザの状態に関する条件に係る所定の行動の一例、すなわち、ユーザが所定の行動をとっているかに関する条件の一例を示している。また、図４に示すＢは、第２の例に係る提示制御処理において提示を行わせる提示タイミング、トリガーの一例を示しており、図４に示すＣは、第２の例に係る提示制御処理において提示を行わせる提示方法、提示内容の一例を示している。

本実施形態に係る提示制御装置は、推定されたユーザの行動が、例えば図４のＡに示すいずれかの行動に該当する場合に、推定されたユーザの行動がユーザの状態に関する条件に係る所定の行動であると判定する。

本実施形態に係る提示制御装置は、ユーザが所持する物の欠落に関する条件（ユーザの行動履歴に関する条件の一例）を満たすと判定された場合には、例えば、ユーザの行動の推定結果と、図４に示すようなテーブルとを用いることによって、ユーザの状態に関する条件を満たすかを判定する。

［２−２−２］第２の例に係る提示制御処理の一例
認識対象に応じた条件を満たすと判定された場合には、本実施形態に係る提示制御装置は、満たすと判定された認識対象に応じた条件に対応する提示を行わせる。例えば、本実施形態に係る提示制御装置は、図４に示すようなテーブルを参照することによって、推定されたユーザの行動に該当する所定の行動に対応する、提示タイミング・トリガー（図４に示すＢ）と、提示方法・提示内容（図４に示すＣ）とを特定する。そして、本実施形態に係る提示制御装置は、特定された提示タイミング・トリガー、および提示方法・提示内容によって、ユーザに対して提示を行わせる。

図５は、本実施形態に係る提示制御方法に係る処理の第２の例を説明するための説明図であり、提示内容が視覚的に提示される場合の一例を示している。図５では、提示内容が、メガネ型のＨＭＤ（提示デバイスの一例）の表示面に表示される場合を示している。

例えば図４のＣ１に示す提示方法・提示内容で提示を行わせる場合、本実施形態に係る提示制御装置は、例えば、まず、図５のＡに示すように表示面の端にアラートアイコンを表示させる。そして、本実施形態に係る提示制御装置は、例えば、撮像画像や動き情報、位置情報などに基づいて、ユーザが安全な閲覧環境に存在すると判定された場合に、図５のＢに示すようなダイヤルボックス型のアラート表示によって、忘れ物（ユーザが所持している物の欠落）を提示する。

また、例えば図４のＣ２に示す提示方法・提示内容で提示を行わせる場合、本実施形態に係る提示制御装置は、例えば、図５のＢに示すようなダイヤルボックス型のアラート表示によって、忘れ物（ユーザが所持している物の欠落）を提示する。

また、例えば図４のＣ３に示す提示方法・提示内容で提示を行わせる場合、本実施形態に係る提示制御装置は、例えば、表示面の端にアイコンなどを表示させない。本実施形態に係る提示制御装置は、例えば、撮像画像や動き情報などに基づいて、ユーザの運動の程度が軽くなったと判定された場合には、図５のＡに示すように表示面の端にアラートアイコンを表示させる。そして、本実施形態に係る提示制御装置は、例えば、設定されている一定時間が経過すると、図５のＣに示すように、アラートアイコンを、忘れ物（ユーザが所持している物の欠落）を示すアイコンや文字に切り換えることによって、忘れ物（ユーザが所持している物の欠落）を提示する。

また、例えば図４のＣ４に示す提示方法・提示内容で提示を行わせる場合、本実施形態に係る提示制御装置は、例えば、図５のＡに示すように表示面の端にアラートアイコンを表示させる。そして、本実施形態に係る提示制御装置は、例えば、設定されている一定時間が経過すると、図５のＣに示すように、アラートアイコンを、忘れ物（ユーザが所持している物の欠落）を示すアイコンや文字に切り換えることによって、忘れ物（ユーザが所持している物の欠落）を提示する。

本実施形態に係る提示制御装置は、例えば図５に示すように、特定された提示タイミング・トリガー、および提示方法・提示内容によって、ユーザに対して提示を行わせる。なお、第２の例に係る提示制御方法に係る処理において実現される提示の例が、図４や図５に示す例に限られないことは、言うまでもない。

［２−３］本実施形態に係る提示制御方法に係る処理の第３の例：習慣的な行動の欠落の提示を実現する例
次に、本実施形態に係る提示制御方法に係る処理の第３の例として、習慣的な行動の欠落の提示を実現するための処理について説明する。

上記第２の例に係る処理において示したように、例えば、記憶部（後述する）などに記憶されている撮像画像が、ユーザに装着される撮像デバイスにより撮像された撮像画像である場合、当該ユーザに対応する撮像画像が記憶部（後述する）などに蓄積されることによって、当該ユーザの行動が画像として記憶される。また、蓄積された撮像画像を解析することによって、履歴情報を得ることが可能である。

よって、解析により得られた履歴情報が示すユーザの行動と、新たに取得された撮像画像が示すユーザの行動とを比較することによって、習慣的な行動が欠落したことを、ユーザに対して提示させることが可能となる。

図６は、本実施形態に係る提示制御方法に係る処理の第３の例を説明するための説明図である。図６に示すＡは、履歴情報が示すユーザの行動の一例を示しており、図６に示すＢは、新たに取得された撮像画像が示すユーザの行動の一例を示している。

例えば、図６のＡに示すユーザの行動と、図６のＢに示すユーザの行動とを比較すると、“家のカギを閉める”というユーザの行動が、新たに取得された撮像画像から得られていない。履歴情報が示すユーザの行動と新たに取得された撮像画像が示すユーザの行動とを比較して、差分をとることによって、本実施形態に係る提示制御装置は、例えば図６に示す例のように、“家のカギを閉める”というユーザの行動が行われていないことを検出し、習慣的な行動が欠落している旨をユーザに対して提示させることができる。

以下、第３の例に係る判定処理および提示制御処理の一例について、より具体的に説明する。

［２−３−１］第３の例に係る判定処理の一例
本実施形態に係る提示制御装置は、上記第２の例に係る処理と同様に、例えば、ユーザの行動履歴に関する条件と、提示の内容を伝達する対象のユーザの状態に関する条件とを、本実施形態に係る認識対象に応じた条件として、判定処理を行う。

より具体的には、まず、本実施形態に係る提示制御装置は、例えば図６を参照して説明したように、履歴情報と撮像画像とに基づいて、ユーザの行動の欠落を検出する。そして、本実施形態に係る提示制御装置は、ユーザの行動に欠落が検出された場合に、ユーザの行動履歴に関する条件を満たすと判定する。つまり、第３の例に係る判定処理におけるユーザの行動履歴に関する条件としては、例えば、ユーザの行動の欠落に関する条件、すなわち、ユーザの行動に欠落があるという条件が挙げられる。

本実施形態に係る提示制御装置は、ユーザの行動の欠落に関する条件（ユーザの行動履歴に関する条件の一例）を満たすと判定されると、ユーザの状態に関する条件を満たすかを判定する。ここで、第３の例に係る判定処理におけるユーザの状態に関する条件としては、上記第２の例に係る処理と同様に、例えば、ユーザが所定の行動をとっているかに関する条件、すなわち、ユーザが所定の行動をとっているという条件が挙げられる。つまり、第３の例に係る判定処理を行う本実施形態に係る提示制御装置は、例えば、上記第２の例に係る判定処理を行う場合と同様に、ユーザの状態に関する条件を満たすかを判定することが可能である。

そして、本実施形態に係る提示制御装置は、ユーザの状態に関する条件を満たすと判定された場合に、認識対象に応じた条件を満たすと判定する。

［２−３−２］第３の例に係る提示制御処理の一例
認識対象に応じた条件を満たすと判定された場合には、本実施形態に係る提示制御装置は、満たすと判定された認識対象に応じた条件に対応する提示を行わせる。例えば、本実施形態に係る提示制御装置は、上記第２の例に係る提示制御処理と同様に、図４に示すようなテーブルを参照することによって、推定されたユーザの行動に該当する所定の行動に対応する、提示タイミング・トリガーと、提示方法・提示内容とを特定する。そして、本実施形態に係る提示制御装置は、特定された提示タイミング・トリガー、および提示方法・提示内容によって、ユーザに対して提示を行わせる。

［２−４］本実施形態に係る提示制御方法に係る処理の第４の例：オブジェクトに関する情報の提示を実現する例
次に、本実施形態に係る提示制御方法に係る処理の第４の例として、オブジェクトに関する情報の提示を実現するための処理について説明する。

例えば、記憶部（後述する）などに記憶されている撮像画像それぞれに対して、オブジェクト認識技術を用いた解析を行うことによって、撮像画像から認識されるオブジェクトごとに、解析結果をメタデータとして記録することが可能である。そこで、本実施形態に係る提示制御装置は、例えば、新たに取得された撮像画像から所定のオブジェクトが検出された場合（認識対象に応じた条件の一例）に、最後の使用状況や使用回数など、検出された所定のオブジェクトに関連する提示内容を、ユーザに対して提示させる。

以下、第４の例に係る判定処理および提示制御処理の一例について、より具体的に説明する。

［２−４−１］第４の例に係る判定処理の一例
本実施形態に係る提示制御装置は、例えば、撮像画像に所定のオブジェクトが含まれるかに関する条件と、提示の内容を伝達する対象のユーザの状態に関する条件とを、本実施形態に係る認識対象に応じた条件として、判定処理を行う。

より具体的には、本実施形態に係る提示制御装置は、例えば、新たに取得された撮像画像を解析して、撮像画像に含まれるオブジェクトを検出する。また、本実施形態に係る提示制御装置は、例えば、検出されたオブジェクトが、どのオブジェクトのカテゴリに分類されるかを判定してもよい。以下では、本実施形態に係る提示制御装置が、撮像画像から検出されたオブジェクトが、どのオブジェクトのカテゴリに分類されるかを判定する場合を例に挙げて、第４の例に係る判定処理の一例を説明する。

また、本実施形態に係る提示制御装置は、例えば、新たに取得された撮像画像を解析して、ユーザの行動を特定する。

そして、本実施形態に係る提示制御装置は、例えば、撮像画像から所定のオブジェクト（または、所定のカテゴリに属するオブジェクト。以下、同様とする。）が検出され、撮像画像から所定のオブジェクトに対応するユーザの行動が検出された場合に、認識対象に応じた条件を満たすと判定する。つまり、第４の例に係る判定処理における撮像画像に所定のオブジェクトが含まれるかに関する条件としては、例えば、撮像画像から所定のオブジェクトが検出されるという条件が挙げられる。また、第４の例に係る判定処理におけるユーザの状態に関する条件としては、例えば、所定のオブジェクトに対応するユーザの行動に関する条件、すなわち、撮像画像から所定のオブジェクトに対応するユーザの行動が検出されるという条件が挙げられる。

なお、第４の例に係る判定処理における、認識対象に応じた条件は、上記に示す例に限られない。

例えば、第４の例に係る判定処理における、認識対象に応じた条件には、さらに、所定のオブジェクトに関する環境の条件が含まれていてもよい。ここで、本実施形態に係る所定のオブジェクトに関する環境の条件としては、例えば、ユーザの位置に関する条件や、撮像画像から検出されたオブジェクトと同種のオブジェクトが所定の場所に存在するかに関する条件、時刻に関する条件などが、挙げられる。また、本実施形態に係る所定のオブジェクトに関する環境の条件は、例えば、上記の各種条件のうちの２以上の条件を組み合わせた条件であってもよい。本実施形態に係る所定のオブジェクトに関する環境の条件の具体例については、後述する。

認識対象に応じた条件として、さらに、所定のオブジェクトに関する環境の条件が含まれる場合には、本実施形態に係る提示制御装置は、例えば、さらに、所定のオブジェクトに関する環境の条件を満たす場合に、認識対象に応じた条件を満たすと判定する。

図７は、本実施形態に係る提示制御方法に係る処理の第４の例を説明するための説明図であり、本実施形態に係る提示制御装置が、第４の例に係る提示制御方法に係る処理において用いるテーブルの一例を示している。図７に示すＡは、撮像画像に所定のオブジェクトが含まれるかに関する条件の一例を示しており、オブジェクトのカテゴリの一例を示している。また、図７に示すＢは、ユーザの状態に関する条件の一例を示しており、所定のオブジェクトに対応するユーザの行動の一例を示している。また、図７に示すＣは、所定のオブジェクトに関する環境の条件の一例を示している。また、図７に示すＤは、第４の例に係る提示制御処理において提示を行わせる提示内容の一例を示している。

ここで、図７のＣに示す“自宅にいる”、“外出している”、“自宅か”は、ユーザの位置に関する条件の一例に該当する。また、図７のＣに示す“同じ食料品が自宅にあるか”は、撮像画像から検出されたオブジェクトと同種のオブジェクトが所定の場所に存在するかに関する条件の一例に該当する。また、図７のＣに示す“現在時刻”は、時刻に関する条件の一例に該当する。

本実施形態に係る提示制御装置は、撮像画像から検出されたオブジェクトのカテゴリが、例えば図７のＡに示すいずれかのカテゴリに該当する場合に、撮像画像から所定のオブジェクトが検出されたと判定する。

また、本実施形態に係る提示制御装置は、撮像画像を解析して得られたユーザの行動が、例えば図７のＢに示すような、検出された所定のオブジェクトに対応する行動である場合に、撮像画像から所定のオブジェクトに対応するユーザの行動が検出されたと判定する。

また、認識対象に応じた条件として、さらに、所定のオブジェクトに関する環境の条件を判定する場合には、本実施形態に係る提示制御装置は、検出された所定のオブジェクトに対応する、環境の条件を満たすか否かを判定する。本実施形態に係る提示制御装置は、例えば、ユーザの位置を示す位置情報や、記憶部（後述する）などに記憶されている撮像画像、時計などから取得される時刻を示す時間情報などに基づいて、環境の条件を満たすか否かを判定する。

なお、第４の例に係るユーザの状態に関する条件である、所定のオブジェクトに対応するユーザの行動は、図７のＢに示す例に限られない。

図８は、本実施形態に係る提示制御方法に係る処理の第４の例を説明するための説明図であり、本実施形態に係る提示制御装置が、第４の例に係る提示制御方法に係る処理において用いるテーブルの他の例を示している。図８に示すＡは、図７に示すＡと同様に、撮像画像に所定のオブジェクトが含まれるかに関する条件の一例を示しており、図８では、オブジェクトのカテゴリの具体例を省略して表している。また、図８に示すＢは、ユーザの状態に関する条件の一例を示しており、所定のオブジェクトに対応するユーザの行動の他の例を示している。また、図８に示すＣは、第４の例に係る提示制御処理において提示を行わせる提示内容の一例を示している。

例えば図８に示すようなテーブルを用いる場合、本実施形態に係る提示制御装置は、撮像画像を解析して得られたユーザの行動が、例えば図８のＢに示すような、所定のジェスチャ（所定のオブジェクトに対応する行動の一例）である場合に、撮像画像から所定のオブジェクトに対応するユーザの行動が検出されたと判定する。

例えば、図８のＢに示すように、本実施形態に係る提示制御装置が、所定のジェスチャを検出することによって、撮像画像から所定のオブジェクトに対応するユーザの行動が検出されたと判定する場合には、ユーザは、より明示的に、本実施形態に係る提示制御方法に係る処理を本実施形態に係る提示制御装置に行わせることが可能となる。つまり、ユーザは、より明示的に、オブジェクトに関する情報の提示を受けることができる。また、より明示的に本実施形態に係る提示制御方法に係る処理を本実施形態に係る提示制御装置に行わせることが可能であるので、ユーザは、より迅速に、オブジェクトに関する情報の提示を受けることが可能となる。

また、図８に示すように、本実施形態に係る提示制御装置は、図７のＣに示すような所定のオブジェクトに関する環境の条件を、認識対象に応じた条件の一つとして判定しないことが可能である。

［２−４−２］第４の例に係る提示制御処理の一例
認識対象に応じた条件を満たすと判定された場合には、本実施形態に係る提示制御装置は、満たすと判定された認識対象に応じた条件に対応する提示を行わせる。例えば、本実施形態に係る提示制御装置は、図７や図８に示すようなテーブルを参照することによって、検出された所定のオブジェクトに対応する提示内容（図７に示すＤや、図８に示すＤ）を特定する。そして、本実施形態に係る提示制御装置は、特定された提示内容によって、ユーザに対して提示を行わせる。

図９、図１０は、本実施形態に係る提示制御方法に係る処理の第４の例を説明するための説明図であり、提示内容が視覚的に提示される場合の一例を示している。図９、図１０では、提示内容が、メガネ型のＨＭＤ（提示デバイスの一例）の表示面に表示される場合を示している。ここで、図９は、本実施形態に係る提示制御装置が、図７に示すテーブルを参照することによって、検出された所定のオブジェクトに対応する提示内容を特定した場合における、提示の一例を示している。また、図１０は、本実施形態に係る提示制御装置が、図８に示すテーブルを参照することによって、検出された所定のオブジェクトに対応する提示内容を特定した場合における、提示の一例を示している。

例えば図７のＤ１に示す提示内容で提示を行わせる場合、本実施形態に係る提示制御装置は、例えば、図９のＡに示すように、検出された所定のオブジェクトであるメディア系に該当するオブジェクトに対して、図７のＤ１に示す提示内容を、オブジェクトに関する情報として提示させる。

また、例えば図７のＤ２に示す提示内容で提示を行わせる場合、本実施形態に係る提示制御装置は、例えば、図９のＢに示すように、検出された所定のオブジェクトである調理用食料品に該当するオブジェクトに対して、図７のＤ２に示す提示内容を、オブジェクトに関する情報として提示させる。

また、例えば図７のＤ３に示す提示内容で提示を行わせる場合、本実施形態に係る提示制御装置は、例えば、図９のＣに示すように、検出された所定のオブジェクトである非調理用食料品に該当するオブジェクトに対して、図７のＤ３に示す提示内容を、オブジェクトに関する情報として提示させる。

また、例えば図７のＤ４に示す提示内容で提示を行わせる場合、本実施形態に係る提示制御装置は、例えば、図９のＤに示すように、検出された所定のオブジェクトであるＰＣに該当するオブジェクトに対して、図７のＤ４に示す提示内容を、オブジェクトに関する情報として提示させる。

また、図８に示すように、所定のジェスチャを検出することによって、撮像画像から所定のオブジェクトに対応するユーザの行動が検出されたと判定される場合には、本実施形態に係る提示制御装置は、例えば、３本指でオブジェクトを指示するジェスチャ（図１０に示すＡ）や、両手でオブジェクトを囲むジェスチャ（図１０に示すＢ）などの所定のジェスチャに応じて、オブジェクトに対応する提示内容を、オブジェクトに関する情報として提示させる。

なお、第４の例に係る提示制御方法に係る処理における、提示内容の視覚的な提示方法は、図９、図１０に示す例に限られない。

図１１は、本実施形態に係る提示制御方法に係る処理の第４の例を説明するための説明図であり、提示内容が視覚的に提示される場合の他の例を示している。

例えば図１１に示すように、本実施形態に係る提示制御装置は、撮像画像から検出された所定のオブジェクト上に、オブジェクトに対応する提示内容が重畳して表示されるように、オブジェクトに対応する提示内容を、ユーザに対して提示させることも可能である。本実施形態に係る提示制御装置は、例えば、撮像画像から検出された所定のオブジェクトとオブジェクトに対応する提示内容とが合成された画像を、ＨＭＤ（提示デバイスの一例）の表示面に表示させることによって、図１１に示すような提示を実現する。

［２−５］本実施形態に係る提示制御方法に係る処理の第５の例
本実施形態に係る提示制御方法に係る処理は、上記第１の例に係る処理〜上記第４の例に係る処理に限られない。例えば、本実施形態に係る提示制御装置は、本実施形態に係る提示制御処理として、複数の撮像画像に基づき構成される三次元空間画像を利用した提示を行うことも可能である。

［２−５−１］第５の例に係る提示制御処理の第１の例
本実施形態に係る提示制御装置は、例えば、複数の撮像画像に基づいて、三次元空間画像を構成する。本実施形態に係る提示制御装置は、例えば、定期的に、非定期的に、または、記憶部（図示せず）などに記憶されている撮像画像の画像数が設定されている数分増加したときに、記憶部（図示せず）などに記憶されている複数の撮像画像を用いて、三次元空間画像を構成する。ここで、本実施形態に係る提示制御装置は、複数の画像を用いて三次元空間画像を構成することが可能な、任意の技術を用いて、三次元空間画像を構成する。

また、本実施形態に係る提示制御装置は、構成された三次元空間画像を用いて、認識対象に関連付けられた提示を行わせる。

図１２は、本実施形態に係る提示制御方法に係る処理の第５の例を説明するための説明図であり、構成された三次元空間画像を用いた認識対象に関連付けられた提示の一例を示している。ここで、図１２に示すＡ〜Ｃは、例えば、図２と同様に撮像画像から所定のオブジェクトとして鍵が検索された場合において、検索結果が、メガネ型のＨＭＤ（提示デバイスの一例）の表示面に表示される場合の一例をそれぞれ示している。

本実施形態に係る提示制御装置は、例えば、検索された鍵（所定のオブジェクトの一例）を含む撮像画像を用いたパターンマッチングなどによって、当該撮像画像が三次元空間画像のどのあたりに該当するか、すなわち、検索された鍵が三次元空間画像のどのあたりに存在するかを特定する。そして、本実施形態に係る提示制御装置は、例えば、図１２のＡのＡ１、図１２のＢのＢ１に示すように、検索された鍵の位置を、三次元空間画像上に表示させることによって、ユーザに対して、認識対象に関連付けられた提示を行わせる。

また、本実施形態に係る提示制御装置は、例えば、さらにユーザの位置を示す位置情報を用いて、三次元空間画像のどのあたりにユーザが存在するか、すなわち、三次元空間画像におけるユーザの位置を特定してもよい。さらに、三次元空間画像におけるユーザの位置を特定する場合には、例えば、図１２のＣのＣ１に示すように、ユーザを鍵まで誘導する表示を行わせることによって、ユーザに対して、認識対象に関連付けられた提示を行わせる。ここで、図１２のＣのＣ１に示すような表示は、例えば、ＡＲ（Augmented Reality）技術を用いることによって、実現される。

例えば図１２に示すような認識対象に関連付けられた提示を行わせることによって、ユーザを、検索された所定のオブジェクトが存在する位置など、所定の位置に誘導させることが可能となる。

［２−５−２］第５の例に係る提示制御処理の第２の例
なお、構成された三次元空間画像を用いた提示の例は、図１２に示す例に限られない。例えば、本実施形態に係る提示制御装置は、上記第５の例に係る提示制御処理の第１の例と同様の処理により構成された、三次元空間画像上に、仮想的なオブジェクトを表示させることも可能である。

図１３は、本実施形態に係る提示制御方法に係る処理の第５の例を説明するための説明図であり、構成された三次元空間画像を用いた提示の一例を示している。図１３に示すＡは、構成された三次元空間画像が示す三次元空間の基となった、実際の空間の一例を示している。また、図１３に示すＢは、構成された三次元空間画像が示す三次元空間に、仮想的なテレビ受像機（仮想的なオブジェクトの一例）が表示された場合の一例を示している。

三次元空間画像が構成されることによって、本実施形態に係る提示制御装置は、図１３のＡに示すような実際の空間に対応する三次元空間を特定することが可能となる。よって、本実施形態に係る提示制御装置は、三次元空間に対して実際のオブジェクトに対応する仮想的なオブジェクトを配置することによって、例えば図１３のＢに示すように、あたかも、実際の空間に実際のオブジェクトが配置されたような、シミュレーションを実現することができる。

ここで、本実施形態に係る提示制御装置は、本実施形態に係る提示制御装置は、構成された三次元空間画像を用いて、図１３のＢに示すようなシミュレーションを実現するので、既存のＡＲ技術のように、ＡＲマーカーを使用する必要はなく、また、ユーザは、スマートフォンなどの情報処理装置をかざす必要はない。したがって、本実施形態に係る提示制御装置は、より利便性の高い仮想的なオブジェクトのレイアウトのシミュレーションを、ユーザに提供することができる。

［２−６］本実施形態に係る提示制御方法に係る処理の第６の例
本実施形態に係る提示制御装置は、例えば、上記第１の例に係る処理〜上記第５の例に係る処理のうちの、２以上の処理を、組み合わせた処理を行うことが可能である。

本実施形態に係る提示制御装置は、例えば、上記第１の例に係る処理〜上記第６の例に係る処理を、本実施形態に係る提示制御方法に係る処理として行う。ここで、本実施形態に係る提示制御装置は、例えば、撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定し、認識対象に応じた条件を満たすと判定された場合に、認識対象に関連付けられた提示を行わせる。

したがって、本実施形態に係る提示制御装置は、撮像画像に基づき認識される認識対象に応じた提示を、ユーザに対して行わせることができる。

また、本実施形態に係る提示制御装置は、例えば、ユーザに装着される撮像デバイスなどの本実施形態に係る撮像デバイスにより撮像された撮像画像を処理する。ここで、撮像画像に含まれるオブジェクトが、ネットワーク対応ではないオブジェクトであっても、撮像画像を処理することによって、本実施形態に係る提示制御装置は、当該ネットワーク対応ではないオブジェクトに関する情報を用いることが可能である。よって、ユーザは、例えば、ネットワーク対応ではない機器（オブジェクトの一例）をネットワークに対応させたり、全ての機器をネットワーク対応の機器としなくても、本実施形態に係る提示制御方法による提示を受けることができる。

また、本実施形態に係る提示制御装置は、撮像画像に対して各種のオブジェクト認識処理（例えば、オブジェクトの種類を認識する処理など）が行われることにより得られるメタデータを用いることによって、ユーザのコンテキストに応じた提示内容を、ユーザに対して提示させることができる。

また、本実施形態に係る提示制御装置は、例えば、上記第２の例に係る処理や上記第３の例に係る処理のように、履歴情報と新たに取得された撮像画像とを用いたユーザの行動のマッチングなどによって、普段とは異なるユーザの行動を検出し、普段とは異なるユーザの行動が行われた旨を提示させることが可能である。よって、本実施形態に係る提示制御装置は、例えば、上述した忘れ物防止や習慣的な行動の欠落防止だけでなく、普段とは異なるユーザの行動により引き起こされる事故などの防止を図ることができる。

（本実施形態に係る提示制御装置）
次に、上述した本実施形態に係る提示制御方法に係る処理を行うことが可能な、本実施形態に係る提示制御装置の構成の一例について、説明する。

図１４は、本実施形態に係る提示制御装置１００の構成の一例を示すブロック図である。提示制御装置１００は、例えば、通信部１０２と、制御部１０４とを備える。

また、提示制御装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、撮像画像を撮像する撮像部（図示せず）などを備えていてもよい。ここで、表示部（図示せず）を備える場合、表示部（図示せず）は、視覚的な提示方法によって提示を行う提示部の役目を果たす。提示制御装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。

ここで、ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、提示制御装置１００が備える記憶手段であり、例えば、撮像画像を示す画像データや、撮像画像に対応するメタデータ、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、提示制御装置１００から着脱可能であってもよい。

操作部（図示せず）としては、例えば後述する操作デバイスが挙げられ、また、表示部（図示せず）としては、例えば後述する表示デバイスが挙げられる。また、撮像部（図示せず）としては、例えば後述する撮像デバイスが挙げられる。

［提示制御装置１００のハードウェア構成例］
図１５は、本実施形態に係る提示制御装置１００のハードウェア構成の一例を示す説明図である。提示制御装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、通信インタフェース１５８と、入出力インタフェース１６０と、操作入力デバイス１６２と、表示デバイス１６４と、位置検出デバイス１６６と、動き検出センサ１６８と、撮像デバイス１７０とを備える。また、提示制御装置１００は、例えば、データの伝送路としてのバス１７２で各構成要素間を接続する。

ＭＰＵ１５０は、例えば、ＭＰＵや各種処理回路などで構成され、提示制御装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、提示制御装置１００において、例えば、後述する判定部１１０および提示制御部１１２の役目を果たす。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部（図示せず）として機能し、例えば、撮像画像を示す画像データや、撮像画像に対応するメタデータ、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、提示制御装置１００から着脱可能であってもよい。

通信インタフェース１５８は、提示制御装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、ユーザに装着されるウェアラブル装置や、ユーザが所持する装置（例えば、携帯電話などの通信装置など）、サーバなどの外部装置と無線／有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１５８としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

入出力インタフェース１６０は、例えば、操作入力デバイス１６２や、表示デバイス１６４を接続する。ここで、入出力インタフェース１６０としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。なお、入出力インタフェース１６０が、提示制御装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。

操作入力デバイス１６２は、操作部（図示せず）の役目を果たす。操作入力デバイス１６２は、例えば、提示制御装置１００上に備えられ、提示制御装置１００の内部で入出力インタフェース１６０と接続される。操作入力デバイス１６２としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。

表示デバイス１６４は、表示部（図示せず）の役目を果たし、視覚的な提示方法を行うことが可能な提示デバイスとして機能する。表示デバイス１６４は、例えば、提示制御装置１００上に備えられ、提示制御装置１００の内部で入出力インタフェース１６０と接続される。表示デバイス１６４としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（Organic Electro-Luminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。また、表示デバイス１６４は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。

位置検出デバイス１６６は、提示制御装置１００の位置（または、提示制御装置１００を所持するユーザの位置）を検出する。位置検出デバイス１６６としては、例えば、ＧＰＳデバイスや、基地局やアクセスポイントとの通信結果などに基づき位置を推定するデバイスなど、位置を特定することが可能な任意の位置検出デバイスが挙げられる。

動き検出センサ１６８は、提示制御装置１００の動き、または、提示制御装置１００を所持するユーザの動きを検出する。動き検出センサ１６８としては、例えば、加速度センサやジャイロセンサなど、動きを直接的に検出することが可能なセンサや、心拍数や血圧、脳波などの生体に関する値を検出する生体センサなど、動きを間接的に検出することが可能なセンサが挙げられる。

撮像デバイス１７０は、撮像部（図示せず）として機能する。撮像デバイス１７０としては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳなどの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。

提示制御装置１００は、例えば図１５に示す構成によって、本実施形態に係る提示制御方法に係る処理を行う。なお、本実施形態に係る提示制御装置１００のハードウェア構成は、図１５に示す構成に限られない。

例えば、提示制御装置１００は、通信方式が異なる、または、通信方式が同一の、複数の通信インタフェースを備えていてもよい。

また、例えば、入出力インタフェース１６０などを介して接続される外部通信デバイスを介して、外部装置と通信を行う場合や、スタンドアロンで処理を行う構成である場合には、提示制御装置１００は、通信インタフェース１５８を備えていなくてもよい。

また、提示制御装置１００は、操作デバイス１６０や表示デバイス１６４を備えない構成をとることが可能である。

また、例えば、提示制御装置１００が、提示制御装置１００の位置や動きを処理に用いない場合には、位置検出デバイス１６６や動き検出センサ１６８を備えない構成をとることが可能である。

また、例えば、提示制御装置１００が、外部装置において撮像された撮像画像を処理する構成である場合には、撮像デバイス１７０を備えない構成をとることが可能である。

また、例えば、提示制御装置１００は、音声を出力する音声出力デバイス（図示せず）や、振動を発生させるバイブレータ（図示せず）をさらに備えていてもよい。ここで、音声出力デバイス（図示せず）としては、例えば、音声信号を増幅する増幅器やスピーカなどが挙げられる。音声出力デバイス（図示せず）は、聴覚的な提示方法を行うことが可能な提示デバイスとして機能し、バイブレータ（図示せず）は、触覚的な提示方法を行うことが可能な提示デバイスとして機能する。つまり、提示制御装置１００が、音声出力デバイス（図示せず）を備える場合、備えられている音声出力デバイス（図示せず）は、聴覚的な提示方法によって提示を行う提示部の役目を果たす。また、提示制御装置１００が、バイブレータ（図示せず）を備える場合、備えられているバイブレータ（図示せず）は、触覚的な提示方法によって提示を行う提示部の役目を果たす。

再度図１４を参照して、提示制御装置１００の構成の一例について説明する。通信部１０２は、提示制御装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、ユーザ装置やサーバなどの外部装置と無線／有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。

例えば、通信部１０２が、外部装置から送信された撮像画像を示す画像信号（デジタル信号、または、アナログ信号）を受信した場合には、制御部１０４（より具体的には、後述する判定部１１０）は、通信部１０２が外部装置から受信した画像信号が示す撮像画像を用いて、本実施形態に係る提示制御方法に係る処理を行う。ここで、制御部１０４（より具体的には、後述する判定部１１０）が処理する、通信部１０２が外部装置から受信した画像信号が示す撮像画像としては、例えば、記憶部（後述する）などに記憶されている画像が挙げられる。なお、制御部１０４は、例えば、通信部１０２から伝達される、外部装置から受信された画像信号を処理することも可能である。

また、例えば、制御部１０４（より具体的には、後述する提示制御部１１２）から、提示を制御する制御信号と提示内容を示すデータ（画像データや、音声データ、振動パターンのデータなど）とが伝達された場合には、通信部１０２は、伝達されたデータを、外部装置に対して送信する。通信部１０２が、制御部１０４から伝達された上記データを外部装置に対して送信することによって、提示制御装置１００は、外部装置に、認識対象に関連付けられた提示を行わせることができる。

ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路など、通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。

制御部１０４は、例えばＭＰＵなどで構成され、提示制御装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、判定部１１０と、提示制御部１１２とを備え、本実施形態に係る提示制御方法に係る処理を主導的に行う役目を果たす。

判定部１１０は、本実施形態に係る判定処理を主導的に行う役目を果たし、撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定する。より具体的には、判定部１１０は、例えば、上記第１の例に係る提示制御方法に係る処理における判定処理〜上記第４の例に係る提示制御方法に係る処理における判定処理、上記第６の例に係る提示制御方法に係る処理における判定処理のうちの、いずれかの処理を行う。

提示制御部１１２は、本実施形態に係る判定処理を主導的に行う役目を果たし、判定部１１０において認識対象に応じた条件を満たすと判定された場合に、認識対象に関連付けられた提示を行わせる。

提示制御部１１２は、例えば、提示デバイスに対して、提示を制御する制御信号と、提示内容を示すデータ（画像データや、音声データ、振動パターンのデータなど）とを伝達することによって、当該提示デバイスに、認識対象に関連付けられた提示を行わせる。

ここで、提示制御部１１２が提示を行わせる提示デバイスとしては、例えば、提示部を構成する提示デバイスや、提示制御装置１００に接続されている提示デバイス、外部装置が備える提示デバイス、当該外部装置に接続されている提示デバイスなどが挙げられる。また、提示制御部１１２が提示を行わせる提示デバイスとしては、例えば、ユーザに装着されている提示デバイスや、ユーザに装着されていない提示デバイスが挙げられる。ユーザに装着されている提示デバイスとしては、例えば、ＨＭＤの表示デバイスや、イヤホン、ウェアラブル装置が備えるバイブレータなどが挙げられる。また、ユーザに装着されていない提示デバイスとしては、例えば、携帯電話などのユーザが所持する装置などが備える表示デバイスや、ユーザが所持する装置などが備えるスピーカ、ユーザが所持する装置などが備えるバイブレータなどが挙げられる。

より具体的には、提示制御部１１２は、例えば、上記第１の例に係る提示制御方法に係る処理における判定処理〜上記第６の例に係る提示制御方法に係る処理における判定処理のうちの、いずれかの処理を行う。

制御部１０４は、例えば、判定部１１０と、提示制御部１１２とを備えることによって、本実施形態に係る提示制御方法に係る処理を主導的に行う。

提示制御装置１００は、例えば図１４に示す構成によって、本実施形態に係る提示制御方法に係る処理（例えば、上記判定処理、および提示制御処理）を行う。

したがって、提示制御装置１００は、例えば図１４に示す構成によって、撮像画像に基づき認識される認識対象に応じた提示を、ユーザに対して行わせることができる。また、提示制御装置１００は、例えば図１４に示す構成によって、上述した本実施形態に係る提示制御方法に係る処理（例えば、上記第１の例に係る提示制御方法に係る処理〜上記第６の例に係る提示制御方法に係る処理）が行われることによって奏される効果を、奏することができる。

なお、本実施形態に係る提示制御装置の構成は、図１４に示す構成に限られない。

例えば、本実施形態に係る提示制御装置は、図１４に示す判定部１１０と、提示制御部１１２との一方または双方を個別に備える（例えば、判定部１１０と、提示制御部１１２との一方または双方を、制御部１０４とは別体の処理回路で実現する）ことができる。

また、本実施形態に係る提示制御装置は、例えば、スタンドアロンで処理を行う構成である場合や、接続される外部通信デバイスを介して、外部装置と通信を行う場合には、通信部１０２を備えていなくてもよい。スタンドアロンで処理を行う構成である場合、本実施形態に係る提示制御装置は、例えば、撮像部（図示せず）や接続されている撮像デバイスにより撮像された撮像画像や、記憶部（図示せず）に記憶されている撮像画像を処理する。

また、本実施形態に係る提示制御装置は、例えば、記憶部（図示せず）、提示デバイスで構成される提示部（図示せず）、撮像デバイスで構成される撮像部（図示せず）のうちの１または２以上を、さらに備えていてもよい。

（本実施形態に係る提示制御システム）
上述したように、本実施形態に係る提示制御装置は、例えば、提示を制御する制御信号と提示内容を示すデータ（画像データや、音声データ、振動パターンのデータなど）とを、外部装置に対して送信することによって、当該外部装置が備える提示デバイスや、当該外部装置に接続されている提示デバイスに、提示を行わせることが可能である。そこで、次に、本実施形態に係る提示制御装置を有する本実施形態に係る提示制御システムの一例について説明する。

図１６は、本実施形態に係る提示制御システム１０００における処理の一例を説明するための説明図である。提示制御システム１０００は、例えば、提示制御装置１００と、ユーザ装置２００Ａ、２００Ｂ、…（以下、総称して「ユーザ装置２００」と示す場合がある。）とを有する。提示制御装置１００とユーザ装置２００とは、例えば、ネットワークを介して（または直接的に）通信を行う。また、ユーザ装置２００は、例えば、図１５に示すハードウェア構成（変形例に係る構成も含む。）を有する。

ユーザ装置２００は、例えば、撮像画像を示す画像信号を提示制御装置１００へ送信する（Ｓ２００Ａ、Ｓ２００Ｂ）。ここで、ユーザ装置２００は、例えば、撮像により撮像画像が生成されるごとに画像信号を提示制御装置１００へ送信するが、ユーザ装置２００が画像信号を送信するタイミングは、上記に限られない。例えば、ユーザ装置２００は、撮像画像の枚数（またはフレーム数）が設定されている閾値以上となった場合、または、撮像画像の枚数（またはフレーム数）が設定されている閾値より大きくなった場合に、画像信号を提示制御装置１００へ送信してもよい。

なお、ステップＳ２００Ａ、Ｓ２００Ｂにおいて、ユーザ装置２００から提示制御装置１００へと送信される信号は、画像信号に限られない。例えば、ユーザ装置２００は、撮像画像に対応するメタデータ（ユーザ装置２００がメタデータを生成する場合）や、動き検出センサの検出値を示すデータ、位置検出デバイスの検出値を示すデータなどを示す信号を、提示制御装置１００へと送信することも可能である。

ユーザ装置２００は、例えば、処理要求を提示制御装置１００へ送信する（Ｓ２０２Ａ、Ｓ２０２Ｂ）。ここで、本実施形態に係る処理要求としては、例えば、所定のオブジェクトなどの検索に係る処理の開始を要求する検索処理要求など、上述した第１の例に係る提示制御方法に係る処理〜上記第６の例に係る提示制御方法に係る処理を行わせるための処理命令を含む信号が挙げられる。

ステップＳ２０２Ａ、Ｓ２０２Ｂにおいて、ユーザ装置２００から送信された処理要求を受信した提示制御装置１００は、処理要求に応じた処理を行い、処理結果に応じた信号を、処理要求に対応するユーザ装置２００へ送信する（Ｓ２０４Ａ、Ｓ２０４Ｂ）。ここで、本実施形態に係る処理結果に応じた信号としては、例えば、提示を制御する制御信号と、提示内容を示すデータ（画像データや、音声データ、振動パターンのデータなど）とが挙げられる。また、例えば、処理要求に対応する処理を行うための撮像画像が存在しない場合や、処理要求に対応する処理においてエラーが発生した場合などには、提示制御装置１００は、エラーが発生した旨の提示を制御する制御信号と、エラーが発生した旨を示すデータ（例えば、画像データや、音声データなど）を示す信号を、処理結果に応じた信号として送信してもよい。

ステップＳ２０４Ａ、Ｓ２０４Ｂにおいて、提示制御装置１００から送信された処理結果に応じた信号を受信したユーザ装置２００は、例えば、処理結果に応じた信号に基づく提示を行う。ユーザ装置２００は、例えば、ユーザ装置２００が備える提示デバイス、または、ユーザ装置２００に接続されている提示デバイスを用いて、処理結果に応じた信号に含まれる制御信号が示す提示方法、提示タイミングで、処理結果に応じた信号に含まれる提示内容を示すデータが示す提示内容を、提示する。

本実施形態に係る提示制御システム１０００では、例えば図１６に示す処理が行われることによって、上述した本実施形態に係る提示制御方法に係る処理（例えば、上記第１の例に係る提示制御方法に係る処理〜上記第６の例に係る提示制御方法に係る処理）による提示が実現される。なお、提示制御システム１０００における処理が、図１６に示す例に限られないことは、言うまでもない。

以上、本実施形態として提示制御装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置（または情報処理装置）や、タブレット型の情報処理装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal Computer）やサーバなどのコンピュータなど、様々な機器に適用することができる。また、本実施形態は、例えば、ＨＭＤや片眼鏡（モノクル）型の装置などの“ユーザの前方に表示面が位置する構成を有する、任意の形状の表示装置”や、時計型の装置など、ウェアラブル装置に適用することも可能である。さらに、本実施形態は、例えば、上記のような機器や、上記のようなウェアラブル装置に組み込むことが可能な、処理ＩＣ（Integrated Circuit）に適用することもできる。

また、本実施形態としてユーザ装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話などの通信装置（または情報処理装置）や、タブレット型の情報処理装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣなどのコンピュータなど、様々な機器に適用することができる。また、本実施形態は、例えば、ＨＭＤや片眼鏡（モノクル）型の装置などの“ユーザの前方に表示面が位置する構成を有する、任意の形状の表示装置”や、時計型の装置など、ウェアラブル装置に適用することも可能である。

（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る提示制御装置として機能させるためのプログラム（例えば、本実施形態に係る判定処理、および本実施形態に係る提示制御処理など、上述した本実施形態に係る提示制御方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、撮像画像に基づき認識される認識対象に応じた提示を、ユーザに対して行わせることができる。

また、コンピュータを、本実施形態に係る提示制御装置として機能させるためのプログラムが、コンピュータにおいて実行されることによって、上述した本実施形態に係る提示制御方法に係る処理（例えば、上記第１の例に係る提示制御方法に係る処理〜上記第６の例に係る提示制御方法に係る処理）が行われることによって奏される効果を、奏することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る提示制御装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定する判定部と、
前記認識対象に応じた条件を満たすと判定された場合に、前記認識対象に関連付けられた提示を行わせる提示制御部と、
を備え、
前記認識対象に応じた条件には、前記提示の内容を伝達する対象のユーザの状態に関する条件が含まれる、提示制御装置。
（２）
前記認識対象に応じた条件には、さらに、前記ユーザの行動履歴に関する条件が含まれる、（１）に記載の提示制御装置。
（３）
前記ユーザの行動履歴に関する条件は、前記ユーザが所持する物の欠落に関する条件であり、
前記判定部は、
前記ユーザの行動履歴に関する履歴情報と、前記撮像画像とに基づいて、前記ユーザが所持している物に欠落が検出された場合に、前記ユーザが所持する物の欠落に関する条件満たすと判定し、
前記ユーザが所持する物の欠落に関する条件を満たすと判定された場合に、前記ユーザの状態に関する条件を満たすかを判定し、
前記ユーザの状態に関する条件を満たすと判定された場合に、前記認識対象に応じた条件を満たすと判定する、（２）に記載の提示制御装置。
（４）
前記ユーザの行動履歴に関する条件は、前記ユーザの行動の欠落に関する条件であり、
前記判定部は、
前記ユーザの行動履歴に関する履歴情報と、前記撮像画像とに基づいて、前記ユーザの行動に欠落が検出された場合に、前記ユーザの行動の欠落に関する条件を満たすと判定し、
前記ユーザの行動の欠落に関する条件を満たすと判定された場合に、前記ユーザの状態に関する条件を満たすかを判定し、
前記ユーザの状態に関する条件を満たすと判定された場合に、前記認識対象に応じた条件を満たすと判定する、（２）に記載の提示制御装置。
（５）
前記ユーザの状態に関する条件は、ユーザが所定の行動をとっているかに関する条件であり、
前記判定部は、
前記撮像画像、前記ユーザの動きを示す動き情報、前記ユーザの位置を示す位置情報のうちの、１または２以上に基づいて、前記ユーザの行動を推定し、
推定されたユーザの行動が、前記所定の行動である場合に、前記ユーザの状態に関する条件を満たすと判定する、（３）、または（４）に記載の提示制御装置。
（６）
前記動き情報が示す前記ユーザの動きは、動き検出センサにより検出される、（５）に記載の提示制御装置。
（７）
前記位置情報が示す前記ユーザの位置は、位置検出デバイスにより検出される、（５）、または（６）に記載の提示制御装置。
（８）
前記認識対象に応じた条件には、撮像画像に所定のオブジェクトが含まれるかに関する条件が含まれ、
前記ユーザの状態に関する条件は、前記所定のオブジェクトに対応するユーザの行動に関する条件であり、
前記判定部は、
前記撮像画像から前記所定のオブジェクトが検出され、前記撮像画像から前記所定のオブジェクトに対応するユーザの行動が検出された場合に、前記認識対象に応じた条件を満たすと判定する、（１）〜（７）のいずれか１つに記載の提示制御装置。
（９）
前記認識対象に応じた条件には、さらに、前記所定のオブジェクトに関する環境の条件が含まれ、
前記判定部は、さらに、前記所定のオブジェクトに関する環境の条件を満たす場合に、前記認識対象に応じた条件を満たすと判定する、（８）に記載の提示制御装置。
（１０）
前記提示制御部は、満たすと判定された前記認識対象に応じた条件に対応する提示を行わせる、（１）〜（９）のいずれか１つに記載の提示制御装置。
（１１）
前記撮像画像は、ユーザに装着される撮像デバイスによって、常時、定期的、非定期的のいずれかのタイミングで撮像された画像である、（１）〜（１０）のいずれか１つに記載の提示制御装置。
（１２）
前記撮像画像は、異なるユーザに装着される複数の撮像デバイスそれぞれにより撮像された画像である、（１１）に記載の提示制御装置。
（１３）
前記提示制御部は、
複数の撮像画像に基づいて、三次元空間画像を構成し、
前記三次元空間画像を用いた前記認識対象に関連付けられた提示を、行わせる、（１）〜（１２）のいずれか１つに記載の提示制御装置。
（１４）
前記提示制御部は、
複数の撮像画像に基づいて、三次元空間画像を構成し、
前記三次元空間画像上に、仮想的なオブジェクトを表示させる、（１）〜（１２）のいずれか１つに記載の提示制御装置。
（１５）
外部装置と通信を行う通信部をさらに備え、
前記判定部は、前記通信部が前記外部装置から受信した撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定する、（１）〜（１４）のいずれか１つに記載の提示制御装置。
（１６）
外部装置と通信を行う通信部をさらに備え、
前記提示制御部は、前記外部装置に、前記認識対象に関連付けられた提示を行わせる、（１）〜（１５）のいずれか１つに記載の提示制御装置。
（１７）
前記提示制御部は、ユーザに装着されている提示デバイスに、前記認識対象に関連付けられた提示を行わせる、（１）〜（１６）のいずれか１つに記載の提示制御装置。
（１８）
撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定するステップと、
前記認識対象に応じた条件を満たすと判定された場合に、前記認識対象に関連付けられた提示を行わせるステップと、
を有し、
前記認識対象に応じた条件には、前記提示の内容を伝達する対象のユーザの状態に関する条件が含まれる、提示制御方法。
（１９）
撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定するステップ、
前記認識対象に応じた条件を満たすと判定された場合に、前記認識対象に関連付けられた提示を行わせるステップ、
をコンピュータに実行させ、
前記認識対象に応じた条件には、前記提示の内容を伝達する対象のユーザの状態に関する条件が含まれる、プログラム。

１００ 提示制御装置
１０２ 通信部
１０４ 制御部
１１０ 判定部
１１２ 提示制御部
２００、２００Ａ、２００Ｂ ユーザ装置
１０００ 提示制御システム

Claims (19)

1. 撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定する判定部と、
   前記認識対象に応じた条件を満たすと判定された場合に、前記認識対象に関連付けられた提示を行わせる提示制御部と、
   を備え、
   前記認識対象に応じた条件には、前記提示の内容を伝達する対象のユーザの状態に関する条件が含まれる、提示制御装置。
2. 前記認識対象に応じた条件には、さらに、前記ユーザの行動履歴に関する条件が含まれる、請求項１に記載の提示制御装置。
3. 前記ユーザの行動履歴に関する条件は、前記ユーザが所持する物の欠落に関する条件であり、
   前記判定部は、
   前記ユーザの行動履歴に関する履歴情報と、前記撮像画像とに基づいて、前記ユーザが所持している物に欠落が検出された場合に、前記ユーザが所持する物の欠落に関する条件満たすと判定し、
   前記ユーザが所持する物の欠落に関する条件を満たすと判定された場合に、前記ユーザの状態に関する条件を満たすかを判定し、
   前記ユーザの状態に関する条件を満たすと判定された場合に、前記認識対象に応じた条件を満たすと判定する、請求項２に記載の提示制御装置。
4. 前記ユーザの行動履歴に関する条件は、前記ユーザの行動の欠落に関する条件であり、
   前記判定部は、
   前記ユーザの行動履歴に関する履歴情報と、前記撮像画像とに基づいて、前記ユーザの行動に欠落が検出された場合に、前記ユーザの行動の欠落に関する条件を満たすと判定し、
   前記ユーザの行動の欠落に関する条件を満たすと判定された場合に、前記ユーザの状態に関する条件を満たすかを判定し、
   前記ユーザの状態に関する条件を満たすと判定された場合に、前記認識対象に応じた条件を満たすと判定する、請求項２に記載の提示制御装置。
5. 前記ユーザの状態に関する条件は、ユーザが所定の行動をとっているかに関する条件であり、
   前記判定部は、
   前記撮像画像、前記ユーザの動きを示す動き情報、前記ユーザの位置を示す位置情報のうちの、１または２以上に基づいて、前記ユーザの行動を推定し、
   推定されたユーザの行動が、前記所定の行動である場合に、前記ユーザの状態に関する条件を満たすと判定する、請求項３に記載の提示制御装置。
6. 前記動き情報が示す前記ユーザの動きは、動き検出センサにより検出される、請求項５に記載の提示制御装置。
7. 前記位置情報が示す前記ユーザの位置は、位置検出デバイスにより検出される、請求項５に記載の提示制御装置。
8. 前記認識対象に応じた条件には、撮像画像に所定のオブジェクトが含まれるかに関する条件が含まれ、
   前記ユーザの状態に関する条件は、前記所定のオブジェクトに対応するユーザの行動に関する条件であり、
   前記判定部は、
   前記撮像画像から前記所定のオブジェクトが検出され、前記撮像画像から前記所定のオブジェクトに対応するユーザの行動が検出された場合に、前記認識対象に応じた条件を満たすと判定する、請求項１に記載の提示制御装置。
9. 前記認識対象に応じた条件には、さらに、前記所定のオブジェクトに関する環境の条件が含まれ、
   前記判定部は、さらに、前記所定のオブジェクトに関する環境の条件を満たす場合に、前記認識対象に応じた条件を満たすと判定する、請求項８に記載の提示制御装置。
10. 前記提示制御部は、満たすと判定された前記認識対象に応じた条件に対応する提示を行わせる、請求項１に記載の提示制御装置。
11. 前記撮像画像は、ユーザに装着される撮像デバイスによって、常時、定期的、非定期的のいずれかのタイミングで撮像された画像である、請求項１に記載の提示制御装置。
12. 前記撮像画像は、異なるユーザに装着される複数の撮像デバイスそれぞれにより撮像された画像である、請求項１１に記載の提示制御装置。
13. 前記提示制御部は、
    複数の撮像画像に基づいて、三次元空間画像を構成し、
    前記三次元空間画像を用いた前記認識対象に関連付けられた提示を、行わせる、請求項１に記載の提示制御装置。
14. 前記提示制御部は、
    複数の撮像画像に基づいて、三次元空間画像を構成し、
    前記三次元空間画像上に、仮想的なオブジェクトを表示させる、請求項１に記載の提示制御装置。
15. 外部装置と通信を行う通信部をさらに備え、
    前記判定部は、前記通信部が前記外部装置から受信した撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定する、請求項１に記載の提示制御装置。
16. 外部装置と通信を行う通信部をさらに備え、
    前記提示制御部は、前記外部装置に、前記認識対象に関連付けられた提示を行わせる、請求項１に記載の提示制御装置。
17. 前記提示制御部は、ユーザに装着されている提示デバイスに、前記認識対象に関連付けられた提示を行わせる、請求項１に記載の提示制御装置。
18. 撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定するステップと、
    前記認識対象に応じた条件を満たすと判定された場合に、前記認識対象に関連付けられた提示を行わせるステップと、
    を有し、
    前記認識対象に応じた条件には、前記提示の内容を伝達する対象のユーザの状態に関する条件が含まれる、提示制御方法。
19. 撮像画像に基づき認識される認識対象に応じた条件を満たすかを判定するステップ、
    前記認識対象に応じた条件を満たすと判定された場合に、前記認識対象に関連付けられた提示を行わせるステップ、
    をコンピュータに実行させ、
    前記認識対象に応じた条件には、前記提示の内容を伝達する対象のユーザの状態に関する条件が含まれる、プログラム。
    

Images