JP2013105346A - 情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラム - Google Patents

Abstract

【課題】物体に紐付けあるいは関連付けされた複数の情報の選択的な引き出しを容易とする。
【解決手段】画像データに対して物体の検出識別処理を施して得られた、物体識別情報と、物体およびカメラの相対位置情報とを取得する。物体識別情報および相対位置情報に基づいて情報提示を制御する。例えば、提示情報データベースから物体識別情報および相対位置情報に関連付けされた、画像、音声、テキストなどのコンテンツ情報を取得する。物体に関連付けられている情報を引き出して提示できる。単一の対象物（物体）に対して、複数の情報提示を受けることが可能となる。
【選択図】図１

Description

本技術は、情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラムに関する。詳しくは、本技術は、画像、音声、テキスト等のコンテンツ情報の提示（閲覧）、登録を、物体を媒介にして行う情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラムに関する。

近年、カメラの搭載された電子機器として、携帯電話や携帯情報端末、またはテレビやカメラ、ビデオカメラ等、様々な種類の機器が広く普及している。このため、ＱＲコード等のサイバーコードの認識を使った情報ソース（ＵＲＬ等）の取得と、情報（インターネット上のホームページ等）の閲覧は広く行われるようになっている。サイバーコードの認識技術としては、例えば特許文献１に記載される技術等がある。

しかし、これらの場合、１つのサイバーコードに複数の情報を紐づけると、それを選択する方法を提供する必要がある。選択方法としてはタッチポイントが非常に有効であるが、まだ対応デバイスは少ない。また、ボタン操作等で実現する場合は、操作が複雑になりがちである。

特許３５５８１０４号公報

本技術の目的は、物体に紐付けあるいは関連付けされた複数の情報の選択的な引き出しを容易とすることにある。

本技術の概念は、
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御部と
を備える情報提示装置にある。

本技術において、物体情報取得部により、物体識別情報と、物体およびカメラの相対位置情報とが取得される。これらの情報は、物体情報取得部において、画像データに対して物体の検出識別処理が施されることで得られたものである。例えば、この画像データはカメラ（撮像部）により撮像されて得られたもの、あるいは記録部から読み出されたものである。情報提示制御部により、物体識別情報および相対位置情報に基づいて情報提示が制御される。例えば、提示情報データベースから物体識別情報および相対位置情報に関連付けされた、画像、音声、テキストなどのコンテンツ情報が取得されて、提示される。

なお、本技術において、例えば、情報提示制御部は、相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、物体識別情報およびジェスチャ識別情報に基づいて情報提示を制御する、ようにされてもよい。例えば、情報提示制御部は、物体識別情報およびジェスチャ識別情報に関連付けされた情報を提示する。この場合、情報提示制御部は、例えば、提示情報データベースから物体識別情報およびジェスチャ識別情報に関連付けされた情報を取得して提示する。この場合、ユーザが対象物にかざすカメラに所定の動きを与えることで、ユーザは必要とする情報の提示を受けることができる。

また、例えば、ジェスチャ識別情報には、確からしさを示す確信度情報が付加されており、情報提示制御部は、この確信度情報が示す確信度が所定値以下のとき、物体識別情報に関連付けされた情報を提示する、ようにされてもよい。すなわち、この場合には、情報提示制御部は、例えば、提示情報データベースから物体識別情報のみに関連付けされた情報を取得して提示する。この場合には、ジェスチャ識別情報の紐付け条件が解除されることからより多くの情報の提示がなされ、ユーザが必要とする情報を選択可能とされる。

また、本技術において、例えば、情報提示制御部は、所定数の種類の提示情報を取得し、相対位置情報が示す第１の操作により、所定数の種類から１つの種類を選択し、相対位置情報が示す第２の操作により、この選択された１つの種類の提示情報のうち少なくとも１つを選択する、ようにされてもよい。例えば、第１の操作は、物体およびカメラの相対位置を一定範囲に入れ込む操作であってもよく、また、第２の操作は、物体およびカメラの相対位置を特定の図形を描くように変化させる操作であってもよい。この場合、所定数の種類の提示情報から、ユーザは、所望する任意の情報を選択して、閲覧、変更、削除などを行うことが可能となる。

このように本技術においては、物体識別情報および相対位置情報に基づいて情報提示が制御されるものである。そのため、物体に関連付けられている情報を引き出して提示できる。また、タッチポイントやボタン操作等を必ずしも利用せずとも、ユーザが必要とする情報の提示が可能となる。例えば、ユーザは、対象物をカメラ（撮像部）で撮像しているときに、カメラを動かすだけ、あるいは対象物を動かすだけで、操作を行うことが可能となる。その結果、単一の対象物（物体）に対して、複数の情報提示を受けることが可能となる。

また、本技術の他の概念は、
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録部とを備える
情報登録装置にある。

本技術において、物体情報取得部により、物体識別情報と、物体およびカメラの相対位置情報とが取得される。これらの情報は、物体情報取得部において、画像データに対して物体の検出識別処理が施されることで得られたものである。例えば、この画像データはカメラ（撮像部）により撮像されて得られたもの、あるいは記録部から読み出されたものである。

そして、コンテンツ情報登録部により、登録対象のコンテンツ情報は物体識別情報および相対位置情報に関連付けられてデータベースに登録される。例えば、コンテンツ情報登録部は、相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、登録対象のコンテンツ情報に物体識別情報およびジェスチャ識別情報を関連付けてデータベースに登録する、ようにされる。

このように本技術においては、登録対象のコンテンツ情報は、物体識別情報の他に、物体およびカメラの相対位置情報に関連付けされて、データベースに登録される。したがって、物体に、複数の情報を登録することが可能となる。

本技術によれば、物体に紐付けあるいは関連付けされた複数の情報の選択的な引き出しを容易に行うことができる。

本技術の第１の実施の形態としての情報提示システムの構成例を示すブロック図である。 システムを、クライアント装置のみで、あるいはクライアント装置とサーバ装置とがネットワーク接続されたネットワークシステムで構成できることを説明するための図である。 情報提示システムにおける情報提示の処理手順の一例を示すフローチャートである。 位置をベースにしたジェスチャ認識を説明するための図である。 具体的実現例としての情報閲覧システムの例を説明するための図である。 具体的実現例としての情報閲覧システムの例を説明するための図である。 具体的実現例としての品物情報提示システムの例を説明するための図である。 情報登録システムの構成例を示すブロック図である。 情報登録システムにおける情報登録の処理手順の一例を示すフローチャートである。 本技術の第２の実施の形態としての情報登録システムの構成例を示すブロック図である。 情報登録システムにおける情報登録の処理手順の一例を示すフローチャートである。 本技術の第３の実施の形態としての情報提示システムの構成例を示すブロック図である。 情報提示システムにおける情報提示の処理手順の一例を示すフローチャートである。 具体的実現例としての往訪時の情報閲覧の例を説明するための図である。 具体的実現例としての往訪時の情報閲覧の例を説明するための図である。 情報提示システムの他の構成例を示すブロック図である。 物体識別情報の他に、物体に対する位置（x,y,z）、回転（roll, pitch, yaw）の情報を利用する例を説明するための図である。 物体識別情報の他に、物体に対する位置（x,y,z）、回転（roll, pitch, yaw）の情報を利用する例を説明するための図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．変形例

＜１．第１の実施の形態＞
［情報提示システム］
図１は、第１の実施の形態としての情報提示システム３００の構成例を示している。この情報提示システム３００は、物体認識部３０１と、物体識別データベース３０２と、ジェスチャ認識部３０３と、ジェスチャ識別データベース３０４と、情報提示部３０５と、提示情報データベース３０６を有している。

物体認識部３０１は、物体識別データベース３０２に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、撮像部（カメラ）で撮像して得られた画像データ、あるいは記憶部としての半導体メモリ、ハードディスクドライブなどに蓄積されている画像データである。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース３０２は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。

物体認識部３０１で取得される物体状態には、例えば、物体識別情報（物体ＩＤ）と共に、物体に対するカメラ（撮像部）の位置情報が含まれる。このカメラ位置情報は、例えば物体位置を基準とするものであり、物体とカメラとの相対位置情報を構成する。物体認識部３０１は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。

また、物体認識部３０１は、この物体の特徴点の位置に基づいて、例えば物体を基準とするカメラ（撮像部）位置を算出する。つまり、物体（対象物）が画像内でどのように写っているかと、予め登録された物体識別データベース３０２内の認識辞書に記載されている物体の現実のサイズからカメラ位置を算出する。このような物体認識部３０１の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開２００８−３０４２６８号公報」に詳述されている。

ジェスチャ認識部３０３は、ジェスチャ識別データベース３０４に蓄積されているジェスチャ識別データに基づいて、物体認識部３０１から出力されるカメラ位置情報に対して、ジェスチャの検出識別処理を施して、ジェスチャ識別情報（ジェスチャＩＤ）を得る。このジェスチャ識別情報には、確からしさを示す確信度情報が付加されている。つまり、ジェスチャ認識部３０３は、カメラ位置情報を利用して、その位置、または軌跡を、ジェスチャ識別データと比較して、最も近しいジェスチャ識別情報と、そのジェスチャ識別の確信度情報を、計算して出力する。

情報提示部３０５は、物体識別情報、ジェスチャ識別情報、さらには確信度情報を用いて、物体識別情報およびジェスチャ識別情報に関連付けされた画像、音声、テキストなどのコンテンツ情報を取得し、提示する。この際、情報提示部３０５は、ジェスチャ識別の確信度が所定値以下の場合、物体識別情報に関連付けされた情報を複数提示し、ジェスチャの入力を待つ。ここでのジェスチャ認識は、タッチポイントやボタン操作に置き換えが可能であり、また、部分的あるいは全体的にハイブリッドにしてもよい。

図１に示す情報提示システム３００は、例えば、図２（ａ）に示すようにクライアント装置５００Ａのみ、あるいは、図２（ｂ）に示すようにクライアント装置５００Ａとサーバ装置５００Ｂとがネットワーク５００Ｃを介して接続されたネットワークシステムで構成できる。図２（ｂ）に示すネットワークシステムの場合、情報提示システム３００を構成する各部が、適宜、クライアント装置５００Ａとサーバ装置５００Ｂとに分割配置される。例えば、物体認識部３０１、物体識別データベース３０２、ジェスチャ認識部３０３、ジェスチャ識別データベース３０４、提示情報データベース３０６などはサーバ装置５００Ｂに配置可能である。

図１に示す情報提示システム３００における情報提示の処理手順の一例を、図３のフローチャートを参照して説明する。情報提示システム３００は、ステップＳＴ３１において、例えばパワーオン時に処理を開始する。その後、情報提示システム３００は、ステップＳＴ３２の処理に移る。

このステップＳＴ３２において、物体認識部３０１は、入力画像データに対して物体の検出識別処理を施して物体識別情報を得る。この際、ユーザは、例えばクライアント装置５００Ａに付属の撮像部（カメラ）で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置５００Ａの記憶部に蓄積されている画像データを選択することで入力画像データを得る。

次に、ステップＳＴ３３において、情報提示システム３００は、物体が識別されたか否かを判断する。物体が識別されたとき、ステップＳＴ３４において、ジェスチャ認識部３０３において、ジェスチャ識別がされたか否かを判断する。ここで、情報提示システム３００は、ジェスチャ識別の確信度が所定値より大きいときは、ジェスチャ識別がされたと判断する。

ジェスチャ識別がされたとき、情報提示部３０５は、ステップＳＴ３５において、物体識別情報およびジェスチャ識別情報に関連付けされた画像、音声、テキストなどのコンテンツ情報を提示情報データベース３０６から取得し、提示する。一方、ジェスチャ識別がされないとき、情報提示部３０５は、ステップＳＴ３６において、物体識別情報に関連付けされた画像、音声、テキストなどのコンテンツ情報を複数提示し、ジェスチャの入力を待つ。

ここで、ジェスチャ認識方法の一例を説明する。位置をベースにしたジェスチャ認識について説明する。この場合、図４に示すように、物体認識部３０１で得られるカメラ位置情報が示すカメラ位置の座標（X0,Y0,Z0）を閾値処理する。すなわち、カメラ位置が任意の規定空間内に存在するかどうかを演算する。このとき、特に座標系は問わない。図中では、規定空間の一例を破線で示している。各規定空間は互いに接していてもよい。

また、動画像データを入力に用いた場合は、カメラ位置が時系列で得られる。そのため、この場合は、メディアンフィルタ等で適切にフィルタリングすることで、ユーザが操作する際の安定性を確保することが重要である。また、認識物体がフレームにない、すなわち物体認識が行われない場合も状態の一つとして検出し、出力する。

この他にも、軌跡の時系列処理をベースにした認識（ＨＭＭやＤＰマッチング）や、パーティクルフィルタ等を使った軌跡の追跡時を応用する方法等、様々な方法がある。しかし、物体（対象物）とカメラの相対位置関係だけでジェスチャ認識ができる方法であれば、方法は問わない。

［具体的な実現例］
次に、具体的な実現例を説明する。ここでは、実現例１としての情報閲覧システムの例および実現例２としての品質情報提示システムの例を説明する。

「実現例１：情報閲覧システム」
拡張現実感のもと、例えば壁に掛っているカレンダーやポスター、道路上の看板や、新聞広告のチラシや、ゴルフ練習場の会員券などにカメラをかざして情報を取得する場合に、複数の情報が提示され、それらの選択、拡大、キャンセルなどの操作を行いたいニーズがある。そこで、上述の図１に示す情報提示システム３００を利用して、これらの操作を実現する。

ここでは、カメラ（撮像部）が搭載されている携帯電話等の情報端末を想定する。例えば、ユーザは、図５（ａ）に示すように、カメラで対象物を写すことで、選択可能な複数の情報種類の提示を受けることができる。そして、図５（ｂ）に示すように、カメラを並進移動させることで、選択フォーカス位置を変えることができる。この際、カメラ位置の動きに従って、ユーザ操作の便宜のために、例えば、選択フォーカス位置を示すガイド表示がなされ、選択フォーカス位置を示すように移動する。

そして、図５（ｃ）に示すように、ある情報種類が選択されている状態で、カメラを対象物に近づけることで、その情報種類を選択でき、その情報種類の最初の情報が提示される状態となる。この状態で、さらに、図５（ｄ）に示すように、カメラを対象物の上で輪を描くように回すことで、次の情報を提示させることができる。なお、このような状態において、情報の登録、あるいは登録されている情報の編集なども行うことができる。

また、図６（ａ）に示すようにある情報種類が選択されている状態から、図６（ｂ）に示すように、カメラを対象物から遠ざけることで、その情報種類の選択状態を解除できる。そして、この状態で、図６（ｃ）に示すように、カメラを対象物の上で三角形を描くように動かすことで、各情報種類に登録されている情報を削除できる。

「実現例２：品物情報提示システム」
上述の実現例１とは逆に、カメラを固定し、対象物を動かす形式の例である。拡張現実感のもと、カメラに対象物をかざすことで情報を得ることができる。例えば、図７に示すように、透明な棚を背面からカメラで写しておき、ユーザが棚のどこに商品を置いたかで、提示する情報を変えるなどである。認証チップ等を使わずに、カメラとモニタだけで実現できるため、非常に手軽である。

図８は、上述の図１に示す情報提示システム３００の提示情報データベース３０６に画像、音声、テキスト等のコンテンツ情報を登録するための情報登録システム４００の構成例を示している。この情報登録システム４００は、物体認識部４０１と、物体識別データベース４０２と、ジェスチャ認識部４０３と、ジェスチャ識別データベース４０４と、情報登録部４０５を有している。また、この情報登録システム４００は、情報入力部４０６と、提示部４０７と、操作入力部４０８と、提示情報データベース３０６を有している。

物体認識部４０１は、図１に示す情報提示システム３００の物体認識部３０１と同様に構成され、物体識別データベース４０２に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、撮像部（カメラ）で撮像して得られた画像データ、あるいは記憶部としての半導体メモリ、ハードディスクドライブに蓄積されている画像データである。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース４０２は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。

物体認識部４０１で取得される物体状態には、例えば、物体識別情報（物体ＩＤ）と共に、物体に対するカメラ（撮像部）の位置情報が含まれる。このカメラ位置情報は、例えば物体位置を基準とするものであり、物体とカメラとの相対位置情報を構成する。物体認識部４０１は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。

また、物体認識部４０１は、この物体の特徴点の位置に基づいて、例えば物体を基準とするカメラ（撮像部）位置を算出する。つまり、物体（対象物）が画像内でどのように写っているかと、予め登録された物体識別ベース４０２内の認識辞書に記載されている物体の現実のサイズからカメラ位置を算出する。このような物体認識部４０１の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開２００８−３０４２６８号公報」に詳述されている。

ジェスチャ認識部４０３は、図１に示す情報提示システム３００のジェスチャ認識部３０３と同様に構成される。このジェスチャ認識部４０３は、ジェスチャ識別データベース４０４に蓄積されているジェスチャ識別データに基づいて、物体認識部４０１から出力されるカメラ位置情報に対して、ジェスチャの検出識別処理を施して、ジェスチャ識別情報（ジェスチャＩＤ）を得る。

情報登録部４０５は、情報入力部４０６から入力されるコンテンツ情報を、上述の物体識別情報（物体ＩＤ）およびジェスチャ識別情報（ジェスチャＩＤ）に関連付けて、提示情報データベース３０６に登録する。このコンテンツ情報は、例えば、画像、音声、テキストなどの各種のコンテンツ情報である。情報登録部４０５は、例えば、提示部４０７に表示されるＧＵＩ（Graphical User Interface）を利用したユーザの操作入力部４０８による操作に応じて、ユーザが選択した種類のコンテンツ情報の登録を行う。

図８に示す情報登録システム４００も、例えば、図２（ａ）に示すようにクライアント装置５００Ａのみ、あるいは、図２（ｂ）に示すようにクライアント装置５００Ａとサーバ装置５００Ｂとがネットワーク５００Ｃを介して接続されたネットワークシステムで構成できる。図２（ｂ）に示すネットワークシステムの場合、情報登録システム４００を構成する各部が、適宜、クライアント装置５００Ａとサーバ装置５００Ｂとに分割配置される。例えば、物体認識部４０１、物体識別データベース４０２、ジェスチャ認識部４０３、ジェスチャ識別データベース４０４、提示情報データベース３０６などはサーバ装置５００Ｂに配置可能である。

図８に示す情報登録システム４００における情報登録の処理手順の一例を、図９のフローチャートを参照して説明する。情報登録システム４００は、ステップＳＴ４１において、処理を開始する。その後、情報登録システム４００は、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、物体認識部４０１は、入力画像データに対して物体の検出識別処理を施して物体識別情報を得る。この際、ユーザは、例えばクライアント装置５００Ａに付属の撮像部（カメラ）で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置５００Ａの記憶部に蓄積されている画像データを選択することで入力画像データを得る。

次に、情報登録システム４００は、ステップＳＴ４４において、情報登録入力がされたか否かを判断する。情報登録システム４００は、ジェスチャ認識部４０３でジェスチャ識別がされたとき、あるいは操作入力部４０８の登録ボタンが押されたとき、情報登録入力がされたと判断する。情報登録入力がされたとき、情報登録システム４００は、ステップＳＴ４５の処理に移る。

このステップＳＴ４５において、情報登録システム４００は、提示部４０７に、物体識別情報（物体ＩＤ）とジェスチャ識別情報（ジェスチャＩＤ）に基づいた情報登録ＧＵＩを提示する。すなわち、提示部４０７に、物体識別情報およびジェスチャ識別情報と、入力可能なコンテンツ情報の種類が提示される。例えば、画像、音声、テキストのいずれもが入力可能な情報であるときは、提示部４０７には、その旨が表示される。

次に、情報登録システム４００は、ステップＳＴ４６において、提示された種類のコンテンツ情報が入力されたか否かを判断する。ユーザは、情報入力部４０６から所望のコンテンツ情報を入力できる。コンテンツ情報が入力されたとき、ステップＳＴ４７において、情報登録部４０５は、提示情報データベース３０６に、入力内容を、物体識別情報およびジェスチャ識別情報に関連づけて登録する。

上述したように、図１に示す情報提示システム３００においては、物体識別情報および相対位置情報（ジェスチャ識別情報）に基づいて情報提示が制御される。そのため、提示情報データベース３０６から物体およびジェスチャに関連付けられている情報を引き出して提示できる。また、タッチポイントやボタン操作等を必ずしも利用せずとも、ユーザが必要とする情報の提示が可能となる。例えば、ユーザは、対象物をカメラ（撮像部）で撮像しているときに、カメラを動かすだけ、あるいは対象物を動かすだけで、操作を行うことが可能となる。その結果、単一の対象物（物体）に対して、複数の情報提示を受けることが可能となる。

＜２．第２の実施の形態＞
［情報登録システム］
図１０は、第２の実施の形態としての情報登録システム１００の構成例を示している。この情報登録システム１００は、物体認識部１０１と、物体識別データベース１０２と、ユーザ認識部１０３と、ユーザ識別データベース１０４と、登録環境検出部１０５を有している。また、この情報登録システム１００は、情報登録部１０６と、情報入力部１０７と、提示部１０８と、操作入力部１０９と、登録情報データベース１１０を有している。

物体認識部１０１は、物体識別データベース１０２に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、記憶部としての半導体メモリ、ハードディスクドライブなどに蓄積されている画像データであってもよく、あるいは撮像部（カメラ）で撮像して得られた画像データであってもよい。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース１０２は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。

物体認識部１０１で取得される物体状態には、例えば、物体識別情報（物体ＩＤ）と共に、物体に関するメタ情報としての物体の位置および姿勢の情報が含まれる。これらは、ＳＬＡＭ（Simultaneously Localization and Mapping）技術や画像追跡技術、ジャイロセンサの値などを使うことで、情報の補正や、物体を検出した後で、未検出状態になった場合などの情報の予測を行うことができる。物体認識部１０１は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。また、物体認識部１０１は、この物体の特徴点の位置に基づいて、物体の世界座標系における位置および姿勢を算出する。この位置情報は、物体と撮像部（カメラ）との相対位置情報を構成する。このような物体認識部１０１の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開２００８−３０４２６８号公報」に詳述されている。

ユーザ認識部１０３は、ユーザ識別データベース１０４に蓄積されているユーザ識別データに基づいて、ユーザの検出識別処理を行って、ユーザ識別情報を得る。この場合のユーザの検出識別処理は、顔認識などの画像認識、あるいは指紋認識を用いてもよく、あるいは、ユーザによるユーザＩＤ、パスワードの手入力に基づいて行われてもよい。つまり、この場合のユーザの検出識別処理は、従来周知の一般的なユーザ認証の処理でよい。この場合、同じユーザ（人物）が異なったユーザとして認識されないように、ユーザ識別データベース１０４は、システム内で統一共有される。

登録環境検出部１０５は、図示しない情報登録端末やインターネット等から登録時の環境情報を検出する。この環境情報には、例えば、位置情報取得部で得られる情報（緯度経度、高度、速度、移動方向など）、時計部で得られる時刻情報、インターネットから得られる天気情報等が含まれる。この場合、同じ環境が異なった環境として認識されないように、時刻合わせや緯度経度の算出方法は、システム内で統一共有される。なお、この登録環境情報には、閲覧可能なユーザ情報などを含めることもできる。

位置情報取得部では、ＧＰＳ（Global Positioning System）により、または、ＷｉＦｉ（Wireless Fidelity）での測位あるいは携帯基地局を用いた測位により、情報（緯度経度、高度、速度、移動方向など）が得られる。

なお、環境情報には、上述の情報の他に、以下の情報の一部あるいは全部が含まれていてもよい。例えば、（１）気温、気圧、湿度、（２）方位，加速度、（３）近接、（４）照度、（５）騒音、（６）照度、（７）騒音、（８）日付、（９）姿勢（6軸）、（１０）テキスト、などである。また、例えば、（１１）ユーザのバイタルデータ（顔色、体温、BMI、血圧、心拍、体脂肪量、基礎代謝、指紋、声紋など）、（１２）ユーザの動作（通勤中、ゴルフ中、夕食中、掃除をしているなどで、センサにより自動で取得しても良いし、ユーザが手入力をしてもよい）、（１３）音声（センサにより自動で取得しても良いし、ユーザが録音をしてもよい）、（１４）情報の閲覧履歴、などである。

情報登録部１０６は、情報入力部１０７から入力されるコンテンツ情報を、上述の物体情報、ユーザ識別情報および登録環境情報に関連付けて（紐付けて）、登録情報データベース１１０に登録する。このコンテンツ情報は、例えば、画像、音声、テキストなどの各種のコンテンツ情報である。情報登録部１０６は、例えば、提示部１０８に表示されるＧＵＩ（Graphical User Interface）を利用したユーザの操作入力部１０９による操作に応じて、ユーザが選択した種類のコンテンツ情報の登録を行う。

なお、この場合、ユーザは、登録対象のコンテンツ情報に紐付けられる環境情報の種類を選択可能とされてもよい。例えば、登録環境検出部１０５で位置情報、時刻情報および天気情報が得られる場合、位置情報および時刻情報のみを、登録対象のコンテンツ情報に紐付けられる環境情報として選択する等である。

図１０に示す情報登録システム１００も、例えば、図２（ａ）に示すようにクライアント装置５００Ａのみ、あるいは、図２（ｂ）に示すようにクライアント装置５００Ａとサーバ装置５００Ｂとがネットワーク５００Ｃを介して接続されたネットワークシステムで構成できる。図２（ｂ）に示すネットワークシステムの場合、情報登録システム１００を構成する各部が、適宜、クライアント装置５００Ａとサーバ装置５００Ｂとに分割配置される。例えば、物体認識部１０１、物体識別データベース１０２、ユーザ認識部１０３、ユーザ識別データベース１０４、登録環境検出部１０５の一部、登録情報データベース１１０などはサーバ装置５００Ｂに配置可能である。

図１０に示す情報登録システム１００における情報登録の処理手順の一例を、図１１のフローチャートを参照して説明する。情報登録システム１００は、ステップＳＴ１において、処理を開始する。その後、情報登録システム１００は、ステップＳＴ２の処理に移る。このステップＳＴ２において、ユーザ認識部１０３は、入力されるユーザ情報（顔画像、指紋画像、ユーザのアカウント、パスワードの手入力情報など）に基づいて、ユーザの検出識別処理を行ってユーザ識別情報を得る。

次に、ステップＳＴ３において、物体認識部１０１は、入力画像データに対して物体の検出識別処理を施して物体情報を得る。この際、ユーザは、例えばクライアント装置５００Ａに付属の撮像部（カメラ）で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置５００Ａの記憶部に蓄積されている画像データを選択することで入力画像データを得る。

次に、ステップＳＴ４において、提示部１０８は、ステップＳＴ３で識別された情報登録可能な対象物（物体）を提示する。そして、情報登録システム１００は、ステップＳＴ５において、ステップＳＴ４で提示された対象物に対するユーザの選択操作があるか否かを判断する。ユーザは、操作入力部１０９を操作することで、この選択操作を行うことができる。

ユーザの選択操作があるとき、情報登録システム１００は、ステップＳＴ６の処理に移る。このステップＳＴ６において、提示部１０８は、入力可能なコンテンツ情報の種類を提示する。例えば、画像、音声、テキストのいずれもが入力可能な情報であるときは、提示部１０８は、その旨を表示する。そして、情報登録システム１００は、ステップＳＴ７において、提示された種類のコンテンツ情報が入力されたか否かを判断する。ユーザは、情報入力部１０７から所望のコンテンツ情報を入力できる。

コンテンツ情報が入力されたとき、ステップＳＴ８において、提示部１０８は、登録環境検出部１０５で検出された登録環境を提示する。そして、情報登録システム１００は、ステップＳＴ９において、提示された環境に対するユーザの選択操作があるか否かを判断する。ユーザは、操作入力部１０９を操作することで、この選択操作を行うことができる。

ユーザの選択操作があるとき、情報登録システム１００は、ステップＳＴ１０の処理に移る。このステップＳＴ１０において、情報登録部１０６は、ステップＳＴ５で選択された対象物（物体）に、ステップＳＴ７で入力されたコンテンツ情報を登録する。すなわち、情報登録部１０６は、コンテンツ情報を対象物（物体）に関連づけて登録情報データベース１１０に登録する。この際、コンテンツ情報を、さらに、ユーザ識別情報およびステップＳＴ９で選択された登録環境の情報にも関連付けて登録する。情報登録システム１００は、ステップＳＴ１０の処理の後、ステップＳＴ１１において、処理を終了する。

上述したように、図１０に示す情報登録システム１００においては、登録対象のコンテンツ情報が物体情報に関連付けされて登録情報データベース１１０に登録される。そのため、ユーザは、コンテンツ情報を登録するに当たって、適切な検索キーワードを考える必要がなく、ユーザの使い勝手が向上する。つまり、ユーザは所定の物体を撮像する操作をするか、あるいは記憶部に記憶されている所定の物体を撮影した画像データを選択する操作をするだけでよくなる。

また、図１０に示す情報登録システム１００においては、登録対象のコンテンツ情報は、物体情報と共に、さらにユーザ識別情報に関連付けされて登録情報データベース１１０に登録される。そのため、登録情報データベース１１０から、物体情報だけでなくさらにユーザ識別情報に関連付けされた所望のコンテンツ情報を取り出すことが容易となる。すなわち、ユーザに応じたコンテンツ情報の取り出しが可能となる。

また、図１０に示す情報登録システム１００においては、登録対象のコンテンツ情報は、物体情報と共に、さらに登録環境情報に関連付けされて登録情報データベース１１０に登録される。そのため、コンテンツ情報を提示する際に、登録環境情報を利用して、閲覧環境にあったコンテンツ情報を優先的に提示することなどが可能となる。

＜３．第３の実施の形態＞
［情報提示システム］
図１２は、第３の実施の形態としての情報提示システム２００の構成例を示している。この情報提示システム２００は、物体認識部２０１と、物体識別データベース２０２と、ユーザ認識部２０３と、ユーザ識別データベース２０４と、閲覧環境検出部２０５を有している。また、この情報提示システム２００は、ユーザ状態検出部２０６と、情報提示部２０７と、登録情報データベース２０８と、インターネット２０９と、操作入力部２１０を有している。

物体認識部２０１は、物体識別データベース２０２に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、記憶部としての半導体メモリ、ハードディスクドライブなどに蓄積されている画像データであってもよく、あるいは撮像部（カメラ）で撮像して得られた画像データであってもよい。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース２０２は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。

物体認識部２０１で取得される物体状態には、例えば、物体識別情報（物体ＩＤ）と共に、物体に関するメタ情報としての物体の位置および姿勢の情報が含まれる。これらは、ＳＬＡＭ（Simultaneously Localization and Mapping）技術や画像追跡技術、ジャイロセンサの値などを使うことで、情報の補正や、物体を検出した後で、未検出状態になった場合などの情報の予測を行うことができる。物体認識部２０１は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。また、物体認識部２０１は、この物体の特徴点の位置に基づいて、物体の世界座標系における位置および姿勢を算出する。この位置情報は、物体と撮像部（カメラ）との相対位置情報を構成する。このような物体認識部２０１の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開２００８−３０４２６８号公報」に詳述されている。

ユーザ認識部２０３は、ユーザ識別データベース２０４に蓄積されているユーザ識別データに基づいて、ユーザの検出識別処理を行って、ユーザ識別情報を得る。この場合のユーザの検出識別処理は、顔認識などの画像認識、あるいは指紋認識を用いてもよく、あるいは、ユーザによるユーザＩＤ、パスワードの手入力に基づいて行われてもよい。つまり、この場合のユーザの検出識別処理は、従来周知の一般的なユーザ認証の処理でよい。この場合、同じユーザ（人物）が異なったユーザとして認識されないように、ユーザ識別データベース２０４は、システム内で統一共有される。

閲覧環境検出部２０５は、図示しない情報登録端末やインターネット等から閲覧時の環境情報を検出する。この環境情報には、例えば、位置情報取得部で得られる情報（緯度経度、高度、速度、移動方向など）、時計部で得られる時刻情報、インターネットから得られる天気情報等が含まれる。この場合、同じ環境が異なった環境として認識されないように、時刻合わせや緯度経度の算出方法は、システム内で統一共有される。

位置情報取得部では、ＧＰＳ（Global Positioning System）により、または、ＷｉＦｉ（Wireless Fidelity）での測位あるいは携帯基地局を用いた測位により、情報（緯度経度、高度、速度、移動方向など）が得られる。

なお、環境情報には、上述の情報の他に、以下の情報の一部あるいは全部が含まれていてもよい。例えば、（１）気温、気圧、湿度、（２）方位、加速度、（３）近接、（４）照度、（５）騒音、（６）照度、（７）騒音、（８）日付、（９）姿勢（6軸）、（１０）テキスト、などである。また、例えば、（１１）ユーザのバイタルデータ（顔色、体温、BMI、血圧、心拍、体脂肪量、基礎代謝、指紋、声紋など）、（１２）ユーザの動作（通勤中、ゴルフ中、夕食中、掃除をしているなどで、センサにより自動で取得しても良いし、ユーザが手入力をしてもよい）、（１３）音声（センサにより自動で取得しても良いし、ユーザが録音をしてもよい）、（１４）情報の閲覧履歴、などである。

ユーザ状態検出部２０６は、物体識別情報、ユーザ識別情報、閲覧環境情報などに基づいて、情報検索クエリ（query）を生成する。この情報検索クエリは、例えば、物体情報に含まれる物体識別情報およびユーザ識別情報に関連付けされたコンテンツ情報を、閲覧環境情報（時刻情報、位置情報など）に応じた順位で提示するためのものとされる。

情報提示部２０７は、ユーザ状態検出部２０６で生成される情報検索クエリに基づいて、登録情報データベース２０８からコンテンツ情報を取得し、さらにはインターネット２０９から関連する情報を取得して、提示する。この場合、複数の情報が取得される場合には、情報の順位付けにしたがって、自動的に、あるいは、ユーザの操作入力部２１０からの切り替え操作により、提示する情報を切り替える。この場合、操作入力部２１０は、例えばタッチセンサや加速度センサを備える構成であってもよい。なお、インターネット２０９から関連する情報を取得する構成を持たないことも考えられる。

図１２に示す情報提示システム２００も、例えば、図２（ａ）に示すようにクライアント装置５００Ａのみ、あるいは、図２（ｂ）に示すようにクライアント装置５００Ａとサーバ装置５００Ｂとがネットワーク５００Ｃを介して接続されたネットワークシステムで構成できる。図２（ｂ）に示すネットワークシステムの場合、情報提示システム２００を構成する各部が、適宜、クライアント装置５００Ａとサーバ装置５００Ｂとに分割配置される。例えば、物体認識部２０１、物体識別データベース２０２、ユーザ認識部２０３、ユーザ識別データベース２０４、閲覧環境検出部２０５の一部、登録情報データベース２０８などはサーバ装置５００Ｂに配置可能である。

図１２に示す情報提示システム２００における情報提示の処理手順の一例を、図１３のフローチャートを参照して説明する。情報提示システム２００は、ステップＳＴ２１において、例えばパワーオン時に処理を開始する。その後、情報提示システム２００は、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、ユーザ認識部２０３は、入力されるユーザ情報（顔画像、指紋画像、ユーザのアカウント、パスワードの手入力情報など）に基づいて、ユーザの検出識別処理を行ってユーザ識別情報を得る。

次に、ステップＳＴ２３において、閲覧環境検出部２０５は、図示しない情報登録端末やインターネット等から閲覧時の環境情報、例えば、位置情報（緯度経度情報）、時刻情報などを検出する。情報提示システム２００は、ステップＳＴ２３の処理の後、ステップＳＴ２４の処理に移る。

このステップＳＴ２４において、物体認識部２０１は、入力画像データに対して物体の検出識別処理を施して物体情報を得る。この際、ユーザは、例えばクライアント装置５００Ａに付属の撮像部（カメラ）で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置５００Ａの記憶部に蓄積されている画像データを選択することで入力画像データを得る。

次に、ステップＳＴ２５において、情報提示システム２００は、物体が識別されたか否かを判断する。物体が識別されたとき、ステップＳＴ２６において、ユーザ状態検出部２０６は、物体識別情報、ユーザ識別情報、閲覧環境情報などに基づいて、情報検索クエリを生成する。この情報検索クエリは、例えば、物体情報に含まれる物体識別情報およびユーザ識別情報に関連付けされたコンテンツ情報を、閲覧環境情報（時刻情報、位置情報など）に応じた順位で提示するためのものとされる。

次に、ステップＳＴ２７において、情報提示部２０７は、ステップＳＴ２６で生成された情報検索クエリに基づいて、登録情報データベース２０８やインターネット２０９から情報を取得して提示する。この場合、登録情報データベース２０８からは物体識別情報およびユーザ識別情報に関連付けされて登録されているコンテンツ情報が取得される。この際、例えば、ユーザ識別情報が一致しなくても、登録時の環境情報として含められている閲覧可能なユーザ情報で許容される範囲（例えば、親族、友達など）にある場合には、そのコンテンツ情報の取得も行われる。また、この場合、インターネット２０９から関連する情報が取得される。

次に、情報提示システム２００は、ステップＳＴ２８において、切り替え入力があるか否かを判断する。この切り替え入力は、例えば、ユーザの操作入力部２１０からの切り替え操作によりなされるか、あるいは一定の時間経過があるとき自動的になされる。切り替え入力があるとき、情報提示部２０７は、ステップＳＴ２７において、登録情報データベース２０８やインターネット２０９から次の提示順位の情報を取得して提示する。なお、提示される情報がひとつだけであるときは、その情報の提示が継続される。また、提示される情報が複数あって提示順位が最後の情報が提示されている状態で切り替え入力があった場合は、最初の提示順位の情報の提示に切り替わる。

ステップＳＴ２８で切り替え入力がないとき、情報提示システム２００は、ステップＳＴ２９において、ステップＳＴ２５において行われた物体識別の状態が継続しているか否かを判断する。物体識別状態が継続しているとき、情報提示システム２００は、ステップＳＴ２８の処理に戻る。一方、物体識別状態が継続しなくなったとき、情報提示システム２００は、ステップＳＴ２４の処理に戻り、上述したと同様の処理を繰り返す。

例えば、ユーザがある物体の撮像状態を中止する場合、さらに別の物体の撮像状態に移る場合などには、物体識別状態が途切れることとなり、ステップＳＴ２４の処理に戻ることとなる。なお、物体識別状態が継続しなくなったとき、ユーザの操作に明示的な操作があるまで、ステップＳＴ２４の処理に戻らないようにしてもよい。情報提示システム２００は、例えば、パワーオフにより、処理を終了する。

［具体的な実現例］
次に、具体的な実現例を説明する。ここでは、実現例１として往訪時の情報閲覧の例、実現例２として評判閲覧システムの例、さらに実現例３として掲示板システムの例を説明する。

「実現例１：往訪時の情報閲覧」
目的地を往訪するにあたっては、手早く必要な情報を手に入れたいニーズがある。そこで、上述の図１０に示す情報登録システム１００および図１２に示す情報提示システム２００を利用して、往訪時に必ず携帯する物体（物品）に対して、「情報の貼り付け」と「情報の引き出し」が可能になるシステムを実現する。

ここでは、インターネットにアクセス可能で、カメラ（撮像部）が搭載されている携帯電話等の情報端末を想定する。ユーザは、図１４（ａ）に示すように、事前に、対象物に対して情報端末をかざし、物体を撮影したのち、図１４（ｂ）に示すように、往訪に関する情報登録を行う。その後、ユーザが、図１５（ａ）示すように、対象物に情報端末をかざすと、図１５（ｂ）〜（ｄ）に示すように、情報が提示される。

この際、物体認識部２０１とユーザ認識部２０３での識別結果が用いられて、登録情報データベース２０８に対して情報検索が行われる。また、単に登録した情報だけが表示されるのではなく、往訪に必要な情報をインターネットから取得されて提示される。情報の提示は、タッチセンサや加速度センサによるユーザ操作入力、または時間経過で画面が切り替えられる。

また、この際、ユーザ状態検出部２０６において行われる情報の順位付けに基づいて、提示順番が制御される。順位付けは、例えば、以下の（１）式により、情報毎に計算される優先度に基づいて行われる。

この（１）式においては、情報提示時の閲覧環境から「予定時刻までの時間」と「目的地までの距離」がそれぞれ正規化されて優先度Ｖが計算されている。図１５に示す表示例では、この優先度Ｖに基づいて、「Schedule」、「Movement Information」、「Weather Information」がこの順に表示されている。ここで、情報を貼り付ける物体（物品）としては、ゴルフ場に行く時のゴルフ会員券、病院に行く時の診察券、会社に行く時の社員証など、様々なケースが考えられ、それぞれ対応が可能である。

「実現例２：評判閲覧システム」
お菓子やおもちゃ等の購入検討時等に対象物に対する評価を手軽に登録、閲覧したいニーズがある。そこで、上述の図１０に示す情報登録システム１００および図１２に示す情報提示システム２００を利用して、購入検討対象物に対して、「情報の貼り付け」と「情報の引き出し」が可能になるシステムを実現する。

ここでは、インターネットにアクセス可能で、カメラ（撮像部）が搭載されている携帯電話等の情報端末を想定する。基本的に、上述の実現例１と同じシステムで実現されるが、異なる点は、ユーザ状態検出部２０６の振る舞いである。上述の実現例１では、ユーザの識別結果は単に情報検索時に用いられるだけである。ここでは、（２）式に示すように、優先度Ｖの計算に用いられる。

計算方法の一つの例として、年齢、性別、年収、ＢＭＩ（Body Mass Index）などの数値の差の重み付け和を正規化する方法がある。これによって、ユーザは、対象物に情報端末をかざすだけで、様々な人が登録した情報を重要度に応じて手軽に閲覧可能になる。ここでは、お菓子の購入に限らず、凡そ物品の選択が必要なケースの殆どにおいて、利用が可能である。また、この実現例２においては、物品の販売側等のキャンペーン情報等の登録も含まれる。ツイッター（Twitter）などでは、フォロワー等、人物同士の関係を軸にタイムライン表示等が可能であるが、ここでは物を軸にした情報提示を行う所がポイントである。

「実現例３：掲示板システム」
大人数での待ち合わせ等のような状況で、特定の場所にメモをユーザが相互に残したいニーズがある。従来は駅の伝言黒板等があったが、不特定多数の人に伝言を見られる点や、設置場所が少ない、複数の人によって大量に書き込まれている場合にどれが自分に必要な情報か分かりにくい等の欠点があった。そこで、上述の図１０に示す情報登録システム１００および図１２に示す情報提示システム２００を利用して、この欠点を解消でき任意の場所に設置可能な掲示板システムを実現する。

この掲示板システムは、通常のウエブ（web）ブラウザから利用が可能である。ユーザはログインした後、予めシステムに登録済みのマークが、そのマークのある場所と共に提示されるため、それを選択し、マークに対する相対位置・回転情報と共に登録したい情報を登録する。この際、その情報の閲覧制限も設定することができる。

閲覧制限の一つの形として、そのマークの前で三角形を描くジェスチャをした場合のみ登録情報が見えるようにする等の設定も可能である。これにより、同じマークに対して、本人、または第三者が大量に付けている情報から、当該ジェスチャを用いて情報のフィルタリングが可能になる。

これによって、例えば、自宅から情報登録が可能なので、ユーザは飲み会の待ち合わせ場所として、渋谷駅前の忠犬ハチ公像を選択し、「忠犬ハチ公」と書かれた銅板の少し右横の空間に、情報として会場の場所と地図を登録するような使い方ができる。

この掲示板システムは、カメラ（撮像部）が搭載されている携帯電話等の情報端末から利用が可能である。すなわち、システムに予め登録されているマークを撮像することで、そのマークに登録されている情報を閲覧することができる。このとき、ユーザの状態に合わせて登録されている情報の中から、ユーザの現在の状況に合わせたものが優先的に提示される。また、提示される情報に対してマークの前で三角形や五芒星など、特定の形を描くジェスチャを行うことで情報の切り替え操作やフィルタリング等を行うことも可能である。

これによって、例えば、先の予め自宅からハチ公前の銅板に情報を登録したケースに於いては、実際に現地に行って、当該銅板をカメラで撮像し、かつ三角形を描くジェスチャをすることで、情報を閲覧することが可能である。この場合、どのマークの前でどういったジェスチャをすれば良いかだけ知っていれば、情報が閲覧可能なので、集合するメンバーは事前にマークとジェスチャを教えておいてもらうことで、この情報にアクセスすることが可能になる。またマークとジェスチャを知らなければ、この情報にアクセスすることは難しいため、見せたい人にだけ情報を見せる機能が簡易的に実現できる。

また、この掲示板システムでは、携帯端末から情報を登録することが可能である。すなわち、システムに予め登録されているマークを撮像した後、情報登録ＧＵＩを呼び出し、その操作によって情報を登録することができる。これによって、例えば、先の集合場所に情報を登録するケースにおいて、自分が既に到着したことや、会場に先行することなどをメモとして、「忠犬ハチ公」と書かれた銅板の右下等に登録することが可能である。

なお、図１６に示す情報提示システム２００Ａは、上述の実現例３に対応させてジェスチャ認識部２１１を備えたものである。この図１６において、図１２と対応する部分には、同一符号を付し、その詳細説明は省略する。

ジェスチャ認識部２１１は、ジェスチャ識別データベース２１２に蓄積されているジェスチャ識別データに基づいて、物体認識部２０１から出力される物体の位置情報に対して、ジェスチャの検出識別処理を施して、ジェスチャ識別情報を得る。ここで、物体の位置情報は、物体とカメラ（撮像部）との相対位置情報を構成する。

情報提示部２０７は、ユーザ状態検出部２０６からの情報検索クエリおよびジェスチャ識別情報に基づいて、登録情報データベース２０８やインターネット２０９から情報を取得して、提示する。詳細説明は省略するが、この情報提示システム２００Ａのその他は、図１２に示す情報提示システム２００と同様に構成される。

なお、上述では、登録情報データベース２０８には、物体識別情報に関連づけされて画像、音声、テキストなどのコンテンツ情報が登録されているものとしている。そして、情報提示部２０７は、この登録情報データベース２０８から物体識別情報に関連付けされているコンテンツ情報を取得して表示するものとしている。

しかし、例えば、登録情報データベース２０８に、物体識別情報の他に、物体に対する位置（x,y,z）、回転（roll, pitch, yaw）に関連付けて、コンテンツ情報を登録する場合もある。上述の図１０に示す情報登録システム１００では、このような情報登録も可能である。図１７は、物体から離れた位置（x1,y1,z1）にメッセージ情報が登録されていることを示している。

この場合、情報提示システム（例えば、携帯端末）２００では、撮像位置を、図１８（ａ）から図１８（ｂ）に示すように移動させることで、図１８（ｃ）から図１８（ｄ）に示すように、物体がカメラのフレーム内にある状態からフレームアウトした状態となる。このような状態とすることで、上述したように位置（x1,y1,z1）に関連付けされたメッセージ情報を登録情報データベース２０８から取得でき、図１８（ｄ）に示すように、隠されているメッセージ情報の表示が可能となる。

上述したように、図１２に示す情報提示システム２００においては、登録情報データベース２０８から物体情報（物体識別情報）に関連付けされたコンテンツ情報が取得されて提示される。そのため、ユーザは、コンテンツ情報を閲覧するに当たって、複雑な操作を要求されることなく、ユーザの使い勝手が向上する。つまり、ユーザは所定の物体を撮像する操作をするか、あるいは記憶部に記憶されている所定の物体を撮影した画像データを選択する操作をするだけで、所望のコンテンツ情報の提示を受けて、その閲覧が可能となる。

また、図１２に示す情報提示システム２００においては、登録情報データベース２０８から物体情報およびユーザ識別情報に関連付けされたコンテンツ情報を取得できる。つまり、物体情報だけでなくさらにユーザ識別情報に関連付けされた所望のコンテンツ情報の取得が可能となる。すなわち、ユーザに応じたコンテンツ情報の取り出しが可能となる。

また、図１２に示す情報提示システム２００においては、閲覧環境情報（位置情報、時刻情報など）に基づいて、取得された所定数のコンテンツ情報の提示順位を決定できる。すなわち、コンテンツ情報を提示する際に、閲覧環境にあったコンテンツ情報を優先的に提示することなどが可能となる。

＜４．変形例＞
なお、上述実施の形態においては、各データベースが別個に存在するように示しているが、一個のデータベース内に複数種類のデータベースが含まれる構成であってもよい。また、上述実施の形態においては、各装置がネットワークシステムで構成される場合、各部が、適宜、クライアント装置５００Ａとサーバ装置５００Ｂとに分割配置されるように説明した。

しかし、クライアント装置５００Ａが全ての機能部を備える他に、サーバ装置５００Ｂにも適宜認識部やデータベースを配置する構成も考えられる。その場合、通信が良好に行われる場合にはサーバ装置５００Ｂ側で認識処理を効率的に行わせることができ、通信が不良の場合であってもクライアント装置５００Ａ側のみで全ての処理が可能で、情報提示などに支障を来さなくなる。

また、上述実施の形態においては、物体認識が光学式（カメラ等）であるように説明した。しかし、物体認識に関しては、必ずしも光学式（カメラ等）に限定されるものではない。例えば、無線機器（ブルートゥース等）や、測距機器（超音波、レーザー等）と識別機能のついたセンサの組み合わせ等、物体の識別と相対位置の取得が両立できる手段であれば置き換えが可能である。

また、本技術は、以下のような構成を取ることもできる。
（１）画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御部と
を備える情報提示装置。
（２）上記情報提示制御部は、
上記相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、
上記物体識別情報および上記ジェスチャ識別情報に基づいて情報提示を制御する
前記（１）に記載の情報提示装置。
（３）上記情報提示制御部は、
上記物体識別情報および上記ジェスチャ識別情報に関連付けされた情報を提示する
前記（２）に記載の情報提示装置。
（４）上記ジェスチャ識別情報には、確からしさを示す確信度情報が付加されており、
上記情報提示制御部は、
上記確信度情報が示す確信度が所定値以下のとき、上記物体識別情報に関連付けされた情報を提示する
前記（２）または（３）に記載の情報提示装置。
（５）上記情報提示制御部は、所定数の種類の提示情報を取得し、
上記相対位置情報が示す第１の操作により、上記所定数の種類から１つの種類を選択し、
上記相対位置情報が示す第２の操作により、上記選択された１つの種類の提示情報のうち少なくとも１つを選択する
前記（１）から（４）のいずれかに記載の情報提示装置。
（６）上記第１の操作は、
物体およびカメラの相対位置を一定範囲に入れ込む操作である
前記（５）に記載の情報提示装置。
（７）上記第２の操作は、
物体およびカメラの相対位置を特定の図形を描くように変化させる操作である
前記（５）または（６）に記載の情報提示装置。
（８）上記画像データを得る撮像部をさらに備える
前記（１）から（７）のいずれかに記載の情報提示装置。
（９）画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得ステップと、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御ステップと
を備える情報提示方法。
（１０）コンピュータを、
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得手段と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御手段
として機能させるプログラム。
（１１）画像データを取得する画像データ取得部と、
上記画像データに対して物体の検出識別処理を施して物体識別情報と、物体およびカメラの相対位置情報を得る物体認識部と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御部と
を備える情報提示システム。
（１２）画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録部とを備える
情報登録装置。
（１３）上記コンテンツ情報登録部は、
上記相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、
登録対象のコンテンツ情報を上記物体識別情報および上記ジェスチャ識別情報に関連付けてデータベースに登録する
前記（１２）に記載の情報登録装置。
（１４）画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得ステップと、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録ステップとを備える
情報登録方法。
（１５）コンピュータを、
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得手段と、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録手段
として機能させるプログラム。
（１６）画像データを取得する画像データ取得部と、
上記画像データに対して物体の検出識別処理を施して物体識別情報と、物体およびカメラの相対位置情報を得る物体認識部と、
データベースと、
上記データベースに登録対象のコンテンツ情報を入力するコンテンツ情報入力部と、
上記コンテンツ情報を、上記物体識別情報および上記相対位置情報に関連付けて上記データベースに登録するコンテンツ情報登録部とを備える
情報登録システム。

１００・・・情報登録システム
１０１・・・物体認識部
１０２・・・物体識別データベース
１０３・・・ユーザ認識部
１０４・・・ユーザ識別データベース
１０５・・・登録環境検出部
１０６・・・情報登録部
１０７・・・情報入力部
１０８・・・提示部
１０９・・・操作入力部
１１０・・・登録情報データベース
２００，２００Ａ・・・情報提示システム
２０１・・・物体認識部
２０２・・・物体識別データベース
２０３・・・ユーザ認識部
２０４・・・ユーザ識別データベース
２０５・・・閲覧環境検出部
２０６・・・ユーザ状態検出部
２０７・・・情報提示部
２０９・・・インターネット
２１０・・・操作入力部
２１１・・・ジェスチャ認識部
２１２・・・ジェスチャ識別データベース
３００・・・情報提示システム
３０１・・・物体認識部
３０２・・・物体識別データベース
３０３・・・ジェスチャ認識部
３０４・・・ジェスチャ識別データベース
３０５・・・情報提示部
３０６・・・提示情報データベース
４００・・・情報登録システム
４０１・・・物体認識部
４０２・・・物体識別データベース
４０３・・・ジェスチャ認識部
４０４・・・ジェスチャ識別データベース
４０５・・・情報登録部
４０６・・・情報入力部
４０７・・・提示部
４０８・・・操作入力部

Claims (16)

1. 画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
   上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御部と
   を備える情報提示装置。
2. 上記情報提示制御部は、
   上記相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、
   上記物体識別情報および上記ジェスチャ識別情報に基づいて情報提示を制御する
   請求項１に記載の情報提示装置。
3. 上記情報提示制御部は、
   上記物体識別情報および上記ジェスチャ識別情報に関連付けされた情報を提示する
   請求項２に記載の情報提示装置。
4. 上記ジェスチャ識別情報には、確からしさを示す確信度情報が付加されており、
   上記情報提示制御部は、
   上記確信度情報が示す確信度が所定値以下のとき、上記物体識別情報に関連付けされた情報を提示する
   請求項２に記載の情報提示装置。
5. 上記情報提示制御部は、所定数の種類の提示情報を取得し、
   上記相対位置情報が示す第１の操作により、上記所定数の種類から１つの種類を選択し、
   上記相対位置情報が示す第２の操作により、上記選択された１つの種類の提示情報のうち少なくとも１つを選択する
   請求項１に記載の情報提示装置。
6. 上記第１の操作は、
   物体およびカメラの相対位置を一定範囲に入れ込む操作である
   請求項５に記載の情報提示装置。
7. 上記第２の操作は、
   物体およびカメラの相対位置を特定の図形を描くように変化させる操作である
   請求項５に記載の情報提示装置。
8. 上記画像データを得る撮像部をさらに備える
   請求項１に記載の情報提示装置。
9. 画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得ステップと、
   上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御ステップと
   を備える情報提示方法。
10. コンピュータを、
    画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得手段と、
    上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御手段
    として機能させるプログラム。
11. 画像データを取得する画像データ取得部と、
    上記画像データに対して物体の検出識別処理を施して物体識別情報と、物体およびカメラの相対位置情報を得る物体認識部と、
    上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御部と
    を備える情報提示システム。
12. 画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
    登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録部とを備える
    情報登録装置。
13. 上記コンテンツ情報登録部は、
    上記相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、
    登録対象のコンテンツ情報を上記物体識別情報および上記ジェスチャ識別情報に関連付けてデータベースに登録する
    請求項１２に記載の情報登録装置。
14. 画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得ステップと、
    登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録ステップとを備える
    情報登録方法。
15. コンピュータを、
    画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得手段と、
    登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録手段
    として機能させるプログラム。
16. 画像データを取得する画像データ取得部と、
    上記画像データに対して物体の検出識別処理を施して物体識別情報と、物体およびカメラの相対位置情報を得る物体認識部と、
    データベースと、
    上記データベースに登録対象のコンテンツ情報を入力するコンテンツ情報入力部と、
    上記コンテンツ情報を、上記物体識別情報および上記相対位置情報に関連付けて上記データベースに登録するコンテンツ情報登録部とを備える
    情報登録システム。