JP4579026B2 - 複合マーカ情報取得装置 - Google Patents

Description

本発明は、情報を符号化したシンボルである光学的な特徴を有するマーカと非接触ＩＤタグとから構成される複合マーカから情報を取得する複合マーカ情報取得装置に関する。

実世界中の対象物及び／又は既定のマーカに対し、所定の関連情報を呈示する情報呈示装置としては、バーコードリーダが一般的によく知られている。

そのうち、対象物及び／又は既定のマーカの空間情報を利用して、情報を呈示する装置がある。例えば、特許文献１には、名刺上に印刷された２次元コードをカメラで読み込み、コンピュータ内のプログラムでＩＤを解析し、このＩＤに相当する人物の顔写真を、あたかも名刺上の２次元コードの横にあるかのごとく、コンピュータ上のディスプレイに表示することが開示されている。
特開２０００−８２１０７号公報

上記特許文献１に開示された装置は、既定のマーカについて画像入力を行い、その空間定位情報を解析し表記されたＩＤを認識することで、所定の関連情報を出力する情報呈示装置であるが、マーカと所定の情報とは１対１で対応している。従って、１０種類の情報を呈示したい場合は、１０種類のマーカを準備する必要があった。

しかしながら、極めて多数のマーカが設定され、しかも処理する側の装置がＰＤＡ等の携帯型端末である場合には、高精度の画像処理は期待できないために、マーカを誤認識する可能性が高くなってしまうという問題があった。

このような問題を解決するために、マーカに、情報を記録した非接触ＩＤタグ等を内蔵させた複合マーカを構成し、情報呈示装置がその非接触ＩＤタグから情報を読み取るというような手法が考えられる。

しかしながら、非接触ＩＤタグの情報を読み取るには、携帯端末側から非接触ＩＤタグに搬送波に乗せてデータ送信することで、非接触ＩＤタグにその搬送波により必要な電力を発生させて、無線通信を行う必要があり、そのため、非接触ＩＤタグの情報を読み取るために常に電力を供給する（送信する）と消費電力が大きく、ＰＤＡ等の携帯型端末では、内蔵バッテリが早く消耗するという問題があった。

本発明は、上記の点に鑑みてなされたもので、適切なタイミングでマーカと非接触ＩＤタグの情報の読み取りを行うことが可能な複合マーカ情報取得装置を提供することを目的とする。

本発明の複合マーカ情報取得装置の一態様は、
所定の撮影範囲を有し、当該撮影範囲内の対象物に固定された光学的な特徴を有するマーカを撮影する撮影手段と、
上記マーカに対して相対的位置が固定され、上記マーカ又は当該マーカが固定されている対象物に関連する情報を保持する非接触ＩＤタグから、当該情報を取得する情報取得手段と、
上記撮影手段が撮影した画像に基づいて上記情報取得手段に情報取得を行なわせる情報取得制御手段と、
上記情報取得手段の取得した上記情報と上記撮影手段が撮影した上記光学的な特徴とから上記マーカを同定し、この同定結果から生成した情報を上記撮影手段が撮影した画像に重畳した重畳画像を生成する重畳画像生成部と、
を有することを特徴とする。

本発明によれば、適切なタイミングでマーカと非接触ＩＤタグの情報の読み取りを行うことが可能な複合マーカ情報取得装置を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１（Ａ）は本発明の第１実施形態に係る複合マーカ情報取得装置の適用された情報呈示装置の構成を示す図である。また、図１（Ｂ）は本発明の第１実施形態に係る複合マーカの表面の正面図であり、図１（Ｃ）はその複合マーカの裏面の正面図である。

本実施形態において、複合マーカ１０は、図１（Ｂ）及び（Ｃ）に示すように、情報を符号化したシンボルであるマーカ１１と、非接触ＩＤタグ１２とが一体になったものである。

ここで、マーカ１１は、複合マーカ１０の表面に配されたもので、予め定められた形状の枠部１１Ａと、その内部に記された文字を含む記号や意匠１１Ｂとから構成される。即ち、少なくとも３つ以上の光学的に識別可能な特徴点を有し、当該特徴点の３次元的配置が既知であるとともに、当該特徴点を含むように撮影した画像から当該画像を撮影したカメラとの相対的位置姿勢が特定可能なものとなっている。

また、非接触ＩＤタグ１２は、マーカ裏面（或いは内部）に設けられたもので、本実施形態では、電力受信とデータ送受信を兼ねるアンテナ１２Ａと、電子素子を内蔵したＩＣチップ１２Ｂと、情報を記憶する記憶部１２Ｃとで構成されたＲＦＩＤタグとして提供されている。なお、ＩＣチップ１２Ｂと記憶部１２Ｃは、別体構成としたが、１チップのＩＣにより構成しても構わない。また、ＩＣチップ１２Ｂ及び記憶部１２Ｃが矩形であり、ＩＣチップ１２Ｂにアンテナ１２Ａとしてダイポールアンテナが配置されている構成を示したが、それらの形状は適宜変更可能である。

非接触ＩＤタグ１２としてのＲＦＩＤタグは、送受信回路を含むＩＣチップ１２Ｂで、搬送波に乗せて送信される外部からのデータをアンテナ１２Ａを介して受信し、その搬送波により必要な電力を発生させ、その電力を用いて、記憶部１２Ｃに対してデータ読み出し及び書き込みと、アンテナ１２Ａを介しての送信を行い、外部に情報を送信するようになっている。

上記記憶部１２Ｃは、予め、上記マーカ１１に関連する情報又はそのマーカ１１を有する複合マーカ１０が固定された物品に関連する情報を記憶するものである。なお、本発明において、「固定」とは、物品に直接固定されるものに限らず、間接的な固定、つまり物品に対して所定の位置姿勢関係が変化することなく配置されることも含むものとする。上記記憶部１２Ｃに記憶される情報としては、本実施形態では、当該複合マーカ１０の設置されるエリア情報が書き込まれている。例えば、５階建ての建物（全領域）に複合マーカ１０を設置する場合は、その全領域を複数に区分した区分領域（例えばフロア毎）とし、エリア情報として区分領域毎に異なる情報つまり何階であるかを示す情報が書き込まれる。この場合、同一の記号や意匠１１Ｂ、例えば「５０」を持つマーカが各区分領域にあっても構わない。

このような複合マーカ１０を使用する情報呈示装置２０は、図１（Ａ）に示すように、画像入力部２１、マーカ検出部２２、ＲＦＩＤ読取部２３、位置姿勢検出部２４、マーカ情報格納部２５、関連情報生成部２６、関連情報格納部２７、重畳画像生成部２８、及び表示部２９から構成されている。ここで、該情報呈示装置２０は、カメラ付ＰＤＡやカメラ付携帯電話機等の携帯型端末として提供されるものである。この場合、全ての構成をその携帯型端末内に設けても良いが、一部を通信によりアクセス可能なサーバ上に配置しても構わない。但し、携帯型端末は、少なくとも、画像入力部２１とＲＦＩＤ読取部２３と表示部２９とを備えることが必要である。

ここで、画像入力部２１は、所定の撮影範囲を有するカメラにより、対象物（物品）に直接又は間接的に固定された複合マーカ１０を撮影するもので、その撮影した画像をマーカ検出部２２に入力する。マーカ検出部２２は、画像入力部２１より入力された画像内から複合マーカ１０のマーカ１１を検出し、その検出結果をＲＦＩＤ読取部２３と位置姿勢検出部２４に供給するものである。

ＲＦＩＤ読取部２３は、上記マーカ検出部２２よりマーカ検出の検出結果を受けて、上記複合マーカ１０のＲＦＩＤタグである非接触ＩＤタグ１２から情報を読み出すために、搬送波にデータ読み出しの指令を乗せて送信し、非接触ＩＤタグ１２から読み出した情報を位置姿勢検出部２４に供給するものである。

即ち、本実施形態では、画像入力部２１のカメラの撮影範囲内に情報取得範囲（非接触ＩＤタグ１２から情報を受信可能な範囲）が存在する場合にのみ、ＲＦＩＤ読取部２３による情報の読み出しを行うことで、情報呈示装置のバッテリの消耗を抑えるものである。

図２（Ａ）乃至（Ｄ）は、画像入力部２１のカメラの撮影範囲と、非接触ＩＤタグ１２から情報を受信可能な範囲である情報取得範囲の関係を説明するための図である。ここで、図２（Ａ）は、撮影範囲２１Ａを情報取得範囲２３Ａが全て含むことを示す図である。図２（Ｂ）は、撮影範囲２１Ａと情報取得範囲２３Ａとが一致していることを示す図である。図２（Ｃ）は、撮影範囲２１Ａが情報取得範囲２３Ａの全て含むことを示す図である。図２（Ｄ）は、撮影範囲２１Ａ内に情報取得範囲２３Ａの一部を含むことを示す図である。

ここで、情報取得範囲２３Ａは、カメラの撮影範囲２１Ａ内にその一部でも存在すれば良い（図２（Ａ）、図２（Ｂ）、図２（Ｃ）、及び図２（Ｄ）が該当する）が、撮影範囲２１Ａが情報取得範囲２３Ａを全て含んだ方（図２（Ａ）及び図２（Ｂ）が該当する）がより確実に受信できるため、本実施形態では、上記マーカ１１を検出することで、カメラの所定の撮影範囲２１Ａ内に上記マーカ１１が入ったときに、即ち、マーカ１１に対して所定の位置姿勢になったと推定されたときに、ＲＦＩＤ読取部２３による情報の読み出しを開始させるようにしている。なお、この所定の位置姿勢は、概ね上記マーカ１１に対して正対した時の位置姿勢、つまりは、上記非接触ＩＤタグ１２のアンテナ１２Ａに対して正対した時の位置姿勢である。

位置姿勢検出部２４は、上記ＲＦＩＤ読取部２３からの非接触ＩＤタグ１２から読み出した情報と上記マーカ検出部２２からのマーカ情報とを用いて、マーカ情報格納部２５に格納されている情報から対応するマーカを同定し、画像入力部２１のカメラの位置及び姿勢を検出して、その検出結果を関連情報生成部２６に供給するものである。ところで、上記光学的マーカ部に対する画像入力部２１のカメラの位置姿勢は、特開２０００−２２７３０９号公報、特開２００１−１２６０５１号公報などに記載の公知の技術を利用して検出されるものである。なお、マーカ情報格納部２５には、マーカのテンプレート画像やマーカの属するエリア情報、マーカの配置されている位置姿勢情報等のマーカに関する情報が格納されている。

関連情報生成部２６は、上記位置姿勢検出部２４で検出された画像入力部２１のカメラの位置姿勢に応じて、関連情報格納部２７から予め設定された情報を抽出して関連情報を生成し、重畳画像生成部２８に供給するものである。ここで、関連情報格納部２７には、モデル空間上に配置されたモデルの位置姿勢情報や形状情報、属性情報等の関連情報が格納されている。

重畳画像生成部２８は、上記画像入力部２１からの画像と上記関連情報生成部２６で生成した関連情報とを重畳し、表示部２９に供給するものである。表示部２９は、この重畳画像生成部２８で生成された重畳画像を表示する。

図３（Ａ）は、上記のような構成の情報呈示装置２０の動作フローチャートである。

まず、画像入力部２１のカメラにより、図３（Ｂ）に示すように複合マーカ１０が固定された物品３０を撮影し、その画像をマーカ検出部２２に入力してマーカ１１を検出する（ステップＳ１）。このマーカ検出部２２においては、まず、画像内から複合マーカ１０の表面に配されマーカ１１の予め定められた形状、本実施形態では四角枠である枠部１１Ａを検出する（四角枠の検出は、公知の画像処理手法であるので、説明は省略する）。次に、その検出した枠部１１Ａ（四角枠）の四隅の画像内での座標を検出し、四角枠の内部を抽出してアフィン変換を行う。そして、アフィン変換後の画像とマーカ情報格納部２５に予め登録してあるマーカのテンプレート画像とのパターンマッチングを行い、マーカ１１の同定（この場合、記号や意匠１１Ｂが「５０」のマーカであることを同定する。しかし、まだエリア情報が未入手のため、どのエリアの「５０」のマーカであるのかまでは、特定できていない）を行う。もし、マーカのテンプレート画像と一致しない画像であれば、マーカとして検出せずに（ステップＳ２）、上記ステップＳ１に戻る。

マーカ１１が検出されると、ＲＦＩＤ読取部２３により非接触ＩＤタグ１２からエリア情報を読み出す（ステップＳ３）。これは、ＲＦＩＤ読取部２３が搬送波にデータ読み出しの指令を乗せて送信することにより行われる。即ち、非接触ＩＤタグ１２においては、アンテナ１２Ａで受信した搬送波により必要な電力を発生させ、ＩＣチップ１２Ｂはその電力を用いて記憶部１２Ｃ内の情報を読み出して、アンテナ１２Ａにより送信を行う。ＲＦＩＤ読取部２３は、この非接触ＩＤタグ１２から送信されてきた情報を受信し、その受信した情報がエリア情報かどうかを判定する（ステップＳ４）。判定の結果、エリア情報を検出できなかった場合は、上記ステップＳ３に戻って、再度、非接触ＩＤタグ１２から情報の読み出しを行う。これに対して、エリア情報（例えば、「エリア１」）を検出したら、次のステップを実行する。

次に、位置姿勢検出部２４では、上記マーカ検出部２２によって検出されたマーカ情報（「５０」のマーカ）と上記ＲＦＩＤ読取部２３で検出したエリア情報（「エリア１」）とから、上記画像入力部２１のカメラで撮影した複合マーカ１０を同定（「エリア１」の「５０」のマーカ）する（ステップＳ５）。

こうしてマーカが同定されると、マーカ情報格納部２５から対応するマーカの空間定位情報（マーカの配置されている位置姿勢情報）を入手できるので、位置姿勢検出部２４では、画像内でのマーカ１１の四隅の位置から画像入力部２１のカメラの位置姿勢を検出することが可能になる（ステップＳ６）。そして、関連情報生成部２６では、この位置姿勢検出部２４で検出したカメラの位置姿勢に応じて、関連情報格納部２７から予め設定された情報を抽出して関連情報を生成する（ステップＳ７）。

ここで、例えば「エリア１」の「５０」のマーカに関しては、関連情報格納部２７には、図３（Ｃ）に示すように、対応する物品３０の３次元モデル２７Ａと、そのモデル空間で複合マーカ１０の下に配されたアノテーション情報（「高温注意」）２７Ｂとが、関連情報として格納されている。

従って、重畳画像生成部２８は、上記画像入力部２１からの画像と上記関連情報生成部２６で生成した関連情報とを重畳し、図３（Ｄ）に示すように、表示部２９の表示画面２９Ａに重畳画像を表示する（ステップＳ８）。

以上のようにして、複合マーカ１０のエリア情報とマーカ情報とが検出され、カメラの位置姿勢が検出されると、表示画面２９Ａ上には重畳画像が表示されるものである。

［第２実施形態］
図４は本発明の第２実施形態に係る複合マーカ情報取得装置の適用された情報呈示装置２０の構成を示す図である。これは、非接触ＩＤタグ１２としてのＲＦＩＤタグにエリアＩＤを記憶した場合の構成である。

即ち、非接触ＩＤタグ１２の記憶部１２Ｃに、上記第１実施形態のようなエリア情報そのものを記憶するのではなく、本実施形態では、エリアに対応するＩＤが記憶されている。このような場合には、情報呈示装置にエリア情報格納部４０を設けておき、ＲＦＩＤ読取部２３において、エリアＩＤに対応するエリア情報を抽出する。

なお、非接触ＩＤタグ１２には、ユニークなＩＤを記憶してエリア情報格納部４０にテーブルを持っても良いし、マーカの存在する空間定位情報（緯度経度等）を記憶しても、もちろん構わない。

図５（Ａ）は、本実施形態の情報呈示装置２０の動作フローチャートである。

即ち、上記第１実施形態と同様に、画像入力部２１のカメラにより複合マーカ１０が固定された物品３０を撮影し、その画像をマーカ検出部２２に入力してマーカ１１を検出する（ステップＳ１）。

そして、マーカが検出されると（ステップＳ２）、本実施形態では、ＲＦＩＤ読取部２３は、非接触ＩＤタグ１２からＩＤ情報を読み出す（ステップＳ１１）。これは、ＲＦＩＤ読取部２３が搬送波にデータ読み出しの指令を乗せて送信することにより行われる。即ち、非接触ＩＤタグ１２においては、アンテナ１２Ａで受信した搬送波により必要な電力を発生させ、ＩＣチップ１２Ｂはその電力を用いて記憶部１２Ｃ内の情報を読み出して、アンテナ１２Ａにより送信を行う。ＲＦＩＤ読取部２３は、この非接触ＩＤタグ１２から送信されてきた情報を受信し、その受信した情報がＩＤ情報（エリアＩＤ）かどうかを判定する（ステップＳ１２）。判定の結果、ＩＤ情報を検出できなかった場合は、上記ステップＳ１１に戻って、再度、非接触ＩＤタグ１２から情報の読み出しを行う。これに対して、ＩＤ情報を検出した場合には、ＲＦＩＤ読取部２３は、そのＩＤ情報に対応するエリア情報をエリア情報格納部４０から抽出することで、エリアを同定し、エリア情報を位置姿勢検出部２４に与える（ステップＳ１３）。

その後は、上記第１実施形態と同様に、位置姿勢検出部２４で、マーカ情報とエリア情報とから、上記画像入力部２１のカメラで撮影した複合マーカ１０を同定し（ステップＳ５）、位置姿勢検出部２４で、画像入力部２１のカメラの位置姿勢を検出して（ステップＳ６）、関連情報生成部２６で、そのカメラの位置姿勢に対応する関連情報を生成する（ステップＳ７）。そして、重畳画像生成部２８で、上記画像入力部２１からの画像とその生成した関連情報とを重畳して、表示部２９の表示画面２９Ａに重畳画像を表示する（ステップＳ８）。

［第３実施形態］
本発明の第３実施形態は、上記第１実施形態で説明したような構成の複合マーカ１０と情報呈示装置を用いてマーカ１１を検出し、非接触ＩＤタグ１２としてのＲＦＩＤタグからＩＤ情報を検出し、その検出したＩＤ情報によってマーカを同定するものである。

即ち、上記第１実施形態では、複合マーカ１０におけるマーカ１１の記号や意匠１１Ｂは、「５０」や「５１」のように複数種類存在し、それによってマーカ情報を得て、そのマーカ情報と非接触ＩＤタグ１２から読み出したＩＤ情報とに基づいてマーカを同定していたが、本実施形態では、どのエリアのどの複合マーカ１０もそのマーカ１１の記号や意匠１１Ｂは１種類（例えば「５０」のみ）とし、各複合マーカ１０の非接触ＩＤタグ１２の記憶部１２Ｃに、当該複合マーカ１０を同定するためのユニークなＩＤ情報を記憶しておくようにしているものである。

図５（Ｂ）は、そのような複合マーカ１０とした場合の複合マーカ情報取得装置の適用された情報呈示装置２０の動作フローチャートである。

即ち、上記第１実施形態と同様に、画像入力部２１のカメラにより複合マーカ１０が固定された物品３０を撮影し、その画像をマーカ検出部２２に入力してマーカ１１を検出する（ステップＳ１）。

そして、マーカが検出されると（ステップＳ２）、本実施形態では、ＲＦＩＤ読取部２３は、非接触ＩＤタグ１２からＩＤ情報を読み出す（ステップＳ１１）。これは、ＲＦＩＤ読取部２３が搬送波にデータ読み出しの指令を乗せて送信することにより行われる。即ち、非接触ＩＤタグ１２においては、アンテナ１２Ａで受信した搬送波により必要な電力を発生させ、ＩＣチップ１２Ｂはその電力を用いて記憶部１２Ｃ内の情報を読み出して、アンテナ１２Ａにより送信を行う。ＲＦＩＤ読取部２３は、この非接触ＩＤタグ１２から送信されてきた情報を受信し、その受信した情報がＩＤ情報かどうかを判定する（ステップＳ１２）。判定の結果、ＩＤ情報を検出できなかった場合は、上記ステップＳ１１に戻って、再度、非接触ＩＤタグ１２から情報の読み出しを行う。

これに対して、ＩＤ情報を検出した場合には、位置姿勢検出部２４で、その読み出されたＩＤ情報から、上記画像入力部２１のカメラで撮影した複合マーカ１０を同定する（ステップＳ２１）。

その後は、上記第１実施形態と同様に、その位置姿勢検出部２４で更に、画像入力部２１のカメラの位置姿勢を検出して（ステップＳ６）、関連情報生成部２６で、そのカメラの位置姿勢に対応する関連情報を生成する（ステップＳ７）。そして、重畳画像生成部２８で、上記画像入力部２１からの画像とその生成した関連情報とを重畳して、表示部２９の表示画面２９Ａに重畳画像を表示する（ステップＳ８）。

なお、ステップＳ２１における上記位置姿勢検出部２４でのＩＤ情報からの複合マーカ１０の同定は、上記ＩＤ情報を、既知情報に基づいて配置領域を特定できるＩＤとし、その既知情報をマーカ情報格納部２５に登録しておくことで、容易に実施することができる。例えば、上記ＩＤ情報としては、実世界座標系における位置（緯度、経度、高度）を含むものとすれば良い。

［第４実施形態］
図６（Ａ）は本発明の第４実施形態に係る複合マーカ１０の表面の正面図であり、図６（Ｂ）はその複合マーカ１０の裏面の正面図である。

本実施形態に係る複合マーカ１０は、非接触ＩＤタグ１２であるＲＦＩＤタグのアンテナ１２Ａの位置を上方、例えばマーカ１１の枠部１１Ａよりも外側に対応する位置にオフセットしたものである。

前述の第１乃至第３実施形態に係る複合マーカ１０では、図１（Ｃ）に示すようにその複合マーカ１０の中心部にアンテナ１２Ａが設置されていたが、物品に複合マーカ１０を固定する際、当該物品全体像を撮像するとした場合に、その撮影範囲２１Ａの中心になるように物品の中心付近に固定しないと非接触ＩＤタグ１２の情報の読み出しが確実に行えないという問題がある。これに対して、本実施形態のようにアンテナ１２Ａを上方にオフセットすると、本実施形態に係る複合マーカ１０を物品の下方に固定しても、その物品の撮影時にアンテナ１２Ａが撮影範囲２１Ａの中心になるので、確実に情報の読み出しが行えるようになる。

また、場合によっては、特定の者にだけ情報を提示したいことがある。そのような場合には、物品の中央に複合マーカ１０を固定し、アンテナ１２Ａのオフセット位置を特定者にだけ知らせておくことで、それを知らない一般者にはアンテナ１２Ａを撮影範囲２１Ａの中心に捉えることができないので、非接触ＩＤタグ１２の情報の読み出しが行えないようにすることができる。

なお、図では上方にアンテナ１２Ａをオフセットした場合のみを示しているが、そのオフセットの方向は上方に限定されるものではない。

また、マーカ１１の検出時に、アンテナ１２Ａの既知のオフセット位置または方向を示す矢印等のシンボルを、表示部２９の表示画面２９Ａに重畳表示してもよい。

図７（Ａ）乃至（Ｃ）は、マーカの検出時に、アンテナ１２Ａの既知のオフセット位置または方向を示す矢印等のシンボルを、表示部２９の表示画面２９Ａに重畳表示している状態を説明するための図である。ここで、図７（Ａ）及び（Ｂ）はそれぞれ、上記シンボルとして、アンテナ１２Ａの位置を示す二つの矢印（２９Ｂ及び２９Ｃ）を、表示部２９の表示画面２９Ａに重畳表示している状態を示す図である。また、図７（Ｃ）は、上記シンボルとして、アンテナ１２Ａの位置を示す破線の円２９Ｄを、表示部２９の表示画面２９Ａに重畳表示している状態を示す図である。

この重畳表示されたシンボルに応じて、複合マーカ情報取得装置としての情報呈示装置２０とアンテナ１２Ａの相対位置を操作者が調整すれば、情報取得に最適な相対位置を維持できるようになる。すなわち、上記のようなシンボルの表示により、非接触ＩＤタグ１２の情報取得をするときの複合マーカ情報取得装置（情報呈示装置２０）とアンテナ１２Ａとの相対的位置が、正確な情報取得を期待できる、より適当な位置関係となるように、操作者を案内または誘導することが可能となる。

［第５実施形態］
図６（Ｃ）は本発明の第５実施形態に係る複合マーカ１０の表面の正面図であり、図６（Ｄ）はその複合マーカ１０の裏面の正面図である。

本実施形態は、上記第４実施形態のように非接触ＩＤタグ１２であるＲＦＩＤタグのアンテナ１２Ａの位置を上方にオフセットした場合、そのアンテナ１２Ａの位置を示す線１３を、複合マーカ１０の表面に配したものである。

即ち、上記第４実施形態では、複合マーカ１０のアンテナ１２Ａの位置を予め把握していないと非接触ＩＤタグ１２の情報の読み出しが確実にできない恐れがあったが、本実施形態では、アンテナ位置を示す線１３が画面中心になるように画像入力部２１のカメラを向けることにより、非接触ＩＤタグ１２からの情報の読み出しがより確実になる。

非接触ＩＤタグ１２のアンテナ１２Ａの位置を下方にオフセットした場合には、図６（Ｅ）及び（Ｆ）に示すようになる。

なお、アンテナの位置を示す表示は、線１３に限定されるものではなく、２次元バーコード等の画像であっても構わない。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、情報を符号化したシンボルとして、少なくとも３つ以上の光学的に識別可能な特徴点を有し、当該特徴点の３次元的配置が既知であるとともに、当該特徴点を含むように撮影した画像から当該画像を撮影したカメラとの相対的位置姿勢が特定可能な光学的マーカを例に説明したが、３次元的な位置姿勢が特定できるようなマーカとして機能するものであれば、どのようなものであっても良い。

また、非接触ＩＤタグ１２はＲＦＩＤタグに限定されるものではなく、赤外線等、非接触に情報を送信できるものであれば、どのようなものでも構わない。

更に、上記実施形態では、非接触ＩＤタグ１２の記憶部１２Ｃに、エリア情報やエリアＩＤ、ＩＤ情報等を記憶するものとしたが、更に、当該複合マーカ１０のマーカ１１における記号や意匠１１Ｂの情報も記憶するようにしても良い。例えば、その記号や意匠１１Ｂの相対的配置が特定できる配置情報を記憶すれば、マーカ情報格納部２５にマーカの配置されている位置姿勢情を格納しておかなくても、マーカ１１の位置姿勢を推定できるようになる。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 所定の撮影範囲を有し、当該撮影範囲内の対象物に固定された光学的な特徴を有するマーカ（情報を符号化したシンボル）を撮影する撮影手段と、
上記マーカに対して相対的位置が固定され、上記マーカ（シンボル）又は当該マーカ（シンボル）が固定されている対象物に関連する情報を保持する非接触ＩＤタグから、当該情報を取得する情報取得手段と、
上記撮影手段が撮影した画像に基づいて上記情報取得手段に情報取得を行なわせる情報取得制御手段と、
を有することを特徴とする複合マーカ情報取得装置。

（対応する実施形態）
この（１）に記載の複合マーカ情報取得装置に関する実施形態は、第１乃至第５実施形態が対応する。ここで、それらの実施形態において、複合マーカ１０のマーカ１１が上記マーカ（情報を符号化したシンボル）に、画像入力部２１が上記撮影手段に、撮影範囲２１Ａが上記所定の撮影範囲に、複合マーカ１０の非接触ＩＤタグ１２が上記非接触ＩＤタグに、ＲＦＩＤ読取部２３が上記情報取得手段に、マーカ検出部２２が上記情報取得制御手段に、それぞれ対応する。

（作用効果）
この（１）に記載の複合マーカ情報取得装置は、撮影手段が撮影した画像に基づいて情報取得手段に情報取得を行なわせるので、適切なタイミングでマーカと非接触ＩＤタグの情報の読み取りを行うことが可能な複合マーカ情報取得装置を提供することができる。

（２） 上記撮影手段の撮影範囲内に情報取得範囲（非接触ＩＤタグ読み取り範囲）が存在することを特徴とする（１）に記載の複合マーカ情報取得装置。

（対応する実施形態）
この（２）に記載の複合マーカ情報取得装置に関する実施形態は、第１乃至第５実施形態が対応する。ここで、それらの実施形態において、情報取得範囲２３Ａが上記情報取得範囲に対応する。

（作用効果）
この（２）に記載の複合マーカ情報取得装置によれば、撮影範囲内に情報取得範囲の一部でも存在すれば、非接触ＩＤタグ１２から情報を取得できる。

（３） 上記撮影範囲は、情報取得範囲（非接触ＩＤタグ読み取り範囲）を含むことを特徴とする（２）に記載の複合マーカ情報取得装置。

（対応する実施形態）
この（３）に記載の複合マーカ情報取得装置に関する実施形態は、第１乃至第５実施形態が対応する。

（作用効果）
この（３）に記載の複合マーカ情報取得装置によれば、撮影範囲内に情報取得範囲の全てが存在するので、非接触ＩＤタグ１２から情報を確実に取得できる。

（４） 上記情報取得制御手段は、上記撮影手段の所定の撮影範囲内に上記マーカが入ったとき、上記情報取得手段に情報取得を行なわせることを特徴とする（１）乃至（３）の何れかに記載の複合マーカ情報取得装置。

（対応する実施形態）
この（４）に記載の複合マーカ情報取得装置に関する実施形態は、第１乃至第５実施形態が対応する。

（作用効果）
この（４）に記載の複合マーカ情報取得装置によれば、マーカを検出することで、容易に情報取得のタイミングを決定できる。

（５） 上記情報取得手段は、上記撮影手段によって撮影された画像を処理して、上記マーカに対して所定の位置姿勢になったと推定されたときに情報取得を行うことを特徴とする（１）乃至（４）の何れかに記載の複合マーカ情報取得装置。

（対応する実施形態）
この（５）に記載の複合マーカ情報取得装置に関する実施形態は、第１乃至第５実施形態が対応する。

（作用効果）
この（５）に記載の複合マーカ情報取得装置によれば、確実に情報取得可能なタイミングを決定できる。

（６） 上記所定の位置姿勢は、概ね上記マーカに対して正対した時の位置姿勢であることを特徴とする（５）に記載の複合マーカ情報取得装置。

（対応する実施形態）
この（６）に記載の複合マーカ情報取得装置に関する実施形態は、第１乃至第５実施形態が対応する。

（作用効果）
この（６）に記載の複合マーカ情報取得装置によれば、確実に情報取得可能なタイミングを決定できる。

（７） 上記所定の位置姿勢は、上記非接触ＩＤタグのアンテナに対して正対した時の位置姿勢であることを特徴とする（５）に記載の複合マーカ情報取得装置。

（対応する実施形態）
この（７）に記載の複合マーカ情報取得装置に関する実施形態は、第１乃至第５実施形態が対応する。

（作用効果）
この（７）に記載の複合マーカ情報取得装置によれば、確実に情報取得可能なタイミングを決定できる。

（８） 表示手段を更に具備し、
上記情報取得制御手段は、上記所定の位置姿勢になるように位置及び／または方向を上記表示手段に表示させることを特徴とする（５）乃至（７）の何れかに記載の複合マーカ情報取得装置。

（対応する実施形態）
この（８）に記載の複合マーカ情報取得装置に関する実施形態は、第４実施形態が対応する。ここで、その実施形態において、表示部２９が上記表示手段に対応する。

（作用効果）
この（８）に記載の複合マーカ情報取得装置によれば、当該情報取得装置とマーカとの相対位置関係が、正確な情報取得を期待できる、より適当な位置関係となるように、操作者を案内または誘導することが可能となる。

図１（Ａ）は、本発明の第１実施形態に係る複合マーカ情報取得装置の適用された情報呈示装置の構成を示す図、図１（Ｂ）は、本発明の第１実施形態に係る複合マーカの表面の正面図であり、図１（Ｃ）は、その複合マーカの裏面の正面図である。 図２（Ａ）は、画像入力部のカメラの撮影範囲を非接触ＩＤタグから情報を受信可能な範囲である情報取得範囲が全て含むことを示す図、図２（Ｂ）は、撮影範囲と情報取得範囲とが一致していることを示す図、図２（Ｃ）は、撮影範囲が情報取得範囲の全て含むことを示す図であり、図２（Ｄ）は、撮影範囲内に情報取得範囲の一部を含むことを示す図である。 図３（Ａ）は、第１実施形態における情報呈示装置の動作フローチャートを示す図、図３（Ｂ）は、実空間に配置された物品を示す図、図３（Ｃ）は、関連情報格納部に記憶された関連情報を示す図であり、図３（Ｄ）は、表示例を示す図である。 図４は、本発明の第２実施形態に係る複合マーカ情報取得装置の適用された情報呈示装置の構成を示す図である。 図５（Ａ）は、第２実施形態における情報呈示装置の動作フローチャートを示す図であり、図５（Ｂ）は、本発明の第３実施形態に係る複合マーカ情報取得装置の適用された情報呈示装置の動作フローチャートを示す図である。 図６（Ａ）は、本発明の第４実施形態に係る複合マーカの表面の正面図、図６（Ｂ）は、その複合マーカの裏面の正面図、図６（Ｃ）は、本発明の第５実施形態に係る複合マーカの表面の正面図、図６（Ｄ）は、その複合マーカの裏面の正面図、図６（Ｅ）は、第５実施形態に係る複合マーカの変形例の表面の正面図であり、図６（Ｆ）は、その変形例の複合マーカの裏面の正面図である。 図７（Ａ）及び（Ｂ）はそれぞれ、マーカの検出時にアンテナの既知のオフセット位置または方向を示すシンボルとしてアンテナの位置を示す二つの矢印を表示部の表示画面に重畳表示している状態を示す図であり、図７（Ｃ）は上記シンボルとしてアンテナの位置を示す破線の円を表示部の表示画面に重畳表示している状態を示す図である。

符号の説明

１０…複合マーカ、 １１…マーカ、 １１Ａ…枠部、 １１Ｂ…記号や意匠、 １２…非接触ＩＤタグ、 １２Ａ…アンテナ、 １２Ｂ…ＩＣチップ、 １２Ｃ…記憶部、 １３…線、 ２０…情報呈示装置、 ２１…画像入力部、 ２１Ａ…撮影範囲、 ２２…マーカ検出部、 ２３…ＲＦＩＤ読取部、 ２３Ａ…情報取得範囲、 ２４…位置姿勢検出部、 ２５…マーカ情報格納部、 ２６…関連情報生成部、 ２７…関連情報格納部、 ２７Ａ…３次元モデル、 ２７Ｂ…アノテーション情報、 ２８…重畳画像生成部、 ２９…表示部、 ２９Ａ…表示画面、 ２９Ｂ，２９Ｃ…矢印、 ２９Ｄ…破線の円、 ３０…物品、 ４０…エリア情報格納部。

Claims (8)

1. 所定の撮影範囲を有し、当該撮影範囲内の対象物に固定された光学的な特徴を有するマーカを撮影する撮影手段と、
   上記マーカに対して相対的位置が固定され、上記マーカ又は当該マーカが固定されている対象物に関連する情報を保持する非接触ＩＤタグから、当該情報を取得する情報取得手段と、
   上記撮影手段が撮影した画像に基づいて上記情報取得手段に情報取得を行なわせる情報取得制御手段と、
   上記情報取得手段の取得した上記情報と上記撮影手段が撮影した上記光学的な特徴とから上記マーカを同定し、この同定結果から生成した情報を上記撮影手段が撮影した画像に重畳した重畳画像を生成する重畳画像生成部と、
   を有することを特徴とする複合マーカ情報取得装置。
2. 上記撮影手段の撮影範囲内に情報取得範囲が存在することを特徴とする請求項１に記載の複合マーカ情報取得装置。
3. 上記撮影範囲は、情報取得範囲を含むことを特徴とする請求項２に記載の複合マーカ情報取得装置。
4. 上記情報取得制御手段は、上記撮影手段の所定の撮影範囲内に上記マーカが入ったとき、上記情報取得手段に情報取得を行なわせることを特徴とする請求項１乃至３の何れかに記載の複合マーカ情報取得装置。
5. 上記情報取得手段は、上記撮影手段によって撮影された画像を処理して、上記マーカに対して所定の位置姿勢になったと推定されたときに情報取得を行うことを特徴とする請求項１乃至４の何れかに記載の複合マーカ情報取得装置。
6. 上記所定の位置姿勢は、概ね上記マーカに対して正対した時の位置姿勢であることを特徴とする請求項５に記載の複合マーカ情報取得装置。
7. 上記所定の位置姿勢は、上記非接触ＩＤタグのアンテナに対して正対した時の位置姿勢であることを特徴とする請求項５に記載の複合マーカ情報取得装置。
8. 表示手段を更に具備し、
   上記情報取得制御手段は、上記所定の位置姿勢になるように位置及び／または方向を上記表示手段に表示させることを特徴とする請求項５乃至７の何れかに記載の複合マーカ情報取得装置。

Images