JP4242529B2

JP4242529B2 - Related information presentation device and related information presentation method

Info

Publication number: JP4242529B2
Application number: JP30556599A
Authority: JP
Inventors: 祐一郎赤塚; 隆男柴▲崎▼; 明人斉藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-10-27
Filing date: 1999-10-27
Publication date: 2009-03-25
Anticipated expiration: 2019-10-27
Also published as: JP2001126051A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像内の対象物に関連した情報を表示する関連情報呈示装置及び関連情報呈示方法に関する。
【０００２】
【従来の技術】
従来、画像入力手段からの画像に関連した情報を表示する技術として、例えば、特開平１０−２６７６７１号公報に開示されているものが知られている。
【０００３】
図１は、この特開平１０−２６７６７１号公報に開示されている関連情報表示技術を示している。
【０００４】
すなわち、この関連情報表示技術では、図１に示すように、画像入力手段からの画像に関連した情報を表示することを目的として、画像取得部５１による画像取得時の概略位置を位置情報取得部５２から取得すると共に、角度をカメラ属性情報取得部５３より取得し、さらに、その位置から見える視野の眺望画像を地図情報管理部５５からの三次元地図情報に基づいて制御部５８ＡによりＣＧテクニックを用いて作成し、ラベル情報出力部５７Ａによりラベル情報作成部５６Ａからのラベル情報と重畳することで、入力画像とパターンマッチングを取ることにより、重畳する関連情報を決定するようにしている。
【０００５】
また、基準マーク位置から画像入力手段の位置姿勢を求める方法としては、文献１「ＶＲインターフェースのための単眼による長方形マーカー位置・姿勢の高精度実時間推定法」（３ＤＩｍａｇｅＣｏｎｆｅｒｅｎｃｅ′９６予稿集ｐｐ．１６７−１７２高橋章、石井郁夫、牧野秀夫、中静真１９９６）に開示されたものが知られている。
【０００６】
図２は、この文献１に開示されている画像入力手段の位置姿勢を求める方法を示している。
【０００７】
すなわち、この方法では、図２において、Ｏｃを視点、ｐｏを投影像対角線交点、Ｐｏを長方形対角線交点としたときに、
【０００８】
【数１】

【０００９】
を最小にするようなｘ′を求めることによって姿勢が求まる。
【００１０】
ここで、変数べクトルｘ′は
ｘ′＝（α₁′β₁′，α₂′）
である。
【００１１】
また、位置については、Ｏｃｐｉから頂点Ｐｉまでの距離を最小とするようなｄを最小２乗法によって推定すると、
【００１２】
【数２】

【００１３】
で与えられる。
【００１４】
次に、各頂点から求まる奥行き値の平均をとることにより、位置を定めることができる。
【００１５】
また、文献２「ＭｉｘｅｄＲｅａ１１ｔｙ」（ＩＳＢＮ４−２７４−９０２８３−８Ｏｈｍｓｈａ，Ｌｔｄ．，Ｃｈａｐｔｅｒ６：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＴｒａｃｋｉｎｇｉｎＮａｔｕｕａｌＦｅａｔｕｒｅＥｎｖｉｒｏｎｍｅｎｔｓ，Ｕ．Ｎｅｕｍａｎｎ，Ｓ．Ｙｏｕ，Ｙ．Ｃｈｏ，Ｊ．ＬｅｅａｎｄＪ．Ｐａｒｋ１９９９ｐｐ．１０１−１３０）においては，ＦｉｄｕｃｉａｌＭａｒｋと呼ばれる既知の基準点を用いることで画像入力手段の初期位置を求める技術が開示されている。
【００１６】
その際、この文献２では、複数の特徴点を抽出して入力画像内での投影位置を求め、その特徴点を入力装置の動きに応じて追跡することにより、画像入力手段の位置の最適解を求めるようにしている。
【００１７】
【発明が解決しようとする課題】
しかしながら、上述した従来技術の特開平１０−２６７６７１号公報では、重畳関連情報の決定のために、高さ方向の情報も含めた３次元地図から、視野内の眺望画像を再構成してマッチングをとる必要があり、その計算に時間がかかるという問題点がある。
【００１８】
また、上述した高橋らによる論文（文献１）に示されるように、基準マーク自体の４隅の位置座標により画像入力手段の位置姿勢を検出することはできるが、カメラとマークとの距離が離れた場合には、４隅の視野内での投影距離が小さくなり、検出精度が悪くなるという問題点がある。
【００１９】
また、大きなマークを使うことは、実用的でない場合が多い。
【００２０】
本発明は、このような点に着目し、高速に、重畳する関連情報を決定できる関連情報表示装置を提供することを課題とする。
【００２１】
また、上述した文献２による従来技術では、画像入力手段の初期位置を求めるために、既知の基準点の座標を別途記録するか、もしくは、該基準点と座標の対照表を用意する必要があった。
【００２２】
しかるに、この文献２による従来技術を広範囲のエリアで使う場合、もしくは小型の端末で使用する場合には、記録できる座標の数に制限があると共に、数多くの基準点の中から現在抽出されている基準点とのマッチングを取るのに時間がかかるため、限られた領域で使用することになり、汎用性がないという問題点がある。
【００２３】
本発明は、このような点に着目し、基準点を検出することでその座標位置を求めることができる関連情報表示装置を提供することを課題とする。
【００２４】
本発明は、上記の事情に鑑みてなされたもので、高速に、重畳する関連情報を決定できると共に、基準点を検出することでその座標位置を求めることができる関連情報呈示装置及び関連情報呈示方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
（１）被写体を撮像した画像上の対応位置に、上記被写体の各部の関連清報を重畳表示する関連情報呈示装置において、
上記被写体の４点以上の特徴点の位置情報を表わすパターンが表示された一つのマークを撮像範囲に含めて、上記被写体を撮像した画像を入力する画像入力手段と、
上記画像入力手段によって入力された画像から上記パターンを読み取り、上記４点以上の特徴点の位置情報を獲得する位置情報管理手段と、
上記位置情報管理手段によって獲得された４点以上の特徴点の獲得位置情報より上記画像入力手段の位置及び姿勢を求める位置情報取得手段と、
上記位置情報取得手段によって求められた画像入力手段の位置及び姿勢より、上記被写体の各部の上記画像上での位置を求める関連情報生成手段と、
上記関連情報生成手段によって求められた上記画像上での位置にもとづく対応位置に上記関連情報を重畳表示する情報重畳表示手段と、
を有することを特徴とする関連情報呈示装置が提供される。
【００２６】
また、本発明によると、上記課題を解決するために、
（２）上記マークに表示された上記パターンが表わす４点以上の特徴点の位置情報には、上記マーク自体の位置情報が含まれることを特徴とする（１）記載の関連情報呈示装置が提供される。
【００２７】
また、本発明によると、上記課題を解決するために、
（３）被写体を撮像した画像上の対応位置に、上記被写体の各部の関連情報を重畳表示する方法であって、
上記被写体の４点以上の特徴点の位置情報を表わすパターンが表示された一つのマークを撮像範囲に含めて、上記被写体を撮像した画像を画像入力手段によって入力するステップと、
上記パターンを読み取り、上記４点以上の特徴点の位置情報を獲得するステップと、
上記４点以上の特徴点の位置情報より上記画像入力手段の位置及び姿勢を求めるステップと、
上記画像入力手段の位置及び姿勢より、上記被写体の各部の上記画像上での位置を求めるステップと、
上記画像上での位置にもとづく対応位置に上記関連情報を重畳表示するステップと、
を有することを特徴とする関連情報呈示方法が提供される。
【００２８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２９】
（第１の実施の形態）
図３は、本発明の第１の実施の形態による関連情報呈示装置の構成を示すブロック図である。
【００３０】
図３に示すように、この第１の実施の形態による関連情報呈示装置は、画像入力手段１と、特徴点２と、特徴点認識手段３と、位置情報管理手段４と、位置情報取得手段５と、関連情報生成手段６と、情報重畳表示手段７と、基準マーク８と、基準マーク認識手段１０とから構成されている。
【００３１】
そして、この関連情報呈示装置おいては、まず、画像入力手段１により入力された画像データに基づき、位置情報管理手段４は、入力画像内に位置情報等を示すための基準マーク８が存在するかどうかを調べる。
【００３２】
この基準マーク８としては、パターンや２次元パターンが利用される。
【００３３】
これらのパターンや２次元パターンを利用した基準マーク８には、数バイトから数千バイト程度のデータを記録することができるものとする。
【００３４】
この基準マーク８に記録される位置情報については、世界座標と呼ばれる緯度経度で表す方法や、装置の使用範囲の中で原点を決め、座標系を定める方法などがある。
【００３５】
ここで、基準マーク８に記録される位置情報として、緯度経度を用いる場合には、例えば、東京近辺では、０．００１秒が３ｃｍ程度になり、その程度の精度を必要とする場合には、１０バイト程度あれば良いことになる。
【００３６】
また、その基準マーク８が向いている方向については、ｙａｗ，ｐｉｔｃｈ，Ｒｏｌｌの３つの角度（合計６バイト）で姿勢を表すことができる。
【００３７】
これらにより、基準マーク８に記録される位置情報は、北及び水平を基準としての角度を緯度経度と合わせて１６バイトで記録することにより、基準マーク８の置かれた位置、向いている方向を記録することができる。
【００３８】
そして、このような位置情報等がパターン化して記録されている基準マーク８は、マーク認識手段１０によって画像入力手段１からの入力画像内のマーク８として認識される。
【００３９】
すなわち、マーク認識手段１０は、認識されたマーク内に含まれる該マークの位置情報を獲得する。
【００４０】
そして、位置情報管理手段４は、前記マークと関連付けを行い、特徴点認識手段３により認識された画面内の特徴点（２）に対応する位置情報を獲得する。
【００４１】
次に、位置情報管理手段４は、基準マーク８近傍で抽出される複数の特徴点２の座標データを基準マーク８の取得データと合わせて記録しておく。
【００４２】
これらの特徴点２は、座標位置が既知な画像内の線分の交点や明度、彩度等の際立った点などである。
【００４３】
具体的には、取り込んだ画像を微分処理や細線化処理し、さらに、ある閾値で２値化することによって特徴点２を抽出することができる。
【００４４】
図４は、これら特徴点について模式的に表している。
【００４５】
すなわち、図４では、基準マーク８の他に特徴点Ｐ１〜Ｐ５があるばあいを示している。
【００４６】
ここで、基準マーク８については、その位置及び姿勢情報が上述したように記録してある。
【００４７】
また、特徴点Ｐ１〜Ｐ５については、それぞれの位置（ｘ１，ｙ１，ｚ１）〜（ｘ５，ｙ５，ｚ５）について予め測定し、基準マーク８内に記録しておくものとする。
【００４８】
この場合、基準マーク８内には、合計６６バイトのデータが記録されていることになる。
【００４９】
従って、基準マーク８として、容量が数千バイトあるような２次元パターンを用いれば、これらのデータの記録再生は容易に行うことができる。
【００５０】
図４では、画像入力手段１は基準マーク８及び特徴点Ｐ１，Ｐ２，Ｐ３を視野に入れている。
【００５１】
ここで、基準マーク８の情報を位置情報管理手段４により読み取ることにより、基準マーク８の位置姿勢及び特徴点Ｐ１〜Ｐ５についての位置座標が判明することになる。
【００５２】
そして、これらの位置姿勢及び特徴点情報は、上述したように位置情報管理手段４内に記憶しておくものとする。
【００５３】
次に、位置情報取得手段５は、従来技術にも開示されているように、位置が既知となっている特徴点から画像入力手段１の位置、姿勢を計算する。
【００５４】
また、基準マーク８の方向が既知であるため、画像入力手段１の世界座標での姿勢も求めることができる。
【００５５】
これにより、求まった画像入力手段１の位置及び姿勢情報を用いて、その視野内に重畳表示すべき関連情報を関連情報生成手段６を用いて生成し、情報重畳表示手段７により画像内の所定の位置に重畳表示することができる。
【００５６】
ここで、重畳表示する関連情報としては、建造物や風景の位置の指示や説明、視野内にある機械設備等の説明などが挙げられる。
【００５７】
これらは情報の対象物（建造物や風景、機械設備など）の位置に重ねて、あるいは周辺近傍に表示されるべきである。
【００５８】
これら重畳すべき情報については、関連情報生成手段６の中に予め記憶しておくものとする。
【００５９】
また、情報重畳表示手段７としては、ＣＲＴ，ＬＣなどが挙げられ、形状としては頭部装着型ＨＭＤや携帯型ＰＤＡなどがある。
【００６０】
次に、この状態で、画像入力手段１を図５に示すように移動、回転させると、視野内に２次元投影された基準マーク８及び特徴点Ｐ１〜Ｐ５の位置が変わり、関連情報の重畳表示すべき位置が移動する。
【００６１】
この例では、特徴点Ｐ１〜Ｐ５が視野内に入っているが、上記と同様に投影された位置と、基準マーク８から読み出して位置情報管理手段４内に記憶しておいた特徴点の世界座標とから、画像入力手段１の位置、姿勢を求めることができ、上記と同様関連情報を引き続いて重畳表示することができる。
【００６２】
このとき、基準マーク８が視野から外れた場合でも、視野内に４点以上の特徴点があれば、画像入力手段１の位置姿勢を求めることができる。
【００６３】
なお、特徴点は、基準マーク８と同様な２次元パターンまたはそれに類するパターンでも構わないその場合には、そのパターンには対象物の形、すなわちビル等の建造物や山の形状等を表す情報も含み、そのパターンを認識することにより、対象物の形状を再構成し、それを関連情報として画像に重畳表示することも可能である。
【００６４】
（第２の実施の形態）
図６は、本発明の第２の実施の形態による関連情報呈示装置の構成を示すブロック図である。
【００６５】
図６に示すように、この第２の実施の形態による関連情報呈示装置おいては、まず、画像入力手段１により入力された画像データに基づき、位置情報管理手段４は、入力画像内に位置情報等を示すための基準マーク８が存在するかどうかを調べる。
【００６６】
ここでは、視野内に３つ以上の特徴点２があるものとする。
【００６７】
また、基準マーク８としては、第１の実施の形態と同様に位置姿勢情報を示すパターンや２次元パターンを利用するが、予め記録されるのは基準マーク８の位置姿勢情報と、基準マーク８の大きさ情報であり、第１の実施の形態と異なり、特徴点２の位置姿勢情報は記録されてないものとする。
【００６８】
この場合、基準マーク８が、例えば、正方形の形状をしており、基準マーク８内に記録されている位置情報（ｘ０，ｙ０，ｚ０）は、マークの左上隅の点の座標とする。
【００６９】
また、基準マーク８の大きさ情報として、一辺の長さａが与えられれば他の３隅の左上隅点に対する相対位置情報が求まる。
【００７０】
これらの相対位置情報は、それぞれ左上隅点が（０，０，０）であるとき、右上隅点が（ａ，０，０）、左下隅点が（０，ａ，０）、右下隅点が（ａ，ａ，０）となる。
【００７１】
これらの相対座標系の座標は、下記行列式により世界座標系へと変換することができる。
【００７２】
【数３】

【００７３】
ここで、（ｘ_wp，ｙ_wp，ｚ_wp）は左上隅点の世界座標値を表し、（ｘ_lp，ｙ_lp，ｚ_lp）は相対座標系での座標を表す。
【００７４】
また、Ｌは下記行列式である。
【００７５】
【数４】

【００７６】
ここで、Ｒｏｔは基準マークの世界座標系での姿勢を表し、ｔｘ．ｔｙ．ｔｚは左上隅点の世界座標系での座標値を表す。
【００７７】
この座標を用いて、画像入力手段１の位置姿勢が求まる。
【００７８】
次に、視野内にある特徴点を関連付け、特徴点の世界座標系での位置を推定する。
【００７９】
この推定には、従来技術に開示されているように、時系列的に連続した複数の画像が用いられる。
【００８０】
その間、基準マークは視野内になければならないが、一度、特徴点の世界座標が推定されると、それ以降は基準マークが視野内になくとも、４つ以上の特徴点が画面内にあれば、それにより画像入力手段１の位置姿勢が求まる。
【００８１】
以下、第１の実施の形態の場合と同様に関連情報を重畳表示することが可能となる。
【００８２】
なお、画像入力手段１と関連情報生成手段７とは必ずしもオンラインで繋がっていなくともよい。
【００８３】
すなわち、写真のように予め撮影してある媒体を用いても、画像入力手段１についての位置、姿勢情報が求まれば、その写真と重ね合わせて関連情報を重畳表示することができる。
【００８４】
そして、上述したような実施の形態で示した本明細書には、特許請求の範囲に示した請求項１乃至３以外にも、以下に付記１乃至付記１２として示すような発明が含まれている。
【００８５】
（付記１）被写体を撮像した画像上の対応位置に、上記被写体の各部の関連情報を重畳表示する関連情報呈示装置において、
上記被写体の４点以上の位置情報を表わすパターンが表示されたマークを撮像範囲に含めて、上記被写体を撮像した画像を入力する画像入力手段と、
上記パターンを読み取り、上記位置情報を獲得する位置情報管理手段と、
上記位置情報より上記画像入力手段の位置及び姿勢を求める位置情報取街手段と、
上記画像入力手段の位置及び姿勢より、上記被写体の各部の上記画像上での位置を求める関連情報生成手段と、
上記関連情報生成手段の結果にもとづく対応位置に上記関連情報を重畳表示する情報重畳表示手段と、
を有することを特徴とする関連情報呈示装置。
【００８６】
（付記２）上記マークに表示された上記パターンが表わす４点以上の位置情報には、上記マーク自体の位置情報が含まれることを特徴とする付記１記載の関連情郭呈示装置。
【００８７】
（付記３）被写体を撮像した画像上の対応位置に、上記被写体の各部の関連情報を重畳表示する関連情報呈示装置において、
上記被写体を撮像して画像を入力する画像入力手段と、
画像入力手段の位置及び姿勢が知られた複数の画像より予め求められた上記被写体の４点以上の位置情報を格納してある位置情報管理手段と、
上記位置情報より上記画像入力手段の位置及び姿勢を求める位置情報取得手段と、
上記画像入力手段の位置及び姿勢より、上記被写体の各部の上記面像上での位置を求める関連情報生成手段と、
上記関連情報生成手段の結果にもとづく対応位置に上記関連情報を重畳表示する情報重畳表示手段と、
を有することを特徴とする関連情報呈示装置。
【００８８】
（付記４）上記複数の画像における画像入力手段の位置及び姿勢は、
各画像の撮像において、上記画像入力手段で、マークの大きさ及ぴ位置情報を表わすパタ一ンが表示されたマークを撮像範囲に含めて被写体を撮像し、
上記パターンを読み取って、マークの大きさ及び位置情報を獲得し、この獲得したマークの大きさ及び位置情報より、画像入力手段の位置及び姿勢を求めたものであることを特徴とする付記３記載の関連情報呈示装置。
【００８９】
（付記５）画像入力手段（１）と、
該画像入力手段からの入力画像内のマーク（８）を認識し、認識されたマーク内に含まれる該マークの位置情報を獲得するマーク認識手段（１０）と、
画面内の特徴点（２）を認識する特徴点認識手段（３）と、
予め、前記マークと関連付けを行い、該特徴点認識手段により認識された画面内の特徴点（２）に対応する位置情報を獲得する位置情報管理手段（４）と、
前記マーク及び／または特徴点の位置情報から前記画像入力手段の位置姿勢情報を取得する位置情報取得手段（５）と、
取得した位置姿勢情報に基づき入力画像視野内に関連した情報を生成する関連情報成手段（６）と、
生成された関連情報を入力画像に重畳表示する重畳表示手段（７）と、
を有する関連情報表示装置。
【００９０】
（作用）
関連情報を表示する場所近傍に、基準マーク（８）及びその周辺に複数の特徴点（２）またはマークとなるものを用意しておき、且つ、そのマークの中に基準マーク及び関連付けを行う特徴点またはマークの位置姿勢情報を、予め、記録しておく。
【００９１】
そして、その情報を用いて基準マーク（８）及び特徴点（２）の位置姿勢を決定し、更に視野内に投影される位置情報とを合わせて用いることにより、画像入力手段の位置姿勢を検出する。
【００９２】
（効果）
基準マーク及び特徴点のみにより画像入力手段の位置姿勢を決定できるため、視野画像に関連した情報の高速な重畳表示が可能となる。
【００９３】
（付記６）前記関連付けを行う特徴点（２）は作為的にマークとして用いることを目的に作成されたものではないことを特徴とする付記５記載の関連情報表示装置。
【００９４】
（付記７）前記関連付けを行う特徴点（２）は複数であることを特徴とする付記５の関連情報表示装置。
【００９５】
（付記８）前記位置姿勢情報を取得する位置情報取得手段は、特徴点が一つのマークと複数の特徴点を含むマークとを用いることを特徴とする付記５記載の関連情報表示装置。
【００９６】
（付記９）画像の入力手段（１）と、
該入力手段からの入力画像内のマーク（８）を認識し、認識されたマーク内に含まれる該マークの位置情報を獲得するマーク認識手段（１０）と、
前記マークと関連付けを行い、特徴点認識手段（３）により認識された画面内の特徴点（２）に対応する位置情報を獲得する位置情報管理手段（４）と、
マーク及び／または特徴点の位置情報から入力手段の位置姿勢情報を取得する手段（５）と、
取得した位置姿勢情報に基づき画像視野内に関連した情報を生成する手段（６）と、
生成された関連情報を入力画像に重畳表示する重畳表示手段（７）と、
を有する関連情報表示装置。
【００９７】
（作用）
関連情報を表示する場所近傍に、基準マーク（８）及びその周辺に複数の特徴点（２）またはマークとなるものを用意しておき、且つ、そのマークの中に基準マークの位置姿勢を、予め、記録しておく。
【００９８】
そして、その情報を用いて基準マーク（８）の位置姿勢を決定し、更に視野内に投影される位置情報とを合わせて用い、その情報により画像入力手段の位置姿勢を検出する。
【００９９】
その際、視野内にある特徴点を関連付けておくことにより、画像入力手段の移動または方向転換により基準マークが視野外になってもトラッキングを継続可能となる。
【０１００】
（効果）
基準マーク及び特徴点のみにより画像入力手段の位置姿勢を決定できるため、汎用的に用いることのできる関連情報表示装置を実現することができる。
【０１０１】
（付記１０）前記関連付けを行う特徴点（２）は作為的にマークとして用いることを目的に作成されたものではないことを特徴とする付記９記載の関連情報表示装置。
【０１０２】
（付記１１）前記関連付けを行う特徴点（２）は複数であることを特徴とする付記９記載の関連情報表示装置。
【０１０３】
（付記１２）前記位置姿勢情報を取得する位置情報取得手段は、特徴点が一つのマークと特徴点が複数のマークとを用いることを特徴とする付記９記載の関連情報表示装置。
【０１０４】
【発明の効果】
従って、以上説明したように、本発明によれば、高速に、重畳する関連情報を決定できると共に、基準点を検出することでその座標位置を求めることができる関連情報呈示装置及び関連情報呈示方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、特開平１０−２６７６７１号公報に開示されている関連情報表示技術を説明するために示す図である。
【図２】図２は、文献１に開示されている画像入力手段の位置姿勢を求める方法を説明するために示す図である。
【図３】図３は、本発明の第１の実施の形態による関連情報呈示装置の構成を示すブロック図である。
【図４】図４は、本発明の第１の実施の形態による関連情報呈示装置において用いる特徴点について模式的に表している図である。
【図５】図４は、本発明の第１の実施の形態による関連情報呈示装置の動作を説明するために示す図である。
【図６】図６は、本発明の第２の実施の形態による関連情報呈示装置の構成を示すブロック図である。
【符号の説明】
１…画像入力手段、
２…特徴点、
３…特徴点認識手段、
４…位置情報管理手段、
５…位置情報取得手段、
６…関連情報生成手段、
７…情報重畳表示手段、
８…基準マーク、
１０…基準マーク認識手段。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a related information presentation device and a related information presentation method for displaying information related to an object in an image.
[0002]
[Prior art]
Conventionally, as a technique for displaying information related to an image from an image input means, for example, a technique disclosed in Japanese Patent Laid-Open No. 10-267671 is known.
[0003]
FIG. 1 shows a related information display technique disclosed in Japanese Patent Laid-Open No. 10-267671.
[0004]
That is, in this related information display technique, as shown in FIG. 1, for the purpose of displaying information related to the image from the image input means, the approximate position at the time of image acquisition by the image acquisition unit 51 is determined as a position information acquisition unit. 52, the angle is acquired from the camera attribute information acquisition unit 53, and the view image of the field of view seen from the position is acquired by the control unit 58A based on the three-dimensional map information from the map information management unit 55. The label information output unit 57A superimposes the label information from the label information creation unit 56A so as to determine the related information to be superimposed by taking pattern matching with the input image.
[0005]
Further, as a method for obtaining the position and orientation of the image input means from the reference mark position, Reference 1 “High-Precision Real-Time Estimation Method of Rectangular Marker Position and Orientation with Monocular for VR Interface” (3DI Image Conference '96 Preliminary Report pp. 167-172 Akira Takahashi, Ikuo Ishii, Hideo Makino, Makoto Naka Shizu 1996) are known.
[0006]
FIG. 2 shows a method for obtaining the position and orientation of the image input means disclosed in this document 1.
[0007]
That is, in this method, when Oc is a viewpoint, po is a projected image diagonal intersection, and Po is a rectangular diagonal intersection in FIG.
[0008]
[Expression 1]

[0009]
The posture is obtained by obtaining x ′ that minimizes the angle.
[0010]
Here, the variable vector x ′ is x ′ = (α ₁ ′ β ₁ ′, α ₂ ′).
It is.
[0011]
For the position, if d is estimated by the method of least squares to minimize the distance from Ocpi to the vertex Pi,
[0012]
[Expression 2]

[0013]
Given in.
[0014]
Next, the position can be determined by taking the average of the depth values obtained from each vertex.
[0015]
Reference 2 “Mixed Real 11ty” (ISBN4-274-90283-8 Ohmsha, Ltd., Chapter 6: Augmented Reality Tracking in Natural Feature Environments, U. Neumann, S. Yoh. (1999 pp. 101-130) discloses a technique for obtaining the initial position of the image input means by using a known reference point called Fiducial Mark.
[0016]
In this case, in this document 2, a plurality of feature points are extracted to obtain a projection position in the input image, and the feature points are tracked according to the movement of the input device. Asking for.
[0017]
[Problems to be solved by the invention]
However, in the above-mentioned Japanese Patent Application Laid-Open No. 10-267671, in order to determine superposition related information, a view image in the field of view is reconstructed from a three-dimensional map including information on the height direction and matching is performed. There is a problem that it takes a long time to calculate.
[0018]
Further, as shown in the above-mentioned paper by Takahashi et al. (Reference 1), the position and orientation of the image input means can be detected from the position coordinates of the four corners of the reference mark itself, but the distance between the camera and the mark is increased. In such a case, there is a problem that the projection distance in the field of view at the four corners is reduced, and the detection accuracy is deteriorated.
[0019]
Also, it is often impractical to use large marks.
[0020]
This invention pays attention to such a point, and makes it a subject to provide the related information display apparatus which can determine the related information to superimpose at high speed.
[0021]
Further, in the prior art according to the above-described document 2, in order to obtain the initial position of the image input means, it is necessary to record the coordinates of known reference points separately or prepare a reference table of the reference points and coordinates. It was.
[0022]
However, when the prior art according to this document 2 is used in a wide area or in a small terminal, the number of coordinates that can be recorded is limited and currently extracted from a large number of reference points. Since it takes time to match with the reference point, it is used in a limited area, and there is a problem that it is not versatile.
[0023]
This invention pays attention to such a point, and makes it a subject to provide the related information display apparatus which can obtain | require the coordinate position by detecting a reference point.
[0024]
The present invention has been made in view of the above circumstances, and related information presenting apparatus and related information presenting capable of determining related information to be superimposed at high speed and obtaining a coordinate position by detecting a reference point. It aims to provide a method.
[0025]
[Means for Solving the Problems]
According to the present invention, in order to solve the above problems,
(1) In a related information presentation device that superimposes and displays related information of each part of the subject at a corresponding position on an image of the subject,
An image input means for inputting an image obtained by imaging the subject by including in the imaging range one mark on which a pattern representing position information of four or more feature points of the subject is displayed;
Position information management means for reading the pattern from the image input by the image input means and acquiring position information of the four or more feature points ;
Position information acquisition means for obtaining the position and orientation of the image input means from the acquired position information of four or more feature points acquired by the position information management means;
Related information generating means for determining the position of each part of the subject on the image from the position and orientation of the image input means determined by the position information acquiring means;
And information superimposing display means for superimposing displaying the related information in the corresponding position based on the position on the upper Symbol image obtained by the related information generating means,
There is provided a related information presentation device characterized by comprising:
[0026]
Further, according to the present invention, in order to solve the above problems,
(2) The related information presentation device according to (1), wherein the position information of the four or more feature points represented by the pattern displayed on the mark includes the position information of the mark itself. Is done.
[0027]
Further, according to the present invention, in order to solve the above problems,
(3) A method of superimposing and displaying related information of each part of the subject at a corresponding position on an image obtained by capturing the subject,
Including one mark displaying a pattern representing position information of four or more feature points of the subject in an imaging range and inputting an image of the subject by an image input means;
Reading the pattern and obtaining positional information of the four or more feature points ;
Obtaining the position and orientation of the image input means from position information of the four or more feature points ;
Obtaining the position of each part of the subject on the image from the position and orientation of the image input means;
Superimposing and displaying the related information at a corresponding position based on the position on the image;
There is provided a related information presentation method characterized by comprising:
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0029]
(First embodiment)
FIG. 3 is a block diagram showing the configuration of the related information presentation device according to the first embodiment of the present invention.
[0030]
As shown in FIG. 3, the related information presentation apparatus according to the first embodiment includes an image input means 1, a feature point 2, a feature point recognition means 3, a position information management means 4, and a position information acquisition means. 5, a related information generating unit 6, an information superimposing display unit 7, a reference mark 8, and a reference mark recognizing unit 10.
[0031]
In the related information presenting apparatus, first, based on the image data input by the image input means 1, the position information management means 4 has a reference mark 8 for indicating position information and the like in the input image. Find out if.
[0032]
As the reference mark 8, a pattern or a two-dimensional pattern is used.
[0033]
It is assumed that data of several bytes to several thousand bytes can be recorded on the reference mark 8 using these patterns or two-dimensional patterns.
[0034]
As for the position information recorded on the reference mark 8, there are a method represented by latitude and longitude called world coordinates, a method of determining the origin in the use range of the apparatus, and a method of determining a coordinate system.
[0035]
Here, when latitude and longitude are used as the position information recorded on the reference mark 8, for example, in the vicinity of Tokyo, 0.001 second is about 3 cm, and such accuracy is required. About 10 bytes are enough.
[0036]
Further, with respect to the direction in which the reference mark 8 faces, the posture can be expressed by three angles (total 6 bytes) of yaw, pitch, and Roll.
[0037]
As a result, the position information recorded on the reference mark 8 is recorded in 16 bytes including the latitude and longitude with respect to the north and the horizontal as a reference, so that the position where the reference mark 8 is placed and the direction in which the reference mark 8 is facing are recorded. Can be recorded.
[0038]
Then, the reference mark 8 in which such positional information and the like are recorded in a pattern is recognized as the mark 8 in the input image from the image input unit 1 by the mark recognition unit 10.
[0039]
That is, the mark recognizing unit 10 obtains position information of the mark included in the recognized mark.
[0040]
Then, the position information management means 4 associates with the mark and acquires position information corresponding to the feature point (2) in the screen recognized by the feature point recognition means 3.
[0041]
Next, the position information management unit 4 records the coordinate data of the plurality of feature points 2 extracted in the vicinity of the reference mark 8 together with the acquired data of the reference mark 8.
[0042]
These feature points 2 are intersections of line segments in an image whose coordinate position is known, points that are prominent in brightness, saturation, and the like.
[0043]
Specifically, the feature point 2 can be extracted by subjecting the captured image to differentiation processing or thinning processing, and further binarizing with a certain threshold value.
[0044]
FIG. 4 schematically shows these feature points.
[0045]
That is, FIG. 4 shows the case where there are feature points P1 to P5 in addition to the reference mark 8.
[0046]
Here, the position and orientation information of the reference mark 8 is recorded as described above.
[0047]
For the feature points P1 to P5, the positions (x1, y1, z1) to (x5, y5, z5) are measured in advance and recorded in the reference mark 8.
[0048]
In this case, a total of 66 bytes of data is recorded in the reference mark 8.
[0049]
Therefore, if a two-dimensional pattern having a capacity of several thousand bytes is used as the reference mark 8, recording and reproduction of these data can be easily performed.
[0050]
In FIG. 4, the image input means 1 has the reference mark 8 and the feature points P1, P2, P3 in the field of view.
[0051]
Here, by reading the information of the reference mark 8 by the position information management means 4, the position and orientation of the reference mark 8 and the position coordinates of the feature points P1 to P5 are determined.
[0052]
These position / posture and feature point information are stored in the position information management means 4 as described above.
[0053]
Next, as disclosed in the prior art, the position information acquisition unit 5 calculates the position and orientation of the image input unit 1 from the feature points whose positions are known.
[0054]
Further, since the direction of the reference mark 8 is known, the attitude of the image input means 1 in the world coordinates can also be obtained.
[0055]
Thus, using the obtained position and orientation information of the image input means 1, related information to be superimposed and displayed within the field of view is generated using the related information generation means 6, and the information superimposed display means 7 generates a predetermined information in the image. Can be superimposed and displayed at the position.
[0056]
Here, examples of the related information to be displayed in a superimposed manner include an instruction and explanation of the position of a building or a landscape, a description of a mechanical facility or the like in the field of view, and the like.
[0057]
These should be displayed overlaid on the information object (building, landscape, machinery, etc.) or near the periphery.
[0058]
The information to be superimposed is stored in advance in the related information generating unit 6.
[0059]
Further, examples of the information superimposing display means 7 include CRT, LC, and the like, and there are a head-mounted HMD, a portable PDA, and the like.
[0060]
Next, in this state, when the image input means 1 is moved and rotated as shown in FIG. 5, the positions of the reference mark 8 and the feature points P1 to P5 projected two-dimensionally in the field of view change, and the related information is superimposed. The position to be displayed moves.
[0061]
In this example, the feature points P1 to P5 are in the field of view, but the projected position and the world of the feature points read out from the reference mark 8 and stored in the position information management means 4 as described above. From the coordinates, the position and orientation of the image input means 1 can be obtained, and related information can be subsequently superimposed and displayed in the same manner as described above.
[0062]
At this time, even if the reference mark 8 is out of the field of view, the position and orientation of the image input means 1 can be obtained if there are four or more feature points in the field of view.
[0063]
Note that the feature point may be a two-dimensional pattern similar to the reference mark 8 or a similar pattern. In that case, the pattern includes information indicating the shape of the object, that is, the shape of a building such as a building or the shape of a mountain. By recognizing the pattern, it is also possible to reconstruct the shape of the object and to superimpose it on the image as related information.
[0064]
(Second Embodiment)
FIG. 6 is a block diagram showing a configuration of a related information presentation device according to the second embodiment of the present invention.
[0065]
As shown in FIG. 6, in the related information presentation device according to the second embodiment, first, based on the image data input by the image input unit 1, the position information management unit 4 includes a position in the input image. It is checked whether or not the reference mark 8 for indicating information or the like exists.
[0066]
Here, it is assumed that there are three or more feature points 2 in the field of view.
[0067]
Further, as the reference mark 8, a pattern indicating position and orientation information or a two-dimensional pattern is used as in the first embodiment, but the position and orientation information of the reference mark 8 and the reference mark 8 are recorded in advance. Unlike the first embodiment, the position and orientation information of the feature point 2 is not recorded.
[0068]
In this case, the reference mark 8 has, for example, a square shape, and the position information (x0, y0, z0) recorded in the reference mark 8 is the coordinates of the point at the upper left corner of the mark.
[0069]
Further, if the length a of one side is given as the size information of the reference mark 8, the relative position information with respect to the upper left corner of the other three corners can be obtained.
[0070]
When the upper left corner point is (0, 0, 0), the upper right corner point is (a, 0, 0), the lower left corner point is (0, a, 0), and the lower right corner point. Becomes (a, a, 0).
[0071]
The coordinates of these relative coordinate systems can be converted into the world coordinate system by the following determinant.
[0072]
[Equation 3]

[0073]
Here, (x _wp , y _wp , z _wp ) represents the world coordinate value of the upper left corner point, and (x _lp , y _lp , z _lp ) represents the coordinates in the relative coordinate system.
[0074]
L is the following determinant.
[0075]
[Expression 4]

[0076]
Here, Rot represents the attitude of the reference mark in the world coordinate system, and tx. ty. tz represents the coordinate value of the upper left corner point in the world coordinate system.
[0077]
Using these coordinates, the position and orientation of the image input means 1 can be obtained.
[0078]
Next, the feature points in the field of view are associated, and the position of the feature points in the world coordinate system is estimated.
[0079]
For this estimation, as disclosed in the prior art, a plurality of continuous images in time series are used.
[0080]
Meanwhile, the reference mark must be in the field of view, but once the world coordinates of the feature point are estimated, after that, if there are four or more feature points in the screen, even if the reference mark is not in the field of view. Thereby, the position and orientation of the image input means 1 are obtained.
[0081]
Hereinafter, as in the case of the first embodiment, related information can be superimposed and displayed.
[0082]
Note that the image input unit 1 and the related information generation unit 7 are not necessarily connected online.
[0083]
That is, even if a medium such as a photograph is used, if position and orientation information about the image input means 1 is obtained, related information can be superimposed and displayed on the photograph.
[0084]
In addition, the present specification shown in the embodiment as described above includes inventions as shown in the following supplementary notes 1 to 12 in addition to the claims 1 to 3 shown in the claims. Yes.
[0085]
(Additional remark 1) In the related information presentation apparatus which superimposes and displays the relevant information of each part of the subject at the corresponding position on the image obtained by capturing the subject,
An image input means for inputting an image obtained by imaging the subject by including in the imaging range a mark on which a pattern representing position information of four or more points of the subject is displayed;
Position information management means for reading the pattern and acquiring the position information;
Position information acquisition means for obtaining the position and orientation of the image input means from the position information;
Related information generating means for obtaining the position of each part of the subject on the image from the position and orientation of the image input means;
Information superimposed display means for superimposing and displaying the related information at a corresponding position based on the result of the related information generating means;
A related information presentation device characterized by comprising:
[0086]
(Supplementary note 2) The related information presenting apparatus according to supplementary note 1, wherein position information of four or more points represented by the pattern displayed on the mark includes position information of the mark itself.
[0087]
(Additional remark 3) In the related information presentation apparatus which superimposes and displays the relevant information of each part of the subject at the corresponding position on the image obtained by capturing the subject,
Image input means for capturing the subject and inputting an image;
Position information management means storing position information of four or more points of the subject obtained in advance from a plurality of images whose positions and orientations of the image input means are known;
Position information acquisition means for obtaining the position and orientation of the image input means from the position information;
Related information generating means for obtaining the position of each part of the subject on the plane image from the position and orientation of the image input means;
Information superimposed display means for superimposing and displaying the related information at a corresponding position based on the result of the related information generating means;
A related information presentation device characterized by comprising:
[0088]
(Supplementary Note 4) The position and orientation of the image input means in the plurality of images are as follows:
In capturing each image, the image input means captures the subject by including a mark displaying a pattern indicating the size and position information of the mark in the imaging range,
Supplementary note 3 wherein the pattern is read to acquire the mark size and position information, and the position and orientation of the image input means are obtained from the acquired mark size and position information. Related information presentation device.
[0089]
(Supplementary Note 5) Image input means (1),
Mark recognition means (10) for recognizing the mark (8) in the input image from the image input means, and acquiring position information of the mark included in the recognized mark;
Feature point recognition means (3) for recognizing the feature point (2) in the screen;
Position information management means (4) that associates with the mark in advance and acquires position information corresponding to the feature point (2) in the screen recognized by the feature point recognition means;
Position information acquisition means (5) for acquiring position and orientation information of the image input means from position information of the marks and / or feature points;
Related information generating means (6) for generating information related to the input image visual field based on the acquired position and orientation information;
Superimposing display means (7) for superimposing and displaying the generated related information on the input image;
A related information display device.
[0090]
(Function)
A reference mark (8) and a plurality of feature points (2) or marks around the reference mark (8) are prepared near the place where the related information is displayed, and the reference mark and the feature to be associated are included in the mark. The position and orientation information of the point or mark is recorded in advance.
[0091]
Then, the position and orientation of the reference mark (8) and the feature point (2) are determined using the information, and the position and orientation of the image input means are detected by using the information together with the position information projected in the field of view. To do.
[0092]
(effect)
Since the position and orientation of the image input means can be determined based only on the reference mark and the feature point, information related to the visual field image can be superimposed and displayed at high speed.
[0093]
(Supplementary note 6) The related information display device according to supplementary note 5, wherein the feature point (2) to be associated is not created for the purpose of artificially using it as a mark.
[0094]
(Supplementary note 7) The related information display device according to supplementary note 5, wherein there are a plurality of feature points (2) to be associated.
[0095]
(Supplementary note 8) The related information display device according to supplementary note 5, wherein the position information acquisition means for acquiring the position and orientation information uses one mark as a feature point and a mark including a plurality of feature points.
[0096]
(Supplementary note 9) Image input means (1);
A mark recognition means (10) for recognizing the mark (8) in the input image from the input means and acquiring position information of the mark included in the recognized mark;
Position information management means (4) for associating with the mark and acquiring position information corresponding to the feature point (2) in the screen recognized by the feature point recognition means (3);
Means (5) for acquiring position and orientation information of the input means from the position information of the mark and / or feature point;
Means (6) for generating information related to the image field based on the acquired position and orientation information;
Superimposing display means (7) for superimposing and displaying the generated related information on the input image;
A related information display device.
[0097]
(Function)
A reference mark (8) and a plurality of feature points (2) or marks around the reference mark (8) are prepared near the place where the related information is displayed, and the position and orientation of the reference mark are included in the mark. Record in advance.
[0098]
Then, the position / orientation of the reference mark (8) is determined using the information, and the position / orientation of the image input means is detected based on the information, together with the position information projected into the field of view.
[0099]
At this time, by associating feature points in the field of view, tracking can be continued even if the reference mark goes out of the field of view due to movement or direction change of the image input means.
[0100]
(effect)
Since the position and orientation of the image input means can be determined only by the reference mark and the feature point, a related information display device that can be used for general purposes can be realized.
[0101]
(Supplementary note 10) The related information display device according to supplementary note 9, wherein the feature point (2) to be associated is not created for the purpose of artificially using it as a mark.
[0102]
(Supplementary note 11) The related information display device according to supplementary note 9, wherein there are a plurality of feature points (2) to be associated.
[0103]
(Supplementary note 12) The related information display device according to supplementary note 9, wherein the position information acquisition unit that acquires the position and orientation information uses a mark with one feature point and a plurality of marks with feature points.
[0104]
【The invention's effect】
Therefore, as described above, according to the present invention, the related information presenting apparatus and the related information presenting method that can determine the related information to be superimposed at high speed and obtain the coordinate position by detecting the reference point. Can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a related information display technique disclosed in Japanese Patent Laid-Open No. 10-267671.
FIG. 2 is a diagram for explaining a method for obtaining a position and orientation of an image input unit disclosed in Document 1. FIG.
FIG. 3 is a block diagram showing a configuration of a related information presentation device according to the first embodiment of the present invention.
FIG. 4 is a diagram schematically showing feature points used in the related information presentation device according to the first embodiment of the present invention.
FIG. 4 is a diagram for explaining the operation of the related information presentation device according to the first embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of a related information presentation device according to a second embodiment of the present invention.
[Explanation of symbols]
1 ... image input means,
2 ... Features
3 ... feature point recognition means,
4. Location information management means,
5 ... Position information acquisition means,
6 ... related information generation means,
7. Information superimposing display means,
8 ... Reference mark,
10: Reference mark recognition means.

Claims

In a related information presentation device that superimposes and displays related information of each part of the subject at a corresponding position on an image obtained by capturing the subject,
An image input means for inputting an image obtained by imaging the subject by including in the imaging range one mark on which a pattern representing position information of four or more feature points of the subject is displayed;
Position information management means for reading the pattern from the image input by the image input means and acquiring position information of the four or more feature points ;
Position information acquisition means for obtaining the position and orientation of the image input means from the acquired position information of four or more feature points acquired by the position information management means;
Related information generating means for determining the position of each part of the subject on the image from the position and orientation of the image input means determined by the position information acquiring means;
And information superimposing display means for superimposing displaying the related information in the corresponding position based on the position on the upper Symbol image obtained by the related information generating means,
A related information presentation device characterized by comprising:

2. The related information presenting apparatus according to claim 1, wherein the position information of the four or more feature points represented by the pattern displayed on the mark includes the position information of the mark itself.

A method of superimposing and displaying related information of each part of the subject at a corresponding position on an image obtained by capturing the subject,
Including one mark displaying a pattern representing position information of four or more feature points of the subject in an imaging range and inputting an image of the subject by an image input means;
Reading the pattern and obtaining positional information of the four or more feature points ;
Obtaining the position and orientation of the image input means from position information of the four or more feature points ;
Obtaining the position of each part of the subject on the image from the position and orientation of the image input means;
Superimposing and displaying the related information at a corresponding position based on the position on the image;
The related information presentation method characterized by having.