JP4540329B2 - 情報呈示装置 - Google Patents

Description

本発明は、撮影された画像に関連する情報を、その撮影画像に重畳して同時に表示することによって、画像観察者により高密度な情報呈示を行うことが可能な情報呈示装置に関する。

実世界中の対象物及び／又は既定のマーカに対し、所定の関連情報を出力する情報呈示装置としては、２次元コードを利用したものが非常によく知られている。そのうち、対象物及び／又は既定のマーカの空間定位情報を利用して、関連情報を出力する装置としては、対象物である名刺上に印刷されたマーカとしての２次元コードをカメラで読み込み、コンピュータ内のプログラムで前記２次元コード化されたＩＤを解析し、そのＩＤに相当する人物の顔写真をそのＩＤで特定される画像ファイルから読み出して、あたかも名刺上の２次元コードの横にあるかのように、コンピュータのディスプレイに表示する装置が提案されている（例えば、特許文献１参照）。
特開２０００−８２１０７号公報

上記特許文献１では、２次元コードを認識して、２次元コード座標データに基づいて、顔写真を表示する位置を算出しているものであるが、その顔写真の表示位置は常に２次元コードに対して固定の位置関係になっている。名刺状のカードであれば、そのように２次元コードと表示位置とは同一空間であり、問題はない。

これに対して、プラントや工場設備などの大規模構造物に適用する場合、例えば、ＣＣＤ撮影装置などの画像入力手段により入力された建造物等の実空間中の対象物の画像と、その対象物に設置されたマーカに基づく関連情報、例えば設計情報とを重畳表示することが想定される。このようなプラントや工場設備などの大規模構造物に適用する場合は、マーカを、設計情報通りに、正確に設置する必要がある。しかしながら、実際には、そのような正確なマーカ設置は難しいのが現実である。

このように、基準となるマーカ自体が設計情報と異なってる場合には、対象物固有の座標系である実空間と、その対象物の設計情報固有の座標系であるモデル空間とを関連付け（レジストレーション）しなければ、対象物の画像と設計情報から作られた対象物モデルとを正確に重畳表示させることができない。

本発明は、上記の点に鑑みてなされたもので、レジストレーション作業を簡単に行える情報呈示装置を提供することを目的とする。

上記の目的を達成するために、本発明の情報呈示装置の一態様は、
実空間に配置された対象物の画像を入力する画像入力手段と、
前記画像入力手段から入力された対象物上に配置されたマーカの画像から、前記画像入力手段と対象物との相対的な３次元位置姿勢関係を検出して出力する３次元位置姿勢関係出力手段と、
対象物の形状情報を格納する形状情報格納手段と、
前記３次元位置姿勢関係出力手段により検出された前記画像入力手段に対する対象物の位置姿勢に基づいて前記形状情報格納手段に格納された前記対象物の形状情報を変形して、前記画像入力手段で入力された対象物の実際の位置姿勢における形状と格納された対象物の前記変形された形状情報との差分を検出する誤差比較検出手段と、
前記３次元位置姿勢関係出力手段の検出する前記画像入力手段と対象物との相対的な３次元位置姿勢関係を、前記誤差比較検出手段からの差分の値を用いて、対象物の形状情報に対する前記マーカの形状情報の位置姿勢を移動することで修正する３次元位置姿勢情報管理手段と、
前記３次元位置姿勢情報管理手段の修正した前記３次元位置姿勢関係出力手段の検出する前記画像入力手段と対象物との相対的な３次元位置姿勢関係を用いて、前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された対象物の形状情報と、を重ね合わせた画像を生成する重畳画像生成手段と、
前記重畳画像生成手段が生成した画像を表示する表示手段と、
を具備することを特徴とする。

本発明によれば、レジストレーション作業を簡単に行える情報呈示装置を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る情報呈示装置及びそれを用いた情報呈示システムの構成を示すブロック図である。

この情報呈示システムは、カメラ付きＰＤＡやノートパソコン等の使用者が携帯可能な小型の情報呈示装置１００と、オフィス等に設置された３次元ＣＡＤ２００とからなる。

ここで、上記情報呈示装置１００は、実空間中の対象物の画像を入力（撮影）するカメラ等の画像入力部１０１と、上記画像入力部１０１から入力された対象物の画像から、上記画像入力部１０１と対象物との相対的な３次元位置姿勢関係を検出する３次元位置姿勢関係出力部１０２と、対象物の形状情報を格納するメモリ等の形状情報格納部１０３と、上記３次元位置姿勢関係出力部１０２により検出された対象物の位置姿勢と、上記画像入力部１０１から入力された対象物の部分に対応する上記形状情報格納部１０３に格納された値とを比較し、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分を検出する誤差比較検出部１０４と、上記誤差比較検出部１０４からの差分の値を、上記形状情報格納部１０３に格納された形状情報に反映させる形状情報管理部１０５と、上記画像入力部１０１から入力された対象物の画像と、上記形状情報格納部１０３に格納された対象物の形状情報と、を重ね合わせた画像を生成する重畳画像生成部１０６と、上記重畳画像生成部１０６が生成した画像を表示する液晶ディスプレイ等の表示部１０７とから構成されている。さらには、上記３次元位置姿勢関係出力部１０２の検出する上記画像入力部１０１と対象物との相対的な３次元位置姿勢関係に、上記誤差比較検出部１０４からの差分の値を用いて反映させる３次元位置姿勢情報管理部１０８を備えている。そして、上記３次元位置姿勢関係出力部１０２と上記３次元位置姿勢情報管理部１０８とによって、３次元位置姿勢関係検出部１２０が構成されている。

一方、上記３次元ＣＡＤ２００は、対象物の３次元設計情報を格納するハードディスク等の大容量記憶装置である３次元設計情報格納部２０１と、上記３次元設計情報格納部２０１に格納された３次元設計情報から形状情報を生成する形状情報生成部２０２とを備えている。

なお、上記情報呈示装置の形状情報格納部１０３が格納する形状報情報は、上記３次元ＣＡＤ２００の形状情報生成部２０２の生成したものである。この形状情報生成部２０２から形状情報格納部１０３への形状情報の受け渡しは、無線又は有線の通信によるオンラインで行っても良いし、何らかの記憶媒体を介してオフラインで行っても良い。

ここで、「対象物の３次元設計情報」とは、形状、色、材質、部品名、等々の当該対象物を製造・設置するのに必要な情報である。形状情報生成部２０２は、そのような対象物の３次元設計情報の中から、形状の情報のみを抽出するものである。また、対象物及び形状情報はそれぞれ固有の座標系を有しており、対象物についての座標系を実空間、形状情報の座標系をモデル空間と称するものとする。

また、上記情報呈示装置１００の形状情報管理部１０５は、上記形状情報格納部１０３に格納している上記抽出した形状情報と同様に、上記誤差比較検出部１０４からの差分の値を、上記３次元ＣＡＤ２００の３次元設計情報格納部２０１に格納された３次元設計情報、つまり元の形状情報にも反映させるようになっている。この場合も、該形状情報管理部１０５と上記３次元ＣＡＤ２００の３次元設計情報格納部２０１との間の情報の受け渡しは、オンライン／オフラインの何れで行っても構わない。

次に、このような構成における動作を説明する。
本実施の形態では、まず、前処理として、実空間とモデル空間の関連付け（レジストレーション）作業を実施する。即ち、対象物そのものを使用して、実空間上の対象物と、形状情報から作られたモデル空間上の対象物モデルとを、表示部１０７に重畳表示させ、両者が重なり合うように、モデル空間上の対象物モデルを移動することにより、実空間とモデル空間の関連付け作業を行うものである。そして、この関連付け作業時の対象物モデル移動量を記録し、実空間とモデル空間の関連付けに使用する。

この関連付け作業後は、実空間とモデル空間の座標系の対応付けが完了しているので、重畳表示時に差異がある物は、対象物と対象物モデルとの整合が取れていない（対象物が形状情報通りになっていない）ことになる。

このような実空間とモデル空間の関連付け（レジストレーション）作業は、図２の（Ａ）のフローチャートに示すようにして行われる。

即ち、まず、画像入力部１０１で対象物を撮影する（ステップＳ１１）。なお、このレジストレーションに使用する対象物は、予めその形状情報が実空間とモデル空間とで一致しているのがわかっているものを使用する。また、予めレジストレーションのためのランドマークとして登録しておいても良い。

次に、３次元位置姿勢関係出力部１０２により、上記画像入力部１０１で入力された対象物の画像から、画像入力部１０１と対象物の相対的な３次元位置姿勢を検出する（ステップＳ１２）。この時、実空間とモデル空間の関連付け（レジストレーション）が終了していないため、両者に差異がある。

なお、この３次元位置姿勢の検出は、例えば、対象物そのものをマーカと見なして、特開２００１−１１８１８７号公報や特開２００１−１２６０５１号公報に開示されているマーカ検出や位置姿勢情報の推定方法を適用することで行うことができる。

次に、形状情報格納部１０３の中から、対象物に対応する形状情報を選択する（ステップＳ１３）。この場合、上述のように、このレジストレーションに使用する対象物は予めその形状情報が実空間とモデル空間とで一致しているのがわかっているものを使用するので、自動的に選択することができる。この選択された形状情報は、上記３次元位置姿勢関係出力部１０２により検出された３次元位置姿勢に基づいて変形されて、誤差比較検出部１０４に入力される。

そして、誤差比較検出部１０４により、上記画像入力部１０１からの入力画像と、上記形状情報格納部１０３の中から選択し変形された形状情報との誤差を検出する（ステップＳ１４）。なお、この時の誤差は、実空間とモデル空間の関連付けが正確に行われていないために発生する。即ち、重畳画像生成部１０６によって、上記画像入力部１０１からの入力画像と上記選択された形状情報とを重ね合わせた画像を生成して表示部１０７に表示するものであるが、このとき、表示部１０７の画面１０９には、図３の（Ａ）に示すように、対象物１の画像１Ａと対象物の形状情報から作成した対象物モデル２とがずれて表示されることになる。

よって、３次元位置姿勢関係情報管理部１０８は、上記誤差比較検出部１０４の検出した誤差に基づき、その誤差が最小になるように画像入力部１０１と対象物１との相対的な３次元位置姿勢関係に関する情報を修正する（ステップＳ１５）。

そして、３次元位置姿勢関係情報管理部１０８は、その修正した３次元位置姿勢関係に関する情報を、上記３次元位置姿勢関係出力部１０２に供給することにより、実空間とモデル空間との座標系の関連付け作業が終了する（ステップＳ１６）。これにより、表示部１０７の画面１０９には、図３の（Ｂ）に示すように、対象物１の画像１Ａと対象物モデル２とが一致して表示されるようになる。

このような前処理の完了後、実空間中の対象物と設計情報（本実施形態では、形状情報）との間の誤差を的確に把握して、設計情報と実際の対象物とを一致させる作業を行うことになる。

即ち、図２（Ｂ）のフローチャートに示すように、まず、画像入力部１０１で対象物１を撮影する（ステップＳ２１）。

次に、３次元位置姿勢関係出力部１０２により、上記画像入力部１０１で入力された対象物１の画像１Ａから、画像入力部１０１と対象物１との相対的な３次元位置姿勢を検出する（ステップＳ２２）。この時、実空間とモデル空間の関連付け（レジストレーション）が終了しているため、両者に差異はない。

次に、形状情報格納部１０３に格納されている複数の形状の情報の中から、上記３次元位置姿勢関係出力部１０２により検出された３次元位置姿勢に該当するデータを検索する（ステップＳ２３）。検索された形状情報は誤差比較検出部１０４に入力される。

そして、誤差比較検出部１０４により、上記画像入力部１０１からの入力画像と、上記形状情報格納部１０３から検索した形状情報との誤差を検出する（ステップＳ２４）。なお、検出する誤差は、例えば、形状情報の移動量である。この移動量は、平行移動や、拡大・縮小、回転や、これらの組み合わせでも、もちろん構わない。

ここで、形状情報管理部１０５によって、その検出した誤差が許容範囲内であるか否かを判別し（ステップＳ２５）、許容範囲内であれば、以降の作業を行う必要がない。

これに対して、検出した誤差が許容範囲内でないならば（ステップＳ２５）、形状情報管理部１０５によって、上記形状情報格納部１０３から検索した形状情報に、その検出した誤差を付加し、形状情報を変更する（ステップＳ２６）。即ち、既に作られてしまった対象物１の形状を変更することはできないので、形状情報を変更するものである。

そして、その形状変更情報を形状情報格納部１０３に格納することで、その変更を反映させる（ステップＳ２７）。

例えば、図４の（Ａ）に示すように、本体１１に部品１２及び１３を取り付けたものを対象物１として撮影したとすると、それに対応する本体１１の形状情報３１、部品１２の形状情報３２、及び部品１３の形状情報３３でなる対象物１の形状情報３が検索され、それらが誤差比較検出部１０４で比較される。またこのとき、重畳画像生成部１０６にて、対象物１の画像１Ａとそれら形状情報３から作成された対象物モデル２（本体１１のモデル２１、部品１２のモデル２２、部品１３のモデル２３）とを重ね合わせた画像を生成して、表示部１０７に表示する。ここで、実際の部品１３の取付位置とその部品１３の形状情報３３とに誤差があると、同図に示すように、表示部１０７の画面１０９に表示される部品１３の画像１３Ａとそのモデル２３とはずれて表示されることになる。この誤差は、上記ステップＳ２６及びステップＳ２７の動作によって、部品１３の形状情報３３が、図４の（Ｂ）に示すように形状情報３３’に変更されることでキャンセルされ、画面１０９に表示される部品１３の画像１３Ａとその変更後のモデル２３’とは一致して、重ね合って表示されることになる。

なお、前述したように、上記形状情報管理部１０５から形状変更情報を、３次元ＣＡＤ２００の３次元設計情報格納部２０１に戻すことも可能である。

［第２実施形態］
次に、本発明の第２実施形態を説明する。

上記第１実施形態では、実空間とモデル空間の関連付け（レジストレーション）作業において使用する対象物１として、予めその形状情報が実空間とモデル空間とで一致しているのがわかっているものである必要があった。

しかしながら、必ずしもそのような対象物１を準備できない場合がある。

そこで、本実施形態においては、そのようなレジストレーション時に、予めその形状情報が実空間とモデル空間とで一致していない対象物１を使用するため、貼付等により、対象物１上にマーカを移動可能に配置する。

即ち、上記３次元位置姿勢関係出力部１０２によって３次元位置姿勢の検出を行い、誤差比較検出部１０４で、対象物１の画像１Ａと対象物１の形状情報３とを比較した場合、両者の間に誤差が検出される。この場合、マーカを基準とするので、マーカの画像とマーカの形状情報とは一致する。従って、この場合には、例えば図５の（Ａ）に示すように、表示部１０７の画面１０９に表示されるマーカ４の画像４Ａとマーカ４のモデル２４とは一致するものの、対象物１の画像１Ａと対象物モデル２とは、ずれて表示されることになる。

そこで、本実施形態では、上記第１実施形態のように３次元位置姿勢関係情報管理部１０８を用いるのではなく、図５の（Ｂ）に示すように、対象物１に対する実際のマーカ４の位置を移動させることで、対象物１と対象物１の形状情報３とを一致させるものである。即ち、画像観察者が、表示部１０７に表示された、撮影された対象物１の画像１Ａと、その対象物モデル２とを観察しながら、両者が一致するように、マーカ４の位置を移動していくものである。

またこの場合、マーカ４の位置の移動を容易にするために、図６に示すように、表示部１０７の画面１０９に、対象物１の画像１Ａ及び対象物モデル２とマーカ４の画像４Ａ及びマーカ４のモデル２４に加えて、対象物モデル２に対してスケール２５を付加して表示するようにしても良い。このようなスケール２５を表示することで、観察者は、この画面１０９上のスケール２５からずれ量を確認し、その確認したずれ量に応じてマーカ４を移動することができる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。

本実施形態も上記第２実施形態と同様、レジストレーション時に予めその形状情報が実空間とモデル空間とで一致していない対象物１を使用するものであるが、本実施形態では、マーカ４が貼付もしくは印刷等により対象物１上に配置されており、マーカ４を移動できない場合である。

即ち、上記３次元位置姿勢関係出力部１０２によって３次元位置姿勢の検出を行い、誤差比較検出部１０４で、対象物１の画像１Ａと対象物１の形状情報３とを比較した場合、両者の間に誤差が検出される。この場合、マーカ４を基準とするので、マーカ４の画像４Ａとマーカ４の形状情報３４とは一致する。従って、この場合には、図７の（Ａ）に示すように、表示部１０７の画面１０９に表示されるマーカ４の画像４Ａとマーカ４のモデル２４とは一致するものの、対象物１の画像１Ａと対象物モデル２とは、ずれて表示されることになる。

よって、３次元位置姿勢関係情報管理部１０８により、３次元位置姿勢関係出力部１０２の検出する画像入力部１０１と対象物１との相対的な３次元位置姿勢関係に、誤差比較検出部１０４からの差分の値を用いて反映させることになるが、本実施形態では、それを、対象物１の形状情報３に対するマーカ４の形状情報３４の位置姿勢を移動し、形状情報３４’とすることにより行う。これにより、図７の（Ｂ）に示すように、表示部１０７の画面１０９に表示されるマーカ４の画像４Ａとマーカ４の移動されたモデル２４’とが一致し、また、対象物１の画像１Ａと対象物モデル２とも一致することとなる。

また、画像入力部１０１により対象物１を複数方向から撮影して静止画とし、何れか一つの静止画上で、対象物１の形状情報３に対するマーカ４の形状情報３４の位置姿勢を移動すると、対の静止画においてもその移動が反映される。図８は、対象物１の形状情報３に対するマーカ４の形状情報３４の移動前を示しており、図９は、対象物１の形状情報３に対するマーカ４の形状情報３４’の移動完了後を示している。

なお、対象物１の特徴的な凹凸や模様をマーカとみなしてレジストレーションを行う場合においても、本実施形態と同様にして一致させることができる。

また、マーカ４の形状情報３４の移動を自動で行ったが、キーボード等により観察者がその移動方向及び移動量を指定するようにしても良いことは勿論である。その場合には、上記第２実施形態で説明したようなスケール２５を対象物モデル２に対して付加して表示することが好ましい。

［第４実施形態］
次に、本発明の第４実施形態を説明する。

上記第１実施形態では、対象物の形状情報を格納しておき、実際に撮影した対象物との誤差を検出して反映させるようにしていたが、さらに、部品名等の対象物の属性情報も格納しておいて、その属性情報の変更も反映させるようにしても良い。

そのため、本実施形態における情報呈示システムは、図１０のように構成される。

即ち、上記第１実施形態における構成に加えて、３次元ＣＡＤ２００は、３次元設計情報格納部２０１に格納された対象物の３次元設計情報から、属性情報を生成する属性情報生成部２０３をさらに有する。また、情報呈示装置１００は、この３次元ＣＡＤ２００の属性情報生成部２０３の生成した属性情報を格納する属性情報格納部１１０と、入力手段としてのキーボード１１１と、該キーボード１１１によって入力された属性情報の変更を上記属性情報格納部１１０に格納された属性情報に反映させる属性情報管理部１１２と、をさらに有する。

情報呈示装置１００の重畳画像生成部１０６は、画像入力部１０１から入力された対象物の画像と、形状情報格納部１０３に格納された対象物の形状情報とに加えて、上記属性情報格納部１１０に格納された属性情報も、重ね合わせて、表示部１０７に表示する。

また、属性情報生成部２０３から属性情報格納部１１０への属性情報の受け渡しは、無線又は有線の通信によるオンラインで行っても良いし、何らかの記憶媒体を介してオフラインで行っても良い。

さらに、上記情報呈示装置１００の属性情報管理部１１２は、上記属性情報格納部１１０に格納している上記属性情報に対するのと同様に、上記キーボード１１１によって入力された属性情報の変更を、上記３次元ＣＡＤ２００の３次元設計情報格納部２０１に格納された３次元設計情報、つまり元の属性情報にも反映させるようになっている。この場合も、該属性情報管理部１１２と上記３次元ＣＡＤ２００の３次元設計情報格納部２０１との間の情報の受け渡しは、オンライン／オフラインの何れで行っても構わない。

［第５実施形態］
次に、本発明の第５実施形態を説明する。

本実施形態における情報呈示システムは、図１１に示すように、図１に示した構成における誤差比較検出部１０４の代わりに、キーボード１１１を配し、該キーボード１１１から３次元位置姿勢関係情報管理部１０８及び形状情報管理部１０５に値として直接、形状情報の移動量を入力する構成としたものである。

即ち、前述した第１乃至第３実施形態では、誤差比較検出部１０４により自動的に重畳ずれを補正していた。これに対し、本実施形態では、観察者が重畳画面を観察しながら例えばキーボード１１１から、対象物の画像と対象物の形状情報から作成した対象物モデルとのずれが最小になるように、３次元位置姿勢関係情報管理部１０８及び形状情報管理部１０５に指示することにより、ずれを補正するものである。

このような構成としても、上記第１乃至第３実施形態と同様の作用効果を奏することができる。

また、同様に、図１２に示すように、図１０に示した構成における誤差比較検出部１０４に代わり、キーボード１１１から３次元位置姿勢関係情報管理部１０８及び形状情報管理部１０５に入力するようにしても良いことは勿論である。このような構成とすれば、上記第４実施形態と同様の作用効果を奏することができる。

［第６実施形態］
次に、本発明の第６実施形態を説明する。

上記第５実施形態では、観察者が重畳画面を観察しながら、例えばキーボード１１１から、対象物の画像と対象物の形状情報から作成した対象物モデルとのずれが最小になるように、３次元位置姿勢関係情報管理部１０８及び形状情報管理部１０５に指示することにより、ずれを補正していた。

本実施形態では、位置姿勢だけではなく、更に、３次元ＣＡＤ２００とリンクすることにより、形状情報管理部１０５に対しても、形状変更もしくは部品交換を指示するようにしたものである。

本実施形態における情報呈示システムの構成は、上記第５実施形態と同様である。

係る第６実施形態では、例えば、図１３の（Ａ）に示すように、本体１１に部品１４及び１５を取り付けたものを対象物１として撮影したとすると、それに対応する本体１１の形状情報３１、部品１４の形状情報３５、及び部品１５の形状情報３６でなる対象物１の形状情報３が検索され、重畳画像生成部１０６にて、対象物１の画像１Ａとそれら形状情報３から作成された対象物モデル２（本体１１のモデル２１、部品１４のモデル２６、部品１５のモデル２７）とを重ね合わせた画像を生成して、表示部１０７に表示する。ここで、実際の部品１４の形状とその部品１４の形状情報３５とに誤差があると、同図に示すように、表示部１０７の画面１０９に表示される部品１４の画像１４Ａとそのモデル２６とはずれて表示されることになる。同様に、実際の部品１５の形状とその部品１５の形状情報３６とに誤差があると、表示部１０７の画面１０９に表示される部品１５の画像１５Ａとそのモデル２７とはずれて表示される。

即ち、この図の例では、設計情報では直管（長い）の形状情報３５と直管（短い）の形状情報３６となっているが、実空間中の対象物では部品１４はエルボ管、部品１５は直管（長い）という違いがあるため、表示部１０７の画面１０９に表示される重畳画像では、それらがずれて表示される。

従って、このような場合には、観察者が重畳画面を観察しながら、例えばキーボード１１１から、形状情報管理部１０５に対して、形状情報の形状変更を表現する値、もしくは、形状情報の部品変更を表現する値を入力する。これにより、形状情報管理部１０５は、図１３の（Ｂ）に示すように、直管（長い）の形状情報３５をエルボ管の形状情報３７と交換、直管（短い）の形状情報３６の長さを変更（変更後の形状情報３６’とする）という作業を行うことによって、実空間と対象情報を一致させる。即ち、部品１４の形状情報３５が形状情報３７に変更され、また、部品１５の形状情報３６が形状情報３６’に変更されることで、ずれがキャンセルされ、画面１０９に表示される部品１４の画像１４Ａとその変更後のモデル２８とは一致し、また、部品１５の画像１５Ａとその変更後のモデル２７’とが一致して、重ね合って表示されることになる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、図１４及び図１５に示すように、上記第１実施形態及び／又は第４実施形態における形状情報管理部１０５及び／又は属性情報管理部１１２による３次元ＣＡＤ２００の３次元設計情報格納部２０１への反映を行わなくても構わない。

またこの場合も、上記第５実施形態で説明したように、図１６及び図１７に示すよう、誤差比較検出部１０４に代わって、キーボード１１１から３次元位置姿勢関係情報管理部１０８及び形状情報管理部１０５に入力するようにしても勿論構わない。

また、入力手段は、キーボード１１１に限定されず、マウス、トラックボール、タッチパネル等でももちろん構わない。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 実空間に配置された対象物の画像を入力する画像入力手段と、
前記画像入力手段から入力された対象物の画像から、前記画像入力手段と対象物との相対的な３次元位置姿勢関係を検出して出力する３次元位置姿勢関係出力手段と、
対象物の形状情報を格納する形状情報格納手段と、
前記３次元位置姿勢関係出力手段により検出された対象物の位置姿勢と、前記画像入力手段から入力された対象物の部分に対応する前記形状情報格納手段に格納された値とを比較し、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分を検出する誤差比較検出手段と、
前記３次元位置姿勢関係出力手段の検出する前記画像入力手段と対象物との相対的な３次元位置姿勢関係に、前記誤差比較検出手段からの差分の値を用いて反映させる３次元位置姿勢情報管理手段と、
前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された対象物の形状情報と、を重ね合わせた画像を生成する重畳画像生成手段と、
前記重畳画像生成手段が生成した画像を表示する表示手段と、
を具備することを特徴とする情報呈示装置。

（対応する実施形態）
この（１）に記載の情報呈示装置に関する実施形態は、第１乃至第３実施形態が対応する。

（作用効果）
この（１）に記載の情報呈示装置は、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分を検出し、差分の値を用いて、３次元位置姿勢関係出力手段の検出する画像入力手段と対象物との相対的な３次元位置姿勢関係に反映させる。

従って、この（１）に記載の情報呈示装置によれば、レジストレーション作業を簡単に行える。

（２） 前記誤差比較検出手段の検出する差分は、形状情報の移動量であることを特徴とする（１）に記載の情報呈示装置。

（対応する実施形態）
この（２）に記載の情報呈示装置に関する実施形態は、第１乃至第３実施形態が対応する。

（作用効果）
この（２）に記載の情報呈示装置は、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分として、形状情報の移動量を検出する。

（３） 前記誤差比較検出手段からの差分の値を用いて前記形状情報格納手段に格納された形状情報に反映させる形状情報管理手段をさらに具備することを特徴とする（１）又は（２）に記載の情報呈示装置。

（対応する実施形態）
この（３）に記載の情報呈示装置に関する実施形態は、第１乃至第３実施形態が対応する。

（作用効果）
この（３）に記載の情報呈示装置は、対象物の形状情報のみを格納しておき、入力された対象物の実際の位置姿勢とこの格納された対象物の形状情報との差分の値を上記格納された形状情報に反映させる。

従って、この（３）に記載の情報呈示装置によれば、設計情報全てではなくて、その一部である形状情報のみを格納し、それと実際の対象物とを一致させるので、大容量な記憶装置や高性能な表示装置を必要とせず、携帯型の装置で実現できるようになる。

（４） 前記３次元位置姿勢情報管理手段は、前記対象物を第１の方向から撮影した画像に基づいて前記誤差比較検出手段が検出する第１の差分の値と、前記第１の方向とは異なる第２の方向から撮影した画像に基づいて前記誤差比較検出手段が検出する第２の差分の値と、を用いることを特徴とする（１）乃至（３）の何れかに記載の情報呈示装置。

（対応する実施形態）
この（４）に記載の情報呈示装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（４）に記載の情報呈示装置は、複数方向から撮影した画像それぞれに基づいて誤差比較検出手段が検出するそれぞれの差分の値を用いて、３次元位置姿勢情報の管理を行う。

従って、この（４）に記載の情報呈示装置によれば、複数方向の画像で差分を検出できるので、レジストレーション作業をより正確に行える。

（５） 前記表示手段は、前記対象物を第１の方向から撮影した画像に基づいて前記重畳画像生成手段が生成する第１の画像と、前記第１の方向とは異なる第２の方向から撮影した画像に基づいて前記重畳画像生成手段が生成する第２の画像と、を表示することを特徴とする（１）乃至（４）の何れかに記載の情報呈示装置。

（対応する実施形態）
この（５）に記載の情報呈示装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（５）に記載の情報呈示装置は、複数方向から撮影した画像それぞれに基づいて重畳画像生成手段が生成する画像を表示する。

従って、この（５）に記載の情報呈示装置によれば、複数方向の重畳画像を表示できるので、レジストレーション作業の結果を複数方向からより詳細に確認することができる。

（６） 実空間に配置された対象物の画像を入力する画像入力手段と、
前記画像入力手段から入力された対象物の画像から、前記画像入力手段と対象物との相対的な３次元位置姿勢関係を検出して出力する３次元位置姿勢関係出力手段と、
対象物の形状情報を格納する形状情報格納手段と、
入力手段と、
前記３次元位置姿勢関係出力手段の検出する前記画像入力手段と対象物との相対的な３次元位置姿勢関係に、前記入力手段から入力された値を用いて反映させる３次元位置姿勢情報管理手段と、
前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された対象物の形状情報と、を重ね合わせた画像を生成する重畳画像生成手段と、
前記重畳画像生成手段が生成した画像を表示する表示手段と、
を具備することを特徴とする情報呈示装置。

（対応する実施形態）
この（６）に記載の情報呈示装置に関する実施形態は、第５実施形態が対応する。

（作用効果）
この（６）に記載の情報呈示装置は、観察者が重畳画面を観察しながらキーボード等の入力手段から観察者によって入力される、画面上の重畳ずれが最小になるような値を用いて、３次元位置姿勢関係出力手段の検出する画像入力手段と対象物との相対的な３次元位置姿勢関係に反映させる。

従って、この（６）に記載の情報呈示装置によれば、レジストレーション作業を簡単に行える。また、観察者が重畳画面を観察しながらキーボード等の入力手段から入力することによりずれを補正するので、誤差比較検出手段が不要になる。

（７） 前記入力手段から入力する値は、形状情報の移動量であることを特徴とする（６）に記載の情報呈示装置。

（対応する実施形態）
この（７）に記載の情報呈示装置に関する実施形態は、第５実施形態が対応する。

（作用効果）
この（７）に記載の情報呈示装置は、形状情報の移動量を、値として直接入力する。

（８） 前記入力手段から入力された値を用いて前記形状情報格納手段に格納された形状情報に反映させる形状情報管理手段をさらに具備することを特徴とする（６）又は（７）に記載の情報呈示装置。

（対応する実施形態）
この（８）に記載の情報呈示装置に関する実施形態は、第５実施形態が対応する。

（作用効果）
この（８）に記載の情報呈示装置は、対象物の形状情報のみを格納しておき、入力手段から入力された値を、その格納された形状情報に反映させる。

従って、この（８）に記載の情報呈示装置によれば、設計情報全てではなくて、その一部である形状情報のみを格納し、それと実際の対象物とを一致させるので、大容量な記憶装置や高性能な表示装置を必要とせず、携帯型の装置で実現できるようになる。

（９） 前記３次元位置姿勢情報管理手段は、前記対象物を第１の方向から撮影した画像に基づいて前記入力手段から入力された形状情報の第１の移動量と、前記第１の方向とは異なる第２の方向から撮影した画像に基づいて前記入力手段から入力された形状情報の第２の移動量と、を用いることを特徴とする（６）乃至（８）の何れかに記載の情報呈示装置。

（対応する実施形態）
この（９）に記載の情報呈示装置に関する実施形態は、第５実施形態が対応する。

（作用効果）
この（９）に記載の情報呈示装置は、複数方向から撮影した画像それぞれに基づいて入力手段から入力された形状情報の移動量を用いて、３次元位置姿勢情報の管理を行う。

従って、この（９）に記載の情報呈示装置によれば、複数方向の画像を観察しながら移動量を入力できるので、レジストレーション作業をより正確に行える。

（１０） 前記表示手段は、前記対象物を第１の方向から撮影した画像に基づいて前記重畳画像生成手段が生成する第１の画像と、前記第１の方向とは異なる第２の方向から撮影した画像に基づいて前記重畳画像生成手段が生成する第２の画像と、を表示することを特徴とする（６）乃至（９）の何れかに記載の情報呈示装置。

（対応する実施形態）
この（１０）に記載の情報呈示装置に関する実施形態は、第５実施形態が対応する。

（作用効果）
この（１０）に記載の情報呈示装置は、複数方向から撮影した画像それぞれに基づいて重畳画像生成手段が生成する画像を表示する。

従って、この（１０）に記載の情報呈示装置によれば、複数方向の重畳画像を表示できるので、レジストレーション作業の結果を複数方向からより詳細に確認することができる。

（１１） 前記入力手段から入力する値は、前記形状情報の形状変更を表現する値であることを特徴とする（６）に記載の情報呈示装置。

（対応する実施形態）
この（１１）に記載の情報呈示装置に関する実施形態は、第６実施形態が対応する。

（作用効果）
この（１１）に記載の情報呈示装置によれば、形状情報の形状変更を表現する値を直接入力することができる。

（１２） 前記入力手段から入力する値は、前記形状情報の部品変更を表現する値であることを特徴とする（６）に記載の情報呈示装置。

（対応する実施形態）
この（１２）に記載の情報呈示装置に関する実施形態は、第６実施形態が対応する。

（作用効果）
この（１２）に記載の情報呈示装置によれば、形状情報の部品変更を表現する値を直接入力することができる。

（１３） 前記入力手段から入力された値を用いて前記形状情報格納手段に格納された形状情報に反映させる形状情報管理手段を更に具備することを特徴とする（１１）又は（１２）に記載の情報呈示装置。

（対応する実施形態）
この（１３）に記載の情報呈示装置に関する実施形態は、第６実施形態が対応する。

（作用効果）
この（１３）に記載の情報呈示装置は、対象物の形状情報のみを格納しておき、入力手段から入力された値を、その格納された形状情報に反映させる。

従って、この（１３）に記載の情報呈示装置によれば、設計情報全てではなくて、その一部である形状情報のみを格納し、それを実際の対象物に一致させるので、大容量な記憶装置や高性能な表示装置を必要とせず、携帯型の装置で実現できるようになる。

本発明の第１実施形態に係る情報呈示装置及びそれを用いた情報呈示システムの構成を示すブロック図である。 （Ａ）は実空間とモデル空間の関連付け（レジストレーション）作業の手順を示すフローチャートであり、（Ｂ）は実空間中の対象物と設計情報（形状情報）とを一致させる作業の手順を示すフローチャートである。 （Ａ）はレジストレーション作業完了前の対象物と表示状態とを示す図であり、（Ｂ）はレジストレーション作業完了後の対象物と表示状態とを示す図である。 （Ａ）は実空間中の対象物と設計情報（形状情報）とを一致させる作業完了前の対象物と表示状態と対象物の形状情報とを示す図であり、（Ｂ）は実空間中の対象物と設計情報（形状情報）とを一致させる作業完了後の対象物と表示状態と対象物の形状情報とを示す図である。 （Ａ）は本発明の第２実施形態におけるレジストレーション作業完了前の対象物と表示状態とを示す図であり、（Ｂ）はレジストレーション作業完了後の対象物と表示状態とを示す図である。 第２実施形態の変形例を説明するためのレジストレーション作業完了前及び後の対象物と表示状態とを示す図である。 （Ａ）は本発明の第３実施形態におけるレジストレーション作業完了前の対象物と表示状態と対象物の形状情報とを示す図であり、（Ｂ）はレジストレーション作業完了後の対象物と表示状態と対象物の形状情報とを示す図である。 第３実施形態の変形例を説明するためのレジストレーション作業完了前の対象物と表示状態と対象物の形状情報とを示す図である。 第３実施形態の変形例を説明するためのレジストレーション作業完了後の対象物と表示状態と対象物の形状情報とを示す図である。 本発明の第４実施形態に係る情報呈示装置及びそれを用いた情報呈示システムの構成を示すブロック図である。 本発明の第５実施形態に係る情報呈示装置及びそれを用いた情報呈示システムの構成を示すブロック図である。 第５実施形態の変形例を説明するための情報呈示装置及びそれを用いた情報呈示システムのブロック構成図である。 （Ａ）は本発明の第６実施形態に係る情報呈示装置及びそれを用いた情報呈示システムにおいて実空間中の対象物と設計情報（形状情報）とを一致させる作業完了前の対象物と表示状態と対象物の形状情報とを示す図であり、（Ｂ）は実空間中の対象物と設計情報（形状情報）とを一致させる作業完了後の対象物と表示状態と対象物の形状情報とを示す図である。 第１実施形態の変形例を説明するための情報呈示装置及びそれを用いた情報呈示システムのブロック構成図である。 第４実施形態の変形例を説明するための情報呈示装置及びそれを用いた情報呈示システムのブロック構成図である。 図１４の変形例を更に変形した構成を説明するための情報呈示装置及びそれを用いた情報呈示システムのブロック構成図である。 図１５の変形例を更に変形した構成を説明するための情報呈示装置及びそれを用いた情報呈示システムのブロック構成図である。

符号の説明

１…対象物、 １Ａ…対象物の画像、 ２…対象物モデル、 ３…対象物の形状情報、 ４…マーカ、 ４Ａ…マーカの画像、 １１…本体、 １２，１３，１４，１５…部品、 １３Ａ…部品１３の画像、 １４Ａ…部品１４の画像、 １５Ａ…部品１５の画像、 ２１…本体のモデル、 ２２…部品１２のモデル、 ２３…部品１３のモデル、 ２３’…変更後の部品１３のモデル、 ２４…マーカのモデル、 ２４’…移動されたマーカのモデル、 ２５…スケール、 ２６…部品１４のモデル、 ２７…部品１５のモデル、 ２７’，２８…変更後のモデル、 ３１…本体の形状情報、 ３２…部品１２の形状情報、 ３３…部品１３の形状情報、 ３３’…変更後の部品１３の形状情報、 ３４…マーカの形状情報、 ３４’…マーカの移動された形状情報、 ３５…部品１４の形状情報、 ３６…部品１５の形状情報、 ３６’…変更後の形状情報、 ３７…エルボ管の形状情報、 １００…情報呈示装置、 １０１…画像入力部、 １０２…３次元位置姿勢関係出力部、 １０３…形状情報格納部、 １０４…誤差比較検出部、 １０５…形状情報管理部、 １０６…重畳画像生成部、 １０７…表示部、 １０８…３次元位置姿勢関係情報管理部、 １０９…画面、 １１０…属性情報格納部、 １１１…キーボード、 １１２…属性情報管理部、 １２０…３次元位置姿勢関係検出部、 ２００…３次元ＣＡＤ、 ２０１…３次元設計情報格納部、 ２０２…形状情報生成部、 ２０３…属性情報生成部。

Claims (3)

1. 実空間に配置された対象物の画像を入力する画像入力手段と、
   前記画像入力手段から入力された対象物上に配置されたマーカの画像から、前記画像入力手段と対象物との相対的な３次元位置姿勢関係を検出して出力する３次元位置姿勢関係出力手段と、
   対象物の形状情報を格納する形状情報格納手段と、
   前記３次元位置姿勢関係出力手段により検出された前記画像入力手段に対する対象物の位置姿勢に基づいて前記形状情報格納手段に格納された前記対象物の形状情報を変形して、前記画像入力手段で入力された対象物の実際の位置姿勢における形状と格納された対象物の前記変形された形状情報との差分を検出する誤差比較検出手段と、
   前記３次元位置姿勢関係出力手段の検出する前記画像入力手段と対象物との相対的な３次元位置姿勢関係を、前記誤差比較検出手段からの差分の値を用いて、対象物の形状情報に対する前記マーカの形状情報の位置姿勢を移動することで修正する３次元位置姿勢情報管理手段と、
   前記３次元位置姿勢情報管理手段の修正した前記３次元位置姿勢関係出力手段の検出する前記画像入力手段と対象物との相対的な３次元位置姿勢関係を用いて、前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された対象物の形状情報と、を重ね合わせた画像を生成する重畳画像生成手段と、
   前記重畳画像生成手段が生成した画像を表示する表示手段と、
   を具備することを特徴とする情報呈示装置。
2. 前記誤差比較検出手段の検出する差分は、前記マーカを基準とした場合の、前記画像入力手段で入力された対象物の実際の位置姿勢における形状に対する格納された対象物の前記変形された形状情報の移動量であることを特徴とする請求項１に記載の情報呈示装置。
3. 前記誤差比較検出手段からの差分の値を用いて前記形状情報格納手段に格納された形状情報に反映させる形状情報管理手段をさらに具備し、
   前記重畳画像生成手段は、前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された、前記差分の値を用いて反映させた後の対象物の形状情報と、を重ね合わせた画像を生成することを特徴とする請求項１又は２に記載の情報呈示装置。

Images