JP4794708B2 - ３次元位置姿勢センシング装置 - Google Patents
３次元位置姿勢センシング装置 Download PDFInfo
- Publication number
- JP4794708B2 JP4794708B2 JP02735999A JP2735999A JP4794708B2 JP 4794708 B2 JP4794708 B2 JP 4794708B2 JP 02735999 A JP02735999 A JP 02735999A JP 2735999 A JP2735999 A JP 2735999A JP 4794708 B2 JP4794708 B2 JP 4794708B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- dimensional position
- orientation
- markers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元位置姿勢センシング装置に係り、特に、画像撮影装置を利用して対象物の３次元位置姿勢を推定することにより、対象物の３次元位置姿勢をセンシングするようにした３次元位置姿勢センシング装置に関する。
【０００２】
【従来の技術】
一般に、相対的な位置が既知な少なくとも３点のランドマークやマーカを画像撮影により認識し、対象物と撮影装置との相対的位置姿勢関係を推定する問題は、ｎ点問題の一部として考えられる（文献１：Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ，“Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ，”Ｃｏｍｍｕｎｉｃａｔｉｏｎｓｏｆ ｔｈｅ ＡＣＭ，Ｖｏｌ．２４，Ｎｏ．６，Ｊｕｎｅ １９８１，ｐｐ．３８１−３９５参照）。
【０００３】
この場合、ランドマークあるいはマーカの個数が３点のみのときには、解が複数個存在することが知られている。
【０００４】
このような問題を解決するために、特殊なマーカを利用する方法としては、特開平７−９８２０８号公報に開示されている方法などを挙げることができる。
【０００５】
すなわち、この特開平７−９８２０８号公報に開示されている方法は、大円１個と小円１個の位置関係を利用するものである。
【０００６】
また、文献２（Ｗ．Ａ．Ｈｏｆｆ，Ｔ．Ｌｙｏｎ，ａｎｄ Ｋ．Ｎｇｕｙｅｎ，“Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ−Ｂａｓｅｄ ＲｅｇｉｓｔｒａｔｉｏｎＴｅｃｈｎｉｑｕｅｓ ｆｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａ１１ｔｙ，”Ｐｒｏｃ．ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎＸＶ，Ｖｏｌ．２９０４，ｉｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ ａｎｄ Ａｄｖａｎｃｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ，ＳＰＩＥ，Ｂｏｓｔｏｎ，Ｍａｓｓａｃｈｕｓｅｔｔｓ，Ｎｏｖ．１９−２１，ｐｐ．５３８−５４８，１９９６．）では、形状が同一の複数のマーカを利用して、カメラ画像から３次元位置姿勢を推定するシステムが開示されている。
【０００７】
【発明が解決しようとする課題】
しかるに、上述した特開平７−９８２０８号公報に開示されているテクニックでは、基本的に、大円１個とその付近に定義された小円１個のみからマーカが定義されるため、次のような欠点があった。
【０００８】
（１）大円１個と小円１個の画像内での大きさが小さいときには、測定誤差が大きくなる。
【０００９】
（２）大円１個と小円１個が遮蔽や画像処理上の限界から認識できなかったときには、位置姿勢が認識できなくなってしまう。
【００１０】
また、上述した文献２では、複数のマーカが同一のパターン構造で構成されているときには、マーカ自体を同定することが困難なことが多い。
【００１１】
これは、遮蔽などの影響によりマーカ群の一部が認識できないときには、特に問題となる。
【００１２】
また、環境が複雑な場合には、単一カラーなどや白色または黒色だけで構成されるような単純なマ一カの場合には、マーカと同様なパターンが、環境内に存在する場合が多く、これらのマーカをマーカでないものから差異を明らかにしながら認識することが困難であった。
【００１３】
そこで、本発明では、以上のような点に鑑みてなされたもので、
（１）遮蔽などの影響により、マーカ群の一部が観察されないときでも、対象物の３次元位置姿勢を推定することができるようにするとともに、
（２）従来のｎ点問題では、解を確定することができなかった３個のマーカからだけでも位置姿勢を推定することができるようにした、
３次元位置姿勢センシング装置を提供することを目的としている。
【００１４】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
（１） 撮像装置により撮像された、測定対象物に対する３次元位置情報が既知であり幾何学的に固有の特徴を有する少なくとも３個のマーカが写っている画像を入力する画像入力手段と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出手段と、
上記抽出した領域において、上記各マーカの上記幾何学的に固有の特徴を利用して個々のマーカを特定するマーカ特定手段と、
上記特定されたマーカの画像上での大きさの情報を用いて推定された上記撮像装置から上記マーカまでの距離と、上記特定された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算手段と、
を有することを特徴とする３次元位置姿勢センシング装置が提供される。
【００１５】
また、本発明によると、上記課題を解決するために、
（２） 撮像装置により撮像された、測定対象物に対する３次元位置情報が既知であり幾何学的に固有の特徴を有する少なくとも４個のマーカが写っている画像を入力する画像入力手段と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出手段と、
上記抽出した領域において、上記各マーカの上記幾何学的に固有の特徴を利用して個々のマーカを特定するマーカ特定手段と、
上記マーカ特定手段によって特定されたマーカより３つのマーカを選択するマーカ選択手段と、
上記マーカ選択手段によって選択された３つのマーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算するためのパラメータ組を複数算出するパラメータ組算出手段と、
上記マーカ選択手段によって選択されなかったマーカに対して、上記パラメータ組算出手段によって算出されたパラメータ組により算出される投影画像点と、上記選択されなかったマーカの画像内で測定された２次元位置との誤差の和を最小にする１つのパラメータ組を選択するパラメータ組選択手段と、
を有することを特徴とする３次元位置姿勢センシング装置が提供される。
【００１６】
また、本発明によると、上記課題を解決するために、
（３） 前記パラメータ組選択手段によって選択された１つのパラメータ組に関して、各マーカの測定対象物に対する３次元位置情報を適用して評価することにより、該パラメータ組を更新するパラメータ更新手段をさらに含むことを特徴とする（２）記載の３次元位置姿勢センシング装置が提供される。
また、本発明によると、上記課題を解決するために、
（４） 前記マーカは円形のマーカであり、
前記位置姿勢演算手段は、前記円形のマーカの画像内での投影像を楕円として近似し、楕円の長軸の長さを利用して、前記撮影装置から前記マーカまでの距離を推定し、その推定された距離を含めて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算することを特徴とする（１）記載の３次元位置姿勢センシング装置が提供される。
【００１７】
すなわち、本発明は、具体的には、位置姿勢を推定すべき対象物あるいは対象物付近に、対象物に対する相対的位置関係があらかじめ決定している『幾何学的に固有の特徴を持った固有マーカ（コードマーカ）』を複数配置し、その複数のマーカを画像撮影装置により撮影し、画像内から固有マーカ群を抽出するとともに、そのマーカの幾何学的特徴を抽出かつそのマーカの同定を行い、そのマーカの対象物に対する３次元位置と画像撮影装置により撮影された画像内での２次元位置を利用して、画像撮影装置または他の装置を規定する座標系における対象物の３次元位置姿勢を推定する方式を与えるものである。
【００１８】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【００１９】
（第１の実施の形態）
図１乃至図８を参照して第１の実施の形態について説明する。
【００２０】
図１は、第１の実施の形態による３次元位置姿勢センシング装置の構成を示すブロック図である。
【００２１】
図１に示されているように、３次元位置姿勢を推定すべき対象物１あるいはその付近には、幾何学的に固有の特徴を持った複数の固有マーカ２（以下コードマーカと略す）が配置されている。
【００２２】
そして、このコードマーカ２を画像撮影装置３により撮影し、その撮影した画像５がコンピュータ４内に転送される。
【００２３】
ここで、画像撮影装置３は、一般的なＴＶカメラなどあるいはディジタルビデオカメラなどでよく、画像撮影装置３から画像５を受け取るコンピュータ４は、通常のコンピュータであっても特殊な画像処理演算装置であっても構わない。
【００２４】
また、画像撮影装置３としてのＴＶカメラがアナログ信号を出力する場合には、コンピュータ４内には、画像５をディジタル化する装置やユニットが含まれていてもよい。
【００２５】
また、画像撮影装置３がディジタルカメラやディジタルビデオカメラなどの場合には、直接コンピュータ４に画像５を転送することにより、コンピュータ４が画像５をディジタル信号として入力することができればよい。
【００２６】
このようにして、第１の実施の形態による３次元位置姿勢センシング装置では、コンピュータ４が画像撮影装置３から受け取ったコードマーカ２が撮影された画像５を受け取り、それがディジタル画像の形に変換されるとともに、そのディジタル画像をコンピュータ４で処理することにより、画像５内からコードマーカ２を認識し、そのコードマーカの画像内位置とあらかじめ登録されているコードマーカの３次元位置とを利用することにより、対象物１の画像撮影装置３に対する３次元位置姿勢を推定するものである。
【００２７】
なお、本実施の形態では、少なくとも４個のコードマーカが同定できた場合に関して、対象物の位置姿勢を推定する方法に関して解説するものとする。
【００２８】
そして、少なくとも３個のコードマーカが同定できた場合に関しては、別の実施の形態で解説するものとする。
【００２９】
まず、本実施の形態における画像と座標変換に関する基本的な扱いに関して説明しておく。
【００３０】
基本的に、対象物１と画像撮影装置３は固有の座標系を有しており、画像撮影装置３が撮影した画像５は、カメラ画像面として定義される。
【００３１】
図２は、この画像撮影装置３と、カメラ画像面と、対象物１が規定するオブジェクト座標系との関係を表したものである。
【００３２】
ここで、対象物１が規定するオブジェクト座標系はその原点を０m 、その３次元座標を（ｘm ，ｙm ，ｚm ）とする。
【００３３】
一方、画像撮影装置３が規定するカメラ座標系は、その原点を０c 、その３次元座標を（ｘc ，ｙc ，ｚc ）とする。
【００３４】
カメラ画像面はその軸がｕ軸とｖ軸により構成され、ｕ軸はカメラ座標系のｘc と平行に、ｖ軸はｙc 軸に平行に取られ、カメラ座標系を規定するｚc 軸が画像撮影装置３の光学系の光軸と一致し、その光軸とカメラ画像面が交わる点（カメラ画像面の中心）が、（ｕ0 ，ｖ0 ）で定義される。
【００３５】
画像撮影装置３に相対する対象物１の３次元位置姿勢を推定する問題は、カメラ座標系に対するオブジェクト座標系の位置姿勢を推定する問題、言い換えれば、オブジェクト座標系からカメラ座標系への座標変換パラメータ、またはカメラ座標系からオブジェクト座標系への座標変換パラメータを算出する問題に帰着される。
【００３６】
これを数学的に記述すると、斉次変換行列ｃＨｍまたはｍＨｃを利用して、
【数１】
と書くことができる。
【００３７】
ここに、Ｒ＝（ｒｉｊ），Ｒ′＝（ｒ′ｉｊ）は３×３の回転行列を表し、ｔ＝（ｔｘ，ｔｙ，ｔｚ），ｔ′＝（ｔ′ｘ，ｔ′ｙ，ｔ′ｚ）は３次元並進べクトルを表す。
【００３８】
以下で詳細に説明するマーカ群｛Ｍｉ；ｉ＝１，２，．．．，ｍ｝は、あらかじめオブジェクト座標系での３次元位置が計測されており、それらを（ｘi m ，ｙi m ，ｚi m ）で表現する。
【００３９】
また、その画像内位置を（ｕｉ，ｖｉ）で記述することとする。
【００４０】
すると、画像撮影装置３をピンホールカメラモデルで近似したとき、それらの座標間には、以下の関係が成立する。
【００４１】
【数２】
ここに（ｕｏ，ｖｏ）は画像内の中心、（αu ，αv ）はｕ方向とｖ方向の拡大率を表し、画像撮影装置３に関するカメラ内部パラメータであり、カメラキャリブレーションにより推定できる値である。
【００４２】
図３は、本実施の形態における幾何学的特徴を持ったコードマーカ２群の一例を表したものである。
【００４３】
このコードマーカ２は、円形の形状をしており、その大円内には、小円のパターンがコードとして表されている。
【００４４】
この例では、大円の中央部に小円１個があり、そのまわりに４個の小円が配置されている。
【００４５】
この５個の小円の白黒（またはカラー）コードにより、各マーカに固有のラベルを付与することができる。
【００４６】
例えば、図３の場合には、コード０からコード１１までの１２個の異なったコードを生成することができる。
【００４７】
図４は、本実施の形態における別のコードパターンを表したものである。
【００４８】
このパタ一ンの場合には、大円の中に７個の小円を配置することで、各種のコードを生成した場合を表わしている。
【００４９】
なお、コードを生成するパターンとしては、これだけには限らす、例えば、図５に示されるような、同心円上にコードを付加したものでも構わない。
【００５０】
ここで、基本的に重要なことは、各マーカが幾何学的特徴を有しており、それがマーカにラベルを付加するに足るコードを生成できることである。
【００５１】
また、マーカ自体は円形でなくてもよく、例えば、正方形でも正多角形でもよい。
【００５２】
図６は、本発明において、コンピュータ４に画像５が入力された後に、対象物１の３次元位置姿勢を推定するまでの処理手順を示すフローチャートである。
【００５３】
以下、各ステップについて簡単に説明する。
【００５４】
（１）ステップ１：
画像５を受け取ったコンピュータ４は、その画像５の中からコードマーカ２に対応する領域と推定される候補領域を抽出する。
【００５５】
（２）ステップ２：
コンピュータ４は、上記ステップ１により抽出された候補領域内を詳細に解祈し、その中からコードマーカ２のコードに対応する幾何学的特徴を抽出し、そのコードが認識された場合には、その領域をマーカ領域として、その画像内位置とコードを登録する。
【００５６】
（３）ステップ３：
コンピュータ４は、上記ステップ２で登録された画像から抽出されたコードマーカ２の画像内２次元位置と対象物１に相対する３次元位置とを利用することにより、画像撮影装置３に対応する対象物１の３次元位置姿勢を算出する。
【００５７】
以下、本実施の形態の中心となるステップ１，２、３について、より詳細に説明する。
【００５８】
ステップ１：
本実施の形態では、画像撮影装置３がカラー画像を生成するものとするとともに、コードマーカ２としては、図３で示されるようなコードマーカ（大円と小円の組み合わせ）からなると仮定する。
【００５９】
この際、大円の背景色は、ある規定された色から成り立っており、対象物１内で固有な色であると仮定する。
【００６０】
また、小円内のパターンは、白または黒のみのパターンから成り立っていると仮定する。
【００６１】
マーカの領域は単色から成立しているので、その単色に敏感な色フィルタをアルゴリズム内に導入するものとする。
【００６２】
具体的には、画像面（ｕ，ｖ）で定義される画像点に関して、カラー画像を構成する３フィルタの計測値Ｒ（赤）、Ｇ（緑）、Ｂ（青）から、次の式
【数３】
に対応する３個のべクトルを算出し、マーカが取りうる画像内での色パターンの許容値を、次の式
【数４】
を満たす画像領域を抽出する。
【００６３】
ここで、ｉｍｉｎ，ｉｍａｘ，ｒｍｉｎ，ｒｍａｘ，ｇｍｉｎ，ｇｍａｘなどの値は、あらかじめ設定しておくものとする。
【００６４】
次に、領域内の穴埋めを行うことによりマーカに対応する領域を決定する。
【００６５】
ステップ２：
次に、抽出された領域がマーカの像であるか否かを判定する。
【００６６】
基本的に、マーカの形状は円形であるので、その投影像である画像内での領域は、楕円形で近似することが可能である。
【００６７】
従つて、本ステップ２では、マーカの領域が楕円で近似することができるか否かを判定する。
【００６８】
この方法としては、文献３（Ｋ．Ｒａｈａｒｄｊａ ａｎｄ Ａ．Ｋｏｓａｋａ“Ｖｉｓｉｏｎ−ｂａｓｅｄ ｂｉｎ−ｐｉｃｋｉｎｇ：Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｃｏｍｐｌｅｘ ｏｂｊｅｃｔｓ ｕｓｉｎｇ ｓｉｍｐｌｅ ｖｉｓｕａｌ ｃｕｅｓ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｏｓａｋａ，Ｊａｐａｎ，Ｎｏｖｅｍｂｅｒ １９９６）で示されている方法により行う。
【００６９】
具体的には、
（１）マーカの候補領域と考えられる各領域を含む直方領域を切り出し、マーカ候補領域内を１、領域外を０とラベル化する。
【００７０】
この１でラベル化される領域に対して、穴埋め処理を行い、内部に存在するラベル０で表される小領域を除去する。
【００７１】
（２）ラベル１で表されるマーカ候補領域の１次モーメントｑ0 と２次モーメントＭを算出する。
【００７２】
（３）ラベル１で表されるマーカ候補領域の境界点列の集合をＡ＝｛ｑ｝として、Ａの各点に関して、以下の式で表される正規化距離ｄを算出する。
【００７３】
【数５】
（４）ｄの集合Ａに対する平均値μと標準偏差σd を算出する。
【００７４】
そして、σd がある閾値よりも小さければ、マー力領域として登録するが、そうでなければマーカ領域として登録しない。
【００７５】
このようにして、楕円であると判定された場合には、楕円領域内での３値処理により、楕円領域内で考えられるパターンの抽出を行う。
【００７６】
具体的には、図７の（ａ）に示されているようなマーカ領域に対して、
（１）上記ステップ１で得られた穴埋めされたマーカ領域に対して、メディアンフィルタなどを施してノイズ成分を除去する（図７の（ｂ））。
【００７７】
（２）その領域内の濃淡値（明度）の平均値μg と標準偏差σg を算出する。
【００７８】
（３）領域内の各画素の濃度値ｇに対して、ある定められた実数ｔを利用し、
１）ｇ−μg ＞ｔσg ならば、その画素をラベル１
２）ｇ−μg ＜−ｔσg ならば、その画素をラベル−１
３）１）でも２）でもなければ、その画素をラベル０
でラベル化する。
【００７９】
こうして得られた領域内で、１，−１，０で表される小領域を抽出する（図７の（ｃ））。
【００８０】
（４）１または−１でラベル化された小領域で、マーカ領域の中央にもつとも近い小領域を抽出する。
【００８１】
この小領域をセンターパターンと命名し、そのセンターパターンと領域の１次モーメントｑ0 と２次モーメントＭを利用し、センターパターンからその他のパターンまでの正規化距離と正規化角度（楕円領域を円領域ヘ変換したときのパターン間角度）を算出する。
【００８２】
図７の（ｄ）は、このセンターパターンからその他のパターンまでの正規化距離と正規化角度を算出する様子を表している。
【００８３】
これらの正規化距離とパタ−ン間の正規化角度がある一定の幾何学的性質を保っていたときには、このマーカ候補領域は、マーカ領域として認識され、その小領域が作るパターンのコードを読みとることにより、マーカの同定を行うことができる。
【００８４】
図７の（ｄ）では、図３のコードパターンのコード２として認識されることになる。
【００８５】
このようにして同定されたマーカ領域は、その画像内でのセンターパターンの重心位置が、コードマーカの位置（ｕｉ，ｖｉ）（ｉ＝１，２，３，．．．）として登録される。
【００８６】
ステップ３：
ステップ２で同定されたマーカの画像内位置（ｕｉ，ｖｉ）（ｉ＝１，２，３，．．．）とオブジェクト座標系における３次元マーカ位置（ｘi m ，ｙi m ，ｚi m ）が与えられたとき、如何にして式（３）で表される斉次変換行列cHm 上を算出するが、このステップ３の課題である。
【００８７】
これは、基本的には、上述した文献１（Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ，“Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄｃａｒｔｏｇｒａｐｈｙ，”Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆｔｈｅ ＡＣＭ，Ｖｏｌ．２４，Ｎｏ．６，Ｊｕｎｅ １９８１，ｐｐ．３８１−３９５）で示される方法を以下に示すように変更しながら行う。
【００８８】
すなわち、この文献１で紹介されている方法では、同定されたマーカ群の中から一直線上にない任意の３個のマーカを選択し、その３個のマーカを利用してカメラ座標系とオブジェクト座標系間の座標変換パラメータ解の候補を算出するようにしている。
【００８９】
しかるに、その座標変換パラメータとしては、最大４種類の解が存在することがわかっているので、本発明では、その４種類の各解に対して、選択されなかつたマーカ群を利用して解の検証を行うことにより、解の絞り込みを行うとともに、その解を初期値として、すべてのマーカを利用して解の更新を行うようにしたものである。
【００９０】
以下、その方法に関して簡単に説明する。
【００９１】
同定されたマーカ群の中から、ある選択基準に従って画像内で一直線上にない３個のマーカを選択する。
【００９２】
この選択基準としては、
（１）カメラ画像面で３個のマーカを頂点とする３角形の面積が最大となる３個のマーカを選択する方法
（２）カメラ画像面で３個のマーカを頂点とする３角形の最大内角が最小である３個のマーカを選択する方法
などが考えられる。
【００９３】
このようにして得られたマーカをＭｉ（ｉ＝１，２，３）とする。
【００９４】
次に、これら３個のマーカＭｉ（そのモデル座標系における３次元位置をＰi 、（ｘi m ，ｙi m ，ｚi m ）、画像内位置をＱi （ｕi ，ｖi ）とする）に関して、図８に示されるような３個の３角形Δ０c ＭｉＭｊ（ｉ，ｊ＝１，２，３；ｉとｊは等しくない）を考える。
【００９５】
これらの３個の３角形に関して、カメラ画像系の原点０c から各マーカＭｉまでの距離をｄｉとし、マーカＭｉ，Ｍｊとカメラ座標系原点０c がなす角度θijとする。
【００９６】
また、マーカＭｉ，Ｍｊ間の距離をＲijとする。
【００９７】
このとき距離Ｒ12，Ｒ23，Ｒ31と角度θ12，θ23，θ31は既知の値となるが、ｄ１，ｄ２，ｄ３は未知の値となる。
【００９８】
逆に言えば、距離ｄ１，ｄ２，ｄ３を算出することができれば、オブジェクト座標系からカメラ座標系への座標変換パラメータを算出することができる。
【００９９】
以下この点に関して解説する。
【０１００】
（１）距離Ｒ12，Ｒ23，Ｒ31の算出方法
Ｒ12は点Ｐ1 と点Ｐ2 間のユークリッド距離として算出される。
【０１０１】
同様に、Ｒ23、Ｒ31はそれぞれ、点Ｐ2 とＰ3 、点Ｐ3 とＰ1 間のユークリッド距離として算出される。
【０１０２】
（２）角度θ12，θ23，θ31の算出方法
マーカＭｉ，Ｍｊとカメラ座標系の原点０ｃとがなす角度θijは以下のように算出することができる。まず、
【数６】
で与えられる。
【０１０３】
このようにして、３個の角度をその余弦より算出することができる。
【０１０４】
（３）距離ｄｉ（ｉ＝１，２，３）の算出
３角形０ｃＭ１Ｍ２，０ｃＭ２Ｍ３，０ｃＭ３Ｍ１に対して第２余弦定理を適用すれば、
【数７】
が導かれる。
【０１０５】
これらの３つの式において、未知数はｄ１，ｄ２，ｄ３の３個であり、制約式も３つであるので、理論的には上式を満たす解｛（ｄ１（ｋ），ｄ２（ｋ），ｄ３（ｋ））：ｋ＝１，２，３，４｝が存在する。
【０１０６】
その解法に関しては、上述した文献１（Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ，“Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ，”Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，Ｖｏｌ．２４，Ｎｏ．６，Ｊｕｎｅ １９８１，ｐｐ．３８１−３９５）で詳しく述べられているように、この方程式には最大４個の解が存在することがわかっており、その解が４次方程式の解として数値解祈的に解くことが可能である。
【０１０７】
（４）解（ｄ１，ｄ２，ｄ３）の検証と最適解の選択
基本的には、最大４個の解の中で１個だけが正しい解を与えるものである。
【０１０８】
上記の解の中で、どの解が正しいかを検証するのが、このステップである。
【０１０９】
各解（ｄ１，ｄ２，ｄ３）について、カメラ座標系Ｃでのマーカ位置（ｘi c ，ｙi c ，ｚi c ）を算出する方法について解説する。
【０１１０】
カメラ座標系原点Ｃからマーカまでの距離がｄｉであり、その画像内位置が （ｕi ，ｖi ）であり、
【数８】
が成立し、
【数９】
と書くことができる。
【０１１１】
いま、オブジェクト座標系でのマーカ位置を（ｘi m ，ｙi m ，ｚi m ）とすれば、オブジェクト座標系０ｍからカメラ座標系０ｃへの変換は、
【数１０】
と書かれる。
【０１１２】
ここに、Ｒは回転行列を表し、ｔは並進ベクトルを表す。
【０１１３】
いま、両座標系でのマーカ群の重心ベクトルを
【数１１】
が成立し、並進べクトルと回転行列を別々の式で算出することができる。
【０１１４】
ｉ＝１，２，３に対して、上記方程式を解く方法としては、ｑｕａｔｅｒｎｉｏｎ法（四元数法）がある。
【０１１５】
この方法の詳細は文献３（Ｂ．Ｋ．Ｐ．Ｈｏｒｎ，“Ｃｌｏｓｅｄ−ｆｏｒｍｓｏｌｕｔｉｏｎ ｏｆ ａｂｓｏ１ｕｔｅ ｏｒｉｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｕｎｉｔ ｑｕａｔｅｒｎｉｏｎｓ，”Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ，Ｖ０１．４，Ｎｏ．４，１９８７，ｐｐ．６２９−６４２．）に述べられているので、その詳細はここでは省略する。
【０１１６】
このようにＲ，ｔが算出されると、斉次変換行列ｃＨｍは式（１），（２）により計算することができる。
【０１１７】
以上のことを４個の解に対して繰り返すことにより、ｃＨｍ（１），ｃＨｍ （２），ｃＨｍ（３），ｃＨｍ（４）の４個の解を算出することができる。
【０１１８】
さて、同定されたコードマーカのうち最初の選択されなかつたコードマーカをＭ４，Ｍ５，．．．，Ｍｍとする。
【０１１９】
次に、各斉次変換行列解ｃＨｍ（ｋ）（ｋ＝１，２，３，４）に対して、解として最もふさわしい解を、これらＭ４，Ｍ５，．．．，Ｍｍを利用して決定する方法を説明する。
【０１２０】
（１）各解ｃＨｍ（ｋ）に対する評画関数ｄｉｓｔ（ｋ）を最小にするｋを、以下のステップで算出する。
【０１２１】
（２）各解ｃＨｍ（ｋ）（ｋ＝１，２，３，４）に関して以下の方法により、ｄｉｓｔ（ｋ）を算出する。
【０１２２】
ａ）ｄｉｓｔ（ｋ）：＝０と評価関数を初期化する。
【０１２３】
ｂ）同定されたが最初の３個に選択されなかったマーカＭｊ（ｊ＝４，５，．．．，ｍ）について、そのオブジェクト座標系における３次元位置（ｘj m ，ｙj m ，ｚj m ）を、ｃＨｍ（ｋ）を利用してカメラ画像面に変換する。
【０１２４】
その投影画像点を（ｕj ´，ｖj ´）とする。これは、
【数１２】
により算出することができる。
【０１２５】
続いて、マーカＭｊの実際に画像内で測定された２次元位置（ｕj ，ｖj ）と投影画像点（ｕj ´，ｖj ´）との２乗誤差ｅj を算出する。
【０１２６】
この２乗誤差ｅj は、以下のようにして算出することができる。
【０１２７】
ｅj ＝（ｕj ´−ｕj )2 ＋（ｖj ´−ｖj ）2
そして、ｄｉｓｔ（ｋ）は、
【数１３】
で求められる。
【０１２８】
（３）以上のようにして求められたｄｉｓｔ（ｋ）が最小となる斉次変換行列の解ｃＨｍ（ｋ）を選択する。
【０１２９】
要約すると、上記のステップで求められる最適解ｃＨｍ（ｋ）は、コードマーカＭ１，Ｍ２，Ｍ３から生成される解のうち、他のマーカＭ４，Ｍ５，．．．，Ｍｍが最も支持する解を選択するものである。
【０１３０】
（５）解の更新
上記ステップ（４）で選択された解ｃＨｍ（ｋ）は、コードマーカＭ１，Ｍ２，Ｍ３から推定されたものであり、他のマーカＭ４，Ｍ５，．．．，Ｍｍに対する測定値を利用したものではない。
【０１３１】
そこで、本ステップ（５）では、上記ステップ（４）で算出された解ｃＨｍ （ｋ）を初期推定値ｃＨｍ(0) として、すべてのコードマーカＭｉ（ｉ＝１，２，．．．，ｍ）により、この解の更新を行う。
【０１３２】
すなわち、ｃＨｍを角度成分（ｒｏｌｌ（φｚ）−ｐｉｔｃｈ（φｙ）−ｙａｗ（φｘ））と並進成分（ｔｘ，ｔｙ，ｔｚ）に展開して、６次元未知変数ｐ＝（φｘ，φｙ，φｚ；ｔｘ，ｔｙ，ｔｚ）とし、その初期推定値をｐ(0) ＝（φｘ (0) ，φｙ (0) ，φｚ (0) ；ｔｘ (0) ．ｔｙ (0) ，ｔｚ (0) ）と定義する。
【０１３３】
具体的には、
【数１４】
により定義される。
【０１３４】
これをオブジェクト座標系でのマーカ３次元位置（ｘi m ，ｙi m ，ｚi m ）と、そのカメラ画像面での位置（ｕi ，ｖi ）の関係を利用しながら、６次元位置姿勢パラメータｐ＝（φｘ，φｙ，φｚ；ｔｘ，ｔｙ，ｔｚ）を更新することを考える。
【０１３５】
オブジェクト座標系でのマーカ３次元位置（ｘi m ，ｙi m ，ｚi m ）と、そのカメラ画像面での位置（ｕi ，ｖi ）の関係は
【数１５】
により与えられる。
【０１３６】
この式を整理すると、各マーカＭｉ（ｉ＝１，２，．．．，ｍ）に関して、
【数１６】
なる２次制約式によって表現され、６次元パラメータの初期推定値ｐ(0) ＝（φｘ (0) ，φｙ (0) ，φｚ (0) ；ｔｘ (0) ．ｔｙ (0) ，ｔｚ (0) ）を用いて、６次元パラメータｐ＝（φｘ，φｙ，φｚ；ｔｘ，ｔｙ，ｔｚ）を推定する問題となる。
【０１３７】
この問題はよく知られた非線形方程式問題であり、多くの文献がその解法を紹介しているので、ここではその詳細を述べない。
【０１３８】
このようにして６次元パラメータは、すべてのマーカの測定値を利用して更新され、オブジェクト座標系からカメラ座標系への座標変換パラメータが算出される。
【０１３９】
すなわち、対象物１と画像撮影装置３との間の位置関係を算出することができる。
【０１４０】
以上のような第１の実施の形態によれば、マーカ群の一部が遮蔽されて検出できなかった場合でも、検出されたマーカだけから対象物１と画像撮影装置３との間の３次元位置関係を算出することができる。
【０１４１】
また、マーカの検出に際しては、マーカ固有のコードを利用することにより、マーカ同定の信頼性が従来技術に比べて格段に向上させることができるので、より安定な位置姿勢計測を実現することができる。
【０１４２】
（第２の実施の形態）
次に、第２の実施の形態について説明する。
【０１４３】
上述した第１の実施の形態では、画像撮影装置３としてカラー画像を生成できるものを仮定し、その色情報を利用することにより、マーカ領域を抽出するようにしている。
【０１４４】
これに対し、本第２の実施の形態では、カラー画像を用いずにモノクロ画像を撮影する画像撮影装置３を利用し、マーカが独自に持つ幾何学的構造を画像内から抽出することにより、マーカ領域を抽出するようにしている。
【０１４５】
また、本第２の実施の形態では、抽出されたマーカ領域の領域の大きさの情報を利用してカメラ座標系からマーカまでの距離の初期推定値を算出することにより、マーカの数が３個のときでも、安定的に対象物１と画像撮影装置３間の３次元位置姿勢パラメータを算出することができるようにしている。
【０１４６】
上述した第１の実施の形態のようにカラー画像を利用する方式では、複雑な環境下で照明光が変化する場合には、単一色領域を抽出したり、単純な閾値処理によってマーカに対応する領域を正確に抽出することが困難な場合が多い。
【０１４７】
本実施の形態で説明する方式では、このような複雑な環境下でもロバストに３次元位置姿勢推定が行えるように、マーカが独自に持つ幾何学的関係を画像内から抽出することを行う。
【０１４８】
本実施の形態の基本的な構成は図１で示された構成と同様であり、その処理のステップは、図６で示された方法と同様であるが、ステップ１では、画像撮影装置３がカラー画像の代わりにモノクロ画像をコンピュータ４に送出する。
【０１４９】
また、ステップ２では、カラー画像の代わりにモノクロ画像からマーカ領域が抽出される点が異なる。
【０１５０】
また、ステップ３においては、マーカ領域からマーカを同定するのに必要となるコードが検出されるとともに、マーカ領域自体の大きさの情報が抽出される点が異なる。
【０１５１】
さらに、ステップ４においては、マーカ領域の大きさの情報も利用しながら、対象物１と画像撮影装置３との間の３次元位置姿勢パラメータが算出される。
【０１５２】
以下、その詳細を、ステップ２、３、４について解説する。
【０１５３】
なお、本実施の形態でも、コードマーカとしては、図３で示されるような円形マーカを想定して解説する。
【０１５４】
ステップ２：
図９は、第２の実施の形態におけるステップ２での処理の手順を示すフローチャートである。
【０１５５】
ステップ１１では、画像撮影装置３により送出されたモノクロ画像が、コンピュータ４内のメモリ領域に記憶された後、その画像配列Ｉ（ｕ，ｖ）に対して、メディアンフィルタなどの平滑化フィルタを適用し、マーカ領域内に存在する微細なテクスチャや画像に含まれるノイズ成分を除去する。
【０１５６】
続いて、ステップ１２では、平滑化された画像について領域分割アルゴリズムを適用し、画像を領域分割する。
【０１５７】
この領域分割アルゴリズムとしては、上述した文献３（Ｋ．Ｒａｈａｒｄｊａａｎｄ Ａ．Ｋｏｓａｋａ“Ｖｉｓｉｏｎ−ｂａｓｅｄ ｂｉｎ−ｐｉｃｋｉｎｇ：Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｃｏｍｐｌｅｘ ｏｂｊｅｃｔｓ ｕｓｉｎｇ ｓｉｍｐｌｅｖｉｓｕａｌ ｃｕｅｓ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｏｓａｋａ，Ｊａｐａｎ，Ｎｏｖｅｍｂｅｒ １９９６）に示されているＳｐｅｄｇｅ−ａｎｄ−Ｍｅｄｇｅ方法や、文献４（Ｔ．Ｐａｖｌｉｄｉｓ ａｎｄ Ｙ．Ｌｉｏｗ，“Ｉｎｔｅｇｒａｔｉｎｇ ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１２，Ｎｏ．３，ｐｐ．２２５−２３３，１９９０）に示されるＳｐｌｉｔ一ａｎｄ−Ｍｅｒｇｅ方法や、Ｃａｎｎｙエッジ抽出方法で抽出したエッジ成分を連結して領域分割する方法など、どのような方法でもよい。
【０１５８】
次に、ステップ１３では、このようにして分割される各領域に関して、その領域の幾何学的特徴量を計算する。
【０１５９】
例えば、その領域ｋに対して『面槓Ａ（ｋ）』、『大きさＬ（ｋ）』、『濃度の平均値ｍ（ｋ）』、『濃度の標準偏差ｓ（ｋ）』などを算出する。
【０１６０】
これらの特徴量が、マーカとして取りうる値として妥当であるか否かを閾値処理により判定する。
【０１６１】
具体的には、上記各特徴量が、あらかじめ定められた範囲内の値であるか否かを見ればよい。
【０１６２】
例えば、上記各特徴量が、面積Ａ（ｋ）、大きさＬ（ｋ）、濃度の平均値ｍ （ｋ）、濃度の標準偏差ｓ（ｋ）の場合には、
【数１７】
をすべて満たしているか否かを判定条件とすればよい。
【０１６３】
ここで、Ａｍｉｎ，Ａｍａｘなどの値は、対象物１の大きさ、コ一ドマーカ２の大きさ・色、画像撮影装置３と対象物１の距離の上限と下限などを考慮することにより、あらかじめ設定できるものである。
【０１６４】
このようにして分割された領域の中からマーカに対応すると思われる領域の１次候補が選択される。
【０１６５】
続いて、ステップ１４では、第１次選択で候補とされた領域に関して、その領域がコードマーカ領域として妥当であるか否かを詳細に判定する。
【０１６６】
この場合、基本的にコードマーカの外形は、図３に示されるように円形であるので、その画像内での投影像は楕円で近似することができる。
【０１６７】
そこで、第１次選択で候補とされた領域が、楕円であるか否かを詳細に判定する。
【０１６８】
この判定方法については、第１の実施の形態の場合と同様であるので、ここでは省略する。
【０１６９】
これでステップ２は終了する。
【０１７０】
ステップ３：
このステップ３において、第１の実施の形態の場合と原画像がカラー画像ではなく、モノクロ画像であることが異なるが、その処理の方法は第１の実施形態の場合と同様であるので、ここではその解説を省略する。
【０１７１】
ステップ４：
ステップ３で、コードマーカが同定できた後、ステップ４へ引き継がれる情報は、各コードマーカに対して、オブジェクト座標系におけるコードマーカの３次元位置（ｘi m ，ｙi m ，ｚi m ）、カメラ画像面における位置（ｕi ，ｖi ）、コードマーカの画像内における楕円近似に基づく長軸の長さｒi である。
【０１７２】
本ステップでは、コードマーカの画像内における楕円近似の長軸の長さｒi を利用して、カメラ座標系から各コードマーカまでの距離ｄｉの初期推定値を算出し、その初期推定値を有効に利用することで対象物１と画像撮影装置３との間の３次元位置関係を計測する方法を解説する。
【０１７３】
（１）画像撮影装置３からマーカ２までの距離の初期推定値の算出
以上のようにしてマーカが同定できた場合には、そのマーカ２と画像撮影装置３との間の距離の初期推定値を算出する。
【０１７４】
以下この方法を説明する。
【０１７５】
図１０に示すように、マーカの中心をＰi 、カメラの焦点を０c とするとともに、カメラ像面と０c Ｐi の交点をＱi とすると、Ｑi はマーカ像の中心であると判断することができる。
【０１７６】
また、マーカの３次元モデルを半径Ｒi の球で近似し、マーカの像を楕円で近似するとき、その画像内の楕円の長軸の長さをｒi とする。
【０１７７】
【数１８】
ここに、θi はカメラの光軸と０Ｐi がなす角度であり、ｚi はＰi のカメラ座標系におけるｚ値である。
【０１７８】
そして、ｚi とｄi の間には、以下の関係が成立するから、
【数１９】
と表現することができる。
【０１７９】
（２）対象物１と画像撮影装置３間の３次元位置姿勢推定
カメラ座標系０c でのマーカ位置（ｘi c ，ｙi c ，ｚi c ）を算出する方法についてまず解説し、続いてオブジェクト座標系とカメラ座標系間の座標変換パラメータの算出について解説する。
【０１８０】
各マーカｉとマーカｊに対して、その３次元的距離をＲｉｊ、カメラ視点０c （焦点位置）とＱｉ，Ｑｊがなす角度をθｉｊとすると、
【数２０】
で与えられる。
【０１８１】
各マーカの基準座標系での３次元位置は確定しているので、マーカ間の距離もあらかじめ確定している。
【０１８２】
いま、この距離をａijとすれば、三角形の余弦定埋から
【数２１】
が成立しなければならない。
【０１８３】
従って、前ステップで求められたｄｉの推定値とｄｉの誤差分散ならびにｃｏｓ（θｉｊ）の誤差分散を利用することにより、ｄｉの初期値を更新することができる。
【０１８４】
このようにｄｉの初期値を更新する方法としては、
（１）ニュートン法を利用する方法
（２）準ニュートン法を利用する方法
（３）カルマンフィルタを利用する方法
など多くの方法が挙げられる。
【０１８５】
本実施の形態では（３）のカルマンフィルタを利用して解を算出する方法について述べる。
【０１８６】
上記で説明されている距離ｄｉ（ｉ＝１，２，．．．，ｎ）を変数とするべクトルｐを定義し、その初期分散行列をＳ、すなわち
【数２２】
で示される繰り返し演算を行うことにより、求めるべきべクトルｐを更新することができる。
【０１８７】
このｐはカメラ座標系の原点からマーカ位置までの距離に対応する。
【０１８８】
この距離が推定できると、第１の実施の形態で説明した方法と同様にして、オブジェクト座標系からカメラ座標系への座標変換パラメータを算出することができる。
【０１８９】
以上、第２の実施の形態によれば、原画像としてカラー画像を利用する必要がないため、より安価なシステムを構成することができるとともに、最低３個のコードマーカを使用する場合でも、対象物と画像撮影装置間の３次元位置関係を計測することができる。
【０１９０】
（第３の実施の形態）
次に、第３の実施の形態について説明する。
【０１９１】
上記第１及び第２の実施の形態においては、原画像からマーカ領域と思われる領域を抽出するのに、原画像と同じサイズの画像を利用するようにしている。
【０１９２】
しかるに、本発明では、基本的にマーカに対応する領域は、円形や多角形などの単純な形状をしており、その内部背景は均一な色などで構成されていることから、原画像と同じサイズの画像を処理しなくてもマーカ領域と想定される領域を抽出することが可能である。
【０１９３】
そこで、本実施の形態では、原画像をいったん縮小し、縮小された画像に対して、第１または第２の実施の形態において、マーカ領域を抽出するとともに、縮小画像内で抽出されたマーカの位置を利用して、原画像でのマーカ領域の位置を推定するとともに、原画像サイズでのマーカ領域内で、コードマーカの同定を行うことにより、原画像サイズでのマーカ領域抽出に関わる処理時間を短縮することができる手法を説明するものである。
【０１９４】
説明の関係上、本実施の形態では、第２の実施の形態で説明した方法に関して、縮小を生成して処理を行う場合について説明する。
【０１９５】
しかしながら、第１の実施の形態で説明した方法への適用も容易であることは言うまでもない。
【０１９６】
本実施の形態では、画像の大きさを原画像から１／１６に縮小した場合について、説明する。
【０１９７】
基本的には、図６のステップ１におけるマーカ領域の抽出を縮小画像で行うものである。
【０１９８】
サブステップ１：
原画像を１／１６に縮小する（行方向に１／４、列方向に１／４とする）。
【０１９９】
いま、原画像の画像配列を（ｉ，ｊ）とし、縮小画像の画像配列を（ｉｓ，ｊｓ）とすると、ｉ＝４＊ｉｓ＋０，ｉ＝４＊ｉｓ＋１，ｉ＝４＊ｉｓ＋２，ｉ＝４＊ｉｓ＋３の各Ｉに対して、かつｊ＝４＊ｊｓ＋０，ｊ＝４＊ｊｓ＋１，ｊ＝４＊ｊｓ＋２，ｊ＝４＊ｊｓ＋３に対するＪにおける１６画素の平均値を（ｉｓ，ｊｓ）の画素値とすることで、縮小画像を作成する。
【０２００】
サブステップ２：
サブステップ１で作成された縮小画像に対して、マーカに対応すると予想される領域を抽出する。
【０２０１】
この抽出方法は、第１の実施の形態または第２の実施の形態で述べられた方法と同様である。
【０２０２】
サブステップ３：
サブステップ２で抽出された領域の位置座標（ｉｓ，ｊｓ）を４倍ずつすることにより、原画像におけるマーカ領域を推定する。
【０２０３】
以上のような第３の実施の形態で説明した手法をとることにより、原画像の大きさに比べて１／１６の大きさの縮小画像を処理することで、マーカと想定される領域を抽出することができるので、全体の処理を高速化することができる。
【０２０４】
（第４の実施の形態）
次に、第４の実施の形態について説明する。
【０２０５】
この第４の実施の形態では、コードマーカ以外のランドマーク点を利用して、位置姿勢推定の精度を向上する方法について説明する。
【０２０６】
これまでに解説した第１乃至第３の実施の形態による方法では、コードマーカと呼ばれるマーカの３次元位置モデルとその画像への投影像の２次元位置との関係のみを利用して、コードマーカが規定する対象物と画像撮影装置間の３次元位置姿勢を推定するようにしている。
【０２０７】
このような方法は、コードマーカを多数利用することができる場合、または計測精度があまり必要ないときにはよい。
【０２０８】
しかしながら、高精度の位置姿勢推定が要求される場合には、より多くのマーカ３次元モデル特徴と画像内での観測点の対応関係が必要となる。
【０２０９】
以下に述べる第４の実施の形態による手法では、コードマーカ以外のモデル特徴を利用し、該モデル特徴と観測された画像特徴の対応関係を増加させることにより、より高精度の位置姿勢推定を実現するものである。
【０２１０】
以下、このようなモデル特徴のことをランドマークと呼ぶことにし、そのランドマークをどのように画像内から抽出し、かつ抽出されたランドマークを利用して、どのように対象物１の位置姿勢を推定するかについて、幾つかの実施例に基づいて解説する。
【０２１１】
（実施例１）
まず、実施例１として、コードマーカ位置以外のモデル特徴として、すでに認識された近接するコードマーカの位置を利用してモデル特徴の画像内位置を利用し、コードマーカ以外のモデル特徴の位置を推定するとともに、その推定された位置付近の画像特徴を抽出し、モデル特徴と画像特徴間の対応関係を利用して、対象物の位置姿勢を推定する手法を説明する。
【０２１２】
いま、オブジェクト座標系で、コードマーカ０，１，．．．，ｍ−１が位置べクトルｐ０，ｐ１，．．．，ｐｍ−１で表され、ランドマークｋの位置べクトルｐk が、ｐ０，ｐ１，．．，ｐｍ−１で線形結合で表されるとすると（ｂ０，ｂ１，．．．，ｂｍ−１は定数）、
【数２３】
その画像内での位置ｑk ＝（ｕk ，ｖk ）は、コードマーカの画像内計測値ｑ0 ＝（ｕ0 ，ｖ0 “），ｑ1 ＝（ｕ1 ，ｖ1 ），ｑm-1 ＝（ｕm-1 ，ｖm-1 ）を利用して
【数２４】
で予測することができる。
【０２１３】
この予測値を利用し、ｑk の近傍で最も確からしいランドマーク画像内から抽出することになる。
【０２１４】
図１１は、画像内からランドマークを抽出する一例を示しており、ここでは、この図１１にあるような例についてを考える。
【０２１５】
この例では、コードマーカ０，１，２があらかじめ抽出されていると仮定し、それら３個のコードマーカのちようど重心の位置に円形のランドマークが配置されている場合を考える。
【０２１６】
すると、画像内で抽出されたコ一ドマーカ０，１，２の画像内位置の重心を取り、その重心付近である適当な大きさのウィンドウを設定し、そのウィンドウ領域内にある円形の領域を閾値法で抽出することにより、ランドマークｋの抽出を行うことができる。
【０２１７】
このようにしてランドマークｋに対応する領域が抽出されると、その領域の重心位置が、ランドマークｋの位置として登録される。
【０２１８】
このようにして、コードマーカ群とランドマーク群が抽出され、画像内での位置が算出されると、第１の実施の形態で述べたような位置推定方法で対象物１の位置姿勢を推定することができる。
【０２１９】
また、別の方法としては、第２の実施の形態で説明したように、まず、最初にコードマーカ群を利用して対象物位置姿勢を推定し、対象物１の初期推定値を算出したのち、第１の実施の形態の解の更新の方法で述べたような方法により、ランドマーク群の画像内位置とオブジェクト座標系における位置を利用することで、対象物１の位置姿勢の推定値を更新することができる。
【０２２０】
（実施例２）
ここで述べる実施例２の手法では、あらかじめ抽出されたコードマーカを利用して、対象物１の３次元位置姿勢の初期推定値を算出するとともに、その初期推定値を利用して、ランドマークの画像内でのあるべき予測位置の推定値を算出し、その推定位置付近で、ランドマークを探索する。
【０２２１】
そして、ランドマークが同定できた場合には、そのランドマークのオブジェクト座標系での３次元位置と画像内での２次元位置を利用して、対象物１の３次元位置姿勢の推定値を更新するものである。
【０２２２】
以下、その方法について説明する。
【０２２３】
いま、画像内からコードマーカ０，１，．．．，ｍ−１が同定されたと仮定すると、これらのオブジェク卜座標系での３次元位置座標を画像内で計測された２次元座標を利用して、対象物１の３次元位置姿勢を推定することができる。
【０２２４】
この方法は、第１あるいは第２の実施の形態で示した方法と同様である。
【０２２５】
いま、この３次元位置姿勢の初期推定値をｃＨｍとする。
【０２２６】
また、ランドマークｋのオブジェクト座標系における位置を（ｘｋ，ｙｋ，ｚｋ）とすると、ランドマークｋの画像内における予測値（ｕｋ，ｖｋ）は式（３），（４）により算出することができる。
【０２２７】
この予測値（ｕｋ，ｖｋ）の周辺で、画像内からランドマークを抽出・同定することができる。
【０２２８】
このようにして、各ランドマークを抽出・同定できた場合には、実施例２で説明したのと同様にして、対象物１の３次元位置姿勢の推定値を更新することができる。
【０２２９】
以上、述べたような手法を利用すれば、コードマーカ以外のランドマークを利用して、対象物の３次元位置姿勢を推定することが可能となり、よりロバストで正確な位置姿勢推定を行うことがてきる。
【０２３０】
また、この手法により、あらかじめ登録しておくべきコードマーカの数を減少させることもできる。
【０２３１】
（第５の実施の形態）
この第５の実施の形態では、画像撮影装置以外の装置と対象物間の３次元位置姿勢を推定する手法を説明する。
【０２３２】
これまでに説明してきた第１乃至４の実施の形態は、いずれも、対象物１と画像撮影装置３間の位置関係を計測する例である。
【０２３３】
しかるに、より実際的な例の場合として、図１に示される画像撮影装置３とコンピュータ４は、あるシステムにおいて、対象物１の位置姿勢を推定する位置センサとして利用される場合がある。
【０２３４】
この際には、画像撮影装置３とコンピュータ４からなる位置センサを含むシステム内に別の装置があり、その別の装置が規定する座標系をシステムが基準とするシステム座標系と考えることが多い。
【０２３５】
図１２は、第５の実施の形態で想定される構成を表したブロック図である。
【０２３６】
すなわち、図１２に示すように、コードマーカ１２２が装着された対象物１２１を撮影する画像撮影装置１２３が画像データをデータ処理装置であるコンピュータ１２４に送出し、コンピュータ１２４はその画像データを解析することにより、対象物１２１が規定するオブジェクト座標系から画像撮影装置１２３が規定するカメラ座標系への座標変換パラメータを算出する。
【０２３７】
一方、コンピュータ１２４は、画像撮影装置１２３が規定するカメラ座標系から基準座標系を規定する装置１２５が規定する基準座標系への座標変換パラメータをあらかじめ格納している。
【０２３８】
その座標変換パラメータを利用して、コンピュータ１２４は、オブジェクト座標系から該基準座標系への座標変換パラメータを算出する。
【０２３９】
いま、基準座標系を規定する装置１２５に対して、画像撮影装置１２３がキャリブレーションできていると仮定する。
【０２４０】
より具体的には、画像撮影装置１２３が規定するカメラ座標系０ｃと基準座標系０ｒの間の関係が斉次変換行列ｒＨｃ（カメラ座標系から基準座標系への斉次変換行列）で決定されていると仮定する。
【０２４１】
コンピュータ１２４が画像からマーカ群を同定し、カメラ座標系での対象物１２１の３次元位置姿勢を推定したとすると、オブジェクト座標系からカメラ座標系への座標変換パラメータを算出することができ、それはｃＨｍで表すことができる。
【０２４２】
これら２個の斉次変換行列から、オブジェクト座標系から基準座標系への斉次変換行列を、以下のように算出することができる。
【０２４３】
【数２５】
このことにより、基準座標系における対象物１２１の３次元位置姿勢を推定することができる。
【０２４４】
本第５の実施の形態によりわかるように、本発明を別の装置のための位置姿勢センサとして利用することも可能である。
【０２４５】
（第６の実施の形態）
この第６の実施の形態では、本発明をセンサブローブ（ワイヤレスセンサプローブ）について適用する場合について説明する。
【０２４６】
近年、３次元オブジェクトの３次元点を計測するために、センサプローブが多く開発されるようになってきている。
【０２４７】
その手法としては、Ｆｌａｓｈ Ｐｏｉｎｔのような光学的センサを利用する方法、磁気センサを利用する方法などがある。
【０２４８】
Ｆｌａｓｈ Ｐｏｉｎｔのような発光ダイオードを利用する光学的センサの場合には、高精度で計測できることはあるが、センサプローブと装置間をワイヤで接続する必要があるので、操作性の問題がある。
【０２４９】
一方、磁気センサの場合には、ワイヤレスでの計測が可能であるが、金属の器具などが周辺にあるとノイズの影響が大であるという問題点がある。
【０２５０】
本実施の形態は、これらの問題点を解決すべく発明されたワイヤレスでかつ電磁波などの影響を受けないセンサプローブに適用した場合である。
【０２５１】
具体的には、センサプローブ自体に第１の実施の形態または第２の実施の形態で説明したようなコードマーカを装着することにより、画像撮像装置からセンサプローブまでの位置姿勢を推定し、センサプローブが探針する位置を推定するものである。
【０２５２】
以下、具体的に、このセンサプローブに適用した場合について解説する。
【０２５３】
図１３は、この第６の実施の形態による構成を表すブロック図である。
【０２５４】
すなわち、図１３に示すように、探針されるべき物体Ｘ１３９をセンサプローブ１３８で探針する。
【０２５５】
そのセンサプローブ１３８には、これまでの実施の形態で説明してきたようなコードマーカ（２，１２２）が装着されており、そのコードマーカを画像撮影装置１３３が撮影する。
【０２５６】
そして、画像撮影装置１３３で撮影された画像データは、コンピュータ１３４に送信される。
【０２５７】
コンピュータ１３４は、画像撮影装置１３３から送信される画像データに基づいて画像解析することにより、まず、画像撮影装置１３３に対するセンサプローブ１３８の位置姿勢パラメータを計測する。
【０２５８】
この場合、センサプロープ１３８が基準とすべき座標系は、コンピュータ１３４に接続された基準座標系を規定する装置１３６により規定されており、コンピュータ１３４はその基準座標系に合致した探針点の３次元位置データ１３７を該基準座標系を規定する装置１３６に送出する。
【０２５９】
図１４は、センサプローブ１３８の例を表したものである。
【０２６０】
この図１４において、センサプローブには、その先端に探針すべき針がついており、その針の先端が、第１または第２の実施の形態で述べられたようなオブジェク座標系の原点として定義される。
【０２６１】
そして、それを原点としてオブジェクト座標系を規定するＸm 軸、Ｙm 軸、Ｚm 軸の３軸が定義される。
【０２６２】
また、このセンサプローブには、第１の実施の形態や第２の実施の形態で解説したような複数のコードマーカが装着されている。
【０２６３】
そのコードマーカの位置はオブジェクト座標系上であらかじめ確定されていると仮定し、その３次元座標を（ｘi m ，ｙi m ，ｚi m ）とする。
【０２６４】
このとき画像撮影装置１３３で、このコードマーカが撮影され、その画像がコンピュータ１３４で解析されることにより、オブジェクト座標系から画像撮影装置１３３が規定するカメラ座標系への座標変換パラメータを算出することができる。
【０２６５】
すなわち、オブジェクト座標系から画像撮影装置１３３が規定するカメラ座標系への斉次変換行列を算出することができる。すなわち、
【数２６】
で表現されるｃＨｍを算出することができる。
【０２６６】
さて、センサプローブ１３８の針の先端がオブジェクト座標系の原点と一致することから、（ｘi m ，ｙi m ，ｚi m ）＝（０，０，０）を代入すると、針先端のカメラ座標系における３次元位置を算出することができる。
【０２６７】
その値は並進ベクトルｔそのものの値となる。
【０２６８】
画像撮影装置１３３がある基準座標系Ｒにおいて、キャリブレーションされている場合を考える。
【０２６９】
すなわち、図１３で示されたように、他の装置１３６の座標系で画像撮影装置１３３が規定されている場合を考える。
【０２７０】
この場合には、画像撮影装置１３３から基準座標系への斉次変換行列ｒＨｃがあらかじめ較正されていると考えることができる。
【０２７１】
従って、基準座標系におけるセンサプローブ１３８の先端の３次元座標（ｘi r ，ｙi r ，ｚi r ）は、
【数２７】
で表されることになる。
【０２７２】
これにより、本センサプローブは基準座標系における探針点の３次元位置を提供することができる。
【０２７３】
そして、本実施の形態によれば、従来技術では実現できなかったワイヤレスのセンサプローブを実現することができることになる。
【０２７４】
（第７の実施の形態）
この第７の実施の形態では、ステレオカメラを利用するようにした場合について説明する。
【０２７５】
これまで説明してきた実施の形態は、画像撮影装置が撮影する画像１枚を使用して対象物と画像撮影装置間の位置関係を計測する場合についてである。
【０２７６】
本実施の形態では、画像撮影装置が複数あり、それらと対象物間の位置関係を計測する方法について解説する。
【０２７７】
本方式によれば、検出されるべきコードマーカの数が３個の場合でも、安定的に位置姿勢推定が可能となる。
【０２７８】
基本的に、本実施の形態では、画像撮影装置間のキャリブレーション（画像撮影装置間の相対的位置が確定していること）があらかじめなされている場合に関してのみ、解説するものとする。
【０２７９】
また、画像撮影装置としては２台の場合のみを説明するが、２台を越える複数台の画像撮影装置への拡張は容易である。
【０２８０】
図１５は、本実施の形態による方式の概念図を表したブロック図である。
【０２８１】
すなわち、図１５に示すように、あらかじめ相対的位置が確定した複数（但し、この例ではステレオカメラを利用する例として左右の２台）の画像撮影装置２０３，２０４からの撮影画像データがデータ処理装置であるコンピュータ２０５ヘ送出される。
【０２８２】
コンピュータ２０５は、あらかじめオブジェクト座標系における位置が確定しているコードマーカ（２０２）位置を利用することにより、各画像撮影装置２０３，２０４と対象物２０１あるいは一部の画像撮影装置２０３または２０４と対象物２０１との間の３次元位置関係を計測する。
【０２８３】
本実施の形態においては、複数の画像撮影装置を有するため、複数の画像撮影装置は、全撮影装置は基準とするセンサ基準座標系に基づいてキャリブレーションされていると仮定する。
【０２８４】
すわなち、各画像撮影装置ｊに関して、センサ基準座標系で規定される３次元点（ｘi s ，ｙi s ，ｚi s ）が画像撮影装置ｊにおいて、画像位置（ｕi j ，ｖi j ）で観測されたとすると、すでにキャリブレーションにより確定している斉次変換行列ｊＨｓを利用して、
【数２８】
と記述することができる。
【０２８５】
ここに、αM j ，αM j ，ｕ0 j ，ｖ0 j は、画像撮影装置ｊに関するカメラ内部パラメータであり、カメラキャリブレーションにより確定した値である。
【０２８６】
もし、オブジェクト座標系で規定される３次元点（ｘi m ，ｙi m ，ｚi m ）を考えると、その画像撮影装置ｊでの位置（ｕi j ，ｖi j ）は、以下の式により記述できる。
【０２８７】
【数２９】
そこで、本実施の形態で解決すべき問題は、上記の式で表現されているオブジェクト座標系からセンサ基準座標系への座標変換パラメータｓＨｍを如何にして推定するかと言う問題である。
【０２８８】
図１６は、本実施の形態の処理手順を表したフローチャートである。
【０２８９】
本方式においては、左右画像を左右の画像撮影装置から受け取り、各画像内からコードマーカを同定し、その画像内位置を算出する（ステップＳ１１，Ｓ１２，Ｓ１３）。
【０２９０】
左右画像の両方から同定できたコードマーカに関して、そのコードマーカのセンサ基準座標系での３次元位置を左右画像内位置から算出する。
【０２９１】
こうしてセンサ基準座標系で算出された３次元位置座標とオブジェクト座標系で規定された３次元位置座標とを利用することにより、オブジェクト座標系からセンサ基準座標系への座標変換パラメータを算出する（ステップＳ１４）。
【０２９２】
各画像からコードマーカを同定するステップ（Ｓ１１，Ｓ１２，Ｓ１３）までは、第１の実施の形態や第２の実施の形態の場合と同様であるので、ここではステップＳ１４において、左右の画像の両者から同定されたコードマーカの画像内位置座標から、どのようにしてオブジェクト座標系からセンサ基準座標系への座標変換パラメータを算出するかを説明する。
【０２９３】
いま、左画像から得られたコードマーカｉの画像内位置座標を（ｕi 1 ，ｖi 1 ）、右画像から得られたコードマーカｉの画像内位置座標（ｕi 2 ，ｖi 2 ）とする。
【０２９４】
このとき、センサ基準座標系での３次元推定値は、以下のようにして算出することができる。
【０２９５】
【数３０】
を定義したのち、（ｕi 1 ，ｖi 1 ）と（ｕi 2 ，ｖi 2 ）を正規化し、
【数３１】
を算出する。すると、式（１００）から、
【数３２】
が得られる。ここで
【数３３】
とおけば、
【数３４】
として得られる。
【０２９６】
この式により得られた３次元位置姿勢推定値（ｘi s ，ｙi s ，ｚi s ）とオブジェクト座標系内での３次元位置（ｘi m ，ｙi m ，ｚi m ）は、以下の回転行列Ｒと並進べクトルｔにより関連づけられ、第１の実施の形態または第２の実施の形態で説明したような、ｑｕａｔｅｒｎｉｏｎ法によりその回転行列Ｒと並進べクトルｔを求めることができる。
【０２９７】
また、このステレオ法では、検出されるべきコードマーカの数は最低で３個あればよい。
【０２９８】
これにより、オブジェクト座標系からセンサ基準座標系への座標変換パラメータｓＨｍを算出することが可能となる。ここに
【数３５】
が成立する。
【０２９９】
本実施の形態によれば、互いにキャリブレーションされた複数の画像撮影装置を利用することにより、コードマーカの数が少ない場合でも、安定した位置姿勢センシング機能を実現することができる。
【０３００】
本実施の形態は、単一の画像撮影装置を利用したに比べて２倍のコードマーカを利用して位置姿勢を推定することと等価となり、遮蔽などの影響で数少ないマーカしか検出できない場合や、複雑な環境下で、画像撮影装置が撮影する画像内にノイズ成分が多く含まれる場合には、特に有効な方法となる。
【０３０１】
そして、上述したような第１乃至第７の実施の形態で示した本発明の明細書には、特許請求の範囲に示した請求項１乃至３以外に、以下のような付記１．乃至３６．として示すような発明が含まれている。
【０３０２】
付記１．撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも３個のマーカが写っている画像を入力する画像入力手段と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出手段と、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定するマーカ特定手段と、
上記推定されたマーカの画像上での大きさから、マーカまでの距離を推定する距離推定手段と、
上記推定された各マーカまでの距離と、このマーカの上記画像上での位置と、このマーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算手段と、
を有することを特徴とする３次元位置姿勢センシング装置。
【０３０３】
付記２．撮像装置により撮像された、測定対象物に対する３次元位置情報が既知のマーカが写っている画像を入力する画像入力手段と、
上記入力された画像を縮小する画像縮小手段と、
上記縮小された画像上で上記各マーカに対応する領域を抽出する領域抽出手段と、
上記抽出された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算手段と、
を有することを特徴とする３次元位置姿勢センシング装置。
【０３０４】
付記３．上記測定対象物の特徴部分を画像より抽出する特徴部分抽出手段と、上記抽出した特徴部分の画像上の位置より、上記演算された測定対象物の位置姿勢を補正する手段をさらに含むことを特徴とする付記１または付記２記載の３次元位置センシング装置。
【０３０５】
付記４．画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定する方法であり、
撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも３個のマーカが写っている画像を入力する画像入力工程と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出工程と、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定するマーカ特定工程と、
上記特定された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算工程と、
を有することを特徴とする３次元位置姿勢センシング方法。
【０３０６】
付記５．画像を解祈して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定する方法であり、
撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも４個のマーカが写つている画像を入力する画像入力工程と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出工程と、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定するマーカ特定工程と、
上記マーカ特定工程によつて特定されたマーカより３つのマーカを選択するマーカ選択工程と、
上記マーカ選択工程によつて選択された３つのマーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算するためのパラメータ組を複数算出するパラメータ組算出工程と、
上記マーカ選択工程によって選択されなかったマーカに対して、上記パラメータ組算出工程によつて算出されたパラメータ組を適用評価することにより、１つのパラメータ組を選択するパラメータ組選択工程と、
を有することを特徴とする３次元位置姿勢センシング方法。
【０３０７】
付記６．前記パラメータ組選択工程によつて選択された１つのパラメータ組に関して、各マーカの測定対象物に対する３次元位置情報を適用して評価することにより、該パラメータ組を改善するパラメータ改善工程をさらに含むことを特徴とする付記５記載の３次元位置姿勢センシング方法。
【０３０８】
付記７．画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定する方法であり、
撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも３個のマーカが写っている画像を入力する画像入力工程と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出工程と、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定するマーカ特定工程と、
上記特定されたマーカの両像上での大きさから、マーカまでの距離を推定する距離推定工程と、
上記推定された各マーカまでの距離と、このマーカの上記画像上での位置と、このマーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算工程と、
を有することを特徴とする３次元位置姿勢センシング方法。
【０３０９】
付記８．画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定する方法であり、
撮像装置により撮像された、測定対象物に対する３次元位置情報が既知のマーカが写っている画像を入力する画像入力工程と、
上記入力された画像を縮小する画像縮小工程と、
上記縮小された画像上で上記各マーカに対応する領域を抽出する領域抽出工程と、
上記抽出された各マーカの上記両像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算工程と、
を有することを特徴とする３次元位置姿勢センシング方法。
【０３１０】
付記９．上記測定対象物の特徴部分を画像より抽出する特徴部分抽出工程と、上記抽出した特徴部分の画像上の位置より、上記演算された測定対象物の位置姿勢を補正する工程をさらに含むことを特徴とする付記７または付記８記載の３次元位置姿勢センシング方法。
【０３１１】
付記１０．コンピュータによって画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定するための処理プログラムを記録した記録媒体であり、上記処理プログラムはコンピュータに、撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも３個のマーカが写っている画像を人力させ、
上記画像上で上記各マーカに対応する領域を抽出させ、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定させ、
上記特定された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算させる、
ことを特徴とする３次元位置姿勢センシング処理プログラムを記録した記録媒体。
【０３１２】
付記１１．コンピュータによって画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定するための処理プログラムを記録した記録媒体であり、
上記処理プログラムはコンピュータに、撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも４個のマーカが写っている両像を入力させ、
上記画像上で上記各マーカに対応する領域を抽出させ、上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定させ、上記特定されたマーカより３つのマーカを選択させ、
上記選択された３つのマーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算するためのパラメータ組を複数算出させ、
上記選択されなかったマーカに対して、上記算出されたパラメータ組を適用評価することにより、１つのパラメータ組を選択させる、
ことを特徴とする３次元位置姿勢センシングブログラムを記録した記録媒体。
付記１２．上記処理プログラムは、コンピュータにさらに、前記選択された１つのパラメータ組に関して、各マーカの測定対象物に対する３次元位置情報を適用して評価することにより、該パラメータ組を改善させることを特徴とする付記１１記載の３次元位置姿勢センシング処理プログラムを記録した記録媒体。
【０３１３】
付記１３．コンピュータによって画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定するための処理プログラムを記録した記録媒体であり、
上記処理プログラムはコンピュータに、撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも３個のマーカが写っている画像を入力させ、
上記画像上で上記各マーカに対応する領域を抽出させ、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定させ、
上記特定されたマーカの画像上での大きさから、マーカまでの距離を推定させ、
上記推定された各マーカまでの距離と、このマーカの上記画像上での位置と、このマーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算させる、
ことを特徴とする３次元位置姿勢センシング処理プログラムを記録した記録媒体。
【０３１４】
付記１４．コンピュータによつて画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定するための処理プログラムを記録した記録媒体であり、
上記処理プログラムはコンピュータに、撮像装置により撮像された、測定対象物に対する３次元位置情報が既知のマーカが写っている画像を入力させ、
上記入力された画像を縮小させ、
上記縮小された画像上で上記各マーカに対応する領域を抽出させ、
上記抽出された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算させる、
ことを特徴とする３次元位置姿勢センシング処理プログラムを記録した記録媒体。
【０３１５】
付記１５．上記処理プログラムは、コンピュータにさらに、上記測定対象物の特徴部分を画像より抽出させ、上記抽出した特徴部分の画像上の位置より、上記演算された測定対象物の位置姿勢を補正させることを特徴とする付記１３または付記１４記載の３次元位置センシング処理プログラムを記録レた記録媒体。
【０３１６】
付記１６．表面に識別マークが配されたマーカであり、
上記識別マークの外形が円形であることを特徴とするマーカ。
【０３１７】
（効果）
この付記１６．のマーカによると、画像から識別マークを抽出する場合に、識別マークの外形が円形であるので、その抽出処理が容易である。
【０３１８】
すなわち、識別マークの外形が四角とか三角ではマーク部分の向きによっては画像上の図形の形状が大幅に異なり認識が困難であるのに対し、識別マークの外形が円形であるならマーク部分の向きによっても楕円になるだけであり、画像上の認識処理が容易となる。
【０３１９】
付記１７．表面に識別マークが配されたマーカであり、
上記識別マークが、
外形が円形である背景部と、
この背景部の内部に配設された複数の所定パターンを有し、
上記複数の所定パターンの着色の組み合わせで、マーカを特定可能であることを特徴とするマーカ。
【０３２０】
（効果）
この付記１７．のマーカによると、付記１６．のマーカによる上述の効果に加えて、領域内の輝度や色度を分析してマーカを特定可能であるという効果を有している。
【０３２１】
付記１８．表面に識別マークが配されたマーカであり、
上記識別マークが
外形が円形である背景部と、
この背景部の中心に配された中心印と、
上記中心印を囲む同心円上に等間隔で配された複数の周辺印とを有し、
上記中心印と周辺印の着色の組み合わせで、マーカを特定可能であることを特徴とするマーカ。
【０３２２】
（効果）
この付記１８．のマーカによると、付記１６．のマーカによる上述の効果に加えて、領域内の輝度や色度を分析してマーカを特定可能であるという効果を有している。
【０３２３】
付記１９．表面に識別マークが配されたマーカであり、
上記識別マークが、
外形が円形である背景部と、
この背景部の内部に配された半径の異なる複数の同心円とを有し、
上記同心円の間の領域の着色の組み合わせで、マーカを特定可能であることを特徴とするマーカ。
【０３２４】
付記２０．位置測定に供されるプローブであり、
測定対象に当接する部位である当接部と、
該プローブを識別する識別マークが表面に配されたマーク部と、
を具備することを特徴とするプローブ。
【０３２５】
付記２１．対象物あるいは対象物付近に装着された３次元位置が既知な複数のマーカを、画像撮影装置を利用して撮影しマーカの画像内位置を計測することにより、対象物との相対的３次元位置姿勢を計測する装置において、
複数のマーカに対応する領域を前記マーカの画像内から抽出する手段と、
該マーカに対応する領域の画像内での幾何学的特徴を算出することにより、個々の該マーカを同定する手段と、
該マーカの３次元位置に基づいて、対象物と画像撮影装置間の相対的３次元位置姿勢を推定する手段と、
を具備したことを特徴とする３次元位置姿勢センシング装置。
【０３２６】
付記２２．個々のマーカ内にはコード化されたパターンが配されることを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３２７】
付記２３．前記マーカ領域の画像内での幾何学的特徴を算出し該マーカを同定する手段は、画像内のマーカ領域の大きさを計測し、
前記対象物と画像撮影装置間の相対的３次元位置姿勢を推定する手段は、該マーカ領域の大きさの計測値に基づいて画像撮影装置とマーカ間の距離の初期値を算出し、該初期値に基づいて対象物と画像撮影装置間の相対的３次元位置姿勢を算出することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３２８】
付記２４．前記画像撮影装置は他の装置に装着されており、画像撮影装置と該他の装置間の３次元位置姿勢関係が既知あるいは別途計測可能てあるとき、上記対象物と画像撮影装置間の相対的な３次元位置姿勢を利用することにより、対象物と該他の装置間の３次元位置姿勢を計測することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３２９】
付記２５．前記相対的距離推定値が実現可能である範囲をとるマーカのみを利用して推定値を算出することを特徴とする付記２３載の３次元位置姿勢センシング装置。
【０３３０】
付記２６．前記推定された相対的距離に推定誤差分散を算出し、その推定値と誤差分散の両方を考慮しながら、対象物と画像撮影装置の３次元位置姿勢を推定することを特徴とする付記２３記載の３次元位置姿勢センシング装置。
【０３３１】
付記２７．前記マーカとしては、円形のマーカであり、そのマーカの画像内での投影像を楕円として近似し、楕円の長軸の長さを利用して、画像撮影装置からマーカまでの距離を推定することを特徴とする付記２３記載の３次元位置姿勢センシング装置。
【０３３２】
付記２８．前記マーカとしては、円形のカラーマーカを利用することを特徴とする付記２７．記載の３次元位置姿勢センシング装置。
【０３３３】
付記２９．前記マーカの形状として円形を利用し、マーカ内のコードとして、小円の色の異なるパターンを利用することを特徴とする付記２２記載の３次元位置姿勢センシング装置。
【０３３４】
付記３０．前記マーカとしては、同心円上に色の異なるパターンを生成することを特徴とする付記２２記載の３次元位置姿勢センシング装置。
【０３３５】
付記３１．前記円形マーカの方向情報を付加して３次元位置センシングを行うことを特徴とする付記２７記載の３次元位置姿勢センシング装置。
【０３３６】
付記３２．原画像からマーカ領域を抽出する際、原画像の縮小画像を作成し、該縮小画像内からマーカに対応すると想定される領域の候補を抽出し、該候補領域が原画像内で対応する領域を算出したのち、原画像内の領域でマーカに対応する領域を抽出・認識することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３３７】
付記３３．固有の幾何学的特徴を有するマーカが認識されたのち、そのマーカの２次元または３次元位置関係を利用して、固有の幾何学的特徴を持たない別マーカを画像内から抽出し、該別マーカの画像内位置と３次元位置を利用して、対象物と画像撮影装置間の３次元位置姿勢パラメータを更新することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３３８】
付記３４．前記画像撮影装置は、複数の画像を撮影し、該複数の画像を利用することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３３９】
付記３５．マーカ群がセンサプローブの表面に装着され、該センサプローブを対象物として取り扱うことで、センサプローブの相対的位置姿勢を推定するとともに、センサプローブのプローブ先端の位置を計測することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３４０】
付記３６．マーカ形状が正多角形であることを特徴とする付記２３記載の３次元位置姿勢センシング装置。
【０３４１】
【発明の効果】
本発明は、以上のような方式を採用することにより、従来の方法では困難であった遮蔽などの影響を受けずに、ロバストに（安定に）対象物の３次元位置姿勢を推定することができる。
【０３４２】
それゆえ、本発明の３次元位置姿勢センシング装置は、画像撮影装置または他の装置を規定する座標系における対象物の３次元位置を推定することにより、ロボットによる対象物の把持や、対象物の検査などに有効的に利用することができる。
【０３４３】
従って、以上説明したように、本発明によれば、
（１）遮蔽などの影響により、マーカ群の一部が観察されないときでも、対象物の３次元位置姿勢を推定することができるようにするとともに、
（２）従来のｎ点問題では、解を確定することができなかった３個のマーカからだけでも位置姿勢を推定することができるようにした、
３次元位置姿勢センシング装置を提供することが可能となる。
【図面の簡単な説明】
【図１】図１は、第１の実施の形態による３次元位置姿勢センシング装置の構成を示すブロック図である。
【図２】図２は、図１の画像撮影装置３と、カメラ画像面と、対象物１が規定するオブジェクト座標系との関係を表した図である。
【図３】図３は、第１の実施の形態における幾何学的特徴を持ったコードマーカ２群の一例を表した図である。
【図４】図４は、第１の実施の形態における別のコードパターンを表した図である。
【図５】図５は、第１の実施の形態における別のコードパターンを表した図である。
【図６】図６は、第１の実施の形態において、対象物１の３次元位置姿勢を推定するまでの処理手順を表したフローチャートである。
【図７】図７は、第１の実施の形態において、コードパターンの抽出処理過程を表した図である。
【図８】図８は、第１の実施の形態において、得られた３個のマーカＭｉに関して想定される３個の３角形Δ０c ＭｉＭｊを示す図である。
【図９】図９は、第２の実施の形態におけるステップ２での処理の手順を示すフローチャートである。
【図１０】図１０は、第２実施の形態において、マーカの中心をＰi 、カメラの焦点を０c とするとともに、カメラ像面と０c Ｐi の交点をＱi とすると、Ｑi はマーカ像の中心であると判断することを示した図である。
【図１１】図１１は、第４の実施の形態において、画像内からランドマークを抽出する一例を示した図である。
【図１２】図１２は、第５の実施の形態で想定される構成を表したブロック図である。
【図１３】図１３は、第６の実施の形態による構成を表すブロック図である。
【図１４】図１４は、第６の実施の形態によるセンサプローブ１３８の例を表した図である。
【図１５】図１５は、第７の実施の形態の概念図を表したブロック図である。
【図１６】図１６は、第７の実施の形態の処理手順を表したフローチャートである。
【符号の説明】
１，１２１，２０１，…対象物、
２，１２２，２０２…マーカ
３，１２３，１３３，２０３，２０４…画像撮影装置、
４，１２４，１３４，２０５…コンピュータ、
１２５，１３６…基準座標系を規定する装置、
１３８…センサプローブ、
１３９…探針される物体Ｘ。
【発明の属する技術分野】
本発明は、３次元位置姿勢センシング装置に係り、特に、画像撮影装置を利用して対象物の３次元位置姿勢を推定することにより、対象物の３次元位置姿勢をセンシングするようにした３次元位置姿勢センシング装置に関する。
【０００２】
【従来の技術】
一般に、相対的な位置が既知な少なくとも３点のランドマークやマーカを画像撮影により認識し、対象物と撮影装置との相対的位置姿勢関係を推定する問題は、ｎ点問題の一部として考えられる（文献１：Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ，“Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ，”Ｃｏｍｍｕｎｉｃａｔｉｏｎｓｏｆ ｔｈｅ ＡＣＭ，Ｖｏｌ．２４，Ｎｏ．６，Ｊｕｎｅ １９８１，ｐｐ．３８１−３９５参照）。
【０００３】
この場合、ランドマークあるいはマーカの個数が３点のみのときには、解が複数個存在することが知られている。
【０００４】
このような問題を解決するために、特殊なマーカを利用する方法としては、特開平７−９８２０８号公報に開示されている方法などを挙げることができる。
【０００５】
すなわち、この特開平７−９８２０８号公報に開示されている方法は、大円１個と小円１個の位置関係を利用するものである。
【０００６】
また、文献２（Ｗ．Ａ．Ｈｏｆｆ，Ｔ．Ｌｙｏｎ，ａｎｄ Ｋ．Ｎｇｕｙｅｎ，“Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ−Ｂａｓｅｄ ＲｅｇｉｓｔｒａｔｉｏｎＴｅｃｈｎｉｑｕｅｓ ｆｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａ１１ｔｙ，”Ｐｒｏｃ．ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎＸＶ，Ｖｏｌ．２９０４，ｉｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ ａｎｄ Ａｄｖａｎｃｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ，ＳＰＩＥ，Ｂｏｓｔｏｎ，Ｍａｓｓａｃｈｕｓｅｔｔｓ，Ｎｏｖ．１９−２１，ｐｐ．５３８−５４８，１９９６．）では、形状が同一の複数のマーカを利用して、カメラ画像から３次元位置姿勢を推定するシステムが開示されている。
【０００７】
【発明が解決しようとする課題】
しかるに、上述した特開平７−９８２０８号公報に開示されているテクニックでは、基本的に、大円１個とその付近に定義された小円１個のみからマーカが定義されるため、次のような欠点があった。
【０００８】
（１）大円１個と小円１個の画像内での大きさが小さいときには、測定誤差が大きくなる。
【０００９】
（２）大円１個と小円１個が遮蔽や画像処理上の限界から認識できなかったときには、位置姿勢が認識できなくなってしまう。
【００１０】
また、上述した文献２では、複数のマーカが同一のパターン構造で構成されているときには、マーカ自体を同定することが困難なことが多い。
【００１１】
これは、遮蔽などの影響によりマーカ群の一部が認識できないときには、特に問題となる。
【００１２】
また、環境が複雑な場合には、単一カラーなどや白色または黒色だけで構成されるような単純なマ一カの場合には、マーカと同様なパターンが、環境内に存在する場合が多く、これらのマーカをマーカでないものから差異を明らかにしながら認識することが困難であった。
【００１３】
そこで、本発明では、以上のような点に鑑みてなされたもので、
（１）遮蔽などの影響により、マーカ群の一部が観察されないときでも、対象物の３次元位置姿勢を推定することができるようにするとともに、
（２）従来のｎ点問題では、解を確定することができなかった３個のマーカからだけでも位置姿勢を推定することができるようにした、
３次元位置姿勢センシング装置を提供することを目的としている。
【００１４】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
（１） 撮像装置により撮像された、測定対象物に対する３次元位置情報が既知であり幾何学的に固有の特徴を有する少なくとも３個のマーカが写っている画像を入力する画像入力手段と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出手段と、
上記抽出した領域において、上記各マーカの上記幾何学的に固有の特徴を利用して個々のマーカを特定するマーカ特定手段と、
上記特定されたマーカの画像上での大きさの情報を用いて推定された上記撮像装置から上記マーカまでの距離と、上記特定された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算手段と、
を有することを特徴とする３次元位置姿勢センシング装置が提供される。
【００１５】
また、本発明によると、上記課題を解決するために、
（２） 撮像装置により撮像された、測定対象物に対する３次元位置情報が既知であり幾何学的に固有の特徴を有する少なくとも４個のマーカが写っている画像を入力する画像入力手段と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出手段と、
上記抽出した領域において、上記各マーカの上記幾何学的に固有の特徴を利用して個々のマーカを特定するマーカ特定手段と、
上記マーカ特定手段によって特定されたマーカより３つのマーカを選択するマーカ選択手段と、
上記マーカ選択手段によって選択された３つのマーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算するためのパラメータ組を複数算出するパラメータ組算出手段と、
上記マーカ選択手段によって選択されなかったマーカに対して、上記パラメータ組算出手段によって算出されたパラメータ組により算出される投影画像点と、上記選択されなかったマーカの画像内で測定された２次元位置との誤差の和を最小にする１つのパラメータ組を選択するパラメータ組選択手段と、
を有することを特徴とする３次元位置姿勢センシング装置が提供される。
【００１６】
また、本発明によると、上記課題を解決するために、
（３） 前記パラメータ組選択手段によって選択された１つのパラメータ組に関して、各マーカの測定対象物に対する３次元位置情報を適用して評価することにより、該パラメータ組を更新するパラメータ更新手段をさらに含むことを特徴とする（２）記載の３次元位置姿勢センシング装置が提供される。
また、本発明によると、上記課題を解決するために、
（４） 前記マーカは円形のマーカであり、
前記位置姿勢演算手段は、前記円形のマーカの画像内での投影像を楕円として近似し、楕円の長軸の長さを利用して、前記撮影装置から前記マーカまでの距離を推定し、その推定された距離を含めて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算することを特徴とする（１）記載の３次元位置姿勢センシング装置が提供される。
【００１７】
すなわち、本発明は、具体的には、位置姿勢を推定すべき対象物あるいは対象物付近に、対象物に対する相対的位置関係があらかじめ決定している『幾何学的に固有の特徴を持った固有マーカ（コードマーカ）』を複数配置し、その複数のマーカを画像撮影装置により撮影し、画像内から固有マーカ群を抽出するとともに、そのマーカの幾何学的特徴を抽出かつそのマーカの同定を行い、そのマーカの対象物に対する３次元位置と画像撮影装置により撮影された画像内での２次元位置を利用して、画像撮影装置または他の装置を規定する座標系における対象物の３次元位置姿勢を推定する方式を与えるものである。
【００１８】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【００１９】
（第１の実施の形態）
図１乃至図８を参照して第１の実施の形態について説明する。
【００２０】
図１は、第１の実施の形態による３次元位置姿勢センシング装置の構成を示すブロック図である。
【００２１】
図１に示されているように、３次元位置姿勢を推定すべき対象物１あるいはその付近には、幾何学的に固有の特徴を持った複数の固有マーカ２（以下コードマーカと略す）が配置されている。
【００２２】
そして、このコードマーカ２を画像撮影装置３により撮影し、その撮影した画像５がコンピュータ４内に転送される。
【００２３】
ここで、画像撮影装置３は、一般的なＴＶカメラなどあるいはディジタルビデオカメラなどでよく、画像撮影装置３から画像５を受け取るコンピュータ４は、通常のコンピュータであっても特殊な画像処理演算装置であっても構わない。
【００２４】
また、画像撮影装置３としてのＴＶカメラがアナログ信号を出力する場合には、コンピュータ４内には、画像５をディジタル化する装置やユニットが含まれていてもよい。
【００２５】
また、画像撮影装置３がディジタルカメラやディジタルビデオカメラなどの場合には、直接コンピュータ４に画像５を転送することにより、コンピュータ４が画像５をディジタル信号として入力することができればよい。
【００２６】
このようにして、第１の実施の形態による３次元位置姿勢センシング装置では、コンピュータ４が画像撮影装置３から受け取ったコードマーカ２が撮影された画像５を受け取り、それがディジタル画像の形に変換されるとともに、そのディジタル画像をコンピュータ４で処理することにより、画像５内からコードマーカ２を認識し、そのコードマーカの画像内位置とあらかじめ登録されているコードマーカの３次元位置とを利用することにより、対象物１の画像撮影装置３に対する３次元位置姿勢を推定するものである。
【００２７】
なお、本実施の形態では、少なくとも４個のコードマーカが同定できた場合に関して、対象物の位置姿勢を推定する方法に関して解説するものとする。
【００２８】
そして、少なくとも３個のコードマーカが同定できた場合に関しては、別の実施の形態で解説するものとする。
【００２９】
まず、本実施の形態における画像と座標変換に関する基本的な扱いに関して説明しておく。
【００３０】
基本的に、対象物１と画像撮影装置３は固有の座標系を有しており、画像撮影装置３が撮影した画像５は、カメラ画像面として定義される。
【００３１】
図２は、この画像撮影装置３と、カメラ画像面と、対象物１が規定するオブジェクト座標系との関係を表したものである。
【００３２】
ここで、対象物１が規定するオブジェクト座標系はその原点を０m 、その３次元座標を（ｘm ，ｙm ，ｚm ）とする。
【００３３】
一方、画像撮影装置３が規定するカメラ座標系は、その原点を０c 、その３次元座標を（ｘc ，ｙc ，ｚc ）とする。
【００３４】
カメラ画像面はその軸がｕ軸とｖ軸により構成され、ｕ軸はカメラ座標系のｘc と平行に、ｖ軸はｙc 軸に平行に取られ、カメラ座標系を規定するｚc 軸が画像撮影装置３の光学系の光軸と一致し、その光軸とカメラ画像面が交わる点（カメラ画像面の中心）が、（ｕ0 ，ｖ0 ）で定義される。
【００３５】
画像撮影装置３に相対する対象物１の３次元位置姿勢を推定する問題は、カメラ座標系に対するオブジェクト座標系の位置姿勢を推定する問題、言い換えれば、オブジェクト座標系からカメラ座標系への座標変換パラメータ、またはカメラ座標系からオブジェクト座標系への座標変換パラメータを算出する問題に帰着される。
【００３６】
これを数学的に記述すると、斉次変換行列ｃＨｍまたはｍＨｃを利用して、
【数１】
【００３７】
ここに、Ｒ＝（ｒｉｊ），Ｒ′＝（ｒ′ｉｊ）は３×３の回転行列を表し、ｔ＝（ｔｘ，ｔｙ，ｔｚ），ｔ′＝（ｔ′ｘ，ｔ′ｙ，ｔ′ｚ）は３次元並進べクトルを表す。
【００３８】
以下で詳細に説明するマーカ群｛Ｍｉ；ｉ＝１，２，．．．，ｍ｝は、あらかじめオブジェクト座標系での３次元位置が計測されており、それらを（ｘi m ，ｙi m ，ｚi m ）で表現する。
【００３９】
また、その画像内位置を（ｕｉ，ｖｉ）で記述することとする。
【００４０】
すると、画像撮影装置３をピンホールカメラモデルで近似したとき、それらの座標間には、以下の関係が成立する。
【００４１】
【数２】
【００４２】
図３は、本実施の形態における幾何学的特徴を持ったコードマーカ２群の一例を表したものである。
【００４３】
このコードマーカ２は、円形の形状をしており、その大円内には、小円のパターンがコードとして表されている。
【００４４】
この例では、大円の中央部に小円１個があり、そのまわりに４個の小円が配置されている。
【００４５】
この５個の小円の白黒（またはカラー）コードにより、各マーカに固有のラベルを付与することができる。
【００４６】
例えば、図３の場合には、コード０からコード１１までの１２個の異なったコードを生成することができる。
【００４７】
図４は、本実施の形態における別のコードパターンを表したものである。
【００４８】
このパタ一ンの場合には、大円の中に７個の小円を配置することで、各種のコードを生成した場合を表わしている。
【００４９】
なお、コードを生成するパターンとしては、これだけには限らす、例えば、図５に示されるような、同心円上にコードを付加したものでも構わない。
【００５０】
ここで、基本的に重要なことは、各マーカが幾何学的特徴を有しており、それがマーカにラベルを付加するに足るコードを生成できることである。
【００５１】
また、マーカ自体は円形でなくてもよく、例えば、正方形でも正多角形でもよい。
【００５２】
図６は、本発明において、コンピュータ４に画像５が入力された後に、対象物１の３次元位置姿勢を推定するまでの処理手順を示すフローチャートである。
【００５３】
以下、各ステップについて簡単に説明する。
【００５４】
（１）ステップ１：
画像５を受け取ったコンピュータ４は、その画像５の中からコードマーカ２に対応する領域と推定される候補領域を抽出する。
【００５５】
（２）ステップ２：
コンピュータ４は、上記ステップ１により抽出された候補領域内を詳細に解祈し、その中からコードマーカ２のコードに対応する幾何学的特徴を抽出し、そのコードが認識された場合には、その領域をマーカ領域として、その画像内位置とコードを登録する。
【００５６】
（３）ステップ３：
コンピュータ４は、上記ステップ２で登録された画像から抽出されたコードマーカ２の画像内２次元位置と対象物１に相対する３次元位置とを利用することにより、画像撮影装置３に対応する対象物１の３次元位置姿勢を算出する。
【００５７】
以下、本実施の形態の中心となるステップ１，２、３について、より詳細に説明する。
【００５８】
ステップ１：
本実施の形態では、画像撮影装置３がカラー画像を生成するものとするとともに、コードマーカ２としては、図３で示されるようなコードマーカ（大円と小円の組み合わせ）からなると仮定する。
【００５９】
この際、大円の背景色は、ある規定された色から成り立っており、対象物１内で固有な色であると仮定する。
【００６０】
また、小円内のパターンは、白または黒のみのパターンから成り立っていると仮定する。
【００６１】
マーカの領域は単色から成立しているので、その単色に敏感な色フィルタをアルゴリズム内に導入するものとする。
【００６２】
具体的には、画像面（ｕ，ｖ）で定義される画像点に関して、カラー画像を構成する３フィルタの計測値Ｒ（赤）、Ｇ（緑）、Ｂ（青）から、次の式
【数３】
【数４】
【００６３】
ここで、ｉｍｉｎ，ｉｍａｘ，ｒｍｉｎ，ｒｍａｘ，ｇｍｉｎ，ｇｍａｘなどの値は、あらかじめ設定しておくものとする。
【００６４】
次に、領域内の穴埋めを行うことによりマーカに対応する領域を決定する。
【００６５】
ステップ２：
次に、抽出された領域がマーカの像であるか否かを判定する。
【００６６】
基本的に、マーカの形状は円形であるので、その投影像である画像内での領域は、楕円形で近似することが可能である。
【００６７】
従つて、本ステップ２では、マーカの領域が楕円で近似することができるか否かを判定する。
【００６８】
この方法としては、文献３（Ｋ．Ｒａｈａｒｄｊａ ａｎｄ Ａ．Ｋｏｓａｋａ“Ｖｉｓｉｏｎ−ｂａｓｅｄ ｂｉｎ−ｐｉｃｋｉｎｇ：Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｃｏｍｐｌｅｘ ｏｂｊｅｃｔｓ ｕｓｉｎｇ ｓｉｍｐｌｅ ｖｉｓｕａｌ ｃｕｅｓ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｏｓａｋａ，Ｊａｐａｎ，Ｎｏｖｅｍｂｅｒ １９９６）で示されている方法により行う。
【００６９】
具体的には、
（１）マーカの候補領域と考えられる各領域を含む直方領域を切り出し、マーカ候補領域内を１、領域外を０とラベル化する。
【００７０】
この１でラベル化される領域に対して、穴埋め処理を行い、内部に存在するラベル０で表される小領域を除去する。
【００７１】
（２）ラベル１で表されるマーカ候補領域の１次モーメントｑ0 と２次モーメントＭを算出する。
【００７２】
（３）ラベル１で表されるマーカ候補領域の境界点列の集合をＡ＝｛ｑ｝として、Ａの各点に関して、以下の式で表される正規化距離ｄを算出する。
【００７３】
【数５】
【００７４】
そして、σd がある閾値よりも小さければ、マー力領域として登録するが、そうでなければマーカ領域として登録しない。
【００７５】
このようにして、楕円であると判定された場合には、楕円領域内での３値処理により、楕円領域内で考えられるパターンの抽出を行う。
【００７６】
具体的には、図７の（ａ）に示されているようなマーカ領域に対して、
（１）上記ステップ１で得られた穴埋めされたマーカ領域に対して、メディアンフィルタなどを施してノイズ成分を除去する（図７の（ｂ））。
【００７７】
（２）その領域内の濃淡値（明度）の平均値μg と標準偏差σg を算出する。
【００７８】
（３）領域内の各画素の濃度値ｇに対して、ある定められた実数ｔを利用し、
１）ｇ−μg ＞ｔσg ならば、その画素をラベル１
２）ｇ−μg ＜−ｔσg ならば、その画素をラベル−１
３）１）でも２）でもなければ、その画素をラベル０
でラベル化する。
【００７９】
こうして得られた領域内で、１，−１，０で表される小領域を抽出する（図７の（ｃ））。
【００８０】
（４）１または−１でラベル化された小領域で、マーカ領域の中央にもつとも近い小領域を抽出する。
【００８１】
この小領域をセンターパターンと命名し、そのセンターパターンと領域の１次モーメントｑ0 と２次モーメントＭを利用し、センターパターンからその他のパターンまでの正規化距離と正規化角度（楕円領域を円領域ヘ変換したときのパターン間角度）を算出する。
【００８２】
図７の（ｄ）は、このセンターパターンからその他のパターンまでの正規化距離と正規化角度を算出する様子を表している。
【００８３】
これらの正規化距離とパタ−ン間の正規化角度がある一定の幾何学的性質を保っていたときには、このマーカ候補領域は、マーカ領域として認識され、その小領域が作るパターンのコードを読みとることにより、マーカの同定を行うことができる。
【００８４】
図７の（ｄ）では、図３のコードパターンのコード２として認識されることになる。
【００８５】
このようにして同定されたマーカ領域は、その画像内でのセンターパターンの重心位置が、コードマーカの位置（ｕｉ，ｖｉ）（ｉ＝１，２，３，．．．）として登録される。
【００８６】
ステップ３：
ステップ２で同定されたマーカの画像内位置（ｕｉ，ｖｉ）（ｉ＝１，２，３，．．．）とオブジェクト座標系における３次元マーカ位置（ｘi m ，ｙi m ，ｚi m ）が与えられたとき、如何にして式（３）で表される斉次変換行列cHm 上を算出するが、このステップ３の課題である。
【００８７】
これは、基本的には、上述した文献１（Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ，“Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄｃａｒｔｏｇｒａｐｈｙ，”Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆｔｈｅ ＡＣＭ，Ｖｏｌ．２４，Ｎｏ．６，Ｊｕｎｅ １９８１，ｐｐ．３８１−３９５）で示される方法を以下に示すように変更しながら行う。
【００８８】
すなわち、この文献１で紹介されている方法では、同定されたマーカ群の中から一直線上にない任意の３個のマーカを選択し、その３個のマーカを利用してカメラ座標系とオブジェクト座標系間の座標変換パラメータ解の候補を算出するようにしている。
【００８９】
しかるに、その座標変換パラメータとしては、最大４種類の解が存在することがわかっているので、本発明では、その４種類の各解に対して、選択されなかつたマーカ群を利用して解の検証を行うことにより、解の絞り込みを行うとともに、その解を初期値として、すべてのマーカを利用して解の更新を行うようにしたものである。
【００９０】
以下、その方法に関して簡単に説明する。
【００９１】
同定されたマーカ群の中から、ある選択基準に従って画像内で一直線上にない３個のマーカを選択する。
【００９２】
この選択基準としては、
（１）カメラ画像面で３個のマーカを頂点とする３角形の面積が最大となる３個のマーカを選択する方法
（２）カメラ画像面で３個のマーカを頂点とする３角形の最大内角が最小である３個のマーカを選択する方法
などが考えられる。
【００９３】
このようにして得られたマーカをＭｉ（ｉ＝１，２，３）とする。
【００９４】
次に、これら３個のマーカＭｉ（そのモデル座標系における３次元位置をＰi 、（ｘi m ，ｙi m ，ｚi m ）、画像内位置をＱi （ｕi ，ｖi ）とする）に関して、図８に示されるような３個の３角形Δ０c ＭｉＭｊ（ｉ，ｊ＝１，２，３；ｉとｊは等しくない）を考える。
【００９５】
これらの３個の３角形に関して、カメラ画像系の原点０c から各マーカＭｉまでの距離をｄｉとし、マーカＭｉ，Ｍｊとカメラ座標系原点０c がなす角度θijとする。
【００９６】
また、マーカＭｉ，Ｍｊ間の距離をＲijとする。
【００９７】
このとき距離Ｒ12，Ｒ23，Ｒ31と角度θ12，θ23，θ31は既知の値となるが、ｄ１，ｄ２，ｄ３は未知の値となる。
【００９８】
逆に言えば、距離ｄ１，ｄ２，ｄ３を算出することができれば、オブジェクト座標系からカメラ座標系への座標変換パラメータを算出することができる。
【００９９】
以下この点に関して解説する。
【０１００】
（１）距離Ｒ12，Ｒ23，Ｒ31の算出方法
Ｒ12は点Ｐ1 と点Ｐ2 間のユークリッド距離として算出される。
【０１０１】
同様に、Ｒ23、Ｒ31はそれぞれ、点Ｐ2 とＰ3 、点Ｐ3 とＰ1 間のユークリッド距離として算出される。
【０１０２】
（２）角度θ12，θ23，θ31の算出方法
マーカＭｉ，Ｍｊとカメラ座標系の原点０ｃとがなす角度θijは以下のように算出することができる。まず、
【数６】
【０１０３】
このようにして、３個の角度をその余弦より算出することができる。
【０１０４】
（３）距離ｄｉ（ｉ＝１，２，３）の算出
３角形０ｃＭ１Ｍ２，０ｃＭ２Ｍ３，０ｃＭ３Ｍ１に対して第２余弦定理を適用すれば、
【数７】
【０１０５】
これらの３つの式において、未知数はｄ１，ｄ２，ｄ３の３個であり、制約式も３つであるので、理論的には上式を満たす解｛（ｄ１（ｋ），ｄ２（ｋ），ｄ３（ｋ））：ｋ＝１，２，３，４｝が存在する。
【０１０６】
その解法に関しては、上述した文献１（Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ，“Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ，”Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，Ｖｏｌ．２４，Ｎｏ．６，Ｊｕｎｅ １９８１，ｐｐ．３８１−３９５）で詳しく述べられているように、この方程式には最大４個の解が存在することがわかっており、その解が４次方程式の解として数値解祈的に解くことが可能である。
【０１０７】
（４）解（ｄ１，ｄ２，ｄ３）の検証と最適解の選択
基本的には、最大４個の解の中で１個だけが正しい解を与えるものである。
【０１０８】
上記の解の中で、どの解が正しいかを検証するのが、このステップである。
【０１０９】
各解（ｄ１，ｄ２，ｄ３）について、カメラ座標系Ｃでのマーカ位置（ｘi c ，ｙi c ，ｚi c ）を算出する方法について解説する。
【０１１０】
カメラ座標系原点Ｃからマーカまでの距離がｄｉであり、その画像内位置が （ｕi ，ｖi ）であり、
【数８】
【数９】
【０１１１】
いま、オブジェクト座標系でのマーカ位置を（ｘi m ，ｙi m ，ｚi m ）とすれば、オブジェクト座標系０ｍからカメラ座標系０ｃへの変換は、
【数１０】
【０１１２】
ここに、Ｒは回転行列を表し、ｔは並進ベクトルを表す。
【０１１３】
いま、両座標系でのマーカ群の重心ベクトルを
【数１１】
【０１１４】
ｉ＝１，２，３に対して、上記方程式を解く方法としては、ｑｕａｔｅｒｎｉｏｎ法（四元数法）がある。
【０１１５】
この方法の詳細は文献３（Ｂ．Ｋ．Ｐ．Ｈｏｒｎ，“Ｃｌｏｓｅｄ−ｆｏｒｍｓｏｌｕｔｉｏｎ ｏｆ ａｂｓｏ１ｕｔｅ ｏｒｉｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｕｎｉｔ ｑｕａｔｅｒｎｉｏｎｓ，”Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ，Ｖ０１．４，Ｎｏ．４，１９８７，ｐｐ．６２９−６４２．）に述べられているので、その詳細はここでは省略する。
【０１１６】
このようにＲ，ｔが算出されると、斉次変換行列ｃＨｍは式（１），（２）により計算することができる。
【０１１７】
以上のことを４個の解に対して繰り返すことにより、ｃＨｍ（１），ｃＨｍ （２），ｃＨｍ（３），ｃＨｍ（４）の４個の解を算出することができる。
【０１１８】
さて、同定されたコードマーカのうち最初の選択されなかつたコードマーカをＭ４，Ｍ５，．．．，Ｍｍとする。
【０１１９】
次に、各斉次変換行列解ｃＨｍ（ｋ）（ｋ＝１，２，３，４）に対して、解として最もふさわしい解を、これらＭ４，Ｍ５，．．．，Ｍｍを利用して決定する方法を説明する。
【０１２０】
（１）各解ｃＨｍ（ｋ）に対する評画関数ｄｉｓｔ（ｋ）を最小にするｋを、以下のステップで算出する。
【０１２１】
（２）各解ｃＨｍ（ｋ）（ｋ＝１，２，３，４）に関して以下の方法により、ｄｉｓｔ（ｋ）を算出する。
【０１２２】
ａ）ｄｉｓｔ（ｋ）：＝０と評価関数を初期化する。
【０１２３】
ｂ）同定されたが最初の３個に選択されなかったマーカＭｊ（ｊ＝４，５，．．．，ｍ）について、そのオブジェクト座標系における３次元位置（ｘj m ，ｙj m ，ｚj m ）を、ｃＨｍ（ｋ）を利用してカメラ画像面に変換する。
【０１２４】
その投影画像点を（ｕj ´，ｖj ´）とする。これは、
【数１２】
【０１２５】
続いて、マーカＭｊの実際に画像内で測定された２次元位置（ｕj ，ｖj ）と投影画像点（ｕj ´，ｖj ´）との２乗誤差ｅj を算出する。
【０１２６】
この２乗誤差ｅj は、以下のようにして算出することができる。
【０１２７】
ｅj ＝（ｕj ´−ｕj )2 ＋（ｖj ´−ｖj ）2
そして、ｄｉｓｔ（ｋ）は、
【数１３】
【０１２８】
（３）以上のようにして求められたｄｉｓｔ（ｋ）が最小となる斉次変換行列の解ｃＨｍ（ｋ）を選択する。
【０１２９】
要約すると、上記のステップで求められる最適解ｃＨｍ（ｋ）は、コードマーカＭ１，Ｍ２，Ｍ３から生成される解のうち、他のマーカＭ４，Ｍ５，．．．，Ｍｍが最も支持する解を選択するものである。
【０１３０】
（５）解の更新
上記ステップ（４）で選択された解ｃＨｍ（ｋ）は、コードマーカＭ１，Ｍ２，Ｍ３から推定されたものであり、他のマーカＭ４，Ｍ５，．．．，Ｍｍに対する測定値を利用したものではない。
【０１３１】
そこで、本ステップ（５）では、上記ステップ（４）で算出された解ｃＨｍ （ｋ）を初期推定値ｃＨｍ(0) として、すべてのコードマーカＭｉ（ｉ＝１，２，．．．，ｍ）により、この解の更新を行う。
【０１３２】
すなわち、ｃＨｍを角度成分（ｒｏｌｌ（φｚ）−ｐｉｔｃｈ（φｙ）−ｙａｗ（φｘ））と並進成分（ｔｘ，ｔｙ，ｔｚ）に展開して、６次元未知変数ｐ＝（φｘ，φｙ，φｚ；ｔｘ，ｔｙ，ｔｚ）とし、その初期推定値をｐ(0) ＝（φｘ (0) ，φｙ (0) ，φｚ (0) ；ｔｘ (0) ．ｔｙ (0) ，ｔｚ (0) ）と定義する。
【０１３３】
具体的には、
【数１４】
【０１３４】
これをオブジェクト座標系でのマーカ３次元位置（ｘi m ，ｙi m ，ｚi m ）と、そのカメラ画像面での位置（ｕi ，ｖi ）の関係を利用しながら、６次元位置姿勢パラメータｐ＝（φｘ，φｙ，φｚ；ｔｘ，ｔｙ，ｔｚ）を更新することを考える。
【０１３５】
オブジェクト座標系でのマーカ３次元位置（ｘi m ，ｙi m ，ｚi m ）と、そのカメラ画像面での位置（ｕi ，ｖi ）の関係は
【数１５】
【０１３６】
この式を整理すると、各マーカＭｉ（ｉ＝１，２，．．．，ｍ）に関して、
【数１６】
【０１３７】
この問題はよく知られた非線形方程式問題であり、多くの文献がその解法を紹介しているので、ここではその詳細を述べない。
【０１３８】
このようにして６次元パラメータは、すべてのマーカの測定値を利用して更新され、オブジェクト座標系からカメラ座標系への座標変換パラメータが算出される。
【０１３９】
すなわち、対象物１と画像撮影装置３との間の位置関係を算出することができる。
【０１４０】
以上のような第１の実施の形態によれば、マーカ群の一部が遮蔽されて検出できなかった場合でも、検出されたマーカだけから対象物１と画像撮影装置３との間の３次元位置関係を算出することができる。
【０１４１】
また、マーカの検出に際しては、マーカ固有のコードを利用することにより、マーカ同定の信頼性が従来技術に比べて格段に向上させることができるので、より安定な位置姿勢計測を実現することができる。
【０１４２】
（第２の実施の形態）
次に、第２の実施の形態について説明する。
【０１４３】
上述した第１の実施の形態では、画像撮影装置３としてカラー画像を生成できるものを仮定し、その色情報を利用することにより、マーカ領域を抽出するようにしている。
【０１４４】
これに対し、本第２の実施の形態では、カラー画像を用いずにモノクロ画像を撮影する画像撮影装置３を利用し、マーカが独自に持つ幾何学的構造を画像内から抽出することにより、マーカ領域を抽出するようにしている。
【０１４５】
また、本第２の実施の形態では、抽出されたマーカ領域の領域の大きさの情報を利用してカメラ座標系からマーカまでの距離の初期推定値を算出することにより、マーカの数が３個のときでも、安定的に対象物１と画像撮影装置３間の３次元位置姿勢パラメータを算出することができるようにしている。
【０１４６】
上述した第１の実施の形態のようにカラー画像を利用する方式では、複雑な環境下で照明光が変化する場合には、単一色領域を抽出したり、単純な閾値処理によってマーカに対応する領域を正確に抽出することが困難な場合が多い。
【０１４７】
本実施の形態で説明する方式では、このような複雑な環境下でもロバストに３次元位置姿勢推定が行えるように、マーカが独自に持つ幾何学的関係を画像内から抽出することを行う。
【０１４８】
本実施の形態の基本的な構成は図１で示された構成と同様であり、その処理のステップは、図６で示された方法と同様であるが、ステップ１では、画像撮影装置３がカラー画像の代わりにモノクロ画像をコンピュータ４に送出する。
【０１４９】
また、ステップ２では、カラー画像の代わりにモノクロ画像からマーカ領域が抽出される点が異なる。
【０１５０】
また、ステップ３においては、マーカ領域からマーカを同定するのに必要となるコードが検出されるとともに、マーカ領域自体の大きさの情報が抽出される点が異なる。
【０１５１】
さらに、ステップ４においては、マーカ領域の大きさの情報も利用しながら、対象物１と画像撮影装置３との間の３次元位置姿勢パラメータが算出される。
【０１５２】
以下、その詳細を、ステップ２、３、４について解説する。
【０１５３】
なお、本実施の形態でも、コードマーカとしては、図３で示されるような円形マーカを想定して解説する。
【０１５４】
ステップ２：
図９は、第２の実施の形態におけるステップ２での処理の手順を示すフローチャートである。
【０１５５】
ステップ１１では、画像撮影装置３により送出されたモノクロ画像が、コンピュータ４内のメモリ領域に記憶された後、その画像配列Ｉ（ｕ，ｖ）に対して、メディアンフィルタなどの平滑化フィルタを適用し、マーカ領域内に存在する微細なテクスチャや画像に含まれるノイズ成分を除去する。
【０１５６】
続いて、ステップ１２では、平滑化された画像について領域分割アルゴリズムを適用し、画像を領域分割する。
【０１５７】
この領域分割アルゴリズムとしては、上述した文献３（Ｋ．Ｒａｈａｒｄｊａａｎｄ Ａ．Ｋｏｓａｋａ“Ｖｉｓｉｏｎ−ｂａｓｅｄ ｂｉｎ−ｐｉｃｋｉｎｇ：Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｃｏｍｐｌｅｘ ｏｂｊｅｃｔｓ ｕｓｉｎｇ ｓｉｍｐｌｅｖｉｓｕａｌ ｃｕｅｓ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｏｓａｋａ，Ｊａｐａｎ，Ｎｏｖｅｍｂｅｒ １９９６）に示されているＳｐｅｄｇｅ−ａｎｄ−Ｍｅｄｇｅ方法や、文献４（Ｔ．Ｐａｖｌｉｄｉｓ ａｎｄ Ｙ．Ｌｉｏｗ，“Ｉｎｔｅｇｒａｔｉｎｇ ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１２，Ｎｏ．３，ｐｐ．２２５−２３３，１９９０）に示されるＳｐｌｉｔ一ａｎｄ−Ｍｅｒｇｅ方法や、Ｃａｎｎｙエッジ抽出方法で抽出したエッジ成分を連結して領域分割する方法など、どのような方法でもよい。
【０１５８】
次に、ステップ１３では、このようにして分割される各領域に関して、その領域の幾何学的特徴量を計算する。
【０１５９】
例えば、その領域ｋに対して『面槓Ａ（ｋ）』、『大きさＬ（ｋ）』、『濃度の平均値ｍ（ｋ）』、『濃度の標準偏差ｓ（ｋ）』などを算出する。
【０１６０】
これらの特徴量が、マーカとして取りうる値として妥当であるか否かを閾値処理により判定する。
【０１６１】
具体的には、上記各特徴量が、あらかじめ定められた範囲内の値であるか否かを見ればよい。
【０１６２】
例えば、上記各特徴量が、面積Ａ（ｋ）、大きさＬ（ｋ）、濃度の平均値ｍ （ｋ）、濃度の標準偏差ｓ（ｋ）の場合には、
【数１７】
【０１６３】
ここで、Ａｍｉｎ，Ａｍａｘなどの値は、対象物１の大きさ、コ一ドマーカ２の大きさ・色、画像撮影装置３と対象物１の距離の上限と下限などを考慮することにより、あらかじめ設定できるものである。
【０１６４】
このようにして分割された領域の中からマーカに対応すると思われる領域の１次候補が選択される。
【０１６５】
続いて、ステップ１４では、第１次選択で候補とされた領域に関して、その領域がコードマーカ領域として妥当であるか否かを詳細に判定する。
【０１６６】
この場合、基本的にコードマーカの外形は、図３に示されるように円形であるので、その画像内での投影像は楕円で近似することができる。
【０１６７】
そこで、第１次選択で候補とされた領域が、楕円であるか否かを詳細に判定する。
【０１６８】
この判定方法については、第１の実施の形態の場合と同様であるので、ここでは省略する。
【０１６９】
これでステップ２は終了する。
【０１７０】
ステップ３：
このステップ３において、第１の実施の形態の場合と原画像がカラー画像ではなく、モノクロ画像であることが異なるが、その処理の方法は第１の実施形態の場合と同様であるので、ここではその解説を省略する。
【０１７１】
ステップ４：
ステップ３で、コードマーカが同定できた後、ステップ４へ引き継がれる情報は、各コードマーカに対して、オブジェクト座標系におけるコードマーカの３次元位置（ｘi m ，ｙi m ，ｚi m ）、カメラ画像面における位置（ｕi ，ｖi ）、コードマーカの画像内における楕円近似に基づく長軸の長さｒi である。
【０１７２】
本ステップでは、コードマーカの画像内における楕円近似の長軸の長さｒi を利用して、カメラ座標系から各コードマーカまでの距離ｄｉの初期推定値を算出し、その初期推定値を有効に利用することで対象物１と画像撮影装置３との間の３次元位置関係を計測する方法を解説する。
【０１７３】
（１）画像撮影装置３からマーカ２までの距離の初期推定値の算出
以上のようにしてマーカが同定できた場合には、そのマーカ２と画像撮影装置３との間の距離の初期推定値を算出する。
【０１７４】
以下この方法を説明する。
【０１７５】
図１０に示すように、マーカの中心をＰi 、カメラの焦点を０c とするとともに、カメラ像面と０c Ｐi の交点をＱi とすると、Ｑi はマーカ像の中心であると判断することができる。
【０１７６】
また、マーカの３次元モデルを半径Ｒi の球で近似し、マーカの像を楕円で近似するとき、その画像内の楕円の長軸の長さをｒi とする。
【０１７７】
【数１８】
【０１７８】
そして、ｚi とｄi の間には、以下の関係が成立するから、
【数１９】
【０１７９】
（２）対象物１と画像撮影装置３間の３次元位置姿勢推定
カメラ座標系０c でのマーカ位置（ｘi c ，ｙi c ，ｚi c ）を算出する方法についてまず解説し、続いてオブジェクト座標系とカメラ座標系間の座標変換パラメータの算出について解説する。
【０１８０】
各マーカｉとマーカｊに対して、その３次元的距離をＲｉｊ、カメラ視点０c （焦点位置）とＱｉ，Ｑｊがなす角度をθｉｊとすると、
【数２０】
【０１８１】
各マーカの基準座標系での３次元位置は確定しているので、マーカ間の距離もあらかじめ確定している。
【０１８２】
いま、この距離をａijとすれば、三角形の余弦定埋から
【数２１】
【０１８３】
従って、前ステップで求められたｄｉの推定値とｄｉの誤差分散ならびにｃｏｓ（θｉｊ）の誤差分散を利用することにより、ｄｉの初期値を更新することができる。
【０１８４】
このようにｄｉの初期値を更新する方法としては、
（１）ニュートン法を利用する方法
（２）準ニュートン法を利用する方法
（３）カルマンフィルタを利用する方法
など多くの方法が挙げられる。
【０１８５】
本実施の形態では（３）のカルマンフィルタを利用して解を算出する方法について述べる。
【０１８６】
上記で説明されている距離ｄｉ（ｉ＝１，２，．．．，ｎ）を変数とするべクトルｐを定義し、その初期分散行列をＳ、すなわち
【数２２】
【０１８７】
このｐはカメラ座標系の原点からマーカ位置までの距離に対応する。
【０１８８】
この距離が推定できると、第１の実施の形態で説明した方法と同様にして、オブジェクト座標系からカメラ座標系への座標変換パラメータを算出することができる。
【０１８９】
以上、第２の実施の形態によれば、原画像としてカラー画像を利用する必要がないため、より安価なシステムを構成することができるとともに、最低３個のコードマーカを使用する場合でも、対象物と画像撮影装置間の３次元位置関係を計測することができる。
【０１９０】
（第３の実施の形態）
次に、第３の実施の形態について説明する。
【０１９１】
上記第１及び第２の実施の形態においては、原画像からマーカ領域と思われる領域を抽出するのに、原画像と同じサイズの画像を利用するようにしている。
【０１９２】
しかるに、本発明では、基本的にマーカに対応する領域は、円形や多角形などの単純な形状をしており、その内部背景は均一な色などで構成されていることから、原画像と同じサイズの画像を処理しなくてもマーカ領域と想定される領域を抽出することが可能である。
【０１９３】
そこで、本実施の形態では、原画像をいったん縮小し、縮小された画像に対して、第１または第２の実施の形態において、マーカ領域を抽出するとともに、縮小画像内で抽出されたマーカの位置を利用して、原画像でのマーカ領域の位置を推定するとともに、原画像サイズでのマーカ領域内で、コードマーカの同定を行うことにより、原画像サイズでのマーカ領域抽出に関わる処理時間を短縮することができる手法を説明するものである。
【０１９４】
説明の関係上、本実施の形態では、第２の実施の形態で説明した方法に関して、縮小を生成して処理を行う場合について説明する。
【０１９５】
しかしながら、第１の実施の形態で説明した方法への適用も容易であることは言うまでもない。
【０１９６】
本実施の形態では、画像の大きさを原画像から１／１６に縮小した場合について、説明する。
【０１９７】
基本的には、図６のステップ１におけるマーカ領域の抽出を縮小画像で行うものである。
【０１９８】
サブステップ１：
原画像を１／１６に縮小する（行方向に１／４、列方向に１／４とする）。
【０１９９】
いま、原画像の画像配列を（ｉ，ｊ）とし、縮小画像の画像配列を（ｉｓ，ｊｓ）とすると、ｉ＝４＊ｉｓ＋０，ｉ＝４＊ｉｓ＋１，ｉ＝４＊ｉｓ＋２，ｉ＝４＊ｉｓ＋３の各Ｉに対して、かつｊ＝４＊ｊｓ＋０，ｊ＝４＊ｊｓ＋１，ｊ＝４＊ｊｓ＋２，ｊ＝４＊ｊｓ＋３に対するＪにおける１６画素の平均値を（ｉｓ，ｊｓ）の画素値とすることで、縮小画像を作成する。
【０２００】
サブステップ２：
サブステップ１で作成された縮小画像に対して、マーカに対応すると予想される領域を抽出する。
【０２０１】
この抽出方法は、第１の実施の形態または第２の実施の形態で述べられた方法と同様である。
【０２０２】
サブステップ３：
サブステップ２で抽出された領域の位置座標（ｉｓ，ｊｓ）を４倍ずつすることにより、原画像におけるマーカ領域を推定する。
【０２０３】
以上のような第３の実施の形態で説明した手法をとることにより、原画像の大きさに比べて１／１６の大きさの縮小画像を処理することで、マーカと想定される領域を抽出することができるので、全体の処理を高速化することができる。
【０２０４】
（第４の実施の形態）
次に、第４の実施の形態について説明する。
【０２０５】
この第４の実施の形態では、コードマーカ以外のランドマーク点を利用して、位置姿勢推定の精度を向上する方法について説明する。
【０２０６】
これまでに解説した第１乃至第３の実施の形態による方法では、コードマーカと呼ばれるマーカの３次元位置モデルとその画像への投影像の２次元位置との関係のみを利用して、コードマーカが規定する対象物と画像撮影装置間の３次元位置姿勢を推定するようにしている。
【０２０７】
このような方法は、コードマーカを多数利用することができる場合、または計測精度があまり必要ないときにはよい。
【０２０８】
しかしながら、高精度の位置姿勢推定が要求される場合には、より多くのマーカ３次元モデル特徴と画像内での観測点の対応関係が必要となる。
【０２０９】
以下に述べる第４の実施の形態による手法では、コードマーカ以外のモデル特徴を利用し、該モデル特徴と観測された画像特徴の対応関係を増加させることにより、より高精度の位置姿勢推定を実現するものである。
【０２１０】
以下、このようなモデル特徴のことをランドマークと呼ぶことにし、そのランドマークをどのように画像内から抽出し、かつ抽出されたランドマークを利用して、どのように対象物１の位置姿勢を推定するかについて、幾つかの実施例に基づいて解説する。
【０２１１】
（実施例１）
まず、実施例１として、コードマーカ位置以外のモデル特徴として、すでに認識された近接するコードマーカの位置を利用してモデル特徴の画像内位置を利用し、コードマーカ以外のモデル特徴の位置を推定するとともに、その推定された位置付近の画像特徴を抽出し、モデル特徴と画像特徴間の対応関係を利用して、対象物の位置姿勢を推定する手法を説明する。
【０２１２】
いま、オブジェクト座標系で、コードマーカ０，１，．．．，ｍ−１が位置べクトルｐ０，ｐ１，．．．，ｐｍ−１で表され、ランドマークｋの位置べクトルｐk が、ｐ０，ｐ１，．．，ｐｍ−１で線形結合で表されるとすると（ｂ０，ｂ１，．．．，ｂｍ−１は定数）、
【数２３】
【数２４】
【０２１３】
この予測値を利用し、ｑk の近傍で最も確からしいランドマーク画像内から抽出することになる。
【０２１４】
図１１は、画像内からランドマークを抽出する一例を示しており、ここでは、この図１１にあるような例についてを考える。
【０２１５】
この例では、コードマーカ０，１，２があらかじめ抽出されていると仮定し、それら３個のコードマーカのちようど重心の位置に円形のランドマークが配置されている場合を考える。
【０２１６】
すると、画像内で抽出されたコ一ドマーカ０，１，２の画像内位置の重心を取り、その重心付近である適当な大きさのウィンドウを設定し、そのウィンドウ領域内にある円形の領域を閾値法で抽出することにより、ランドマークｋの抽出を行うことができる。
【０２１７】
このようにしてランドマークｋに対応する領域が抽出されると、その領域の重心位置が、ランドマークｋの位置として登録される。
【０２１８】
このようにして、コードマーカ群とランドマーク群が抽出され、画像内での位置が算出されると、第１の実施の形態で述べたような位置推定方法で対象物１の位置姿勢を推定することができる。
【０２１９】
また、別の方法としては、第２の実施の形態で説明したように、まず、最初にコードマーカ群を利用して対象物位置姿勢を推定し、対象物１の初期推定値を算出したのち、第１の実施の形態の解の更新の方法で述べたような方法により、ランドマーク群の画像内位置とオブジェクト座標系における位置を利用することで、対象物１の位置姿勢の推定値を更新することができる。
【０２２０】
（実施例２）
ここで述べる実施例２の手法では、あらかじめ抽出されたコードマーカを利用して、対象物１の３次元位置姿勢の初期推定値を算出するとともに、その初期推定値を利用して、ランドマークの画像内でのあるべき予測位置の推定値を算出し、その推定位置付近で、ランドマークを探索する。
【０２２１】
そして、ランドマークが同定できた場合には、そのランドマークのオブジェクト座標系での３次元位置と画像内での２次元位置を利用して、対象物１の３次元位置姿勢の推定値を更新するものである。
【０２２２】
以下、その方法について説明する。
【０２２３】
いま、画像内からコードマーカ０，１，．．．，ｍ−１が同定されたと仮定すると、これらのオブジェク卜座標系での３次元位置座標を画像内で計測された２次元座標を利用して、対象物１の３次元位置姿勢を推定することができる。
【０２２４】
この方法は、第１あるいは第２の実施の形態で示した方法と同様である。
【０２２５】
いま、この３次元位置姿勢の初期推定値をｃＨｍとする。
【０２２６】
また、ランドマークｋのオブジェクト座標系における位置を（ｘｋ，ｙｋ，ｚｋ）とすると、ランドマークｋの画像内における予測値（ｕｋ，ｖｋ）は式（３），（４）により算出することができる。
【０２２７】
この予測値（ｕｋ，ｖｋ）の周辺で、画像内からランドマークを抽出・同定することができる。
【０２２８】
このようにして、各ランドマークを抽出・同定できた場合には、実施例２で説明したのと同様にして、対象物１の３次元位置姿勢の推定値を更新することができる。
【０２２９】
以上、述べたような手法を利用すれば、コードマーカ以外のランドマークを利用して、対象物の３次元位置姿勢を推定することが可能となり、よりロバストで正確な位置姿勢推定を行うことがてきる。
【０２３０】
また、この手法により、あらかじめ登録しておくべきコードマーカの数を減少させることもできる。
【０２３１】
（第５の実施の形態）
この第５の実施の形態では、画像撮影装置以外の装置と対象物間の３次元位置姿勢を推定する手法を説明する。
【０２３２】
これまでに説明してきた第１乃至４の実施の形態は、いずれも、対象物１と画像撮影装置３間の位置関係を計測する例である。
【０２３３】
しかるに、より実際的な例の場合として、図１に示される画像撮影装置３とコンピュータ４は、あるシステムにおいて、対象物１の位置姿勢を推定する位置センサとして利用される場合がある。
【０２３４】
この際には、画像撮影装置３とコンピュータ４からなる位置センサを含むシステム内に別の装置があり、その別の装置が規定する座標系をシステムが基準とするシステム座標系と考えることが多い。
【０２３５】
図１２は、第５の実施の形態で想定される構成を表したブロック図である。
【０２３６】
すなわち、図１２に示すように、コードマーカ１２２が装着された対象物１２１を撮影する画像撮影装置１２３が画像データをデータ処理装置であるコンピュータ１２４に送出し、コンピュータ１２４はその画像データを解析することにより、対象物１２１が規定するオブジェクト座標系から画像撮影装置１２３が規定するカメラ座標系への座標変換パラメータを算出する。
【０２３７】
一方、コンピュータ１２４は、画像撮影装置１２３が規定するカメラ座標系から基準座標系を規定する装置１２５が規定する基準座標系への座標変換パラメータをあらかじめ格納している。
【０２３８】
その座標変換パラメータを利用して、コンピュータ１２４は、オブジェクト座標系から該基準座標系への座標変換パラメータを算出する。
【０２３９】
いま、基準座標系を規定する装置１２５に対して、画像撮影装置１２３がキャリブレーションできていると仮定する。
【０２４０】
より具体的には、画像撮影装置１２３が規定するカメラ座標系０ｃと基準座標系０ｒの間の関係が斉次変換行列ｒＨｃ（カメラ座標系から基準座標系への斉次変換行列）で決定されていると仮定する。
【０２４１】
コンピュータ１２４が画像からマーカ群を同定し、カメラ座標系での対象物１２１の３次元位置姿勢を推定したとすると、オブジェクト座標系からカメラ座標系への座標変換パラメータを算出することができ、それはｃＨｍで表すことができる。
【０２４２】
これら２個の斉次変換行列から、オブジェクト座標系から基準座標系への斉次変換行列を、以下のように算出することができる。
【０２４３】
【数２５】
【０２４４】
本第５の実施の形態によりわかるように、本発明を別の装置のための位置姿勢センサとして利用することも可能である。
【０２４５】
（第６の実施の形態）
この第６の実施の形態では、本発明をセンサブローブ（ワイヤレスセンサプローブ）について適用する場合について説明する。
【０２４６】
近年、３次元オブジェクトの３次元点を計測するために、センサプローブが多く開発されるようになってきている。
【０２４７】
その手法としては、Ｆｌａｓｈ Ｐｏｉｎｔのような光学的センサを利用する方法、磁気センサを利用する方法などがある。
【０２４８】
Ｆｌａｓｈ Ｐｏｉｎｔのような発光ダイオードを利用する光学的センサの場合には、高精度で計測できることはあるが、センサプローブと装置間をワイヤで接続する必要があるので、操作性の問題がある。
【０２４９】
一方、磁気センサの場合には、ワイヤレスでの計測が可能であるが、金属の器具などが周辺にあるとノイズの影響が大であるという問題点がある。
【０２５０】
本実施の形態は、これらの問題点を解決すべく発明されたワイヤレスでかつ電磁波などの影響を受けないセンサプローブに適用した場合である。
【０２５１】
具体的には、センサプローブ自体に第１の実施の形態または第２の実施の形態で説明したようなコードマーカを装着することにより、画像撮像装置からセンサプローブまでの位置姿勢を推定し、センサプローブが探針する位置を推定するものである。
【０２５２】
以下、具体的に、このセンサプローブに適用した場合について解説する。
【０２５３】
図１３は、この第６の実施の形態による構成を表すブロック図である。
【０２５４】
すなわち、図１３に示すように、探針されるべき物体Ｘ１３９をセンサプローブ１３８で探針する。
【０２５５】
そのセンサプローブ１３８には、これまでの実施の形態で説明してきたようなコードマーカ（２，１２２）が装着されており、そのコードマーカを画像撮影装置１３３が撮影する。
【０２５６】
そして、画像撮影装置１３３で撮影された画像データは、コンピュータ１３４に送信される。
【０２５７】
コンピュータ１３４は、画像撮影装置１３３から送信される画像データに基づいて画像解析することにより、まず、画像撮影装置１３３に対するセンサプローブ１３８の位置姿勢パラメータを計測する。
【０２５８】
この場合、センサプロープ１３８が基準とすべき座標系は、コンピュータ１３４に接続された基準座標系を規定する装置１３６により規定されており、コンピュータ１３４はその基準座標系に合致した探針点の３次元位置データ１３７を該基準座標系を規定する装置１３６に送出する。
【０２５９】
図１４は、センサプローブ１３８の例を表したものである。
【０２６０】
この図１４において、センサプローブには、その先端に探針すべき針がついており、その針の先端が、第１または第２の実施の形態で述べられたようなオブジェク座標系の原点として定義される。
【０２６１】
そして、それを原点としてオブジェクト座標系を規定するＸm 軸、Ｙm 軸、Ｚm 軸の３軸が定義される。
【０２６２】
また、このセンサプローブには、第１の実施の形態や第２の実施の形態で解説したような複数のコードマーカが装着されている。
【０２６３】
そのコードマーカの位置はオブジェクト座標系上であらかじめ確定されていると仮定し、その３次元座標を（ｘi m ，ｙi m ，ｚi m ）とする。
【０２６４】
このとき画像撮影装置１３３で、このコードマーカが撮影され、その画像がコンピュータ１３４で解析されることにより、オブジェクト座標系から画像撮影装置１３３が規定するカメラ座標系への座標変換パラメータを算出することができる。
【０２６５】
すなわち、オブジェクト座標系から画像撮影装置１３３が規定するカメラ座標系への斉次変換行列を算出することができる。すなわち、
【数２６】
【０２６６】
さて、センサプローブ１３８の針の先端がオブジェクト座標系の原点と一致することから、（ｘi m ，ｙi m ，ｚi m ）＝（０，０，０）を代入すると、針先端のカメラ座標系における３次元位置を算出することができる。
【０２６７】
その値は並進ベクトルｔそのものの値となる。
【０２６８】
画像撮影装置１３３がある基準座標系Ｒにおいて、キャリブレーションされている場合を考える。
【０２６９】
すなわち、図１３で示されたように、他の装置１３６の座標系で画像撮影装置１３３が規定されている場合を考える。
【０２７０】
この場合には、画像撮影装置１３３から基準座標系への斉次変換行列ｒＨｃがあらかじめ較正されていると考えることができる。
【０２７１】
従って、基準座標系におけるセンサプローブ１３８の先端の３次元座標（ｘi r ，ｙi r ，ｚi r ）は、
【数２７】
【０２７２】
これにより、本センサプローブは基準座標系における探針点の３次元位置を提供することができる。
【０２７３】
そして、本実施の形態によれば、従来技術では実現できなかったワイヤレスのセンサプローブを実現することができることになる。
【０２７４】
（第７の実施の形態）
この第７の実施の形態では、ステレオカメラを利用するようにした場合について説明する。
【０２７５】
これまで説明してきた実施の形態は、画像撮影装置が撮影する画像１枚を使用して対象物と画像撮影装置間の位置関係を計測する場合についてである。
【０２７６】
本実施の形態では、画像撮影装置が複数あり、それらと対象物間の位置関係を計測する方法について解説する。
【０２７７】
本方式によれば、検出されるべきコードマーカの数が３個の場合でも、安定的に位置姿勢推定が可能となる。
【０２７８】
基本的に、本実施の形態では、画像撮影装置間のキャリブレーション（画像撮影装置間の相対的位置が確定していること）があらかじめなされている場合に関してのみ、解説するものとする。
【０２７９】
また、画像撮影装置としては２台の場合のみを説明するが、２台を越える複数台の画像撮影装置への拡張は容易である。
【０２８０】
図１５は、本実施の形態による方式の概念図を表したブロック図である。
【０２８１】
すなわち、図１５に示すように、あらかじめ相対的位置が確定した複数（但し、この例ではステレオカメラを利用する例として左右の２台）の画像撮影装置２０３，２０４からの撮影画像データがデータ処理装置であるコンピュータ２０５ヘ送出される。
【０２８２】
コンピュータ２０５は、あらかじめオブジェクト座標系における位置が確定しているコードマーカ（２０２）位置を利用することにより、各画像撮影装置２０３，２０４と対象物２０１あるいは一部の画像撮影装置２０３または２０４と対象物２０１との間の３次元位置関係を計測する。
【０２８３】
本実施の形態においては、複数の画像撮影装置を有するため、複数の画像撮影装置は、全撮影装置は基準とするセンサ基準座標系に基づいてキャリブレーションされていると仮定する。
【０２８４】
すわなち、各画像撮影装置ｊに関して、センサ基準座標系で規定される３次元点（ｘi s ，ｙi s ，ｚi s ）が画像撮影装置ｊにおいて、画像位置（ｕi j ，ｖi j ）で観測されたとすると、すでにキャリブレーションにより確定している斉次変換行列ｊＨｓを利用して、
【数２８】
【０２８５】
ここに、αM j ，αM j ，ｕ0 j ，ｖ0 j は、画像撮影装置ｊに関するカメラ内部パラメータであり、カメラキャリブレーションにより確定した値である。
【０２８６】
もし、オブジェクト座標系で規定される３次元点（ｘi m ，ｙi m ，ｚi m ）を考えると、その画像撮影装置ｊでの位置（ｕi j ，ｖi j ）は、以下の式により記述できる。
【０２８７】
【数２９】
【０２８８】
図１６は、本実施の形態の処理手順を表したフローチャートである。
【０２８９】
本方式においては、左右画像を左右の画像撮影装置から受け取り、各画像内からコードマーカを同定し、その画像内位置を算出する（ステップＳ１１，Ｓ１２，Ｓ１３）。
【０２９０】
左右画像の両方から同定できたコードマーカに関して、そのコードマーカのセンサ基準座標系での３次元位置を左右画像内位置から算出する。
【０２９１】
こうしてセンサ基準座標系で算出された３次元位置座標とオブジェクト座標系で規定された３次元位置座標とを利用することにより、オブジェクト座標系からセンサ基準座標系への座標変換パラメータを算出する（ステップＳ１４）。
【０２９２】
各画像からコードマーカを同定するステップ（Ｓ１１，Ｓ１２，Ｓ１３）までは、第１の実施の形態や第２の実施の形態の場合と同様であるので、ここではステップＳ１４において、左右の画像の両者から同定されたコードマーカの画像内位置座標から、どのようにしてオブジェクト座標系からセンサ基準座標系への座標変換パラメータを算出するかを説明する。
【０２９３】
いま、左画像から得られたコードマーカｉの画像内位置座標を（ｕi 1 ，ｖi 1 ）、右画像から得られたコードマーカｉの画像内位置座標（ｕi 2 ，ｖi 2 ）とする。
【０２９４】
このとき、センサ基準座標系での３次元推定値は、以下のようにして算出することができる。
【０２９５】
【数３０】
【数３１】
【数３２】
【数３３】
【数３４】
【０２９６】
この式により得られた３次元位置姿勢推定値（ｘi s ，ｙi s ，ｚi s ）とオブジェクト座標系内での３次元位置（ｘi m ，ｙi m ，ｚi m ）は、以下の回転行列Ｒと並進べクトルｔにより関連づけられ、第１の実施の形態または第２の実施の形態で説明したような、ｑｕａｔｅｒｎｉｏｎ法によりその回転行列Ｒと並進べクトルｔを求めることができる。
【０２９７】
また、このステレオ法では、検出されるべきコードマーカの数は最低で３個あればよい。
【０２９８】
これにより、オブジェクト座標系からセンサ基準座標系への座標変換パラメータｓＨｍを算出することが可能となる。ここに
【数３５】
【０２９９】
本実施の形態によれば、互いにキャリブレーションされた複数の画像撮影装置を利用することにより、コードマーカの数が少ない場合でも、安定した位置姿勢センシング機能を実現することができる。
【０３００】
本実施の形態は、単一の画像撮影装置を利用したに比べて２倍のコードマーカを利用して位置姿勢を推定することと等価となり、遮蔽などの影響で数少ないマーカしか検出できない場合や、複雑な環境下で、画像撮影装置が撮影する画像内にノイズ成分が多く含まれる場合には、特に有効な方法となる。
【０３０１】
そして、上述したような第１乃至第７の実施の形態で示した本発明の明細書には、特許請求の範囲に示した請求項１乃至３以外に、以下のような付記１．乃至３６．として示すような発明が含まれている。
【０３０２】
付記１．撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも３個のマーカが写っている画像を入力する画像入力手段と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出手段と、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定するマーカ特定手段と、
上記推定されたマーカの画像上での大きさから、マーカまでの距離を推定する距離推定手段と、
上記推定された各マーカまでの距離と、このマーカの上記画像上での位置と、このマーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算手段と、
を有することを特徴とする３次元位置姿勢センシング装置。
【０３０３】
付記２．撮像装置により撮像された、測定対象物に対する３次元位置情報が既知のマーカが写っている画像を入力する画像入力手段と、
上記入力された画像を縮小する画像縮小手段と、
上記縮小された画像上で上記各マーカに対応する領域を抽出する領域抽出手段と、
上記抽出された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算手段と、
を有することを特徴とする３次元位置姿勢センシング装置。
【０３０４】
付記３．上記測定対象物の特徴部分を画像より抽出する特徴部分抽出手段と、上記抽出した特徴部分の画像上の位置より、上記演算された測定対象物の位置姿勢を補正する手段をさらに含むことを特徴とする付記１または付記２記載の３次元位置センシング装置。
【０３０５】
付記４．画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定する方法であり、
撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも３個のマーカが写っている画像を入力する画像入力工程と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出工程と、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定するマーカ特定工程と、
上記特定された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算工程と、
を有することを特徴とする３次元位置姿勢センシング方法。
【０３０６】
付記５．画像を解祈して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定する方法であり、
撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも４個のマーカが写つている画像を入力する画像入力工程と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出工程と、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定するマーカ特定工程と、
上記マーカ特定工程によつて特定されたマーカより３つのマーカを選択するマーカ選択工程と、
上記マーカ選択工程によつて選択された３つのマーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算するためのパラメータ組を複数算出するパラメータ組算出工程と、
上記マーカ選択工程によって選択されなかったマーカに対して、上記パラメータ組算出工程によつて算出されたパラメータ組を適用評価することにより、１つのパラメータ組を選択するパラメータ組選択工程と、
を有することを特徴とする３次元位置姿勢センシング方法。
【０３０７】
付記６．前記パラメータ組選択工程によつて選択された１つのパラメータ組に関して、各マーカの測定対象物に対する３次元位置情報を適用して評価することにより、該パラメータ組を改善するパラメータ改善工程をさらに含むことを特徴とする付記５記載の３次元位置姿勢センシング方法。
【０３０８】
付記７．画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定する方法であり、
撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも３個のマーカが写っている画像を入力する画像入力工程と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出工程と、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定するマーカ特定工程と、
上記特定されたマーカの両像上での大きさから、マーカまでの距離を推定する距離推定工程と、
上記推定された各マーカまでの距離と、このマーカの上記画像上での位置と、このマーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算工程と、
を有することを特徴とする３次元位置姿勢センシング方法。
【０３０９】
付記８．画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定する方法であり、
撮像装置により撮像された、測定対象物に対する３次元位置情報が既知のマーカが写っている画像を入力する画像入力工程と、
上記入力された画像を縮小する画像縮小工程と、
上記縮小された画像上で上記各マーカに対応する領域を抽出する領域抽出工程と、
上記抽出された各マーカの上記両像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算工程と、
を有することを特徴とする３次元位置姿勢センシング方法。
【０３１０】
付記９．上記測定対象物の特徴部分を画像より抽出する特徴部分抽出工程と、上記抽出した特徴部分の画像上の位置より、上記演算された測定対象物の位置姿勢を補正する工程をさらに含むことを特徴とする付記７または付記８記載の３次元位置姿勢センシング方法。
【０３１１】
付記１０．コンピュータによって画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定するための処理プログラムを記録した記録媒体であり、上記処理プログラムはコンピュータに、撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも３個のマーカが写っている画像を人力させ、
上記画像上で上記各マーカに対応する領域を抽出させ、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定させ、
上記特定された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算させる、
ことを特徴とする３次元位置姿勢センシング処理プログラムを記録した記録媒体。
【０３１２】
付記１１．コンピュータによって画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定するための処理プログラムを記録した記録媒体であり、
上記処理プログラムはコンピュータに、撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも４個のマーカが写っている両像を入力させ、
上記画像上で上記各マーカに対応する領域を抽出させ、上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定させ、上記特定されたマーカより３つのマーカを選択させ、
上記選択された３つのマーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算するためのパラメータ組を複数算出させ、
上記選択されなかったマーカに対して、上記算出されたパラメータ組を適用評価することにより、１つのパラメータ組を選択させる、
ことを特徴とする３次元位置姿勢センシングブログラムを記録した記録媒体。
付記１２．上記処理プログラムは、コンピュータにさらに、前記選択された１つのパラメータ組に関して、各マーカの測定対象物に対する３次元位置情報を適用して評価することにより、該パラメータ組を改善させることを特徴とする付記１１記載の３次元位置姿勢センシング処理プログラムを記録した記録媒体。
【０３１３】
付記１３．コンピュータによって画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定するための処理プログラムを記録した記録媒体であり、
上記処理プログラムはコンピュータに、撮像装置により撮像された、測定対象物に対する３次元位置情報が既知の少なくとも３個のマーカが写っている画像を入力させ、
上記画像上で上記各マーカに対応する領域を抽出させ、
上記抽出した領域において、マーカの外観上の特徴から個々のマーカを特定させ、
上記特定されたマーカの画像上での大きさから、マーカまでの距離を推定させ、
上記推定された各マーカまでの距離と、このマーカの上記画像上での位置と、このマーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算させる、
ことを特徴とする３次元位置姿勢センシング処理プログラムを記録した記録媒体。
【０３１４】
付記１４．コンピュータによつて画像を解析して、この画像を撮影した撮影装置に対する測定対象物の位置姿勢を測定するための処理プログラムを記録した記録媒体であり、
上記処理プログラムはコンピュータに、撮像装置により撮像された、測定対象物に対する３次元位置情報が既知のマーカが写っている画像を入力させ、
上記入力された画像を縮小させ、
上記縮小された画像上で上記各マーカに対応する領域を抽出させ、
上記抽出された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算させる、
ことを特徴とする３次元位置姿勢センシング処理プログラムを記録した記録媒体。
【０３１５】
付記１５．上記処理プログラムは、コンピュータにさらに、上記測定対象物の特徴部分を画像より抽出させ、上記抽出した特徴部分の画像上の位置より、上記演算された測定対象物の位置姿勢を補正させることを特徴とする付記１３または付記１４記載の３次元位置センシング処理プログラムを記録レた記録媒体。
【０３１６】
付記１６．表面に識別マークが配されたマーカであり、
上記識別マークの外形が円形であることを特徴とするマーカ。
【０３１７】
（効果）
この付記１６．のマーカによると、画像から識別マークを抽出する場合に、識別マークの外形が円形であるので、その抽出処理が容易である。
【０３１８】
すなわち、識別マークの外形が四角とか三角ではマーク部分の向きによっては画像上の図形の形状が大幅に異なり認識が困難であるのに対し、識別マークの外形が円形であるならマーク部分の向きによっても楕円になるだけであり、画像上の認識処理が容易となる。
【０３１９】
付記１７．表面に識別マークが配されたマーカであり、
上記識別マークが、
外形が円形である背景部と、
この背景部の内部に配設された複数の所定パターンを有し、
上記複数の所定パターンの着色の組み合わせで、マーカを特定可能であることを特徴とするマーカ。
【０３２０】
（効果）
この付記１７．のマーカによると、付記１６．のマーカによる上述の効果に加えて、領域内の輝度や色度を分析してマーカを特定可能であるという効果を有している。
【０３２１】
付記１８．表面に識別マークが配されたマーカであり、
上記識別マークが
外形が円形である背景部と、
この背景部の中心に配された中心印と、
上記中心印を囲む同心円上に等間隔で配された複数の周辺印とを有し、
上記中心印と周辺印の着色の組み合わせで、マーカを特定可能であることを特徴とするマーカ。
【０３２２】
（効果）
この付記１８．のマーカによると、付記１６．のマーカによる上述の効果に加えて、領域内の輝度や色度を分析してマーカを特定可能であるという効果を有している。
【０３２３】
付記１９．表面に識別マークが配されたマーカであり、
上記識別マークが、
外形が円形である背景部と、
この背景部の内部に配された半径の異なる複数の同心円とを有し、
上記同心円の間の領域の着色の組み合わせで、マーカを特定可能であることを特徴とするマーカ。
【０３２４】
付記２０．位置測定に供されるプローブであり、
測定対象に当接する部位である当接部と、
該プローブを識別する識別マークが表面に配されたマーク部と、
を具備することを特徴とするプローブ。
【０３２５】
付記２１．対象物あるいは対象物付近に装着された３次元位置が既知な複数のマーカを、画像撮影装置を利用して撮影しマーカの画像内位置を計測することにより、対象物との相対的３次元位置姿勢を計測する装置において、
複数のマーカに対応する領域を前記マーカの画像内から抽出する手段と、
該マーカに対応する領域の画像内での幾何学的特徴を算出することにより、個々の該マーカを同定する手段と、
該マーカの３次元位置に基づいて、対象物と画像撮影装置間の相対的３次元位置姿勢を推定する手段と、
を具備したことを特徴とする３次元位置姿勢センシング装置。
【０３２６】
付記２２．個々のマーカ内にはコード化されたパターンが配されることを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３２７】
付記２３．前記マーカ領域の画像内での幾何学的特徴を算出し該マーカを同定する手段は、画像内のマーカ領域の大きさを計測し、
前記対象物と画像撮影装置間の相対的３次元位置姿勢を推定する手段は、該マーカ領域の大きさの計測値に基づいて画像撮影装置とマーカ間の距離の初期値を算出し、該初期値に基づいて対象物と画像撮影装置間の相対的３次元位置姿勢を算出することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３２８】
付記２４．前記画像撮影装置は他の装置に装着されており、画像撮影装置と該他の装置間の３次元位置姿勢関係が既知あるいは別途計測可能てあるとき、上記対象物と画像撮影装置間の相対的な３次元位置姿勢を利用することにより、対象物と該他の装置間の３次元位置姿勢を計測することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３２９】
付記２５．前記相対的距離推定値が実現可能である範囲をとるマーカのみを利用して推定値を算出することを特徴とする付記２３載の３次元位置姿勢センシング装置。
【０３３０】
付記２６．前記推定された相対的距離に推定誤差分散を算出し、その推定値と誤差分散の両方を考慮しながら、対象物と画像撮影装置の３次元位置姿勢を推定することを特徴とする付記２３記載の３次元位置姿勢センシング装置。
【０３３１】
付記２７．前記マーカとしては、円形のマーカであり、そのマーカの画像内での投影像を楕円として近似し、楕円の長軸の長さを利用して、画像撮影装置からマーカまでの距離を推定することを特徴とする付記２３記載の３次元位置姿勢センシング装置。
【０３３２】
付記２８．前記マーカとしては、円形のカラーマーカを利用することを特徴とする付記２７．記載の３次元位置姿勢センシング装置。
【０３３３】
付記２９．前記マーカの形状として円形を利用し、マーカ内のコードとして、小円の色の異なるパターンを利用することを特徴とする付記２２記載の３次元位置姿勢センシング装置。
【０３３４】
付記３０．前記マーカとしては、同心円上に色の異なるパターンを生成することを特徴とする付記２２記載の３次元位置姿勢センシング装置。
【０３３５】
付記３１．前記円形マーカの方向情報を付加して３次元位置センシングを行うことを特徴とする付記２７記載の３次元位置姿勢センシング装置。
【０３３６】
付記３２．原画像からマーカ領域を抽出する際、原画像の縮小画像を作成し、該縮小画像内からマーカに対応すると想定される領域の候補を抽出し、該候補領域が原画像内で対応する領域を算出したのち、原画像内の領域でマーカに対応する領域を抽出・認識することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３３７】
付記３３．固有の幾何学的特徴を有するマーカが認識されたのち、そのマーカの２次元または３次元位置関係を利用して、固有の幾何学的特徴を持たない別マーカを画像内から抽出し、該別マーカの画像内位置と３次元位置を利用して、対象物と画像撮影装置間の３次元位置姿勢パラメータを更新することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３３８】
付記３４．前記画像撮影装置は、複数の画像を撮影し、該複数の画像を利用することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３３９】
付記３５．マーカ群がセンサプローブの表面に装着され、該センサプローブを対象物として取り扱うことで、センサプローブの相対的位置姿勢を推定するとともに、センサプローブのプローブ先端の位置を計測することを特徴とする付記２１記載の３次元位置姿勢センシング装置。
【０３４０】
付記３６．マーカ形状が正多角形であることを特徴とする付記２３記載の３次元位置姿勢センシング装置。
【０３４１】
【発明の効果】
本発明は、以上のような方式を採用することにより、従来の方法では困難であった遮蔽などの影響を受けずに、ロバストに（安定に）対象物の３次元位置姿勢を推定することができる。
【０３４２】
それゆえ、本発明の３次元位置姿勢センシング装置は、画像撮影装置または他の装置を規定する座標系における対象物の３次元位置を推定することにより、ロボットによる対象物の把持や、対象物の検査などに有効的に利用することができる。
【０３４３】
従って、以上説明したように、本発明によれば、
（１）遮蔽などの影響により、マーカ群の一部が観察されないときでも、対象物の３次元位置姿勢を推定することができるようにするとともに、
（２）従来のｎ点問題では、解を確定することができなかった３個のマーカからだけでも位置姿勢を推定することができるようにした、
３次元位置姿勢センシング装置を提供することが可能となる。
【図面の簡単な説明】
【図１】図１は、第１の実施の形態による３次元位置姿勢センシング装置の構成を示すブロック図である。
【図２】図２は、図１の画像撮影装置３と、カメラ画像面と、対象物１が規定するオブジェクト座標系との関係を表した図である。
【図３】図３は、第１の実施の形態における幾何学的特徴を持ったコードマーカ２群の一例を表した図である。
【図４】図４は、第１の実施の形態における別のコードパターンを表した図である。
【図５】図５は、第１の実施の形態における別のコードパターンを表した図である。
【図６】図６は、第１の実施の形態において、対象物１の３次元位置姿勢を推定するまでの処理手順を表したフローチャートである。
【図７】図７は、第１の実施の形態において、コードパターンの抽出処理過程を表した図である。
【図８】図８は、第１の実施の形態において、得られた３個のマーカＭｉに関して想定される３個の３角形Δ０c ＭｉＭｊを示す図である。
【図９】図９は、第２の実施の形態におけるステップ２での処理の手順を示すフローチャートである。
【図１０】図１０は、第２実施の形態において、マーカの中心をＰi 、カメラの焦点を０c とするとともに、カメラ像面と０c Ｐi の交点をＱi とすると、Ｑi はマーカ像の中心であると判断することを示した図である。
【図１１】図１１は、第４の実施の形態において、画像内からランドマークを抽出する一例を示した図である。
【図１２】図１２は、第５の実施の形態で想定される構成を表したブロック図である。
【図１３】図１３は、第６の実施の形態による構成を表すブロック図である。
【図１４】図１４は、第６の実施の形態によるセンサプローブ１３８の例を表した図である。
【図１５】図１５は、第７の実施の形態の概念図を表したブロック図である。
【図１６】図１６は、第７の実施の形態の処理手順を表したフローチャートである。
【符号の説明】
１，１２１，２０１，…対象物、
２，１２２，２０２…マーカ
３，１２３，１３３，２０３，２０４…画像撮影装置、
４，１２４，１３４，２０５…コンピュータ、
１２５，１３６…基準座標系を規定する装置、
１３８…センサプローブ、
１３９…探針される物体Ｘ。
Claims (4)
- 撮像装置により撮像された、測定対象物に対する３次元位置情報が既知であり幾何学的に固有の特徴を有する少なくとも３個のマーカが写っている画像を入力する画像入力手段と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出手段と、
上記抽出した領域において、上記各マーカの上記幾何学的に固有の特徴を利用して個々のマーカを特定するマーカ特定手段と、
上記特定されたマーカの画像上での大きさの情報を用いて推定された上記撮像装置から上記マーカまでの距離と、上記特定された各マーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算する位置姿勢演算手段と、
を有することを特徴とする３次元位置姿勢センシング装置。 - 撮像装置により撮像された、測定対象物に対する３次元位置情報が既知であり幾何学的に固有の特徴を有する少なくとも４個のマーカが写っている画像を入力する画像入力手段と、
上記画像上で上記各マーカに対応する領域を抽出する領域抽出手段と、
上記抽出した領域において、上記各マーカの上記幾何学的に固有の特徴を利用して個々のマーカを特定するマーカ特定手段と、
上記マーカ特定手段によって特定されたマーカより３つのマーカを選択するマーカ選択手段と、
上記マーカ選択手段によって選択された３つのマーカの上記画像上での位置と、各マーカの測定対象物に対する３次元位置情報を用いて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算するためのパラメータ組を複数算出するパラメータ組算出手段と、
上記マーカ選択手段によって選択されなかったマーカに対して、上記パラメータ組算出手段によって算出されたパラメータ組により算出される投影画像点と、上記選択されなかったマーカの画像内で測定された２次元位置との誤差の和を最小にする１つのパラメータ組を選択するパラメータ組選択手段と、
を有することを特徴とする３次元位置姿勢センシング装置。 - 前記パラメータ組選択手段によって選択された１つのパラメータ組に関して、各マーカの測定対象物に対する３次元位置情報を適用して評価することにより、該パラメータ組を更新するパラメータ更新手段をさらに含むことを特徴とする請求項２記載の３次元位置姿勢センシング装置。
- 前記マーカは円形のマーカであり、
前記位置姿勢演算手段は、前記円形のマーカの画像内での投影像を楕円として近似し、楕円の長軸の長さを利用して、前記撮影装置から前記マーカまでの距離を推定し、その推定された距離を含めて、上記撮像装置に対する測定対象物の３次元位置姿勢を演算することを特徴とする請求項１記載の３次元位置姿勢センシング装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02735999A JP4794708B2 (ja) | 1999-02-04 | 1999-02-04 | ３次元位置姿勢センシング装置 |
| US09/498,963 US6724930B1 (en) | 1999-02-04 | 2000-02-04 | Three-dimensional position and orientation sensing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02735999A JP4794708B2 (ja) | 1999-02-04 | 1999-02-04 | ３次元位置姿勢センシング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000227309A JP2000227309A (ja) | 2000-08-15 |
| JP4794708B2 true JP4794708B2 (ja) | 2011-10-19 |
Family
ID=12218868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02735999A Expired - Fee Related JP4794708B2 (ja) | 1999-02-04 | 1999-02-04 | ３次元位置姿勢センシング装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6724930B1 (ja) |
| JP (1) | JP4794708B2 (ja) |
Families Citing this family (146)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6973202B2 (en) * | 1998-10-23 | 2005-12-06 | Varian Medical Systems Technologies, Inc. | Single-camera tracking of an object |
| US6279579B1 (en) * | 1998-10-23 | 2001-08-28 | Varian Medical Systems, Inc. | Method and system for positioning patients for medical treatment procedures |
| US6937696B1 (en) | 1998-10-23 | 2005-08-30 | Varian Medical Systems Technologies, Inc. | Method and system for predictive physiological gating |
| US8788020B2 (en) | 1998-10-23 | 2014-07-22 | Varian Medical Systems, Inc. | Method and system for radiation application |
| US6980679B2 (en) * | 1998-10-23 | 2005-12-27 | Varian Medical System Technologies, Inc. | Method and system for monitoring breathing activity of a subject |
| US7158610B2 (en) * | 2003-09-05 | 2007-01-02 | Varian Medical Systems Technologies, Inc. | Systems and methods for processing x-ray images |
| US7084887B1 (en) * | 1999-06-11 | 2006-08-01 | Canon Kabushiki Kaisha | Marker layout method, mixed reality apparatus, and mixed reality space image generation method |
| DE10025922A1 (de) * | 2000-05-27 | 2001-12-13 | Robert Massen | Automatische photogrammetrische Digitalisierung von Körpern und Objekten |
| DE10033828A1 (de) * | 2000-07-19 | 2002-01-31 | Robert Massen | Optische Erfasung der Raumform von Körpern und Körperteilen |
| ATE391895T1 (de) * | 2000-09-11 | 2008-04-15 | Leica Geosystems Ag | Verfahren zum identifizieren von messpunkten in einem optischen mess-system |
| JP4282216B2 (ja) * | 2000-09-19 | 2009-06-17 | オリンパス株式会社 | ３次元位置姿勢センシング装置 |
| JP4537557B2 (ja) * | 2000-09-19 | 2010-09-01 | オリンパス株式会社 | 情報呈示システム |
| DE10049926A1 (de) * | 2000-10-07 | 2002-04-11 | Robert Massen | Kamera zur kostengünstigen Erfassung der Raumform von Körpern |
| US6950552B2 (en) * | 2001-02-05 | 2005-09-27 | National Instruments Corporation | System and method for precise location of a point of interest |
| US7034831B2 (en) * | 2001-02-05 | 2006-04-25 | National Instruments Corporation | System and method for generating a low discrepancy curve in a region |
| US6959104B2 (en) * | 2001-02-05 | 2005-10-25 | National Instruments Corporation | System and method for scanning a region using a low discrepancy sequence |
| US6909801B2 (en) * | 2001-02-05 | 2005-06-21 | National Instruments Corporation | System and method for generating a low discrepancy curve on an abstract surface |
| US6917710B2 (en) * | 2001-02-05 | 2005-07-12 | National Instruments Corporation | System and method for scanning a region using a low discrepancy curve |
| US6997387B1 (en) * | 2001-03-28 | 2006-02-14 | The Code Corporation | Apparatus and method for calibration of projected target point within an image |
| US7127100B2 (en) * | 2001-06-25 | 2006-10-24 | National Instruments Corporation | System and method for analyzing an image |
| US7769430B2 (en) | 2001-06-26 | 2010-08-03 | Varian Medical Systems, Inc. | Patient visual instruction techniques for synchronizing breathing with a medical procedure |
| US7251352B2 (en) * | 2001-08-16 | 2007-07-31 | Siemens Corporate Research, Inc. | Marking 3D locations from ultrasound images |
| AU2003209355A1 (en) * | 2002-01-22 | 2003-09-02 | Matchlight Software Inc. | System and method for image attribute recording and analysis for biometric applications |
| WO2003064116A2 (en) * | 2002-01-31 | 2003-08-07 | Braintech Canada, Inc. | Method and apparatus for single camera 3d vision guided robotics |
| US20050224899A1 (en) * | 2002-02-06 | 2005-10-13 | Ramsey Craig C | Wireless substrate-like sensor |
| US7289230B2 (en) * | 2002-02-06 | 2007-10-30 | Cyberoptics Semiconductors, Inc. | Wireless substrate-like sensor |
| US20050233770A1 (en) * | 2002-02-06 | 2005-10-20 | Ramsey Craig C | Wireless substrate-like sensor |
| KR100480780B1 (ko) * | 2002-03-07 | 2005-04-06 | 삼성전자주식회사 | 영상신호로부터 대상물체를 추적하는 방법 및 그 장치 |
| JP4004899B2 (ja) | 2002-09-02 | 2007-11-07 | ファナック株式会社 | 物品の位置姿勢検出装置及び物品取出し装置 |
| US7565004B2 (en) * | 2003-06-23 | 2009-07-21 | Shoestring Research, Llc | Fiducial designs and pose estimation for augmented reality |
| US8571639B2 (en) * | 2003-09-05 | 2013-10-29 | Varian Medical Systems, Inc. | Systems and methods for gating medical procedures |
| US7676079B2 (en) | 2003-09-30 | 2010-03-09 | Canon Kabushiki Kaisha | Index identification method and apparatus |
| JP2005143657A (ja) * | 2003-11-12 | 2005-06-09 | Olympus Corp | 情報呈示システム、情報呈示装置、情報呈示装置のための媒体、情報呈示方法、及び情報提示プログラム |
| US7729515B2 (en) * | 2006-03-08 | 2010-06-01 | Electronic Scripting Products, Inc. | Optical navigation apparatus using fixed beacons and a centroid sensing device |
| US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
| US7826641B2 (en) * | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
| US7961909B2 (en) * | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
| DE102004005380A1 (de) * | 2004-02-03 | 2005-09-01 | Isra Vision Systems Ag | Verfahren zur Bestimmung der Lage eines Objekts im Raum |
| US7867167B2 (en) * | 2004-04-15 | 2011-01-11 | Johns Hopkins University | Ultrasound calibration and real-time quality assurance based on closed form formulation |
| WO2006002298A2 (en) * | 2004-06-22 | 2006-01-05 | Sarnoff Corporation | Method and apparatus determining camera pose |
| DE102004038545A1 (de) * | 2004-08-06 | 2006-03-16 | Peters, Heiko, Dr. | Positionierungssystem und Positionsmeßsystem |
| JP4817631B2 (ja) * | 2004-09-24 | 2011-11-16 | キヤノン株式会社 | 情報処理装置、情報処理方法及びそのプログラム |
| US20060074305A1 (en) * | 2004-09-30 | 2006-04-06 | Varian Medical Systems Technologies, Inc. | Patient multimedia display |
| WO2006064607A1 (ja) * | 2004-12-17 | 2006-06-22 | Olympus Corporation | 複合マーカ及び複合マーカ情報取得装置 |
| DE102005018336A1 (de) * | 2005-02-28 | 2006-08-31 | Osram Opto Semiconductors Gmbh | Lichtleiter |
| JP2006268748A (ja) * | 2005-03-25 | 2006-10-05 | Olympus Corp | 複合マーカ |
| JP4828195B2 (ja) * | 2005-09-30 | 2011-11-30 | 株式会社トプコン | カラーコード付き標識 |
| US9119541B2 (en) * | 2005-08-30 | 2015-09-01 | Varian Medical Systems, Inc. | Eyewear for patient prompting |
| WO2007030026A1 (en) * | 2005-09-09 | 2007-03-15 | Industrial Research Limited | A 3d scene scanner and a position and orientation system |
| GB0523085D0 (en) * | 2005-11-11 | 2005-12-21 | Ortho Pro Teknica Ltd | Tracking system for orthognathic surgery |
| JP4916167B2 (ja) * | 2005-12-15 | 2012-04-11 | キヤノン株式会社 | 指標識別方法及び指標識別装置 |
| US7893697B2 (en) * | 2006-02-21 | 2011-02-22 | Cyberoptics Semiconductor, Inc. | Capacitive distance sensing in semiconductor processing tools |
| DE112007000433T5 (de) * | 2006-02-21 | 2009-01-02 | Cyberoptics Semiconductor, Inc., Beaverton | Kapazitive Abstandsmessung bei Halbleiterverarbeitungswerkzeugen |
| FI119483B (fi) * | 2006-03-07 | 2008-11-28 | Saides Oy | Menetelmä, järjestelmä ja tietokoneohjelmatuote mittauslaitteen paikantamiseksi ja suurten kappaleiden mittaamiseksi |
| DE102006013185A1 (de) * | 2006-03-22 | 2007-09-27 | Refractory Intellectual Property Gmbh & Co. Kg | Verfahren zur Ermittlung der Position und Orientierung einer Meß- oder Reparatureinrichtung und eine nach dem Verfahren arbeitende Vorrichtung |
| JP4798705B2 (ja) * | 2006-03-23 | 2011-10-19 | 任天堂株式会社 | 位置算出装置、位置算出プログラム、ゲーム装置、およびゲームプログラム |
| JP5063023B2 (ja) * | 2006-03-31 | 2012-10-31 | キヤノン株式会社 | 位置姿勢補正装置、位置姿勢補正方法 |
| JP2007315865A (ja) * | 2006-05-24 | 2007-12-06 | Canon Machinery Inc | 三次元変位量測定器および測定方法 |
| US20070276539A1 (en) * | 2006-05-25 | 2007-11-29 | Babak Habibi | System and method of robotically engaging an object |
| US8284202B2 (en) * | 2006-06-30 | 2012-10-09 | Two Pic Mc Llc | Methods and apparatus for capturing and rendering dynamic surface deformations in human motion |
| WO2008036354A1 (en) * | 2006-09-19 | 2008-03-27 | Braintech Canada, Inc. | System and method of determining object pose |
| US8823933B2 (en) | 2006-09-29 | 2014-09-02 | Cyberoptics Corporation | Substrate-like particle sensor |
| US7256899B1 (en) | 2006-10-04 | 2007-08-14 | Ivan Faul | Wireless methods and systems for three-dimensional non-contact shape sensing |
| EP1914684A1 (en) * | 2006-10-17 | 2008-04-23 | Jose Maria De Espona Delgado | Identification label containing graphic and/or electromagnetic references for relating a tridimensional shape to a real world object, and method for use thereof |
| US20080101693A1 (en) * | 2006-10-26 | 2008-05-01 | Intelligence Frontier Media Laboratory Ltd | Video image based tracking system for identifying and tracking encoded color surface |
| US20080170750A1 (en) * | 2006-11-01 | 2008-07-17 | Demian Gordon | Segment tracking in motion picture |
| GB0622451D0 (en) * | 2006-11-10 | 2006-12-20 | Intelligent Earth Ltd | Object position and orientation detection device |
| KR100834904B1 (ko) | 2006-12-08 | 2008-06-03 | 한국전자통신연구원 | 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법 |
| US20080181485A1 (en) * | 2006-12-15 | 2008-07-31 | Beis Jeffrey S | System and method of identifying objects |
| BRMU8703085Y1 (pt) * | 2007-03-16 | 2019-07-16 | Embraer S.A. | Dispositivo para medição fotogramétrica |
| US20080246493A1 (en) * | 2007-04-05 | 2008-10-09 | Gardner Delrae H | Semiconductor Processing System With Integrated Showerhead Distance Measuring Device |
| JP4960754B2 (ja) * | 2007-04-25 | 2012-06-27 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| US20080266323A1 (en) * | 2007-04-25 | 2008-10-30 | Board Of Trustees Of Michigan State University | Augmented reality user interaction system |
| JP5538667B2 (ja) * | 2007-04-26 | 2014-07-02 | キヤノン株式会社 | 位置姿勢計測装置及びその制御方法 |
| US7953247B2 (en) * | 2007-05-21 | 2011-05-31 | Snap-On Incorporated | Method and apparatus for wheel alignment |
| JP5292725B2 (ja) * | 2007-05-24 | 2013-09-18 | 株式会社島津製作所 | モーショントラッカ装置 |
| US20090015268A1 (en) * | 2007-07-13 | 2009-01-15 | Gardner Delrae H | Device and method for compensating a capacitive sensor measurement for variations caused by environmental conditions in a semiconductor processing environment |
| US7957583B2 (en) * | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
| CN101796545A (zh) * | 2007-09-04 | 2010-08-04 | 索尼公司 | 综合运动捕捉 |
| EP3239919A1 (en) | 2008-03-05 | 2017-11-01 | eBay Inc. | Method and apparatus for image recognition services |
| US9495386B2 (en) | 2008-03-05 | 2016-11-15 | Ebay Inc. | Identification of items depicted in images |
| US8238612B2 (en) * | 2008-05-06 | 2012-08-07 | Honeywell International Inc. | Method and apparatus for vision based motion determination |
| US8179448B2 (en) * | 2008-08-26 | 2012-05-15 | National Taiwan University | Auto depth field capturing system and method thereof |
| US10667727B2 (en) | 2008-09-05 | 2020-06-02 | Varian Medical Systems, Inc. | Systems and methods for determining a state of a patient |
| TWI382267B (zh) * | 2008-09-24 | 2013-01-11 | Univ Nat Taiwan | 自動景深捕捉系統及自動景深捕捉方法 |
| US8199194B2 (en) * | 2008-10-07 | 2012-06-12 | The Boeing Company | Method and system involving controlling a video camera to track a movable target object |
| US8559699B2 (en) * | 2008-10-10 | 2013-10-15 | Roboticvisiontech Llc | Methods and apparatus to facilitate operations in image based systems |
| WO2010045271A1 (en) | 2008-10-14 | 2010-04-22 | Joshua Victor Aller | Target and method of detecting, identifying, and determining 3-d pose of the target |
| JP5227139B2 (ja) * | 2008-11-12 | 2013-07-03 | 株式会社トプコン | 建設機械 |
| FR2946765A1 (fr) * | 2009-06-16 | 2010-12-17 | Centre Nat Rech Scient | Systeme et procede de localisation d'image photographique. |
| JP5540583B2 (ja) * | 2009-06-24 | 2014-07-02 | 富士ゼロックス株式会社 | 位置計測システム、位置計測用演算装置およびプログラム |
| US20110007150A1 (en) * | 2009-07-13 | 2011-01-13 | Raytheon Company | Extraction of Real World Positional Information from Video |
| US20110007134A1 (en) * | 2009-07-13 | 2011-01-13 | Raytheon Company | Synchronizing video images and three dimensional visualization images |
| US8558847B2 (en) * | 2009-07-13 | 2013-10-15 | Raytheon Company | Displaying situational information based on geospatial data |
| US8331611B2 (en) * | 2009-07-13 | 2012-12-11 | Raytheon Company | Overlay information over video |
| FR2949152A1 (fr) * | 2009-08-17 | 2011-02-18 | Eads Europ Aeronautic Defence | Jauge de deformation et systeme de localisation spatiale de telles jauges |
| US9164577B2 (en) | 2009-12-22 | 2015-10-20 | Ebay Inc. | Augmented reality system, method, and apparatus for displaying an item image in a contextual environment |
| US8872889B2 (en) | 2010-01-14 | 2014-10-28 | Innovmetric Logiciels Inc. | Synchronization of the orientation of a 3D measurement device and the orientation of an intelligent guidance device |
| KR101082285B1 (ko) * | 2010-01-29 | 2011-11-09 | 주식회사 팬택 | 증강 현실 제공 단말기 및 방법 |
| EP2372300B1 (de) * | 2010-02-24 | 2014-04-02 | AICON 3D Systems GmbH | Tastersatz zum Bilden von Messtastern für optische 3D-Messungen |
| WO2011113441A2 (en) * | 2010-03-18 | 2011-09-22 | Rigshospitalet | Optical motion tracking of an object |
| ES2817800T3 (es) * | 2010-04-22 | 2021-04-08 | Metronor As | Sistema de medición óptica |
| JP4971483B2 (ja) | 2010-05-14 | 2012-07-11 | 任天堂株式会社 | 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法 |
| EP2395474A3 (en) | 2010-06-11 | 2014-03-26 | Nintendo Co., Ltd. | Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method |
| KR101330811B1 (ko) * | 2010-08-25 | 2013-11-18 | 주식회사 팬택 | 인스턴트 마커를 이용한 증강 현실 장치 및 방법 |
| US10127606B2 (en) | 2010-10-13 | 2018-11-13 | Ebay Inc. | Augmented reality system and method for visualizing an item |
| JP5839971B2 (ja) * | 2010-12-14 | 2016-01-06 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP5842248B2 (ja) * | 2010-12-24 | 2016-01-13 | 国立研究開発法人産業技術総合研究所 | マーカ |
| EP2686254B1 (de) * | 2011-03-17 | 2018-08-15 | SSI Schäfer Automation GmbH | Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache |
| US8687172B2 (en) | 2011-04-13 | 2014-04-01 | Ivan Faul | Optical digitizer with improved distance measurement capability |
| US9449342B2 (en) | 2011-10-27 | 2016-09-20 | Ebay Inc. | System and method for visualization of items in an environment using augmented reality |
| US9240059B2 (en) | 2011-12-29 | 2016-01-19 | Ebay Inc. | Personal augmented reality |
| JP5801209B2 (ja) * | 2012-01-06 | 2015-10-28 | Kddi株式会社 | カメラ姿勢推定装置、プログラム |
| US8886449B2 (en) | 2012-01-13 | 2014-11-11 | Qualcomm Incorporated | Calibrated hardware sensors for estimating real-world distances |
| US8750568B2 (en) | 2012-05-22 | 2014-06-10 | Covidien Lp | System and method for conformal ablation planning |
| US9439622B2 (en) | 2012-05-22 | 2016-09-13 | Covidien Lp | Surgical navigation system |
| US9498182B2 (en) | 2012-05-22 | 2016-11-22 | Covidien Lp | Systems and methods for planning and navigation |
| US9439627B2 (en) | 2012-05-22 | 2016-09-13 | Covidien Lp | Planning system and navigation system for an ablation procedure |
| US9439623B2 (en) | 2012-05-22 | 2016-09-13 | Covidien Lp | Surgical planning system and navigation system |
| US10846766B2 (en) | 2012-06-29 | 2020-11-24 | Ebay Inc. | Contextual menus based on image recognition |
| US20140000516A1 (en) * | 2012-06-29 | 2014-01-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Digital point marking transfer |
| US9336541B2 (en) | 2012-09-21 | 2016-05-10 | Paypal, Inc. | Augmented reality product instructions, tutorials and visualizations |
| DE102012218213B4 (de) * | 2012-10-05 | 2016-03-03 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zum Steuern eines Telemanipulationsroboters |
| EP2767232A1 (en) * | 2013-02-15 | 2014-08-20 | Koninklijke Philips N.V. | System and method for determining a vital sign of a subject |
| DE102013211342A1 (de) * | 2013-06-18 | 2014-12-18 | Siemens Aktiengesellschaft | Fotobasiertes 3D-Oberflächen-Inspektionssystem |
| JP6468741B2 (ja) * | 2013-07-22 | 2019-02-13 | キヤノン株式会社 | ロボットシステム及びロボットシステムの校正方法 |
| US8958663B1 (en) * | 2013-09-24 | 2015-02-17 | Zazzle Inc. | Automated imaging of customizable products |
| DE102013224358A1 (de) * | 2013-11-28 | 2015-05-28 | Airbus Operations Gmbh | Verfahren zum Vermessen von Großbauteilen |
| US9443311B2 (en) * | 2014-06-12 | 2016-09-13 | Topcon Positioning Systems, Inc. | Method and system to identify a position of a measurement pole |
| US10179407B2 (en) * | 2014-11-16 | 2019-01-15 | Robologics Ltd. | Dynamic multi-sensor and multi-robot interface system |
| JP6599698B2 (ja) * | 2015-08-31 | 2019-10-30 | 株式会社ミツトヨ | 画像測定装置及びその制御プログラム |
| WO2017131547A1 (en) | 2016-01-25 | 2017-08-03 | Limited Liability Company "Topcon Positioning Systems" | A method and apparatus for single camera optical measurements |
| US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
| US10922836B2 (en) | 2016-11-15 | 2021-02-16 | Carl Zeiss Industrielle Messtechnik Gmbh | Method and system for determining a 3D position of an object in space |
| US9934592B1 (en) * | 2016-11-15 | 2018-04-03 | Carl Zeiss Industrielle Messtechnik Gmbh | Method and system for determining a 6-DOF-pose of an object in space |
| JP7025156B2 (ja) * | 2017-09-19 | 2022-02-24 | 株式会社トプコン | データ処理装置、データ処理方法およびデータ処理用プログラム |
| CA3095732C (en) * | 2018-03-30 | 2023-08-29 | ZOZO, Inc. | Size measuring system |
| WO2020033947A1 (en) | 2018-08-10 | 2020-02-13 | Covidien Lp | Systems for ablation visualization |
| WO2020059716A1 (ja) | 2018-09-21 | 2020-03-26 | 株式会社Ｚｏｚｏ | サイズ測定システム |
| CN109903337B (zh) * | 2019-02-28 | 2022-06-14 | 北京百度网讯科技有限公司 | 用于确定挖掘机的铲斗的位姿的方法和装置 |
| WO2020264489A1 (en) * | 2019-06-28 | 2020-12-30 | Mako Surgical Corp. | Tracker-based surgical navigation |
| JP7435998B2 (ja) * | 2019-09-17 | 2024-02-21 | 日本電気通信システム株式会社 | 物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラム |
| CN110631479B (zh) * | 2019-09-27 | 2020-11-27 | 北京航空航天大学 | 基于多微球视觉探针的空间位姿测量方法 |
| WO2022113272A1 (ja) * | 2020-11-27 | 2022-06-02 | 株式会社ニコン | 電磁波無線通信システム、電磁波無線通信方法、トラッキングシステム、およびトラッキング方法 |
| WO2024105847A1 (ja) * | 2022-11-17 | 2024-05-23 | ファナック株式会社 | 制御装置、３次元位置計測システム、及びプログラム |
| JP2024135773A (ja) * | 2023-03-23 | 2024-10-04 | 東京ロボティクス株式会社 | 情報生成システム |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CH679990A5 (ja) * | 1989-06-08 | 1992-05-29 | Bobst Sa | |
| NO174025C (no) * | 1991-10-11 | 1994-03-02 | Metronor Sa | System for punktvis maaling av romlige koordinater |
| US5751843A (en) * | 1993-08-09 | 1998-05-12 | Siemens Aktiengesellschaft | Method for detecting the spatial position and rotational position of suitably marked objects in digital image sequences |
| JP3208953B2 (ja) | 1993-09-29 | 2001-09-17 | 株式会社デンソー | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 |
| US5531520A (en) * | 1994-09-01 | 1996-07-02 | Massachusetts Institute Of Technology | System and method of registration of three-dimensional data sets including anatomical body data |
| US5712926A (en) * | 1994-10-20 | 1998-01-27 | Eberhard; Jeffrey Wayne | X-ray computed tomography (CT) system for detecting thin objects |
| US6009188A (en) * | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
| US5828770A (en) * | 1996-02-20 | 1998-10-27 | Northern Digital Inc. | System for determining the spatial position and angular orientation of an object |
| US5832139A (en) * | 1996-07-31 | 1998-11-03 | Omniplanar, Inc. | Method and apparatus for determining degrees of freedom of a camera |
| JPH1044042A (ja) * | 1996-08-05 | 1998-02-17 | Suzuki Motor Corp | 被検査物の不良除去装置 |
| JP3426459B2 (ja) * | 1997-02-03 | 2003-07-14 | ペンタックス株式会社 | 写真測量システムおよび写真測量方法 |
| US5921992A (en) * | 1997-04-11 | 1999-07-13 | Radionics, Inc. | Method and system for frameless tool calibration |
| DE19721903C1 (de) * | 1997-05-26 | 1998-07-02 | Aicon Industriephotogrammetrie | Verfahren und Anlage zur meßtechnischen räumlichen 3D-Lageerfassung von Oberflächenpunkten |
| JPH1196374A (ja) * | 1997-07-23 | 1999-04-09 | Sanyo Electric Co Ltd | ３次元モデリング装置、３次元モデリング方法および３次元モデリングプログラムを記録した媒体 |
| US6304680B1 (en) * | 1997-10-27 | 2001-10-16 | Assembly Guidance Systems, Inc. | High resolution, high accuracy process monitoring system |
| US6324296B1 (en) * | 1997-12-04 | 2001-11-27 | Phasespace, Inc. | Distributed-processing motion tracking system for tracking individually modulated light points |
-
1999
- 1999-02-04 JP JP02735999A patent/JP4794708B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-04 US US09/498,963 patent/US6724930B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000227309A (ja) | 2000-08-15 |
| US6724930B1 (en) | 2004-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4794708B2 (ja) | ３次元位置姿勢センシング装置 | |
| JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
| JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
| US9928592B2 (en) | Image-based signal detection for object metrology | |
| JP6573354B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP5839929B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP6681729B2 (ja) | オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム | |
| JP5612916B2 (ja) | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム | |
| JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
| JP3859574B2 (ja) | ３次元視覚センサ | |
| US7812871B2 (en) | Index identification method and apparatus | |
| JP4885584B2 (ja) | レンジファインダ校正方法及び装置 | |
| JP4604439B2 (ja) | 画像処理装置及び画像処理方法、並びに記録媒体 | |
| CN113137920B (zh) | 一种水下测量的设备与水下测量方法 | |
| US7190826B2 (en) | Measuring the location of objects arranged on a surface, using multi-camera photogrammetry | |
| Pizarro et al. | Relative Pose Estimation for Instrumented, Calibrated Imaging Platforms. | |
| US20170258391A1 (en) | Multimodal fusion for object detection | |
| JP2001524228A (ja) | 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法 | |
| JP5262705B2 (ja) | 運動推定装置及びプログラム | |
| JP2018128897A (ja) | 対象物の姿勢等を検出する検出方法、検出プログラム | |
| Weinmann et al. | Geometric point quality assessment for the automated, markerless and robust registration of unordered TLS point clouds | |
| CN114005108A (zh) | 一种基于坐标变换的指针式仪表度数识别方法 | |
| JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
| JPWO2008032375A1 (ja) | 画像補正装置及び方法、並びにコンピュータプログラム | |
| JP4445472B2 (ja) | 小さい対象物の表面再構成のための較正ソフトウェア |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081002 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110727 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |