JP4221768B2 - 空間内で物体を位置指定する方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元空間内で物体を位置指定する方法および装置に関し、位置測定、トラッキング、工業プロセス制御または変形測定のために、動く固体のランダムな動きを識別しなければならないロボット工学、地図作成、航空学など多数の用途を有する。
【０００２】
【従来の技術】
これらのタイプの測定または検査を実施する多数の技術的解決策があるが、すべての解決策が、高い温度および高い圧力、または放射能のために危険である工業環境内で使用することが容易であるとは限らない。さらに、すべての解決策が、十分な確度で結果を迅速にもたらすことができるとは限らない。
【０００３】
周知のプロセスは、一般に、センサによってねらわれるターゲットを物体に備えるステップから構成され、ターゲットの位置は、センサに対して分かっている。物体の位置は、その配向を含めて、様々なターゲットのすべての位置を考慮することによって推測される。代表的なターゲットには３つの範疇がある。すなわち、磁気ターゲット、超音波ターゲット、光ターゲットである。第１のターゲットは、通常、パルス動作を使用して磁界をつくり出すコイルから構成され、このタイプのシステムは、磁界の力および角度を決定する磁気センサと一緒に使用される。しかし、それらは、測定遅延が長い、範囲が限られている、磁界中に鉄材料が存在する場合にコイル間で干渉が起こるという欠点を有する。最後に、位置指定があまり正確でない。
【０００４】
超音波ターゲットは、各送信機と各センサとの距離を測定し、かつ三角法によって送信機の位置を推測するために、複数のセンサによって受け取られるパルス・シーケンスを送信する。これらの解決策はまた、解像度欠陥、低い精度、およびエコーおよび他の雑音による干渉の危険に関連する欠点を有する。
【０００５】
光解決策は、物体上に作成され、カメラまたはアナログ・イメージ撮影手段に見えるマークの観測に基づく。複数のカメラが備えられている場合、各イメージ上のマークの位置を別々に検査することによって物体と各カメラとの間の方向を推測し、かつ物体の位置を三角法によって推測するために、環境および物体の立体ビューをつくり出す。しかし、これらのシステムは、カメラの数が多いために費用がかかり、またカメラは、位置指定品質が容認できるように非常に正確にリンクしなければならず、また位置指定は、空間内のかなり制限された領域内に存在する物体、より正確には、観測カメラ・ビームが交差する位置に存在する物体に限定され、したがってカメラを分解しなければならず、また様々な距離において観測するためにシステムを再調整しなければならない。
【０００６】
単眼位置指定は、単一のカメラの使用に基づく。いくつかの解決方法は、分析的であり、そのイメージから始まるマークの位置を決定するために方程式または連立方程式を解く必要がある。それらは迅速であるが、測定雑音に対して敏感である。
【０００７】
他の範疇は、物体上のマークの位置を推定し、次いでカメラによって記録されたイメージと、マークが推定した位置にある場合に得られるであろうイメージとの間の誤差基準を最小限に抑えるために補正する反復解決策から構成される。これらの解決策は、正確であり、測定雑音に対してあまり敏感でなく、異なる数のマークを使用することができるが、それらは、収束がかなり遅く、また第１の推定値が解に近くなければならず、さもなければ収束の保証はないという欠点がある。
【０００８】
１つの解決策が、ＤｅＭｅｎｔｈｏｎおよびＤａｖｉｓ著の文献「Ｍｏｄｅｌ−ｂａｓｅｄ ｏｂｊｅｃｔ ｐｏｓｅ ｉｎ ２５ ｌｉｎｅｓ ｏｆ ｃｏｄｅ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ｖｏｌ．１５、ｐ．１２３−１４１、１９９５に記載されており、近似的であるが、使い易いアルゴリズムによって物体上のマークの位置の第１の推定値を得るステップ、次いでマークの位置推定値をカメラ・イメージ上に投影し、その後近似アルゴリズムをこれらの投影に適用して、前の推定値よりも正確なマークの位置の新しい推定値を与える反復プロセスによって推定位置を補正するステップから構成される。
【０００９】
【発明が解決しようとする課題】
本発明は、単眼光学方法の一族に属し、上記の文献に非常に近い位置を推定する第１のアルゴリズムを使用する反復解決プロセスの使用を含んでいる。しかし、本発明は、特に、イメージ上のマークの位置決定を改善する特定のステップの結果として、またイメージ位置の最終決定における精度に対する要件を満足するマークの性質によって、測定雑音に対してあまり敏感でないよりよい最終推定アルゴリズムを使用する特徴を有する。
【００１０】
【課題を解決するための手段】
その最も一般的な形態では、本発明は、カメラを使用して撮影したイメージ上のマークのトレースの位置を決定するステップ、次いでイメージ上のトレースの位置を使用して撮影したイメージに対するマークの位置を計算するステップを含んでおり、所定の幾何形状関数を使用して、トレースをモデル化し、トレースに最も良く一致する形状関数の位置を計算することによってイメージ上のトレースの位置の決定を改善するステップを含んでいることを特徴とする、空間内でマークを担持する物体を位置決めするプロセスに関する。このタイプのモデルは、カメラの解像度ピッチよりもはるかによい精度でトレースの位置を推定することができ、したがってイメージの解像度が低い場合でも、マークの位置に関して優れた精度が得られる。
【００１１】
本発明によるプロセスにおいて使用されるデバイスは、光源なしのマークを含んでいることが好ましいが、あるいは必ずしも反射性でなくてもよい。また、イメージ撮影手段はカメラの形をしている。
【００１２】
本発明について、いくつかの可能な実施形態の１つを完全に示す以下の図面に関してより詳細に説明する。
【００１３】
【発明の実施の形態】
図１に、ハンドル２によって持ち上げられ、かつ観測ビデオ・カメラ４に対向する側にマーク３を有するツール１である物体を示す。マーク３は、色付きのドットまたは周囲の光を反射するドットなど小さいパターンから構成される。マーク３が、ビデオ・カメラ４に対して画定された不変の配向を有することは不可欠ではないが、マーク３は、本発明を非常に多数の状況に適用できるように、検出精度に影響を及ぼすことなくカメラに対して斜めに提示される。
【００１４】
これらの受動的マークは、一般に実地に使用され、かつより容易に見えるが、あまり明確に画定されていない輪郭を有し、したがって以下で説明する位置推定値を改善するアルゴリズムを十分に利用することができない光マークよりもはるかに好まれる。
【００１５】
また、他のマーク３が他の物体、すなわちロボットのアーム５またはコンピュータによって遠隔的に操作され、かつハンドル２を持ち上げようと試みるロボットのアーム５の表面上に作成される。ビデオ・カメラ４は、毎回２つの物体の相対位置を与えることができるように、ツール１を位置指定し、次いでアーム５が動いている間にアーム５を周期的に位置指定することによってツール１の接近を援助する。ビデオ・カメラ４は、この情報を決定し、かつそれ自体アーム制御装置５に接続されるか、あるいは遠隔操作アーム用に、そのときアーム５制御ステーション７上で効率的に作業するオペレータに見えるディスプレイ・ユニット６に接続される計算ユニット５に接続される。
【００１６】
位置指定プロセスの第１のステップは、ビデオ・カメラ４によって撮影されたイメージ上のマーク３のトレースを捜すことである。このステップでは、それぞれ１つのマーク３のトレースを含んでいるイメージのイメジットまたはポーションを識別する。図２に、このプロセスが、ビデオ・カメラ４上のイメージ１０を前に撮影した較正イメージ９に関連付けることであることを示す。１つのマーク３のトレースが較正イメージ９のポーションまたは基準イメジット１１の輪郭内に含まれることが分かった場合、位置指定プログラムは、イメージ１０上の座標ｘおよびｙにおいて同じ輪郭を有するイメジット１２を次々に生成し、次の式（１）を使用して、イメジット１１の光強度とイメジット１２の光強度との間の相関Ｃを計算する。
【数１】

上式で、ｃｏｖは共分散であり、Ｅは数学的期待値であり、σは光強度の標準偏差である。Ｍ_o およびＭ_k は、イメジット１１および１２の内容または光パターンを表す。この計算は、イメジット１２のすべての位置に対して繰り返され、ｘおよびｙを変化させる。そのとき、イメージ１０に対して相関表が得られる。表の各点には、−１から＋１の間の数が割り当てられる。ただし、−１は、考慮しているｘ座標およびｙ座標に対するパターンＭ_o とＭ_k との間の逆相関を意味し、０は無相関を意味し、＋１は完全相関を意味する。完全相関は、イメジット１２が基準イメジット１１に等しい場合に起こる。相関は、特に相関表を読むことによってイメージ１０上のイメジット１１とのよりよい相関の位置を識別するために使用される。したがって、それぞれねらわれる物体上のマーク３のトレース１３を含んでいる、イメージ１０上のいくつかのイメジット１１を分離することができる。基準イメジット１１は、マーク３が等しい場合、複数のイメジット１２に対して唯一である。それ以外の場合、イメジット１２は、対応する基準イメジット１１に関連する。
【００１７】
しかしながら、プロセスをより魅力的かつ信頼できるものにするためにいくつかの予防措置を講じなければならない。これらの相関計算は、時間がかかり、かつ費用がかかることに疑いはない。相関計算が実際には単に元のイメージからの点（ピクセル）の選択を含んでいる縮小されたイメージに対して実施されるのはこのためである。イメジット１２が実際に捜した多数の候補イメジットに対応する点は、このようにして得られた縮小された相関表から選択される。言い換えれば、縮小されたイメージを形成する際に除去されたすべての点を再挿入した後で、それらの中から第２の選択を実施するために、完全な候補イメジットに対して検査相関を実施する。最後に選択されたイメジット１２は、基準イメジット１１との最も良い検査相関を有するイメジットである。これらの予防措置は、寄生光または他の影響がシステムを迷わせ、それによりトレース１３が正しい位置と異なる位置において識別される特定の動作条件に関連する誤差の危険に対する保護を実施する。さらに、各候補イメジットのまわりに作成された所定の寸法を有する窓１４の輪郭内でイメジット１２を毎回動かすことによって、検査相関を各イメジット１２ごとに数回計算する。明らかに、窓１４内の最も良い相関を使用して、イメジット１２を画定する。このようにすれば、トレース１３をイメジット１２内で悪くフレーミングすることによってトレース１３を切頭する危険性が非常に低くなる。
【００１８】
本発明の重要な要素は、イメジット１２上のマーク３のトレース１３の位置を高い精度で推定するステップから構成される。提案するプロセスは、この位置をピクセルよりも小さい確度で、言い換えれば、イメージ内のドットの幅よりもよい精度で位置指定することができる。したがって、ビデオ・カメラ４の解像度が低い場合でも、物体の位置に対して満足な結果を得ることができ、したがって、あまり費用がかからず、またそれとともにイメージが迅速に使用できる。トレース１３のイメジット１２とイメジット１１などプリミティブ・イメージとの間の相関計算は、例えば、イメジット１２上のトレース１３の中心の位置を計算する基準として使用できる。しかし、このタイプの方法は、物体１が回転し、そのマーク３が異なる入射角で見られ、それによりマーク３がイメジット１２上で変形した場合、急速に使用できなくなる。次式（２）などの式によってイメジット１２上のトレース１３をモデル化することが提案されているのはこのためである。
【数２】

上式で、Ｉはイメジット１２上の光強度であり、ａ、ｂ、ｃおよびｄは定数であり、そのうち最初の３つは、イメジット１２の背景の光強度を推定するために使用され、ｄは、トレース１３の全体的な光強度を推定するために使用される。ｍ_x 、ｍ_y は、トレース１３の中心の座標を表し、σ_x およびσ_y は、イメジット１２の主軸に対して傾いている主軸中のその幅であり、ｒ_xyはトレースの広がりを表す。
【００１９】
数学的には、ａ、ｂおよびｃは平面の係数であり、ｄは、楕円二次元断面を有するガウス関数の高さである。ただし、ｍ_x およびｍ_y は平均値であり、σ_x およびσ_y は標準偏差であり、ｒ_xyは相関である。図３および図４に、この関数のグラフを示す。
【００２０】
このモデルは、マーク３が遠くに離れ、かつ物体Ｉの回転によって変形するためにトレース１３がイメジット１２上でより狭くなることを考慮していることが分かる。イメジット上で測定した光強度を
【数３】

で示すと、この課題は、次式（３）中の関数Ｃ_ｍｉｎ の変数、言い換えればモデル化パラメータを、それによって与えられる光強度が測定値にできるだけ厳密に一致するように変化させることによってその関数を最小限に抑えるステップから構成される。
【数４】

したがって、トレース１３の正確なモデルが得られる。特に、ｍ_ｘ およびｍ_ｙ の値を使用して、中心を推測し、その結果写真測量法によるビデオ・カメラ４のイメージの予備較正を使用して、考慮しているイメジット１２に関連するマーク３のビデオ・カメラ４に対する方向を得ることができる。
【００２１】
上記のモデルは、円形マーク３に適しているが、簡単な形状の様々なマークに容易に置き換えることができる。
【００２２】
次のステップは、ビデオ・カメラ４に対するマーク３の位置を決定することである。以下の説明は、図５を参照しながら読まれたい。
【００２３】
ビデオ・カメラ４の対物レンズによって生じる形状ひずみが補正されている（これも写真測量法によるビデオ・カメラ４の予備較正によって実施することができる）と仮定すると、マーク３の中心など点Ｐは、イメージ１０上の対応するトレース１３の中心Ｐｐを通り、かつ焦点Ｆを通る投影線Ｌ上にある。焦点Ｆのところにその原点を有するカメラの座標系の各軸をｉ、ｊ、ｋとする。軸ｋは、イメージ１０に対して直角である。ビデオ・カメラ４によって観測される空間内のすべての点は、焦点Ｆを通る線によってイメージ１０上に投影される。この集中的な投影は「遠近投影法」と呼ばれる。したがって、物体１がビデオ・カメラ４の視野内の所与の位置を占拠する場合、各点の位置Ｐｐ、すなわちトレース１３の中心を予測することができる。問題は、点Ｐｐを点Ｐに通す逆投影関係を見つけるステップから構成される。しかし、点Ｐの座標から点Ｐｐの座標を計算するために使用される投影関係を逆転させることによって得られる厳密な逆投影関係は、連立線形方程式から構成されないので容易に使用することができない。
【００２４】
点Ｐの位置の第１の評価を実施することが推奨されるのはこのためである。
【００２５】
この第１の評価は近似的であるが、容易に得られ、したがって実際の解決に向けて収束手順用の開始点として使用することができる。選択した原理は、まずイメージ１０の平面に対して平行な中間平面π内の点Ｐ’上に直交投影を実施するステップ、その後イメージ１０上の点Ｐｐ’を与える焦点Ｆに向かってこの点Ｐ’を遠近投影法を実施するステップで、点Ｐがイメージ１０上に投影されると仮定するステップから構成される。このダミー投影点は、実際の投影点Ｐｐに隣接している。点Ｐの位置の第１の評価は、いま説明したダミー投影の逆である逆投影をイメージ１０上の点Ｐｐに適用するステップから構成される。そのようにして得られた点を°Ｐで示す。
【００２６】
以上、この原理について説明したが、次に使用される計算の詳細についてより正確に説明する。
【００２７】
物体１の状況は、上で定義したビデオ・カメラ４の座標系を物体１に関連する座標系に変換する次の行列（４）に従う回転Ｒおよび並進ｔによって表される。
【数５】

上式で、ｔ_x 、ｔ_y 、ｔ_z は、ビデオ・カメラ４座標系のｉ軸、ｊ軸、ｋ軸において表される並進座標であり、ｉ、ｊ、ｋは、物体１の座標系において表されるビデオ・カメラ４の座標系の単位ベクトルである。
【００２８】
平面πは、物体１の座標系の始点ｏを含むように選択される。これは、焦点Ｆと平面πとの距離が値ｔ_z に等しいことを暗示する。
【００２９】
物体１の座標系における点Ｐの座標を°ｘ、°ｙ、°ｚで示し、かつイメージ１０上の点Ｐ’ｐの座標を
【数６】

で示した場合、次の関係（５）が得られる。
【数７】

【００３０】
これらの式は、次式（６）のように物体１上の点Ｐの数ｎに対して一般化される。
【数８】

【００３１】
次のステップは、量ＩおよびＪを計算することである。これは、次の式（８）を使用して実施する。
【数９】

上式で、行列ＢはＡの疑似逆行列である。言い換えれば、Ｂ＝（Ａ^T Ａ） ^-1 Ａ^T が成り立つ。
【００３２】
次いで、単に次のステップのシーケンスを使用して、行列Ｒのパラメータｉ、ｊ、ｋおよびｔ_x 、ｔ_y 、ｔ_z を計算する。
平均量ｎ_I ＝‖（Ｉ₁ 、Ｉ₂ 、Ｉ₃ ）^T ‖およびｎ_J ＝‖（Ｊ₁ 、Ｊ₂ 、Ｊ₃ ）^T ‖を計算する。
平均値ｎ＝（ｎ_I ＋ｎ_J ）／２を計算する。
Ｉ＝（Ｉ₁ 、Ｉ₂ 、Ｉ₃ ）^T ／ｎ_I およびＪ＝（Ｊ₁ 、Ｊ₂ 、Ｊ₃ ）^T ／ｎ_J を計算する。
ベクトルｉとベクトルｊのベクトル積としてｋを計算する。
成分ｔ_z ＝１／ｎを計算する。
ｔ_x ＝Ｉ₄ ｔ_z およびｔ_y ＝Ｊ₄ ｔ_z を計算する。
【００３３】
このようにして点Ｐの位置の推定値を与える点°Ｐの位置がこれらの計算によって得られたとき、図５の注釈において説明した原理の誤差のために補正する必要がある。点°Ｐは、焦点Ｆに向かって線Ｆに沿ってイメージ１０上に投影される。投影点°Ｐｐの座標
【数１０】

は、次式（９）によって与えられる。
【数１１】

この式と、前の近似的であるが、より簡単な式（５）とを比較されたい。
【００３４】
物体位置パラメータ１、言い換えれば物体１の座標系の位置および配向を与える行列Ｒおよびｔの係数の各値の最後の推定値は、イメージ１０の点Ｐｐ上で測定した座標
【数１２】

と、前の式（９）を使用して計算した点°Ｐの投影°Ｐｐの座標
【数１３】

との間の二乗平均誤差を最小限に抑えることによって得られる。トレース１３をモデル化することによって推定した点Ｐｐの座標の不確実さを考慮する（これらの不確実さは、前もって推定される係数の行列Λによって表される）。言い換えれば、次式（１０）によって与えられる量Ｃ_min を最小限に抑えようと試みる。
【数１４】

【００３５】
これらの投影がトレース１３の中心Ｐｐに向かって十分に収束するまで、イメージ１０上の投影°Ｐｐの関数として点°Ｐを動かすたびに、反復手法を使用する。
【図面の簡単な説明】
【図１】本発明の概略図である。
【図２】物体上のマークのトレースに対してイメージ上を検査するために使用される技法を示す図である。
【図３】トレースのモデルを示す図である。
【図４】トレースのモデルを示す図である。
【図５】位置決め方法を説明する図である。
【符号の説明】
１ ツール
２ ハンドル
３ マーク
４ ビデオ・カメラ
５ アーム制御装置／計算ユニット
６ ディスプレイ・ユニット
７ 制御ステーション
９ 較正イメージ
１０ イメージ
１１ 基準イメジット
１２ イメジット
１３ トレース
１４ 窓

Claims (6)

1. カメラ（４）を使用して撮影したイメージ（１０）上のマーク（３）のトレース（１３）の位置を決定するステップ、次いでイメージ（４）上のトレース（１３）の位置を使用して、カメラ（４）に対するマーク（３）の位置を計算するステップから構成される、空間内でマーク（３）を担持する物体（１）を位置決めする方法であって、所定の幾何形状関数を使用して、トレース（１３）をモデル化し、トレースに最も良く一致する形状関数の位置を計算することによってイメージ（１０）上のトレース（１３）の位置の決定を改善するステップを含んでおり、トレース（１３）と幾何形状関数との間のイメージの結合上の光強度の全ての差を最小限に抑えることによって一致を計算し、幾何形状関数が変数パラメータを有するガウス光強度関数を含んでいることを特徴とする位置決め方法。
2. 変数パラメータが幾何形状の寸法に関するパラメータを含んでいることを特徴とする、請求項１に記載の位置決め方法。
3. 変数パラメータが幾何形状の変形に関するパラメータを含んでいることを特徴とする、請求項１に記載の位置決め方法。
4. イメージ（１０）内のいくつかのドットを選択して、イメージ（１０）を縮小し、次いでそれを基準イメージ（１１）に関連付けることによって縮小されたイメージ上のトレースを捜すステップを含んでおり、その後完全なイメージを使用して、トレースの位置の決定を改善するステップを実施することを特徴とする、請求項１に記載の位置決め方法。
5. それぞれトレース（１３）の１つを含んでいるイメージ（１０）のポーション（１２）の抽出、およびトレース（１３）を正確に囲むようにより大きい窓（１４）内のイメージ・ポーション（１２）の位置の調整を含んでおり、位置を連続的に調整されるイメージ・ポーション（１２）とマークのトレースを含んでいる基準イメージ（１１）との相関を最大にし、その後トレースの位置の決定を改善するステップを実施することを特徴とする、請求項１に記載の位置決め方法。
6. マーク（３）が光源を有せず、かつイメージ撮影装置がカメラ（４）であることを特徴とする、請求項１に記載の方法を実施する装置。

Images