[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7566047B2 - マーキングの方向及び位置を検出するための装置並びにコンピュータプログラム製品 - Google Patents

マーキングの方向及び位置を検出するための装置並びにコンピュータプログラム製品 Download PDF

Info

Publication number
JP7566047B2
JP7566047B2 JP2022576810A JP2022576810A JP7566047B2 JP 7566047 B2 JP7566047 B2 JP 7566047B2 JP 2022576810 A JP2022576810 A JP 2022576810A JP 2022576810 A JP2022576810 A JP 2022576810A JP 7566047 B2 JP7566047 B2 JP 7566047B2
Authority
JP
Japan
Prior art keywords
marking
markings
unit
path
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022576810A
Other languages
English (en)
Other versions
JP2023541758A (ja
Inventor
ギルソン,ローレント
ブリューニング,ヴォルフガング
ヘーニッシュ,フランク
Original Assignee
ソフト2テック ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソフト2テック ゲーエムベーハー filed Critical ソフト2テック ゲーエムベーハー
Publication of JP2023541758A publication Critical patent/JP2023541758A/ja
Application granted granted Critical
Publication of JP7566047B2 publication Critical patent/JP7566047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

請求項1の前文に記載の3次元空間におけるマーキングの方向及び位置を検出するための装置であって、
- 具体的には、対象物に固定可能であり、いくつかのマーキングを有する少なくとも1つのマーキングユニットと、
- マーキングユニットの画像をキャプチャするように適合された光学式画像キャプチャユニットと、
- マーキングユニットの方向及び位置を明確に決定するように適合される評価ユニットと
を有し、マーキングユニットは、方向及び位置を決定するための少なくとも5つのマーキングを有する、装置が記載される。
提案されるマーキングユニットは、方向及び位置を決定するための(光学活性マーキングの意味における)少なくとも5つのマーキングを有し、そのうちの好ましくは少なくとも4つのマーキングは、共通の平面内に存在し、好ましくは、少なくとも1つのマーキングは、この平面の外側に存在する。しかし、5つすべての光学マーキングが共通の平面内に存在する設計が考えられる。
システム及び方法は、米国特許出願公開第2010/014750A1号、米国特許出願公開第2012/262487A1号、欧州特許出願公開第1813911A1号、米国特許出願公開第2005/0201613A1号、欧州特許第1498688B1号、国際公開第2004/114112A1号、米国特許出願公開第2008/0111985A1号、国際公開第2006/069748A1号、米国特許第5227985A号、米国特許第7742895B2号及び独国特許第102014012693B4号の公報から知られており、対象物に固定されたマーキングユニットをキャプチャすることにより、空間における対象物の方向及び位置を決定することができる。この目的のために、光学的に活性である、すなわち自己発光性であるか、又は光学的に受動的である、すなわち光反射性であるマーキングは、固定された幾何学的な配置でマーキングユニット上に設けられる。評価するための多くの異なる構成が可能である。提案された構成の大部分は、少なくとも4つのマーキングを設け、その少なくとも3つのマーキングが平面上に延び、少なくとも1つのマーキングがこの平面の外側に存在する。平面内に配置された少なくとも3つのマーキングは、この平面上に延びる少なくとも2つの非平行の直線上に存在し得る。マーキングのこのような配置により、光学画像収集ユニット(例えば、カメラ、特にデジタルカメラ)によってキャプチャされたマーキングユニットのキャプチャされた単一の2次元画像から、空間におけるマーキングユニットの方向及び位置を確実に決定することができる。
独国特許第102014012693B4号は、確実に動作するが、複雑なシステム及び方法を記載している。位置及び方向の決定は、少なくとも7つのマーキングを備えたマーキング配置の単一の2次元画像に基づいており、この2次元画像が対象物に取り付けられる。このシステムは、対象物の2次元画像又は対象物に配置されたマーキング配置をキャプチャする画像キャプチャユニットと、キャプチャされた画像に基づいて対象物の方向及び位置を明確に決定するための評価ユニットとをさらに含む。マーキング配置の7つのマーキングは、互いに固定された空間的関係にあり、これらのマーキングの6つは、平面を形成し、第7のマーキングは、その平面の外側、すなわちその平面からある距離を置いて配置される。6つのマーキングは、90°の角度で交差する異なる2つの直線上に存在するグループに分割される。第1の直線は、少なくとも4つのマーキングを含み、第2の直線は、少なくとも2つの他のマーキングを含む。この平面の上面図では、第7の面外マーキングもこの第1の直線上に存在し、この第1の直線の少なくとも2つのマーキングから逸れた方を向く第2の直線の側に存在する。これは、画像マーカ、すなわち画像に示したマーキングの明確な割当てにとって重要であり、したがって空間におけるマーキングの位置及び方向の再構築にとって重要である。評価中、可能な割当てについていくつかのホモグラフィが計算される。こうしたホモグラフィから、それぞれの場合に方向の決定が再構成される。これに基づいて、それぞれの方向決定において、すべての画像マーキングについて(マーキング配置での各マーキングの既知の実際の配置と比較した)平均再投影誤差が計算される。誤差の最も小さいホモグラフィが正確であり、一意の方向決定に使用される。
この評価は、実際に良好な結果をもたらすが、特に2つ以上のホモグラフィを計算し、その都度、Levenberg-Marquardtソルバを適用することによって位置を推定する必要があるため、画像評価及びシステムの計算能力の観点から非常に大規模となる。さらに、同一平面上にあるマーキング及び同一平面上にないマーキングについて再現誤差が計算され、方向評価のためにマッチング最小値が使用される。この複雑な計算により及び特にマーキング数が多いことを考慮すると、特にシステムにおいて1つのマーキング配置のみを監視するのではなく、場合により1つの画像でも複数のマーキング配置を監視する場合、実際に使用されるシステムの計算能力が十分ではないため、高速で移動する対象物のライブでの追跡に問題が生じる。
理論上、各マーキングの配置は、様々なマーキングによって画像内にキャプチャされる他のマーキング配置と区別することができる。しかし、(例えば、ステッカの形態の)こうしたマーキングが画像内で光学的に正確に認識可能でない場合、画像内のマーキング配置の環境の評価は、多くの場合、移動する物体を追跡するときに曖昧さが生じる。原理的には、幾何学的に異なる方式でマーキング配列上に各マーキングを配置することも考えられるであろう。しかし、これは、多くのマーキングの既に複雑な評価につながる。
産業環境では、特に生産ラインでリアルタイムの応用を使用できるようにするために、場合によりマーキングユニットの方向及び位置を非常に迅速に決定できることが望ましい。この目的のために、カメラ画像の評価と、方向及び位置の決定とは、例えば、モーションコントロールのために生産プロセスにおいて直接使用できるように十分に高速でなければならない。長い動作時間を優先して、電池式のものもあるこのようなマーキングシステムのエネルギー必要量を制限することも望ましい。
したがって、本発明の目的は、1つの画像内の様々なマーキングユニットを検出できるようにする前述のタイプの方向付け及び検出のためのシステムにおけるマーキングユニットの方向及び位置の検出に対して、簡素化された可能性を提供することであり、それによりマーキングユニット自体が可能な限り省エネルギーの方式で動作可能になる。
この目的は、本発明に従い、請求項1の特徴を有する装置によって解決される。この目的のために、特に、マーキングユニットは、マーキングではない、マーキングユニットを符号化するための少なくとも1つの通信要素を有するようになされる。本発明によれば、方向及び位置を決定するための通信要素は考慮されない。これにより、方向及び位置を検出するために使用されるマーキングの数が大幅に減少する。これにより、方向及び位置の検出が加速する。
本発明によれば、画像キャプチャユニットは、マーキング及び少なくとも1つの通信要素を有するマーキングユニットの画像をキャプチャするように適合され、システムにおいて設置及び使用されるマーキングユニットは、複数の(基本的には光学的に活性化可能な)通信要素装置から選択された(光学的に活性な)通信要素装置が実際に光学的に活性になるように本発明によって設定される。特に好ましい実施形態によれば、選択されたこの通信要素、すなわち光学的に活性化又はオンにされた通信要素装置を動作中に変更することができない。これにより、評価ユニットにおいて知られている区別可能な通信要素を有するマーキングユニットが変更されることを防止する。
評価ユニットは、マーキングから、キャプチャされた画像におけるマーキングユニットの方向及び位置を決定し、及び少なくとも1つの通信要素からマーキングユニットの識別情報を決定するようにさらに構成される。
(2つ以上のマーキングユニットを有するシステムの意味における)装置において同時に動作することができるか又は同時に動作するいくつかのマーキングユニット(すなわち例えば置換えマーキングユニットを別にして)を有する装置では、本発明によれば、すべてのマーキングユニットを、別々に配置された通信要素によって区別できることが特に好ましい。この目的のために、本発明によれば、マーキングユニットは、マーキングユニットの区別可能な位置に配置される複数の(基本的に活性化可能な)通信要素手段を有するようになされ得る。装置において動作することができるか又は動作する(すなわちこの装置に設置された)マーキングユニットは、次いで、本発明によれば、様々な通信要素(すなわち光学的に活性な通信要素装置)に基づいて区別することができるように設定される。本発明の好ましい実施形態は、マーキングユニットの区別可能な位置に配置される7つ又は8つの通信要素手段を提供し、装置に設置されるマーキングユニットの場合、その1つ、2つ又は3つが通信要素として活性化される。しかし、原則として、提供される通信要素手段の数を変更することができる。
本発明によるさらに好ましい実施形態では、マーキングユニットは、正確に5つのマーキングを設けられる。実際の経験は、産業環境でも、正確に5つのマーキングを有するマーキングユニットの方向及び位置を良好及び迅速に決定できることを示している。より多くのマーキングは、アルゴリズムの検出速度を顕著に低下させ、エネルギー需要の増加にもつながる。
本発明のさらに好ましい実施形態によれば、2つ以上のマーキングユニットを有する装置において、すべてのマーキングユニットの各マーキングをマーキングユニットの同じ位置に配置することにより、評価速度をさらに加速することができる。このようにして、常に同じ構成を使用して検出することができ、アルゴリズムの論理がこの構成に的確に最適化されるため、アルゴリズムを加速することができる。
本発明によれば、設けられるマーキングの数又は各マーキングがシステムのすべての(異なる)マーキングユニット上で同じ位置に配置されるかどうかにかかわらず、マーキングユニット上での各マーキングの位置が評価ユニットに知られている。
マーキング及び通信要素は、それぞれ画像キャプチャユニットによって拾うことができ、画像内で目に見える光学的に活性な手段であると理解される。マーキング手段及び通信要素手段は、好ましくは、活性化可能であり、すなわち光学的な発光ダイオードなど、オン及びオフが切替え可能な照明手段であるか、又は特に好ましくはIR発光ダイオードである。画像キャプチャユニット、好ましくはカメラは、こうした光学的に活性化される照明手段、すなわちマーキング及び通信要素をキャプチャするように構成される。オンになっていない照明手段は、マーキング又は通信要素の機能を果たさない。これらは、通常、画像内で認識可能でないか又は確実に認識可能であるわけではなく、したがって、画像キャプチャユニット及び評価ユニットは、オフにされた(起動されていない)マーキング手段及び通信要素手段をキャプチャするか又は画像内でこれらを認識するように適合されない。したがって、さらに多くのマーキング手段及び/又は通信要素手段がマーキングユニット上に設けられ得、これらは、原理的に活性化可能であろう。しかし、マーキングユニットは、特定の選択されたマーキング手段のみを活性化させる、すなわちオンにするように適合され、したがって設置されたシステムにおいて、変更することができないマーキングの固定された配置が存在する。非活性化されたマーキング手段及び通信要素手段は、機能を有さず、本発明の意味では存在しない。
したがって、本発明の意味において、選択されたマーキングは、変更することができず、方向及び位置を決定するのに使用されるマーキングを構成する。これらは、設置されたシステムにおいてオンにする(活性化する)ことができず、したがって本発明の意味においてマーキングではなく、方向及び位置を決定するのに使用されず、また使用することができない。方向及び位置の検出を迅速及び確実に実行することができるように、マーキングの特別な配置について評価ユニットが最適化され、その結果、リアルタイムの応用も可能になるため、これは、重要である。各マーキングユニットは、これらがすべて同じ配置で同じマーキングを有し、設置されたシステム内で変更できないように他のマーキングユニットとともに設定される。
マーキングユニットを識別するために使用され得るか又は使用される通信要素も動作中に変更することができない。しかし、これらは、同じシステム(装置)において使用される複数のマーキングユニットのそれぞれに固有であり、新規のマーキングユニットがこの装置に統合されるときに調整可能であることが好ましい。しかし、通信要素の組合せは、システムの各マーキングユニットにおいて調整可能な程度に異なり、システムにおいてマーキングユニットが一意に識別可能になるある種の符号化を形成する。システムにおいて設定される通信要素(符号)の組合せは、本発明による評価ユニットにおいて知られている。
本発明によれば、少なくとも又は正確に5つのマーキングのうちの正確に3つが第1の直線上に配置され、及び少なくとも又は正確に5つのマーキングのうちの正確に2つが第2の直線上に配置され、第1及び第2の直線は、正確に1つの共通のマーキングが第1の直線及び第2の直線の両方に属するように、1つのマーキングにおいて交差する。本発明によれば、第1及び第2の直線上にさらなるマーキングが見つからない。すなわち、正確に4つのマーキングが第1及び第2の直線上に設けられ、この2つの直線が延びる共通の平面内に存在し、正確に3つのマーキングが第1の直線上に配置され、正確に2つのマーキングが第2の直線上に配置される。第1の直線及び第2の直線は、正確に直角に交差することが好ましい。
前述のこの構成の特に好ましい実施形態により、第1の直線上のマーキングを接続する第1の直線経路と、第2の直線上のマーキングを接続する第2の直線経路とは、T字形を形成し、第1の経路は、第2の経路よりも短い。第1の経路と第2の経路とが互いに垂直である点において、この第1の経路及び第2の経路は、真のT字形を形成することが特に好ましい。好ましい一実施形態では、第2の経路は、第1の経路と正確に中央で交わる。すなわち、この実施形態では、第1の経路は、Tの水平区間を形成し、第2の経路は、Tの垂直区間を形成し、共通のマーキングは、第1の経路の中央及び第2の経路の一端に存在する。
第1の直線上に存在する第1の直線経路の縁部マーキングは、第1の外側マーキング及び第2の外側マーキングと呼ばれる。第1の外側マーキングと第2の外部マーカとの間でやはり共通マーカを形成する第1の直線経路の中央マーキングは、任意選択で、正確に中央に存在する。したがって、共通のマーキングは、第1の直線と第2の直線との交点に存在する。
第2の直線上に存在する第2の直線経路の縁部マーキングは、第1の端部マーキング及び第2の端部マーキングと呼ばれる。共通のマーキングは、第1の端部マーキングであり、第2の直線経路の反対側の端部に存在するマーキングは、第2の端部マーキングである。
互いに接続された第1の経路及び第2経路は、すべてのマーキング並びに第1の直線上及び第2の直線上の任意の通信要素を接続する。したがって、各マーキングは、それぞれの経路上及びそれぞれの直線上に存在する。しかし、数学的理解での無限に長い直線と異なり、それぞれの経路は、縁部マーキングで終了する。この特徴が重要でない場合、「第1の経路及び第2の経路」並びに「第1の直線及び第2の直線」という用語は、やはり同義語として使用され、それぞれの場合、各経路は、直線の各区間である。
この前述の発明性のある考えに続いて、少なくとも又は正確に5つのマーキングのうちの少なくとも1つの区別されたマーキングが第1又は第2の直線の一方に直接存在することも、この区別されたマーキングが、区別されたマーキングの、平面への垂直投影がこうした直線の一方に存在するように、第1及び第2の直線が延びる平面の外側に存在することもない。平面上への垂直投影は、面法線の方向、すなわち平面に垂直な直線の方向への投影を意味する。各直線の1つに割り当てられないこのようなマーキングにより、方向及び位置を決定する際の確度は、区別されたこのマーキングの単純なアルゴリズム検出を用いて改善され得る。
第1の直線及び第2の直線が延びる平面の上方に区別された少なくとも1つのマーキングが配置される場合、方向及び位置の特に良好な決定を達成され得る。
正確に5つのマーキングがマーキングユニット上にある、本発明の好ましい変形形態では、それに応じて正確に1つの区別されたマーキングが存在する。
本発明による区別されたマーキングの配置は、好ましくは、第2の直線に対して非対称であり得る。本発明の具体的な実施形態によれば、好ましい変形形態として、区別されたマーキング又は区別されたマーキングの平面への投影は、第1の直線の中央マーキング(すなわち第1の直線の中央マーキングと一致する共通のマーキング)から第1の距離に、及び第1の直線の外側マーキングの第1のものから第2の距離で配置され、この第1の距離及び第2の距離は、それぞれ第1の直線に沿った第1の外側マーキングと中央マーキングとの間の距離よりも小さいことが提案される。
マーキング自体が前記平面に配置される場合、区別されたマーキングの平面への垂直投影は、本発明の意味でのマーキングと一致する。その結果、マーキング又は(第2の直線に対する)マーキングの平面への投影は、常に第1の外側マーキングの側部に存在する。すなわち、区別されたマーキングは、常に第2の直線によって分割された平面の半分に配置され、そこに第1の外側マーキングも配置される。これにより、第2の直線に対して非対称性が生じる。
マーキングユニットでのこの非対称性は、区別されたマーキングの方向及び位置を決定するときに効果的に活用することができ、キャプチャされた画像内の可能なマーキングユニットを迅速及び高い検出率で検出し、したがってマーキングユニットの正しい方向及び位置を特に迅速及び確実に決定するのに役立つ。後にこれをより詳細に説明する。
好ましくは、第1の距離及び第2の距離は、同じであり得る。これは、第1の距離及び第2の距離が第1の外側マーキングと中央マーキングとの間の距離よりも短く、第1の外側マーキングと中央マーキングとの間の距離の半分よりも長いことを意味する。実際には、第1の距離及び第2の距離は、区別されたマーキングの領域全体が、マーキング(LED)の合計領域に対応する第1の直線の周りの領域の外側に存在するように少なくとも十分に長くなるように選択される。これにより、区別されたマーキングが、第1の直線(又はその垂直射影)上に存在するマーキングと部分的に重ならないことが確実になる。これにより、キャプチャされた画像における区別されたマーキングの検出問題が回避される。第1のマーキングと、第1の線上での中央マーキングとの間の同じ距離(したがって可能な限り長い距離)もこれに寄与する。具体的には、区別されたマーキングが、第1の直線及び第2の直線が延びる平面の上方に配置される場合、露出中の画角に応じて他の方法で個々のマーキングをより迅速に隠すことができる。
本発明によれば、アルゴリズムにおいてマーキングユニットの方向及び位置を決定するのに使用されない通信要素は、各マーキング間の第2の直線上に配置されるようになされる。マーキングユニットのすべての通信要素は、第2の直線の正確に2つのマーキング間に配置されることが好ましい。このようにして、通信要素は、容易に認識することができ、必要に応じて、専らキャプチャされた画像の評価に基づいて方向及び位置の決定を実行することなく、マーキングユニットの方向及び位置を決定せずにマーキングユニットの特に単純な識別を可能にすることができる。いくつかのマーキングユニットが1つの画像内にキャプチャされるが、1つのみの特定のマーキングユニットの位置及び方向が対象である場合、これは、特に有利である。マーキングユニットの識別に関する判定基準を適用することにより、画像内で検出されるが、対象とならない可能なマーキングユニットは、次いで、こうしたマーキングユニットに方向及び位置の検出が実行される前に除外することができる。
本発明の特に好ましい実施形態では、第2の直線の2つのマーキング間に5~10の範囲、好ましくは7又は8つの通信要素装置を設けることができ、マーキングユニットは、設けられた合計の通信要素手段から1つ、2つ又は3つを通信要素として活性化するように適合されることが好ましい。すなわち、活性化状態の1~3つの通信要素が設けられる。
したがって、活性化された通信要素手段(すなわち通信要素)の数に応じて、様々な数のマーキングユニットを区別することができる。例えば、マーキングユニット内の8つの通信要素手段及び活性化された1つの通信要素(すなわち1つの通信要素)を用いて、したがって8つの異なるマーキングユニットを識別することができ、マーキングユニット内の8つの通信要素手段及び活性化された2つの通信要素を用いて、28の異なるマーキングユニットを識別することができる。これにより、例えば、様々な対象物に割り当てられる、システム内での対応する数の様々なマーキングユニット間で区別することが可能になる。
本発明によれば、評価ユニットは、キャプチャされた画像が評価され、マーキング(したがって画像内にキャプチャされたマーキングに属する1つ又は場合により複数のマーキングユニット)の方向及び位置並びにマーキングユニットの識別情報が決定される方法を実行するようにも適合される。
この方法は、明らかに、本明細書に記載される本発明の主題でもあり、この方法又は個々の方法ステップを実行するように設定又は設計された演算器の意味における評価ユニットにより、本発明に従って実行することができる。本発明は、演算器(又はそれぞれ評価ユニット)のプロセッサがコンピュータプログラム製品のプログラムコードを実行するように設計されるとき、本発明による方法の各ステップが実行されるコンピュータプログラム製品にも関する。
本発明によるこのプロセスの態様を以下に述べる。これらは、個別に組み合わされ得るか、又は当技術分野で有用な任意の組合せで特定のプロセスを形成し得、そのように組み合わされたすべてのプロセスが本発明の主題である。
本発明に従って提案される方法によれば、画像評価のための従来の方法により、マーキング及び/又は通信要素を、キャプチャされた画像内で検出し、2次元画像座標をこれらに割り当てることができる。2次元画像座標(x,y)は、画像キャプチャユニットによってキャプチャされたマーキングユニットの画像におけるマーキング又は通信要素の位置を示し、マーキングユニットを識別し、また画像キャプチャユニットに対するその方向及び位置を認識又は決定するための以下に述べる画像の評価の基礎となる。通常、画像キャプチャユニット(カメラ)は、既知の方法で空間において3次元で較正され、したがって画像キャプチャユニットに対する方向及び位置とともに空間における方向及び位置も知られる。カメラを較正するこうした方法は、従来技術から当業者に十分に知られている。
キャプチャされた画像においてマーキング及び/又は通信要素を検出するために、本発明の有利な実施形態により、キャプチャされた画像において、合計で正確に3つのマーキング及び/又は通信要素を有するすべての直線経路が決定されるようになされ得る。これは、照明手段がマーキングであるか又は通信要素であるかにかかわらず、オンになっている3つの照明手段を有する直線経路の全体においてオンにされており、したがって画像内で確実に検出可能であり、直線経路に配置された正確に3つのすべての照明手段(マーキング及び/又は通信要素)が検出されることを意味する。例えば、リスト内の正確に3つのマーキング/通信要素のそれぞれの画像座標を有する3タプルとしてこうした経路を記録及び保持することができる。このように、3タプルは、キャプチャされた画像において認識することができる3つのマーカ/通信要素を有する直線経路を説明する。このようにして決定される3タプルのすべては、次いで、直線経路の全体を形成する。例えば、3タプルは、[x(1),y(1);x(2),y(2);x(3),y(3)]の形式を有し、括弧内の数字は、認識された照明手段(マーキング/通信要素)の番号付けである。
キャプチャされた画像内の直線経路上に配置された4つ以上のマーキング又は通信要素が存在する場合、正確に3つのマーキング又は通信要素を有する可能なそれぞれの部分的組合せは、正確に3つのマーキング/通信要素を有する決定された直線経路の1つであると考えられ、直線経路の全体に記録され、例えば3タプルのリストに含まれる。
以下では、簡潔にするために、直線経路を単に経路と呼ぶ場合がある。したがって、こうした用語は、同義語として使用される。
原理的には、マーキングユニットの第1の経路及び第2の経路とみなすことができる直線経路の全体から、このような経路のための第1の選択基準を生成するために、本発明の一実施形態によれば、正確に3つのマーキング及び/又は通信要素を有する決定されたすべての直線経路、すなわち直線経路の全体から、正確に1つの共通のマーキングを有するこのような経路を決定することが提案され得る。正確に1つの直線経路について、共通のマーキングが直線経路の中央に配置され、及び少なくとも1つ(又は複数の)他の直線経路について、共通のマーキングが直線経路の一端に配置されることが決定される場合、このように決定された直線経路は、可能なマーキングユニットに割り当てられ得、すなわち第2の経路の第1の端部マーキングで識別され得る縁部マーキングを表す。
これは、例えば、以下の手順によって達成することができる。共通のマーキング/通信ユニットを有する直線経路のセットから、共通のマーキング/通信ユニットが中央に配置される経路が選択される。中央の共通のマーク/通信ユニットを有するこうした経路のそれぞれは、共通のマーク/通信ユニットが端部に配置されるセットのすべての経路と組み合わせてサブグループとみなされる。2つ又は3つ以上の経路(1つの経路が中央の共通のマーク/通信ユニットを有し、少なくとも1つの他の経路が端部に共通のマーク/通信ユニットを有する)からなるサブグループは、可能なマーキングユニットとみなされる。このようなサブグループがさらなる進路でのマーキングユニットであると判明した場合、サブグループの共通のマーキングは、実際にはマーキングであり、通信要素ではない。
共通のマーキングが直線経路の中央にある場合、この直線経路を第1の直線に割り当てることができる。マーキングが直線経路の端部にある場合、この直線経路を第2の直線に割り当てることができる。可能なマーキングユニットに割り当てることができないすべての直線経路を、例えばすべての直線経路のリストから削除することによって破棄することが考えられる。このリストが短いほど、キャプチャされた画像の評価並びにやはりその後実行しなければならない方向及び位置の検出が速くなる。
したがって、可能なマーキングユニットに割り当てられた又は割り当てられ得る他の直線経路を可能なマーキングユニットのリストに含めることができ、それぞれの場合、可能なマーキングユニットに割り当てられたすべての直線経路を選択されたグループで組み合わせることが好ましい。
さらなる(第2の)選択基準は、具体的には、第1の選択基準とともに適用することができるが、場合によりこの第1の選択基準から切り離して適用することもでき、具体的には、可能なマーキングユニットに割り当てられる直線経路のうち、その両端において一致する端部マーキングを有する直線経路のサブグループが決定されるものと定めることができる。これらは、実際にはマーキングであり、通信要素ではない。第1の端部マーキングは、共通のマーキングであり、第2の端部マーキングは、マーキングユニットの第2の直線の反対側の端部に配置されたマーキングであり、すべての通信要素が第1の端部マーキングと第2の端部マーキングとの間に配置される。次いで、共通の端部マーキング間の経路ごとに正確に1つの通信要素が存在する。1つの通信要素のみが設けられる本発明の一実施形態では、直線経路のサブグループは、1つの経路のみを含み、2つの通信要素の場合には2つの経路などを含み、通信要素装置の様々な装置がオンになる、すなわち活性化するようにマーキングユニットが配置されるため、各通信要素は、端部マーキング間の様々な位置に位置付けられる。
前述のこうした選択は、合計で正確に3つのマーキング及び/又は通信要素を有する決定されたすべての直線から可能なマーキングユニットを合理的に事前選択するのに有用であり、これらは、方向及び位置の検出中、以下に述べるステップでさらに考慮される。このステップは、前述の事前選択よりも計算量が多いため、このように事前選択することが有用である。しかし、この選択は、通信要素がその間に配置される共通のマーキングを有する直線経路を選択するため、この選択を最初に又は他の選択基準から切り離して実行することも有用な場合がある。本発明によれば、このような経路の全体から、通信要素の配置を、第2の経路の長さ、すなわち第2の経路の第1の端部マーキングと第2の端部マーキングとの間の距離とともに、例えば第2の経路の長さに対して正規化されたnタプルの形式でグループ化し、及びシステム(装置)全体として許容される通信要素の符号化と比較することにより、通信要素のこのような符号化からマーキングユニットの識別を導出するようになされ得る。方向及び位置を検出する前にこれを実行することができる。したがって、マーキングユニットを識別した後、これらを破棄することができ、例えばちょうど実行された方向及び位置の検出において対象とならない可能なマーキングユニットのリスト(選択されたグループとも呼ばれる)から削除することができる。これにより、評価速度も大幅に向上する。
キャプチャされた画像内の個々のマーキングを識別するために、本発明によれば、決定された直線経路の2つの縁部マーキングをマーキングユニットの仮のマーキングとしてそれぞれの場合に仮定するようになされ得る。前述の選択が完全に又は部分的に実施された場合、この選択ステップを実行しなければならない仮定されたマーキングユニットの数を、例えば共通のマーキングを有する直線経路の組合せ(「可能なマーキングユニット」)までさらに大幅に減少させることができる。第2の直線において、2つの端部マーキングをさらに事前選択することができ、さらに適用される判定基準として、端部マーキングの1つが共通のマーキングと一致することをさらに検査することができる。第1の直線において、共通のマーキングが各外側マーキング間に配置されることを追加の判定基準として加え得る。こうしたすべての選択ステップを組み合わせることにより、該当する場合にはさらに経路を除外することができる。
実際には、通常、1つ又は複数の選択ステップ後、可能なマーキングユニットが1つのみ残ることになる。この場合、本発明により、別々に定義された選択ステップを有するさらなる選択を取り消すことができ、個々のマーキングの割当てを継続することができる。これは、任意選択で方向及び位置の認識を加速するために、方向及び位置の検出を実行するための事前のステップ又は第1のステップとして理解することができる。
このような事前選択後、1つ又は場合によりいくつかのマーキングユニットが残り、本発明によれば、第1の外側マーキング及び第2の外側マーキングとして、共通のマーキングが直線経路の中央に存在する直線経路の縁部マーキングを第1の直線に割り当て、及び共通のマーキングが直線経路の端部に存在する直線経路の縁部マーキングを第2の直線に割り当て、それにより、共通のマーキングが第1の端部マーキングとして選択され得、及び他の縁部マーキングが第2の端部マーキングとして選択され得ることが有用となり得る。
本文での注記については、以下の通りである:(第1の直線上の第1の直線経路の縁部マーキングの一方としての)第1の外側マーキングは、マーキング順序の平面図において、第2の直線(それぞれ第1の直線経路の中央での共通のマーキング)の左側に存在し、(第1の直線上の直線経路の縁部マーキングの他方としての)第2の外側マーキングは、マーキング順序の平面図において、第2の直線(それぞれ第1の直線の中央での共通のマーキング)の右側に存在する。第2の直線上の第2の直線経路の第1の端部マーキングは、第1の直線上の第1の直線経路の中央マーキングに対応し、第2の直線経路の第2の端部マーキングは、平面図において第1の直線の右側に存在する。この注記は、任意のものであり、後に示す実施形態の例に対応する。技術的な機能は、それに結び付いていない。
必要に応じて、少なくともこれまでに実行された選択の1つ又は複数後、キャプチャされた画像内で考慮すべき2つ以上の可能なマーキングユニットが依然として存在する場合、区別されたマーキングに基づいてさらなる選択を実行するように試みることができる。これを以下に説明する。
さらなる選択の選択肢として、本発明によれば、マーキングユニット上の区別されたマーキングの配置に応じて、キャプチャされた画像において画像領域を画定し、及び2次元の画像座標を有するさらなるマーキングが、キャプチャされた画像において、この画像領域に割り当てられるかどうかを検査することができる。これは、特に有用であり、第1の経路(直線)のマーキングが既に識別されている場合に迅速に実行することができる。しかし、原理的に、画像内にキャプチャされたマーキングの対を選択判定基準として選択して、こうした対のそれぞれにおいてこの選択の選択肢を試すことも考えられるであろう。しかし、これには時間がかかる。以下に述べる場合について、したがって可能なマーキングユニットの事前選択が既に実施されたと仮定する。
区別されたマーキングについてのさらなるこの選択が良好な結果をもたらさない場合、可能なこのマーキングユニットを除外することができる。これにより、より正確に計算すべきマーキングユニットの数をさらに減らし得る。
区別されたマーキングが共通のマーキングから第1の距離に配置され、マーキングユニット上の外側マーキングから第2の距離に配置される場合、例えば、第1の距離よりも長い半径を有する第1の円を共通のマーキングの周りに配置し、第2の距離よりも長い半径を有する第2の円を第1の外側マーキングの周りに配置し、及び第1の円又は第2の円の共通部分によって画像領域を形成することにより、画像領域を画定することができる。円のそれぞれの半径は、例えば、(共通の又は異なる)半径係数RFによって規定され得、この半径係数RFは、1よりも大きく、好ましくは3未満であり、より好ましくは2未満になるように選択される。好ましい実施形態によれば、この半径係数は、区別されたマーキングが、第1の直線及び第2の直線が延びる平面の上方に配置される際の高さにも依存し得る。この高さが高くなるほど、選択すべき画像領域が広くなり、なぜなら、特に画像が面法線に対して大きい角度から撮られる場合、第1の外側マーキング及び共通のマーキングの投影に対して、区別されたマーキングの投影がさらに大きくシフトする場合があるからである。幾何学的条件に応じて、例えばソフトウェア側で当業者によって適切な画像領域を厳密に決定することができる。
可能ないくつかのマーキングユニットが残る場合(具体的には、任意選択で、共同で又は部分的に実行される前述の選択を実行した後)、これは、画像キャプチャユニットによって一緒にキャプチャされたいくつかの異なるマーキングユニットが、キャプチャされた画像内に示されるという事実又は可能なマーキングユニットを選択する間、個々のマーキングが正しく割り当てられなかったか若しくは選択が全く実行されなかったという事実による場合がある。
本発明によれば、次いで、すべてのマーキング(1つ又は複数の選択基準を用いて選択した後に残っているマーキング又は実際には選択されていないすべてのマーキング)について方向及び位置検出が実行され、マーキングユニットの方向及び位置が決定される。本発明によれば、事前のマーキングとして実行される可能なマーキングユニットの各マーキングに基づいて方向及び位置の検出を実行することが好ましく、なぜなら、これにより総合の評価速度が大幅に増加するからである。
(現実のマーキングユニットでの)各マーキングの既知の位置は、方向及び位置を決定するための境界条件として使用される。従来技術から、適切なアルゴリズムが当業者に知られている。原理的には、ここでは、既知のすべてのアルゴリズムが適切なものである。(本発明の光学式画像キャプチャユニットの意味における)較正済みのカメラで撮られた2次元ピクチャ内のマーキングを空間内のマーキングユニットの方向及び方向に戻して計算するために、P3P(Perspective-3-Point)などの解法手順、特にPerspective-3-Point問題のためのよく知られた代数学的解法アルゴリズム(AP3P手順)又はPerspective-3-Point問題のための反復解法アルゴリズム(反復P3P)が属し、これらは、それに関連する技術分野の当業者によく知られており、例えば以下の刊行物に記載されている:AP3P:Tong Ke及びStergios Roumeliotisによる「An efficient algebraic solution to the perspective-three-point problem」、Computer Vision and Pattern Recognition (CVPR)、2017 IEEE Conference、IEEE、2017、P3P:Xiao-Shan Gao、Xiao-Rong Hou、Jianliang Tang及びHang-Fei Chengによる「Complete solution classification for the perspective-three-point problem」、Pattern Analysis and Machine Intelligence、IEEE Transactions on, 25(8):930-943、2003。これまでに定義された既知の制約条件が満たされる場合、よく知られたこうしたアルゴリズムは、対象物上のマーキングと、較正済みのカメラのピクチャ内でのその2次元画像との間の知られている対応関係から空間内での対象物の方向及び位置を見つける。
画像内での点再構成における外れ値(すなわち場合により誤認識されたマーキング又は誤って割り当てられたマーキングを含む)に対して、こうしたアルゴリズムをさらに頑強にするために、それ自体知られている数値最適化技法を使用して方向及び位置の検出を改善することができる。
このような方法の用途は、当業者に知られている。このような方法は、記載されたように本発明に適用することができ、必要に応じて当業者の最適化の枠組み内で適合され得る。
方向及び位置を決定する方法ステップの好ましい変形形態によれば、第1の事前の方向及び位置の検出は、少なくとも5つのマーキングのうちの4つで実行され得る。マーキングユニットの事前に決定された方向及び位置に基づいて、次いで、5つのマーキングの第5のものの予想される画像座標は、キャプチャされた画像において決定され、及びこのマーキングの実際に割り当てられる画像座標と比較される。画像から決定された画像座標の位置と、予想される画像座標とが所定の閾値内で一致する場合、方向及び位置の検出が終了し、マーキング又はマーキングユニットの方向及び位置が出力される。
好ましい代替変形形態によれば、システム内の5つのマーキングの異なる配置の有限数が存在し、通常、2つ以下であるため、5つのマーキングのすべてに基づいて方向及び位置の検出を直ちに実行することもできる。評価は、マーカの誤った配置を仮定する場合、逆算すると、予想される画素と決定された画素との間に大きい不一致をもたらす。この場合、他の可能な配置でこの評価が繰り返される。
必要に応じて、数値最適化によって方向及び位置の検出の改善を試みることもできる。この場合、例えばシステムの外部制限による方向及び位置の予備的知識を使用して、一般的な最適化のための起点を得ることもでき、このための可能な方法は、従来技術に記載されており、当業者に知られている。
さらなる実施形態によれば、提案された方法を実行するとき、既に示したように、第1の直線上の2つのマーキング間の距離に正規化された、通信要素と2つのマーキングの一方との間の距離からマーキングユニットの識別情報を決定するようにもなされ得る。マーキングの(したがってマーキングユニットの)既知の又は一時的に既知の方向及び位置と、潜在的に活性化可能な通信要素装置の可能な既知の方向とを用いて、決定された正規化済みの距離と、特定のマーキングと通信要素との間の予想される正規化済みの距離とを比較することにより、活性化された通信要素、したがってマーキングユニットの識別情報を割り出すことができる。
いくつかの通信要素が活性化される場合、これにより、適切に区別可能な総合の符号化がもたらされ、特定のマーキングと通信要素との間のすべての距離を決定し、重ねることにより、適切な符号化を生成することができ、必要に応じて、事前の方向及び位置を検出することなく、パターン(又は符号化)のみに基づいてこれを認識することができ、マーキングユニットに明確に割り当てることができる。
本発明のさらなる利点、特徴及び用途の可能性はまた、以下の例示的な実施形態及び図面の説明からもたらされる。これにより、説明及び/又は図示されるすべての特徴は、一緒に又は技術的に合理的な任意の組合せにおいて本発明の主題に属し、同様に説明若しくは図示される例示的な実施形態又は特許請求の範囲におけるその組合せとは独立している。
本発明の一実施形態による、マーキングの方向及び位置を検出するための装置の概略図である。 図1に示すマーキングユニットの詳細な拡大図である。 様々な評価ステップにおける符号化された異なる2つのマーキングユニットの検出されたマーキング及び通信要素を有する、図1による装置の画像キャプチャユニットの例示的な画像92である。 様々な評価ステップにおける符号化された異なる2つのマーキングユニットの検出されたマーキング及び通信要素を有する、図1による装置の画像キャプチャユニットの例示的な画像92である。 様々な評価ステップにおける符号化された異なる2つのマーキングユニットの検出されたマーキング及び通信要素を有する、図1による装置の画像キャプチャユニットの例示的な画像92である。 様々な評価ステップにおける符号化された異なる2つのマーキングユニットの検出されたマーキング及び通信要素を有する、図1による装置の画像キャプチャユニットの例示的な画像92である。 様々な評価ステップにおける符号化された異なる2つのマーキングユニットの検出されたマーキング及び通信要素を有する、図1による装置の画像キャプチャユニットの例示的な画像92である。 キャプチャされた通信要素に基づいてマーキングユニットを識別するための概略図である。
3次元空間におけるマーキング20、21、22、23、24、25の方向及び位置を検出するための装置1が図1に示されている。マーキング20、21、22、23、24、25は、対象物に固定することができるマーキングユニット10上に配置される。マーキング20、21、22、23、24、25の方向及び位置を決定することにより、空間におけるマーキングユニット10の方向及び位置並びに該当する場合にはマーキングユニット10が固定される対象物の方向及び位置がこのように決定される。この対象物は、図面に示してはいない。図1に示す装置1は、同一に構築された第2のマーキングユニット11を含み、このマーキングユニット11は、明確にするために図1に二度図示されていない。
マーキング20、21、22、23、24、25は、マーキング20、21、22、23、24、25を有するマーキングユニット10、11の画像92並びに後述する通信要素30、31をキャプチャするように適合された光学式画像キャプチャユニット90によってキャプチャされる。この光学式画像キャプチャユニット90は、写真及び場合によりフィルムをキャプチャするためのカメラであり得、具体的には当業者に知られているデジタルカメラであり得る。画像キャプチャユニット90は、評価ユニット91に接続され、この評価ユニット91には、画像キャプチャユニット90によってキャプチャされた画像92が伝送される。次いで、評価ユニット91は、具体的には、マーキング20、21、22、23、24、25を認識しながら、キャプチャされた画像92を評価することにより、マーキングユニット10の方向及び位置を明確に決定するように適合される。このプロセスでは、マーキングユニット10、11の方向及び位置は、キャプチャされた画像92でのマーキング20、21、22、23、24、25から決定され、マーキングユニット10、11の識別情報は、通信要素30、31から決定される。
特に好ましい実施形態による、図1に示すマーキングユニット10、11は、正確に5つのマーキング20、すなわち方向及び位置を決定するためのマーキング21、22、23、24、25と、符号化のために使用することができ、マーキングユニット10、11を識別する役割を果たし得る5つの通信要素30、31とを有する。マーキング20、21、22、23、24、25及び通信要素31は、それぞれ活性化又はオンにされた照明手段、具体的にはLED又は赤外線LEDである。活性化されたこの照明手段がマーキング20、21、22、23、24、25であるか又は通信要素31であるかに応じて、オン及びオフに切り替えることができるこうした照明手段は、マーキング手段又は通信要素手段30とも呼ばれる。オンにされた(すなわち光学的に活性な)状態では、マーキング手段は、マーキング20、21、22、23、24、25であり、通信要素手段30は、通信要素31である。
好ましい実施形態では、マーキングユニット10は、正確に5つのマーキング手段を有し、このマーキング手段は、装置1に組み込まれた各マーキングユニット10、11においてオンにされ、動作にあたってこのように(光学的に活性な)マーキング20を形成する。以下でさらに説明されるように、特定のマーキング21、22、23、24、25が示されない限り、以下では、各マーキングは全体として参照符号20によって言及される。
図1による説明図では、合計5つの通信要素手段30が設けられ、そのすべても図1による説明図で通信要素31としてオンにされる。これは、マーキングユニット10、11の通常の動作状態ではなく、テスト動作である。通常の動作状態は、具体的には、図3a~図3eから得られる。
以下では、通信要素手段は、30で示され、通信要素、すなわちオンにされた通信要素手段は、31で示される。以下の各図では、オンにされていない通信要素手段30は、×印のない円として示される。画像キャプチャユニット90において、オフにされたこれらの通信要素手段30は、確実にキャプチャされることはなく、いずれにせよ、これらが光学的に目に見えるはずの場合でも評価ユニット91において考慮されない。装置1が(例えば、同一構造の)いくつかのマーキングユニット10、11を有する限り、動作にあたり、様々な通信要素31がマーキングユニット10、11のそれぞれに提供され、すなわちオンにされた様々な通信要素手段30が提供される。
好ましい実施形態によれば、正確に5つのマーキング手段が設けられ、これらが動作中にやはりオンにされ、すなわちマーキング20を形成するため、マーキング手段とマーキング20との間の図形的な区別は必要でない。したがって、オフにされたマーキング手段には、特別な参照符号が選択されない。
マーキング20の具体的な配置では、正確に3つのマーキング21、22、23が第1の直線43上に配置され、正確に2つのマーキング21、24が第2の直線44上に配置され、この第1の直線43と第2の直線44とは、共通のマーキング21において交差する。したがって、共通のマーキング21は、第1の直線43及び第2の直線44の両方に属する。第1の直線43上のマーキング21、22、23は、第1の(直線)経路41によって接続され、第2の直線44上のマーキング21、24は、第2の(直線)経路42によって接続され、この2つの経路41、42は、T字形を形成する。第1の経路41は、第2の経路42よりも短く、第2の経路42は、ここに示す実施形態では、正確に中央で第1の経路41と交わる。しかし、これは、本発明に従って必ずしも必要ではない。
第2の直線44の左側に図示されたマーキング22は、正確に指定するために第1の経路41の第1の外側マーキング22として以下に言及され、第2の直線44の右側に図示されたマーキング23は、正確に指定するために第1の経路41の第2の外側マーキング23として以下に言及される。その中央には、共通のマーキング21があり、図に示した例では、第1の外側マーキング22及び第2の外側マーキング23から同じ距離にある。したがって、共通のマーキング21は、第1の経路41の中央マーキング及び第2の経路42の第1の端部マーキングを同時に形成する。これとは逆に、第2の経路42は、第2の端部マーキング24によって境界を付けられる。
別のマーキング20、すなわち区別されたマーキング25は、第1の直線43及び第2の直線44が延びる平面33の上方に配置され、したがって、区別されたマーキング25の平面33への垂直投影は、こうした直線43、44上のいずれにも存在しない。
区別されたマーキング25の正確な配置は、図2を参照して説明され、図2には、共通のマーキング21の周りの領域でのマーキング20の拡大された区間が示されている。平面33の上方に配置される、区別されたマーキング25は、平面33内に配置された他のマーキング21、22、23、24に対してドーム26によって隆起している。図2に示す、平面33の垂直方向での平面図では、区別されたマーキング25の平面33への垂直投影は、マーキング25の下方にあり、それ自体の参照符号で指定されない。
共通のマーキング21と区別されたマーキング25の垂直投影との間の第1の距離27及び第1の外側マーキング22と区別されたマーキング25の垂直投影との間の第2の距離28は、この例では等しく、距離27、28は、マーキング21及び22間の距離の半分よりも長く、マーキング21及び22間の距離よりも短い。この実施形態では、区別されたマーキング25は、第1の経路41の、第2の経路42とは反対の側に配置される。
通信要素手段30と、それに応じてオンにされた通信要素手段30としての通信要素31とは、すべて共通のマーキング21(第2の経路42の第1の端部マーキング又は第1の経路41の中央マーキングとも呼ばれる)と第2の端部マーキングとの間の第2の経路42上に配置される。各通信要素手段30の間隔は、等間隔であることが好ましい。したがって、様々なマーキングユニット10、11において、様々な通信要素手段30をオンにすることにより、通信要素31の様々なパターンを生成することができ、これにより符号化として画像内の様々なマーキングユニット10、11を区別し、それぞれ識別することができるようになる。
図3aには、2つのマーキングユニット10及び11の画像100及び110をそれぞれ有する画像キャプチャユニット90の画像92が示されており、これにより、評価ユニット91は、こうしたマーキングユニット10、11を初めに割り当てることができない。この評価ユニット91は、図2に黒く示す光点としてのマーキング20及び/又は通信要素31のみを認識し、及び最終的に図式的に通信要素手段30がオフにされていることを認識するが、これらは、考慮されず、さらに処理されない。通信要素手段30、すなわち通信要素31がオンにされるとき、明確にするために参照符号30が示されることはない。
第1の評価ステップでは、すべてのマーキング20及び/又は通信要素31は、キャプチャされた画像92での光点L(1)~L(n)として認識される。認識されたこの光点L(n)には連続した番号が振られ、これにより、各光点(n)には、画像座標L(n)=[x(n),y(n)]を有する2タプルが割り当てられる。検出されたこのマーキング20/通信要素31を、光点L(n)とする結果が図3aに描かれており、ここで、各光点は、L(1)~L(14)の番号を振られている。明確にするために、以下の各図では、もはや参照符号20、30、31を示さない。
第2の評価ステップでは、合計3つのマーキング20及び/又は通信要素31を有するすべての直線経路C(m)が決定される。これらが図3bに示されている。合計で10のこのような経路C(1)~C(10)を識別することができる。こうした経路のそれぞれは、光点L(n)のそれぞれの画像座標を有する3タプルに含まれる。すなわち、具体例では、経路C(1)は、光点(L1)、L(3)及びL(4)の画像座標を有する3タプル、すなわちC(1)=[L(1);L(3);L(4)]を含む。対応する3タプルとして見つかったすべての経路C(1)~C(10)が図3bに列挙されている。
次の評価ステップとして、正確に3つのマーキング20及び/又は通信要素31を有する決定されたすべての直線経路C(n)から、正確に1つの共通のマーキング20/通信要素31を有する直線経路C(n)が決定される。図3cに示す例では、これらは、一度にそれぞれ光点L(3)を共通に有する経路C(1)、C(2)、C(3)及びC(4)、すなわち一度にそれぞれ光点L(9)を共通に有する経路C(6)、C(7)、C(8)及びC(9)である。
次に、共通の光点L(3)及びL(9)が中央に存在する、経路C(n)が選択される。この例では、これらは、経路C(1)及びC(6)である。こうした経路C(1)及びC(6)のそれぞれについて、共通の光点L(3)及びL(9)は、それぞれ経路の縁部に存在する経路がグループ化される。この結果、図に示す例では2つのサブグループ、すなわち経路C(1)、C(2)、C(3)、C(4)を有するサブグループ1並びに経路C(6)、C(7)、C(8)及びC(9)を有するサブグループ2がもたらされる。こうしたサブグループは、可能なマーキングユニットM(o)を識別する。
可能ないくつかの変形形態の1つでは、正確に1つの直線経路C(1)又はC(6)それぞれにおいて、共通のマーキングL(3)、L(9)それぞれが直線経路C(1)又はC(6)のそれぞれの中央にそれぞれ存在し、少なくとも1つの他の直線経路C(2)、C(3)、C(4)及びC(7)、C(8)、C(9)において、共通のマーキングL(3)及びL(9)それぞれが直線経路C(2)、C(3)、C(4)及びC(7)、C(8)、C(9)の一端にそれぞれ配置されると判定された場合、サブグループ内のこうした経路の対を可能なマーキングユニットM(o)に割り当てることができる。経路C(n)の2タプルの意味における可能なマーキングユニットM(o)は、例えば、図3cに列挙される経路対M(1)~M(6)を識別することができる。
さらなる評価ステップでは、例えば、可能なマーキングユニットM(o)に列挙された経路、すなわち経路C(1)、C(2)、C(3)、C(4)、C(6)、C(7)、C(8)、C(9)から、(マーキング20又は通信要素31、すなわち光点L(n)の意味において)一致する端部マーキングを有する経路C(n)をサブグループとして決定することができる。図に示す例示的な実施形態では、これらは、共通の端点L(3)及びL(7)を有する経路C(3)及びC(4)並びに共通の端点L(9)及びL(13)を有する経路C(8)及びC(9)である。
こうした経路C(3)、C(4)、C(8)又はC(9)の1つを含まない可能なすべてのマーキングユニットM(o)は、可能なマーキングユニットM(o)として除外することができる。このさらなる選択により、図3cに列挙された可能なマーキングユニットM(1)~M(6)から、可能なマーキングユニットM(2)、M(3)、M(5)、M(6)のみが残る。1つの通信要素31のみを有するマーキングユニットでは、最後のステップが省略される。
前述の選択ステップは、当然のことながら、組み合わされ得るか又は逆の順序で実行され得る。
ここで、可能な残りのマーキングユニットM(2)、M(3)、M(5)、M(6)は、光点L(n)として、これらの端部に端部マーキング20を有する経路のみを有することが明らかである。次に、可能なそれぞれのマーキングユニットにおいて、それぞれのマーキング21、22、23、24に、これらを割り当てることができる。これは、図3dに示されており、可能なマーキングユニットM(2)+M(3)及び可能なマーキングユニットM(5)+M(6)について、光点L(n)及びマーキング21、22、23、24のそれぞれの割当てが示されている。
この手順は、基本的に、共通のマーキング21が直線経路41の中央に配置される直線経路41の縁部マーキング22、23が第1の外側マーキング22及び第2の外側マーキング23として第1の直線43に割り当てられることである。共通のマーキング21が直線経路42の端部にある直線経路42の縁部マーキング21、24は、第2の直線44に割り当てられ、共通のマーキング21は、第1の端部マーキング21として選択され、他方の縁部マーキングは、第2の端部マーキング24として選択される。第2の経路42のそれぞれでの残りのそれぞれの光点は、通信要素31である。
既に説明したように、適切に選択された半径を有する円が第1の外側マーキング22及び共通のマーキング21の周りに適切な方式で配置される場合、それぞれの場合に各円が交差すると、図3eに描かれているような画像領域50をもたらす。マーキング21、22、23、24のいずれ又は通信要素31のいずれにも依然として割り当てられていない、この画像領域50内に存在する光点は、後続の評価ステップにおいて、可能なそれぞれのマーキングユニットM(2)+M(3)及びM(5)+M(6)のための区別されたマーキング25に割り当てられる。図に示す例では、これらは、区別されたマーキング25におけるそれぞれ光点L(2)及びL(14)である。
続いて、マーキング21、22、23、24、25を知ることにおいて、それ自体知られているアルゴリズムを用いて、第1のマーキングユニット10としての可能なマーキングユニットM(2)+M(3)及び第2のマーキングユニット11としての可能なマーキングユニットM(5)+M(6)のそれぞれについて、方向及び位置の検出が実行される。このための具体的で可能な手段は、この説明の導入部で既に説明されてており、ここでは繰り返さない。適切なP3P法又はAP3P法を使用することは、例えば、場合により後続の数値最適化とともに従来技術から当業者に十分に知られている。
方向及び位置の検出が失敗する場合、いかなる解も生成されない。
第2の経路42上での検出された通信要素31に基づいて、画像92内のマーキングユニット10、11の識別が可能である。この目的のために、可能な一実施形態では、通信要素31の距離を、第1の端部マーキング21と第2の端部マーキング22との間の全長に正規化することができ、対応する正規化において、システムに統合されたすべてのマーキングユニット10、11について、評価ユニット91に記憶された既知の符号と比較することができ、その結果、検出された通信要素31の位置を、評価ユニット91に記憶されたすべての符号の予想位置と比較することができる。
これに適しており、この用途において当業者に知られている数値的方法は、検出された符号と可能で予想されるすべての符号との間の2乗偏差の決定である。2乗偏差が最小の予想される符号化は、次いで、符号化をもたらし、マーキングユニット10、11を識別できるようにする。方向及び位置の検出が実行されることを必要としない、このような識別を有する信頼水準が達成されない場合、方向及び位置の検出が実行された後にも識別を実行することができ、これにより、通信要素31の検出された配置から、可能な歪みを計算することができるようになる。しかし、これは、使用事例の大多数において必要というわけではない。
図3a~図3eに示す画像92により、マーキングユニット10のレセプタクル100及びマーキングユニット11のレセプタクル110について方向検出を実行しない手順が図4a、図4bに図を用いて示されている。マーキングユニット10、11のための2つの符号60、61のみがシステム内に設けられると考えられる。これらは、画像からのマーキングユニット10、11について認識された符号62、63と同じ正規化において図4に示されている。認識された符号62、63の場合、正規化のために使用される第1の端部マーキング21及び第2の端部マーキング24も示されているが、これらは、認識された符号62、63の一部ではなく、予想される符号60、61との比較において考慮されない。
図4aには、予想される符号化60、61が示されており、この符号化60、61の個々の要素は、実際の配置に従って等距離に位置付けられる。マーキングユニットの垂直上面図では、マーキングユニット10の画像92において、正確にこの配置も予想されるであろう。斜めからの視点では、各通信要素装置30間に様々な距離をもたらす歪みが存在する。図4aでは、この歪みは、わずかである。各通信要素装置30間の距離は、ほとんど異ならない。画像92において認識された符号化62の、予想される符号化60への明確な割当てが存在する。
図4bには、予想される符号化60、61が同様に示されている。明らかな斜位図であるため、図4bには著しい歪みが存在する。各通信要素装置30間の距離は、異なり、検出された符号化63の表示では下端から上端に向けて次第に小さくなる。しかし、予想される符号化60からの偏差がさらに大きいため、画像92において検出される符号化63の、予想される符号化61への明確なマッピングが依然として存在する。したがって、歪みがあるにもかかわらず、方向又は位置を検出することなく、マーキングユニット11を識別することが可能である。
1 装置
10 マーキングユニット
11 マーキングユニット
20 マーキング、以下を含む。
21 共通のマーキング(経路41、42のいずれに属するかに応じて第1の経路の中央マーキング又は第2の経路の第1の端部マーキングとも呼ばれる)
22 第1の外側マーキング
23 第2の外側マーキング
24 第2の端部マーキング
25 区別されたマーキング
26 ドーム
27 第1の距離
28 第2の距離
30 通信要素手段であり、オンにすると通信要素にもなる
31 通信要素
33 平面
41 第1の経路
42 第2の経路
43 第1の直線
44 第2の直線
50 画像領域
60 マーキングユニット10の予想される符号化
61 マーキングユニット11の予想される符号化
62 マーキングユニット10の認識された符号化
63 マーキングユニット11の認識された符号化
90 デジタルカメラとして設計された画像キャプチャユニット
91 評価ユニット
92 マーキングユニットの画像
100 マーキングユニット10の画像
110 マーキングユニット11の画像

Claims (17)

  1. 3次元空間におけるマーキング(20、21、22、23、24、25)の方向及び位置を検出するための装置であって、
    - いくつかのマーキング(20、21、22、23、24、25)を有する少なくとも1つのマーキングユニット(10、11)と、
    - 前記マーキングユニット(10、11)の画像(92)をキャプチャするように適合された光学式画像キャプチャユニット(90)と、
    - 前記マーキングユニット(10、11)の方向及び位置を明確に決定するように適合された評価ユニット(91)と
    を有し、
    前記マーキングユニット(10、11)は、方向及び位置を決定するための少なくとも5つのマーキング(20、21、22、23、24、25)を有し、
    - 正確に3つのマーキング(21、22、23)は、第1の直線(43)上に配置され、及び正確に2つのマーキング(21、24)は、第2の直線(44)上に配置され、前記第1及び第2の直線(43、44)は、正確に1つの共通のマーキング(21)が前記第1の直線及び前記第2の直線(43、44)の両方に属するように、前記1つの共通のマーキング(21)において交差し、
    - 前記マーキングユニット(10、11)は、前記マーキングユニット(10、11)を符号化するための少なくとも1つの通信要素(31)を有し、
    - 前記画像キャプチャユニット(90)は、前記マーキング(20、21、22、23、24、25)及び前記少なくとも1つの通信要素(31)を有する前記マーキングユニット(10、11)の画像をキャプチャするように適合され、前記マーキング(20、21、22、23、24、25)及び少なくとも1つの通信要素(31)は、それぞれ光学的に活性な手段であり、及び
    - 前記評価ユニット(91)は、前記マーキング(20、21、22、23、24、25)から、前記キャプチャされた画像における前記マーキングユニット(10、11)の前記方向及び位置を決定し、及び前記少なくとも1つの通信要素(31)から前記マーキングユニット(10、11)の識別情報を決定するように適合される、装置において、
    - 前記少なくとも1つの通信要素(31)は、前記マーキング(21、24)間の前記第2の直線(44)上に配置され、
    - 前記通信要素(31)のいずれも、方向及び位置を決定するために考慮されず、
    - 前記装置において同時に動作可能ないくつかのマーキングユニット(10、11)であって、前記様々な通信要素(31)に基づいて前記マーキングユニット(10、11)が区別され得るように適合されるいくつかのマーキングユニット(10、11)が設けられ、及び
    前記評価ユニット(91)は、前記キャプチャされた画像(92)におけるすべてのマーキング(20、21、22、23、24、25)及び/又は通信要素(31)を認識し、及びそれらに2次元の画像座標を割り当てるように適合されることを特徴とする装置。
  2. 前記第1の直線(43)上の前記マーキング(21、22、23)を接続する第1の直線経路(41)と、前記第2の直線(44)上の前記マーキング(21、24)を接続する第2の直線経路(42)とは、T字形を形成し、前記第1の経路(41)は、前記第2の経路(42)よりも短く、及び前記第2の経路(42)は、好ましくは、前記第1の経路(41)と正確に中央で交わることを特徴とする、請求項1に記載の装置。
  3. 少なくとも1つの区別されたマーキング(25)は、前記第1及び第2の直線(43、44)の一方に直接配置されておらず、前記区別されたマーキング(25)の垂直投影が前記直線(43、44)の一方に配置されるような平面(33)であって、前記第1及び第2の直線(43、44)が延びる平面(33)の外側に配置されていないことを特徴とする、請求項1又は2に記載の装置。
  4. 前記少なくとも1つの区別されたマーキング(25)は、前記第1及び第2の直線(43、44)が延びる前記平面(33)の上方に配置されることを特徴とする、請求項3に記載の装置。
  5. 前記区別されたマーキング(25)及び/又は前記区別されたマーキング(25)の前記平面(33)への前記投影は、前記第1の直線(43)の中央マーキング(21)から第1の距離(27)に配置され、及び、前記共通のマーキング(21)とは異なる、前記第1の直線(43)のマーキング(22、23)のうちの第1の他のマーキング(22)から第2の距離(28)に配置され、前記第1の距離(27)及び前記第2の距離(28)は、それぞれ前記第1の直線(43)に沿った前記他のマーキング(22)と前記中央マーキング(21)との間の距離よりも小さいことを特徴とする、請求項3又は4に記載の装置。
  6. 前記第1の距離(27)及び前記第2の距離(28)は、等しいことを特徴とする、請求項5に記載の装置。
  7. 1~3つの通信要素(31)は、前記第2の直線(44)の前記2つのマーキング(21、24)間に設けられることを特徴とする、請求項1~6のいずれか一項に記載の装置。
  8. 前記評価ユニット(91)は、前記キャプチャされた画像(92)において、合計で正確に3つのマーキング(20、21、22、23、24、25)及び/又は通信要素(31)を有するすべての直線経路(C)を決定するようにさらに適合されることを特徴とする、請求項1~7のいずれか一項に記載の装置。
  9. 前記評価ユニット(91)は、正確に3つのマーキング(20、21、22、23、24、25)及び/又は通信要素(31)を有するすべての決定された直線経路(C)から、正確に1つの共通のマーキング(20、21、22、23、24、25)を有する前記直線経路(C)を決定するようにさらに適合され、正確に1つの直線経路(C)について、前記共通のマーキング(21)が前記直線経路(C)の中央に配置され、及び少なくとも1つの他の直線経路(C)について、前記共通のマーキング(21)が前記直線経路(C)の一端に配置されることが決定される場合、前記直線経路(C)は、可能なマーキングユニット(M)に割り当てられることを特徴とする、請求項8に記載の装置。
  10. 前記評価ユニット(91)は、特に可能なマーキングユニット(M)に関連する前記直線経路(C)の場合、その2つの端部において一致する端部マーキング(22、23;21、24)を有する直線経路(C)のサブグループを決定するようにさらに適合されることを特徴とする、請求項8又は9に記載の装置。
  11. 前記評価ユニット(91)は、前記決定された直線経路(C)の2つの前記縁部マーキング(22、23;21、24)をそれぞれマーキングユニット(10、11)の仮のマーキング(M)として割り当てるようにさらに適合されることを特徴とする、請求項8~10のいずれか一項に記載の装置。
  12. 前記評価ユニット(91)は、前記直線経路(41)の前記縁部マーキング(22、23)を、前記直線経路(41)の前記中央に配置された前記共通のマーキング(21)とは異なる、前記第1の直線(43)の第1の外側マーキング(22)及び第2の外側マーキング(23)に割り当て、及び前記直線経路(42)の前記縁部マーキング(21、24)を前記第2の直線(44)の第1の端部マーキング(21)及び第2の端部マーキング(24)に割り当てるようにさらに適合され、前記直線経路(42)の一方の端部に配置された前記共通のマーキング(21)は、前記第1の端部マーキング(21)として選択され、及び他方の縁部マーキング(24)は、前記第2の端部マーキング(24)として選択されることを特徴とする、請求項11に記載の装置。
  13. 前記評価ユニット(91)は、前記キャプチャされた画像(92)において画像領域(50)を画定し、及び2次元の画像座標を有するさらなるマーキング(20)が、前記キャプチャされた画像(92)において前記画像領域(50)に配置されているかどうかを検査するようにさらに適合されることを特徴とする、請求項12又は3~6のいずれか一項に記載の装置。
  14. 前記評価ユニット(91)は、前記少なくとも5つのマーキング(21、22、23、24、25)のうちの4つで第1の事前の方向及び位置検出を実行し、及び前記マーキングユニット(10、11)の前記事前に決定された方向及び位置に基づいて、前記キャプチャされた画像(92)において、前記5つのマーキング(21、22、23、24、25)の第5のものの予想される画像座標を決定し、及び前記予想される画像座標を、実際に割り当てられる画像座標と比較するようにさらに適合されることを特徴とする、請求項11~13のいずれか一項に記載の装置。
  15. 前記評価ユニット(91)は、数値最適化によって前記方向及び位置の検出を改善するようにさらに適合されることを特徴とする、請求項1~14のいずれか一項に記載の装置。
  16. 前記評価ユニット(91)は、前記通信要素(31)と前記2つのマーキング(21、24)の一方との間の距離から前記マーキングユニット(10、11)の前記識別情報を決定するようにさらに適合され、前記距離は、前記第2の直線(44)上の前記2つのマーキング(21、24)間の距離に正規化されることを特徴とする、請求項1~15のいずれか一項に記載の装置。
  17. コンピュータプログラムであって、請求項1~16のいずれか一項に記載の装置(1)内の前記評価ユニット(91)を、前記評価ユニット(91)のプロセッサが前記コンピュータプログラムのプログラムコードを実行するように構成されるとき、請求項8~10のいずれか一項に記載の措置を実行するように適合させるためのコンピュータプログラ
JP2022576810A 2020-06-25 2021-01-19 マーキングの方向及び位置を検出するための装置並びにコンピュータプログラム製品 Active JP7566047B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE202020103679.3 2020-06-25
DE202020103679.3U DE202020103679U1 (de) 2020-06-25 2020-06-25 Vorrichtung zur Lage- und Positionserkennung von Markierungen und Computerprogrammprodukt
PCT/EP2021/051087 WO2021259523A1 (de) 2020-06-25 2021-01-19 Vorrichtung zur lage- und positionserkennung von markierungen und computerprogrammprodukt

Publications (2)

Publication Number Publication Date
JP2023541758A JP2023541758A (ja) 2023-10-04
JP7566047B2 true JP7566047B2 (ja) 2024-10-11

Family

ID=71739410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022576810A Active JP7566047B2 (ja) 2020-06-25 2021-01-19 マーキングの方向及び位置を検出するための装置並びにコンピュータプログラム製品

Country Status (7)

Country Link
US (1) US11815345B2 (ja)
EP (1) EP4172556B1 (ja)
JP (1) JP7566047B2 (ja)
KR (1) KR20230026482A (ja)
CN (1) CN115769045B (ja)
DE (1) DE202020103679U1 (ja)
WO (1) WO2021259523A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020118407A1 (de) 2020-07-13 2022-01-13 Soft2Tec Gmbh Vorrichtung und Verfahren zur Lage- und Positionserkennung von Markierungen im dreidimensionalen Raum
DE102022121541A1 (de) 2022-08-25 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Fahrerloses Transportsystem
FR3143397A1 (fr) 2022-12-16 2024-06-21 Etablissements Georges Renault Procédé de vissage et de contrôle en ligne d’opérations de vissage
DE102023109398A1 (de) 2023-04-14 2024-10-17 Soft2Tec Gmbh Verfahren zur Herstellung einer formstabilen Schutzabdeckung für eine Markiervorrichtung und Markiervorrichtung mit Schutzabdeckung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075726A (ja) 1999-08-02 2001-03-23 Lucent Technol Inc 三次元オブジェクトの動きを制御するための6つの自由度を持つコンピュータ入力装置
JP2010025759A (ja) 2008-07-18 2010-02-04 Fuji Xerox Co Ltd 位置計測システム
US20140104169A1 (en) 2011-05-04 2014-04-17 Eberhard Karls Universitaet Teubingen Method for Determining the Relative Position of an Object in an Area, and Optical Input System
DE202014011390U1 (de) 2014-09-01 2019-12-11 Hochschule RheinMain University of Applied Sciences Wiesbaden Rüsselsheim Geisenheim System sowie Computerprogramm zur Positions- und Lagebestimmung von Objekten

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227985A (en) 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
NO301999B1 (no) 1995-10-12 1998-01-05 Metronor As Kombinasjon av laser tracker og kamerabasert koordinatmåling
JP3659813B2 (ja) * 1998-08-28 2005-06-15 大和製罐株式会社 マーク識別方法および装置
US6973202B2 (en) 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
SE517445C2 (sv) * 1999-10-01 2002-06-04 Anoto Ab Positionsbestämning på en yta försedd med ett positionskodningsmönster
SG115546A1 (en) 2003-06-23 2005-10-28 Affineon Technologies Pte Ltd Computer input device tracking six degrees of freedom
ES2246447T3 (es) 2003-07-17 2006-02-16 Axios 3D Services Gmbh Localizador y sistema optico de medicion.
WO2006069748A1 (de) 2004-12-23 2006-07-06 Ife Industrielle Forschung Und Entwicklung Gmbh Vorrichtungen zur vermessung eines objektes und verfahren zur verwendung einer derartigen vorrichtung
DE202006020719U1 (de) 2006-01-25 2009-08-27 Axios 3D Services Gmbh Positionsbestimmungssystem
JP5127820B2 (ja) 2006-04-20 2013-01-23 ファロ テクノロジーズ インコーポレーテッド カメラ利用標的座標計測方法
JP4530011B2 (ja) 2007-09-12 2010-08-25 富士ゼロックス株式会社 位置計測システム
CN101526987B (zh) * 2008-03-06 2013-07-31 财团法人工业技术研究院 利用盲文编码图案的区域识别系统
JP2011047830A (ja) * 2009-08-27 2011-03-10 Fuji Xerox Co Ltd 位置計測システム、位置計測用演算装置およびプログラム
DE102010003850A1 (de) * 2010-04-12 2011-10-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Nachführung einer Position einer Objektmarkierung
CN101975552A (zh) * 2010-08-30 2011-02-16 天津工业大学 一种基于编码点与计算机视觉的车架的关键点测量方法
US9179182B2 (en) * 2011-04-12 2015-11-03 Kenneth J. Huebner Interactive multi-display control systems
NL2009196A (en) * 2011-08-25 2013-02-27 Asml Netherlands Bv Position measurement system, lithographic apparatus and device manufacturing method.
US8908181B2 (en) * 2012-06-28 2014-12-09 Taiwan Semiconductor Manufacturing Company, Ltd. Overlay mark and method of measuring the same
EP2728375A1 (de) * 2012-10-31 2014-05-07 Leica Geosystems AG Verfahren und Vorrichtung zur Bestimmung einer Orientierung eines Objekts
CN103336985B (zh) * 2013-07-12 2016-07-06 深圳大学 二维码识别、识读和微缩制版的方法及装置
CN104083217B (zh) * 2014-07-03 2016-08-17 北京天智航医疗科技股份有限公司 一种手术定位装置以及机器人手术系统
DE102014012693B4 (de) 2014-09-01 2019-11-14 Hochschule RheinMain University of Applied Sciences Wiesbaden Rüsselsheim Geisenheim System und Verfahren sowie Computerprogramm zur Positions-und Lagebestimmung von Objekten
CN106152937B (zh) * 2015-03-31 2019-10-25 深圳超多维科技有限公司 空间定位装置、系统及其方法
DE102015013551B4 (de) 2015-10-20 2021-04-29 Hochschule RheinMain University of Applied Sciences Wiesbaden Rüsselsheim Geisenheim System und Verfahren zur Positions-und Lagebestimmung von Objekten
CN109000582B (zh) * 2018-03-15 2021-07-02 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
DE102019114531B4 (de) 2019-05-29 2021-06-17 Soft2Tec Gmbh Vorrichtung zur Lage- und Positionserkennung von Markierungen im dreidimensionalen Raum
AU2020303722A1 (en) * 2019-06-28 2022-01-27 Mako Surgical Corp. Tracker-based surgical navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075726A (ja) 1999-08-02 2001-03-23 Lucent Technol Inc 三次元オブジェクトの動きを制御するための6つの自由度を持つコンピュータ入力装置
JP2010025759A (ja) 2008-07-18 2010-02-04 Fuji Xerox Co Ltd 位置計測システム
US20140104169A1 (en) 2011-05-04 2014-04-17 Eberhard Karls Universitaet Teubingen Method for Determining the Relative Position of an Object in an Area, and Optical Input System
DE202014011390U1 (de) 2014-09-01 2019-12-11 Hochschule RheinMain University of Applied Sciences Wiesbaden Rüsselsheim Geisenheim System sowie Computerprogramm zur Positions- und Lagebestimmung von Objekten

Also Published As

Publication number Publication date
US20230196610A1 (en) 2023-06-22
EP4172556C0 (de) 2024-03-27
DE202020103679U1 (de) 2020-07-06
JP2023541758A (ja) 2023-10-04
KR20230026482A (ko) 2023-02-24
CN115769045B (zh) 2024-05-17
EP4172556B1 (de) 2024-03-27
WO2021259523A1 (de) 2021-12-30
CN115769045A (zh) 2023-03-07
US11815345B2 (en) 2023-11-14
EP4172556A1 (de) 2023-05-03

Similar Documents

Publication Publication Date Title
JP7566047B2 (ja) マーキングの方向及び位置を検出するための装置並びにコンピュータプログラム製品
US6724930B1 (en) Three-dimensional position and orientation sensing system
CN102773862B (zh) 用于室内移动机器人的快速精确定位系统及其工作方法
US7847844B2 (en) Information processing apparatus and method for determining whether a detected index is an index included in sensed image data
WO2004011876A1 (en) Apparatus and method for automatically arranging three dimensional scan data using optical marker
CN101033958A (zh) 一种机器视觉定位方法
CN106092086A (zh) 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法
JP2018507407A5 (ja)
US20080188016A1 (en) Die detection and reference die wafermap alignment
CN106403926B (zh) 一种定位方法和系统
CN106600649A (zh) 一种基于二维标记码的相机自标定方法
KR100502560B1 (ko) 광학식 마커를 이용한 3차원 측정 데이터 자동 정렬장치및 그 방법
US11620809B2 (en) Robust fiducial marker for flexible surfaces
CN114494316A (zh) 角点标记方法、参数标定方法、介质及电子设备
JP3684799B2 (ja) 移動体の停止位置ズレ量検出装置
JP2014109466A (ja) 対象物移動装置、方法、プログラム、及び記録媒体
CN114782535B (zh) 工件位姿识别方法、装置、计算机设备及存储介质
WO2017160248A1 (en) A fiducial marker, method for forming the fiducial marker, and system for sensing thereof
KR100241088B1 (ko) 전자광학식으로 포착가능한 인식표 및 그 포착을 위한 신호처리방법
JP7576153B2 (ja) 3次元空間内の標識の配向及び位置検出のためのデバイス及び方法
Lee et al. An optimal sensing strategy for recognition and localization of 3D natural quadric objects
JP2562047B2 (ja) 対象物体の位置姿勢認識方法
KR100932498B1 (ko) 물체의 위치 추적 시스템에서 위치정보 획득이 용이한적외선 표식 식별 방법 및 그 시스템
JP2897612B2 (ja) ワーク検出方法
CN113379846B (zh) 基于方向指示标志点标定模板的转台转轴标定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20230209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241001

R150 Certificate of patent or registration of utility model

Ref document number: 7566047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150