JP2018124107A

JP2018124107A - 計測装置及び計測方法

Info

Publication number: JP2018124107A
Application number: JP2017015110A
Authority: JP
Inventors: 健太郎戸倉; Kentaro Tokura; 永元　直樹; Naoki Nagamoto; 直樹永元; 孝夫掛橋; Takao Kakehashi; 基博池原; Motohiro Ikehara; 英昭内山; Hideaki Uchiyama
Original assignee: Kyushu University NUC; Sumitomo Mitsui Construction Co Ltd
Current assignee: Kyushu University NUC; Sumitomo Mitsui Construction Co Ltd
Priority date: 2017-01-31
Filing date: 2017-01-31
Publication date: 2018-08-09

Abstract

【課題】ＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）を用いた計測をより高精度に行うことができるようにする計測装置及び計測方法を提供する。【解決手段】大きさ及び／又は位置関係が既知の複数のマーカを計測対象物に取り付ける。そのマーカをカメラで順次撮影する。複数の３次元点を撮影したときのカメラに映る３次元点の画像座標のうち、相対的位置関係が既知の３次元点（マーカ）を利用して、制限付き最適化を行って、３次元点の３次元座標とカメラの位置姿勢とを算出する。【選択図】図１

Description

本発明は、複数のマーカを撮影するカメラを備えた計測装置及び計測方法に関する。

従来、ＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）を行うための計測装置（３次元位置計測装置）及び計測方法（３次元位置計測方法）については種々のものが提案されていた（例えば、特許文献１参照）。

そして、これらの計測装置や計測方法にはバンドル調整なる手法が利用されていた。その手法は、一般に知られているように、３次元点ｉの３次元座標をＸｉとし、カメラｊの３次元位置及び姿勢をＰｊとし、該カメラｊの画像に写る３次元点ｉの画像座標をｘｉｊとし、前記３次元点Ｘｉをカメラｊの画像に投影する関数をｆとした場合に、下式を最小化するＰｊとＸｉを算出するという手法である。

特開２０１１−０４３４１９号公報

しかしながら、上述のようなＳＬＡＭを用いた計測をより高精度に行いたいというニーズがあった。

本発明は、上述の問題を解消することのできる計測装置及び計測方法を提供することを目的とするものである。

本発明の第１の観点は、図１に例示するものであって、大きさ及び／又は位置関係が既知の複数のマーカ（１）を順次撮影するカメラ（ｊ）と、
３次元点ｉの３次元座標をＸｉとし、３次元点ｍの３次元座標をＸｍとし、３次元点ｎの３次元座標をＸｎとし、カメラ（ｊ）の位置姿勢をＰｊとし、カメラ（ｊ）に映る３次元点ｉの画像座標をｘｉｊとし、３次元点Ｘｉをカメラ（ｊ）の画像に投影する関数をｆとし、３次元点ｎと３次元点ｍの相対的位置関係をＣ_ｎｍとし、該相対的位置関係が既知の場合はｅ_ｎｍ＝１とし、該相対的位置関係が既知でない場合はｅ_ｎｍ＝０として、次の式（１）と式（２）を同時に制限付き最適化の枠組みで最小化してＰｊとＸｉとを算出する算出手段（６）と、
を備えたことを特徴とする計測装置（７）に関する。

本発明の第２の観点は、図２に例示するものであって、前記相対的位置関係は、大きさが既知のマーカ（１）において４隅のうちの２つの隅の間の距離、又は２つのマーカ（１）間の距離が分かっている場合において該マーカ（１）間の距離であることを特徴とする。

本発明の第３の観点は、大きさ及び／又は位置関係が既知の複数のマーカ（１）を計測対象物（２）に取り付ける工程と、
該マーカ（１）をカメラ（ｊ）で撮影する工程と、
３次元点ｉの３次元座標をＸｉとし、３次元点ｍの３次元座標をＸｍとし、３次元点ｎの３次元座標をＸｎとし、カメラ（ｊ）の位置姿勢をＰｊとし、カメラ（ｊ）に映る３次元点ｉの画像座標をｘｉｊとし、３次元点Ｘｉをカメラ（ｊ）の画像に投影する関数をｆとし、３次元点ｎと３次元点ｍの相対的位置関係をＣ_ｎｍとし、該相対的位置関係が既知の場合はｅ_ｎｍ＝１とし、該相対的位置関係が既知でない場合はｅ_ｎｍ＝０として、次の式（３）と式（４）を同時に制限付き最適化の枠組みで最小化してＰｊとＸｉとを算出する工程と、を備えたことを特徴とする計測方法に関する。

本発明の第４の観点は、前記相対的位置関係は、大きさが既知のマーカ（１）において４隅のうちの２つの隅の間の距離、又は２つのマーカ（１）間の距離が分かっている場合において該マーカ（１）間の距離であることを特徴とする。

なお、括弧内の番号などは、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。

上記した第１乃至４の観点によれば、単にバンドル調整を用いたときよりも高精度に計測をすることができる。

図１は、本発明に係る計測装置及び計測方法を説明するためのブロック図である。図２は、マーカの配置状態の一例を示す平面図である。図３は、本発明に用いるマーカの構成の一例を示す平面図である。

以下、図１乃至図３に沿って、本発明の実施の形態について説明する。

本発明に係る計測装置は、図１に符号７で例示するものであって、
・複数のマーカ１を順次撮影するカメラｊと、
・該カメラｊの位置姿勢Ｐｊと３次元点ｉの３次元座標Ｘｉとを算出する算出手段６と、
を備えている。

ここで、前記カメラｊで撮影される複数のマーカ１は、大きさが既知か、マーカどうしの位置関係が既知か、大きさ及びマーカどうしの位置関係が既知である。また、前記算出手段６は、３次元点ｍの３次元座標をＸｍとし、３次元点ｎの３次元座標をＸｎとし、カメラｊの３次元位置と姿勢をＰｊとし、カメラｊに映る３次元点ｉの画像座標をｘｉｊとし、３次元点Ｘｉをカメラｊの画像に投影する関数をｆとし、３次元点ｎと３次元点ｍの相対的位置関係をＣ_ｎｍとし、該相対的位置関係が既知の場合はｅ_ｎｍ＝１とし、該相対的位置関係が既知でない場合はｅ_ｎｍ＝０として、次の式（１）と式（２）を同時に制限付き最適化の枠組みで最小化してＰｊとＸｉとを算出するように構成されている。つまり、２点間の距離「Ｘｎ−Ｘｍ」は本来はＣｎｍなので、下式（２）が最小になるように計算すると精度が良くなるということである。

ここで、前記相対的位置関係としては次のものを挙げることができる。すなわち、
・マーカ１のサイズが既知の場合は、該マーカ１の４隅のうちの２つの隅の間の距離（つまり、該マーカ１の一辺の長さや対角線の長さ）
・取り付ける２つのマーカ間の距離が既知の場合（例えば、２つのマーカを１枚の紙に同時に印刷してそれらのマーカ間の距離が分かっている場合や、別々の紙に印刷した２つのマーカであってもそれらのマーカ間の距離（例えば、マーカの中心間の距離）を作業者が実測した場合）は該マーカ間の距離

本発明に係る計測方法は、
・大きさ及び／又は位置関係が既知の複数のマーカを計測対象物２に取り付ける工程と、
・該マーカをカメラで撮影する工程と、
・３次元点ｉの３次元座標をＸｉとし、３次元点ｍの３次元座標をＸｍとし、３次元点ｎの３次元座標をＸｎとし、カメラｊの位置姿勢をＰｊとし、カメラｊに映る３次元点ｉの画像座標をｘｉｊとし、３次元点Ｘｉをカメラｊの画像に投影する関数をｆとし、３次元点ｎと３次元点ｍの相対的位置関係をＣ_ｎｍとし、該相対的位置関係が既知の場合はｅ_ｎｍ＝１とし、該相対的位置関係が既知でない場合はｅ_ｎｍ＝０として、次の式（３）と式（４）を同時に制限付き最適化の枠組みで最小化してＰｊとＸｉとを算出する工程と、
を備えている。

つまり、上式（４）においてｅｎｍは、３次元点ｎと３次元点ｍの相対的位置関係が既知の場合は１で、該相対的位置関係が既知でない場合には０とされるので、上式（４）は、該相対的位置関係が既知の場合に制約として設計されることとなる。すなわち、本発明に係る計測方法は、従来のバンドル調整の上記（３）式に、前記相対的位置関係を既知とした制約を追加して上述のようにＰｊとＸｉとを算出するものである。

上記の（１）式だけでも３次元座標をＸｉは求まるが、本発明によれば、上記（２）式も同時に計算するためカメラｊの位置や姿勢（つまり、上式のＰｉｊ）や３次元点ｉの３次元座標をＸｉを高精度で求めることができる。

例えば、図２に例示するように、一辺の長さが２０ｍｍの２枚のマーカ１を１００００ｍｍ離して配置した場合には、下式を制約に追加すれば良い。

図１に例示するように、様々なところに様々な大きさのマーカ１を配置し、該配置されたマーカ１を手持ちのカメラｊで動かしながら色々な方向から撮影すると良い。それにより、各カメラｊが撮影した画像上で各マーカ１を認識し、それぞれのマーカ１の大きさの情報を使ってＳＬＡＭの最適化によって各マーカ１の３次元位置が随時算出される。

なお、本発明に用いるマーカは、、図３に符号１で例示するように、
・計測用のターゲット１０ａを表示する領域であるターゲット表示領域１０と、
・少なくとも自身のＩＤ情報（つまり、そのマーカ１を他のマーカ１から識別できるマーカ識別情報）をコード画像として表示する領域であるコード画像表示領域１１，１２，１３，１４と、
を備えている。このマーカ１は、何らかの計測対象物２に取り付けて使用するものであって、前記ターゲット１０ａをカメラ（動画や静止画を撮影するカメラ）ｊで撮影して該ターゲット１０ａの位置（２次元位置や３次元位置）を算出することによって該計測対象物２の位置などを特定するためのものである。

このマーカ１はシート状（つまり、可撓性を有する薄板状）であることが好ましいが、もちろんこれに限られるものではなく、シート状以外の形状を排除するものではない。また、このマーカ１を前記計測対象物２に取り付ける方法としては、接着剤などを用いた貼着が好ましいが、貼着以外の他の公知の方法を用いても良い。

なお、図３に示す例では、前記ターゲット１０ａの表示は濃淡模様により行っているが（つまり、黒などの色の濃い部分の複数の角部が一点を指し示すように配置されることにより、その一点でターゲット１０ａを特定しているが）、もちろんこれに限られるものではなく、
・色分け模様によって行うようにしても、
・濃淡模様と色分け模様の両方によって行うようにしても、或いは、
・材質の違い（例えば、反射率の高い部材と反射率の低い部材との配置状態）によって行うようにしても良い。

また、図３に示す例では、前記コード画像の表示は濃淡模様（つまり、バーコードやＱＲコード（登録商標）のように色の濃い部分と色の薄い部分とによって形成された模様）により行っているが、もちろんこれに限られるものではなく、
・色分け模様によって行うようにしても、
・濃淡模様と色分け模様の両方によって行うようにしても、或いは、
・材質の違い（例えば、反射率の高い部材と反射率の低い部材との配置状態）によって行うようにしても良い。また、前記コード画像は、マーカ自身のＩＤ情報だけでなく、その他の情報（例えば、該マーカが取り付けられる計測対象物２の形状や寸法等についての情報）を担持するようにしても良い。さらに、図３に示す例では、コード画像表示領域１１，１２，１３，１４自体やその内部の模様は矩形状（つまり、長方形状や正方形状）をしているが、もちろんこれに限られるものではなく、矩形以外の形状（例えば、円形）をしていても良い。

ところで、上述したコード画像表示領域１１，１２，１３，１４は、前記ターゲット表示領域１０を基準とした所定の位置に配置しておくと良い。つまり、該コード画像表示領域は、前記ターゲット表示領域を基準とした位置であって該ターゲット表示領域を基準とすることによって明確に認識できる位置であればどこの位置に配置しても良い。そのようにした場合には、前記ターゲット表示領域を基準とすることによって前記コード画像表示領域の表示位置を正確に特定でき、該コード画像表示領域が担持するデータを短時間で読み取ることができる。ここで、図３に例示するように、前記ターゲット表示領域１０を、交差するように配置された複数の帯状表示領域１０ｂ，１０ｃにより形成しておき、前記コード画像表示領域１１，１２，１３，１４は、互いに隣接する一対の前記帯状表示領域１０ｂ，１０ｃに挟まれる位置に配置しておいても良い。なお、図３に示す例では、前記コード画像表示領域１１，１２，１３，１４は、交差するように配置された２つの帯状表示領域１０ｂ，１０ｃによって略十字状に形成されているが、もちろんこれに限られるものではなく、略Ｘ字状に形成されても、或いはその他の形状（つまり、３つ以上の帯状表示領域が交差するような形状）に形成されていても良い。また、図３に示す例では、前記コード画像表示領域１１，１２，１３，１４は、前記帯状表示領域１０ｂ，１０ｃに挟まれる位置の全て（つまり、４つの部分）にそれぞれ形成されているが、もちろんこれに限られるものではなく、少なくとも１つの部分に形成されていれば良い。

一方、前記マーカ１を前記計測対象物２に取り付ける作業者が、前記ターゲット表示領域１０や前記コード画像表示領域１１，１２，１３，１４と明確に区別できるマーク（以下、“識別用マーク”とする）４を、前記ターゲット表示領域１０の上方、下方、左方及び右方のうちの少なくとも一方に配置しておくと良い。そのような識別用マーク４を設けた場合には、その作業者は、上下左右が正しくなるように前記マーカ１を前記計測対象物２に取り付けることができる。その結果、計測のための装置（具体的には、前記カメラｊが撮影した画像を解析する装置など）は前記コード画像表示領域１１，１２，１３，１４の表示位置を高速で正確に特定でき、該コード画像表示領域１１，１２，１３，１４が担持するデータを高速で読み取ることができる。なお、図３に示す例では、前記識別用マーク４は色の濃淡の違いによって作業者が識別できるようになっているが、もちろんこれに限られるものではなく、色彩やマーク自体の形状等によって識別できるようにしても良い。

一方、前記マーカ自身の中心（好ましくは、上述したターゲット１０ａの位置）を指し示すと共に前記ターゲット表示領域１０を挟むように表示された補助線（水平線や垂直線）５ａ，５ｂ，５ｃ，５ｄを設けておくと良い。そのようにした場合には、前記マーカ自身の水平や垂直やマーカの中心を作業者が容易に知ることができ、作業者は該マーカ１を計測対象物２に適切な状態（つまり、適切な位置や姿勢）に取り付けることができる。

本発明によれば、単にバンドル調整を用いたときよりも高精度に計測をすることができる。

１マーカ
６算出手段
７計測装置
ｊカメラ

Claims

大きさ及び／又は位置関係が既知の複数のマーカを順次撮影するカメラと、
３次元点ｉの３次元座標をＸｉとし、３次元点ｍの３次元座標をＸｍとし、３次元点ｎの３次元座標をＸｎとし、カメラｊの位置姿勢をＰｊとし、カメラｊに映る３次元点ｉの画像座標をｘｉｊとし、３次元点Ｘｉをカメラｊの画像に投影する関数をｆとし、３次元点ｎと３次元点ｍの相対的位置関係をＣ_ｎｍとし、該相対的位置関係が既知の場合はｅ_ｎｍ＝１とし、該相対的位置関係が既知でない場合はｅ_ｎｍ＝０として、次の式（１）と式（２）を同時に制限付き最適化の枠組みで最小化してＰｊとＸｉとを算出する算出手段と、
を備えたことを特徴とする計測装置。
前記相対的位置関係は、大きさが既知のマーカにおいて４隅のうちの２つの隅の間の距離、又は２つのマーカ間の距離が分かっている場合において該マーカ間の距離である、
ことを特徴とする請求項１に記載の計測装置。
大きさ及び／又は位置関係が既知の複数のマーカを計測対象物に取り付ける工程と、
該マーカをカメラで撮影する工程と、
３次元点ｉの３次元座標をＸｉとし、３次元点ｍの３次元座標をＸｍとし、３次元点ｎの３次元座標をＸｎとし、カメラｊの位置姿勢をＰｊとし、カメラｊに映る３次元点ｉの画像座標をｘｉｊとし、３次元点Ｘｉをカメラｊの画像に投影する関数をｆとし、３次元点ｎと３次元点ｍの相対的位置関係をＣ_ｎｍとし、該相対的位置関係が既知の場合はｅ_ｎｍ＝１とし、該相対的位置関係が既知でない場合はｅ_ｎｍ＝０として、次の式（３）と式（４）を同時に制限付き最適化の枠組みで最小化してＰｊとＸｉとを算出する工程と、
を備えたことを特徴とする計測方法。
前記相対的位置関係は、大きさが既知のマーカにおいて４隅のうちの２つの隅の間の距離、又は２つのマーカ間の距離が分かっている場合において該マーカ間の距離である、
ことを特徴とする請求項３に記載の計測方法。