JP2022128087A

JP2022128087A - 計測システム及び計測プログラム

Info

Publication number: JP2022128087A
Application number: JP2021026414A
Authority: JP
Inventors: 博昭中村; Hiroaki Nakamura
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2021-02-22
Filing date: 2021-02-22
Publication date: 2022-09-01
Anticipated expiration: 2041-02-22
Also published as: DE102021210256A1; CN114979618B; US20220270272A1; CN114979618A; US11645771B2; JP7570944B2

Abstract

【課題】リアルタイム処理にも対応できる計測システム及び計測プログラムを提供すること。【解決手段】計測システムは、第１の算出部と、抽出部と、第２の算出部と、表示制御部とを有する。第１の算出部は、計測対象の各点までの深度である深度情報を計測対象の画像とともに計測するように構成されたカメラの位置及び姿勢を表す第１の情報を、計測対象に設けられたマーカを基準にして算出する。抽出部は、第１の情報に基づき、計測対象の３次元形状を表す第１の３次元形状情報からカメラの撮像範囲に相当する第２の３次元形状情報を抽出する。第２の算出部は、深度情報と第２の３次元形状情報とを比較し、深度情報と第２の３次元形状情報との比較結果に基づいてカメラの位置及び姿勢を表す第２の情報を算出する。表示制御部は、第２の情報に基づいて第２の３次元形状情報と深度情報との比較結果に関わる情報を表示装置に表示する。【選択図】図１

Description

実施形態は、計測システム及び計測プログラムに関する。

同一の計測対象に係る２つの点群のデータのマッチング手法の１つとして、ＩＣＰ(Iterative Closest Point)手法が知られている。ＩＣＰ手法等のマッチング手法は、例えば部品の組付けが正しく行われていることを確認するための画像の比較処理に適用され得る。

特開２０１９－１０１９８７号公報

ここで、ＩＣＰ手法等のマッチング手法では、点群の数が多いときには、処理時間が増大しやすい。このため、ＩＣＰ手法等のマッチング手法が単純に部品組付けシステムに適用されてしまうと、計測の際のリアルタイム性が損なわれる可能性がある。

実施形態は、リアルタイム処理にも対応できる計測システム及び計測プログラムを提供する。

一態様の計測システムは、第１の算出部と、抽出部と、第２の算出部と、表示制御部とを有する。第１の算出部は、計測対象の各点までの深度である深度情報を計測対象の画像とともに計測するように構成されたカメラの位置及び姿勢を表す第１の情報を、計測対象に設けられたマーカを基準にして算出する。抽出部は、第１の情報に基づき、計測対象の３次元形状を表す第１の３次元形状情報からカメラの撮像範囲に相当する第２の３次元形状情報を抽出する。第２の算出部は、深度情報と第２の３次元形状情報とを比較し、深度情報と第２の３次元形状情報との比較結果に基づいてカメラの位置及び姿勢を表す第２の情報を算出する。表示制御部は、第２の情報に基づいて第２の３次元形状情報と深度情報との比較結果に関わる情報を表示装置に表示する。

図１は、第１の実施形態に係る計測システムの一例の構成を示すブロック図である。図２は、計測システムのハードウェア構成の一例を示す図である。図３は、第１の実施形態における計測システムの動作を示すフローチャートである。図４は、交差領域の概念を示す図である。図５Ａは、表示処理の一例を示す図である。図５Ｂは、表示処理の一例を示す図である。図５Ｃは、表示処理の一例を示す図である。図６は、第２の実施形態に係る計測システムの一例の構成を示すブロック図である。図７は、第２の実施形態における計測システムの動作を示すフローチャートである。図８は、誘導処理について示すフローチャートである。図９Ａは、３次元オブジェクトの表示例を示す図である。図９Ｂは、３次元オブジェクトの表示例を示す図である。

以下、図面を参照して実施形態を説明する。
［第１の実施形態］
図１は、第１の実施形態に係る計測システムの一例の構成を示すブロック図である。図１に示す計測システム１は、部品の組付けシステムにおける計測に用いられ得る。計測システム１の計測対象は、例えば装置Ｄに組付けられる部品ｐである。計測対象である部品ｐは、例えば組付けシステムによって機械的に装置Ｄに組付けられる。組付けシステムの構成は特に限定されるものではない。部品ｐは、例えば人によって装置Ｄに組付けられてもよい。

実施形態における計測システム１は、カメラ２によって計測される装置Ｄの３次元形状の情報と予め用意されている装置Ｄの３次元形状を表す情報とを比較し、その比較結果をユーザに提示する。ユーザは、例えば装置Ｄに対して部品ｐの組付けが正しく実施されているかを確認する作業員である。

図１に示すように、計測システム１は、第１の算出部１１と、抽出部１２と、形状データベース（ＤＢ）１３と、第２の算出部１４と、表示制御部１５とを有している。計測システム１は、カメラ２と通信できるように構成されている。計測システム１とカメラ２との通信は、無線で行われてもよいし、有線で行われてもよい。また、計測システム１は、表示装置３と通信できるように構成されている。計測システム１と表示装置３との通信は、無線で行われてもよいし、有線で行われてもよい。

カメラ２は、例えばユーザによって把持され、計測対象の深度情報を計測対象の画像とともに計測するように構成されたカメラである。深度情報は、カメラ２から装置Ｄの表面の各点までの距離の情報である。ここで、カメラ２による深度情報の計測は、例えば２眼の赤外光の投光及び受光によって実施され得る。しかしながら、深度情報の計測は、これに限るものではない。深度情報は、例えばＬｉＤＡＲ（Light Detecting and Ranging)方式で計測されてもよい。また、カメラ２は、ＲＧＢ－Ｄカメラであってもよい。ＲＧＢ－Ｄカメラは、ＲＧＢ－Ｄ画像を計測できるように構成されたカメラである。ＲＧＢ－Ｄ画像は、深度画像（Depth image)とカラー画像（RGB color image）を含む。深度画像は、計測対象の各点の深度を画素の値として有する画像である。カラー画像は、計測対象の各点のＲＧＢ値を画素の値として有する画像である。カメラ２は、必ずしもカラー画像ではなく、グレースケールの画像を計測できるカメラであってもよい。

表示装置３は、液晶ディスプレイ及び有機ＥＬディスプレイといった表示装置である。表示装置３は、計測システム１から転送されたデータに基づいて各種の画像を表示する。

第１の算出部１１は、装置Ｄに予め配置されているマーカＭを基準にして、装置Ｄを撮影したカメラ２の位置及び姿勢を表す第１の情報を算出する。マーカＭは、装置Ｄの予め定められた位置に予め定められた向きで配置される、サイズが既知のマーカである。例えば、マーカＭは、互いに直交する２辺が装置Ｄの面において予め定められたＸ軸及びＹ軸と平行であり、法線が装置Ｄの面において予め定められたＺ軸と平行であるように装置Ｄの所定の位置に配置される。マーカＭは、例えばＡＲ（Augmented Reality)マーカであり、カメラ２によって取得された画像から認識され得る。２つ以上のマーカＭが装置Ｄの１つの面に配置されてもよい。また、マーカＭは、装置Ｄの２つ以上の面に配置されていてもよい。

抽出部１２は、第１の情報に基づき、形状ＤＢ１３に記憶されている計測対象の既知の３次元形状情報のうち、カメラ２の深度情報の撮像範囲に相当する３次元形状情報を抽出する。後で説明するように、深度情報の撮像範囲は、カメラ２を基準とした四角錐状の範囲である。

形状ＤＢ１３は、計測対象の既知の３次元形状情報を記憶している。既知の３次元形状情報は、計測対象を含む装置Ｄの３ＤＣＡＤ（Computer Aided Design)による設計図面データ等であってよい。既知の３次元形状情報は、設計図面データに限らず、任意の点群のデータ又は点群のデータに変換できるデータであってよい。また、形状ＤＢ１３は、計測システム１の外部に設けられていてもよい。この場合、計測システム１の抽出部１２は、必要に応じて形状ＤＢ１３から情報を取得する。また、既知の３次元形状情報は、形状ＤＢ１３に登録されることなく、ユーザによって計測システム１に入力されてもよい。

第２の算出部１４は、カメラ２によって計測された深度情報と抽出部１２によって抽出された３次元形状情報との比較をする。具体的には、第２の算出部１４は、深度情報から生成される計測点群のデータと３次元形状情報を構成する点群のデータとを比較し、両点群のデータのマッチングをすることで、第１の情報よりも高精度のカメラ２の位置及び姿勢を表す第２の情報を算出する。点群のデータのマッチングは、ＩＣＰ（Iterative Closest Point)手法、ＣＰＤ(Coherent Point Drift)手法等を用いて実施され得る。

表示制御部１５は、第２の情報に基づき、第２の算出部１４における形状の比較結果に関わる情報を表示装置３に表示する。形状の比較結果に関わる情報は、例えばカメラ２によって計測された点群に基づく画像に形状ＤＢ１３に記憶されている計測対象の点群に基づく画像が重ねられた画像である。表示制御部１５は、例えば高精度のカメラ２の位置及び姿勢に基づいて、カメラ２で計測された画像にカメラ２で計測された深度情報から得られる点群を対応付けて計測対象の３次元モデルを生成する。そして、表示制御部１５は、生成した計測対象の３次元モデルに既知の３次元形状情報に基づく３次元モデルを重ねて表示装置３に表示する。

図２は、計測システム１のハードウェア構成の一例を示す図である。計測システム１は、パーソナルコンピュータ（ＰＣ）、タブレット端末等の各種の端末装置であり得る。図２に示すように、計測システム１は、プロセッサ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ストレージ１０４と、入力インタフェース１０５と、通信装置１０６とをハードウェアとして有している。

プロセッサ１０１は、計測システム１の全体的な動作を制御するプロセッサである。プロセッサ１０１は、例えばストレージ１０４に記憶されているプログラムを実行することによって、第１の算出部１１と、抽出部１２と、第２の算出部１４と、表示制御部１５として動作する。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit)である。プロセッサ１０１は、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit)、ＡＳＩＣ（Application Specific Integrated Circuit)、ＦＰＧＡ（Field Programmable Gate Array）等であってもよい。プロセッサ１０１は、単一のＣＰＵ等であってもよいし、複数のＣＰＵ等であってもよい。

ＲＯＭ（Read Only Memory）１０２は、不揮発性のメモリである。ＲＯＭ１０２は、計測システム１の起動プログラム等を記憶している。ＲＡＭ（Random Access Memory）１０３は、揮発性のメモリである。ＲＡＭ１０３は、例えばプロセッサ１０１における処理の際の作業メモリとして用いられる。

ストレージ１０４は、例えばハードディスクドライブ、ソリッドステートドライブといったストレージである。ストレージ１０４は、計測プログラム等のプロセッサ１０１によって実行される各種のプログラムを記憶している。また、ストレージ１０４は、形状ＤＢ１３を記憶し得る。形状ＤＢ１３は、必ずしもストレージ１０４に記憶されている必要はない。

入力インタフェース１０５は、タッチパネル、キーボード、マウス等の入力装置を含む。入力インタフェース１０５の入力装置の操作がされた場合、操作内容に応じた信号がプロセッサ１０１に入力される。プロセッサ１０１は、この信号に応じて各種の処理を行う。

通信装置１０６は、計測システム１がカメラ２及び表示装置３といった外部の機器と通信するための通信装置である。通信装置１０６は、有線通信のための通信装置であってもよいし、無線通信のための通信装置であってもよい。

次に第１の実施形態における計測システム１の動作を説明する。図３は、第１の実施形態における計測システム１の動作を示すフローチャートである。図３の処理は、プロセッサ１０１によって実行される。ここで、以下では、カメラ２は、ＲＧＢ－Ｄカメラであり、また、既知の３次元形状情報は、装置Ｄの３ＤＣＡＤデータである例が説明される。しかしながら、前述したように、カメラ２はＲＧＢ－Ｄカメラでなくてもよく、また、既知の３次元形状情報も装置Ｄの３ＤＣＡＤデータでなくてもよい。

ステップＳ１において、プロセッサ１０１は、計測対象の部品ｐを含む装置ＤのＲＧＢ－Ｄ画像をカメラ２から取得する。

ステップＳ２において、プロセッサ１０１は、カメラ２から取得されたカラー画像からマーカＭを検出する。プロセッサ１０１は、カメラ２から取得されたカラー画像を例えばグレースケールの画像に変換し、グレースケールの画像をさらに白黒の２値画像に変換し、この白黒の２値画像を予め記憶されているマーカＭのパターンと比較することでマーカＭを検出する。マーカＭの検出手法は、これに限るものではない。

ステップＳ３において、プロセッサ１０１は、カメラ２の位置及び姿勢を算出する。プロセッサ１０１は、カラー画像において検出されたマーカＭの位置、サイズ、向きからカメラ２の位置及び姿勢を算出する。マーカＭは、装置Ｄの予め定められた位置に予め定められた向きで配置されている。カラー画像におけるマーカＭの位置、サイズ及び向きから、装置Ｄに対するカメラ２の位置及び姿勢が算出され得る。例えば、カラー画像におけるマーカＭの位置及びサイズからカメラ２からマーカＭまでの距離、すなわちカメラ２の位置が算出され得る。また、カラー画像におけるマーカＭの各辺（各軸）の傾きから装置Ｄに対するカメラ２の傾き、すなわちカメラ２の姿勢が算出され得る。

ステップＳ４において、プロセッサ１０１は、３ＤＣＡＤデータの座標変換をする。具体的には、プロセッサ１０１は、例えばストレージ１０４から装置Ｄの３ＤＣＡＤデータを取得する。そして、プロセッサ１０１は、算出したカメラ２の位置及び姿勢に基づいて、３ＤＣＡＤデータにおける各点の座標の値をカメラ２の座標系での値に変換する。例えば、プロセッサ１０１は、カメラ２の位置及び姿勢に基づいて算出される変換行列を３ＤＣＡＤデータにおける各点の座標の値に適用することで、３ＤＣＡＤデータにおける各点の座標を平行移動及び回転させる。

ステップＳ５において、プロセッサ１０１は、３ＤＣＡＤデータにおける点群とカメラ２の撮像範囲との交差領域を判定する。図４は、交差領域の概念を示す図である。奥行き方向も考えた場合、カメラ２の撮像範囲は、カメラ２の光軸周りに形成される四角錐状の範囲で表される。例えば、図４の点Ｃの位置にカメラ２があるとしたとき、カメラ２の撮像範囲ｒは、点Ｃを頂点とし、カメラ２の光軸を垂線とする四角錐状の範囲である。交差領域は、四角錐状の撮像範囲ｒと３ＤＣＡＤデータを構成する点群との重なる領域である。ここで、カメラ２の位置及び姿勢が既知であり、また、カメラ２の撮影時の画角又は焦点距離が既知であるとすると、四角錐状の撮像範囲ｒはカメラ２の座標系での値で表され得る。ステップＳ５において、プロセッサ１０１は、四角錐状の撮像範囲ｒのうち、３ＤＣＡＤデータの点群の座標の値を含む範囲を交差領域と判定する。ここで、カメラ２の位置及び姿勢の算出誤差が考慮されると、交差領域は、さらに多少のマージン領域を有していてもよい。

ステップＳ６において、プロセッサ１０１は、３ＤＣＡＤデータのうちの交差領域に含まれる３ＤＣＡＤデータを抽出する。カメラ２は、撮像範囲内の深度情報を計測している。したがって、深度情報から生成される計測点群のデータもカメラ２の撮像範囲内のデータに限定される。このため、３ＤＣＡＤデータもカメラ２の撮像範囲内のデータがあれば十分である。実施形態では、点群のマッチングの処理時間の短縮化のために３ＤＣＡＤデータがカメラ２の撮像範囲に応じて制限される。

ステップＳ７において、プロセッサ１０１は、抽出した３ＤＣＡＤデータを構成する点群のデータと深度情報から生成される計測点群のデータとをマッチングすることでカメラ２の高精度の位置及び姿勢を算出する。計測点群のデータは、深度情報とカラー画像データとをＩＣＰ手法、ＣＰＤ手法等を用いて位置合わせしてから合成することで生成され得る。実施形態では、３ＤＣＡＤデータの点群の数が撮像範囲に応じて制限されているので、マッチングが短時間で完了することが期待される。

ステップＳ８において、プロセッサ１０１は、カメラ２で計測された深度情報に基づく計測対象の３次元画像と３ＤＣＡＤデータに基づく計測対象の３次元画像とを重ねて表示装置３に表示する。その後、プロセッサ１０１は、図３の処理を終了させる。

図５Ａ、図５Ｂ、図５Ｃは、ステップＳ８の表示処理の一例を示す図である。ここで、図５Ａは、３ＤＣＡＤデータに基づく計測対象の画像の一例を示す。また、図５Ｂは、カメラ２で計測された深度情報に基づく計測対象の画像の一例を示す。また、図５Ｃは、ステップＳ８において実際に表示される画像の一例を示す。図５Ａの画像は、例えば３ＤＣＡＤデータにテクスチャを貼り付けることで生成される。また、図５Ｂの画像は、例えば計測点群のデータにテクスチャ又はカラー画像データを貼り付けることで生成される。図５Ｃの画像は、例えば図５Ａの画像と図５Ｂの画像を重ね合わせ、差異のある箇所を強調することで生成され得る。図５Ａの画像と図５Ｂの画像との位置合わせは、ステップＳ８におけるマッチング結果に基づいて実施され得る。また、強調表示は、例えば差異のある箇所の色を変える、差異に応じた濃淡をつける、差異のある箇所を示す枠等を表示するといった種々の手法で行われ得る。

図５Ａは、設計上では、部品ｐは、ボルト締めされることを示している。これに対し、図５Ｂで示すように、組付けの完了後に計測された画像では、部品ｐは、ボルト締めされていない。このため、図５Ｃに示すように比較結果を表す画像では、部品ｐは色付けされて表示される。ユーザは、図５Ｃの画像を見ることで部品ｐの組付けが正しく行われていないことを認識し得る。

ここで、図３の処理に加えて、カメラ２で計測された深度情報及びカラー画像がストレージ１０４に記憶されてもよい。このような深度情報及びカラー画像は、部品組付けの確認作業のエビデンスにもなり得る。

以上説明したように、第１の実施形態によれば、カメラ２の撮像範囲に応じてカメラ２の深度情報から生成される計測点群に対する比較対象である３次元形状情報における点群が制限される。カメラ２で計測できない範囲の点群はマッチングに用いられる必要がないので、予め３次元形状情報の点群が制限されることにより、マッチングの処理時間が短縮され得る。このため、第１の実施形態の計測システム１は、リアルタイム処理にも対応できる。

また、カメラ２で計測される計測点群の密度と既知の３次元形状情報の点群の密度とが異なる場合があり得る。この場合において、比較される両点群の範囲が異なると、特徴量次第では適切な位置でのマッチングが行われない可能性が生じる。第１の実施形態では、計測点群と比較対象の点群の範囲が同等になるように比較対象の点群が制限されるので、マッチングの誤差の抑制にも繋がる。

［第２の実施形態］
次に、第２の実施形態を説明する。図６は、第２の実施形態に係る計測システムの一例の構成を示すブロック図である。ここで、図６において、図１と同様の要素については、図１と同様の参照符号が付されている。この図１と同様の要素についての説明は、適宜に省略又は簡略化する。

図６に示す計測システム１は、誘導部１６をさらに有している。誘導部１６は、第１の算出部１１で算出された第１の情報を受け取る。そして、誘導部１６は、カメラ２の位置及び姿勢が深度情報の取得に適する状態となるようにユーザを誘導するための処理を行う。この処理は、例えば、次の計測対象を示す画像を生成する処理である。次の計測対象を示す画像は、例えば計測対象を模擬した３次元オブジェクトであり得る。

第２の実施形態の表示制御部１５は、誘導部１６によって生成された画像を表示装置３に表示する。

第２の実施形態における計測システム１のハードウェア構成は、基本的には図２と同様でよい。第２の実施形態においては、プロセッサ１０１は、誘導部１６としても動作し得る。

次に第２の実施形態における計測システム１の動作を説明する。図７は、第２の実施形態における計測システム１の動作を示すフローチャートである。図７の処理は、プロセッサ１０１によって実行される。ここで、図７において、図３と同様の処理については図３と同様の参照符号が付されている。図３と同様の参照符号が付されている処理の説明は、適宜に省略又は簡略化する。

ステップＳ１－Ｓ４までの処理は図３と同様である。ステップＳ４において、３ＤＣＡＤデータの座標変換をした後のステップＳ１１において、プロセッサ１０１は、誘導処理を実施する。誘導処理の後、処理はステップＳ１２に移行する。誘導処理は、ユーザの誘導のための３次元オブジェクトを表示装置３に表示する処理である。以下、誘導処理について説明する。図８は、誘導処理について示すフローチャートである。

ステップＳ２１において、プロセッサ１０１は、誘導のための次の計測対象の３次元オブジェクトを生成する。３次元オブジェクトは、計測対象の形状を模擬した３次元モデルである。例えば、計測対象が装置Ｄに組付けられる部品ｐである場合、３次元オブジェクトは、部品ｐの形状を模擬した３次元モデルであり得る。このような３次元オブジェクトは、例えばストレージ１０４に予め記憶されていてよい。この場合、プロセッサ１０１は、次の計測対象に相当する３次元オブジェクトをストレージ１０４から取得する。

ステップＳ２２において、プロセッサ１０１は、次の計測対象の３次元オブジェクトを例えばカメラ２によって計測される装置Ｄのカラー画像に重畳する。３次元オブジェクトの重畳位置は、装置Ｄのカラー画像における次の計測対象の位置である。ステップＳ３の処理によって、マーカＭを基準とした装置Ｄに対するカメラ２の位置及び姿勢が算出されている。このカメラ２の位置及び姿勢から、カラー画像における次の計測対象の位置が特定され得る。ここで、カラー画像に重畳される３次元オブジェクトは、装置Ｄに対するカメラ２の姿勢に応じて回転されることが望ましい。また、ステップＳ２２では、次の計測対象の３次元オブジェクトは、カメラ２によって計測されるカラー画像に重畳されるとしている。しかしながら、これに限るものではない。次の計測対象の３次元オブジェクトは、カメラ２によって計測される深度画像に重畳されてもよいし、ストレージ１０４に記憶されている３ＤＣＡＤデータに重畳されてもよい。すなわち、３次元オブジェクトは、ユーザが次の計測対象の位置及び撮影方向を認識できる任意の画像に重畳されてよい。

ステップＳ２３において、プロセッサ１０１は、３次元オブジェクトが重畳された装置Ｄのカラー画像を表示装置３に表示する。その後、プロセッサ１０１は、図８の処理を終了させて処理を図７に戻す。

図９Ａ及び図９は、３次元オブジェクトの表示例を示す図である。図９Ａ及び図９Ｂに示すように、３次元オブジェクトＯは、次の計測対象の部品ｐｎの位置に重畳される。図９Ａ及び図９Ｂの画像を見ることにより、ユーザは、次の計測対象の位置がどこか、及び次の計測対象をどこから撮影すればよいかを認識することができる。ユーザは、例えば図９Ａの画像を見たときに、３次元オブジェクトＯが別の部品に重なっていることから、次の計測対象の部品ｐｎが他の部品によって隠れてしまっていることを認識する。この場合、ユーザは、図９Ｂのような画像が撮影されるようにカメラ２の撮影方向を変えることを検討し得る。

ここで、図８の処理に加えて、３次元オブジェクトが重畳されたカラー画像がストレージ１０４に記憶されてもよい。このようなカラー画像は、部品組付けの確認作業のエビデンスにもなり得る。

ここで、図７の説明に戻る。誘導処理の後のステップＳ１２において、プロセッサ１０１は、カメラ２の撮像範囲が適切であるか否かを判定する。ステップＳ１２において、カメラ２の撮像範囲が適切であると判定されたときには、処理はステップＳ５に移行する。ステップＳ１２において、カメラ２の撮像範囲が適切でないと判定されたときには、処理はステップＳ１に戻る。この場合、ユーザは、表示装置３に表示される画像を見ながらカメラ２の撮影方向を変えて再び計測対象の部品の撮影を実施する。

ステップＳ１２の判定について説明する。カメラ２の撮像範囲が適切であるか否かは、次の計測対象についての十分な点群が取得される撮像範囲であるか否かによって判定される。例えば、図９Ａでは、次の計測対象である部品ｐｎが他の部品によって隠れてしまっている。他の部品によって隠れている部分については点群が得られない。このような場合には、撮像範囲が適切でないと判定される。したがって、例えば、ステップＳ１２では、計測対象の部品ｐと３次元オブジェクトＯとの重複範囲が閾値以下であるときに撮像範囲が適切であると判定され得る。また、ステップＳ１２において、重複範囲が閾値以下であるか否かの判定に加えて、計測対象の部品ｐのカラー画像におけるサイズが閾値以上であるときに撮像範囲が適切であると判定されてもよい。

ステップＳ１２において、処理がステップＳ５に移行した後は、プロセッサ１０１は、第１の実施形態と同様にして処理を実施する。ステップＳ５－Ｓ８の処理の説明については省略する。

以上説明したように第２の実施形態では、マーカＭを基準とした装置Ｄに対するカメラ２の位置及び姿勢に基づき、カメラ２の位置及び姿勢が深度情報の取得に適する状態となるようにユーザを誘導するための処理が実施される。これにより、適切な位置及び姿勢での撮影が実施され、結果として計測点群と既知の３次元形状情報における点群とのマッチングの際の誤差が抑制され得る。

また、第２の実施形態では、次の計測対象の部品を示す３次元オブジェクトが例えばカラー画像に重畳表示される。これにより、部品組付けの確認作業が予め定められた順序に従って実施されるようにユーザが誘導され得る。

［変形例］
第１の実施形態及び第２の実施形態の変形例を説明する。第１の実施形態及び第２の実施形態において、計測システム１は、部品の組付けシステムにおける計測に用いられるとされている。これに対し、第１の実施形態及び第２の実施形態に係る計測システムは、カメラ２によって計測された深度情報に基づく第１の点群データと、第１の点群データよりも広い範囲で分散している第２の点群データとのマッチングが実施される任意の計測システムに対して適用され得る。この場合において、プロセッサ１０１は、第２の点群データからカメラ２の撮像範囲との交差領域の点群データを抽出する。

また、第１の実施形態及び第２の実施形態において、マーカＭは、ＡＲマーカであるとされている。これに対し、カメラ２の位置及び姿勢を算出することができるマーカであれば、必ずしも画像認識を伴うＡＲマーカが用いられる必要はない。例えば、マーカＭとして、光マーカといった他のマーカも用いられ得る。光マーカは、投光素子と受光素子の組み合わせによって認識が行われるマーカである。装置Ｄの面上に３組以上の光マーカが配置されることで、装置Ｄに対するカメラ２の位置及び姿勢が算出され得る。この他、２次元コード、バーコード、チェッカーボード等もマーカＭとして用いられ得る。

また、第１の実施形態及び第２の実施形態において、カメラ２は、計測システム１と一体的に構成されていてもよい。この場合において、カメラ２の位置及び姿勢の制御が計測システム１によって実施されてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１計測システム、２カメラ、３表示装置、１１第１の算出部、１２抽出部、１３形状データベース（ＤＢ）、１４第２の算出部、１５表示制御部、１６誘導部、１０１プロセッサ、１０２ＲＯＭ、１０３、ＲＡＭ、１０４ストレージ、１０５入力インタフェース、１０６通信装置。

Claims

計測対象の各点までの深度である深度情報を前記計測対象の画像とともに計測するように構成されたカメラの位置及び姿勢を表す第１の情報を、前記計測対象に設けられたマーカを基準にして算出する第１の算出部と、
前記第１の情報に基づき、前記計測対象の３次元形状を表す第１の３次元形状情報から前記カメラの撮像範囲に相当する第２の３次元形状情報を抽出する抽出部と、
前記深度情報と前記第２の３次元形状情報とを比較し、前記深度情報と前記第２の３次元形状情報との比較結果に基づいて前記第１の情報よりも高精度の前記カメラの位置及び姿勢を表す第２の情報を算出する第２の算出部と、
前記第２の情報に基づいて前記第２の３次元形状情報と前記深度情報との比較結果に関わる情報を表示装置に表示する表示制御部と、
を有する計測システム。
前記第１の情報に基づき、前記カメラの位置及び姿勢が前記深度情報の取得に適する状態となるように前記カメラのユーザを誘導する誘導部をさらに有する請求項１に記載の計測システム。
前記誘導部は、前記表示装置に前記計測対象を表すオブジェクトを表示することで前記カメラのユーザを誘導する請求項２に記載の計測システム。
前記マーカは、ＡＲマーカであり、
前記抽出部は、前記カメラで取得された前記計測対象の画像から画像認識によって前記ＡＲマーカを検出する、
請求項１乃至３の何れか１項に記載の計測システム。
前記計測対象の画像は、前記計測対象のカラー画像である請求項４に記載の計測システム。
計測対象の各点までの深度である深度情報を前記計測対象の画像とともに計測するように構成されたカメラの位置及び姿勢を表す第１の情報を、前記計測対象に設けられたマーカを基準にして算出することと、
前記第１の情報に基づき、前記計測対象の３次元形状を表す第１の３次元形状情報から前記カメラの撮像範囲に相当する第２の３次元形状情報を抽出することと、
前記深度情報と前記第２の３次元形状情報とを比較し、前記深度情報と前記第２の３次元形状情報との比較結果に基づいて前記第１の情報よりも高精度の前記カメラの位置及び姿勢を表す第２の情報を算出することと、
前記第２の情報に基づいて前記第２の３次元形状情報と前記深度情報との比較結果に関わる情報を表示装置に表示することと、
をコンピュータに実行させるための計測プログラム。