JP4944633B2

JP4944633B2 - 三次元形状計測装置及び三次元形状計測方法

Info

Publication number: JP4944633B2
Application number: JP2007025380A
Authority: JP
Inventors: 敦忠中辻; 学小林
Original assignee: NEC Engineering Ltd
Current assignee: NEC Engineering Ltd
Priority date: 2007-02-05
Filing date: 2007-02-05
Publication date: 2012-06-06
Anticipated expiration: 2027-02-05
Also published as: JP2008190990A

Description

本発明は、三次元形状計測装置及び三次元形状計測方法に関し、特に、短時間で三次元形状を計測することのできる装置及び方法に関する。

物体の三次元形状を非接触で計測するための方法が数多く提案されており、その中の１つとして、正弦波格子位相シフト法が知られている。この正弦波格子位相シフト法は、概略以下のようにして行われる。

図７に示すように、正弦波状に濃淡パターンが印刷されている格子７１を通して、光源７２から物体７３に対して正弦波状の輝度分布を持つ光パターンを投影し、物体７３上の縞パターンを上記の光源７２とは別のところに設置されたカメラ７４で撮影する。物体７３を静止させたままで、格子７１を縞と直角方向へと、波長の１／ＮずつＮ回ずらしながら画像を撮影して行く。例えば、縞パターンの位相がπ／２ずつずれるように格子７１を駆動しながら、位相が１周期分移動するまでの間に４回の撮影を行ったとすると、図８に示すように、物体７３の表面上の計測対象点Ｐについて、４つの輝度値Ｉｐ₍₀₎、Ｉｐ₍π_/2)、Ｉｐ₍π₎、Ｉｐ₍₃π_/2)を得ることができる。それらの輝度値を下記の数式３に代入することにより、計測対象点Ｐに投射される光の位相φを求めることができる。ここに、数式３中の（ｘ、ｙ）は、計測対象点Ｐの横方向及び縦方向の座標値である。

求められた位相φは、図７に示すように、計測対象点Ｐに到達する光が格子７１のどの部分を通過するかを表すため、計測対象点Ｐへの光の投射角度βに対応した値となる。計測対象点Ｐについての位相φを求めた後は、求めた位相値と、カメラ７４及び光源７２間の距離Ａと、物体７３を撮影したときの撮影角度αとを用い、三角測量の原理によって、計測対象点Ｐまでの距離Ｚを求める。その後は、他の計測対象点についても、上記の処理を実行して距離Ｚを求め、これにより、物体７３の表面形状を特定することが可能となる。

上述したように、計測対象点Ｐに投射される光の位相φは、数式３を用いて求めることができるが、ｔａｎ^-1が周期２πの周期関数であるため、数式３によって導かれる位相値φは、０〜２πのうちの何れかの値しか取り得ない。このため、例えば、実際の位相値φが７π／２であったとしても、数式３によって導かれる位相値φは、３π／２となり、周期２πの整数倍の不定性を残したものとなる。

そこで、例えば、特許文献１には、基本の周期の正弦波と、その基本の周期の２倍の周期の正弦波とを足し合わせた濃淡パターンを有する光（図９参照）を物体に投射し、基本の周期の濃淡パターンの光に対応する位相値φ₁と、２倍の周期の濃淡パターンの光に対応する位相値φ₂とを求め、位相値φ₂を参照しながら位相値φ₁を位相接続することにより、位相値φ₁の不定性を取り除くようにした三次元形状計測装置が提案されている。

特許第３１９９０４１号公報

しかしながら、上記の三次元形状計測装置においては、異なる周期の濃淡パターンを足し合わせた光を物体に投射するため、計測対象点までの距離を求めるには、物体に投射された光を、基本周期の光に相当する分と、基本周期の２倍の周期の光に相当する分とに分離する必要がある。このため、三次元形状の計測に際し、高度な数学的手法が必要となり、演算処理時間が長期化するという問題があった。

そこで、本発明は、上記従来の技術における問題点に鑑みてなされたものであって、演算時間を短縮し、短時間で三次元形状を計測することが可能な三次元形状計測装置及び三次元形状計測方法を提供することを目的とする。

上記目的を達成するため、本発明は、物体に正弦波状の光パターンを投射するとともに、前記光パターンが投射された物体を撮影し、その撮影画像に基づいて前記物体の三次元形状を計測する三次元形状計測装置であって、第１波長を有する第１光パターン及び前記第１波長より長い第２波長を有する第２光パターンの各々を前記物体に投射する投射手段と、前記第１及び第２光パターンが投射された物体を撮影する撮影手段と、前記撮影手段で撮影された画像に基づいて前記第１及び第２光パターンの相対位相を前記画像を構成する画素毎に算出する位相算出手段と、予め作成され、距離と対応付けて前記第１及び第２光パターンの相対位相テーブル値が各画素の座標毎に記録されたテーブルと、前記位相算出手段によって算出された前記第１及び第２光パターンの相対位相を用いて前記テーブルを参照し、前記物体までの距離を求める距離導出手段とを備え、前記距離導出手段は、計測対象点を示す着目画素の座標と同一座標に対応付けられた前記第１及び第２光パターンの相対位相テーブル値を前記テーブルから読み出し、前記第１及び第２光パターンの相対位相の組み合わせと同一の組み合わせを有する前記第１及び第２光パターンの相対位相テーブル値を検索することを特徴とする。

そして、本発明によれば、第１及び第２光パターンの相対位相値の算出後、テーブル中に記録されている第１及び第２光パターンの相対位相値のうちから、算出した第１及び第２光パターンの相対位相値と同じ組み合わせのものを検索するのみで、物体までの距離を導き出すことができるため、極めて簡単な処理で距離を求めることができ、物体の三次元形状を迅速に計測することが可能となる。

上記三次元形状の計測装置において、前記第２波長を、前記第１波長の非整数倍にすることができ、これによれば、計測可能な距離が短く制限されるのを回避することができる。

また、本発明は、物体に正弦波状の光パターンを投射するとともに、前記光パターンが投射された物体を撮影し、その撮影画像に基づいて前記物体の三次元形状を計測する三次元形状計測方法であって、第１波長を有する第１光パターンと、前記第１波長より長い第２波長を有する第２光パターンとを前記物体に投射するステップと、前記第１及び第２光パターンが投射された物体を撮影するステップと、撮影された画像に基づいて前記第１及び第２光パターンの相対位相を前記画像を構成する画素毎に算出するステップと、予め作成され、距離と対応付けて前記第１及び第２光パターンの相対位相テーブル値が各画素の座標毎に記録されたテーブルを、前記第３ステップで算出した前記第１及び第２光パターンの相対位相を用いて参照し、前記物体までの距離を求めるステップとを有し、前記物体までの距離を求めるステップは、計測対象点を示す着目画素の座標と同一座標に対応付けられた前記第１及び第２光パターンの相対位相テーブル値を前記テーブルから読み出し、前記第１及び第２光パターンの相対位相の組み合わせと同一の組み合わせを有する前記第１及び第２光パターンの相対位相テーブル値を検索することを特徴とする。本発明によれば、前記発明と同様に、極めて簡単な処理で距離を求めることができ、物体の三次元形状を迅速に計測することが可能となる。

上記三次元形状の計測方法において、前記第２波長を、前記第１波長の非整数倍にすることができ、これによれば、計測可能な距離が短く制限されるのを回避することができる。

以上のように、本発明によれば、演算時間を短縮し、短時間で三次元形状を計測することが可能となる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明にかかる三次元形状計測装置１の一実施の形態を示す全体構成図である。この三次元形状計測装置１は、投射手段及び撮影手段を各々１つずつ備える単眼式の三次元形状計測装置であり、所定の濃度分布を有する光（以下、「光パターン」という）を物体２に投射するプロジェクタ３と、光パターンが投射された物体２を撮影するカメラ４と、プロジェクタ３及びカメラ４の制御や各種の演算処理を行う制御部５から構成される。

プロジェクタ３は、所定の強度の光を発する光源３ａと、正弦波状の濃淡パターンを表示し、光源３ａからの光を正弦波状に変調する正弦波格子３ｂから構成される。正弦波格子３ｂは、例えば、画素単位で反射ミラーのオン／オフを制御できるＤＭＤ(Digital Micro-mirror Device)や、画素単位で光透過率を制御できる液晶パネル等から構成され、濃淡パターンのパターン間隔、すなわち、正弦波の波長を電子的に変化させたり、濃淡パターンの位相を電子的にシフトさせることが可能である。

本実施の形態においては、物体２に光パターンを投射する際に、正弦波格子３ｂの濃淡パターンのパターン間隔が制御され、基本の周期を有する正弦波状の光パターン（以下、「短波長の光パターン」という）２０と、光パターン２０の周期より長い周期を有する正弦波状の光パターン（以下、「長波長の光パターン」という）３０との２種類の光パターンが投射される。尚、長波長の光パターン３０は、その波長が短波長の光パターン２０の波長の整数倍とならないように設定される。

また、短波長の光パターン２０及び長波長の光パターン３０の各光パターンを投射する際には、正弦波格子３ｂに表示される濃淡パターンの位相が制御され、各光パターンの位相がπ／２ずつシフトされる。

制御部５は、図２に示すように、カメラ４の動作を制御するカメラ制御部１０と、プロジェクタ３の動作を制御するプロジェクタ制御部１１と、カメラ４から出力される画像信号を取り込む画像取込部１２と、後述するテーブル１３ａ等を記憶する記憶部１３と、位相値を算出する位相算出部１４と、テーブル１３ａを参照して物体２までの距離を求める距離導出部１５と、三次元データを生成する三次元データ生成部１６とを備える。

画像取込部１２は、プロジェクタ３の位相シフト動作に同期して、カメラ４から出力される１画面分の画像信号を取り込み、記憶部１３に記憶する。本実施の形態においては、光パターンの位相シフト量が０、π／２、π、３π／２、２πとなる各タイミングで、画像信号が取り込まれる。

位相算出部１４は、画像取込部１２によって取り込まれた画像信号に基づいて、位相値を算出する。位相値の算出は、短波長の光パターン２０が投射されたときと、長波長の光パターン３０が投射されたときとの各々において、画素毎に行われる。短波長の光パターン２０が投射されたときの位相値φ₁は、以下の数式１によって算出され、長波長の光パターン３０が投射されたときの位相値φ₂は、以下の数式２によって算出される。

ここに、（ｘ、ｙ）は、画素の横方向及び縦方向の座標値であり、Ｉ₁、Ｉ₂は、その画素の輝度値である。また、Ｎ₁、Ｎ₂は、位相シフトのシフト回数であり、ｔ₁、ｔ₂は、位相シフトのシフト量である。

上記のようにして算出される位相値φ₁、φ₂は、何れも、周期２πの整数倍の不定性を有するが、以下の説明においては、不定性を有する位相値を「相対位相値」と称する。また、位相シフトさせた短波長の光パターン２０を投射し、その撮影画像から得られる相対位相値を「短波長の相対位相値」と称し、位相シフトさせた長波長の光パターン３０を投射し、その撮影画像から得られる相対位相値を「長波長の相対位相値」と称する。

距離導出部１５は、位相算出部１４で算出された相対位相値φ₁、φ₂を用いて、記憶部１３に記憶されたテーブル１３ａを参照し、基準点Ｊから計測対象点Ｐまでの距離Ｚ（図１参照）を導き出す。

図３は、テーブル１３ａの一例を示す模式図であり、図４は、テーブル１３ａの作成方法を概念的に示す図である。図３に示すように、テーブル１３ａには、複数の距離テーブル４０ａ、４０ｂ・・・４０ｋが設けられ、各距離テーブル４０には、短波長の相対位相値φ₁及び長波長の相対位相値φ₂が記録される。以下、テーブル１３ａに記録される相対位相値φ₁、φ₂を、三次元形状の計測時に算出される相対位相値φ₁、φ₂と区別するため、相対位相テーブル値Ｔφ₁、Ｔφ₂と称する。

テーブル１３ａは、三次元形状の計測に先立ち、短波長の相対位相値φ₁及び長波長の相対位相値φ₂を各々サンプリングすることによって、作成されるものである。テーブル１３ａの作成にあたっては、まず、プロジェクタ３及びカメラ４間の距離、並びに、それらの設置角度を、実際の三次元形状の計測時と同じ状態に固定し、平坦面を有する平板を所定の基準位置（距離Ｚ₀）に設置して、短波長の光パターンを投射する。そして、位相をπ／２ずつシフトさせながら、画像を撮影し、各画素について、短波長の相対位相値φ₁（Ａ₀）を算出する。次いで、平板の位置を変えずに、長波長の光パターンを投射し、上記と同様にして、長波長の相対位相値φ₂（Ｂ₀）を算出する。

次いで、算出した短波長及び長波長の相対位相値φ₁（Ａ₀）、φ₂（Ｂ₀）を、距離Ｚ₀の距離テーブル４０ａに、短波長及び長波長の相対位相テーブル値Ｔφ₁（Ａ₀）、Ｔφ₂（Ｂ₀）として記録する。このとき、短波長及び長波長の相対位相テーブル値Ｔφ₁、Ｔφ₂は、各画素の座標と対応付けて記録し、また、２つの位相値を別個に記録するのではなく、対にしてセットで記録する。

その後、平板を奥行き方向に所定量だけ移動させて、基準位置から平板までの距離をＺ₁に設定し、上記と同様にして、各画素について、相対位相値φ₁（Ａ₁）、φ₂（Ｂ₁）を求める。そして、距離Ｚ₁の距離テーブル４０ｂに、求めた相対位相テーブル値Ｔφ₁、Ｔφ₂を記録する。以後、平板を所定の移動量で奥行き方向に移動させながら、順次、距離Ｚ₂、Ｚ₃・・・Ｚ_kでの相対位相テーブル値Ｔφ₁、Ｔφ₂を求め、各距離の距離テーブル４０に記録して行く。尚、テーブル１３ａ中に、相対位相テーブル値Ｔφ₁、Ｔφ₂を、どの程度の距離まで記録するかは、計測対象範囲をどの程度の大きさに設定するか、計測対象物の形状、大きさなどに応じて、適宜決定することができる。

次に、上記の三次元形状測定装置１を用いた三次元形状の計測方法について説明する。

物体２の三次元形状を計測するにあたっては、まず、光パターンの位相シフト量を０にした状態で、短波長の光パターン２０を物体２に投射し、カメラ４から出力される画像信号を取り込む（ステップＳ１）。次いで、光パターンの位相をπ／２、π、３π／２、２πだけ順次シフトさせた状態で、短波長の光パターン２０を物体２に投射し、各位相シフト量での画像信号を取り込む（ステップＳ２）。

次いで、光パターンの位相シフト量が０のときに取り込んだ画像信号と、光パターンの位相をπ／２、π、３π／２、２πだけシフトさせたときに取り込んだ画像信号とから、短波長の光パターン２０を投射したときの相対位相値φ₁を算出する（ステップＳ３）。このとき、相対位相値φ₁は、画素毎に算出し、画素座標と対応付けて記憶部１３に記憶する。

次いで、長波長の光パターン３０を物体２に投射し、光パターンの位相シフト量を０にしたときの画像信号、及び光パターンの位相をπ／２、π、３π／２、２πだけシフトさせたときの画像信号を各々取り込む（ステップＳ４、Ｓ５）。そして、取り込んだ各画像信号に基づき、長波長の光パターン３０を投射したときの相対位相値φ₂を画素単位で算出し、記憶部１３に記憶する（ステップＳ６）。

次いで、１画面を構成する複数の画素の中から１つの画素を着目画素（計測対象点）として選択するとともに（ステップＳ７）、選択した画素の相対位相値φ₁、φ₂を記憶部１３から読み出す（ステップＳ８）。次に、テーブル１３ａを参照し、テーブル１３ａ中に記録されている相対位相テーブル値Ｔφ₁、Ｔφ₂のセットのうちから、相対位相値φ₁、φ₂と同じ組み合わせのものを検索する（ステップＳ９）。このとき、テーブル１３ａ中のすべての相対位相テーブル値Ｔφ₁、Ｔφ₂を参照するのではなく、着目画素の座標と同じ座標の相対位相テーブル値Ｔφ₁、Ｔφ₂のみを読み出し、その中から同じ組み合わせのものを検索する。

次いで、検索したセットが記録されている距離テーブル４０の距離Ｚを読み出し、読み出した距離Ｚを計測対象点の奥行き座標として認定する（ステップＳ１０）。

計測対象点の奥行き座標の取得後は、奥行き座標を取得していない画素（計測対象点）が残っているか否かを判定し（ステップＳ１１）、未取得の画素が存在すれば、その中から１つの画素を着目画素として選択する（ステップＳ１２）。そして、上記と同様にして、奥行き座標を取得し（ステップＳ８〜Ｓ１０）、以後、奥行き座標を取得していない画素が無くなるまで、ステップＳ８〜Ｓ１２の処理を繰り返す。

物体２の表面上のすべての計測対象点について奥行き座標を取得し、奥行き座標を取得していない画素が無くなれば、取得した奥行き座標と、各計測対象点の縦方向の座標及び横方向の座標とを統合し、物体２の三次元形状を示す三次元データを生成する（ステップＳ１３）。

以上説明したように、本実施の形態においては、平板までの距離Ｚと対応付けて、相対位相テーブル値Ｔφ₁、Ｔφ₂を記録したテーブル１３ａを予め作成し、物体２の三次元形状を計測する際には、そのテーブル１３ａを用いて計測対象点Ｐの奥行き座標を求める。このため、相対位相値φ₁、φ₂の算出後は、テーブル１３ａ中に記録されている相対位相テーブル値Ｔφ₁、Ｔφ₂のセットのうちから、算出した相対位相値φ₁、φ₂と同じ組み合わせのセットを検索するのみで、距離Ｚを導き出すことができる。従って、極めて簡単な処理で計測対象点Ｐの奥行き座標を求めることができ、物体２の三次元形状を迅速に計測することが可能となる。

また、本実施の形態においては、長波長の光パターン３０の波長が、短波長の光パターン２０の波長の整数倍にならないように設定されるため、図６に示すように、長波長の光パターン３０の１周期目の始点から終点までの区間Ｌ₁と、２周期目の始点から終点までの区間Ｌ₂とで、短波長の相対位相値φ₁と長波長の相対位相値φ₂との組み合わせパターンが異なる。このため、例えば、長波長の相対位相値φ₂が同じπの場合でも、区間Ｌ₂の短波長の相対位相値φ₁は、区間Ｌ₁の短波長の相対位相値φ₁と異なる値になり、従って、計測可能な距離が長波長の光パターン３０の１周期分の距離に限定されるのを回避することができる。

本発明にかかる三次元計測装置の一実施の形態を示す全体構成図である。図１の制御部を示す構成図である。図１のテーブルを示す模式図である。テーブルの作成方法を概念的に示す図である。図１の三次元計測装置の動作を説明するフローチャートである。短波長の相対位相と長波長の相対位相との関係を示す波形図である。従来の三次元形状計測装置の一例を示す全体構成図である。従来の三次元形状計測装置の動作を説明する波形図である。従来の三次元形状計測装置で用いられる光パターンを示す波形図である。

符号の説明

１三次元形状計測装置
２物体
３プロジェクタ
３ａ光源
３ｂ正弦波格子
４カメラ
５制御部
１０カメラ制御部
１１プロジェクタ制御部
１２画像取込部
１３記憶部
１３ａテーブル
１４位相算出部
１５距離導出部
１６三次元データ生成部
２０短波長の光パターン
３０長波長の光パターン
４０（４０ａ〜４０ｃ、４０ｋ）距離テーブル

Claims

物体に正弦波状の光パターンを投射するとともに、前記光パターンが投射された物体を撮影し、その撮影画像に基づいて前記物体の三次元形状を計測する三次元形状計測装置であって、
第１波長を有する第１光パターン及び前記第１波長より長い第２波長を有する第２光パターンの各々を前記物体に投射する投射手段と、
前記第１及び第２光パターンが投射された物体を撮影する撮影手段と、
前記撮影手段で撮影された画像に基づいて前記第１及び第２光パターンの相対位相を前記画像を構成する画素毎に算出する位相算出手段と、
予め作成され、距離と対応付けて前記第１及び第２光パターンの相対位相テーブル値が各画素の座標毎に記録されたテーブルと、
前記位相算出手段によって算出された前記第１及び第２光パターンの相対位相を用いて前記テーブルを参照し、前記物体までの距離を求める距離導出手段とを備え、
前記距離導出手段は、計測対象点を示す着目画素の座標と同一座標に対応付けられた前記第１及び第２光パターンの相対位相テーブル値を前記テーブルから読み出し、前記第１及び第２光パターンの相対位相の組み合わせと同一の組み合わせを有する前記第１及び第２光パターンの相対位相テーブル値を検索することを特徴とする三次元形状計測装置。
前記第２波長が、前記第１波長の非整数倍であることを特徴とする請求項１に記載の三次元形状計測装置。
物体に正弦波状の光パターンを投射するとともに、前記光パターンが投射された物体を撮影し、その撮影画像に基づいて前記物体の三次元形状を計測する三次元形状計測方法であって、
第１波長を有する第１光パターンと、前記第１波長より長い第２波長を有する第２光パターンとを前記物体に投射するステップと、
前記第１及び第２光パターンが投射された物体を撮影するステップと、
撮影された画像に基づいて前記第１及び第２光パターンの相対位相を前記画像を構成する画素毎に算出するステップと、
予め作成され、距離と対応付けて前記第１及び第２光パターンの相対位相テーブル値が各画素の座標毎に記録されたテーブルを、前記第３ステップで算出した前記第１及び第２光パターンの相対位相を用いて参照し、前記物体までの距離を求めるステップとを有し、
前記物体までの距離を求めるステップは、計測対象点を示す着目画素の座標と同一座標に対応付けられた前記第１及び第２光パターンの相対位相テーブル値を前記テーブルから読み出し、前記第１及び第２光パターンの相対位相の組み合わせと同一の組み合わせを有する前記第１及び第２光パターンの相対位相テーブル値を検索することを特徴とする三次元形状計測方法。
前記第２波長が、前記第１波長の非整数倍であることを特徴とする請求項３に記載の三次元形状計測方法。