JP4784396B2 - ３次元形状計測方法及びこれを用いた３次元形状計測装置 - Google Patents

Description

本発明は、位相シフト法(縞走査)により、計測対象物の３次元形状を計測する３次元形状計測方法及びこれを用いた３次元形状計測装置に関するものである。

従来から、計測対象物の３次元形状を計測する方法として、位相シフト法(縞走査)が用いられている。この位相シフト法は、計測対象物に対して、１／２πずつ周期をずらした４組の正弦波の縞模様の光を投影して、これを撮像装置で撮像し、縞模様の位相のずれを解析することにより、計測対象物の高さ情報を求める方法である。

この位相シフト法による３次元形状計測方法は、計測対象物の３次元形状を高速かつ高精度で計測することが可能であるために、部品の検査方法として広く使用されている。

しかしながら、この位相シフト法では、計測対象物に凹凸部分があって、この部分が撮像装置によって撮像できない場合には、この部分の高さ情報を得ることはできなかった。このような場合には、複数の撮像装置を用いることにより、広い範囲において高さ情報を得る計測方法が特許文献１に開示されている。また、計測対象物を移動することにより、広い範囲において高さ情報を得る計測装置が特許文献２に開示されている。
特開２００１−１２９２５号公報 特開平１１−２１１４４３号公報

計測対象物の表面に比較的大きな凹凸部があって、この部分に光が投影されている場合には、撮像装置の位置や計測対象物の位置を照射光に対して変化させることにより、単独の撮像装置では撮像できない部分についても、特許文献１に記載されている計測方法や特許文献２に記載されている計測装置では、このような部分を撮像することが可能となり、この結果として、高さ情報を得ることのできる範囲を拡張することができるようになる。

しかしながら、特許文献１に記載されている計測方法や特許文献２に記載されている計測装置であっても、この位相シフト法では、計測対象物にクラックのような幅の狭い凹部分が存在している場合や、バリのような幅の狭い小片突起物が計測対象物の表面に付着している場合には、この部分では高さが急減に変化しているために、これらの部分の高さ情報を得ることはできなくなるおそれがあった。

つまり、計測対象物の表面にクラックのような幅が狭くて深い凹部がある場合には、計測対象物に光を照射しても、この部分からは照射光は反射されることはない。このために、撮像装置の位置や計測対象物の位置を照射光に対して変化させたとしても、この凹部からは、光が反射されないことには変わりはない。

また、バリのような小片突起物が計測対象物の表面に付着している場合にも、この部分からは光は反射されにくくなり、高さ情報を得ることができない。そして、撮像装置の位置や計測対象物の位置を照射光に対して変化させたとしても、この部分からは、光が反射されにくいことには変わりはない。したがって、従来の位相シフト法では、特許文献１に記載されている計測方法や特許文献２に記載されている計測装置を用いたとしても、計測対象物にクラックのような凹部分がある場合や、バリのような小片突起物が計測対象物の表面に付着している場合には、これらの部分の高さ情報を得ることはできないことがあった。

一方、位相シフト法を用いて、プラスチックや金属製の部品等を製品検査するときに、表面にクラックのような凹部が存在している場合には、この製品は不具合品として廃棄等の処置をすることが必要となる。これに対して、このような部品の表面にバリのような小片突起物が付着している場合には、このバリを除去することで、良品として使用することが可能となる。つまり、製品検査においては、計測対象物の表面に存在するものが凹部か小片突起物を判断することによって、歩留まりを向上することができ、生産性を高めることができる。

本発明は、上記の課題に鑑みなされたものであって、その目的とするところは、計測対象物の表面にあるものが、クラックのような凹部分であるか、バリのような小片突起物が計測対象物の表面に付着しているかを判断できる位相シフト法を提供することにある。

上記課題を解決するために、本発明の３次元形状計測方法は、光の明度が正弦波状に変化する縞パターンを計測対象物に投影し、縞パターンの投影方向と異なる方向から計測対象物を撮像した撮像画像を得る過程を、縞パターンの位相を一定間隔でずらしながら複数回実行し、撮像画像を複数の撮像装置によって撮像画像を撮像することにより、前記複数回の過程で得られた複数枚の撮像画像における同一点での明度変化に基づいて縞パターンの位相値を演算するとともに該位相値から撮像画像上の各点における高さ情報を得ることで計測対象物の３次元形状を計測する３次元形状計測方法において、単独の撮像装置によって撮像された撮像画像からのデータのみでは高さ情報を得ることができない範囲について、複数の撮像装置によって撮像される撮像画像からのデータを比較することにより、高さ情報を得ることを特徴としている。

また、前記複数の撮像装置によって撮像される撮像画像の撮像データを比較して、高さ情報を得ることができない範囲が各々一致している場合には、その範囲の表面に凹部が存在すると判断して、高さ情報を得ることができない範囲が各々一致していない場合には、その範囲に小片突起物が付着していると判断することを特徴としている。

本発明の３次元形状計測方法は、単独の撮像装置によって撮像された撮像画像からのデータのみでは高さ情報を得ることができない範囲について、複数の撮像装置によって撮像される撮像画像からのデータを比較して、高さ情報を得ることができない範囲が各々一致している場合には、その範囲の表面に凹部が存在すると判断して、高さ情報を得ることができない範囲が各々一致していない場合には、その範囲に小片突起物が付着していると判断する。このために、高さ情報を得ることができない範囲であっても、この範囲に凹部が存在するか、小片突起物が付着しているかを知ることが可能となり、計測対象物の検査精度を向上することができる。

（実施形態１）
本実施形態の３次元形状計測方法について図１〜５に基づいて説明する。本発明の３次元形状計測方法は、図１に示すように、計測対象物１と、計測対象物１に光を照射する光照射部５と、計測対象物１を撮像するメイン撮像装置２及び補助撮像装置３と、メイン撮像装置２及び補助撮像装置３からの撮像データを演算する演算部（図示せず）とを用いる。

本実施形態の３次元形状計測方法を以下に説明する。まず、光照射部５から、光の明度が正弦波状に変化する縞パターンを計測対象物１に投影して、この撮像画像をメイン撮像装置２で撮像する。つぎに、縞パターンの位相を一定間隔でずらしながら複数回、光照射部５から光を計測対象物１に照射して、同様にして撮像画像をメイン撮像装置２で撮像する。それぞれの光照射の状態において、メイン撮像装置２から出力される撮像データについて、撮像画像における同一点での明度変化に基づいて縞パターンの位相値を演算部で演算することにより、計測対象物１について計測対象物の高さ情報を得る。

ここで、図１（ａ）に示すように、計測対象物１の表面に、バリやクラックが存在しない場合には、前述したように、メイン撮像装置２のみで撮像した撮像データを演算することにより、 図１（ｂ）に示すような高さ情報図１０を得ることができる。

つぎに、計測対象物１の表面に、バリ７のような小片突起物が付着している場合の３次元形状計測方法について説明する。まず、図２（ａ）に示すように、メイン撮像装置２のみで撮像した撮像データを演算することにより、 図２（ｂ）に示すような高さ情報図１１を得る。このとき、バリ７によって、計測対象物１の表面には、メイン撮像装置２からは、観測不能な範囲Ａが存在する。このために、図２（ｂ）に示すような高さ情報図１１には、高さ情報を得ることができない範囲２１が存在することになる。

この後、図３（ａ）に示すように、メイン撮像装置２のみで撮像したときと同じ状態(縞模様)の光を照射して、補助撮像装置３のみで撮像した撮像データを演算することにより、 図３（ｂ）に示すような高さ情報図１２を得る。このとき、バリ７によって、計測対象物１の表面には、メイン撮像装置２からは、観測不能な範囲Ｂが存在する。このために、図３（ｂ）に示すような高さ情報図１１には、高さ情報を得ることができない範囲２２が存在することになる。

ここで、メイン撮像装置２のみで撮像したときに高さ情報を得ることができない範囲２１と、補助撮像装置３のみで撮像したときに高さ情報を得ることができない範囲２２とを比較する。ここでは、範囲２１と範囲２２の範囲は異なるので、この範囲は、バリのような小片突起物が付着していると判断する。そして、必要に応じて、この計測対象物１をバリ除去工程に搬送して、バリ７を取り除くことにより、良品として出荷することができる。

つぎに、計測対象物１の表面に、クラック８のような幅の狭い凹部が存在している場合の３次元形状計測方法について説明する。まず、図４（ａ）に示すように、メイン撮像装置２のみで撮像した撮像データを演算することにより、 図４（ｂ）に示すような高さ情報図１３を得る。このとき、クラック８からは、照射した光は反射されないために、計測対象物１の表面には、メイン撮像装置２からは、観測不能な範囲Ｃが存在する。このために、図４（ｂ）に示すような高さ情報図１３には、高さ情報を得ることができない範囲２３が存在することになる。

この後、図５（ａ）に示すように、補助撮像装置３のみで撮像した撮像データを演算することにより、図５（ｂ）に示すような高さ情報図１４を得る。このとき、クラック８によって、計測対象物１の表面には、メイン撮像装置２からは、観測不能な範囲Ｄが存在する。このために、図５（ｂ）に示すような高さ情報図１４には、高さ情報を得ることができない範囲２４が存在することになる。

ここで、メイン撮像装置２のみで撮像したときに高さ情報を得ることができない範囲２３と、補助撮像装置３のみで撮像したときに高さ情報を得ることができない範囲２４とを比較する。ここで、クラック８からは、照射した光は反射されないために、撮像装置の位置が異なっても、高さ情報を得ることができない範囲は、同じ範囲となる。つまり、範囲２３と範囲２４の範囲は同じであるので、この範囲は、クラックのような凹部であると判断する。そして、必要に応じて、この計測対象物１は、不具合品として、出荷しないようにする。

本実施形態の３次元形状計測方法によれば、位相シフト法によって、計測対象物の３次元形状を計測して、高さ情報を得ることができない範囲があっても、この範囲がバリのような小片突起物であるか、クラックのような凹部であるかを判断できる。そして、バリのような小片突起物である場合には、これを除去することにより、良品として出荷することができる。また、クラックのような凹部である場合には、不具合品として出荷を停止することができる。このために、高精度の検査が可能となり、製品の歩留まりが向上する。

なお、本実施形態の３次元形状計測方法では、メイン撮像装置のみで撮像して、高さ情報を得ることができない範囲が存在したときのみ、再度補助撮像装置のみで撮像しているが、メイン撮像装置と補助撮像装置とで、同時に撮像して、各々の撮像データを演算して比較してもよい。このように、同時に撮像することにより、検査時間を短縮することができる。

（実施形態２）
本実施形態の３次元形状計測方法を図６に基づいて説明する。本実施形態の３次元形状計測方法の動作原理は、実施形態１とほぼ同じである。ただし、本実施形態で使用する撮像装置として、メイン撮像装置２と補助撮像装置３に追加して、第２補助撮像装置４を有していることが異なっている。

本実施形態の３次元形状計測方法は、実施形態１の方法とほぼ同じである。まず、光照射部（図示せず）から、光の明度が正弦波状に変化する縞パターンを計測対象物１に投影して、この撮像画像をメイン撮像装置２で撮像する。つぎに、縞パターンの位相を一定間隔でずらしながら複数回、光照射部から光を計測対象物１に照射して、同様にして撮像画像をメイン撮像装置２で撮像する。それぞれの光照射の状態において、メイン撮像装置２から出力される撮像データについて、撮像画像における同一点での明度変化に基づいて縞パターンの位相値を演算部で演算することにより、計測対象物１について計測対象物の高さ情報を得る。

つぎに、計測対象物１の表面に、メイン撮像装置２からは、観測不能となる範囲が存在する場合には、同様に光照射部から光を計測対象物１に照射して、補助撮像装置３と、第２補助撮像装置４とでそれぞれ計測対象物１を撮像して演算することにより、計測対象物１について計測対象物の高さ情報を得る。

さらに、メイン撮像装置２のみで撮像したときに高さ情報を得ることができない範囲と、補助撮像装置３又は第２補助撮像装置４のみで撮像したときに高さ情報を得ることができない範囲とを比較する。そして、メイン撮像装置２のみで撮像したときに高さ情報を得ることができない範囲が、補助撮像装置３又は第２補助撮像装置４のみで撮像したときのいずれかの高さ情報を得ることができない範囲と異なる場合には、この範囲をバリのような小片突起物が付着していると判断する。一方、これらの範囲がすべて一致する場合には、この範囲をクラックのような凹部と判断する。

本実施形態の３次元形状計測方法によれば、計測対象物に付着しているバリのような小片突起物が、図６に示すような湾曲しているものであっても、位相シフト法によって、この範囲がバリのような小片突起物であるか、クラックのような凹部であるかをより確実に判断できる。このために、さらに高精度の検査が可能となり、製品の歩留まりが向上する。

（実施形態３）
本実施形態の３次元形状計測方法を図７に基づいて説明する。本実施形態の３次元形状計測方法の動作原理は、実施形態１とほぼ同じである。ただし、計測対象物を適当な角度で回転して、再度、計測対象物を撮像するということが異なっている。

本実施形態の３次元形状計測方法は、実施形態１の方法とほぼ同じである。まず、図７（ａ）に示すように、光照射部（図示せず）から、光の明度が正弦波状に変化する縞パターンを計測対象物１に投影して、この撮像画像をメイン撮像装置２で撮像する。つぎに、縞パターンの位相を一定間隔でずらしながら複数回、光照射部から光を計測対象物１に照射して、同様にして撮像画像をメイン撮像装置２で撮像する。それぞれの光照射の状態において、メイン撮像装置２から出力される撮像データについて、撮像画像における同一点での明度変化に基づいて縞パターンの位相値を演算部で演算することにより、計測対象物１について計測対象物の高さ情報を得る。

つぎに、計測対象物１の表面に、観測不能な範囲が存在する場合には、同様に光照射部から光を計測対象物１に照射して、補助撮像装置３で計測対象物１を撮像して出力される撮像データを演算することにより、計測対象物１の高さ情報を得る。

さらに、図７（ｂ）に示すように、計測対象物１を、メイン撮像装置２を中心として、回転させる。そして、光照射部から計測対象物１に光を照射して、メイン撮像装置２と補助撮像装置３とでそれぞれ計測対象物１を撮像して演算することにより、計測対象物１について計測対象物の高さ情報を得る。

こうして、得られた計測対象物１について計測対象物の高さ情報について、最初（計測対象物を回転する前に）、メイン撮像装置２のみで撮像したときに高さ情報を得ることができない範囲と、補助撮像装置３又は第２補助撮像装置４のみで撮像したときに高さ情報を得ることができない範囲とを比較する。さらに、計測対象物を回転した後に、メイン撮像装置２のみで撮像したときに高さ情報を得ることができない範囲と、補助撮像装置３又は第２補助撮像装置４のみで撮像したときに高さ情報を得ることができない範囲とを比較する。

そして、計測対象物を回転する前後において、メイン撮像装置２のみで撮像したときに高さ情報を得ることができない範囲が、補助撮像装置３又は第２補助撮像装置４のみで撮像したときのいずれかの高さ情報を得ることができない範囲と異なる場合には、この範囲をバリのような小片突起物が付着していると判断する。一方、計測対象物を回転する前後において、これらの範囲が、すべて一致する場合には、この範囲をクラックのような凹部と判断する。

本実施形態の３次元形状計測方法によれば、計測対象物に付着しているバリが、図７に示すような湾曲しているものであっても、位相シフト法によって、計測対象物の３次元形状を計測して、高さ情報が測定不可能な範囲があっても、この範囲がバリのような小片突起物であるか、クラックのような凹部であるかをより確実に判断できる。このために、さらに高精度の検査が可能となり、製品の歩留まりが向上する。

（実施形態４）
本実施形態の３次元形状計測方法を図８に基づいて説明する。本実施形態の３次元形状計測方法の動作原理は、実施形態１とほぼ同じである。ただし、本実施形態で使用する光照射部として、光照射部５に加えて補助光照射部６を有していることが異なっている。

本実施形態の３次元形状計測方法は、実施形態１の方法とほぼ同じである。まず、光照射部５から、光の明度が正弦波状に変化する縞パターンを計測対象物１に投影して、この撮像画像をメイン撮像装置２で撮像する。つぎに、縞パターンの位相を一定間隔でずらしながら複数回、光照射部５から光を計測対象物１に照射して、同様にして撮像画像をメイン撮像装置２で撮像する。それぞれの光照射の状態において、メイン撮像装置２から出力される撮像データについて、撮像画像における同一点での明度変化に基づいて縞パターンの位相値を演算部で演算することにより、計測対象物１について計測対象物の高さ情報を得る。

つぎに、計測対象物１の表面に、観測不能な範囲が存在する場合には、同様に光照射部５から光を計測対象物１に照射して、補助撮像装置３で計測対象物１を撮像して演算することにより、計測対象物１について計測対象物の高さ情報を得る。

さらに、補助光照射部６から計測対象物１に光を照射して、メイン撮像装置２と補助撮像装置３とでそれぞれ計測対象物１を撮像して演算することにより、計測対象物１について計測対象物の高さ情報を得る。

こうして、得られた計測対象物１の高さ情報について、光照射部５から光を照射したときに、メイン撮像装置２のみで撮像したときに高さ情報を得ることができない範囲と、補助撮像装置３又は第２補助撮像装置４のみで撮像したときに高さ情報を得ることができない範囲とを比較する。さらに、補助照射部６から光を照射したときに、メイン撮像装置２のみで撮像したときに高さ情報を得ることができない範囲と、補助撮像装置３又は第２補助撮像装置４のみで撮像したときに高さ情報を得ることができない範囲とを比較する。

そして、光照射部５から光を照射したときと補助光照射部６から光を照射したときのいずれかにおいて、メイン撮像装置２のみで撮像したときに高さ情報を得ることができない範囲が、補助撮像装置３又は第２補助撮像装置４のみで撮像したときのいずれかの高さ情報を得ることができない範囲と異なる場合には、この範囲をバリのような小突起物であると判断する。一方、計測対象物を回転する前後において、これらの範囲が、すべて一致する場合には、この範囲をクラックのような凹部であると判断する。

本実施形態の３次元形状計測方法によれば、計測対象物に付着しているバリが、図８に示すような湾曲しているものであっても、位相シフト法によって、計測対象物の３次元形状を計測して、高さ情報が測定不可能な範囲があっても、この範囲がバリのような小片突起物であるか、クラックのような凹部であるかをより確実に判断できる。このために、さらに高精度の検査が可能となり、製品の歩留まりが向上する。

（実施形態５）
本実施形態の３次元形状計測方法の動作原理は、実施形態１とほぼ同じである。ただし、最初に、光の明度が一定の光を計測対象物に投影して計測対象物の２次元撮像画像を撮像することによって高さ情報を得ることができない範囲を特定した後に、実施形態１の３次元形状計測方法により、計測対象物の３次元形状を計測することが異なっている。なお、本実施形態で使用する装置は、実施形態１と同じであるので図１〜５を用いて説明する。

本実施形態の３次元形状計測方法としては、最初に、図２に示すように、光照射部５から、通常の光の明度が一定の光を計測対象物１に投影して、この撮像画像をメイン撮像装置２で撮像する。このときに、メイン撮像装置２から出力される撮像画像の画像データを、演算部で、演算処理することにより、計測対象物１について、投影光が反射されていない範囲を特定する。そして、この特定した範囲を高さ情報を得ることができない範囲として、演算部に記憶する。

次に、実施形態１の方法とほぼ同じ３次元形状計測方法によって、計測対象物１の３次元形状を測定する。まず、図２（ａ）又は図４（ａ）に示すように、光照射部５から、光の明度が正弦波状に変化する縞パターンを計測対象物１に投影して、この撮像画像をメイン撮像装置２で撮像する。つぎに、縞パターンの位相を一定間隔でずらしながら複数回、光照射部５から光を計測対象物１に照射して、同様にして撮像画像をメイン撮像装置２で撮像する。

ここで、最初の撮像によって、高さ情報を得ることができない範囲が存在しないと判断した場合には、従来の位相シフト法により、メイン撮像装置２により撮像した撮像データを演算することにより、計測対象物１について計測対象物の高さ情報を得る。

一方、最初の撮像によって、高さ情報を得ることができない範囲が存在すると判断した場合には、メイン撮像装置２により撮像した後に、図３（ａ）又は図５（ａ）に示すように、補助撮像装置３により撮像する。ここで、両方の撮像データを比較する範囲は、最初に明度が一定の光を投影して高さ情報を得ることができない範囲に限定する。そして、この範囲について、メイン撮像装置２による撮像データと、補助撮像装置３による撮像データとを比較して、この範囲がクラックのような小片突起物が付着しているか、バリのような凹部であるかを判断する。

本実施形態の３次元形状計測方法によれば、メイン撮像装置から出力される撮像データと、補助撮像装置から出力される撮像データとの比較をする範囲を限定しているので、演算時間を短縮することができる。この結果として、より高速に計測対象物の３次元形状を計測することができる。

実施形態１の３次元形状計測方法を示す斜視図である。 実施形態１で、バリが付着している場合の３次元形状計測方法を示す断面図である。 実施形態１で、バリが付着している場合の３次元形状計測方法を示す断面図である。 実施形態１で、クラックが発生している場合の３次元形状計測方法を示す断面図である。 実施形態１で、クラックが発生している場合の３次元形状計測方法を示す断面図である。 実施形態２の３次元形状計測方法を示す上面図である。 実施形態３の３次元形状計測方法を示す上面図である。 実施形態４の３次元形状計測方法を示す断面図である。

１ 計測対象物
２ メイン撮像装置
３、４ 補助撮像装置
５ 光照射部
６ 補助光照射部
７ バリ
８ クラック
１０〜１４ 高さ情報図
２１〜２４ 高さ情報図測定不可能範囲
Ａ〜Ｄ 測定不可能範囲

Claims (5)

1. 光の明度が正弦波状に変化する縞パターンを計測対象物に投影し、縞パターンの投影方向と異なる方向から計測対象物を撮像した撮像画像を得る過程を、縞パターンの位相を一定間隔でずらしながら複数回実行し、撮像画像を複数の撮像装置によって撮像画像を撮像することにより、前記複数回の過程で得られた複数枚の撮像画像における同一点での明度変化に基づいて縞パターンの位相値を演算するとともに該位相値から撮像画像上の各点における高さ情報を得ることで計測対象物の３次元形状を計測する３次元形状計測方法において、
   単独の撮像装置によって撮像された撮像画像からのデータのみでは高さ情報を得ることができない範囲について、複数の撮像装置によって撮像される撮像画像の撮像データを比較することにより、高さ情報を得るものであり、前記複数の撮像装置によって撮像される撮像画像の撮像データを比較して、高さ情報を得ることができない範囲が各々一致している場合には、その範囲の表面に凹部が存在すると判断して、高さ情報を得ることができない範囲が各々一致していない場合には、その範囲に小片突起物が付着していると判断することを特徴とする３次元形状計測方法。
2. 計測対象物を撮像装置に対して回転することにより、それぞれの撮像装置にて複数の撮像画像を得ることを特徴とする請求項１に記載の３次元形状計測方法。
3. 計測対象物を撮像装置に対して、異なる位置から縞パターンを計測対象物に投影することにより、それぞれの撮像装置にて複数の撮像画像を得ることを特徴とする請求項１又は２に記載の３次元形状計測方法。
4. 光の明度が一定の光を計測対象物に投影して計測対象物の２次元撮像画像を撮像することによって高さ情報を得ることができない範囲を特定した後に、請求項１乃至３のいずれかに記載の３次元形状計測方法により、計測対象物の３次元形状を計測することを特徴とする３次元形状計測方法。
5. 請求項１乃至４のいずれかに記載の３次元形状計測方法により、計測対象物の３次元形状を計測することを特徴とする３次元形状計測装置。

Images