JP4383840B2 - ３次元形状計測装置 - Google Patents

Description

本発明は、非接触で計測対象物体の３次元形状を計測する３次元形状計測装置に関し、特に、所定のパターン光像を対象物に照射し、その表面に投影されたパターン光像を撮像し、画像処理することによって対象物表面の３次元形状を計測する形状計測装置に関する。

対象物の表面形状を非接触で測定する装置として、物体に照明パターンを投影して、投影画像をカメラで撮像し、画像処理することで形状測定を行う装置が知られている。（例えば、特許文献１、２参照。）
特許文献１、２の技術では、最小分解能が小さく、測定可能な最大値の大きな３次元形状測定装置を提供するために、照明パターンの投影光学系と、投影パターンを撮像する撮像光学系の少なくとも一方を複数備え、投影光学系−撮像光学系間の距離を互いに異ならせることで基線長の異なる複数の測定系を構成し、異なる画像パターンを得ることができるので分解能、測定最大値の向上が図れると記載されている。
特開２００２−１２２４１６号公報 特開２００２−１２２４１７号公報

しかしながら、上記技術では、投影光学系または撮像光学系を複数配置するためシステムが複雑化・大型化する。さらに、画像処理の処理量が飛躍的に増大するため、計算機資源を必要とする。また、病室・トイレ等での患者の異変の監視目的に特化されており、汎用的な３次元形状測定に適したものとはいえない。

そこで本発明は、汎用的な３次元形状計測に適し、かつ、高分解能を実現することを可能とした３次元形状計測装置を提供することを課題とする。

上記課題を解決するため、本発明に係る３次元形状計測装置は、測定対象物の３次元形状を非接触で測定する３次元形状計測装置であって、（１）光軸に直交する平面上に多数の輝点および／または輝線を所定間隔で配置したパターン光像を測定対象物に照射してその表面に投影する照射光源部と、（２）複数の受光素子から構成され、照射されたパターン光像によって測定対象物表面に投影された投影パターン光像を撮像する撮像部と、（３）撮像部の出力画像から、画像中の投影パターン光像の位置を求める画像位置演算部と、（４）求めた投影パターン光像の位置情報と、撮像時の撮像部と照射光源部との位置関係情報を基にして対象物体の形状を求める形状算出部と、（５）形状算出部の算出結果に応じて照射光源部により次に照射するパターン光の光像内における輝点、輝線の間隔または太さを調整する照射光制御部と、を備えていることを特徴とする。

照射光源部によって測定対象物表面上に投影されたパターン光像を撮像し、画像位置演算部は画像処理により投影パターン光像の画像内における位置を算出する。形状算出部は、この画像位置を用いて三角測量法により対象物体の形状を求める。このとき、形状算出部の算出結果、つまり、測定対象物の形状に応じて照射光制御部は、照射光光源部により照射するパターン光の光像内における輝点、輝線の間隔または太さを調整する。投影されるパターン光像のパターンを異ならせることで、測定対象物表面の別の照射位置に、または、別の方向から、複数の異なる投影パターン光像を投影し、その投影画像を取得する。投影パターン光像ごとに投影位置情報、つまり、測定対象物の形状情報が得られる。

この照射光源部によって照射されるパターン光は、複数の輝点を配置した輝点パターンであり、画像位置演算部は、（１）投影パターン光像中の輝点パターンの輝度データに基づいて各輝点の中心位置を演算する輝点位置演算部と、（２）投影パターン光像中の輝点パターンの輝度データに基づいて各輝点の重心位置に関する重心情報を演算する輝点重心情報演算部と、を備えていることが好ましい。

照射パターン光が複数の輝点を配置した輝点パターンである場合、物体表面に投影された投影パターン光像も複数の輝点からなる輝点パターンとなる。各輝点は有限の大きさを持つが、輝点位置演算部は、最大輝度を持つ位置＝輝点中心と仮定することで、輝度データに基づいて輝点の中心位置を算出する。輝点重心情報演算部は、輝点を中心とした領域の重心情報を求める。

投影パターン光像中の輝点パターンの輝度データ中でで輝度が所定の基準値を超えるデータに基づいて演算を行うとよい。輝度が所定の基準値を下回るデータを除去することで、フィルタリングを行う。

輝点重心情報演算部が出力する重心情報は、各輝点を中心とした領域についてのモーメント情報であるとよい。例えば、各輝点の中心位置における輝度の０次モーメントと１次モーメントからなるモーメント情報を求める。

照射光制御部は、（１）照射光源部により照射するパターン光の照射位置を並進移動させる並進移動機構、（２）照射位置を回転移動させる回転移動機構、（３）パターン光中の各輝点の照射位置を独立に調整可能な光制御デバイスのいずれかを備えているとよい。

本発明によれば、測定対象物表面上に投影された異なる投影パターン光像を取得できる。そして、この投影パターン光像の違いをフィードバック制御できるので、少ない枚数の投影パターン光像で適切な形状認識を行うことができる。このため、システム構成が単純化され、処理も簡略化できるので、装置が大型化・複雑化することがない。さらに、照射するパターン光を最適化することができるので、複雑な形状を有する対象物やサイズの異なる対象物についても高精度で測定が可能となり、汎用性も向上する。

パターン光は、スリット光、スポット光等の組み合わせが可能であるが、極小スポット光である輝点の組み合わせとすると、輝点の投影位置算出、ひいては、物体の表面形状算出が容易になる。

モーメント情報を利用してこの輝点の投影位置（重心位置）を算出するようにすると、算出手順が簡略化されるとともに、モーメント情報の算出部をハード的に撮像装置に一体化することができ、撮像から画像処理までを一体化して高速で処理することが可能となり、画像処理用に高速のプロセッサを別途設ける必要がなくなるので、有効である。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

図１は、本発明に係る３次元形状計測装置の全体構成を示すブロック構成図である。この３次元形状計測装置９は、対象物６の表面形状の３次元位置データを非接触で測定するものであり、支持台７上に置かれた対象物６に所定のパターン光像を照射・投影する照射光源部５と、対象物６の表面上に投影されているパターン光像を撮像する撮像部１と、撮像部１の出力画像中における投影パターン光像の位置を求める画像位置演算部２と、求めた画像位置と照射光源部５、撮像部１の位置関係を基にして対象物６の表面形状を求める形状算出部３と、算出した形状データを基にして照射光源部５による照射位置等を制御する照射光制御部４を備えている。

図２は、照射光源部５の一実施例を示す構成図である。この実施例では、光源５０と、その光軸上に配置されたコリメートレンズ５１と、多数の微細な凸レンズ（マイクロレンズ）からなるマイクロレンズアレイ５２を備えている。光源５０は、レーザーダイオード等を用いた点光源であり、コリメートレンズ５１は、光源５０の出射光を平行光に調整する凸レンズであり、マイクロレンズアレイ５２の各マイクロレンズは、入射した平行光を集光することにより、光軸に直交する平面上に所定間隔で２次元的に配置される多数のスポット光からなるパターン光像を生成して、投射する。

図３は、撮像部１のブロック構成図である。この撮像部１は、汎用ビデオカメラに比べて高速のフレームレートで画像を取得可能な高速視覚センサ装置であり、Ｎ１個×Ｎ２個の２次元状に配置された多数の受光素子１１０からなる受光素子アレイ１１と、受光素子アレイ１１の１列ごとに対応して受光素子１１０から出力された電荷を電圧信号に変換するＮ２個のチャージアンプ１２０からなる並列アンプ１２と、チャージアンプ１２０からの出力信号をＡ／Ｄ変換するＮ２個のＡ／Ｄ変換器１３０からなるＡ／Ｄ変換器アレイ１３とで構成されている。

図４は、撮像部１の詳細構成を示している。この撮像部１は、光を検出する受光部（受光素子アレイ１１に対応）、と並列アンプ１２、Ａ／Ｄ変換器アレイ１３に対応する信号処理部１６と、これらに動作タイミングの指示信号を通知するタイミング制御部１４を備えている。

まず受光部に当たる受光素子アレイ１１の構成を説明する。各受光素子１１０は、入力した光強度に応じて電荷を発生する光電変換素子１１１と、光電変換素子１１１の信号出力端子に接続され、垂直走査信号Ｖ（ｉ＝１〜Ｎ１）に応じて光電変換素子１１１に蓄積された電荷を出力するスイッチ素子１１２を１組として構成されている。この受光素子１１０が垂直方向に沿ってＮ１個配置され、各受光素子１１０のスイッチ素子１１２が電気的に接続されて垂直受光部１１５を構成している。そして、この垂直受光部１１５を垂直方向に直交する水平方向に沿ってＮ２個配列することにより受光素子アレイ１１が構成されている。

信号処理部１６は、対応する垂直受光部１１５_j（ｊ＝１〜Ｎ２）から転送されてきた電荷を個別に取り出して、増幅処理し、この電荷強度に対応するデジタル信号を出力する処理回路１６０jをＮ２個配置して構成されている。各処理回路１６０は、Ａ／Ｄ変換器１３０にチャージアンプ１２０を内蔵した回路構成になっている。具体的には、処理回路１６０_jは、チャージアンプ１２０_jを含む積分回路１６１_jと比較回路１６２_jと容量制御機構１６３_jの３つの回路から構成される。

このうち、積分回路１６１_jは、垂直受光部１１５_jからの出力信号を入力として、この入力信号の電荷を増幅するチャージアンプ１２０_jと、チャージアンプ１２０_jの入力端子に一方の端が接続され、出力端子に他方の端が接続された可変容量部１６４_jと、チャージアンプ１２０_jの入力端子に一方の端が接続され、出力端子に他方の端が接続されて、リセット信号Ｒに応じてＯＮ、ＯＦＦ状態となり、積分回路１６１_jの積分、非積分動作を切り替えるスイッチ素子１６５_jからなる。

図５は、この積分回路１６１の詳細構成図である。本図は、４ビットつまり１６階調の分解能を持つＡ／Ｄ変換機能を備える積分回路の例であり、以下、この回路構成により説明する。可変容量部１６４は、チャージアンプ１２０の垂直受光部からの出力信号の入力端子に一方の端子が接続された容量素子Ｃ１〜Ｃ４と、容量素子Ｃ１〜Ｃ４の他方の端子とチャージアンプ１２０の出力端子の間に接続され、容量指示信号Ｃ₁₁〜Ｃ₁₄に応じて開閉するスイッチ素子ＳＷ１１〜ＳＷ１４と、容量素子Ｃ１〜Ｃ４とスイッチ素子ＳＷ１１〜ＳＷ１４の間に一方の端子が接続され、他方の端子がＧＮＤレベルと接続されて、容量指示信号Ｃ₂₁〜Ｃ₂₄に応じて開閉するスイッチ素子ＳＷ２１〜ＳＷ２４により構成されている。なお、容量素子Ｃ１〜Ｃ４の電気容量Ｃ₁〜Ｃ₄は、
Ｃ₁＝２Ｃ₂＝４Ｃ₃＝８Ｃ₄
Ｃ₀＝Ｃ₁＋Ｃ₂＋Ｃ₃＋Ｃ₄
の関係を満たす。ここで、Ｃ₀は積分回路１６１で必要とする最大電気容量であり、受光素子１１０の飽和電荷量をＱ₀、基準電圧をＶ_REFとすると、
Ｃ₀＝Ｑ₀／Ｖ_REF
の関係を満たす。

再び、図４に戻り、処理回路１６０_jの積分回路１６１_j以外の回路を説明する。比較回路１６２_jは、積分回路１６１_jから出力された積分信号Ｖ_Sの値を基準値Ｖ_REFと比較して、比較結果信号Ｖ_Cを出力する。容量制御機構１６３_jは、比較結果信号Ｖ_Cの値から積分回路１６１_j内の可変容量部１６４_jに通知する容量指示信号Ｃを出力すると共に、容量指示信号Ｃに相当するデジタル信号Ｄ１を出力する。

続いて、図４に示すタイミング制御部１４の構成を説明する。全回路のクロック制御を行う基本タイミングを発生する基本タイミング部１４１と、基本タイミング部１４１から通知された垂直走査指示に従って、垂直走査信号Ｖ_iを発生する垂直シフトレジスタ１４２と、リセット指示信号Ｒを発生する制御信号部１４３により構成されている。

この撮像部１による画像取得動作について具体的に説明する。まず、リセット信号Ｒを有為に設定し、図５に示す可変容量部１６４のＳＷ１１〜ＳＷ１４を全て「ＯＮ」、ＳＷ２１〜ＳＷ２４を全て「ＯＦＦ」状態にする。これにより、全チャージアンプ１２０の入力端子と出力端子間の容量値をＣ₀に設定する。それと同時に、図４に示す全てのスイッチ素子１１２を「ＯＦＦ」状態とし、垂直走査信号Ｖｉをいずれの受光素子１１０も選択しない状態に設定する。この状態から、リセット指示信号Ｒを非有為に設定し、各積分回路１６１での積分動作を開始させる。

積分動作を開始させると、図４に示すＮ２個の各垂直受光部１１５_jにある第１番目の受光素子１１０_1,jのスイッチ素子１１２のみを「ＯＮ」とする垂直走査信号Ｖ₁が出力される。スイッチ素子が「ＯＮ」になると、それまでの受光によって光電変換素子１１１に蓄積された電荷Ｑ₁は、電流信号として受光素子アレイ１１から出力される。つまり、各光電変換素子１１１の信号を読み出すことができる。電荷Ｑ₁は容量値Ｃ₀に設定された可変容量部１６４へと流入する。

容量制御機構１６３は、図５に示されるＳＷ１２〜ＳＷ１４を開放した後、ＳＷ２２〜２４を閉じる。この結果、積分信号Ｖ_Sは、
Ｖ_S＝Ｑ／Ｃ₁
で示す電圧値として出力される。出力された積分信号Ｖ_Sは、比較回路１６２で基準電圧値Ｖ_REFと比較される。ここで、Ｖ_SとＶ_REFの差が、分解能の範囲以下、すなわち±（Ｃ₄／２）以下の時は、一致したものとみなし、更なる容量制御は行わず、積分動作を終了する。分解能の範囲で一致しないときは、更に容量制御を行い、積分動作を続ける。

例えば、Ｖ_S＞Ｖ_REFであれば、容量制御機構１６３は、更に、ＳＷ２２を開放した後に、ＳＷ１２を閉じる。この結果、積分信号Ｖ_Sは、
Ｖ_S＝Ｑ／（Ｃ₁＋Ｃ₂）
で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較回路１６２へと送られ、基準電圧値Ｖ_REFと比較される。

また、Ｖ_S＜Ｖ_REFであれば、容量制御機構１６３は、ＳＷ１１及びＳＷ２２を開放した後に、ＳＷ１２及びＳＷ２１を閉じる。この結果、積分信号Ｖ_Sは、
Ｖ_S＝Ｑ／Ｃ₂
で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較回路１６２に送出され、基準電圧値Ｖ_REFと比較される。

以後、同様にして、積分回路１６１→比較回路１６２→容量制御機構１６３→積分回路１６１と連なるフィードバックループによって、積分信号Ｖ_Sが基準電圧値Ｖ_REFと分解能の範囲で一致するまで、比較及び容量設定（ＳＷ１１〜ＳＷ１４及びＳＷ２１〜ＳＷ２４のＯＮ／ＯＦＦ制御）を順次繰り返す。積分動作が終了した時点のＳＷ１１〜ＳＷ１４のＯＮ／ＯＦＦ状態を示す容量指示信号Ｃ₁₁〜Ｃ₁₄の値は、電荷Ｑ₁の値に対応したデジタル信号であり、最上位ビット（ＭＳＢ）の値がＣ₁₁、最下位ビット（ＬＳＢ）の値がＣ₁₄である。こうしてＡ／Ｄ変換が行われ、これらの値をデジタル信号Ｄ１として、画像位置演算部２へと出力する。以上述べたように、この装置では、デジタル信号Ｄ１の各ビット値は、ＭＳＢ側からＬＳＢ側へ１ビットずつ順に定まる。

第１番目の受光素子１１０_1,jの光電出力に相当するデジタル信号の送出が終了すると、リセット信号Ｒが有為とされ、再び、非有為にして、可変容量部１６４_jの容量値を初期化した後に、各垂直受光部１１５_jの第２番目の受光素子１１０_2,jのスイッチ素子１１２のみを「ＯＮ」とする垂直走査信号Ｖ₂を出力し、上述と同様の動作により、第２番目の受光素子１１０_2,jの光電出力を読み出し、これに相当するデジタル信号を送出する。以下、垂直走査信号を切り替えて、全受光素子１１０の光電出力を読み出し、相当するデジタル信号を画像位置演算部２に出力する。

これにより、画像位置演算部２には、画像を構成するＮ１×Ｎ２画素のデータが列ごとに送り込まれるので、１画素ごとにデータを転送する場合に比較して高速でデータを転送することができ、高速フレームレートで画像を取得することができる。

次に、画像位置演算部２の構成を説明する。図６は、画像位置演算部２のブロック構成図である。画像位置演算部２は、入力された画像データからノイズを除去する平滑化処理を行う平滑化処理部２１と、平滑化処理後のデータを基に、輝点を抽出してその画素位置を求める輝点抽出部（輝点位置演算部に相当する。）２２と、輝点の面積を求める輝点面積処理部２３と、輝点の重心情報を求める輝点重心情報処理部２４を備えている。

図７は、平滑化処理部２１の回路構成の一例を示す図である。この平滑化処理部２１は、受光部１から送られた画素の輝度を表すデジタル出力信号に平滑化処理を施すことで、ノイズを除去するものである。その構成は、順次転送されてくる画素の輝度データｄ(x,y)を３画素分保持するためのデータバッファ２１１と、そのデータバッファ２１１に蓄えられたデータを積算して総和をとるＳＵＭ演算器２１２、及び、総和された値を３で割って規格化するための除算器２１３から構成される。輝度データ列が入力されると、３画素分の輝度データがデータバッファ２１１に蓄えられて、ＳＵＭ演算器２１２でその総和が計算され、その値を３で割ったもの、つまり、３画素の平均輝度が出力される輝度データとなる。つまり下記の演算がなされる。

ここで、ｄ(x,y)は画素位置(x,y)（x,yは、受光素子１１０の行列方向の配列i、jに対応する。）における輝度を表し、ｄ'(x,y)は平滑化処理後の同画素位置における輝度を表す。このような平滑化処理を複数回行うことにより、ノイズレベルに適応した平滑化の度合いを変更できる。

ここでは３画素分（左右の２近傍画素）のデータについて平滑化をおこなったが、上下左右の４近傍を用いる方法などがある。この場合の処理アルゴリズムは、以下のとおりである。

この場合は、近傍４画素と中心画素の輝度の単純平均ではなく、加重平均であり、近傍４画素の平均輝度と中心画素の輝度との平均値をとることに等しい。

図８は、輝点抽出部２２の回路構成の一例を示す図である。輝点抽出部２２は、順次転送されてくる画素の輝度データｄ(x,y)を３行分（Ｎ１×３画素分）保持するためのデータバッファ２２１と、そのデータバッファ２２１に蓄えられたデータから読み込んだ３×３画素領域の輝度データについて中心画素と周囲の８画素それぞれとの間で輝度データの比較を行う８つの比較器２２２と、比較結果の論理積（ＡＮＤ）を求めるＡＮＤ演算器２２３と、ＡＮＤ演算器２２３の計算結果を基にして、輝点データを出力する判定出力部２２４を備えている。

平滑化処理部２１で処理された輝度データのデータ列は、データバッファ２２１へ送られ、３行分の輝度データが蓄積される（以下、平滑化処理部２１で処理後の輝度データをｄ(x,y)で表す）。８つの比較器２２２は、中心画素（画素位置(x,y)）の輝度ｄ(x,y)を周囲の８画素それぞれの輝度ｄ(x-1,y-1)〜ｄ(x+1,y+1)と比較し、中心画素が周囲の画素より大きく、かつ、その輝度が所定のしきい値を超えている場合にのみ比較結果が真であるとし、その他の場合には、偽である旨出力する。ＡＮＤ演算器２２３は、比較結果の論理積を求める。これにより、中心画素の輝度が周囲の８画素のいずれよりも高い場合（つまり、中心画素が輝度の極大値である場合）のみに出力信号は真となり、それ以外の場合には偽となる。判定出力部２２４は、ＡＮＤ演算器２２３の出力が真の場合に、中心画素の画素位置(x,y)とその輝度値d(x,y)を輝点データとして出力する。この輝点中心の算出は、輝度値d(x,y)が所定値を超える（あるいは所定値以上）画素のみを中心画素の対象として行ってもよい。

図９は、輝点面積処理部２３の回路構成の一例を示す図である。輝点面積処理部２３は、順次転送されてくる画素の輝度データｄ(x,y)を３行分（Ｎ１×３画素分）保持するためのデータバッファ２３１と、そのデータバッファ２３１に蓄えられたデータから読み込んだ３×３画素領域の輝度データそれぞれについてしきい値との比較を行う９つの比較器２３２と、比較結果の総和を求めるＳＵＭ演算器２３３とを備えている。

平滑化処理部２１で処理された輝度データのデータ列は、データバッファ２３１へ送られ、３行分の輝度データが蓄積される。９つの比較器２３２は、画素位置(x,y)を中心画素とする９つの画素それぞれの輝度ｄ(x-1,y-1)〜ｄ(x+1,y+1)をしきい値ｔｈと比較し、輝度が所定のしきい値を超えている場合に１を出力し、その他の場合には、０を出力する。そして、ＳＵＭ演算器２３３は、比較器２３２の出力の総和をとることで、しきい値ｔｈよりも輝度の高い画素の点数を求める。これが輝点面積s(x,y)として出力される。

この輝点面積判定処理は、全ての画素を中心画素として行うのではなく、輝点抽出部２２で輝点と判定された画素を中心画素としてのみ行うことで、処理対象となる輝点数を削減することができる。この場合、さらに、対象領域をＮ×Ｍ領域へと拡大することで、任意（Ｎ×Ｍ以内）の大きさの面積を有する輝点の面積を算出することができる。

図１０は、輝点重心情報処理部２４の回路構成の一例を示す図である。輝点重心情報処理部２４は、順次転送されてくる画素の輝度データｄ(x,y)を３行分（Ｎ１×３画素分）保持するためのデータバッファ２４１と、そのデータバッファ２４１に蓄えられたデータから読み込んだ３×３画素領域の輝度データを用いて中心画素回りの０次モーメントとＸ方向、Ｙ方向それぞれの１次モーメントをそれぞれ求めるモーメント演算器２４２〜２４４から構成される。

平滑化処理部２１で処理された輝度データのデータ列は、データバッファ２３１へ送られ、３行分の輝度データが蓄積される。蓄積されたデータから、ある画素位置(x,y)を中心画素とする９つの画素の輝度データｄ(x-1,y-1)〜ｄ(x+1,y+1)が各モーメント演算器２４２〜２４４により読み出され、重心情報である０次モーメントM₀(x,y)、Ｘ方向1次モーメントM_1x(x,y)、Ｙ方向1次モーメントM_1y(x,y)）を下記の式に基づいてそれぞれ求める。

このモーメント算出は、輝点面積判定処理で算出した輝点面積が所定のしきい値を超える輝点についてのみ行うことが好ましい。さらに、輝点面積に応じた領域を対象としてモーメント演算を行うとよい。所定よりも輝点面積が大きい輝点を対象にモーメント算出を行うことで、対象物６表面上に形成されているスポット光像を正確に検出することができ、ノイズの影響を減らすことができる。

近年、こうした画像演算処理を行うハードウェアを簡易に開発実装できるデバイスとしてＦＰＧＡ（Field Programmable Gate Array）などが実用化されており、演算対象に応じた処理をハードウェア化する作業を効率的に行うことが可能となっている。さらに、ＨＤＬ（Hardware Discription Language：ハードウエア記述言語）を用いることで、ソフトウェア的な処理内容の記述によって回路を設計することが可能となっているため、所望の画像処理を行うハードウェアを容易に作成することができる。このようにして作成したハードウェアによって画像処理を行うことで、汎用的な回路によりソフトウェアによって画像処理を行う場合に比べて高速での画像演算が可能となる。

抽出した輝点に関してのみ、輝点重心情報を出力することで、画像情報を直接出力する場合に比べて出力するデータ量を圧縮して削減することができる。例えば、１２８×１２８画素で、各画素が８階調の受光素子アレイ１１による場合、画像データをそのまま出力すると、１画面が１６kbyteのデータとなる。上述の重心情報は１輝点あたり８byte程度あれば足りるため、画面内に１００輝点存在する場合でも、通信データ量は８００byteとなり、約１／２０にデータ量を削減できる。この圧縮率は、輝点数に対してセンサの解像度を向上させるほど顕著に向上する。

次に、形状算出部３の構成を説明する。図１１は、形状算出部３の構成を説明するブロック構成図である。形状算出部３は、入力された重心情報から重心位置を求める重心位置演算部３０と、求めた重心位置と撮像部１の光軸（主軸）と対象物６表面に照射されるスポット光の光軸とのなす角度である偏角θとから高さ情報を算出する高さ情報算出部３１とを備えている。

重心位置演算部３０は、画像位置演算部２から送られてきた輝点重心情報を基にして次式により輝点の重心位置（Ｐｘ，Ｐｙ）を求める。

このようにすれば、輝点の位置を受光素子１１０の配列より細かく、すなわちサブピクセルで求めることができる。高さ情報算出部３１は、得られた重心情報と偏角θとから三角測量法により物体表面位置を計算する。なお、重心位置演算部３０は、画像位置演算部２内に設けてもよい。

図１２は、撮像部１、照射光源部５、対象物６の位置関係と、撮像部１で取得した投影パターン光像の例を示す図である。ここで、撮像部１の主軸は、各スポット光の光軸とともに同一のＸ平面内に位置するものとする。

図１２に示されるように、対象物６の表面の一部が基準位置P_x0から高さΔｈだけ高くなっている場合、撮像部１で撮像した対象物６表面上に投影されたスポット光像においては、この高くなっている部分のスポット光像が基準位置に表面が存在する場合よりΔｘだけ図の右方向に移動することになる。このずれ量Δｘと、Δｈとの関係は、Δｈ＝Δｘ／ｔａｎθによって表せる。これにより、スポット光位置に対応する位置の対象物６の表面位置を求めることができる。

例えば、θを１０度、画像の倍率を１倍、視野を５×５ｍｍ、画素サイズを４０μｍ×４０μｍとし、重心の演算精度を１／１００とすると、高さ精度は０．４／ｔａｎ１０°＝２．３μｍとなり、十分な高さ精度を実現できる。２５０μｍピッチでスポット光を配置した場合、隣接スポットとの高さの差が２ｍｍ以内であれば、スポットが重なることはない。

照射光制御部４は、形状算出部３から送られた情報を基にして、輝点の変位（基準位置からの位置ずれ）が大きく、高さ変位が大きいためにスポット光が重なるような場合には、スポット光間隔を大きく変更するように照射光源部５に指示する。逆に、輝点の変位が小さすぎ、高さ変位が小さい場合には、より精度を高めるために点間隔を小さくするよう指示する。

具体的には、例えば、マイクロレンズアレイ５２の各レンズの間隔を調整する機能を設けたり、コリメートレンズ５１の位置を調整することで、マイクロレンズアレイ５２に入射させる光の状態を変えてスポット光の位置を調整する。また、照射光源部５と対象物６の位置関係を変更することで投影される位置を変更してもよい。特に、各スポット光の光軸を平行に配置せず、所定の位置から放射状に配置するか、所定の位置に向かって集光するように配置しておくと、照射光源部５と対象物６の距離を変更することでスポット光の間隔を変化させることができる。

照射光源部５によるパターン光像のパターン変更手法の具体例のいくつかを図を参照しつつ説明する。図１３は、ビームスプリッタを用いた照射光源部５ａであって、光源５０から出射され、コリメートレンズ５１で平行光に調整した光をビームスプリッタ５３で複数の向きの異なる平行光に分割し、集光レンズ５４によってスポット光に調整する。ビームスプリッタ５３の光軸との角度を変えることで、パターン光の位置が調整可能である。ビームスプリッタに代えて、位相板と複屈折結晶とを組み合わせたものを使用してもよい。

図１４は、ＤＭＤ（Digital Mirror Device）を用いた照射光源部５ｂである。ＤＭＤは、半導体基板上に微細な可動ミラーを敷きつめたものである。光源５から出射された光は、コリメートレンズ５１で平行光に調整されて、ハーフミラー５５を通過し、ＤＭＤ５６で反射され、ハーフミラー５５でさらに反射されてマイクロレンズアレイ５２に導かれ、スポット光に調整される。ＤＭＤ５６の各ミラーの傾きを調整することで、スポット光の位置を調整することができる。

ＤＭＤ５６に代えてＳＬＭ（Spatial Light Modulator：空間光変調器）を用いると、入射光の位相を変調して出射される光の波面をマイクロレンズアレイ５２のレンズごとに変更することができる。このように出射光の波面を変えることにより、照射位置を移動させることができる。

このように、ＤＭＤやＳＬＭを利用した場合は、スポット光それぞれの位置を独立して変更することができるため、特に、複雑な表面形状を有する対象物６の表面形状を測定するのに有効である。

図１５は、シフト板を利用してスポット光の位置を変更する照射光源部５ｃである。シフト板５７は、入射した光を所定方向にシフトさせて出力するものであり、入射光軸に対して斜めに配置され、かつ、入射光軸を中心に回転可能に配置されている。シフト板５７を入射光軸を中心に回転させることで、対象物６表面上でのスポット光の照射位置を移動させることが可能となる。このようなシフト板５７を複数組み合わせることで、照射好位置の移動パターンを複雑なものとすることができる。

以上の説明では、投影パターンとしては、輝点を２次元状に配置する例を説明してきたが、複数のスリット光を照射してもよい。スリット光を照射した場合、図１６に示されるように、高さ情報がスリット光の位置ずれとして検出できる。図１７は、スリット光を用いる場合の画像位置演算部２ａの構成を示す図である。この画像位置演算部２ａでは、図６に示されるスポット光に対応した画像位置演算部２の輝点面積処理部２３に代えて基線幅処理部２６を有している。基線幅処理部２６では、輝点面積処理部２３と同様の手法により、輝線の幅ｗ（x,y）を求める。重心情報処理部２４は、輝線重心情報処理部２４ａは、輝点重心情報処理部２４と同様の手法により輝線の重心情報である０次モーメントM₀(x,y)、Ｘ方向1次モーメントM_1x(x,y)をそれぞれ演算する。形状算出部３の重心位置演算部３０は、得られたモーメントを基にして輝線の重心位置を求める。

パターン光像の変更としては、輝線の太さ、間隔等を変化させればよい。ここでは、平面状でスリット光の向きがｙ方向に沿って延びるように配置しているが、スリット光の向きを変化させてもよい。間隔、向きを変えるためには、上述したスポット光の場合と同様の手段を用いることができる。

重心位置を求めた後の処理の概要は、上述のスポット光の場合と同様である。なお、画像処理においては、スリット光を長さ方向に分割してスポット光の場合と同様の取扱をすることもできる。

投影パターンは、輝点パターン、スリット光に限られるものではなく、方眼パターン、同心円パターン等各種のパターン光像を採用することができる。

以上説明したように、本発明によれば、対象物の形状に応じて、輝点やスリット等からなる投影パターン光像を変化させることで、対象物の形状を高速で正確に検出することができる。

本発明に係る３次元形状計測装置の全体構成を示すブロック構成図である。 図１の装置の照射光源部の一実施例を示す構成図である。 図１の装置の撮像部のブロック構成図である。 図３の撮像部の詳細構成図である。 図４の撮像部の積分回路を示す詳細構成図である。 図１の装置の画像位置演算部のブロック構成図である。 図６の平滑処理部の回路構成の一例を示す図である。 図６の輝点部の回路構成の一例を示す図である。 図６の輝点面積処理部の回路構成の一例を示す図である。 図６の輝点重心情報処理部の回路構成の一例を示す図である。 図１の装置の形状算出部の構成を説明するブロック構成図である。 撮像部、照射光源部、対象物の位置関係と、撮像部で取得した投影パターン光像の例を示す図である。 照射光源部の別の実施形態を示す図である。 照射光源部のさらに別の実施形態を示す図である。 照射光源部のさらに別の実施形態を示す図である。 スリット光を照射した場合に取得される投影パターン画像の一例を示す図である。 スリット光を用いる場合の画像位置演算部の構成を示す図である。

符号の説明

１…撮像部、２…画像位置演算部、３…形状算出部、４…照射光制御部、５…照射光源部、６…対象物、７…支持台、９…３次元形状計測装置、１１…受光素子アレイ、１２…並列アンプ、１３…変換器アレイ、１４…タイミング制御部、１６…信号処理部、２１…平滑化処理部、２２…輝点抽出部、２３…輝点面積処理部、２４…輝点（輝線）重心情報処理部、２６…基線幅処理部、３０…重心位置演算部、３１…情報算出部、５０…光源、５１…コリメートレンズ、５２…マイクロレンズアレイ、５３…ビームスプリッタ、５４…集光レンズ、５５…ハーフミラー、５７…シフト板、１１０…受光素子、１１１…光電変換素子、１１２、１６５…スイッチ素子、１１５…垂直受光部、１２０…チャージアンプ、１３０…変換器、１４１…基本タイミング部、１４２…垂直シフトレジスタ、１４３…制御信号部、１６０…処理回路、１６１…積分回路、１６２…比較回路、１６３…容量制御機構、１６４…可変容量部、２１１、２２１、２３１、２４１…データバッファ、２１２、２３３…ＳＵＭ演算器、２１３…除算器、２２２、２３２…比較器、２２３…ＡＮＤ演算器、２２４…判定出力部。

Claims (7)

1. 測定対象物の３次元形状を非接触で測定する３次元形状計測装置であって、
   光軸に直交する平面上に多数の輝点および／または輝線を所定間隔で配置したパターン光像を測定対象物に照射してその表面に投影する照射光源部と、
   複数の受光素子から構成され、照射されたパターン光像によって測定対象物表面に投影された投影パターン光像を撮像する撮像部と、
   前記撮像部の出力画像から、画像中の投影パターン光像の位置を求める画像位置演算部と、
   求めた投影パターン光像の位置情報と、撮像時の撮像部と照射光源部との位置関係情報を基にして対象物体の形状を求める形状算出部と、
   前記形状算出部の算出結果に応じて前記照射光源部により次に照射するパターン光の光像内における輝点、輝線の間隔または太さを調整する照射光制御部と、
   を備えていることを特徴とする３次元形状計測装置。
2. 前記照射光源部によって照射されるパターン光は、複数の輝点を配置した輝点パターンであり、
   前記画像位置演算部は、
   前記投影パターン光像中の輝点パターンの輝度データに基づいて各輝点の中心位置を演算する輝点位置演算部と、
   前記投影パターン光像中の輝点パターンの輝度データに基づいて各輝点の重心位置に関する重心情報を演算する輝点重心情報演算部と、
   を備えていることを特徴とする請求項１記載の３次元形状計測装置。
3. 前記輝点位置演算部と前記輝点重心情報演算部は、前記投影パターン光像中の輝点パターンの輝度データ中で輝度が所定の基準値を超えるデータに基づいて演算を行うことを特徴とする請求項２記載の３次元形状計測装置。
4. 前記輝点重心情報演算部が出力する重心情報は、各輝点を中心とした領域についてのモーメント情報であることを特徴とする請求項２または３のいずれかに記載の３次元形状計測装置。
5. 前記照射光制御部は、前記照射光源部により照射するパターン光の照射位置を並進移動させる並進移動機構をさらに備えていることを特徴とする請求項１記載の３次元形状計測装置。
6. 前記照射光制御部は、前記照射光源部により照射するパターン光の照射位置を回転移動させる回転移動機構をさらに備えていることを特徴とする請求項１記載の３次元形状計測装置。
7. 前記照射光制御部は、前記照射光源部により照射するパターン光中の各輝点の照射位置を独立に調整可能な光制御デバイスをさらに備えていることを特徴とする請求項２記載の３次元形状計測装置。

Images