JP2009222399A - 画像ゲイン調整装置およびその方法、並びに三次元形状測定装置 - Google Patents

Abstract

【課題】
従来、撮影する画像の同一視野内のダイナミックレンジが撮像部のダイナミックレンジを越える場合、白飛びや黒潰れが生じるという問題があった。
【解決手段】
本発明に係る画像ゲイン調整装置は、撮影する画像の画素毎のゲインを制御する画像ゲイン調整装置であって、指定されたゲインで画像を撮影する画像撮影部と、前記画像撮影部で撮影した画像の各画素の輝度値が予め設定された所定範囲内であるか否かを判別する輝度値判別部と、各画素の輝度値が所定範囲内の場合は撮影時のゲインを当該画素のゲインとして設定し、各画素の輝度値が所定範囲外の場合は当該画素の輝度値が所定範囲内になる方向にゲインを指定して前記画像撮影部で画像を撮影する一連の動作を全画素の前記輝度値判別部の判別結果が所定範囲内になるまで繰り返すゲイン設定部とを有することを特徴とする。
【選択図】 図２

Description

本発明は、複数画素で構成される画像を撮影する際のゲイン調整技術に関する。

一般に、工業製品の検査工程では、製品の三次元形状を計測することにより、良品・不良品の判定が行なわれている。例えば、金属部品の検査を行なう場合は、多様な表面パターン、反射率、形状などについて検査を行なう必要がある。

三次元形状の計測方法には、パッシブな計測方法とアクティブな計測方法とがある。パッシブな計測方法として、例えばＳＦＦ（Ｓｈａｐｅ Ｆｒｏｍ Ｆｏｃｕｓ）法があり、撮影されたテクスチャの変化から三次元形状を求める。アクティブな計測方法として、例えばパターン投影法があり、異なる位相の光を投影して複数枚の画像を撮影し、各画像間の位相の変化から三次元形状を求める。或いは、正弦波状の強度分布を持つ縞パターンを投影して一度に三次元形状を計測する技術も考えられている（例えば、特許文献１参照）。
特開２００５−３０８４３９号公報

ところが、パッシブな計測方法やアクティブな計測方法のいずれの場合でも、高精度な計測を実現するためには、撮像部に十分なダイナミックレンジを有する計測用センサ（例えばＣＣＤセンサやＣＭＯＳセンサ）を用いなければならない。しかしながら、ダイナミックレンジの広い計測用センサは高価であり、計測装置の価格が高くなってしまうという問題が生じる。逆に、安価なセンサはダイナミックレンジが狭く、計測精度が悪くなってしまうという問題が生じる。

また、ダイナミックレンジの広い高価な計測用センサを用いた場合でも、センサが許容するダイナミックレンジを越えた場合には計測できないという問題が生じる。この場合、ダイナミックレンジ内に収まるように撮影条件を変更することも考えられるが、同一視野内での輝度の明暗差が大きい場合は、同一視野内に含まれる全画素においてセンサのダイナミックレンジ内に収まるような条件が存在しない場合も生じる。

本発明の目的は、撮影する画像の同一視野内のダイナミックレンジが撮像部のダイナミックレンジを越える場合でも、白飛びや黒潰れなく撮影可能な画像ゲイン調整装置およびその方法並びに三次元形状測定装置を提供することである。

本発明に係る画像ゲイン調整装置は、撮影する画像の画素毎のゲインを制御する画像ゲイン調整装置であって、指定されたゲインで画像を撮影する画像撮影部と、前記画像撮影部で撮影した画像の各画素の輝度値が予め設定された所定範囲内であるか否かを判別する輝度値判別部と、各画素の輝度値が所定範囲内の場合は撮影時のゲインを当該画素のゲインとして設定し、各画素の輝度値が所定範囲外の場合は当該画素の輝度値が所定範囲内になる方向にゲインを指定して前記画像撮影部で画像を撮影する一連の動作を全画素の前記輝度値判別部の判別結果が所定範囲内になるまで繰り返すゲイン設定部とを有することを特徴とする。

本発明に係る三次元形状測定装置は、前記画像ゲイン調整装置において、前記ゲイン設定部で設定された画素毎のゲインを用いて前記画像撮影部で撮影した画像を用いて三次元形状を計測する計測部を有することを特徴とする。

本発明に係る画像ゲイン調整方法は、撮影する画像の画素毎のゲインを制御する画像ゲイン調整方法であって、指定されたゲインで画像を撮影する画像撮影手順と、前記画像撮影手順で撮影した画像の各画素の輝度値が予め設定された所定範囲内であるか否かを判別する輝度値判別手順と、各画素の輝度値が所定範囲内の場合は撮影時のゲインを当該画素のゲインとして設定し、各画素の輝度値が所定範囲外の場合は当該画素の輝度値が所定範囲内になる方向にゲインを指定して前記画像撮影手順で画像を撮影する一連の動作を全画素の前記輝度値判別手順の判別結果が所定範囲内になるまで繰り返すゲイン設定手順とを有することを特徴とする。

本発明によれば、撮影する画像の同一視野内のダイナミックレンジが撮像部のダイナミックレンジを越える場合でも、白飛びや黒潰れのない画像を撮影することができる。

以下、本発明に係る画像ゲイン調整装置およびその方法並びに三次元形状測定装置に関する各実施形態について説明する。

（第１の実施形態）
第１の実施形態に係る三次元形状測定装置１００は、本発明に係る画像ゲイン調整装置およびその方法を利用する装置である。
＜三次元形状測定装置１００の構成＞
図１は、第１の実施形態に係る三次元形状測定装置１００の構成を示す説明図である。三次元形状測定装置１００は、被検査物ＳＡを載せるステージ１０１と、ステージ１０１に向けて所定のパターン（例えば一方向に白黒と並んだ格子パターンなど）を投影するパターン投影機構１０２と、撮像機構１０３と、三次元形状測定装置１００全体の制御や三次元形状を計測するための計算，計測結果の表示，画像データの保存などを行うパーソナルコンピュータ（パソコン）１０４とで構成される。

パソコン１０４は、本体１０４ａと、モニタ１０４ｂと、キーボード１０４ｃとで構成される。また、パターン投影機構１０２は、光源１０２ａと、液晶板１０２ｂと、投影光学系１０２ｃとで構成される。さらに、撮影機構１０３は、撮像部１０３ａと、撮像光学系１０３ｂとで構成される。

図１において、パソコン１０４の本体１０４ａとパターン投影機構１０２との間には、投影制御装置１０５が接続されている。投影制御装置１０５は、パソコン１０４からの指令に応じて光源１０２ａの光量を調整したり、液晶板１０２ｂに所定のパターンを表示して被検査物ＳＡに投影する。例えば、所定のパターンが格子パターンである場合は、投影制御装置１０５は液晶板１０２ｂに表示する格子パターンの位相を変化させて被検査物ＳＡに投影する。

また、パソコン１０４の本体１０４ａと撮像機構１０３との間には、撮像制御装置１０６が接続されている。撮像制御装置１０６は、パソコン１０４からの指令に応じて撮像部１０３ａで光電変換された画像信号を入力し、ゲイン調整や色補正処理などを行ってパソコン１０４に画像データを出力する。

また、パソコン１０４の本体１０４ａとステージ機構１０７との間には、ステージ制御装置１０８が接続されている。ステージ制御装置１０８は、パソコン１０４からの指令に応じてステージ機構１０７を制御する。ステージ機構１０７は、被検査物ＳＡを載せるステージ１０１を撮影機構１０３に対して三次元方向（水平方向や垂直方向）に移動するための駆動部を有している。

パターン投影機構１０２は、光源１０２ａから照明光を発光し、光軸方向と平行になった照明光を液晶板１０２ｂに透過させ、被検査物ＳＡに投影する。尚、液晶板１０２ｂを透過した光を被検査物ＳＡに投影する投影光学系１０２ｃは、複数のレンズの組み合わせにより構成される。

投影制御装置１０５は、パソコンからの指令に応じて、例えば液晶板１０２ｂに表示する格子パターンの位相をπ／２毎にシフトさせて被検査物ＳＡを走査する。尚、液晶板１０２ｂは、全透過状態にして、光源１０２ａから照射される光をそのまま被検査物ＳＡに投影することもできる。この場合は、光源１０２ａからの均一照明光が斜め方向から被検査物ＳＡに照射される。

撮像機構１０３は、撮影光学系１０３ｂによって、被検査物ＳＡから反射された格子パターン光を撮像部１０３ａの受光面に結像する。尚、撮像部１０３ａは、受光面に二次元状に配置された複数の画素を有するＣＣＤ型又はＣＭＯＳ型などのイメージセンサで構成される。撮像部１０３ａで撮影された画像は、撮像制御装置１０６でゲイン調整される。ここで、ゲイン調整は、パソコン１０４から画素毎に設定されたゲインで撮像部１０３ａが出力する画像信号の輝度値を調整する。尚、全画素が同じゲインに設定されていれば、１画像全体を同じゲインで撮影することもできる。

このようにして、撮像部１０３ａで撮影された画像は、撮像制御装置１０６でゲイン調整や色補正処理などが行われた後、パソコン１０４の本体１０４ａに出力される。パソコン１０４は、三次元形状計測用のアプリケーションソフトウェアが起動されており、撮像制御装置１０６から入力する画像データを解析して、被検査物ＳＡの三次元形状を求め、モニタ１０４ｂに表示する。或いは、本体１０４ａに内蔵されているメモリやハードディスクに記憶する。観測者は、パソコン１０４のモニタ１０４ｂの画面を見ながらキーボード１０４ｃを用いて、三次元形状測定装置１００を操作する。

尚、本実施形態では、パソコン１０４で起動するアプリケーションソフトウェアによって、パターン投影法やＳＦＦ法を選択して使用することができる。
＜三次元形状の計測方法＞
次に、パターン投影法およびＳＦＦ法を用いた三次元形状の計測方法について説明する。
（パターン投影法での三次元形状の計測）
位相シフト法と呼ばれるパターン投影法の場合、パソコン１０４は、投影制御装置１０５に指令して液晶板１０２ｂに表示する格子パターンの位相をシフトして被検査物ＳＡに投影する。ステージ１０１上の被検査物ＳＡに投影された格子パターンの光は、被検査物ＳＡ上で明度が白黒の縞模様状に変化する。被検査物ＳＡで反射された格子パターンの反射光は、撮像機構１０３の撮影光学系１０３ｂにより撮像部１０３ａの受光面に結像される。反射光は撮像部１０３ａで光電変換され、撮像制御装置１０６でゲイン調整されてパソコン１０４に出力される。パソコン１０４に出力される画像は、被検査物ＳＡの形状によって変形された格子パターンの画像である。同様にして、液晶板１０２ｂに表示する格子パターンの位相をπ／２ずつシフトさせて被検査物ＳＡに投影し、被検査物ＳＡの形状によって変形された格子パターンの反射光を各位相毎に撮像部１０３ａで撮影する。このようにして位相の異なる格子パターン毎に撮影された複数枚の画像データは、一時的にパソコン１０４の本体１０４ａのメモリやハードディスクに記憶される。これらの複数枚の画像データから位相連結行って、被検査物ＳＡの高さ方向の情報を計算し、被検査物ＳＡの三次元形状が求められる。尚、位相シフト法による三次元形状の計測方法は周知の技術なので詳しい説明は省略するが、格子パターンの位相をシフトさせて撮影する複数枚の画像は、黒潰れや白飛びのない画像であることが望ましい。例えば、黒潰れや白飛びが生じた場合は、位相連結処理を正確に行うことができないため、誤った三次元形状が計測されることになる。
（ＳＦＦ法での三次元形状の計測）
ＳＦＦ法の場合、パソコン１０４は、投影制御装置１０５に指令して液晶板１０２ｂを全透過状態にし、ステージ１０１上の被検査物ＳＡに光を投影する。被検査物ＳＡで反射された光は、撮像機構１０３の撮影光学系１０３ｂにより撮像部１０３ａの受光面に結像される。反射光は撮像部１０３ａで光電変換され、撮像制御装置１０６でゲイン調整されてパソコン１０４に出力される。パソコン１０４に出力される画像は、被検査物ＳＡの画像であるが、被検査物ＳＡは立体形状を有しているので、その高さによって焦点位置が異なる。尚、ＳＦＦ法の場合、高さ方向の分解能が高くなるように、撮影光学系１０３ｂは被写界深度が浅く設定されている。パソコン１０４で起動されているＳＦＦ法による三次元形状測定のソフトウェアは、ステージ制御装置１０８に指令して、ステージ機構１０７を撮影光学系１０３ｂの光軸方向に上下させ、被検査物ＳＡの部位毎に反射光が合焦するステージ１０１の高さを求める。被検査物ＳＡの同じ高さの部位は同じステージ位置で合焦するので、ステージを少しずつ上下させながら、被検査物ＳＡの部位毎に合焦するステージ位置を求めることによって、ステージ位置毎に被検査物ＳＡの等高線を描くことができ、被検査物ＳＡの三次元形状を求めることができる。尚、ＳＦＦ法の場合も、撮影する画像は、黒潰れや白飛びのない画像であることが望ましい。例えば、黒潰れや白飛びが生じた場合は、焦点位置を正確に求めることができないため、誤った三次元形状が計測されることになる。
＜三次元形状測定装置１００の動作＞
次に、本実施形態に係る三次元形状測定装置１００の動作について説明する。図２は、三次元形状測定装置１００のブロック図である。尚、図２において、図１と同符号のものは同じものを示すので重複する説明は省略する。パソコン１０４の本体１０４ａの構成を示すブロック図は、三次元形状測定を行うアプリケーションソフトウェアで処理するブロックを含めて機能的に描いてある。

先ず、図２において、撮影制御装置１０６でゲイン制御を行わない固定ゲインの場合の動作について説明する。この場合の動作は、一般的に行われている三次元形状測定の動作に相当する。尚、パソコン１０４の本体１０４ａでは三次元計測を行うアプリケーションソフトウェアが起動された状態になっているものとする。

計測者は、被検査物ＳＡをステージ１０１に配置して、キーボード１０４ｃから計測指示のコマンドを入力する。キーボード１０４ｃから計測指示を受け取った計測部２０２は、投影制御装置１０５に光源１０２ａを発光させる指示と、液晶板１０２ｂにパターン表示の指示を出力する。次に、計測部２０２は、制御部２０４に固定ゲインで撮影を行うよう指令する。計測部２０２から撮影指示を受けた制御部２０４は、撮像制御装置１０６に固定ゲインで撮像部１０３ａから画像を画像メモリ２０１に取り込むよう指令する。制御部２０４から画像の取り込み指示を受けた撮像制御装置１０６は、撮像部１０３ａから入力する画像を固定ゲインで増幅して、パソコン１０４の本体１０４ａの画像メモリ２０１に取り込む。そして、計測部２０２は、画像メモリ２０１に取り込まれた画像を読み出し、先に説明したパターン投影法やＳＦＦ法を利用して被検査物ＳＡの三次元形状を測定する。尚、計測部２０２は、必要に応じてステージ制御装置１０８に指令して、ステージ１０１を移動させ、被検査物ＳＡの撮影位置を移動する。

ここで、本実施形態に係る三次元形状測定装置１００の特徴が分かり易いように、撮影制御装置１０６でゲイン制御を行わない固定ゲインの場合の問題点について説明する。説明を簡単にするために、撮像部１０３ａで撮影する画像の画素配置は、図３に示すように、横方向Ｘ１からＸ４の４画素、縦方向Ｙ１からＹ４の４画素で構成されるＰ１からＰ１６の１６画素で構成されるものとする。一般的に画像を撮影する時は、画像全体の明るさを判断して撮影時のゲインを決めるので、極端に暗い被写体光が入射する画素や極端に明るい被写体光が入射する画素では、撮像部１０３ａのダイナミックレンジを超えてしまう場合が生じる。この一例について、図４を用いて説明する。図４は、図３で説明した１６画素の撮像部１０３ａで撮影される画像の画素毎の輝度値を濃さで表した説明図である。尚、図４において、画素（Ｘ３，Ｙ２）は極端に暗い画素、画素（Ｘ２，Ｙ４）は極端に明るい画素として描いてある。図４（ａ）は、画素（Ｘ３，Ｙ２）と画素（Ｘ２，Ｙ４）以外の画素において撮像部１０３ａのダイナミックレンジ内に収まる適正なゲインＧＡで撮影された場合の画像を描いてある。この場合、極端に暗い画素（Ｘ３，Ｙ２）は黒潰れして撮影され、極端に明るい画素（Ｘ２，Ｙ４）は白飛びした状態で撮影される。

このように、撮影制御装置１０６でゲイン制御を行わない固定ゲインの場合は、黒潰れした画素や白飛びした画素が生じるため、計測部２０２で三次元形状を求める場合に影響を与えてしまい、正確な三次元形状を求めることができないという問題がある。そこで、本実施形態に係る三次元形状測定装置１００は、撮影する画像の画素毎に撮像部１０３ａのダイナミックレンジ内に収まるように、撮影制御装置１０６でゲイン制御を行って計測用の画像を撮影するようになっている。

次に、撮影制御装置１０６でゲイン制御を行う場合の動作について、図５を用いて詳しく説明する。図５は本実施形態に係る三次元形状測定装置１００のアプリケーションソフトウェアの動作を示すフローチャートである。尚、パソコン１０４の本体１０４ａでは、三次元計測を行うアプリケーションソフトウェアが起動され、被検査物ＳＡがステージ１０１に配置されて、計測者がキーボード１０４ｃから計測開始コマンドを入力した状態にあるものとする。また、ゲイン設定部２０６が撮像制御装置１０６に設定するゲインのデフォルト値として、先に説明した図４（ａ）の場合のゲインＧＡが設定されているものとする。以下、図５のフローチャートに従って順に説明する。

（ステップＳ１０１）計測者がキーボード１０４ｃから入力した計測開始コマンドを受けて、三次元形状の計測処理を開始する。

（ステップＳ１０２）撮像制御装置１０６のゲイン設定を行う。具体的には、制御部２０４は、ゲイン設定部２０６から撮像制御装置１０６にデフォルトのゲインＧＡを設定する。

（ステップＳ１０３）画像撮影を行う。具体的には、制御部２０４は、撮像制御装置１０６に画像の取り込みを指令する。制御部２０４から画像の取り込み指令を受けた撮像制御装置１０６は、撮像部１０３ａから入力する画像をゲインＧＡで増幅して、パソコン１０４の本体１０４ａの画像メモリ２０１に取り込む。

（ステップＳ１０４）輝度値判定部２０５は、画像メモリ２０１に取り込まれた画像の画素毎の輝度値が所定範囲内か否かを判定する。例えば、先に説明した図４（ａ）の場合、輝度値判定部２０５は、画素（Ｘ１，Ｙ１）から画素（Ｘ４，Ｙ４）までの１６画素それぞれに対して、輝度値が所定範囲内か否かを判定する。

ここで、輝度値の所定範囲について説明する。例えば、モノクロ画像で画素の階調が８ビットの場合、０（黒色側）から２５５（白色側）の輝度値で画像が構成される。この時、黒潰れした画素は０の値に張り付き、白飛びした画素は２５５の値に張り付いた状態になる。そこで、例えば、１以上２５４以下の輝度値を所定範囲内と設定すれば、画素の輝度値がこの範囲内にあれば、黒潰れや白飛びせずに撮影できることになる。尚、実際にはノイズなどによる振れを考慮して、輝度値の所定範囲を５以上２５０以下などに設定するのが好ましい。ここでは、黒潰れすると判定する黒閾値ｔｈ１を４、白飛びすると判定する白閾値ｔｈ２を２５１とする。

（ステップＳ１０５）ゲイン設定部２０６は、ステップＳ１０４で判定した結果により、画素毎のゲインをゲインテーブル２０７に設定する。尚、ゲインテーブル２０７は、画素毎のゲインを記憶するテーブルで、動作開始時は全画素のゲイン値がリセットされ、未定の状態になっている。例えば、取り込んだ画像が図４（ａ）の場合、画素（Ｘ３，Ｙ２）の輝度値が３、画素（Ｘ２，Ｙ４）の輝度値が２５３であったとし、これら以外の画素の輝度値は５以上２５０以下の範囲内であったとする。この場合、ステップＳ１０４の判定結果は、画素（Ｘ３，Ｙ２）と画素（Ｘ２，Ｙ４）以外の画素の輝度値は、所定範囲内に収まっていることになるので、これらの画素のゲインをゲインＧＡに決定し、ゲインテーブル２０７に設定する。この時のゲインテーブル２０７の様子を図６（ａ）に示す。画素（Ｘ３，Ｙ２）および画素（Ｘ２，Ｙ４）以外の画素にゲインＧＡが設定され、画素（Ｘ３，Ｙ２）および画素（Ｘ２，Ｙ４）はゲインが未定の状態となる。

（ステップＳ１０６）ゲインテーブル２０７の全画素のゲインが決定されたか否かを判別する。ゲインが未定の画素がある場合はステップＳ１０７に進み、ゲインが未定の画素がない場合はステップＳ１１１に進む。

（ステップＳ１０７）黒閾値ｔｈ１より小さい輝度値の画素があるか否かを判別する。黒閾値ｔｈ１より小さい輝度値の画素がある場合はステップＳ１０８に進み、黒閾値ｔｈ１より小さい輝度値の画素がない場合はステップＳ１０９に進む。

（ステップＳ１０８）撮像制御装置１０６に設定されている現状のゲインより大きいゲインを設定する。例えば、現状のゲインはデフォルトのゲインＧＡなので、これよりも大きなゲインＧＢを求める。尚、ゲインＧＢは、黒閾値ｔｈ１より小さい輝度値の画素が黒閾値ｔｈ１より大きい輝度値となるゲインとする。設定ゲインを求めたらステップＳ１０２に戻る。

例えば、ステップＳ１０２に戻って、ゲインＧＢで撮影された画像は、画素（Ｘ３，Ｙ２）の輝度値が所定範囲内に収まることになるので、図６（ｂ）に示すように、ゲインテーブル２０７の画素（Ｘ３，Ｙ２）のゲインはゲインＧＢに決定される。尚、図６（ｂ）の時点では、画素（Ｘ２，Ｙ４）のゲインは未定である。

（ステップＳ１０９）白閾値ｔｈ２より大きい輝度値の画素があるが否かを判別する。白閾値ｔｈ２より大きい輝度値の画素がある場合はステップＳ１１０に進み、白閾値ｔｈ２より大きい輝度値の画素がない場合はステップＳ１０２に戻る。尚、実際には、ステップＳ１０６で「Ｎｏ」の判定がなされているので、ステップＳ１０７およびステップＳ１０９の両方で「Ｎｏ」の判定がなされることはない。

（ステップＳ１１０）撮像制御装置１０６に設定されている現状のゲインより小さいゲインを設定する。例えば、現状のゲインはデフォルトのゲインＧＡなので、これよりも小さなゲインＧＣを求める。尚、ゲインＧＣは、白閾値ｔｈ２より大きい輝度値の画素が白閾値ｔｈ２より小さい輝度値となるゲインとする。設定ゲインを求めたらステップＳ１０２に戻る。

例えば、ステップＳ１０２に戻って、ゲインＧＣで撮影された画像は、画素（Ｘ２，Ｙ４）の輝度値が所定範囲内に収まることになるので、図６（ｃ）に示すように、ゲインテーブル２０７の画素（Ｘ２，Ｙ４）のゲインはゲインＧＣに決定される。尚、図６（ｃ）の時点では、ゲインテーブル２０７の全ての画素のゲインが決定されている。

（ステップＳ１１１）ゲインテーブル２０７の全ての画素のゲインが決定されているので、ゲイン設定部２０６は、このゲインテーブル２０７に従って撮像部１０３ａで撮影する画像の各画素毎のゲインを撮像制御装置１０６に設定する。

（ステップＳ１１２）三次元形状計測用の画像撮影を行う。具体的には、制御部２０４は、撮像制御装置１０６に画像の取り込みを指令する。制御部２０４から画像の取り込み指令を受けた撮像制御装置１０６は、撮像部１０３ａから入力する画像をゲインテーブル２０７で設定したゲインで各画素の信号を増幅して、パソコン１０４の本体１０４ａの画像メモリ２０１に取り込む。

（ステップＳ１１３）三次元形状の計測処理を行う。尚、三次元形状の計測方法は、先に説明したパターン投影法やＳＦＦ法を利用する。計測した三次元形状データは、パソコン１０４のハードディスクなどの記憶装置２０３に記憶される。或いは、モニタ１０４ｂに計測結果が表示される。

（ステップＳ１１４）三次元形状の計測処理を終了する。

尚、上記では１枚の画像を撮影して三次元形状の計測を行う場合について説明したが、三次元形状の計測方法によっては、複数枚の画像を撮影する必要がある。この場合は、計測部２０２は、ステップＳ１０２からステップＳ１１２までの処理を繰り返して複数枚の画像を撮影し、ステップＳ１１３ではそれぞれ適正なゲインで撮影された複数枚の画像を用いて三次元形状の計測処理を行う。ここで、ステップＳ１０２からステップＳ１１２までの処理は、本発明に係る画像ゲイン調整装置および画像ゲイン調整方法に相当する部分である。

次に、先に説明した位相シフト法を用いて複数枚の画像を撮影する場合について説明する。ここでは、π／２毎に位相をシフトして撮影した４枚の画像を処理して三次元形状を計測する。この場合、投影制御装置１０５は、パソコン１０４からの指令に応じて、被検査物ＳＡに投影する格子パターンの位相をπ／２毎にシフトするよう液晶板１０２ｂを制御する。この時、π／２の位相をシフトする毎に、図５のフローチャートのステップＳ１０２からステップＳ１１２までの処理を繰り返して、適正なゲインで撮影されたπ／２毎に位相の異なる４枚の画像を得る。撮影された４枚の画像は、図７に示すように、位相毎に異なるａ１からａ４に対応する。図８（ａ）に示す画像ＩＭ１，画像ＩＭ２，画像ＩＭ３，画像ＩＭ４は、π／２毎に位相の異なる４枚の画像の一例である。

尚、この時、画像ＩＭ１，画像ＩＭ２，画像ＩＭ３，画像ＩＭ４は、それぞれ異なるゲインで撮影されているので、三次元形状を求める際には各画像の輝度値を正規化する処理が必要となる。例えば、画像ＩＭ１が図６（ｃ）のゲインで撮影された画像であると仮定する。この場合の正規化処理は、各画素の輝度値に各画素のゲインで除算する処理となるが、実際には処理を簡略化するために、１／ゲインの正規化テーブルを画像ＩＭ１，画像ＩＭ２，画像ＩＭ３，画像ＩＭ４の４枚の画像毎に設けておいて計算するのが好ましい。この場合は、例えば図６（ｃ）のゲインで撮影された画像ＩＭ１の画素毎に、図９に示すような正規化テーブルの係数を乗算するだけでよい。

正規化処理を行った後、π／２毎に位相の異なる４枚の画像（画像ＩＭ１，画像ＩＭ２，画像ＩＭ３，画像ＩＭ４）の位相連結処理を行うと図８（ｂ）のような三次元形状が得られる。尚、位相シフト法の詳細なアルゴリズムについての説明は省略する。

このように、本実施形態に係る三次元形状測定装置１００は、撮像部１０３ａと撮像制御装置１０６で複数のゲインの画像を撮影し、輝度値判定部２０５で撮影された画像の各画素の輝度値が所定範囲内であるか否かを判別し、ゲイン設定部２０６で各画素の輝度値が所定範囲内になる方向にゲインを指定して全画素の輝度値が所定範囲内になるように各画素のゲインを設定するので、撮影する画像の同一視野内のダイナミックレンジが撮像部のダイナミックレンジを越える場合でも、黒潰れや白飛びを起こすことなく適正な画像を撮影することができる。特に、三次元形状測定装置１００においては、黒潰れや白飛びによって計測誤りを生じることなく、三次元形状の測定を行うことができる。

（第２の実施形態）
次に、第２の実施形態に係る三次元形状測定装置について説明する。本実施形態に係る三次元形状測定装置は、第１の実施形態で説明した三次元形状測定装置１００と同じ構成である。第１の実施形態と異なるのは図５のフローチャートである。図１０は本実施形態に係る三次元形状測定装置１００のアプリケーションソフトウェアの動作を示すフローチャートである。尚、図５と同じ処理ステップ同じ処理を行う。第１の実施形態の図５と異なるのは、ステップＳ１０６とステップＳ１０７の間に、ステップＳ１１５が設けられたことと、計測処理を行うステップＳ１１３の処理内容が変更されたことである。以下、図１０のフローチャートにおいて図５と異なる部分のみ説明する。

（ステップＳ１１５）ゲイン設定部２０６がゲインを変更して撮影を繰り返す処理（図５のステップＳ１０２からステップＳ１１０までの処理）を所定回数行ったか否かを判別する。所定回数を行った場合はステップＳ１１１へ進み、所定回数を行っていない場合はステップＳ１０７に進む。尚、所定回数は、ステップＳ１０６の判定結果が「Ｎｏ」の場合にステップＳ１０８またはステップＳ１１０でゲイン変更する回数を示し、予め計測部２０２や記憶装置２０３などに設定されている。例えば、ステップＳ１０８でゲインを大きくする処理とステップＳ１１０でゲインを小さくする処理とを１回ずつ行う場合は、所定回数を少なくとも２回に設定しておく必要がある。

（ステップＳ１１３ｂ）基本的には図５のステップＳ１１３と同じように三次元形状の計測処理を行うが、ステップＳ１０６で全画素のゲインが決定されていない場合でも三次元形状の計測処理を行う。この場合、ゲインテーブル２０７を参照してゲインが未定の画素位置については計測を行わずに、周辺画素の輝度値から補間して三次元形状の計測処理を行う。或いは、モニタ１０４ｂにその部分の計測不可能である旨を示すようにしても構わない。例えば、モニタ１０４ｂ上に表示されている被検査物ＳＡの計測不可能な画素位置を赤色で点滅表示して計測者の注意を促すようにしても構わない。

このように、本実施形態に係る三次元形状測定装置１００は、第１の実施形態の効果に加えて、撮影する画像の全画素のゲインをなかなか決定できないような場合でも途中で切り上げて計測を行うことができる。さらに、適正なゲインを決定できなかった画素においては、エラー情報をモニタ１０４ｂに表示するので計測者に注意を促すことができる。

（第３の実施形態）
次に、第３の実施形態に係る三次元形状測定装置について説明する。本実施形態に係る三次元形状測定装置は、第１の実施形態で説明した三次元形状測定装置１００と基本的には同じ構成である。第１の実施形態と異なるのはゲイン調整だけでなく、露光条件や照明光量を調整するようになっている。

本実施形態の場合は、第１の実施形態の図５のフローチャートにおいて、ゲイン調整を行うと共に露光条件や照明光量を調整する。例えば、図５のステップＳ１０２において、撮像制御装置１０６のゲイン設定を行うと共に、撮像部１０３ａで画像を撮影する際の露光条件（シャッタースピードや絞りなど）の設定や、パターン投影機構１０２の光源１０２ａが照射する光量の設定を行う。尚、露光条件の設定はパソコン１０４の計測部２０２から撮像制御装置１０６に指令され、光量の設定はパソコン１０４の計測部２０２から投影制御装置１０５に指令される。また、図５のステップＳ１０２におけるゲイン設定の場合と同様に、露光条件や光量についてもデフォルト値が予め設定されている。同様に、図５のステップＳ１０８やステップＳ１１０においても、ゲイン調整を行うと共に露光条件や照明光量を調整する。

このようにして、ゲイン調整だけでは調整しきれない場合でも、露光条件や照明光量を調整することによって、第１の実施形態の場合より幅広く調整することができ、黒潰れや白飛びのしない画像を撮影することが可能になる。

尚、本実施形態では、第１の実施形態の図５のフローチャートを基にして説明したが、第２の実施形態で説明した図１０のフローチャートにおいても同様に適用することができる。特に、第２の実施形態の図１０のフローチャートの場合は、ステップＳ１１５で所定回数を行っても全画素のゲイン設定ができない場合に、露光条件や照明光量を変えるようにしても構わない。この場合は、図１０のフローチャートにおいて、ステップＳ１１５の判別結果が「Ｙｅｓ」の場合に露光条件や照明光量を変える処理を挿入し、この処理後、ステップＳ１０２に戻るようにすればよい。

以上、各実施形態で説明してきたように、本発明によれば、撮影する画像の同一視野内のダイナミックレンジが撮像部のダイナミックレンジを越える場合でも、白飛びや黒潰れのない画像を撮影することができる。

各実施形態に係る三次元形状測定装置１００の構成図である。 各実施形態に係る三次元形状測定装置１００のブロック図である。 撮像部１０３ａの画素配置例を示す説明図である。 異なるゲインで撮影された画像の一例を示す説明図である。 第１の実施形態の計測処理を示すフローチャートである。 ゲインテーブル２０７の一例を示す説明図である。 位相シフト法を示す説明図である。 位相シフト法の撮影画像例を示す説明図である。 正規化テーブルの一例を示す説明図である。 第２の実施形態の計測処理を示すフローチャートである。

符号の説明

１００・・・三次元形状測定装置 １０１・・・ステージ
１０２・・・パターン投影機構 １０２ａ・・・光源
１０２ｂ・・・格子パターン １０２ｃ・・・投影光学系
１０３ａ・・・撮像部 １０３ｂ・・・撮像光学系
１０４・・・パソコン １０４ａ・・・本体
１０４ｂ・・・モニタ １０４ｃ・・・キーボード
１０５・・・投影制御装置 １０６・・・撮像制御装置
１０７・・・ステージ機構 １０８・・・ステージ制御装置
２０１・・・画像メモリ ２０２・・・計測部
２０３・・・記憶装置 ２０４・・・制御部
２０５・・・輝度値判定部 ２０６・・・ゲイン設定部
２０７・・・ゲインテーブル ＳＡ・・・被検査物

Claims (5)

1. 撮影する画像の画素毎のゲインを制御する画像ゲイン調整装置であって、
   指定されたゲインで画像を撮影する画像撮影部と、
   前記画像撮影部で撮影した画像の各画素の輝度値が予め設定された所定範囲内であるか否かを判別する輝度値判別部と、
   各画素の輝度値が所定範囲内の場合は撮影時のゲインを当該画素のゲインとして設定し、各画素の輝度値が所定範囲外の場合は当該画素の輝度値が所定範囲内になる方向にゲインを指定して前記画像撮影部で画像を撮影する一連の動作を全画素の前記輝度値判別部の判別結果が所定範囲内になるまで繰り返すゲイン設定部と
   を有することを特徴とする画像ゲイン調整装置。
2. 請求項１に記載の画像ゲイン調整装置において、
   前記輝度値判別部は、前記画像撮影部で撮影した画像の各画素の輝度値が前記画像撮影部のダイナミックレンジ内であるか否かを判別し、
   前記ゲイン設定部は、各画素の輝度値が前記ダイナミックレンジ内の場合は撮影時のゲインを当該画素のゲインとして設定し、各画素の輝度値が前記ダイナミックレンジより小さい場合は当該画素のゲインが大きくなる方向に、或いは各画素の輝度値が前記ダイナミックレンジより大きい場合は当該画素のゲインが小さくなる方向に、それぞれ前記画像撮影部に指定して画像を撮影する一連の動作を全画素の前記輝度値判別部の判別結果が所定範囲内になるまで繰り返す
   ことを特徴とする画像ゲイン調整装置。
3. 請求項１または２に記載の画像ゲイン調整装置を有する三次元形状測定装置であって、
   前記ゲイン設定部で設定された画素毎のゲインを用いて前記画像撮影部で撮影した画像を用いて三次元形状を計測する計測部を有する
   ことを特徴とする三次元形状測定装置。
4. 撮影する画像の画素毎のゲインを制御する画像ゲイン調整方法であって、
   指定されたゲインで画像を撮影する画像撮影手順と、
   前記画像撮影手順で撮影した画像の各画素の輝度値が予め設定された所定範囲内であるか否かを判別する輝度値判別手順と、
   各画素の輝度値が所定範囲内の場合は撮影時のゲインを当該画素のゲインとして設定し、各画素の輝度値が所定範囲外の場合は当該画素の輝度値が所定範囲内になる方向にゲインを指定して前記画像撮影手順で画像を撮影する一連の動作を全画素の前記輝度値判別手順の判別結果が所定範囲内になるまで繰り返すゲイン設定手順と
   を有することを特徴とする画像ゲイン調整方法。
5. 請求項４に記載の画像ゲイン調整方法において、
   前記輝度値判別手順は、前記画像撮影手順で撮影した画像の各画素の輝度値が前記画像撮影手順のダイナミックレンジ内であるか否かを判別し、
   前記ゲイン設定手順は、各画素の輝度値が前記ダイナミックレンジ内の場合は撮影時のゲインを当該画素のゲインとして設定し、各画素の輝度値が前記ダイナミックレンジより小さい場合は当該画素のゲインが大きくなる方向に、或いは各画素の輝度値が前記ダイナミックレンジより大きい場合は当該画素のゲインが小さくなる方向に、それぞれ前記画像撮影手順に指定して画像を撮影する一連の動作を全画素の前記輝度値判別手順の判別結果が所定範囲内になるまで繰り返す
   ことを特徴とする画像ゲイン調整方法。

Images