[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2024017231A - 検査システムおよび検査方法 - Google Patents

検査システムおよび検査方法 Download PDF

Info

Publication number
JP2024017231A
JP2024017231A JP2022119740A JP2022119740A JP2024017231A JP 2024017231 A JP2024017231 A JP 2024017231A JP 2022119740 A JP2022119740 A JP 2022119740A JP 2022119740 A JP2022119740 A JP 2022119740A JP 2024017231 A JP2024017231 A JP 2024017231A
Authority
JP
Japan
Prior art keywords
light
image
inspection
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022119740A
Other languages
English (en)
Inventor
寛史 太田
Hiroshi Ota
鋭一 清水
Eiichi Shimizu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Elemex Corp
Original Assignee
Ricoh Elemex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Elemex Corp filed Critical Ricoh Elemex Corp
Priority to JP2022119740A priority Critical patent/JP2024017231A/ja
Publication of JP2024017231A publication Critical patent/JP2024017231A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

【課題】高精度な正弦波縞パターンの撮像画像を取得する。【解決手段】実施形態の検査システムは、検査対象物に対して光を照射する照明部と、前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部と、複数の強度の光を用いて撮像された複数の撮像画像に基づいて、光投影強度と受光輝度との関係を示す関係情報を作成し、前記関係情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する処理部と、前記検査対象物の検査のために前記撮像部による撮像を行うときに、前記照明部を制御して、周期的に空間的に前記投影縞パターンが移動するように光を照射させる照明制御部と、を備える。【選択図】図18

Description

本発明の実施形態は、検査システムおよび検査方法に関する。
従来から、例えば、検査対象物に対して周期的に空間的に強度が変化する光を照射し、検査対象物の表面からの反射光を撮像して撮像画像を取得し、撮像画像の輝度変化等に基づいて検査対象物の異常を検出する技術が提案されている。
その場合、例えば、正弦波縞パターンの撮像画像を取得するために、照明装置から正弦波縞パターンの光を検査対象物に対して投影する。ここで、正弦波縞パターンとは、縞パターンであって、輝度の変化をグラフにすると正弦波になるものを指す。
特開平5-196436号公報
しかしながら、照明装置から正弦波縞パターンの光を検査対象物に対して投影して撮像したとしても、種々の理由により、正弦波縞パターンの撮像画像を取得できるとは限らない。
そこで、本実施形態の課題は、高精度な正弦波縞パターンの撮像画像を取得することができる検査システムおよび検査方法を提供することである。
実施形態の検査システムは、検査対象物に対して光を照射する照明部と、前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部と、複数の強度の光を用いて撮像された複数の撮像画像に基づいて、光投影強度と受光輝度との関係を示す関係情報を作成し、前記関係情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する処理部と、前記検査対象物の検査のために前記撮像部による撮像を行うときに、前記照明部を制御して、周期的に空間的に前記投影縞パターンが移動するように光を照射させる照明制御部と、を備える。
図1は、実施形態の検査システムの構成例を示した図である。 図2は、実施形態の時間相関カメラの構成を示したブロック図である。 図3は、実施形態の時間相関カメラで時系列順に蓄積されたフレームを表した概念図である。 図4は、実施形態の照明装置が照射する縞パターンの一例を示した図である。 図5は、実施形態の時間相関カメラによる、検査対象物の異常の第1の検出例を示した図である。 図6は、図5に示される異常が検査対象物にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。 図7は、実施形態の時間相関カメラによる、検査対象物の異常の第2の検出例を示した図である。 図8は、実施形態の時間相関カメラによる、検査対象物の異常の第3の検出例を示した図である。 図9は、実施形態の照明制御部が照明装置に出力する縞パターンの例を示した図である。 図10は、実施形態のスクリーンを介した後の縞パターンを表した波の形状の例を示した図である。 図11は、従来技術による投影縞パターンと受光縞パターンなどの説明図である。 図12は、実施形態による投影縞パターンと受光縞パターンなどの説明図である。 図13は、比較例1の矩形投影パターンを示す図である。 図14は、比較例1の位相画像と振幅画像の例を示す図である。 図15は、比較例1の位相画像と振幅画像の例を示す図である。 図16は、比較例2の位相画像と振幅画像の例を示す図である。 図17は、実施形態の位相画像と振幅画像の例を示す図である。 図18は、実施形態の検査システムによるおける照明制御を示すフローチャートである。
以下、本発明の検査システムおよび検査方法の実施形態について説明する。なお、以下の実施形態では、位相シフト法を使う場合について説明する。
実施形態の概要を説明すると、まず、図1~図10を用いて、位相シフト法における強度画像、振幅画像、位相画像の生成などについて説明する。その後で、図11~図19を用いて、高精度な正弦波縞パターンの撮像画像の取得について説明する。
実施形態の検査システムは、検査対象物を検査するために様々な構成を備えている。図1は、本実施形態の検査システムの構成例を示した図である。図1に示されるように、本実施形態の検査システムは、PC100と、時間相関カメラ110と、照明装置120と、スクリーン130と、アーム140と、を備えている。
アーム140は、検査対象物150を固定するために用いられ、PC100からの制御に応じて、時間相関カメラ110が撮影可能な検査対象物150の表面の位置と向きを変化させる。
照明装置120は、検査対象物150に対して周期的に空間的に強度が変化する光を照射する。具体的には、照明装置120は、PC100からの縞パターンに従って、照射する光の強度を領域単位で制御する。また、照明装置120は、周期的な時間の遷移に従って当該領域単位の光の強度を制御できる。換言すれば、照明装置120は、光の強度の周期的な時間変化及び空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。
スクリーン130は、照明装置120から出力された光を拡散させた上で、検査対象物150に対して面的に光を照射する。本実施形態のスクリーン130は、照明装置120から入力された周期的な時間変化及び空間変化が与えられた光を、面的に検査対象物150に照射する。なお、照明装置120とスクリーン130との間には、集光用のフレネルレンズ等の光学系部品(図示されず)が設けられてもよい。
なお、本実施形態は、照明装置120とスクリーン130とを組み合わせて、光強度の周期的な時間変化及び空間変化を与える面的な照射部を構成する例について説明するが、このような組み合わせに制限するものではなく、例えば、LEDを面的に配置して照明部を構成してもよい。また、市販のモニターやテレビなどの一般的なディスプレイによって照明部を構成してもよい。
時間相関カメラ110は、光学系210と、イメージセンサ220と、データバッファ230と、制御部240と、参照信号出力部250と、を備えている。図2は、本実施形態の時間相関カメラ110の構成を示したブロック図である。
光学系210は、撮影レンズ等を含み、時間相関カメラ110の外部の被写体(検査対象物を含む)からの光束を透過し、その光束により形成される被写体の光学像を結像させる。
イメージセンサ220は、照明装置120によって照射された光が検査対象物150の表面で反射することで発生した反射光を含む光を、光学系210を介して撮像する。具体的には、イメージセンサ220は、光学系210を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサである。
本実施形態の光強度信号は、検査システムの照明装置120が被写体(検査対象物を含む)に対して光を照射し、当該被写体からの反射光を、イメージセンサ220が受け取ったものである。
イメージセンサ220は、例えば従来のものと比べて高速に読み出し可能なセンサであり、行方向(x方向)、列方向(y方向)の2種類の方向に画素が配列された2次元平面状に構成されたものとする。そして、イメージセンサ220の各画素を、画素P(1,1),……,P(i,j),……,P(X,Y)とする(なお、本実施形態の画像サイズをX×Yとする。)。なお、イメージセンサ220の読み出し速度を制限するものではなく、従来と同様であってもよい。
イメージセンサ220は、光学系210によって透過された、被写体(検査対象物を含む)からの光束を受光して光電変換することで、被写体から反射された光の強弱を示した光強度信号(撮影信号)で構成される、2次元平面状のフレームを生成し、制御部240に出力する。本実施形態のイメージセンサ220は、読み出し可能な単位時間毎に、当該フレームを出力する。
本実施形態の制御部240は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成され、ROMに格納された検査プログラムを実行することで、転送部241と、読出部242と、強度画像用重畳部243と、第1の乗算器244と、第1の相関画像用重畳部245と、第2の乗算器246と、第2の相関画像用重畳部247と、画像出力部248と、を実現する。なお、CPU等で実現することに制限するものではなく、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)やGPU(Graphics Processing Unit)などで実現してもよい。
転送部241は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、データバッファ230に、時系列順に蓄積する。
データバッファ230は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、時系列順に蓄積する。
図3は、本実施形態の時間相関カメラ110で時系列順に蓄積されたフレームを表した概念図である。図3に示されるように、本実施形態のデータバッファ230には、時刻t(t=t0,t1,t2,……,tn)毎の複数の光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)の組み合わせで構成された複数のフレームFk(k=1,2,……,n)が、時系列順に蓄積される。なお、時刻tで作成される一枚のフレームは、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)で構成される。
本実施形態の光強度信号(撮像信号)G(1,1,t),……,G(i,j,t),……,G(X,Y,t)には、フレーム画像Fk(k=1,2,……,n)を構成する各画素P(1,1),……,P(i,j),……,P(X,Y)が対応づけられている。
イメージセンサ220から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、本実施形態は、解像度、感度、及びコスト等を考慮して、イメージセンサ220がモノクロの画像データを生成する例について説明するが、イメージセンサ220としてモノクロ用のイメージセンサに制限するものではなく、カラー用のイメージセンサを用いてもよい。
図2に戻り、本実施形態の読出部242は、データバッファ230から、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)をフレーム単位で、時系列順に読み出して、第1の乗算器244と、第2の乗算器246と、強度画像用重畳部243と、に出力する。
本実施形態の時間相関カメラ110は、読出部242の出力先毎に画像データを生成する。換言すれば、時間相関カメラ110は、3種類の画像データを作成する。
本実施形態の時間相関カメラ110は、3種類の画像データとして、強度画像データと、2種類の時間相関画像データと、を生成する。なお、本実施形態は、3種類の画像データを生成することに制限するものではなく、強度画像データを生成しない場合や、1種類又は3種類以上の時間相関画像データを生成する場合も考えられる。
本実施形態のイメージセンサ220は、上述したように単位時間毎に、光強度信号で構成されたフレームを出力している。しかしながら、通常の画像データを生成するためには、撮影に必要な露光時間分の光強度信号が必要になる。そこで、本実施形態では、強度画像用重畳部243が、撮影に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成する。なお、強度画像データの各画素値(光の強度を表す値)G(x,y)は、以下に示す式(1)から導き出すことができる。なお、露光時間は、t0とtnの時間差とする。
Figure 2024017231000002
これにより、従来のカメラの撮影と同様に、被写体(検査対象物を含む)が撮影された強度画像データが生成される。そして、強度画像用重畳部243は、生成した強度画像データを、画像出力部248に出力する。
時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。つまり、本実施形態では、時系列順のフレーム毎に、当該フレームに含まれる光強度信号に対して、時間遷移を示した参照信号を乗算し、参照信号と光強度信号と乗算結果である時間相関値で構成された、時間相関値フレームを生成し、複数の時間相関値フレームを重畳することで、時間相関画像データを生成する。
ところで、時間相関画像データを用いて、検査対象物の異常を検出するためには、イメージセンサ220に入力される光強度信号を、参照信号に同期させて変化させる必要がある。このために、照明装置120が、上述したように、スクリーン130を介して周期的に時間変化および縞の空間的な移動を与えるような、面的な光の照射を行うこととした。
本実施形態では、2種類の時間相関画像データを生成する。参照信号は、時間遷移を表した信号であればよいが、本実施形態では、複素正弦波e-jωtを用いる。なお、角周波数ω、時刻tとする。参照信号を表す複素正弦波e-jωtが、上述した露光時間(換言すれば強度画像データ、時間相関画像を生成するために必要な時間)の一周期と相関をとるように、角周波数ωが設定されるものとする。換言すれば、照明装置120およびスクリーン130等の照明部によって形成された面的かつ動的な光は、検査対象物150の表面(反射面)の各位置で第一の周期(時間周期)での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第二の周期(空間周期)での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック(法線ベクトルの分布等)に応じて複素変調される。時間相関カメラ110は、表面で複素変調された光を受光し、第一の周期の参照信号を用いて直交検波(直交復調)することにより、複素信号としての時間相関画像データを得る。このような複素時間相関画像データに基づく変復調により、表面の法線ベクトルの分布に対応した特徴を検出することができる。
複素正弦波e-jωtは、e-jωt=cos(ωt)-j・sin(ωt)と表すこともできる。従って、時間相関画像データの各画素値C(x,y)は、以下に示す式(2)から導き出すことができる。
Figure 2024017231000003
本実施形態では、式(2)において、実数部を表す画素値C1(x,y)と、虚数部を表す画素値C2(x,y)と、に分けて2種類の時間相関画像データを生成する。
このため、参照信号出力部250は、第1の乗算器244と、第2の乗算器246と、に対してそれぞれ異なる参照信号を生成し、出力する。本実施形態の参照信号出力部250は、複素正弦波e-jωtの実数部に対応する第1の参照信号cosωtを第1の乗算器244に出力し、複素正弦波e-jωtの虚数部に対応する第2の参照信号sinωtを第2の乗算器246に出力する。このように本実施形態の参照信号出力部250は、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される2種類の参照信号を出力する例について説明するが、参照信号は時間関数のような時間遷移に応じて変化する参照信号であればよい。
そして、第1の乗算器244は、読出部242から入力されたフレーム単位で、当該フレームの光強度信号毎に、参照信号出力部250から入力された複素正弦波e-jωtの実数部cosωtを乗算する。
第1の相関画像用重畳部245は、撮影に必要な露光時間分の複数のフレームについて、第1の乗算器244の乗算結果を画素毎に重畳する処理を行う。これにより、第1の時間相関画像データの各画素値C1(x,y)が、以下の式(3)から導出される。
Figure 2024017231000004
そして、第2の乗算器246は、読出部242から入力されたフレームの光強度信号に対して、参照信号出力部250から入力された複素正弦波e-jωtの虚数部sinωtを乗算する。
第2の相関画像用重畳部247は、撮影に必要な露光時間分の複数のフレームについて、第2の乗算器246の乗算結果を画素毎に重畳する処理を行う。これにより、第2の時間相関画像データの各画素値C2(x、y)が、以下の式(4)から導出される。
Figure 2024017231000005
上述した処理を行うことで、2種類の時間相関画像データ、換言すれば2自由度を有する時間相関画像データを生成できる。
また、本実施形態は、参照信号の種類を制限するものでない。例えば、本実施形態では、複素正弦波e-jωtの実部と虚部の2種類の時間相関画像データを作成するが、光の振幅と、光の位相と、による2種類の画像データを生成してもよい。
なお、本実施形態の時間相関カメラ110は、時間相関画像データとして、複数系統分作成可能とする。これにより、例えば複数種類の幅の縞が組み合わされた光が照射された際に、上述した実部と虚部とによる2種類の時間相関画像データを、縞の幅毎に作成可能とする。このために、時間相関カメラ110は、2個の乗算器と2個の相関画像用重畳部とからなる組み合わせを、複数系統分備えるとともに、参照信号出力部250は、系統毎に適した角周波数ωによる参照信号を出力可能とする。
そして、画像出力部248が、2種類の時間相関画像データと、強度画像データと、をPC100に出力する。これにより、PC100が、2種類の時間相関画像データと、強度画像データと、を用いて、検査対象物の異常を検出する。そのためには、被写体に対して光を照射する必要がある。
本実施形態の照明装置120は、高速に移動する縞パターンを照射する。図4は、本実施形態の照明装置120が照射する縞パターンの一例を示した図である。図4に示す例では、縞パターンをx方向にスクロール(移動)させている例とする。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域(暗領域)である。
本実施形態では、時間相関カメラ110が強度画像データ及び時間相関画像データを撮影する露光時間で、照明装置120が照射する縞パターンが一周期分移動させる。これにより、照明装置120は、光の強度の縞パターンの空間的な移動により光の強度の周期的な時間変化を与える。本実施形態では、図4の縞パターンが一周期分移動する時間を、露光時間と対応させることで、時間相関画像データの各画素には、少なくとも、縞パターン一周期分の光の強度信号に関する情報が埋め込まれる。
図4に示されるように、本実施形態では、照明装置120が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外を用いてもよい。本実施形態では、照明装置120がスクリーン130を介して照射されることで、矩形波の明暗の境界領域をぼかすことができる。
本実施形態では、照明装置120が照射する縞パターンをA(1+cos(ωt+kx))と表す。すなわち、縞パターンには、複数の縞が反復的に(周期的に)含まれる。なお、検査対象物に照射される光の強度は0~2Aの間で調整可能とし、光の位相kxとする。kは、縞の波数である。xは、位相が変化する方向である。
そして、フレームの各画素の光強度信号f(x,y,t)の基本周波数成分は、以下の式(5)として表すことができる。式(5)で示されるように、x方向で縞の明暗が変化する。
f(x,y,t)=A(1+cos(ωt+kx))
=A+A/2{ej(ωt+kx)+e-j(ωt+kx)}……(5)
式(5)で示されるように、照明装置120が照射する縞パターンの強度信号は、複素数として扱うことができる。
そして、イメージセンサ220には、当該照明装置120からの光が被写体(検査対象物を含む)から反射して入力される。
したがって、イメージセンサ220に入力される光強度信号G(x,y,t)を、照明装置120が照射された際のフレームの各画素の光強度信号f(x,y,t)とできる。そこで、強度画像データを導出するための式(1)に式(5)を代入すると、式(6)を導出できる。なお、位相kxとする。
Figure 2024017231000006
式(6)から、強度画像データの各画素には、露光時間Tに、照明装置120が出力している光の強度の中間値Aを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式(2)に式(5)を代入すると、式(7)を導出できる。なお、AT/2を振幅とし、kxを位相とする。
Figure 2024017231000007
これにより、式(7)で示された複素数で示された時間相関画像データは、上述した2種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、検査体に照射された光強度変化における位相変化と振幅変化とが含まれている。換言すれば、本実施形態のPC100は、2種類の時間相関画像データに基づいて、照明装置120から照射された光の位相変化と、光の振幅変化と、を検出できる。そこで、本実施形態のPC100が、時間相関画像データ及び強度画像データに基づいて、画素毎に入る光の振幅を表した振幅画像データと、画素毎に入る光の位相変化を表した位相画像データと、を生成する。
さらに、PC100は、生成した振幅画像データと位相画像データとに基づいて、検査対象物の異常を検出する。
ところで、検査対象物の表面形状に凹凸に基づく異常が生じている場合、検査対象物の表面の法線ベクトルの分布には異常に対応した変化が生じている。また、検査対象物の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化及び振幅変化のうち少なくともいずれか一つとして検出される。そこで、本実施形態では、時間相関画像データ及び強度画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化及び振幅変化のうち少なくともいずれか一つを検出する。これにより、表面形状の異常を検出可能となる。次に、検査対象物の異常、法線ベクトル、及び光の位相変化又は振幅変化の関係について説明する。
図5は、実施形態の時間相関カメラ110による、検査対象物の異常の第1の検出例を示した図である。図5に示される例では、検査対象物500に突形状の異常501がある状況とする。当該状況においては、異常501の点502の近傍領域においては、法線ベクトル521、522、523が異なる方向を向いていることを確認できる。そして、当該法線ベクトル521、522、523が異なる方向を向いていることで、異常501から反射した光に拡散(例えば、光511、512、513)が生じ、時間相関カメラ110のイメージセンサ220の任意の画素531に入る縞パターンの幅503が広くなる。
図6は、図5に示される異常501が検査対象物500にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。図6に示される例では、光の振幅を実部(Re)と、虚部(Im)に分けて2次元平面上に表している。図6では、図5の光511、512、513に対応する光の振幅611、612、613として示している。そして、光の振幅611、612、613は互いに打ち消し合い、イメージセンサ220の当該任意の画素531には、振幅621の光が入射する。
したがって、図6に示される状況で、検査対象物500の異常501が撮像された領域で振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像データで、周囲と比べて暗くなっている領域がある場合に、当該領域で光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する検査対象物500の位置で異常501が生じていると判断できる。
本実施形態の検査システムは、図5の異常501のように傾きが急峻に変化しているものに限らず、緩やかに変化する異常も検出できる。図7は、実施形態の時間相関カメラ110による、検査対象物の異常の第2の検出例を示した図である。図7に示される例では、正常な場合は検査対象物の表面が平面(換言すれば法線が平行)となるが、検査対象物700に緩やかな勾配701が生じた状況とする。このような状況においては、勾配701上の法線ベクトル721、722、723も同様に緩やかに変化する。したがって、イメージセンサ220に入力する光711、712、713も少しずつずれていく。図7に示される例では、緩やかな勾配701のために光の振幅の打ち消し合いは生じないため、図5、図6で表したような光の振幅はほとんど変化しない。しかしながら、本来スクリーン130から投影された光が、そのままイメージセンサに平行に入るはずが、緩やかな勾配701のために、スクリーン130から投影された光が平行の状態でイメージセンサに入らないために、光に位相変化が生じる。従って、光の位相変化について、周囲等との違いを検出することで、図7に示したような緩やかな勾配701による異常を検出できる。
また、検査対象物の表面形状(換言すれば、検査対象物の法線ベクトルの分布)以外にも異常が生じる場合がある。図8は、実施形態の時間相関カメラ110による、検査対象物の異常の第3の検出例を示した図である。図8に示される例では、検査対象物800に汚れ801が付着しているため、照明装置120から照射された光が吸収あるいは拡散反射し、時間相関カメラ110の、汚れ801を撮影している任意の画素領域では光がほとんど強度変化しない例を表している。換言すれば、汚れ801を撮影している任意の画素領域では、光強度は位相打ち消しを起こし振動成分がキャンセルされ、ほとんど直流的な明るさになる例を示している。
このような場合、汚れ801を撮影している画素領域においては、光の振幅がほとんどないため、振幅画像データを表示した際に、周囲と比べて暗くなる領域が生じる。したがって、当該領域に対応する検査対象物800の位置に、汚れ801等の異常があることを推定できる。
このように、本実施形態では、時間相関画像データに基づいて、光の振幅の変化と、光の位相の変化と、を検出することで、検査対象物に異常があることを推定できる。
図1に戻り、PC100について説明する。PC100は、検出システム全体の制御を行う。PC100は、アーム制御部101と、照明制御部102と、処理部103と、を備える。
アーム制御部101は、検査対象物150の時間相関カメラ110による撮像対象となる表面を変更するために、アーム140を制御する。本実施形態では、PC100において、検査対象物の撮影対象となる表面を複数設定しておく。そして、時間相関カメラ110が検査対象物150の撮影が終了する毎に、アーム制御部101が、当該設定に従って、時間相関カメラ110が設定された表面を撮影できるように、アーム140が検査対象物150を移動させる。なお、本実施形態は撮影が終了する毎にアームを移動させ、撮影が開始する前に停止させることを繰り返すことに制限するものではなく、継続的にアーム140を駆動させてもよい。
照明制御部102は、検査対象物150を検査するために照明装置120が照射する縞パターンを出力する。本実施形態の照明制御部102は、少なくとも3枚以上の縞パターンを、照明装置120に受け渡し、当該縞パターンを露光時間中に切り替えて表示するように照明装置120に指示する。
図9は、照明制御部102が照明装置120に出力する縞パターンの例を示した図である。図9(B)に示す矩形波に従って、図9(A)に示す黒領域と白領域とが設定された縞パターンが出力されるように、照明制御部102が制御を行う。
本実施形態で照射する縞パターン毎の縞の間隔は、検出対象となる異常(欠陥)の大きさに応じて設定されるものとしてここでは詳しい説明を省略する。
また、縞パターンを出力するための矩形波の角周波数ωは、参照信号の角周波数ωと同じ値とする。
図9に示されるように、照明制御部102が出力する縞パターンは、矩形波として示すことができるが、スクリーン130を介することで、縞パターンの境界領域をぼかす、すなわち、縞パターンにおける明領域(縞の領域)と暗領域(間隔の領域)との境界での光の強度変化を緩やかにする(鈍らせる)ことで、正弦波に近似させることができる。図10は、スクリーン130を介した後の縞パターンを表した波の形状の例を示した図である。図10に示されるように波の形状が、正弦波に近づくことで、計測精度を向上させることができる。また、縞に明度が多段階に変化するグレー領域を追加したり、グラデーションを与えたりしてもよい。また、カラーの縞を含む縞パターンを用いてもよい。
図1に戻り、処理部103は、時間相関カメラ110から入力された強度画像データと、時間相関画像データと、により、検査対象物150の検査対象面の法線ベクトルの分布と対応した特徴であって、周囲との違いによって異常を検出する特徴を算出するための処理を行う。なお、本実施形態は、検査を行うために、複素数で示した時間相関画像データ(複素時間相関画像データと称す)の代わりに、複素数相関画像データの実部と虚部とで分けた2種類の時間相関画像データを、時間相関カメラ110から受け取る。
処理部103は、時間相関カメラ110から入力された強度画像データと、時間相関画像データと、に基づいて、振幅画像データと、位相画像データと、を生成する。
振幅画像データは、画素毎に入る光の振幅を表した画像データとする。位相画像データは、画素毎に入る光の位相を表した画像データとする。
本実施形態は振幅画像データの算出手法を制限するものではないが、例えば、処理部103は、2種類の時間相関画像データの画素値C1(x,y)及びC2(x,y)から、式(8)を用いて、振幅画像データの各画素値F(x,y)を導き出せる。
Figure 2024017231000008
そして、本実施形態では、振幅画像データの画素値(振幅)と、強度画像データの画素値と、に基づいて、異常が生じている領域があるか否かを判定できる。例えば、強度画像データの画素値(AT)を2で除算した値と、振幅画像データの振幅(打ち消し合いが生じない場合にはAT/2となる)と、がある程度一致する領域は異常が生じていないと推測できる。一方、一致していない領域については、振幅の打ち消しが生じていると推測できる。なお、具体的な手法については後述する。
同様に、処理部103は、画素値C1(x,y)及びC2(x,y)から、式(9)を用いて、位相画像データの各画素値P(x,y)を導き出せる。
Figure 2024017231000009
[高精度な正弦波縞パターンの撮像画像の取得]
次に、高精度な正弦波縞パターンの撮像画像の取得に関する処理部103や照明制御部102などの動作について説明する。なお、検査対象物150としては、例えば、塗装やメッキなどの光沢面を有する物体が考えられるが、これに限定されない。
処理部103は、複数の強度の光を用いて撮像された複数の撮像画像に基づいて、光投影強度と受光輝度との関係を示す関係情報を作成する。また、処理部103は、複数の強度の光を用いて撮像された複数の撮像画像に加えて、照明部に関するガンマ補正情報も用いて、関係情報を作成するようにしてもよい。ただし、照明部と撮像部を実際に動かしてデータ取得する場合には、自然に照明部と撮像部のガンマ補正情報も取り込まれた関係情報が得られる。
また、処理部103は、関係情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する。ここで、正弦波縞パターンとは、縞パターンであって、輝度の変化をグラフにすると正弦波になるものを指す(図12(c2))。
また、照明制御部102は、検査対象物150の検査のために時間相関カメラ110(撮像部)による撮像を行うときに、照明装置120を制御して、周期的に空間的に投影縞パターンが移動するように光を照射させる。なお、空間的に正弦波の縞パターンを移動させることで、撮像画像における各画素における輝度値の時間的な変化も自動的に正弦波形状になる。
以下、これらについて、従来技術も踏まえて詳細に説明する。
図11は、従来技術による投影縞パターンと受光縞パターンなどの説明図である。従来技術では、例えば、正弦波縞パターンの撮像画像を取得するために、照明装置から(a)に示すような正弦波縞パターンの光を検査対象物(物体)に対して投影する。しかし、カメラによる撮像画像は、種々の理由により、(b)に示すように、正弦波縞パターンにはならないことがある。
図12は、実施形態による投影縞パターンと受光縞パターンなどの説明図である。位相シフト法では検査対象物150に投影する投影縞パターンを移動させながら撮像する。カメラ(時間相関カメラ110。イメージセンサ220)で取得される各画素の画素値は投影縞パターンの動きに合わせて変化する。そして、変化が正確に正弦波になっている場合には、原理上、少ない撮像画像(サンプリング定理により最低3枚)で正確な位相値(位相画像)が取得され、振幅値(振幅画像)も正確なものになる。
まず、(a)に示すように、照明装置120から輝度値が0~255のそれぞれの単一輝度光(いわゆる「ベタ画」)を物体(検査対象物150)に投影し、時間相関カメラ110(イメージセンサ220)で撮像し、撮像画像からある程度の範囲(好ましくは5mm角以上)の平均輝度値を取得する。
そして、処理部103は、(b)の輝度マップ情報(関係情報)において、投影輝度と受光輝度の理想的な関係(線L)になるような投影輝度補正テーブル(線Mの関係をテーブル化したもの)を作成する。例えば、点P1と点Q1で示すように、受光部(イメージセンサ220)で約200の輝度で受光させたいときは、照明装置120から約135の輝度で投影すればよい。また、点P2と点Q2で示すように、受光部(イメージセンサ220)で約470の輝度で受光させたいときは、照明装置120から約210の輝度で投影すればよい。
つまり、(b)に示す輝度マップ情報からイメージセンサ220側で得たい輝度値に対する照明装置120側の投影輝度値が決まるので、そのような投影輝度補正テーブルを作成する。このとき、照明部と撮像部を実際に動かしてデータ取得することで、照明部と撮像部のガンマ補正情報も取り込まれた投影輝度補正テーブルが作成される。なお、図12(b)の例は、イメージセンサ220が10bitで、照明装置120が8bitの場合であるが、これらに限定されない。また、投影輝度補正テーブルを生成するときに、輝度値が0~255の全てのベタ画を投影する必要はなく、間引いた輝度値で投影して、間の輝度値に関する情報を補間によって作成してもよい。
そして、処理部103は、投影輝度補正テーブル(関係情報)に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する。
このようにすることで、図12(c)に示すように、(c1)のような投影縞パターンを投影すると、(c2)のような正弦波縞パターンを得ることができる。
なお、照明装置120側の光の強度は、輝度でなく照度を用いて扱ってもよい。また、必要に応じて、縞が狭く潰れて撮像される部位(検査対象物150の表面の曲率が大きい部位)の投影縞パターンを拡げてもよい。
このような簡便な方法で正確な正弦波縞パターンの撮像画像が得られるためには、例えば、検査対象物150の表面の光沢が強いほどよい。検査対象物150の表面の光沢が強いと、イメージセンサ220に入力される光はほぼ正反射光になるため、撮像縞パターン上の各位置と投影縞パターン上の各位置がほぼ1対1対応になるからである。本手法で作成した投影縞パターンで得られる撮像画像を用いることで、少ない撮像枚数で精度よく位相シフト法を実行できる。
図13は、比較例1の矩形投影パターンを示す図である。ここでは、投影縞パターンとして、矩形の白黒(白と黒は同じ幅)が繰り返される矩形投影パターンを使う。白黒1対で1周期とする。これを図のスクロール方向にn+1枚目が1枚目と重なるようにずらしながらn枚目まで撮像する。
その場合、撮像画像が多ければ(例えば24枚)、位相画像、振幅画像ともに充分な品質のものが得られるが、撮像画像の数を減らしていくにつれて両方とも徐々に劣化する。特に、位相画像よりも振幅画像の劣化が顕著である。これについて、図14、図15を用いて説明する。図14、図15は、比較例1の位相画像と振幅画像の例を示す図である。
図14、図15において、(a)は位相画像で、(b)は振幅画像である。撮像画像の枚数は、順に、24枚、12枚、8枚、6枚、4枚である。撮像画像の枚数が少なくなるにつれて、位相画像、振幅画像ともに劣化していくのがわかる。特に、振幅画像ほうが劣化の程度が大きく、例えば、8枚(n=8)の場合、位相画像は滑らかであるが、振幅画像は僅かに横縞(ノイズ)が発生しているのがわかる。また、6枚(n=6)、4枚(n=4)となるにつれて、振幅画像の横縞(ノイズ)が強くなっているのがわかる。
次に、図16は、比較例2の位相画像と振幅画像の例を示す図である。この例では、4枚(n=4)で、正弦波縞パターンを投影した。(a)の位相画像は、ほぼ理想的に滑らかな画像が得られているのがわかる。そして、n=4の矩形投影パターンの場合(図15の(a2)(b2))と比較すると、どちらの画像とも良くなっているが、図16(b)の振幅画像には横縞があるのがわかる。
位相シフト法がよく用いられる3D形状計測においては、位相値(位相画像)のみが必要である。しかし、画像検査の場合、振幅画像は強度画像(通常の画像)よりもS/N比が良好であるため価値が高い。
投影縞パターンが正弦波縞パターンの場合、撮像画像が4枚でも充分な品質の位相画像(図16の(a))が得られるが、振幅画像(図16の(b))には意図しない横縞が発生する(図16の(b))。カメラで取得される各画素値の変化が正確な正弦波になっていないからである。
次に、図17は、実施形態の位相画像と振幅画像の例を示す図である。この例では、4枚(n=4)で、投影輝度補正テーブル(関係情報)(図12(b))に基づいて撮像画像が正弦波縞パターンになるように算出した投影縞パターンを投影した。図16と比較すると、位相画像はどちらも滑らかであるが、振幅画像の画質がはっきり改善されているのがわかる。図17(b)の振幅画像は、例えば、従来技術の図14(b1)の振幅画像(n=24)の画質にも全く劣らない。つまり、本手法を適用することで、計測前に検査対象物150に合わせて投影縞パターンの補正を行うだけで、振幅画像の大幅な画質向上が望める。
図18は、実施形態の検査システムによるおける照明制御を示すフローチャートである。ステップS1において、処理部103は、複数の強度の光を用いた撮像をしたイメージセンサ220から、複数の撮像画像を取得する。
次に、ステップS2において、処理部103は、光投影強度と受光輝度との関係を示す輝度マップ情報(関係情報)(図12(b))を作成する。
次に、ステップS3において、処理部103は、輝度マップ情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する。
次に、ステップS4において、照明制御部102は、検査対象物の検査のために時間相関カメラ110(イメージセンサ220)による撮像を行うときに、照明装置120を制御して、周期的に空間的に、ステップS3で算出した投影縞パターンが移動するように光を照射させる。
このように、本実施形態によれば、予め光投影強度と受光輝度との関係を示す関係情報(図12(b))を作成し、その関係情報に基づいて撮像画像が正弦波縞パターンになるように投影縞パターンを算出し、周期的に空間的にその投影縞パターンが移動するように照明装置120から光を照射させることで、高精度な正弦波縞パターンの撮像画像を取得することができる。
この手法は、特に、検査対象物150の表面の光沢度が高い場合に有効である。この手法によれば、例えば、光沢のある物体であればどのような撮像系(カメラ)と照明系(モニタ、プロジェクタなど)の組み合わせであっても即座に最適な投影縞パターンを生成できるため、データ取得前の僅かな調整で精密な位相画像(3D形状と等価)と高品質な振幅画像を取得できる。特に、振幅画像では照明変調の直流成分が除かれるため特異部の変化が強く出る。したがって、画像検査において非常に有効である。
上述した実施形態のPC100で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、上述した実施形態のPC100で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態のPC100で実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明の実施形態や実施例を説明したが、これらの実施形態や実施例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態や実施例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態や実施例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、実施形態における画像枚数などの各数値について、状況に応じて適宜変更可能である。
100…PC、101…アーム制御部、102…照明制御部、103…処理部、110…時間相関カメラ、120…照明装置(照明部)、130…スクリーン(照明部)、140…アーム、150…検査対象物。

Claims (3)

  1. 検査対象物に対して光を照射する照明部と、
    前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部と、
    複数の強度の光を用いて撮像された複数の撮像画像に基づいて、光投影強度と受光輝度との関係を示す関係情報を作成し、
    前記関係情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する処理部と、
    前記検査対象物の検査のために前記撮像部による撮像を行うときに、前記照明部を制御して、周期的に空間的に前記投影縞パターンが移動するように光を照射させる照明制御部と、を備える検査システム。
  2. 前記処理部は、複数の強度の光を用いて撮像された複数の撮像画像と、前記照明部に関するガンマ補正情報と、に基づいて、前記関係情報を作成する、請求項1に記載の検査システム。
  3. 検査対象物に対して光を照射する照明部と、前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部と、を備える検査システムによる検査方法であって、
    複数の強度の光を用いて撮像された複数の撮像画像に基づいて、光投影強度と受光輝度との関係を示す関係情報を作成するステップと、
    前記関係情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出するステップと、
    前記検査対象物の検査のために前記撮像部による撮像を行うときに、前記照明部を制御して、周期的に空間的に前記投影縞パターンが移動するように光を照射させるステップと、を含む検査方法。
JP2022119740A 2022-07-27 2022-07-27 検査システムおよび検査方法 Pending JP2024017231A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022119740A JP2024017231A (ja) 2022-07-27 2022-07-27 検査システムおよび検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022119740A JP2024017231A (ja) 2022-07-27 2022-07-27 検査システムおよび検査方法

Publications (1)

Publication Number Publication Date
JP2024017231A true JP2024017231A (ja) 2024-02-08

Family

ID=89807973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022119740A Pending JP2024017231A (ja) 2022-07-27 2022-07-27 検査システムおよび検査方法

Country Status (1)

Country Link
JP (1) JP2024017231A (ja)

Similar Documents

Publication Publication Date Title
JP6316068B2 (ja) 検査システムおよび検査方法
US10739272B2 (en) Inspection system and inspection method
JP6542586B2 (ja) 検査システム
US10775316B2 (en) Inspection system and inspection method
JP6553412B2 (ja) 検査システム
JP6682251B2 (ja) 検査システム、及び検査方法
JP6529248B2 (ja) 検査システムおよびフレキシブル照明装置
JP6276092B2 (ja) 検査システムおよび検査方法
JP6420131B2 (ja) 検査システム、及び検査方法
JP2018028527A (ja) 検査システム
JP2024017231A (ja) 検査システムおよび検査方法
JP6909378B2 (ja) 検査システム
JP2017101979A (ja) 検査システム
JP2024017229A (ja) 検査システムおよび検査方法
JP6781430B2 (ja) 検査システム
JP6703415B2 (ja) 検査装置及び検査方法
JP6909377B2 (ja) 検査システムおよび検査方法
JP6529247B2 (ja) 較正システムおよび検査システム
JP6945106B2 (ja) 検査システム
JP6826813B2 (ja) 検査装置及び検査方法
JP2024017225A (ja) 検査システムおよび検査方法
JP2018116026A (ja) 照明装置および透過部材
JP2019178941A (ja) 検査システムおよび検査方法
JP2020012816A (ja) 検査システムおよび検査方法
JP2019039685A (ja) 検査システムおよび検査方法