JP2018204996A - 画像検査装置 - Google Patents
画像検査装置 Download PDFInfo
- Publication number
- JP2018204996A JP2018204996A JP2017107360A JP2017107360A JP2018204996A JP 2018204996 A JP2018204996 A JP 2018204996A JP 2017107360 A JP2017107360 A JP 2017107360A JP 2017107360 A JP2017107360 A JP 2017107360A JP 2018204996 A JP2018204996 A JP 2018204996A
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- unit
- defect
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】複数の検査用画像を同時に表示部に表示可能にする場合に、簡単な操作でもって複数の検査用画像を同じように拡大させ、拡大後の画像による欠陥検査の精度を高める。【解決手段】表示部に表示された検査用画像のうち、一の検査用画像の一部の領域を指定して拡大する拡大操作を受け付けると、他の検査用画像を、拡大操作に連動して同倍率で拡大して表示部に表示させる。同領域が拡大表示された各検査用画像に対して、検査対象物の非欠陥部または欠陥部の位置の指定を行う。非欠陥部または欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を複数の検査用画像に対して設定する。【選択図】図32
Description
本発明は、検査対象物を撮像した画像を用いて検査対象物の欠陥を検査する画像検査装置に関する。
従来より、検査対象物の表面に対し、照明部から光を照射して、反射光を撮像部で受光し、受光した光の輝度分布を解析して、検査対象物に存在する傷等の欠陥を検査する画像検査装置が知られている。
この種の画像検査装置としては、特許文献1に開示されている、いわゆるデフレクトメトリの原理を応用した画像検査装置が知られている。この画像検査装置は、照度が周期的に変化するパターン光を検査対象物に照射する照明部と、パターン光が照射されている検査対象物を撮像する撮像部とを備えている。照度分布の位相をシフトさせた複数のパターン光を照明部によって順次照射し、パターン光を照射する都度、撮像部によって検査対象物を撮像し、得られた複数の輝度画像に基づいて検査対象物の形状を示す位相データを生成する。得られた位相データに基づいて検査用画像を生成し、この検査用画像を用いることにより、検査対象物の形状に係る欠陥検査を行うことができるようになっている。
また、他の画像検査装置として、特許文献2に開示されている、いわゆるフォトメトリックステレオ法を用いた画像検査装置も知られている。この画像検査装置は、検査対象物対して互いに異なる方向から照明するための3つ以上の照明部と、各照明部を順次点灯させる照明制御部と、各照明部が光を照射したタイミングにおいて検査対象物を一定方向から撮像する撮像部とを備えている。そして、撮像された複数の画像毎の画素値から、フォトメトリックステレオ法を用いて法線ベクトルを算出し、法線ベクトルに基づいて検査用画像を生成することができるようになっている。
また、一般に、検査用画像の細部を確認するために、使用者が検査用画像の拡大表示したい領域を指定し、その指定された領域を拡大表示することや、検査用画像の全体を拡大表示すること等が行われている。
ところで、特許文献1、2のいずれの画像検査装置も複数の検査用画像を生成することができる点で欠陥検査に有用であり、しかも、これら複数の検査用画像を同時にディスプレイに表示するようにすれば、使用者は一度に複数の検査用画像を見ながら欠陥の有無を検査でき、検査精度の向上に繋がると考えられる。
ここで、たとえば検査用画像の細部を確認するために拡大操作することが考えられる。拡大操作するということは、その検査用画像の一部が欠陥であるか否か分かり難いということであり、複数の検査用画像を同時にディスプレイに表示させている場合、一の検査用画像の一部が分かり難いのであれば、他の検査用画像でも同様に分かり難く、当該他の検査用画像でも拡大操作が必要である可能性が高い。
ところが、複数の検査用画像を同時にディスプレイに表示した状態で、そのうちの1つの検査用画像を拡大したとしても、他の検査用画像は拡大されずにそのままの状態となっているので、使用者が他の検査用画像についても拡大操作を行わなければならず、操作が煩雑になる。
このことに加えて、既に拡大している検査用画像においては、他の検査用画像で表示されている検査対象物の領域よりも狭い領域が表示されることになるので、ディスプレイに表示されている領域が、既に拡大している検査用画像と他の検査用画像とで一致していない。このため、他の検査用画像のどの領域をどの程度まで拡大すれば、既に拡大している検査用画像の倍率と同様になるのかが分かり難い。複数の検査用画像間で拡大率が異なっていると、複数の検査用画像同士で対応する領域同士を比較する際に、比較対象の大きさが異なることになり、比較しづらい場合がある。このため、使用者が拡大率をいろいろと試しながら、既に拡大している検査用画像と同倍率に近づける操作が要求され、操作が煩雑になる。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、複数の検査用画像を同時に表示部に表示可能にする場合に、簡単な操作でもって複数の検査用画像を同じように拡大させ、拡大後の画像による欠陥検査の精度を高めることにある。
上記目的を達成するために、検査対象物を撮像した画像を用いて検査対象物の欠陥を検査する画像検査装置において、異なる照明態様で照明された検査対象物を撮像して得られた複数の輝度画像に基づいて、検査対象物の表面の反射状態を示す検査用画像と、検査対象物の形状を示す検査用画像とを少なくとも生成する画像生成部と、上記画像生成部で生成された上記複数の検査用画像を同時に表示可能な表示部と、上記表示部に表示された検査用画像のうち、一の検査用画像の一部の領域を指定して拡大する拡大操作を受け付け可能な操作受付部と、上記表示部に表示された他の検査用画像において上記一の検査用画像で指定された領域に対応する領域を、上記拡大操作に連動して同倍率で拡大して上記表示部に表示させる表示制御部と、上記表示部に検査対象物の同領域が拡大表示された各検査用画像に対して、当該各検査用画像における検査対象物の非欠陥部または欠陥部の位置の指定を受け付け可能な位置指定受付部と、上記位置指定受付部により受け付けた非欠陥部または欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を上記複数の検査用画像に対して設定する設定部とを備える構成とすることができる。
この構成によれば、複数の検査用画像を表示部に同時に表示することができる。複数の検査用画像を表示部に同時に表示した状態で、使用者が、一の検査用画像の一部の領域を指定して拡大する操作を行うと、他の検査用画像において対応する領域が同倍率で拡大されて表示部に表示される。これにより、簡単な操作でもって複数の検査用画像を同じように拡大して表示することができる。
そして、そのように同領域が同倍率で拡大表示された各検査用画像を使用者が見て、ある検査用画像において検査対象物の非欠陥部または欠陥部の位置を指定すると、その指定した結果が受け付けられる。非欠陥部または欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を複数の検査用画像に対して設定するので、複数の検査用画像で欠陥の有無を判定することが可能になる。
また、上記操作受付部は、上記表示部に表示された検査用画像のうち、一の検査用画像を縮小する縮小操作を受け付け可能に構成され、上記表示制御部は、上記表示部に表示された他の検査用画像を、上記縮小操作に連動して同倍率で縮小して上記表示部に表示させるように構成することができる。
また、上記操作受付部は、上記表示部に表示された検査用画像のうち、一の検査用画像をスクロールするスクロール操作を受け付け可能に構成され、上記表示制御部は、上記表示部に表示された他の検査用画像を、上記スクロール操作に連動してスクロールさせるように構成することができる。
また、上記画像生成部は、上記設定部により上記複数の検査用画像に対して設定された非欠陥部とすべき画素値範囲の全てに含まれる領域を非欠陥領域とし、非欠陥部とすべき画素値範囲のいずれかの範囲に含まれない領域を欠陥領域とした合成欠陥画像を生成するように構成され、上記表示部は、上記画像生成部で生成された上記合成欠陥画像を表示するように構成され、上記表示制御部は、上記表示部に表示された上記合成欠陥画像において上記一の検査用画像で指定された領域に対応する領域を、上記拡大操作に連動して同倍率で拡大して上記表示部に表示させるように構成することができる。
また、上記画像生成部は、上記設定部により上記複数の検査用画像に対して設定された非欠陥部とすべき画素値範囲の全てに含まれる領域を非欠陥領域とし、非欠陥部とすべき画素値範囲のいずれかの範囲に含まれない領域を欠陥領域とした合成欠陥画像を生成するように構成され、上記表示部は、上記画像生成部で生成された上記合成欠陥画像を表示するように構成され、上記表示制御部は、上記表示部に表示された上記合成欠陥画像において上記一の検査用画像で指定された領域に対応する領域を、上記縮小操作に連動して同倍率で縮小して上記表示部に表示させるように構成することができる。
また、上記画像生成部は、上記設定部により上記複数の検査用画像に対して設定された非欠陥部とすべき画素値範囲の全てに含まれる領域を非欠陥領域とし、非欠陥部とすべき画素値範囲のいずれかの範囲に含まれない領域を欠陥領域とした合成欠陥画像を生成するように構成され、上記表示部は、上記画像生成部で生成された上記合成欠陥画像を表示するように構成され、上記表示制御部は、上記表示部に表示された上記合成欠陥画像を、上記スクロール操作に連動してスクロールさせるように構成されている。
また、上記画像生成部は、反射光に含まれる拡散成分から得られる拡散成分画像と、反射光に含まれる正反射成分から得られる正反射成分画像と、反射光に含まれる位相成分から得られる形状画像とを検査用画像として生成し、上記表示部は、上記拡散成分画像と上記正反射成分画像と上記形状画像とを同時に表示可能に構成することができる。
また、上記画像生成部により生成された上記複数の検査用画像のなかから、上記合成欠陥画像を生成するための検査用画像の選択を受け付ける画像選択受付部を備え、上記画像生成部は、上記画像選択受付部により選択された検査用画像を使用して上記合成欠陥画像を生成するように構成することができる。
本発明によれば、複数の検査用画像を同時に表示部に表示させた状態で、簡単な操作でもって複数の検査用画像を同じように拡大させることができ、拡大後の画像による欠陥検査の精度を高めることができる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
(実施形態1)
(画像検査装置1の全体構成)
図1は、本発明の実施形態に係る画像検査装置1の運用状態を模式的に示すものである。画像検査装置1は、一方向に移動するワークW(検査対象物)を撮像した画像を用いてワークWの欠陥を検査するように構成されており、具体的には、複数のパターン光をワークWに対して照射するパターン光照明を実行するパターン光照明部2と、撮像部3と、制御ユニット4と、表示部5と、キーボード6及びマウス7とを少なくとも備えているが、これら以外の機器を備えることもできる。たとえば、制御ユニット4には、プログラマブル・ロジック・コントローラ(PLC)等からなる外部制御機器8が接続されている。この外部制御機器8は、画像検査装置1の一部を構成するものとしてもよい。また、外部制御機器8は、画像検査装置1の構成要素としなくてもよい。
(画像検査装置1の全体構成)
図1は、本発明の実施形態に係る画像検査装置1の運用状態を模式的に示すものである。画像検査装置1は、一方向に移動するワークW(検査対象物)を撮像した画像を用いてワークWの欠陥を検査するように構成されており、具体的には、複数のパターン光をワークWに対して照射するパターン光照明を実行するパターン光照明部2と、撮像部3と、制御ユニット4と、表示部5と、キーボード6及びマウス7とを少なくとも備えているが、これら以外の機器を備えることもできる。たとえば、制御ユニット4には、プログラマブル・ロジック・コントローラ(PLC)等からなる外部制御機器8が接続されている。この外部制御機器8は、画像検査装置1の一部を構成するものとしてもよい。また、外部制御機器8は、画像検査装置1の構成要素としなくてもよい。
図1では、複数のワークWが搬送用ベルトコンベアBの上面に載置された状態で図1における白抜き矢印で示す方向へ搬送されている場合を示している。ワークWは検査対象物である。外部制御機器8は、搬送用ベルトコンベアB及び画像検査装置1をシーケンス制御するための機器であり、汎用のPLCを利用することができる。
尚、この実施形態の説明では、搬送用ベルトコンベアBによるワークWの搬送方向(ワークWの移動方向)をY方向とし、搬送用ベルトコンベアBの平面視でY方向に直交する方向をX方向とし、X方向及びY方向に直交する方向(搬送用ベルトコンベアBの上面に直交する方向)をZ方向と定義するが、これは説明の便宜を図るために定義するだけである。
画像検査装置1は、ワークWの外観検査、即ちワークWの表面の傷、汚れ、打痕等の欠陥の有無を検査する場合に使用することができるものである。画像検査装置1は、その運用時において、外部制御機器8から信号線を介して、欠陥検査の開始タイミングを規定する検査開始トリガ信号を受信する。画像検査装置1は、この検査開始トリガ信号に基づいてワークWの撮像及び照明等を行って所定の処理後、検査用画像を得る。その後、検査結果は、信号線を介して外部制御機器8へ送信される。このように、画像検査装置1の運用時には、画像検査装置1と外部制御機器8との間で、信号線を介して検査開始トリガ信号の入力と検査結果の出力が繰り返し行われる。なお、検査開始トリガ信号の入力や検査結果の出力は、上述したように、画像検査装置1と外部制御機器8との間の信号線を介して行ってもよいし、それ以外の図示しない信号線を介して行ってもよい。例えば、ワークWの到着を検知するためのセンサと画像検査装置1とを直接的に接続し、そのセンサから画像検査装置1へ検査開始トリガ信号を入力するようにしてもよい。
また、画像検査装置1は、専用のハードウェアで構成する他、汎用の機器にソフトウェアをインストールしたもの、たとえば汎用もしくは専用のコンピュータに画像検査プログラムをインストールした構成としてもよい。以下の例では、グラフィックボードなどのハードウェアを画像検査処理に特化させた専用のコンピュータに、画像検査プログラムをインストールした構成とした場合について説明する。
(パターン光照明部2の構成)
パターン光照明部2は、周期的な照度分布を有するパターン光をワークWに照射するためのものであり、たとえば複数の発光ダイオード、液晶パネル、有機ELパネル、デジタルマイクロミラーデバイス(DMD)等で構成することができ、単に照明部と呼ぶこともできる。液晶パネル、有機ELパネル、DMDについては図示しないが、従来から周知の構造のものを用いることができる。パターン光照明部2は、制御ユニット4に対して信号線100aを介して接続されており、撮像部3及び制御ユニット4から離して設置することができるようになっている。
パターン光照明部2は、周期的な照度分布を有するパターン光をワークWに照射するためのものであり、たとえば複数の発光ダイオード、液晶パネル、有機ELパネル、デジタルマイクロミラーデバイス(DMD)等で構成することができ、単に照明部と呼ぶこともできる。液晶パネル、有機ELパネル、DMDについては図示しないが、従来から周知の構造のものを用いることができる。パターン光照明部2は、制御ユニット4に対して信号線100aを介して接続されており、撮像部3及び制御ユニット4から離して設置することができるようになっている。
パターン光照明部2に複数の発光ダイオードを用いる場合には、複数の発光ダイオードをドットマトリクス状に配置して電流値制御によって周期的な照度分布を有するパターン光を生成することができる。液晶パネル及び有機ELパネルの場合は、各パネルを制御することで各パネルから照射される光が周期的な照度分布を有するパターン光となるようにすることができる。デジタルマイクロミラーデバイスの場合は、内蔵された微小鏡面を制御することで周期的な照度分布を有するパターン光を生成して照射することができる。尚、パターン光照明部2の構成は上述したものに限られるものではなく、周期的な照度分布を有するパターン光を生成することができる機器や装置等であれば使用することができる。
以下、パターン光照明部2に複数の発光ダイオードを用いる場合について詳細に説明する。この場合、パターン光照明部2は、2次元状に配置された複数の発光ダイオード20、21を基板23aに実装してなる発光部23(図3に示す)と、発光ダイオード20、21から照射された光を拡散させる拡散部材24(図1、図5A、図5Bに示す)とを備えている。発光部23は全体として略矩形状をなしている。発光部23の発光面は、該発光部23のX方向の中央部を通ってY方向に延びる仮想区画線J1と、発光部23のY方向の中央部を通ってX方向に延びる仮想区画線J2とによって仮想的に第1〜第4領域S1〜S4に分けることができるようになっている。第1〜第4領域S1〜S4は全て同じ大きさの略矩形状である。各領域S1〜S4をブロックと呼ぶこともでき、1ブロックは、LEDが12個×12列×2方向からなる。
第1領域S1には、図4Aに示すようにY方向に等間隔に並ぶように配置されて直列接続された複数の発光ダイオード20からなる12列の第1発光ダイオード列A1〜A12と、図4Bに示すようにX方向に等間隔に並ぶように配置されて直列接続された複数の発光ダイオード21からなる12列の第2発光ダイオード列B1〜B12とが形成されている。図3に示すように、第1領域S1における第1発光ダイオード列A1〜A12の並び方向はX方向であり、互いに平行に配置されている。各第1発光ダイオード列A1〜A12には、個別に電力が供給されるようになっている。
図3に示すように、第1領域S1における第2発光ダイオード列B1〜B12の並び方向はY方向であり、互いに平行に配置されている。各第2発光ダイオード列B1〜B12には、個別に電力が供給されるようになっている。
第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12は、第1領域S1内で互いに交差するように配置されることになる。第1発光ダイオード列A1〜A12を構成する発光ダイオード20と、第2発光ダイオード列B1〜B12を構成する発光ダイオード21とが、光の照射方向には重ならないように配置されている。これにより、第1領域S1内で複数の発光ダイオード20、21がドットマトリクス状に配置されることになる。
12個の発光ダイオード20、21を直列に接続して各列A1〜A12、B1〜B12を構成しているので、発光ダイオード20、21毎に制御線を設けることなく、制御線は各列に1組で済む。また、第2領域S2、第3領域S3及び第4領域S4の各領域も第1領域S1と同様に、第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12が互いに交差するように配置されている。つまり、この実施形態では、発光ダイオード20、21の数を増やして発光部23の光源を緻密に配置しながら、制御対象となる発光ダイオード列は、第1領域S1の第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12と、第2領域S2の第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12と、第3領域S3の第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12と、第4領域S4の第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12の合計96列分(12列×2×4領域)の制御で済む。
第1領域S1の第2発光ダイオード列B1〜B12と、第2領域S2の第2発光ダイオード列B1〜B12とは、それぞれ、X方向に延びる同一直線上に並ぶように配置されている。第3領域S3の第2発光ダイオード列B1〜B12と、第4領域S4の第2発光ダイオード列B1〜B12とは、それぞれ、X方向に延びる同一直線上に並ぶように配置されている。
また、第1領域S1の第1発光ダイオード列A1〜A12と、第3領域S2の第1発光ダイオード列A1〜A12とは、それぞれ、Y方向に延びる同一直線上に並ぶように配置されている。第2領域S2の第1発光ダイオード列A1〜A12と、第4領域S4の第1発光ダイオード列A1〜A12とは、それぞれ、Y方向に延びる同一直線上に並ぶように配置されている。
図5A、図5B等に示す拡散部材24は、第1〜第4領域S1〜S4の発光ダイオード20、21の全てを覆うことができるように配置された透光性板材で構成されている。拡散部材24を構成する板材は周知のものを用いることができ、入射した光を拡散させて出射させることができる。
第1〜第4領域S1〜S4の第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12に流す電流値を個別に制御することで、図5Aに示すようにY方向に照度が変化してX方向には照度が均一なY方向パターン光と、図5Bに示すようにX方向に照度が変化してY方向には照度が均一なX方向パターン光とを生成することができる。発光ダイオード20、21が上述のようにドットマトリクス状に配置されているので、発光部23においては、光源が点状に配置されることになるが、拡散部材24を設けることで、各発光ダイオード20、21の光が拡散して外部に照射されることになり、各図に示すように外部から見ると照度が徐々に変化したパターン光にすることができる。
また、各発光ダイオード20、21の制御としては、たとえばPWM制御や電流値による制御(電流値制御)があるが、電流値制御とするのが特に好ましい。電流値制御とすることで、発光ダイオード20、21が持っている応答速度の速さを十分に活かした素早い照度変化を実現でき、たとえば、あるパターン光を別のパターン光に切り替える時間間隔を2μ秒程度の短い間隔にすることができる。
尚、全ての発光ダイオード20、21に同じ電流値の電流を流すことで照度分布が面内で均一な光を照射することもできる。全ての発光ダイオード20、21に流す電流値を同じにして変化させていくと、暗い面発光状態から明るい面発光状態まで発光状態を変化させることができる。
図5Aに示すY方向パターン光の場合、明暗がY方向に変化しているので、縞模様がY方向に繰り返されるパターン光という表現とすることもできる。Y方向パターン光を生成する場合に、照度分布の位相をY方向にシフトさせることにより、照度分布の位相が異なった複数のY方向パターン光を生成することができる。Y方向パターン光の照度分布をsin波形に近似した波形で表すこともでき、この場合、たとえば位相を90゜ずつ変化させて、0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光を生成することができる。
また、図5Bに示すX方向パターン光の場合、明暗がX方向に変化しているので、縞模様がX方向に繰り返されるパターン光という表現とすることもできる。X方向パターン光を生成する場合に、照度分布の位相をX方向にシフトさせることにより、照度分布の位相が異なった複数のX方向パターン光を生成することができる。X方向パターン光の照度分布をsin波形に近似した波形で表すこともでき、この場合、たとえば位相を90゜ずつ変化させて、0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光を生成することができる。つまり、パターン光照明部2は、異なる照明態様でワークWを照明することができる。
後述するデフレクトメトリ処理を行う場合、ワークWに照射するパターン光はsin波形だけでなく、三角波等のパターン光でも可能である。
また、発光部23の一辺の長さは、たとえば100mmに設定することができる。100mm四方の内側に発光ダイオード20、21が縦24個、横24個配置されることになる。発光ダイオード20、21を電流値制御することで、高速にかつ高階調のパターン光を生成することができる。尚、発光部23の一辺の長さ、発光ダイオード20、21の数、列の数、発光部23の領域の数は一例であり、特に限定されるものではない。パターン光の照度分布をsin波形に近似した波形で表すことができる場合、発光部23の一辺の長さをsin波形の一波長分とすることができる。
(撮像部3の構成)
図2に示すように、撮像部3は、ライン状に配列された複数の受光素子3aを有するとともに該受光素子3aの配列方向がワークWの移動方向(Y方向)と直交する方向(X方向)となるように設置可能なラインカメラ31と、集光系光学系32とを有している。受光素子3aは、集光系光学系32を通して得られた光の強度を電気信号に変換するCCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子からなるイメージセンサである。集光系光学系32は、外部から入射する光を集光するための光学系であり、典型的には一以上の光学レンズを有している。
図2に示すように、撮像部3は、ライン状に配列された複数の受光素子3aを有するとともに該受光素子3aの配列方向がワークWの移動方向(Y方向)と直交する方向(X方向)となるように設置可能なラインカメラ31と、集光系光学系32とを有している。受光素子3aは、集光系光学系32を通して得られた光の強度を電気信号に変換するCCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子からなるイメージセンサである。集光系光学系32は、外部から入射する光を集光するための光学系であり、典型的には一以上の光学レンズを有している。
撮像部3は、制御ユニット4に対して、パターン光照明部2の信号線100aとは別の信号線100bを介して接続されており、パターン光照明部2及び制御ユニット4から離して設置することができるようになっている。つまり、撮像部3は、パターン光照明部2とは独立して設置可能に構成されている。パターン光照明部2の信号線100aから撮像部3の信号線100bを分岐させてもよい。
撮像部3には、制御ユニット4の制御部41から送信される撮像トリガ信号が信号線100bを介して入力されるようになっている。撮像部3は、撮像トリガ信号を受信したら、その都度、撮像を実行するように構成されている。撮像トリガ信号については後述する。
図1に示すように、平面形のワークWの場合、パターン光照明部2からワークWの表面に向けて照射されたパターン光が該ワークWの表面で反射して撮像部3の集光系光学系32に入射するように、撮像部3とパターン光照明部2との位置関係を設定することができる。
また、図6Aに示すように、ワークWが円柱状の部材である場合にも、パターン光照明部2からワークWの表面に向けて照射されたパターン光が該ワークWの表面で反射して撮像部3の集光系光学系32に入射するように、撮像部3とパターン光照明部2との位置関係を設定することができる。
また、図6Bに示すように、ワークWが透明フィルムやシートのように透光性を有する部材である場合、パターン光照明部2からワークWの表面に向けて照射されたパターン光が該ワークWを透過して撮像部3の集光系光学系32に入射するように、撮像部3とパターン光照明部2との位置関係を設定することができる。
上記したいずれの場合も、ワークWの表面で反射した正反射成分が撮像部3の集光系光学系32に入射するように、パターン光照明部2と撮像部3とを配置する。
図1に示す撮像部3とパターン光照明部2との位置関係及び図6Aに示す撮像部3とパターン光照明部2との位置関係は、それぞれ、パターン光照明部2から照射されてワークWで反射されたパターン光をラインカメラ31の受光素子3aが受光する反射光受光の位置関係である。
一方、図6Bに示す撮像部3とパターン光照明部2との位置関係は、パターン光照明部2から照射されて検査対象物を透過したパターン光をラインカメラ31の受光素子3aが受光する透過光受光の位置関係である。この場合、パターン光の反射回数は0回になる。
反射光受光の位置関係ではパターン光の反射回数は1回になり、透過光受光の位置関係ではパターン光の反射回数は0回になる。また、撮像部3にラインカメラ31ではなく、エリアカメラ(受光素子がX方向とY方向に並ぶように配置されたカメラ)を用いることもでき、このエリアカメラの場合は、同軸照明という形態も可能である。この場合、反射光設置とするのにハーフミラーでの反射が加わるため、反射回数は2回となる。パターン光の反射回数を使用者に入力させることによって、反射光受光の位置関係にあるか否か、透過光受光の位置関係にあるか否かを判定することもできる。
図2に示すように、撮像部3には、LEDポインタ34が設けられている。LEDポインタ34は、集光系光学系32の軸方向にポインタ光を照射するためのものであり、制御ユニット4からの制御信号によって照射状態と非照射状態とに切り替えることもできるように構成されている。ポインタ光の照射形態の例としては、たとえば図8に示すように、ラインカメラ31の上下方向を確認するための形態にすることができる。図8では、ラインカメラ31の上側と下側とにポインタ光をそれぞれ照射し、上側を連続点灯、下側を点滅させている。ポインタ光はどのような形態であってよく、たとえば文字等をポインタ光とすることもできる。ラインカメラ31を受光側から見て受光素子3aの配列方向と直交する方向をラインカメラ31の上下方向とすることができる。
また、図2に示すように、撮像部3には、重力加速度を検出する重力加速度センサ35が設けられている。重力加速度センサ35は、撮像部3の姿勢(集光系光学系32の軸方向と水平面とのなす角度、集光系光学系32の軸方向と鉛直面とのなす角度等)を把握するためのものであり、重力加速度センサ35の出力値を利用して従来から周知の手法に従って撮像部3の姿勢をほぼリアルタイムで得ることができる。
(表示部5の構成)
表示部5は、たとえば有機ELディスプレイや液晶ディスプレイ等からなるものである。表示部5は、制御ユニット4に接続され、たとえば、撮像部3で撮像された画像、撮像部3で撮像した画像に基づいて生成された各種画像、ワークWの欠陥検査結果、操作用のインターフェース、各種設定用のインターフェース、設定値等を表示させることができるように構成されている。表示部5には、一度に複数の検査用画像等を表示させることもできるようになっている。
表示部5は、たとえば有機ELディスプレイや液晶ディスプレイ等からなるものである。表示部5は、制御ユニット4に接続され、たとえば、撮像部3で撮像された画像、撮像部3で撮像した画像に基づいて生成された各種画像、ワークWの欠陥検査結果、操作用のインターフェース、各種設定用のインターフェース、設定値等を表示させることができるように構成されている。表示部5には、一度に複数の検査用画像等を表示させることもできるようになっている。
表示部5をタッチパネルとすることで、表示部5に各種情報の入力機能を持たせることができる。
(キーボード6及びマウス7の構成)
キーボード6及びマウス7は、従来から周知のコンピュータ操作用の機器であり、制御ユニット4が有する入力情報受付部44(図2に示す)に接続されている。キーボード6またはマウス7の操作により、各種情報を制御ユニット4に入力することができるとともに、表示部5に表示されている画像等を選択することができる。
キーボード6及びマウス7は、従来から周知のコンピュータ操作用の機器であり、制御ユニット4が有する入力情報受付部44(図2に示す)に接続されている。キーボード6またはマウス7の操作により、各種情報を制御ユニット4に入力することができるとともに、表示部5に表示されている画像等を選択することができる。
具体的には、キーボード6またはマウス7の操作により、ラインカメラ31の受光素子3aの配列方向に対するワークWの移動方向に関する移動方向情報と、ラインカメラ31の受光素子3aとパターン光照明部2との位置関係に関する位置関係情報とを入力情報受付部44に入力すると、入力情報受付部44が入力された移動方向情報及び位置関係情報を受け付けることができるようになっている。キーボード6、マウス7及び入力情報受付部44は、本発明の情報取得部9である。
移動方向情報は、図1に例示しているワークWの移動方向であり、白抜きの矢印の方向か、白抜きの矢印とは反対方向かのいずれかとすることができる。この移動方向情報には、ラインカメラ31を受光側から見て受光素子3aの配列方向と直交する方向をラインカメラ31の上下方向としたとき、ラインカメラ31の上下方向と、ワークWの移動方向とを含むことができる。また、位置関係情報は、上述した反射光受光の位置関係と、透過光受光の位置関係とを含んでいる。
尚、キーボード6及びマウス7の代わり、またはキーボード6及びマウス7に加えて、たとえば、音声入力機器、タッチ操作パネル等のコンピュータ操作用の機器を使用することもできる。
(制御ユニット4の構成)
制御ユニット4は、画像検査装置1の各部を制御するためのユニットであり、CPUやMPU、システムLSI、DSPや専用ハードウェア等で構成することができる。制御ユニット4は、後述するように様々な機能を搭載しているが、これらは論理回路によって実現されていてもよいし、ソフトウェアを実行することによって実現されていてもよい。
制御ユニット4は、画像検査装置1の各部を制御するためのユニットであり、CPUやMPU、システムLSI、DSPや専用ハードウェア等で構成することができる。制御ユニット4は、後述するように様々な機能を搭載しているが、これらは論理回路によって実現されていてもよいし、ソフトウェアを実行することによって実現されていてもよい。
図2に示すように、制御ユニット4は、フィルタ処理部40と、制御部41と、画像生成部42と、UI生成部43と、入力情報受付部44と、画像解析部45と、操作受付部46と、表示制御部47と、位置指定受付部48と、設定部49とを有している。制御ユニット4には、記憶装置10が接続されている。記憶装置10は、画像検査装置1の構成要素の一部とすることもできるし、画像検査装置1とは別の装置とすることもできる。記憶装置10は、半導体メモリやハードディスク等で構成することができる。また、記憶装置10には、CD−ROMやDVD−ROM等の各種記憶媒体に記憶されている情報を読み取り可能な読み取り装置を設けることもできる。
(UI生成部43の構成)
UI生成部43は、表示部5に表示させる各種インターフェースを生成するための部分であり、このUI生成部43で生成された各種インターフェースは、制御ユニット4から表示部5に出力されて表示部5に表示される。
UI生成部43は、表示部5に表示させる各種インターフェースを生成するための部分であり、このUI生成部43で生成された各種インターフェースは、制御ユニット4から表示部5に出力されて表示部5に表示される。
UI生成部43で生成されるインターフェースは、たとえば図7に示す照明設置方法選択用インターフェース50、図8に示すカメラ上下確認用インターフェース51、図9に示すカメラ姿勢確認用インターフェース52、図10に示すワーク移動方向選択用インターフェース53、図11に示す照明方向選択用インターフェース54がある。インターフェース50〜54は、画像検査装置1を運用する前に行われる該画像検査装置1の設定時に表示部5に表示される。
図7に示す照明設置方法選択用インターフェース50は、ラインカメラ31の受光素子3aとパターン光照明部2との位置関係情報を入力するためのインターフェースであり、受光素子3aとパターン光照明部2との位置関係が、反射光受光の位置関係と、透過光受光の位置関係とのいずれであるかを入力可能に構成されている。照明設置方法選択用インターフェース50には、反射光受光の位置関係を模式的に示すための反射光設置イラスト50aと、透過光受光の位置関係を模式的に示すための透過光設置イラスト50bが表示されている。使用者は、表示部5に表示されている反射光設置イラスト50a及び透過光設置イラスト50bを見て、実際の現場に設置されている受光素子3aとパターン光照明部2との位置関係と同じ位置関係になっているイラストをマウス7等で選択すればよいので、入力間違いが起こりにくくなる。使用者の入力操作は、入力内容が入力情報受付部44によって受け付けられる。これにより、位置関係情報を容易にかつ誤ることなく入力することができる。
図8に示すカメラ上下確認用インターフェース51は、ラインカメラ31の上下方向を確認するためのインターフェースである。撮像部3のLEDポインタ34からポインタ光を照射したときに、点滅する側がラインカメラ31の下側であることが使用者に分かるように、ポインタ光を含むイラスト50aが表示されるようになっている。また、どちら側がラインカメラ31の下側であるか文章で記載されている。
図9に示すカメラ姿勢確認用インターフェース52もラインカメラ31の上下方向を確認するためのインターフェースである。カメラ姿勢確認用インターフェース52には、撮像部3の重力加速度センサ35により得られた撮像部3の現在の姿勢を模式的に表示する姿勢表示領域52aが組み込まれている。姿勢表示領域52aには、撮像部3を背面から見たときの水平面に対する傾きを示す背面図52bと、撮像部3を側面から見たときの鉛直面に対する傾きを示す側面図52cと、撮像部3を上面から見たときの姿勢を示す上面図52dとが表示される。使用者は、姿勢表示領域52aに表示されている各図52b、52c、52dを見ることでラインカメラ31の上下方向を確認することができる。
図10に示すワーク移動方向選択用インターフェース53は、ワークWの移動方向を選択して入力するためのインターフェースである。ワーク移動方向選択用インターフェース53には、図8に示すカメラ上下確認用インターフェース51を組み込むことができる。ワーク移動方向選択用インターフェース53には、ラインカメラ31の下側(底面側)から上側に向かってワークWが移動する様子を示す上方向移動イラスト53aと、ラインカメラ31の上側から下側に向かってワークWが移動する様子を示す下方向移動イラスト53bとが表示されている。使用者は、表示部5に表示されているカメラ上下確認用インターフェース51を見てラインカメラ31の上下方向を把握した上で、上方向移動イラスト53aと、下方向移動イラスト53bとを見てワークWのラインカメラ31に対する移動方向を選択して入力することができる。
図11に示す照明方向選択用インターフェース54は、ラインカメラ31とパターン光照明部2との位置関係を選択して入力するためのインターフェースである。照明方向選択用インターフェース54は、使用者がラインカメラ31の向き(上側または下側がどちらであるか)を知っていることを前提として表示することができるものであり、ラインカメラ31に対するパターン光照明部2の向きを複数のイラストの中から選択することができるように構成されている。
すなわち、照明方向選択用インターフェース54には、パターン光照明部2をラインカメラ31に対して信号線100aが左側へ出るように配置した状態を示す第1のイラスト54aと、パターン光照明部2をラインカメラ31に対して信号線100aが上側へ出るように配置した状態を示す第2のイラスト54bと、パターン光照明部2をラインカメラ31に対して信号線100aが下側へ出るように配置した状態を示す第3のイラスト54cと、パターン光照明部2をラインカメラ31に対して信号線100aが右側へ出るように配置した状態を示す第4のイラスト54dとが表示されている。使用者は、表示部5に表示されている第1〜第4のイラスト54a〜54dを見て、実際の現場に設置されているラインカメラ31とパターン光照明部2との位置関係を選択して入力することができる。
UI生成部43で生成されるインターフェースは、図12に示すケーブル引き出し方向選択用インターフェース55を含むことができる。「ケーブル」とは、パターン光照明部2に接続されている信号線100aのことである。ケーブル引き出し方向選択用インターフェース55は、いわゆるプルダウンメニューボタンを含む形態として構成することができる。このケーブル引き出し方向選択用インターフェース55は、使用者がラインカメラ31の向き(上側または下側がどちらであるか)を知っていることを前提として表示することができるものであり、ラインカメラ31に対するパターン光照明部2の向きを複数の選択肢の中から選択することができるように構成されている。
すなわち、ケーブル引き出し方向選択用インターフェース55のプルダウンメニュー55aには、「基準方向」、「時計回りに90゜」、「時計回りに180゜」及び「時計回りに270゜」の4つの選択肢が含まれている(図12では「基準方向」のみ表示した状態となっている)。ここで、「基準方向」とは、図11に示す照明方向選択用インターフェース54の第1のイラスト54aで示す方向(左方向)に信号線100aが出るようにパターン光照明部2を配置した状態のときに選択する選択肢である。「時計回りに90゜」とは、上方向に信号線100aが出るようにパターン光照明部2を配置した状態のときに選択する選択肢である。「時計回りに180゜」とは、右方向に信号線100aが出るようにパターン光照明部2を配置した状態のときに選択する選択肢である。「時計回りに270゜」とは、下方向に信号線100aが出るようにパターン光照明部2を配置した状態のときに選択する選択肢である。各選択肢の表現は一例であり、上記した表現に限られるものではない。
(画像解析部45の構成)
図2に示す画像解析部45は、撮像部3で撮像された複数の画像を解析することにより、ラインカメラ31の受光素子3aとパターン光照明部2との位置関係に関する位置関係情報を取得するための部分であり、情報取得部9の一部とすることができる。
図2に示す画像解析部45は、撮像部3で撮像された複数の画像を解析することにより、ラインカメラ31の受光素子3aとパターン光照明部2との位置関係に関する位置関係情報を取得するための部分であり、情報取得部9の一部とすることができる。
具体的には、画像解析部45は、画像検査装置1を運用する前に行われる該画像検査装置1の設定時に、初めのステップとして、一方向に周期的な照度分布を有する第1のパターン光を照射した照射面を撮像した第1画像と、上記一方向に直交する方向に周期的な照度分布を有する第2のパターン光を照射した照射面を撮像した第2画像とを生成するように、パターン光照明部2及び撮像部3を制御する。照射面はワークWであってもよいし、他の部材であってもよい。
初めのステップにおける第1のパターン光は、図13の左側に示すようにX方向に照度が変化するX方向パターン光とすることができ、図13の右側へ行くほど暗くなるパターン光としておく。第2のパターン光は、図13の右側に示すようにY方向に照度が変化するY方向パターン光とすることができ、図13の下側へ行くほど暗くなるパターン光としておく。
まず、図13の左側のX方向パターン光を任意の照射面に照射してX方向パターン光が照射されている照射面を撮像部3で撮像して第1画像を得る。第1画像は図14に示すように右側へ行くほど暗くなるグラデーションありの画像になったとする。その後、図13の右側のY方向パターン光を任意の照射面に照射してY方向パターン光が照射されている照射面を撮像部3で撮像して第2画像を得る。第2画像は図14に示すようにグラデーションなしの画像になったとする。受光素子3aの配列方向がX方向であるので、図14に示す第1画像及び第2画像が得られた場合には、図14の下側に示すように信号線100aが左方向に出るようにパターン光照明部2が配置されていると推定できる。尚、この関係は事前に定義しておけばよい。
図15に示すように第1画像がグラデーションなしの画像で、第2画像が右側へ行くほど暗くなるグラデーションありの画像になった場合には、図15の下側に示すように信号線100aが上方向に出るようにパターン光照明部2が配置されていると推定できる。
図16に示すように第1画像がグラデーションなしの画像で、第2画像が左側へ行くほど暗くなるグラデーションありの画像になった場合には、図16の下側に示すように信号線100aが下方向に出るようにパターン光照明部2が配置されていると推定できる。
図17に示すように第1画像が左側へ行くほど暗くなるグラデーションありの画像で、第2画像がグラデーションなしの画像になった場合には、図17の下側に示すように信号線100aが右方向に出るようにパターン光照明部2が配置されていると推定できる。
つまり、画像解析部45は撮像部3で撮像された第1画像及び第2画像を解析するステップを実行し、その結果、第1画像及び第2画像がグラデーションありの画像であるかグラデーションなしの画像であるかを得て、グラデーションありの画像の場合、どちら側に向かって暗くなっている(または明るくなっている)かを得ることによって受光素子3aとパターン光照明部2との位置関係情報を取得することができる。
また、撮像部3にラインカメラ31ではなく、エリアカメラ(受光素子がX方向とY方向に並ぶように配置されたカメラ)を用いることもできる。このエリアカメラの場合、画像解析部45は、撮像部3で撮像された1枚の画像を解析することにより、エリアカメラとパターン光照明部2との位置関係情報を取得することができる。
具体的には、図18Aに示すように、パターン光照明部2からアルファベットの「R」を表示可能なパターン光を任意の照射面に照射してパターン光が照射されている照射面を撮像部3で撮像する。その結果、図18の最も上に記載されている「R」の画像が得られた場合には、信号線100aが左方向に出るようにパターン光照明部2が配置されていると推定できる。図18の上から2番目に記載されている「R」の画像が得られた場合には、信号線100aが上方向に出るようにパターン光照明部2が配置されていると推定できる。図18の上から3番目に記載されている「R」の画像が得られた場合には、信号線100aが右方向に出るようにパターン光照明部2が配置されていると推定できる。図18の最も下に記載されている「R」の画像が得られた場合には、信号線100aが下方向に出るようにパターン光照明部2が配置されていると推定できる。パターン光は「R」以外を示すものであってもよく、たとえば文字、記号、図形、それらの組み合わせ等であってもよい。
(情報取得部の他の形態)
図19に示すように、撮像部3に所定のマーク3cを設けておき、パターン光照明部2には4つの方向をそれぞれ示す左側記号A、下側記号B、右側記号C及び上側記号Dを設けておく。UI生成部43は図20に示す方向選択用インターフェース56を生成する。生成された方向選択用インターフェース56は表示部5に表示される。方向選択用インターフェース56には、左側記号A、下側記号B、右側記号C及び上側記号Dを選択できるプルダウンメニュー56aを設けておく。
図19に示すように、撮像部3に所定のマーク3cを設けておき、パターン光照明部2には4つの方向をそれぞれ示す左側記号A、下側記号B、右側記号C及び上側記号Dを設けておく。UI生成部43は図20に示す方向選択用インターフェース56を生成する。生成された方向選択用インターフェース56は表示部5に表示される。方向選択用インターフェース56には、左側記号A、下側記号B、右側記号C及び上側記号Dを選択できるプルダウンメニュー56aを設けておく。
使用者は、撮像部3のマーク3cがパターン光照明部2のどちら側に位置しているかを目視で確認した後、方向選択用インターフェース56のプルダウンメニュー56aにより、撮像部3のマーク3cが指す方向にある記号A〜Dを選択する。これにより、ラインカメラ31の受光素子3aとパターン光照明部2との位置関係情報を入力することができる。
(注意喚起機能)
図11の照明方向選択用インターフェース、図12のケーブル引き出し方向選択用インターフェース及び図20の方向選択用インターフェースを利用することで、使用者が受光素子3aとパターン光照明部2との位置関係情報を入力することができる。しかし、使用者が入力操作を誤ってしまうことや、そもそもラインカメラ31の上下方向を誤って認識している場合があり、使用者の入力結果が実際の設置状況と異なる場合が考えられる。
図11の照明方向選択用インターフェース、図12のケーブル引き出し方向選択用インターフェース及び図20の方向選択用インターフェースを利用することで、使用者が受光素子3aとパターン光照明部2との位置関係情報を入力することができる。しかし、使用者が入力操作を誤ってしまうことや、そもそもラインカメラ31の上下方向を誤って認識している場合があり、使用者の入力結果が実際の設置状況と異なる場合が考えられる。
このことに対して、画像検査装置1に注意喚起機能を設けることができる。注意喚起機能は、図11の照明方向選択用インターフェース、図12のケーブル引き出し方向選択用インターフェース及び図20の方向選択用インターフェースを利用して使用者が受光素子3aとパターン光照明部2との位置関係情報を入力した後、図13〜図17に示す解析を行うか、エリアカメラの場合には図18に示す解析を行うことで、入力された位置関係情報が実際の設置状況と一致しているか否かを判定し、判定の結果、入力された位置関係情報が実際の設置状況と一致していない場合には、表示部5にたとえばメッセージを表示して使用者に再度確認及び入力を促す機能である。
(制御部41の構成)
図2に示す制御部41は、パターン光照明部2及び撮像部3の制御を行うための撮像制御部である。具体的には、照度分布の位相を受光素子3aの配列方向及びワークWの移動方向の少なくとも一方向にシフトさせた複数のパターン光を生成してワークWに順次照射し、当該パターン光が照射されるタイミングでワークWにおけるパターン光の照射面を少なくとも含んだ領域を撮像して複数の輝度画像を得るように、パターン光照明部2及び撮像部3を制御する。複数の輝度画像を得る際、パターン光照明部2の照明条件及び撮像部3の撮像条件の両方を変化させてもよいし、一方のみ変化させてもよい。
図2に示す制御部41は、パターン光照明部2及び撮像部3の制御を行うための撮像制御部である。具体的には、照度分布の位相を受光素子3aの配列方向及びワークWの移動方向の少なくとも一方向にシフトさせた複数のパターン光を生成してワークWに順次照射し、当該パターン光が照射されるタイミングでワークWにおけるパターン光の照射面を少なくとも含んだ領域を撮像して複数の輝度画像を得るように、パターン光照明部2及び撮像部3を制御する。複数の輝度画像を得る際、パターン光照明部2の照明条件及び撮像部3の撮像条件の両方を変化させてもよいし、一方のみ変化させてもよい。
パターン光照明部2の照明条件は、たとえば生成するパターン光の種類、複数のパターン光を生成する場合にパターン光の生成の順番、パターン光の明るさ(光の強度)等を含むことができる。生成するパターン光の種類としては、たとえば図5Aに示す4つのY方向パターン光及び図5Bに示す4つのX方向パターン光を少なくとも含むことができるが、これら以外にも、波長が異なるパターン光等を含むことができる。パターン光の生成の順番としては、図5Aに示す0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光の順番とし、その後、図5Bに示す0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光とすることができる。
パターン光照明部2の照明条件は、記憶装置10に設けられている照明条件記憶部10aに記憶させておくことができる。また、パターン光照明部2に、パターン光照明部2の照明条件を記憶することが可能な照明条件記憶部2bを有する演算装置(field programmable gate array : FPGA)2aを組み込むことができる。FPGAに限定されるものではなく、FPGA以外の演算部と照明条件記憶部2bを組み込むことができる。
撮像部3の撮像条件は、たとえば、撮像時のゲイン及び露光時間(シャッタースピード)の少なくとも一方を含んでいる。制御部41は撮像部3のゲイン及び露光時間を任意に変化させることができ、撮像部3は制御部41により設定されたゲイン及び露光時間で撮像を実行する。
(トリガ信号の送信)
制御部41は、エンコーダパルス信号が外部から入力されたときに、エンコーダパルス信号を受け付けることが可能に構成されている。エンコーダパルス信号は、たとえば、搬送用ベルトコンベアBの回転軸に設けられたロータリエンコーダから出力されるパルス信号、外部制御機器8から出力されるパルス信号等、制御部41外で生成されたパルス信号である。
制御部41は、エンコーダパルス信号が外部から入力されたときに、エンコーダパルス信号を受け付けることが可能に構成されている。エンコーダパルス信号は、たとえば、搬送用ベルトコンベアBの回転軸に設けられたロータリエンコーダから出力されるパルス信号、外部制御機器8から出力されるパルス信号等、制御部41外で生成されたパルス信号である。
制御ユニット4はトリガ信号送信部4bを有している。トリガ信号送信部4bは、制御部41の一部を構成するものとしてもよいし、制御部41とは別に構成してもよい。制御部41が外部からの一のエンコーダパルス信号を受け付けると、パターン光照明部2の照明条件及び撮像部3の撮像条件の少なくとも一方を変化させて複数の輝度画像が生成されるように、トリガ信号送信部4bが撮像部3に対して複数の撮像トリガ信号を順次送信するとともに、パターン光照明部2に対して複数の照明トリガ信号を送信するように構成されている。撮像部3に対してのみ複数の撮像トリガ信号を順次送信するように構成することもできる。
この実施形態では、上述したように、パターン光照明部2が8種類のパターン光を順次照射するので、図35に示すように、トリガ信号送信部4bは、外部からの一のエンコーダパルス信号EP1を受け付けると、撮像トリガ信号を8回(C1〜C8)送信する。その後、エンコーダパルス信号EP2を受け付けると、同じように撮像トリガ信号を8回送信する。
また、トリガ信号送信部4bは、外部からの一のエンコーダパルス信号を受け付けると、パターン光照明部2に対して複数の照明トリガ信号を撮像トリガ信号と同期させて順次送信するように構成されている。パターン光照明部2には、8種類のパターン光を順次照射させる必要があるので、トリガ信号送信部4bは、外部からの一のエンコーダパルス信号EP1を受け付けると、照明トリガ信号を8回(L1〜L8)送信する。その後、エンコーダパルス信号EP2を受け付けると、同じように照明トリガ信号を8回送信する。
また、制御部41は、外部からの一のエンコーダパルス信号を受け付けると、撮像部3に対して複数の撮像トリガ信号を照明トリガ信号と同期させて順次送信するように構成することもできる。
(パターン光照明部によるパターン光の生成)
パターン光照明部2は、発光ダイオード20、21に流す電流値をトリガ信号送信部4bから送信された照明トリガ信号に基づいて制御することにより、複数のパターン光を生成する。パターン光は周期的な照度分布を有しているので、その照度分布が得られるように、各発光ダイオード20、21に流す電流値は、生成するパターン光に応じてそれぞれ設定されている。各発光ダイオード20、21に流す電流値は、照明条件に相当しており、記憶装置10の照明条件記憶部10aに記憶させておくことができる。
パターン光照明部2は、発光ダイオード20、21に流す電流値をトリガ信号送信部4bから送信された照明トリガ信号に基づいて制御することにより、複数のパターン光を生成する。パターン光は周期的な照度分布を有しているので、その照度分布が得られるように、各発光ダイオード20、21に流す電流値は、生成するパターン光に応じてそれぞれ設定されている。各発光ダイオード20、21に流す電流値は、照明条件に相当しており、記憶装置10の照明条件記憶部10aに記憶させておくことができる。
照明条件は、パターン光照明部2の発光ダイオード20、21の照明タイミング情報(点灯時間、点灯間隔)、照明強度情報、照明パターン情報を含む照明設定データとすることができる。この照明設定データはいずれも、照明設定用のユーザインタフェースを表示部5に表示させ、使用者による調整を受け付けることができる。
点灯タイミング情報とは、照明トリガ信号を受けてから発光ダイオード20、21を点灯させておく点灯時間と、点灯させる発光ダイオード20、21を切り替える際に、先に点灯している発光ダイオード20、21を消灯させてから次の発光ダイオード20、21を点灯させるまでの点灯間隔(インターバル)とからなる。また、照明強度情報とは、発光ダイオード20、21の照明強度(明るさ)を示す情報であり、具体的には電流値を挙げることができる。また、照明パターン情報とは、sin波状パターンを規定する情報であり、例えば周期、位相シフト量(1回の位相シフトでどの程度シフトさせるか)を含む。照明パターンはsin波でなくてもよく、例えば矩形波等であってもよい。
上記照明設定データの作成は、照明条件記憶部10aに対してキーボード6及びマウス7等の入力手段によって可能にしてもよい。
照明条件記憶部10aはパターン光照明部2に設けられていてもよいし、撮像部3に設けられていてもよく、画像検査装置1のどの構成要素に設けられていてもよい。
記憶装置10の照明条件記憶部10aに記憶していた照明条件を制御部41が一旦読み込み、その照明条件記憶部10aに記憶していた照明条件をパターン光照明部2の演算装置2aに出力し、演算装置2aが有する照明条件記憶部2bに記憶させておくことができる。これにより、パターン光照明部2が外部から照明トリガ信号を受信すると、照明条件記憶部2bに記憶された照明条件に従ってワークWを照明することができるので、照明条件を記憶装置10の照明条件記憶部10aから読み込む場合に比べてパターン光照明部2のパターン光の生成速度を速くすることができる。
図36にも示すように、パターン光照明部2には、発光ダイオード20、21に流す電流値を制御する電流制御部2cが組み込まれている。電流制御部2cは、照明トリガ信号を受信可能に構成されており、照明トリガ信号を受信すると、照明条件記憶部2bに記憶された照明条件に従って発光ダイオード20、21に流す電流値を制御する。
第1発光ダイオード列A1〜A12を制御する電流制御部2cと、第2発光ダイオード列B1〜B12を制御する電流制御部2cとが設けられており、いずれの電流制御部2cも同じ構成である。図36に示す電流制御部2cは、第1発光ダイオード列A1を制御するものであり、電流制御部2cは、1つのD/Aコンバータ2dと、複数のサンプルホールド回路2eと、複数の電圧/電流変換回路2fとを備えている。サンプルホールド回路2e及び電圧/電流変換回路2fは、第1発光ダイオード列A1を構成する発光ダイオード20の数(12個)と同じ数だけ設けられている。12個のサンプルホールド回路2eがD/Aコンバータ2dに接続されている。また、各サンプルホールド回路2eの出力側には、電圧/電流変換回路2fが接続されている。電圧/電流変換回路2fの出力側には、各発光ダイオード20が接続されている。
パターンを切り替える際、D/Aコンバータ2dは、図37に示すようにA1〜A12用の制御電圧を順次出力するように構成されている。12個のサンプルホールド回路2eは、外部から入力されるサンプリング信号に基づいて各々が所定のサンプルタイミングでD/Aコンバータ2dから出力される波形信号の電圧をサンプリングする。図37における第1サンプルホールド回路がサンプリングした後に、第2サンプルホールド回路がサンプリングし、このようにして電圧を順次サンプリングしていく。
第1サンプルホールド回路でサンプリングされた電圧値は、電圧/電流変換回路2fによって電圧値に応じた電流値に変換され、その電流値の電流が発光ダイオードA1に流れる。この例では、第1サンプルホールド回路でサンプリングされた電圧値が最も低く、第2、第3サンプルホールド回路の順にサンプリングされた電圧値が高くなっていく。つまり、第1電流値が最も低く、第2、第3電流値の順に電流値が高くなっていくので、発光ダイオードA1〜A12の明るさが電流値に応じて変わることになり、これにより、周期的な照度分布を有するパターン光が生成される。D/Aコンバータ2dから出力される波形信号を変化させることで、パターン光の照度分布が変化することになり、パターン光の照度分布を、上述したsin波形に近似した波形で表すことや、三角波に近似した波形、矩形波に近似した波形で表すこともできる。また、全ての発光ダイオード20の明るさが同じになるように電流値を設定することで、全面が一様な照度の照明とすることもできる。
この実施形態では、D/Aコンバータ2dの出力電圧を各発光ダイオード20の制御電圧とし、各発光ダイオード20用のサンプルホールド回路2eでタイミングを規定してサンプリングすることで、1つのD/Aコンバータ2dで複数の発光ダイオード20の光量を制御することができる。これにより、一般的にサイズの大きな高速・高階調のD/Aコンバータ2dの数を減らし、サイズの小さなサンプルホールド回路2eでパターン光を生成することができるので、基板面積を小さくできるとともにコストを低減することができる。
第2発光ダイオード列B1〜B12の各列の発光ダイオード21はY方向に並んでいるので、第2発光ダイオード列B1〜B12の電流値制御によってX方向パターン光を生成することができる。また、第1発光ダイオード列A1〜A12の各列の発光ダイオード20はX方向に並んでいるので、第1発光ダイオード列A1〜A12の電流値制御によってY方向パターン光を生成することができる。
また、図5Aに示す4つのY方向パターン光の波長と、図5Bに示す4つのX方向パターン光の波長とが異なっていてもよい。たとえば、第1発光ダイオード列A1〜A12の発光ダイオード20から赤色のパターン光を照射し、第2発光ダイオード列B1〜B12の発光ダイオード21から青色のパターン光を照射することで、Y方向パターン光の波長とX方向パターン光の波長とを変えることができる。この場合、Y方向パターン光とX方向パターン光とを同時にワークWに照射し、カラーカメラを備えた撮像部3で撮像すれば、Y方向パターン光の照射による生画像と、X方向パターン光の照射による生画像とを同時に得ることができ、撮像に要する時間を短縮できる。
(パターン光の照度分布の周期)
パターン光の照度分布をsin波形に近似した波形で表すことができる場合、そのsin波形の周期がたとえば100mmになるようにすることができる。周期を100mm程度にしておくことで、正反射性の少ない(完全拡散反射体ではない)ワークWの表面を撮像しても、後述する形状の積み上げ処理を行うことができ、ワークWへの対応範囲を広くすることができる。また、sin波形の周期を100mm程度にしておくことで、撮像部3の集光系光学系32のレンズのMTFによる減衰が抑制される。ただし、コーティング面等を検査する場合には、周期を短くする方が好ましい場合があるので、周期は100mmに限られるものではない。周期を短くすることで、コーティング面を検査する際に下地の影響を少なくすることができ、また、表面勾配の微妙な違いを検出し易くなる。
パターン光の照度分布をsin波形に近似した波形で表すことができる場合、そのsin波形の周期がたとえば100mmになるようにすることができる。周期を100mm程度にしておくことで、正反射性の少ない(完全拡散反射体ではない)ワークWの表面を撮像しても、後述する形状の積み上げ処理を行うことができ、ワークWへの対応範囲を広くすることができる。また、sin波形の周期を100mm程度にしておくことで、撮像部3の集光系光学系32のレンズのMTFによる減衰が抑制される。ただし、コーティング面等を検査する場合には、周期を短くする方が好ましい場合があるので、周期は100mmに限られるものではない。周期を短くすることで、コーティング面を検査する際に下地の影響を少なくすることができ、また、表面勾配の微妙な違いを検出し易くなる。
(デフレクトメトリによる検査用画像の生成)
この実施形態では、パターン光照明部2によって照明されたタイミングで撮像部3がワークWを撮像して複数の輝度画像を得て、撮像部3が撮像した複数の輝度画像に基づいて位相変位測定法(Phase Measuring Deflectometry : PMD、以下、「デフレクトメトリ」と呼ぶ。)の原理を利用して算出した位相マップを加工し、異なる種別の欠陥の検出が可能な複数の検査用画像を生成し、検査用画像を用いてワークWの検査を行うことができるように構成されている。複数の輝度画像を得る工程は、上述したように制御部41が照明トリガ信号及び撮像トリガ信号を出力してパターン光照明部2及び撮像部3を制御することで実行できる。検査用画像を生成する工程は図2に示す画像生成部42で行うことができる。
この実施形態では、パターン光照明部2によって照明されたタイミングで撮像部3がワークWを撮像して複数の輝度画像を得て、撮像部3が撮像した複数の輝度画像に基づいて位相変位測定法(Phase Measuring Deflectometry : PMD、以下、「デフレクトメトリ」と呼ぶ。)の原理を利用して算出した位相マップを加工し、異なる種別の欠陥の検出が可能な複数の検査用画像を生成し、検査用画像を用いてワークWの検査を行うことができるように構成されている。複数の輝度画像を得る工程は、上述したように制御部41が照明トリガ信号及び撮像トリガ信号を出力してパターン光照明部2及び撮像部3を制御することで実行できる。検査用画像を生成する工程は図2に示す画像生成部42で行うことができる。
画像生成部42では、撮像部3が撮像した複数の輝度画像に基づいて、ワークWの表面の反射状態を示す検査用画像と、ワークWの形状を示す検査用画像とを少なくとも生成する。ワークWの表面の反射状態を示す検査用画像としては、例えば、正反射成分画像、拡散反射成分画像等を挙げることができる。ワークWの形状を示す検査用画像としては、例えば、形状画像、深さ輪郭画像、光沢比画像等を挙げることができる。
以下、図21に示すフローチャート及び図22に示す模式図に従って検査用画像の生成について詳細に説明する。フローチャートのステップSA1では、制御部41がパターン光照明部2及び撮像部3を制御して複数の輝度画像(生画像)を得る。ステップSA1で得られた輝度画像は中間画像であり、記憶装置10等に一旦記憶されるが、表示部5には表示されない画像である。輝度画像は、異なる照明態様(複数のパターン光による照明)で照明されたワークWを撮像して得られた画像である。
ステップSA1では、制御部41がパターン光照明部2に照明トリガ信号を出力する。パターン光照明部2が照明トリガ信号を受信すると、照明条件記憶部2aに記憶された照明条件に従ってパターン光を生成し、ワークWを照明する。このときの照明条件は、図5Aに示す0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光、図5Bに示す0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光を順番に生成する照明条件となっている。従って、パターン光照明部2は、照度分布の位相を受光素子3aの配列方向及びワークWの移動方向の両方向にシフトさせた合計8種類のパターン光(X方向で4種類、Y方向で4種類)を生成してワークWに順次照射する。
同時に、制御部41は撮像部3に撮像トリガ信号を出力する。撮像部3は撮像トリガ信号を受信すると、上記パターン光が照射される都度、ワークWを撮像する。8Kの画面サイズ(8192列×1024行)にする場合、1024回(行数)×パターン光の照明回数(8回)が、1つの輝度画像を得るために必要な照明回数となり、同じ数が撮像回数となる。
この実施形態では、1つの輝度画像を得るために複数の撮像トリガ信号(具体的には、1つ輝度画像の画素の行数と同じ数の撮像トリガ信号)を順次送信しているので、撮像トリガ信号を受信する都度、撮像タイミングのずれを解消できる。パターン光照明部2に対しても同様に照明トリガ信号を送信しており、しかも、照明トリガ信号と撮像トリガ信号とを同期させているので、照明タイミングのズレも解消できる。したがって、複数の輝度画像を生成する際に照明回数及び撮像回数が多くなったとしても、撮像タイミングと照明タイミングとのずれを極めて小さな状態で維持することができる。
撮像時、パターン光の照射回数が8回であることから、8つの輝度画像が得られる。図22に示すように、4種類のX方向パターン光の照射時に撮像された4枚の輝度画像(X)と、4種類のY方向パターン光の照射時に撮像された4枚の輝度画像(Y)とが得られる。
実際に金属製ワークWを撮像して得た8つの輝度画像を図23に示す。図23の左側の画像は、上から順に、0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光をそれぞれ照射して得られた輝度画像である。図23の右側の画像は、上から順に、0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光をそれぞれ照射して得られた輝度画像である。尚、X方向パターン光のみ、またはY方向パターン光のみ照射するようにしてもよい。
その後、図21に示すフローチャートのステップSA2に進み、ステップSA1で得られた8つの輝度画像に対してデフレクトメトリ処理を行う。これは画像生成部42で行うことができる。パターン光が照射されたワークWを撮像することで、得られた輝度画像の各画素値には、正反射成分と、拡散反射成分(+環境成分)とが含まれることになる。パターン光の照度分布の位相をX方向に90゜(π/2)ずつシフトさせて4回撮像しているので、各画素値はX方向パターン光の照射によって4種類得られる。1回目に撮像された輝度画像の画素値をI1とし、2回目に撮像された輝度画像の画素値をI2とし、3回目に撮像された輝度画像の画素値をI3とし、4回目に撮像された輝度画像の画素値をI4とすると、画素値I1〜I4は次式1で与えられる。
式1におけるRdは拡散反射成分であり、Rsは正反射成分であり、φsは正反射角度(位相)である。拡散反射成分、正反射成分、正反射角度は位相データであり、撮像部3が撮像した複数のライン画像に基づいて1ライン分の位相データを得ることができる。
同様に、パターン光の照度分布の位相をY方向に90゜(π/2)ずつシフトさせて4回撮像しているので、各画素値はY方向パターン光の照射によって4種類得られる。Y方向についても画素値I1〜I4は上記式1で表すことができる。
(正反射成分画像)
正反射成分画像は次式2で与えられる。式2では、逆相同士の差分により、拡散成分を排除している。図22に示すように、X方向とY方向でそれぞれ得られ、それらを合成することで正反射成分画像となる。図29に正反射成分画像の例を示す。尚、図29におけるノーマル画像とは、正反射成分及び拡散反射成分を含んだ画像である。
正反射成分画像は次式2で与えられる。式2では、逆相同士の差分により、拡散成分を排除している。図22に示すように、X方向とY方向でそれぞれ得られ、それらを合成することで正反射成分画像となる。図29に正反射成分画像の例を示す。尚、図29におけるノーマル画像とは、正反射成分及び拡散反射成分を含んだ画像である。
(正反射角度)
正反射角度は次式3で与えられる。π/2ずれの正反射成分により、tanθ=sinθ/cosθとして角度を算出する。
正反射角度は次式3で与えられる。π/2ずれの正反射成分により、tanθ=sinθ/cosθとして角度を算出する。
(平均画像)
平均画像は拡散成分と環境成分とを含んでおり、次式4で与えられる。逆相同士の加算により、正反射成分を排除している。
平均画像は拡散成分と環境成分とを含んでおり、次式4で与えられる。逆相同士の加算により、正反射成分を排除している。
(拡散反射成分画像)
拡散反射成分画像は次式5で与えられる。拡散反射成分画像の例を図29に示す。
拡散反射成分画像は次式5で与えられる。拡散反射成分画像の例を図29に示す。
図21のフローチャートにおけるステップSA3では拡散反射成分画像に対してコントラスト補正を行う。また、ステップSA4では正反射成分画像に対してコントラスト補正を行う。各コントラスト補正は、線形補正とすることができる。たとえば、ROIの平均が中央値になるように補正する。8ビットの場合は128レベルを中央値とすればよい。これによって、補正後の拡散成分、補正後の正反射成分が得られる。
また、ステップSA5では位相成分について参照位相との差分を取る。このステップSA5では、参照平面の位相に対して差分を取得する。たとえば、使用者が、参照平面として球面状、円筒状、平面状等を指定し、これらとの差分を取得するようにする。あるいは、自由曲面で抽出させてもよい。X方向について補正後の位相(差分)が得られ、Y方向についても補正後の位相が得られる。図22に示す位相画像に相当する。補正後の位相画像の例を図29に示す。
拡散反射成分画像、正反射成分画像、参照位相差分画像は出力画像となる。
ステップSA6では、ステップSA5で得られた参照位相差分画像に基づいて階層化画像と深さ輪郭画像を得る。階層化画像は、1/2縮小を繰り返した画像である。これにより、階層化された位相の画像がX方向とY方向でそれぞれ得られる。
一方、深さ輪郭画像とは、位相差分が大きい部分を強調した中間画像であり、曲率とは異なる概念である。深さ輪郭画像は、形状積み上げによって得られる形状画像に比べて高速に得られ、ワークWの線キズが極めて見やすく、しかも、輪郭の抽出がし易い等の利点がある。深さ輪郭画像の例を図29に示す。
次に、ステップSA7では、階層化された位相の画像に対して形状積み上げを行って形状画像を生成する。X方向とY方向の正反射角度に対し、Gauss−Jacobi法などによる積み上げ計算を行うことで、形状画像を得ることができる。形状画像は出力画像となる。形状画像の例を図29に示す。
一般的には、unwrappingをしてから、三角測距などによって形状を復元する例が多いところ、本実施形態においては、unwappingを回避し、局所的な微分値をGauss−Jacobi法で積み上げ計算することで、三角測距によらずに形状を復元している。形状復元方法は、既知の方法が適宜利用できる。好ましくは、三角測距を用いない方法である。また、縮小画像を多段に持つ、階層型方法とすることもできる。また、縮小画像と通常画像との差分を持つ方法とすることもできる。
さらに、パラメータとして特徴サイズを設定することもできる。特徴サイズとは、検査の目的や種別に応じた検出対象の傷のサイズを設定するためのパラメータである。例えば、特徴サイズのパラメータ値が1のときに一番細かい傷が検出でき、この値を上げていくと大きな傷が検出できるようにする。これにより、特徴サイズを大きくすると、より大きな傷が検出し易い状態となり、ワークW表面の凸凹が明瞭となる。
ステップSA8では簡易欠陥抽出を行う。簡易欠陥抽出の詳細については後述する。ステップSA8で簡易欠陥抽出を行った後に抽出された欠陥が表示された欠陥抽出画像を出力する。
また、画像生成部42では、光沢比画像を生成することもできる。光沢比画像は、正反射成分と拡散反射成分の比を表す画像である。光沢比画像では、正反射成分と拡散反射成分の割合が異なる画素が強調される。光沢比画像の例を図29に示す。
(フィルタ処理部40の構成)
図2に示すフィルタ処理部40は、画像生成部42で生成された各検査用画像に対して、フィルタ処理適用及びフィルタ処理非適用を個別に設定可能なフィルタ処理設定部40aと、フィルタ処理設定部40aによりフィルタ処理適用と設定された検査用画像にフィルタ処理を実行するフィルタ処理実行部40bとを有している。適用するフィルタの種類は特に限定されるものではないが、たとえば、検査用画像の種類に応じて選択することができ、シェーディング補正フィルタや平滑化フィルタ等を挙げることができる。
図2に示すフィルタ処理部40は、画像生成部42で生成された各検査用画像に対して、フィルタ処理適用及びフィルタ処理非適用を個別に設定可能なフィルタ処理設定部40aと、フィルタ処理設定部40aによりフィルタ処理適用と設定された検査用画像にフィルタ処理を実行するフィルタ処理実行部40bとを有している。適用するフィルタの種類は特に限定されるものではないが、たとえば、検査用画像の種類に応じて選択することができ、シェーディング補正フィルタや平滑化フィルタ等を挙げることができる。
図30に示すように、シェーディング補正フィルタは、形状画像、光沢比画像、深さ輪郭画像及び位相画像には適していない。その理由について述べると、形状画像は明るさの画像ではなく凹凸を示す画像であることからシェーディング補正フィルタの効果が得られないからである。また、光沢比画像は比を求めた画像であるのでそもそもシェーディングが消えた画像となっているからである。また、深さ輪郭画像及び位相画像は位相を考慮した補正が施されていてシェーディング補正フィルタを適用することの意味が無いからである。一方、正反射成分画像、拡散反射成分画像及びノーマル画像にはシェーディング補正フィルタが適している。
図30におけるメディアンフィルタは平滑化フィルタであり、形状画像には適していないが、光沢比画像、深さ輪郭画像、位相画像、正反射成分画像、拡散反射成分画像及びノーマル画像には適している。
フィルタ処理設定部40aは、検査用画像の種類に関する情報を得て、検査用画像に応じてフィルタ処理適用及びフィルタ処理非適用を自動的に設定するように構成されている。検査用画像の種類に関する情報は、画像生成部42から得ることができる。フィルタ処理設定部40aは、図30に示すように、シェーディング補正フィルタを、正反射成分画像、拡散反射成分画像及びノーマル画像には自動的に適用し、形状画像、光沢比画像、深さ輪郭画像及び位相画像には自動的に適用しない。また、フィルタ処理設定部40aは、メディアンフィルタを形状画像には自動的に適用しないが、光沢比画像、深さ輪郭画像、位相画像、正反射成分画像、拡散反射成分画像及びノーマル画像には自動的に適用する。
つまり、フィルタ処理の有効度を事前に調査しておき、フィルタ処理を適用する検査用画像を画像検査装置1にプリセットしておくことで、フィルタ処理設定部40aが検査用画像の種類に応じてシェーディング補正フィルタ及び平滑化フィルタの少なくとも一方の適用及び非適用を自動的に設定することができる。尚、プリセット内容を使用者が変更可能にしてもよい。
フィルタ処理実行部40bは、プリセット内容に応じてフィルタ処理を実行することができるので、使用者は検査用画像毎にフィルタ処理の適用及び非適用や、適用する場合のフィルタ処理の種類を選択しなくてもよくなり、操作性が向上する。また、フィルタ処理設定部40aは、検査に用いる検査用画像にのみフィルタ処理を設定するように構成されているので、検査に用いられない検査用画像にはフィルタ処理が実行されないようになっている。
プリセットしておくフィルタ処理の種類は、有効度を事前に調査することができるフィルタであって、かつ、検査用画像によって効果の有無が現れるフィルタであればよい。
図25に示す欠陥抽出用インターフェース58の表示画像選択用プルダウンメニュー58eにより検査用画像を選択することができる。表示画像選択用プルダウンメニュー58eにより検査用画像として選択され、かつ、フィルタ処理実行部40bによるフィルタ処理実行後の検査用画像(正反射成分画像、拡散反射成分画像等)と、検査用画像として選択され、かつ、フィルタ処理実行部40bによるフィルタ処理が実行されていない検査用画像(形状画像等)とを同時に表示部5に表示させることができる。フィルタ処理に適した検査用画像であっても、検査用画像として選択されていない検査用画像(表示部5に表示されない検査用画像)に対してはフィルタ処理実行部40bがフィルタ処理を行わないようにすることができる。この時点でフィルタ処理が行われていなかったとしても、後に、検査用画像として選択された段階でフィルタ処理実行部40bがフィルタ処理を行えばよい。
尚、検査用画像の種類に応じてフィルタ処理適用及びフィルタ処理非適用を自動的に設定することを前提として、自動的に設定されたフィルタ処理を使用者が非適用にしたり、自動的に設定されたフィルタ処理の種類を使用者が変更することができるようにしてもよい。たとえば、使用者が、フィルタ処理が不要であると判断する検査用画像に対してフィルタ処理を非適用とする操作を受け付けるように、フィルタ処理設定部40aを構成することができる。操作の具体例としては、表示部5にインターフェースを表示させ、当該インターフェースに組み込まれている各種ボタンやプルダウンメニュー等の操作を挙げることができる。
フィルタ処理実行部40bは、複数の検査用画像に対してフィルタ処理を実行している場合に、フィルタ処理を実行した複数の検査用画像に対して該検査用画像に実行しているフィルタ処理を一括して非実行にすることが可能に構成されていてもよい。使用者が、検査用画像に対してフィルタ処理を非適用とする操作をした場合に、各検査用画像に対して自動的にフィルタ処理を非実行にすることができる。フィルタ処理を一括して非実行にした後、元に戻す操作、即ち、複数の検査用画像に対してフィルタ処理を実行する操作を受け付けるように構成することもできる。
各フィルタ処理を行う際には、図31に示すように、フィルタ処理の強さ等の各種パラメータを設定することができる。フィルタ処理実行部40bは、フィルタ処理設定部40aによりフィルタ処理適用と設定された検査用画像に対して、フィルタ処理のパラメータを一括に設定及び変更することが可能に構成されている。図31に示すパラメータ設定用インターフェースでパラメータを設定又は変更すると、その操作が、フィルタ処理適用と設定された他の検査用画像に対してフィルタ処理実行部40bによって反映される。
また、フィルタ処理を適用する検査用画像を画像検査装置1にプリセットしておかなくてもよい。この場合、使用者が、インターフェースに組み込まれている各種ボタンやプルダウンメニュー等を操作して、各検査用画像に対して個別にまたは一括してフィルタ処理の適用及び非適用を設定することになる。インターフェースに組み込まれている各種ボタンやプルダウンメニュー等が、フィルタ処理設定部になる。
図32は、フィルタ処理前の検査用画像と、フィルタ処理後の検査用画像とを示す図である。フィルタ処理は、第1画像表示領域58aに表示されている元画像1(正反射成分画像)と、第2画像表示領域58bに表示されている元画像2(拡散反射成分画像)とに適用している。図32に示すように、正反射成分画像及び拡散反射成分画像のシェーディングが補正されて欠陥部が見えやすくなる。一方、第3画像表示領域58cに表示されている元画像3(形状画像)にはフィルタ処理が適用されていないので、形状に係る欠陥部は見えやすいままとなっている。
(簡易欠陥抽出)
簡易欠陥抽出は、図24に簡易欠陥抽出の概念を示すように、ワークWの線キズ(欠陥)を検査し易い画像1、ワークWの汚れ(欠陥)を検査し易い画像2、ワークWの打痕(欠陥)を検査し易い画像3をそれぞれ生成した後、画像1〜3に現れている欠陥を欠陥抽出画像に表示させる工程である。欠陥抽出画像は、画像1〜3に現れている欠陥を抽出して表示することができる画像であり、抽出した欠陥を1つの画像に合成して表示させることができるので合成欠陥画像と呼ぶこともできる。
簡易欠陥抽出は、図24に簡易欠陥抽出の概念を示すように、ワークWの線キズ(欠陥)を検査し易い画像1、ワークWの汚れ(欠陥)を検査し易い画像2、ワークWの打痕(欠陥)を検査し易い画像3をそれぞれ生成した後、画像1〜3に現れている欠陥を欠陥抽出画像に表示させる工程である。欠陥抽出画像は、画像1〜3に現れている欠陥を抽出して表示することができる画像であり、抽出した欠陥を1つの画像に合成して表示させることができるので合成欠陥画像と呼ぶこともできる。
たとえば、正反射成分画像は、正反射を鈍らせる汚れや、形状変化はないものの正反射の鈍いキズ、あるいは形状変化によって正反射が返ってこないキズ等の確認をし易い画像である。拡散反射画像は、ワークWの表面のテクスチャの状態(具体的には印刷物の文字や黒ずんだ汚れ等)を確認し易い画像である。形状画像は、特徴サイズに応じて周囲画素を見ながら位相の変化を積み上げた画像である。ここで、形状画像の特徴サイズを大きく設定すると、形状変化のなかでも比較的浅くて面積の広い凹凸を捉えることができる。一方、形状画像の特徴サイズを小さく設定すると、線キズや面積の小さなキズを捉えることができる。また、形状画像に現れにくい欠陥(たとえば細いキズや深い傷)は、正反射成分画像に現れやすい傾向がある。また、深さ輪郭画像は、基準となる平面を算出し、この基準平面からのずれを画像化している。深さ輪郭画像からは、線キズや面積の小さなキズを捉えることができる。つまり、画像生成部42は、撮像部3が撮像した複数の輝度画像に基づいて、異なる種別の欠陥の検出が可能な複数の検査用画像を生成することができる。また、画像生成部42が生成する画像は上述した画像に限られるものではない。
画像生成部42で生成された正反射成分画像、拡散反射画像、形状画像、深さ輪郭画像、光沢比画像、欠陥抽出画像等は、検査用画像であり、表示部5に表示させることができる。表示部5には、画像生成部42で生成された画像のうち、1つのみを表示させてもよいし、任意の複数の画像を表示させてもよい。表示部5に表示させる画像は、使用者が選択できるようにするのが好ましい。
たとえば、図25に示す欠陥抽出用インターフェース58をUI生成部43が生成し、欠陥抽出用インターフェース58を表示部5に表示させることができる。欠陥抽出用インターフェース58には、元画像1を表示させる第1画像表示領域58aと、元画像2を表示させる第2画像表示領域58bと、元画像3を表示させる第3画像表示領域58cと、欠陥抽出画像を表示させる第4画像表示領域58dとが組み込まれている。画像表示領域の数は4つに限られるものではなく、3つ以下であってもよいし、5つ以上であってもよい。図25では、元画像1として正反射成分画像が選択され、元画像2として拡散反射成分画像が選択され、元画像3として形状画像が選択されているが、画像生成部42で生成された画像であれば、どの画像をどの領域に表示してもよい。
第1〜第3画像表示領域58a〜58cに表示されている画像を使用者が他の画像に切り替えることもできる。表示されている画像を切り替える場合には、たとえば表示領域をマウス7の操作等によって選択してアクティブ化しておき、欠陥抽出用インターフェース58に組み込まれている表示画像選択用プルダウンメニュー58eにより、画像の選択を行うことができる。この表示画像選択用プルダウンメニュー58eは、画像生成部42で生成された複数の検査用画像の中から、検査に用いる少なくとも一つの検査用画像を選択する画像選択部である。
表示画像選択用プルダウンメニュー58eには、正反射成分画像、拡散反射画像、形状画像、深さ輪郭画像、光沢比画像等が選択肢として表示されるようになっている。選択された検査用画像を使用して画像生成部42が欠陥抽出画像を生成する。表示画像選択用プルダウンメニュー58eは、画像生成部42により生成された複数の検査用画像のなかから、欠陥抽出画像を生成するための検査用画像の選択を受け付けることができる画像選択受付部である。
画像検査装置1は、表示部5に表示された検査用画像のうち、一の検査用画像の一部の領域を指定して拡大することができるように構成されている。たとえば、使用者が、図25の第1画像表示領域58aに表示されている画像上で破線にて示す領域B1を拡大したい場合には、マウス7のポインタを始点PAに置き、そのまま終点PBまでマウス7でドラッグ操作を行うと、始点PAと終点PBとを結ぶ直線を対角線とする矩形領域が指定され、この領域が領域B1となる。この操作は、一の検査用画像の一部の領域を指定して拡大する拡大操作に相当する操作であり、この拡大操作は、制御ユニット4の操作受付部46で受け付けられる。拡大操作によって指定する領域の形状は、たとえば円形、自由曲線で囲まれた形状等であってもよい。また、拡大操作は、マウス7やキーボード6のいずれの操作で行うようにしてもよい。
使用者による拡大操作を受け付けると、制御ユニット4の表示制御部47は、第1画像表示領域58aに表示されている画像の領域B1を拡大して、図26に示すように第1画像表示領域58aに表示する。さらに、表示制御部47は、図25に示す表示部5に表示された他の検査用画像(第2〜第4画像表示領域58b〜58dに表示されている画像)において、第1画像表示領域58aに表示されている画像で指定された領域B1に対応する各領域B2を、上記拡大操作に連動して同倍率で拡大して表示部5に表示させる(図26参照)。領域B1の拡大と領域B2の拡大とを同時に行うことができるが、多少の時間的遅れを伴っていてもよい。拡大操作は、第1〜第4画像表示領域58a〜58dに表示されているどの検査用画像に対して行ってもよく、どの検査用画像に対して拡大操作を行っても他の検査用画像を拡大操作に連動して同倍率で拡大して表示部5に表示させることができる。
また、操作受付部46は、表示部5に表示された検査用画像のうち、一の検査用画像を縮小する縮小操作を受け付け可能に構成されていてもよい。縮小操作は、たとえばマウス7のクリック操作やキーボード6のキー操作等で行うことができる。表示制御部47は、表示部5に表示された他の検査用画像を、縮小操作に連動して同倍率で縮小して表示部5に表示させるように構成されていてもよい。
また、操作受付部46は、表示部5に表示された検査用画像のうち、一の検査用画像をスクロールするスクロール操作を受け付け可能に構成されていてもよい。スクロール操作は、たとえばマウス7のクリック操作やキーボード7のキー操作等で行うことができる。表示制御部46は、表示部5に表示された他の検査用画像を、スクロール操作に連動してスクロールさせるように構成されていてもよい。スクロールの方向は、表示部5の上下方向及び左右方向、斜め方向の任意の方向とすることができる。
図25に示す欠陥抽出用インターフェース58には詳細表示を行うか否かを選択する詳細表示ボタン58fが組み込まれている。詳細表示ボタン58fを操作して詳細表示を行うと、図26に示すように、しきい値設定用領域58iが表示される。しきい値設定用領域58iには、元画像1〜3の各しきい値を表示することができるようになっている。しきい値とは、非欠陥部とすべき画素値範囲を規定するための値である。たとえば、各画素の明るさレベルを0〜255の256段階とした場合に、非欠陥部とすべき画素値範囲を0〜255のうちの具体的な数値によって規定することができる。黒を非欠陥部としてもよいし、反対に白を非欠陥部としてもよい。
(背景選択法)
しきい値の設定方法は2通りある。1つ目は背景を選択する方法である。図25に示す欠陥抽出用インターフェース58には、背景選択ボタン58gが設けられており、この背景選択ボタン58gを押してから、各検査用画像(元画像1〜3)の背景を選択する。背景選択は、上記拡大操作後の拡大表示された元画像1〜3に対して行うことができる。背景とは、ワークWの欠陥部以外の部分、即ちワークWの非欠陥部のことである。
しきい値の設定方法は2通りある。1つ目は背景を選択する方法である。図25に示す欠陥抽出用インターフェース58には、背景選択ボタン58gが設けられており、この背景選択ボタン58gを押してから、各検査用画像(元画像1〜3)の背景を選択する。背景選択は、上記拡大操作後の拡大表示された元画像1〜3に対して行うことができる。背景とは、ワークWの欠陥部以外の部分、即ちワークWの非欠陥部のことである。
背景を選択する方法としては、たとえばマウス7のポインタを、元画像1〜3におけるワークWの非欠陥部に置いてクリックする方法やタッチパネル操作する方法がある。これによってワークWの非欠陥部の位置(X座標、Y座標)を指定できる。非欠陥部の位置の指定は、元画像1〜3のうち、任意の1つの画像に対して複数回行うことができる。また、元画像1〜3のうち、任意の1つの画像(第1検査用画像)に対して非欠陥部の位置の指定を行った後、別の画像に対しても非欠陥部の位置の指定を行うことができる。尚、背景選択を行うと、非欠陥部とすべき画素値範囲が広がる方向に変わる。
図33に示すフローチャートに基づいて説明する。使用者がワークWの非欠陥部の位置の指定(1回目)を行うと(ステップSB1)、制御ユニット4の内部処理として、その1回目の非欠陥部の位置の指定は、制御ユニット4の位置指定受付部48によって受け付けられる。位置指定受付部48で受け付けた非欠陥部の位置情報(第1非欠陥部位置情報)は座標形式として記憶装置10の位置情報記憶部10bに記憶される。
制御ユニット4の設定部49は、位置指定受付部48で受け付けた非欠陥部の位置情報を位置情報記憶部10bから読み出し、位置指定受付部48により受け付けた非欠陥部の位置の画素値を得る。具体的には、非欠陥部の位置の画素(クリックされた画素)だけではなく、その画素の周囲の3×3の領域の画素値(9つの画素値)を取得し、最大値と最小値とを求める。たとえば最大値が200であれば、背景選択の感度(たとえば5)の3倍をマージンとし、200+5×3=215を最大値とする。また、たとえば最小値が80であれば、80−5×3=65を最小値とする。この場合、非欠陥部とすべき画素値範囲は、215〜65となる。設定部49は、非欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を、表示部5に表示されている複数の検査用画像(上記第1検査用画像を含む)に対して自動的に設定する(ステップSC1)。上記感度やマージンは一例である。
その後、使用者がワークWの非欠陥部の位置の指定(2回目)を行うと(ステップSB2)、制御ユニット4の内部処理として、その2回目の非欠陥部の位置の指定は、制御ユニット4の位置指定受付部48によって受け付けられる。位置指定受付部48で受け付けた非欠陥部の位置情報(第2非欠陥部位置情報)は同様に記憶装置10の位置情報記憶部10bに記憶される。
制御ユニット4の設定部49は、位置指定受付部48で受け付けた2回目の非欠陥部の位置情報を位置情報記憶部10bから読み出し、位置指定受付部48により受け付けた2回目の非欠陥部の位置の画素値を得る。設定部49は、2回目の非欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を、表示部5に表示されている複数の検査用画像(上記第1検査用画像を含む)に対して自動的に設定する(ステップSC2)。
使用者がワークWの非欠陥部の位置の指定(3回目)を行うと(ステップSB3)、同様にして、3回目の非欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を、表示部5に表示されている複数の検査用画像(上記第1検査用画像を含む)に対して自動的に設定する(ステップSC3)。つまり、位置指定受付部48では、非欠陥部の位置の指定を複数回受け付けることができる。
また、表示部5に表示されておらずかつフィルタ処理が行われていない検査用画像(第2検査用画像)が、図25に示す欠陥抽出用インターフェース58の表示画像選択用プルダウンメニュー58eにより選択されると、表示部5に表示される画像の切り替えが行われる(ステップSB4)。表示部5に表示されておらずかつフィルタ処理が行われていない検査用画像が選択された際、設定部49は、位置情報記憶部10bに記憶された非欠陥部の位置を示す複数の位置情報(ステップSB1〜3で記憶した位置情報)を読み出し、当該検査用画像における位置情報に対応する画素値を参照する。その後、非欠陥部とすべき画素値範囲を更新する(ステップSC4)。この検査用画像に対してフィルタ処理部40がフィルタ処理を行う。切り替え後の検査用画像に対しても背景選択を行うことができ(ステップSB5)、このときに指定された位置情報(第2非欠陥部位置情報)は位置情報記憶部10bに記憶される。
さらに、表示部5に表示されておらずかつフィルタ処理が行われていない検査用画像が上記第2検査用画像として選択された後、更に別の画像が第3検査用画像として選択されることがある(ステップSB6)。第3検査用画像が選択された際に、設定部49は、位置情報記憶部10bに記憶された非欠陥部の位置を示す複数の位置情報(ステップSB1〜3、SB5で記憶した位置情報)を読み出し、第3検査用画像における位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新する。図示しないが、第3検査用画像に対しても背景選択を行うことができ、このときに指定された位置情報(第3非欠陥部位置情報)は位置情報記憶部10bに記憶される。フィルタ処理部40は第3検査用画像に対してフィルタ処理を行う。
すなわち、設定部49は、上記第3検査用画像が選択された際に、位置情報記憶部10bに記憶された上記第2検査用画像における非欠陥部の位置を示す位置情報(第2非欠陥部位置情報)を読み出し、第2検査用画像における位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新することができる。また、設定部49は、第3検査用画像が選択された際に、位置情報記憶部10bに記憶された第1検査用画像における非欠陥部の位置を示す位置情報(第1非欠陥部位置情報)と、第2検査用画像における非欠陥部の位置を示す位置情報(第2非欠陥部位置情報)とを読み出し、第3検査用画像における第1及び第2非欠陥部位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新するように構成されていてもよい。背景選択の履歴は、たとえば10回分だけ保存しておき、それ以降は古いものから削除することもできる。
ワークWの欠陥部ではなく背景を選択する理由は次のとおりである。すなわち、仮に、欠陥部を表示部5の画面上で1つずつクリックして指定していく方法だと、複数の欠陥条件設定を行わなければならず、操作が煩雑になる。また、使用者はそれぞれの欠陥部のサンプルを用意しなければならないのに加えて、未知の欠陥部には対応できないし、線キズなどの小さい欠陥部の指定作業に使用者がストレスを感じることも考えられる。従って、背景選択の方が好ましい場面が多いが、以下に説明する欠陥部を指定する方法も有効な場合があり、本実施形態では、背景選択する方法と、欠陥部を指定する方法とを使用者が選択できるようにしている。
(強制抽出法)
しきい値の設定方法の2つ目の方法は欠陥部を指定する方法(強制抽出法)である。たとえば、欠陥部と非欠陥部との違いがあまり大きくない場合には、欠陥部を選択することでしきい値の設定を行いたい場合があり、この場合に強制抽出法は有効である。
しきい値の設定方法の2つ目の方法は欠陥部を指定する方法(強制抽出法)である。たとえば、欠陥部と非欠陥部との違いがあまり大きくない場合には、欠陥部を選択することでしきい値の設定を行いたい場合があり、この場合に強制抽出法は有効である。
図25に示す欠陥抽出用インターフェース58には、強制抽出ボタン58hが設けられており、この強制抽出ボタン58hを押してから、各検査用画像の欠陥部を選択する(図27に示す)。強制抽出とは、ワークWの欠陥部を抽出することである。強制抽出は、拡大表示された各検査用画像に対して行うことができる。強制抽出の流れは、図33に示す背景選択の場合とほぼ同様である。
強制抽出する方法としては、たとえばマウス7のポインタを、元画像1〜3におけるワークWの欠陥部に置いてクリックする方法やタッチパネル操作する方法がある。これによってワークWの欠陥部の位置(X座標、Y座標)を指定できる。欠陥部の位置の指定は、元画像1〜3のうち、任意の1つの画像に対して複数回行うことができる。また、元画像1〜3のうち、任意の1つの画像(第1検査用画像)に対して欠陥部の位置の指定を行った後、別の画像に対しても欠陥部の位置の指定を行うことができる。尚、強制抽出を行うと、非欠陥部とすべき画素値範囲が狭まる方向に変わる。また、強制抽出と背景選択とを、1つの元画像に対して行うこともできる。
ワークWの欠陥部の位置の指定は、図2に示す制御ユニット4の位置指定受付部48によって受け付けられる。位置指定受付部48では、欠陥部の位置の指定を複数回受け付けることができる。位置指定受付部48で受け付けた欠陥部の位置情報(座標)は記憶装置10の位置情報記憶部10bに記憶される。
制御ユニット4の設定部49は、位置指定受付部48で受け付けた欠陥部の位置情報を位置情報記憶部10bから読み出し、位置指定受付部48により受け付けた欠陥部の位置の画素値を得る。強制抽出の場合は、背景選択の場合と異なり、欠陥部の位置の画素(クリックされた画素)の画素値を取得し、設定部49は、欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を、表示部5に表示されている複数の検査用画像(上記第1検査用画像を含む)に対して自動的に設定する。このとき、欠陥部の位置の画素値を含まないように、非欠陥部とすべき画素値範囲を設定する。ただし、変更後の画素値範囲が有効な範囲にならない場合には、上限値を0、下限値を255に設定する。
また、表示部5に表示されておらずかつフィルタ処理が行われていない検査用画像(第2検査用画像)が選択された際、設定部49は、位置情報記憶部10bに記憶された欠陥部の位置を示す複数の位置情報を読み出し、第2検査用画像における位置情報に対応する画素値を参照する。第2検査用画像において非欠陥部とすべき画素値範囲を更新する。この第2検査用画像に対してフィルタ処理部40がフィルタ処理を行う。第2検査用画像に対しても強制抽出を行うことができ、このときに指定された位置情報は位置情報記憶部10bに記憶される。
さらに、表示部5に表示されておらずかつフィルタ処理が行われていない検査用画像が上記第2検査用画像として選択された後、更に別の画像が第3検査用画像として選択された際に、設定部49は、位置情報記憶部10bに記憶された欠陥部の位置を示す複数の位置情報を読み出し、第3検査用画像における位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新する。フィルタ処理部40は第3検査用画像に対してフィルタ処理を行う。
また、設定部49は、上記第3検査用画像が選択された際に、位置情報記憶部10bに記憶された上記第2検査用画像における欠陥部の位置を示す位置情報(第2欠陥部位置情報)を読み出し、第2検査用画像における位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新することができる。
また、設定部49は、第3検査用画像が選択された際に、位置情報記憶部10bに記憶された第1検査用画像における欠陥部の位置を示す位置情報(第1欠陥部位置情報)と、第2検査用画像における欠陥部の位置を示す位置情報(第2欠陥部位置情報)とを読み出し、第3検査用画像における第1及び第2欠陥部位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新するように構成されていてもよい。
画像生成部42は、設定部49により複数の検査用画像に対して設定された非欠陥部とすべき画素値範囲の全てに含まれる領域を非欠陥領域とし、いずれかの画素値範囲に含まれない領域を欠陥領域とした欠陥抽出画像を生成する。この欠陥抽出画像は、図26や図27の第4画像表示領域58dに表示することができる。また、背景選択または強制抽出が行われると非欠陥部とすべき画素値範囲が変更になるが、位置指定受付部48によって非欠陥部または欠陥部の位置の指定が受け付けられると、画像生成部42は欠陥抽出画像における非欠陥領域と欠陥領域とを自動的に更新することができる。
表示制御部47は、表示部5に表示された欠陥抽出画像において別の検査用画像で指定された領域に対応する領域を、その拡大操作に連動して同倍率で拡大して表示部5に表示させることができる。また、表示制御部47は、表示部5に表示された欠陥抽出画像において別の検査用画像で指定された領域に対応する領域を、その縮小操作に連動して同倍率で縮小して表示部5に表示させることができる。さらに、表示制御部47は、表示部5に表示された欠陥抽出画像を、上記スクロール操作に連動してスクロールさせることができる。
強制抽出を行った後に背景選択を行ったり、背景選択を行った後に強制抽出を行うこともできる。
(ヒストグラム及びピン)
また、図28に示すように、しきい値設定時にヒストグラムとピンを表示させることもできる。たとえば、第1画像表示領域58aに表示されている元画像1の任意の位置をマウス7でクリックすると、「A」と付されたピンが表示される。すると、しきい値設定用領域58iにおいて、元画像1のクリックした点の画素値に対応するところに同じ「A」と付されたピンが表示され、元画像1のクリックした点の画素値を知ることができる。もう1点クリックすると、「B」と付されたピンが表示され、その位置の画素値を知ることができる。Aのピンと、Bのピンとのそれぞれ画素値を区別して知ることができる。ピンは3本以上表示させることもできる。元画像1でピンが表示されると、他の検査用画像の対応する位置に同じようにピンが表示される。検査用画像が切り替えられた場合には、切り替え後の検査用画像の対応する位置にピンを表示させることができる。
また、図28に示すように、しきい値設定時にヒストグラムとピンを表示させることもできる。たとえば、第1画像表示領域58aに表示されている元画像1の任意の位置をマウス7でクリックすると、「A」と付されたピンが表示される。すると、しきい値設定用領域58iにおいて、元画像1のクリックした点の画素値に対応するところに同じ「A」と付されたピンが表示され、元画像1のクリックした点の画素値を知ることができる。もう1点クリックすると、「B」と付されたピンが表示され、その位置の画素値を知ることができる。Aのピンと、Bのピンとのそれぞれ画素値を区別して知ることができる。ピンは3本以上表示させることもできる。元画像1でピンが表示されると、他の検査用画像の対応する位置に同じようにピンが表示される。検査用画像が切り替えられた場合には、切り替え後の検査用画像の対応する位置にピンを表示させることができる。
尚、「ピン」とは、使用者が検査用画像の任意の位置を指定したことを表すものの一例であり、表示形状はピン状でなくてもよく、たとえば矢印やフラッグのような形態であってもよい。
また、しきい値設定用領域58iには、画素値の度数分布であるヒストグラムも表示できる。ヒストグラムは、図2に示す制御ユニット4のヒストグラム生成部42aで生成することができる。ヒストグラム生成部42aでは、位置指定受付部48によって受け付けた非欠陥部または欠陥部の位置を含む領域のヒストグラムを生成する。
しきい値設定用領域58iには、非欠陥部とすべき画素値範囲の上限と下限をそれぞれ示す2本のしきい値表示線58jが表示されている。使用者が、たとえばしきい値設定用領域58iに表示されているヒストグラムを見ながら、マウス7によるしきい値表示線58jのドラッグ操作により、非欠陥部とすべき画素値範囲及び欠陥部とすべき画素値範囲の少なくとも一方を任意に変更することができる。このドラッグ操作は、操作受付部46によって受け付けることができる。つまり、ヒストグラム生成部42aで生成されたヒストグラム上で非欠陥部とすべき画素値範囲及び欠陥部とすべき画素値範囲の少なくとも一方の変更を受け付けることができる。設定部49は、操作受付部46により受け付けた変更後の画素値範囲に基づいて非欠陥部とすべき画素値範囲を複数の検査用画像に対して設定する。
しきい値の設定方法は上述した方法に限られるものではなく、様々な方法を用いることができる。たとえば単純な画素値範囲ではなく、元画像1と元画像2の明るさ比率でしきい値を設定することもできる。また、複数の条件を組み合わせてしきい値を設定することもでき、この場合、論理演算(ORやNOT)を使用者がカスタム化できるようにしてもよい。
また、マハラノビス距離などの統計学で使用される距離を使用して処理後画像の明るさを決め、しきい値からの外れ度合いに応じて、統計的に合理的な方法でグレー画像を生成することもできる。
また、背景選択する操作及び強制抽出する操作は、所定領域内の最小値、最大値を用いる方法とすることができるが、その所定領域内の画素値であっても他の画素値から大きく外れた画素値は除去して演算するようにしてもよい。また、所定領域内の画素値の標準偏差を使用して、外れ値のような値があってもロバストに動作可能にすることができる。上記所定領域は矩形領域であってもよいし、領域セグメンテーションを使用してもよい。これにより、ある程度似ている画素を大量に取得することができるため、しきい値の自動設定などがし易くなる。
また、クラスタリングを用いて非欠陥部の画素値範囲を自動的に判定するようにしてもよい。これにより、複数回のクリック操作は不要になる。また、欠陥部を含む領域と、欠陥部の無い領域とを指定し、それらから欠陥に相当する外れ値を見つけることによって適切なしきい値を設定できるようにしてもよい。
また、背景選択と強制抽出の分布を比較して、欠陥部と非欠陥部との分離に適したしきい値を決めることもできる。背景選択と強制抽出の分布を比較して、2群が分離可能か否かを表示することもできる。背景選択と強制抽出の分布を比較して、2群を分離するにはどの画像種が最適か判定し、その画像種でしきい値の設定を行うこともできる。
さらに、背景選択または強制抽出を行う際に、検査用画像の表示を2値化してもよいし、グレースケールで表示してもよい。2値化の場合は、全て検査用画像のしきい値の範囲内を非欠陥部とし、それ以外の欠陥部とすることができる。
(制御部41によるパターン光照明部の制御)
この実施形態では、図23に示すように8つの輝度画像を得てからデフレクトメトリ処理を行うのであるが、デフレクトメトリ処理のアルゴリズムは、パターン光照明部2から照射されるパターン光の照射順番を仮に特定した上で構成されている。この実施形態では、アルゴリズム上でのパターン光の照射順番が、図5Aに示す0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光、図5Bに示す0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光の順番となっているとしてアルゴリズムが構成されている。
この実施形態では、図23に示すように8つの輝度画像を得てからデフレクトメトリ処理を行うのであるが、デフレクトメトリ処理のアルゴリズムは、パターン光照明部2から照射されるパターン光の照射順番を仮に特定した上で構成されている。この実施形態では、アルゴリズム上でのパターン光の照射順番が、図5Aに示す0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光、図5Bに示す0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光の順番となっているとしてアルゴリズムが構成されている。
ここで、画像検査装置1の運用時には移動するワークWを撮像部3で撮像するのであるが、この撮像時に、パターン光照明部2と撮像部3との位置関係が所定の状態になっていないことが考えられる。特に、この実施形態では、パターン光照明部2と撮像部3とが別体であることから、使用者がパターン光照明部2と撮像部3を自由に設置することができるので、パターン光の照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるように設置されてしまうことが起こり易いと想定される。
たとえば、アルゴリズム上では、パターン光の照度分布の位相のシフト方向を1回目の照射から4回目の照射までをX方向と特定しているのに、実際の設置状態では1回目の照射から4回目の照射までY方向に位相がシフトしてしまうようになっていると、照明及び撮像を繰り返して複数の輝度画像を得ることはできるが、不適切な条件で撮像された輝度画像に基づいて検査用画像が生成されることになる。このため、ワークWに存在している凹みが検査用画像に現れにくくなったり、凹みを黒く表示するべきところが反対に白く表示されたり、凹みなのに白と黒とが混ざったような状態で表示されることがある。
具体的には、図34に示すように、パターン光の照度分布の位相のシフト方向がアルゴリズムで特定されている方向であった場合には、同図における左側に示すように、凹んだ欠陥部が黒くなるように検査用画像に表示される。しかし、同図における中央部に示すように、パターン光撮像部2と撮像部3との向きが、アルゴリズムで仮定されている方向に対して180゜異なっていた場合には、凹んだ欠陥部が白く表示されてしまう。このため、使用者は凸状の欠陥部であると誤って認識してしまう恐れがある。また、同図における右側に示すように、パターン光撮像部2と撮像部3との位置関係が実際には反射光受光であるのに透過光受光であると設定してしまった場合、白い部分と黒い部分とが混ざって表示されることになる。
このことに対し、この実施形態では、情報取得部9が、撮像部3のラインカメラ31の受光素子3aの配列方向に対するワークWの移動方向に関する移動方向情報と、受光素子3aとパターン光照明部2との位置関係に関する位置関係情報とを得て、制御部41が、情報取得部9により取得された移動方向情報及び位置関係情報にしたがい、パターン光照明部2により照射されるパターン光の位相シフト方向を決定することができる。
すなわち、照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていたとしても、移動方向情報と位置関係情報とに基づいて、パターン光照明部2により照射されるパターン光の位相シフト方向を、アルゴリズムで特定している方向に設定し直すことができる。
したがって、パターン光照明部2や撮像部3を設置し直す必要はなくなる。また、設置場所の制約や配線の関係から照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるようにしかパターン光照明部2や撮像部3を設置できない場合であってもデフレクトメトリの原理を応用した画像検査を行うことができる。
つまり、照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていた場合には適切な検査用画像を得ることができないので、適切な検査用画像が得られるように第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12を制御してパターン光の照射順番を変更することができる。
(画像生成部42による検査用画像の生成)
画像生成部42は、情報取得部9により取得された移動方向情報及び位置関係情報にしたがい、ワークWの形状に係る検査用画像を生成することもできる。これにより、照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていた場合に、パターン光照明部2のパターン光の照射順番を変更することなく、画像生成部42の生成方法によって適切な検査用画像を得ることができる。
画像生成部42は、情報取得部9により取得された移動方向情報及び位置関係情報にしたがい、ワークWの形状に係る検査用画像を生成することもできる。これにより、照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていた場合に、パターン光照明部2のパターン光の照射順番を変更することなく、画像生成部42の生成方法によって適切な検査用画像を得ることができる。
上記移動方向情報及び位置関係情報を得ておくことで、パターン光がワークWに対してどのように照射されるかを把握することができ、パターン光の位相のシフト方向がどのような方向であっても、画像生成部42は、アルゴリズムで特定されているパターン光の位相のシフト方向と一致するように、画像を取り扱ってワークWの形状に係る検査用画像を生成することができる。たとえば、アルゴリズム上では、パターン光の照度分布の位相のシフト方向を1回目の照射から4回目の照射までX方向と特定し、5回目の照射から8回目の照射までY方向と特定しているのに、実際の設置状態では1回目の照射から4回目の照射までY方向に位相がシフトし、5回目の照射から8回目の照射までX方向に位相がシフトしてしまうようになっていた場合、パターン光の照射順番は変更することなくそのまま撮像し、撮像後に、5回目の照射から8回目の照射で得られた輝度画像を、アルゴリズム上の1回目の照射から4回目の照射で得られた輝度画像として取り扱い、1回目の照射から4回目の照射で得られた輝度画像を、アルゴリズム上の5回目の照射から8回目の照射で得られた輝度画像として取り扱う。このように、実際に撮像した輝度画像を入れ替えて処理することで、パターン光照明部2及び撮像部3の設置状態を変更することなく、デフレクトメトリの原理を応用した画像検査を行うことができる。
(検査部の構成)
図2に示すように、制御ユニット4には検査部4aが設けられている。検査部4aは、画像生成部42により生成された検査用画像に基づいてワークWの欠陥検査を実行する。たとえば、ワークWに非欠陥部があるか否かを上記しきい値に基づいて判定し、非欠陥部があると判定される場合には報知することができる。
図2に示すように、制御ユニット4には検査部4aが設けられている。検査部4aは、画像生成部42により生成された検査用画像に基づいてワークWの欠陥検査を実行する。たとえば、ワークWに非欠陥部があるか否かを上記しきい値に基づいて判定し、非欠陥部があると判定される場合には報知することができる。
(HDR機能)
画像検査装置1には、ハイダイナミックレンジ合成(high dynamic range imaging : HDR)機能を組み込むことができる。HDR機能では、制御部41は、明るさが異なる複数の輝度画像を得るようにパターン光照明部2及び撮像部3を制御する。HDR機能で得る輝度画像としては、たとえば、露光時間の異なる複数の輝度画像、パターン光照明部2の発光強度が異なる複数の輝度画像、露光時間及び発光強度の両方が異なる複数の輝度画像がある。画像生成部42は、たとえば、明るさが異なる3枚の輝度画像を合成することで、各輝度画像のダイナミックレンジよりも広いダイナミックレンジを有する検査用画像を生成することができる。HDR合成の手法については従来から周知の手法を用いることができる。
画像検査装置1には、ハイダイナミックレンジ合成(high dynamic range imaging : HDR)機能を組み込むことができる。HDR機能では、制御部41は、明るさが異なる複数の輝度画像を得るようにパターン光照明部2及び撮像部3を制御する。HDR機能で得る輝度画像としては、たとえば、露光時間の異なる複数の輝度画像、パターン光照明部2の発光強度が異なる複数の輝度画像、露光時間及び発光強度の両方が異なる複数の輝度画像がある。画像生成部42は、たとえば、明るさが異なる3枚の輝度画像を合成することで、各輝度画像のダイナミックレンジよりも広いダイナミックレンジを有する検査用画像を生成することができる。HDR合成の手法については従来から周知の手法を用いることができる。
HDR機能では複数の輝度画像を得る必要があり、この場合も、上記トリガ信号の送信の欄で説明したように、外部からの一のエンコーダパルス信号を受け付けると、パターン光照明部2の照明条件及び撮像部3の撮像条件の少なくとも一方を変化させて複数の輝度画像が生成されるように、パターン光照明部2及び撮像部3に対して複数の撮像トリガ信号を順次送信するように構成することができる。
(マルチスペクトル照明)
パターン光照明部2は、マルチスペクトル照明が可能に構成されていてもよい。マルチスペクトル照明とは、波長が異なる光を、タイミングをずらしてワークWに照射することであり、印刷物(検査対象物)の色むらや汚れ等を検査するのに適している。たとえば、黄色、青色、赤色を順番にワークWに照射可能となるように、パターン光照明部2を構成することができ、具体的には、多数色のLEDを有するパターン光照明部2としてもよいし、液晶パネルや有機ELパネル等でパターン光照明部2を構成してもよい。
パターン光照明部2は、マルチスペクトル照明が可能に構成されていてもよい。マルチスペクトル照明とは、波長が異なる光を、タイミングをずらしてワークWに照射することであり、印刷物(検査対象物)の色むらや汚れ等を検査するのに適している。たとえば、黄色、青色、赤色を順番にワークWに照射可能となるように、パターン光照明部2を構成することができ、具体的には、多数色のLEDを有するパターン光照明部2としてもよいし、液晶パネルや有機ELパネル等でパターン光照明部2を構成してもよい。
撮像部3は、光が照射されるタイミングでワークWを撮像して複数の輝度画像を得る。画像生成部42は、複数の輝度画像を合成して検査用画像を得ることができる。ここで、光には紫外線や赤外線も含むことができる。
(実施形態の作用効果)
以上説明したように、この実施形態によれば、複数のパターン光をワークWに順次照射し、パターン光が照射される都度、ワークWを撮像して複数の輝度画像を生成し、複数の輝度画像に基づいて、ワークWの形状を示す位相データを生成し、ワークWの形状に係る検査用画像を生成するようにしたので、デフレクトメトリの原理を応用した画像検査を行うことができる。
以上説明したように、この実施形態によれば、複数のパターン光をワークWに順次照射し、パターン光が照射される都度、ワークWを撮像して複数の輝度画像を生成し、複数の輝度画像に基づいて、ワークWの形状を示す位相データを生成し、ワークWの形状に係る検査用画像を生成するようにしたので、デフレクトメトリの原理を応用した画像検査を行うことができる。
仮に、照度分布の位相のシフト方向がアルゴリズムで想定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていたとしても、受光素子3aの配列方向に対するワークWの移動方向に関する移動方向情報と、受光素子3aとパターン光照明部2との位置関係に関する位置関係情報とにしたがい、パターン光照明部2により照射されるパターン光の位相シフト方向を適切な方向にすることができる。
また、照度分布の位相のシフト方向がアルゴリズムで想定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていたとしても、上記移動方向情報及び位置関係情報とにしたがい、画像生成部42によってワークWの形状に係る検査用画像を生成することができる。
また、複数の検査用画像を表示部5に同時に表示することができる。複数の検査用画像を表示部5に同時に表示した状態で、使用者が、ある検査用画像を見て、ワークWの非欠陥部または欠陥部の位置を指定すると、その指定した結果を受け付け、非欠陥部または欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を複数の検査用画像に対して設定することができる。これにより、使用者が全ての検査用画像に対して非欠陥部または欠陥部の位置を指定しなくても、複数の検査用画像で欠陥の有無を判定することができる。
また、複数の検査用画像に対して設定された非欠陥部とすべき画素値範囲の全てに含まれる領域を非欠陥領域とし、いずれかの画素値範囲に含まれない領域を欠陥領域とした欠陥抽出画像を生成することができるので、使用者は、欠陥抽出画像を見るだけで異なる種別の欠陥の検出を行うことができる。
また、複数の検査用画像を表示部5に同時に表示した状態で、使用者が、一の検査用画像の一部の領域を指定して拡大する操作を行うと、他の検査用画像において対応する領域が同倍率で拡大されて表示部に表示される。これにより、簡単な操作でもって複数の検査用画像を同じように拡大して表示することができる。同領域が同倍率で拡大表示された各検査用画像を使用者が見て、ある検査用画像においてワークWの非欠陥部または欠陥部の位置を指定することができる。
また、異なる種別の欠陥の検出が可能な複数の検査用画像を生成する場合に、フィルタ処理が実行された検査用画像と、フィルタ処理が実行されていない検査用画像とを使用者が同時に見ることができる。
(実施形態2)
上記実施形態1では、得られた輝度画像に対してデフレクトメトリ処理を行うことによって検査用画像を生成する機能について説明したが、本発明に係る画像検査装置1は、このデフレクトメトリ処理機能以外にも、たとえば、フォトメトリックステレオ法を利用して検査用画像を生成する機能を持たせることもできる。
(実施形態2)
上記実施形態1では、得られた輝度画像に対してデフレクトメトリ処理を行うことによって検査用画像を生成する機能について説明したが、本発明に係る画像検査装置1は、このデフレクトメトリ処理機能以外にも、たとえば、フォトメトリックステレオ法を利用して検査用画像を生成する機能を持たせることもできる。
以下、フォトメトリックステレオ法を利用して検査用画像を生成する場合について、図38を参照しながら、実施形態1と同じ部分には同じ符合を付して説明を省略し、異なる部分について詳細に説明する。
実施形態2に係る画像検査装置1は、たとえば特開2015−232486号公報に開示されている画像検査装置と同様に構成することができる。すなわち、画像検査装置1は、ワークWを一定の方向から撮像する撮像部3と、ワークWを異なる三以上の照明方向から照明するための照明部200と、制御ユニット400とを備えるとともに、実施形態1と同様な表示部5、キーボード6及びマウス7を少なくとも備えている。
照明部200は、ワークWに対して、互いに異なる方向から光を照射するように構成されており、第1〜第4発光部201〜204と、第1〜第4発光部201〜204を制御する照明制御部205とを有している。この照明部200は、ワークWに対して互いに異なる方向から光を照射する複数方向照明を実行する部分である。第1〜第4発光部201〜204は互いに間隔をあけてワークWを取り囲むように配置されている。第1〜第4発光部201〜204は、発光ダイオード、白熱球、蛍光灯等を利用することができる。また、第1〜第4発光部201〜204は別体であってもよいし、一体化されていてもよい。
制御ユニット400は、制御部401と、法線ベクトル算出部402と、輪郭画像生成部403と、テクスチャ描出画像生成部404と、トリガ信号送信部405とを備えている。制御部401は、エンコーダパルス信号が外部から入力されたときに、エンコーダパルス信号を受け付けることが可能に構成されている。制御部401が外部からの一のエンコーダパルス信号を受け付けると、照明部200の照明条件及び撮像部3の撮像条件の少なくとも一方を変化させて複数の輝度画像が生成されるように、トリガ信号送信部405が撮像部3に対して複数の撮像トリガ信号を順次送信するように構成されている。また、制御部401が外部からの一のエンコーダパルス信号を受け付けると、トリガ信号送信部405は、照明部200に対して複数の照明トリガ信号を順次送信するように構成されている。この実施形態では、第1〜第4発光部201〜204を順次点灯させるので、照明トリガ信号を4回送信する。この照明トリガ信号の送信に同期させて撮像トリガ信号を4回送信する。
たとえば、照明部200が1回目の照明トリガ信号を受信すると、照明制御部205が第1発光部201のみ点灯させる。このとき撮像部3は撮像トリガ信号を受信して光が照射されるタイミングでワークWを撮像する。照明部200が2回目の照明トリガ信号を受信すると、照明制御部205が第2発光部202のみ点灯させ、このとき撮像部3はワークWを撮像する。このようにして4枚の輝度画像を得ることができる。なお、照明の数は4つに限られるものではなく、3つ以上で、かつ、互いに異なる方向からワークWを照明することができれば任意の数にすることができる。
法線ベクトル算出部402は、撮像部3によって撮像された複数の輝度画像同士で対応関係にある画素毎の画素値を用いて、各画素のワークWの表面に対する法線ベクトルを算出する。輪郭画像生成部403は、算出された各画素の法線ベクトルに対してX方向及びY方向に微分処理を施し、ワークWの表面の傾きの輪郭を示す輪郭画像を生成する。テクスチャ描出画像生成部404は、算出された各画素の法線ベクトルから、法線ベクトルと同個数の各画素のアルベドを算出し、アルベドから、ワークWの表面の傾き状態を除去した模様を示すテクスチャ描出画像を生成する。
尚、図示しないが、実施形態2においても、実施形態1と同様に、表示部5に表示された各検査用画像に対して、当該検査用画像における検査対象物の非欠陥部または欠陥部の位置の指定を受け付け可能な受付部、受付部により受け付けた非欠陥部または欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を複数の検査用画像に対して設定する設定部を備えている。さらに、表示部5に表示された検査用画像のうち、一の検査用画像の一部の領域を指定して拡大する拡大操作を受け付け可能な操作受付部、表示部5に表示された他の検査用画像において上記一の検査用画像で指定された領域に対応する領域を、上記拡大操作に連動して同倍率で拡大して上記表示部に表示させる表示制御部も備えている。拡大操作の代わりに縮小操作やスクロール操作が可能であるのはもちろんである。さらにまた、図示しないフィルタ処理部も実施形態1と同様である。
(実施形態の作用効果)
この実施形態2によれば、フォトメトリックステレオ法を利用して、異なる種別の欠陥の検出が可能な複数の検査用画像を得ることができ、得られた検査用画像を用いて欠陥検査を行うことができる。
(実施形態3)
図39は、本発明の実施形態3に係る画像検査装置1のブロック図である。この実施形態3は、画像検査装置1がエッジ生成部500を備えている点で実施形態1と異なっているが、他の部分は実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符合を付して説明を省略し、異なる部分について詳細に説明する。
この実施形態2によれば、フォトメトリックステレオ法を利用して、異なる種別の欠陥の検出が可能な複数の検査用画像を得ることができ、得られた検査用画像を用いて欠陥検査を行うことができる。
(実施形態3)
図39は、本発明の実施形態3に係る画像検査装置1のブロック図である。この実施形態3は、画像検査装置1がエッジ生成部500を備えている点で実施形態1と異なっているが、他の部分は実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符合を付して説明を省略し、異なる部分について詳細に説明する。
ワークWの検査を行う際、たとえば複雑な形状の輪郭の欠陥検査をしたい場合や、複雑な形状を持った特定の領域内で欠陥検査をしたい場合等があり、このような場合には、検査用画像上で、輪郭を正確に抽出する必要がある。上記エッジ生成部500はワークWの輪郭を表示部5に表示されている画面上に生成するための部分であり、制御ユニット4の一部とすることもできる。
尚、ワークWの輪郭をエッジとも呼ぶが、エッジは、ワークWの外形線だけでなく、ワークWに形成された穴や凹みの周縁部、ワークWに形成された溝の縁、ワークWに設けられたビードの外形線、ワークWに設けられたシール部材の外形線、ワークWに塗布されたシール剤の縁部等の場合があり、本実施形態では基本的にどのようなエッジも画面上に生成して確認することが可能である。
エッジ生成部500は、表示部5に表示された検査用画像上で、ワークWのエッジ検出の初期位置となる任意の位置の指定を受け付ける位置受付部501と、位置受付部501で受け付けた初期位置または当該初期位置の近傍の初期エッジ位置を検出するとともに、当該エッジの勾配方向を特定するエッジ検出部502と、エッジ検出部502により検出されたエッジの勾配方向と略直交する方向をエッジ接線方向と仮定し、検出されたエッジからエッジ接線方向に所定距離離れた位置にエッジをサーチする領域であるサーチ領域を設定するサーチ領域設定部503と、サーチ領域設定部503により設定されたサーチ領域内の画素値に基づき、当該サーチ領域内で有効なエッジ位置検出用局所しきい値を設定するための局所しきい値設定部504と、エッジ連結部505とを備えている。
エッジ検出部502は、サーチ領域内の画素値とエッジ位置検出用局所しきい値とに基づいて、当該サーチ領域におけるエッジ位置を検出するとともに、当該エッジの勾配方向を特定するエッジ検出処理を実行し、当該エッジ検出処理をサーチ領域設定部503により順次設定されるサーチ領域に対して繰り返し実行するように構成されている。エッジ連結部505が、各サーチ領域にて順次検出されたエッジ位置を連結する連結処理を実行することにより、ワークWの輪郭を特定するように構成されている。
尚、この実施形態では、エッジ検出部502がエッジ位置を検出してエッジの勾配方向を特定するようにしているが、こればエッジ接線方向を仮定するための処理であり、エッジの勾配方向を特定することなく、エッジ接線方向を仮定する場合には、エッジの勾配方向の特定は不要である。
以下、エッジ生成部500による具体的なエッジ生成方法について図40に示すフローチャートに基づいて説明する。このフローチャートのステップSD1では、i=1と置く。その後、ステップSD2に進み、このステップSD2では、使用者が、表示部5に表示された検査用画像上で、ワークWのエッジ検出の初期位置となる任意の位置をマウス7のクリック操作によって指定する。初期位置の指定方法はマウス7の操作に限られるものではなく、他の入力機器の操作であってもよい。
たとえば図41に示す検査用画像上で、使用者がエッジであると認識している線上にポインタ(白抜きの矢印で示す)を置き、マウス7をクリック操作する。使用者は検査用画像上でエッジが分かりやすい部分を指定すると考えられるので、使用者に初期位置の指摘を行わせることで、初期位置を正確に特定することができる。
クリック操作された位置は位置受付部501によって受け付けられる。クリックされた位置がエッジ上から多少外れている場合があるので、エッジ検出部502は、図42に示すようにクリックされた位置を含む所定範囲の領域S0内で最もエッジ強度の強い座標、即ち画素値の差が大きい部分の座標を求め、その位置に対応する座標を求めて初期座標P0とする(ステップSD3)。これにより、クリックされた位置がエッジ上から多少外れていても、位置を修正することができ、エッジ上に初期座標を置くことができる。また、ステップSD3ではエッジの勾配方向(画素値が変化する方向)も特定しておき、図43の左側に示すように、初期座標P0を通り、かつ、エッジの勾配方向を示す勾配ベクトルnを求める。これはエッジ検出部502が行う。尚、しきい値を超えるエッジが見つからなければ処理を終了する。
ステップSD3に続くステップSD4では、勾配ベクトルnに略直交する接線ベクトルr(初期座標P0における接線ベクトル)を求め、この接線ベクトルrを進行ベクトル(単位ベクトル)とする。進行ベクトルの方向をエッジ接線方向と仮定することができる。
その後、ステップSD5に進み、図43の右側に示すように、進行ベクトルr×L(所定距離)だけ離れた位置の座標(点Si)を求める。ステップSD6では、点Siを中心としたセグメントS1を進行ベクトルrと平行に形成する。このセグメントS1は、エッジをサーチする領域であるサーチ領域に相当する。これはサーチ領域設定部503が行う。
セグメントS1を形成した後、ステップSD7では、図44の左側に示すセグメントS1内の画素をエッジ勾配方向と直交する方向に投影(縮退)することにより、同図の中央に示すように一次元の画素値にし、この一次元の画素値をエッジ情報として得る。得られたエッジ情報からエッジ位置を求める。セグメントS1内での2値化であることから、狭い領域で2値化のしきい値を決めることができる。セグメントS1内で求めたしきい値が、エッジ位置検出用局所しきい値である。エッジ位置検出用局所しきい値は大津法(判別分析法)によって求めることができる。これは局所しきい値設定部504で行う。また、たとえば一次元の画素値の微分値に対してエッジ位置検出用局所しきい値を設定し、エッジ位置を求めてもよい。
ステップSD8では、エッジ位置が求まったか否か判定する。ステップSD8でNOと判定された場合にはステップSD16、17を経てステップSD5に戻る。複数回試してもエッジ位置が求まらなかった場合には処理を終了する。
一方、ステップSD8でYESと判定されてエッジ位置が求まった場合には、ステップSD9に進み、図43の右側に示すように、求まったエッジ位置をPiと置く。ステップSD10では、進行ベクトルをPi−1からPiへの単位ベクトルに更新する。
その後、ステップSD11では、ステップSD9で求めた点Piを中心に、進行ベクトルと平行にセグメントを形成する。ステップSD12では、ステップSD11で形成したセグメントを縮退することによって2値化し、エッジ情報を得て、このエッジ情報からエッジ位置を求める。ステップSD13では、ステップSD12で求まったエッジ位置をPiと置く。ステップSD14では、進行ベクトルをPi−1からPiへの単位ベクトルに更新する。ステップSD15では、i=i+1とする。その後、ステップSD5に進む。
つまり、順次設定されるサーチ領域に対してエッジ検出処理を繰り返し実行することで、図45Aに示すように、複数のエッジ位置(この例では点P0〜P10)を求めることができる。複数のエッジ位置を求めた後、エッジ連結部505が、エッジ位置を、求められた順(P0→P1→P2・・・P10→P0)に線で連結していくことにより、ワークWの輪郭を特定することができる。このとき、P0とP10の距離が所定距離以下であるか否かを判定し、所定距離以下ならP0とP10とを連結する方法と採用してもよい。
P10からP0に連結したときに閉領域フラグを持たせて処理を終了させることができる。P0は輪郭の始点及び終点になる。閉領域にならない輪郭の場合もある。こうして特定されたワークWの輪郭は、白及び黒以外の任意の色で検査用画面に合成された状態で表示できる。
図45Bでは、白い点(エッジ位置)によって既に輪郭が特定されていて、その後、エッジ位置としてP0〜P3を順に求めた場合を示している。P3を求めた後、既に特定されている輪郭と交差しないように処理を停止するのが好ましい。また、P3を求めた後、白い点ではなく、P0に連結して処理を終了させるようにしてもよく、これにより迷走を避けることができる。また、図45Bにおける白い点で示すエッジ位置のみで構成された閉領域としてもよい。尚、図面上の白い点は説明の便宜を図るために示しているだけであり、色や形態は任意に設定することができるが、既に求まったエッジ位置と、その後に求めたエッジ位置とは異なる色や形態で表示するのが好ましい。
図45Cでは、白い点(エッジ位置)によって既に輪郭が特定されていて、その後、エッジ位置としてP0、P1を求めた場合を示している。P1を求めた後に形成されたセグメントS1内に、既に特定されている輪郭が存在している場合には処理を停止することができる。尚、セグメントS1内に、仮にP0が存在していた場合には処理を停止させることなく、P0と連結するようにすればよい。
図46は、輪郭の曲率が小さい場合の処理方法を示す図である。図46の上に示すように、エッジ位置P1を求めた後、次のエッジ位置を求めるために、進行ベクトル方向に所定距離Lだけ離れたところにセグメントS1を形成するのであるが、このとき、輪郭の曲率が小さいと、セグメントS1の外に輪郭が位置することになり、エッジ位置を検出できない場合がある。
このように、セグメントS1内でエッジ位置を検出できなかったときには、サーチ領域設定部503は、所定距離Lを短くしてセグメントS1を再設定するように構成されている。図46の上から2番目の図に示すように、所定距離LをたとえばL/2とすることができる。エッジ検出部502は、所定距離Lを短くして再設定されたセグメントS1内でエッジ位置を検出するとともに、エッジの勾配方向を特定する。尚、所定距離をL/2にしてもセグメントS1内にエッジを検出できなかった場合には、所定距離を更に短くしてセグメントS1を形成する。
図46の上から2番目の図では、セグメントS1内の画素を投影すると、輪郭に対して斜めに投影することになるのでエッジがぼやけてしまい、正確なエッジが分かり難くなることがある。このことに対して、図46の下に示すように、エッジ検出部502は、サーチ領域設定部503で再設定されたセグメントS1内で検出されたエッジ位置を仮エッジ位置P2とし、サーチ領域設定部503は、仮エッジ位置P2と、該仮エッジ位置P2の直前に検出されたエッジ位置P1とを結ぶベクトルtと直交する方向に広がるセグメントS1’(再設定サーチ領域)を設定する。これにより、セグメントS1’内の画素を投影したときにエッジが明確になる。エッジ検出部502は、セグメントS1’内でエッジ位置を検出するとともに、当該エッジの勾配方向を特定し、検出されたエッジ位置を、上記仮エッジ位置P2と置き換えるように構成されている。
また、図47に示すような検査対象物、たとえばビードやシール剤、Oリング等では、当該検査対象物が所定の幅Cを持っており、幅方向の両側に輪郭がそれぞれある。本実施形態では、上述した方法を応用して幅方向の両側の輪郭を特定することもできる。以下、図48のフローチャートに基づいて両側の輪郭特定方法について詳細に説明する。
図48のフローチャートのステップSE1では、i=1と置く。その後、ステップSE2に進む。ステップSE2では、使用者が、表示部5に表示された検査用画像上で、検査対象物のエッジ検出の初期位置となる任意の位置をマウス7のクリック操作によって指定する。たとえば図47に示す検査用画像上(一部を示している)で、使用者が検査対象物の幅方向中心部であると認識している所にポインタ(白抜きの矢印で示す)を置き、マウス7をクリック操作する。クリックされた位置は位置受付部501によって受け付けられる。
ステップSE3では、クリックされた位置を含む所定範囲の領域S0内(図49に示す)でエッジ強度の強い座標を求め、最初のエッジ位置E0を設定する。ステップSE4では、勾配ベクトルnをたどり、対応するエッジ位置E0’を求める。エッジ位置E0’における勾配ベクトルn’の方向は勾配ベクトルnと反対になる。エッジ位置E0とエッジ位置E0’との中間位置を初期座標(制御点)P0とする。
ステップSE5では、エッジ位置E0における勾配ベクトルnと、エッジ位置E0’における勾配ベクトルn’を平均して、進行ベクトルrを算出する。ステップSE6では、図50に示すように、進行ベクトルr×L(所定距離)だけ離れた位置の座標(点Si)を求める。ステップSE7では、点Siを中心としたセグメントS1を進行ベクトルrと平行に形成する。
ステップSE8では、セグメントS1内の画素をエッジ勾配方向と直交する方向に投影(縮退)することによって一次元の画素値をエッジ情報として得て、このエッジ情報からエッジ位置Ei、Ei’を求める。ステップSE9では、エッジ位置が求まったか否か判定する。ステップSE9でNOと判定された場合にはステップSE17、18を経てステップSE6に戻る。複数回試してもエッジ位置が求まらなかった場合には処理を終了する。
一方、ステップSE9でYESと判定されてエッジ位置Ei、Ei’が求まった場合には、ステップSE10に進み、エッジ位置Ei、Ei’の中間位置をPiと置く。ステップSE11では、進行ベクトルをPi−1からPiへの単位ベクトルに更新する。その後、ステップSE12では、ステップSE10で求めた点Piを中心に、進行ベクトルと平行にセグメントを形成する。ステップSE13では、ステップSE12で形成したセグメントを縮退することによって2値化し、エッジ情報を得て、このエッジ情報からエッジ位置を求める。ステップSE14では、ステップSE13で求まったエッジ位置をPiと置く。ステップSE15では、進行ベクトルをPi−1からPiへの単位ベクトルに更新する。ステップSE16では、i=i+1とする。その後、ステップSE6に進む。従って、順次設定されるサーチ領域に対してエッジ検出処理を検査対象物の幅方向両側で繰り返し実行することで、両側のエッジ位置をそれぞれ複数求めることができる。エッジ位置を求めた後、エッジ連結部505が、エッジ位置を線で連結していくことにより、両側の輪郭を特定することができる。
エッジの生成は、画像検査装置1の設定時に行うことができ、生成したエッジを基準モデル線として記憶装置10に記憶させておくことができる。画像検査装置1の設定後、画像検査装置1の運用時には、検査対象物を撮像して検査用画像を得て、検査用画像の検査対象物の位置補正等を行った後、検査用画像上の検査対象物のエッジを検出し、検出したエッジと上記基準モデル線とを比較して差が所定以上である場合に欠陥部であると特定することができる。これは検査部4aが実行できる。
(実施形態の作用効果)
この実施形態3によれば、使用者が表示部5に表示された検査用画像上で、ワークWのエッジまたはその近傍位置を指定すると、サーチ領域の設定、サーチ領域内におけるしきい値の設定、サーチ領域内でのエッジ位置の検出が繰り返し行われてワークWの輪郭に沿って複数のエッジ位置を順次得ることができ、得られたエッジ位置を連結してワークWの輪郭を自動的に特定することができる。よって、簡単な操作であっても高精度に輪郭を特定することができ、検査精度を向上させることができる。
(実施形態4)
図51は、本発明の実施形態4に係る画像検査装置1のブロック図である。この実施形態4は、画像検査装置1がエッジ生成部300を備えている点で実施形態1と異なっているが、他の部分は実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符合を付して説明を省略し、異なる部分いついて詳細に説明する。
この実施形態3によれば、使用者が表示部5に表示された検査用画像上で、ワークWのエッジまたはその近傍位置を指定すると、サーチ領域の設定、サーチ領域内におけるしきい値の設定、サーチ領域内でのエッジ位置の検出が繰り返し行われてワークWの輪郭に沿って複数のエッジ位置を順次得ることができ、得られたエッジ位置を連結してワークWの輪郭を自動的に特定することができる。よって、簡単な操作であっても高精度に輪郭を特定することができ、検査精度を向上させることができる。
(実施形態4)
図51は、本発明の実施形態4に係る画像検査装置1のブロック図である。この実施形態4は、画像検査装置1がエッジ生成部300を備えている点で実施形態1と異なっているが、他の部分は実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符合を付して説明を省略し、異なる部分いついて詳細に説明する。
エッジ生成部300は、表示部5に表示された検査用画像上の異なる位置に複数のエッジ検出領域を設定するためのエッジ検出領域設定部301と、各エッジ検出領域内で複数のエッジ点を検出し、隣接するエッジ点同士を連結することにより、検査対象物の輪郭の一部を構成する輪郭セグメントをエッジ検出領域ごとに形成する輪郭セグメント形成部302と、輪郭セグメント形成部302で形成された一の輪郭セグメントの端部と、該端部と最も近い他の輪郭セグメントの端部とを連結する連結処理を実行し、当該連結処理を輪郭セグメントの開放端が無くなるまで繰り返して閉領域を形成する閉領域形成部303とを備えている。
すなわち、図52の上側はワークWを撮像した検査用画像を示しており、使用者は、検査用画像を見ながら図52の中央に示すように、検査用画像上の異なる位置にエッジ検出領域F1、F2を設定する。エッジ検出領域F1、F2は、たとえば使用者によるマウス7やキーボード6の入力操作によってワークWにおける所望部分を囲むことによって形成することができ、この操作によって囲まれた部分を、エッジ検出領域設定部301がエッジ検出領域F1、F2として設定する。
エッジ検出領域F1内では、図52の中央の図の一部を拡大して示すように、エッジ点P1、P2、P3、…を検出する。エッジ点は従来から周知の方法で検出することもできるし、実施形態3のような方法で検出することもできる。隣接するエッジ点(たとえばP1とP2)同士を連結することにより、ワークWの輪郭の一部を構成する輪郭セグメントK1が形成される。エッジ検出領域F2内においても同様に輪郭セグメントK2が形成される。これは輪郭セグメント形成部302で行う。
尚、輪郭セグメントは使用者がマウス7等の入力装置を使用して指定することによって形成してもよい。この場合、使用者が表示部5に表示された検査用画像を見ながら、マウス7の操作によって輪郭セグメントの始点と終点とを少なくとも指定する。使用者による始点及び終点の指定を受けた輪郭セグメント形成部302は、始点と終点とを結ぶ直線を輪郭セグメントとする。この場合、使用者は始点と終点の間の中間点を追加で指定するようにしてもよい。また、輪郭セグメントは直線に限られるものではなく、マウス7等の操作によって曲線に形成することもできる。
閉領域形成部303は、図52の下側に示すように、輪郭セグメントK1の端部K1aと、該端部K1aに最も近い輪郭セグメントK2の端部K2aとを直線からなる連結線L1によって連結する。また、輪郭セグメントK1の端部K1bと、該端部K1bに最も近い輪郭セグメントK2の端部K2bとを直線からなる連結線L2によって連結する。これにより、輪郭セグメントK1、K2の開放端が無くなって閉領域Mが形成される。この閉領域Mが検査対象領域となり、検査部4aが欠陥検査を実行する領域になる。
連結処理を行う対象となっている輪郭セグメントK1の端部K1aと輪郭セグメントK2の端部K2aとの離間距離は、隣合うエッジ点同士(たとえばP1とP2)の間隔よりも長く設定されている。これにより、輪郭セグメントK1の端部K1aと、輪郭セグメントK2の端部K2aとがエッジ点であると誤って認識されにくくなる。
また、図53に示すようなワークWで当該ワークWの略全体を検査対象領域としたい場合には、同図の上側に示すように、ワークWの周縁部を囲むようにしてエッジ検出領域F1〜F6を形成する。エッジ検出領域F1〜F6には輪郭セグメントK1〜K6が形成される。
輪郭セグメントK1〜K6の形成後、同図の下側に示すように、輪郭セグメントK1〜K6の端部が、連結線L1〜L6で連結されて閉領域Mが形成される。この例では、ワークWの角部を外すように閉領域Mを形成することができるので、たとえばワークWの角部の面取り加工部やR加工部を外した検査対象領域を形成できる。
図52に示す場合及び図53に示す場合の両方で、輪郭セグメントを連結する際には、全てのエッジ検出領域が形成されてから連結するようにしてもよいし、エッジ検出領域が形成された順に連結するようにしてもよい。また、輪郭セグメントを連結する際には、既に連結されている端部に対しては、連結処理を行うことができないようにすることもできる。また、互いに交差する関係にある輪郭セグメント同士を連結できないようにすることもできる。さらに、連結線が最も短くなるような連結処理を行うこともできる。さらにまた、連結する端部を使用者が手動で選択可能にして変更できるように構成してもよい。
輪郭セグメントを連結する際の連結線が所定長さ以上になると連結処理を行うことができないようにすることもできる。この場合、輪郭セグメントが閉領域を構成しないことになる。連結線の長さが所定長さ以上になるということは、2つの輪郭セグメント間が大きく離れているということであり、この場合に連結処理を行わないことで、誤った連結処理が行われてしまうのを回避できる。尚、連結する端部を使用者が手動で選択可能にした場合には、連結線の長さが所定長さを超えていても連結可能するのが好ましい。
また、連結線は直線に限られるものではなく、たとえば二次曲線、三次曲線等、特にペジエ曲線、スプライン曲線等の曲線とすることもできる。これにより、輪郭セグメントの端部を滑らかに連結することができる。また、連結線は、曲線と直線との組み合わせであってもよい。また、一の輪郭セグメントと他の輪郭セグメントとを、一の輪郭セグメントの端部の接線ベクトルと共通の接線ベクトルを持つ曲線によって連結することもできる。
図54は、1つのワークWを2回に分けて撮像した場合について説明するための図である。撮像部3が、ワークWの撮像境界線R1よりも上側の部分を撮像して上側部分検査用画像(第1部分検査用画像)を得るとともに、ワークWの撮像境界線R2よりも下側の部分を撮像して下側部分検査用画像(第2部分検査用画像)を得る。従って、ワークWにおける撮像境界線R1と撮像境界線R2との間の所定の範囲が、上側部分検査用画像及び下側部分検査用画像の両方の撮像範囲に含まれる重複部分になる。尚、ワークWの撮像範囲の設定は上記した例に限られるものではなく、左右方向に分割する撮像形態であってもよいし、3つ以上に分割する撮像形態であってもよい。
この場合、図54の左側に示すように、上側部分検査用画像でエッジ検出領域F1〜F6を形成する。このとき、上側部分検査用画像では、撮像境界線R1に接するまでワークWが存在しているが、エッジ検出領域F1、F3、F4、F6の下端部を撮像境界線R1に接するぎりぎりまで延ばす操作を上側部分検査用画像上で行うのは難しいので、使用者がエッジ検出領域F1、F3、F4、F6の下端部を延ばす操作を行う際、撮像境界線R1に接する手前のところで止めてしまうことが考えられる。
このことに対して、本実施形態では、上側部分検査用画像における下側部分検査用画像との重複部分に、エッジ検出領域F1、F3、F4、F6の下端部が達していて、輪郭セグメントK1、K3、K4、K6の端部が上記重複部分に位置している場合には、輪郭セグメントK1の下端部と輪郭セグメントK4の下端部とを連結線L1で連結し、輪郭セグメントK3の下端部と輪郭セグメントK6の下端部とを連結線L2で連結する。これにより、閉領域Mを形成することができる。図54の右側に示すように、下側部分検査用画像においても同様に処理することができる。
つまり、一の部分検査用画像(上側部分検査用画像)における他の部分検査用画像(下側部分検査用画像)との重複部分に、複数の輪郭セグメント(K1、K3、K4、K6)の端部が位置していると、当該輪郭セグメントの端部にエッジ検出領域が無くても、輪郭セグメントの端部同士を連結線で連結する処理を自動で行うことができる。
その後、閉領域M以外の部分を黒くして非検査対象領域とする一方、閉領域M(斜線領域)を白くして検査対象領域とする。下側部分検査用画像においても同様に非検査対象領域と検査対象領域を設定できる。これにより、ワークWを分けて撮像した場合であっても簡単な操作でもって検査したい範囲の全てを検査対象とすることができる。
(実施形態の作用効果)
この実施形態4によれば、使用者が複数のエッジ検出領域を設定すると、各エッジ検出領域内で複数のエッジ点を検出してエッジ点同士を連結して複数の輪郭セグメントを形成することができ、これら輪郭セグメントの端部同士を連結して閉領域を形成し、この閉領域を検査対象領域としてワークWの欠陥検査を実行することができる。
この実施形態4によれば、使用者が複数のエッジ検出領域を設定すると、各エッジ検出領域内で複数のエッジ点を検出してエッジ点同士を連結して複数の輪郭セグメントを形成することができ、これら輪郭セグメントの端部同士を連結して閉領域を形成し、この閉領域を検査対象領域としてワークWの欠陥検査を実行することができる。
(その他の実施形態)
本発明は上記実施形態1〜4の形態に限定されるものではない。例えば、図55に示す変形例1のように、画像検査装置1の構成としては、撮像部3に画像生成部42を組み込むことができる。これにより、デフレクトメトリ処理による検査用画像の作成までは撮像部3で行い、その他の処理を制御ユニット4で行う。つまり、撮像部3に画像処理機能を持たせたスマートカメラにすることもできる。
本発明は上記実施形態1〜4の形態に限定されるものではない。例えば、図55に示す変形例1のように、画像検査装置1の構成としては、撮像部3に画像生成部42を組み込むことができる。これにより、デフレクトメトリ処理による検査用画像の作成までは撮像部3で行い、その他の処理を制御ユニット4で行う。つまり、撮像部3に画像処理機能を持たせたスマートカメラにすることもできる。
また、図56に示す変形例2のように、パターン光照明部2と撮像部3が一体で、制御ユニット4を別体にすることもできる。この場合、パターン光照明部2に撮像部3を内蔵させることもできるし、撮像部3にパターン光照明部2を内蔵することもできる。
また、図57に示す変形例3のように、撮像部3及び制御ユニット4の全てを一体にして、撮像部3に制御ユニット4が組み込まれた構成とすることもできる。
また、パターン光照明部2、撮像部3及び制御ユニット4の全てを一体にすることもできる。
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
以上説明したように、本発明に係る画像検査装置は、各種検査対象物を撮像した画像を用いて検査対象物の欠陥を検査する場合に使用することができる。
1 画像検査装置
2 パターン光照明部
3 撮像部
3a 受光素子
5 表示部
9 情報取得部
10 記憶装置
31 ラインカメラ
41 制御部
42 画像生成部
46 操作受付部
47 表示制御部
48 位置指定受付部
49 設定部
58e 表示画像選択用プルダウンメニュー(画像選択受付部)
W 検査対象物(ワーク)
2 パターン光照明部
3 撮像部
3a 受光素子
5 表示部
9 情報取得部
10 記憶装置
31 ラインカメラ
41 制御部
42 画像生成部
46 操作受付部
47 表示制御部
48 位置指定受付部
49 設定部
58e 表示画像選択用プルダウンメニュー(画像選択受付部)
W 検査対象物(ワーク)
Claims (8)
- 検査対象物を撮像した画像を用いて検査対象物の欠陥を検査する画像検査装置において、
異なる照明態様で照明された検査対象物を撮像して得られた複数の輝度画像に基づいて、検査対象物の表面の反射状態を示す検査用画像と、検査対象物の形状を示す検査用画像とを少なくとも生成する画像生成部と、
上記画像生成部で生成された検査対象物の表面の反射状態を示す検査用画像と、形状を示す検査用画像を同時に表示可能な表示部と、
上記表示部に表示された検査用画像のうち、一の検査用画像の一部の領域を指定して拡大する拡大操作を受け付け可能な操作受付部と、
上記表示部に表示された他の検査用画像において上記一の検査用画像で指定された領域に対応する領域を、上記拡大操作に連動して同倍率で拡大して上記表示部に表示させる表示制御部と、
上記表示部に検査対象物の同領域が拡大表示された各検査用画像に対して、当該各検査用画像における検査対象物の非欠陥部または欠陥部の位置の指定を受け付け可能な位置指定受付部と、
上記位置指定受付部により受け付けた非欠陥部または欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を上記複数の検査用画像に対して設定する設定部とを備えていることを特徴とする画像検査装置。 - 請求項1に記載の画像検査装置において、
上記操作受付部は、上記表示部に表示された検査用画像のうち、一の検査用画像を縮小する縮小操作を受け付け可能に構成され、
上記表示制御部は、上記表示部に表示された他の検査用画像を、上記縮小操作に連動して同倍率で縮小して上記表示部に表示させるように構成されていることを特徴とする画像検査装置。 - 請求項1または2に記載の画像検査装置において、
上記操作受付部は、上記表示部に表示された検査用画像のうち、一の検査用画像をスクロールするスクロール操作を受け付け可能に構成され、
上記表示制御部は、上記表示部に表示された他の検査用画像を、上記スクロール操作に連動してスクロールさせるように構成されていることを特徴とする画像検査装置。 - 請求項1から3のいずれか1つに記載の画像検査装置において、
上記画像生成部は、上記設定部により上記複数の検査用画像に対して設定された非欠陥部とすべき画素値範囲の全てに含まれる領域を非欠陥領域とし、非欠陥部とすべき画素値範囲のいずれかの範囲に含まれない領域を欠陥領域とした合成欠陥画像を生成するように構成され、
上記表示部は、上記画像生成部で生成された上記合成欠陥画像を表示するように構成され、
上記表示制御部は、上記表示部に表示された上記合成欠陥画像において上記一の検査用画像で指定された領域に対応する領域を、上記拡大操作に連動して同倍率で拡大して上記表示部に表示させるように構成されていることを特徴とする画像検査装置。 - 請求項2に記載の画像検査装置において、
上記画像生成部は、上記設定部により上記複数の検査用画像に対して設定された非欠陥部とすべき画素値範囲の全てに含まれる領域を非欠陥領域とし、非欠陥部とすべき画素値範囲のいずれかの範囲に含まれない領域を欠陥領域とした合成欠陥画像を生成するように構成され、
上記表示部は、上記画像生成部で生成された上記合成欠陥画像を表示するように構成され、
上記表示制御部は、上記表示部に表示された上記合成欠陥画像において上記一の検査用画像で指定された領域に対応する領域を、上記縮小操作に連動して同倍率で縮小して上記表示部に表示させるように構成されていることを特徴とする画像検査装置。 - 請求項3に記載の画像検査装置において、
上記画像生成部は、上記設定部により上記複数の検査用画像に対して設定された非欠陥部とすべき画素値範囲の全てに含まれる領域を非欠陥領域とし、非欠陥部とすべき画素値範囲のいずれかの範囲に含まれない領域を欠陥領域とした合成欠陥画像を生成するように構成され、
上記表示部は、上記画像生成部で生成された上記合成欠陥画像を表示するように構成され、
上記表示制御部は、上記表示部に表示された上記合成欠陥画像を、上記スクロール操作に連動してスクロールさせるように構成されていることを特徴とする画像検査装置。 - 請求項1から6のいずれか1つに記載の画像検査装置において、
上記画像生成部は、反射光に含まれる拡散成分から得られる拡散成分画像と、反射光に含まれる正反射成分から得られる正反射成分画像と、反射光に含まれる位相成分から得られる形状画像とを検査用画像として生成し、
上記表示部は、上記拡散成分画像と上記正反射成分画像と上記形状画像とを同時に表示可能に構成されていることを特徴とする画像検査装置。 - 請求項4〜6のいずれか1つに記載の画像検査装置において、
上記画像生成部により生成された上記複数の検査用画像のなかから、上記合成欠陥画像を生成するための検査用画像の選択を受け付ける画像選択受付部を備え、
上記画像生成部は、上記画像選択受付部により選択された検査用画像を使用して上記合成欠陥画像を生成するように構成されていることを特徴とする画像検査装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017107360A JP2018204996A (ja) | 2017-05-31 | 2017-05-31 | 画像検査装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017107360A JP2018204996A (ja) | 2017-05-31 | 2017-05-31 | 画像検査装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018204996A true JP2018204996A (ja) | 2018-12-27 |
Family
ID=64956966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017107360A Pending JP2018204996A (ja) | 2017-05-31 | 2017-05-31 | 画像検査装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018204996A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102258670B1 (ko) * | 2020-02-14 | 2021-05-31 | 주식회사 골프존 | 골프공에 대한 크랙 판별장치 및 방법 |
-
2017
- 2017-05-31 JP JP2017107360A patent/JP2018204996A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102258670B1 (ko) * | 2020-02-14 | 2021-05-31 | 주식회사 골프존 | 골프공에 대한 크랙 판별장치 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6917781B2 (ja) | 画像検査装置 | |
JP6967373B2 (ja) | 画像検査装置 | |
JP7188870B2 (ja) | 画像検査装置 | |
JP6917780B2 (ja) | 画像検査装置 | |
JP6745173B2 (ja) | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
KR100777547B1 (ko) | 결함 검사 방법 및 그 방법을 이용한 결함 검사 장치 | |
JP6259422B2 (ja) | マルチモード・イメージング | |
JP2021177186A (ja) | 三次元画像処理装置及び三次元画像処理方法 | |
JP7222796B2 (ja) | 画像検査システム及び画像検査方法 | |
JP2017122614A (ja) | 画像生成方法及び検査装置 | |
TW201428279A (zh) | 外觀檢查裝置,及外觀檢查方法 | |
JP2018205000A (ja) | 画像検査装置 | |
JP2018205001A (ja) | 画像検査装置 | |
JP2018204995A (ja) | 画像検査装置 | |
JP2020169961A (ja) | 画像検査システム及び画像検査方法 | |
TW201428278A (zh) | 外觀檢查裝置,及外觀檢查方法 | |
JP7342616B2 (ja) | 画像処理システム、設定方法およびプログラム | |
JP2020016471A (ja) | 画像検査装置 | |
JP2018204996A (ja) | 画像検査装置 | |
JP2018204999A (ja) | 画像検査装置 | |
JP7402745B2 (ja) | 撮像装置及び画像検査システム | |
JP7231461B2 (ja) | 画像検査システム及び画像検査方法 | |
JP2020169950A (ja) | 画像検査システム | |
JP7474636B2 (ja) | 画像検査システム | |
JP2020016948A (ja) | 画像検査装置 |