[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2019120644A - 表面検査装置、及び表面検査方法 - Google Patents

表面検査装置、及び表面検査方法 Download PDF

Info

Publication number
JP2019120644A
JP2019120644A JP2018002096A JP2018002096A JP2019120644A JP 2019120644 A JP2019120644 A JP 2019120644A JP 2018002096 A JP2018002096 A JP 2018002096A JP 2018002096 A JP2018002096 A JP 2018002096A JP 2019120644 A JP2019120644 A JP 2019120644A
Authority
JP
Japan
Prior art keywords
edge
intensity
inspection
pattern
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018002096A
Other languages
English (en)
Other versions
JP7003669B2 (ja
Inventor
仁 野澤
Jin Nozawa
仁 野澤
靖幸 久野
Yasuyuki Kuno
靖幸 久野
市川 幸男
Yukio Ichikawa
幸男 市川
戸田 昌孝
Masataka Toda
昌孝 戸田
宗広 ▲高▼山
宗広 ▲高▼山
Munehiro Takayama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2018002096A priority Critical patent/JP7003669B2/ja
Priority to US16/242,047 priority patent/US10788430B2/en
Publication of JP2019120644A publication Critical patent/JP2019120644A/ja
Application granted granted Critical
Publication of JP7003669B2 publication Critical patent/JP7003669B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/306Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces for measuring evenness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/255Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring radius of curvature
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8829Shadow projection or structured background, e.g. for deflectometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検査対象物の表面の凹凸の有無を適切に検査可能な表面検査装置を提供する。【解決手段】表面検査装置1は、複数の検査パターンPが投影された検査対象物を撮像した撮像画像についてエッジ抽出画像を生成するエッジ抽出画像生成部40と、エッジ抽出画像における第1エッジの強度と第2エッジの強度とに基づいて、第1エッジの強度及び第2エッジの強度のうちの一方に対する他方の影響度を低減するように、第1エッジの強度及び第2エッジの強度を補正する補正係数を設定する補正係数設定部50と、補正係数を用いて補正された第1エッジの強度及び第2エッジの強度に基づいて補正済エッジ抽出画像を生成する補正済エッジ抽出画像生成部70と、補正済エッジ抽出画像に基づき輝度値を積算した積算画像を生成する積算画像生成部80と、積算画像に基づいて検査対象物の表面の凹凸の有無を判定する判定部90と、を備える。【選択図】図1

Description

本発明は、検査対象物の表面の凹凸の有無を検査する表面検査装置、及び表面検査方法に関する。
一般的に、製品を製造した場合、当該製品の表面に所定の規格より大きいサイズの凹凸(製品の形状に由来しない凹凸)が存在していると不良品となり、凹凸のサイズが上記規格内に収まっている製品と仕分ける必要がある。そこで、従来、このような製品の表面の凹凸の有無を検査する技術が利用されてきた(例えば特許文献1)。
特許文献1には、被検査試料(本願「検査対象物」に相当)の表面に現れる凹凸のうねりを検査するうねり検査装置が記載されている。当該うねり検査装置は、被検査試料に対して、所定の光源パターンを照射するパターン化光源と、被検査試料に照射された光源パターンを撮像する撮像装置と、撮像装置により撮像された画素の明るさに基づき、所定の閾値に対する光源パターンの輝度の重心位置を算出する輝度重心位置算出手段と、輝度重心位置の画素と該画素の隣接画素に対して、重み付けを行う重み付け手段と、重み付けされた画素の画素値に基づき、被検査試料の表面のうねり判定を行う判定手段とを備えて構成される。
特開2002−250684号公報
特許文献1に記載の技術は、光源パターンとして縞パターンが用いられ、この縞パターンを光源から被検査試料に投影し、その縞のエッジを検出した画像の画素値を累積することで表面の欠陥を目立つようにしている。ここで、被検査試料の形状は単一面とは限らず、複数の面を有する場合もある。このような複数の面を有する被検査試料を検査する場合には、縞パターンを投影するパターン化光源の位置と被検査試料の設置角度とによっては、光源パターンが投影された被検査試料を撮像した画像において、被検査試料の一方の面に起因した影が他方の面に映り込み、その結果、複数の面同士の境界部を境に明暗が生じる可能性がある。このような画像について所定の閾値より大きい輝度値を有する画素を接続してエッジとして検出した場合、当該境界部に由来するエッジ(形状に由来するエッジ)と投影した縞パターンに由来するエッジ(表面の凹凸に由来するエッジ)とが同時に検出されることがあり、これら2つのエッジの判別を容易に行うことができない。このため、特許文献1に記載の技術は、適切に凹凸の有無を検査するにあたり改良の余地がある。
そこで、光源の位置と検査対象物の設置角度とに関わらず、検査対象物の表面の凹凸(検査対象物の形状に由来しない凹凸)の有無を適切に検査することが可能な表面検査装置、及び表面検査方法が求められる。
本発明に係る表面検査装置の特徴構成は、所定以上の明度からなる第1パターンと前記第1パターンの明度よりも暗い第2パターンとが交互に並び、前記第1パターンと前記第2パターンとが前記交互に並ぶ方向に沿って予め設定されたずれ量だけ順次ずれていく複数の検査パターンを作製する検査パターン作製部と、前記検査パターン作製部により作製された複数の前記検査パターンを表示画面に順次表示して検査対象物に投影する投影部と、前記検査パターンが投影される毎に、前記検査対象物を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像取得部により取得された複数の撮像画像の夫々についてエッジ抽出を行い、抽出されたエッジを、前記エッジと前記エッジでない部分との輝度値の差に基づいて示したエッジ抽出画像を前記撮像画像毎に生成するエッジ抽出画像生成部と、前記エッジ抽出画像における所定の第1方向に沿った第1エッジの強度と前記エッジ抽出画像における前記第1方向に直交する第2方向に沿った第2エッジの強度とに基づいて、前記第1エッジの強度及び前記第2エッジの強度のうちの一方に対する他方の影響度を低減するように、前記第1エッジの強度及び前記第2エッジの強度を補正する補正係数を設定する補正係数設定部と、前記補正係数に基づいて前記第1エッジの強度及び前記第2エッジの強度を補正する強度補正部と、前記強度補正部により補正された前記第1エッジの強度及び前記第2エッジの強度に基づいて、複数の前記エッジ抽出画像から、複数の補正済エッジ抽出画像を生成する補正済エッジ抽出画像生成部と、複数の前記補正済エッジ抽出画像に亘って前記検査対象物における同じ位置毎に前記輝度値を積算した1枚の積算画像を生成する積算画像生成部と、前記積算画像を複数の区画に区分けし、区分けされた前記区画毎の前記輝度値に基づいて前記検査対象物の表面の凹凸の有無を判定する判定部と、を備えている点にある。
このような特徴構成とすれば、第1エッジの強度及び第2エッジの強度の夫々について、補正係数による重み付けを行って、第1エッジの強度及び第2エッジの強度のうちの一方に対する他方の影響度を小さくすることができる。このような補正係数に基づき補正された第1エッジの強度及び第2エッジの強度によりエッジ検出を行うことで、検査パターンに由来するエッジ(検査対象物の輪郭を示すエッジ)が分断されていても接続することができる。また、照明位置と検査対象物の形状とに応じて生じる影に起因した輪郭と、投影している縞パターンに起因した輪郭とを区別できるので、検査パターンに基づく輪郭を検出することが可能となる。したがって、適切に検査対象物の表面の凹凸の有無を検査することができる。
また、前記補正済エッジ抽出画像生成部は、前記第1エッジの強度及び前記第2エッジの強度の合成強度に基づいて前記補正済エッジ抽出画像を生成し、前記補正係数は、前記合成強度が、前記検査対象物において検出すべき凹凸のサイズに応じたエッジの強度よりも小さくなるように設定されると好適である。
このように合成強度を補正すれば、検出すべき凹凸のサイズに起因したエッジを見落とすことが無くなる。したがって、検査対象物の表面に存在する凹凸の有無を適切に検査することが可能となる。
本発明に係る表面検査方法の特徴構成は、所定以上の明度からなる第1パターンと前記第1パターンの明度よりも暗い第2パターンとが交互に並び、前記第1パターンと前記第2パターンとが前記交互に並ぶ方向に沿って予め設定されたずれ量だけ順次ずれていく複数の検査パターンを作製する検査パターン作製ステップと、前記検査パターン作製ステップにより作製された複数の前記検査パターンを表示画面に順次表示して検査対象物に投影する投影ステップと、前記検査パターンが投影される毎に、前記検査対象物を撮像した撮像画像を取得する撮像画像取得ステップと、前記撮像画像取得ステップにより取得された複数の撮像画像の夫々についてエッジ抽出を行い、抽出されたエッジを、前記エッジと前記エッジでない部分との輝度値の差に基づいて示したエッジ抽出画像を前記撮像画像毎に生成するエッジ抽出画像生成ステップと、前記エッジ抽出画像における所定の第1方向に沿った第1エッジの強度と前記エッジ抽出画像における前記第1方向に直交する第2方向に沿った第2エッジの強度とに基づいて、前記第1エッジの強度及び前記第2エッジの強度のうちの一方に対する他方の影響度を低減するように、前記第1エッジの強度及び前記第2エッジの強度を補正する補正係数を設定する補正係数設定ステップと、前記補正係数に基づいて前記第1エッジの強度及び前記第2エッジの強度を補正する強度補正ステップと、前記強度補正ステップにより補正された前記第1エッジの強度及び前記第2エッジの強度に基づいて、複数の前記エッジ抽出画像から、複数の補正済エッジ抽出画像を生成する補正済エッジ抽出画像生成ステップと、複数の前記補正済エッジ抽出画像に亘って前記検査対象物における同じ位置毎に前記輝度値を積算した1枚の積算画像を生成する積算画像生成ステップと、前記積算画像を複数の区画に区分けし、区分けされた前記区画毎の前記輝度値に基づいて前記検査対象物の表面の凹凸の有無を判定する判定ステップと、を備えている点にある。
このような表面検査方法であっても、上述した表面検査装置と実質的に差異はなく、表面検査装置と同様の効果を奏することが可能である。
表面検査装置の構成を示す模式図である。 検査パターンを示す図である。 撮像画像の一例を示した図である。 エッジ抽出画像の一例を示した図である。 エッジの抽出概念についての説明図である。 エッジ抽出画像及び補正済エッジ抽出画像の一例を示した図である。 エッジの強度補正についての説明図である。 積算画像の一例を示した図である。 その他の実施形態に係るエッジの強度補正についての説明図である。 その他の実施形態に係るエッジの強度補正についての説明図である。
本発明に係る表面検査装置は、検査対象物の表面の凹凸の有無を適切に検査することができるように構成される。検査対象物の表面の凹凸とは、検査対象物に本来設けられている凹凸(検査対象物の形状に由来する凹凸)ではなく、検査対象物の表面に意図せず形成されてしまった凹凸(検査対象物の形状に由来しない凹凸)である。以下、本実施形態の表面検査装置1について説明する。
図1は、本実施形態の表面検査装置1の構成を模式的に示した図である。図1に示されるように、表面検査装置1は、検査パターン作製部10、投影部20、撮像画像取得部30、エッジ抽出画像生成部40、補正係数設定部50、強度補正部60、補正済エッジ抽出画像生成部70、積算画像生成部80、判定部90を備えて構成される。特に、検査パターン作製部10、エッジ抽出画像生成部40、補正係数設定部50、強度補正部60、補正済エッジ抽出画像生成部70、積算画像生成部80、判定部90の各機能部は、検査対象物の表面の凹凸の有無の検査に係る処理を行うために、CPUを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。
検査パターン作製部10は、所定以上の明度からなる第1パターンFと当該第1パターンFの明度よりも暗い第2パターンSとが交互に並ぶ検査パターンPを作製する。「所定以上の明度からなる第1パターンF」とは、後述する投影部20が有する表示画面21に検査パターンPを表示した際に、所定の明るさ以上の明るさで表示される表示物であり、例えば白色からなる表示物が相当する。一方、「第1パターンFの明度よりも暗い第2パターンS」とは、表示画面21に検査パターンPを表示した際に、第1パターンFの明るさよりも暗い明るさで表示される表示物であり、例えば黒色からなる表示物が相当する。検査パターンPは、このような第1パターンFと第2パターンSとを所定の方向に沿って交互に並べて構成される。本実施形態では、図1に示されるように第1パターンFと第2パターンSとは、表示画面21の縦方向に沿って交互に並べられる。
また、検査パターン作製部10は、第1パターンFと第2パターンSとが交互に並ぶ方向に沿って予め設定されたずれ量だけ順次ずれていく複数の検査パターンPを作製する。図2には、検査パターン作製部10により作製される複数の検査パターンPが示される。「第1パターンFと第2パターンSとが交互に並ぶ方向」とは、図2の(a)における第1パターンF、第2パターンS、第1パターンF、第2パターンSが並ぶ方向であり、具体的には表示画面21の縦方向が相当する。「ずれ量」とは、検査パターン作製部10において予め設定されており、図2の(a)に示されるように例えば1つの第1パターンFと1つの第2パターンSとからなる縦方向の長さを1周期とすると、当該1周期を4分割した縦方向の長さ(表示画面21におけるピッチ)とすると良い(画像データ上で2ドットとすると好適である)。この場合、図2の(a)〜(d)に示されるように、第1パターンFと第2パターンSとが1/4周期ずつ順次ずれていくような4枚の検査パターンPが作製される。
このような所定以上の明度からなる第1パターンFと当該第1パターンFの明度よりも暗い第2パターンSとが交互に並び、第1パターンFと第2パターンSとが交互に並ぶ方向に沿って予め設定されたずれ量だけ順次ずれていく複数の検査パターンPを作製する工程は、表面検査方法における検査パターン作製ステップと称される。
図1に戻り、投影部20は、検査パターン作製部10により作製された複数の検査パターンPを表示画面21に順次表示して検査対象物2に投影する。投影部20は、例えば液晶ディスプレイや有機ELディスプレイ等の表示部を備えて構成され、その表示画面21に検査パターン作製部10により作製された複数の検査パターンPを順次変更しながら表示する。一方、投影部20から所定距離だけ離れた位置には、検査対象物2が設置される。これにより、表示画面21に表示された検査パターンPが検査対象物2に所定の入射角度θ1で投影する(照射する)ことが可能となる。
このような検査パターン作製ステップにより作製された複数の検査パターンPを表示画面21に順次表示して検査対象物2に投影する工程は、表面検査方法における投影ステップと称される。
撮像画像取得部30は、検査パターンPが投影される毎に、検査対象物2を撮像した撮像画像を取得する。上述したように、検査パターンPは複数作製され、投影部20は複数の検査パターンPを順次変更しながら表示する。撮像画像取得部30は、検査パターンPが変更されるにしたがい、検査パターンPが投影された検査対象物2を撮像した撮像画像を取得する。図3には、撮像画像取得部30により取得された撮像画像の一例が示される。図3の(a)は、検査対象物の表面に欠陥が存在していない場合の撮像画像の一例であり、図3の(b)は、検査対象物の表面に欠陥が存在している場合の撮像画像の一例である。撮像画像取得部30は、例えばCMOSイメージセンサ、CCDイメージセンサ等の撮像デバイスを用いて構成することが可能である。なお、撮像画像取得部30は、検査対象物2に投影された検査パターンPが正反射したものを撮像した撮像画像を取得できるように構成すると良い。すなわち、反射角度θ2が入射角度θ1と等しくなるように構成すると良い。なお、θ1及びθ2は、30度程度が望ましい。
このような検査パターンPが投影される毎に、検査対象物2を撮像した撮像画像を取得する工程は、表面検査方法における撮像画像取得ステップと称される。
図1に戻り、エッジ抽出画像生成部40は、撮像画像取得部30により取得された複数の撮像画像の夫々についてエッジ抽出を行い、抽出されたエッジを、エッジとエッジでない部分との輝度値の差に基づいて示したエッジ抽出画像を撮像画像毎に生成する。図3に示されるように、撮像画像は検査パターンPの第1パターンFと第2パターンSとが検査対象物2で反射したものに相当する。エッジ抽出画像生成部40は、撮像画像取得部30により取得された複数の撮像画像の夫々について、撮像画像において第1パターンFに基づく色と第2パターンSに基づく色との境界部分に相当するエッジの抽出(検出)を行う。
撮像画像取得ステップにより取得された複数の撮像画像の夫々についてエッジ抽出を行い、抽出されたエッジを、エッジと当該エッジでない部分との輝度値の差に基づいて示したエッジ抽出画像を撮像画像毎に生成する工程は、表面検査方法におけるエッジ抽出画像生成ステップと称される。
図4には、図3の(a)及び(b)の撮像画像について、エッジ検出を行ったエッジ検出画像が示される。エッジ抽出画像においては、抽出されたエッジが強調されるように、図4に示されるようにエッジの部分が明るい色(例えば白)で示され、他の部分であるエッジでない部分がエッジの部分を示した色よりも暗い色(例えば黒色)で示される。したがって、エッジ抽出画像では、抽出されたエッジと、エッジでない部分とが、輝度値の差によって示される。エッジ抽出画像生成部40は、撮像画像取得部30により取得された撮影画像毎にエッジ抽出画像を生成する。すなわち、撮影画像がn枚ある場合には、エッジ抽出画像もn枚生成される。
このようなエッジの抽出は、例えば公知のCanny法を用いて行うことが可能である。図5は、Canny法を用いたエッジ抽出概念の説明図である。例えば、図5の(a)に示される入力画像についてエッジ抽出を行う場合には、図5の(b)に示される横方向ソーベルフィルタ及び図5の(c)に示される縦方向ソーベルフィルタが用いられる。入力画像のエッジ検出に用いられるソーベルフィルタは近傍数a(a=3,5,7,・・・2n+1)の正方行列からなる。横方向ソーベルフィルタは中央列のみ全て0のガウシアン分布であり、縦方向ソーベルフィルタは中央行のみ全て0のガウシアン分布である。aの値は入力画像に応じて適宜、選択される。横方向ソーベルフィルタを用いた場合には、図5の(d)に示されるように入力画像における横方向のエッジが検出され、図5の(e)に示されるように縦方向ソーベルフィルタを用いた場合には、入力画像における縦方向のエッジが検出される。
横方向のエッジの強度を横方向強度Ixとし、縦方向のエッジの強度を縦方向強度Iyとすると、全体の強度である合成強度Iは、下記の(1)式で示される(図5の(f)参照)。
I=Ix+Iy ・・・(1)
ここで、単に(1)式で演算された強度に基づき設定した閾値(単一の閾値)を用いてエッジ抽出を行うと、図5の(f)に示されるように、横方向のエッジと縦方向のエッジとがつながらないことがある。そこで、従来、(1)式で算定された合成強度Iを基準に2つの閾値(「High閾値」及び「Low閾値」とする)を設定し、この2つの閾値を用いてエッジの接続処理(ヒステリシス閾値処理)を行っていた。High閾値は、検出すべきエッジの強度に応じて設定された閾値であり、Low閾値は図5の(f)のように途切れてしまった輪郭を繋ぐための閾値である。なお、Low閾値は全てのエッジに利用するのではなく、High閾値で検出された線に繋がる線の検出のみに利用する閾値である。これにより、図5の(g)に示されるように、途切れてしまった輪郭を繋ぐことが可能となる。
ここで、図6にはエッジ抽出画像の一例が示される。図6の(a)は、High閾値及びLow閾値を夫々、所定の閾値に設定した場合のエッジ抽出画像である。この例では、エッジ抽出画像において検査対象物2の一部しか表示されていない(検査パターンPに基づく形状に由来するエッジ(輪郭)の全てが表示されていない)。そこで、エッジ抽出画像において検査対象物2の全体を表示すべく、上記High閾値を下げることにより、図6の(b)のようなエッジ抽出画像を取得していた。しかしながら、単にHigh閾値を下げて抽出したエッジに基づくエッジ抽出画像では、投影部20の位置と検査対象物2の設置角度によっては、図6の(b)においてTに沿った領域のように、検査対象物2の形状に起因しエッジが強調され、検査対象物2の表面の凹凸に起因したエッジであるか否かの判定が容易ではない。また、High閾値を下げるだけでは、検査対象物2の形状の全てがエッジ抽出画像に含まれるようにすることができず、図6の(b)においてUで示した領域のエッジが分断されている。このため、検査対象物2の全体に亘って凹凸の有無を検査することができなかった。
そこで、補正係数設定部50は、エッジ抽出画像における所定の第1方向に沿った第1エッジの強度とエッジ抽出画像における第1方向に直交する第2方向に沿った第2エッジの強度とに基づいて、第1エッジの強度及び第2エッジの強度のうちの一方に対する他方の影響度を低減するように、第1エッジの強度及び第2エッジの強度を補正する補正係数を設定する。「エッジ抽出画像における所定の第1方向に沿った第1エッジの強度」とは、本実施形態では上述したエッジ抽出画像における横方向のエッジが相当し、「エッジ抽出画像における第1方向に直交する第2方向に沿った第2エッジの強度」とは、本実施形態では上述したエッジ抽出画像における縦方向のエッジが相当する。「第1エッジの強度及び第2エッジの強度のうちの一方に対する他方の影響度」とは、第1エッジ及び第2エッジのうちの一方の強度により、第1エッジ及び第2エッジのうちの他方が検出し難くなっている影響の度合いをいう。このような影響度が大きいと、上述したように第1エッジ及び第2エッジの他方が検出し難くなる。
そこで、補正係数設定部50は、第1エッジの強度及び第2エッジの強度を補正する補正係数を設定する。上述したように、横方向のエッジの強度を横方向強度Ixとし、縦方向のエッジの強度を縦方向強度Iyとすると、合成強度Iは、上記(1)式で示される。補正係数設定部50は、この(1)式における横方向強度Ixと縦方向強度Iyとの夫々を補正可能な補正係数A,Bを設定する。ただし、0≦A≦1、0≦B≦1である。補正係数で補正された合成強度Iは、(2)式で示される。
I=A×Ix+B×Iy ・・・(2)
ここで、Canny法においてエッジを接続する場合には、横方向のエッジの強度と縦方向のエッジの強度との和に対してヒステリシス閾値処理を行うため、上記のように横方向のエッジ及び縦方向のエッジを補正することで、第1エッジの強度及び第2エッジの強度のうちの一方に対する他方の影響度を低減することができる。したがって、投影する検査パターンPの輪郭方向を予め設定しておくことで、形状由来の輪郭を除去し、投影した縞の輪郭のみを選択的に抽出することが可能となる。
エッジ抽出画像における所定の第1方向に沿った第1エッジの強度とエッジ抽出画像における第1方向に直交する第2方向に沿った第2エッジの強度とに基づいて、第1エッジの強度及び第2エッジの強度のうちの一方に対する他方の影響度を低減するように、第1エッジの強度及び第2エッジの強度を補正する補正係数を設定する工程は、表面検査方法における補正係数設定ステップと称される。
補正係数設定部50は、第1エッジの強度及び第2エッジの強度の合成強度が、検査対象物2において検出すべき凹凸のサイズに応じたエッジの強度よりも小さくなるように補正係数を設定すると好適である。検査対象物2において検出すべき凹凸のサイズに応じたエッジの強度は、予め例えば限度見本等に凹凸を設けておき、この限度見本に対して上述したように検査パターンPを照射し、エッジ抽出処理を行うことで特定することができる。補正係数設定部50は、このような限度見本から取得された検出すべき凹凸のサイズに応じたエッジの強度よりも、第1エッジの強度及び第2エッジの強度の合成強度が小さくなるように設定すると良い。これにより、検査対象物2の形状に起因したエッジの強度を、検出すべき凹凸に起因したエッジの強度よりも小さくすることができるので誤検出を防止することが可能となる。
強度補正部60は、補正係数に基づいて第1エッジの強度及び第2エッジの強度を補正する。図7には、補正係数設定部50により、Aを0.5とし、Bを1とした場合の例が示される。A及びBが1である時の合成強度I1から、Aを0.5、Bを1とすることにより合成強度I2に変化させることができる。強度補正部60は、補正係数設定部50により設定された補正係数(A及びB)、及び上記(2)式を用いて第1エッジの強度及び第2エッジの強度を補正する。補正係数は強度の重み付けに相当し、第1エッジ及び第2エッジのうちの少なくともいずれか一方の強度を補正することで、第1エッジの強度及び第2エッジの強度のうちの一方に対する他方の影響度を低減することが可能となる。このような合成強度I2をヒステリシス閾値処理に用いる。すなわち、このような合成強度I2に基づき、2つの閾値(High閾値及びLow閾値)を設定することで、図6の(c)においてVに沿った領域のように、検査対象物2の形状に由来したエッジの強度を低減し、図6の(c)においてWで示されるように、エッジ画像の輪郭接続を行うことが可能となる。
補正係数に基づいて前記第1エッジの強度及び前記第2エッジの強度を補正する工程は、表面検査方法における強度補正ステップと称される。
補正済エッジ抽出画像生成部70は、強度補正部60により補正された第1エッジの強度及び第2エッジの強度に基づいて、複数のエッジ抽出画像から、複数の補正済エッジ抽出画像を生成する。強度補正部60により補正された第1エッジの強度及び第2エッジの強度とは、上述した補正係数(A及びB)を用いて補正された第1エッジの強度及び第2エッジの強度である。エッジ抽出画像は、上述したエッジ抽出画像生成部40により生成される。補正済エッジ抽出画像生成部70は、エッジ抽出画像の夫々について、第1エッジ及び第2エッジの強度を補正した補正済エッジ抽出画像を生成する。すなわち、補正済エッジ抽出画像生成部70は、第1エッジの強度及び第2エッジの強度の合成強度に基づいて補正済エッジ抽出画像を生成する。「第1エッジの強度及び第2エッジの強度の合成強度に基づいて補正済エッジ抽出画像を生成する」とは、上述したように合成強度に基づき、設定した2つの閾値(High閾値及びLow閾値)を使ってエッジを検出することを意味する。
強度補正ステップにより補正された第1エッジの強度及び第2エッジの強度に基づいて、複数のエッジ抽出画像から、複数の補正済エッジ抽出画像を生成する工程は、表面検査方法における補正済エッジ抽出画像生成ステップと称される。
図1に戻り、積算画像生成部80は、複数の補正済エッジ抽出画像に亘って検査対象物2における同じ位置毎に輝度値を積算した1枚の積算画像を生成する。複数の補正済エッジ抽出画像とは、補正済エッジ抽出画像生成部70により撮影画像毎に生成されたエッジ抽出画像である。ここで、投影部20と撮像画像取得部30と検査対象物2との位置関係は、検査パターン作製部10により作製された複数の検査パターンPを検査対象物2に投影し、撮像画像取得部30が複数の検査パターンPに応じた全ての撮像画像を取得するまで変更しない。このため、「検査対象物2における同じ位置」とは、補正済エッジ抽出画像における同じ位置に相当する。
また、上述したように、補正済エッジ抽出画像では、エッジの部分が明るい色(例えば白)で示され、他の部分であるエッジでない部分がエッジの部分を示した色よりも暗い色(例えば黒色)で示される。よって、積算画像生成部80は、複数の補正済エッジ抽出画像に亘って夫々、同じ位置毎に輝度値を積算し、積算した結果を補正済ッジ抽出画像の位置に対応した位置に示した1枚の積算画像を生成する。このような積算画像の一例が、図8に示される。なお、積算画像においてムラ等によってエッジが生じず、抜けの部分が生じないように、例えばガウシアンフィルタを適用することも可能である。
このような複数の補正済エッジ抽出画像に亘って検査対象物2における同じ位置毎に輝度値を積算した1枚の積算画像を生成する工程は、表面検査方法における積算画像生成ステップと称される。
判定部90は、積算画像を複数の区画に区分けし、区分けされた区画毎の輝度値に基づいて検査対象物2の表面の凹凸の有無を判定する。積算画像を複数の区画に区分けするとは、予め定められたサイズの区画に積算画像を区分けすることをいう。本実施形態では、積算画像が格子状に区分けされる。格子状の区画のサイズは、例えば画面データ上で10×10ドットとなるような画素分解能や、検査対象物2の表面においける1mm×1mmのサイズとなるような区画とすると好適である。検査対象物2の表面に凹凸がある場合には、補正済エッジ抽出画像におけるエッジの輝度値が大きくなり、この結果、積算画像においても輝度値が大きくなる。判定部90は、輝度値が大きい区画(輝度値変化を持つ区画)が存在する場合に、その区画のサイズに基づき検査対象物2の表面に凹凸があると判定する。一方、判定部90は、輝度値が大きい区画が存在しない場合には、検査対象物2の表面に凹凸が無いと判定する。
このように積算画像を用いて検査対象物2の表面の凹凸の有無を検査することも可能であるが、積算画像の輝度値はムラがあるため、所定の閾値を用いた場合であっても正確に検査することは容易ではない。そこで、判定部90は、積算画像を複数の区画に区分けし、区分けされた区画毎の輝度値の積算値に基づいて検査対象物2の表面の凹凸の有無を判定すると好適である。
例えば、判定部90は、区画毎の輝度値の平均値に基づいて判定することが可能である。すなわち、判定部90は、区分けした区画毎に、当該区画内の輝度の平均値を算出し、算出した結果を、縦軸を上記算出した結果に相当する平均輝度とし、横軸を区画としたマップにプロットする。
判定部90は、夫々の算出した結果をプロットし、対象となる区画の平均輝度が所定の閾値よりも低い場合には、当該区画の表面には凹凸が無いと判定し、対象となる区画の平均輝度が閾値を超える場合には、当該区画の表面には凹凸が有ると判定する。なお、夫々の区画の結果(平均輝度)が閾値を超える(上回る)場合であっても、例えば全体の区画の数に対して凹凸が有ると判定された区画の数の割合が所定値以下であれば、誤検知やバラツキ等を考慮して検査対象物2の全体の評価としては「問題なし」と評価するようにしても良い。
このような積算画像を複数の区画に区分けし、区分けされた区画毎の輝度値に基づいて検査対象物2の表面の凹凸の有無を判定する工程は、表面検査方法における判定ステップと称される。
〔その他の実施形態〕
上記実施形態では、図7において四角形を用いて強度を補正する例を挙げて説明した。四角形に代えて、図9に示すような楕円を用いることも可能である。この場合、横方向と縦方向のソーベルフィルタの値を夫々計算し、その傾き角θを計算する。その角度に対する長辺Ra、短辺Rbの楕円の半径Rを強度R(図9では、R1、R2)とし、輪郭接続に用いる。このように、エッジの接続を行う際、ソーベルフィルタによって各画素の傾きθと強度Rとを抽出することでエッジ検出を行い、検出したエッジの接続を行うことが可能である。
また、図10に示すように、補正係数Aを0.5とし、Bを1とした場合に、1組の対角線が交差する点の合成強度I2を全体の強度とし、High閾値及びLow閾値を設定することも可能である。
本発明は、検査対象物の表面の凹凸の有無を検査する表面検査装置、及び表面検査方法に用いることが可能である。
1:表面検査装置
2:検査対象物
10:検査パターン作製部
20:投影部
21:表示画面
30:撮像画像取得部
40:エッジ抽出画像生成部
50:補正係数設定部
60:強度補正部
70:補正済エッジ抽出画像生成部
80:積算画像生成部
90:判定部
A:補正係数
B:補正係数
F:第1パターン
P:検査パターン
S:第2パターン

Claims (3)

  1. 所定以上の明度からなる第1パターンと前記第1パターンの明度よりも暗い第2パターンとが交互に並び、前記第1パターンと前記第2パターンとが前記交互に並ぶ方向に沿って予め設定されたずれ量だけ順次ずれていく複数の検査パターンを作製する検査パターン作製部と、
    前記検査パターン作製部により作製された複数の前記検査パターンを表示画面に順次表示して検査対象物に投影する投影部と、
    前記検査パターンが投影される毎に、前記検査対象物を撮像した撮像画像を取得する撮像画像取得部と、
    前記撮像画像取得部により取得された複数の撮像画像の夫々についてエッジ抽出を行い、抽出されたエッジを、前記エッジと前記エッジでない部分との輝度値の差に基づいて示したエッジ抽出画像を前記撮像画像毎に生成するエッジ抽出画像生成部と、
    前記エッジ抽出画像における所定の第1方向に沿った第1エッジの強度と前記エッジ抽出画像における前記第1方向に直交する第2方向に沿った第2エッジの強度とに基づいて、前記第1エッジの強度及び前記第2エッジの強度のうちの一方に対する他方の影響度を低減するように、前記第1エッジの強度及び前記第2エッジの強度を補正する補正係数を設定する補正係数設定部と、
    前記補正係数に基づいて前記第1エッジの強度及び前記第2エッジの強度を補正する強度補正部と、
    前記強度補正部により補正された前記第1エッジの強度及び前記第2エッジの強度に基づいて、複数の前記エッジ抽出画像から、複数の補正済エッジ抽出画像を生成する補正済エッジ抽出画像生成部と、
    複数の前記補正済エッジ抽出画像に亘って前記検査対象物における同じ位置毎に前記輝度値を積算した1枚の積算画像を生成する積算画像生成部と、
    前記積算画像を複数の区画に区分けし、区分けされた前記区画毎の前記輝度値に基づいて前記検査対象物の表面の凹凸の有無を判定する判定部と、
    を備える表面検査装置。
  2. 前記補正済エッジ抽出画像生成部は、前記第1エッジの強度及び前記第2エッジの強度の合成強度に基づいて前記補正済エッジ抽出画像を生成し、
    前記補正係数は、前記合成強度が、前記検査対象物において検出すべき凹凸のサイズに応じたエッジの強度よりも小さくなるように設定される請求項1に記載の表面検査装置。
  3. 所定以上の明度からなる第1パターンと前記第1パターンの明度よりも暗い第2パターンとが交互に並び、前記第1パターンと前記第2パターンとが前記交互に並ぶ方向に沿って予め設定されたずれ量だけ順次ずれていく複数の検査パターンを作製する検査パターン作製ステップと、
    前記検査パターン作製ステップにより作製された複数の前記検査パターンを表示画面に順次表示して検査対象物に投影する投影ステップと、
    前記検査パターンが投影される毎に、前記検査対象物を撮像した撮像画像を取得する撮像画像取得ステップと、
    前記撮像画像取得ステップにより取得された複数の撮像画像の夫々についてエッジ抽出を行い、抽出されたエッジを、前記エッジと前記エッジでない部分との輝度値の差に基づいて示したエッジ抽出画像を前記撮像画像毎に生成するエッジ抽出画像生成ステップと、
    前記エッジ抽出画像における所定の第1方向に沿った第1エッジの強度と前記エッジ抽出画像における前記第1方向に直交する第2方向に沿った第2エッジの強度とに基づいて、前記第1エッジの強度及び前記第2エッジの強度のうちの一方に対する他方の影響度を低減するように、前記第1エッジの強度及び前記第2エッジの強度を補正する補正係数を設定する補正係数設定ステップと、
    前記補正係数に基づいて前記第1エッジの強度及び前記第2エッジの強度を補正する強度補正ステップと、
    前記強度補正ステップにより補正された前記第1エッジの強度及び前記第2エッジの強度に基づいて、複数の前記エッジ抽出画像から、複数の補正済エッジ抽出画像を生成する補正済エッジ抽出画像生成ステップと、
    複数の前記補正済エッジ抽出画像に亘って前記検査対象物における同じ位置毎に前記輝度値を積算した1枚の積算画像を生成する積算画像生成ステップと、
    前記積算画像を複数の区画に区分けし、区分けされた前記区画毎の前記輝度値に基づいて前記検査対象物の表面の凹凸の有無を判定する判定ステップと、
    を備える表面検査方法。
JP2018002096A 2018-01-10 2018-01-10 表面検査装置、及び表面検査方法 Active JP7003669B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018002096A JP7003669B2 (ja) 2018-01-10 2018-01-10 表面検査装置、及び表面検査方法
US16/242,047 US10788430B2 (en) 2018-01-10 2019-01-08 Surface inspection apparatus and surface inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018002096A JP7003669B2 (ja) 2018-01-10 2018-01-10 表面検査装置、及び表面検査方法

Publications (2)

Publication Number Publication Date
JP2019120644A true JP2019120644A (ja) 2019-07-22
JP7003669B2 JP7003669B2 (ja) 2022-01-20

Family

ID=67140691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018002096A Active JP7003669B2 (ja) 2018-01-10 2018-01-10 表面検査装置、及び表面検査方法

Country Status (2)

Country Link
US (1) US10788430B2 (ja)
JP (1) JP7003669B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023521175A (ja) * 2020-04-09 2023-05-23 イスラ ヴィジョン ゲーエムベーハー 表面を光学的に検査するための方法及び検査デバイス

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7251426B2 (ja) * 2019-09-20 2023-04-04 株式会社デンソーテン 付着物検出装置および付着物検出方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989537A (ja) * 1995-09-22 1997-04-04 Aisin Seiki Co Ltd 表面うねり検査装置
JP2000209431A (ja) * 1999-01-18 2000-07-28 Canon Inc 輪郭線抽出方法及び記憶媒体
JP2004093146A (ja) * 2002-08-29 2004-03-25 Aisin Seiki Co Ltd 表面うねり検査装置
JP2009204473A (ja) * 2008-02-28 2009-09-10 Mitsubishi Heavy Ind Ltd 塗装状態検査装置および検査方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209430A (ja) * 1999-01-18 2000-07-28 Canon Inc 輪郭抽出装置及び方法並びに記憶媒体
JP5356728B2 (ja) * 2008-05-26 2013-12-04 株式会社トプコン エッジ抽出装置、測量機、およびプログラム
WO2010146695A1 (ja) * 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法
US8928783B2 (en) * 2011-09-26 2015-01-06 Ricoh Company, Ltd. Imaging apparatus including switchable edge extraction
TW201437925A (zh) * 2012-12-28 2014-10-01 Nec Corp 物體識別裝置、方法及電腦程式產品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989537A (ja) * 1995-09-22 1997-04-04 Aisin Seiki Co Ltd 表面うねり検査装置
JP2000209431A (ja) * 1999-01-18 2000-07-28 Canon Inc 輪郭線抽出方法及び記憶媒体
JP2004093146A (ja) * 2002-08-29 2004-03-25 Aisin Seiki Co Ltd 表面うねり検査装置
JP2009204473A (ja) * 2008-02-28 2009-09-10 Mitsubishi Heavy Ind Ltd 塗装状態検査装置および検査方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023521175A (ja) * 2020-04-09 2023-05-23 イスラ ヴィジョン ゲーエムベーハー 表面を光学的に検査するための方法及び検査デバイス

Also Published As

Publication number Publication date
US20190212275A1 (en) 2019-07-11
US10788430B2 (en) 2020-09-29
JP7003669B2 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
WO2020253827A1 (zh) 评估图像采集精度的方法及装置、电子设备和存储介质
CN113781424B (zh) 一种表面缺陷检测方法、装置及设备
JP4633245B2 (ja) 表面検査装置及び表面検査方法
TWI512284B (zh) 玻璃氣泡瑕疵檢測系統
JP5660861B2 (ja) 基板上の異物検査方法および異物検査装置
JP4150390B2 (ja) 外観検査方法及び外観検査装置
JP2009036582A (ja) 平面表示パネルの検査方法、検査装置及び検査プログラム
JP2019120644A (ja) 表面検査装置、及び表面検査方法
TWI496111B (zh) 針腳彎曲檢測方法
JP2016217989A (ja) 欠陥検査装置および欠陥検査方法
JP4108829B2 (ja) 厚み欠陥検査装置及びその検査方法
JP6114559B2 (ja) フラットパネルディスプレイの自動ムラ検出装置
JP4279833B2 (ja) 外観検査方法及び外観検査装置
JP2003329428A (ja) 表面検査装置及び表面検査方法
JP5452035B2 (ja) 欠陥検査方法および欠陥検査装置
JP4244046B2 (ja) 画像処理方法および画像処理装置
JP4403036B2 (ja) 疵検出方法及び装置
JP4520794B2 (ja) 線条検査方法および装置
JP2019045346A (ja) 検査装置
JP4367474B2 (ja) 欠陥検査装置
JP5603964B2 (ja) 平面表示パネルの検査方法、検査装置及び検査プログラム
JP2004286708A (ja) 欠陥検出装置、方法及びプログラム
JP5402182B2 (ja) 外観検査方法及び外観検査装置
JP6247191B2 (ja) 透視歪の測定装置および透視歪の測定方法
JP2005030996A (ja) 繰り返しパターンを有する基板の検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211213

R150 Certificate of patent or registration of utility model

Ref document number: 7003669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150