JP6864549B2 - 画像検査装置 - Google Patents
画像検査装置 Download PDFInfo
- Publication number
- JP6864549B2 JP6864549B2 JP2017093357A JP2017093357A JP6864549B2 JP 6864549 B2 JP6864549 B2 JP 6864549B2 JP 2017093357 A JP2017093357 A JP 2017093357A JP 2017093357 A JP2017093357 A JP 2017093357A JP 6864549 B2 JP6864549 B2 JP 6864549B2
- Authority
- JP
- Japan
- Prior art keywords
- lighting
- color
- image
- unit
- colors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 230
- 239000003086 colorant Substances 0.000 claims description 232
- 238000000926 separation method Methods 0.000 claims description 155
- 238000005286 illumination Methods 0.000 claims description 115
- 230000003595 spectral effect Effects 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 23
- 238000009826 distribution Methods 0.000 claims description 16
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 79
- 238000000701 chemical imaging Methods 0.000 description 46
- 238000003860 storage Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 19
- 239000000758 substrate Substances 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001678 irradiating effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241000238557 Decapoda Species 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/845—Objects on a conveyor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8845—Multiple wavelengths of illumination or detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/044—Picture signal generators using solid-state devices having a single pick-up sensor using sequential colour illumination
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Human Computer Interaction (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
互いに異なる点灯色の照明光を発生する複数の発光素子を有し、各点灯色の照明光を個別に対象物に照射する照明部と、
各点灯色の照明光ごとに前記対象物からの反射光を受光して前記対象物の分光画像を生成する撮像部と、
前記照明部を制御することで各点灯色の照明光を順次に対象物に照射させるとともに、前記撮像部を制御して複数の分光画像を生成させる制御部と、
前記対象物についての前記複数の分光画像に基づく当該対象物の画像を表示する表示部と、
前記表示部に表示された前記対象物の画像において前景領域および背景領域の指定を受け付ける領域受付部と、
前記前景領域における画素の色情報に基づいて前景色の色情報を特定し、前記背景領域における画素の色情報に基づいて背景色の色情報を特定する特定部と、
複数の点灯色のうち検査対象物を照明するために推奨される点灯色の組み合わせのそれぞれについて、前記前景色の色情報と前記背景色の色情報との間の分離度を算出し、当該分離度に基づいて推奨される点灯色の組み合わせを設定する設定部と、
前記設定部により設定された前記組み合わせにしたがった点灯色の照明光により照明された検査対象物について生成された検査画像において検査領域内を検査する検査部と
を有することを特徴とする。
図2(A)は照明装置3の斜視図である。図2(B)は照明装置3の上面図である。図2(C)は照明装置3の底面図である。図2(D)は照明装置3の側面図である。照明装置3の筐体は上ケース21と下ケース22を有している。下ケース22の下部には複数の光源(LEDなどの発光素子)のそれぞれが出力する光を拡散させる光拡散部材23が配置されている。図2(A)や図2(C)が示すように上ケース21や下ケース22と同様に光拡散部材23も円環状を成している。図2(B)や図2(D)が示すように上ケース21の上面にはコネクタ24が設けられている。コネクタ24には照明装置3に格納されている照明制御基板と画像処理装置5とが通信するためのケーブルが接続される。
図4は照明装置3の回路構成の一例を示している。この例では光源群を構成する四つの照明ブロックのうち一つの照明ブロックを示しており、各照明ブロックは同一波長のLEDが4つ(LED33a〜LED33d)設けられている。四つのLED33a〜LED33dは直列に接続されている。異なる波長のLEDが同様に直列接続されたものが、図4の回路構成と並列に接続されているが、図4からは省略してある。電圧が可変の可変電源41は照明制御基板40によって指定される電圧値(例:2V〜20V)の電圧を生成して出力する。可変定電流源42は、照明制御基板40によって指定される電流値(例:0A〜1A)となるように照明ブロックに流れる電流を調整する。このような電流制御方式を採用することでリニアリティの高い調光を実現しやすくなる。また、可変定電流源42は、可変定電流源42に印加されている電圧の値を検出して照明制御基板40にフィードバックし、過電圧から可変定電流源42を保護している。LED33a〜LED33dのそれぞれには並列にスイッチ43a〜スイッチ43dが接続されている。照明制御基板40の点灯制御部45はこれらのスイッチ43a〜スイッチ43dを個別に開閉させることで、LED33a〜LED33dのそれぞれを個別に点灯と非点灯とを切り替えることができる。このように、LED33a〜LED33dのそれぞれに並列にスイッチ43a〜スイッチ43dを接続することで、LED33a〜LED33dのいずれか一つを点灯させたり、すべてを点灯させたりするといった個別点灯が可能となる。これは様々な点灯パターンを実現するのに役立っている。なお、点灯制御部45は可変定電流源42とグランドとの間に挿入されたメインスイッチ43eのオン/オフを切り替えることで一つの照明ブロック単位での点灯制御を実行する。通信部44は点灯パターンを指示する制御信号や点灯の開始を指示するトリガー信号を画像処理装置5の照明制御部から受信し、点灯制御部45に渡す。点灯制御部45は、制御信号に対応する点灯パターンデータ47を記憶部46から読み出し、点灯パターンデータ47に従ってスイッチ43a〜スイッチ43dを制御する。なお、一つの照明ブロックが8つのLED33により構成される場合、8個のスイッチ43が設けられ、8個のスイッチ43は点灯制御部45によって制御される。8つのLED33は、たとえば、UVからIR2までの8つの波長に対応している。UVは紫外線波長の照明光により取得された分光画像を示している。Bは青波長の照明光により取得された分光画像を示している。Gは緑波長の照明光により取得された分光画像を示している。AMはアンバー波長の照明光により取得された分光画像を示している。ORはオレンジ波長の照明光により取得された分光画像を示している。Rは赤波長の照明光により取得された分光画像を示している。IR1、IR2はそれぞれ赤外波長の照明光により取得された分光画像を示している。ただし、IR1の波長はIR2の波長よりも短い。
図5は検査装置のブロック図である。この例では照明装置3、カメラ4および画像処理装置5がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置3は、マルチスペクトルイメージングを実現する照明装置であるが、フォトメトリックステレオ法に従って検査対象物を照明する照明手段として利用されてもよい。照明装置3は光源群501とこれを制御する照明制御基板40を備えている。すでに図3に示したように、複数の発光素子で一つの照明ブロックが構成され、さらに複数の照明ブロックによって光源群501が構成されていてもよい。照明ブロックの数は一般的には四つであるが、三つ以上であればよい。これは3方向以上の照明方向からワーク2に照明光を照射できれば、フォトメトリックステレオ法により検査画像を生成できるからである。各照明ブロックにはそれぞれ点灯色が異なる照明光を出力する複数の発光素子(LED33)が設けられている。複数の発光素子には白色LEDが含まれていてもよい。白色LEDはマルチスペクトルイメージングには使用されず、他の検査画像を作成したり、ワーク2の移動補正用の画像を作成するために使用されたりする。図1や図3に示したように照明装置3の外形はリング状をしていてもよい。また、照明装置3は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。照明制御基板40は、画像処理装置5から受信した制御コマンドに応じて光源群501の点灯タイミングや照明パターン(点灯パターン)を制御する。マルチスペクトルイメージングで分光画像を取得するには択一的に選択された点灯色の照明光をワーク2に照射するが、マルチスペクトルイメージング以外の手法が採用される場合は、複数の点灯色の照明光が同時に照射されてもよい。照明制御基板40は照明装置3に内蔵されているものとして説明するが、カメラ4に内蔵されていてもよいし、画像処理装置5に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。
マルチスペクトルイメージングでは波長(点灯色)の異なる照明光が一つずつ順番にワーク2に照射され、各点灯色ごとの画像が取得される。たとえば、8種類の点灯色の照明光が照射される場合、8個の画像(分光画像)が取得される。なお、四つの照明ブロックが存在する場合、四つの照明ブロックは同時に点灯する。つまり、同一の点灯色の四つのLED33が同時に点灯するため、四つの方向から同一点灯色の照明光がワーク2に照射される。8種類の点灯色は、たとえば、紫外点灯色から近赤外点灯色までの8種類の狭帯域波長の点灯色である。狭帯域波長とは、白色LEDが発光する光の波長(広帯域波長)の幅と比較して狭い波長をいう。たとえば、青色LEDが発光する光の波長幅は、白色LEDが発光する光の波長幅よりもずっと狭いため、青色LEDが発光する光の波長は狭帯域波長である。なお、画像検査の中には8個の分光画像のすべてを必要としない画像検査もありうる。この場合、必要な点灯色の照明光だけがワーク2に照射される。一般に、8個の画像がそのまま画像検査に利用されることは少なく、8個の画像から一個のグレー画像が作成され(カラー濃淡変換)、このグレー画像(カラー濃淡画像)が画像検査に利用される。カラー濃淡変換はカラーグレー変換と呼ばれることもある。たとえば、カラー濃淡画像に対して二値化処理が実行されたり、エッジ検出処理が実行されたり、ブロブ処理が実行されたりして、ワーク2における特徴(例:ピン)の位置や寸法(長さや面積)、色がそれぞれ公差の範囲内に収まっているかが検査される。
画像検査で必要となる波長(点灯色)はワーク2に依存する。より詳しくは、ワーク2の表面のうちどの特徴部分を検査するかに必要となる点灯色は依存する。したがって、ワーク2の画像において検査対象となる特徴部分がその周囲の部分から適切に分離されるように点灯色が選択されることが望ましい。また、点灯色の数が多ければ多いほど、特徴部分が周囲部分から分離可能な検査画像が得られやすいが、画像検査に割り当て可能な時間はユーザ次第である。また、点灯色の数が多ければ多いほど、画像の取得とその処理に時間がかかる。よって、画像検査時間が、割り当て可能な時間以下となるように、点灯色数の上限が定まることになる。よって、点灯色数の上限を超えないように、ワーク2の画像検査に適した波長の組み合わせが決定される。
図7、図8、図9はUI管理部514が表示部7に表示する、点灯色選択のためのユーザインタフェースを示している。UI700は、ワーク2を照明するために必要となる照明光の波長をユーザが選択することを補助するUIである。とりわけ、図7ではUI700に推奨される点灯色の組み合わせと、これに対してユーザが点灯色を追加したり削除したりすることでカスタマイズされた設定点灯色とが表示されている。
図12は分離度の概念を説明する図である。この例ではR、Gの点灯色のうちどちらの点灯色を削減可能かが示されている。ワーク2の画像には、第一前景色F1、第二前景色F2、第一背景色B1、第二背景色B2が設定されている。なお、図12における円は各登録色の分布(色情報)を示している。この例では説明を簡明化するために、各分布は円形でかつサイズも同じになっている。
図13は推奨点灯色の組み合わせの決定処理を含む画像検査を示すフローチャートである。なお、S1301およびS1302は色情報の取得フェーズであり、S1303ないしS1307は推奨点灯色の組み合わせを決定するフェーズである。
●検査ツールの設定UI
図14は検査ツールのパラメータを設定するための設定UI1900を示している。ユーザにより設定モードが選択されると、UI管理部514は表示部7に設定UI1900を表示する。設定タブ1920はエリア検査ツールに関するパラメータを設定するためのUIである。設定タブ1930は傷検査ツールに関するパラメータを設定するためのUIである。図14においては設定タブ1920がポインタ706により選択されている。画像種類設定部1911は、画像表示領域701に表示される画像を選択するためのプルダウメニューである。プルダウメニューには、ワーク2を撮像することで生成されたグレー画像やRGB画像などが登録されている。図14においてワーク2は文字や模様を印刷されたカード(会員カードなど)である。UI管理部514の画像選択部515は、画像種類設定部1911により選択された画像を記憶装置520から読み出し、画像表示領域701に表示する。編集ボタン1912はサーチ部532によるパターンサーチの対象となる特徴fを含む領域であるパターン領域PWのサイズと位置を編集するためのボタンである。パターン領域PWにより囲まれた特徴fは登録パターンとして記憶装置520に記憶される。編集ボタン1913は特徴fをサーチする範囲(サーチ領域SW)のサイズと位置を編集するためのボタンである。領域指定部516はユーザ操作に応じてパターン領域PWやサーチ領域SWのサイズと位置を調整し、調整結果を設定情報523に保存する。複数のワーク2について画像検査を実行する場合、カメラ4により取得された複数の画像においてそれぞれのワーク2の位置と角度は一定ではない。ただし、当該画像内のある一定の領域内に特徴fが収まっていることが多い。そのため、サーチ部532は、サーチ領域SW内で、登録パターン(特徴f)をサーチすることで、登録パターンの位置と角度を求める。この位置と角度は検査領域IWの位置と角度を補正(位置補正)するために利用される。編集ボタン1914は検査領域IWのサイズと位置を編集するためのボタンである。この例ではカードに印刷された模様を囲むように検査領域IWが設定されている。これにより模様の面積が公差の範囲内かどうかが検査される。領域指定部516はユーザ操作に応じて検査領域IWのサイズと位置を調整し、調整結果を設定情報523に保存する。検査部531は、検査領域IWにおける模様の面積を算出する。公差入力部1915は判定部540による模様の面積の判定基準となる公差(閾値)の入力を受け付けるテキストボックスである。確定ボタン716は、検査ツールに関する設定を確定するためのボタンである。キャンセルボタン717は今回の設定を取り消し、直前の設定やデフォルト設定に戻すためのボタンである。点灯色選択の編集ボタン1916は、点灯色の推奨点灯色の組み合わせを編集するためのボタンである。編集ボタン1917は、前景領域と背景領域の編集ボタンである。この例では、模様の一部に前景領域RF1が設定されている。また、背景領域RB1は、カードの下地の部分に設定されている。さらに、背景領域RB2がカードの文字に設定されている。領域指定部516はユーザ操作に応じて前景領域RF1のサイズと位置を調整するとともに、背景領域RB1,RB2のサイズと位置を調整し、調整結果を設定情報523に保存する。
以上で説明したように、照明装置3は、互いに異なる点灯色の照明光を発生する複数の発光素子(光源)を有し、各点灯色の照明光を個別に対象物に照射する照明部の一例である。カメラ4は各点灯色の照明光ごとに対象物からの反射光を受光して対象物の画像(分光画像)を生成する撮像部の一例である。表示部7は対象物(設定対象物や検査対象物)の画像を表示する表示部の一例である。とりわけ、表示部7は設定対象物についての複数の分光画像に基づく設定対象物の画像を表示する表示部の一例である。プロセッサ510(MSI処理部511、照明制御部512および撮像制御部513)は照明部を制御することで各点灯色の照明光を所定の順番で個別に設定対象物に照射させるとともに、撮像部を制御することで設定対象物について複数の設定用画像を生成させる制御部の一例である。
Claims (15)
- 互いに異なる点灯色の照明光を発生する複数の発光素子を有し、各点灯色の照明光を個別に対象物に照射する照明部と、
各点灯色の照明光ごとに前記対象物からの反射光を受光して前記対象物の分光画像を生成する撮像部と、
前記照明部を制御することで各点灯色の照明光を順次に対象物に照射させるとともに、前記撮像部を制御して複数の分光画像を生成させる制御部と、
前記対象物についての前記複数の分光画像に基づく当該対象物の画像を表示する表示部と、
前記表示部に表示された前記対象物の画像において前景領域および背景領域の指定を受け付ける領域受付部と、
前記前景領域における画素の色情報に基づいて前景色の色情報を特定し、前記背景領域における画素の色情報に基づいて背景色の色情報を特定する特定部と、
複数の点灯色のうち検査対象物を照明するために推奨される点灯色の組み合わせのそれぞれについて、前記前景色の色情報と前記背景色の色情報との間の分離度を算出し、当該分離度に基づいて推奨される点灯色の組み合わせを設定する設定部と、
前記設定部により設定された前記組み合わせにしたがった点灯色の照明光により照明された検査対象物について生成された検査画像において検査領域内を検査する検査部と
を有することを特徴とする画像検査装置。 - 互いに異なる点灯色の照明光を発生する複数の発光素子を有し、各点灯色の照明光を個別に対象物に照射する照明部と、
各点灯色の照明光ごとに前記対象物からの反射光を受光して前記対象物の分光画像を生成する撮像部と、
前記照明部を制御することで各点灯色の照明光を順次に対象物に照射させるとともに、前記撮像部を制御して複数の分光画像を生成させる制御部と、
前記対象物についての前記複数の分光画像に基づく当該対象物の画像を表示する表示部と、
前記表示部に表示された前記対象物の画像において前景領域および背景領域の少なくとも一方の指定を受け付ける領域受付部と、
前記一方の領域における画素の色情報に基づいて、一方の領域の色情報を特定し、当該一方の領域の色情報とは異なる色情報を他方の領域の色情報として特定することにより、前景色の色情報と背景色の色情報を特定する特定部と、
複数の点灯色のうち検査対象物を照明するために推奨される点灯色の組み合わせのそれぞれについて、前記前景色の色情報と前記背景色の色情報との間の分離度を算出し、当該分離度に基づいて推奨される点灯色の組み合わせを設定する設定部と、
前記設定部により設定された前記組み合わせにしたがった点灯色の照明光により照明された検査対象物について生成された検査画像において検査領域内を検査する検査部と
を有することを特徴とする画像検査装置。 - 前記設定部は、
それぞれ点灯色の数が異なる複数の点灯色の組み合わせのそれぞれについて前記前景色の色情報と前記背景色の色情報との間の分離度を演算する演算部と、
前記演算部により演算された各組み合わせの分離度に基づき前記推奨される点灯色の組み合わせを決定する決定部と
を有することを特徴とする請求項1または2に記載の画像検査装置。 - 前記推奨される点灯色の組み合わせを構成する点灯色の数の指定を受け付ける点灯色数受付部をさらに有し、
前記演算部は、前記点灯色数受付部により受け付けられた点灯色の数に応じた複数の点灯色の組み合わせのそれぞれについて前記分離度を演算することを特徴とする請求項3に記載の画像検査装置。 - 前記決定部は、前記点灯色数受付部により受け付けられた数以下の点灯色からなる複数の点灯色の組み合わせのうちで、最大の分離度が得られる組み合わせを前記推奨される点灯色の組み合わせとして決定することを特徴とする請求項4に記載の画像検査装置。
- 前記分離度に関する閾値の指定を受け付ける閾値受付部をさらに有し、
前記決定部は、前記複数の点灯色の組み合わせのうちで、前記閾値を超える分離度が得られ、かつ、点灯色の数が最も少ない点灯色の組み合わせを前記推奨される点灯色の組み合わせとして決定することを特徴とする請求項3に記載の画像検査装置。 - 前記決定部は、前記複数の点灯色の組み合わせのうちで、前記閾値を超える分離度が得られた点灯色の組み合わせが存在しなければ、前記複数の点灯色の組み合わせのうちで分離度が最大となった点灯色の組み合わせを選択し、前記推奨される点灯色の組み合わせとして決定することを特徴とする請求項6に記載の画像検査装置。
- 前記表示部は、前記推奨される点灯色の組み合わせに対応した分離度を表示することを特徴とする請求項1ないし7のいずれか一項に記載の画像検査装置。
- 前記制御部は、前記推奨される点灯色の組み合わせを構成する複数の点灯色の照明光を順番にかつ個別に検査対象物に照射することで取得された複数の分光画像から前景画像と背景画像とを生成し、前記表示部は、前記前景画像と前記背景画像との差分画像を検査画像として表示することを特徴とする請求項1ないし8の何れか一項に記載の画像検査装置。
- 前記推奨される点灯色の組み合わせに対して点灯色の追加または削除を受け付ける追加削除受付部をさらに有することを特徴とする請求項1ないし9のいずれか一項に記載の画像検査装置。
- 前記領域受付部は、前記表示部に表示された対象物の画像において前景領域と背景領域との両方について指定を受け付けることを特徴とする請求項1ないし10のいずれか一項に記載の画像検査装置。
- 前記分離度は、複数の前景領域から登録された複数の前景色からなる前景グループの色情報の分布と、複数の背景領域から登録された複数の背景色からなる背景グループの色情報の分布との間のグループ間距離であることを特徴とする請求項1ないし11のいずれか一項に記載の画像検査装置。
- 前記演算部は、複数の前景色の一つと複数の背景色の一つとから構成される複数のペアのそれぞれについて分離度を演算し、前記複数のペアについての分離度のうちで最小の分離度を各点灯色の組み合わせごとの分離度に決定することを特徴とする請求項3に記載の画像検査装置。
- 前記検査部は、それぞれ異なる画像検査を実行する複数の検査ツールを有し、
前記設定部は、前記複数の検査ツールのすべてについて前記分離度を求め、各分離度のいずれもが閾値を超えるように前記推奨される点灯色の組み合わせを決定することを特徴とする請求項1または2に記載の画像検査装置。 - 前記検査部は、それぞれ異なる画像検査を実行する複数の検査ツールを有し、
前記設定部は、前記複数の検査ツールそれぞれについて前記分離度が閾値を超える最小の点灯色の数と点灯色の種類とを求め、求められた点灯色の種類の論理和を前記推奨される点灯色の組み合わせとして決定することを特徴とする請求項1または2に記載の画像検査装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017093357A JP6864549B2 (ja) | 2017-05-09 | 2017-05-09 | 画像検査装置 |
US15/925,805 US10304176B2 (en) | 2017-05-09 | 2018-03-20 | Image inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017093357A JP6864549B2 (ja) | 2017-05-09 | 2017-05-09 | 画像検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018189559A JP2018189559A (ja) | 2018-11-29 |
JP6864549B2 true JP6864549B2 (ja) | 2021-04-28 |
Family
ID=64096713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017093357A Active JP6864549B2 (ja) | 2017-05-09 | 2017-05-09 | 画像検査装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10304176B2 (ja) |
JP (1) | JP6864549B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
JP6730855B2 (ja) * | 2016-06-13 | 2020-07-29 | 株式会社キーエンス | 画像処理センサ、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6931552B2 (ja) * | 2017-05-09 | 2021-09-08 | 株式会社キーエンス | 画像検査装置 |
JP6857079B2 (ja) * | 2017-05-09 | 2021-04-14 | 株式会社キーエンス | 画像検査装置 |
JP6919982B2 (ja) * | 2017-05-09 | 2021-08-18 | 株式会社キーエンス | 画像検査装置 |
CN113474639A (zh) * | 2019-02-27 | 2021-10-01 | 京瓷株式会社 | 照明系统、照明设备和照明控制方法 |
JPWO2020241844A1 (ja) | 2019-05-31 | 2020-12-03 | ||
US11461887B2 (en) * | 2020-02-14 | 2022-10-04 | Pratt & Whitney Canada Corp. | System and method for inspecting workpieces |
EP3958036A1 (de) * | 2020-08-20 | 2022-02-23 | Carl Zeiss Microscopy GmbH | Verfahren und vorrichtung zum erzeugen eines übersichtskontrastbildes eines probenträgers in einem mikroskop |
JP7493443B2 (ja) * | 2020-12-21 | 2024-05-31 | 株式会社クボタ | 色彩選別機 |
JP2022164145A (ja) * | 2021-04-16 | 2022-10-27 | 株式会社キーエンス | 画像検査装置、画像検査装置用制御ユニット、画像検査方法、画像検査プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器 |
JP2023018822A (ja) * | 2021-07-28 | 2023-02-09 | パナソニックIpマネジメント株式会社 | 検査方法および検査装置 |
US11717973B2 (en) | 2021-07-31 | 2023-08-08 | Cognex Corporation | Machine vision system with multispectral light assembly |
DE102021004071B3 (de) * | 2021-08-06 | 2023-01-19 | Baumer Inspection Gmbh | Vorrichtung und Verfahren zum Erzeugen photometrischer Stereobilder und eines Farbbildes |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3502110B2 (ja) * | 1992-06-15 | 2004-03-02 | コニカミノルタホールディングス株式会社 | カラー画像形成装置 |
JPH08201044A (ja) * | 1995-01-31 | 1996-08-09 | Nippei Toyama Corp | 半田付け検査用画像入力装置 |
JPH09126890A (ja) | 1995-11-01 | 1997-05-16 | Toshiba Corp | 色検査装置 |
JP2001229381A (ja) * | 2000-02-15 | 2001-08-24 | Matsushita Electric Works Ltd | 画像処理検査システムおよびその方法 |
JP4165538B2 (ja) * | 2004-07-21 | 2008-10-15 | オムロン株式会社 | 部品実装検査方法および部品実装検査装置 |
JP2006038582A (ja) * | 2004-07-26 | 2006-02-09 | Dainippon Screen Mfg Co Ltd | 画像の領域分割による欠陥の検出 |
EP1893939A1 (en) * | 2005-06-17 | 2008-03-05 | Volvo Aero Corporation | A method and a device for measurement of edges |
JP2007178407A (ja) * | 2005-12-28 | 2007-07-12 | Yamatake Corp | 検査対象物の異物混入検査方法及びこれに用いる異物混入検査装置 |
JP2008014697A (ja) * | 2006-07-04 | 2008-01-24 | Nikon Corp | 表面検査装置 |
JP5039621B2 (ja) * | 2008-03-25 | 2012-10-03 | 富士フイルム株式会社 | 電子内視鏡装置 |
JP4870721B2 (ja) * | 2008-05-29 | 2012-02-08 | 日本電信電話株式会社 | 画像特徴抽出装置、画像特徴抽出方法、プログラム、及び記録媒体 |
JP4719284B2 (ja) * | 2008-10-10 | 2011-07-06 | トヨタ自動車株式会社 | 表面検査装置 |
JP2010190786A (ja) * | 2009-02-19 | 2010-09-02 | Takeda Chem Ind Ltd | 固形製剤の印字検査方法及び装置 |
JP2010213746A (ja) * | 2009-03-13 | 2010-09-30 | Fujifilm Corp | 内視鏡画像処理装置および方法ならびにプログラム |
JP5609611B2 (ja) * | 2010-03-11 | 2014-10-22 | 株式会社リコー | 分光特性取得装置、画像評価装置、及び画像形成装置 |
JP5874398B2 (ja) * | 2012-01-05 | 2016-03-02 | オムロン株式会社 | 画像検査装置の検査領域設定方法 |
JP5929238B2 (ja) * | 2012-01-27 | 2016-06-01 | オムロン株式会社 | 画像検査方法および画像検査装置 |
JP2016006408A (ja) * | 2014-05-26 | 2016-01-14 | 有限会社パパラボ | ウェアラブル着色評価装置及びウェアラブルウェアラブル着色評価方法 |
JP6280451B2 (ja) * | 2014-06-09 | 2018-02-14 | 株式会社キーエンス | 検査装置 |
US9266148B2 (en) * | 2014-06-27 | 2016-02-23 | Key Technology, Inc. | Method and apparatus for sorting |
KR20160040044A (ko) * | 2014-10-02 | 2016-04-12 | 삼성전자주식회사 | 패널 검사장치 및 검사방법 |
-
2017
- 2017-05-09 JP JP2017093357A patent/JP6864549B2/ja active Active
-
2018
- 2018-03-20 US US15/925,805 patent/US10304176B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10304176B2 (en) | 2019-05-28 |
JP2018189559A (ja) | 2018-11-29 |
US20180330490A1 (en) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6864549B2 (ja) | 画像検査装置 | |
JP6917762B2 (ja) | 画像検査装置 | |
JP6857079B2 (ja) | 画像検査装置 | |
JP6919982B2 (ja) | 画像検査装置 | |
JP7117420B2 (ja) | 画像検査装置 | |
JP6917761B2 (ja) | 画像検査装置 | |
CN110945561B (zh) | 高光谱成像分光光度计和系统 | |
JP4019397B1 (ja) | 物品検査装置 | |
KR101692115B1 (ko) | 검사 장치 및 검사 방법 | |
JP6981775B2 (ja) | 画像検査装置および画像検査方法 | |
EP2731408A1 (en) | Control apparatus and illumination apparatus | |
JP6780682B2 (ja) | 情報取得システム、制御装置及び情報取得方法 | |
JP6931552B2 (ja) | 画像検査装置 | |
JP2009193429A (ja) | 画像読取装置 | |
EP3701330B1 (en) | System and method for optical inspection of an object | |
JP2011054110A (ja) | 画像処理型測定機および画像処理測定方法 | |
JP2010190786A (ja) | 固形製剤の印字検査方法及び装置 | |
JP7015382B2 (ja) | 内視鏡システム | |
US10911731B2 (en) | Image-capturing device | |
KR20160117092A (ko) | 하이퍼스펙트럴 이미지 장치 | |
JPH10187928A (ja) | 画像処理用カラー照明装置と被測定物検出装置 | |
EP4224837B1 (en) | Ir-cut filter switch control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200326 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6864549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |