JP2021042992A - 外観検査システム、及び外観検査方法 - Google Patents

Abstract

【課題】複雑な形状・反射の多い表面を有する製品の検品作業における精度を向上できる外観検査システム、及び外観検査方法を提供すること。【解決手段】検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査シスは、検査対象物の画像を複数に分割することによって複数の分割画像を取得する画像処理部と、複数の検査対象物の画像を用いた学習によって生成された学習モデルを用いて、画像処理部が取得した複数の分割画像の各々を再現した画像である再現画像を複数生成し、複数の分割画像の各々と、複数の再現画像の各々とに基づいて、検査対象物の良否を判別する判別部と、判別部によって、判別された検査対象物の良否の結果を出力する出力部とを備える。【選択図】図１

Description

本発明は、外観検査システム、及び外観検査方法に関する。

チーズ等の食品は、アルミ箔などの主に樹脂を基材とした包装材料にて包装される。アルミ箔に包装されたチーズ等は、固化していない状態で、目視検査が行われ、冷却装置、乾燥装置等の固化装置に搬入される。アルミ箔に包装されたチーズ等は、その固化装置の内部で、コンベアにより搬送されつつ固化される。固化されたチーズ等は、撮像され、撮像された対象物を画像認識させることによって、検品作業が行われる。
検品作業に関して、台紙上のサンプル等の検査対象の数量の検査を好適に行う技術が知られている（例えば、特許文献１参照）。この技術では、検査システムは、検査装置、撮影装置、照明等を有し、表面に光沢があり凹凸を有する検査対象の数量の検査を行う。

特開２０１７−４１０５３号公報

目視検査では、検品対象の良否を判断する基準が、人によって異なるため、目視検査の結果にばらつきが生じる。また、目視検査では、熟練者の経験値を、他者と共有し難い。
撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、複雑な形状・反射の多い表面を有する製品などでは十分な精度が出せない。また、撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、対象物の特定面に対して正面から撮影した画像を使用していた。このため、対象物の複数の他の面を画像認識させる場合には複数の他の面の数の撮影装置と、照明装置とが必要である。
本発明は、このような事情に鑑みてなされたものであり、その目的は、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる外観検査システム、及び外観検査方法を提供することである。

（１）本発明の一態様は、検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムであって、前記検査対象物の前記画像を複数に分割することによって複数の分割画像を取得する画像処理部と、複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記画像処理部が取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別する判別部と、前記判別部によって、判別された前記検査対象物の良否の結果を出力する出力部とを備える、外観検査システムである。
（２）本発明の一態様は、前記学習モデルは、複数の前記検査対象物の前記画像の各々を用いて、オートエンコーダによって生成されたモデルである、上記（１）に記載の外観検査システムである。
（３）本発明の一態様は、前記判別部は、複数の前記分割画像の各々と、前記学習モデルを用いて複数の前記分割画像の各々を再現した複数の再現画像の各々との再現精度を複数導出し、導出した複数の前記再現精度に基づいて、前記検査対象物の良否を判別する、上記（１）又上記（２）に記載の外観検査システムである。
（４）本発明の一態様は、前記判別部は、複数の前記再現精度の各々が、閾値以上であるか否かを判定し、複数の前記再現精度の閾値以上である割合に基づいて、前記検査対象物の良否を判定する、上記（３）に記載の外観検査システムである。
（５）本発明の一態様は、前記画像処理部は、撮像部が撮像した前記検査対象物の画像から、前記検査対象物の部分を抽出し、抽出した前記検査対象物の部分の画像を複数に分割することによって複数の分割画像を取得する、上記（１）から上記（４）いずれか一項に記載の外観検査システムである。

（６）本発明の一態様は、検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムが実行する外観検査方法であって、前記検査対象物の前記画像を複数に分割することによって複数の分割画像を取得するステップと、複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記分割するステップで取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別するステップと、前記判別するステップによって判別された前記検査対象物の良否の結果を出力するステップとを有する、外観検査方法である。

本発明によれば、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できるという効果が得られる。

本発明の実施形態に係る外観検査システムの一例を示す図である。 製品の一例を示す図である。 本実施形態に係る外観検査システムの制御装置の一例を示すブロック図である。 本実施形態に係る外観検査システムにおける製品の載置の一例を示す図である。 本実施形態に係る外観検査システムの動作の例１を示す図である。 本実施形態に係る外観検査システムの動作の例２を示す図である。 判定スコア閾値の設定例を示す図である。 本実施形態に係る外観検査システムの動作の例１を示すシーケンスチャートである。 本実施形態に係る外観検査システムの動作の例２を示すシーケンスチャートである。 本実施形態の変形例１に係る外観検査システムの一例を示す図である。 本実施形態の変形例１に係る外観検査システムの動作の一例を示すシーケンスチャートである。 本実施形態の変形例２に係る外観検査システムの一例を示す図である。 本実施形態の変形例２に係る外観検査システムにおける照明部の配置の一例を示す図である。 本実施形態の変形例２に係る外観検査システムにおける製品の載置の一例を示す図である。 本実施形態の変形例２に係る外観検査システムの動作の一例を示すシーケンスチャートである。

次に、本実施形態の外観検査システム、及び外観検査方法を、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

（実施形態）
（外観検査システム）
図１は、本発明の実施形態に係る外観検査システムの一例を示す図である。外観検査システムは、ワークＷ（検査対象物）の外観検査、つまりワークＷの形状と、表面の状態とに基づいて、ワークＷの良否を判断する。外観検査システムは、外観検査の開始タイミングを規定する検査開始トリガ信号を生成する。外観検査システムは、この検査開始トリガ信号に基づいて、ワークＷを照明し、照明したワークＷを撮像し、所定の処理を行うことによって、検査用の画像を取得する。外観検査システムは、取得した検査用の画像に基づいて、ワークＷの良否を判別する。本実施形態では、ワークＷの一例として、アルミ箔に包装されたチーズである製品を適用する場合について説明する。
外観検査システム１００は、ベルトコンベアＢＣと、照明部１０２と、撮像部１０３と、制御装置１５０とを備える。制御装置１５０は、ベルトコンベアＢＣと、照明部１０２と、撮像部１０３と接続される。ベルトコンベアＢＣは、制御装置１５０によって制御される。ベルトコンベアＢＣは、輪状にした幅広のベルトを台車の上で回転させ、その上に製品１０１を載置して移動させる。図１では、水平面を構成する互いに垂直である２軸をＸ軸とＹ軸とし、水平面に垂直な方向をＺ軸とする。製品１０１は、ベルトコンベアＢＣによって、Ｘ軸の正の方向に移動する。製品１０１の移動方向を矢印で示す。

次に、製品１０１について説明する。図２は、製品の一例を示す図である。製品１０１はアルミ箔に包装されたチーズであるため、その表面は、アルミ箔である。このため、製品１０１の表面は、光沢があり、光を照射した場合に、その光が反射する場合がある。また、製品１０１は、アルミ箔を折り、溶融したチーズを注入することで成型する。このため、製品１０１の形状は、アルミ箔の折り目などによる凹凸を有する。図１に戻り説明を続ける。
照明部１０２は、制御装置１５０によって制御される。照明部１０２は、製品１０１に光を照射する。照明部１０２が照射する光の色の一例は、青色である。製品１０１において、Ｘ軸とＹ軸とからなる平面に平行な面を、一主面とする。照明部１０２は、一主面と平行な第１軸周りに、第１角度θ１の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第１角度θ１の一例は、５０度以上７０度以下であり、より好ましくは、５５度以上６５度以下である。本実施形態では、第１角度θ１を５０度とした場合について説明を続ける。

撮像部１０３は、制御装置１５０によって制御される。撮像部１０３は、製品１０１を撮像する。撮像部１０３は、照明部１０２が照射した光を、製品１０１が反射することによって得られる反射光を受光することによって撮像する。撮像部１０３は、複数の受光素子と、集光系光学系とを有している。受光素子は、集光系光学系を通して得られた光の強度を電気信号に変換するＣＣＤ(charge-coupled device)やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子からなるイメージセンサである。集光系光学系は、外部から入射する光を集光するための光学系である。具体的には、集光系光学系は、一以上の光学レンズを有している。撮像部１０３は、照明部１０２が照射した光を、製品１０１が反射した反射光を受光素子が受光できる位置に設置される。撮像部１０３は、撮像することによって得られる画像（以下「検査用の画像」という）を示す情報を、制御装置１５０に出力する。
図３は、本実施形態に係る外観検査システムの制御装置の一例を示すブロック図である。制御装置１５０は、ＣＰＵ（Central Processing Unit）等のプロセッサによって所定のプログラムが実行されることにより機能するソフトウェア機能部である。ソフトウェア機能部は、ＣＰＵ等のプロセッサ、プログラムを格納するＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、及びタイマー等の電子回路を備える。なお、制御装置１５０の少なくとも一部は、ＬＳＩ（Large Scale Integration）等の集積回路であってもよい。制御装置１５０は、処理部１５２と、取得部１５４と、画像処理部１５６と、学習部１５７と、判別部１５８と、出力部１６０として機能する。

処理部１５２は、ベルトコンベアＢＣを制御することによって、ベルトコンベアＢＣに載置された製品１０１を、Ｘ軸の正の方向に、搬送する。図４は、本実施形態に係る外観検査システムにおける製品の載置の一例を示す図である。製品１０１の一主面の短辺の二辺と、照明部１０２が光を照射する方向とのなす角度が、一主面の法線方向から見て第２角度θ２となるように載置される。第２角度θ２の一例は、１５度以上２５度以下であり、より好ましくは、１７．５度以上２２．５度以下である。本実施形態では、第２角度θ２が、２０度である場合について説明を続ける。図３に戻り説明を続ける。
処理部１５２が、ベルトコンベアＢＣを制御することによって、製品１０１の一主面の中心が、位置Ｐと一致する。ここで、位置Ｐの一例は、照明部１０２と位置Ｐとを結んだ線と、位置Ｐから一主面の法線方向にのばした線とのなす角度が、第１角度θ１となる位置である。処理部１５２は、製品１０１の一主面の中心が、位置Ｐと一致する前に、照明部１０２を制御することによって、製品１０１に光を照射させる。処理部１５２は、製品１０１に光を照射させた状態で、製品１０１の一主面の中心が、位置Ｐと一致するタイミングで、撮像部１０３に、製品１０１を撮像させる。取得部１５４は、撮像部１０３が出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部１５６に出力する。

図５は、本実施形態に係る外観検査システムの制御装置の処理の例１を示す図である。画像処理部１５６は、取得部１５４が出力した検査用の画像を示す情報を取得する。画像処理部１５６は、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する（１）。画像処理部１５６は、取得した製品１０１の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を取得する（２）。画像処理部１５６は、製品１０１の画像に基づいて、ピクセル数が４％から６％の面積で分割する。本実施形態では、一例として、製品１０１の画像を、４×４の１６分割する場合について説明を続ける。
ベルトコンベアＢＣに製品１０１が、製品１０１の一主面の短辺の二辺と、照明部１０２が光を照射する方向とのなす角度が、一主面の法線方向から見て第２角度θ２となるように載置されているため、検査用の画像には、製品１０１の３面の画像（上面、短辺を含む側面、長辺を含む側面）が含まれている。さらに、製品１０１の表面は銀色で、光沢を有するため、撮像部１０３が撮像するときに、製品１０１には青色の光が照射される。製品１０１に対して、照明部１０２が所定の位置に設置されているため、照射された光の乱反射を抑えることができるため、コントラストを高くできる。製品１０１に青色の光が照射されることによって、青色の光がチーズの黄色成分に反応して、チーズ部分のコントラストを高くできるため、チーズ部分のコントラストをはっきりできる。ただし、金色などの銀色とは異なる色の包装の場合には包装とチーズのコントラスト差が出にくいため色調の検証を行うことが好ましい。この結果、検査用の画像に含まれる製品１０１の画像は、コントラストが高く、はっきりする。以下、複数の分割画像の各々を使用して、学習モデルを生成する場合と、生成した学習モデルを使用して、製品１０１の良否を判定する場合とに分けて説明を続ける。

（学習モデルを生成する場合）
図５を参照して引き続き説明する。画像処理部１５６は、取得した複数の分割画像を、学習部１５７に出力する。学習部１５７は、画像処理部１５６が出力した複数の分割画像を取得し、取得した複数の分割画像の各々を使用して、変分オートエンコーダなどのオートエンコーダによって、複数の学習モデルを生成する。本実施形態では、学習部１５７は、製品１０１の画像を分割した数と同数の学習モデルを生成する場合について説明を続ける。つまり、画像処理部１５６によって、製品１０１の画像が、４×４の１６分割されるため、分割することによって得られた複数の分割画像の各々に対応する学習モデルを生成する。変分オートエンコーダは、教師なし学習器として機能する。変分オートエンコーダは、複数の製品１０１の画像の各々に対応する複数の分割画像が入力されると、各分割画像に表された製品１０１のピクセルの位置の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再現画像」という）を出力する（（３）−（４））。
図５に示される例では、学習部１５７は、各分割画像に表された製品１０１のピクセルの画素値の和を、画素数で割ることによって得られる平均値の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再構成平均値画像」という）を生成する。また、学習部１５７は、各分割画像に表された製品１０１のピクセルの画素値の２乗平均と平均の２乗との差によって得られる分散の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再構成分散画像」という）を生成する。学習部１５７は、生成した再構成平均値画像と、再構成分散画像とに基づいて、各１６区分区画（３２×３２＝１０２４）の最大値を、その区画の異常値とする。学習部１５７は、複数の分割画像の各々と、各分割画像に表された製品１０１を再構成した画像とに基づいて、所定の損失関数を最小にするようにモデルのパラメータを最適化することにより、入力されたデータを学習する。学習部１５７は、生成した学習モデルを、判別部１５８へ出力する。

（製品の良否を判定する場合）
図６は、本実施形態に係る外観検査システムの制御装置の処理の例２を示す図である。（１）から（３）は、図５を参照して説明した（１）−（３）と同様である。画像処理部１５６は、取得した分割画像の各々を、判別部１５８に出力する。判別部１５８は、学習部１５７が出力した学習モデルを取得し、取得した学習モデルを記憶する。判別部１５８は、取得した学習モデルを用いて、画像処理部１５６が出力した複数の分割画像の各々を再現した画像である再現画像を複数生成する（４）。判別部１５８は、複数の分割画像の各々と複数の再現画像の各々とに基づいて、複数の分割画像の各々と複数の再現画像の各々とを比較することによって、分割画像に対する再現画像の再現精度を導出する。具体的には、判別部１５８は、交差エントロピー、カルバックライブラ情報量、マハラノビス距離をベースとした評価関数を使用することによって、再現精度を導出する。
判別部１５８は、複数の分割画像の各々の再現精度の導出結果に基づいて、製品１０１の不具合を判定する（５）。図５の（５）には、複数の分割画像のうち、再現精度の導出結果が閾値未満である分割画像が太線で示され、再現精度の導出結果が閾値以上である分割画像が破線で示されている。つまり、図５の（５）では、１６個の分割画像のうち、５個の分割画像が再現精度の導出結果が閾値未満であると評価されている。この場合、判別部１５８は、一例として、製品１０１の不具合を示す指標（以下「判定スコア」という）を、０．３１２５（５／１６）に基づいて導出する。判別部１５８は、製品１０１の判定スコアを、出力部１６０に出力する。
出力部１６０は、判別部１５８が出力した製品１０１の判定スコアを取得し、取得した製品１０１の判定スコアを出力する。例えば、出力部１６０は、表示装置（図示なし）に、製品１０１の判定スコアを出力してもよい。また、製品１０１の判定スコアに基づいて、判定スコア閾値未満の製品１０１を、製品１０１の生産ラインから除去してもよい。
図７は、判定スコア閾値の設定例を示す図である。図７は、重欠点品の製品とＯＫ品の製品との分布を示す。図７において、横軸は判定スコアであり、縦軸は尤度である。図７に示されるように、判定スコア閾値の一例は、重欠点品とＯＫ品との分布が重複する判定スコアに設定される。

（外観検査システムの動作）
外観検査システム１００の動作について、学習モデルを生成する場合と、製品の良否を判定する場合とに分けて説明する。学習モデルを生成する場合について説明する。図８は、本実施形態に係る外観検査システムの動作の例１を示すシーケンスチャートである。ベルトコンベアＢＣに、製品１０１が、載置された後の動作について説明する。
（ステップＳ１）
制御装置１５０の処理部１５２は、ベルトコンベアＢＣにベルトを回転させるための制御信号を出力する。
（ステップＳ２）
ベルトコンベアＢＣは、制御装置１５０が出力した制御信号に基づいて動作する。ベルトコンベアＢＣは、製品１０１を搬送する。
（ステップＳ３）
処理部１５２は、照明部１０２に発光させるための制御信号を出力する。
（ステップＳ４）
照明部１０２は、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０２が発光することによって、製品１０１に光が照射される。
（ステップＳ５）
処理部１５２は、撮像部１０３に製品１０１を撮像させるための制御信号を出力する。
（ステップＳ６）
撮像部１０３は、制御装置１５０が出力した制御信号に基づいて、製品１０１を撮像する。
（ステップＳ７）
撮像部１０３は、製品１０１を撮像することによって得られた検査用の画像を示す情報を、制御装置１５０に出力する。
（ステップＳ８）
取得部１５４は、撮像部１０３が出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部１５６に出力する。画像処理部１５６は、取得部１５４が出力した検査用の画像を示す情報を取得する。画像処理部１５６は、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する。画像処理部１５６は、取得した製品１０１の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を、学習部１５７に出力する。
（ステップＳ９）
学習部１５７は、画像処理部１５６が出力した複数の分割画像を取得し、取得した複数の分割画像の各々を使用して、変分オートエンコーダによって、複数の学習モデルを生成する。
（ステップＳ１０）
学習部１５７は、生成した学習モデルを、判別部１５８へ出力する。

（製品の良否を判定する場合）
図９は、本実施形態に係る外観検査システムの動作の例２を示すシーケンスチャートである。ベルトコンベアＢＣに製品１０１が載置された後の動作について説明する。ステップＳ１１からステップＳ１７は、図７のステップＳ１からステップＳ７と同様である。
（ステップＳ１８）
取得部１５４は、撮像部１０３が出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部１５６に出力する。画像処理部１５６は、取得部１５４が出力した検査用の画像を示す情報を取得する。画像処理部１５６は、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する。画像処理部１５６は、取得した製品１０１の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を、判別部１５８に出力する。
（ステップＳ１９）
判別部１５８は、画像処理部１５６が出力した複数の分割画像の各々を取得し、取得した複数の分割画像の各々の良否を判別する。判別部１５８は、複数の分割画像の各々の良否を判別した結果に基づいて、良と判別された割合に基づいて、製品１０１の良否を判別する。判別部１５８は、製品１０１の良否の判別結果を、出力部１６０に出力する。
（ステップＳ２０）
出力部１６０は、判別部１５８が出力した製品１０１の良否の判別結果を取得し、取得した製品１０１の判別結果を出力する。

前述した実施形態において、例えば、製品１０１の表面の色と、光を反射する程度とのいずれか一方又は両方に基づいて、青色以外の色の光が照射されてもよい。
本実施形態に係る外観検査システムによれば、 検査対象物（実施形態では製品１０１）の画像を用いて、検査対象物の良否を判別する外観検査システムであって、検査対象物の画像を複数に分割することによって複数の分割画像を取得する画像処理部と、複数の検査対象物の画像を用いた学習によって生成された学習モデルを用いて、画像処理部が取得した複数の分割画像の各々を再現した画像である再現画像を複数生成し、複数の分割画像の各々と、複数の再現画像の各々とに基づいて、検査対象物の良否を判別する判別部と、判別部によって、判別された検査対象物の良否の結果を出力する出力部とを備える。このように構成することによって、検査対象物の画像を複数に分割し、複数の分割画像の各々に対応する学習モデルに基づいて、複数の分割画像の各々の判定を行うため、検査対象物の画像を複数に分割しない場合よりも、微細な不具合箇所を検出できる。このため、検品作業における精度を向上できる。

（変形例１）
（外観検査システム）
図１０は、本実施形態の変形例１に係る外観検査システムの一例を示す図である。外観検査システム１００ａは、外観検査システム１００に、撮像部１０４と、照明部１０５とを備える。制御装置１５０は、撮像部１０４と、照明部１０５と接続される。ベルトコンベアＢＣは、制御装置１５０によって制御される。
照明部１０５は、制御装置１５０によって制御される。照明部１０５は、製品１０１に光を照射する。照明部１０５が照射する光の色の一例は、青色である。照明部１０５は、一主面に対して、第１軸と同軸または平行な第２軸周りに、照明部１０２とは反対側から、第１ａ角度θ１ａの入射角度で光を照射する。一主面の法線方向を０度とした場合に、第１ａ角度θ１ａの一例は、５０度以上７０度以下であり、より好ましくは、５５度以上６５度以下である。本実施形態では、第１ａ角度θ１ａを５０度とした場合について説明を続ける。照明部１０５の一例は、図３を適用できる。
撮像部１０３は、制御装置１５０によって制御される。撮像部１０３は、製品１０１を撮像する。撮像部１０４は、撮像部１０３と同様の構成であり、制御装置１５０によって制御される。撮像部１０４は、製品１０１を撮像する。撮像部１０４は、照明部１０５が照射した光を、製品１０１が反射することによって得られる反射光を受光することによって撮像する。撮像部１０４は、照明部１０５が照射した光を、製品１０１が反射した反射光を受光素子が受光する位置に設置される。撮像部１０４は、撮像することによって得られる検査用の画像を示す情報を、制御装置１５０に出力する。
本実施形態の変形例１に係る外観検査システムの制御装置の一例は、図３を適用できる。ただし、処理部１５２は、ベルトコンベアＢＣを制御することによって、ベルトコンベアＢＣに載置された製品１０１を、Ｘ軸の正の方向に、搬送する。処理部１５２が、ベルトコンベアＢＣを制御することによって、製品１０１の一主面の中心が、位置Ｐと一致する。ここで、位置Ｐの一例は、照明部１０２と位置Ｐとを結んだ線と、位置Ｐから一主面の法線方向にのばした線とのなす角度が、第１角度θ１となる位置である。また、位置Ｐの一例は、照明部１０５と位置Ｐとを結んだ線と、位置Ｐから鉛直上向きにのばした線とのなす角度が、第１ａ角度θ１ａとなる位置であってもよい。処理部１５２は、製品１０１の一主面の中心が、位置Ｐと一致する前に、照明部１０２と、照明部１０５とを制御することによって、製品１０１に光を照射させる。処理部１５２は、製品１０１に光を照射させた状態で、製品１０１の一主面の中心が、位置Ｐと一致するタイミングで、撮像部１０３と、撮像部１０４とに、製品１０１を撮像させる。取得部１５４は、撮像部１０３が出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部１５６に出力する。取得部１５４は、撮像部１０４が出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部１５６に出力する。

（外観検査システムの動作）
図１１は、本実施形態の変形例１に係る外観検査システムの動作の一例を示すシーケンスチャートである。ベルトコンベアＢＣに、製品１０１が、載置された後の動作について説明する。ステップＳ３１からステップＳ３２は、図８を参照して説明したステップＳ１１からステップＳ１２を適用できる。
（ステップＳ３３）
処理部１５２は、照明部１０２に発光させるための制御信号を出力する。制御装置１５０の処理部１５２は、照明部１０５に発光させるための制御信号を出力する。
（ステップＳ３４）
照明部１０２は、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０２が発光することによって、製品１０１に光が照射される。
（ステップＳ３５）
照明部１０５は、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０５が発光することによって、製品１０１に光が照射される。

（ステップＳ３６）
処理部１５２は、撮像部１０３に製品１０１を撮像させるための制御信号を出力する。制御装置１５０の処理部１５２は、撮像部１０４に製品１０１を撮像させるための制御信号を出力する。
（ステップＳ３７）
撮像部１０３は、制御装置１５０が出力した制御信号に基づいて製品１０１を撮像する。
（ステップＳ３８）
撮像部１０４は、制御装置１５０が出力した制御信号に基づいて製品１０１を撮像する。
（ステップＳ３９）
撮像部１０３は、製品１０１を撮像することによって得られた検査用の画像を示す情報を、制御装置１５０に出力する。撮像部１０３は、製品１０１を撮像することによって得られた検査用の画像を示す情報を、制御装置１５０に出力する。ステップＳ３９以降の処理は、図８のステップＳ８からステップＳ１０と、図９のステップＳ１８からステップＳ２０とを適用できる。

前述した実施形態の変形例１において、照明部１０２が照射する光の色と、照明部１０５が照射する光の色とが異なってもよい。
本実施形態の変形例に係る外観検査システムによれば、外観検査システム１００に、検査対象物の一主面に対して、第１軸と同軸または平行な第２軸周りに、照明部１０２とは反対側から、第１角度の入射角度で光を照射する照明部１０５と、照明部１０５によって照射された検査対象物を、入射角度に対する反射角度で撮像する撮像部１０４とを備える。判別部は、撮像部１０３と、撮像部１０４とによって撮像された画像に基づいて、検査対象物の良否を判別し、一主面の対向する二辺と、第２照明部が照射する光の照明方向とが第２角度をなす。このように構成することによって、外観検査システム１００の効果に加え、検査対象の画像の数を増加できるため、検査対象物の検品作業における精度を向上できる。

（変形例２）
（外観検査システム）
図１２は、本実施形態の変形例２に係る外観検査システムの一例を示す図である。外観検査システム１００ｂは、外観検査システム１００に、照明部１０７と、照明部１０８とを備える。制御装置１５０は、照明部１０７と、照明部１０８と接続される。
図１３は、本実施形態の変形例２に係る外観検査システムにおける照明部の配置の一例を示す図である。図１３において、照明部１０２と、撮像部１０３とは省略されている。照明部１０７は、制御装置１５０によって制御される。照明部１０７は、製品１０１に光を照射する。照明部１０７が照射する光の色の一例は、青色である。照明部１０７は、製品１０１が載置された面に対して、一主面と平行かつ第１軸と垂直な第３軸周りに、第３角度θ３の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第３角度θ３の一例は、１５度以上２５度以下であり、より好ましくは、１７．５度以上２２．５度以下である。本実施形態では、第３角度θ３を２０度とした場合について説明を続ける。照明部１０７の一例は、複数のＬＥＤをＸ方向に並べたものである。
照明部１０８は、制御装置１５０によって制御される。照明部１０８は、製品１０１に光を照射する。照明部１０７が照射する光の色の一例は、青色である。照明部１０８は、製品１０１が載置された面に対して、第３軸と平行な第４軸周りに、照明部１０７とは反対側から、第３角度θ３の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第３角度θ３の一例は、１５度以上２５度以下であり、より好ましくは、１７．５度以上２２．５度以下である。本実施形態では、第３角度θ３を２０度とした場合について説明を続ける。照明部１０８の一例は、複数のＬＥＤをＸ方向に並べたものである。

本実施形態の変形例２に係る外観検査システムの制御装置１５０の一例は、図３を適用できる。図１４は、本実施形態の変形例２に係る外観検査システムにおける製品の載置の一例を示す図である。製品１０１の一主面の短辺の二辺と、照明部１０２が光を照射する方向とのなす角度が、一主面の法線方向から見て第２角度θ２となるように載置される。また、製品１０１の一主面の長辺の二辺と、照明部１０７と、照明部１０８とが光を照射する方向とのなす角度が、一主面の法線方向から見て第４角度θ４となるように載置される。第４角度θ４の一例は、６５度以上７５度以下であり、より好ましくは、６７．５度以上７２．５度以下である。本実施形態では、第４角度θ４が、７０度である場合について説明を続ける。処理部１５２が、ベルトコンベアＢＣを制御することによって、製品１０１の一主面の中心が、位置Ｐと一致する。処理部１５２は、製品１０１の一主面の中心が、位置Ｐと一致する前に、照明部１０２と、照明部１０７と、照明部１０８とを制御することによって、製品１０１に光を照射させる。

（外観検査システムの動作）
図１５は、本実施形態の変形例２に係る外観検査システムの動作の一例を示すシーケンスチャートである。ここでは、ベルトコンベアＢＣに、製品１０１が、載置された後の動作について説明する。ステップＳ４１からステップＳ４２は、図８を参照して説明したステップＳ１１からステップＳ１２を適用できる。
（ステップＳ４３）
処理部１５２は、照明部１０２に発光させるための制御信号を出力し、照明部１０７に発光させるための制御信号を出力し、照明部１０８に発光させるための制御信号を出力する。
（ステップＳ４４）
照明部１０２は、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０２が発光することによって、製品１０１に光が照射される。
（ステップＳ４５）
照明部１０７は、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０７が発光することによって、製品１０１に光が照射される。
（ステップＳ４６）
照明部１０８は、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０８が発光することによって、製品１０１に光が照射される。ステップＳ４７からステップＳ４９は、図６のステップ５からステップＳ７を適用できる。ステップＳ５０以降の処理は、図８のステップＳ８からステップＳ１０と、図９のステップＳ１８からステップＳ２０とを適用できる。

前述した実施形態の変形例２において、例えば、照明部１０２と、照明部１０７と、照明部１０８との各々が照射する光の色とが異なっていてもよい。
前述した実施形態の変形例２では、外観検査システム１００に、照明部１０７と、照明部１０８とを適用した場合について説明したが、この限りでない。例えば、外観検査システム１００に、照明部１０７と、照明部１０８とのいずれか一方又は両方を適用してもよい。また、例えば、外観検査システム１００ａに、照明部１０７と、照明部１０８とのいずれか一方又は両方を適用してもよい。
本実施形態の変形例２に係る外観検査システムによれば、外観検査システム１００に、検査対象物が載置された面に対して、一主面と平行かつ第１軸と垂直な第３軸周りに、１５度以上２５度以下の入射角度で光を照射する照明部１０７を備える。このように構成することによって、外観検査システム１００の効果に加え、照明部１０７によって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。
また、検査対象物が載置された面に対して、第３軸と平行な第４軸周りに、照明部１０７とは反対側から、１５度以上２５度以下の入射角度で光を照射する照明部１０８を備える。このように構成することによって、外観検査システム１００の効果に加え、照明部１０８によって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００、１００ａ、１００ｂ…外観検査システム、１０１…製品、１０２、１０５、１０７、１０８…照明部、１０３、１０４…撮像部、１５０…制御装置、１５２…処理部、１５４…取得部、１５６…画像処理部、１５７…学習部、１５８…判別部、１６０…出力部

Claims (6)

1. 検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムであって、
   前記検査対象物の前記画像を複数に分割することによって複数の分割画像を取得する画像処理部と、
   複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記画像処理部が取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別する判別部と、
   前記判別部によって、判別された前記検査対象物の良否の結果を出力する出力部と
   を備える、外観検査システム。
2. 前記学習モデルは、複数の前記検査対象物の前記画像の各々を用いて、オートエンコーダによって生成されたモデルである、請求項１に記載の外観検査システム。
3. 前記判別部は、複数の前記分割画像の各々と、前記学習モデルを用いて複数の前記分割画像の各々を再現した複数の再現画像の各々との再現精度を複数導出し、導出した複数の前記再現精度に基づいて、前記検査対象物の良否を判別する、請求項１又は請求項２に記載の外観検査システム。
4. 前記判別部は、複数の前記再現精度の各々が、閾値以上であるか否かを判定し、複数の前記再現精度の閾値以上である割合に基づいて、前記検査対象物の良否を判定する、請求項３に記載の外観検査システム。
5. 前記画像処理部は、撮像部が撮像した前記検査対象物の画像から、前記検査対象物の部分を抽出し、抽出した前記検査対象物の部分の画像を複数に分割することによって複数の分割画像を取得する、請求項１から請求項４のいずれか一項に記載の外観検査システム。
6. 検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムが実行する外観検査方法であって、
   前記検査対象物の前記画像を複数に分割することによって複数の分割画像を取得するステップと、
   複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記分割するステップで取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別するステップと、
   前記判別するステップによって判別された前記検査対象物の良否の結果を出力するステップと
   を有する、外観検査方法。

Images