JP7386724B2 - 検査システム及びそれに用いられる発光コントローラ - Google Patents

Description

本発明は、ワークに光を照射して撮像した画像によって、該ワークを検査する検査システム等に関するものである。

従来、製品などの対象物の外観を自動検査する検査システムが開発されている。例えば、特許文献１の検査システム（当該文献では検査装置と記載されている。）は、搬送装置によって次々搬送されてくる対象物に光を照射する光照射装置と、該対象物を撮像してその画像データを出力する撮像装置と、前記画像データを受け取り、その画像データに基づいて当該対象物の良否を自動判定する判定装置とを有している。

しかしながら、この種の検査システムにおいて、例えば、撮像タイミングがずれるとか、発光不良とかといった動作不良が生じたとしても、それが一定期間連続的に続けばともかく、たまたま対象物の１つに対してだけ動作不良が発生した場合には、その動作不良に気づくことすら難しい。このような場合、当該対象物の撮像画像が良品とは違った画像になるわけであるから、当該対象物が不良品として処理されるだけである。

もっとも、特許文献１の検査システムでは、各対象物の画像データを逐次メモリに蓄積できるようにしてあるから、これら蓄積された画像データをユーザが逐一検証すれば、検査システムの動作不良を発見できる場合もあろう。

とはいえ、それもリアルタイムではできず、事後的に画像データを逐一検証するという膨大な作業が必要となる。さらに、画像データのみでの検証であるから、動作不良の発生箇所や原因を的確に突き止めることも難しい。

特開２０１８－１０５８７０号公報

本発明は上述した課題に鑑みてなされたものであって、この種の検査システムにおいて発生した動作不良やその原因等をより確実に検証できるようにすべく図ったものである。

すなわち、本発明に係る検査システムは、
（１）検査開始タイミングを定めるトリガー信号をきっかけとして、検査の対象物に光を照射する発光器及び前記対象物を撮像する撮像装置と、
（２）前記撮像装置から出力される画像データに基づいて前記対象物を検査し、その検査結果データを出力する判定装置と、
（３）前記発光器及び撮像装置を同期動作させる同期コントローラと、
を備えたものである。

そして、前記同期コントローラが、
（Ａ）前記発光器に対する発光指令信号及び前記撮像装置に対する撮像指令信号を、前記トリガー信号の受信タイミングに基づいてそれぞれ送信する指令信号送信部と、
（Ｂ）前記撮像装置の画像データに基づく検査結果データを、前記判定装置から受信する結果データ受信部と、
（Ｃ）前記各指令信号又はその送信有無、及び、前記検査結果データ又はその受信有無を、そのきっかけとなる前記トリガー信号に紐づけてなる検証データを生成し、該検証データをメモリの所定領域に格納する検証データ生成部と、を備えたものであることを特徴とする。

このような構成によれば、一の検証データの内容、すなわち各指令信号及び検査結果データを参照することによって、従来、対象物の外観欠陥と判定されて見過ごされた可能性のある、検査システムの動作不良を高い確率で検出できるうえ、その動作不良箇所を的確に把握できる。このことにより、対象物の検査時におけるトラブルシューティングが容易になるだけでなく、システム開発時のデバッグ等にも資することができる。さらにより的確な予知保全なども可能になる。

例えば、一の対象物における検証データを参照した際に、前記発光指令信号が発生していなければ、発光コントローラにおける指令信号送信部に動作不良があったことがわかる。このような場合、従来であれば、発光器による照明がないまま対象物が撮像されるわけであるから、画像は暗くなり、その画像データを基にした判定装置による検査結果データは当然不合格となって、当該対象物の外観欠陥と判定されるに過ぎない。

特に、当該検査システムが異常動作したか否かを前記検証データに基づいて検出する異常動作検出部を設けておけば、リアルタイムで検査システムの動作不良を検出することも可能になる。

前記発光器の発光態様を制御する発光コントローラをさらに備え、該発光コントローラが、前記同期コントローラとしての機能を担うように構成されていれば、従来のシステム構成を変更する必要がほとんどなく、例えば、既存の発光コントローラを置き換えるだけで、本検査システムを安価かつ迅速に構築できる。

具体的な実施態様としては、前記対象物が所定位置に搬送されてきたことを検出する位置センサをさらに備え、該位置センサの検出信号を前記トリガー信号としているものを挙げることができる。

より確実に、異常発生箇所を特定できるようにするには、前記結果データ受信部が、前記発光器による発光結果を示す発光結果データをさらに受信するものであり、前記検証データ生成部が、前記発光結果データ又はその受信有無を、そのきっかけとなる前記トリガー信号にさらに紐づけて検証データを生成するものであることが望ましい。

より具体的な実施態様としては、前記発光器の光量を検知する発光検知器をさらに備えており、該発光検知器が検知した光量に関するデータが、前記発光結果データとして用いられているものを挙げることができる。

上述の構成を、専用の発光検知器を用いることなく実現するには、前記撮像装置が前記発光検知器としての機能を担っており、該撮像装置が撮像した画像データに基づいて前記発光結果データが生成されるように構成してあるものが好ましい。

前記同期コントローラが、前記発光器、撮像装置及び判定装置（以下、これらを区別しないときには機器という。）と有線又は無線で接続するための接続ポートと、該接続ポートに接続された前記各機器を検出する接続検出部とをさらに備えており、前記接続ポートが、前記各機器のうちの少なくとも１種類を複数台接続できるように構成されていれば、前記各機器の台数を変更できるので、ユーザの要望に応応じたシステムを柔軟に構築できるし、途中でシステム構成を変更することもできる。該同期コントローラの接続対象となる前記機器として、前記発光検知器が含まれていれば、なお好適である。

さらに、前記同期コントローラが、前記トリガー信号の受信タイミングに対する前記各指令信号の出力タイミングを設定する設定部を備えており、該設定部が、前記接続検出部で検出された各機器の台数に応じた設定入力画面を出力するものであれば、前記システム構成に応じた設定入力画面をいちいち構成する必要がないので、例えばそのためのコーディング作業等が削減でき、開発時間の短縮を図れる。さらに、システムの運用オペレータにとっても非常に取り扱いやすいものになる。

また、前記検証データ生成部が、前記接続検出部で検出された各機器の台数に応じた前記各指令信号、発光結果データ及び検査結果データを有する検証データを生成するようにしておけば、システム構成に応じて、前記検証データの構造を作成する必要がないので、前述同様、開発時間の短縮等を図ることができる。

本発明の一実施形態における検査システムを示す模式図。 同実施形態における発光コントローラの機能を示す機能ブロック図。 同実施形態における各信号やデータの発生タイミングを示すタイミングチャート。 同実施形態における検証データの一例を示すデータ構造図。 同実施形態における検査システムの構成変形例。 同実施形態における検査システムの構成変形例。

本発明の一実施形態に係る検査システム１００について、各図を参照しながら説明する。

この検査システム１００は、図１に示すように、対象物Ｗ（以下、ワークＷという。）の外観検査をしてその良否を自動判定するものであり、搬送装置Ｃによって次々搬送されてくる前記ワークＷの位置を検知する位置センサ１と、前記位置センサ１によって検知されたワークＷに光を照射する光照射装置２と、該光照射装置２によって光が照射されているワークＷを撮像してその画像データを出力する撮像装置３と、該撮像装置３が出力した画像データを受け取り、その画像データに基づいて当該ワークＷの良否を自動判定する判定装置４とを有している。
各部を説明する。

位置センサ１は、ワークＷの搬送経路上に設置されており、その設置位置で定まる検知エリアにワークＷが搬送されてくると、そのワークＷを検知して検知信号を出力するものである。ここでは、位置センサ１として、非接触光学式のものを用いているが、磁気式のものなど、他の形式のものでも構わない。

光照射装置２は、例えばワーク搬送経路上の所定位置に設置されたＬＥＤ発光器２１と、この発光器２１の発光態様（光量、発光開始タイミング、発光時間等）をコントロールする発光コントローラ２２とを備えたものである。また、この実施形態では、前記発光器２１の光量を検知して、その光量に関する発光結果データを出力する発光検知器５がさらに設けてある。より具体的に、この発光検知器５は、フォトダイオードやＣＣＤなどの光検知素子を有したいわゆる光センサである。発光結果データとは、発光検知器５が計測した輝度を示すデータである。

撮像装置３は、図示しないが、イメージセンサ、光学系、制御回路等を有し、撮像したワークＷの画像データを出力するものである。撮像タイミング、シャッタ時間などの撮像条件は、外部からの通信または入力によって設定できるようにしてある。なお、ここでは撮像装置３として２次元カメラを用いているが、ラインセンサでも構わない。

判定装置４は、画像処理機能を有するコンピュータであり、前記撮像装置３から送信されてきた画像データに二値化やエッジ検出などの所定の画像処理を施し、その処理したデータに基づいて、撮像されたワークＷの良否を判定してその結果を示す検査結果データを出力するものである。この良否判定には、機械学習機能（ＡＩ）を用いてもよい。
次に、前記発光コントローラ２２について詳述する。

該発光コントローラ２２は、主としてオペアンプ、ＦＥＴなどからなり、前記ＬＥＤに供給する電流を出力するドライバー回路と、ＣＰＵ、メモリ、通信インタフェースなどからなり、前記ドライバー回路の制御や通信、設定などを司る情報処理回路とを備えたものである。

しかしてこの実施形態での発光コントローラ２２は、前述した発光器２１の発光コントロールのみならず、前記位置センサ１、撮像装置３、判定装置４及び発光検知器５に有線または無線で通信可能に接続されて、これらを同期動作させるとともに、これらの動作を監視する同期コントローラとしての機能をも発揮するように構成してある。

すなわち、該発光コントローラ２２は、前記メモリに記憶させたプログラムにしたがってＣＰＵやその周辺機器が協働することにより、図２に示すように、トリガー信号受信部２２ａ、指令信号送信部２２ｂ、結果データ受信部２２ｃ、検証データ生成部２２ｄ、異常動作検出部２２ｅ、接続検出部２２ｆ、設定部２２ｇ等としての機能を発揮する。
各部を詳述する。

前記トリガー信号受信部２２ａは、ワークＷごとの検査開始タイミングを定めるトリガー信号を受信するものである。ここでは前記位置センサ１によるワークＷの検知信号をトリガー信号として受信するようにしてある。

前記指令信号送信部２２ｄは、前記発光器２１及び撮像装置３を同期動作させるための指令信号を、図３に示すように、前記トリガー信号の受信タイミングから設定された時間だけ遅延させて、該発光器２１及び撮像装置３にそれぞれ送信するものである。

これら指令信号のうち、発光器２１用のもの（以下、発光指令信号ともいう。）は、前記ドライバー回路を介して発光器２１に出力されるパルス状の電流供給信号である。この発光指令信号を受信した前記発光器２１は、その電圧、出力タイミング及びパルス幅に応じた発光態様、すなわち光量、発光開始タイミング及び発光時間で発光する。

他方、撮像装置３用の指令信号（以下、撮像指令信号ともいう。）は、パルス信号であり、この撮像指令信号を受信した撮像装置３は、その受信タイミングにしたがって、シャッタを開け、撮像動作する。なお、シャッタスピードをはじめとする他の撮像パラメータは、撮像装置３においてあらかじめ設定されている。

前記結果データ受信部２２ｃは、前記発光指令信号によって発光した前記発光器２１の輝度を示す発光結果データを、発光検知器５から受信するとともに、前記指令信号によって撮像装置３が撮像した画像データに基づき、前記判定装置４が当該ワークＷについて判定した検査結果データを受信するものである。

発光結果データの値は、前述したように計測輝度値であり、ここでは０～１００の値をとる。また検査結果データの値は２値で１（良）及び０（否）である。なお、発光結果データとして、例えば、前記輝度計測値を処理して、その値が所定の閾値以上か否かを示す二値データとしたものを用いても構わない。

前記検証データ生成部２２ｄは、図４に示すように、トリガー信号受信後、所定時間内に受信した前記各結果データに加え、同所定時間内に前記発光指令信号を送信したか否か、撮像指令信号を送信したか否か、発光結果データを受信したか否か及び検査結果データを受信したか否かを示す送受信完了データを、該トリガー信号に紐づけてなる検証データを生成し、メモリの所定領域に格納するものである。

前記異常動作検出部２２ｅは、当該検査システムが異常動作したか否かを示す異常検出信号を前記検証データに基づいて検出するものである。この異常動作検出部２２ｅが、異常と判断する条件は以下の３要件のいずれかを満たす場合であり、その他にもある。
（１）トリガー信号受信後、所定時間内に発光指令信号または撮像指令信号が送信されていないこと。
（２）トリガー信号受信後、所定時間内に発光結果データまたは検査結果データを受信していないこと。
（３）発光結果データの値が、所定の閾値未満であること。
そして、異常動作検出部２２ｅは、その検出結果を１（異常）又は０（正常）の二値をとる異常検出データとして、該当する検証データに紐づける（図４参照）。

前記設定部２２ｇは、当該発光コントローラ２２における種々の設定項目に係る値を設定し、メモリの所定領域に格納するものである。設定項目としては、発光コントローラ２２が本来有するべき設定項目の他に、同期コントローラとして機能するための設定項目が設けられている。

前者は、発光器２１の発光態様を定めるための設定項目であり、例えば、光量（調光値）、発光開始タイミング、発光期間などを挙げることができる。この設定項目の値に従って、前記発光指令信号のパラメータである電圧、出力タイミング、パルス幅（いいかえれば発光器２１の発光態様）が規定される。

後者は、撮像装置３と発光器２１の同期動作や、判定装置４及び発光検知器５から受信する各結果データに係る設定項目である。同期動作についての設定項目とは、前記トリガー信号を受信してから前記発光指令信号及び撮像指令信号を出力するまでのそれぞれの遅延時間等である。結果データについての設定項目とは、トリガー信号を受信してから各結果データを受信するために待機可能なそれぞれの最大待機時間や、発光結果データの値において発光不良と判断するための前記閾値等である。

この設定部２２ｇはまた、所定の入力画面（図示しない）を、当該発光コントローラ２２に設けられた、または接続されたディスプレイに表示する。この入力画面には、上述した各設定項目の値を入力することができるようにしてあり、ユーザーが入力した各設定項目の値である入力データを該設定部２２ｇが読み込む。なお、前記入力データは、他の情報処理機器等から送信して該設定部２２ｇに読み込ませるなどしてもよい。

ところで、本検査システム１００において、前記発光コントローラ２２に接続可能な発光器２１、発光検知器５、撮像装置３及び判定装置４それぞれの台数は１台に限らず、複数台でも構成できるようにしてある。

その例を図５及び図６に示す。図５は、発光器２１、発光検知器５及び撮像装置３を１グループとして、このグループが２つ設けられており、２つの異なるワークＷを各グループで照明及び撮像できるようにした例である。図６は、発光器２１及び発光動作検出器がそれぞれ２つ設けてあり、１つのワークＷを異なる位置から照明できるようにした例である。なお、図５及び図６において、２つあるものには（１）及び（２）を付して区別してある。

そして、このように検査システム１００の構成機器数を自在に変更できるようにするために、前記発光コントローラ２２には、図２に示すように、前記各機器をそれぞれ複数台接続できる接続ポート６が設けてある。なお、ここでいう接続ポート６とは、有線接続するための物理的な端子やコネクタのみならず、無線接続のためのソフトウェア上の仮想的な接続ポートも含まれる。

また、前記指令信号送信部２２ｂにおいては、複数の発光器２１及び複数の撮像装置３にそれぞれ独立して指令信号を送信できるように回路が構成してあるし、前記結果データ受信部２２ｃにおいても、複数の発光検知器５及び複数の判定装置４からそれぞれ独立して結果データを受信できるように回路が構成してある。

さらに、本検査システム１００には、図２に示すように、接続検出部２２ｆが設けてある。この接続検出部２２ｆは、発光コントローラ２２に接続されている前記発光器２１、発光検知器５、撮像装置３及び判定装置４それぞれの台数を検出し、メモリの所定領域に格納するものである。

また、前記設定部２２ｇは、前記接続検出部２２ｆで検出された各機器の台数を参照し、それに応じた入力画面を表示するようにしてある。前記検証データ生成部２２ｄも、前記接続検出部２２ｆで検出された各機器の台数に応じた数の前記各指令信号、発光結果データ及び検査結果データを、その起因となる前記トリガー信号に紐づけて検証データを生成する。

以上のように構成された本実施形態によれば、検証データの内容、すなわち各指令信号及び各結果データを参照することによって、従来、ワークＷの外観欠陥と判定されて見過ごされた可能性のある、検査システム１００の動作不良を確実に検出できるうえ、その動作不良箇所を的確に把握できる。図４に示す検証データを例にとれば、３番目の検証データから、このとき発光器２１に動作不良があったことがわかる。１９８番目及び１９９番目の検証データから、このとき、指令信号送信部２２ｂに動作不良が生じたことがわかる。また、この例では、ワークＷが一定間隔で搬送されてくることから、トリガー信号も一定間隔で発生するとして、トリガー信号の発生間隔を監視しているところ、３０５番目の検証データにおいては、発生すべきタイミングでトリガー信号が受信できなかったことから、ワークＷに抜けがあったか、位置センサに動作不良が生じたかということがわかる。

そして、このことにより、ワークＷの検査時におけるトラブルシューティングが容易になるだけでなく、検査システム開発時のデバッグ等にも資することができる。さらにより的確な予知保全なども可能になる。

また、この実施形態では、異常動作検出部２２ｅによって、当該検査システム１００が異常動作したか否かを前記検証データに基づいて検出されるので、その検出タイミングでその旨をディスプレイに出力するなどの報知させるようにすれば、リアルタイムで検査システム１００の動作不良を自動検出することも可能となる。

また、発光コントローラ２２が、同期コントローラとしての機能を担うので、ユーザーにとってみれば、従来のシステム構成を変更する必要がほとんどなく、例えば、既存の発光コントローラを置き換えるだけで、本検査システム１００を安価かつ迅速に構築できる。

また、前記各機器の台数を変更しても、そのシステム構成に応じた設定入力画面が自動的に作成されるし、検証データの内容もそれに応じて自動的に変更されるので、例えばそのためのコーディング作業等が削減でき、開発時間の短縮を図れる。さらに、システムの運用オペレータにとっても非常に取り扱いやすいものになる。その結果、ユーザの要望に応じたシステムを柔軟に構築できるし、途中でシステム構成を変更することも容易にできる。

なお、本発明は前記実施形態に限られるものではない。
例えば、同期コントローラを、独立して設けてもよいし、あるいは、撮像装置や判定装置にその機能を担わせてもよい。

この検査システムを、インターネットなどの通信網に接続しておけば、前記検証データを遠隔で監視でき、ユーザのみならずサプライヤーによる点検保守や動作監視に資することができるようになる。また、そのようにして収集された各ユーザからの検証データによって、改良や新製品の開発に役立てることができるようにもなる。
発光検知器を有さない、すなわち、発光結果データの無い検査システムでも構わない。その場合、検証データには、発光結果データ及びその受信の有無は存在しなくなる。

発光検知器は、光センサのみならず、例えば発光器の内部を流れる電流をモニターする電流センサなど、要するに、発光器の明るさや、点灯／消灯を検知できるものであればよい。

撮像装置に発光検知器としての機能を担わせてもよい。このようにすれば、専用の発光検知器が不要になるというメリットがある。

その場合、画像データから発光結果データを生成する発光結果データ生成部が必要となる。この発光結果データ生成部による、画像データから発光結果データを生成する具体的な手法としては、画像データにおいて、対象物が写り込まない領域の画素は、発光器の光量を示していると考えられるから、その画素の値をもって発光結果データとすることが挙げられる。その他、画像データの平均的な明るさをもって発光結果データとするなど、他にも種々考えられる。

また、該発光結果データ生成部は、同期コントローラ、撮像装置、判定装置のいずれかに設ければよい。

同期コントローラに発光結果データ生成部が設けられた場合は、撮像装置から画像データが同期コントローラに送信され、そこで発光結果データが生成される。撮像装置又は判定装置に発光結果データ生成部が設けられた場合は、そこで生成された発光結果データが同期コントローラに送信される。

さらに撮像装置に発光検知器としての機能を担わせ、かつ、別途、光センサなどの専用の発光検知器を設けてもよい。このようにすれば、撮像装置による発光結果データと、発光検知器による発光結果データとを比較することにより、発光検知の動作異常をも精度よく検出できる。具体的にいえば、双方の発光結果データが食い違っていた場合、発光器２１か撮像装置３のいずれかに異常が生じていることがわかる。

その他、本発明はその趣旨に反しない限りにおいて様々な変形を行ったり、各実施形態の一部同士を組み合わせたりしてもよい。

１００・・・検査システム
２１・・・発光器
３・・・撮像装置
４・・・判定装置
５・・・発光検知器
２２・・・発光コントローラ（同期コントローラ）
２２ｂ・・・指令信号送信部
２２ｃ・・・結果データ受信部
２２ｄ・・・検証データ生成部
Ｗ・・・ワーク（対象物）

Claims (10)

1. 検査開始タイミングを定めるトリガー信号をきっかけとして、検査の対象物に光を照射する発光器及び前記対象物を撮像する撮像装置と、前記撮像装置から出力される画像データに基づいて前記対象物を検査し、その検査結果データを出力する判定装置とを備えたものであって、
   前記発光器及び撮像装置を同期動作させる同期コントローラをさらに備え、
   該同期コントローラが、
   前記発光器に対する発光指令信号及び前記撮像装置に対する撮像指令信号を、前記トリガー信号の受信タイミングに基づいてそれぞれ送信する指令信号送信部と、
   前記撮像装置の画像データに基づく検査結果データを、前記判定装置から受信する結果データ受信部と、
   前記各指令信号又はその送信有無、及び、前記検査結果データ又はその受信有無を、そのきっかけとなる前記トリガー信号に紐づけて検証データを生成し、該検証データをメモリの所定領域に格納する検証データ生成部とを備えたものであることを特徴とする検査システム。
2. 前記発光器の発光態様を制御する発光コントローラをさらに備え、該発光コントローラが、前記同期コントローラとしての機能を担うように構成されている請求項１記載の検査システム。
3. 前記対象物が所定位置に搬送されてきたことを検出する位置センサをさらに備え、該位置センサの検出信号を前記トリガー信号としている請求項１又は２記載の検査システム。
4. 前記結果データ受信部が、前記発光器による発光結果を示す発光結果データをさらに受信するものであり、
   前記検証データ生成部が、前記発光結果データ又はその受信有無を、そのきっかけとなる前記トリガー信号にさらに紐づけて検証データを生成するものである請求項１乃至３いずれかに記載の検査システム。
5. 前記発光器の光量を検知する発光検知器をさらに備えており、該発光検知器が検知した光量に関するデータが、前記発光結果データとして用いられている請求項４記載の検査システム。
6. 前記撮像装置が前記発光検知器としての機能を担っていて、専用の発光検知器が用いられておらず、該撮像装置が撮像した画像データに基づいて前記発光結果データが生成される請求項５記載の検査システム。
7. 前記同期コントローラが、前記発光器、撮像装置及び判定装置（以下、これらを区別しないときには機器という。）と有線又は無線で接続するための接続ポートと、該接続ポートに接続された前記各機器を検出する接続検出部とをさらに備えており、
   前記接続ポートが、前記各機器のうちの少なくとも１種類を複数台接続できるように構成されている請求項１乃至６いずれか記載の検査システム。
8. 前記同期コントローラが、前記トリガー信号の受信タイミングに対する前記各指令信号の出力タイミングを設定する設定部を備えており、
   該設定部が、前記接続検出部で検出された各機器の台数に応じた設定入力画面を出力するものである請求項７記載の検査システム。
9. 前記検証データ生成部が、前記接続検出部で検出された各機器の台数に応じた前記各指令信号、発光結果データ及び検査結果データを有する検証データを生成する請求項７又は８記載の検査システム。
10. 検査開始タイミングを定めるトリガー信号をきっかけとして、検査の対象物に光を照射する発光器及び前記対象物を撮像する撮像装置と、前記撮像装置から出力される画像データに基づいて前記対象物を検査し、その検査結果データを出力する判定装置とを備えた検査システムに用いられ、前記発光器の発光態様をコントロールする発光コントローラであって、
    前記発光器に対する発光指令信号及び前記撮像装置に対する撮像指令信号を生成し、前記トリガー信号の受信タイミングに基づいて、前記各指令信号をそれぞれ送信する指令信号送信部と、
    前記撮像装置の画像データに基づく検査結果データを、前記判定装置から受信する結果データ受信部と、
    前記各指令信号又はその送信有無、及び、前記検査結果データ又はその受信有無を、そのきっかけとなる前記トリガー信号に紐づけて検証データを生成し、該検証データをメモリの所定領域に格納する検証データ生成部とを備えたものであることを特徴とする発光コントローラ。