JP4765942B2 - 監視装置と監視方法、および制御装置と制御方法 - Google Patents

Description

本発明は、撮像画像に対して画像処理を行って監視あるいは制御する装置および方法に関する。

近年のビデオカメラや画像認識、画像処理の技術の発展に伴い、自動組立装置などの可動部材の動作を監視あるいは制御する分野で、画像認識を利用して監視あるいは制御を行う技術が開発されている。例えば、組立工程において、撮像された画像に対して画像認識を行なって工程を監視することが行なわれている。この場合、撮像された画像に対して画像認識を実行するタイミングは、可動部材の位置等を各種センサにより検出して、その検出信号を受けるプログラマブルロジックコントローラ（ＰＬＣ）によって与えられる。

自動組み立てや検査が行われる設備では、可動ユニットを高速に移動させること、あるいは複数の可動ユニットを同時に動作させることが多い。複数の可動ユニットが高速に移動する設備では、監視対象すなわち撮像対象である可動ユニットが、別の可動ユニットの動作により、カメラによる撮像を妨げられることがあった。例えば、撮像を妨げる可動ユニットが真空チャックを備える作業ロボットであれば、空気配管あるいは電気配線が束になっており、高速移動中には撮像画面に多大の影響を与える。このような場合、ＰＬＣは、画像処理の精度を保証するために、撮像を妨害する可能性のある可動ユニットが撮像の妨げにならない移動端に停止したことを判断して、撮像画像の画像処理を実行させる指令を出していた。その結果、画像処理の開始までに待ち時間が発生し、設備のサイクルタイムを短縮することが困難であった。

図１３（ａ）（ｂ）を参照して、従来の問題点を説明する。図１３の（ａ）は、従来の可動部材を有する設備の制御装置における監視あるいは制御のための画像処理を概念的に示した図であり、（ｂ）は、その画像処理のタイミングを説明するための図である。

設備７０は、第１の可動部材７１と第２の可動部材７２を備え、ビデオカメラ７３が第１の可動部材７１を監視している。ビデオカメラ７３で撮像された画像は、画像処理部７５に入力し、画像処理部７５では、ＰＬＣ７６からの命令に同期して画像処理を行なう。ＰＬＣ７６は、第１および第２の可動部材７１、７２の位置に関する信号をセンサ７４−１、７４−２から受信して、画像処理部７５において画像処理を開始するタイミングを決定する。画像処理の結果はＰＬＣに送られ、異常があれば設備を停止するなどの処置をとる。

第１の可動部材７１は、位置ｐ１とｐ２とを移動し、第２の可動部材７２は、位置ｐ３とｐ４とを移動する。第１の可動部材７１が、位置ｐ１に移動した後、第２の可動部材７２は、カメラ７３による第１の可動部材７１の撮像を妨げる位置ｐ４に移動し、その後位置ｐ３に戻るとする。

第１の可動部材７１を監視するために、第１の可動部材７１が位置ｐ１にあり、第２の可動部材７２が位置ｐ３にあるときに撮像された画像を画像処理する必要がある。そのために、従来は、センサ７４−２により第１の可動部材７１が位置ｐ１に停止していること、センサ７４−１により第２の部材７２が位置ｐ３にいることを確認した時点で、ＰＬＣ７６が画像処理部７５に画像処理の開始を指令するようにしている。

画像処理部７５による画像処理のタイミングを、図１３（ｂ）に示す。第１の可動部材７１が所定の位置に到達（ｔ１）してから、その上方に第２の可動部材７２が移動する。その後第２の可動部材７２が、第１の可動部材の上方から退避（ｔ２）したことを確認してから、撮像画像に対して画像処理が行われる。従来では、画像処理の精度を確保するために、第２の可動部材７２がカメラ７３の撮像を妨げない位置すなわち位置ｐ３にまで退避したことを確認するための待ち時間ＷＴが必要であった。この待ち時間ＷＴは、画像処理の精度に関係するので、短縮することは困難で、したがって、設備のサイクルタイムを短縮することも困難であった。このような画像処理の開始までの待ち時間が、例えば０．５秒であったとしても、サイクルタイムが３秒であれば、待ち時間の割合が大きく、サイクルタイムの短縮ができないばかりに、設備を増やさなければならないという問題も生じていた。

実開平５−４０９０８号公報 特開平９−７６１８５号公報

本発明は、上記の問題に鑑み、画像処理部による画像処理のタイミングを画像処理部で自律的に決定し、その結果設備の動作時間を短縮することができる監視装置、監視方法、および制御装置、制御方法を提供することを目的とする。

上記目的を達成するために、請求項１に記載の監視装置の発明は、第１の部材（３、１０）と、前記第１の部材に対して相対的に移動する第２の部材（５、４１、４３）と、前記第１の部材を撮像する撮像部（６、５１）と、前記撮像部により撮像された画像を処理する画像処理部（７、５３）を備え、前記第１の部材（３、１０）は、該第１の部材（３、１０）と前記第２の部材（５、４１、４３）との位置関係により、前記撮像部による撮像を妨げられることがある少なくとも１つの特徴部分（４、Ａ１、Ａ２、２５１、２５２）を有し、かつ前記第１の部材（３、１０）は可動部（３、１１〜２２）を有し、前記少なくとも１つの特徴部分（４、Ａ１、Ａ２）は、さらに前記第１の部材（３、１０）の可動部が停止していることを示すものであり、前記画像処理部（７、５３）は、前記撮像部（６、５１）により撮像された画像中の前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無を第１の画像処理により判断し、前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無に応じて、該画像に対して第２の画像処理を実行することを特徴とする。

請求項１の監視装置の発明では、第２の画像処理を実行するタイミングを画像処理部が自律的に決定するので、第１の部材あるいは第２の部材の位置の確定を待つことなく、第２の画像処理を実行することができる。また、第１の部材あるいは第２の部材の位置を検出するセンサを省略することもできる。さらに、第１の部材が可動部分を有していても、確実な監視を行うことができる。

請求項２に記載の監視装置の発明は、前記第２の部材（４１、４３）は可動部材であって、前記第１の部材に対して作業を行うロボットであることを特徴とする。これにより、ロボットの作業の前後を確実に監視することができる。

さらに請求項３に記載の制御装置の発明は、第１の部材（３、１０）と、前記第１の部材に対して相対的に移動する第２の部材（５、４１、４３）と、 前記第１の部材と前記第２の部材の少なくとも一方の動作を制御する動作制御部（８、５５）と、前記第１の部材を撮像する撮像部（６、５１）と、前記撮像部により撮像された画像を処理する画像処理部（７、５３）を備え、前記第１の部材（３、１０）は、該第１の部材（３、１０）と前記第２の部材（５、４１、４３）との位置関係に起因して前記撮像部による撮像を妨げられることがある少なくとも１つの特徴部分（４、Ａ１、Ａ２、２５１、２５２）を有し、前記画像処理部（７、５３）は、前記撮像部（６、５１）により撮像された画像中の前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無を第１の画像処理により判断し、前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無に応じて、該画像に対して第２の画像処理を実行し、該第２の画像処理の結果により前記動作制御部（８、５５）の制御を変更することを特徴とする。

請求項３の制御装置の発明では、第２の画像処理を実行するタイミングを画像処理部により自律的に決定するので、第１の部材あるいは第２の部材の位置の確定を待つことなく、第２の画像処理を実行することができ、制御のサイクルタイムを短縮することができる。また、第１の部材あるいは第２の部材の位置を検出するセンサを省略することもでき、装置自体を簡素化できる。

さらに、請求項４に記載の制御装置の発明は、前記第１の部材（３、１０）は可動部分を有し、前記少なくとも１つの特徴部分は、さらに前記第１の部材（３、１０）の可動部分が停止していることを示すことを特徴とする。これにより、第１の部材が可動部分を有していても、確実な制御を行うことができる。

請求項５に記載の制御装置の発明は、前記第２の可動部材（４１、４３）は、前記第１の部材に対して作業を行うロボットであることを特徴とする。これにより、ロボットの作業の前後を監視することができ、有効な制御を行うことができる。

請求項６に記載の制御方法の発明では、第１の部材（３、１０）に対して、第２の部材（５、４１、４３）を相対的に移動させる工程を含む制御方法であって、前記第１の部材（３、１０）に設けられた、該第１の部材（３、１０）と前記第２の部材（５、４１、４３）との位置関係により、撮像を妨げられることがある少なくとも１つの特徴部分（４、Ａ１、Ａ２、２５１、２５２）を含んで前記第１の部材を撮像し、前記第１の部材（３、１０）を撮像した画像に対して第１の画像処理を行なって、前記第１の部材を撮像した画像中の前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無を判定し、前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無に応じて、該画像に対して第２の画像処理を実行し、該第２の画像処理の結果により、制御の変更を行うことを特徴とする。

請求項６の制御方法の発明では、第２の画像処理を実行するタイミングを第１の画像処理により決定するので、第１の部材あるいは第２の部材の位置の確定を待つことなく、第２の画像処理を実行することができ、制御のサイクルタイムを短縮することができる。また、第１の部材あるいは第２の部材の位置を検出するセンサを省略することもできる。

以下、図面を参照して、本発明の実施の形態を説明するが、その前に、本発明の理解を容易にするために、図１３の従来例の問題点を説明する図と対比できる図により、本発明の概要を説明する。

図１は、本発明の概要を説明するための図である。設備１は、第１の可動部材３と第２の可動部材５を備え、第１の可動部材３を監視するために、第１の可動部材３を撮像するカメラ６が配置されている。図１では、カメラ６は、第１の可動部材３の真上に位置しているが、適宜角度をもたせて配置することもできる。カメラ６で撮像される画像は、画像処理部７に入力される。第１の可動部材３上には、第２の可動部材５により撮像が妨げられる場合がある部分に特徴部分４が指定されている。特徴部分４は、マーカを貼付してもよいし、第１の可動部材の他とは異なる箇所であってもよい。

画像処理部７では、カメラ６で撮像された画像を所定時間ごとに入力して、画像上の所定の位置に特徴部分４があるかないかを第１の画像処理で判定することにより、監視あるいは制御を目的とする第２の画像処理を開始するタイミングを自律的に決定する。すなわち、第１の可動部材３は、位置ｐ１とｐ２とを移動し、第２の可動部材５は、第１の可動部材３が位置ｐ１にあるときに、位置ｐ４に移動し、その後位置ｐ３に戻るとすると、画像上の所定の位置で、特徴点４を見出すことにより、第１の可動部材３は位置ｐ１にあり、第２の可動部材５は、撮像の妨げにならない位置にあることがわかる。位置ｐ３に移動するまであるいは移動したときの画像で特徴点４を見出すことができれば、その画像により目的とする第２の画像処理を行なうことができる。したがって、画像処理のタイミングを従来のような待ち時間をおくことなく決定することができる。そして、画像処理の結果はＰＬＣに送られ、異常があれば設備を停止するなど設備の制御を変更することができる。

このように、本発明によれば、カメラ６が撮像した画像の特徴点の存在を画像処理部７で判定して、画像処理部７が自律的に画像処理を行なうタイミングを見出す。したがって、従来のＰＬＣによる画像処理のタイミングの決定に比べて、第２の可動部材が移動端に戻ったことを確認する待ち時間を省略することができ、その分だけサイクルタイムを短縮することができる。さらに、第１および第２の部材の位置の確認のためのセンサも必要ではなくなる。

なお、図１は、本発明の概要を図１３の従来例に対比させて説明するためのものであり、本発明は、第１の可動部材および第２の可動部材の動きを図１に示す動きに限定するものではない。第２の可動部材の動きは、第１の可動部材の撮像に邪魔になるような動きを示すものであれば、どのような動きであってもよい。さらには、第１の部材と第２の部材が相対的に移動して、第２の部材が第１の部材のカメラによる撮像を妨害するような位置になることがあればよい。すなわち、第１の部材と第２の部材のどちらかが可動であればよく、両方ともに可動である必要はない。

以下、図２〜１２を参照して、本発明の１実施形態である部品洗浄設備の監視あるいは制御を説明する。

図２は、本発明の１実施形態である部品洗浄設備の概略を示す図であり、図３、４は、部品洗浄設備の部品洗浄機を説明する説明図である。

部品洗浄設備１００は、部品を洗浄するための部品洗浄機１０を備えている。部品洗浄機１０は、洗浄液３３が満たされた洗浄槽３０と、中心軸Ｏを中心に間歇的に回動するインデックス保持枠１１とを有する。インデックス保持枠１１の周縁部には、部品を保持するインデックス１２〜２３（図３、４参照）を、水平軸のまわりに揺動可能に保持している。インデックス保持枠１１は、中心軸Ｏを中心に間歇的に回動し、インデックス保持枠１１の下部に移動するインデックスが洗浄液３３を潜り抜けることによって、インデックスに保持された部品を洗浄する。

洗浄された部品をインデックスから取り出すために、作業ロボットである部品取出しローダ４１が配置されている。部品取出しローダ４１は、洗浄された部品を載置するインデックスが所定位置（図３、４：部品取り出しステーションＳＴ１参照）に到着して停止しているときに、洗浄された部品を取り出す。取り出された部品は、部品取出しローダ４１により組付けステーション（図示せず）に運ばれ、所定の位置に組み付けられる。

また、洗浄すべき部品をインデックスに投入するために、部品投入ローダ４３が配置される。部品投入ローダ４３は、洗浄済みの部品が取り出されたインデックスが、所定位置（図３、４：部品投入ステーションＳＴ３）に到着して停止しているときに、洗浄すべき部品を投入する。なお、投入される部品は、部品投入ローダが、部品を供給するパーツフィーダ（図示せず）から運んでくる。

本実施形態では、部品取り出しローダ４１および部品投入ローダ４３は、真空チャックを用いている。真空チャックは、気圧の差を利用して部品を吸着して取出し、部品の吸着を止めることにより、部品を投入あるいは組付けることができる。

洗浄された部品が取り出されたか、洗浄すべき部品が投入されたかを確認するために、例えば撮像素子としてＣＣＤを用いるビデオカメラのようなカメラ５１が設けられている。カメラ５１により撮像された画像は、連続的に所定のタイミング（例えば０．１秒ごと）で画像処理部５３に入力される。画像処理部５３は、撮像された画像に対して、後に説明するように自律的に同期をとり、部品の取出しおよび部品の投入をチェックするために最適なタイミングで画像処理を行なう。その結果、エラーが発見されると、設備１００を制御するＰＬＣ５５に、エラー信号を送り、ＰＬＣは、設備１００の動作を停止するように制御する。

図３は、図２のインデックス保持枠１１を説明するための説明図であり、図４は、インデックス保持枠１１の上面図である。インデックス保持枠１１は、鉛直面内に配置された円形の支持枠で、その周辺部に部品を保持する部品保持部材であるインデックス１２〜２３を支持している。インデックス１２は、部品保持部１２１〜１２３（図４参照）を有する。本実施形態では、部品保持部１２１は、スプリングを保持し、部品保持部１２２は、ワッシャを保持し、部品保持部１２３は、Ｅリングを保持している。その他のインデックス１３〜２３も、同一の構成をもつ。

インデックス１２〜２３は、中心角３０°毎に配置され、反時計回りに間歇的に３０°移動する。インデックス１２〜２３は、円形の軌道を描いて動くので、部品が落下しないように、揺動自在に、常に部品支持部が上になるように支持されている。しかしながら、図４に示すように、部品取出しステーションＳＴ１、部品投入ステーションＳＴ３では、部品の取出しあるいは投入のために、ロック部材２７、２８によりインデックスがロックされるようになっている。

図３は、洗浄槽３０の洗浄液３３に、インデックス１６〜２２が浸漬している状態を示す。インデックス保持枠１１は、間歇的に３０°回転するので、インデックス保持枠１１の回転により、インデックスは順次洗浄されてゆく。図３では、インデックス１２〜１４が、インデックス保持枠１１の上部にあり、カメラ５１はこのインデックス１２〜１４を監視する。なお、部品の取出しあるいは投入の際に、部品が洗浄槽内に落下するのを防ぐために、平板状の落下防止部材２５が設けられている。落下防止部材２５は、インデックス保持枠１１とは独立した部材で、洗浄槽３０に対して固定されている。

図３、４では、インデックス１２は、部品取出しステーションＳＴ１に停止している。インデックス１２が保持する洗浄済みの部品は、部品取出しローダにより取り出される。インデックス１３は、中間ステーションＳＴ２に停止している。中間ステーションには、部品取出しステーションＳＴ１で部品が取り出されたインデックスが到着するので、中間ステーションにある部品を監視することにより、部品取出しステーションＳＴ１での部品取り出しの確認を行うことできる。インデックス１４は、部品投入ステーションＳＴ３に停止している。部品投入ステーションＳＴ３では、部品投入ローダにより、インデックスの部品保持部に洗浄すべき部品が投入される。

前述のように、部品取出しローダ４１（図３参照）は、部品取出しステーションＳＴ１で、インデックスの部品保持部から洗浄済みのスプリング、ワッシャ、Ｅリングを取り出す。部品取出しローダ４１は、部品取出しステーションＳＴ１と、取り出した洗浄済み部品を組付ける組付けステーションとを往復する。また、部品投入ローダ４３（図３参照）は、部品投入ステーションＳＴ３で、インデックスの部品保持部に洗浄すべきスプリング、ワッシャ、Ｅリングを投入する。部品投入ローダ４３は、部品取出しステーションＳＴ３と、洗浄すべき部品を供給するパーツフィーダとを往復する。

図４は、カメラ５０により撮像される画面の一例でもある。本実施形態では、部品の取り出しあるいは投入のチェックのための画像処理の同期をとるために、インデックス静止検出エリアＡ１またはＡ２と、部品取出し用マーカ２５１、部品投入用マーカ２５２を設けている。インデックス静止検出用エリアＡ１またはＡ２は、インデックスが静止あるいは停止していることを検出するための画像処理エリアを示す。本実施形態では、監視対象画面に応じて、インデックス静止検出用エリアＡ１とＡ２は、どちらか一方のみを使用する。インデックス静止検出用エリアＡ１またはＡ２で、例えば形状パターンマッチングの手法によりインデックスを認識したときに、インデックスは静止あるいは停止していると判断する。インデックス静止検出用エリアは、エリアＡ１、Ａ２に限らず、画像処理によりインデックスが停止していることを判定できる個所であればどこに設定してもよい。

さらに、インデックスの静止を保証するために、ロック部材２７あるいは２８がロック位置にあるか否かを、画像上でのロック部材の位置により判断することを追加してもよい。例えば、インデックス静止エリアＡ２の画像とともに、ロック部材２７、２８の少なくとも１つの画像を使用して、ロックがかかっていることを確かめて、インデックスの静止を判断すれば、さらに確実にインデックスの静止が判断できる。

なお、インデックス静止検出エリアを設けたのは、インデックスにマーカを設けると、マーカはインデックスとともに洗浄液に浸漬して、洗浄液に悪影響を与える可能性があるからである。洗浄液に悪影響を与えなければ、インデックスにマーカを設けてもよい。

本実施形態では、部品取出し用マーカ２５１、部品投入用マーカ２５２は、例えば白い地色に黒い円を配したもので、撮像した画像から算出された黒い円の重心が所定の位置にあるか否かを判定して、各マーカの存在を認識することができる。

部品取出し用マーカ２５１は、固定部材である部品落下防止部材２５上の場所に設けられている。部品取出し用マーカ２５１は、部品取出しローダ４１が、部品取出しステーションＳＴ１に移動して部品を取出し、取り出した部品を保持して部品組付けステーションから移動するまで、部品取出しローダ４１により撮像が邪魔される。しかしながら、部品取出し用マーカ２５１は、部品取出しローダ４１が部品取り出しステーションＳＴ１から移動すると、撮像が可能となる。すなわち、撮像された画像中の部品取出し用マーカ２５１の像は、部品の取出し監視のための画像処理に不適な画像が撮像されているのか、あるいは部品の取出し監視のための画像処理に適する画像が撮像されているのかを、画像上で判断する指標となる。

部品投入用マーカ２５２も、固定部材である部品落下防止部材２５上の場所に設けられる。部品投入用マーカ２５２は、部品投入ローダ４３が部品取出しステーションＳＴ３に移動して部品を投入し、部品組付けステーションから移動するまで、部品投入ローダ４１により撮像が邪魔される。しかしながら、部品投入用マーカ２５２は、部品投入ローダ４３が部品取り出しステーションＳＴ３から移動すると、撮像が可能となる。すなわち、撮像された画像中の部品投入用マーカ２５２の像は、部品の投入監視のための画像処理に不適な画像が撮像されているのか、あるいは部品の投入監視のための画像処理に適する画像が撮像されているのかを、画像上で判断する指標となる。

部品取出し用マーカ２５１、部品投入用マーカ２５２は、特別にマーカを配置するのではなく、部品落下防止部材２５に、画像処理に適する画像か否かが判断できる場所にある周囲と識別できる例えばビスなどの部材あるいは特徴があればそれをマーカとすることもできる。

次に、図５を参照して、本実施形態で用いる、カメラと画像処理部とで構成される視覚装置を説明する。

ＣＣＤを用いた監視用カメラ５１はＵＳＢ接続のＵＳＢカメラであり、画像処理部５３にＵＳＢ２により接続されている。画像処理部５３は、出力部としての液晶モニタ５６に接続し、入力部としてのキーボード５７あるいはマウス（図示せず）等にＵＳＢハブ５９を介して接続される。ＵＳＢハブには、ドングルキー５８が接続され、画像者折ソフトの不正使用を防止することができる。このような構成で、オペレータは、画像処理部に入力された画像を、液晶モニタで確認することができる。また、キーボード５７あるいはマウスにより画像処理ソフトを操作することができる。

以下、具体的な部品取出しあるいは部品投入の監視あるいは確認動作を説明する。まず、部品投入ステーションＳＴ３の画像を対象にして、部品の取出しあるいは投入を監視する例を説明する。図６（ａ）（ｂ）（ｃ）、図７（ａ）（ｂ）は、カメラ５１により撮像された、部品投入ステーションＳＴ３の画像のいくつかを、本発明の説明のために抽出した例である。これらの画像は、具体的には、０．１秒間隔で画像処理装置に取り込まれる静止画像から抽出される。

ここで、図６、７の画像が、図４を９０度回転させたものとなっているのは、図６、７を、実際の監視画像に基づいて作成したことによるもので、画像の向きは、本発明に本質的なものでない。

図６（ａ）は、部品取出しステーションＳＴ１において取出しローダにより洗浄済み部品が取り出された後、投入ステーションにインデックス１４が到着した時点で撮像された画像である。撮像された画像からは、インデックス静止検出エリアＡ１にインデックス１４が撮像され、部品投入ローダ用マーカが撮像されている。これにより、インデックス１４が静止していること、部品投入ローダが撮像の邪魔をしていないことがわかる。したがって、この画像を用いて、画像処理部で部品保持部１４１、１４２、１４３の画像を解析する。解析手法は、公知のものを適宜使用できるが、本実施形態では、主として形状パターンマッチングを用いている。しかし、形状パターンマッチングは、エッジを検出するものであるから、実際の部品がなくても、部品の痕跡を誤判定してしまうことがある。このような場合は、画像を２値化して面積を求めて比較する方法を採用してもよい。いずれにしろ、適宜公知の画像処理技術を使用することができる。

このような画像処理により、部品保持部１４１〜１４３に部品が残っているか否かが判定される。部品が残っていなければ、次ぎの部品投入処理に進む。もし部品が残っていれば、このまま処理を進めれば、部品の２重投入となるので、エラー情報を発して、設備を止める。

次に図６（ｂ）は、部品投入ローダ４３が、投入ステーションＳＴ３に到着して、部品を投入している際の画像を示す。この画像では、インデックス静止検出エリアＡ１、部品投入ローダ用マーカは、ともに部品投入ローダ４３に邪魔されて、画像に写っていない。部品投入ローダ４３には、真空チャック用の配管あるいは電気配線（図示せず）が存在し、また高速動作する部品投入ローダ４３の画像は流れるので、部品投入ローダによる撮像画像への影響は、広い範囲に及ぶものである。

図６（ｃ）は、洗浄すべき部品がインデックス１４の部品保持部１４１、１４２、１４３を投入した後、部品投入ローダ４３が退避した時点の画像である。ここでは、インデックス静止検出エリアＡ１が検出され、部品投入ローダ用マーカ２５２が検出され、インデックス１４が静止していること、部品投入ローダが撮像の邪魔にならないことを示している。したがって、この画像を用いて、画像処理部で部品保持部１４１〜１４３の画像を解析する。このような画像処理により、部品保持部１４１〜１３にスプリング、ワッシャ、Ｅリングが投入されたかを確認できる。部品が投入されていれば、次ぎに進む。もし部品が投入されていなければ、エラー情報を発して、設備を止める。

図７（ａ）は、インデックスが３０°回転する途中の画像である。図７の画像では、インデックス１４が画面から去り、インデックス１３が、画面に現れている。ここには、インデックス静止検出エリアＡ１にインデックスが検出されていない。したがって、この画像では、部品の有無の判定に用いることはできないと判断されるので、そのための画像処理は行わない。なお、実際の画像では、インデックス回転中は、インデックスはもっとぶれてあるいは流れて写るものである。

図７（ｂ）は、投入ステーションにインデックス１３が到着した時点の画像である。この画像は、１サイクル進んだだけで図６（ａ）と同じ画像である。したがって、図６（ａ）を参照して説明した処理と同じ処理が行なわれることになる。

なお、図６、７では、投入ステーションＳＴ３のロック機構２８の画像は示されていないが、前述のように、インデックスの静止の確認の精度を上げるために、インデックス検出エリアＡ１と投入ローダ用マーカ２５２の確認だけでなく、投入ステーションＳＴ３にあるインデックスのロック機構２８が動作していることを画像上で確認するようにしてもよい。

また、インデックスの静止と投入ローダの退避を１箇所で判断できる部分があれば、その部分を画像上で確認することのみで、画像処理を開始するようにしてもよい。本実施形態では、インデックスのスプリングを保持するための部品保持部の形状あるいは台座、例えばインデックス１３では、その部品保持部１３１の形状あるいは台座を検出するようにすれば、この部品保持部の形状あるいは台座の検出のみに同期して、部品の有無を確認する画像処理を開始するようにできる。その他、インデックスの静止または投入ローダの退避を検出できる部分があれば、これを組み合わせて画像処理の開始の同期をとることができる。

以上の例では、部品投入ステーションＳＴ３に到着したインデックスのみを撮像した画像を用いるので、一画面で撮像できる撮像対象である一本のインデックスを大きく撮像でき、部品の有無の検出精度を上げることができる。

次に、図８を参照して、本実施形態の部品監視あるいは設備制御の処理動作のフローを説明する。

まず、ステップＳ１では、部品投入ステーションＳＴ３にあるインデックス静止検出エリアＡ１の画像を確認して、インデックスが静止している否かを判定する。インデックスが回転中で停止していない場合は、ステップＳ１を繰り返す。インデックスが静止していると判定されれば、ステップＳ２に進む。

ステップＳ２では、投入ローダ用マーカ２５２の画像を確認して、投入ローダ４３が投入ステーションＳＴ３から退避したか否かが判定される。投入ローダ用マーカ２５２が確認できない場合は、投入ローダが退避していないと判断されるので、ステップＳ２を繰り返す。投入ローダ用マーカ２５２を確認すると、投入ローダ４３が退避したと判断される。ステップＳ１とステップＳ２とが肯定的に判定されると、自律的に同期がとれたということになり、部品検出の画像解析に進む。

ステップＳ３〜Ｓ５は、すべての部品保持部に部品があるかないかを検出するステップである。部品投入前のチェックでは、すべての部品保持部に部品がおかれていないということを確認する。これに対して、部品投入後のチェックは、すべての部品保持部に部品がおかれていることを確認する。このようにして、二重組付けあるいは組付け忘れを防止することができる。

ステップＳ３では、Ｅリング用の部品保持部の画像を処理して、Ｅリングの有無を確認する。ステップＳ４では、ワッシャ用の部品保持部の画像を処理して、ワッシャの有無を確認する。ステップＳ５では、スプリング用の部品保持部の画像を処理して、スプリングの有無を確認する。なお、ステップＳ３〜Ｓ５の順番はこれに限定されるものではない。

ステップＳ３〜Ｓ５まで終了して、その結果により、例えば画像処理がうまく実行されていないものがあれば、画像処理のリトライを要求するか否かを判定する。リトライを要求しなければ、ステップＳ７に進み、ステップＳ３〜Ｓ５において、部品保持部の部品の有無について、満足すべき結果が得られたか否かが判定される。所望の結果が得られない場合、すなわち、少なくとも１つの部品保持部の画像について、部品投入後の画像にもかかわらず部品が検出できなかった場合や、部品投入前の画像に部品が検出された場合には、ステップＳ８に進み、エラー情報をＰＬＣに送り、設備の動作を停止する。

ステップＳ７において、ステップＳ３〜Ｓ５の結果がすべて満足すべきものである場合には、このフローを終了してステップＳ１に戻る。

次に図９〜１２は、部品取出しステーションと部品投入ステーションとを１枚の画像に撮像した例で、この画像を用いて、部品取出しステーションと部品投入ステーションとを同時に監視する例を説明する。

図９に示すように、この例では、画像処理を開始するための同期をとるために、取出しローダ用マーカ２５１と、投入ローダ用マーカ２５２と、インデックス静止検出エリアＡ２を使用する。もちろん、先の例にように、投入ステーションにあるインデックス静止検出エリアＡ１を使用してもよい。なお、インデックスの静止を確認するために、ロックがかかっているか否かをロック機構２７、２８の部材の位置で判定することを付加してもよい。

図９に示す画像は、取出しステーションＳＴ１にあるインデックス１２では、取出しローダ４１による部品取出し処理が終了し、取出しローダ４１は、組付けステーション側に移動し、また、投入ステーションＳＴ３にあるインデックス１４では、まだ投入ローダ４３による部品の投入が行われていない瞬間を撮像したものである。

撮像された図９の画像からは、インデックス静止検出エリアＡ２にインデックス１３が認識され、部品取出しローダ用マーカ２５１、部品投入ローダ用マーカ２５２が認識される。したがって、この画像から、インデックスは静止しており、部品取出しローダ４１は、取り出しステーションＳＴ１から退避し、部品投入ローダ４３は、部品投入ステーションから退避していることがわかる。

したがって、この画像を用いて、取出しステーションＳＴ１、中間ステーションＳＴ２、投入ステーションＳＴ３にあるそれぞれのインデックス１２〜１４の部品保持部の画像が処理され、部品の有無が判定される。

次に、投入ステーションＳＴ３に部品投入ローダ４１が移動し、インデックス１４の部品保持部１４１、１４２、１４３にＥリング、ワッシャ、スプリングを投入する。その後、部品投入ローダ４１は、パーツフィーダ側に移動する。

図１０に、部品投入後部品投入ローダが投入ステーションから移動した時点の画像を示す。このときも、インデックス静止検出エリアＡ２にインデックス１３が認識され、部品取出しローダ用マーカ２５１、部品投入ローダ用マーカ２５２が認識される。したがって、この画像を用いて、取出しステーションＳＴ１、中間ステーションＳＴ２、投入ステーションＳＴ３にあるそれぞれのインデックス１２〜１４の部品保持部の画像が処理され、部品の有無が判定される。

ここで、投入ステーションＳＴ３のインデックス１４に所定の部品があること、インデックス１２、１３に部品が存在しないことが確認されると、ロック機構２７、２８によるインデックスのロックがはずれ、インデックスが、反時計回りに３０°回転して、インデックス１４に保持された各部品は洗浄槽に向かう。この状態を図１１に示す。この状態では、インデックス検出エリアＡ２にインデックスが正しく認識されないので、この画像に対しては、画像処理は行なわない。

図１２は、インデックスが３０°回転し終わって、投入ステーションＳＴ３にインデックス１３が到着して静止し、中間ステーションＳＴ２は、インデックス１２が到着して静止している。取出しステーションＳＴ１では、洗浄済み部品を載置したインデックス２２が到着して、部品取出しローダ４１が、インデックス２２の部品保持部から部品が取り出す作業を行っている時点で撮像された画像である。この場合、図１２に見られるように、部品取出しローダ用マーカ２５１は、取出しローダ４１の画像の陰になって撮像されず、画像処理によっても当然認識されない。したがって、取出しステーションＳＴ１にあるインデックス２２の様子を検出することはできない。

しかしながら、インデックス静止検出エリアＡ２にインデックス１３が正しく認識され、部品投入ローダ用マーカ２５２が認識できるので、中間ステーションＳＴ２、投入ステーションＳＴ３のチェックは可能である。したがって、この画像では、中間ステーションＳＴ２にあるインデックス１４、投入ステーションＳＴ３にあるインデックス１３の部品保持部の部品の有無を判定する。

取出しステーションＳＴ１において、部品取出しローダ４１による部品取出し作業が終わって、部品取出しローダ４１が、取り出した部品を組付けるために、部品組付けステーションに移動すると、図９に示す画像と同一の状態に戻る。ただし、１サイクル進んでいるので、投入ステーションＳＴ３ではインデックス１３が停止し、中間ステーションＳＴ２ではインデックス１２が停止し、取出しステーションＳＴ１ではインデックス２２が停止する。この状態から図９〜図１２に示す処理が繰り返されることになる。

図９〜１２で示した例では、投入ステーションＳＴ３と取出しステーションＳＴ１と、さらには中間ステーションＳＴ２を含めて、同時にチェックすることができるので、投入ステーションＳＴ３のみを監視するのに比較して、よりリアルタイムでの判定が可能となる。

本例での画像処理の手法は、先に説明した手法と同様で、インデックス静止検出エリアＡ２でインデックス１４を認識するのは、形状パターンマッチングであり、部品取出しローダ用マーカ２５１、部品投入ローダ用マーカ２５２を認識するのは、重心検出である。また、インデックス１２〜１４の部品保持部の画像を認識するのは、形状パターンマッチングであり、必要であれば、二値化して面積比較を行なう処理を併用している。しかしながら、画像処理の手法はこれらに限定されるものではない。適宜公知の画像処理技術を使用することができる。

本発明の概念を説明するための図である。 本発明の１実施形態に用いる部品洗浄設備の概略を示す図である。 部品洗浄設備に用いる洗浄機を説明する図である。 図３の洗浄機の上面図である。 本発明の１実施形態に使用する視覚装置を示す図である。 （ａ）〜（ｃ）は、本発明の１実施形態の一例の動作を説明するための図（その１）である。 （ａ）、（ｂ）は、本発明の１実施形態の一例の動作を説明するための図（その２）である。 本発明の一実施形態の動作のフローを示す図である。 本発明の１実施形態の他の例の動作を説明するための図（その１）である。 本発明の１実施形態の他の例の動作を説明するための図（その２）である。 本発明の１実施形態の他の例の動作を説明するための図（その３）である。 本発明の１実施形態の他の例の動作を説明するための図（その４）である。 （ａ）、（ｂ）は、従来の駆動制御装置の問題点を説明するための図である。

符号の説明

１ 設備
３ 第１の部材
４ 特徴部分
５ 第２の部材
６ カメラ
７ 画像処理装置
８ ＰＬＣ
１００ 部材戦場装置
１０ 部材洗浄機
１１ インデックス保持部材
１２〜２２ インデックス
１２１、１２２、１２３ 部品保持部
１３１、１３２、１３３ 部品保持部
１４１、１４２、１４３ 部品保持部
２５ 部品落下防止部材
２５１ 取出しローダ用マーカ
２５２ 投入ローダ用マーカ
２７、２８ ロック部材
ＳＴ１ 部品取出しステーション
ＳＴ２ 中間ステーション
ＳＴ３ 部品投入ステーション
３０ 洗浄槽
３３ 洗浄液
４１ 部品取出しローダ
４３ 部品投入ローダ
５１ カメラ
５３ 画像処理部
５５ ＰＬＣ

Claims (6)

1. 第１の部材（３、１０）と、
   前記第１の部材に対して相対的に移動する第２の部材（５、４１、４３）と、
   前記第１の部材を撮像する撮像部（６、５１）と、
   前記撮像部により撮像された画像を処理する画像処理部（７、５３）
   を備え、
   前記第１の部材（３、１０）は、該第１の部材（３、１０）と前記第２の部材（５、４１、４３）との位置関係により、前記撮像部による撮像を妨げられることがある少なくとも１つの特徴部分（４、Ａ１、Ａ２、２５１、２５２）を有し、かつ前記第１の部材（３、１０）は可動部（３、１１〜２２）を有し、前記少なくとも１つの特徴部分（４、Ａ１、Ａ２）は、さらに前記第１の部材（３、１０）の可動部が停止していることを示すものであり、
   前記画像処理部（７、５３）は、前記撮像部（６、５１）により撮像された画像中の前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無を第１の画像処理により判断し、
   前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無に応じて、該画像に対して第２の画像処理を実行する、
   ことを特徴とする監視装置。
2. 前記第２の部材（４１、４３）は可動部材であって、前記第１の部材に対して作業を行うロボットであることを特徴とする請求項１に記載の監視装置。
3. 第１の部材（３、１０）と、
   前記第１の部材に対して相対的に移動する第２の部材（５、４１、４３）と、
   前記第１の部材と前記第２の部材の少なくとも一方の動作を制御する動作制御部（８、５５）と、
   前記第１の部材を撮像する撮像部（６、５１）と、
   前記撮像部により撮像された画像を処理する画像処理部（７、５３）
   を備え、
   前記第１の部材（３、１０）は、該第１の部材（３、１０）と前記第２の部材（５、４１、４３）との位置関係に起因して前記撮像部による撮像を妨げられることがある少なくとも１つの特徴部分（４、Ａ１、Ａ２、２５１、２５２）を有し、
   前記画像処理部（７、５３）は、前記撮像部（６、５１）により撮像された画像中の前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無を第１の画像処理により判断し、
   前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無に応じて、該画像に対して第２の画像処理を実行し、
   該第２の画像処理の結果により前記動作制御部（８、５５）の制御を変更する
   ことを特徴とする制御装置。
4. 前記第１の部材（３、１０）は可動部分を有し、前記少なくとも１つの特徴部分は、さらに前記第１の部材（３、１０）の可動部分が停止していることを示すことを特徴とする請求項３に記載の制御装置。
5. 前記第２の可動部材（４１、４３）は、前記第１の部材に対して作業を行うロボットであることを特徴とする請求項３または４に記載の制御装置。
6. 第１の部材（３、１０）に対して、第２の部材（５、４１、４３）を相対的に移動させる工程を含む制御方法であって、
   前記第１の部材（３、１０）に設けられた、該第１の部材（３、１０）と前記第２の部材（５、４１、４３）との位置関係により、撮像を妨げられることがある少なくとも１つの特徴部分（４、Ａ１、Ａ２、２５１、２５２）を含んで前記第１の部材を撮像し、
   前記第１の部材（３、１０）を撮像した画像に対して第１の画像処理を行なって、前記第１の部材を撮像した画像中の前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無を判定し、
   前記特徴部分（４、Ａ１、Ａ２、２５１、２５２）の有無に応じて、該画像に対して第２の画像処理を実行し、
   該第２の画像処理の結果により、制御の変更を行うことを特徴とする制御方法。

Images