JP6646034B2 - ロボットシステム - Google Patents

Description

本発明は、ロボットシステムに関し、特に、画像に基づいて被検査物の検査を行うロボットシステムに関するものである。

従来、ロボットに取り付けられたカメラによって被検査物の画像を取得し、被検査物の測長や外観検査等を画像に基づいて行うシステムが知られている（例えば、特許文献１および２参照。）。
一方、１台のカメラを複数台のロボットに順番に取り付けることで、複数組のロボットと計測対象物との相対位置姿勢の計測を１台のカメラを使用して行うシステムが知られている（例えば、特許文献３参照。）。

特開２０１０−０７６０５６号公報 特開２００５−１３１７６１号公報 特許第４１３７８６２号公報

特許文献１，２に開示されているような画像を用いた検査において、サイクルタイム短縮のために複数台のロボットによって作業を行うことがある。複数台のロボットにそれぞれカメラが取り付けられ、異なるカメラによって被検査物の画像を取得した場合、レンズの歪みのような光学系の特性の違いが画像に影響を与え、検査に使用される画像の品質にロボット間でばらつきが生じるという不都合がある。特に厳格な検査では、画像の品質が一定であることが要求される。特許文献３には、検査において１台のカメラを複数台のロボットで共有することは開示されていない。

本発明は、上述した事情に鑑みてなされたものであって、複数台のロボットによる画像を用いた検査において、一定の品質の画像を用いて検査を行うことができるロボットシステムを提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、複数台のロボットと、該複数台のロボットのそれぞれに取り付けおよび取り外し可能であり被検査物の画像を取得する撮像部と、前記複数台のロボットにそれぞれ接続され、前記撮像部によって取得された画像に基づいて前記被検査物を検査する複数の画像検査部とを備え、前記撮像部は、該撮像部の光学特性を示す光学特性データを含み前記画像検査部による検査に用いられる画像検査用データを保持し、前記撮像部が取り付けられている前記ロボットに接続されている前記画像検査部に前記画像検査用データを伝送するロボットシステムである。

本態様によれば、ロボットに取り付けられた撮像部がロボットの動作によって被検査物に対して位置決めおよび姿勢決めされ、撮像部によって被検査物の画像が取得される。取得された画像の品質は、撮像部の光学特性に影響される。例えば、撮像部のレンズの歪みに起因する収差が画像に生じる。撮像部には、当該撮像部の光学特性データを含む画像検査用データが保持されており、撮像部から該撮像部が接続されたロボットの画像検査部に画像検査用データが伝送される。したがって、画像検査部は、光学特性データに基づいて収差補正等の処理を画像に施すことで撮像部の光学特性の影響が排除された画像を得て、得られた画像を画像検査に使用することができる。

この場合に、撮像部が複数台のロボットに取り付けおよび取り外し可能であり、複数台のロボットは、同一の撮像部を順番に使用しながら画像取得作業を行う。したがって、複数台のロボットに接続された複数の画像検査部は、同一の撮像部によって取得され同一の光学特性データに基づいて収差補正等の処理が施された画像を検査に使用することができる。これにより、全ての画像検査部による検査に一定の品質の画像を用いることができ、検査の精度を安定化することができる。

上記態様においては、前記ロボットに前記撮像部を取り付けるツールチェンジャを備えていてもよい。
ツールチェンジャを利用することで、ロボットへの撮像部の取り付け作業および取り外し作業をロボットに実行させることができる。また、ロボットに接続されるツールを、撮像部と他のツールとの間で容易に交換することができる。

上記態様においては、前記撮像部および前記画像検査部に、前記画像検査用データを伝送する伝送ケーブルがそれぞれ接続され、前記ツールチェンジャが、前記撮像部の前記伝送ケーブルと前記画像検査部の前記伝送ケーブルとを接続する接続部を有していてもよい。
ツールチェンジャを介して撮像部がロボットに取り付けられたときに、撮像部の伝送ケーブルと画像検査部の伝送ケーブルとが接続部によって相互に接続される。また、撮像部がロボットから取り外されたときに、撮像部の伝送ケーブルと画像検査部の伝送ケーブルとが接続部によって相互に切断される。これにより、ロボットへの撮像部の取り付け時および取り外し時の伝送ケーブルの接続および切断の作業を排除することができる。

上記態様においては、前記撮像部の取り付け動作および取り外し動作を前記複数台のロボットに順番に実行させるように前記複数台のロボットを制御する生産管理装置を備えていてもよい。
このようにすることで、ロボットへの撮像部の取り付けおよび取り外しと、ロボット間での撮像部の受け渡しとをロボットに実行させることができる。

本発明によれば、複数台のロボットによる画像を用いた検査において、一定の品質の画像を用いて検査を行うことができるという効果を奏する。

本発明の一実施形態に係るロボットシステムの全体構成図である。 図１のロボットシステムの画像検査動作を示すフローチャートである。

以下に、本発明の一実施形態に係るロボットシステム１について図面を参照して説明する。
本実施形態に係るロボットシステム１は、被検査物Ａに対するカメラユニット２の位置および姿勢をロボット１１，１２によって制御し、カメラユニット２によって取得された被検査物Ａの画像に基づいて被検査物Ａの測長や外観検査等の検査を実行するものである。

ロボットシステム１は、図１に示されるように、複数台のロボット１１，１２と、複数台のロボット１１，１２によって共有される１台のカメラユニット（撮像部）２と、カメラユニット２を各ロボット１１，１２に取り付けるツールチェンジャ３と、ロボット１１，１２にそれぞれ接続された複数台のロボット制御装置４１，４２と、ロボット制御装置４１，４２にそれぞれ接続された複数台の画像処理装置（画像検査部）５１，５２と、ロボットシステム１全体を管理および制御する生産管理装置６とを備えている。

図１には、一例として、１台のカメラユニット２が２台のロボット１１，１２によって共有されるロボットシステム１が示されているが、１台のカメラユニット２が３台以上のロボットによって共有されるように構成されていてもよい。

ロボット１１，１２は、画像検査に一般に使用される任意の種類の産業用のロボットである。図１には、一例として、６軸多関節型のロボット１１，１２が示されている。ロボット１１，１２は、アーム１１ａ，１２ａと、アーム１１ａ，１２ａの先端に設けられツールチェンジャ３を介してカメラユニット２が取り付けられる取付フランジ１１ｂ，１２ｂとをそれぞれ有している。

カメラユニット２は、被検査物Ａの画像を取得するカメラ２ａと、記憶装置２ｂとを備えている。
記憶装置２ｂには、画像処理装置５１，５２による画像処理に使用される画像検査用データが予め記憶されている。画像検査用データには、焦点距離やレンズの歪み等のカメラ２ａの光学特性を示す光学特性データが含まれる。画像検査用データには、画像処理装置５１，５２による画像処理に必要な他のデータ、例えば、画像内の被検査物Ａを認識するための被検査物Ａのテンプレート画像および被検査物Ａの検査部位の位置情報等がさらに含まれていてもよい。

記憶装置２ｂには、ロボット１１，１２およびカメラユニット２の画像検査時の動作を制御する動作プログラムが予め記憶されている。また、記憶装置２ｂには、カメラ２ａによって取得された画像が記憶される。
記憶装置２ｂに記憶されている画像検査用データおよび動作プログラムが破損した場合等に備えて、画像検査用データおよび動作プログラムのバックアップデータが、ロボットシステム１が備える他の記憶装置（例えば、生産管理装置６の記憶装置）に保存されていてもよい。

ツールチェンジャ３は、各取付フランジ１１ｂ，１２ｂに取り付けられたロボット側アダプタ３ａと、カメラユニット２に取り付けられたツール側アダプタ３ｂとを備えている。ロボット１１，１２は、ロボット側アダプタ３ａに空気圧または電気信号を送ることによってロボット側アダプタ３ａとツール側アダプタ３ｂとを接続および分離し、それにより、取付フランジ１１ｂ，１２ｂへのカメラユニット２の取り付けおよび取り外しを行う。

カメラユニット２の他に、ツール側アダプタ３ｂが取り付けられた他のツール（例えば、被検査物Ａのハンドリング用のハンドや、被検査物Ａの加工用のツール）が用意され、ロボット１１，１２が、カメラユニット２と他のツールとを交換しながら複数種類の作業を順番に行うようになっていてもよい。

アダプタ３ａ，３ｂには、アダプタ３ａ，３ｂ同士が接続されたときに相互に接続される接続部７１，７２がそれぞれ設けられている。画像処理装置５１は、ロボット１１のロボット側アダプタ３ａの接続部７１と伝送ケーブル８１によって接続されている。画像処理装置５２は、ロボット１２のロボット側アダプタ３ａの接続部７１と伝送ケーブル８１によって接続されている。カメラユニット２は、ツール側アダプタ３ｂの接続部７２と伝送ケーブル８２によって接続されている。
したがって、ツールチェンジャ３を介して取付フランジ１１ｂにカメラユニット２が接続されたときにカメラユニット２が画像処理装置５１と伝送ケーブル８１，８２によって自動的に接続され、ツールチェンジャ３を介して取付フランジ１２ｂにカメラユニット２が接続されたときにカメラユニット２が画像処理装置５２と伝送ケーブル８１，８２によって自動的に接続されるようになっている。

カメラユニット２が画像処理装置５１または５２に接続されると、画像処理装置５１または５２からカメラユニット２へ伝送ケーブル８１，８２を経由して電源が供給され、電源供給によって起動したカメラユニット２から画像処理装置５１または５２へ画像検査用データおよび動作プログラムが伝送ケーブル８１，８２を経由して伝送されるようになっている。その後、カメラ２ａによって取得された画像が、カメラユニット２から画像処理装置５１または５２へ伝送ケーブル８１，８２を経由して伝送される。

ロボット１１，１２が高速で動作しながらカメラユニット２が短時間に多数枚の画像を取得する場合には、短時間に多数枚の画像をカメラユニット２から画像処理装置５１，５２に伝送する必要がある。したがって、高速伝送可能な伝送ケーブル８１，８２を使用することが好ましい。

各ロボット制御装置４１，４２は、記憶装置（図示略）と、中央演算処理装置のようなプロセッサ（図示略）とを備えている。記憶装置には、ロボット１１，１２の動作を制御するための種々のプログラムが記憶されている。プロセッサがプログラムに従って動作することで、ロボット制御装置４１，４２によるロボット１１，１２の制御が実現されるようになっている。

ロボット制御装置４１，４２は、取付フランジ１１ｂ，１２ｂへのカメラユニット２の取り付け動作と、取付フランジ１１ｂ，１２ｂからのカメラユニット２の取り外し動作とをロボット１１，１２に実行させる。例えば、取り付け動作において、ロボット１１，１２は、アーム１１ａを動作させて取付フランジ１１ｂ，１２ｂをカメラユニット２が配置されている所定の位置まで移動させ、取付フランジ１１ｂ，１２ｂにカメラユニット２を取り付ける。取り外し動作において、ロボット１１，１２は、アーム１１ａを動作させて取付フランジ１１ｂ，１２ｂを所定の位置まで移動させ、取付フランジ１１ｂ，１２ｂからカメラユニット２を取り外してカメラユニット２を所定の位置に配置する。

また、取付フランジ１１ｂ，１２ｂにカメラユニット２が取り付けられた後、ロボット制御装置４１，４２は、カメラユニット２から画像処理装置５１，５２に伝送された動作プログラムを画像処理装置５１，５２から受け取り、動作プログラムを記憶装置に記憶させる。次に、ロボット制御装置４１，４２は、動作プログラムに従ってロボット１１，１２およびロボット１１，１２にツールチェンジャ３を介して接続されたカメラユニット２を制御する。具体的には、ロボット制御装置４１，４２は、ロボット１１，１２のアーム１１ａ，１２ａを動かすことでカメラユニット２を被検査物Ａに対して所定の位置および所定の姿勢に配置し、カメラ２ａに被検査物Ａの画像取得を実行させる。

ロボット１１，１２とカメラユニット２との相対位置、カメラユニット２から被検査物Ａまでの撮影距離、被検査物Ａが載置される台の傾き等の撮影条件が、ロボット１１，１２間で異なり得る。このような撮影条件の差異がロボット１１，１２間に存在する場合には、カメラ２ａによって取得された被検査物Ａの画像を撮影条件に応じて補正するためのキャリブレーションデータが、ロボット制御装置４１，４２の記憶装置に予め記憶されていてもよい。このキャリブレーションデータは、ロボット制御装置４１，４２から画像処理装置５１，５２へ伝送され、画像処理装置５１，５２によって使用される。

画像処理装置５１，５２は、伝送ケーブル８１，８２によって接続されたカメラユニット２への電源供給を行う。
各画像処理装置５１，５２は、記憶装置（図示略）と、中央演算処理装置のようなプロセッサ（図示略）とを備えている。記憶装置には、画像検査用の画像処理プログラムが記憶されている。画像処理装置５１，５２がカメラユニット２から被検査物Ａの画像を受け取ると、プロセッサが画像検査用データを使用した画像処理を画像処理プログラムに従って画像に施すことで、画像処理装置５１，５２による被検査物Ａの画像検査処理が実現されるようになっている。

カメラ２ａによって取得された画像には、カメラ２ａのレンズの歪み等に起因する収差が生じる。被検査物Ａの画像検査処理において、まず、画像処理装置５１，５２は、カメラ２ａの光学特性データに基づいて画像の収差を補正する。カメラユニット２から画像処理装置５１，５２に伝送される画像検査用データに収差補正用のキャリブレーションデータが含まれており、キャリブレーションデータを使用して画像処理装置５１，５２が収差補正を行ってもよい。
収差補正後、画像処理装置５１，５２は、ロボット制御装置４１，４２からのキャリブレーションデータに基づいて画像をさらに補正してもよい。

次に、画像処理装置５１，５２は、収差補正が施された画像に基づいて被検査物Ａの検査を行う。例えば、画像処理装置５１，５２は、テンプレート画像を使用したテンプレートマッチングによって画像内の被検査物Ａを認識し、検査部位の位置情報に基づいて被検査物Ａの検査部位をエッジ抽出等によって検出し、検出された検査部位の長さを測定する。
図１には、ロボット制御装置４１，４２とは別体の画像処理装置５１，５２が示されているが、画像処理装置５１，５２は、ロボット制御装置４１，４２の機能の一部として実現されてもよい。

生産管理装置６は、図示しない配線によってロボット制御装置４１，４２と接続されている。生産管理装置６は、カメラユニット２の取り付け動作および取り外し動作を２台のロボット１１，１２に順番に実行させるように、ロボット制御装置４１，４２を制御する。

次に、被検査物Ａの画像検査時のロボットシステム１の動作について図２を参照して説明する。
第１のロボット１１が取付フランジ１１ｂにツールチェンジャ３を介してカメラユニット２を取り付けると（ステップＳ１）、画像処理装置５１からカメラユニット２への電源供給が開始され、カメラユニット２からツールチェンジャ３を経由して画像処理装置５１へ画像検査用データが伝送される（ステップＳ２）。また、ステップＳ２において、ロボット１１およびカメラユニット２の動作プログラムがカメラユニット２から画像処理装置５１を経由してロボット制御装置４１に伝送され、ロボット制御装置４１に動作プログラムが設定される。

次に、動作プログラムに従って、ロボット制御装置４１が第１のロボット１１およびカメラユニット２に被検査物Ａの画像の取得を実行させる（ステップＳ３）。具体的には、アーム１１ａの動作によってカメラユニット２が所定の位置に所定の姿勢で配置され、カメラ２ａが被検査物Ａの画像を取得する。取得された画像は、カメラユニット２から画像処理装置５１に伝送される。
次に、画像処理装置５１において、カメラ２ａの光学特性データに基づいて被検査物Ａの画像に収差補正処理が施され、続いて、被検査物Ａの測長または外観検査等の画像検査処理が実行される（ステップＳ４）。
次に、画像処理装置５１からカメラユニット２への電源供給が停止され、第１のロボット１１が取付フランジ１１ｂからカメラユニット２を取り外す（ステップＳ５）。ステップＳ５の後、ロボット１１は、例えば、被検査物Ａの搬送等の作業を行う。

次に、第２のロボット１２が取付フランジ１２ｂにツールチェンジャ３を介してカメラユニット２を取り付けると（ステップＳ６）、画像処理装置５２からカメラユニット２への電源供給が開始され、カメラユニット２からツールチェンジャ３を経由して画像処理装置５２へ画像検査用データが伝送される（ステップＳ７）。ステップＳ７において、ステップＳ２と同様に、ロボット１２およびカメラユニット２の動作プログラムがカメラユニット２からロボット制御装置４２に伝送され、ロボット制御装置４２に動作プログラムが設定される。

次に、ステップＳ３と同様に、動作プログラムに従って、ロボット制御装置４２が第２のロボット１２およびカメラユニット２に被検査物Ａの画像の取得を実行させる（ステップＳ８）。
次に、ステップＳ４と同様に、画像処理装置５２において、カメラ２ａの光学特性データに基づいて被検査物Ａの画像に収差補正処理が施され、続いて、被検査物Ａの測長または外観検査等の画像検査処理が実行される（ステップＳ９）。
次に、画像処理装置５２からカメラユニット２への電源供給が停止され、第２のロボット１２が取付フランジ１２ｂからカメラユニット２を取り外す（ステップＳ１０）。ステップＳ１０の後、ロボット１２は、例えば、被検査物Ａの搬送等の作業を行う。
以下、ステップＳ１〜Ｓ１０が繰り返される。

ステップＳ３で多数枚の画像を取得する場合等、ステップＳ４での画像処理装置５１による画像処理には時間（例えば、数秒から数十秒）を要することがある。このような場合には、ステップＳ３の直後にステップＳ５のカメラユニット２の取り外しを実行し、ステップＳ８において第２のロボット１２が画像取得作業を行っている間に、ステップＳ４の画像処理装置５１による画像処理を実行してもよい。このように画像処理装置５１による画像処理と第２のロボット１２による画像取得作業とを並行して実行することで、サイクルタイムを短縮することができる。
同様に、ステップＳ８の直後にステップＳ１０のカメラユニット２の取り外しを実行し、次のステップＳ４の第１のロボット１１による画像取得作業とステップＳ９の画像処理装置５２による画像処理とを並行して実行してもよい。

上述したように、カメラ２ａは、レンズの歪み等の固有の光学特性を有する。したがって、ロボット１１用およびロボット１２用に２台のカメラユニットを用意した場合、２台のカメラユニットによって取得される被検査物Ａの画像の品質に差異が生じ、２台の画像処理装置５１，５２による画像検査結果にも画像の品質の差異に起因する差異が生じ得る。したがって、例えば被検査物Ａの厳密な検査では、画像の品質が一定であることが求められる。

本実施形態によれば、カメラ２ａの光学特性データを保持する１台のカメラユニット２が複数台のロボット１１，１２によって共有される。そして、カメラユニット２から当該カメラユニット２が取り付けられたロボット１１，１２の画像処理装置５１，５２に光学特性データが伝送される。したがって、複数台の画像処理装置５１，５２は、同一のカメラ２ａによって取得され同一の光学特性データに基づいて補正された画像を画像検査処理に用いることができる。すなわち、複数台の画像処理装置５１，５２によって一定の品質の画像を用いて画像検査を行うことができ、画像検査の精度を安定化することができるという利点がある。

また、複数組のロボット１１，１２および画像処理装置５１，５２に対して、作成および管理する画像検査用データは１つのみであるので、画像検査用データの作成および管理に要する作業を減らすことができるという利点がある。
また、複数台のロボット１１，１２に対してカメラユニット２は１台のみで足りるので、ロボットシステム１の製品コストを削減することができるという利点がある。

また、１台のカメラユニット２を複数台のロボット１１，１２によって共有する場合、カメラユニット２と画像処理装置５１，５２とを接続するケーブルの配線が問題となる。すなわち、カメラユニット２が複数台の画像処理装置５１，５２とケーブルによって接続された状態のままカメラユニット２を複数台のロボット１１，１２によって共有した場合、ケーブルによってロボット１１，１２の動作範囲が制限されたり、動作するロボット１１，１２にケーブルが干渉したりし得る。本実施形態によれば、ロボット１１，１２へのカメラユニット２の取り付けに接続部７１，７２を有するツールチェンジャ３を使用することで、上記のケーブルの問題を解消することができる。

本実施形態においては、カメラユニット２から画像処理装置５１，５２へ伝送ケーブル８１，８２によって画像検査用データを伝送することとしたが、これに代えて、無線によって画像検査用データを伝送してもよい。
本実施形態においては、カメラユニット２がツールチェンジャ３を介してロボット１１，１２に取り付けられることとしたが、これに代えて、カメラユニット２が取付フランジ１１ｂ，１２ｂに直接取り付けられてもよい。

本実施形態においては、ロボット１１，１２へのカメラユニット２の取り付けおよび取り外しをロボット１１，１２自身が実行することとしたが、これに代えて、作業者が行ってもよい。
本実施形態においては、相互に近傍に配置されている２台のロボット１１，１２が、カメラユニット２をそれぞれ取りに行く場合について例示したが、生産管理装置６が、現在カメラユニット２が取り付けられているロボットから次にカメラユニット２を使用するロボットへカメラユニット２を搬送するように、図示しない搬送装置または搬送用ロボットを制御してもよい。

１ ロボットシステム
１１，１２ ロボット
１１ａ，１２ａ アーム
１１ｂ，１２ｂ 取付フランジ
２ カメラユニット（撮像部）
２ａ カメラ
２ｂ 記憶装置
３ ツールチェンジャ
３ａ ロボット側アダプタ
３ｂ ツール側アダプタ
４１，４２ ロボット制御装置
５１，５２ 画像処理装置（画像検査部）
６ 生産管理装置
７１，７２ 接続部
８１，８２ 伝送ケーブル
Ａ 被検査物

Claims (4)

1. 複数台のロボットと、
   該複数台のロボットのそれぞれに取り付けおよび取り外し可能であり被検査物の画像を取得する撮像部と、
   前記複数台のロボットにそれぞれ接続され、前記撮像部によって取得された画像に基づいて前記被検査物を検査する複数の画像検査部とを備え、
   前記撮像部は、該撮像部の光学特性を示す光学特性データを含み前記画像検査部による検査に用いられる画像検査用データを保持し、前記撮像部が取り付けられている前記ロボットに接続されている前記画像検査部に前記画像検査用データを伝送するロボットシステム。
2. 前記ロボットに前記撮像部を取り付けるツールチェンジャを備える請求項１に記載のロボットシステム。
3. 前記撮像部および前記画像検査部に、前記画像検査用データを伝送する伝送ケーブルがそれぞれ接続され、
   前記ツールチェンジャが、前記撮像部の前記伝送ケーブルと前記画像検査部の前記伝送ケーブルとを接続する接続部を有する請求項２に記載のロボットシステム。
4. 前記撮像部の取り付け動作および取り外し動作を前記複数台のロボットに順番に実行させるように前記複数台のロボットを制御する生産管理装置を備える請求項１から請求項３のいずれかに記載のロボットシステム。

Images