JP7112528B2 - 作業座標作成装置 - Google Patents

Description

本明細書は、作業ロボットの作業対象となるターゲットの作業領域を表す作業座標を作成する装置に関する。

工場や事業所などの自動化、省力化を推進するために、作業ロボットが広く用いられている。多くの作業ロボットは、作業対象となるターゲットに作用したりワークを保持したりするエンドエフェクタを備える。また、多くの作業ロボットは、カメラを用いてターゲットを撮像し、ターゲットの作業領域を表す作業座標を取得して作業を進める。この種の作業座標の取得に関する一技術例が、特許文献１に開示されている。

特許文献１のロボット制御方法は、可搬型カメラで作業対象物を撮像して取得した画像データからマーカを撮像できる初期位置を得る第１画像処理工程と、初期位置へロボットハンドを移動させる初期移動工程と、ロボットハンドの小型カメラでマーカを撮像して取得した画像データからマーカの位置誤差を検出する第２画像処理工程と、を含む。これによれば、作業者がティーチングペンダントなどを操作してロボットハンドの位置の変更を繰り返すティーチング作業が不要となり、作業者の負荷が軽減される、とされている。

特開２０１１－１１０６２７号公報

ところで、特許文献１では、２回の撮像によりマーカの正確な位置を検出し、以降の作業の無人化を実現している。この前提として、ターゲット（作業対象物）のＣＡＤ情報などにより、ターゲット上における作業領域とマーカの位置関係が既知であることが条件となる。換言すると、ターゲット上の局所座標系において、作業領域を表す作業座標やマーカの位置座標が既知の一定値で表わされることが条件となる。したがって、特許文献１の技術は、ターゲットのＣＡＤ情報などの詳細情報が開示されない場合や、ターゲットにマーカが付設されていない場合には、適用することができない。

例えば、ＣＡＤ情報が添付されることなくターゲットの現物が支給され、作業領域の形状に関する形状情報が添付される場合が往々にして発生する。この場合、オペレータは、実際のターゲットをノギスなどで手動測定して、ターゲット上の作業座標を設定する。あるいは、オペレータは、特許文献１に記載されたようにティーチングペンダントを操作するティーチング作業を実施する。手動測定およびティーチング作業のどちらも、時間と手間がかかるという問題点がある。さらには、オペレータの設定誤りや操作誤りのおそれがある。

また、複数のターゲットにおいて作業領域の配置位置に個体差が有る場合や、ターゲットの搬入位置に位置誤差が生じる場合がある。これらの場合、ターゲット上の局所座標系で作業座標が求められていても、作業ロボットの基準座標系で表わされる作業座標をターゲットごとに作成することが難しい。

本明細書では、ターゲット上の作業領域を表す局所座標系の作業座標が未知であっても、作業領域の形状に関する形状情報を用いて、作業ロボットの基準座標系で表わされる作業座標をターゲットごとに作成することができる作業座標作成装置を提供することを解決すべき課題とする。

本明細書は、作業実施箇所に搬入されて作業ロボットの作業対象となるターゲットに光学的に区画された作業領域の形状に関する形状情報を登録する形状登録部と、搬入された第一の前記ターゲットをカメラで撮像して第一画像データを取得し、前記形状情報を用いて前記第一画像データ内の少なくとも一部の領域を探索することにより、第一の前記ターゲットの前記作業領域を認識する第一認識部と、前記第一認識部の認識結果に基づいて、第一の前記ターゲットの前記作業領域を表す第一作業座標を作成する第一座標作成部と、 搬入された第二の前記ターゲットを前記カメラで撮像して第二画像データを取得し、前記第二画像データ内の領域であって前記第一認識部が探索した領域よりも狭い前記領域を探索することにより、第二の前記ターゲットの前記作業領域の位置に関する情報を認識する第二認識部と、前記第一作業座標および前記第二認識部の認識結果に基づいて、第二の前記ターゲットの前記作業領域を表す第二作業座標を作成する第二座標作成部と、を備える作業座標作成装置を開示する。

本明細書で開示する作業座標作成装置では、ターゲット上の作業領域の形状に関する形状情報を登録し、この形状情報を用いて第一のターゲットの第一画像データ内を探索することにより、第一作業座標を作成することができる。また、第二のターゲットの第二画像データ内の狭い領域を探索することにより、第二作業座標を作成することができる。さらに、第三以降のターゲットについても、第二のターゲットと同様にして作業座標を作成することができる。したがって、ターゲット上の作業領域を表す局所座標系の作業座標が未知であっても、作業ロボットの基準座標系で表わされる作業座標をターゲットごとに作成することができる。

第１実施形態の作業座標作成装置が適用される作業ロボットの構成を模式的に示した正面図である。 作業座標作成装置の機能構成を示すブロック図である。 第１実施形態で使用されるターゲットの平面図である。 作業座標作成装置の動作を示す制御装置の動作フローの図である。 形状登録部が形状情報を取得する第一の取得方法を概念的に説明する図である。 形状登録部が形状情報を取得する第二の取得方法を概念的に説明する図である。 作業座標作成装置の動作および作用を模式的に説明する図である。 第２実施形態の作業座標作成装置が適用される作業ロボットの構成を模式的に示した斜視図である。 第２実施形態で使用されるターゲットの平面図である。 第２実施形態の作業座標作成装置の動作を示す動作フローの図である。 第一のターゲットの第一搬入位置の事例を示した第一画像データの図である。 第二のターゲットの第二搬入位置の事例を示した第二画像データの図である。 第２実施形態の応用例において、第二座標作成部の機能を説明する第二画像データの図である。

１．作業ロボット１の構成
まず、第１実施形態の作業座標作成装置が適用される作業ロボット１の構成について、図１および図２を参考にして説明する。作業ロボット１は、作業実施箇所に順番に搬入される複数のターゲット８の作業領域８１（図３参照）を対象として作業を実施する。作業の内容として、部品の配置作業や、電気回路の配線作業を例示でき、これらに限定されない。作業ロボット１は、Ｘ軸およびＹ軸が水平面内で直交する基準座標系が定められている。作業ロボット１は、基準座標系で表わされる座標に基づいて動作する。

図１および図２に示されるように、作業ロボット１は、基体部１０、移動装置２、エンドエフェクタ３、カメラ４、搬送ライン９、および制御装置５などで構成される。基体部１０は、作業実施位置に臨んで固定取り付けされる。移動装置２は、多関節タイプのアームを用いて構成される。移動装置２のアーム基端部２１は、基体部１０の上側に支持され、鉛直軸の周りに回転可能となっている。さらに、移動装置２（アーム）は、あらゆる方向に向かって延在可能であるとともに、長さ方向の途中で自在に折れ曲がることができるように構成されている。したがって、移動装置２のアーム先端部２２は、作業実施位置の上方の任意の空間位置に移動することができる。アーム先端部２２には、ハンド部２３が設けられる。移動装置２は、エンドエフェクタ３およびカメラ４を揃って移動させる。

エンドエフェクタ３は、ハンド部２３に設けられている。エンドエフェクタ３は、作業に適した構成が用いられる。例えば、部品の配置作業を行うエンドエフェクタ３として、部品を挟持するチャックが用いられる。また、電気回路の配線作業を行うエンドエフェクタ３として、接続端子をねじ締めするドライバや、接続端子を半田付けする半田ごてなどが用いられる。エンドエフェクタ３は、ターゲット８の状態や作業の進捗状況などを検出するセンサ類が付属されてもよい。

カメラ４は、ハンド部２３に設けられている。カメラ４は、作業実施位置に搬入されたターゲット８を撮像して画像データを取得する。この画像データが画像処理されることにより、ターゲット８上の作業領域８１が認識される。カメラ４は、ターゲット８に付設された個体識別情報を読み取る用途に兼用されてもよい。

搬送ライン９は、ターゲット８を自動で作業実施位置に搬入出するために設けられる。搬送ライン９の搬送路は、作業実施位置を通り抜けて延在する。搬送ライン９は、ターゲット８が載置された状態で搬送路に沿って輪転するコンベアベルト、およびコンベアベルトを駆動する駆動源などで構成される。なお、搬送ライン９が設けられずに、ターゲット８が人手によって作業実施位置に搬入出されてもよい。

２．ターゲット８の形状
次に、ターゲット８の形状について説明する。図３に示されるように、ターゲット８は、長方形の板状の部材である。ターゲット８の上面には、作業領域８１および作業外領域８２が光学的に区画されている。具体的には、作業領域８１は、ターゲット８の地色と相違する色彩または輝度とされて区画されている。さらに、作業外領域８２は、ターゲット８の地色および作業領域８１と相違する色彩または輝度とされて区画されている。図３において、作業領域８１は、便宜的に細線のハッチングで示される。また、作業外領域８２は、便宜的に太線のハッチングで示される。

６個の作業領域８１は、長方形であり、全て同形同大である。作業領域８１は、作業ロボット１が作業を実施する領域である。また、４個の作業外領域８２は、作業領域８１よりも大きな長方形であり、全て同形同大である。作業外領域８２は、同一のターゲット８を別の作業ロボットが作業対象としたときの作業領域である。なお、作業外領域８２は、形状や大きさの異なる複数の種類があってもよい。作業領域８１および作業外領域８２の位置は、領域の中心点または特定の頂点の位置に対応する作業座標を用いて表わされる。

複数のターゲット８において、作業領域８１の配置位置に個体差が有る。つまり、ターゲット８上の局所座標系で表わされる作業座標に誤差が生じる。さらに、搬送ライン９によって作業実施箇所に搬入されたターゲット８の搬入位置は、位置誤差が生じる場合が有る。加えて、ターゲット８の姿勢は、水平面内で回転誤差が生じる場合が有る。

本第１実施形態において、ターゲット８の形状および大きさは既知である。さらに、カメラ４を用いてターゲット８の全体像を撮像できることが判明している。一方、ターゲット８上の作業領域８１の領域数や、作業領域８１を表す局所座標系の作業座標は、判明していない。そして、作業領域８１の形状に関する情報を記載した書類がオペレータの手元にある。形状に関する情報は、例えば、次の１）～４）の情報である。
１）作業領域８１の形状を表す「長方形」
２）作業領域８１の縦寸法
３）作業領域８１の横寸法
４）作業領域８１の面積
このような条件下で、作業ロボット１が作業を実施する位置を確定する用途に、作業座標作成装置６が使用される。

３．第１実施形態の作業座標作成装置６の構成
次に、第１実施形態の作業座標作成装置６の構成について説明する。図２に示されるように、制御装置５は、移動装置２、エンドエフェクタ３、カメラ４、および搬送ライン９を制御する。制御装置５は、コンピュータ装置を用いて構成される。第１実施形態の作業座標作成装置６は、制御装置５のソフトウェアにより実現されている。作業座標作成装置６は、五つの機能部、すなわち形状登録部６１、第一認識部６２、第一座標作成部６３、第二認識部６４、および第二座標作成部６５を備える。

形状登録部６１は、ターゲット８に光学的に区画された作業領域８１の形状に関する形状情報８３を登録する。具体的に、形状登録部６１は、第一認識部６２が取得した第一画像データをオペレータに提示し、オペレータの指定にしたがって形状情報８３を登録する（詳細後述）。形状情報８３は、制御装置５の記憶装置５１に登録されるデータであり、換言すると、電子形態の情報に限定される。したがって、オペレータの手元の書類に記載された情報は、形状情報８３に該当しない。また、作業領域８１を撮像して取得した画像データや、この画像データを加工して作成した電子形態のテンプレートは、形状情報８３に該当する。

第一認識部６２は、搬入された第一のターゲット８をカメラ４で撮像して、前述した第一画像データを取得する。第一認識部６２は、さらに、形状情報８３を用いて第一画像データ内の少なくとも一部の領域を探索することにより、第一のターゲット８の作業領域８１の位置に関する情報を認識する。第一座標作成部６３は、第一認識部６２の認識結果に基づいて、第一のターゲット８の作業領域８１を表す第一作業座標を作成する。ここで、カメラ４が撮像を行う位置は、基準座標系で指示される。したがって、第一作業座標および後述する第二作業座標は、基準座標系で表わされることが可能となっている。

第二認識部６４は、搬入された第二のターゲット８をカメラ４で撮像して第二画像データを取得する。第二認識部６４は、さらに、第二画像データ内の領域であって第一認識部６２が探索した領域よりも狭い領域を探索することにより、第二のターゲット８の作業領域８１の位置に関する情報を認識する。第一認識部６２が探索した領域よりも狭い領域とは、第二画像データ内の第一作業座標の近傍の領域を意味する。そして、第二認識部６４は、第一作業座標で表わされる位置を優先探索位置として、最初に探索する。優先探索位置において作業領域８１が不明である場合に、第二認識部６４は、優先探索位置から徐々に離間するように探索して、最終的に作業領域８１を認識する。

第二座標作成部６５は、第一作業座標および第二認識部６４の認識結果に基づいて、第二のターゲット８の作業領域８１を表す第二作業座標を作成する。第二座標作成部６５は、実際には、第一作業座標を補正して第二作業座標を作成する。五つの機能部の各機能については、次の動作フローの中でも説明する。

４．第１実施形態の作業座標作成装置６の動作
次に、第１実施形態の作業座標作成装置６の動作について説明する。図４に示される動作フローは、作業座標作成装置６を含む制御装置５からの制御によって実行される。図４のステップＳ１で、制御装置５は、搬送ライン９を制御して、ターゲット８を搬送する。初回のステップＳ１において、第一のターゲット８が搬入される。

次のステップＳ２で、第一認識部６２または第二認識部６４は、搬入されたターゲット８をカメラ４で撮像して画像データを取得する。初回のステップＳ２において、第一認識部６２は、第一のターゲット８をカメラ４で撮像して第一画像データ（Ｄ１１、Ｄ１２）（図５、図６参照）を取得する。次のステップＳ３で、作業座標作成装置６は、第一のターゲット８が対象とされているか否かを判定する。初回のステップＳ３において、第一のターゲット８が対象であるので、動作フローの実行はステップＳ４に進められる。

ステップＳ４で、形状登録部６１は、形状情報８３を取得する。取得方法は、二種類あり、どちらもオペレータが関与する。第一の取得方法において、形状登録部６１は、第一画像データＤ１１内で光学的に区画された作業領域８１および作業外領域８２の形状を認識してオペレータに提示する。認識方法として、小塊検知アルゴリズムやエッジ検知アルゴリズムなどを応用した画像処理技術が適宜用いられる。

図５は、オペレータに提示される第一画像データＤ１１を示している。図面上の表示に関し、第一画像データＤ１１は、図３に示されたターゲット８の平面図に一致する。この時点で、作業領域８１および作業外領域８２の形状は既に認識されており、領域の境界線は実線で示される。オペレータは、手元の書類に記載された情報を参考にして、第一画像データＤ１１の中で作業領域８１を指定する。例えば、オペレータは、作業領域８１の内部にカーソルを移動させてクリック操作することにより、作業領域８１を指定することができる。形状登録部６１は、指定された作業領域８１を取得する。

なお、オペレータは、６個全部の作業領域８１を指定する必要はなく、最小で１個の作業領域８１を指定すればよい。複数の作業領域８１が指定された場合、形状登録部６１は、作業領域８１の形状の相互間の誤差を平均化した形状情報８３を取得することができる。１個の作業領域８１が指定された場合、形状登録部６１は、その作業領域８１の形状に一致した形状情報８３を取得することができる。

また、第二取得方法において、形状登録部６１は、第一画像データＤ１２をそのままオペレータに提示する。図６は、オペレータに提示される第一画像データＤ１２を示している。この時点で、作業領域８１および作業外領域８２の形状は認識されておらず、領域の境界線は示されない。オペレータは、手元の書類に記載された情報を参考にして、第一画像データＤ１２の中で作業領域８１を含む範囲を指定する。例えば、オペレータは、作業領域８１の周りを周回するようにカーソルを移動させて描いた閉曲線８４を用い、範囲を指定する。

図６において、６個全部の作業領域８１が５個の閉曲線８４を用いて指定されている。形状登録部６１は、閉曲線８４の内部にある作業領域８１の形状を認識して取得する。このときの認識方法として、第１の取得方法と同様の画像処理技術が用いられる。なお、オペレータは、６個全部の作業領域８１の範囲を指定する必要は無く、最小で１個の作業領域８１の範囲を指定すればよい。形状登録部６１は、複数の作業領域８１の形状の相互間の誤差を平均化した形状情報８３を取得することができる。あるいは、形状登録部６１は、１個の作業領域８１の形状に一致した形状情報８３を取得することができる。

次の形状登録ステップＳ５で、形状登録部６１は、取得した形状情報８３を記憶装置５１に登録する。次の第一認識ステップＳ６で、第一認識部６２は、図７に示されるように、形状情報８３を用いて第一画像データ（Ｄ１１、Ｄ１２）内の少なくとも一部の領域を探索する。具体的には、第一認識部６２は、まず、形状情報８３に相当するテンプレートを作成する。次に、第一認識部６２は、第一画像データ（Ｄ１１、Ｄ１２）内でテンプレートを移動させて、テンプレートに一致する作業領域８１を探索する。

この時点で、ターゲット８上の作業領域８１の領域数や位置は判明していない。したがって、第一認識部６２は、第一画像データ（Ｄ１１、Ｄ１２）内の全部の領域を探索する必要がある。これにより、第一認識部６２は、６個全部の作業領域８１の位置を認識することができる。当然ながら、作業外領域８２は、テンプレートに一致せず、除外される。

次の第一座標作成ステップＳ７で、第一座標作成部６３は、第一のターゲット８の作業領域８１を表す６個の第一作業座標を作成する。次のステップＳ８で、作業ロボット１は、６個の第一作業座標に基づいて作業を実施する。この後、動作フローの実行は、ステップＳ１に戻される。

２回目のステップＳ１において、作業の終了した第一のターゲット８が搬出されるとともに、第二のターゲット８が搬入される。２回目のステップＳ２において、第二認識部６４は、第二のターゲット８をカメラ４で撮像して第二画像データＤ２１を取得する。２回目のステップＳ３において、第二のターゲット８が対象であるので、動作フローの実行は第二認識ステップＳ１１に進められる。

第二認識ステップＳ１１で、第二認識部６４は、図７に示されるように、形状情報８３を用いて第二画像データＤ２１内の狭い領域を探索する。この時点で、ターゲット８上の作業領域８１の領域数や位置は、第一のターゲットの６個の第一作業座標から概ね判明している。したがって、第二認識部６４は、第二画像データＤ２１内の第一作業座標の近傍の狭い領域を探索すれば十分である。

仮に、複数のターゲット８における作業領域８１の配置位置の個体差、および搬送ライン９における搬入位置の位置誤差が無視できるほどに小さい場合、第二認識ステップＳ１１は不要となる。つまり、第一作業座標に相当する優先探索位置が、そのまま第二作業座標となる。上記した個体差や位置誤差が無視できない場合でも、第二認識部６４は、第一作業座標に相当する優先探索位置から徐々に離間するように狭い領域を探索することにより、短時間で作業領域８１を認識することができる。

次の第二座標作成ステップＳ１２で、第二座標作成部６５は、第二のターゲット８の作業領域８１を表す６個の第二作業座標を作成する。このとき、第二座標作成部６５は、上記した個体差や位置誤差に相当する分だけ第一作業座標を補正して、第二作業座標を作成することができる。第二座標作成ステップＳ１２が実行された後、動作フローの実行は、ステップＳ８に合流され、作業ロボット１による作業が実施される。この後、動作フローの実行は、ステップＳ１に戻される。

３回目のステップＳ１において、作業の終了した第二のターゲット８が搬出されるとともに、第三のターゲット８が搬入される。第三以降のターゲット８に対して、第二のターゲット８の場合と同様に、第二認識ステップＳ１１および第二座標作成ステップＳ１２が繰り返して実行される。

第１実施形態の作業座標作成装置６では、ターゲット８上の作業領域８１の形状に関する形状情報８３を登録し、この形状情報８３を用いて第一のターゲット８の第一画像データ（Ｄ１１、Ｄ１２）内を探索することにより、第一作業座標を作成することができる。また、第二のターゲット８の第二画像データＤ２１内の狭い領域を探索することにより、第二作業座標を作成することができる。さらに、第三以降のターゲット８についても、第二のターゲット８と同様にして作業座標を作成することができる。したがって、ターゲット８上の作業領域８１を表す局所座標系の作業座標が未知であっても、作業ロボット１の基準座標系で表わされる作業座標をターゲット８ごとに作成することができる。

また、オペレータは、作業ロボット１の作業開始前に形状情報８３に関する簡単な指定を行うだけでよい。そして、作業座標の作成は、作業座標作成装置６によって自動的に実行される。したがって、オペレータのわずかな手間で作業座標を作成することができる。加えて、オペレータの設定誤りや操作誤りのおそれが低減される。さらに、第一画像データ（Ｄ１１、Ｄ１２）の探索は全部の領域となるため長時間を要しても、第二画像データＤ２１の探索は狭い領域でよいので短時間で済む。したがって、第二以降のターゲット８の作業座標は、短時間で作成される。これにより、作業ロボット１の作業能率が向上する。

５．第２実施形態の作業座標作成装置６
次に、第２実施形態の作業座標作成装置６について、第１実施形態と異なる点を主にして説明する。図８に示されるように、第２実施形態に適用される作業ロボット１Ａは、ハンド部２３にカメラ４が設けられていない。代わりに、固定カメラ４Ａが用いられる。固定カメラ４Ａは、作業ロボット１Ａと別体であって、天井から吊り下げられて固定されている。なお、固定カメラ４Ａは、天井以外の箇所に固定されてもよい。固定カメラ４Ａは、移動装置２の移動や振動の影響を受けないので位置が安定化し、鮮明で位置精度の高い画像データを取得することができる。

また、図９に示されるように、第２実施形態で使用されるターゲット８Ａは、長方形の板状の部材である。ターゲット８Ａの上面には、黒塗りの長方形で示される３個の作業領域８５、および×印で示される３個の作業外領域８６が区画されている。第２実施形態において、複数のターゲット８Ａの作業領域８５の配置位置の個体差は、無視できる程度に小さい。しかしながら、搬送ライン９によって作業実施箇所に搬入されたターゲット８Ａの搬入位置は、位置誤差が生じる場合が有る。加えて、ターゲット８Ａの姿勢は、水平面内で回転誤差が生じる場合が有る。

第２実施形態において、ターゲット８Ａの形状および大きさは既知である。さらに、固定カメラ４Ａを用いてターゲット８Ａの全体像を撮像できることが判明している。一方、ターゲット８Ａ上の作業領域８５の領域数や、作業領域８５を表す局所座標系の作業座標は、判明していない。オペレータは、ターゲット８Ａの既知の設計情報として、作業領域８５の形状に関する電子形態の形状情報８３を保有している。このような条件下で、第２実施形態の作業座標作成装置６が使用される。

第２実施形態の作業座標作成装置６は、作業ロボット１Ａに定められた基準座標系に加えて、第一のターゲット８Ａの搬入位置に基づく相対座標系を用いる。つまり、相対座標系の原点は、基準座標系の原点から変位する。それでも、相対座標系のｘ軸およびｙ軸は、基準座標系のＸ軸およびＹ軸にそれぞれ平行する条件を満足する。以降の説明では、大文字のＸ、Ｙを用いて基準座標系の座標を表記し、小文字のｘ、ｙを用いて相対座標系の座標を表記する。また、作業領域８５を表す作業座標は、作業領域８５の領域の中心点の座標であるとする。

相対座標系の原点の位置は、第一のターゲット８Ａが搬入されたときの基準点８７の位置に定められる。基準点８７は、ターゲット８Ａの外形の短辺８８と長辺８９が交差する図９の左上の端部に設定されている。そして、ターゲット８Ａの基準点８７の位置は、第一認識部６２および第二認識部６４の画像処理により、ターゲット８Ａの形状が認識されて求められる。さらに、ターゲット８Ａの回転姿勢は、第一認識部６２および第二認識部６４の画像処理により、短辺８８および長辺８９の少なくとも一方の延びる方向が認識されて求められる。

第２実施形態の作業座標作成装置６は、第１実施形態と同様に、形状登録部６１、第一認識部６２、第一座標作成部６３、第二認識部６４、および第二座標作成部６５を備える。ただし、これら五つの機能部は、機能の一部が第１実施形態と相違する。形状登録部６１は、ターゲット８Ａの既知の設計情報に基づいて形状情報８３を登録する。

第一認識部６２は、第１実施形態と同様の方法で、第一画像データ内を探索して第一のターゲット８Ａの作業領域８５を認識する。第一認識部６２は、さらに、第一のターゲット８Ａの基準点８７の第一搬入位置、および第一のターゲット８Ａの第一回転角度を認識する。第一座標作成部６３は、第１実施形態と同様の方法で、基準座標系の第一作業座標を作成する。第一座標作成部６３は、さらに、第一作業座標を相対座標系へ座標変換することによって、相対第一作業座標を作成する。

第二認識部６４は、形状情報８３を用いて３個の作業領域８５を認識する第１実施形態の探索を行わない。代わりに、第二認識部６４は、第二画像データ内の第一搬入位置の近傍の領域を探索して、第二のターゲット８Ａの基準点８７の第二搬入位置、および第二のターゲット８Ａの第二回転角度を認識する。これにより、画像処理技術を用いた探索の実施箇所は、３箇所でなく１箇所となる。したがって、探索に要する所要時間が大幅に短縮される。

第二座標作成部６５は、相対第一作業座標、第一搬入位置と第二搬入位置との差分である位置誤差、および、第一回転角度と第二回転角度との差分である回転誤差を用いて、第二のターゲット８Ａの作業領域を表す相対座標系の相対第二作業座標を演算する。第二座標作成部６５は、さらに、相対第二作業座標を基準座標系へ座標変換することによって基準座標系の第二作業座標を作成する。五つの機能部の各機能については、次の動作フローの中で、事例を用いて詳述する。

図１０に示される動作フローは、作業座標作成装置６を含んだ制御装置５からの制御によって実行される。図１０の形状登録ステップＳ２１で、オペレータは、保有する形状情報８３を制御装置５に入力する。形状登録部６１は、入力された形状情報８３を記憶装置５１に登録する。次のステップＳ２２で、制御装置５は、搬送ライン９を制御して、ターゲット８Ａを搬送する。初回のステップＳ２２において、第一のターゲット８Ａが搬入される。

次のステップＳ２３で、第一認識部６２または第二認識部６４は、搬入されたターゲット８Ａをカメラ４で撮像して、画像データを取得する。初回のステップＳ２３において、第一認識部６２は、第一のターゲット８Ａを固定カメラ４Ａで撮像して、図１１に示される第一画像データＤ１３を取得する。次のステップＳ２４で、作業座標作成装置６は、第一のターゲット８Ａが対象とされているか否かを判定する。初回のステップＳ２４において、第一のターゲット８Ａが対象であるので、動作フローの実行はステップＳ２５に進められる。

ステップＳ２５で、第一認識部６２は、第１実施形態と同様の方法により３個全部の作業領域８５を認識する。第一認識部６２は、さらに、第一のターゲット８Ａの基準点８７の第一搬入位置Ｐ１、および第一のターゲット８Ａの第一回転角度θ１を認識する。図１１に示される事例で、基準点８７の第一搬入位置Ｐ１は、基準座標系を用いて第一搬入位置Ｐ１（Ｘ０，Ｙ０）と表記される。第一搬入位置Ｐ１（Ｘ０，Ｙ０）は、相対座標系の原点となり、相対座標系を用いて第一搬入位置ｐ１（０，０）と表記される。なお、図１１および図１２に示される事例では、煩雑さを解消するために３個の作業領域８５が図示省略され、右側の１個の作業領域８５の作業座標（Ｗ１、ｗ１、Ｗ２、ｗ２）のみが示されている。

次のステップＳ２６で、第一座標作成部６３は、第１実施形態と同様の方法で、基準座標系の第一作業座標Ｗ１（Ｘ１，Ｙ１）を作成する。第一座標作成部６３は、さらに、第一作業座標Ｗ１（Ｘ１，Ｙ１）を相対座標系へ座標変換することによって、相対第一作業座標ｗ１（ｘ１，ｙ１）を作成する。この座標変換は、次の（式１）による。

次のステップＳ２７で、作業ロボット１は、第一作業座標Ｗ１（Ｘ１，Ｙ１）に基づいて作業を実施する。なお、図示省略された他の作業領域８５においても、ステップＳ２６で第一作業座標および相対第一作業座標が作成され、ステップＳ２７で作業ロボット１による作業が実施される。この後、動作フローの実行は、ステップＳ２２に戻される。

２回目のステップＳ２２において、作業の終了した第一のターゲット８Ａが搬出されるとともに、第二のターゲット８Ａが搬入される。２回目のステップＳ３２において、第二認識部６４は、第二のターゲット８Ａを固定カメラ４Ａで撮像して、図１２に示される第二画像データＤ２３を取得する。２回目のステップＳ２４において、第二のターゲット８Ａが対象であるので、動作フローの実行はステップＳ３１に進められる。

ステップＳ３１で、第二認識部６４は、第二画像データＤ２３内の第一搬入位置ｐ１（０，０）の近傍の領域を探索して、第二のターゲット８Ａの基準点８７の第二搬入位置ｐ２、および第二のターゲット８Ａの第二回転角度θ２を認識する。第二搬入位置ｐ２は、相対座標系を用いて第二搬入位置ｐ２（ｘｅ，ｙｅ）と表記される。図１２において、第二のターゲット８Ａの位置誤差および回転誤差が誇張して描かれている。ここで、第一搬入位置ｐ１（０，０）は、相対座標系の原点であるので、第二搬入位置ｐ２（ｘｅ，ｙｅ）の座標値は、第一搬入位置ｐ１と第二搬入位置ｐ２との差分である位置誤差を表わす。また、第一回転角度θ１と第二回転角度θ２との差分である回転誤差θｅは、（θ２－θ１）で表わされる。

次のステップＳ３２で、第二座標作成部６５は、相対第一作業座標ｗ１（ｘ１，ｙ１）、位置誤差に相当するｘｅ、ｙｅ、および回転誤差θｅを用いて、第二のターゲット８Ａの作業領域８５を表す相対第二作業座標ｗ２（ｘ２，ｙ２）を演算する。この演算は、次の（式２）による。

（式２）の右辺の第１項（行列演算項）は、回転誤差θｅに関する補正を表し、右辺の第２項は、位置誤差に関する補正を表している。第二座標作成部６５は、さらに、相対第二作業座標ｗ２（ｘ２，ｙ２）を基準座標系へ座標変換することによって基準座標系の第二作業座標Ｗ２（Ｘ２，Ｙ２）を作成する。この座標変換は、次の（式３）による。

この後、動作フローの実行は、ステップＳ２７に合流され、作業ロボット１による作業が実施される。なお、図示省略された他の作業領域８５においても、第二作業座標が作成されて、作業ロボット１による作業が実施される。この後、動作フローの実行は、ステップＳ２２に戻される。３回目のステップＳ２２において、作業の終了した第二のターゲット８Ａが搬出されるとともに、第三のターゲット８Ａが搬入される。第三以降のターゲット８Ａに対して、第二のターゲット８Ａの場合と同様に、ステップＳ３１およびステップＳ３２が繰り返して実行される。

第２実施形態の作業座標作成装置６において、第二認識部６４における探索の所要時間は、第１実施形態と比較して大幅に短縮される。一方、（式１）～（式３）の演算に要する時間はわずかである。したがって、第二以降のターゲット８Ａの作業座標の作成に要する時間は、第１実施形態と比較して短くなる。これにより、作業ロボット１の作業能率は、さらに一層向上する。なお、この効果は、ターゲット８Ａあたりの作業領域８５の個数が多いほど顕著になる。

６．第２実施形態の応用例
次に、第２実施形態の応用例について説明する。応用例において、複数のターゲット８Ａの作業領域８５の配置位置の個体差は、無視できない程度に大きい。このため、第二座標作成部６５が作成した第二作業座標Ｗ２（Ｘ２，Ｙ２）に基づいて、作業ロボット１が第二以降のターゲット８Ａに作業を実施すると障害が発生する。

図１３に示される第二画像データＤ２４の事例で、左側および中央の作業領域８５は、個体差の影響を殆ど受けていない。このため、相対第二作業座標ｗ２２および相対第二作業座標ｗ２３は、作業領域８５の中心点に略一致している。しかしながら、右側の作業領域８５は、個体差の影響により右上方向に変位している。このため、相対第二作業座標ｗ２は、作業領域８５の中心点からずれている。

そこで、第二座標作成部６５は、形状情報８３を用いて作業領域８５の探索を行う。詳述すると、第二座標作成部６５は、まず、相対第二作業座標ｗ２（ｘ２、ｙ２）を相対仮座標ＲＰとする。第二座標作成部６５は、次に、第二画像データＤ２４内の相対仮座標ＲＰに相当する優先探索位置から徐々に離間するように探索して、形状情報８３に対応する作業領域８５を認識する。

さらに、第二座標作成部６５は、認識した作業領域８５を表す真の相対第二作業座標ｗ３（ｘ３、ｙ３）を作成する。さらに、第二座標作成部６５は、（式３）を用いて、真の相対第二作業座標ｗ３（ｘ３、ｙ３）を基準座標系へ座標変換することにより、基準座標系の第二作業座標Ｗ３（Ｘ３、Ｙ３）を作成する。これにより、作業ロボット１の作業が可能となる。

なお、上述した第二座標作成部６５の動作は、左側および中央の作業領域８５に対しても同様に行われる。第２実施形態の応用例によれば、複数のターゲット８Ａにおける作業領域８５の配置位置の個体差、ならびに搬送ライン９におけるターゲット８Ａの位置誤差および回転誤差が無視できない場合でも、確実に第二作業座標Ｗ３（Ｘ３、Ｙ３）を作成することができる。

７．実施形態の応用および変形
なお、第１実施形態において、作業領域８１は、領域境界線を用いて区画されてもよい。このとき、形状登録部６１は、領域境界線を認識可能な画像処理技術を用いて作業領域８１を認識し、形状情報８３を取得する。また、ターゲット（８、８Ａ）の作業領域（８１、８５）と作業外領域（８２、８６）が同一形状であっても、色彩や輝度が相違して光学的に見分けることが可能であれば適用対象となる。また、第１実施形態で固定カメラ４Ａが用いられてもよく、第２実施形態でハンド部２３に設けられたカメラ４が用いられてもよい。

さらに、第一認識部６２および第二認識部６４は、テンプレート以外の探索ツールを用いることが可能である。また、第２実施形態の応用例において、第二座標作成部６５は、先に相対第二作業座標ｗ２（ｘ２、ｙ２）を第二作業座標Ｗ２（Ｘ２、Ｙ２）に変換して仮座標とし、基準座標系の中で形状情報８３を用いた探索を行ってもよい。その他にも、第１および第２実施形態は、様々な応用や変形が可能である。

１、１Ａ：作業ロボット ２：移動装置 ３：エンドエフェクタ ４：カメラ ４Ａ：固定カメラ ５：制御装置 ６：作業座標作成装置 ６１：形状登録部 ６２：第一認識部 ６３：第一座標作成部 ６４：第二認識部 ６５：第二座標作成部 ８、８Ａ：ターゲット ８１：作業領域 ８２：作業外領域 ８３：形状情報 ８４：閉曲線 ８５：作業領域 ８６：作業外領域 ８７：基準点 ８８：短辺 ８９：長辺 ９：搬送ライン Ｄ１１、Ｄ１２、Ｄ１３：第一画像データ Ｄ２１、Ｄ２３、Ｄ２４：第二画像データ Ｐ１、ｐ１：第一搬入位置 ｐ２：第二搬入位置 θ１：第一回転角度 θ２：第二回転角度 θｅ：回転誤差 Ｗ１：第一作業座標 ｗ１：相対第一作業座標 Ｗ２：第二作業座標 ｗ２、ｗ２２、ｗ２３：相対第二作業座標 ＲＰ：相対仮座標 ｗ３：真の相対第二作業座標

Claims (8)

1. 作業実施箇所に搬入されて作業ロボットの作業対象となるターゲットに光学的に区画された作業領域の形状に関する形状情報を登録する形状登録部と、
   搬入された第一の前記ターゲットをカメラで撮像して第一画像データを取得し、前記形状情報を用いて前記第一画像データ内の少なくとも一部の第一領域を探索することにより、第一の前記ターゲットの前記作業領域の位置に関する情報を認識する第一認識部と、
   前記第一認識部の認識結果に基づいて、第一の前記ターゲットの前記作業領域を表す第一作業座標を作成する第一座標作成部と、
   搬入された第二の前記ターゲットを前記カメラで撮像して第二画像データを取得し、前記第二画像データ内の前記第一作業座標の近傍の第二領域であって前記第一認識部が探索した前記第一領域よりも狭い前記第二領域を探索することにより、第二の前記ターゲットの前記作業領域の位置に関する情報を認識する第二認識部と、
   前記第一作業座標および前記第二認識部の認識結果に基づいて、第二の前記ターゲットの前記作業領域を表す第二作業座標を作成する第二座標作成部と、を備えて、
   搬入される複数の前記ターゲットにおいて前記作業領域の配置位置に個体差が有る場合に適用され、
   前記第二認識部は、前記第二画像データ内の前記第一作業座標に基づく優先探索位置から徐々に離間するように探索する、
   作業座標作成装置。
2. 前記第二認識部は、前記第二領域を探索して、前記形状情報に対応する前記作業領域を認識し、
   前記第二座標作成部は、前記第二認識部の認識結果に基づき、前記第一作業座標を補正して前記第二作業座標を作成する、
   請求項１に記載の作業座標作成装置。
3. 作業実施箇所に搬入されて作業ロボットの作業対象となるターゲットに光学的に区画された作業領域の形状に関する形状情報を登録する形状登録部と、
   搬入された第一の前記ターゲットをカメラで撮像して第一画像データを取得し、前記形状情報を用いて前記第一画像データ内の少なくとも一部の第一領域を探索することにより、第一の前記ターゲットの前記作業領域の位置に関する情報を認識する第一認識部と、
   前記第一認識部の認識結果に基づいて、第一の前記ターゲットの前記作業領域を表す第一作業座標を作成する第一座標作成部と、
   搬入された第二の前記ターゲットを前記カメラで撮像して第二画像データを取得し、前記第二画像データ内の前記第一作業座標の近傍の第二領域であって前記第一認識部が探索した前記第一領域よりも狭い前記第二領域を探索することにより、第二の前記ターゲットの前記作業領域の位置に関する情報を認識する第二認識部と、
   前記第一作業座標および前記第二認識部の認識結果に基づいて、第二の前記ターゲットの前記作業領域を表す第二作業座標を作成する第二座標作成部と、を備え、
   前記形状登録部は、前記第一画像データ内で光学的に区画された前記作業領域および作業外領域の形状を認識してオペレータに提示し、前記オペレータが指定した前記作業領域の前記形状情報を登録し、
   前記作業外領域は、同一の前記ターゲットを別の作業ロボットが作業対象としたときの作業領域である、
   作業座標作成装置。
4. 作業実施箇所に搬入されて作業ロボットの作業対象となるターゲットに光学的に区画された作業領域の形状に関する形状情報を登録する形状登録部と、
   搬入された第一の前記ターゲットをカメラで撮像して第一画像データを取得し、前記形状情報を用いて前記第一画像データ内の少なくとも一部の第一領域を探索することにより、第一の前記ターゲットの前記作業領域の位置に関する情報を認識する第一認識部と、
   前記第一認識部の認識結果に基づいて、第一の前記ターゲットの前記作業領域を表す第一作業座標を作成する第一座標作成部と、
   搬入された第二の前記ターゲットを前記カメラで撮像して第二画像データを取得し、前記第二画像データ内の前記第一作業座標の近傍の第二領域であって前記第一認識部が探索した前記第一領域よりも狭い前記第二領域を探索することにより、第二の前記ターゲットの前記作業領域の位置に関する情報を認識する第二認識部と、
   前記第一作業座標および前記第二認識部の認識結果に基づいて、第二の前記ターゲットの前記作業領域を表す第二作業座標を作成する第二座標作成部と、を備えて、
   前記ターゲットを前記作業実施箇所に搬入したときの搬入位置に位置誤差が生じる場合が有り、かつ前記ターゲットの姿勢に回転誤差が生じる場合が有る搬送ラインに適用されて、前記作業ロボットに定められた基準座標系、および、第一の前記ターゲットの前記搬入位置に基づく相対座標系を用い、かつ、搬入される複数の前記ターゲットにおいて前記作業領域の配置位置に個体差が有る場合に適用され、
   前記第一認識部は、前記第一領域を探索して第一の前記ターゲットの前記作業領域を認識するとともに、第一の前記ターゲットの基準点の第一搬入位置、および第一の前記ターゲットの第一回転角度を認識し、
   前記第一座標作成部は、前記基準座標系の前記第一作業座標を作成するとともに、前記第一搬入位置を原点とする前記相対座標系へ座標変換することによって相対第一作業座標を作成し、
   前記第二認識部は、前記第二画像データ内の前記第一搬入位置の近傍の前記第二領域を探索して、第二の前記ターゲットの前記基準点の第二搬入位置、および第二の前記ターゲットの第二回転角度を認識し、
   前記第二座標作成部は、
   前記相対第一作業座標、前記第一搬入位置と前記第二搬入位置との差分である前記位置誤差、および、前記第一回転角度と前記第二回転角度との差分である前記回転誤差を用いて、第二の前記ターゲットの前記作業領域を表す前記相対座標系の相対第二作業座標を演算し、
   さらに、前記相対第二作業座標を相対仮座標とし、前記第二画像データ内の前記相対仮座標に基づく優先探索位置から徐々に離間するように探索して、前記形状情報に対応する前記作業領域を認識し、
   認識した前記作業領域を表す真の前記相対第二作業座標を作成し、
   さらに、真の前記相対第二作業座標を前記基準座標系へ座標変換することによって前記基準座標系の前記第二作業座標を作成する、
   作業座標作成装置。
5. 前記基準点は、前記ターゲットの外形の二つの辺が交差する端部に設定され、
   前記第一認識部は、前記辺の方向を求めることによって前記第一回転角度を認識し、
   前記第二認識部は、前記辺の方向を求めることによって前記第二回転角度を認識する、
   請求項４に記載の作業座標作成装置。
6. 前記形状登録部は、前記ターゲットの既知の設計情報に基づいて前記形状情報を登録する、請求項１、２、４、５のいずれか一項に記載の作業座標作成装置。
7. 前記形状登録部は、前記第一画像データをオペレータに提示し、前記オペレータが前記第一画像データ内に指定した範囲の内部にある前記作業領域の形状を認識して登録する、請求項１、２、４、５のいずれか一項に記載の作業座標作成装置。
8. 前記カメラは、前記作業ロボットと別体であって固定されている、請求項１～７のいずれか一項に記載の作業座標作成装置。

Images