JP4949799B2 - 作業支援装置および方法 - Google Patents

Description

この発明は、遠隔操作型の機構を利用して作業対象物の位置及び姿勢を目標位置及び目標姿勢へ一致させる位置決め作業を支援する作業支援装置および方法に関するものである。

従来より、遠隔操作により作業を行う際の支援方法として、作業環境もしくはロボットのモデル、あるいはその両方をシステム内に有し、様々な視点から見た作業状況を仮想映像として操作者に提示して操作を支援する手法や、カメラなどによる実際の映像に仮想映像を重畳して作業支援を行う手法が提案されている。

このシステムの一例として、特許文献１では、作業者の負担を軽減するために、作業対象物の最終組み付け位置および姿勢の外形をコンピュータグラフィックスで生成し、このコンピュータグラフィックスで生成した仮想画像を実画像に重畳表示することにより、ロボットによる作業対象物の目標位置への位置決め作業を支援するようにしている。

特許文献１に示されたロボット作業の支援方法の一例を図２２を用いて説明する。図２２は作業対象物１およびこの作業対象物１の目標位置に設けられたガイド２を含む作業環境をＺ軸方向からカメラで捉えたモニタ画面上の画像を示す図である。この画像において、作業対象物１およびガイド２は実画像であり、この実画像に対して作業対象物１の最終組み付け位置および姿勢の外形をコンピュータグラフィックスで生成した仮想画像３が重ねて表示されている。

作業者は、このモニタ画面を見ながら、作業対象物１の実画像と仮想画像３とが重なるようにロボットを遠隔操作して、作業対象物１の位置決め作業を行う。なお、この例では、説明を簡単とするために、作業対象物１はそのＺ軸回りの姿勢にのみ傾きが生じており、他の方向には傾きは生じていないものとする。

この場合、作業者は、Ｚ軸方向から見た画面をみながら、作業対象物１の実画像と仮想画像３とが重なるように、作業対象物１のＸ軸方向およびＹ軸方向への位置決め作業を行う。そして、作業環境をＸ軸方向から見た画面に切り替えて（図２３）、作業対象物１の実画像と仮想画像３とが重なるように、作業対象物１をＺ軸方向へ移動する。

特開２００３−３１１６６１号公報

しかしながら、上述した特許文献１のように作業対象物の最終組み付け位置および姿勢の外形を仮想画像としてモニタ画面に表示するだけでは、実画像と仮想画像とを重ね合わせるまでの作業対象物の位置決め作業の過程全てを人間の判断に頼らなければならず、作業者の負担軽減や非熟練作業者のスキルアップ，作業の効率化などの実現は難しい。特に、位置決め作業中の作業対象物の姿勢の修正および移動は難しく、目標位置での微調整には時間がかかる。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、モニタ画面を見ながらの作業対象物の位置決め作業にかかる作業者の負担を軽減することが可能な作業支援装置および方法を提供することにある。

このような目的を達成するために本発明は、遠隔操作型の機構を利用して作業対象物の位置及び姿勢を目標位置及び目標姿勢へ一致させる位置決め作業を支援する作業支援装置において、作業対象物の実画像をモニタ画面上に表示する実画像表示手段と、作業対象物の目標姿勢と現在の姿勢とから演算された作業対象物の姿勢の修正方向あるいは作業対象物の目標位置と現在の位置とから演算された作業対象物の目標位置への移動方向から前記機構による作業対象物の少なくとも一方向への動きを拘束する拘束手段と、モニタ画面上に表示された作業対象物の実画像に対してその作業対象物の現在の拘束状態を示す指標をモニタ画面上に表示する拘束状態表示手段とを設けたものである。

この発明によれば、作業対象物の目標姿勢と現在の姿勢とから演算された作業対象物の姿勢の修正方向あるいは作業対象物の目標位置と現在の位置とから演算された作業対象物の目標位置への移動方向から、前記機構による作業対象物の少なくとも一方向への動きが拘束され、モニタ画面上の作業対象物の実画像に対してその作業対象物の現在の拘束状態を示す指標が表示される。例えば、作業対象物の姿勢を修正する場合、その姿勢の修正方向のみへの動きが許可され、その他の方向への動きが拘束され、モニタ画面上の作業対象物の実画像に対して、修正方向のみへの動きが許可されていることを示す指標が表示される。また、例えば、作業対象物を目標位置へ移動させる場合、その目標位置への移動方向のみへの動きが許可され、その他の方向への動きが拘束され、モニタ画面上の作業対象物の実画像に対して、目標位置への移動方向のみへの動きが許可されていることを示す指標が表示される。

本発明では、拘束状態を示す指標として、例えば、作業対象物の姿勢の修正方向を示すラインを表示したり、作業対象物の目標位置への移動を案内するラインを表示したり、作業対象物の移動可能な範囲を囲む壁を表示したり、前記機構を操作することが可能な範囲を塗り潰した軌道を表示したりする。

なお、本発明は、作業支援装置としてではなく、作業支援方法としても実現することが可能である。本願の請求項５〜８に係る発明は、請求項１〜４の作業支援装置に係る発明を方法としたものである。

本発明によれば、作業対象物の目標姿勢と現在の姿勢とから演算された作業対象物の姿勢の修正方向あるいは作業対象物の目標位置と現在の位置とから演算された作業対象物の目標位置への移動方向から、前記機構による作業対象物の少なくとも一方向への動きを拘束し、モニタ画面上の作業対象物の実画像に対してその作業対象物の現在の拘束状態を示す指標を表示するようにしたので、作業対象物の現在の拘束状態をモニタ画面上で確認しながら作業対象物を許可された方向のみへ動かすようにして、位置決め作業中の作業対象物の姿勢の修正や目標位置への移動を短時間で行うことができるようになり、作業者の負担軽減、非熟練作業者のスキルアップ、作業の効率化などを実現することが可能となる。

以下、本発明の実施の形態を図面に基づいて説明する。先ず、本発明の実施の形態の概要について説明する。

〔概要〕
図１（ａ）は作業対象物（以下、ワークと呼ぶ）１およびこのワーク１の目標位置に設けられたガイド２を含む作業環境をＺ軸方向からカメラで捉えたモニタ画面上の画像を示す図である。

この画像において、ワーク１およびガイド２は実画像であり、この実画像に対して仮想画像３が重ねて表示されている点は、従来例と同じである。従来例と異なる点は、ワーク１のＺ軸回りの回転だけを許可し、他の方向への動きを拘束するとともに、ワーク１の実画像に対して、ワーク１の現在の拘束状態を示す指標としてガイドラインＬ１と支点ＰＭを表示するようにしたことにある。

作業者は、このモニタ画面を見ながら、ロボットを遠隔操作し、ワーク１の姿勢の修正と移動を行い、ワーク１の実画像を仮想画像３と重ね合わせる。なお、この例においても、従来例と同様、ワーク１はＺ軸回りの姿勢にのみ傾きが生じており、他の方向には傾きは生じていないものとする。

〔姿勢の修正〕
作業者は、先ず、ワーク１の姿勢を修正する。この場合、ロボットを遠隔操作し、ワーク１を支点ＰＭを中心として、ガイドラインＬ１の位置まで回転させる。ワーク１をガイドラインＬ１の位置まで回転させると、ガイドラインＬ１と支点ＰＭが消える（図１（ｂ））。このガイドラインＬ１と支点ＰＭの消失により、作業者は、ワーク１のＺ軸回りの姿勢の修正が完了したことを知る。作業者は、この姿勢の修正作業中、ワーク１のＺ軸回りの回転だけが許可され、他の方向への動きが拘束されているので、簡単かつ短時間にワーク１をガイドラインＬ１の位置に合わせることができる。

〔移動（Ｘ軸方向およびＹ軸方向）〕
ガイドラインＬ１と支点ＰＭが消失すると、モニタ画面には、図１（ｃ）に示すように、ワーク１の現在の拘束状態を示す指標として２本のガイドラインＬ２が表示される。この場合、ワーク１は、ガイドラインＬ２に沿う方向への動きだけが許可される。作業者は、ロボットを遠隔操作し、ガイドラインＬ２に沿ってワーク１を目標位置（Ｘ−Ｙ平面内の目標位置）へ移動させる（図１（ｄ））。ワーク１が目標位置に達すると、ガイドラインＬ２が消える（図１（ｅ））。このガイドラインＬ２の消失により、作業者は、ワーク１のＸ軸方向およびＹ軸方向への位置決め作業が完了し、ワーク１がＸ−Ｙ平面内の目標位置に達したことを知る。

〔移動（Ｚ軸方向）〕
作業者は、ワーク１をＸ−Ｙ平面内の目標位置に位置させた後、ワーク１をＺ軸方向へ移動させる。この場合、モニタ画面に、作業環境をＸ軸方向からカメラで捉えた画像を表示させる。この画像には、図２（ａ）に示すように、拘束状態を示す指標として２本のガイドラインＬ３が表示される。作業者は、ロボットを遠隔操作し、ガイドラインＬ３に沿ってワーク１を目標位置（Ｙ−Ｚ平面内の目標位置）へ移動させる（図２（ｂ））。ワーク１が目標位置に達すると、ガイドラインＬ３が消える（図２（ｃ））。このガイドラインＬ３の消失により、作業者は、ワーク１のＺ軸方向への位置決め作業が完了し、ワーク１がＹ−Ｚ平面内の目標位置に達したことを知る。

この場合、ワーク１は、そのＸ−Ｙ平面内の位置が既に目標位置に合わせられていることから、Ｘ−Ｚ平面内の目標位置にも位置することになる。これにより、ガイドラインＬ３が消えた時点で、ワーク１がＸＹＺ空間内の目標位置に位置し、ワーク１の位置決め作業が完了する。

なお、以上の説明においては、ワーク１の最終組み付け位置および姿勢の外形をコンピュータグラフィックスで生成した仮想画像３をモニタ画面上に表示するようにしたが、仮想画像３は必ずしも表示しなくてもよい。

また、上述においては、ガイドラインＬ１に対して支点ＰＭしか表示しなかったが、図３（ａ）に示すように、ワーク１の実画像にそのエッジを強調する強調ライン（仮想画像）１ａを重ねて表示するようにし、この強調ライン１ａとガイドラインＬ１とを重ねるようにして、ワーク１の姿勢を修正するようにしてもよい。

また、上述においては、ワーク１を動かすことが可能な方向を示すガイドとしてガイドラインＬ２やＬ３を表示するようにしたが、図３（ｂ），（ｃ）や図４（ａ），（ｂ）に示すように、ワーク１を動かすことが可能な範囲を示すガイドとしてガイド壁Ｓ２およびＳ３を表示するようにしてもよい。

また、上述においては、Ｘ−Ｙ平面でのワーク１の移動方向を１方向としたが、図５に示すようにＸ軸方向とＹ軸方向とに分け、ワーク１をＸ軸方向へ移動させる場合にはガイド壁Ｓ２Ｘを表示するようにし、ワーク１をＹ軸方向へ移動させる場合にはガイド壁Ｓ２Ｙを表示するようにしてもよい。

また、図６（ａ）に示すように、ワーク１の実画像に対して、その許可された回転方向を示す矢印Ｙ１を表示するようにしてもよい。また、図６（ｂ）や図７（ａ）に示すように、ワーク１の実画像に対して、その許可された移動方向を示す矢印Ｙ２やＹ３を表示するようにしてもよい。この場合、矢印Ｙ１およびＹ２，Ｙ３は、図６（ｃ）や図７（ｂ）に示すように、ワーク１の姿勢の修正量や移動量に応じてその長さを変えるようにするとよい。

〔実施の形態〕
図８は本発明に係る作業支援装置の一実施の形態を用いた遠隔操作型システムのシステム構成図である。同図において、４はロボット、５はロボット４に指令を与えるための操縦デバイス、６は作業モニタ、７はロボット４と操縦デバイス５および作業モニタ６との間に設けられた処理装置、８はワーク１が載置されたトレイ、９はワーク１の組み付け位置に設けられた組立治具（ステージ）である。ステージ９にはガイド２が設けられている。

ロボット４は、ロボット本体４１と、このロボット本体４１から延びるアーム４２とを備え、アーム４２の先端部（ロボット先端部）４３には力センサ４４を介してハンド４５が設けられている。また、ロボット先端部４３には、ハンド４５の下方の領域（Ｚ軸方向から見た領域）を画像として捉えるカメラ４６が設けられている。力センサ４４は、ハンド４５に加わる力のＸ軸方向成分、Ｙ軸方向成分、Ｚ軸方向成分を検出し、処理装置７へ送る。

トレイ８には、そのトレイ面の縦横方向に並んで、ワーク１が多数載置されている。ステージ９には、ガイド２を含む領域を正面（Ｘ軸方向）から画像として捉えるカメラ１０と、ガイド２を含む領域を側面（Ｙ軸方向）から画像として捉えるカメラ１１とが設けられている。

本実施の形態では、カメラ４６のカメラ番号をＮＯ．１、カメラ１０のカメラ番号をＮＯ．２、カメラ１１のカメラ番号をＮＯ．３とする。このカメラ４６、カメラ１０、カメラ１１が捉える画像は処理装置７へ送られる。

処理装置７は、カメラ４６、カメラ１０、カメラ１１から入力する画像を切替えるカメラ切替え機７２と、それらの画像に変更方向を示す指標などの仮想画像を重畳してモニタに表示させるＣＧ合成機７３とからなるハードウェアと、操縦デバイス５を介する作業者からの指令に応じてロボット４の動作を制御するロボットコントローラ７１とを備えている。また、これらのハードウェアと協働して処理装置としての各種機能を実現させるプログラムを備え、本実施の形態特有の機能としてモニタ画面上でロボットの作業を支援する作業支援機能を有している。以下、図９〜図１２に示すフローチャートに従って、処理装置７が有する作業支援機能について説明する。

〔実画像とモデルとの位置合わせ〕
先ず、作業支援機能の初期設定として、実画像とモデルとの位置合わせを行う。処理装置７のメモリには、トレイ８の配置状態を示すトレイモデルとステージ９の配置状態を示すステージモデルが事前に作成され、作業環境のモデルとして記憶されている。

トレイモデルおよびステージモデルは、トレイ８およびステージ９の設計上の配置状態を示し、トレイ８およびステージ９の実際の配置状態との間にずれが生じている虞れがある。そこで、本実施の形態では、作業支援機能の初期設定として、実画像とモデルとの位置合わせを行い、トレイ８およびステージ９の実際の配置状態とトレイモデルおよびステージモデルとのずれを補正する。なお、トレイモデルおよびステージモデルは、トレイ８の輪郭表示やステージ９におけるガイド２のエッジ表示などに用いる。

この実画像とモデルとの位置合わせは、適宜人間が介入し、補正ポイントをモニタ画面上で直接指定することにより行う。この場合、作業者は、操縦デバイス５を操作し、ロボット先端部４３をトレイ８の上方に位置させ、作業モニタ６の画面上にカメラ４６が捉えるトレイ８の画像（実画像）を表示させる（ステップ１０１（図９））。

そして、このトレイ８の実画像において（図１３参照）、トレイ８の対向する角部Ｐ１，Ｐ２を補正ポイントとして指定する（ステップ１０２）。すると、処理装置７は、補正ポイントＰ１，Ｐ２を結ぶ線の中央をトレイ８の中心点Ｐ０として算出し、トレイモデルの中心点Ｐ０’と点Ｐ０との位置関係から実画像とモデルとの間のＸ軸方向へのずれ量Δｘ、Ｙ軸方向へのずれ量Δｙを、Ｐ１、Ｐ２を結ぶ線の傾きとＰ１’、Ｐ２’を結ぶ線の傾きからＺ軸回りのずれ量Δθを計算する（ステップ１０３）。そして、この計算したずれ量Δｘ，Δｙ，Δθに基づいて、トレイモデルを修正する（ステップ１０４）。

次に、作業者は、操縦デバイス５を操作し、ロボット先端部４３をステージ９の上方に位置させ、作業モニタ６の画面上にカメラ４６が捉えるガイド２を含むステージ９の画像（実画像）を表示させる（ステップ１０５）。

そして、このガイド２を含むステージ９の実画像において（図１４参照）、ガイド２の角部Ｐ３，Ｐ４を補正ポイントとして指定する（ステップ１０６）。すると、処理装置７は、補正ポイントＰ３，Ｐ４を結ぶ線とステージモデルにおける対応するポイントＰ３’，Ｐ４’を結ぶ線との位置関係から、実画像とモデルとの間のＸ軸方向へのずれ量Δｘ、Ｙ軸方向へのずれ量Δｙ、Ｚ軸回りのずれ量Δθを計算する（ステップ１０７）。そして、この計算したずれ量Δｘ，Δｙ，Δθに基づいて、ステージモデルを修正する（ステップ１０８）。

〔位置決め作業の開始〕
作業者は、このようにして実画像とモデルとの位置合わせを終えた後、トレイ８に載置されたワーク１のステージ９への位置決め作業を開始する。なお、この実施の形態では、説明を簡単とするために、ワーク１はＺ軸回りの姿勢にのみ傾きが生じており、他の方向には傾きは生じていないものとする。

作業者は、先ず、操縦デバイス５を操作し、ロボット先端部４３をトレイ８の上方に位置させ、作業モニタ６の画面上にカメラ４６が捉えるワーク１の画像（実画像）を表示させる（ステップ２０１（図１０））。そして、このワーク１の実画像において（図１５参照）、ワーク８の対向する角部Ｐ１，Ｐ２を補正ポイントとして指定する（ステップ２０２）。

すると、処理装置７は、補正ポイントＰ１，Ｐ２を結ぶ線の中央をワーク１の中心点Ｐ０として算出し、モデルにおけるワーク１の中心点Ｐ０’とＰ０点との位置関係から実画像とモデルとの間のＸ軸方向へのずれ量Δｘ、Ｙ軸方向へのずれ量Δｙを、Ｐ１、Ｐ２を結ぶ線と、モデルにおけるワーク１の補正ポイントに対応した点Ｐ１’、Ｐ２’を結ぶ線の傾きからＺ軸回りのずれ量Δθを計算する（ステップ２０３）。そして、この計算したずれ量Δｘ，Δｙ，Δθに合わせて、Ｐ０点を中心としてワーク１をハンド４５でつかむ（ステップ２０４）。

また、処理装置７は、ワーク１の目標姿勢と現在の姿勢とからワーク１の姿勢の修正方向および修正量を算出し、ワーク１の実画像に対して姿勢修正用のガイドラインＬ１を表示する（図１６（ａ）：ステップ２０５）。また、ワーク１の実画像に対して、その時のワーク１の回転中心を示す支点ＰＭを表示する。また、ワーク１のエッジを強調する強調ライン１ａを表示する。また、ハンド４５によるワーク１のＺ軸回りの動きだけを許可し、他の方向への動きを全て拘束する（ステップ２０６）。

〔姿勢の修正〕
作業者は、このモニタ画面を見ながら、ロボット４を遠隔操作し、ハンド４５でワーク１を持ち上げ、支点ＰＭを中心としてワーク１を回転させる（ステップ２０７：図１６（ｂ））。この回転によって、ワーク１の実画像に対して表示されている強調ライン１ａがガイドラインＬ１に一致すると、ガイドラインＬ１が消える（図１６（ｃ））。これにより、作業者に、ワーク１のＺ軸回りの姿勢の修正が完了したことが知らされる。

〔移動（Ｘ軸方向およびＹ軸方向）〕
ガイドラインＬ１が消えると（ステップ２０８のＹＥＳ）、処理装置７は、ワーク１の目標位置（Ｘ−Ｙ平面内の目標位置）と現在の位置とからワーク１の移動方向および移動量を算出し、ワーク１の実画像に対してＸＹ軸方向移動用のガイド壁Ｓ２を表示する（図１６（ｃ）：ステップ２０９）。また、ハンド４５によるワーク１のガイド壁Ｓ２で囲まれた範囲の動きだけを許可し、他の方向への動きを全て拘束する（ステップ２１０（図１１））。

作業者は、このモニタ画面を見ながら、ロボット４を遠隔操作し、ワーク１をガイド壁Ｓ２に沿って移動させる（ステップ２１１）。ワーク１をガイド壁Ｓ２に沿って移動させると、画面内にガイド２の実画像が入るようになり（図１６（ｄ））、やがてガイド壁Ｓ２が消える（図１６（ｅ））。これにより、作業者に、ワーク１のＸ軸方向およびＹ軸方向への位置決め作業が完了し、ワーク１がＸ−Ｙ平面内の目標位置に達したことが知らされる。なお、図１６（ｄ）および（ｅ）において、２ａはガイド２のエッジを強調する強調ライン（仮想画像）である。

〔移動（Ｚ軸方向）〕
ガイド壁Ｓ２が消えると（ステップ２１２のＹＥＳ）、処理装置７は、モニタ画面に表示する画像をカメラ４６からカメラ１０へ切り替える（ステップ２１３）。そして、ワーク１の目標位置（Ｙ−Ｚ平面内の目標位置）と現在の位置とからワーク１の移動方向および移動量を算出し、ワーク１の実画像に対してＺ軸方向移動用のガイド壁Ｓ３を表示する（図１７（ａ）：ステップ２１４）。また、ハンド４５によるワーク１のガイド壁Ｓ３で囲まれた範囲の動きだけを許可し、他の方向への動きを全て拘束する（ステップ２１５）。

作業者は、このモニタ画面を見ながら、ロボット４を遠隔操作し、ワーク１をガイド壁Ｓ３に沿って移動させる（ステップ２１６）。ワーク１をガイド壁Ｓ３に沿って移動させ（図１７（ｂ））、ワーク１が目標位置に達すると、ガイド壁Ｓ３が消える（図１７（ｃ））。これにより、作業者に、ワーク１のＺ軸方向への位置決め作業が完了し、ワーク１がＸＹＺ空間内の目標位置に達したことが知らされる。

〔力ベクトルの表示〕
ワーク１のガイド壁Ｓ３に沿っての移動中、ワーク１がガイド２に当たり、ワーク１を目標位置まで移動させることができないことがある。この場合、処理装置７は、力センサ４４からの検出信号によりハンド４５に加わる力を察知し、この力の方向および大きさを示す矢印ＹＦ（力ベクトル）をワーク１の実画像に対して表示する（図１７（ｃ））。

作業者は、力ベクトルＹＦが表示されると（ステップ２１７のＹＥＳ）、ワーク１のＸ軸方向およびＹ軸方向への位置の調整を行う（ステップ２１８）。この場合、処理装置７は、先ず、ワーク１のＹ軸方向への動きだけを許可し、作業者によるワーク１のＹ軸方向への位置の調整を可能とする。次に、モニタ画面に表示する画像をカメラ１０からカメラ１１へ切り替えて、ワーク１のＸ軸方向への動きだけを許可し、作業者によるワーク１のＸ軸方向への位置の調整を可能とする。

〔微調整〕
処理装置７は、ガイド壁Ｓ３が消えると（ステップ２１９（図１２）のＹＥＳ）、ワーク１からハンド４５を離す（ステップ２２０）。そして、モニタ画面に表示する画像をカメラ１０からカメラ４６へ切り替える（ステップ２２１）。これにより、モニタ画面には、図１８に示すように、ワーク１の実画像に対して、ハンド４５を操作することが可能な範囲を示す指標として模範軌道ＳＭが表示される（ステップ２２２）。

この模範軌道ＳＭは、作業を進める上でのポイントとなる操作を熟練者の経験的知識などから抽出して定められたものであり、ハンド４５の軌道拘束状態と合わせて、ワーク１への効果的な押し当てを実現するための接触ポイントや接触方向などを示すものである。

作業者は、この模範軌道ＳＭに沿ってハンド４５を移動させ、ワーク１をガイド２へ押し付ける（ステップ２２３）。バイラテラル方式により、ハンド４５に加わった外力を操縦デバイス５にフィードバックすることで、作業者は作業力を感じながら操作を行うことが可能となる。

作業者は、このような操作を模範軌道ＳＭに沿って繰り返し、ワーク１をガイド２に突き当てる（ステップ２２４）。Ｘ軸方向およびＹ軸方向への位置の微調整が完了すると（ステップ２２５のＹＥＳ）、処理装置７は、ロボット先端部４３を位置決め作業の開始位置まで戻し（ステップ２２６）、次のワーク１の位置決め作業に備える。

〔運動特性モデルの表示〕
遠隔操作型のロボットを用いた作業では、コンピュータ制御技術によりロボットに対して様々な運動特性を持たせることができる。それにより、例えば、作業に適した座標系や運動特性をロボットに設定して、人間の作業を効果的に支援することが可能となる。このコンピュータ制御技術では、運動や力の空間を制御によって歪めて作業支援を行うものであるため、現在どのような支援特性が機能しているかを視覚的にも操作者に直感的に伝える必要がある。

運動特性モデルとしては、例えば、図１９に示すように、円筒状の物体１２に対してハンド２を一定の距離間隔で動かすような場合、このハンド２の制御状態（追従制御の状態）を示す仮想リンク機構ＬＮを実画像に重ねて表示するようにしてもよい。このような運動特性モデルを表示することにより、自分の操作に応じて仮想機構が運動・変化して行くため、支援の様子を手に取るように把握することができるようになる。

このように、本実施の形態によれば、ロボット４によるワーク１の少なくとも一方向への動きを拘束し、モニタ画面上のワーク１の実画像に対してそのワーク１の現在の拘束状態を示す指標としてガイドラインＹ１やガイド壁Ｓ２，Ｓ３などを表示するようにしたので、ワーク１の現在の拘束状態をモニタ画面上で確認しながらワーク１を許可された方向のみへ動かすようにして、位置決め作業中のワーク１の姿勢の修正や目標位置への移動を短時間で行うことができるようになり、作業者の負担軽減、非熟練作業者のスキルアップ、作業の効率化などを実現することが可能となる。

なお、上述した実施の形態では、説明を簡単とするために、位置決め作業の開始時、ワーク１はＺ軸回りの姿勢にのみ傾きが生じており、他の方向には傾きは生じていないものとしたが、Ｘ軸回りの姿勢やＹ軸回りの姿勢にも傾きが生じている場合にも、Ｚ軸回りの姿勢に傾きが生じていた場合と同様にして、ワーク１の姿勢を修正することができる。例えば、Ｘ軸回りの姿勢に傾きが生じていた場合、カメラ１０でワーク１を捉えた画像には、図２０（ａ），（ｂ）に示すように、ワーク１のＸ軸回りの姿勢修正用のガイドラインＬ１やワーク１のＺＹ軸方向移動用のガイド壁Ｓ２が表示されるので、このガイドラインＬ１やガイド壁Ｓ２を頼りにワーク１の姿勢の修正と目標位置への移動を行う。

また、図２１に示すように、最初はＰＭ１を拘束ポイントとして全方向への姿勢の修正を可能とし（図２１（ａ））、次に拘束ポイントＰＭ２を定め（図２１（ｂ））、このＰＭ１点とＰＭ２点とを結ぶ線を拘束ラインとして、ワーク１の姿勢の修正を段階的に行うようにしてもよい（図２１（ｃ））。

本発明の概要を説明するための作業対象物（ワーク）およびガイドを含む作業環境をＺ軸方向からカメラで捉えたモニタ画面上の実画像に重畳表示されるガイドラインＬ１，Ｌ２を示す図である。 本発明の概要を説明するための作業対象物（ワーク）およびガイドを含む作業環境をＸ軸方向からカメラで捉えたモニタ画面上の実画像に重畳表示されるガイドラインＬ３を示す図である。 ガイドラインＬ２に代えてガイド壁Ｓ２を表示するようにした例を示す図である。 ガイドラインＬ３に代えてガイド壁Ｓ３を表示するようにした例を示す図である。 Ｘ軸方向とＹ軸方向に分けてワークを移動するようにした場合のガイド壁Ｓ２（Ｓ２Ｘ，Ｓ２Ｙ）の表示例を示す図である。 許可された回転方向を示す矢印Ｙ１および許可された移動方向を示す矢印Ｙ２を表示するようにした例を示す図である。 許可された移動方向を示す矢印Ｙ３を表示するようにした例を示す図である。 本発明に係る作業支援装置の一実施の形態を用いた遠隔操作型システムのシステム構成図である。 このシステムにおける処理装置が有する作業支援機能の初期設定（実画像とモデルとの位置合わせ）を説明するためのフローチャートである。 このシステムにおける処理装置が有する作業支援機能を説明するためのフローチャートである。 図１０に続くフローチャートである。 図１１に続くフローチャートである。 トレイモデルと実画像との位置合わせを説明する図である。 ステージモデルと実画像との位置合わせを説明する図である。 ハンドによってワークをつかむ際の位置合わせを説明する図である。 作業対象物をＺ軸方向からカメラで捉えたモニタ画面上の実画像に重畳表示されるガイドラインおよびガイド壁を示す図である。 作業対象物をＸ軸方向からカメラで捉えたモニタ画面上の実画像に重畳表示されるガイド壁Ｓ３を示す図である。 ワークの位置を微調整する場合に拘束状態を示す指標として表示されるハンドの模範軌道を示す図である。 ハンドの運動特性モデルの例として仮想リンク機構を示す図である。 作業対象物をＸ軸方向からカメラで捉えたモニタ画面上の実画像に重畳表示されるガイドラインおよびガイド壁を例示する図である。 モニタ画面上の作業対象物に対し拘束ポイントを段階的に定めて姿勢を修正して行く様子を示す図である。 作業対象物およびガイドを含む作業環境をＺ軸方向からカメラで捉えたモニタ画面上の画像に重畳される従来の仮想画像の表示例を示す図である。 作業対象物およびガイドを含む作業環境をＸ軸方向からカメラで捉えたモニタ画面上の画像に重畳される従来の仮想画像の表示例を示す図である。

符号の説明

１…作業対象物（ワーク）、１ａ…強調ライン、２…ガイド、２ａ…強調ライン、３…仮想画像、Ｌ１，Ｌ２，Ｌ３…ガイドライン、Ｓ２，Ｓ３…ガイド壁、Ｙ１，Ｙ２，Ｙ３…矢印、ＹＦ…矢印（力ベクトル）、ＰＭ、ＰＭ１、ＰＭ２…支点、４…ロボット、５…操縦デバイス、６…作業モニタ、７…処理装置、８…トレイ、９…組立治具（ステージ）、１０，１１，４６…カメラ、４１…ロボット本体、４２…アーム、４３…ロボット先端部、４４…力センサ。４５…ハンド、７１…ロボットコントローラ、７２…カメラ切替え機、７３…ＣＧ合成機、ＳＭ…模範軌道、ＬＮ…仮想リンク機構。

Claims (8)

1. 遠隔操作型の機構を利用して作業対象物の位置及び姿勢を目標位置及び目標姿勢へ一致させる位置決め作業を支援する作業支援装置において、
   前記作業対象物の実画像をモニタ画面上に表示する実画像表示手段と、
   前記作業対象物の前記目標姿勢と現在の姿勢とから演算された前記作業対象物の姿勢の修正方向あるいは前記作業対象物の前記目標位置と現在の位置とから演算された前記作業対象物の前記目標位置への移動方向から前記機構による前記作業対象物の少なくとも一方向への動きを拘束する拘束手段と、
   前記モニタ画面上に表示された前記作業対象物の実画像に対してその作業対象物の現在の拘束状態を示す指標を前記モニタ画面に表示する拘束状態表示手段と
   を備えることを特徴とする作業支援装置。
2. 請求項１に記載された作業支援装置において、
   前記拘束状態表示手段は、前記指標として前記作業対象物を動かすことが可能な方向を示すラインを表示する
   ことを特徴とする作業支援装置。
3. 請求項１に記載された作業支援装置において、
   前記拘束状態表示手段は、前記指標として前記作業対象物を動かすことが可能な範囲を囲む壁を表示する
   ことを特徴とする作業支援装置。
4. 請求項１に記載された作業支援装置において、
   前記拘束状態表示手段は、前記指標として前記機構を操作することが可能な範囲を塗り潰した軌道を表示する
   ことを特徴とする作業支援装置。
5. 遠隔操作型の機構を利用して作業対象物の位置及び姿勢を目標位置及び目標姿勢へ一致させる位置決め作業を支援する作業支援方法において、
   前記作業対象物の実画像を前記モニタ画面上に表示する第１ステップと、
   前記作業対象物の前記目標姿勢と現在の姿勢とから演算された前記作業対象物の姿勢の修正方向あるいは前記作業対象物の前記目標位置と現在の位置とから演算された前記作業対象物の前記目標位置への移動方向から前記機構による前記機構による前記作業対象物の少なくとも一方向への動きを拘束する第２ステップと、
   前記モニタ画面上に表示された前記作業対象物の実画像に対してその作業対象物の現在の拘束状態を示す指標を前記モニタ画面に表示する第３ステップと
   を備えることを特徴とする作業支援方法。
6. 請求項５に記載された作業支援方法において、
   前記第３ステップは、前記指標として前記作業対象物の操作可能な方向を示すラインを表示する
   ことを特徴とする作業支援方法。
7. 請求項５に記載された作業支援方法において、
   前記第３ステップは、前記指標として前記作業対象物を動かすことが可能な範囲を囲む壁を表示する
   ことを特徴とする作業支援方法。
8. 請求項５に記載された作業支援方法において、
   前記第３ステップは、前記指標として前記機構を操作することが可能な範囲を塗り潰した軌道を表示する
   ことを特徴とする作業支援方法。

Images