JP6858124B2 - 遠隔操縦マニピュレータシステム及びその運転方法 - Google Patents

Description

本発明は、遠隔操縦マニピュレータシステム及びその運転方法に関する。

操作者が操作するマスターアームの動作にスレーブアームの動作を追従させるマスタースレーブ方式の遠隔マニピュレーション装置が知られている（例えば、特許文献１参照）。

特許文献１に開示されている遠隔マニピュレーション装置では、テレビモニタの画面上に、作業対象物とスレーブ手先部の実際の映像、及び現在の作業項目内容を表示することにより、手動操作時に人間の操作をうながし、操作者は実施すべき操作の内容を理解し、円滑に作業を進めることができるとしている。

特開昭６２−１９９３７６号公報

しかしながら、上記特許文献１に開示されている遠隔マニピレーション装置であっても、操作者が、直感的にスレーブアームの状況を把握するためには、未だ改善の余地があった。

本発明は、上記従来の課題を解決するもので、直感的にスレーブアームの現在の状況を把握でき、作業効率を向上させることができる、遠隔操縦マニピュレータシステム及びその運転方法を提供することを目的とする。

上記従来の課題を解決するために、本発明に係る遠隔操縦マニピュレータシステムは、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うスレーブアームと、前記作業空間内における前記スレーブアームの状況を示す状況情報を取得する状況情報取得器と、前記作業空間内の環境に関連する環境情報を前記操作器が設置されている空間に再現する環境再現装置と、制御装置と、を備え、前記制御装置は、前記状況情報取得器から出力された前記状況情報に対応する前記環境情報を前記環境再現装置により再現させるように構成されている。

これにより、操作者（特に、熟練者にとって）に向けて、光、におい、音、又は映像等の環境情報を表示することで、直感的に、操作するスレーブアームの状況を把握することができる。このため、遠隔操作の作業に集中しやすくなり、操作の失敗を低減することができ、作業者の疲労を軽減することができる。また、遠隔操作の作業効率を向上させることができる。

また、本発明に係る遠隔操縦マニピュレータシステムの運転方法は、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うスレーブアームと、を備える遠隔操縦マニピュレータシステムの運転方法であって、前記作業空間内における前記スレーブアームの状況を示す状況情報を取得する（Ａ）と、前記（Ａ）で取得した前記状況情報に対応する環境情報を前記操作器が設置されている空間に環境再現装置が再現する（Ｂ）と、を備える。

これにより、操作者（特に、熟練者にとって）に向けて、光、におい、音、又は映像等の環境情報を表示することで、直感的に、操作するスレーブアームの状況を把握することができる。このため、遠隔操作の作業に集中しやすくなり、操作の失敗を低減することができ、作業者の疲労を軽減することができる。また、遠隔操作の作業効率を向上させることができる。

本発明の遠隔操縦マニピュレータシステム及びその運転方法によれば、直感的に、操作するスレーブアームの状況を把握することができる。

図１は、本実施の形態１に係る遠隔操縦マニピュレータシステムの概略構成を示すブロック図である。 図２は、図１に示す遠隔マニピュレータシステムの環境再現装置の具体例を示した模式図である。 図３は、本実施の形態１に係る遠隔操縦マニピュレータシステムの動作を示すフローチャートである。 図４は、本実施の形態２に係る遠隔操縦マニピュレータシステムの概略構成を示すブロック図である。 図５は、本実施の形態２に係る遠隔操縦マニピュレータシステムの動作を示すフローチャートである。 図６は、本実施の形態３に係る遠隔操縦マニピュレータシステムの動作を示すフローチャートである。 図７は、本実施の形態４に係る遠隔操縦マニピュレータシステムの概略構成を示すブロック図である。 図８は、本実施の形態４に係る遠隔操縦マニピュレータシステムの動作を示すフローチャートである。

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、全ての図面において、同一又は相当部分には同一符号を付し、重複する説明は省略する。また、全ての図面において、本発明を説明するための構成要素を抜粋して図示しており、その他の構成要素については図示を省略している場合がある。さらに、本発明は以下の実施の形態に限定されない。

（実施の形態１）
本実施の形態１に係る遠隔操縦マニピュレータシステムは、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うスレーブアームと、作業空間内におけるスレーブアームの状況を示す状況情報を取得する状況情報取得器と、作業空間内の環境に関連する環境情報を操作器が設置されている空間に再現する環境再現装置と、制御装置と、を備え、制御装置は、状況情報取得器から出力された状況情報に対応する環境情報を環境再現装置により再現させるように構成されている。

また、本実施の形態１に係る遠隔操縦マニピュレータシステムでは、環境情報が記憶されている記憶装置をさらに備え、制御装置は、状況情報取得器から出力された状況情報に対応する環境情報を記憶装置から取得するように構成されていてもよい。

また、本実施の形態１に係る遠隔操縦マニピュレータシステムでは、状況情報が、作業空間内の映像情報、作業空間内で発生する音情報、作業空間内で発生するにおい情報、作業空間内で発生する光情報、作業空間内の温度情報、及び作業空間内で発生する振動情報からなる群のうち、少なくとも１つの情報であってもよい。

また、本実施の形態１に係る遠隔操縦マニピュレータシステムでは、環境情報は、作業空間内の映像情報、作業空間内で発生する音情報、作業空間内で発生するにおい情報、照明情報、作業空間内の温度情報、作業空間内で発生する振動情報、及び操作者の姿勢情報からなる群のうち、少なくとも１つの情報であってもよい。

さらに、本実施の形態１に係る遠隔操縦マニピュレータシステムでは、スレーブアームが複数設置されていて、制御装置は、操作器によりスレーブアームの操作が切り替えられると、状況情報取得器に状況情報を取得させるように構成されていてもよい。

以下、本実施の形態１に係る遠隔操縦マニピュレータシステムの一例について、図１〜図３を参照しながら説明する。

［遠隔操縦マニピュレータシステムの構成］
図１は、本実施の形態１に係る遠隔操縦マニピュレータシステムの概略構成を示すブロック図である。

図１に示すように、本実施の形態１に係る遠隔操縦マニピュレータシステム１００は、スレーブアーム１、操作器２、状況情報取得器３、制御装置４、記憶装置５、及び環境再現装置６を備えていて、操作者が操作器２を操作することにより、スレーブアーム１が動作するように構成されている。

スレーブアーム１は、作業空間内に設置され、複数の工程からなる一連の作業を行うロボットである。なお、複数の工程からなる一連の作業としては、製品に対する部品の組付、塗装等の作業が例示できる。

本実施の形態１に係るスレーブアーム１は、ライン生産方式又はセル生産方式で、電気・電子部品等を組み立てて製品を生産する生産工場で利用され、この生産工場に設けられた作業台に沿って配置され、作業台上のワークに対して、移送、パーツの組み付け又は配置換え、姿勢変換等の作業のうち少なくとも１つを行うことができる多関節ロボットである。但し、スレーブアーム１の実施態様は上記に限定されず、水平多関節型・垂直多関節型を問わず多関節ロボットに広く適用することができる。

操作器２は、作業空間外に設置され、操作者からの操作指示を受け付ける装置である。操作器２としては、例えば、マスターアーム、ジョイスティック、又はタブレット等が挙げられる。なお、操作器２には、後述する作業の開始指示、操縦運転（手動運転）による作業の完了通知等を入力する入力部等が、別途、設けられていてもよい。なお、操作器２は、作業空間内に設置されていてもよい。

状況情報取得器３は、スレーブアーム１の作業空間内における状況を示す状況情報を取得する。状況情報は、作業空間内の映像情報、作業空間内で発生する音情報、作業空間内で発生するにおい情報、作業空間内で発生する光情報、作業空間内の温度情報、及び作業空間内で発生する振動情報からなる群のうち、少なくとも１つの情報である。

具体的には、作業空間内の映像情報は、作業空間内におけるスレーブアーム１及びその周辺を映像としてカメラ等で撮影している情報である。より詳細には、作業空間内の映像情報は、例えば、作業空間内におけるスレーブアーム１の位置又は姿勢、スレーブアーム１とワークとの位置関係、又はスレーブアーム１とワークを組付ける被組付部品との位置関係等を映像として記録されている情報である。

また、作業空間内で発生する音情報、作業空間内で発生するにおい情報、及び作業空間内で発生する光情報、作業空間内の温度情報、及び作業空間内で発生する振動情報は、スレーブアーム１を取り巻く周囲の状況を認識するために利用できる情報である。例えば、スレーブアーム１が溶接を実行しているときに発生する音、におい、及び光、スレーブアーム１が塗装を実行しているときに発生する音、塗料のにおい、及び塗料の色（塗料が反射する光）等が挙げられる。また、例えば、スレーブアーム１が溶接を実行することにより、作業空間内の温度（室温）が上昇、スレーブアーム１がワークの洗浄を実行することにより、作業空間内の温度が下降するような場合の温度の変動情報、及びスレーブアーム１がワークを被組み付け部品に組み付けるときに発生する振動情報等が挙げられる。

状況情報取得器３としては、例えば、センサ、撮像装置、通信器、エンコーダ等が挙げられる。センサとしては、例えば、ワーク（組付部品）又は被組付部品までの距離、または位置を計測するためのレーザセンサ又はレーダセンサ等が例示できる。また、センサとしては、複数の撮像装置から得られた画像データを用いてスレーブアーム１からその周囲の物体までの距離を計測するセンサであるステレオカメラ等も例示できる。さらに、センサとしては、作業空間内で発生する、においを検知する臭気センサ、又は音を拾うマイク、作業空間内の温度を検知する温度センサ、またはスレーブアーム１又はワークの振動を検知する圧力センサ（振動センサ）が挙げられる。

通信器としては、例えば、ワーク（組付部品）又は被組付部品、あるいは作業空間内の所定位置に設置されたセンサ及び撮像装置からの情報を取得する通信器等が挙げられる。エンコーダとしては、例えば、スレーブアームの移動量又は位置を検知できるエンコーダが例示できる。

状況情報取得器３は、スレーブアーム１自体に配置されていてもよく、作業空間内の適所に配置されていてもよい。また、配置されている状況情報取得器３の数は１つであってもよく、複数であってもよい。適切に状況情報を取得できる位置に適切な個数の状況情報取得器３が配置されていればよく、取り付け位置及び取り付け個数は任意である。また、状況情報取得器３は、状況情報を逐次、取得しており、取得された状況情報は、後述する制御装置４に入力され、制御装置４においてスレーブアーム１の動作制御に利用される。

記憶装置５は、読み書き可能な記録媒体であり、遠隔操縦マニピュレータシステム１００の動作シーケンス情報５１と環境情報５２が記憶されている。なお、本実施の形態１に係る遠隔操縦マニピュレータシステム１００では、記憶装置５は、制御装置４と別体に設けられているが、制御装置４と一体として設けられていてもよい。

動作シーケンス情報５１とは、作業空間内でスレーブアーム１によって実施される一連の作業を規定した動作シーケンスに関する情報であって、スレーブアーム１の自動運転を実行させるためのプログラムを含む。具体的には、動作順とスレーブアーム１の運転モード（運転モード）と該運転モードにおける動作フローとを対応付けた情報となっている。

環境情報５２は、作業空間内の映像情報、作業空間内で発生する音情報、作業空間内で発生するにおい情報、作業空間内で発生する光情報、作業空間内の温度情報、作業空間内で発生する振動情報、及び操作者の姿勢情報からなる群のうち、少なくとも１つの情報である。

具体的には、作業空間内の映像情報は、作業空間内におけるスレーブアーム１及びその周辺を映像としてカメラ等で撮影し、記憶装置５に記憶されている情報である。より詳細には、作業空間内の映像情報は、例えば、作業空間内におけるスレーブアーム１の位置又は姿勢、スレーブアーム１とワークとの位置関係、又はスレーブアーム１とワークを組付ける被組付部品との位置関係等を映像として記録されている情報である。

また、作業空間内で発生する音情報、作業空間内で発生するにおい情報、及び作業空間内で発生する光情報は、スレーブアーム１を取り巻く周囲の状況を認識するために利用できる情報である。例えば、スレーブアーム１が溶接を実行しているときに発生する音、におい、及び光、スレーブアーム１が塗装を実行しているときに発生する音、塗料のにおい、及び塗料の色（塗料が反射する光）等が挙げられ、これらの情報が記憶装置５内に記憶されている。

さらに、作業空間内の温度情報、作業空間内で発生する振動情報、及び操作者の姿勢情報は、スレーブアーム１を取り巻く周囲の状況を認識するために利用できる情報である。例えば、スレーブアーム１が溶接を実行することにより、作業空間内の温度（室温）が上昇、スレーブアーム１がワークの洗浄を実行することにより、作業空間内の温度が下降するような場合の温度の変動情報、スレーブアーム１がワークを被組み付け部品に組み付けるときに発生する振動情報が挙げられる。また、例えば、スレーブアーム１が実行している作業を操作者が手作業で実行していたときに、当該操作者がとっていた姿勢情報等が挙げられる。そして、これらの情報は、記憶装置５内に記憶されている。

制御装置４は、スレーブアーム１の動作を制御するものであり、機能ブロックとして、受信部４０、環境情報取得部４１、動作制御部４２、及び出力制御部４３を備えている。制御装置４は、例えば、マイクロコントローラ、ＭＰＵ、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）、論理回路等からなる演算部（図示せず）と、ＲＯＭ又はＲＡＭ等からなるメモリ部（図示せず）と、により構成することができる。また、制御装置４が備える各機能ブロックは、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出し実行することにより実現できる。

なお、制御装置４は、単独の制御装置で構成される形態だけでなく、複数の制御装置が協働して、スレーブアーム１（遠隔操縦マニピュレータシステム１００）の制御を実行する制御装置群で構成される形態であっても構わない。

受信部４０は、制御装置４の外部から送信された入力信号を受信するものである。受信部４０によって受信する入力信号としては、例えば、操作器２から送信された信号、操作器２以外の図示されない操作指示部から送信された信号、あるいは状況情報取得器３から送信された状況情報を示す信号等が挙げられる。

環境情報取得部４１は、記憶装置５に記憶されている環境情報５２から、受信部４０によって状況情報取得器３から受信した状況情報に対応する環境情報を取得し、当該環境情報を動作制御部４２に出力する。状況情報取得器３から受信した状況情報に対応する環境情報としては、例えば、スレーブアーム１が塗装を実行している場合、予め撮影された作業空間内の映像であってもよく、予め作成されたアニメーション等の映像であってもよく、予め録音されたスプレー音であってもよく、塗装に使用されている塗料のにおいであってもよく、塗料の色であってもよい。

動作制御部４２は、受信部４０が入力信号として操作器２から操作指示を受け付けた場合、この操作指示をトリガとして一連の作業においてスレーブアーム１が実施する工程の運転モードを判定する。動作制御部４２は、次にスレーブアーム１が実施する工程の運転モードの判定を記憶装置５に記憶された動作シーケンス情報５１を参照して行うことができる。動作制御部４２は、運転モードを判定すると、判定された運転モードでスレーブアーム１を動作させるように制御する。

動作制御部４２は、スレーブアーム１を自動運転とすると判定した場合には、動作シーケンス情報５１を読み出し、動作シーケンス情報５１に含まれるプログラムにより規定された動作を実施するようにスレーブアーム１を制御する。

一方、動作制御部４２がスレーブアーム１を操縦運転とすると判定した場合には、操作器２から受信部４０が受信した操作指示に基づいて動作するようにスレーブアーム１を制御する。なお、動作制御部４２は、スレーブアーム１を自動運転により動作させる場合、スレーブアーム１の自動運転が終了すると、自動運転終了を示す情報を出力制御部４３に送信する。

また、動作制御部４２は、複数の工程のうち、少なくとも１つの工程において、自動運転又は操縦運転を開始するとき、自動運転中、自動運転又は操縦運転が終了したとき、あるいは、後述する指示取得器７から状況情報の取得指示が入力されたときに、環境情報取得部４１から出力された環境情報５２を出力制御部４３に出力する。なお、動作制御部４２は、各工程において、自動運転又は操縦運転を開始するとき、自動運転中、あるいは、自動運転又は操縦運転が終了したときに、環境情報５２を出力制御部４３に出力してもよい。また、動作制御部４２は、環境情報取得部４１から出力される環境情報５２に代えて、受信部４０を介して、状況情報取得器３から出力された状況情報を取得し、当該状況情報を環境情報として、出力制御部４３に出力してもよい。

出力制御部４３は、環境再現装置６を制御し、操作者等に通知する情報を出力する。出力制御部４３は、例えば、動作制御部４２から自動運転開始を示す情報を受信した場合、又は動作制御部４２から受信部４０を介して、操作器２からの操縦運転開始を示す情報を受信した場合に、当該情報と共に、環境情報５２又は状況情報を出力するように環境再現装置６を制御してもよい。また、出力制御部４３は、動作制御部４２が自動運転を実行しているときに、環境情報５２又は状況情報を出力するように環境再現装置６を制御してもよい。さらに、出力制御部４３は、動作制御部４２から自動運転終了を示す情報を受信した場合、又は動作制御部４２から受信部４０を介して、操作器２からの操縦運転終了を示す情報を受信した場合に、当該情報と共に、環境情報５２又は状況情報を出力するように環境再現装置６を制御してもよい。

環境再現装置６は、操作器２の操作者が出力された情報を検知できる位置（作業空間外；操作器２が設置されている空間）に設けられていて、制御装置４から送信された情報を出力するものである。また、環境再現装置６は、スレーブアーム１の自動運転終了の通知を表示させたり、音又は光で表現したりする等して出力する。

ここで、図２を参考にしながら、環境再現装置６の具体例について、詳細に説明する。

図２は、図１に示す遠隔マニピュレータシステムの環境再現装置の具体例を示した模式図である。

図２に示すように、環境再現装置６としては、例えば、モニタ等の表示装置６１、スピーカ６２、スプレー缶６３、照明器具６４、机２１、イス２２、又は操作器２を振動させる振動装置６５、机２１、イス２２、操作器２の姿勢を変動（傾斜）させる姿勢変動装置６６、またはエアコン６７等が挙げられる。環境再現装置６が、表示装置６１で構成されている場合、制御装置４から送信された情報を文字、絵、画像、動画等の映像として表示する。環境再現装置６が、スピーカ６２で構成されている場合、制御装置４から送信された情報を音として出力する。

また、環境再現装置６が、スプレー缶６３で構成されている場合、予め容器内に臭気成分を充填しておき、制御装置４から送信された情報をにおいとして出力する。具体的には、例えば、スレーブアーム１が塗装している場合には、塗装に使用する塗料の臭気成分を容器内に充填しておき、制御装置４から環境情報が出力されると、スプレー缶６３が当該臭気成分を放出してもよい。

また、環境再現装置６が、照明器具６４で構成されている場合、制御装置４から送信された情報を光として出力することで、スレーブアーム１の状況を再現する。具体的には、例えば、スレーブアーム１が溶接している場合には、照明器具６４が、溶接時に発生する光の色を出力（照射）してもよく、光を点滅するように出力してもよい。また、スレーブアーム１が塗装している場合には、照明器具６４が塗料の色を出力してもよい。さらに、予めスレーブアーム１が実行している工程について、出力する色を決めておき、当該色を照明器具６４が出力してもよい。

また、環境再現装置６が、振動装置６５で構成されている場合、制御装置４から送信された情報を振動として出力する。具体的には、例えば、操作者が操作している操作器２、操作器２が配置されている机２１、又は操作者が座っているイス２２を振動装置６５が振動させる。

また、環境再現装置６が、姿勢変動装置６６で構成されている場合、制御装置４から送信された情報を姿勢情報として出力する。具体的には、例えば、操作器２が配置されている机２１の天板、又は操作者が座っているイス２２を姿勢変動装置６６が傾斜させる。これにより、操作者は、スレーブアーム１が実行している工程を当該操作者が手作業で実行していたときにとっていた姿勢となり、操作者は、スレーブアーム１が実行している工程を把握することができる。

さらに、環境再現装置６が、エアコン６７で構成されている場合、制御装置４から送信された情報を温度として出力する。具体的には、エアコン６７は、操作器２が配置されている空間の温度を調整する。例えば、スレーブアーム１が溶接している場合には、エアコン６７は、操作器２が配置されている空間の温度が上昇するように作動する。

［遠隔操縦マニピュレータシステムの動作及び作用効果］
次に、本実施の形態１に係る遠隔操縦マニピュレータシステム１００の動作及び作用効果について、図１〜図３を参照しながら説明する。なお、操作者が操作器２を操作して、スレーブアーム１を動作させて、一連の作業を行う動作については、公知の遠隔操縦マニピュレータシステムと同様に実行されるため、その詳細な説明は省略する。また、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行される。

図３は、本実施の形態１に係る遠隔操縦マニピュレータシステム１００の動作を示すフローチャートである。

図３に示すように、制御装置４は、操作者がスレーブアーム１の操作を切り替えたか否かを判定する（ステップＳ１０１）。具体的には、制御装置４の動作制御部４２が、受信部４０を介して、操作器２から、あるスレーブアーム１から別のスレーブアーム１へ操作を切り替えたことを示す情報、又は自動運転中のスレーブアーム１を操縦運転に切り替えることを示す情報、すなわち、所定のスレーブアーム１について、操作開始指示の情報が入力されたか否かを判定する。

制御装置４の動作制御部４２は、操作開始指示の情報が入力されていないと判定した場合（ステップＳ１０１でＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。一方、制御装置４の動作制御部４２は、操作開始指示の情報が入力されたと判定した場合（ステップＳ１０１でＹｅｓ）には、ステップＳ１０２に示す処理を実行する。

ステップＳ１０２において、制御装置４は、状況情報取得器３が取得した状況情報を取得する。具体的には、所定のスレーブアーム１について、状況情報取得器３が取得した状況情報を受信部４０が受信し、受信した状況情報を動作制御部４２が取得する。なお、動作制御部４２が、当該動作制御部４２から所定のスレーブアーム１が自動運転中であった場合には、所定のスレーブアーム１が実行している工程の情報、又は所定のスレーブアーム１が操作指示の入力待ち状態（操作待ち状態）にあった場合には、直前に実行していた工程の情報を状況情報として取得してもよい。この場合、動作制御部４２が、状況情報取得器を構成する。

次に、制御装置４は、ステップＳ１０２で取得した状況情報に対応する環境情報を記憶装置５の環境情報５２から取得する（ステップＳ１０３）。具体的には、制御装置４の動作制御部４２は、環境情報取得部４１にステップＳ１０２で取得した状況情報を出力する。環境情報取得部４１は、記憶装置５から環境情報５２を取得し、入力された状況情報に対応する環境情報を記憶装置５の環境情報５２から選択し、動作制御部４２に出力する。

次に、制御装置４は、ステップＳ１０３で取得した環境情報を環境再現装置６に出力する（ステップＳ１０４）。具体的には、制御装置４の動作制御部４２は、ステップＳ１０３で取得した環境情報を、出力制御部４３を介して、環境再現装置６に出力する。

これにより、環境再現装置６は、所定のスレーブアーム１の状況に応じた環境情報を再現して、操作者に報知することができる。具体的には、環境再現装置６は、例えば、スレーブアーム１が塗装工程を実行、又は終了している場合には、スレーブアーム１が塗装している映像を出力してもよく、塗装時に発生するスプレー音を出力してもよく、塗装に使用した塗料の色を照明器具から出力（発光）してもよい。また、環境再現装置６は、例えば、スレーブアーム１が溶接工程を実行、又は終了している場合には、操作器２等を振動させてもよく、操作者が使用しているイス２２等を傾斜させてもよく、操作器２が配置されている空間の温度を上昇させてもよい。

このとき、環境再現装置６は、状況情報取得器３が取得した状況情報が映像情報である場合に、環境情報として記憶装置５に記憶されている映像情報を再現してもよく、映像情報以外の情報（例えば、音情報等）を再現してもよく、映像情報と映像情報以外の情報を再現してもよい。

このように構成された、本実施の形態１に係る遠隔操縦マニピュレータシステム１００では、操作者が操作器２を操作して、スレーブアーム１の操作を切り替えたときに、環境再現装置６が、切り替えられた所定のスレーブアーム１の状況に応じた環境情報を再現する。これにより、操作者は、そのスレーブアーム１の状況を直感的に、かつ、臨場感を持って、把握することができる。このため、操作者は、そのスレーブアーム１が実行する次の工程を容易に喚起することができる。

また、操作を切り替えられたスレーブアーム１が自動運転中であっても、当該スレーブアーム１の状況も把握することができるため、ユーザビリティに優れた遠隔操縦マニピュレータシステムを提供することができる。

特に、作業者が熟練工である場合には、環境再現装置６が、所定のスレーブアーム１の状況に応じた環境情報を再現することにより、そのスレーブアーム１が実施する次の工程を容易に喚起することができる。

このため、本実施の形態１に係る遠隔操縦マニピュレータシステム１００では、操作者が、遠隔操作の作業に集中しやすくなり、操作の失敗を低減することができ、作業者の疲労を軽減することができる。また、遠隔操作の作業効率を向上させることができる。

なお、本実施の形態１においては、制御装置４が、スレーブアーム１の状況情報に対応する環境情報を記憶装置５に記憶されている環境情報５２から選択して、環境再現装置６で再現する形態を採用したが、これに限定されない。例えば、スレーブアーム１の自動運転中に、操作者が当該スレーブアーム１を操縦運転に切り替えるように、操作器２を操作したような場合、又はスレーブアーム１が自動運転を実行している場合に、状況情報取得器３が取得した状況情報を環境情報として出力し、直接、リアルタイムで環境再現装置６が再現する形態を採用してもよい。

（実施の形態２）
本実施の形態２に係る遠隔操縦マニピュレータシステムは、実施の形態１に係る遠隔操縦マニピュレータシステムにおいて、操作者から状況情報の取得指示を受け付けて、当該取得指示を制御装置に出力する取得指示器をさらに備え、制御装置は、取得指示器から取得指示が入力されると、状況情報取得器に状況情報を取得させるように構成されている。

以下、本実施の形態２に係る遠隔操縦マニピュレータシステムの一例について、図４及び図５を参照しながら詳細に説明する。

［遠隔操縦マニピュレータシステムの構成］
図４は、本実施の形態２に係る遠隔操縦マニピュレータシステムの概略構成を示すブロック図である。

図４に示すように、本実施の形態２に係る遠隔操縦マニピュレータシステム１００は、実施の形態１に係る遠隔操縦マニピュレータシステム１００と基本的構成は同じであるが、指示取得器７がさらに設けられている点が異なる。

指示取得器７は、作業空間外に配置されていて、操作者からの、所定のスレーブアーム１の状況を取得させるための取得指示を受け付け、当該取得指示を制御装置４に出力するように構成されている。指示取得器７は、例えば、作業空間内に複数のスレーブアーム１が配置されている場合に、各スレーブアーム１について、取得指示を出力するように構成されていてもよく、任意のスレーブアーム１について、取得指示を出力するように構成されていてもよい。

なお、指示取得器７は、作業空間内に配置されていてもよい。また、指示取得器７は、操作器２とは別に配置されていてもよく、操作器２と一体で構成されていてもよい。

［遠隔操縦マニピュレータシステムの動作及び作用効果］
次に、本実施の形態２に係る遠隔操縦マニピュレータシステム１００の動作及び作用効果について、図４及び図５を参照しながら説明する。なお、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行される。

図５は、本実施の形態２に係る遠隔操縦マニピュレータシステム１００の動作を示すフローチャートである。

図５に示すように、本実施の形態２に係る遠隔操縦マニピュレータシステム１００の動作は、実施の形態１に係る遠隔操縦マニピュレータシステム１００の動作と基本的な動作は同じであるが、ステップＳ１０１に代えて、ステップＳ１０１Ａが実行される点が異なる。

具体的には、制御装置４は、指示取得器７から取得指示が入力されたか否かを判定する（ステップＳ１０１Ａ）。具体的には、制御装置４の動作制御部４２が、受信部４０を介して、指示取得器７から所定のスレーブアーム１について、取得指示が入力されたか否かを判定する。

ここで、取得指示が入力されたと判定した場合とは、指示取得器７が操作者から所定のスレーブアーム１の状況を取得させるための取得指示を受け付けることにより、指示取得器７が、制御装置４の受信部４０に取得指示を出力し、動作制御部４２が受信部４０を介して、当該取得指示を取得した場合をいう。

制御装置４の動作制御部４２は、取得指示が入力されていないと判定した場合（ステップＳ１０１ＡでＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

一方、制御装置４の動作制御部４２は、取得指示が入力されたと判定した場合（ステップＳ１０１ＡでＹｅｓ）には、ステップＳ１０２に示す処理を実行する。以下、実施の形態１に係る遠隔操縦マニピュレータシステム１００と同様の動作を実行する。

このように構成された、本実施の形態２に係る遠隔操縦マニピュレータシステム１００では、操作者が指示取得器７を操作することにより、環境再現装置６が、所定のスレーブアーム１の状況に応じた環境情報を再現する。これにより、操作者は、そのスレーブアーム１の状況を直感的に、かつ、臨場感を持って、把握することができる。このため、操作者は、そのスレーブアーム１が実行する次の工程を容易に喚起することができる。

例えば、複数のスレーブアーム１が作業空間内に配置されているような場合、操作者が所定のスレーブアーム１について、操作器２により操作を実行するときに、環境再現装置６がスレーブアーム１の状況に応じた環境情報を再現することにより、そのスレーブアーム１の状況を容易に把握することができる。

また、１つのスレーブアーム１が作業空間内に配置されているような場合であっても、作業者が操作器２から離れて作業していて、スレーブアーム１のある工程の自動運転が終了したことにより、次の工程を開始するときに、環境再現装置６が、スレーブアーム１の状況に応じた環境情報を再現することにより、当該スレーブアーム１の状況を容易に把握することができる。

なお、本実施の形態２においては、スレーブアーム１の状況情報に対応する環境情報を記憶装置５に記憶されている環境情報５２から選択して、環境再現装置６で再現する形態を採用したが、これに限定されない。例えば、スレーブアーム１の自動運転中に、操作者がスレーブアーム１の状況情報の取得を指示したような場合には、スレーブアーム１の状況情報を直接、リアルタイムで環境再現装置６が再現する形態を採用してもよい。

（実施の形態３）
本実施の形態３に係る遠隔操縦マニピュレータシステムは、実施の形態１又は２に係る遠隔操縦マニピュレータシステムにおいて、制御装置が、複数の工程のうち、少なくとも１つの工程を開始するとき、又は少なくとも１つの工程が終了すると、状況情報取得器に状況情報を取得させるように構成されている。

以下、本実施の形態３に係る遠隔操縦マニピュレータシステムの一例について、図６を参照しながら説明する。なお、本実施の形態３に係る遠隔操縦マニピュレータシステム１００は、実施の形態１に係る遠隔操縦マニピュレータシステム１００と同様の構成であるため、その構成の詳細な説明は省略する。

［遠隔操縦マニピュレータシステムの動作及び作用効果］
図６は、本実施の形態３に係る遠隔操縦マニピュレータシステム１００の動作を示すフローチャートである。なお、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行される。

図６に示すように、本実施の形態３に係る遠隔操縦マニピュレータシステム１００の動作は、実施の形態１に係る遠隔操縦マニピュレータシステム１００の動作と基本的な動作は同じであるが、ステップＳ１０１に代えて、ステップＳ１０１Ｂが実行される点が異なる。

具体的には、制御装置４は、所定のスレーブアーム１において、ある１つの工程の自動運転又は操縦運転が終了したか否かを判定する（ステップＳ１０１Ｂ）。より詳細には、制御装置４の動作制御部４２は、所定のスレーブアーム１の自動運転が終了したが否か、又は操作者が操作器２等を操作することにより、所定のスレーブアーム１における操縦運転の終了情報が受信部４０を介して、受信したか否かを判定する。

なお、作業空間内に複数のスレーブアーム１が配置されている場合に、どのスレーブアーム１について状況情報を取得するかは、操作者が操作器２等を操作することにより決定してもよく、制御装置４が適宜決定してもよい。

制御装置４の動作制御部４２は、所定のスレーブアーム１の自動運転又は操縦運転が終了していないと判定した場合（ステップＳ１０１ＢでＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。一方、制御装置４の動作制御部４２は、所定のスレーブアーム１の自動運転又は操縦運転が終了したと判定した場合（ステップＳ１０１ＢでＹｅｓ）には、ステップＳ１０２に示す処理を実行する。以下、実施の形態１に係る遠隔操縦マニピュレータシステム１００と同様の動作を実行する。

このように構成された、本実施の形態３に係る遠隔操縦マニピュレータシステム１００であっても、実施の形態１に係る遠隔操縦マニピュレータシステム１００と同様の作用効果を奏する。

なお、本実施の形態３においては、ステップＳ１０１Ｂにおいて、制御装置４が、ある１つの工程の自動運転又は操縦運転が終了したか否かを判定する形態を採用したが、これに限定されない。例えば、制御装置４が、ある１つの工程の自動運転又は操縦運転を開始するか否かを判定する形態を採用してもよく、制御装置４が、所定時刻になったか否か、又は所定時間を経過したか否かを判定する形態を採用してもよい。

（実施の形態４）
本実施の形態４に係る遠隔操縦マニピュレータシステムでは、実施の形態１〜３のいずれか１つの形態に係る遠隔操縦マニピュレータシステムにおいて、スレーブアームが実施する各工程に関する作業情報が記憶されている記憶装置をさらに備え、制御装置は、スレーブアームが実行している工程を特定し、当該特定した工程の次の工程に関する作業情報を環境情報として、環境再現装置により作業空間外に再現させるように構成されている。

また、本実施の形態４に係る遠隔操縦マニピュレータシステムでは、作業情報が、作業空間内の映像情報、作業空間内で発生する音情報、作業空間内で発生するにおい情報、照明情報、作業空間内の温度情報、作業空間内で発生する振動情報、及び操作者の姿勢情報からなる群のうち、少なくとも１つの情報であってもよい。

以下、本実施の形態４に係る遠隔操縦マニピュレータシステムの一例について、図７及び図８を参照しながら説明する。

［遠隔操縦マニピュレータシステムの構成］
図７は、本実施の形態４に係る遠隔操縦マニピュレータシステムの概略構成を示すブロック図である。

図７に示すように、本実施の形態４に係る遠隔操縦マニピュレータシステム１００は、実施の形態１に係る遠隔操縦マニピュレータシステム１００と基本的構成は同じであるが、制御装置４に作業情報取得部４４が形成されている点と、記憶装置５に作業情報５３が記憶されている点と、が異なる。

作業情報取得部４４は、動作制御部４２から所定のスレーブアーム１が実行している工程情報を取得して、その工程を特定する。また、作業情報取得部４４は、記憶装置５に記憶されている作業情報５３から、特定した工程の次の工程に関する作業情報を取得し、当該作業情報を環境情報として、動作制御部４２に出力する。

なお、作業情報５３は、作業空間内の映像情報、作業空間内で発生する音情報、作業空間内で発生するにおい情報、作業空間内で発生する光情報、作業空間内の温度情報、作業空間内で発生する振動情報、及び操作者の姿勢情報からなる群のうち、少なくとも１つの情報である。

具体的には、作業空間内の映像情報は、作業空間内におけるスレーブアーム１及びその周辺を映像としてカメラ等で撮影し、記憶装置５に記憶されている情報である。より詳細には、作業空間内の映像情報は、例えば、作業空間内におけるスレーブアーム１の位置又は姿勢、スレーブアーム１とワークとの位置関係、又はスレーブアーム１とワークを組付ける被組付部品との位置関係等を映像として記録されている情報である。さらに、作業空間内の映像情報は、例えば、予め撮影された作業空間内の映像であってもよく、予め作成されたアニメーション等の映像であってもよい。

また、作業空間内で発生する音情報、作業空間内で発生するにおい情報、及び作業空間内で発生する光情報は、スレーブアーム１を取り巻く周囲の状況を認識するために利用できる情報である。例えば、スレーブアーム１が溶接を実行しているときに発生する音、におい、及び光、スレーブアーム１が塗装を実行しているときに発生する音、塗料のにおい、及び塗料の色（塗料が反射する光）等が挙げられ、これらの情報が記憶装置５内に記憶されている。

さらに、作業空間内の温度情報、作業空間内で発生する振動情報、及び操作者の姿勢情報は、スレーブアーム１を取り巻く周囲の状況を認識するために利用できる情報である。例えば、スレーブアーム１が溶接を実行することにより、作業空間内の温度（室温）が上昇、スレーブアーム１がワークの洗浄を実行することにより、作業空間内の温度が下降するような場合の温度の変動情報、スレーブアーム１がワークを被組み付け部品に組み付けるときに発生する振動情報が挙げられる。また、例えば、スレーブアーム１が実行している作業を操作者が手作業で実行していたときに、当該操作者がとっていた姿勢情報等が挙げられる。そして、これらの情報は、記憶装置５内に記憶されている。

［遠隔操縦マニピュレータシステムの動作及び作用効果］
次に、本実施の形態４に係る遠隔操縦マニピュレータシステム１００の動作及び作用効果について、図７及び図８を参照しながら説明する。

図８は、本実施の形態４に係る遠隔操縦マニピュレータシステム１００の動作を示すフローチャートである。なお、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行される。

図８に示すように、制御装置４は、操作者がスレーブアーム１の操作を切り替えたか否かを判定する（ステップＳ２０１）。具体的には、制御装置４の動作制御部４２が、受信部４０を介して、操作器２から、あるスレーブアーム１から別のスレーブアーム１へ操作を切り替えたことを示す情報、すなわち、所定のスレーブアーム１について、操作開始指示の情報が入力されたか否かを判定する。

制御装置４の動作制御部４２は、操作開始指示の情報が入力されていないと判定した場合（ステップＳ２０１でＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。一方、制御装置４の動作制御部４２は、操作開始指示の情報が入力されたと判定した場合（ステップＳ２０１でＹｅｓ）には、ステップＳ２０２に示す処理を実行する。

ステップＳ２０２において、制御装置４は、状況情報取得器３が取得した状況情報を取得する。具体的には、所定のスレーブアーム１について、状況情報取得器３が取得した状況情報を受信部４０が受信し、受信した状況情報を動作制御部４２が取得する。

次に、制御装置４の動作制御部４２は、ステップＳ２０２で取得した状況情報に基づいて、所定のスレーブアーム１が運転中の場合には、所定のスレーブアーム１が実行している工程、又は所定のスレーブアーム１が操作指示の入力待ち状態（操作待ち状態）にある場合には、直前に実行していた工程を特定する（ステップＳ２０３）。

なお、制御装置４の動作制御部４２は、当該動作制御部４２から所定のスレーブアーム１が実行している工程の情報、又は直前に実行していた工程の情報を特定してもよい。この場合、動作制御部４２が状況情報取得器を構成する。また、動作制御部４２が状況情報取得器を構成する場合には、ステップＳ２０２は省略しても構わない。

次に、制御装置４は、記憶装置５の作業情報５３からステップＳ２０３で特定した工程の次の特定に関する作業情報を取得する（ステップＳ２０４）。具体的には、制御装置４の動作制御部４２は、記憶装置５の動作シーケンス情報５１からステップＳ２０３で特定した工程の次の工程を取得し、記憶装置５の作業情報５３から、当該次の工程に関する作業情報を取得する。

例えば、ステップＳ２０３で特定した工程が溶接工程であり、次の工程が塗装工程である場合、制御装置４の動作制御部４２は、作業情報として、スレーブアーム１が塗装を実行しているときに発生する音、塗料のにおい、及び塗料の色（塗料が反射する光）等の情報を取得する。

次に、制御装置４は、ステップＳ２０４で取得した作業情報を環境情報として、環境再現装置６に出力する（ステップＳ２０５）。具体的には、制御装置４の動作制御部４２は、ステップＳ２０４で取得した作業情報を環境情報として、出力制御部４３を介して、環境再現装置６に出力する。

これにより、環境再現装置６は、所定のスレーブアーム１が次に実行する工程の状況に応じた環境情報を再現して、操作者に報知することができる。

このように構成された、本実施の形態４に係る遠隔操縦マニピュレータシステム１００では、所定のスレーブアーム１が次に実行する工程の状況に応じた環境情報を再現するため、操作者は、実施の形態１に係る遠隔操縦マニピュレータシステムに比して、より具体的に、所定のスレーブアーム１が次に実行する工程を把握することができる。

このため、本実施の形態４に係る遠隔操縦マニピュレータシステム１００では、実施の形態１に係る遠隔操縦マニピュレータシステムに比して、操作者が、遠隔操作の作業により集中しやすくなり、操作の失敗をより低減することができ、作業者の疲労をより軽減することができる。また、遠隔操作の作業効率をより向上させることができる。

なお、本実施の形態４では、ステップＳ２０１において、スレーブアーム１の操作が切り替えられたか否かを判定する形態を採用したが、これに限定されず、実施の形態２と同様に、指示取得器７から取得指示が入力されたか否かを判定する形態を採用してもよく、実施の形態３と同様に、所定のスレーブアーム１の運転を開始するか否か、又は所定のスレーブアーム１の運転が終了したか否か等を判定する形態を採用してもよい。

上記説明から、当業者にとっては、本発明の多くの改良又は他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。

本発明の遠隔操縦マニピュレータシステム及びその運転方法は、直感的に、操作するスレーブアームの現在の状況を把握できるため、産業ロボットの分野において有用である。

１ スレーブアーム
２ 操作器
３ 状況情報取得器
４ 制御装置
５ 記憶装置
６ 環境再現装置
７ 指示取得器
２１ 机
２２ イス
４０ 受信部
４１ 環境情報取得部
４２ 動作制御部
４３ 出力制御部
４４ 作業情報取得部
５１ 動作シーケンス情報
５２ 環境情報
５３ 作業情報
６１ 表示装置
６２ スピーカ
６３ スプレー缶
６４ 照明器具
６５ 振動装置
６６ 姿勢変動装置
６７ エアコン
１００ 遠隔操縦マニピュレータシステム

Claims (8)

1. 操作者からの操作指示を受け付ける操作器と、
   作業空間内に設置され、複数の工程からなる一連の作業を行うスレーブアームと、
   前記作業空間内における前記スレーブアームの状況を示す状況情報を取得する状況情報取得器と、
   前記作業空間内の環境に関連する環境情報を前記操作器が設置されている空間に再現する環境再現装置と、
   制御装置と、
   前記スレーブアームが実施する各工程に関する作業情報が記憶されている記憶装置と、を備え、
   前記制御装置は、前記状況情報取得器から出力された前記状況情報に対応する前記環境情報を前記環境再現装置により再現させるように構成され、
   前記状況情報取得器から出力された前記状況情報に基づき、前記スレーブアームが実行している工程を特定し、当該特定した工程の次の工程に関する作業情報を前記環境情報として、前記環境再現装置により前記操作器が設置されている空間に再現させるように構成され、
   前記状況情報は、前記作業空間内の映像情報、前記作業空間内で発生する音情報、前記作業空間内で発生するにおい情報、前記作業空間内で発生する光情報、前記作業空間内の温度情報、及び前記作業空間内で発生する振動情報からなる群のうち、少なくとも１つの情報であり、
   前記作業情報は、前記作業空間内の映像情報、前記作業空間内で発生する音情報、前記作業空間内で発生するにおい情報、照明情報、前記作業空間内の温度情報、前記作業空間内で発生する振動情報、及び前記操作者の姿勢情報からなる群のうち、少なくとも１つの情報であり、
   前記制御装置は、前記状況情報とは異なる種類の情報を前記環境情報として、前記環境再現装置により前記操作器が設置されている空間に再現させるように構成されている、遠隔操縦マニピュレータシステム。
2. 前記スレーブアームが複数設置されていて、
   前記制御装置は、前記操作器により前記スレーブアームの操作が切り替えられると、前記状況情報取得器に前記状況情報を取得させるように構成されている、請求項１に記載の遠隔操縦マニピュレータシステム。
3. 前記操作者から前記状況情報の取得指示を受け付けて、当該取得指示を前記制御装置に出力する取得指示器をさらに備え、
   前記制御装置は、前記取得指示器から前記取得指示が入力されると、前記状況情報取得器に前記状況情報を取得させるように構成されている、請求項１又は２に記載の遠隔操縦マニピュレータシステム。
4. 前記制御装置は、前記複数の工程のうち、少なくとも１つの工程を開始するとき、又は少なくとも１つの工程が終了すると、前記状況情報取得器に前記状況情報を取得させるように構成されている、請求項１〜３のいずれか１項に記載の遠隔操縦マニピュレータシステム。
5. 操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うスレーブアームと、を備える遠隔操縦マニピュレータシステムの運転方法であって、
   前記遠隔操縦マニピュレータシステムは、前記スレーブアームが実施する各工程に関する作業情報が記憶されている記憶装置をさらに備え、
   前記作業空間内における前記スレーブアームの状況を示す状況情報を取得する（Ａ）と、
   前記スレーブアームが実行している工程を特定する（Ａ１）と、
   前記（Ａ）で取得した前記状況情報に対応する環境情報を前記操作器が設置されている空間に環境再現装置が再現する（Ｂ）と、を備え、
   前記（Ｂ）は、前記（Ａ１）により特定した工程の次の工程に関する作業情報を前記環境情報として、前記環境再現装置が再現し、
   前記状況情報は、前記作業空間内の映像情報、前記作業空間内で発生する音情報、前記作業空間内で発生するにおい情報、前記作業空間内で発生する光情報、前記作業空間内の温度情報、及び前記作業空間内で発生する振動情報からなる群のうち、少なくとも１つの情報であり、
   前記作業情報は、前記作業空間内の映像情報、前記作業空間内で発生する音情報、前記作業空間内で発生するにおい情報、照明情報、前記作業空間内の温度情報、前記作業空間内で発生する振動情報、及び前記操作者の姿勢情報からなる群のうち、少なくとも１つの情報であり、
   前記（Ｂ）において、前記環境再現装置は、前記状況情報とは異なる種類の情報を前記環境情報として、再現する、遠隔操縦マニピュレータシステムの運転方法。
6. 前記スレーブアームが複数設置されていて、
   前記（Ａ）は、前記操作器により前記スレーブアームの操作が切り替えられると実行される、請求項５に記載の遠隔操縦マニピュレータシステムの運転方法。
7. 前記遠隔操縦マニピュレータシステムは、操作者から前記状況情報の取得指示を受け付けて、当該取得指示を出力する取得指示器をさらに備え、
   前記（Ａ）は、前記取得指示器から前記取得指示が出力されると実行される、請求項５又は６に記載の遠隔操縦マニピュレータシステムの運転方法。
8. 前記（Ａ）は、前記複数の工程のうち、少なくとも１つの工程を開始するとき、又は少なくとも１つの工程が終了すると、実行される、請求項５〜７のいずれか１項に記載の遠隔操縦マニピュレータシステムの運転方法。

Images