JP6987566B2 - 作業システム及び作業システムの作業方法 - Google Patents

Description

本発明は、作業対象物に対して作業を行う作業システム及び作業システムの作業方法に関するものである。

従来、作業対象物に対して作業を行う作業システムとして、部品をピッキングする自動ピッキング装置が知られている（例えば、特許文献１参照）。この自動ピッキング装置では、計測装置により部品の視覚情報を取得し、視覚情報に基づいて部品の中で最も高い位置にある最上部品を選定する。そして、自動ピッキング装置は、最上部品を移動する命令と、部品の位置情報及び姿勢情報に基づいて、ロボットの動作を制御している。

特開２０１２−５１７７７９号公報

ところで、部品等の作業対象物に対して、ロボット等の作業部が作業を行う場合、作業部の周辺環境が、高線量または火災等により人の立ち入りが困難な厳しい環境（以下、極限環境という）下となる場合がある。この場合、作業対象物の計測装置として、例えば、部品との位置関係を測距する測距センサを用いる場合、極限環境下において測距センサを長時間使用すると、測距センサに異常が発生したり、測距センサが損傷したりする可能性がある。

また、極限環境下においては、平時の周辺環境と大きく異なる可能性が高く、周辺環境に障害物が発生する等、周辺環境が未知となる場合がある。この場合、ロボット等の作業部が作業を行うにあたり、ロボットが障害物に物理的に干渉する可能性がある。

そこで、本発明は、厳しい周辺環境下において、測距部に与えられる影響を軽減すると共に、未知となる周辺環境下においても、周辺環境に対する物理的な干渉を抑制して、作業対象物に対する作業を好適に行うことができる作業システム及び作業システムの作業方法を提供することを課題とする。

本発明の作業システムは、周辺環境を測距する第１測距部と、前記周辺環境に存在する作業対象物を測距する第２測距部と、前記作業対象物へ向かって移動して作業を行う作業部と、前記第１測距部により前記周辺環境を測距する計測状態と、前記第１測距部を前記周辺環境から遮蔽する遮蔽状態と、で切り替える第１切替部と、前記第２測距部により前記作業対象物を測距する計測状態と、前記第２測距部を前記周辺環境から遮蔽する遮蔽状態と、で切り替える第２切替部と、前記第１測距部による計測結果に基づいて、前記第２測距部を前記作業対象物へ向かって移動させる移動部と、前記第１測距部及び前記第２測距部の計測結果に基づいて、各部を制御する制御部と、を備え、前記第１測距部は、前記第２測距部に対して計測点が粗となり、前記第２測距部に対して測定距離が長いものであり、前記第２測距部は、前記第１測距部に対して計測点が密となり、前記第１測距部に対して測定距離が短いものであることを特徴とする。

この構成によれば、第１測距部により周辺環境を広範囲に亘って迅速に計測することができる。このとき、第１切替部は、計測時において、第１測距部を計測状態にでき、一方で、非計測時において、第１測距部を遮蔽状態にできる。また、第２測距部により作業対象物の形状を精度よく計測することができる。このとき、第２切替部は、第１切替部と同様に、計測時において、第２測距部を計測状態にでき、一方で、非計測時において、第２測距部を遮蔽状態にできる。このように、第１測距部と第２測距部とで測距部の暴露時間を最小限にできる為、極限環境下においても、第１測距部及び第２測距部に与えられる影響を軽減することができる。また、第１測距部により周辺環境を測距することができるため、周辺環境が未知である場合であっても、周辺環境を適切に把握することができ、周辺環境に対する物理的な干渉を抑制することができる。さらに、第２測距部により作業対象物の形状を精度よく計測できるため、作業部による作業対象物への作業を好適に行うことができる。なお、第１測距部と第２測距部とは、別体となる個別の測距センサであってもよいし、単一の筐体に格納されたものであってもよく、特に限定されない。

また、前記第２測距部は、前記作業部に取り付けられ、前記作業部は、前記第１測距部の計測結果に基づいて、前記第２測距部を前記作業対象物へ向かって移動させ、前記第２測距部の計測結果に基づいて、前記作業対象物へ向かって移動して作業を行うことが好ましい。

この構成によれば、作業部を移動部として用いることができるため、作業部と移動部とを個別に設ける必要がないことから、システム構成を簡易なものにすることができる。

また、前記周辺環境は、天井を有する建屋であり、前記第１測距部は、前記天井に設置されることが好ましい。

この構成によれば、第１測距部を天井に設置することで、周辺環境を全体的に俯瞰することができる。

また、前記移動部は、移動体であり、前記作業部及び前記第１測距部は、前記移動体に取り付けられ、前記第２測距部は、前記作業部または前記移動体に取り付けられ、前記移動体は、前記第１測距部の計測結果に基づいて、前記第２測距部を前記作業対象物へ向かって移動させ、前記作業部は、前記第２測距部の計測結果に基づいて、前記作業対象物へ向かって移動して作業を行うことが好ましい。

この構成によれば、移動体により周辺環境を移動することで、作業対象物を探索することができる。また、第２測距部によって作業対象物を測距する場合、移動体の移動により、作業対象物に対する第２測距部の位置を変更することができるため、作業対象物の形状を死角なく計測することが可能となる。

また、前記作業部は、先端にエンドエフェクタが設けられる多軸マニピュレータであることが好ましい。

この構成によれば、作業対象物に対して自由度の高い作業を行うことができる。

また、前記第１切替部及び前記第２切替部は、前記第１測距部及び前記第２測距部を露出させる開口を開放して前記計測状態とする一方で、前記開口を閉塞して前記遮蔽状態とするシャッター機構であることが好ましい。

この構成によれば、シャッター機構を開閉することで、第１測距部及び第２測距部の計測状態と遮蔽状態とを簡単に切り替えることができる。

また、オペレータに向かって情報を表示する表示部を、さらに備え、前記制御部は、前記第１測距部の計測結果に基づいて計測地図情報を生成し、前記第２測距部の計測結果に基づいて前記作業対象物のモデルとなる作業対象物モデルを生成し、前記作業部のモデルとなる作業部モデルを生成し、生成した前記計測地図情報と前記作業対象物モデルと前記作業部モデルとを重畳させて、前記表示部に表示させることが好ましい。

この構成によれば、計測地図情報と作業対象物モデルと作業部モデルとを重畳させて表示部に表示させることで、オペレータに与える情報の視認性を向上させることができる。

また、前記制御部は、前記第１測距部の計測状態時における計測結果に基づいて前記計測地図情報を生成し、前記第２測距部の計測状態時における計測結果に基づいて前記作業対象物モデルを生成することが好ましい。

この構成によれば、第１測距部及び第２測距部の計測状態においては、第１測距部及び第２測距部と制御部との間で通信を行って、計測地図情報及び作業対象物モデルを生成することができる。一方で、第１測距部及び第２測距部の遮蔽状態においては、計測結果が得られないため、第１測距部及び第２測距部と制御部との間における通信容量を軽減することができる。

また、前記制御部は、既知となる前記周辺環境の地図情報を有しており、前記第１測距部の計測結果に基づいて計測地図情報を生成し、前記計測地図情報を前記地図情報で補間することが好ましい。

この構成によれば、計測地図情報で得られなかった情報を、地図情報で補間することができるため、オペレータに与える情報の視認性をより向上させることができる。なお、計測地図情報を地図情報で補間するにあたり、第１測距部により測距された不要な計測点を除去するフィルタリング処理を行ってもよい。

また、前記制御部は、既知となる前記作業対象物の形状情報を有しており、前記第２測距部の計測結果に基づいて前記作業対象物のモデルとなる作業対象物モデルを生成し、前記作業対象物モデルを前記形状情報で補間することが好ましい。

この構成によれば、作業対象物モデルで得られなかった情報を、形状情報で補間することができるため、オペレータに与える情報の視認性をより向上させることができる。なお、作業対象物モデルを形状情報で補間するにあたり、第２測距部により測距された不要な計測点を除去するフィルタリング処理を行ってもよい。

また、オペレータにより操作される操作部を、さらに備え、前記制御部は、前記操作部の操作に基づいて、各部を制御することが好ましい。

この構成によれば、オペレータが操作部を操作することで、各部を遠隔操作することが可能となる。

また、作業に基づく行動を計画する行動計画部を、さらに備え、前記制御部は、前記行動計画部により計画された行動に基づいて、各部を自律制御することが好ましい。

この構成によれば、行動計画部により計画された行動に基づいて、各部を自律制御することが可能となる。

本発明の作業システムの作業方法は、周辺環境を測距する第１測距部と、前記周辺環境に存在する作業対象物を測距する第２測距部とを備える作業システムにより前記作業対象物に対して作業を行う作業システムの作業方法であって、前記第１測距部は、前記第２測距部に対して計測点が粗となり、前記第２測距部に対して測定距離が長いものであり、前記第２測距部は、前記第１測距部に対して計測点が密となり、前記第１測距部に対して測定距離が短いものであり、前記第１測距部を、前記周辺環境を測距可能な状態とする第１測距許可工程と、前記第１測距部により、前記周辺環境を測距する第１測距工程と、前記第１測距部を、前記周辺環境から遮蔽した状態とする第１測距遮蔽工程と、前記第１測距部による計測結果に基づいて、前記第２測距部を前記作業対象物へ向かって移動させる第２測距部移動工程と、前記第２測距部を、前記作業対象物を測距可能な状態とする第２測距許可工程と、前記第２測距部により、前記作業対象物を測距する第２測距工程と、前記第２測距部を、前記周辺環境から遮蔽した状態とする第２測距遮蔽工程と、前記第１測距部及び前記第２測距部の計測結果に基づいて、前記作業対象物に対して作業を行う作業工程と、を備えることを特徴とする。

この構成によれば、第１測距工程により周辺環境を広範囲に亘って迅速に計測することができる。このとき、計測時において、第１測距許可工程を行うことで、第１測距部を計測状態にでき、一方で、非計測時において、第１測距遮蔽工程を行うことで、第１測距部を遮蔽状態にできる。また、第２測距工程により作業対象物の形状を精度よく計測することができる。このとき、計測時において、第２測距許可工程を行うことで、第２測距部を計測状態にでき、一方で、非計測時において、第２測距遮蔽工程を行うことで、第２測距部を遮蔽状態にできる。このように、第１測距部と第２測距部とで役割分担をすることができるため、極限環境下においても、第１測距部及び第２測距部に与えられる影響を軽減することができる。また、第１測距工程により周辺環境を測距することができるため、周辺環境が未知である場合であっても、周辺環境を適切に把握することができ、周辺環境に対する物理的な干渉を抑制することができる。さらに、第２測距工程により作業対象物の形状を精度よく計測できるため、作業部による作業対象物への作業を好適に行うことができる。

図１は、実施形態１に係る作業システムにおいて第１測距センサを用いたときの状態を示す説明図である。 図２は、実施形態１に係る作業システムにおいて第２測距センサを用いたときの状態を示す説明図である。 図３は、実施形態１に係る作業システムの動作を示すブロック図である。 図４は、実施形態１に係る作業システムの動作を示すフローチャートである。 図５は、実施形態２に係る作業システムの動作を示すブロック図である。 図６は、実施形態２に係る作業システムの表示部に表示される画像を示す図である。 図７は、実施形態２に係る作業システムの表示部に係る動作を示すフローチャートである。 図８は、実施形態３に係る作業システムの動作を示すブロック図である。 図９は、実施形態３に係る作業システムの動作を示すフローチャートである。 図１０は、実施形態４に係る作業システムにおいて第１測距センサを用いたときの状態を示す説明図である。 図１１は、実施形態４に係る作業システムにおいて第２測距センサを用いたときの状態を示す説明図である。 図１２は、実施形態４に係る作業システムの動作を示すフローチャートである。

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。

［実施形態１］
図１は、実施形態１に係る作業システムにおいて第１測距センサを用いたときの状態を示す説明図である。図２は、実施形態１に係る作業システムにおいて第２測距センサを用いたときの状態を示す説明図である。図３は、実施形態１に係る作業システムの動作を示すブロック図である。図４は、実施形態１に係る作業システムの動作を示すフローチャートである。

実施形態１に係る作業システム１は、周辺環境に存在する作業対象物に作業を行うシステムである。作業システム１は、周辺環境として建屋内または設備内を対象としており、人の立ち入りが困難となる周辺環境を対象としている。具体的に、周辺環境は、例えば、高線量となる原子力施設、火災が発生したプラント施設等であり、いわゆる極限環境下を想定している。このような極限環境下においては、周辺環境が平時の状態から大きく異なっている状態となる可能性があり、例えば、周辺環境に障害物等が存在する場合がある。実施形態１に係る作業システム１は、上記のような極限環境下において運用されるシステムとなっている。ここで、作業システム１の説明に先立ち、周辺環境について説明する。

図１及び図２に示すように、実施形態１において、周辺環境は、天井５を有する建屋６となっており、建屋６内に設けられる空間７に、複数の作業対象物８が乱雑に配置された状態となっている。

作業システム１は、マニピュレータ（作業部及び移動部）１０と、第１測距センサ（第１測距部）１１と、第２測距センサ（第２測距部）１２と、表示部１３と、操作部１４と、制御部１５とを備えている。ここで、実施形態１の作業システム１は、操作部１４の操作に基づいて、制御部１５がマニピュレータ１０の動作を制御するシステムとなっており、オペレータによりマニピュレータ１０を手動操作している。

マニピュレータ１０は、多軸マニピュレータであり、その基部が建屋６の天井に固定して取り付けられ、その先端にエンドエフェクタ１６が取り付けられている。マニピュレータ１０は、制御部１５に電気的に接続され、制御部１５からの動作指示に基づいて動作する。

第１測距センサ１１は、マニピュレータ１０の基部を介して天井５に固定して取り付けられる。第１測距センサ１１は、３次元測距センサが用いられ、例えば、レーザースキャナーセンサ、または、３次元距離画像センサ等が適用される。第１測距センサ１１は、周辺環境を測距するセンサであり、実施形態１においては、図１に示すように、建屋６内の空間７を測距している。第１測距センサ１１は、第２測距センサ１２に対して計測点が粗となり、第２測距センサ１２に対して測定距離が長いものとなっている。

また、この第１測距センサ１１には、第１シャッター機構（第１切替部）１７が設けられている。第１シャッター機構１７は、第１測距センサ１１により周辺環境を測距する計測状態と、第１測距センサ１１を周辺環境から遮蔽する遮蔽状態と、で切り替える機構である。具体的に、第１シャッター機構１７は、第１測距センサ１１を覆う筐体に設けられた開口を開閉する機構となっている。つまり、第１シャッター機構１７は、第１測距センサ１１を周辺環境に露出させるべく、筐体に設けられた開口を開放することで、第１測距センサ１１を計測状態とする。一方で、第１シャッター機構１７は、第１測距センサ１１を周辺環境から遮蔽すべく、筐体に設けられた開口を閉塞することで、第１測距センサ１１を遮蔽状態とする。第１シャッター機構１７は、制御部１５に電気的に接続され、制御部１５からの開閉指示に基づいて開閉動作する。具体的に、制御部１５は、第１シャッター機構１７を開放させて、第１測距センサ１１を計測状態とし、計測状態となった第１測距センサ１１による周辺環境の測距を実行させる。一方で、制御部１５は、第１シャッター機構１７を閉塞させて、第１測距センサ１１を遮蔽状態とし、遮蔽状態となった第１測距センサ１１による周辺環境の測距を実行させない。

なお、実施形態１では、第１シャッター機構１７により、第１測距センサ１１を計測状態と閉塞状態とで切り替えたが、この構成に限定されない。例えば、潜望鏡のように、第１測距センサ１１を出没させることで、第１測距センサ１１を計測状態と遮蔽状態とで切り替えてもよい。つまり、第１測距センサ１１を突出させて露出させることにより計測状態とし、第１測距センサ１１を没入させることにより遮蔽状態としてもよい。

第２測距センサ１２は、マニピュレータ１０の先端に取り付けられるエンドエフェクタ１６に固定されている。第２測距センサ１２は、第１測距センサ１１と同様に、３次元測距センサが用いられ、例えば、レーザースキャナーセンサ、または、３次元距離画像センサ等が適用される。第２測距センサ１２は、図２に示すように、作業対象物８を測距するセンサである。第２測距センサ１２は、第１測距センサ１１に対して計測点が密となり、第１測距センサ１１に対して測定距離が短いものとなっている。

また、この第２測距センサ１２には、第２シャッター機構（第２切替部）１８が設けられている。第２シャッター機構１８は、第２測距センサ１２により作業対象物８を測距する計測状態と、第２測距センサ１２を周辺環境から遮蔽する遮蔽状態と、で切り替える機構である。具体的に、第２シャッター機構１８は、第１シャッター機構１７と同様に、第２測距センサ１２を覆う筐体に設けられた開口を開閉する機構となっている。なお、第２シャッター機構１８については、第１シャッター機構１７と同様であるため、説明を省略する。第２シャッター機構１８は、制御部１５に電気的に接続され、制御部１５からの開閉指示に基づいて開閉動作する。具体的に、制御部１５は、第２シャッター機構１８を開放させて、第２測距センサ１２を計測状態とし、計測状態となった第２測距センサ１２による作業対象物８の測距を実行させる。一方で、制御部１５は、第２シャッター機構１８を閉塞させて、第２測距センサ１２を遮蔽状態とし、遮蔽状態となった第２測距センサ１２による作業対象物８の測距を実行させない。

制御部１５は、マニピュレータ１０、第１測距センサ１１、第２測距センサ１２、表示部１３及び操作部１４にそれぞれ、電気的に接続されている。ここで、制御部１５は、マニピュレータ１０の操作に関して、オペレータの視認性を向上させるべく、表示部１３の表示を下記のようにしている。

ここで、図３について説明する。オペレータが操作する操作部１４としては、操作端末が用いられており、また、オペレータに情報を表示する表示部１３としては、表示端末が用いられている。ここで、制御部１５は、操作端末に設けられる制御部、表示端末に設けられる制御部、その他の制御部を用いてもよく、特に限定されない。

制御部１５は、操作端末の操作に基づいて第１測距センサ１１による測距が行われると、第１測距センサ１１の計測結果、つまり、第１測距センサ１１の測距により得られた計測点の点群（センサデータ）に基づいて、周辺環境（建屋６内の空間７）の計測地図情報を生成する。また、制御部１５は、操作端末の操作に基づいて第２測距センサ１２による測距が行われると、第２測距センサ１２の計測結果、つまり、第２測距センサ１２の測距により得られた計測点の点群（センサデータ）に基づいて、作業対象物８のモデルとなる作業対象物モデルを生成する。さらに、制御部１５は、操作端末の操作に基づいてマニピュレータ１０による動作が行われると、マニピュレータ１０に設けられるアクチュエータから得られる移動量に関する情報に基づいて、マニピュレータ１０のモデルとなるマニピュレータモデル（作業部モデル）を生成する。

ここで、既知となる周辺環境の地図情報がある場合、制御部１５は、この地図情報を取得する。そして、制御部１５は、生成した計測地図情報を、取得した地図情報で補間する。この後、制御部１５は、補間した計測地図情報と、作業対象物モデルと、マニピュレータモデルとを重畳させて、表示端末（表示部１３）に表示させる。

次に、図４を参照して、上記の作業システム１による作業方法に関する動作フローについて説明する。先ず、制御部１５は、第１シャッター機構１７により筐体に設けられた開口を開放して、第１測距センサ１１を計測状態とする（ステップＳ１：第１測距許可工程）。続いて、制御部１５は、第１測距センサ１１により周辺環境を測距する（ステップＳ２：第１測距工程）。制御部１５は、第１測距センサ１１による測距が完了すると、第１シャッター機構１７により筐体に設けられた開口を閉塞して、第１測距センサ１１を遮蔽状態とする（ステップＳ３：第１測距遮蔽工程）。この後、制御部１５は、計測地図情報を生成する（ステップＳ４）。そして、制御部１５は、生成した計測地図情報を、既知となる地図情報で補間する（ステップＳ５）。

制御部１５は、補間後の計測地図情報を視認して操作するオペレータの操作部１４の操作に基づいて、マニピュレータ１０の先端にあるエンドエフェクタ１６を、作業対象物８に向かって移動させる（ステップＳ６）。このとき、オペレータは、周辺環境とマニピュレータ１０との物理的な干渉を回避するように、マニピュレータ１０を操作する。そして、制御部１５は、作業対象物８にエンドエフェクタ１６がアクセスできたか否かを判定する（ステップＳ７）。この判定では、制御部１５がエンドエフェクタ１６と作業対象物８との位置関係に基づいて自動的に判定してもよいし、オペレータが作業対象物８にエンドエフェクタ１６がアクセスできたか否かを判定して、その判定結果を制御部１５に操作部１４から入力してもよい。

制御部１５は、ステップＳ７において、作業対象物８にエンドエフェクタ１６がアクセスできていない（ステップＳ７：Ｎｏ）と判定すると、再びステップＳ６に進み、作業対象物８にエンドエフェクタ１６がアクセスするまで、ステップＳ６及びステップＳ７を繰り返し実行する。

制御部１５は、ステップＳ７において、作業対象物８にエンドエフェクタ１６がアクセスできた（ステップＳ７：Ｙｅｓ）と判定すると、第２シャッター機構１８により筐体に設けられた開口を開放して、第２測距センサ１２を計測状態とする（ステップＳ８：第２測距許可工程）。続いて、制御部１５は、第２測距センサ１２により作業対象物８を測距する（ステップＳ９：第２測距工程）。制御部１５は、第２測距センサ１２による測距が完了すると、第２シャッター機構１８により筐体に設けられた開口を閉塞して、第２測距センサ１２を遮蔽状態とする（ステップＳ１０：第２測距遮蔽工程）。この後、制御部１５は、作業対象物８に作業を実行可能な程度に、作業対象物８を計測できたか否かを判定する（ステップＳ１１）。ステップＳ１１では、例えば、第２測距センサ１２の計測結果から、作業対象物８に作業を行う上で、十分な計測点の数が取れているか否かを判定する。

制御部１５は、ステップＳ１１において、作業対象物８を計測できていないと判定する（ステップＳ１１：Ｎｏ）と、再びステップＳ６に進み、作業対象物８を計測できたと判定するまで、ステップＳ６からステップＳ１１を繰り返し実行する。

制御部１５は、ステップＳ１１において、作業対象物８を計測できていると判定する（ステップＳ１１：Ｙｅｓ）と、エンドエフェクタ１６により作業対象物８に作業（例えば、把持作業）を実行する（ステップＳ１２）。そして、制御部１５は、作業対象物８への作業が完了したか否かを判定する（ステップＳ１３）。制御部１５は、ステップＳ１３において、作業対象物８に対する作業が完了していないと判定する（ステップＳ１３：Ｎｏ）と、ステップＳ１２に進み、作業が完了したと判定するまで、ステップＳ１２及びステップＳ１３を繰り返し実行する。一方で、制御部１５は、ステップＳ１３において、作業対象物８に対する作業が完了したと判定すると、一連の動作フローを終了する。

以上のように、実施形態１によれば、第１測距センサ１１により周辺環境を広範囲に亘って迅速に計測することができる。このとき、第１シャッター機構１７は、計測時において、第１測距センサ１１を計測状態にでき、一方で、非計測時において、第１測距センサ１１を遮蔽状態にできる。また、第２測距センサ１２により作業対象物８の形状を精度よく計測することができる。このとき、第２シャッター機構１８は、計測時において、第２測距センサ１２を計測状態にでき、一方で、非計測時において、第２測距センサ１２を遮蔽状態にできる。このように、第１測距センサ１１と第２測距センサ１２とで役割分担をすることで測距部の暴露時間を最小限にできるため、極限環境下においても、第１測距センサ１１及び第２測距センサ１２に与えられる影響を軽減することができる。また、第１測距センサ１１により周辺環境を測距することができるため、周辺環境が未知である場合であっても、周辺環境を適切に把握することができ、周辺環境に対するマニピュレータ１０への物理的な干渉を抑制することができる。さらに、第２測距センサ１２により作業対象物８の形状を精度よく計測できるため、マニピュレータ１０による作業対象物８への作業を好適に行うことができる。

また、実施形態１によれば、第２測距センサ１２の作業対象物８への移動を、マニピュレータ１０で行うことができるため、第２測距センサ１２を移動するための気孔を設ける必要がなく、システム構成を簡易なものにすることができる。

また、実施形態１によれば、第１測距センサ１１を、建屋６の天井５に設置することで、周辺環境を全体的に俯瞰することができる。

また、実施形態１によれば、先端にエンドエフェクタ１６が設けられる多軸型のマニピュレータ１０を用いることで、作業対象物８に対して自由度の高い作業を行うことができる。

また、実施形態１によれば、各シャッター機構１７，１８を開閉することで、第１測距センサ１１及び第２測距センサ１２の計測状態と遮蔽状態とを簡単に切り替えることができる。

また、実施形態１によれば、表示部１３において、計測地図情報と作業対象物モデルとマニピュレータモデルとを重畳させて表示させることができるため、オペレータに与える情報の視認性を向上させることができる。

また、実施形態１によれば、制御部１５は、第１測距センサ１１及び第２測距センサ１２の計測状態時に計測を行う一方で、遮蔽状態時に計測を行わないため、第１測距センサ１１及び第２測距センサ１２と制御部１５との間における通信容量を軽減することができる。

また、実施形態１によれば、計測地図情報で得られなかった情報を、地図情報で補間することができるため、オペレータに与える情報の視認性をより向上させることができる。

また、実施形態１によれば、オペレータが操作部１４を操作することで、マニピュレータ１０を遠隔操作することが可能となる。

なお、実施形態１において、第２測距センサ１２は、マニピュレータ１０に設けられ、マニピュレータ１０により第２測距センサ１２を作業対象物８へ向かって移動させたが、この構成に限定されず、マニピュレータ１０とは異なる移動機構により、第２測距センサ１２を作業対象物８へ向かって移動させてもよい。

［実施形態２］
次に、図５から図７を参照して、実施形態２に係る作業システム１について説明する。なお、実施形態２では、重複した記載を避けるべく、実施形態１と異なる部分について説明し、実施形態１と同様の構成である部分については、同じ符号を付して説明する。図５は、実施形態２に係る作業システムの動作を示すブロック図である。図６は、実施形態２に係る作業システムの表示部に表示される画像を示す図である。図７は、実施形態２に係る作業システムの表示部に係る動作を示すフローチャートである。

実施形態２に係る作業システム１では、実施形態１の作業対象物モデルを、既知となる作業対象物８の形状情報に基づいて補間を行っている。また、実施形態２に係る作業システム１では、計測地図情報と、作業対象物モデルとをフィルタリング処理した後、作業対象物モデルと既知となる作業対象物８の形状情報とをマッチング処理して、表示部１３に表示させている。

具体的に、制御部１５は、計測地図情報を生成すると、生成した計測地図情報に含まれる複数の計測点の中から、不要な計測点を除去するフィルタリング処理を行い、フィルタリング処理された計測地図情報を、表示部１３に表示させる。

また、制御部１５は、作業対象物モデルを生成すると、生成した作業対象物モデルに含まれる複数の計測点の中から、ノイズが多い場合、又は点群数膨大による計算負荷増大の場合等における対応として、フィルタリング処理を行っても良い。そして、制御部１５は、フィルタリング処理された作業対象物モデルを、既知となる作業対象物８の形状に関する形状情報で補間するマッチング処理を実行する。そして、制御部１５は、補間後の作業対象物モデルを、表示部１３に表示させる。

ここで、図６を参照して、表示部１３に表示される画像について説明する。図６は、生成されたマニピュレータモデル１０ａと、フィルタリング処理された計測地図情報と、補間後の作業対象物モデル８ａと、を重畳させた画像となっている。このような画像とすることで、作業対象物モデル８ａにおいては、第２測距センサ１２により計測不能な部位を、作業対象物８の形状情報で補間できるため、オペレータにとって視認性のよいものとなる。

次に、図７を参照して、実施形態２に係る作業システム１の作業方法に関する一例の動作フローについて説明する。先ず、制御部１５は、フィルタリング処理後の計測地図情報を取得する（ステップＳ１５）。続いて、制御部１５は、マニピュレータ１０に設けられるアクチュエータから得られる移動量に関する情報を取得すると共に、第２測距センサ１２のセンサデータを取得する（ステップＳ１６）。次に、制御部１５は、ステップＳ１６において取得した情報に基づいて、マニピュレータモデルを生成すると共に、作業対象物モデルを生成し、生成したマニピュレータモデルと作業対象物モデルとを、最新のモデルであるとして更新する（ステップＳ１７）。そして、制御部１５は、モデルの更新に関する終了の要求があるか否かを判定し（ステップＳ１８）、終了の要求が無いと判定する（ステップＳ１８：Ｎｏ）と、ステップＳ１２に進み、終了の要求があるまで、ステップＳ１２からステップＳ１４を繰り返し実行する。一方で、制御部１５は、モデルの更新に関する終了の要求があると判定する（ステップＳ１８：Ｙｅｓ）と、一連の動作フローを終了する。

以上のように、実施形態２によれば、作業対象物モデルで得られなかった情報を、形状情報で補間することができるため、オペレータに与える情報の視認性をより向上させることができる。

［実施形態３］
次に、図８及び図９を参照して、実施形態３に係る作業システム１について説明する。なお、実施形態３では、重複した記載を避けるべく、実施形態１及び２と異なる部分について説明し、実施形態１及び２と同様の構成である部分については、同じ符号を付して説明する。図８は、実施形態３に係る作業システムの動作を示すブロック図である。図９は、実施形態３に係る作業システムの動作を示すフローチャートである。

実施形態１では、オペレータによりマニピュレータ１０を手動操作していたが、実施形態３の作業システム１では、自律制御によりマニピュレータ１０を自動操作している。

具体的に、作業システム１は、図８に示すように、マニピュレータ１０の作業に基づく行動を計画する行動計画部を備えている。そして、制御部１５は、行動計画部により計画された行動に基づいて、オペレータに代わって、マニピュレータ１０、第１測距センサ１１及び第２測距センサ１２に対して、動作指示を行うことにより、各部を自律制御している。

次に、図９を参照して、実施形態３の作業システム１の作業方法に関する一例の動作フローについて説明する。なお、図９に示す各ステップは、実施形態１に示す各ステップと重複するステップがあるため、重複するステップについては説明を省略する。

先ず、制御部１５は、実施形態１のステップＳ１からステップＳ５を実行する。続いて、制御部１５は、補間後の計測地図情報が生成されると、行動計画部により計画された作業対象物８までの移動に関する行動計画を取得する（ステップＳ２６）。続いて、制御部１５は、取得した行動計画に基づくマニピュレータ１０の動作が、計測地図情報に基づく周辺環境との間で、物理的な干渉が無いか否かを判定する（ステップＳ２７）。

制御部１５は、ステップＳ２７において、マニピュレータ１０と周辺環境との間で、物理的な干渉があると判定する（ステップＳ２７：Ｎｏ）と、再びステップＳ２６に進み、行動計画部により新たに計画された行動計画を取得し、物理的な干渉が無いと判定されるまで、ステップＳ２６及びステップＳ２７を繰り返し実行する。一方で、制御部１５は、ステップＳ２７において、マニピュレータ１０と周辺環境との間で、物理的な干渉が無いと判定する（ステップＳ２７：Ｙｅｓ）と、実施形態１のステップＳ６からステップＳ１０を順に実行する。

制御部１５は、ステップＳ１０の後、第２測距センサ１２の計測結果に基づいて、作業対象物８の位置及び姿勢の推定を実行し（ステップＳ２８）、作業対象物８の位置及び姿勢が推定できるか否かを判定する（ステップＳ２９）。制御部１５は、ステップＳ２９において、作業対象物８の位置及び姿勢が推定できない（ステップＳ２９：Ｎｏ）と判定すると、再びステップＳ２６に進み、作業対象物８の位置及び姿勢が推定できるまで、ステップＳ２６からステップＳ２９を繰り返し実行する。

制御部１５は、ステップＳ２９において、作業対象物８の位置及び姿勢が推定できる（ステップＳ２９：Ｙｅｓ）と判定すると、行動計画部により計画された作業対象物８への作業に関する行動計画を取得する（ステップＳ３０）。制御部１５は、取得した行動計画に基づくマニピュレータ１０の作業が、作業対象物８に対して実行できるか否かを判定する（ステップＳ３１）。制御部１５は、ステップＳ３１において、マニピュレータ１０が作業対象物８に対して作業できないと判定する（ステップＳ３１：Ｎｏ）と、再びステップＳ３０に進み、行動計画部により新たに計画された行動計画を取得し、マニピュレータ１０が作業対象物８に対して作業できると判定されるまで、ステップＳ３０及びステップＳ３１を繰り返し実行する。制御部１５は、ステップＳ３１において、マニピュレータ１０が作業対象物８に対して作業できると判定する（ステップＳ３１：Ｙｅｓ）と、実施形態１のステップＳ１２及びステップＳ１３を実行する。そして、制御部１５は、ステップＳ１３において、マニピュレータ１０による作業対象物８への作業が完了したと判定すると、一連の動作フローを終了する。

以上のように、実施形態３によれば、制御部１５は、行動計画部により計画された行動に基づいて、各部を自律制御することが可能となり、作業システム１の自動化及び無人化を図ることができる。

［実施形態４］
次に、図１０から図１２を参照して、実施形態４に係る作業システム１について説明する。なお、実施形態２では、重複した記載を避けるべく、実施形態１から３と異なる部分について説明し、実施形態１から３と同様の構成である部分については、同じ符号を付して説明する。図１０は、実施形態４に係る作業システムにおいて第１測距センサを用いたときの状態を示す説明図である。図１１は、実施形態４に係る作業システムにおいて第２測距センサを用いたときの状態を示す説明図である。図１２は、実施形態４に係る作業システムの動作を示すフローチャートである。

実施形態１では、マニピュレータ１０及び第１測距センサ１１を、建屋６の天井５に固定したが、実施形態４では、マニピュレータ１０及び第１測距センサ１１を、移動体３０に搭載している。

具体的に、作業システム１は、マニピュレータ（作業部及び移動部）１０と、第１測距センサ（第１測距部）１１と、第２測距センサ（第２測距部）１２と、表示部１３と、制御部１５と、移動体３０（移動部）を備えている。ここで、実施形態４の作業システム１は、制御部１５が各部の動作を自律制御するシステムとなっており、自動化されたシステムとなっている。

移動体３０は、周辺環境を移動可能な移動車両であり、第１測距センサ１１により周辺環境を測距しながら、周辺環境を移動している。マニピュレータ１０は、その基部が移動体３０に固定して取り付けられている。

第１測距センサ１１は、マニピュレータ１０の基部を介して移動体３０に固定して取り付けられている。第１測距センサ１１は、実施形態４において、図１０に示すように、周辺環境の床面及び床面に存在する障害物等を測距している。なお、第１測距センサ１１の機能については、実施形態１と同様であるため、説明を省略する。

第２測距センサ１２は、マニピュレータ１０の先端に取り付けられるエンドエフェクタ１６に固定されている。第２測距センサ１２は、実施形態４において、図１１に示すように、作業対象物８を測距するセンサである。ここで、第２測距センサ１２は、移動体３０によって作業対象物８へ向かって移動すると共に、マニピュレータ１０の動作によって作業対象物へ向かって移動することから、移動体３０及びマニピュレータ１０が、第２測距センサ１２を移動させる移動部として機能している。

次に、図１２を参照して、実施形態４の作業システム１の作業方法に関する一例の動作フローについて説明する。なお、図１２に示す各ステップは、実施形態３の図９に示す各ステップと重複するステップがあるため、重複するステップについては説明を省略する。

先ず、制御部１５は、実施形態３のステップＳ１からステップＳ７を実行する。制御部１５は、作業対象物８にエンドエフェクタ１６がアクセスできたと判定すると、移動体３０の自己位置を推定すると共に、最新の計測地図情報に更新する。この後、制御部１５は、実施形態３のステップＳ８からステップＳ１３を実行する。そして、制御部１５は、ステップＳ１３において、マニピュレータ１０による作業対象物８への作業が完了したと判定すると、一連の動作フローを終了する。

以上のように、実施形態４によれば、移動体３０により周辺環境を移動することで、作業対象物８を探索することができる。また、第２測距センサ１２によって作業対象物８を測距する場合、作業対象物８の測距が不十分であれば、ステップＳ２６における新たな行動計画に基づいて移動体３０を移動させることにより、作業対象物８に対する第２測距センサ１２の位置を変更することができるため、作業対象物８の形状を死角なく計測することが可能となる。

１ 作業システム
５ 天井
６ 建屋
７ 空間
８ 作業対象物
１０ マニピュレータ
１１ 第１測距センサ
１２ 第２測距センサ
１３ 表示部
１４ 操作部
１５ 制御部
１６ エンドエフェクタ
１７ 第１シャッター機構
１８ 第２シャッター機構
３０ 移動体

Claims (12)

1. 周辺環境を測距する第１測距部と、
   前記周辺環境に存在する作業対象物を測距する第２測距部と、
   前記作業対象物へ向かって移動して作業を行う作業部と、
   前記第１測距部により前記周辺環境を測距する計測状態と、前記第１測距部を前記周辺環境から遮蔽する遮蔽状態と、で切り替える第１切替部と、
   前記第２測距部により前記作業対象物を測距する計測状態と、前記第２測距部を前記周辺環境から遮蔽する遮蔽状態と、で切り替える第２切替部と、
   前記第１測距部による計測結果に基づいて、前記第２測距部を前記作業対象物へ向かって移動させる移動部と、
   前記第１測距部及び前記第２測距部の計測結果に基づいて、各部を制御する制御部と、を備え、
   前記第１測距部は、前記第２測距部に対して計測点が粗となり、前記第２測距部に対して測定距離が長いものであり、
   前記第２測距部は、前記第１測距部に対して計測点が密となり、前記第１測距部に対して測定距離が短いものであり、
   前記制御部は、
   前記第１測距部の計測状態時における計測結果に基づいて計測地図情報を生成し、
   前記第２測距部の計測状態時における計測結果に基づいて作業対象物モデルを生成し、
   前記作業対象物モデルに基づいて、前記作業対象物の位置及び姿勢の推定を実行し、前記作業対象物の位置及び姿勢が推定できるまで、前記第２測距部による計測を実行することを特徴とする作業システム。
2. 前記第２測距部は、前記作業部に取り付けられ、
   前記移動部は、前記作業部であり、
   前記作業部は、前記第１測距部の計測結果に基づいて、前記第２測距部を前記作業対象物へ向かって移動させ、前記第２測距部の計測結果に基づいて、前記作業対象物へ向かって移動して作業を行うことを特徴とする請求項１に記載の作業システム。
3. 前記周辺環境は、天井を有する建屋であり、
   前記第１測距部は、前記天井に設置されることを特徴とする請求項１または２に記載の作業システム。
4. 前記移動部は、移動体であり、
   前記作業部及び前記第１測距部は、前記移動体に取り付けられ、
   前記第２測距部は、前記作業部または前記移動体に取り付けられ、
   前記移動体は、前記第１測距部の計測結果に基づいて、前記第２測距部を前記作業対象物へ向かって移動させ、
   前記作業部は、前記第２測距部の計測結果に基づいて、前記作業対象物へ向かって移動して作業を行うことを特徴とする請求項１に記載の作業システム。
5. 前記作業部は、先端にエンドエフェクタが設けられる多軸マニピュレータであることを特徴とする請求項１から４のいずれか１項に記載の作業システム。
6. 前記第１切替部及び前記第２切替部は、前記第１測距部及び前記第２測距部を露出させる開口を開放して前記計測状態とする一方で、前記開口を閉塞して前記遮蔽状態とするシャッター機構であることを特徴とする請求項１から５のいずれか１項に記載の作業システム。
7. オペレータに向かって情報を表示する表示部を、さらに備え、
   前記制御部は、
   前記作業部のモデルとなる作業部モデルを生成し、生成した前記計測地図情報と前記作業対象物モデルと前記作業部モデルとを重畳させて、前記表示部に表示させることを特徴とする請求項１から６のいずれか１項に記載の作業システム。
8. 前記制御部は、既知となる前記周辺環境の地図情報を有しており、前記第１測距部の計測結果に基づいて計測地図情報を生成し、前記計測地図情報を前記地図情報で補間することを特徴とする請求項１から７のいずれか１項に記載の作業システム。
9. 前記制御部は、既知となる前記作業対象物の形状情報を有しており、前記第２測距部の計測結果に基づいて前記作業対象物のモデルとなる作業対象物モデルを生成し、前記作業対象物モデルを前記形状情報で補間することを特徴とする請求項１から８のいずれか１項に記載の作業システム。
10. オペレータにより操作される操作部を、さらに備え、
    前記制御部は、前記操作部の操作に基づいて、各部を制御することを特徴とする請求項１から９のいずれか１項に記載の作業システム。
11. 作業に基づく行動を計画する行動計画部を、さらに備え、
    前記制御部は、前記行動計画部により計画された行動に基づいて、各部を自律制御することを特徴とする請求項１から９のいずれか１項に記載の作業システム。
12. 周辺環境を測距する第１測距部と、前記周辺環境に存在する作業対象物を測距する第２測距部とを備える作業システムにより前記作業対象物に対して作業を行う作業システムの作業方法であって、
    前記第１測距部は、前記第２測距部に対して計測点が粗となり、前記第２測距部に対して測定距離が長いものであり、
    前記第２測距部は、前記第１測距部に対して計測点が密となり、前記第１測距部に対して測定距離が短いものであり、
    前記第１測距部を、前記周辺環境を測距可能な状態とする第１測距許可工程と、
    前記第１測距部により、前記周辺環境を測距する第１測距工程と、
    前記第１測距部を、前記周辺環境から遮蔽した状態とする第１測距遮蔽工程と、
    前記第１測距部による計測結果に基づいて、前記第２測距部を前記作業対象物へ向かって移動させる第２測距部移動工程と、
    前記第２測距部を、前記作業対象物を測距可能な状態とする第２測距許可工程と、
    前記第２測距部により、前記作業対象物を測距する第２測距工程と、
    前記第２測距部を、前記周辺環境から遮蔽した状態とする第２測距遮蔽工程と、
    前記第１測距部及び前記第２測距部の計測結果に基づいて、前記作業対象物に対して作業を行う作業工程と、を備え、
    前記第１測距工程では、前記第１測距部の計測状態時における計測結果に基づいて計測地図情報を生成し、
    前記第２測距工程では、前記第２測距部の計測状態時における計測結果に基づいて作業対象物モデルを生成し、
    前記作業対象物モデルに基づいて、前記作業対象物の位置及び姿勢の推定を実行し、前記作業対象物の位置及び姿勢が推定できるまで、前記第２測距工程を実行することを特徴とする作業システムの作業方法。
    

Images