JP2013184257A - ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム - Google Patents

Abstract

【課題】微細物を含む多様な物体を、ユーザーの少ない教示回数に基づいて環境の中から認識して、把持動作を行なうロボット装置を提供する。
【解決手段】ロボット装置１００は撮影画像を教示端末２００に転送する。教示端末２００側では、ユーザーが撮像画像上で物体を囲む大まかな範囲を教示し、ロボット装置１００に転送する。ロボット装置１００側では、教示された範囲内で抽出した物体の２次元輪郭情報から把持物体の３次元的な位置及び姿勢を推定して、その姿勢で把持するための腕部の軌道を計画して、物体の把持を実現する。
【選択図】 図４

Description

本明細書で開示する技術は、環境の中から物体を認識して把持するロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムに係り、特に、教示端末などを介したユーザーからの教示に基づいて環境の中から物体を認識して把持動作を行なうロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムに関する。

工場などに設置されるロボット装置は従来から知られている。この種のロボット装置の多くは、固定的なタスクを遂行するように設計されている。近年では、さまざまな作業を行えるロボット装置が実現しつつある。後者のロボット装置は、例えば福祉や介護、介助の分野に適用され、身体の不自由な人などユーザーの要望に応じて、所望の物体を取ってきて手渡してくれる。

ここで、ロボット装置が物体を把持するためには、環境の中から対象とする物体を見つける認識能力が必要である。しかしながら、ロボット装置がさまざまな状況で高い認識能力を持つことは難しい。また、針や薬（錠剤）などの微細物を把持する場合、この種の物体を環境から見つけ出すこと自体が難しい。

当業界では、ユーザーが教示端末などを使ってロボット装置に対して動作を指示する制御システムが知られている。したがって、ユーザーが教示端末を介してロボット装置に把持物体を指示するという方法が考えられる。

例えば、複数の素形状モデルそれぞれについての把持パターンをあらかじめデータベース化しておき、ユーザーが教示端末上で対象とする把持物体に該当する素形状モデルを指定すると、ロボット装置側では指定された素形状モデルを把持物体について取得した３次元位置データにフィッティングさせ、データベースを検索して把持物体の把持パターンを選択する動作教示システムについて提案がなされている（例えば、特許文献１を参照のこと）。

しかしながら、上記の動作教示システムでは、素形状モデルのデータベースをあらかじめ用意しなければならず、また、データベースに登録された素形状モデルに合致しない物体を扱うことはできない。また、フィッティングの際には３次元形状計測のみにより物体の３次元位置データを取得するように構成されているが、３次元形状計測は概して精度が低く、誤判定の危険があるとともに、針や薬（錠剤）などの素形状の定義が難しい微細物については把持するのに十分精度の高い３次元位置データを取得するのが困難となり、把持動作が有効に機能しないことが懸念される。また、教示端末上で素形状モデルを選択する操作は煩雑であり、そもそもユーザーが動作教示システムを利用しなくなる危険性さえある。

特開２００９−２１４２１２号公報

本明細書で開示する技術の目的は、教示端末などを介したユーザーからの教示に基づいて、環境の中から物体を認識して好適に把持動作を行なうことができる、優れたロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムを提供することにある。

本明細書で開示する技術のさらなる目的は、微細物を含む多様な物体を、ユーザーの少ない教示回数に基づいて環境の中から認識して、好適に把持動作を行なうことができる、優れたロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
物体を含んだ画像を画面に表示する出力部と、
前記画像内で物体の大まかな範囲に関する情報をユーザーが教示する操作を受け付ける入力部と、
前記入力部における教示内容に基づいて、前記物体の２次元輪郭情報を抽出する物体抽出部と、
前記２次元輪郭情報に基づいて前記物体の３次元位置及び姿勢情報を推定する位置姿勢推定部と、
を具備するロボット装置である。

本願の請求項２に記載の技術によれば、請求項１に記載のロボット装置は、撮像部をさらに備えている。そして、前記出力部は、前記撮像部による撮像画像を前記画面に表示するように構成されている。

本願の請求項３に記載の技術によれば、請求項１に記載のロボット装置は、把持部と、推定した前記物体の３次元位置及び姿勢情報に基づいて、前記物体を把持するための前記把持部の軌道を計画する把持計画部と、前記計画した軌道に従って前記把持部による前記物体の把持動作を制御する把持制御部をさらに備えている。

本願の請求項４に記載の技術によれば、請求項１に記載のロボット装置において、前記出力部及び前記入力部を含む端末部は、前記把持部を含む前記ロボット装置本体と無線通信を行なうように構成されている。

本願の請求項５に記載の技術によれば、請求項１に記載のロボット装置において、前記入力部は、前記出力部の画面と一体のタッチパネルである。そして、ユーザーが前記タッチパネル上を触れて前記物体を囲む大まかな範囲の教示を行なうように構成されている。

本願の請求項６に記載の技術によれば、請求項５に記載のロボット装置は、ユーザーが前記タッチパネルに表示された前記撮像画像上で前記物体を囲む領域をなぞって前記教示を行なうように構成されている。

本願の請求項７に記載の技術によれば、請求項５に記載のロボット装置は、ユーザーが、前記タッチパネルに表示された前記撮像画像上で、前記物体を囲む範囲のほぼ中央をタッチして指示するとともに、タッチ時間により前記範囲の半径を与えて、前記教示を行なうように構成されている。

本願の請求項８に記載の技術によれば、請求項５に記載のロボット装置は、ユーザーが前記タッチパネルに表示された前記撮像画像上で前記物体を囲む矩形領域の対角線をなぞって前記教示を行なうように構成されている。

本願の請求項９に記載の技術によれば、請求項１に記載のロボット装置は、前記物体抽出部で抽出した前記物体の前記２次元輪郭情報を前記出力部で画面に表示し、前記入力部を介して前記２次元輪郭情報に対するユーザーの確認を得たことに応じて、前記物体の把持動作を実行するように構成されている。

本願の請求項１０に記載の技術によれば、請求項９に記載のロボット装置は、前記２次元輪郭情報に対するユーザーの確認が得られなかった場合に、前記入力部でユーザーからの２回目の教示を受け付け、前記物体抽出部は、前記２回目教示内容に基づいて、前記物体の２次元輪郭情報の抽出を再度試みるように構成されている。

本願の請求項１１に記載の技術によれば、請求項１０に記載のロボット装置において、前記入力部は、前記２回目の教示として、前記物体の大まかな範囲に関する情報を再度受け付けるように構成されている。

本願の請求項１２に記載の技術によれば、請求項１０に記載のロボット装置において、前記入力部は、前記２回目の教示として、１回目に教示された前記物体の大まかな範囲に対する追加の教示を受け付けるように構成されている。

本願の請求項１３に記載の技術によれば、請求項１０に記載のロボット装置において、前記入力部は、前記２回目の教示として、１回目に教示された前記物体の大まかな範囲に含まれる複数の物体間の境界線の教示を受け付け、前記物体抽出部は前記境界線の両側からそれぞれ物体の２次元輪郭情報を抽出し、抽出した各物体の前記２次元輪郭情報を前記出力部で画面に表示し、前記入力部を介して前記２次元輪郭情報に対するユーザーの把持物体の選択及び確認を得たことに応じて、前記物体の把持動作を実行するように構成されている。

また、本願の請求項１４に記載の技術は、
物体を含んだ画像を画面に表示する出力ステップと、
前記画像内で物体の大まかな範囲に関する情報をユーザーが教示する操作を受け付ける入力ステップと、
前記入力ステップで受け付けた教示内容に基づいて、前記物体の２次元輪郭情報を抽出する物体抽出ステップと、
前記２次元輪郭情報に基づいて前記物体の３次元位置及び姿勢情報を推定する位置姿勢推定ステップと、
を有するロボット装置の制御方法である。

また、本願の請求項１５に記載の技術は、
物体を含んだ画像を画面に表示する出力部、
前記画像内で物体の大まかな範囲に関する情報をユーザーが教示する操作を受け付ける入力部、
前記入力部における教示内容に基づいて、前記物体の２次元輪郭情報を抽出する物体抽出部、
前記２次元輪郭情報に基づいて前記物体の３次元位置及び姿勢情報を推定する位置姿勢推定部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項１５に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１５に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係るロボット装置と同様の作用効果を得ることができる。

本明細書で開示する技術によれば、ロボット装置は、ユーザーの教示に基づいて、事前登録なしに、多様な物体を把持することが可能となる。特に、自律的な認識が難しい微細物や薄い物体を、ユーザーの少ない教示回数に基づいて環境の中から認識して、好適に把持動作を行なうことができるようになる。

また、本明細書で開示する技術によれば、ユーザーは教示端末で物体の大まかな輪郭を指定するという簡単な操作だけで、ロボット装置に対して把持物体を教示することができ、誰もが素早く簡単に教示操作を行なうことができる。

また、本明細書で開示する技術によれば、１回の処理では認識することが難しい把持物体であっても、ユーザーは、誤認識された結果に対して、把持物体の境界線などを繰り返し教示していくことで、ロボット装置に把持物体を認識させることができる。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術を適用可能なロボット装置１００の外観を示した図である。 図２は、本明細書で開示する技術を適用可能なロボット装置１００の関節自由度構成を模式的に示した図である。 図３は、図１に示したロボット装置１００の制御システムの構成を模式的に示した図である。 図４は、ロボット装置１００と教示端末２００からなる制御システムの機能的構成を模式的に示した図である。 図５Ａは、ロボット装置１００が教示装置２００からの教示情報を利用して物体の把持を行なう際の制御システムにおける通信シーケンス例を示した図である。 図５Ｂは、ロボット装置１００が教示装置２００からの教示情報を利用して物体の把持を行なう際の制御システムにおける通信シーケンス例を示した図である。 図６は、教示端末２００で画面表示する、ロボット装置１００側で取得した撮像画像の一例を示した図である。 図７Ａは、教示端末２００の出力部４１３に画面表示されている撮像画像上で、把持物体となるペンを囲む領域をなぞることによってペンを囲む大まかな範囲を指示する様子を示した図である。 図７Ｂは、教示端末２００の出力部４１３に画面表示されている撮像画像上で、把持の対象となるペンのほぼ中央をタッチし続けることによってペンを囲む大まかな範囲を指示する様子を示した図である。 図７Ｃは、教示端末２００の出力部４１３に画面表示されている撮像画像上で、把持物体となるペンを囲む矩形領域の対角線をなぞることによってペンを囲む大まかな範囲を指示する様子を示した図である。 図７Ｄは、図７Ａ〜図７Ｃに示した各入力方法を表現したアイコンからなる、入力方法選択用のパレットを例示した図である。 図８Ａは、撮像画像の表示画面上に、ユーザーが指示した領域内で抽出した把持物体のより詳細な輪郭を重畳して表示している様子を示した図である。 図８Ｂは、表示した輪郭情報に基づいて把持物体の把持動作を実行してよいかどうかを確認するダイアログを示した図である。 図９は、把持物体であるペンと、その傍らにある消しゴムを誤って含んで抽出した輪郭を示した図である。 図１０は、複数の物体を含む輪郭に対して、把持物体であるペンと、その他の物体とを区切る境界線を教示する様子を示した図である。 図１１Ａは、撮像画像の表示画面上に、把持物体であるペンとその傍らの消しゴムが分割された輪郭を重畳して表示している様子を示した図である。 図１１Ｂは、表示した輪郭情報に基づいて把持物体の把持動作を実行してよいかどうかを確認するダイアログを示した図である。 図１２は、撮像画像上で教示された輪郭から把持物体の位置と姿勢を推定する処理を説明するための図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術を適用可能なロボット装置１００の外観を示している。ロボット装置１００は、複数のリンクを関節で接続されたリンク構造体であり、各関節はアクチュエーターによって動作する。また、図２には、このロボット装置１００の関節自由度構成を模式的に示している。図示のロボット装置１００は、家庭内など時々刻々、動的に変化する周囲環境に設置され、家事や介護などの生活支援を行なうが、工場などに設置されて固定的なタスクを遂行することも可能である。

図示のロボット装置１００は、双腕型であり、また、移動手段として、ベース部に対向する２輪の駆動輪１０１Ｒ及び１０１Ｌを備えている。各駆動輪１０１Ｒ及び１０１Ｌは、それぞれピッチ回りに回転する駆動輪用アクチュエーター１０２Ｒ及び１０２Ｌによって駆動する。なお、図２中において、参照番号１５１、１５２、１５３は、実在しない劣駆動関節であり、ロボット装置１００の床面に対するＸ方向（前後方向）の並進自由度、Ｙ方向（左右方向）の並進自由度、並びに、ヨー回りの回転自由度にそれぞれ相当し、ロボット装置１００が仮想世界を動き回ることを表現したものである。

移動手段は、腰関節を介して上体に接続される。腰関節は、ピッチ回りに回転する腰関節ピッチ軸アクチュエーター１０３によって駆動する。上体は、左右２肢の腕部と、首関節を介して接続される頭部で構成される。左右の腕部は、それぞれ肩関節３自由度、肘関節２自由度、手首関節２自由度の、計７自由度とする。肩関節３自由度は、肩関節ピッチ軸アクチュエーター１０４Ｒ／Ｌ、肩関節ロール軸アクチュエーター１０５Ｒ／Ｌ、肩関節ヨー軸アクチュエーター１０６Ｒ／Ｌによって駆動する。肘関節２自由度は、肘関節ピッチ軸アクチュエーター１０７Ｒ／Ｌ、肘関節ヨー軸アクチュエーター１０８Ｒ／Ｌによって駆動する。手首関節２自由度は、手首関節ロール軸アクチュエーター１０９Ｒ／Ｌ、手首関節ピッチ軸アクチュエーター１１０Ｒ／Ｌによって駆動する。また、首関節２自由度は、首関節ピッチ軸アクチュエーター１１１、首関節ヨー軸アクチュエーター１１２によって駆動する。また、左右の腕部の先端の手関節１自由度は、手関節ロール軸アクチュエーター１１３Ｒ／Ｌによって駆動する。本実施形態では、手関節ロール軸アクチュエーター１１３Ｒ／Ｌを駆動することによって、手先による物体の把持動作を実現することができるものとする。

なお、図示のロボット装置１００は、対向２輪式の移動手段を備えているが、本明細書で開示する技術の要旨は、対向２輪式の移動手段に限定されるものではない。例えば、脚式の移動手段を備えたロボット装置、あるいは移動手段を持たないロボット装置であっても、同様に本明細書で開示する技術を適用することができる。

各軸のアクチュエーターには、関節角を計測するためのエンコーダー、トルクを発生するためのモーター、モーターを駆動するための電流制御型モーター・ドライバーの他、十分な発生力を得るための減速機が取り付けられている。また、アクチュエーターには、アクチュエーターの駆動制御を行なう制御用マイクロコンピューターが併設されている（いずれも図２には図示しない）。

ロボット装置１００のダイナミクス演算は、例えばホスト・コンピューター（図示しない）上で実行され、各関節アクチュエーターのトルク又は関節角度の制御目標値を生成する。制御目標値は、アクチュエーターに併設された制御用マイクロコンピューターに送信され、制御用マイクロコンピューター上で実行されるアクチュエーターの制御に用いられる。また、各関節アクチュエーターは、力制御方式又は位置制御方式により制御される。

図３には、図１に示したロボット装置１００の制御システムの構成を模式的に示している。ロボット装置１００は、全体の動作の統括的制御やその他のデータ処理を行なう制御ユニット３１０と、入出力部３２０と、駆動部３３０とを備えている。以下、各部について説明する。

入出力部３２０は、入力部として、ロボット装置１００の目に相当するカメラ３２１、３次元センサー３２２、ロボット装置１００の耳に相当するマイクロフォン３２３などを備えている。また、入出力部３２０は、出力部として、ロボット装置１００の口に相当するスピーカー３２４などを備えている。ここで、カメラ３２１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージ検出素子からなる。また、３次元センサー３２２は、物体の３次元的な位置と姿勢を計測することが可能なデバイスであり、例えば、ステレオ・カメラやレーザー・レンジ・ファインダー、Ｋｉｎｅｃｔ（商標）などで構成される。また、ロボット装置１００は、例えばマイクロフォン３２３からのユーザーの音声入力により、タスクの指示を受けることができる。但し、ロボット装置１００は、有線、無線、あるいは記録メディアなどを介した他のタスクの指示の入力手段（図示しない）を備えていてもよい。

また、入出力部３２０は、無線通信部３２５を備えている。ロボット装置１００は、無線通信部３２５により、Ｗｉ−Ｆｉなどの通信路を介してユーザーの教示端末（タブレット端末など、図３には図示しない）などとデータ通信を行なうことができる。

駆動部３３０は、ロボット装置１００の各関節における自由度を実現するための機能モジュールであり、それぞれの関節におけるロール、ピッチ、ヨーなど軸毎に設けられた複数の駆動ユニットで構成される。各駆動ユニットは、所定軸回りの回転動作を行なうモーター３３１と、モーター３３１の回転位置を検出するエンコーダー３３２と、エンコーダー３３２の出力に基づいてモーター３３１の回転位置や回転速度を適応的に制御するドライバー３３３の組み合わせで構成される。

制御ユニット３１０は、認識部３１１と、駆動制御部３１２と、環境マップ３１３を備えている。

認識部３１１は、入出力部３２０のうちカメラ３２１や距離センサー３２２といった入力部から得られる情報に基づいて、周囲の環境の認識を行なう。例えば、認識部３１１は、カメラ３２１の位置を推定する自己位置推定処理により得られる、カメラ３２１の位置姿勢情報と、カメラ３２１の撮像画像から物体を検出する画像認識処理により得られる物体情報から、環境マップ３１３を事前に構築したり更新したりする。

駆動制御部３１２は、入出力部３２０のうち出力部や、駆動部３３０の駆動を制御する。例えば、駆動制御部３１２は、ロボット装置１００がタスクを実現するための、駆動部３３０の制御を行なう。ここで言う、ロボット装置１００が実現するタスクには、ユーザーが指示した物体の受け渡しなどのユーザーとの物理的なインタラクションが含まれ、インタラクションを実現するために、駆動輪用アクチュエーター１０２Ｒ及び１０２Ｌや腕部の各関節アクチュエーターを駆動させる。

ロボット装置１００は、例えば生活支援に適用され、身体の不自由な人などユーザーの要望に応じて、所望の物体を取ってきて手渡してくれる。ここで、ロボット装置１００が物体を把持するためには、環境の中から対象とする物体を見つける認識能力が必要である。本実施形態では、ユーザーがカメラ画像に映っている物体を囲む大まかな範囲をロボット装置１００に教示するという方法により、３次元形状計測では認識し難いような微細物や薄い物体に対しても把持能力を実現している。

図４には、ロボット装置１００と教示端末２００からなる制御システムの機能的構成を示している。

教示端末２００は、通信部４１１と、情報処理部４１２と、出力部４１３と、入力部４１４を備えている。

通信部４１１は、Ｗｉ−Ｆｉなどの通信路を介してロボット装置１００などとデータ通信を行なうことができる。

教示端末２００がタブレット端末の場合、出力部４１３はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの平板状の表示装置であり、入力部４１４は出力部４１３の表示画面と一体となったタッチパネルであり、ユーザーは表示画面上を指やペン先でなぞることで入力操作を行なうことができる。

情報処理部４１２は、オペレーティング・システムが行なっている処理や、通信部４１１と、入力部４１４及び出力部４１３との情報受け渡しなどを担っている。

ロボット装置１００側の通信部４２１は無線通信部３２５に、撮像部４２３はカメラ３２１に、３次元計測部４２４は３次元センサー３２２にそれぞれ相当する。また、画像処理部４２２は制御ユニット３２０内の認識部３２１に相当し、把持計画部４２６及び把持制御部４２７は駆動制御部３１２に相当する。また、把持部４２８は、主にロボット装置１００の双腕で構成される。

撮像部４２３として、最低限１台のカメラを装備していればよい。２台のカメラを装備する場合には、後述するように、教示端末２００側では左右画像を使った教示が可能になる。なお、撮像部４２３としてのカメラは、必ずしもロボット装置１００本体に搭載されている必要はなく、ロボット装置１００外に設置され、作業環境を撮像する環境カメラであってもよい。但し、ロボット装置１００内外のいずれに設置されているにせよ、カメラ座標系と世界座標系との関係は既知であるものとする。

図４に示す制御システムでは、カメラの撮像画像から対象とする把持物体の位置及び姿勢を推定するために、カメラ座標系から世界座標系へ変換する必要がある。以下では、これら２つの座標系の関係は既知であるものとして説明する。

ロボット装置１００側では、撮像部４２３で環境を撮影する。撮影した画像は、画像処理部４２２に取り込まれ、通信部４２１を介して教示端末２００に転送される。教示端末２００側では、ユーザーは、出力部４１３に表示された撮像画像上で、入力部４１４を介して把持物体を囲む大まかな範囲を教示する。この教示情報は、通信部４１１を介してロボット装置１００に転送される。ロボット装置１００側では、物体抽出部４２２は、教示情報が示す範囲内で把持物体のより詳細な輪郭を抽出する。そして、把持計画部４２６は、３次元センサー４２４の計測結果に基づいて、把持物体の姿勢を決定するとともに、その姿勢で把持するための腕部の軌道計画を行なう。その後、把持制御部４２７は、計画した軌道に従って把持部４２８の動作を制御して、物体の把持を実現する。

３次元センサー４２４は、例えばステレオ・カメラやレーザー・レンジ・ファインダー、Ｋｉｎｅｃｔ（商標）などで構成されるが、一般に計測精度は低い。本実施形態では、物体抽出部４２２が教示情報に基づいて抽出した２次元的な輪郭情報を利用することによって、物体の３次元的な位置及び姿勢の推定精度を向上することができる。

また、ロボット装置１００は、教示端末２００からの、把持物体を囲む大まかな範囲を指定する１回目の教示に基づいて抽出した、物体の輪郭情報を教示端末２００にフィードバックするようにしてもよい。この場合、教示端末２００側では、抽出された物体の輪郭を出力部４１３に表示する。そして、ユーザーは、物体の輪郭を確認すると、教示端末２００を介してロボット装置１００に物体の把持実行を指示する。ロボット装置１００側では、把持実行の指示に応答して、把持計画部４２６が、把持物体の３次元的な位置及び姿勢を推定し、その姿勢で把持するための腕部の軌道計画を行ない、把持制御部４２７がこの計画軌道に従って物体の把持を実現する。

他方、ユーザーが、１回目の教示に基づいて抽出された物体の輪郭を確認できない場合には、把持物体を絞り込むために、さらに２回目の教示を行なう。把持物体を囲む大まかな範囲を指定する１回目の教示に基づいて物体の輪郭を抽出できない一例として、指定した範囲内に把持対象以外の物体を取り込んでいるケースを挙げることができる。そこで、ユーザーは、２回目の教示として、ロボット装置１００側で抽出した輪郭に対し、物体の境界線を指定する。この教示情報は、通信部４１１を介してロボット装置１００に転送される。そして、ロボット装置１００側では、物体抽出部４２２は、教示された境界線の左右でそれぞれ物体の輪郭を再抽出し、左右の物体の輪郭情報を教示端末２００にフィードバックする。その後、教示端末２００からユーザーの把持実行の指示を受け取ると、ロボット装置１００側では、把持計画部４２６が、把持物体の３次元的な位置及び姿勢を決定し、その姿勢で把持するための腕部の軌道計画を行ない、把持制御部４２７がこの計画軌道に従って物体の把持を実現する。

なお、図４に示した制御システムにおいて、教示端末２００をロボット装置１００の一部として捉えることもできる。また、同図では、教示端末２００は、ロボット装置１００とは切り離され、無線通信により接続する端末装置として構成されているが、教示端末２００と同等の機能を有する「教示部」をロボット装置１００に一体化して組み込むこともできる。

図５Ａには、ロボット装置１００が教示装置２００からの教示情報を利用して物体の把持を行なう際の制御システムにおける通信シーケンス例を示している。

ロボット装置１００は、撮像部４２３で撮影した画像を取得すると（Ｓ５２０１）、通信部４２１を介して教示端末２００に転送する。

教示端末２００側では、ロボット装置１００から転送されてきた画像を通信部４１１で受信すると、出力部４１３で画面に表示する（Ｓ５１０１）。図６には、出力部４１３で画面表示する、ロボット装置１００側で取得した撮像画像の一例を示している。図示の例は、把持物体となるペンが床に落ちている様子を撮像した画像である。

教示端末２００は、ロボット装置１００から受信した撮像画像を表示した状態で、ユーザーから入力部４１４への入力待ちとなる（Ｓ５１０２）。

ユーザーは、例えば出力部４１３の表示画面と一体となったタッチパネルからなる入力部４１４を介して、把持物体に関する教示を入力することができる。本実施形態では、表示された撮像画像内で把持物体を囲む大まかな範囲をユーザーが教示する操作を想定している。

ここで、ユーザーがタッチパネル上で物体を囲む大まかな範囲を指示するための、幾つかの方法が挙げられる。

図７Ａには、教示端末２００の出力部４１３に画面表示されている撮像画像上で、把持の対象となるペンを囲む領域をなぞることによって、ペンを囲む大まかな範囲を指示する様子を示している。この場合、ユーザーがタッチパネル上で指先をなぞった線分の情報が、物体の領域を示す教示情報となる。

また、図７Ｂには、同撮像画像上で、把持の対象となるペンを囲む範囲のほぼ中央をタッチし続けることによって、ペンを囲む大まかな範囲を指示する様子を示している。ユーザーがタッチし続けている間、指先の接触点を中心とする円形の領域（円の半径）の表示が拡大し続ける。この場合、ユーザーがタッチパネル上で触れた領域の中心座標と、タッチした時間から換算される領域の半径の情報が、物体の領域を示す教示情報となる。したがって、ユーザーは、円形領域がペンを囲む所望のサイズになると、指先をタッチパネルから離せばよい。

また、図７Ｃには、同撮像領域上で、把持の対象となるペンを囲む矩形領域の対角線をなぞることによって、ペンを囲む大まかな範囲を指示する様子を示している。この場合、ユーザーがなぞった対角線の両端点の座標の情報が、物体の領域を示す教示情報となる。

なお、教示端末２００側では、図７Ａ〜図７Ｃに示したいずれか１つの入力方法を備えていてもよいが、図７Ｄに示すような、各入力方法を表現したアイコンからなるパレットを介してユーザーが入力方法を自由に選択できるようにしてもよい。

ユーザーが、例えば図７Ａ〜図７Ｃに示すいずれかの操作を行なって（Ｓ５１０３）、入力部４１４への物体の領域を示す教示情報の入力が完了すると（Ｓ５１０４）、教示端末２００は、この教示情報を、通信部４１１を介してロボット装置１００へ転送する。

ロボット装置１００側では、把持物体を囲む大まかな領域を示す教示情報を受信すると、物体抽出部４２５は、教示された領域から把持物体のより詳細な輪郭を抽出する（Ｓ５２０２）。物体の輪郭を抽出する方法は特に限定されない。例えば、一般的に公開されている文献「“ＧｒａｂＣｕｔ”−Ｉｎｔｅｒａｃｔｉｖｅ Ｆｏｒｅｇｒｏｕｎｄ Ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ Ｉｎｔｅｒａｔｅｄ Ｇｒａｐｈ Ｃｕｔｓ」（Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ Ｃａｍｂｒｉｄｇｅ ０４）などの方法を適用することができる。

ロボット装置１００は、Ｓ５２０２で推定された把持物体の輪郭情報を撮像画像とともに、通信部４２１を介して教示端末２００に転送する。教示端末２００側では、送られてきた把持物体の輪郭を、出力部４１３で画面表示する（Ｓ５１０５）。図８Ａには、撮像画像の表示画面上に、ユーザーが指示した領域内で抽出した把持物体のより詳細な輪郭を重畳して表示している様子を示している。そして、その輪郭で把持物体を把持してよいかどうか、ユーザーが確認するまで待機する（Ｓ５１０６）。図８Ｂに示すように、把持部４２６が把持物体のより詳細な輪郭を表示した画面上に、ユーザーがロボット装置１００による把持動作を確認若しくは許可したか否かを意思表示するためのダイアログが表示される。図示のダイアログでは、「把持しますか？」というメッセージとともに、「はい」、「いいえ」の各ボタンが表示されている。

そして、ダイアログ上でユーザーが「はい」を選択するなど、教示端末２００側で、ロボット装置１００が抽出した物体のより詳細な輪郭についてユーザーの確認が終了すると（Ｓ５１０８）、通信部４１１を介して把持物体の把持動作の実行を指示する。

ロボット装置１００側では、通信部４１２で実行指示を受信すると、把持計画部４２６は、撮像部４２３のカメラ座標系と世界座標系の関係に基づいて、抽出した輪郭から把持物体の位置と姿勢を推定する（Ｓ５２０３）。但し、把持物体の位置と姿勢を推定する処理の詳細については、後述に譲る。

次いで、把持計画部４２４は、Ｓ５２０３で推定した把持物体の位置と姿勢から、把持物体を把持するときの把持部４２８の姿勢を決定する（Ｓ５２０４）。なお、把持物体を把持するときの把持部４２６の姿勢を決定する方法は任意である。例えば、本出願人に既に譲渡されている特願２０１１−２６２２０２号明細書に開示されている方法を適用することもできる。

そして、把持制御部４２７は、把持計画部４２６で計画した軌道に従って把持部４２６の動作を制御して、物体の把持を実現する（Ｓ５２０５）。なお、決定された把持姿勢に従って把持部４２８の動作を制御する方法は任意である。例えば、本出願人に既に譲渡されている特願２０１１−２６２２０２号明細書に開示されている方法を適用することもできる。

他方、ロボット装置１００側で抽出した物体の輪郭に問題があり、図８Ｂに示したダイアログ上でユーザーが「いいえ」を選択した場合、その後の処理として２通りの方法が考えられる。１つは、教示端末２００がＳ５１０３の処理まで戻り、物体を囲む大まかな範囲の教示をやり直す方法である。もう１つは、１回目の教示情報を活用して、ユーザーが２回目の教示を行なう方法である。

後者の方法では、ユーザーは、２回目の教示として、ロボット装置１００側で複数の物体を含んで抽出してしまった輪郭に対し、物体の境界線を指定する。図９には、把持物体であるペンと、その傍らにある消しゴムを誤って含んで抽出した輪郭を示している。このような場合、図１０に示すように、複数の物体を含む輪郭に対して、把持物体であるペンと、その他の物体とを区切る境界線を教示する。

図５Ｂには、教示端末２００側のＳ５１０８の処理で、１回目の教示に基づいて抽出した物体の輪郭についてユーザーの確認が得られなかった以降の通信シーケンス例を示している。

教示端末２００は、Ｓ５１０８の処理でユーザーの確認が得られないと、再びユーザーから入力部４１４への入力待ちとなる（Ｓ５１１１）。

ユーザーは、ロボット装置１００側で抽出した把持物体の輪郭に対して、入力部４１４を介して、物体の境界線を教示する。すなわち、図１０に示したように、複数の物体を含む輪郭に対して、把持物体であるペンと、その他の物体とを区切るような境界線を指でなぞる（Ｓ５１１２）。

入力部４１４への物体の境界線を示す教示情報の入力が完了すると（Ｓ５１１３）、教示端末２００は、この教示情報を、通信部４１１を介してロボット装置１００へ転送する。そして、ロボット装置１００側では、物体抽出部４２２は、教示された境界線の左右でそれぞれ物体の輪郭を再抽出し、左右の物体の輪郭情報を撮像画像とともに教示端末２００にフィードバックする（５２１１）。

教示端末２００側では、再度送られてきた各物体の輪郭を、出力部４１３で画面表示する（Ｓ５１１４）。図１１Ａには、撮像画像の表示画面上に、把持物体であるペンとその傍らの消しゴムが分割された輪郭を重畳して表示している様子を示している。

そして、いずれの物体を把持するのか、ユーザーが確認するまで待機する（Ｓ５１１５）。ユーザーは、把持部４２６が各物体の輪郭を再表示した画面上で、把持したい物体を選択する（Ｓ５１１６）。すると、図１１Ｂに示すように、選択した物体の未輪郭を残して（図示の例では、選択したペンの輪郭のみが残り、消しゴムの輪郭は消える）、ロボット装置１００による把持動作を確認若しくは許可したか否かを意思表示するためのダイアログが表示される。図示のダイアログでは、「把持しますか？」というメッセージとともに、「はい」、「いいえ」の各ボタンが表示されている。このダイアログ上でユーザーが「はい」を選択するなど、教示端末２００側で、ロボット装置１００が抽出した物体のより詳細な輪郭についてユーザーの確認が終了すると（Ｓ５１１７）、通信部４１１を介して把持物体の把持動作の実行を指示する。

ロボット装置１００側では、通信部４１２で実行指示を受信すると、把持計画部４２６は、撮像部４２３のカメラ座標系と世界座標系の関係に基づいて、抽出した輪郭から把持物体の位置と姿勢を推定する（Ｓ５２１２）。但し、把持物体の位置と姿勢を推定する処理の詳細については、後述に譲る。

その後、把持計画部４２４は、Ｓ５２０３で推定した把持物体の位置と姿勢から、把持物体を把持するときの把持部４２８の姿勢を決定し（Ｓ５２０４）、把持制御部４２７は、把持計画部４２６で計画した軌道に従って把持部４２６の動作を制御して、物体の把持を実現する（Ｓ５２０５）（同上）。

最後に、上記のＳ５２０３、Ｓ５２１２において、撮像画像上で教示された輪郭から把持物体の位置と姿勢を推定する処理について、図１２を参照しながら説明する。但し、世界座標系とカメラ座標系との間の座標変換式は既知のものとする。

同図に示すように、世界座標系を（Ｘ^W，Ｙ^W，Ｚ^W）、カメラ座標系を（Ｘ^C，Ｙ^C，Ｚ^C）とする。撮像画像上の輪郭は、画像平面、すなわち、カメラ座標系の原点Ｃから焦点距離ｆの距離にある平面Ｚ^C＝ｆ上の点群Ａ^C（Ｘ_A ^C，Ｙ_A ^C，Ｚ_A ^C）とみなすことができる。

これら画像平面上の点群Ａ^Cに対し、原点Ｃを通る直線の方程式を求める。そして、世界座標系において、各直線方程式が把持物体と交わる点群Ａ^W（Ｘ_A ^W，Ｙ_A ^W，Ｚ_A ^W）を求めると、これらが把持物体の世界座標系上の輪郭となるので、これらが把持物体の位置と姿勢を表すことになる。

上述したように、本実施形態によれば、ロボット装置１００は、ユーザーからの把持物体を囲む大まかな領域の教示に基づいて、事前登録なしに、多様な物体を把持することが可能となる。特に、自律的な認識が難しい微細物や薄い物体を、ユーザーの少ない教示回数に基づいて環境の中から認識して、好適に把持動作を行なうことができるようになる。

ユーザーは、教示端末２００上で物体の大まかな輪郭を教示するという簡単な操作だけで、ロボット装置１００に対して把持物体を教示することができ、誰もが素早く簡単に教示操作を行なうことができる。

また、本実施形態では、把持物体を囲む大まかな領域の教示だけでは認識することが難しい把持物体であっても、ユーザーは、複数の物体を含む輪郭を誤認識された結果に対して、物体間の境界を教示することで、ロボット装置１００に把持物体を認識させることができる。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）物体を含んだ画像を画面に表示する出力部と、前記画像内で物体の大まかな範囲に関する情報をユーザーが教示する操作を受け付ける入力部と、前記入力部における教示内容に基づいて、前記物体の２次元輪郭情報を抽出する物体抽出部と、前記２次元輪郭情報に基づいて前記物体の３次元位置及び姿勢情報を推定する位置姿勢推定部と、を具備するロボット装置。
（２）撮像部をさらに備え、前記出力部は、前記撮像部による撮像画像を前記画面に表示する、上記（１）に記載のロボット装置。
（３）把持部と、推定した前記物体の３次元位置及び姿勢情報に基づいて、前記物体を把持するための前記把持部の軌道を計画する把持計画部と、前記計画した軌道に従って前記把持部による前記物体の把持動作を制御する把持制御部と、をさらに備える上記（１）に記載のロボット装置。
（４）前記出力部及び前記入力部を含む端末部は、前記把持部を含む前記ロボット装置本体と無線通信を行なう、上記（１）に記載のロボット装置。
（５）前記入力部は、前記出力部の画面と一体のタッチパネルであり、ユーザーは、前記タッチパネル上を触れて前記物体を囲む大まかな範囲の教示を行なう、上記（１）に記載のロボット装置。
（６）ユーザーは、前記タッチパネルに表示された前記撮像画像上で前記物体を囲む領域をなぞって、前記教示を行なう、上記（５）に記載のロボット装置。
（７）ユーザーは、前記タッチパネルに表示された前記撮像画像上で、前記物体を囲む範囲のほぼ中央をタッチして指示するとともに、タッチ時間により前記範囲の半径を与えて、前記教示を行なう、上記（５）に記載のロボット装置。
（８）ユーザーは、前記タッチパネルに表示された前記撮像画像上で前記物体を囲む矩形領域の対角線をなぞって、前記教示を行なう、上記（５）に記載のロボット装置。
（９）前記物体抽出部で抽出した前記物体の前記２次元輪郭情報を前記出力部で画面に表示し、前記入力部を介して前記２次元輪郭情報に対するユーザーの確認を得たことに応じて、前記物体の把持動作を実行する、上記（１）に記載のロボット装置。
（１０）前記２次元輪郭情報に対するユーザーの確認が得られなかった場合に、前記入力部でユーザーからの２回目の教示を受け付け、前記物体抽出部は、前記２回目教示内容に基づいて、前記物体の２次元輪郭情報の抽出を再度試みる、上記（９）に記載のロボット装置。
（１１）前記入力部は、前記２回目の教示として、前記物体の大まかな範囲に関する情報を再度受け付ける、上記（１０）に記載のロボット装置。
（１２）前記入力部は、前記２回目の教示として、１回目に教示された前記物体の大まかな範囲に対する追加の教示を受け付ける、上記（１０）に記載のロボット装置。
（１３）前記入力部は、前記２回目の教示として、１回目に教示された前記物体の大まかな範囲に含まれる複数の物体間の境界線の教示を受け付け、前記物体抽出部は前記境界線の両側からそれぞれ物体の２次元輪郭情報を抽出し、抽出した各物体の前記２次元輪郭情報を前記出力部で画面に表示し、
前記入力部を介して前記２次元輪郭情報に対するユーザーの把持物体の選択及び確認を得たことに応じて、前記物体の把持動作を実行する、上記（１０）に記載のロボット装置。
（１４）物体を含んだ画像を画面に表示する出力ステップと、前記画像内で物体の大まかな範囲に関する情報をユーザーが教示する操作を受け付ける入力ステップと、前記入力ステップで受け付けた教示内容に基づいて、前記物体の２次元輪郭情報を抽出する物体抽出ステップと、前記２次元輪郭情報に基づいて前記物体の３次元位置及び姿勢情報を推定する位置姿勢推定ステップと、を有するロボット装置の制御方法。
（１５）物体を含んだ画像を画面に表示する出力部、前記画像内で物体の大まかな範囲に関する情報をユーザーが教示する操作を受け付ける入力部、前記入力部における教示内容に基づいて、前記物体の２次元輪郭情報を抽出する物体抽出部、前記２次元輪郭情報に基づいて前記物体の３次元位置及び姿勢情報を推定する位置姿勢推定部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書で開示する技術は、例えば生活支援ロボットに適用して、動的に変化する生活環境下において、物体の把持及びユーザーへの受け渡し動作を好適に実現することができる。勿論、工場内に配置されるような産業用ロボットにも、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１００…ロボット装置
１０１…駆動輪
１０２…駆動輪用アクチュエーター
１０３…腰関節ピッチ軸アクチュエーター
１０４…肩関節ピッチ軸アクチュエーター
１０５…肩関節ロール軸アクチュエーター
１０６…肩関節ヨー軸アクチュエーター
１０７…肘関節ピッチ軸アクチュエーター
１０８…肘関節ヨー軸アクチュエーター
１０９…手首関節ロール軸アクチュエーター
１１０…手首関節ピッチ軸アクチュエーター
１１１…首関節ピッチ軸アクチュエーター
１１２…首関節ヨー軸アクチュエーター
１１３…手関節ロール軸アクチュエーター
１５１、１５２、１５３…劣駆動関節
２００…教示端末
３１０…制御ユニット
３１１…認識部
３１２…駆動制御部
３１３…環境マップ
３２０…入出力部
３２１…カメラ
３２２…３次元センサー
３２３…マイクロフォン
３２４…スピーカー
３２５…無線通信部
３３０…駆動部
３３１…モーター
３３２…エンコーダー
３３３…ドライバー
４１１…通信部
４１２…情報処理部
４１３…出力部
４１４…入力部
４２１…通信部
４２２…画像処理部
４２３…撮像部
４２４…３次元計測部
４２５…物体抽出部
４２６…把持計画部
４２７…把持制御部
４２８…把持部

Claims (15)

1. 物体を含んだ画像を画面に表示する出力部と、
   前記画像内で物体の大まかな範囲に関する情報をユーザーが教示する操作を受け付ける入力部と、
   前記入力部における教示内容に基づいて、前記物体の２次元輪郭情報を抽出する物体抽出部と、
   前記２次元輪郭情報に基づいて前記物体の３次元位置及び姿勢情報を推定する位置姿勢推定部と、
   を具備するロボット装置。
2. 撮像部をさらに備え、
   前記出力部は、前記撮像部による撮像画像を前記画面に表示する、
   請求項１に記載のロボット装置。
3. 把持部と、
   推定した前記物体の３次元位置及び姿勢情報に基づいて、前記物体を把持するための前記把持部の軌道を計画する把持計画部と、
   前記計画した軌道に従って前記把持部による前記物体の把持動作を制御する把持制御部と、
   をさらに備える請求項１に記載のロボット装置。
4. 前記出力部及び前記入力部を含む端末部は、前記把持部を含む前記ロボット装置本体と無線通信を行なう、
   請求項１に記載のロボット装置。
5. 前記入力部は、前記出力部の画面と一体のタッチパネルであり、
   ユーザーは、前記タッチパネル上を触れて前記物体を囲む大まかな範囲の教示を行なう、
   請求項１に記載のロボット装置。
6. ユーザーは、前記タッチパネルに表示された前記撮像画像上で前記物体を囲む領域をなぞって、前記教示を行なう、
   請求項５に記載のロボット装置。
7. ユーザーは、前記タッチパネルに表示された前記撮像画像上で、前記物体を囲む範囲のほぼ中央をタッチして指示するとともに、タッチ時間により前記範囲の半径を与えて、前記教示を行なう、
   請求項５に記載のロボット装置。
8. ユーザーは、前記タッチパネルに表示された前記撮像画像上で前記物体を囲む矩形領域の対角線をなぞって、前記教示を行なう、
   請求項５に記載のロボット装置。
9. 前記物体抽出部で抽出した前記物体の前記２次元輪郭情報を前記出力部で画面に表示し、
   前記入力部を介して前記２次元輪郭情報に対するユーザーの確認を得たことに応じて、前記物体の把持動作を実行する、
   請求項１に記載のロボット装置。
10. 前記２次元輪郭情報に対するユーザーの確認が得られなかった場合に、前記入力部でユーザーからの２回目の教示を受け付け、
    前記物体抽出部は、前記２回目教示内容に基づいて、前記物体の２次元輪郭情報の抽出を再度試みる、
    請求項９に記載のロボット装置。
11. 前記入力部は、前記２回目の教示として、前記物体の大まかな範囲に関する情報を再度受け付ける、
    請求項１０に記載のロボット装置。
12. 前記入力部は、前記２回目の教示として、１回目に教示された前記物体の大まかな範囲に対する追加の教示を受け付ける、
    請求項１０に記載のロボット装置。
13. 前記入力部は、前記２回目の教示として、１回目に教示された前記物体の大まかな範囲に含まれる複数の物体間の境界線の教示を受け付け、
    前記物体抽出部は前記境界線の両側からそれぞれ物体の２次元輪郭情報を抽出し、抽出した各物体の前記２次元輪郭情報を前記出力部で画面に表示し、
    前記入力部を介して前記２次元輪郭情報に対するユーザーの把持物体の選択及び確認を得たことに応じて、前記物体の把持動作を実行する、
    請求項１０に記載のロボット装置。
14. 物体を含んだ画像を画面に表示する出力ステップと、
    前記画像内で物体の大まかな範囲に関する情報をユーザーが教示する操作を受け付ける入力ステップと、
    前記入力ステップで受け付けた教示内容に基づいて、前記物体の２次元輪郭情報を抽出する物体抽出ステップと、
    前記２次元輪郭情報に基づいて前記物体の３次元位置及び姿勢情報を推定する位置姿勢推定ステップと、
    を有するロボット装置の制御方法。
15. 物体を含んだ画像を画面に表示する出力部、
    前記画像内で物体の大まかな範囲に関する情報をユーザーが教示する操作を受け付ける入力部、
    前記入力部における教示内容に基づいて、前記物体の２次元輪郭情報を抽出する物体抽出部、
    前記２次元輪郭情報に基づいて前記物体の３次元位置及び姿勢情報を推定する位置姿勢推定部、
    としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。