JP5221939B2 - 位置特定装置および動作指示装置並びに自走式ロボット - Google Patents

Description

本発明は、指示対象物または指示対象位置の位置特定装置および動作指示装置並びに自走式ロボットに関するものである。

日常生活で利用される自走式ロボットに対し、ユーザからの指示によって物体の搬送作業等を行わせる場合、搬送する対象物や、対象物の位置・姿勢や、搬送先を人が指示する必要がある。

これらの指示を、レーザポインタを用いて行う技術が特許文献１に開示されている。この技術は、ユーザが被搬送物や搬送位置にレーザポインタを照射し、自走式ロボットがその位置を検出することにより指示された動作を実行するものである。
特開２００６−２３１４４７号公報

しかしながら、上記技術では、レーザポインタの輝点の認識が困難な場合があり、特に、直射日光の環境下では輝点の認識精度が著しく低下するため、指示された位置を特定することができず、自走式ロボットに対して動作を正確に指示することができないという問題があった。

本発明は、上記問題を解決するためになされたもので、被搬送物等の指示対象物または搬送先等の指示対象位置の位置を特定する際の精度を向上させることができる位置特定装置および動作指示装置並びに自走式ロボットを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、作業空間である屋内における複数の対象物の画像から算出した特徴量と該対象物の位置を座標で示した位置情報とを関連付けて記憶する記憶部と、ユーザの操作によって、前記作業空間における指示対象物の方向にむけられ、該指示対象物の画像を取得する画像取得部と、該画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記記憶部に記憶された複数の前記対象物の画像から算出した特徴量との比較を行う比較部と、該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、該指示対象物特定部により特定された前記指示対象物に対応する前記対象物の位置情報を、前記指示対象物の位置情報である前記座標を前記記憶部より抽出する位置情報抽出部とを備え、特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置を採用する。

本発明によれば、記憶部に記憶された作業空間である屋内における複数の対象物の画像から算出した特徴量および該対象物の位置を座標で示した位置情報に基づいて、ユーザの操作によって指示対象物の方向にむけられた画像取得部により取得された作業空間における指示対象物が指示対象物特定部により特定され、特定された指示対象物の位置情報が位置情報抽出部により抽出される。これにより、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、画像取得部により取得された指示対象物の画像を用いて、その位置情報を得ることができ、指示対象物の位置を容易に特定することが可能となる。
ここで、画像から算出した特徴量とは、比較処理をより正確・ロバスト・高速・小メモリでおこなうために画像から抽出した画像の特徴を示す情報のことであり、例えば、輪郭形状や色等をいう。

本発明は、作業空間における複数の対象物の画像コードの情報と該対象物の位置を座標で示した位置情報とを関連付けて記憶する記憶部と、ユーザの操作によって、前記作業空間における指示対象物の方向にむけられ、該指示対象物の画像コードの情報を取得する画像コード取得部と、該画像コード取得部により取得された前記指示対象物の画像コードの情報と前記記憶部に記憶された複数の前記対象物の画像コードの情報との比較を行う比較部と、該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、該指示対象物特定部により特定された前記指示対象物に対応する前記対象物の位置情報を、前記指示対象物の位置情報である前記座標を前記記憶部より抽出する位置情報抽出部とを備え、特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置を採用する。

本発明によれば、例えば、バーコードやＱＲコード等の画像コードに基づいて指示対象物を特定することができる。これにより、例えば、外観が類似している複数の対象物を識別することができ、指示対象物を特定する際の精度を向上させることが可能となる。また、例えば、バーコードは既に多くの製品に付されており、バーコードと指示対象物を関連付けたデータベースを用いることで、指示対象物の名称等の情報を取得することも可能となる。
なお、本発明と前述の画像を用いた指示対象物の位置特定装置とを組み合わせることにより、指示対象物の特定を容易に、かつ、高い精度で行うことが可能となる。

本発明は、作業空間である屋内における複数の画像から算出した特徴量と前記作業空間を座標で示した位置情報とを関連付けて記憶する記憶部と、ユーザの操作によって、前記作業空間における指示対象物の方向にむけられ、該指示対象物の画像を取得する画像取得部と、該画像取得部により取得された前記指示対象位置の画像から算出した特徴量と前記記憶部に記憶された前記作業空間における複数の画像から算出した特徴量との比較を行う比較部と、該比較部による比較結果に基づいて前記指示対象位置を特定する指示対象位置特定部と、該指示対象位置特定部により特定された前記指示対象位置に対応する前記作業空間の位置情報を、前記指示対象位置の位置情報である前記座標として前記記憶部より抽出する位置情報抽出部とを備え、特定された前記指示対象位置の位置情報に基づいた前記指示対象位置に対する動作指示に基づいて、前記指示対象位置に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置を採用する。

本発明によれば、壁面、または床面、あるいは天井面等の作業が行われる空間の画像から算出した特徴量および位置情報に基づいて、画像取得部により取得された指示対象位置の位置情報を抽出することができる。また、作業が行われる空間の画像内における窓等の大きさや歪みから、位置特定装置自体の位置や向いている方向を推定することが可能となる。

また、上記発明において、前記画像取得部または前記画像コード取得部の撮影方向にレーザを照射するレーザ照射部を備えることとしてもよい。
このようにすることで、画像取得部または前記画像コード取得部の撮影方向に照射されたレーザの輝点をユーザが目視することができ、ユーザが意図する指示対象物または指示対象位置を確実に撮影することができる。

また、上記発明において、前記画像取得部または前記画像コード取得部が取得した画像を表示する表示部を備えることとしてもよい。
このようにすることで、画像取得部または画像コード取得部が取得した画像を、表示部にてユーザが目視することができ、ユーザが意図する指示対象物または指示対象位置を確実に撮影することができる。

また、上記発明において、前記表示部が、前記指示対象物または前記指示対象位置の候補が複数ある場合に、各前記候補を表示し、表示された各前記候補の中から前記指示対象物または前記指示対象位置の選択をユーザに促すこととしてもよい。
このようにすることで、ユーザが意図する指示対象物または指示対象位置を確実に選択することが可能となる。

また、上記発明において、前記指示対象物または前記指示対象位置までの距離を測定する距離測定部を備え、前記指示対象物特定部または前記指示対象位置特定部が、前記距離測定部により測定された距離をも用いて前記指示対象物または前記指示対象位置を特定することとしてもよい。
画像取得部または前記画像コード取得部により取得した画像だけでなく、距離測定部により測定した距離をも用いて指示対象物または指示対象位置の特定を行うことにより、大きさの異なる指示対象物または指示対象位置を識別することが可能となる。

本発明は、上記の位置特定装置により特定された前記指示対象物または前記指示対象位置の位置情報に基づいて、前記指示対象物または前記指示対象位置に対する動作指示を行う動作指示部を備える動作指示装置を採用する。

本発明によれば、指示対象物または指示対象位置の名称が明確でない場合や、指示対象物または指示対象位置を言語で表現することが困難な場合においても、指示対象物または指示対象位置に対する動作指示を容易に行うことが可能となる。

本発明は、上記の動作指示装置による指示に基づいて前記指示対象物または前記指示対象位置に対する動作を実行する自走式ロボットを採用する。

本発明によれば、指示対象物または指示対象位置の名称が明確でない場合や、指示対象物または指示対象位置を言語で表現することが困難な場合においても、指示対象物または指示対象位置に対する動作を実行することが可能となる。

本発明によれば、被搬送物等の指示対象物または搬送先等の指示対象位置の位置を特定する際の精度を向上させることができるという効果を奏する。

［第１の実施形態］
以下に、本発明に係る位置特定装置、動作指示装置、および自走式ロボット（以下「ロボット」という。）を具備するロボットシステムの第１の実施形態について、図面を参照して説明する。
図１に示すように、本実施形態に係るロボットシステム１００は、ロボット１と、ロボット１に対して動作を指示する動作指示装置５０とを備えている。

動作指示装置５０は、指示対象物の画像を取得する画像取得部５１と、ロボット１に対して動作指示を行う動作指示部５２とを備えている。画像取得部５１は、例えば、レンズおよびＣＣＤを備えるカメラである。
ロボット１は、動作指示装置５０からの指示に基づいてロボット１を制御する制御装置４０を備えている。制御装置４０は、動作指示装置５０に備えられた画像取得部５１により取得された指示対象物の画像に基づいて、指示対象物の位置を特定するようになっている。

以下に、ロボット１の構成について図２および図３を用いて説明する。
図２は、本実施形態に係るロボットの正面図、図３は、図２に示したロボットの左側面図である。
図２および図３に示すように、ロボット本体１には、頭部２と、この頭部２を下方から支持する胸部３と、この胸部３の右側に設けられた右腕部４ａ、胸部３の左側に設けられた左腕部４ｂと、胸部３の下方に接続された腰部５と、この腰部５の下方に接続されたスカート部６と、このスカート部６の下方に接続された脚部７とが設けられている。

頭部２には、頭頂部近傍に全方位カメラ１１が一つ設けられている。この全方位カメラ１１の外周に沿って複数の赤外線ＬＥＤ１２が所定の間隔で円環上に配置されている。
頭部２の前面の中央近傍には、図１に示すように、前方を撮像するための前方カメラ１３が正面視して右側に一つ、マイクロフォン１４が正面視して左側に一つ、それぞれ設けられている。

胸部３の前面の中央近傍には、モニタ１５が一つ設けられている。このモニタ１５の上方には、人を検知するための超音波距離センサ１６が一つ設けられている。モニタ１５の下方には、電源スイッチ１７が一つ設けられている。超音波距離センサ１６の上方には、２つのスピーカ１８が左右に一つずつ設けられている。また、図３に示すように、胸部３の背面には、荷物を収納することができるランドセル部３３が設けられている。ランドセル部３３には、上部に設けたヒンジ周りに回動可能な開閉扉３３ａが設けられている。図１に示すように、胸部３の左右の肩部には、マンマシンインターフェースとして機能する肩スイッチ１９がそれぞれ一つずつ設けられている。肩スイッチ１９には、例えば、タッチセンサが採用されている。

右腕部４ａおよび左腕部４ｂには、多関節構造が採用されている。右腕部４ａ、左腕部４ｂにおいて、胸部３との接続部近傍には、体や物の挟み込みを検知して腕の動作を止めるための脇スイッチ２０がそれぞれ設けられている。図２に示すように、右腕部４ａの手のひら部分には、マンマシンインターフェースとして機能する握手スイッチ２１が内蔵されている。これら脇スイッチ２０や握手スイッチ２１には、例えば、押圧センサが採用される。

腰部５の前面の中央近傍には、人を検知するための超音波距離センサ２２が左右に一つずつ設けられている。これら超音波距離センサ２２の下方には、複数の赤外センサ２３が配列されたセンサ領域２４が設けられている。これら赤外線センサ２２は、ロボット本体１の下方前方にある障害物等を検出するためのものである。図２および図３に示すように、腰部５の下方には、前面および背面において、音源方向を検出するためのマイクロフォン２５が左右に一つずつ、計４つ設けられている。図３に示すように、腰部５の側面の左右には、本体を持ち上げるときに使用する取手部２６がそれぞれ一つずつ設けられている。取手部２６は、凹所とされており、操作者の手が挿入できるようになっている。

スカート部６の前面下方には、段差を検出するための赤外線センサ２７が、中央および左右に計３つ設けられている。図３に示すように、スカート部６の背面には、充電コネクタ２８が設けられている。

図２に示すように、脚部７の前面には、側方の距離を検出するための赤外線センサ２９が左右に一つずつ設けられている。これら赤外線センサ２９は、主に段差検出に用いられるものである。
図３に示すように、脚部７の背面には、充電ステーションにロボット本体１を位置固定するためのフック３０が設けられている。脚部７は、走行用車輪３１および４つのボールキャスタ３２を備えた台車とされている。
上述したロボットにおいて、胸部３の超音波距離センサ１６、腰部５の超音波距離センサ２２およびマイクロフォン２５は、ロボット周辺にいる人物を検知する人検知センサ３４として機能する。

このようなロボットは、ロボット本体１に内蔵されたバッテリからの電源供給により、作業空間を自立的に移動することが可能な構成を備えており、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でロボットの所有者や操作者などのユーザの生活を補助・支援・介護するための各種サービスを提供するために用いられる。そのため、ロボットは、ユーザとの会話を実現させる会話機能のほか、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。

このような機能は、例えば、ロボット本体１の内部に内蔵されたマイクロコンピュータ等からなる制御装置４０により実現されるものである。制御装置４０には、図２および図３に示した各種カメラや各種センサ等が接続されており、カメラからの画像情報やセンサからのセンサ検出情報を取得し、これらの情報に基づいて各種プログラムを実行することにより、上述した各種機能を実現させる。また、制御装置４０は、動作指示装置５０からの信号を取得し、該信号に基づいて指示対象物の位置特定を行う。以下では、この指示対象物の位置特定が、位置特定装置１０１により行われるとして説明する。

図４に、位置特定装置１０１が備える機能を展開して表した機能ブロック図を示す。
図４に示すように、位置特定装置１０１は、画像および位置情報を記憶する記憶部１２１と、指示対象物の画像を取得する画像取得部５１と、複数の画像の比較を行う比較部１２２と、指示対象物を特定する指示対象物特定部１２３と、指示対象物の位置情報を抽出する位置情報抽出部１２４とを備えている。

記憶部１２１は、予め撮影した複数の対象物の画像から算出した特徴量と、該対象物の位置情報とを関連付けて記憶するようになっている。ここで、画像から算出した特徴量とは、比較処理をより正確・ロバスト・高速・小メモリでおこなうために、画像から抽出した画像の特徴を示す情報のことであり、例えば、輪郭形状や色等をいう。
画像取得部５１は、ユーザの操作によって指示対象物の画像を取得し、取得した指示対象物の画像から算出した特徴量を比較部１２２に出力するようになっている。

比較部１２２は、記憶部１２１に記憶された複数の対象物の画像から算出した特徴量を読み出し、読み出した複数の対象物の画像から算出した特徴量と画像取得部５１により取得された指示対象物の画像から算出した特徴量との比較を行い、比較結果を指示対象物特定部１２３に出力するようになっている。なお、比較に際しては、比較対象の画像の大きさや角度や歪みが異なっていても、例えば、US Patent 6,711,293, David G. Lowe,“Object recognition from local scale-invariant features,” International Conference on Computer Vision, Corfu, Greece (September 1999), pp.1150-1157.に示される公知の方法により、画像同士の類似度を算出することが可能である。

指示対象物特定部１２３は、比較部１２２による比較結果に基づいて指示対象物に最も一致する対象物を指示対象物として特定し、特定した結果を位置情報抽出部に出力するようになっている。

位置情報抽出部１２４は、指示対象物特定部１２３により特定された指示対象物に対応する対象物の位置情報を記憶部１２１より読み出し、読み出した対象物の位置情報を指示対象物の位置情報として動作指示部５２に出力するようになっている。
動作指示部５２は、位置情報抽出部１２４により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。

このように構成された位置特定装置１０１の作用について、主に図５を用いて以下に説明する。
記憶部１２１には予め対象物Ａの画像Ｐ_Ａから算出した特徴量および対象物Ｂの画像Ｐ_Ｂから算出した特徴量が、それぞれの位置情報と関連付けられて記憶されている。

ここで、ユーザが指示対象物として対象物Ｂを選択した場合、ユーザの操作によって画像取得部５１により指示対象物の画像Ｑ_Ｂが取得される。
次に、比較部１２２により、画像取得部５１により取得された指示対象物の画像Ｑ_Ｂから算出した特徴量と記憶部１２１から読み出した対象物Ａの画像Ｐ_Ａから算出した特徴量および対象物Ｂの画像Ｐ_Ｂから算出した特徴量との比較が行われる。

次に、比較部１２２による比較結果に基づいて、指示対象物特定部１２３により画像Ｑ_Ｂに最も一致する画像として画像Ｐ_Ｂが選択され、画像Ｐ_Ｂに対応する対象物Ｂが指示対象物として特定される。

次に、位置情報抽出部により、指示対象物として特定された対象物Ｂの画像Ｐ_Ｂから算出した特徴量に関連付けられた位置情報、すなわち、図５においてテーブルの中央部の座標が、記憶部１２１より読み出される。

このように記憶部１２１より読み出された対象物Ｂの位置情報が、指示対象物の位置情報として抽出され、動作指示部５２によりロボット本体１に対して搬送指示等の動作指示が行われる。

以上説明したように、本実施形態に係る位置特定装置１０１によれば、記憶部１２１に記憶された複数の対象物の画像から算出した特徴量および位置情報に基づいて、画像取得部５１により取得された指示対象物が指示対象物特定部１２３により特定され、特定された指示対象物の位置情報が位置情報抽出部１２４により抽出される。これにより、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、画像取得部５１により取得された指示対象物の画像を用いて、その位置情報を得ることができ、指示対象物の位置を容易に特定することが可能となる。

なお、本実施形態の第１の変形例として、図６に示すように、画像取得部５１に代えてバーコードやＱＲコード等の画像コードの情報を取得する画像コード取得部５４を設け、記憶部１２１には対象物の画像に代えて画像コードの情報を記憶させることとしてもよい。

このようにすることで、例えば、外観が類似している複数の対象物を識別することができ、指示対象物を特定する際の精度を向上させることが可能となる。また、例えば、バーコードは既に多くの製品に付されており、バーコードと指示対象物を関連付けたデータベースを用いることで、指示対象物の名称等の情報を取得することも可能となる。
また、画像取得部５１と画像コード取得部５４とを併用することで、指示対象物の特定を容易に、かつ、高い精度で行うことが可能となる。

また、本実施形態の第２の変形例として、図７に示すように、画像取得部５１の撮影方向にレーザを照射するレーザ照射部５５を備えてもよい。ここで、レーザ照射部５５は、例えば、レーザポインタである。
このようにすることで、画像取得部５１の撮影方向に照射されたレーザの輝点をユーザが目視することができ、ユーザが意図する指示対象物を確実に撮影することができる。

また、本実施形態の第３の変形例として、図８に示すように、指示対象物までの距離を測定する距離測定部５６を備え、指示対象位置特定部１２３が、距離測定部５６により測定された距離をも用いて指示対象物を特定することとしてもよい。ここで、距離測定部５６は、例えば、レーザ測距機である。
画像取得部５１により取得した画像だけでなく、距離測定部５６により測定した距離をも用いて指示対象物の特定を行うことにより、大きさの異なる指示対象物を識別することが可能となる。

また、本実施形態の第４の変形例として、図９に示すように、画像取得部５１が取得した画像を表示する表示部５７を備えてもよい。ここで、表示部５７は、例えば、ＣＲＴ（cathode-ray tube）やＬＣＤ（liquid Crystal Display）等のモニタである。
このようにすることで、画像取得部５１が取得した画像を、表示部５７にてユーザが目視することができ、ユーザが意図する指示対象物を確実に撮影することができる。

また、本実施形態の第５の変形例として、図１０に示すように、指示対象物の候補が複数ある場合に、各候補を表示部５７に表示し、表示された各候補の中から指示対象物の選択をユーザに促すこととしてもよい。
このようにすることで、ユーザが意図する指示対象物を確実に選択することが可能となる。なお、各候補の表示を表示部５７ではなく、動作指示装置６０とは別に設けられたタッチパネル５８に行うこととしてもよい。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図１１から図１５を用いて説明する。
本実施形態のロボットシステムが第１の実施形態と異なる点は、映写装置により位置に応じて異なるパターンを有する映像パターンを投影し、該映像パターンに基づいて指示対象物の位置情報を抽出する点である。以下、本実施形態のロボットシステムについて、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図１１に示すように、本実施形態に係るロボットシステム２００は、ロボット１と、ロボット１に対して動作を指示する動作指示装置６０と、位置に応じて異なるパターンを有する映像パターンを投影する映写装置６３とを備えている。
ここでは、位置に応じて異なるパターンを有する映像パターンとして、例えば、図１２に示すアノトパターン（登録商標）を用いることとして説明する。アノトパターン（登録商標）は、格子状の線分上に複数のドットが配置され、該ドットの配置が位置に応じて異なるパターンである。

映写装置６３は、例えば、人には不可視な近赤外線を映写する映写装置であり、画像取得部６１は、例えば、近赤外線の光を取得可能な近赤外線カメラである。これにより、映写装置６３により投影される画像パターンを人に認識させることなく、画像取得部６１により取得させることが可能となる。

上記構成を有するロボットシステム２００において、映写装置６３により指示対象物に投影された映像パターンを画像取得部６１により取得し、取得した映像パターンに基づいて制御装置４０により指示対象物の位置特定が行われる。以下では、この指示対象物の位置特定が、位置特定装置１０３により行われるとして説明する。

図１３に、位置特定装置１０３が備える機能を展開して表した機能ブロック図を示す。
図１３に示すように、位置特定装置１０３は、指示対象物に投影されたパターンを取得する画像取得部６１と、指示対象物の位置情報を抽出する位置情報抽出部１３４とを備えている。

画像取得部６１は、ユーザの操作によって、映写部６３により指示対象物に投影された映像パターンを取得し、取得した映像パターンを位置情報抽出部１３４に出力するようになっている。

位置情報抽出部１３４は、画像取得部６１により取得された映像パターンから指示対象物の位置情報を抽出し、抽出した指示対象物の位置情報を動作指示部６２に出力するようになっている。
動作指示部６２は、位置情報抽出部１３４により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。

このように構成された位置特定装置１０２の作用について、主に図１４を用いて以下に説明する。
映写装置６３より、例えば、アノトパターン（登録商標）の映像パターンが、指示対象物を含む所定の領域に投影されている。
ここで、ユーザが指示対象物として対象物Ｂを選択した場合、ユーザの操作によって画像取得部６１により対象物Ｂに投影された映像パターンの画像Ｒ_Ｂが取得される。

次に、位置情報抽出部１３４により、対象物Ｂに投影された映像パターンの画像Ｒ_Ｂの位置情報、すなわち、図１４においてテーブルの中央部の座標が抽出される。

このように指示対象物の位置情報が抽出され、動作指示部６２によりロボット本体１に対して搬送指示等の動作指示が行われる。
なお、第１の実施形態と同様に、複数の対象物の画像から算出した特徴量を画像ＤＢに記憶させ、画像取得部６１が映像パターンだけでなく対象物の画像をも取得することにより、指示対象物自体を特定することも可能となる。

以上説明したように、本実施形態に係る位置特定装置１０３によれば、画像取得部６１により指示対象物に投影されたパターンを取得し、該パターンに基づいて指示対象物の位置情報を位置情報抽出部１３４により抽出することができる。これにより、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置情報を抽出することが可能となる。

なお、本実施形態の変形例として、図１５に示すように、映写装置６３が位置に応じて色が異なる映像パターンを投影し、画像取得部６１が該パターンを取得することとしてもよい。
このようにすることで、指示対象物に投影された色パターンに基づいて、指示対象物の位置情報を抽出することができる。

〔第３の実施形態〕
次に、本発明の第３の実施形態について、図１６および図１７を用いて説明する。
本実施形態のロボットシステムが前述の各実施形態と異なる点は、作業が行われる空間の画像に基づいて指示対象位置の位置情報を抽出する点である。以下、本実施形態のロボットシステムについて、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図１６に、指示対象位置の位置特定装置１０４が備える機能を展開して表した機能ブロック図を示す。
図１６に示すように、位置特定装置１０４は、画像から算出した特徴量および位置情報を記憶する記憶部１２１と、指示対象位置の画像を取得する画像取得部５１と、複数の画像から算出した特徴量の比較を行う比較部１２２と、指示対象位置を特定する指示対象位置特定部１３３と、指示対象位置の位置情報を抽出する位置情報抽出部１２４とを備えている。

記憶部１２１は、壁、天井、床面等の作業が行われる空間の画像から算出した特徴量と、該空間の位置情報とを関連付けて記憶するようになっている。
画像取得部５１は、ユーザの操作によって指示対象位置の画像を取得し、取得した指示対象位置の画像から算出した特徴量を比較部１２２に出力するようになっている。

比較部１２２は、記憶部１２１に記憶された作業が行われる空間の画像から算出した特徴量を読み出し、読み出した空間の画像から算出した特徴量と画像取得部５１により取得された指示対象位置の画像から算出した特徴量との比較を行い、比較結果を指示対象位置特定部１３３に出力するようになっている。
指示対象位置特定部１３３は、比較部１２２による比較結果に基づいて指示対象位置に最も一致する空間を指示対象位置として特定し、特定した結果を位置情報抽出部に出力するようになっている。

位置情報抽出部１２４は、指示対象位置特定部１３３により特定された指示対象位置に対応する空間の位置情報を記憶部１２１より読み出し、読み出した空間の位置情報を指示対象位置の位置情報として動作指示部５２に出力するようになっている。
動作指示部５２は、位置情報抽出部１２４により抽出された指示対象位置の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。

このように構成された位置特定装置１０４の作用について、主に図１７を用いて以下に説明する。
図１７（ａ）に示すように、記憶部１２１には作業が行われる空間の壁面Ａの画像Ｓ_Ａから算出した特徴量、壁面Ｂの画像Ｓ_Ｂから算出した特徴量、および壁面Ｃの画像Ｓ_Ｃから算出した特徴量が、それぞれの位置情報と関連付けられて記憶されている。

ここで、図１７（ｂ）に示すように、ユーザが指示対象位置として、壁面Ｃの領域Ｘを選択した場合、ユーザの操作によって画像取得部５１により指示対象位置の画像Ｔ_Ｘが取得される。
次に、比較部１２２により、画像取得部５１により取得された指示対象位置の画像Ｔ_Ｘから算出した特徴量と記憶部１２１から読み出した壁面Ａの画像Ｓ_Ａから算出した特徴量、壁面Ｂの画像Ｓ_Ｂから算出した特徴量、および壁面Ｃの画像Ｓ_Ｃから算出した特徴量との比較が行われる。

次に、比較部１２２による比較結果に基づいて、指示対象位置特定部１３３により画像Ｔ_Ｘに最も一致する画像として画像Ｓ_Ｃの中の領域Ｘが選択され、領域Ｘの位置が指示対象位置として特定される。
次に、位置情報抽出部１２４により、指示対象位置として特定された領域Ｘに関連付けられた位置情報、すなわち、図１７（ｂ）において壁面Ｃに配置された棚の最上段左側部の座標が、記憶部１２１より読み出される。

このように記憶部１２１より読み出された領域Ｘの位置情報が、指示対象位置の位置情報として抽出され、動作指示部５２によりロボット本体１に対して搬送指示等の動作指示が行われる。

以上説明したように、本実施形態に係る位置特定装置１０４によれば、壁面、または床面、あるいは天井面等の作業が行われる空間の画像から算出した特徴量および位置情報に基づいて、画像取得部５１により取得された指示対象位置の位置情報を抽出することができる。
また、図１７（ｃ）に示すように、作業が行われる空間の画像内における窓等の大きさや歪みから、デバイスである動作指示装置７０の位置や向いている方向を推定することが可能となる。

〔第４の実施形態〕
次に、本発明の第４の実施形態について、図１８から図２２を用いて説明する。
本実施形態のロボットシステムが前述の各実施形態と異なる点は、所定の位置に配置された複数の撮像装置により撮影された作業が行われる空間の画像に基づいて、指示対象物の位置を特定する点である。以下、本実施形態のロボットシステムについて、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図１８に示すように、本実施形態に係るロボットシステム３００は、ロボット１と、ロボット１に対して動作を指示する動作指示装置７０と、作業が行われる空間を撮影する複数の撮像装置７３とを備えている。
撮像装置７３は、例えば、作業が行われる空間の隅部の天井面に配置され、レンズおよびＣＣＤを備えるカメラである。

上記構成を有するロボットシステム３００において、指示対象物の画像を画像取得部７１により取得し、画像取得部７１により取得された指示対象物の画像および撮像装置７３により撮影された作業が行われる空間の画像に基づいて制御装置４０により指示対象物の位置特定が行われる。以下では、この指示対象物の位置特定が、位置特定装置１０５により行われるとして説明する。

図１９に、指示対象物の位置特定装置１０５が備える機能を展開して表した機能ブロック図を示す。
図１９に示すように、位置特定装置１０５は、指示対象物の画像を取得する画像取得部７１と、複数の画像から算出した特徴量の比較を行う比較部１２２と、指示対象物を特定する指示対象物特定部１２３と、指示対象物の位置情報を抽出する位置情報抽出部１４４とを備えている。

画像取得部７１は、ユーザの操作によって指示対象物の画像を取得し、取得した指示対象物の画像から算出した特徴量を比較部１２２に出力するようになっている。
比較部１２２は、撮像装置７３により撮影された作業が行われる空間の画像から算出した特徴量と画像取得部７１により取得された指示対象物の画像から算出した特徴量との比較を行い、比較結果を指示対象物特定部１２３に出力するようになっている。

指示対象物特定部１２３は、比較部１２２による比較結果に基づいて指示対象物に最も一致する対象物を指示対象物として特定し、特定した結果を位置情報抽出部１４４に出力するようになっている。

位置情報抽出部１４４は、撮像装置７３の位置関係と撮像装置７３により撮影された作業が行われる空間の画像内における指示対象物の位置とに基づいて、指示対象物の位置情報を抽出し、抽出した指示対象物の位置情報を動作指示部７２に出力するようになっている。
動作指示部７２は、位置情報抽出部１４４により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。

このように構成された位置特定装置１０５の作用について、主に図２０を用いて以下に説明する。
撮像装置７３（ａ）および撮像装置７３（ｂ）により、作業が行われる空間が撮影されている。撮像装置７３（ａ）により撮影された画像が画像Ｕ_Ａ、撮像装置７３（ｂ）により撮影された画像が画像Ｕ_Ｂである。

ここで、ユーザが指示対象物として対象物Ｄを選択した場合、ユーザの操作によって画像取得部７１により指示対象物の画像Ｖが取得される。
次に、比較部１２２により、画像取得部７１により取得された指示対象物の画像Ｖから算出した特徴量と、撮像装置７３（ａ）により撮影された画像Ｕ_Ａから算出した特徴量および撮像装置７３（ｂ）により撮影された画像Ｕ_Ｂから算出した特徴量との比較が行われる。

次に、比較部１２２による比較結果に基づいて、指示対象物特定部１２３により画像Ｖに一致する画像として、画像Ｕ_Ａの中の領域Ｙおよび画像Ｕ_Ｂの中の領域Ｚが選択され、領域Ｙおよび領域Ｚに対応する対象物が指示対象物として特定される。

次に、位置情報抽出部１４４により、撮像装置７３（ａ）と撮像装置７３（ｂ）との位置関係と、画像Ｕ_Ａおよび画像Ｕ_Ｂにおける指示対象物の位置とに基づいて、指示対象物の位置情報が抽出される。この際、指示対象物の位置情報は、例えば、Richard
Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision.
Cambridge University Press.
ISBN 0-521-54051-8.に示される公知のエピポーラ幾何を用いた算出方法により推定することができる。

以上説明したように、本実施形態に係る位置特定装置１０５によれば、撮像装置７３（ａ）と７３（ｂ）との位置関係と、撮像装置７３（ａ）および撮像装置７３（ｂ）により撮影された作業が行われる空間の画像とに基づいて、画像取得部７１により取得された指示対象物の位置情報が位置情報抽出部１４４により抽出される。このように、複数の撮像装置により指示対象物の位置情報を抽出することで、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置を特定することが可能となる。

なお、本実施形態の第１の変形例として、図２１に示すように、画像ＤＢに指示対象物の画像から算出した特徴量を予め登録しておき、比較部１２２が、画像取得部７１により取得された指示対象物の画像から算出した特徴量と撮像装置７３（ａ）および撮像装置７３（ｂ）により撮影された作業が行われる空間の画像から算出した特徴量とを、画像ＤＢの登録画像から算出した特徴量を介して間接比較を行い、指示対象物特定部１２３が、比較部１２２による間接比較結果に基づいて指示対象物を特定することとしてもよい。

撮像装置７３（ａ）と撮像装置７３（ｂ）と画像取得部７１とでは指示対象物を撮影する角度や位置が異なるため、各画像における指示対象物の歪み等が異なり、各画像から指示対象物を特定することが困難な場合がある。これに対し、予め画像ＤＢに登録された指示対象物の画像を介して間接比較を行うことで、指示対象物を特定する際の精度を向上させることができる。

また、本実施形態の第２の変形例として、図２２に示すように、画像ＤＢに予め登録する指示対象物の画像から算出した特徴量を、複数の角度から撮影した指示対象物の画像から算出した特徴量としてもよい。
指示対象物が立体形状を有する場合には、撮影する角度や位置によって指示対象物の見え方が異なる。これに対し、指示対象物の登録画像として、複数の角度から撮影した指示対象物の画像とすることで、指示対象物を特定する際の精度を向上させることができる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態に係るロボットシステムのハードウェア構成図である。 図１に示すロボット本体の正面図である。 図１に示すロボット本体の左側面図である。 図１に示すロボットシステムの機能ブロック図である。 図１に示すロボットシステムの作用を説明する図である。 図１に示すロボットシステムの第１の変形例の機能ブロック図である。 図１に示すロボットシステムの第２の変形例の作用を説明する図である。 図１に示すロボットシステムの第３の変形例の作用を説明する図である。 図１に示すロボットシステムの第４の変形例の作用を説明する図である。 図１に示すロボットシステムの第５の変形例の作用を説明する図である。 本発明の第２の実施形態に係るロボットシステムのハードウェア構成図である。 アノトパターン（登録商標）を説明する図である。 図１１に示すロボットシステムの機能ブロック図である。 図１１に示すロボットシステムの作用を説明する図である。 図１１に示すロボットシステムの変形例の作用を説明する図である。 本発明の第３の実施形態に係るロボットシステムの機能ブロック図である。 図１６に示すロボットシステムの作用を説明する図である。 本発明の第４の実施形態に係るロボットシステムのハードウェア構成図である。 図１８に示すロボットシステムの機能ブロック図である。 図１８に示すロボットシステムの作用を説明する図である。 図１８に示すロボットシステムの第１の変形例の作用を説明する図である。 図１８に示すロボットシステムの第２の変形例の作用を説明する図である。

符号の説明

１ ロボット本体
４０ 制御装置
５０，６０，７０ 動作指示装置
５１，６１，７１ 画像取得部
５２，６２，７２ 動作指示部
５４ 画像コード取得部
５５ レーザ照射部
５６ 距離測定部
５７ 表示部
５８ タッチパネル
６３ 映写装置
７３，７３（ａ），７２（ｂ） 撮像装置
１００，２００，３００ ロボットシステム
１０１，１０３，１０４，１０５ 位置特定装置
１２１ 記憶部
１２２ 比較部
１２３ 指示対象物特定部
１２４，１３４，１４４ 位置情報抽出部
１３３ 指示対象位置特定部

Claims (9)

1. 作業空間である屋内における複数の対象物の画像から算出した特徴量と該対象物の位置を座標で示した位置情報とを関連付けて記憶する記憶部と、
   ユーザの操作によって、前記作業空間における指示対象物の方向にむけられ、該指示対象物の画像を取得する画像取得部と、
   該画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記記憶部に記憶された複数の前記対象物の画像から算出した特徴量との比較を行う比較部と、
   該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、
   該指示対象物特定部により特定された前記指示対象物に対応する前記対象物の位置情報を、前記指示対象物の位置情報である前記座標を前記記憶部より抽出する位置情報抽出部と
   を備え、
   特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置。
2. 作業空間における複数の対象物の画像コードの情報と該対象物の位置を座標で示した位置情報とを関連付けて記憶する記憶部と、
   ユーザの操作によって、前記作業空間における指示対象物の方向にむけられ、該指示対象物の画像コードの情報を取得する画像コード取得部と、
   該画像コード取得部により取得された前記指示対象物の画像コードの情報と前記記憶部に記憶された複数の前記対象物の画像コードの情報との比較を行う比較部と、
   該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、
   該指示対象物特定部により特定された前記指示対象物に対応する前記対象物の位置情報を、前記指示対象物の位置情報である前記座標を前記記憶部より抽出する位置情報抽出部と
   を備え、
   特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置。
3. 作業空間である屋内における複数の画像から算出した特徴量と前記作業空間を座標で示した位置情報とを関連付けて記憶する記憶部と、
   ユーザの操作によって、前記作業空間における指示対象物の方向にむけられ、該指示対象物の画像を取得する画像取得部と、
   該画像取得部により取得された前記指示対象位置の画像から算出した特徴量と前記記憶部に記憶された前記作業空間における複数の画像から算出した特徴量との比較を行う比較部と、
   該比較部による比較結果に基づいて前記指示対象位置を特定する指示対象位置特定部と、
   該指示対象位置特定部により特定された前記指示対象位置に対応する前記作業空間の位置情報を、前記指示対象位置の位置情報である前記座標として前記記憶部より抽出する位置情報抽出部と
   を備え、
   特定された前記指示対象位置の位置情報に基づいた前記指示対象位置に対する動作指示に基づいて、前記指示対象位置に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置。
4. 前記画像取得部または前記画像コード取得部の撮影方向にレーザを照射するレーザ照射部を備える請求項１から請求項３のいずれかに記載の位置特定装置。
5. 前記画像取得部または前記画像コード取得部が取得した画像を表示する表示部を備える請求項１から請求項４のいずれかに記載の位置特定装置。
6. 前記表示部が、前記指示対象物または前記指示対象位置の候補が複数ある場合に、各前記候補を表示し、表示された各前記候補の中から前記指示対象物または前記指示対象位置の選択をユーザに促す請求項５に記載の位置特定装置。
7. 前記指示対象物または前記指示対象位置までの距離を測定する距離測定部を備え、
   前記指示対象物特定部または前記指示対象位置特定部が、前記距離測定部により測定された距離をも用いて前記指示対象物または前記指示対象位置を特定する請求項１から請求項６のいずれかに記載の位置特定装置。
8. 請求項１から請求項７のいずれかに記載の位置特定装置により特定された前記指示対象物または前記指示対象位置の位置情報に基づいて、前記指示対象物または前記指示対象位置に対する動作指示を行う動作指示部を備える動作指示装置。
9. 請求項８に記載の動作指示装置による指示に基づいて前記指示対象物または前記指示対象位置に対する動作を実行する自走式ロボット。

Images