JP5218479B2

JP5218479B2 - 移動体システム

Info

Publication number: JP5218479B2
Application number: JP2010133151A
Authority: JP
Inventors: 哲郎泉; 大河野
Original assignee: Yaskawa Electric Corp
Current assignee: Yaskawa Electric Corp
Priority date: 2010-06-10
Filing date: 2010-06-10
Publication date: 2013-06-26
Anticipated expiration: 2030-06-10
Also published as: EP2395408A3; CN102314689A; US20110304858A1; US8548665B2; EP2395408A2; JP2011258065A

Description

本発明は、移動体システムに関する。

生産工場等では、省力化のため製品や部材の搬送に自律走行する移動体が利用されている。このような移動体は、床に設置した反射テープ、マグネットテープなどのガイドレールに沿って走行するものが主流であった。ところが、ガイドレールを用いる場合、１）ガイドレールの設置作業が煩雑である、２）走行経路の変更が容易でない、３）ガイドレールに破損や汚れが生じやすく移動体の誘導精度が低下する、及び４）移動体の走行の自由度が制限される等の問題が生じていた。
これらの問題を解消するため、最近ではガイドレールを用いない移動体が提案され、その具体例が特許文献１、２に記載されている。
特許文献１の移動体は、走行中に、走行方向前方の所定距離内に存在する物体の位置及び形状と移動体の走行方向の関係から、走行経路通過点を求めて走行予定経路を算出する。
特許文献２の移動体は、走行経路の周囲に配置されたマーカを撮像し、記憶していたマーカの位置情報及び方向情報に基づいて移動体の位置及び姿勢を認識する。

特開２００６−２９３９７５号公報特開２００９−５２９２４号公報

本発明は、壁面と移動体の位置関係、又は撮像画像と記憶している画像の照合結果を基に移動体の進行方向を決定する移動体システムを提供することを目的とする。

前記目的に沿う本発明に係る移動体システムは、駆動車輪を有し、該駆動車輪の向きに合わせて撮像方向が変化するように外環境を撮像する撮像装置が取付けられ、予め定められた走行経路上を移動する移動体と、
前記撮像装置によって撮像する画像を、前記移動体の走行経路上で予め撮像しておいた画像と照合する画像解析手段と、
前記移動体からレーザー光を照射し、該レーザー光を反射した物体の形状が、平面視して予め設定された長さ以上の直線部を有する場合に、該物体が壁面であることを検出し、前記走行経路に沿って配置された壁面に対する前記移動体の向き、及び該壁面と該移動体の距離を検出する壁面検出手段と、
前記画像解析手段又は前記壁面検出手段からの出力によって、前記走行経路に対する前記移動体のずれ量を検知して、該移動体の、前記走行経路上を進行するための進行方向を算出する進行方向算出手段とを備え、
前記進行方向算出手段は、前記画像解析手段から、前記撮像装置によって撮像された前記画像が前記走行経路上で予め撮像しておいた前記画像と照合できないことを示す信号を受け取った場合に、前記進行方向を算出するための信号受信元を、該画像解析手段から、前記壁面検出手段に切り替える。

本発明に係る移動体システムにおいて、前記画像解析手段は、太陽光の影響から、同じ位置から撮像される画像が時間によって変化する場合に、前記信号を送信することが好ましい。

本発明に係る移動体システムにおいて、前記壁面検出手段は、前記壁面に、平面視して前記走行経路までの距離が異なる領域があることを検知したとき、該領域又は該領域の延長線上と前記移動体との平均距離を、前記壁面と該移動体の距離として導出することが好ましい。

請求項１〜３に記載の移動体システムは、画像解析手段、又は壁面検出手段からの出力によって、走行経路に対する移動体のずれ量を検知して、移動体の、走行経路上を進行するための進行方向を算出する進行方向算出手段を有するので、画像解析手段による画像の照合ができない箇所では、壁面を参照して移動体の進行方向を算出することができる。

請求項３に記載の移動体システムは、壁面検出手段が、壁面に、平面視して走行経路までの距離が異なる領域があることを検知したとき、その領域又はその領域の延長線上と移動体との平均距離を、壁面と移動体の距離として導出するので、壁面検出手段は、走行経路までの距離が異なる壁面から、移動体の進行方向を算出するために必要な壁面と移動体の距離を導出することが可能である。

（Ａ）は本発明の一実施の形態に係る移動体システムの移動体の側面図であり、（Ｂ）は同移動体システムの一部省略ブロック図である。同移動体システムの移動体の走行経路の説明図である。同移動体システムの撮像装置の撮像方向と移動体の位置との関係を示す説明図である。（Ａ）、（Ｂ）は撮像装置によって撮像された画像中の位置と撮像方向の関係を示す説明図である。（Ａ）、（Ｂ）はそれぞれ同移動体システムの壁面検出手段による壁面の検知を示す説明図である。（Ａ）、（Ｂ）はそれぞれ同移動体システムの壁面検出手段による壁面の検知を示す説明図である。

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１（Ａ）、（Ｂ）、図２に示すように、本発明の一実施の形態に係る移動体システム１０は、工場、オフィス、病院、又は商業施設等で用いられ、移動体１２を、予め定められた走行経路１１上に沿って走行させるシステムである。
移動体システム１０は、外環境を撮像する撮像装置１３が取付けられた移動体１２と、撮像装置１３によって撮像する画像を、移動体１２の走行経路１１上で予め撮像しておいた画像と照合する画像解析手段１４を有している。更に、移動体システム１０は、走行経路１１に沿って配置された壁面１５、１５ａに対する移動体１２の向き、及び壁面１５、１５ａと移動体１２の距離を検出する壁面検出手段１６を有している。以下、詳細に説明する。

図１（Ａ）、（Ｂ）、図２に示すように、走行経路１１上を走行する移動体１２は、下部一側（前側）及び下部他側（後側）に駆動車輪１７、１７ａ及び従動車輪１８、１８ａをそれぞれ備えるボディー部１９を有している。ボディー部１９には、駆動車輪１７、１７ａの角速度及び向きを制御する走行制御手段２１が搭載されている。移動体１２は、走行制御手段２１による駆動車輪１７、１７ａの制御によって、前進、後退、又は方向変換等を行うことができる。

撮像装置１３は、撮像する画像の中に移動体１２が入らないように、ボディー部１９の高い位置に配置されている。撮像装置１３は、駆動車輪１７、１７ａの向きに合わせて撮像方向が変化するように移動体１２に取付けられ、撮像装置１３はボディー部１９の進行方向の外環境を撮像する。

画像解析手段１４は、ボディー部１９に搭載され、ボディー部１９が走行経路１１を走行している際に、撮像装置１３によって撮像された複数の画像を記憶することができる。
画像解析手段１４は、撮像装置１３が撮像している現在の画像（以下、「実画像」ともいう）と、予め走行経路１１上で撮像し記憶していた複数の画像（以下、「記憶画像」ともいう）を照合（パターンマッチング）する。画像解析手段１４は、実画像中から識別可能な特徴点（形状、模様等からなる）を抽出し、この特徴点を基に、実画像と複数の記憶画像の同一性を照合する。
画像解析手段１４は、照合の結果、実画像と同一性を有すると判定した一の記憶画像を選択し、この選択した記憶画像中における特徴点の位置と実画像中における特徴点の位置を比較して、選択した記憶画像に対する実画像のずれ幅を検出する。

図３に示すように、選択された記憶画像を記憶画像２０、実画像を撮像している撮像装置１３の現在の撮像方向をＲ１、記憶画像２０と同じ画像を現在位置から撮像するための撮像装置１３の撮像方向をＲ２として、画像解析手段１４は、記憶画像２０に対する実画像のずれ幅から、Ｒ１に対するＲ２の角度（角度差）Ｒを算出する。
角度Ｒの算出方法について、以下に説明する。

図４（Ａ）、（Ｂ）に示すように、今、撮像装置１３の撮像範囲に、特徴点２２があるとすると、この特徴点２２は、実画像２３に写し出されていることになる。平面視して、実画像２３における撮像装置１３の撮像方向中心の角度位置を０度、実画像２３の左端及び右端の角度位置をそれぞれＳ度及び−Ｓ度、実画像２３の左端及び右端の水平画素位置をそれぞれ０画素及びＷ画素、特徴点２２の角度位置及び水平画素位置をそれぞれＴＨ度及びＸ画素とすると、式１が成立する。
ｔａｎ（ＴＨ）＝（１−２×Ｘ／Ｗ）×ｔａｎ（Ｓ）（式１）

式１より、特徴点２２の角度位置は、実画像２３中の特徴点２２の水平画像位置から求められることが分かる。式１は、記憶画像に対しても適用可能である。
図４（Ａ）、（Ｂ）では、角度位置の単位が”ｄｅｇ”、画素位置の単位が”ｐｉｘｅｌ”で記載されている。図４（Ｂ）に記載された縦の実線及び破線は、それぞれ角度位置及び画素位置を表している。

画像解析手段１４は、実画像２３と記憶画像２０に写し出されている同一の特徴点２２について、実画像２３における水平画素位置と、記憶画像２０における水平画素位置を検出する。画像解析手段１４は、実画像２３と記憶画像２０のそれぞれについて、式１を用いて、特徴点２２の水平画素位置から、特徴点２２の角度位置を算出し、その角度位置の差分から角度Ｒを求めることができる。

角度Ｒが０（零）度のとき、実画像２３を撮像しているボディー部１９（移動体１２）は、記憶画像２０を撮像したときのボディー部１９の位置にあることなり、ホディー部１９は、走行経路１１上を走行していることになる。
一方、図３に示すように、角度Ｒが０度でないとき、ボディー部１９は、走行経路１１上を走行していないことになる。ボディー部１９には、ボディー部１９の進行方向を導出する進行方向算出手段２４が搭載されている。進行方向算出手段２４は、角度Ｒの値を参照して、ボディー部１９が走行経路１１上を走行しているか否かを検知する。

角度Ｒが０度でないとき、走行経路１１に対する撮像装置１３の位置及び撮像方向は、角度Ｒの値のみから特定することができず、これは、走行経路１１に対するボディー部１９の位置及び進行方向も同様である。従って、進行方向算出手段２４は、ボディー部１９の進行方向を算出するために、走行経路１１に対するボディー部１９の位置及び進行方向を用いることはできない。

一方で、ボディー部１９は、角度Ｒが０度のとき、走行経路１１上を走行することになるので、ボディー部１９は、角度Ｒを０度にする向きに進行方向が制御されれば、走行経路１１上を移動するようになることが分かる。
進行方向算出手段２４は、角度Ｒのみを参照し、角度Ｒが角度０以外の値のとき、その角度Ｒを走行経路１１に対するボディー部１９のずれ量として検知する。進行方向算出手段２４は、角度Ｒのずれ量を検知したとき、角度Ｒが角度０になるボディー部１９の進行方向を算出し、この算出した値を走行制御手段２１に送信する。走行制御手段２１は、進行方向算出手段２４によって算出された進行方向に沿ってボディー部１９が走行するように、駆動車輪１７、１７ａを制御する。

進行方向算出手段２４は、壁面１５、１５ａ（図２参照）に対するホディー部１９の進行方向及び壁面１５、１５ａとボディー部１９の距離を基に、走行経路１１に対するボディー部１９のずれ量を検知することもできる。これは、移動体システム１０に設けられた壁面１５、１５ａが走行経路１１と間隔を有し、走行経路１１に沿って配置されているためである。
図１（Ａ）、（Ｂ）に示すように、ボディー部１９には、壁面検出手段１６が設けられている。壁面検出手段１６は、ボディー部１９から予め設定された距離内にある物体を検出する距離センサー２５と、距離センサー２５の出力から壁面１５（壁面１５ａについても同じ）の存在を検知するスキャニング解析部２６とを有している。

距離センサー２５は、図５（Ａ）、（Ｂ）に示すように、平面視して、予め定められた角度範囲（角度ε）内において、予め設定された角度間隔でレーザー光を照射する。距離センサー２５は、ボディー部１９から一定距離内にある物体によって反射されたレーザー光（以下、「反射レーザー光」ともいう）を受信する。距離センサー２５は、受信する反射レーザー光から、レーザー光を反射した物体の、距離センサー２５に対する位置を求め、更に、最小二乗法によってその物体の形状を求める。図５（Ｂ）に描かれた複数の点は、レーザー光の反射箇所を示している。

スキャニング解析部２６は、レーザー光を反射した物体の形状及び位置の情報を、距離センサー２５から取得する。スキャニング解析部２６は、その物体の形状が、平面視して予め設定された長さ以上の直線部を有するとき（即ち反射レーザー光に平面視して予め設定された長さ以上の直線部の情報があることを検出したとき）、その物体が壁面であることを検知する。
スキャニング解析部２６は、レーザー光を反射した物体の位置と形状から距離センサー２５（移動体１２）と壁面の距離Ｘ、及びその壁面１５に対するホディー部１９の進行方向の角度θを求める。

進行方向算出手段２４は、壁面１５と走行経路１１の距離Ｌを記憶している。進行方向算出手段２４は、スキャニング解析部２６から距離Ｘの情報を取得して距離Ｘと距離Ｌの差分△Ｘを求めると共に、スキャニング解析部２６から角度θの情報を取得する。進行方向算出手段２４は、走行経路１１から外れた場所を走行しているボディー部１９を壁面１５に沿って（即ち、走行経路１１上を）進行させるため、△Ｘ及び角度θが共に０になるボディー部１９の進行方向を算出する。走行制御手段２１は、ボディー部１９が進行方向算出手段２４の算出結果に従って進行するように、駆動車輪１７、１７ａを制御する。

壁面１５には、図５（Ａ）に示すように、平面視して走行経路１１との距離が一定となる直線部からなる領域と、図６（Ａ）に示すように、突出している箇所、段差のある箇所等が存在する領域がある。
図６（Ａ）、（Ｂ）に示すように、Ｗ１、Ｗ２及びＷ３は、スキャニング解析部２６が反射レーザー光の情報から壁面であると判断する部分、即ち平面視して所定長さ以上の長さを有する直線部である。図６（Ａ）にＮ１で示す領域では、壁面１５が途切れている。図６（Ａ）にＮ２及びＮ３で示す領域は、平面視して所定の長さより短い直線部からなり、スキャニング解析部２６が壁面ではないと判断する部分である。

スキャニング解析部２６は、距離センサー２５からの出力により、レーザー光の照射範囲のＷ１〜Ｗ３、Ｎ２及びＮ３に物体が存在することを検出する。スキャニング解析部２６は、Ｗ１〜Ｗ３、Ｎ２及びＮ３から、壁面であると判断した部分、即ちＷ１〜Ｗ３のみを抽出する。スキャニング解析部２６は、Ｗ１及びＷ２の各延長線上と距離センサー２５とのそれぞれの距離Ｙ１及びＹ２と、Ｗ３と距離センサー２５の距離Ｙ３を求める。

Ｙ１〜Ｙ３が同一の値でないとき、スキャニング解析部２６は、壁面１５に走行経路１１までの距離が異なる領域Ｗ１〜Ｗ３があることを検知して、Ｙ１〜Ｙ３の平均値を算出する。スキャニング解析部２６は、Ｙ１〜Ｙ３の平均値を壁面１５と距離センサー２５の距離Ｙとして導出し、進行方向算出手段２４に送信する。進行方向算出手段２４は、距離Ｙと記憶している距離Ｌの差分△Ｙを算出する。
なお、壁面１５には、図６（Ａ）に示すＷ１〜Ｗ３を含む箇所のように、走行経路１１までの距離が一定でない箇所があり、このような箇所については、走行経路１１とＷ１〜Ｗ３までの各距離の平均値から、進行方向算出手段２４に記憶される距離Ｌが算出される。

スキャニング解析部２６は、Ｗ１〜Ｗ２の位置及び形状の情報からホディー部１９の進行方向の、Ｗ１〜Ｗ３に対する角度φ１〜φ３をそれぞれ求め、角度φ１〜φ３の平均角度φを算出し、この角度φの情報を進行方向算出手段２４に送信する。
進行方向算出手段２４は、△Ｙ及び角度φが０になり、ボディー部１９が走行経路１１上を進行するように、ボディー部１９の進行を制御する。

角度φは、角度φ１〜φ３の平均角であり、角度φが０度のときでも、厳密にはボディー部１９が走行経路１１上を走行しないこともあり得る。しかしながら、角度φが０度となるようにボディー部１９の進行を制御することにより、ボディー部１９は、実質的に走行経路１１上を走行することになる。
画像解析手段１４、走行制御手段２１、進行方向算出手段２４及びスキャニング解析部２６は、例えば、マイクロコンピュータに搭載されたプログラム等からなり、そのマイクロコンピュータはボディー部１９に内蔵されている。

次に、ボディー部１９（移動体１２）が、図２に示すＡ地点、Ｂ地点、Ｃ地点及びＤ地点を結ぶ走行経路１１上を自律走行する工程について説明する。
壁面１５は走行経路１１のＡ地点〜Ｂ地点の区間に沿って、走行経路１１と間隔を有して配置され、壁面１５ａは、走行経路１１のＢ地点〜Ｄ地点の区間に沿って、走行経路１１と間隔を有して配置されている。
ボディー部１９が自律走行するための事前準備として、オペレーターは、マニュアル操作等によって、ボディー部１９を走行経路１１上を移動させながら、走行経路１１上の複数箇所で、撮像装置１３による撮像を行う。撮像装置１３によって撮像された画像は、画像解析手段１４に記憶され、事前準備が完了する。

Ａ地点〜Ｂ地点及びＣ地点〜Ｄ地点の各区間では、進行方向算出手段２４は、原則として、画像解析手段１４からの出力値からボディー部１９の進行方向を算出する。進行方向算出手段２４は、画像解析手段１４が実画像に対応する記憶画像を選択できない状態のときのみ、スキャニング解析部２６の出力値をボディー部１９の進行方向を算出するための入力として用いる。
画像解析手段１４が実画像に対応する記憶画像を選択できない状態は、例えば、太陽光の影響から、同じ位置から撮像される画像が時間によって変化すること等により生じる。

ボディー部１９が、Ａ地点〜Ｂ地点及びＣ地点〜Ｄ地点の各区間を進行している際に、画像解析手段１４が実画像に対応する記憶画像を選択できなくなった場合、画像解析手段１４は、画像の照合不可の信号を進行方向算出手段２４に送信する。進行方向算出手段２４は、画像解析手段１４から画像の照合不可の信号を受け取ったとき、ボディー部１９の進行方向を算出するための出力信号受信元をスキャニング解析部２６に切り替える。画像解析手段１４が実画像に対応する記憶画像を選択可能な状態になったとき、進行方向算出手段２４の出力信号受信元は画像解析手段１４に戻される。

Ｂ地点〜Ｃ地点の区間は、進行方向に特徴となる物体が少なく、進行方向は直線的に続く経路に沿っているため、ボディー部１９が進行しても、撮像装置１３によって撮像される画像にほとんど変化がない場所である。進行方向算出手段２４は、撮像装置１３の撮像する画像に変化が少ないため、Ｂ地点〜Ｃ地点の区間のどの地点に自身が位置するのかの判定が困難である。
そのため、進行方向算出手段２４は、Ｂ地点〜Ｃ地点の区間において、スキャニング解析部２６の出力のみを参照して壁面１５ａに沿うようにボディー部１９の進行方向を算出するよう予め設定されている。

事前準備の段階で、Ｂ地点及びＣ地点から見た外環境が撮像され、この撮像された画像が画像解析手段１４に記憶されている。壁面１５はＣ地点で途切れており、Ｃ地点到達前後で撮像装置１３の撮像する画像には大きな変化が生じる。
進行方向算出手段２４は、画像解析手段１４の実画像と記憶画像の比較によって、ボディー部１９がＢ地点又はＣ地点を通過することを検知したとき、ボディー部１９の進行方向を算出するための出力信号受信元を、画像解析手段１４から壁面検出手段１６に、又は、壁面検出手段１６から画像解析手段１４に切り替える。

以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
例えば、画像解析手段及び進行方向算出手段は、移動体に設けず、移動体とデータ通信が可能な装置に設けることができる。
例えば、実施の形態のB地点からC地点では、スキャニング解析部の出力から壁面が途切れていることを検知することで、Ｃ地点に到達したと判定する構成としてもよい。
また、移動体の前方の壁面の長さを検知して予め入力された情報と照合し、Ｃ地点に到達したと判定する構成としてもよい。

１０：移動体システム、１１：走行経路、１２：移動体、１３：撮像装置、１４：画像解析手段、１５、１５ａ：壁面、１６：壁面検出手段、１７、１７ａ：駆動車輪、１８、１８ａ：従動車輪、１９：ボディー部、２０：記憶画像、２１：走行制御手段、２２：特徴点、２３：実画像、２４：進行方向算出手段、２５：距離センサー、２６：スキャニング解析部

Claims

駆動車輪を有し、該駆動車輪の向きに合わせて撮像方向が変化するように外環境を撮像する撮像装置が取付けられ、予め定められた走行経路上を移動する移動体と、
前記撮像装置によって撮像する画像を、前記移動体の走行経路上で予め撮像しておいた画像と照合する画像解析手段と、
前記移動体からレーザー光を照射し、該レーザー光を反射した物体の形状が、平面視して予め設定された長さ以上の直線部を有する場合に、該物体が壁面であることを検出し、前記走行経路に沿って配置された壁面に対する前記移動体の向き、及び該壁面と該移動体の距離を検出する壁面検出手段と、
前記画像解析手段又は前記壁面検出手段からの出力によって、前記走行経路に対する前記移動体のずれ量を検知して、該移動体の、前記走行経路上を進行するための進行方向を算出する進行方向算出手段とを備え、
前記進行方向算出手段は、前記画像解析手段から、前記撮像装置によって撮像された前記画像が前記走行経路上で予め撮像しておいた前記画像と照合できないことを示す信号を受け取った場合に、前記進行方向を算出するための信号受信元を、該画像解析手段から、前記壁面検出手段に切り替えることを特徴とする移動体システム。
請求項１記載の移動体システムにおいて、
前記画像解析手段は、太陽光の影響から、同じ位置から撮像される画像が時間によって変化する場合に、前記信号を送信することを特徴とする移動体システム。
請求項１又は２記載の移動体システムにおいて、
前記壁面検出手段は、前記壁面に、平面視して前記走行経路までの距離が異なる領域があることを検知したとき、該領域又は該領域の延長線上と前記移動体との平均距離を、前記壁面と該移動体の距離として導出することを特徴とする移動体システム。