JP2023015634A - 情報処理装置、移動体の制御システム、情報処理方法、プログラム - Google Patents

Abstract

【課題】移動経路上に複数の障害物が存在する場合において、移動体の運行効率を向上させる。【解決手段】無人搬送車や自律移動ロボット等の移動体の移動制御を行う情報処理装置は、移動体およびその周囲環境を撮像した画像を取得する画像取得部３０１と、移動体の位置姿勢の情報を取得する位置情報取得部３０３を備える。物体解析部３０２は、所定期間において画像取得部３０１により取得された画像群に基づいて移動体の周囲環境に存在する物体の動きを解析する。制御内容決定部３０４は位置情報取得部３０３により取得された移動体の位置情報と、物体解析部３０２の解析結果に基づいて移動体の移動に係る制御内容（移動方向、移動速度、移動位置等）を決定する。【選択図】 図３

Description

本発明は、移動体の移動制御技術に関する。

工場や物流倉庫等で用いられる移動体は、製品や部品等の荷物を所定位置に搬送する装置である。例えば無人搬送車（ＡＧＶ：Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）や自律移動ロボット（ＡＭＲ：Ａｕｔｏｎｏｍｏｕｓ Ｍｏｂｉｌｅ Ｒｏｂｏｔ）がある。

特許文献１には、自律移動体の移動制御において障害物との衝突をより確実に回避するための方法が開示されている。移動経路上の障害物の検出後、移動体と障害物との干渉を避けるための移動経路が生成され、移動経路に沿って移動制御が行われる。

特開２００９－２８８９３０号公報

ところで移動体の移動経路上に存在する障害物は単一の障害物とは限らない。例えば多数の歩行者が移動経路上に存在する場合を想定する。この場合、従来の移動体の移動制御では、目的地までの経路設定や移動体の運行における効率が低下する可能性がある。
本発明の目的は、移動経路上に複数の障害物が存在する場合において、移動体の運行効率を向上させることである。

本発明の実施形態の装置は、移動体の移動制御を行う情報処理装置であって、前記移動体およびその周囲環境を撮像した撮像画像を取得する画像取得手段と、前記移動体の位置姿勢の情報を取得する位置情報取得手段と、前記画像取得手段により異なる時刻に取得された複数の画像を用いて、前記移動体の周囲環境に存在する複数の物体の動きを解析する解析手段と、前記位置情報取得手段により取得された前記移動体の位置姿勢の情報と、前記解析手段の解析結果とに基づいて前記移動体の移動に係る制御内容を決定する決定手段と、を備える。

本発明によれば、移動経路上に複数の障害物が存在する場合において、移動体の運行効率を向上させることができる。

情報処理装置のシステム全体の構成を示す図である。 情報処理装置の構成を示すブロック図である。 情報処理装置の機能構成を示すブロック図である。 第１実施例の情報処理装置の処理を示すフローチャートである。 第１実施例の物体解析の処理を示すフローチャートである。 第１実施例の制御内容の決定処理を示すフローチャートである。 第２実施例の制御内容の決定処理を示すフローチャートである。 第３実施例の表示情報の例を示す模式図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。本実施形態では、移動体である無人搬送車の制御システムの例を示す。なお、以下の実施例で示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。同一の構成要素については同じ符号を付すことで説明の重複を回避する。

［第１実施例］
本実施例では、移動体の移動経路上に複数の障害物が存在する場合において、本発明の適用例を示す。移動経路上に複数の歩行者が存在しており、目的地に向けて移動体の制御内容の決定する方法について説明する。本明細書中、歩行者群全体の流れの方向と速度を、人の移動方向と移動速度として定義する。人の移動方向および速度、密度、位置の検出処理が行われ、移動体の移動方向、移動位置、移動速度が歩行者群の流れに近似した動きになるように移動制御が行われる。

図１を参照して、システム全体の構成を説明する。図１は本実施形態のシステム全体の構成を示す模式図である。本実施形態のシステムは、コンピュータ１０１、撮像装置１０２、移動体１０３、ネットワーク１０４から構成される。コンピュータ１０１は、ネットワーク１０４を介して撮像装置１０２と移動体１０３に接続されている。ネットワーク１０４は、イーサネット（登録商標）等の有線接続または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線接続により実現可能である。ネットワーク１０４については、接続される機器に対して相互に情報の通信が可能な構成であれば、別段の限定はない。

撮像装置１０２はネットワークカメラ等である。例えば、撮像装置１０２の撮像領域が工場の敷地内である場合、撮像装置１０２は敷地内全体を俯瞰して撮像を行えるように設置される。撮像装置１０２は、コンピュータ１０１から受信した情報に基づき、敷地内全体を俯瞰して撮像を行い、取得された撮像画像の信号をコンピュータ１０１に送信する。

移動体１０３は無人搬送車であり、コンピュータ１０１から受信した情報に基づき、位置姿勢の算出および目的地の設定や目的への移動等を行う。なお、以降の説明では移動体１０３をＡＧＶ１０３と称す。

コンピュータ１０１は、撮像装置１０２から撮像画像信号を受信し、撮像画像中の物体の動きの解析処理を実行する。またコンピュータ１０１は、ＡＧＶ１０３の位置姿勢の情報を取得する。位置姿勢の情報とは、現実空間での物体の位置と向きを示す情報である。以降の説明では位置姿勢の情報を「位置情報」と呼称するが、姿勢情報も含まれる。コンピュータ１０１は取得したＡＧＶ１０３の位置情報と撮像画像の画像解析結果に基づいてＡＧＶ１０３の移動経路の設定処理や制御内容の決定処理を行う。コンピュータ１０１のソフトウェア機能の詳細については後述する。

図２を参照し、コンピュータ１０１のハードウェア構成を説明する。図２はコンピュータ１０１の構成を示すブロック図である。ＣＰＵ（中央演算処理装置）２０１は、システムバス２０８に接続された各種デバイスの制御を行う。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２は、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）のプログラムやブートプログラムを記憶する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３は、ＣＰＵ２０１の主記憶装置として使用される。外部メモリ２０４は、コンピュータ１０１が処理するプログラムを格納する。

入力部２０５はキーボードやポインティングデバイス、ロボットコントローラ等であり、ユーザからの情報等の入力処理を行う。表示部２０６は液晶ディスプレイやプロジェクタ等の表示装置を有し、ＣＰＵ２０１からの指令にしたがってコンピュータ１０１の演算結果を表示装置に出力して画面に表示する。通信インターフェイス（Ｉ／Ｆ）部２０７は、撮像装置１０２やＡＧＶ１０３との間の情報通信を行う。

図３を参照し、本実施例の情報処理装置の機能構成について説明する。図３は情報処理装置３００の機能構成と、撮像装置１０２およびＡＧＶ１０３を示すブロック図である。情報処理装置３００はコンピュータ１０１のソフトウェア機能構成に相当し、画像取得部３０１、物体解析部３０２、位置情報取得部３０３、制御内容決定部３０４から構成される。画像取得部３０１は、撮像装置１０２により撮像された所定時間にわたる撮像画像の信号を受信し、画像データを取得する。画像データや各種情報はネットワーク１０４を介して送受信が行われる。

物体解析部３０２は、画像取得部３０１により取得された撮像画像に対して、物体解析を行う。物体解析では、物体の移動方向や移動速度、物体の密度（分布密度または密集度）、物体の位置等の統計量を算出する。物体解析部３０２は算出した統計量を制御内容決定部３０４に出力する。

位置情報取得部３０３は、後述する位置情報算出部３２１で算出されたＡＧＶ１０３の位置姿勢の情報を位置情報として取得する。制御内容決定部３０４は、位置情報取得部３０３により取得されたＡＧＶ１０３の位置情報と、物体解析部３０２による解析結果である統計量に基づいて、ＡＧＶ１０３の制御内容を決定する。制御内容決定部３０４が行う処理の詳細については後述する。

撮像装置１０２は撮像部３１１、駆動制御部３１２を備える。撮像部３１１は、被写体の撮像を行って画像データを記録する。駆動制御部３１２は撮像方向および撮像画角の駆動制御を行う。具体的には、撮像部３１１のＰＴＺ制御が行われる。Ｐ、Ｔ、Ｚはそれぞれパンニング、チルティング、ズーミングの頭文字である。

ＡＧＶ１０３は位置情報算出部３２１、移動体制御部３２２を備える。位置情報算出部３２１は、撮像部３１１により取得される撮像画像信号を受信し、撮像画像からＡＧＶ１０３を検出する。位置情報算出部３２１は検出した座標値を位置情報として算出する。移動体制御部３２２は、ＡＧＶ１０３が備えるアクチュエータであるモータの制御や車輪の向きを変更するステアリング制御等を行う。

図４を参照し、本実施例にて複数の移動する物体（他のＡＧＶやＡＭＲ等）や人流に合わせてＡＧＶ１０３の移動速度および移動位置を調整する制御について説明する。図４は情報処理装置３００の処理を説明するフローチャートであり、各処理はＣＰＵ２０１が制御プログラムを実行することにより実現される。ＡＧＶ１０３の移動経路上に複数の歩行者が存在する状況を想定し、目的地に向けたＡＧＶ１０３の移動制御の内容を決定する方法について説明する。

Ｓ４０１では、システムの初期化処理が実行される。外部メモリ２０４からプログラムを読み込む処理が行われ、情報処理装置３００が動作可能な状態となる。また、Ｓ４０１で情報処理装置３００はＡＧＶ１０３の目的地の設定を行う。目的地とは、ユーザがＡＧＶ１０３を移動させたい所定の場所のことであり、現実空間の座標を（Ｘ_ＷＴ，Ｙ_ＷＴ）と表記するとき、その座標値を指定することで設定される。また、撮像画像の座標値と現実空間の座標値との対応関係を表す座標変換テーブルを読み込む処理が実行される。撮像画像の座標を（Ｘ_Ｔ，Ｙ_Ｔ）と表記する。座標変換テーブルを用いることで、撮像画像の座標値から現実空間中の対応位置への変換が可能となる。具体的には、座標変換テーブルのデータは撮像画像の座標値から現実空間中の対応位置に変換する回転行列、平行移動ベクトル、カメラの内部パラメータであるカメラの焦点距離やカメラ解像度の値から構成される。この座標変換テーブルにより、撮像画像の座標（Ｘ_Ｔ，Ｙ_Ｔ）から現実空間の座標（Ｘ_ＷＴ，Ｙ_ＷＴ）を求めることが可能となる。なお、３次元座標系では座標（Ｘ_Ｔ，Ｙ_Ｔ，Ｚ_Ｔ）および座標（Ｘ_ＷＴ，Ｙ_ＷＴ，Ｚ_ＷＴ）に拡張されるが、以下では２次元座標系での移動制御について説明する。

Ｓ４０２では画像取得部３０１により、撮像装置１０２が撮像した撮像画像のデータの取得処理が実行される。撮像画像は、例えば敷地内全体を撮像した俯瞰画像である。所定期間の画像情報として、Ｔ秒前から現在までの間に複数の画像データが取得されるものとする。ただし、所定時間であるＴ秒については任意の値を設定することが可能である。

Ｓ４０３では物体解析部３０２により、物体の解析処理が実行される。例えば、Ｓ４０２で取得された撮像画像のデータ群に基づいて、人の移動方向および移動速度、人の分布の密度、人の位置等の統計量を算出する処理が実行される。処理の詳細については図５を用いて後述する。

Ｓ４０４では位置情報取得部３０３により、ＡＧＶ１０３の位置情報の取得処理が実行される。ここで取得される情報は、現実空間での座標および向きの情報である。現実空間でのＡＧＶ１０３の座標を（Ｘ_ＷＣ，Ｙ_ＷＣ）と表記する。

Ｓ４０５では制御内容決定部３０４により、Ｓ４０３で算出された統計量とＳ４０４で取得された位置情報に基づいて、ＡＧＶ１０３の移動に係る制御内容を決定する処理が実行される。制御内容としては、ＡＧＶ１０３の移動方向、移動速度、移動位置等が決定される。処理の詳細については図６を用いて後述する。

Ｓ４０６にて終了判定処理として、情報処理装置３００はＡＧＶ１０３が目的地に到着したか否かを判定する。ＡＧＶ１０３が目的地に到着したことが判定された場合、図４に示す処理を終了し、ＡＧＶ１０３が目的地に到着していないことが判定された場合にはＳ４０２に移行して処理を続行する。

次に図５を参照して、図４のＳ４０３にて物体解析部３０２が行う処理について詳細に説明する。図５は物体解析および評価値の算出処理を説明するフローチャートである。まず、Ｓ５０１では、撮像画像を複数の小領域に分割する処理が行われる。例えば撮像画像を縦方向と横方向にそれぞれ５個ずつに区切り、２５個の矩形の小領域に分割する処理が行われる。分割された各々の小領域に対して、Ｓ５０２からＳ５０８までの処理が継続して実行される。

次にＳ５０２で物体解析部３０２は、撮像画像中の人の頭部を検出する。人の頭部を検出するためのモデルが予め用意されており、テンプレートマッチング法を適用することで人の検出が行われる。物体解析部３０２は、検出された人の頭部から撮像画像上の足元の座標位置を推定する。さらに物体解析部３０２は、撮像画像上で推定された人の足元の座標に対して、座標変換テーブルを用い、現実空間の座標を求める。

Ｓ５０３で物体解析部３０２は、Ｓ５０２で検出された人に対して、その動きを追跡する。具体的には、連続する撮像画像群（撮像画像フレーム）から、対象であるＳ５０２で検出された人の移動量を算出する処理が行われる。任意の時刻（ｔ）での対象人物の座標を（Ｘ_{Ｗ１（ｔ）}，Ｙ_{Ｗ１（ｔ）}）と表記し、時刻（ｔ）より１単位時間だけ過去の時刻（ｔ－１）での対象人物の座標を（Ｘ_{Ｗ１（ｔ－１）}，Ｙ_{Ｗ１（ｔ－１）}）と表記する。

下記の式１に示すように座標（Ｘ_{Ｗ１（ｔ）}，Ｙ_{Ｗ１（ｔ）}）と座標（Ｘ_{Ｗ１（ｔ－１）}，Ｙ_{Ｗ１（ｔ－１）}）との差分から移動量（ΔＸ_１，ΔＹ_１）が算出される。

ここで算出された移動量を、移動ベクトルと称す。物体解析部３０２はＳ５０２で検出された小領域内の人数分の人物に対して、各人の移動ベクトルを算出する。なお、移動ベクトルの算出にあたっては、Ｓ５０２で算出された現実空間の座標が用いられる。

Ｓ５０４で物体解析部３０２は、人の移動方向に対応する値を算出する。人の移動方向の値は、全体的に人の流れがどの方向であるかを示す値である。物体解析部３０２はＳ５０３で算出された移動ベクトルを追跡した人数分にわたって加算する。加算後の移動ベクトルの向きを求めることで、人の移動方向に対応する値が取得される。

Ｓ５０５で物体解析部３０２は、人の移動速度を算出する。Ｓ５０４で求めた加算後の移動ベクトルを、追跡した人数および差分時間（時刻（ｔ）と時刻（ｔ－１）との差）で除算する。これにより、平均の移動速度を算出することができる。

Ｓ５０６で物体解析部３０２は、人の密度を算出する。人の密度（分布密度）は、Ｓ５０１で分割された各小領域に含まれる人の数を、１つの小領域に該当する現実空間の面積で除算することにより算出することができる。

Ｓ５０７で物体解析部３０２は、人の位置を算出する。人の位置は、検出された人が小領域内のどの領域にいるかを示す値である。物体解析部３０２はＳ５０２で検出された人の座標を平均化し、演算結果が現実空間のどの座標かについて算出処理を行う。

Ｓ５０８で物体解析部３０２は、全ての小領域に対して統計量の算出が終了したか否かを判定する。全ての小領域に対してＳ５０２からＳ５０７の処理が完了したと判定された場合、処理を終了する。未完了の場合には、次の小領域に対して処理を行うために、Ｓ５０２の物体検出に戻って処理を継続する。

以上の処理で求められた統計量および所定の条件に基づいてＡＧＶ１０３の制御内容、つまり移動方向、移動速度、移動位置を決定する処理が実行される。図６は、図４のＳ４０５にて制御内容決定部３０４が行う処理を説明するフローチャートである。

まず、Ｓ６０１で制御内容決定部３０４は、Ｓ４０３で算出された統計量を取得する。次にＳ６０２で制御内容決定部３０４は、密度の値を評価する。密度の値は所定値（閾値）と比較される。密度の値が所定値未満であると判定された場合、Ｓ６０４に進む。一方、密度の評価値が所定値以上であると判定された場合にはＳ６０３に進む。

Ｓ６０３で制御内容決定部３０４は、移動方向の値を評価する。人の移動方向を示す値と、Ｓ４０４で取得されたＡＧＶ１０３の向きを示す値との比較処理が行われる。具体的には、人の移動方向の値に相当する移動ベクトルの向きと、ＡＧＶ１０３の向きとの間で角度差が算出される。算出された角度差が所定値（閾値）と比較され、所定値未満であると判定された場合、Ｓ６０４に進み、算出された角度差が所定値以上であると判定された場合にはＳ６０５に進む。なお、算出された角度差が閾値未満である場合には、ＡＧＶ１０３の移動方向が人の移動方向と近いことを表している。また、算出された角度差が閾値以上である場合には、ＡＧＶ１０３の移動方向が人の移動方向とは大きく異なることを表している。

Ｓ６０４で制御内容決定部３０４は、Ｓ６０２とＳ６０３での判定結果に基づいてＡＧＶ１０３の移動方向を決定する。ここでは、ＡＧＶ１０３の移動方向を変更しないことが決定され、Ｓ６０６の処理に進む。またＳ６０５で制御内容決定部３０４は、Ｓ６０２とＳ６０３での判定結果に基づき、ＡＧＶ１０３の制御内容として、一定の時間にわたって待機の制御を行うことを決定する。ＡＧＶ１０３は一定の時間だけ待機し、再び次の制御内容を決定するために、Ｓ６０１から順に各処理が行われる。

Ｓ６０６で制御内容決定部３０４は、位置を評価する。人の位置の値とＡＧＶ１０３の位置情報とが比較される。人の位置はＳ５０７で説明したように、人が小領域内のどの領域にいるかを示す値である。制御内容決定部３０４はＳ５０７と同様にＡＧＶ１０３の位置情報から該当位置が小領域内のどの領域に含まれるかの算出処理を行う。具体的には、小領域内にて２次元（左右方向および前後方向等）の位置指標で識別される領域に対応する値が算出される。算出されたＡＧＶ１０３の位置する領域が人の位置を表す領域と一致すると判定された場合、Ｓ６０８に進み、一致しないと判定された場合にはＳ６０７に進む。

Ｓ６０７で制御内容決定部３０４は、ＡＧＶ１０３の位置情報から、人の位置を表す小領域内の２次元の領域の中心位置までの最小距離を算出する。当該中心位置の座標は、撮像画像上の座標から現実空間の座標への座標変換が行われ、現実空間での最小距離が算出される。Ｓ６０７の次にＳ６０８に進む。

Ｓ６０８で制御内容決定部３０４は、Ｓ６０６とＳ６０７での結果に基づいてＡＧＶ１０３の移動位置の制御内容を決定する。ＡＧＶ１０３の位置する領域が人の位置を表す領域と一致すると判定された場合、制御内容決定部３０４は移動位置を変更しないことを決定する。またＡＧＶ１０３の位置する領域が人の位置を表す領域と一致しないと判定された場合、制御内容決定部３０４はＳ６０７で算出した最小距離にしたがって、人の位置を表す領域の方向に移動位置を制御することを決定する。

Ｓ６０９で制御内容決定部３０４は、移動速度を評価する。人の移動速度とＡＧＶ１０３の移動速度とが比較される。制御内容決定部３０４は人の移動速度とＡＧＶ１０３の移動速度との差分の絶対値を算出し、所定値（閾値）と比較する。算出された値が所定値未満であると判定された場合、Ｓ６１１に進み、所定値以上であると判定された場合にはＳ６１０に進む。

Ｓ６１０で制御内容決定部３０４は、人の移動速度とＡＧＶ１０３の移動速度から速度差を算出する。つまり人の移動速度からＡＧＶ１０３の移動速度を減算することにより、速度差が算出される。次にＳ６１１に進む。Ｓ６１１で制御内容決定部３０４は、Ｓ６０９とＳ６１０での結果に基づいて、ＡＧＶ１０３の移動速度の制御内容を決定する。Ｓ６０９で算出された値が閾値未満である場合、制御内容決定部３０４はＡＧＶ１０３の移動速度を変更せず、現状の移動速度のままとする。一方、Ｓ６０９で算出された値が閾値以上である場合、制御内容決定部３０４はＳ６１０で算出された速度差を、現状の移動速度に対して補正量として加算する。つまり、人流（歩行者群の流れ）に近づけるように移動速度が調整される。

上述したように、人流にしたがってＡＧＶ１０３の移動方向、移動速度、移動位置の制御が行われて、ＡＧＶ１０３は目的地に向けて進行する。制御内容決定部３０４が決定した制御内容に対応する信号は移動体制御部３２２に送信され、制御内容に基づいてＡＧＶ１０３の、目的地への移動制御が行われる。

図４のＳ４０６（終了判定）では、Ｓ４０１に示した目的地の座標（Ｘ_ＷＴ，Ｙ_ＷＴ）と、Ｓ４０４で取得されたＡＧＶ１０３の位置情報（Ｘ_ＷＣ，Ｙ_ＷＣ）との比較により、ＡＧＶ１０３が目的地に到着したか否かについて判定される。具体的には、下記の式２に示すようにＸ座標およびＹ座標の差分が算出され、差分の絶対値が所定閾値以下である場合、ＡＧＶ１０３が目的地に到着したと判定される。Ｘ座標およびＹ座標の差分が所定閾値より大きい場合には、ＡＧＶ１０３が目的地に到着していないと判定されてＳ４０２に戻り、処理を継続する。

Ｘ_ＷＴ：目的地のＸ座標値。
Ｙ_ＷＴ：目的地のＹ座標値。
Ｘ_ＷＣ：ＡＧＶ１０３の現在のＸ座標値。
Ｙ_ＷＣ：ＡＧＶ１０３の現在のＹ座標値。
ＰＸ_th：Ｘ座標の所定閾値。
ＰＹ_th：Ｙ座標の所定閾値。

本実施例によれば、図４のＳ４０３で算出された統計量を用いて移動体の移動に係る制御内容を的確に決定し、人流を考慮した移動体の移動制御が可能である。移動体は、混雑した状況でも停滞することなく、人流に合わせて目的地に向けて進行するので、移動体の運行効率を向上させることができる。

［第１実施例の変形例］
以下、第１実施例の変形例について説明する。
＜変形例１－１＞
第１実施例では、撮像画像からＡＧＶ１０３の位置情報を算出する例を示したが、本変形例ではＡＧＶ１０３の位置情報の算出方法の別例を説明する。ＡＧＶ１０３は位置情報を計測するセンサ（ＧＰＳやＲＦＩＤやビーコン等）を搭載しており、センサ出力に基づいてＡＧＶ１０３の位置情報が算出される。ＧＰＳは“Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ”の略号であり、ＲＦＩＤは“Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ”の略号である。

また、ＡＧＶ１０３はカメラやセンサを搭載し、搭載したカメラの撮像画像、あるいはセンサ（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）情報からＳＬＡＭ技術を適用してＡＧＶ１０３の位置情報が算出される。ＳＬＡＭは“Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ”の略号である。また第１実施例では、ＡＧＶ１０３の位置情報を算出する位置情報算出部３２１をＡＧＶ１０３の機能として示したが、この構成に限定されない。変形例では当該機能が情報処理装置３００の機能の１つとして構成される。あるいは撮像装置１０２や別の装置が位置情報算出部３２１を備える構成でもよい。

＜変形例１－２＞
第１実施例では、撮像装置１０２により撮像される現在の撮像画像に対して物体解析を行う例を示した。物体解析は、過去の撮像画像に対して適用が可能である。本変形例では撮像装置１０２が所定時間にわたって撮像した複数の撮像画像の信号を受信して、過去の撮像画像を取得する。所定時間については、数秒間、数分間、数時間、数日間といった期間で複数の画像データ群を取得する処理が行われる。そして、過去の撮像画像に対して物体解析が行われて統計量（人の移動方向や移動速度、密度、位置）の算出処理が行われる。

さらに本変形例では、算出された統計量を時間帯ごとに集計することで、混雑する時間帯や時間帯ごとの人流を把握する処理が実行される。具体的には建物の出入口等では時間帯によって混雑する場所がある。混雑する時間帯において、そのような場所を進行不可領域として避けるようにＡＧＶ１０３の経路設定が行われる。公知のダイクストラ法等の経路探索アルゴリズムを用い、進行不可領域にコストを付与し、適切な経路を求めることで、混雑する場所を回避するための経路設定が可能である。一方で、混雑しない時間帯では進行可能領域としてコストを小さくし、ＡＧＶ１０３の走行経路に設定することができる。このように本変形例では時間帯ごとの統計量のデータを保持し、統計量に応じて進行可能領域と進行不可領域を設定することにより、移動体の運行効率を向上させることができる。

＜変形例１－３＞
本変形例では、物体解析で算出された統計量と所定の閾値との大小判断に基づくのではなく、人流の統計量に応じてＡＧＶ１０３の制御内容が決定される。つまり、人流の評価値を閾値と比較して２値的判断を行うのではなく、ＡＧＶ１０３の進行に不利な度合いに相当するアナログ値を利用してＡＧＶ１０３の制御内容が決定される。

一例としては、人の密度に応じてＡＧＶ１０３の移動速度の制御内容が決定される。人の密度が低いほど、ＡＧＶ１０３の移動速度がより高速に制御され、人の密度が高いほど、ＡＧＶ１０３の移動速度がより低速に制御される。また、人の密度に応じてＡＧＶ１０３の移動位置の制御内容が決定される。具体的には、人の密度が高いほど、ＡＧＶ１０３の移動位置の変更量をより小さくする制御が行われる。このように本変形例では、人の密度に応じて連続的または段階的にＡＧＶ１０３の制御内容を決定することで、運行効率を向上させることができる。

＜変形例１－４＞
本変形例での物体解析の対象は人に限定されず、任意の動体である。例えば、ＡＧＶ１０３の周囲（近傍の環境）に存在する他のＡＧＶやフォークリフト、飛行物体、自転車、自動車等が物体解析の対象である。具体的にはフォークリフトの物体解析において、物体の検出方法で用いられるテンプレートマッチング法のモデルが変更される。フォークリフトのモデルを用いて物体検出を行うことで、フォークリフトの物体解析ができ、検出対象の物体を変更して対象ごとの評価が可能となる。複数種類の検出対象が混在する場合、複数のモデルを用いて、上述した方法で物体を解析することが可能である。本変形例によれば、人に限らず、任意の物体をも考慮して移動体の運行効率を向上させることができる。

＜変形例１－５＞
第１実施例では、撮像画像を複数の小領域に分割し、小領域ごとに算出される統計量に基づいて、ＡＧＶ１０３の制御内容を決定する方法を示した。本変形例では小領域をさらに細分化し、より詳細な領域で算出される統計量に基づいてＡＧＶ１０３の制御内容が決定される。具体的には、ＡＧＶ１０３がその進行方向に存在する人の流れに追従するために、進行方向の人流に対して統計量の算出処理が行われる。算出された統計量に基づいてＡＧＶ１０３の制御内容が決定される。また、ＡＧＶ１０３が人を誘導する場合には、進行方向とは逆方向、つまり後方の人の流れの統計量の算出処理が行われ、算出された統計量に基づいてＡＧＶ１０３の制御内容が決定される。本変形例によれば、動体の追従または誘導といった移動制御が可能となり、移動体の運行効率を向上させることができる。

［第２実施例］
次に本発明の第２実施例を説明する。本実施例では、人流によりＡＧＶ１０３の移動が困難な場合に迂回経路を設定する例を示す。なお、第１実施例と同様の事項に係る説明を省略し、主に相違点について説明する。このような説明の省略方法は後述の実施例や変形例でも同じである。

第１実施例では設定した移動経路に対して、人の移動方向とＡＧＶ１０３の移動方向とが近似する場合、人流に近づけるように移動速度を調整する例を示した。本実施例では人の移動方向とＡＧＶ１０３の移動方向とがより大きく異なる場合、ＡＧＶ１０３の経路変更を含めた制御内容の決定方法について説明する。

本実施例において、人流に関する移動方向、移動速度、密度、位置が検出され、人の移動方向とＡＧＶ１０３の移動方向とが比較される。人の移動方向とＡＧＶ１０３の移動方向とがより大きく異なる場合、ＡＧＶ１０３の移動方向を変更する処理が行われる。ＡＧＶ１０３の移動方向の変更に伴い、移動経路の変更処理が行われる。そして再度、人流の統計量に基づき、ＡＧＶ１０３の移動方向、移動位置、移動速度の制御が行われる。

図７は、本実施例におけるＡＧＶ１０３の制御内容決定処理を説明するフローチャートである。全体の処理については第１実施例の場合と同様である。Ｓ７０１からＳ７０４、およびＳ７０６からＳ７１１までの処理については、図６のＳ６０１からＳ６０４、およびＳ６０６からＳ６１１までの処理と同じであるため、それらの説明を省略する。

Ｓ７０３からＳ７１２に進み、制御内容決定部３０４は、Ｓ７０２とＳ７０３での判定結果に基づいて、ＡＧＶ１０３の移動方向の変更を行う。本ステップに至る状況は、Ｓ７０２での密度の結果が所定値以上であって、Ｓ７０３にてＡＧＶ１０３の移動方向と人の移動方向との角度差が閾値以上の場合である。制御内容決定部３０４は、Ｓ７０１で取得された人の移動方向の統計量に近づけるようにＡＧＶ１０３の移動方向を変更する。

Ｓ７１３で制御内容決定部３０４は、目的地までの移動経路を再設定する。Ｓ７１２で変更されたＡＧＶ１０３の移動方向で、目的地までの移動経路が再設定される。このようにＡＧＶ１０３の移動方向が変更され、目的地までの移動経路が再設定されることで、ＡＧＶ１０３は停滞することなく、人流に合わせて進行が可能となる。

本実施例では、人流の方向とＡＧＶ１０３の移動方向とが異なる方向であっても、人流を考慮した移動制御が可能となる。密度や移動速度、位置の統計量に応じてＡＧＶ１０３の制御内容を決定することでＡＧＶ１０３が目的地に向けて進行し、その運行効率を向上させることができる。

［第３実施例］
図８を参照して、本発明の第３実施例を説明する。第１実施例および第２実施例では、物体解析で算出された各統計量に基づき、ＡＧＶ１０３の制御内容として移動方向、移動速度、移動位置を決定する例を示した。本実施例では、物体解析で算出された各統計量を可視化して表示し、ＡＧＶ１０３の移動経路の設定に活用する例を示す。本実施例の情報処理装置３００の機能構成は、第１実施例で説明した図３の機能構成に表示手段（表示部２０６および表示制御プログラム）を追加した構成である。

図８は、本実施例にて表示部２０６に出力されるＵＩ（ユーザ・インターフェイス）画面の一例を示す模式図である。撮像装置１０２により撮像された撮像画像８００は表示画面に表示される。撮像画像８００上には、物体解析部３０２が算出した統計量の情報として、人の密度や移動方向、移動速度の大きさ（速さ）が重畳して表示される。撮像画像８００中のＡＧＶ１０３の位置は黒点の印で示されている。密度の評価値を可視化した表示域８０２がユーザに提示される。本実施例では移動する人または物体の分布密度の高低差が色の濃淡で表示される。例えば濃い色の部分は密度が高く、混雑した場所を示している。複数の矢印８０１は人の移動方向と人の移動の速さを可視化して表示したものである。矢印８０１の向きは人の移動方向を表し、矢印８０１の長さは人の移動の速さを表している。

本実施例では、物体解析部３０２により算出された各統計量が可視化されて撮像画像に重畳して表示されるので、ＡＧＶ１０３の周囲環境や混雑状態等を簡易に把握することができる。

［第３実施例の変形例］
以下、第３実施例の変形例について説明する。
＜変形例３－１＞
本変形例では、物体解析部３０２により算出された統計量の情報が、撮像画像ではなく地図情報に重畳して表示される。情報処理装置３００は地図情報を事前に取得しており、地図情報に対して統計量の情報を重畳した画像を表示部に出力する処理を行う。

＜変形例３－２＞
第３実施例では、撮像装置１０２により撮像される現在の撮像画像に対して物体解析を行う例を示した。本変形例では、撮像装置１０２により過去に取得された撮像画像に対して物体解析部３０２が算出した統計量の情報が、撮像画像に重畳して表示される。さらに情報処理装置３００は、算出された統計量の情報を時間帯ごとに集計し、集計結果を撮像画像または地図上に重畳して表示することができる。このようにすることで、混雑する時間帯や時間帯ごとの人流等を可視化してＡＧＶ１０３の監視者に提示できる。

＜変形例３－３＞
本変形例では、物体解析部３０２により算出された統計量の情報に加えて、ＡＧＶ１０３の移動の向きや速さ、移動経路、移動位置等の情報が撮像画像または地図上に重畳して表示される。これにより、ＡＧＶ１０３の監視者は運行効率について視覚的に把握することができる。

［前記実施例の変形例］
前記実施例のＡＧＶ１０３は自律移動する移動体の例であるが、変形例では、経路誘導式、例えば磁気テープを誘導体とする移動体の移動制御が行われる。具体的には、人流の方向がＡＧＶ１０３の移動方向と近い場合、ＡＧＶ１０３は移動速度が人の移動速度に調整されて磁気テープにしたがって移動する。また、ＡＧＶ１０３の移動位置を変更できるように、適切な間隔で磁気テープを設置しておくことで移動位置の調整が可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 画像取得部
３０２ 物体解析部
３０３ 位置情報取得部
３０４ 制御内容決定部

Claims (18)

1. 移動体の移動制御を行う情報処理装置であって、
   前記移動体およびその周囲環境を撮像した撮像画像を取得する画像取得手段と、
   前記移動体の位置姿勢の情報を取得する位置情報取得手段と、
   前記画像取得手段により異なる時刻に取得された複数の画像を用いて、前記移動体の周囲環境に存在する複数の物体の動きを解析する解析手段と、
   前記位置情報取得手段により取得された前記移動体の位置姿勢の情報と、前記解析手段の解析結果とに基づいて前記移動体の移動に係る制御内容を決定する決定手段と、を備える
   ことを特徴とする情報処理装置。
2. 前記解析手段は、予め定められた期間に前記画像取得手段により取得された画像群のデータから、前記物体の移動方向もしくは移動速度、前記物体の分布の密度、または前記物体の位置、の統計量を算出する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、時間帯ごとに取得される撮像画像を用いて前記解析手段が解析した、前記物体の移動方向もしくは移動速度、前記物体の分布の密度、または前記物体の位置のうちの１つ以上から前記移動体の動きを決定する
   ことを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記決定手段は、前記物体の移動方向もしくは移動速度、前記物体の分布の密度、または前記物体の位置、のいずれかの統計量が予め定められた条件を満たす場合、前記移動体の移動方向もしくは移動速度または前記移動体の移動の位置を決定する
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記決定手段は、前記物体の分布の密度が閾値未満であるか、または、前記物体の分布の密度が閾値以上であって、かつ前記物体の移動方向を示す値と前記移動体の向きを示す値との差分が閾値未満である場合、前記移動体の移動方向を決定する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記決定手段は、撮像画像にて前記移動体の位置する領域と前記物体の位置を表す領域との関係を評価して前記移動体を移動させる位置を決定する
   ことを特徴とする請求項４または請求項５に記載の情報処理装置。
7. 前記決定手段は、前記移動体の位置する領域と前記物体の位置を表す領域とが異なる場合、前記移動体の移動の位置を前記物体の位置を表す領域から決定した位置に変更する処理を行う
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記決定手段は、前記物体の移動速度および前記移動体の移動速度を評価して前記移動体の移動速度を決定する
   ことを特徴とする請求項４から７のいずれか１項に記載の情報処理装置。
9. 前記決定手段は、前記物体の移動速度と前記移動体の移動速度との速度差を算出し、前記移動体の移動速度に対して前記速度差に対応する補正を行うことにより、前記移動体の移動速度を変更する処理を行う
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記決定手段は、前記物体の分布の密度が閾値以上であって、かつ前記物体の移動方向を示す値と前記移動体の向きを示す値との差分が閾値以上である場合、前記移動体の移動方向の変更および移動経路の再設定を行う
    ことを特徴とする請求項５に記載の情報処理装置。
11. 前記決定手段は、前記解析手段により取得された前記物体に係る統計量により、前記移動体の移動に係る制御内容を決定する
    ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
12. 前記決定手段は、前記物体の分布の密度が第１の値である場合、前記移動体の移動速度を第１の速度に決定し、前記物体の分布の密度が前記第１の値より小さい第２の値である場合、前記移動体の移動速度を前記第１の速度より大きい第２の速度に決定する
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 前記決定手段は、前記物体の分布の密度が第１の値である場合、前記移動体の移動位置の変更量を第１の変更量に決定し、前記物体の分布の密度が前記第１の値より大きい第２の値である場合、前記移動体の移動位置の変更量を前記第１の変更量より小さい第２の変更量に決定する
    ことを特徴とする請求項１１に記載の情報処理装置。
14. 前記決定手段は、時間帯ごとの前記物体に係る統計量から前記移動体の進行可能領域または進行不可領域を決定する
    ことを特徴とする請求項２に記載の情報処理装置。
15. 前記解析結果である前記物体の移動方向もしくは移動速度、前記物体の分布の密度、または前記物体の位置、の統計量を表示する表示手段を備える
    ことを特徴とする請求項１から１４のいずれか１項に記載の情報処理装置。
16. 請求項１から１５のいずれか１項に記載の情報処理装置と、
    前記移動体およびその周囲環境を撮像する撮像手段と、を備える
    ことを特徴とする移動体の制御システム。
17. 移動体の移動制御を行う情報処理装置にて実行される情報処理方法であって、
    前記移動体およびその周囲環境を撮像した撮像画像を取得する第１の取得工程と、
    前記移動体の位置姿勢の情報を取得する第２の取得工程と、
    前記第１の取得工程により異なる時刻に取得された複数の画像を用いて、前記移動体の周囲環境に存在する複数の物体の動きを解析する解析工程と、
    前記第２の取得工程により取得された前記移動体の位置姿勢の情報と、前記解析工程での解析結果とに基づいて前記移動体の移動に係る制御内容を決定する決定工程と、を有する
    ことを特徴とする情報処理方法。
18. 請求項１７に記載の各工程をコンピュータに実行させるプログラム。
    
    

Images