[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016177749A - 移動体制御装置、プログラムおよび集積回路 - Google Patents

移動体制御装置、プログラムおよび集積回路 Download PDF

Info

Publication number
JP2016177749A
JP2016177749A JP2015059367A JP2015059367A JP2016177749A JP 2016177749 A JP2016177749 A JP 2016177749A JP 2015059367 A JP2015059367 A JP 2015059367A JP 2015059367 A JP2015059367 A JP 2015059367A JP 2016177749 A JP2016177749 A JP 2016177749A
Authority
JP
Japan
Prior art keywords
landmark
data
current time
internal state
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015059367A
Other languages
English (en)
Other versions
JP2016177749A5 (ja
JP6651295B2 (ja
Inventor
史也 新宮
Fumiya Shingu
史也 新宮
哲一 生駒
Tetsuichi Ikoma
哲一 生駒
健太 永峰
Kenta Nagamine
健太 永峰
長谷川 弘
Hiroshi Hasegawa
弘 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu Institute of Technology NUC
MegaChips Corp
Original Assignee
Kyushu Institute of Technology NUC
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu Institute of Technology NUC, MegaChips Corp filed Critical Kyushu Institute of Technology NUC
Priority to JP2015059367A priority Critical patent/JP6651295B2/ja
Priority to EP16156691.4A priority patent/EP3098682B1/en
Priority to US15/076,813 priority patent/US9958868B2/en
Publication of JP2016177749A publication Critical patent/JP2016177749A/ja
Publication of JP2016177749A5 publication Critical patent/JP2016177749A5/ja
Application granted granted Critical
Publication of JP6651295B2 publication Critical patent/JP6651295B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)

Abstract

【課題】効率良く環境地図を作成することで、高精度な状態推定処理を短い時間で実行し、移動体の制御を適切に行う移動体制御装置を実現する。
【解決手段】観測取得部1は、観測可能な事象から得られる観測データを取得する。ランドマーク予測部5は、現時刻よりも前の時刻の内部状態データおよび環境地図データに基づいて、現時刻におけるランドマークの情報を予測した情報を含むランドマーク予測信号を生成する。ランドマーク検出部2は、ランドマーク予測信号に基づいて、現時刻におけるランドマークの情報を検出し、検出結果を示すランドマーク検出信号を取得する。状態推定部3は、観測データと、ランドマーク検出信号とに基づいて、移動体の内部状態を推定することで、現時刻の自己内部状態推定データを取得するとともに、ランドマーク検出信号に基づいて、環境地図を推定することで、現時刻の推定環境地図データを取得する。
【選択図】図1

Description

本発明は、SLAM(Simultaneous Localization and Mapping)技術を用いて移動体を制御する技術に関する。
自律走行ロボット等の移動体が自律的に移動しながら、自己位置の推定と環境地図の作成とを同時に行うための技術として、SLAM(Simultaneous Localization and Mapping)が知られている。
SLAM技術により自律走行するロボット(移動体)では、ロボットに搭載されたセンサーから得られる観測、および、ロボットに対する制御入力のみを使用して、ロボットの周囲の環境地図を作成しながら、作成した環境地図中でのロボットの自己の位置および姿勢を推定する。言い換えれば、この推定処理は、ロボットがシステムモデルx〜g(x|xt−1,U)(U:制御入力)に従い、観測が観測モデルZ〜h(Z|x,m)(m:環境地図)に従う状態空間モデルに対して、制御入力系列U1:t={U,U,・・・,U}、および、観測系列Z1:t={Z,Z,・・・,Z}が与えられたときに、ロボットの自己位置および姿勢X(あるいは、X1:t={X,X,・・・,X})と、環境地図mとを推定する処理である。
この推定処理において、パーティクルフィルタを用いて、ロボットの姿勢を高精度で推定する技術が開発されている(例えば、特許文献1)。
観測を取得するためのセンサーとしては、可視光用イメージセンサーを用いたRGBカメラや、赤外線やレーザーを使用して距離情報を取得するレンジファインダー等がよく使用される。また、観測を取得するために、2種類以上のセンサーを組み合わせて用いられることもある。
SLAM技術により自律走行するロボット(移動体)において、取得される環境地図は、幾何学的な地図ではなく、トポロジカルな地図として、取得されることが多い。環境地図は、例えば、ランドマークに基づく情報により、取得される。この場合、環境地図は、ランドマークの情報の集合として表現される。それぞれのランドマークのパラメータは、例えば、(1)ランドマークの位置情報、および、(2)ランドマークの位置情報の不確実性を表す分散共分散行列である。
SLAM技術により自律走行するロボットにおいて、RGBカメラをセンサーとして使用する場合、例えば、何らかの特徴を持つ点や線等、あるいは、判別可能なマーカーを貼付した物体等をランドマークとして設定し、RGBカメラにより撮像された画像中において、ランドマークに相当する画像領域を検出(特定)することで、ランドマークの情報を取得する。この場合、ロボットの実際の位置と、ランドマークの実際の位置との相対関係を、RGBカメラで取得した画像から特定し、特定した結果に基づいて、現時刻における観測が取得される。
特開2008−126401号公報
しかしながら、上記技術により、RGBカメラで撮像した画像からランドマークの位置を取得するためには、画像全体を探索して、ランドマークを発見する探索処理を実行する必要がある。このため、上記技術では、ランドマークの位置を特定するまでの処理量が多くなり、処理時間が長くなる。このようにランドマークの位置を特定するまでの時間が長くなると、自律走行ロボットにおいて、推定結果の更新を行う時間間隔も長くなる。その結果、実際のロボットの姿勢と推定結果との間の誤差が大きくなり、ロボット(移動体)の安定した自律走行が困難になる。
そこで、本発明は、上記問題点に鑑み、効率良く環境地図を作成することで、高精度な状態推定処理を短い時間で実行し、移動体の制御を適切に行う移動体制御装置、プログラム、および、集積回路を実現することを目的とする。
上記課題を解決するために、第1の発明は、ランドマークの情報を用いて表現される環境地図の作成処理と、自己の内部状態の推定処理とを実行しながら、移動する移動体を制御するための移動体制御装置であって、観測取得部と、ランドマーク予測部と、ランドマーク検出部と、状態推定部と、を備える。
観測取得部は、観測可能な事象から得られる観測データを取得する。
ランドマーク予測部は、現時刻よりも前の時刻における移動体の内部状態を示す内部状態データおよび環境地図データに基づいて、現時刻におけるランドマークの情報を予測した情報を含むランドマーク予測信号を生成する。
ランドマーク検出部は、ランドマーク予測部により生成されたランドマーク予測信号に基づいて、現時刻におけるランドマークの情報を検出し、検出結果を示すランドマーク検出信号を取得する。
状態推定部は、観測取得部により取得された観測データと、ランドマーク検出信号とに基づいて、移動体の内部状態を推定することで、現時刻の自己内部状態推定データを取得するとともに、ランドマーク検出信号に基づいて、環境地図を推定することで、現時刻の推定環境地図データを取得する。
この移動体制御装置では、ランドマーク予測部が、(1)現時刻よりも前の時刻における移動体の内部状態データ、(2)現時刻よりも前の時刻における環境地図データに基づいて、現時刻の観測データに対して、ランドマークの情報を予測し、予測した情報を含むランドマーク予測信号を生成する。そして、ランドマーク検出部が、ランドマーク予測部により生成されたランドマーク予測信号に基づいて、現時刻におけるランドマークの情報を検出する。このため、この移動体制御装置では、ランドマークを探索する処理を効率良く行うことができる。これにより、この移動体制御装置では、環境地図データを作成(更新)するための処理時間を短くすることができる。つまり、この移動体制御装置では、上記処理を行うことにより、効率良く環境地図を作成することができ、高精度な状態推定処理を短い時間で実行することができる。その結果、この移動体制御装置により、移動体の制御を適切に行うことができる。
第2の発明は、第1の発明であって、観測データは、移動体から、移動体の周りの環境を撮像した画像データである。
ランドマーク予測部は、現時刻よりも前の時刻における移動体の内部状態を示す内部状態データおよび環境地図データに基づいて、現時刻において取得された画像データにより形成される画像上において、ランドマークが存在すると予測される画像領域である予測画像領域を算出し、算出した予測画像領域についての情報を含むランドマーク予測信号を生成する。
ランドマーク検出部は、ランドマーク予測部により算出された予測画像領域の中心領域に含まれる画像上の画素位置を探索の初期位置として、現時刻の画像データにより形成される画像の予測画像領域内を、初期位置からの画像上の距離が大きくなるように、探索することで、ランドマークに相当する画像領域を検出する処理であるローカル探索処理を実行する。
この移動体制御装置では、ランドマーク予測部が、(1)現時刻よりも前の時刻における移動体の内部状態データ、(2)現時刻よりも前の時刻における環境地図データに基づいて、現時刻の観測データである画像(画像データにより形成される画像)上において、ランドマークが存在する確率が高い画像領域を予測し、当該ランドマークの探索処理を行う。このため、この移動体制御装置では、ランドマークを探索するために、従来技術のように、画像上の全ての領域を探索する必要がない。その結果、この移動体制御装置1000では、ランドマークを探索するための処理時間を著しく短縮することができる。これにより、この移動体制御装置における環境地図データを作成(更新)するための処理時間を短くすることができる。つまり、この移動体制御装置では、上記処理を行うことにより、効率良く環境地図を作成することができ、高精度な状態推定処理を短い時間で実行することができる。その結果、この移動体制御装置により、移動体の制御を適切に行うことができる。
第3の発明は、第2の発明であって、ランドマーク予測部は、現時刻よりも前の時刻において取得したランドマークの位置情報の推定精度の情報を、ランドマーク予測信号に含める。
ランドマーク検出部は、ランドマーク予測信号に基づいて、現時刻よりも前の時刻において取得したランドマークの位置情報の推定精度が所定の値よりも低いと判定した場合、現時刻の画像データにより形成される画像内を探索することで、ランドマークに相当する画像領域を検出する処理であるグローバル探索処理を実行する。
これにより、この移動体制御装置では、ランドマークの位置情報の推定精度が低い場合に、グローバル探索処理により、ランドマークを発見する確率を高めることができる。つまり、この移動体制御装置では、ランドマークの位置情報の推定精度が低い場合に、ローカル探索処理により、ランドマークが発見できず、かえって処理時間が長くなることを適切に防止することができる。
第4の発明は、第2または第3の発明であって、ランドマーク予測部は、現時刻よりも前の時刻において取得した移動体の内部状態データの推定精度の情報を、ランドマーク予測信号に含める。
ランドマーク検出部は、ランドマーク予測信号に基づいて、現時刻よりも前の時刻において取得した移動体の内部状態データの推定精度が所定の値よりも低いと判定した場合、現時刻の画像データにより形成される画像内を探索することで、ランドマークに相当する画像領域を検出する処理であるグローバル探索処理を実行する。
これにより、この移動体制御装置では、移動体の内部状態データの推定精度が低い場合に、グローバル探索処理により、ランドマークを発見する確率を高めることができる。つまり、この移動体制御装置では、移動体の内部状態データの推定精度が低い場合(例えば、移動体の位置を適切に推定できていない場合)に、ローカル探索処理により、ランドマークが発見できず、かえって処理時間が長くなることを適切に防止することができる。
第5の発明は、第2から第4のいずれかの発明であって、ランドマーク検出部は、所定の期間において、ランドマークの探索処理において、ランドマークを発見した回数であるランドマーク発見回数値を保持する検出状況取得部を備える。
ランドマーク検出部は、検出状況取得部に保持されているランドマーク発見回数値が所定の値よりも大きい場合、ローカル探索処理を実行する。
これにより、この移動体制御装置では、ランドマーク発見回数値が多い場合、すなわち、ランドマークの位置情報の推定結果の精度が高いと判断できる場合に、ローカル探索処理を実行し、処理時間を短縮することができる。
第6の発明は、第2から第4のいずれかの発明であって、ランドマーク検出部は、所定の期間において、ランドマークの探索処理において、ランドマークを発見されたか否かを示す情報であるランドマーク発見情報を保持する検出状況取得部を備える。
ランドマーク検出部は、検出状況取得部に保持されているランドマーク発見情報に基づいて、ランドマークが所定の期間発見されなかった場合、現時刻の画像データにより形成される画像内を探索することで、ランドマークに相当する画像領域を検出する処理であるグローバル探索処理を実行する。
これにより、この移動体制御装置では、一定時間、ランドマークが発見されない場合、グローバル探索処理を実行して、当該ランドマークを発見する可能性を高めることができる。
第7の発明は、ランドマークの情報を用いて表現される環境地図の作成処理と、自己の内部状態の推定処理とを実行しながら、移動する移動体を制御するための移動体制御方法をコンピュータに実行させるためのプログラムである。
移動体制御方法は、観測取得ステップと、ランドマーク予測ステップと、ランドマーク検出ステップと、状態推定ステップと、を備える。
これにより、第1の発明と同様の効果を奏する移動体制御方法をコンピュータに実行させるためのプログラムを実現することができる。
観測取得ステップは、観測可能な事象から得られる観測データを取得する。
ランドマーク予測ステップは、現時刻よりも前の時刻における移動体の内部状態を示す内部状態データおよび環境地図データに基づいて、現時刻におけるランドマークの情報を予測した情報を含むランドマーク予測信号を生成する。
ランドマーク検出ステップは、ランドマーク予測ステップにより生成されたランドマーク予測信号に基づいて、現時刻におけるランドマークの情報を検出し、検出結果を示すランドマーク検出信号を取得する。
状態推定ステップは、観測取得ステップにより取得された観測データと、ランドマーク検出信号とに基づいて、移動体の内部状態を推定することで、現時刻の自己内部状態推定データを取得するとともに、ランドマーク検出信号に基づいて、環境地図を推定することで、現時刻の推定環境地図データを取得する。
第8の発明は、ランドマークの情報を用いて表現される環境地図の作成処理と、自己の内部状態の推定処理とを実行しながら、移動する移動体を制御するための移動体制御装置に用いられる集積回路であって、観測取得部と、ランドマーク予測部と、ランドマーク検出部と、状態推定部と、を備える。
観測取得部は、観測可能な事象から得られる観測データを取得する。
ランドマーク予測部は、現時刻よりも前の時刻における移動体の内部状態を示す内部状態データおよび環境地図データに基づいて、現時刻におけるランドマークの情報を予測した情報を含むランドマーク予測信号を生成する。
ランドマーク検出部は、ランドマーク予測部により生成されたランドマーク予測信号に基づいて、現時刻におけるランドマークの情報を検出し、検出結果を示すランドマーク検出信号を取得する。
状態推定部は、観測取得部により取得された観測データと、ランドマーク検出信号とに基づいて、移動体の内部状態を推定することで、現時刻の自己内部状態推定データを取得するとともに、ランドマーク検出信号に基づいて、環境地図を推定することで、現時刻の推定環境地図データを取得する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
本発明によれば、効率良く環境地図を作成することで、高精度な状態推定処理を短い時間で実行し、移動体の制御を適切に行う移動体制御装置、プログラム、および、集積回路を実現することができる。
第1実施形態に係る移動体制御装置1000の概略構成図。 時刻t−1におけるロボットRbt1の推定位置と、ランドマークLM1の推定位置と、ランドマークLM2の推定位置との位置関係を示す図。 時刻tにおけるロボットRbt1の推定位置と、ランドマークLM1の推定位置と、ランドマークLM2の推定位置との位置関係を示す図。 ロボットRbt1の内部状態のうち、ロボットRbt1のxy平面の位置を推定するためのパーティクルの分布(一例)、および、ランドマークLM1、LM2のxy平面の位置を推定するためのパーティクルの分布(一例)を模式的に示した図。 時刻t−1の画像D1(画像Imgt−1)、および、時刻tの画像D1(画像Img)を模式的に示した図。 第2実施形態に係る移動体制御装置2000の概略構成図。 第2実施形態のランドマーク予測部5Aの概略構成図。 第2実施形態のランドマーク検出部2Aの概略構成図。 第2実施形態の第1変形例に係る移動体制御装置2000Aの概略構成図。 第2実施形態の第1変形例のランドマーク予測部5Bの概略構成図。 第2実施形態の第1変形例のランドマーク検出部2Bの概略構成図。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:移動体制御装置の構成>
図1は、第1実施形態に係る移動体制御装置1000の概略構成図である。
移動体制御装置1000は、移動体(例えば、自律走行ロボットRbt1)(不図示)に搭載される装置である。
移動体制御装置1000は、図1に示すように、観測取得部1と、ランドマーク検出部2と、状態推定部3と、記憶部4と、ランドマーク予測部5とを備える。
なお、説明便宜のため、観測取得部1により取得される観測データD1は、移動体に搭載された撮像装置(不図示)により撮像された画像(画像データ)であるものとして、以下、説明する。
観測取得部1は、入力データDinを入力とする。観測取得部1は、入力データDinから観測データD1を取得し、取得した観測データD1をランドマーク検出部2と、状態推定部3の状態更新部31とに出力する。
ランドマーク検出部2は、観測取得部1から出力される観測データD1と、ランドマーク予測部5から出力されるランドマーク予測信号Sig_preとを入力する。ランドマーク検出部2は、ランドマーク予測信号Sig_preに基づいて、観測データD1(画像データD1)により形成される画像上において、ランドマークに相当する画像領域を検出する処理を実行し、その検出結果を示す情報を含む信号を、ランドマーク検出信号LMとして、状態推定部3の状態更新部31および環境地図更新部32に出力する。
状態推定部3は、図1に示すように、状態更新部31と、環境地図更新部32とを備える。
状態更新部31は、観測取得部1から出力される観測データD1と、ランドマーク検出部2から出力されるランドマーク検出信号LMと、移動体に対する制御入力データUと、記憶部4から読み出す移動体の時刻t−1の内部状態データXt−1とを入力する。状態更新部31は、観測データD1、ランドマーク検出信号LM、制御入力データU、および、移動体の時刻t−1の内部状態データXt−1基づいて、移動体の内部状態を推定し、推定結果を移動体の現時刻tの内部状態データXとして、取得する(内部状態データを更新する)。そして、状態更新部31は、取得した移動体の現時刻tの内部状態データXを、状態推定部3から外部に出力するとともに、記憶部4に出力する。なお、状態推定部3から外部に出力された内部状態データXは、移動体(自動走行ロボット)を制御するためのデータとして、例えば、移動体(自動走行ロボット)の全体を制御する機能部(全体制御部)(不図示)等により使用される。
また、状態更新部31は、現時刻tのロボットRbt1に対する制御入力データUを記憶部5に出力する。
環境地図更新部32は、ランドマーク検出部2から出力されるランドマーク検出信号LMと、記憶部4から読み出す時刻t−1の環境地図データmt−1とを入力する。環境地図更新部32は、ランドマーク検出信号LMから、検出されたランドマークについての情報を取得し、取得したランドマークの情報と、時刻t−1の環境地図データmt−1とに基づいて、環境地図データを更新し、現時刻tの環境地図データmを取得する。そして、環境地図更新部32は、更新した環境地図データmを状態推定部3から外部に出力するとともに、記憶部4に出力する。なお、状態推定部3から外部に出力された環境地図データmは、移動体(自動走行ロボット)を制御するためのデータとして、例えば、移動体(自動走行ロボット)の全体を制御する機能部(全体制御部)(不図示)等により使用される。
記憶部4は、状態推定部3の状態更新部31から出力される移動体の現時刻tの内部状態データXと、環境地図データmと、状態更新部31から出力される制御入力データUとを入力し、記憶する。記憶部4に記憶されたデータは、ランドマーク予測部5により、所定のタイミングで読み出される。また、記憶部4に記憶されたデータは、状態推定部3により、所定のタイミングで読み出される。なお、記憶部4は、複数の時刻の内部状態データと、環境地図データとを記憶することができる。
ランドマーク予測部5は、記憶部4に記憶されている、現時刻よりも前の時刻の内部状態データと、環境地図データとを読み出す。
なお、説明便宜のため、ランドマーク予測部5は、現時刻tの1つ前の時刻t−1のデータを読み出すものとして、以下、説明する。
また、現時刻tのデータとは、移動体制御装置1000において、処理対象となっている観測データD1から取得されたデータ(移動体の内部状態データX、および、環境地図データm)のことをいい、現時刻tの1つ前の時刻t−1のデータとは、現時刻tのデータを取得する1つ前に、移動体制御装置1000において取得されたデータ(移動体の内部状態データXt−1、および、環境地図データmt−1)のことをいう。つまり、現時刻tのk個前の時刻t−k(k:自然数)のデータとは、現時刻tのデータを取得するk個前に、移動体制御装置1000において取得されたデータ(移動体の内部状態データXt−k、および、環境地図データmt−k)のことをいう。
なお、上記データは、同期タイミングにより取得されるものであってもよいし、非同期タイミングにより取得されるものであってもよい。
<1.2:移動体制御装置の動作>
以上のように構成された移動体制御装置1000の動作について、以下、説明する。
なお、以下では、自律走行する移動体をロボットRbt1とし、ロボットRbt1に搭載された可視光用イメージセンサーを備える撮像装置(不図示)により撮像された画像(撮像画像)を入力データDinとし、ランドマークの情報により環境地図が生成される場合について、説明する。
図2は、時刻t−1におけるロボットRbt1の推定位置と、ランドマークLM1の推定位置と、ランドマークLM2の推定装置との位置関係を示す図(上方から見た図)である。なお、図2において、図2に示すようにx軸、y軸をとるものとし、図2に「0」で示した位置を原点とする。
図3は、時刻tにおけるロボットRbt1の推定位置と、ランドマークLM1の推定位置と、ランドマークLM2の推定位置との位置関係を示す図(上方から見た図)である。なお、図3においても、図2と同様に、x軸、y軸、原点が設定されている。
以下では、時刻t−1において、図2に示す位置に存在するロボットRbt1に対して、図2に示す矢印Dir1方向に移動させるための制御データが入力され、時刻tにおいて、図3に示す位置にロボットRbt1が移動する場合を一例として、説明する。
ここで、移動体制御装置1000において使用される、(1)ロボットRbt1の内部状態を示すデータ、および、(2)環境地図に関するデータについて、説明する。
(1.2.1:ロボットRbt1の内部状態データ)
移動体制御装置1000では、ロボットRbt1の内部状態を示すデータXとして、
(1)時刻tにおけるロボットRbt1の位置および角度に関する内部状態データXPと、
(2)時刻tにおけるロボットRbt1の分散共分散行列V_mtx(Rbt1)と、
が設定される。時刻tのロボットRbt1の内部状態データXを、
=[XP,V_mtx(Rbt1)]
と表記する。
時刻tにおけるロボットRbt1の位置および角度に関する内部状態データXPは、3次元の状態ベクトルであり、
XP=(x0,y0,θ
x0:時刻tにおけるロボットRbt1のx座標値の期待値
y0:時刻tにおけるロボットRbt1のy座標値の期待値
θ:時刻tにおけるロボットRbt1のx軸負方向とのなす角度(ロボットRbt1の向き)の期待値
として表現される。
移動体制御装置1000では、ロボットRbt1の内部状態を推定するために、パーティクルフィルタ(モンテカルロ近似)を用いるものとする。
つまり、パーティクルフィルタ処理では、時刻t−1の状態ベクトルXPt−1の事後確率分布を現時刻tの状態ベクトルXPの事前確率分布とし、現時刻tの状態ベクトルXPの事前確率分布から予測処理により現時刻tの状態ベクトルXPの予測確率分布を取得する。そして、取得した予測確率分布と実際の観測データ(現時刻tの観測データ)とに基づいて、尤度を算出する。そして、算出した尤度に比例する割合で、粒子(パーティクル)を復元抽出する。このように処理することで、ロボットRbt1の内部状態を推定することができる。
図4は、ロボットRbt1の内部状態のうち、ロボットRbt1のxy平面の位置を推定するためのパーティクルの分布(一例)を模式的に示した図である。
ロボットRbt1の内部状態を推定するために、M1個(M1:自然数)のパーティクルが用いられるものとする。
また、移動体制御装置1000では、ロボットRbt1の内部状態を示すデータとして、時刻tにおけるロボットRbt1の分散共分散行列V_mtx(Rbt1)が設定される。具体的には、時刻tにおけるロボットRbt1の分散共分散行列V_mtx(Rbt1)は、以下の数式により表現される。

なお、x0 (i)は、ロボットRbt1の内部状態を推定するためのi番目(i:自然数、1≦i≦M1)のパーティクルのx座標位置である。y0 (i)は、ロボットRbt1の内部状態を推定するためのi番目(i:自然数、1≦i≦M1)のパーティクルのy座標位置である。
また、E[a]は、aの期待値である。つまり、E[(x0 (i)−x0)(x0 (i)−x0)]は、ロボットRbt1の内部状態を推定するためのM1個(M1:自然数)のパーティクルのx座標値の分散値であり、E[(y0 (i)−y0)(y0 (i)−y0)]は、ロボットRbt1の内部状態を推定するためのM1個(M1:自然数)のパーティクルのy座標値の分散値である。
また、x0は、M1個(M1:自然数)のパーティクルのx座標値の期待値(平均値)であり、y0は、M1個(M1:自然数)のパーティクルのy座標値の期待値(平均値)である。
以上のように、移動体制御装置1000では、ロボットRbt1の内部状態を示すデータXとして、(A)時刻tにおけるロボットRbt1の位置および角度に関する内部状態データXP、および、(B)時刻tにおけるロボットRbt1の分散共分散行列V_mtx(Rbt1)が設定される。
(1.2.2:環境地図に関するデータ)
移動体制御装置1000では、環境地図に関するデータとして、時刻tにおける環境地図データmが設定される。
環境地図データmは、ランドマークの情報により構成される。ロボットRbt1によりランドマークが発見された場合、発見されたランドマークの情報は、環境地図データmに追加される。
時刻tにおける環境地図データmは、移動体制御装置1000において、以下のように、設定される。
=[LM1P,V_mtx(LM1),LM2P,V_mtx(LM2),....,LMkP,V_mtx(LMk)]
k:自然数
LMkPは、時刻tにおけるk番目のランドマークの位置に関する内部状態データであり、V_mtx(LMk)は、時刻tにおけるk番目のランドマークの分散共分散行列である。
つまり、時刻tにおいて、n番目(n:自然数、n≦k)のランドマークの情報として、(A)内部状態データLMnP、および、(B)分散共分散行列V_mtx(LMn)が設定される。そして、k個のランドマークについての上記(A)(B)のデータの集合が、時刻tにおける環境地図データmとして、設定される。
図3の場合において、環境地図データmは、2つのランドマークLM1、LM2の情報により構成される。図3の場合、環境地図データmは、
=[LM1P,V_mtx(LM1),LM2P,V_mtx(LM2)]
である。
つまり、図3の場合、環境地図データmは、
(1)ランドマークLM1の位置に関する内部状態データLM1P、および、分散共分散行列V_mtx(LM1)と、
(2)ランドマークLM2の位置に関する内部状態データLM2P、および、分散共分散行列V_mtx(LM2)と、
により構成される。
なお、以下では、説明便宜のため、図2、図3に示すように、2つのランドマークLM1、LM2により、環境地図データが取得される場合について、説明する。
ランドマークLM1の位置に関する内部状態データLM1Pは、2次元ベクトルであり、ランドマークLM1のxy平面上の位置の期待値を示す。つまり、ランドマークLM1の位置に関する内部状態データLM1Pは、
LM1P=(x1,y1
x1:時刻tにおけるランドマークLM1のx座標値の期待値
y1:時刻tにおけるランドマークLM1のy座標値の期待値
として表現される。
ランドマークLM2の位置に関する内部状態データLM2Pは、2次元ベクトルであり、ランドマークLM2のxy平面上の位置の期待値を示す。つまり、ランドマークLM2の位置に関する内部状態データLM2Pは、
LM2P=(x2,y2
x2:時刻tにおけるランドマークLM2のx座標値の期待値
y2:時刻tにおけるランドマークLM2のy座標値の期待値
として表現される。
移動体制御装置1000では、ランドマークの情報を推定するために、パーティクルフィルタ(モンテカルロ近似)を用いるものとする。
つまり、ランドマークLM1の位置に関する内部状態データを推定するためのパーティクルフィルタ処理では、時刻t−1のランドマークLM1の状態ベクトルLM1Pt−1の事後確率分布を現時刻tのランドマークLM1の状態ベクトルLM1Pの事前確率分布とし、現時刻tのランドマークLM1の状態ベクトルLM1Pの事前確率分布から予測処理により現時刻tのランドマークLM1の状態ベクトルLM1Pの予測確率分布を取得する。そして、取得した予測確率分布と実際の観測データ(現時刻tの観測データ)とに基づいて、尤度を算出する。そして、算出した尤度に比例する割合で、粒子(パーティクル)を復元抽出する。このように処理することで、ランドマークLM1の情報(内部状態)を推定することができる。
また、ランドマークLM2の位置に関する内部状態データを推定するためのパーティクルフィルタ処理では、時刻t−1のランドマークLM2の状態ベクトルLM2Pt−1の事後確率分布を現時刻tのランドマークLM2の状態ベクトルLM2Pの事前確率分布とし、現時刻tのランドマークLM2の状態ベクトルLM2Pの事前確率分布から予測処理により現時刻tのランドマークLM2の状態ベクトルLM2Pの予測確率分布を取得する。そして、取得した予測確率分布と実際の観測データ(現時刻tの観測データ)とに基づいて、尤度を算出する。そして、算出した尤度に比例する割合で、粒子(パーティクル)を復元抽出する。このように処理することで、ランドマークLM2の情報(内部状態)を推定することができる。
図4は、ランドマークLM1、LM2の情報(位置に関する内部状態データ)、つまり、ランドマークLM1、LM2のxy平面の位置を推定するためのパーティクルの分布(一例)を模式的に示した図である。
ランドマークLM1、LM2の情報(xy平面の位置)を推定するために、ランドマークLM1についてM11個(M11:自然数)のパーティクルが用いられ、ランドマークLM2についてM12個(M12:自然数)のパーティクルが用いられるものとする。
また、ランドマークLM1の情報(ランドマークLM1の内部状態)を示すデータとして、時刻tにおけるランドマークLM1の分散共分散行列V_mtx(LM1)が設定される。具体的には、時刻tにおけるランドマークLM1の分散共分散行列V_mtx(LM1)は、以下の数式により表現される。

なお、x1 (i)は、ランドマークLM1の内部状態を推定するためのi番目(i:自然数、1≦i≦M11)のパーティクルのx座標位置である。y1 (i)は、ランドマークLM1の内部状態を推定するためのi番目(i:自然数、1≦i≦M11)のパーティクルのy座標位置である。
また、E[a]は、aの期待値である。つまり、E[(x1 (i)−x1)(x1 (i)−x1)]は、ランドマークLM1の内部状態を推定するためのM11個(M11:自然数)のパーティクルのx座標値の分散値であり、E[(y1 (i)−y1)(y1 (i)−y1)]は、ランドマークLM1の内部状態を推定するためのM11個(M11:自然数)のパーティクルのy座標値の分散値である。
また、x1は、ランドマークLM1の内部状態を推定するためのM11個(M11:自然数)のパーティクルのx座標値の期待値(平均値)であり、y1は、ランドマークLM1の内部状態を推定するためのM11個(M11:自然数)のパーティクルのy座標値の期待値(平均値)である。
また、ランドマークLM2の情報(ランドマークLM2の内部状態)を示すデータとして、時刻tにおけるランドマークLM2の分散共分散行列V_mtx(LM2)が設定される。具体的には、時刻tにおけるランドマークLM2の分散共分散行列V_mtx(LM2)は、以下の数式により表現される。

なお、x2 (i)は、ランドマークLM2の内部状態を推定するためのi番目(i:自然数、1≦i≦M12)のパーティクルのx座標位置である。y2 (i)は、ランドマークLM2の内部状態を推定するためのi番目(i:自然数、1≦i≦M12)のパーティクルのy座標位置である。
また、E[a]は、aの期待値である。つまり、E[(x2 (i)−x2)(x2 (i)−x2)]は、ランドマークLM2の内部状態を推定するためのM12個(M12:自然数)のパーティクルのx座標値の分散値であり、E[(y2 (i)−y2)(y2 (i)−y2)]は、ランドマークLM2の内部状態を推定するためのM12個(M12:自然数)のパーティクルのy座標値の分散値である。
また、x2は、ランドマークLM2の内部状態を推定するためのM12個(M12:自然数)のパーティクルのx座標値の期待値(平均値)であり、y2は、ランドマークLM2の内部状態を推定するためのM12個(M11:自然数)のパーティクルのy座標値の期待値(平均値)である。
以上のように、移動体制御装置1000では、時刻tにおける環境地図データmは、ランドマークの情報(各ランドマークの位置に関する内部状態データ、および、分散共分散行列)を用いて設定される。
(1.2.3:具体的処理)
次に、移動体制御装置1000の具体的処理について、説明する。
(時刻t−1の処理):
時刻t−1において、ロボットRbt1、ランドマークLM1、LM2の状態は、図2に示す状態である。そして、時刻t−1において、移動体制御装置1000の状態推定部3により取得されているロボットRbt1の内部状態データXt−1、および、環境地図データmt−1は、以下の通りである。
≪ロボットRbt1の内部状態データXt−1
t−1=[XPt−1,V_mtxt−1(Rbt1)]
XPt−1=(x0t−1,y0t−1,θt−1
≪環境地図データmt−1
t−1=[LM1Pt−1,V_mtxt−1(LM1),LM2Pt−1,V_mtxt−1(LM2)]
LM1Pt−1=(x1t−1,y1t−1
LM2Pt−1=(x2t−1,y2t−1
時刻t−1において、移動体制御装置1000の状態推定部3により取得された内部状態データXt−1、および、環境地図データmt−1は、記憶部4に記憶される。
また、時刻t−1において、移動体制御装置1000には、制御入力データUt−1が入力されている。なお、制御入力データUt−1は、ロボットRbt1を図2の矢印Dir1の方向に進行させるためのデータであるものとする。具体的には、制御入力データUt−1は、
t−1=(Vxt−1,Vyt−1
θt−1=tan−1(−Vyt−1/Vxt−1
Vxt−1:x方向の速度
Vyt−1:y方向の速度
である。この制御入力データUt−1により制御されることで、ロボットRbt1は、時刻tにおいて、図3に示す位置に移動すると予測される。なお、図2の点(x0t−1,y0t−1)と図3の点(x0,y0)との距離は、時刻t−1から時刻tまでの時間、ロボットRbt1が、x方向に速度Vxt−1、y方向に速度Vyt−1で進んだときの距離(予測される距離)である。
また、ロボットRbt1に搭載されている撮像装置(不図示)は、その光学系の光軸が図2の矢印Dirが示す方向と一致するように配置されており、図2に示す角度αにより、ロボットRbt1の周囲を撮像する。時刻t−1において、ロボットRbt1の撮像装置により撮像される範囲は、図2の点線で示した領域AR_capt−1である。
図5の左図に、時刻t−1においてロボットRbt1の撮像装置により撮像された画像Imgt−1を模式的に示す。図5の左図に示すように、円形のランドマークLM1が撮像されている。なお、図5の左図において、ランドマークLM1の時刻t−1における位置に関する内部状態データLM1Pt−1=(x1t−1,y1t−1)に対応する点を黒丸で示している。
(時刻tの処理):
時刻tにおいて、ロボットRbt1は、制御入力データUt−1により、図3に示す位置に移動していると予測される。
時刻tにおいて、ロボットRbt1の撮像装置により撮像された画像が、入力データDinとして、観測取得部1に入力される。
観測取得部1は、入力データDinに対して、カメラ信号処理(例えば、ゲイン調整処理、ガンマ補正処理、ホワイトバランス処理等)を実行し、処理後の画像信号D1(画像D1)を観測データとして、ランドマーク検出部2に出力する。
ランドマーク予測部5は、記憶部4から、時刻t−1におけるデータSTt−1を取得する。
なお、データSTt−1には、(1)時刻t−1のロボットRbt1の内部状態データXt−1、(2)時刻t−1の環境地図データmt−1、および、(3)時刻t−1のロボットRbt1の制御入力データUt−1が含まれる。
ランドマーク予測部5は、時刻t−1におけるデータSTt−1に基づいて、時刻tにおけるランドマークの情報を予測する。
具体的には、ランドマーク予測部5は、画像D1において、ランドマークが写っている可能性が高い位置を予測する。時刻t−1のロボットRbt1の制御入力データUt−1から、時刻tにおいて、ロボットRbt1は、図3の位置に存在している可能性が高いと判断でき、時刻tにおいて、ロボットRbt1の撮像装置により撮像される範囲は、図3に点線で示した領域AR_capであると予測できる。このとき、ロボットRbt1の撮像装置により取得される撮像画像(画像D1)には、ランドマークLM1が写っている可能性が高いことが予測でき、画像D1上において、ランドマークLM1が写っている可能性が高い画像領域を、(1)時刻t−1のロボットRbt1の内部状態データXt−1、(2)時刻t−1の環境地図データmt−1(時刻t−1のランドマークLM1の位置に関する情報)、および、(3)時刻t−1のロボットRbt1の制御入力データUt−1に基づいて、算出することができる。
このようにして、算出されたランドマークLM1が写っている可能性が高い画像領域AR1(一例)を図5の右図に示す。
図5の右図は、画像D1(図5では、Imgとして示した画像)上において、ランドマークLM1が写っている可能性が高い画像領域AR1を模式的に示した図である。
ランドマーク予測部5は、(1)時刻tにおいて、画像D1に写っている可能性が高いランドマークがランドマークLM1のみであることを示す情報と、(2)上記処理により算出したランドマークLM1が写っている可能性が高い画像領域AR1を特定するための情報と、を含めた信号を、ランドマーク予測信号Sig_preとして、ランドマーク検出部2に出力する。
なお、説明便宜のため、画像領域AR1は、図5の右図に示すように、楕円の画像領域とする。そして、楕円の画像領域AR1の中心において、ランドマークLM1が検出される可能性が高く、楕円の中心から離れるに従って、ランドマークLM1が検出される可能性が低くなるものとする。
また、画像領域AR1の大きさは、例えば、時刻t−1の環境地図データmt−1に含まれる、ランドマークLM1の位置に関する情報、および/または、ランドマークLM1の分散共分散行列に基づいて、設定される。なお、処理を簡便化するために、画像領域AR1の大きさを、所定の大きさに固定してもよい(k番目のランドマークについての画像領域ARk(k:自然数)の大きさについても同様)。
ランドマーク検出部2は、ランドマーク予測部5からのランドマーク予測信号Sig_preに基づいて、時刻tにおいて、画像D1に写っている可能性が高いランドマークがランドマークLM1のみであることを把握するとともに、ランドマークLM1が写っている可能性が高い画像領域AR1を用いて、ランドマークLM1を検出する処理を行う。
図5の右図に示すように、画像D1(画像Img)において、ランドマークLM1は、図5の右図にLM1で示した位置に写っている。ランドマーク検出部2は、ランドマークLM1を検出処理の探索初期位置を画像領域AR1の中心点とし、その中心点からの距離が大きくなるように、順次、ランドマークLM1の探索処理を実行する。図5の右図の場合、ランドマークLM1は、画像領域AR1の中心点に近い位置に存在しているので、ランドマーク検出部2は、ランドマークLM1の探索処理を、画像領域AR1の中心点から実行することで、即座に、ランドマークLM1を検出することができる。なお、ランドマークを識別するための、ランドマークに特定のコードを示す模様や色や文字等のランドマーク識別情報(マーカー)を付してもよい。これにより、画像D1(画像Img)において、ランドマーク識別情報(マーカー)を検出することで、特定のランドマークを検出することができる(検出したランドマークがどのランドマークであるかを把握することができる)。
ランドマーク検出部2は、上記処理により検出したランドマークLM1の画像D1(画像Img)の位置、大きさと、画像D1(画像Img)が撮像されたときの撮影パラメータ(画角、焦点距離等)とに基づいて、ランドマークLM1の環境地図上の位置(図2、図3に示したxy平面上の座標位置)、大きさを取得する。そして、ランドマーク検出部2は、取得したランドマークLM1の環境地図上の位置、大きさを特定するための情報を含めた信号を、ランドマーク検出信号LMとして、状態推定部3の状態更新部31および環境地図更新部32に出力する。
状態推定部3の状態更新部31では、観測取得部1から出力される観測データD1と、ランドマーク検出部2から出力されるランドマーク検出信号LMと、移動体(ロボットRbt1)に対する制御入力データUとに基づいて、ロボットRbt1の内部状態を推定し、推定結果をロボットRbt1の現時刻tの内部状態データXとして、取得する(内部状態データを更新する)。
状態更新部31は、パーティクルフィルタ処理により、現時刻tの内部状態データXを取得(更新)する。具体的には、状態更新部31は、時刻t−1の状態ベクトルXPt−1の事後確率分布を現時刻tの状態ベクトルXPの事前確率分布とし、現時刻tの状態ベクトルXPの事前確率分布から予測処理により現時刻tの状態ベクトルXPの予測確率分布を取得する。そして、取得した予測確率分布と実際の観測データ(現時刻tの観測データ)とに基づいて、尤度を算出する。そして、算出した尤度に比例する割合で、粒子(パーティクル)を復元抽出する。このように処理することで、ロボットRbt1の内部状態を推定することができる。
なお、現時刻tの状態ベクトルXPを取得するために使用される実際の観測データは、例えば、(1)観測取得部1から出力される画像D1、(2)ランドマーク検出信号LMから取得したランドマーク(ランドマークLMk)の環境地図上の位置、大きさを特定するための情報、および、(3)その他のロボットRbt1の環境地図上の位置、大きさを特定するための情報(例えば、ロボットRbt1に取り付けられた位置センサーにより取得した情報)等、の少なくとも1つから導出されたデータである。
また、状態更新部31は、ロボットRbt1の内部状態を示すデータとして、時刻tにおけるロボットRbt1の分散共分散行列V_mtx(Rbt1)を取得する。図2〜図4では、分散共分散行列の各要素の値、および/または、分散共分散行列の各要素の値から導出される値に基づいて、その形状、大きさ等が決定される楕円であって、ロボットRbt1の位置の内部状態を取得するためのパーティクルの大部分を含むように設定された楕円を模式的に示している。つまり、図2〜図4に示した楕円の大きさは、ロボットRbt1の位置の内部状態データの不確かさを示しており、楕円の大きさが小さい程、ロボットRbt1の位置が精度良く推定されていることを示している。
以上のようにして、状態更新部31により取得された、ロボットRbt1の時刻tの内部状態データXは、状態推定部3の外部、および、記憶部4に出力される。
状態推定部3の環境地図更新部32では、ランドマーク検出部2から出力されるランドマーク検出信号LMに基づいて、ランドマークの位置に関する内部状態を推定し、推定結果に基づいて、時刻tの環境地図データmを取得する。ここでは、ランドマークLM1についての処理について説明する。
環境地図更新部32は、パーティクルフィルタ処理により、ランドマークLM1の現時刻tの位置に関する内部状態データLM1Pを取得(更新)する。具体的には、環境地図更新部32は、時刻t−1のランドマークLM1の位置に関する内部状態データLM1Pt−1の事後確率分布を現時刻tのランドマークLM1の位置に関する内部状態データLM1Pの事前確率分布とし、現時刻tのランドマークLM1の位置に関する内部状態データLM1Pの事前確率分布から予測処理により現時刻tのランドマークLM1の位置に関する内部状態データLM1Pの予測確率分布を取得する。そして、取得した予測確率分布と実際の観測データ(現時刻tの観測データ)とに基づいて、尤度を算出する。そして、算出した尤度に比例する割合で、粒子(パーティクル)を復元抽出する。このように処理することで、ランドマークLM1の位置に関する内部状態を推定することができる。
なお、現時刻tのランドマークLM1の位置に関する内部状態データLM1Pを取得するために使用される実際の観測データは、例えば、ランドマーク検出信号LMから取得したランドマークLM1の環境地図上の位置、大きさを特定するための情報から導出されたデータである。
また、環境地図更新部32は、ランドマークLM1の位置に関する内部状態を示すデータとして、時刻tにおけるランドマークLM1の分散共分散行列V_mtx(LM1)を取得する。図2〜図4では、分散共分散行列の各要素の値、および/または、分散共分散行列の各要素の値から導出される値に基づいて、その形状、大きさ等が決定される楕円であって、ランドマークLM1の位置の内部状態を取得するためのパーティクルの大部分を含むように設定された楕円を模式的に示している。つまり、図2〜図4に示した楕円の大きさは、ランドマークLM1の位置の内部状態データの不確かさを示しており、楕円の大きさが小さい程、ランドマークLM1の位置が精度良く推定されていることを示している。
環境地図更新部32は、ランドマークLM2についても、上記と同様の処理により、ランドマークLM2の位置に関する内部状態データLM2P、および、分散共分散行列V_mtx(LM2)を取得する。
環境地図更新部32は、上記のように取得したデータにより、時刻tの環境地図データmを取得(更新)する。そして、環境地図更新部32により取得された環境地図データmは、状態推定部3の外部、および、記憶部4に出力される。
(時刻t+1以降の処理):
時刻t+1以降において、上記と同様の処理が繰り返し実行される。
このように処理することで、移動体制御装置1000では、精度の高い、(1)環境地図データm、および、(2)ロボットRbt1の内部状態データXを取得し続けることができる。そして、この高精度のデータを用いることで、ロボットRbt1を適切に制御することができる。
以上のように、移動体制御装置1000では、ランドマーク予測部が、(1)時刻t−1のロボットRbt1の内部状態データXt−1、(2)時刻t−1の環境地図データmt−1、および、(3)時刻t−1のロボットRbt1の制御入力データUt−1に基づいて、時刻tの観測データである画像D1上において、所定のランドマークが存在する確率が高い画像領域を予測し、当該ランドマークの探索処理を行う。このため、移動体制御装置1000では、所定のランドマークを探索するために、従来技術のように、画像D1上の全ての領域を探索する必要がない。その結果、移動体制御装置1000では、所定のランドマークを探索するための処理時間を著しく短縮することができる。これにより、移動体制御装置1000における環境地図データを作成(更新)するための処理時間を短くすることができる。つまり、移動体制御装置1000では、上記処理を行うことにより、効率良く環境地図を作成することができ、高精度な状態推定処理を短い時間で実行することができる。その結果、移動体制御装置1000により、移動体の制御を適切に行うことができる。
なお、上記では、ランドマーク予測部が、現時刻tの1つ前の時刻t−1のデータSTt−1に基づいて、時刻tにおけるランドマークの情報を予測する場合について説明したが、これに限定されることはなく、現時刻tよりも前の過去の複数のデータ(例えば、STt−1、STt−2等)を用いて、時刻tにおけるランドマークの情報を予測するようにしてもよい。
[第2実施形態]
次に、第2実施形態について、説明する。
第2実施形態において、第1実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
<2.1:移動体制御装置の構成>
図6は、第2実施形態に係る移動体制御装置2000の概略構成図である。
図7は、第2実施形態のランドマーク予測部5Aの概略構成図である。
図8は、第2実施形態のランドマーク検出部2Aの概略構成図である。
第2実施形態の移動体制御装置2000では、第1実施形態の移動体制御装置1000において、ランドマーク検出部2をランドマーク検出部2Aに置換し、ランドマーク予測部5をランドマーク予測部5Aに置換した構成を有している。
ランドマーク検出部2Aは、図7に示すように、ランドマーク予測信号生成部51と、環境地図データ信頼度取得部52とを備える。
ランドマーク予測信号生成部51は、記憶部4から読み出された時刻t−1におけるデータSTt−1を入力する。ランドマーク予測信号生成部51は、データSTt−1からランドマーク予測信号Sig_preを生成し、生成したランドマーク予測信号Sig_preをランドマーク検出部2Aに出力する。
環境地図データ信頼度取得部52は、記憶部4から読み出された時刻t−1におけるデータSTt−1を入力する。環境地図データ信頼度取得部52は、環境地図データmt−1から、各ランドマークの情報の信頼度Blf_mを取得し、取得した各ランドマークの情報の信頼度Blf_mをランドマーク検出部2Aに出力する。なお、信頼度Blf_mは、ランドマークごとに取得される。例えば、ランドマークLM1の信頼度Blf_m(LM1)は、ランドマークLM1の分散共分散行列V_mtxt−1(LM1)の対角成分の和、すなわち、ランドマークLM1の時刻t−1におけるx座標位置についての分散値およびランドマークLM1の時刻t−1におけるy座標位置についての分散値の和に対応した値に設定される。なお、ランドマークLMkの信頼度Blf_m(LMk)の算出方法は、上記に限定されることなく、ランドマークの位置の推定精度を表す値を取得する方法であれば、他の方法であってもよい。
ランドマーク検出部2Aは、図8に示すように、ランドマーク初期位置取得部21と、第1比較器22と、ランドマーク探索部23と、を備える。
ランドマーク初期位置取得部21は、ランドマーク予測部5Aから出力されるランドマーク予測信号Sig_preを入力する。ランドマーク初期位置取得部21は、ランドマーク予測信号Sig_preから、画像D1上において、各ランドマークが存在する可能性が高い画像領域を設定するための情報を取得し、取得した情報に基づいて、画像D1上において、各ランドマークを探索するための(画像上の)初期位置を算出する。そして、ランドマーク初期位置取得部21は、算出したランドマークごとの探索処理の初期位置についての情報Init_posをランドマーク探索部23に出力する。
第1比較器22は、ランドマーク予測部5Aから出力される各ランドマークの情報の信頼度Blf_mと、しきい値Th1とを入力とし、両者の大小を比較し、比較結果を示す信号Det1をランドマーク探索部23に出力する。
ランドマーク探索部23は、ランドマーク初期位置取得部21から出力されるランドマークごとの探索処理の初期位置についての情報Init_posと、第1比較器22から出力される比較結果を示す信号Det1とを入力する。ランドマーク探索部23は、比較結果を示す信号Det1に基づいて、ランドマークごとに、(1)ローカル探索処理、あるいは、(2)グローバル探索処理を実行し、各ランドマークの環境地図上の位置(図2、図3に示したxy平面上の座標位置)、大きさを取得する。そして、ランドマーク探索部23は、取得したランドマークの環境地図上の位置、大きさを特定するための情報を含めた信号を、ランドマーク検出信号LMとして、状態推定部3の状態更新部31および環境地図更新部32に出力する。
<2.2:移動体制御装置の動作>
以上のように構成された移動体制御装置2000の動作について、説明する。なお、第1実施形態と同様の部分については、説明を省略する。
ランドマーク予測信号生成部51では、記憶部4から読み出されたデータSTt−1からランドマーク予測信号Sig_preが生成され、生成されたランドマーク予測信号Sig_preは、ランドマーク予測信号生成部51からランドマーク検出部2Aのランドマーク初期位置取得部21に出力される。
環境地図データ信頼度取得部52では、記憶部4から読み出された時刻t−1における環境地図データmt−1から、各ランドマークの情報の信頼度Blf_mが取得され、取得された各ランドマークの情報の信頼度Blf_mは、環境地図データ信頼度取得部52からランドマーク検出部2Aの第1比較器22に出力される。
具体的には、環境地図データ信頼度取得部52では、
(1)ランドマークLM1の信頼度Blf_m(LM1)が、ランドマークLM1の分散共分散行列V_mtxt−1(LM1)の対角成分の和に基づいて、取得され、
(2)ランドマークLM2の信頼度Blf_m(LM2)が、ランドマークLM1の分散共分散行列V_mtxt−1(LM2)の対角成分の和に基づいて、取得される。
なお、説明便宜のため、本実施形態においても、環境地図データが、ランドマークLM1、LM2により構成されている場合について説明する。
ランドマーク検出部2Aのランドマーク初期位置取得部21では、ランドマーク予測部5Aから出力されるランドマーク予測信号Sig_preから、画像D1上において、各ランドマークが存在する可能性が高い画像領域を設定するための情報が取得され、取得された情報に基づいて、画像D1上において、各ランドマークを探索するための(画像上の)初期位置が算出される。そして、算出されたランドマークごとの探索処理の初期位置についての情報Init_posは、ランドマーク初期位置取得部21からランドマーク探索部23に出力される。
第1比較器22では、ランドマーク予測部5Aから出力される各ランドマークの情報の信頼度Blf_mと、しきい値Th1とが入力され、両者の大小が比較される。
具体的には、
(A)ランドマークLM1の信頼度Blf_m(LM1)とTh1とが比較され、
(A1)Blf_m(LM1)<Th1の場合、Det1(LM1)=1に設定され、
(A2)Blf_m(LM1)≧Th1の場合、Det1(LM1)=0に設定される。
(B)ランドマークLM2の信頼度Blf_m(LM2)とTh1とが比較され、
(A1)Blf_m(LM2)<Th1の場合、Det1(LM2)=1に設定され、
(A2)Blf_m(LM2)≧Th1の場合、Det1(LM2)=0に設定される。
そして、上記により取得されたランドマークごとの検出結果を示す信号Det1が、第1比較器22からランドマーク探索部23に出力される。
ランドマーク探索部23では、ランドマーク初期位置取得部21から出力されるランドマークごとの探索処理の初期位置についての情報Init_posと、第1比較器22から出力される比較結果を示す信号Det1とに基づいて、ランドマークごとに、(1)ローカル探索処理、あるいは、(2)グローバル探索処理を実行するかを決定する。
具体的には、ランドマーク探索部23は、以下の(A1)、(A2)、(B1)、(B2)の処理を行う。
(A1)Det1(LM1)=1の場合、ランドマークLM1の推定結果の信頼度が高いと判断できるので、ランドマークLM1については、ローカル探索処理を行う。ここで、「ローカル探索処理」とは、第1実施形態と同様に、ランドマークLMk(k:自然数)が写っている可能性が高い画像領域ARkを設定し、設定した画像領域ARkを探索することで、ランドマークLMk(k:自然数)を検出する処理のことをいう。
(A2)Det1(LM1)=0の場合、ランドマークLM1の推定結果の信頼度が高くないと判断できるので、ランドマークLM1については、グローバル探索処理を行う。ここで、「グローバル探索処理」とは、画像D1上の全ての領域を探索領域に設定し、ランドマークLMk(k:自然数)を検出する処理のことをいう。
(B1)Det1(LM2)=1の場合、ランドマークLM2の推定結果の信頼度が高いと判断できるので、ランドマークLM2については、ローカル探索処理を行う。
(B2)Det1(LM2)=0の場合、ランドマークLM2の推定結果の信頼度が高くないと判断できるので、ランドマークLM2については、グローバル探索処理を行う。
以上の処理により取得した探索処理の結果に基づいて、第1実施形態と同様の処理により、ランドマークLM1、LM2の環境地図上の位置(図2、図3に示したxy平面上の座標位置)、大きさを取得する。そして、ランドマーク探索部23は、取得したランドマークLM1、LM2の環境地図上の位置、大きさを特定するための情報を含めた信号を、ランドマーク検出信号LMとして、状態推定部3の状態更新部31および環境地図更新部32に出力する。
以上のように、移動体制御装置2000では、ランドマークの情報の信頼度に基づいて、ランドマークを検出するための処理を、ローカル探索処理、あるいは、グローバル探索処理にするかを切り替えることができる。そのため、移動体制御装置2000では、ランドマークの情報の信頼度が高い場合は、高速にランドマークを検出することができ、ランドマークの情報の信頼度が高くない場合においても、グローバル探索処理により、ランドマークの発見確率を向上させることができる。
≪第1変形例≫
次に、第2実施形態の第1変形例について、説明する。
本変形例において、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
図9は、第2実施形態の第1変形例に係る移動体制御装置2000Aの概略構成図である。
図10は、第2実施形態の第1変形例のランドマーク予測部5Bの概略構成図である。
図11は、第2実施形態の第1変形例のランドマーク検出部2Bの概略構成図である。
本変形例の移動体制御装置2000Bでは、第2実施形態の移動体制御装置2000において、ランドマーク検出部2Aをランドマーク検出部2Bに置換し、ランドマーク予測部5Aをランドマーク予測部5Bに置換した構成を有している。
ランドマーク予測部5Bは、図10に示すように、ランドマーク予測部5Aにおいて、自己位置信頼度取得部53を追加した構成を有している。
自己位置信頼度取得部53は、記憶部4から読み出された時刻t−1におけるデータSTt−1を入力する。自己位置信頼度取得部53は、ロボットRbt1の内部状態データXt−1から、ロボットRbt1の内部状態データの信頼度Blf_rbtを取得し、取得したロボットRbt1の内部状態データの信頼度Blf_rbtをランドマーク検出部2Aに出力する。なお、信頼度Blf_rbtは、例えば、ロボットRbt1の分散共分散行列V_mtxt−1(Rbt1)の対角成分の和、すなわち、ロボットRbt1の時刻t−1におけるx座標位置についての分散値およびロボットRbt1の時刻t−1におけるy座標位置についての分散値の和に対応した値に設定される。なお、ロボットRbt1の信頼度Blf_rbtの算出方法は、上記に限定されることなく、ロボットRbt1の内部状態データの推定精度を表す値を取得する方法であれば、他の方法であってもよい。
ランドマーク検出部2Bは、図11に示すように、ランドマーク検出部2Aにおいて、ランドマーク探索部23をランドマーク探索部23Aに置換し、ランドマーク検出部2において、第2比較器24と、検出状況取得部25とを追加した構成を有している。
第2比較器24は、ランドマーク予測部5Aの自己位置信頼度取得部53から出力されるロボットRbt1の内部状態データの信頼度Blf_rbtと、しきい値Th2とを入力とし、両者の大小を比較し、比較結果を示す信号Det2をランドマーク探索部23Aに出力する。
ランドマーク探索部23Aは、ランドマーク探索部23において、さらに、第2比較器24から出力される比較結果を示す信号Det2と、検出状況取得部25から出力される信号Det3とを入力する構成を有している。ランドマーク探索部23Aは、ランドマーク探索部23と同様の処理を実行し、さらに、信号Det2および/または信号Det3に基づいて、ランドマークを検出するための処理を、ローカル探索処理、および、グローバル探索処理のいずれにするかを決定する。
検出状況取得部25は、ランドマーク探索部23Aから出力されるランドマーク検出信号LMを入力し、ランドマーク検出信号LMに基づいて、各ランドマークの検出状況を取得する。検出状況取得部25は、例えば、過去の所定の期間において、各ランドマークの検出された回数や各ランドマークの位置に関する情報の推定精度を示す情報を含めた信号を検出信号Det3として生成する。そして、検出状況取得部25は、生成した検出信号Det3をランドマーク探索部23Aに出力する。
以上のように構成された移動体制御装置2000Aの動作について、説明する。なお、移動体制御装置2000と同様の部分については、説明を省略する。
自己位置信頼度取得部53では、ロボットRbt1の内部状態データXt−1から、ロボットRbt1の内部状態データの信頼度Blf_rbtが取得され、取得されたロボットRbt1の内部状態データの信頼度Blf_rbtは、自己位置信頼度取得部53からランドマーク検出部2Bの第2比較器24に出力される。
ランドマーク検出部2Bの第2比較器24では、ランドマーク予測部5Bの自己位置信頼度取得部53から出力されるロボットRbt1の内部状態データの信頼度Blf_rbtと、しきい値Th2とが比較される。
具体的には、
(1)Blf_rbt<Th2の場合、Det2=1に設定され、
(2)Blf_rbt≧Th2の場合、Det2=0に設定される。
そして、上記比較結果を示す信号Det2が、第2比較器24からランドマーク探索部23Aに出力される。
ランドマーク探索部23Aでは、第2実施形態のランドマーク探索部23と同様の処理に加えて、信号Det2に基づいて、ランドマークを検出するための処理を、ローカル探索処理、および、グローバル探索処理のいずれにするかを決定する。
具体的には、ランドマーク探索部23Aは、Det2=0である場合、ロボットRbt1の内部状態データの信頼度が低いと判断し、ランドマークを検出するための処理をグローバル探索処理とする。一方、Det2=1である場合、ランドマーク探索部23Aは、第2実施形態のランドマーク探索部23と同様に、ランドマークごとに、信号Det1に基づいて、ローカル探索処理、および、グローバル探索処理のいずれの処理を実行するか決定し、決定された処理によりランドマークの探索処理を実行する。
さらに、ランドマーク探索部23Aでは、検出信号Det3に基づいて、ランドマークを検出するための処理を、ローカル探索処理、および、グローバル探索処理のいずれにするかを決定してもよい。
ランドマーク探索部23Aでは、検出状況取得部25から出力される各ランドマークの検出状況を示す信号Det3により、過去の所定の期間において、各ランドマークの検出された回数や各ランドマークの位置に関する情報の推定精度を把握することができる。したがって、検出信号Det3により、所定のランドマークが一定期間以上、ランドマーク探索部23Aによる探索処理により発見(検出)されていない場合、ランドマーク探索部23Aは、当該ランドマークについての情報の信頼度が低いと判定し、当該ランドマークについて、グローバル探索処理を実行することを決定し、グローバル探索処理により当該ランドマークの探索処理を実行するようにしてもよい。
なお、本変形例の移動体制御装置2000Aにおいて、検出状況取得部25を省略した構成としてもよい。
以上のように、移動体制御装置2000Aでは、ランドマークの情報の信頼度およびロボットRbt1の内部状態データの信頼度に基づいて、ランドマークを検出するための処理を、ローカル探索処理、あるいは、グローバル探索処理にするかを切り替えることができる。そのため、移動体制御装置2000Aでは、より高い精度で、ランドマークの検出処理を行うことができる。
[他の実施形態]
上記実施形態(変形例を含む。)において、環境地図データを作成するために設定した座標は、図2〜図4に示すようにxy座標であったが、これに限定されることはなく、例えば、極座標等を用いてもよい。また、上記実施形態では、絶対座標を前提として説明したが、これに限定されることはなく、上記実施形態の処理を実行するために、例えば、ロボットRbt1の位置を原点とする相対座標を用いてもよい。
また、上記実施形態(変形例を含む。)では、移動体(ロボットRbt1)の位置、ランドマークの位置が、2次元データ(x座標値、y座標値)により特定される場合について説明したが、これに限定されることはなく、移動体(ロボットRbt1)の位置、ランドマークの位置を、3次元データ(例えば、x座標値、y座標値、z座標値)により特定するようにしてもよい。
また、上記実施形態(変形例を含む。)において、ランドマークLMk(k:自然数)が写っている可能性が高い画像領域ARkを楕円形の領域として説明したが、これに限定されることはない。ランドマークLMk(k:自然数)が写っている可能性が高い画像領域ARkは、他の形状の画像領域(例えば、矩形領域、円形領域等)であってもよい。
また、ランドマーク検出部は、ランドマークLMkの探索処理において、ランドマークLMkを発見したら、探索処理を終了するようにし、それ以上、探索領域として設定した画像領域ARkを探索する処理を実行しないようにしてもよい。このようにすることで、探索処理の高速化を実現することができる。
また、ランドマーク検出部は、ランドマークLMkの探索処理において、ランドマークLMkを発見できなかった場合、探索領域として設定した画像領域ARk以外の画像領域をさらに探索するようにしてもよい。
また、上記実施形態(変形例を含む。)において、ロボットRbt1の位置の推定精度、ランドマークの位置の推定精度を、分散共分散行列を用いて取得する場合について説明したが、ロボットRbt1の位置の推定精度、ランドマークの位置の推定精度を、位置のばらつきを示す他の指標により取得するようにしてもよい。
また、上記実施形態(変形例を含む。)において、ロボットRbt1の位置の推定精度、ランドマークの位置の推定精度を、分散共分散行列の対角成分(x座標値の分散値とy座標値の分散値に相当する成分)を用いて取得する場合について説明したが、これに限定されることはなく、例えば、分散共分散行列の一部または全ての要素を用いて、ロボットRbt1の位置の推定精度、ランドマークの位置の推定精度の指標となる値を算出するようにしてもよい。
また、上記実施形態(変形例を含む。)では、ロボットRbt1の位置の推定処理、および、ランドマークの位置の推定処理において、パーティクルフィルタを用いた場合を例に説明したが、これに限定されることはなく、カルマンフィルタ等の他の時系列フィルタを用いて処理を実行してもよい。また、パーティクルのリサンプリングにおいて、ランダムウォークのダイナミクスを仮定したガウシアンノイズ(ガウス分布に従うノイズ)を重畳させることで、予測処理後のパーティクルの集合を取得することを想定しているが、これに限定されることはなく、ガウス分布以外の分布に従うノイズを重畳させることで、予測処理後のパーティクルの集合を取得するようにしてもよい。
上記実施形態および変形例を組み合わせて移動体制御装置を構成するようにしてもよい。
また、上記実施形態で説明した状態推定装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)、マイクロプロセッサ、プロセッサ等により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
1000、2000、2000A 移動体制御装置
1 観測取得部
2、2A、2B ランドマーク検出部
25 検出状況取得部
3 状態推定部
4 記憶部
5、5A、5B ランドマーク予測部

Claims (8)

  1. ランドマークの情報を用いて表現される環境地図の作成処理と、自己の内部状態の推定処理とを実行しながら、移動する移動体を制御するための移動体制御装置であって、
    観測可能な事象から得られる観測データを取得する観測取得部と、
    現時刻よりも前の時刻における前記移動体の内部状態を示す内部状態データおよび環境地図データに基づいて、現時刻におけるランドマークの情報を予測した情報を含むランドマーク予測信号を生成するランドマーク予測部と、
    前記ランドマーク予測部により生成された前記ランドマーク予測信号に基づいて、現時刻におけるランドマークの情報を検出し、検出結果を示すランドマーク検出信号を取得するランドマーク検出部と、
    前記観測取得部により取得された前記観測データと、前記ランドマーク検出信号とに基づいて、前記移動体の内部状態を推定することで、現時刻の自己内部状態推定データを取得するとともに、前記ランドマーク検出信号に基づいて、前記環境地図を推定することで、現時刻の推定環境地図データを取得する状態推定部と、
    を備える移動体制御装置。
  2. 前記観測データは、前記移動体から、前記移動体の周りの環境を撮像した画像データであり、
    前記ランドマーク予測部は、
    現時刻よりも前の時刻における前記移動体の内部状態を示す内部状態データおよび環境地図データに基づいて、現時刻において取得された前記画像データにより形成される画像上において、前記ランドマークが存在すると予測される画像領域である予測画像領域を算出し、算出した予測画像領域についての情報を含む前記ランドマーク予測信号を生成し、
    前記ランドマーク検出部は、
    前記ランドマーク予測部により算出された前記予測画像領域の中心領域に含まれる画像上の画素位置を探索の初期位置として、現時刻の前記画像データにより形成される画像の前記予測画像領域内を、前記初期位置からの画像上の距離が大きくなるように、探索することで、前記ランドマークに相当する画像領域を検出する処理であるローカル探索処理を実行する、
    請求項1に記載の移動体制御装置。
  3. ランドマーク予測部は、
    現時刻よりも前の時刻において取得した前記ランドマークの位置情報の推定精度の情報を、前記ランドマーク予測信号に含め、
    前記ランドマーク検出部は、
    前記ランドマーク予測信号に基づいて、現時刻よりも前の時刻において取得した前記ランドマークの位置情報の推定精度が所定の値よりも低いと判定した場合、現時刻の前記画像データにより形成される画像内を探索することで、前記ランドマークに相当する画像領域を検出する処理であるグローバル探索処理を実行する、
    請求項2に記載の移動体制御装置。
  4. ランドマーク予測部は、
    現時刻よりも前の時刻において取得した前記移動体の内部状態データの推定精度の情報を、前記ランドマーク予測信号に含め、
    前記ランドマーク検出部は、
    前記ランドマーク予測信号に基づいて、現時刻よりも前の時刻において取得した前記移動体の内部状態データの推定精度が所定の値よりも低いと判定した場合、現時刻の前記画像データにより形成される画像内を探索することで、前記ランドマークに相当する画像領域を検出する処理であるグローバル探索処理を実行する、
    請求項2または3に記載の移動体制御装置。
  5. 前記ランドマーク検出部は、
    所定の期間において、前記ランドマークの探索処理において、前記ランドマークを発見した回数であるランドマーク発見回数値を保持する検出状況取得部を備え、
    前記ランドマーク検出部は、
    前記検出状況取得部に保持されている前記ランドマーク発見回数値が所定の値よりも大きい場合、前記ローカル探索処理を実行する、
    請求項2から4のいずれかに記載の移動体制御装置。
  6. 前記ランドマーク検出部は、
    所定の期間において、前記ランドマークの探索処理において、前記ランドマークを発見されたか否かを示す情報であるランドマーク発見情報を保持する検出状況取得部を備え、
    前記ランドマーク検出部は、
    前記検出状況取得部に保持されている前記ランドマーク発見情報に基づいて、前記ランドマークが所定の期間発見されなかった場合、現時刻の前記画像データにより形成される画像内を探索することで、前記ランドマークに相当する画像領域を検出する処理であるグローバル探索処理を実行する、
    請求項2から4のいずれかに記載の移動体制御装置。
  7. ランドマークの情報を用いて表現される環境地図の作成処理と、自己の内部状態の推定処理とを実行しながら、移動する移動体を制御するための移動体制御方法をコンピュータに実行させるためのプログラムであって、
    観測可能な事象から得られる観測データを取得する観測取得ステップと、
    現時刻よりも前の時刻における前記移動体の内部状態を示す内部状態データおよび環境地図データに基づいて、現時刻におけるランドマークの情報を予測した情報を含むランドマーク予測信号を生成するランドマーク予測ステップと、
    前記ランドマーク予測ステップにより生成された前記ランドマーク予測信号に基づいて、現時刻におけるランドマークの情報を検出し、検出結果を示すランドマーク検出信号を取得するランドマーク検出ステップと、
    前記観測取得ステップにより取得された前記観測データと、前記ランドマーク検出信号とに基づいて、前記移動体の内部状態を推定することで、現時刻の自己内部状態推定データを取得するとともに、前記ランドマーク検出信号に基づいて、前記環境地図を推定することで、現時刻の推定環境地図データを取得する状態推定ステップと、
    を備える移動体制御方法をコンピュータに実行させるためのプログラム。
  8. ランドマークの情報を用いて表現される環境地図の作成処理と、自己の内部状態の推定処理とを実行しながら、移動する移動体を制御するための移動体制御装置に用いられる集積回路であって、
    観測可能な事象から得られる観測データを取得する観測取得部と、
    現時刻よりも前の時刻における前記移動体の内部状態を示す内部状態データおよび環境地図データに基づいて、現時刻におけるランドマークの情報を予測した情報を含むランドマーク予測信号を生成するランドマーク予測部と、
    前記ランドマーク予測部により生成された前記ランドマーク予測信号に基づいて、現時刻におけるランドマークの情報を検出し、検出結果を示すランドマーク検出信号を取得するランドマーク検出部と、
    前記観測取得部により取得された前記観測データと、前記ランドマーク検出信号とに基づいて、前記移動体の内部状態を推定することで、現時刻の自己内部状態推定データを取得するとともに、前記ランドマーク検出信号に基づいて、前記環境地図を推定することで、現時刻の推定環境地図データを取得する状態推定部と、
    を備える集積回路。
JP2015059367A 2015-03-23 2015-03-23 移動体制御装置、プログラムおよび集積回路 Active JP6651295B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015059367A JP6651295B2 (ja) 2015-03-23 2015-03-23 移動体制御装置、プログラムおよび集積回路
EP16156691.4A EP3098682B1 (en) 2015-03-23 2016-02-22 Moving object controller, program, and integrated circuit
US15/076,813 US9958868B2 (en) 2015-03-23 2016-03-22 Moving object controller, moving object control method, and integrated circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015059367A JP6651295B2 (ja) 2015-03-23 2015-03-23 移動体制御装置、プログラムおよび集積回路

Publications (3)

Publication Number Publication Date
JP2016177749A true JP2016177749A (ja) 2016-10-06
JP2016177749A5 JP2016177749A5 (ja) 2018-05-31
JP6651295B2 JP6651295B2 (ja) 2020-02-19

Family

ID=55409773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015059367A Active JP6651295B2 (ja) 2015-03-23 2015-03-23 移動体制御装置、プログラムおよび集積回路

Country Status (3)

Country Link
US (1) US9958868B2 (ja)
EP (1) EP3098682B1 (ja)
JP (1) JP6651295B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213275A1 (ja) * 2019-04-15 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
KR20210116576A (ko) * 2019-04-12 2021-09-27 아미크로 세미컨덕터 씨오., 엘티디. 시각적 로봇 기반의 과거 지도 이용 방법
JP2024058874A (ja) * 2022-10-17 2024-04-30 トヨタ自動車株式会社 移動体制御システム及び移動体制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815846B (zh) * 2018-12-29 2021-08-27 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和电子装置
JP7622641B2 (ja) * 2019-11-29 2025-01-28 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0953939A (ja) * 1995-08-18 1997-02-25 Fujitsu Ltd 自走車の自己位置測定装置および自己位置測定方法
JP2005318546A (ja) * 2004-03-29 2005-11-10 Fuji Photo Film Co Ltd 画像認識システム、画像認識方法、及び画像認識プログラム
JP2009009209A (ja) * 2007-06-26 2009-01-15 Nippon Soken Inc 画像認識装置および画像認識処理方法
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
WO2014055278A1 (en) * 2012-10-01 2014-04-10 Irobot Corporation Adaptive mapping with spatial summaries of sensor data

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144685A (en) * 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
KR100776215B1 (ko) 2005-01-25 2007-11-16 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
KR100785784B1 (ko) 2006-07-27 2007-12-13 한국전자통신연구원 인공표식과 오도메트리를 결합한 실시간 위치산출 시스템및 방법
KR100809352B1 (ko) 2006-11-16 2008-03-05 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
JP5444952B2 (ja) 2009-08-28 2014-03-19 富士通株式会社 センサフュージョンによる地図の自動生成、およびそのように自動生成された地図を用いて移動体の移動をするための、装置、方法、ならびにプログラム
JP5490911B2 (ja) * 2009-10-30 2014-05-14 ユージン ロボット シーオー., エルティーディー. 移動ロボットの位置認識のための地図生成および更新方法
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
FR3004570B1 (fr) * 2013-04-11 2016-09-02 Aldebaran Robotics Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0953939A (ja) * 1995-08-18 1997-02-25 Fujitsu Ltd 自走車の自己位置測定装置および自己位置測定方法
JP2005318546A (ja) * 2004-03-29 2005-11-10 Fuji Photo Film Co Ltd 画像認識システム、画像認識方法、及び画像認識プログラム
JP2009009209A (ja) * 2007-06-26 2009-01-15 Nippon Soken Inc 画像認識装置および画像認識処理方法
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
WO2014055278A1 (en) * 2012-10-01 2014-04-10 Irobot Corporation Adaptive mapping with spatial summaries of sensor data

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210116576A (ko) * 2019-04-12 2021-09-27 아미크로 세미컨덕터 씨오., 엘티디. 시각적 로봇 기반의 과거 지도 이용 방법
JP2022528861A (ja) * 2019-04-12 2022-06-16 珠海一微半導体股▲ふん▼有限公司 視覚ロボットに基づく履歴地図利用方法
US11928869B2 (en) 2019-04-12 2024-03-12 Amicro Semiconductor Co., Ltd. Historical map utilization method based on vision robot
KR102693581B1 (ko) * 2019-04-12 2024-08-08 아미크로 세미컨덕터 씨오., 엘티디. 시각적 로봇 기반의 과거 지도 이용 방법
WO2020213275A1 (ja) * 2019-04-15 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11906970B2 (en) 2019-04-15 2024-02-20 Sony Group Corporation Information processing device and information processing method
JP2024058874A (ja) * 2022-10-17 2024-04-30 トヨタ自動車株式会社 移動体制御システム及び移動体制御方法
JP7616189B2 (ja) 2022-10-17 2025-01-17 トヨタ自動車株式会社 移動体制御システム及び移動体制御方法

Also Published As

Publication number Publication date
US20160282876A1 (en) 2016-09-29
EP3098682A1 (en) 2016-11-30
US9958868B2 (en) 2018-05-01
JP6651295B2 (ja) 2020-02-19
EP3098682B1 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
CN111442722B (zh) 定位方法、装置、存储介质及电子设备
CN110243360B (zh) 机器人在运动区域的地图构建及定位方法
CN108319655B (zh) 用于生成栅格地图的方法和装置
US10748061B2 (en) Simultaneous localization and mapping with reinforcement learning
CA2890717C (en) Three-dimensional object recognition device and three-dimensional object recognition method
JP5803367B2 (ja) 自己位置推定装置、自己位置推定方法およびプログラム
JP6651295B2 (ja) 移動体制御装置、プログラムおよび集積回路
EP3427008A1 (en) Laser scanner with real-time, online ego-motion estimation
JP2016045150A (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
US11822340B2 (en) Method and system for obstacle avoidance in robot path planning using depth sensors
US10902610B2 (en) Moving object controller, landmark, and moving object control method
CN111380515B (zh) 定位方法及装置、存储介质、电子装置
CN112327326A (zh) 带有障碍物三维信息的二维地图生成方法、系统以及终端
KR20210046217A (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
KR101280392B1 (ko) Slam 기술 기반 이동 로봇의 지도를 관리하기 위한 장치 및 그 방법
CA2894863A1 (en) Indoor localization using crowdsourced data
Emaduddin et al. Accurate floor detection and segmentation for indoor navigation using RGB+ D and stereo cameras
CN117115407A (zh) 斜坡检测方法、装置、计算机设备和存储介质
CN110832280A (zh) 地图处理方法、设备、计算机可读存储介质
JP2017111473A (ja) 地図作成方法
CN114510031A (zh) 机器人视觉导航方法、装置、机器人及存储介质
KR20230029981A (ko) 포즈 결정을 위한 시스템 및 방법
CN110823225A (zh) 室内动态情景下的定位方法和装置
Tamjidi et al. A pose estimation method for unmanned ground vehicles in GPS denied environments
Papakis A Bayesian Framework for Multi-Stage Robot, Map and Target Localization

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191106

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200122

R150 Certificate of patent or registration of utility model

Ref document number: 6651295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250