JP7038232B2 - 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 - Google Patents
案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 Download PDFInfo
- Publication number
- JP7038232B2 JP7038232B2 JP2020561151A JP2020561151A JP7038232B2 JP 7038232 B2 JP7038232 B2 JP 7038232B2 JP 2020561151 A JP2020561151 A JP 2020561151A JP 2020561151 A JP2020561151 A JP 2020561151A JP 7038232 B2 JP7038232 B2 JP 7038232B2
- Authority
- JP
- Japan
- Prior art keywords
- guidance
- user
- robot
- data
- dynamic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 132
- 230000008859 change Effects 0.000 claims description 148
- 230000007613 environmental effect Effects 0.000 claims description 125
- 230000033001 locomotion Effects 0.000 claims description 51
- 230000008451 emotion Effects 0.000 description 130
- 230000008569 process Effects 0.000 description 117
- 230000003068 static effect Effects 0.000 description 106
- 238000011156 evaluation Methods 0.000 description 70
- 230000006399 behavior Effects 0.000 description 54
- 238000012545 processing Methods 0.000 description 46
- 230000009471 action Effects 0.000 description 32
- 238000013500 data storage Methods 0.000 description 31
- 230000002996 emotional effect Effects 0.000 description 21
- 239000000758 substrate Substances 0.000 description 10
- 230000008921 facial expression Effects 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000004424 eye movement Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035900 sweating Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0003—Home robots, i.e. small robots for domestic use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
- B25J13/089—Determining the position of the robot with reference to its environment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、利用者とともに移動して、利用者を目的地まで案内するロボットを制御する案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法に関する。
従来、自律移動型のロボットを利用者とともに移動させて、利用者を案内する案内システムが提案されている。この種の案内システムとしては、ロボットに搭載したカメラ等の検出手段によって、利用者の歩行速度、移動方向を認識し、その認識結果に基づいて、ロボットの移動を制御するものが知られている(例えば、特許文献1参照)。
ところで、特許文献1の案内システムは、ロボットが案内される利用者を置き去りにしてしまうこと等を防止するために、利用者の歩行速度、移動方向に基づいて、ロボットの移動(ひいては、位置)を制御している。
しかし、パーソナルスペースは利用者ごとに異なるものであるので、そのようにして決定された位置が、利用者によっては不快な位置になり、利用者がストレスを感じてしまうおそれがあった。
本発明は以上の点に鑑みてなされたものであり、利用者がストレスなく案内を受けることができる案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法を提供することを目的とする。
本発明の案内ロボット制御装置は、
利用者とともに移動して前記利用者を目的地まで案内するロボットを制御する案内ロボット制御装置であって、
前記利用者に対する前記ロボットの相対位置を認識する相対位置認識部と、
前記ロボットが案内を開始した後に前記利用者が移動を開始したときの前記相対位置に基づいて、案内中における前記相対位置の目標になる目標位置を決定する目標位置決定部とを備えていることを特徴とする。
利用者とともに移動して前記利用者を目的地まで案内するロボットを制御する案内ロボット制御装置であって、
前記利用者に対する前記ロボットの相対位置を認識する相対位置認識部と、
前記ロボットが案内を開始した後に前記利用者が移動を開始したときの前記相対位置に基づいて、案内中における前記相対位置の目標になる目標位置を決定する目標位置決定部とを備えていることを特徴とする。
ここで、「相対位置」とは、利用者からロボットの距離のみ、又は、利用者に対してロボットが位置する方向のみをさす場合もあり、曲がる際等における相対位置の変化の度合いを指す場合も含む。
また、ここで、「方向」とは、利用者及びロボットの移動面に平行な面における利用者に対するロボットの方向を指す。例えば、利用者及びロボットが平地を移動している場合には、平面視において、利用者の身体の中心とロボットの中心とを通る線の、利用者の身体の中心を通り前後方向に延びる線(矢状面に含まれる線)に対する傾き(角度)を指す。
本件発明者は、鋭意研究の結果、利用者が移動を開始したときにおける利用者に対するロボットの位置は、利用者にとってストレスの少ないものであるという知見を得た。そして、この本発明の案内ロボット制御装置では、ロボットが案内を開始した後に前記利用者が移動を開始したとき(すなわち、案内開始時)に認識された相対位置に基づいて目標位置を決定している。これにより、その目標位置は利用者がストレスを感じにくい位置になる。
したがって、本発明の案内ロボット制御装置によれば、利用者がストレスを感じにくい位置が目標位置になるので、利用者がストレスなく案内を受けることができるようになる。
また、本発明の案内ロボット制御装置においては、
前記相対位置認識部は、前記ロボットが案内を開始した後に前記利用者が移動を開始したときから所定の第1時間が経過するまでの期間である基準位置決定期間中に、前記相対位置を逐次認識し、
前記目標位置決定部は、前記基準位置決定期間中に、前記相対位置の変動量が所定の値以下になる状態が所定の第2時間以上継続された場合に、該所定の第2時間中における前記相対位置に基づいて、前記目標位置を決定することが好ましい。
前記相対位置認識部は、前記ロボットが案内を開始した後に前記利用者が移動を開始したときから所定の第1時間が経過するまでの期間である基準位置決定期間中に、前記相対位置を逐次認識し、
前記目標位置決定部は、前記基準位置決定期間中に、前記相対位置の変動量が所定の値以下になる状態が所定の第2時間以上継続された場合に、該所定の第2時間中における前記相対位置に基づいて、前記目標位置を決定することが好ましい。
ロボットが案内を開始した後に利用者が移動を開始したときにおける歩き出しのタイミングは、同じ利用者によっても異なるおそれがある。例えば、ロボットによる案内の開始を見逃した場合等には、当然のことながら歩き出しのタイミングは遅くなってしまう。その結果、案内開始時において認識された相対位置が、本来好ましいとされる相対位置とは異なってしまうおそれがある。
そこで、このように、所定の期間の間に認識された相対位置、及び、その変動量を基準として、目標位置を決定するようにすると、そのような歩き出しのタイミングの変化による影響を抑制して、適切な目標位置を決定することができる。これにより、利用者がさらにストレスなく案内を受けることができるようになる。
また、本発明の案内ロボット制御装置においては、
経時的に変化する案内領域に関する情報である環境動的データを認識する環境動的データ認識部を備え、
前記目標位置決定部は、前記ロボットが案内を開始した後に前記利用者が移動を開始したときの前記相対位置、及び、前記環境動的データに基づいて、前記目標位置を決定することが好ましい。
経時的に変化する案内領域に関する情報である環境動的データを認識する環境動的データ認識部を備え、
前記目標位置決定部は、前記ロボットが案内を開始した後に前記利用者が移動を開始したときの前記相対位置、及び、前記環境動的データに基づいて、前記目標位置を決定することが好ましい。
ここで、「環境動的データ」とは、案内領域の環境に関するデータのうち、経時的に変化するもの(例えば、案内中に変化するもの)に関するデータを指す。例えば、案内領域内における混雑の度合いといった事象等が挙げられる。
案内領域の環境(例えば、混雑の度合い)によっては、もともと利用者が好ましいと考えている位置とは異なる位置が、利用者にとってストレスを感じにくい位置になることがある。
例えば、案内領域が非常に混雑している場合には、利用者とロボットとの距離が離れすぎていると利用者が不安を感じてしまうので、通常の状態で利用者が好ましいと思っている距離よりも近い位置が、利用者にとってストレスを感じにくい位置になる場合がある。
そこで、このように、環境動的データを参照して目標位置を決定するようにすると、目標位置を利用者にとってさらに適切なものにすることができる。これにより、案内される利用者がさらにストレスなく案内を受けることができるようになる。
また、本発明の案内ロボット制御装置においては、環境動的データを参照して目標位置を決定する構成の場合、
前記環境動的データ認識部は、前記環境動的データを逐次認識し、
前記目標位置決定部は、前記環境動的データが認識された際に、改めて前記目標位置を決定することが好ましい。
前記環境動的データ認識部は、前記環境動的データを逐次認識し、
前記目標位置決定部は、前記環境動的データが認識された際に、改めて前記目標位置を決定することが好ましい。
このように構成すると、時々刻々と変化する案内領域の環境を逐次把握して、適切な目標位置を決定することができる。これにより、利用者がさらにストレスなく案内を受けることができるようになる。
また、本発明の案内ロボット制御装置においては、
前記ロボットに対し、決定された前記目標位置に基づいて、前記利用者への前記相対位置の変更の可否を問う問い合わせ情報の報知の指示を行う報知指示部と、
前記指示に基づく報知に対する前記利用者の反応を認識する反応認識部とを備え、
前記目標位置決定部は、前記反応に基づいて、前記相対位置の変更を行うか否かを決定することが好ましい。
前記ロボットに対し、決定された前記目標位置に基づいて、前記利用者への前記相対位置の変更の可否を問う問い合わせ情報の報知の指示を行う報知指示部と、
前記指示に基づく報知に対する前記利用者の反応を認識する反応認識部とを備え、
前記目標位置決定部は、前記反応に基づいて、前記相対位置の変更を行うか否かを決定することが好ましい。
このように構成すると、利用者に対するロボットの位置が突然変更されることがなくなる。これにより、利用者がさらにストレスなく案内を受けることができるようになる。
また、本発明の案内システムは、
利用者とともに移動して前記利用者を目的地まで案内するロボットと、
上記いずれかの案内ロボット制御装置とを備え、
前記案内ロボット制御装置は、前記相対位置が前記目標位置になるように、前記ロボットの移動を制御するロボット制御部を有していることを特徴とする。
利用者とともに移動して前記利用者を目的地まで案内するロボットと、
上記いずれかの案内ロボット制御装置とを備え、
前記案内ロボット制御装置は、前記相対位置が前記目標位置になるように、前記ロボットの移動を制御するロボット制御部を有していることを特徴とする。
また、本発明の案内ロボット制御方法は、
利用者とともに移動して前記利用者を目的地まで案内するロボットを制御する案内ロボット制御方法であって、
相対位置認識部が、前記利用者に対する前記ロボットの相対位置を認識するステップと、
目標位置決定部が、前記ロボットが案内を開始した後に前記利用者が移動を開始したときの前記相対位置に基づいて、案内中における前記相対位置の目標になる目標位置を決定するステップとを備えていることを特徴とする。
利用者とともに移動して前記利用者を目的地まで案内するロボットを制御する案内ロボット制御方法であって、
相対位置認識部が、前記利用者に対する前記ロボットの相対位置を認識するステップと、
目標位置決定部が、前記ロボットが案内を開始した後に前記利用者が移動を開始したときの前記相対位置に基づいて、案内中における前記相対位置の目標になる目標位置を決定するステップとを備えていることを特徴とする。
以下、図面を参照して、実施形態に係る案内システムSの構成について説明する。
なお、以下の説明においては、利用者がロボットに案内される領域である案内領域を空港とし、本発明の案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法を、空港内で利用者を案内するためのシステムに適用した場合について説明している。
しかし、本発明の案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法は、利用者とともに移動して利用者を目的地まで案内するロボットを用いて案内を行うためのシステムであれば、空港以外の案内領域に用いられるシステムにも適用し得るものである。
まず、図1~図6を参照して、案内システムSの概略構成について説明する。
図1に示すように、案内システムSは、受付端末1と、利用者とともに移動して利用者を目的地まで案内する複数のロボット2と、案内領域である空港内の複数個所に設置された受付端末1(図7参照)、ロボット2、及び、案内領域内に設置された監視カメラ等で構成された監視システム4(図1では不図示。図3参照。)からの情報を受信するとともに、その情報に基づいてロボット2を制御するサーバ3(案内ロボット制御装置)とを備えている。
なお、本実施形態では理解を容易にするために、受付端末1が案内領域である空港に設置され、また、複数のロボット2が運用されているものとしている。しかし、本発明の案内システムはこのような構成に限定されるものではない。例えば、受付端末1に代わり、利用者の携帯端末(例えば、スマートフォン、タブレット等)を用いてもよいし、それらを併用してもよい。
また、受付端末の数、ロボットの数は、案内領域の性質(広さ、利用者の数等)に応じて、適宜設定してよい。例えば、案内領域が小規模な施設の場合には、それぞれ1台ずつ設けてもよいし、ロボットを1台だけ設置して、受付端末に代わり利用者の携帯端末のみを用いてもよい。
受付端末1は、利用者が案内領域において利用を希望する旨の申請を受け付けるための端末である。
図2に示すように、受付端末1は、第1タッチパネル1a、キーボード1b、第1マイク1c、第1スピーカ1d、及び、第1カメラ1eを備えている。受付端末1では、第1タッチパネル1a、キーボード1b、及び、第1マイク1cによって入力部が構成され、第1タッチパネル1a、及び、第1スピーカ1dによって出力部が構成さている。
利用者は、受付端末1の入力部を介して、目的地、目的地への到着希望時間を入力するとともに、その出力部に表示されたアンケートに対する回答を行う。アンケートの内容としては、例えば、氏名、年齢、性別、持病、障害の有無、妊娠しているか否か、同行者の有無、過去の利用履歴、案内領域に到着するまでの利用者の経路等が挙げられる。この入力及び回答の際には、第1カメラ1eによって、利用者が撮影される。
なお、これらの情報は、利用者の有する端末(例えば、パソコン、スマートフォン、タブレット等)を介して、案内領域の到着前、飛行機の予約の際等に入力されるようにしてもよい。
また、受付端末1及び利用者の有する端末を併用して、情報ごとに異なるタイミングで入力されるようにしてもよい。具体的には、例えば、航空機への搭乗券に、利用者の氏名、利用する便、搭乗口、搭乗時刻等の情報を示すバーコードを記載しておき、利用者が、受付端末1に備え付けられているバーコードリーダ、利用者の有する端末に搭載されているカメラ等よって、そのバーコードを読み取らせて、情報を入力するようにしてもよい。
図3に示すように、ロボット2は、いわゆる倒立振子型車両として構成されている。ロボット2は、下部基体20と、下部基体20に設けられ、路面上を移動可能な移動動作部21と、下部基体20に対してヨー軸周りに回動自在な上部基体22とを備えている。ロボット2は、移動動作部21により、路面上を全方向(任意の方向)に移動し得るように構成されている。
下部基体20の内部には、後述する移動動作部21の芯体21aを回転駆動する第1アクチュエータ20aと、後述する移動動作部21の各ローラ21bを回転駆動する第2アクチュエータ20bと、上部基体22を回動する第3アクチュエータ20cが搭載されている。これらのアクチュエータは、電動モータ、油圧アクチュエータ等の既知の構造のものを用いて構成されている。
また、第1アクチュエータ20a、第2アクチュエータ20b、及び、第3アクチュエータ20cは、それぞれ、図示を省略する動力伝達機構を介して芯体21a、各ローラ21b、及び、上部基体22に駆動力を付与する。この動力伝達機構は、既知の構造のものを用いて構成されている。
移動動作部21は、円環状の芯体21aと、この芯体21aの円周方向(軸心周り方向)に等角度間隔で並ぶようにして、芯体21aに外挿された複数の円環状のローラ21bとを有している。図3では、一部のローラ21bだけが代表的に図示されている。
各ローラ21bは、芯体21aの軸心周りに、芯体21aと一体に回転可能になっている。また、各ローラ21bは、各ローラ21bの配置位置における芯体21aの横断面の中心軸(芯体21aの軸心を中心とする円周の接線方向の軸)周りに回転可能になっている。
このように構成されている移動動作部21は、その下部のローラ21bを、ロボット2の移動環境の路面(床面、地面等)に接地させた状態で、芯体21aをその軸心周りに回転駆動すること、及び、各ローラ21bをその軸心周りに回転駆動することの一方又は両方を行うことで、路面上を全方向に移動することが可能になっている。
上部基体22は、第2タッチパネル22a、第2マイク22b、及び、第2スピーカ22cを備えている。上部基体22では、第2タッチパネル22a、及び、第2マイク22bによって入力部が構成され、第2タッチパネル22a、及び、第2スピーカ22cによって出力部が構成されている。
上部基体22では、その出力部を介して、利用者に対し案内内容の変更が提示される。また、利用者によって、その入力部を介して、その提案に対する回答、及び、案内内容の変更の要求が入力される。
また、上部基体22には、第2カメラ22dが設けられている。この第2カメラ22dによって、利用者、並びに、利用者及びロボット2の周辺の環境が撮影される。
また、図3での図示は省略したが、図4に示すように、ロボット2には、利用者からの指令、ロボット2の動作状態又は外界状態(周辺環境)等を取得するための各種センサ類と、ロボット2の動作制御のための構成要素として、CPU、RAM、ROM、インターフェース回路等を含む電子回路ユニットにより構成された制御装置23と、サーバ3と制御装置23との間の無線通信を行うための通信装置24とが搭載されている。
ロボット2に搭載されているセンサ類には、利用者からの指令を受け付けるための第2タッチパネル22a及び第2マイク22b、ロボット2の周辺環境に存在する物体(人、移動物体、設置物等)を認識するための外界認識センサとしての第2カメラ22dが含まれる。
なお、外界認識センサは、案内中におけるロボット2の周辺環境、並びに、利用者の挙動及び生体情報の少なくとも一方を認識し得るものであればよい。そのため、外界認識センサとしては、第2カメラ22dの代わりに、又は、第2カメラ22dに加えて、例えば、レーザ・レンジ・ファインダー等の測距センサ、又は、レーダ装置等も使用し得る。
また、ロボット2が、ロボット2の挙動を制御するためのセンサ(例えば、進行方向を撮影するためのカメラ等)を、第2カメラ22dとは独立して、別途備えている場合には、そのセンサも、第2カメラ22dの代わりに、又は、第2カメラ22dに加えて、外界認識センサとして使用し得る。
ここで、「案内中」とは、具体的には、案内開始時から案内終了時までの期間中を指す。また、「案内開始前」とは、ロボット2による案内が実行される前の段階を指す。例えば、受付端末1に利用者が入力を行っているときから、又は、案内領域に利用者が到着したときから利用者とロボット2とが合流する前までの期間も含む。
利用者の挙動としては、利用者の移動速度、利用者の姿勢、利用者の表情、利用者の発声、及び、利用者の身体の所定の部位の動作の少なくとも1つを含むものを指す。また、利用者の生体情報としては、利用者の体温、利用者の発汗状態、並びに、利用者の体温、利用者の発汗状態、及び、利用者の挙動の少なくとも1つに基づいて推定された利用者の感情の少なくとも1つを含むものを指す。
また、センサ類には、図3での図示は省略したが、ロボット2の加速度を検出するための加速度センサ25、ロボット2の自己位置、及び、そのロボット2に案内されている利用者の位置を検出するための位置センサ26等も含まれる。
第2タッチパネル22a、第2マイク22b、加速度センサ25、及び、位置センサ26等の出力(検出データ)は、制御装置23に入力される。
制御装置23は、実装されるハードウェア構成又はプログラム(ソフトウェア構成)により実現される機能として、第1アクチュエータ20a、第2アクチュエータ20b、及び、第3アクチュエータ20cの動作制御(ひいては、移動動作部21の移動制御、及び、上部基体22の回動制御)を行う機能、並びに、第2タッチパネル22a及び第2スピーカ22cの出力制御を行う機能を有するように構成されている。
通信装置24は、センサ類の出力(検出データ)、及び、制御装置23の制御内容を、サーバ3に送信する。また、通信装置24は、サーバ3からの指令を受信する。
図5に示すように、サーバ3は、実装されたハードウェア構成又はプログラムにより実現される機能として、データ認識部3aと、相対位置認識部3bと、案内要求推定部3cと、要求推定データ格納部3dと、マップ格納部3eと、案内行動決定部3fと、優先度格納部3gと、報知指示部3hと、反応認識部3iと、ロボット制御部3jと、感情推定部3kと、評価データ格納部3lとを備えている。
データ認識部3aは、受付端末1、ロボット2、及び、監視システム4を介して収集された情報に基づいて、案内開始前及び案内中における利用者及び案内領域に関するデータを認識する。
具体的には、データ認識部3aは、受付端末1又はロボット2が撮影した画像及び取得した音声に基づいて、利用者動的データ認識部3a1で、経時的に変化する利用者に関する情報である利用者動的データを認識する。
ここで、「利用者動的データ」とは、利用者に関するデータのうち、経時的に変化するもの(例えば、案内中に変化するもの)に関するデータを指す。具体的には、利用者の挙動、生体情報等が挙げられる。
利用者動的データ認識部3a1は、認識した利用者動的データが案内内容の変更、又は、感情推定のトリガーになるような所定の利用者動的データであるか否かの判定も行う。
また、データ認識部3aは、受付端末1に利用者が入力した内容、及び、受付端末1を介して提示したアンケートに対する回答に基づいて、利用者静的データ認識部3a2で、経時的に変化しない利用者に関する情報である利用者静的データを認識する。
ここで、「利用者静的データ」とは、利用者に関するデータのうち、経時的に変化しないもの(例えば、案内中に変化しないもの)に関するデータを指す。例えば、氏名、年齢、性別、持病、障害の有無、妊娠しているか否か、同行者の有無等の利用者の属性に関する情報、利用者が案内を要求する目的地への到着時間、利用者に対する過去の案内履歴、案内領域に到着するまでの利用者の経路等の利用者の行動に関するデータのうち今後の利用者の行動によって変化しないもの等が挙げられる。
また、データ認識部3aは、ロボット2が撮影した画像及び取得した音声に基づいて、環境動的データ認識部3a3で、経時的に変化する案内領域に関する情報である環境動的データを認識する。
ここで、「環境動的データ」とは、案内領域の環境に関するデータのうち、経時的に変化するもの(例えば、案内中に変化するもの)に関するデータを指す。例えば、案内領域内における混雑の度合いといった事象等が挙げられる。
環境動的データ認識部3a3は、認識した環境動的データが案内内容の変更、又は、感情推定のトリガーになるような所定の環境動的データであるか否かの判定も行う。
また、データ認識部3aは、後述するマップ格納部3eからの情報に基づいて、経時的に変化しない案内領域に関する情報である環境静的データ認識部3a4で、環境静的データを認識する。
ここで、「環境静的データ」とは、案内領域の環境に関するデータのうち、経時的に変化しないもの(例えば、案内中に変化しないもの)に関するデータを指す。例えば、案内領域内における店舗及び施設の位置、開催されているイベント等が挙げられる。
相対位置認識部3bは、ロボット2、及び、監視システム4を介して収集された情報に基づいて、利用者に対するロボット2の相対位置を認識する。
ここで、「相対位置」とは、利用者からロボットまでの距離のみ、又は、利用者に対してロボットが位置する方向のみをさす場合もあり、曲がる際等における相対位置の変化の度合いを指す場合も含む。
また、ここで、「方向」とは、利用者及びロボットの移動面に平行な面における利用者に対するロボットの方向を指す。例えば、利用者及びロボットが平地を移動している場合には、平面視において、利用者の身体の中心とロボット2の中心とを通る線の、利用者の身体の中心を通り前後方向に延びる線(矢状面に含まれる線)に対する傾き(角度)を指す(図14参照)。
本実施形態の相対位置認識部3bでは、ロボット2及び監視システム4の少なくとも一方が収集した情報に基づいて、利用者からロボット2までの距離、及び、利用者に対してロボット2が位置する方向を、相対位置として認識する。
案内要求推定部3cは、データ認識部3aが認識した利用者動的データ、利用者静的データ、環境動的データ、及び、環境静的データ、後述する要求推定データ格納部3dに格納されている要求推定データ、並びに、後述するマップ格納部3eに格納されている案内領域の情報であるマップ情報(具体的には、マップ情報のうちの利用者の現在地周辺の情報)に基づいて、案内開始前及び案内中における利用者の案内要求を推定する。
ここで、「案内要求」とは、案内に対する利用者の要求を指す。この案内要求には、利用者が明示している要求だけではなく、潜在的に希望している要求も含まれる。
なお、このように、案内要求推定部3cは、利用者動的データ、利用者静的データ、環境動的データ、環境静的データ、要求推定データ、及び、マップ情報に基づいて、利用者の案内要求を推定している。
これは、利用者の案内要求を推定するに際し、利用者動的データに加え、利用者静的データ、環境動的データ、及び、環境静的データの少なくともいずれか1つを参照するようにすると、案内行動を、利用者にとってさらに適切なものにすることができるためである。
しかし、本発明の案内要求推定部は、利用者動的データに基づいて、利用者の案内要求を推定するものであればよい。そのため、案内要求推定部が使用する情報の種類に応じて、案内ロボット制御装置が備える機能を適宜変更してもよい。
具体的には、例えば、本実施形態であれば、データ認識部3aの利用者静的データ認識部3a2、環境動的データ認識部3a3、及び、環境静的データ認識部3a4、要求推定データ格納部3d、マップ格納部3eのうちのいずれかを省略してもよい。
また、このように、案内要求推定部3cは、案内開始前及び案内中において、利用者の案内要求を推定している。これは、案内開始時から案内行動が利用者の案内要求に応じたものになるようにするためである。
しかし、本発明の案内要求推定部は、案内中における利用者の案内要求を推定するものであればよい。そのため、案内開始前における利用者の案内要求の推定を省略してもよい。
要求推定データ格納部3dは、前回の案内以前の案内における利用者動的データと、その利用者動的データに基づいて推定された案内要求との関係を示す要求推定データを格納している。そして、前述のように、案内要求推定部3cは、要求推定データ格納部3dに格納されている要求推定データを参照して、利用者の案内要求を推定する。
これは、一部の案内要求に対する利用者の行動(すなわち、利用者動的データ)は、一般化が可能であるので、このような要求推定データを参照することによって、精度よく利用者の案内要求を推定するためである。
しかし、本発明の案内ロボット制御装置はそのような構成に限定されるものではない。例えば、利用者の案内要求を推定する際に、要求推定データを参照しなくてもよい。その場合には、要求推定データ格納部を省略してもよい。
また、要求推定データ格納部3dは、案内要求推定部3cが利用者の案内要求を推定した際に、その推定に関する要求推定データを格納する。
これは、参照可能な要求推定データを蓄積することによって、次回以降に案内要求を推定する際に参照できるデータを増やして、次回以降に、さらに精度よく利用者の案内要求を推定するためである。
しかし、本発明の案内ロボット制御装置はそのような構成に限定されるものではない。例えば、予め別途要求推定データを準備しておく場合には、推定した際に要求推定データを格納しなくてもよい。
要求推定データには、その推定に関する利用者の利用者静的データが関連付けられている。これは、次回以降に要求推定データを参照する際に、案内する利用者と同様の利用者静的データ(属性)が関連付けられている要求推定データを参照することができるようにして、案内要求をさらに的確に推定するためである。
なお、要求推定データは必ずしも利用者静的データと関連付けて格納しなくてもよい。例えば、利用者の属性がある程度一定になる施設の場合(例えば、所定の年齢層をターゲットにしたイベント会場等)には、そのようにして参照する要求推定データを限定しなくても、十分な精度で利用者の案内要求を推定できるためである。
マップ格納部3eは、案内領域の情報であるマップ情報を格納している。マップ情報としては、案内領域の地図情報の他、案内領域に設置されたトイレ、店舗等の施設の情報、案内領域内で開催されているイベント、継続的に行われている工事の情報等が挙げられる。また、案内領域に設けられている施設の情報には、その施設の平均利用時間も含まれている。
マップ格納部3eに格納されているマップ情報(具体的には、マップ情報のうちの利用者の現在地周辺の情報)は、前述のように、案内要求推定部3cが利用者の案内要求を推定する際に参照される。
これは、利用者の行動(すなわち、利用者動的データ)が同じものであっても、案内領域内における位置によっては、その行動の原因になる案内要求が異なる場合があるので、マップ情報を参照することによって、精度よく利用者の案内要求を推定するためである。
しかし、本発明の案内ロボット制御装置はそのような構成に限定されるものではない。例えば、利用者の案内要求を推定する際に、マップ情報を参照しなくてもよい。その場合には、マップ格納部を省略してもよい。
案内行動決定部3fは、データ認識部3aが認識した環境動的データ、相対位置認識部3bが認識した相対位置、及び、案内要求推定部3cが推定した案内要求に基づいて、案内開始時及び案内中にロボット2が行う案内行動を決定する。
ここで、「案内行動」とは、案内中に、ロボット2から利用者に提供されるサービスの内容、ロボット2の動作を決定する条件を指す。例えば、本実施形態で後述する案内時におけるルート、ロボット2の案内時の移動速度である案内速度、ロボット2の利用者に対する相対位置、利用者に報知する情報の内容の他、案内を行うロボットの種類(例えば、利用者を先導するロボットであるか、利用者が搭乗可能なロボットであるか)といった内容等が挙げられる。
具体的には、案内行動決定部3fは、案内要求推定部3cが推定した案内要求に基づいて、ルート決定部3f1で、案内開始時に、案内開始地点から目的地までのルートを決定するとともに、案内中に、現在地から目的地までのルートを変更する。
また、ルート決定部3f1では、変更前後の所要時間の変化及び目的地への到着時間の推定も行われる。そして、その所要時間の変化及び到着時間は、ロボット2の出力部を介して、利用者に提示される。
これは、利用者がそのルートの変更の可否の判断を容易に行うことができるようにするためである。ひいては、利用者の反応も顕著なものになるようにして、後述する反応認識部3iによる利用者の反応の認識(すなわち、ルートの変更の可否に関する利用者の意思)を精度よく行うことができるようにするためである。
なお、本発明のルート決定部は、このような構成に限定されるものではなく、推定された案内要求に基づいてルートの変更を行うことができるものであればよい。例えば、変更前後の所要時間の変化及び目的地への到着時間のいずれか一方又は両方を推定しなくてもよい。
また、案内行動決定部3fは、案内要求推定部3cが推定した案内要求に基づいて、案内速度決定部3f2で、案内開始時及び案内中における案内速度を決定する。
また、案内行動決定部3fは、ロボット2が案内を開始した後に利用者が移動を開始したときの相対位置、及び、利用者の現在地における環境動的データに基づいて、案内開始時及び案内中に、目標位置決定部3f3で、目標位置を決定及び変更する。
このように、案内開始時に予め定めた相対位置だけでなく、環境動的データを参照しているのは、環境動的データ(すなわち、混雑の度合い等の案内領域の動的な環境)によっては、もともと利用者が好ましいと考えている位置とは異なる位置が、利用者にとってストレスを感じにくい位置になることがあるためである。
しかし、本発明の目標位置決定部は、このような構成に限定されるものではない。例えば、環境動的データを参照せずに、目標位置を決定又は変更してもよい。
また、案内行動決定部3fは、案内中にロボット2が行う案内行動を決定又は変更する際には、後述する優先度格納部3gが格納している優先度も参照する。
これは、例えば、利用者の要求のみでは、同様の機能を持つ複数の施設のうちからどの施設を選択すべきか判断が難しい場合がある一方で、案内領域の施設には、同様の機能を持つ施設であっても、利用者に優先的に利用してほしい施設と可能であれば利用を抑えてほしい施設とがある場合もあるためである。
例えば、トイレであっても、混雑しやすい場所と、混雑しにくい場所がある場合には、案内領域の管理側の立場からすれば、混雑しにくい場所を優先的に利用してほしいという要望がある。
そこで、このように、予め施設に関する優先度を決定し、案内行動の決定又は変更を行う際に、その優先度を参照するようにすると、利用者だけでなく、案内領域の施設側の要望も満足できるようになる。
優先度を参照した場合の具体的な処理としては、例えば、案内するルートを、優先度の高い施設を経由するようなルートにしたり、ロボット2の案内速度を、優先度の高い施設の前では遅くしたり、目標位置を、利用者が優先度の高い施設を認識することを妨げにくい位置としたりする処理が挙げられる。
しかし、本発明の案内行動決定部はこのような構成に限定されるものではない。例えば、全ての案内行動の決定及び変更において優先度を参照しなくてもよい。この場合には、優先度格納部を省略してもよい。また、一部の案内行動の決定及び変更においてのみ優先度を参照してもよい。
また、案内行動決定部3fは、案内中にロボット2が行う案内行動を決定又は変更する際には、後述する評価データ格納部3lが格納している評価データのうち、前回の案内以前の案内における評価データも参照する。
これは、評価データを参照して案内行動を決定する(例えば、評価データにおいてネガティブな感情の原因になった案内行動は行わないようにする)ことによって、実際に行われる案内行動をさらに適切なものとするためである。
しかし、本発明の案内行動決定部はこのような構成に限定されるものではない。例えば、全ての案内行動の決定及び変更において評価データを参照しなくてもよい。また、一部の案内行動の決定及び変更においてのみ評価データを参照してもよい。
また、案内行動決定部3fは、案内中にロボット2が行う案内行動を変更する際には、後述する反応認識部3iが認識した利用者の反応に基づいて、案内行動を変更するか否かの最終的な決定を行う。これにより、案内行動が突然変更されることを防止することができるようになっている。
しかし、本発明の案内行動決定部はこのような構成に限定されるものではない。例えば、全ての案内行動の決定及び変更において利用者の反応を参照しなくてもよい。また、一部の案内行動の決定及び変更においてのみ利用者の反応を参照してもよい。
優先度格納部3gは、案内領域の施設に関する優先度を格納している。この優先度は、案内システムSのシステム設計者等が任意に定めてよい。
例えば、トイレであっても、混雑しやすい場所と、混雑しにくい場所がある場合には、案内領域の管理側の立場からすれば、混雑しにくい場所を優先的に利用してほしいという要望がある。そのような要望を把握している場合には、混雑しにくいトイレの優先度を、混雑しやすいトイレの優先度よりも、高く設定すればよい。
また、例えば、本実施形態の案内システムSは空港に導入されているので、空港の運営側にとって重要な施設(例えば、賃料が高い施設)の優先度を高くしてもよい。
報知指示部3hは、ロボット2に対し、決定された案内行動(例えば、案内ルート、案内速度、目標位置等)に基づいて、利用者への案内行動の変更の可否を問う問い合わせ情報の報知の指示を行う。
具体的には、報知指示部3hは、案内行動決定部3fによって決定された案内行動の変更内容、変更前後の所要時間の変化、及び、目的地への到着時間を報知するとともに、変更の可否を問う報知を行うように、ロボット2に対して指示を行う。この指示を受けたロボット2は、ロボット2の出力部を介して、利用者に対して報知を行う。
反応認識部3iは、報知指示部3hがロボット2に行った指示に基づく報知に対して、利用者がどのような反応を行ったかを認識する。
具体的には、反応認識部3iは、データ認識部3aが認識した利用者動的データに基づいて、利用者の反応を認識する。
ロボット制御部3jは、案内行動決定部3fによって決定された案内行動に基づいて、ロボット2の動作を制御する。
感情推定部3kは、データ認識部3aが認識した利用者動的データに基づいて、利用者の現在の感情である現在感情を、案内中の複数の時点において推定する。また、データ認識部3aが認識した利用者動的データに基づいて、感情の変化を把握するための基準になる利用者の基準感情を、案内開始時において推定する。そして、感情推定部3kは、現在感情及び基準感情に基づいて、ロボット2の動作とその動作の際における利用者の現在感情とを関連付けたデータである評価データを生成する。
感情推定部3kが行う感情の推定は、例えば、公知又は新規の感情モデルに基づいて行われる。本実施形態では、図6に示すような公知のプルチックの感情モデルMに基づいて、感情の推定が行われる。
この感情モデルMでは、感情は4組8種に分類されており、中心から放射状に延びる8つの領域のそれぞれが、その感情の1つに対応している。
具体的には、第1領域A1は「喜び」、第2領域A2は「信頼」、第3領域A3は「恐れ」、第4領域A4は「驚き」、第5領域A5は「悲しみ」、第6領域A6は「嫌悪」、第7領域A7は「怒り」、第8領域A8は「期待」に対応しており、中心に寄るほど(外側の領域よりも内側の領域ほど)感情の程度が強いものとして表現されている。
なお、上述のようにこの感情の推定の方法は一例であり、他の方法を用いてもよい。具体的には、プルチックの感情モデル以外の感情モデルを参照するようにしてもよい。また、利用者の動作と感情とを紐づけたデータテーブルを利用したり、利用者の動作を入力項目とし、利用者の感情を出力項目とするアルゴリズムを利用したりしてもよい。
感情推定部3kによる現在感情の推定は、案内中の複数の時点で行われる。具体的には、利用者動的データに基づいて利用者が所定の挙動を行ったと判定された場合、又は、ロボット2が所定の動作を行った場合に、現在感情が推定される。これは、常時利用者の感情を推定した場合、その感情が、ロボットのどの動作に対応したものであるのかを把握しにくくなってしまうおそれがあるためである。
評価データ格納部3lは、感情推定部3kが生成した評価データを、時系列的に格納する。これにより、感情変化については、後述する図20に示すグラフのようなデータが得られる。
評価データに含まれる現在感情には、現在感情そのものだけでなく、推定された感情がポジティブな感情であるかネガティブな感情であるか、及び、感情の変化(動作の結果、良好になったのか、悪化したのか等)も関連付けられている。
本実施形態では、図6に示したプルチックの感情モデルMに基づいて感情の推定を行うものであり、その感情モデルMの8つの領域がポジティブ、ネガティブのいずれかに分類されるとともに、領域及び程度に応じてスコアを定められている。そのため、評価データ格納部3lには、推定された感情そのものに加え、その分類(すなわち、ポジティブな感情であるか、ネガティブな感情であるか)、及び、スコアの変動(すなわち、感情の変化)を格納する。
また、評価データには、ロボット2の動作の際における利用者の現在地に関する環境動的データも関連付けられている。これは、環境動的データも、利用者の感情に大きな影響を及ぼすものであるためである。
また、評価データには、案内した利用者に関する利用者静的データも関連付けられている。これは、次回以降に評価データを参照する際に、案内する利用者と同様の利用者静的データ(属性)が関連付けられている評価データを参照することができるようにするためである。
なお、評価データには、必ずしも、環境動的データ及び利用者静的データを関連付けなくてもよい。具体的には、環境動的データ、及び、利用者静的データの少なくとも一方を、評価データに関連付けなくてもよい。
なお、図5を用いて説明した構成は、本発明の案内システムの一例である。すなわち、本実施形態においてサーバ3に実装されたハードウェア構成又はプログラムにより実現される機能は、必ずしも、単一のサーバにおいて実現する必要はない。
例えば、複数のサーバに実装されたハードウェア構成又はプログラムを用いて実現してもよいし、サーバ実装されたハードウェア構成又はプログラムに加え、受付端末、ロボット、監視システムの少なくともいずれか一方に実装されたハードウェア構成又はプログラムと協働して、実現してもよい。また、例えば、サーバを用いず、複数のロボット又は監視システムに実装されたハードウェア構成又はプログラムを協働させて、実現してもよい。
次に、図5、及び、図7~図20を参照して、案内システムSのサーバ3が行う処理について説明する。
まず、図5、及び、図7~図10を参照して、案内システムSのサーバ3が、案内開始時における案内ルートを決定する際、及び、案内中に案内ルートを変更する際に行う処理について説明する。
なお、図7は、案内システムSのサーバ3が案内開始時における案内ルートを決定する際に行う処理を示すフローチャートである。また、図9は、案内システムSのサーバ3が案内中に案内ルートを変更する際に行う処理のうち、案内ルートの変更内容を決定するまでの処理を示すフローチャートである。また、図10は、案内システムSのサーバ3が案内中に案内ルートを変更する際に行う処理のうち、案内ルートの変更を実行するまでの処理を示すフローチャートである。
まず、案内システムSが案内開始時における案内ルートを決定する際に行う処理について説明する。
この処理においては、まず、サーバ3のデータ認識部3aの利用者静的データ認識部3a2が、案内開始前における利用者静的データを認識する(図7/STEP101)。
具体的には、まず、案内開始地点P0に設置された受付端末1が、利用者によって受付時に入力された情報、及び、受け付けた受付端末1に関する情報、受付端末1の出力部を介して行われた利用者へのアンケートの結果を認識し、それらの情報をサーバ3に送信する。その後、利用者静的データ認識部3a2が、サーバ3に送信された情報から案内ルートの決定に影響を与え得る情報を取得して、その情報を、利用者静的データとして認識する。
この処理における案内ルートの決定に影響を与え得る情報としては、例えば、目的地P1、希望する到着時間(例えば、フライト時間等)等の必須事項の他、利用者の属性に関する情報、利用者が案内領域までに通った経路(案内領域である空港に到着する前に立ち寄った店舗等)等が挙げられる。
また、この処理における利用者の属性としては、案内ルートの決定に影響を与え得る属性が挙げられる。例えば、年齢、性別、過去の空港の利用履歴(過去に案内された案内ルート)、預ける必要のある荷物の有無等が挙げられる。
次に、サーバ3のデータ認識部3aの環境静的データ認識部3a4が、案内領域全体の環境静的データを認識する(図7/STEP102)。
具体的には、環境静的データ認識部3a4が、サーバ3のマップ格納部3eから、案内ルートの決定に影響を与え得る情報を取得して、その情報を、環境静的データとして認識する。
この処理における案内ルートの決定に影響を与え得る情報としては、案内領域の地図情報(例えば、受け付けた受付端末1の位置(すなわち、案内開始地点P0))の他、案内領域に設置されたトイレ、店舗等の施設の情報、案内領域内で開催されているイベント、継続的に行われている工事の情報等が挙げられる。
次に、サーバ3の案内行動決定部3fのルート決定部3f1が、認識された利用者静的データ及び環境静的データに基づいて、基準になる第1ルートR1を決定する(図7/STEP103)。
本実施形態では、案内開始地点P0から目的地P1まで移動するルートであって、利用者が希望する到着時間までに到着できるルートのうち、最も短時間で移動できると推定されるルートを、第1ルートR1とする。
次に、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、案内開始前の利用者動的データを認識する(図7/STEP104)。
具体的には、まず、受付端末1が、利用者が受付端末1を介して受付を行った際に受付端末1の第1カメラ1eで撮影された利用者の画像のデータ、及び、第1マイク1cで取得された利用者の声のデータを、サーバ3に送信する。その後、利用者動的データ認識部3a1が、サーバ3に受信された送信された情報に基づいて、案内開始時における利用者の挙動、及び、生体情報(例えば、体調、疲労度合い等)等を、利用者動的データとして認識する。
次に、サーバ3の案内要求推定部3cが、利用者静的データに基づいて、要求推定データを認識する(図7/STEP105)。
具体的には、まず、案内要求推定部3cが、利用者静的データ認識部3a2が認識した利用者静的データのうち、案内を希望している利用者の属性を指すデータを認識する。その後、案内要求推定部3cが、要求推定データ格納部3dから、その属性と同一の又は関連する属性の関連付けられた要求推定データを取得する。
次に、案内要求推定部3cが、認識された利用者動的データ、利用者静的データ、及び、要求推定データに基づいて、利用者の案内要求を推定する(図7/STEP106)。
具体的には、まず、案内要求推定部3cが、利用者動的データの利用者の挙動及び生体情報(例えば、体調、疲労度合い等)、利用者静的データの利用者が案内領域までに通った経路(例えば、飲食店に立ち寄ったか否か等)に基づいて、利用者の案内要求(例えば、トイレに行きたいか否か、休憩がしたいか否か等)を推定する。
その後、案内要求推定部3cが、認識された利用者動的データと同一又は同様の利用者動的データが含まれている要求推定データを参照して、その要求推定データに対応する案内要求と、今回推定した案内要求とが一致するか否かを判定する。
そして、案内要求が一致すると判定された場合には、案内要求推定部3cが、推定した案内要求を利用者の案内要求として確定する。一方、案内要求が一致しないと判定された場合には、案内要求推定部3cが、他の利用者動的データ、及び、利用者推定データを参照して、利用者の案内要求を改めて推定する。
次に、ルート決定部3f1が、推定された案内要求に基づいて、優先度格納部3gから優先度を認識する(図7/STEP107)。
具体的には、ルート決定部3f1が、優先度格納部3gから、利用者が利用を希望していると推定された施設の優先度を取得する。
次に、ルート決定部3f1が、推定された案内要求に基づいて、マップ格納部3eからマップ情報を認識する(図7/STEP108)。
具体的には、ルート決定部3f1が、マップ格納部3eから、利用者が利用を希望していると推定された施設の平均利用時間を取得する。
最後に、ルート決定部3f1が、推定された案内要求、並びに、認識された優先度及びマップ情報に基づいて、基準になる第1ルートR1を修正して、案内開始時における案内ルートである第2ルートR2を決定して、今回の処理を終了する(図7/STEP109)。
具体的には、例えば、利用者がトイレを利用したいと要求していると推定された場合、まず、ルート決定部3f1が、利用者が希望する到着時間までに案内開始地点P0から目的地P1へ至るルートのうち、トイレの平均利用時間を勘案したうえで、いずれかのトイレを経由できる複数のルートを検索する。
その後、ルート決定部3f1が、検索した複数のルートのうちから、優先度の最も高いトイレ(例えば、最も混雑しにくいトイレ)を経由するルートを、案内開始時における案内ルートである第2ルートR2として決定する。
次に、案内システムSのサーバ3が案内中に案内ルートを変更する際に行う処理について説明する。
この処理においては、まず、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、現在の利用者動的データを認識する(図9/STEP201)。
具体的には、まず、ロボット2が、ロボット2の第2カメラ22dで撮影された利用者の画像のデータ、及び、第2マイク22bで取得された利用者の声のデータを、サーバ3に送信する。その後、利用者動的データ認識部3a1が、サーバ3に送信された情報に基づいて、案内中における利用者の挙動(例えば、表情、視線の動き等)、及び、生体情報(例えば、体調、疲労度合い等)等を、現在の利用者動的データとして認識する。
次に、利用者動的データ認識部3a1が、認識された利用者動的データは予め定められた所定の利用者動的データであるか否かを判定する(図9/STEP202)。
一部の案内要求に対する利用者の行動(すなわち、利用者動的データ)は、一般化が可能である。例えば、到着時間を気にしている場合には、時計を頻繁に確認したり、トイレを利用したいと考えている場合には、トイレの位置を示す案内表を確認したりすることになる。
そこで、案内システムSでは、案内内容の変更のトリガーにすべき利用者動的データを予め定めておき、認識された利用者動的データがその予め定められた所定の利用者動的データに該当するものであった場合にのみ、その後の案内内容の変更のための処理を実行するようにしている。これにより、案内システムSでは、過剰な処理の実行が抑制されるので、過剰な案内内容の変更、及び、それに伴い過剰な報知が抑制されようになっている。
所定の利用者動的データとしては、例えば、利用者の視線が、何かを探すように移動した、又は、なんらかのポイントに集中していることを示す情報、利用者の移動方向又は移動速度が変更されたことを示す情報、要求を伝えるような声(例えば、どこかに立ち寄りたい等)を利用者が発声したことを示す情報等が挙げられる。
所定の利用者動的データではないと判定された場合(図9/STEP202でNOの場合)、STEP201に戻り、利用者動的データ認識部3a1が、再度、利用者動的データを認識する。
一方、所定の利用者動的データであると判定された場合(図9/STEP202でYESの場合)、サーバ3のデータ認識部3aの環境動的データ認識部3a3が、ロボット2の現在地(ひいては、利用者の現在地P2)の環境動的データを認識する(図9/STEP203)。
具体的には、まず、ロボット2が、ロボット2の第2カメラ22dで撮影された利用者の周辺の画像のデータ、及び、第2マイク22bで取得された利用者の周辺の音声のデータを、サーバ3に送信する。その後、環境動的データ認識部3a3が、サーバ3に送信された情報から案内ルートの変更に影響を与え得る情報を取得して、その情報を、環境動的データとして認識する。
この処理における案内ルートの変更に影響を与え得る情報としては、例えば、案内中における利用者の周辺の混雑の度合い、予定になかった工事、突発的な事故といった事象等が挙げられる。
次に、サーバ3のデータ認識部3aの環境静的データ認識部3a4が、利用者の現在地P2の環境静的データを認識する(図9/STEP204)。
具体的には、環境静的データ認識部3a4が、サーバ3のマップ格納部3eから案内ルートの変更に影響を与え得る情報を取得して、その情報を環境静的データとして認識する。
この処理における案内ルートの変更に影響を与え得る情報としては、利用者の現在地P2周辺に設置されたトイレ、店舗等の施設の情報、現在地P2周辺で開催されているイベント(本実施形態ではイベント会場P3で開催されているイベント)、継続的に行われている工事の情報等が挙げられる。
次に、サーバ3の案内要求推定部3cが、認識された利用者静的データに基づいて、要求推定データを認識する(図9/STEP205)。
具体的には、図7/STEP105における処理と同様に、案内要求推定部3cが、案内開始前に認識した利用者静的データ(図7/STEP101で認識した利用者静的データ)のうちから認識した利用者の属性を指すデータに基づいて、要求推定データ格納部3dからその属性と同一の又は関連する属性の関連付けられた要求推定データを取得する。
次に、案内要求推定部3cが、認識された利用者動的データ、環境動的データ、環境静的データ、及び、要求推定データに基づいて、利用者の現時点における案内要求を推定する(図9/STEP206)。
具体的には、まず、案内要求推定部3cが、利用者動的データ(表情、視線の動き等)、環境動的データ(現在地P2の混雑の度合い等)、環境静的データ(イベント会場P3で開催されているイベント等)に基づいて、利用者の案内要求(例えば、混雑しているのでスムーズに移動したい、イベントの内容に興味がある等)を推定する。
その後、図7/STEP106における処理と同様に、案内要求推定部3cが、要求推定データを参照して、推定した案内要求を利用者の案内要求として確定する、又は、改めて利用者の案内要求を推定する。
次に、ルート決定部3f1が、推定された案内要求に基づいて、優先度格納部3gから優先度を認識する(図9/STEP207)。
具体的には、ルート決定部3f1が、優先度格納部3gから、利用者が利用を希望していると推定された施設の優先度を取得する。
次に、ルート決定部3f1が、推定された案内要求に基づいて、案内要求に関連するマップ情報を認識する(図9/STEP208)。
具体的には、例えば、ルート決定部3f1が、マップ格納部3eから、イベント会場P3で開催されているイベントに関連する商品を取り扱っている店舗P4までの現在地からの距離及び所要時間、及び、店舗P4についての平均利用時間等を取得する。
次に、ルート決定部3f1が、推定された案内要求、並びに、認識された優先度及びマップ情報に基づいて、案内ルートの変更内容を決定する(図9/STEP209)。
具体的には、例えば、利用者がイベント会場P3で開催されているイベントについて興味を持った(ひいては、そのイベントに関連する商品を購入したいと要求している)と推定した場合、まず、ルート決定部3f1が、現在地P2から目的地P1に至るルートのうち、その商品を取り扱っている店舗の平均利用時間を勘案したうえで、いずれかの店舗を経由できる複数のルートを検索する。
その後、ルート決定部3f1が、検索した複数のルートのうちから、優先度の最も高い店舗(例えば、最も近い店舗P4)を経由するルートを、基準になる第1ルートR1のうちの現在地P2から目的地P1までの部分をそのルートに置き換えて、変更後の案内ルートである第3ルートR3(変更内容)として決定する。
次に、ルート決定部3f1が、案内ルートを第2ルートR2から第3ルートR3に変更した場合の到着時間を認識する(図10/STEP210)。
具体的には、まず、ルート決定部3f1が、案内開始地点P0から現在地P2までの平均移動速度を算出する。その後、ルート決定部3f1が、その平均移動速度、現在地P2から目的地P1までの距離、店舗P4の平均利用時間、並びに、現在時刻に基づいて、到着時間を算出する。
次に、ルート決定部3f1が、案内ルートを変更した場合の到着時間は利用者が希望する到着時間よりも前か否かを判定する(図10/STEP211)。
希望する到着時間よりも前ではないと判定された場合(図10/STEP211でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
一方、希望する到着時間よりも前であると判定された場合(図10/STEP211でYESの場合)、ルート決定部3f1が、認識された利用者静的データに基づいて、評価データ格納部3lから評価データを認識する(図10/STEP212)。
具体的には、まず、ルート決定部3f1が、利用者静的データ認識部3a2が認識した利用者静的データのうち、利用者の属性を指すデータを認識する。その後、ルート決定部3f1が、評価データ格納部3lから、その属性と同一の又は関連する属性の関連付けられた評価データを取得する。
次に、ルート決定部3f1が、評価データに基づいて、案内ルートを変更した場合に予測される利用者の感情の変化を認識する(図10/STEP213)。
具体的には、まず、ルート決定部3f1が、認識された評価データのうちから、今回の案内要求のためのロボット2の動作(例えば、案内ルートの変更そのもの)と同一又は関連する動作が関連付けられている評価データを検索する。その後、ルート決定部3f1が、その認識された評価データに含まれる感情の変化を認識する。
次に、ルート決定部3f1が、予測される感情変化はポジティブなものであるか否かを判定する(図10/STEP214)。
ポジティブなものではないと判定され場合(図10/STEP214でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
一方、ポジティブなものであると判定された場合(図10/STEP214でYESの場合)、サーバ3の報知指示部3hが、ロボット2に、変更内容の報知を指示する(図10/STEP215)。
具体的には、例えば、案内ルートの変更に関する処理の場合には、まず、報知指示部3hが、イベント会場P3で開催されているイベントに関連する商品を店舗P4で取り扱っている旨、店舗P4を経由するための案内ルート(すなわち、第3ルートR3)、案内ルートを変更した場合の到着時間、及び、変更前後の所要時間の変化等の案内ルートの変更に関する情報、並びに、案内ルートの変更の可否を問う問い合わせ情報の報知を、ロボット2に対して指示する。
その後、この指示を受けたロボット2は、出力部である第2タッチパネル22a、及び、第2スピーカ22cを介して、報知を行う。
次に、利用者動的データ認識部3a1が、問い合わせ情報の報知後の利用者動的データを認識する(図9/STEP216)。
具体的には、まず、ロボット2が、問い合わせ情報の報知後に、ロボット2の第2カメラ22dで撮影された利用者の画像のデータ、及び、第2マイク22bで取得された利用者の声のデータを、サーバ3に送信する。その後、利用者動的データ認識部3a1が、サーバ3に送信された情報に基づいて、利用者の挙動等を、利用者動的データとして認識する。
次に、サーバ3の反応認識部3iが、問い合わせ情報の報知後に認識された利用者動的データに基づいて、利用者の反応を認識する(図9/STEP217)。
具体的には、例えば、案内システムSのシステム設計者等が、利用者が予め許可を示したと推定し得る挙動、及び、拒否されたと推定し得る挙動を定めておき、反応認識部3iが、報知後に認識された利用者動的データがいずれの挙動に該当するかによって、利用者の反応(具体的には、案内ルートの変更が許可されたか否か)を認識する。
次に、ルート決定部3f1が、反応認識部3iが認識した反応が、案内ルートの変更を許可する反応であるか否かを判定する(図10/STEP218)。
案内ルートの変更を許可する反応ではないと判定された場合(図10/STEP218でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
一方、案内ルートの変更を許可する反応であると判定された場合(図10/STEP218でYESの場合)、ルート決定部3f1が、案内ルートの変更を確定し、サーバ3のロボット制御部3jが、ロボット2に、変更後の案内ルートに従った案内行動を指示する(図10/STEP219)。
具体的には、ロボット制御部3jが、変更後の案内ルートである第3ルートR3に沿って利用者を案内する指示を、ロボット2に送信する。
最後に、案内要求推定部3cが、要求推定データ格納部3dに、今回の案内要求の推定の際に用いた利用者動的データ(すなわち、図9/STEP201で認識した利用者動的データ)、及び、利用者静的データと、推定された案内要求とを関連付けて格納して、今回の処理を終了する(図10/STEP220)。
このように構成されているサーバ3では、案内中(具体的には、案内開始時から案内終了時までの期間中)に、推定された利用者の案内要求に基づいて、案内ルートが変更される。すなわち、利用者が明示している要求だけではなく、潜在的に希望している要求に基づいて、案内ルートが変更される。
これにより、その案内ルートは、利用者の案内要求に応じた適切なものになる。例えば、利用者が利用を必要とする施設(例えば、休憩室、トイレ)、利用者が興味のある物品及びサービスが提供される店舗の位置等が考慮されたものになる。
したがって、このサーバ3を備える案内システムS、及び、それを用いた案内ロボット制御方法によれば、案内ルートが利用者の案内要求に応じたものになり、また、利用者の意思を尊重して案内ルートの変更が行われるので、利用者がストレスなく案内を受けることができるようになる。
なお、本実施形態では、案内ルートの変更の処理については、利用者動的データを逐次検出し、その都度、案内要求を改めて推定し、案内ルートの変更を行っている。これは、時々刻々と変化する利用者の案内要求を逐次把握して、適切に案内ルートを変更するためである。
しかし、本発明はこのような構成に限定されるものではない。例えば、所定のタイミング(例えば、所定の地点を通ったタイミング、所定の時間が経過したタイミング等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、案内ルートの変更を行うようにしてもよい。
また、例えば、利用者動的データに代わり、環境動的データを逐次認識し、所定の環境動的データが認識されたとき(例えば、混雑の度合いが所定以上の高さになったとき等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、案内ルートの変更を行うようにしてもよい。
また、本実施形態では、案内ルートを変更した場合の到着時間が希望する到着時間よりも前ではないと判定された場合(図10/STEP211でNOの場合)、予測される感情変化がポジティブなものではないと判定された場合(図10/STEP214でNOの場合)、及び、報知後の反応が許可を示すものではないと判定された場合(図10/STEP218でNOの場合)には、サーバ3はその後の処理を行わずに処理を終了する。これは、希望する到着時間に利用者を目的地に案内することを優先し、また、利用者の直接的な希望を優先するためである。
しかし、本発明はこのような構成に限定されるものではない。例えば、認識された利用者動的データが直接的な指示を含むものであった場合(例えば、所定の店舗に行きたいとロボットに向かって指示した場合)、認識された環境動的データが緊急性の高いものであった場合(現在地近傍で避難を要するような事故が発生した場合)等には、到着時間に関する判定、及び、感情変化に関する判定を行わずに、案内ルートの変更を実行してもよい。
また、本実施形態では、利用者の生理的欲求、案内中に利用者の興味を引いたディスプレイに基づいて、案内開始時おける案内ルートの決定、及び、案内ルートの変更内容を行っている。
しかし、本発明はこのような構成に限定されるものではない。例えば、案内ルートの決定及び変更に際して、利用者静的データのうちの利用者の過去の施設の利用履歴を参照し、過去に利用した施設を経由するルートを候補に加えてもよい。また、利用者静的データのうちの利用者の属性(例えば、服装、所持品のブランド等)を参照し、その属性に対応する店舗(例えば、認識されたブランドに関連する店舗)等を経由するルートを候補に加えるようにしてもよい。
また、例えば、環境静的データのうちの時間帯(具体的には、食事をとる時間帯であるか否か)を認識し、時間帯に応じて飲食施設を経由するルートを候補に加えるようにしてもよい。また、環境静的データのうちの希望する到着時間までの残り時間を認識し、残り時間に応じて、通行のしやすい(例えば、広くて大きい)通路を優先するか、所要時間の短い通路を優先するかを、案内ルートの決定及び変更の際に参照するようにしてもよい。
また、例えば、案内中における利用者動的データ及び環境動的データに基づいて、利用者が周囲の状況(例えば、混雑の度合い)に対して、不快な感情を抱いていると推定された場合には、混雑の度合いが低くスムーズに移動できるルートに、案内ルートを変更してもよい。
また、例えば、前回の案内以前における利用者静的データ、評価データ等に基づいて、一般的に利用者の満足度の高かったルート、疲労度から案内速度を調整する必要が生じる傾向の強い場所を避けるルート等の一般的な傾向を認識し、その傾向を参照して、案内ルートの決定及び変更を行ってもよい。
次に、図5、図8、図11~図13を参照して、案内システムSが、案内開始時における案内速度を決定する際に行う処理、及び、案内中に案内速度を変更する際に行う処理について説明する。
なお、図11は、案内システムSのサーバ3が案内開始時における案内速度を決定する際に行う処理を示すフローチャートである。また、図12は、案内システムSのサーバ3が案内中に案内速度を変更する際に行う処理のうち、案内速度の変更内容を決定するまでの処理を示すフローチャートである。また、図13は、案内システムSのサーバ3が案内中に案内速度を変更する際に行う処理のうち、案内速度の変更を実行するまでの処理を示すフローチャートである。
まず、案内システムSが、案内開始時における案内速度を決定する際に行う処理について説明する。
この処理においては、まず、サーバ3のデータ認識部3aの利用者静的データ認識部3a2が、案内開始前における利用者静的データを認識する(図11/STEP301)。
具体的には、まず、図7/STEP101における処理と同様に、受付端末1が、利用者によって受付時に入力された情報、及び、受け付けた受付端末1に関する情報、受付端末1の出力部を介して行われた利用者へのアンケートの結果を認識し、それらの情報をサーバ3に送信する。
その後、利用者静的データ認識部3a2が、受付端末1から送信された送信された情報から案内速度の決定に影響を与え得る情報を取得して、その情報を利用者静的データとして認識する。
この処理における案内速度の決定に影響を与え得る情報としては、例えば、受け付けた受付端末1の位置(すなわち、図8における案内開始地点P0)、図8における目的地P1、希望する到着時間(例えば、フライト時間等)等の必須事項の他、利用者の属性に関する情報、利用者が案内領域までに通った経路(案内領域である空港に到着する前に立ち寄った店舗等)等が挙げられる。
また、この処理における利用者の属性としては、案内速度の決定に影響を与え得る属性が挙げられる。例えば、年齢、性別、身体に関する障害の有無、車椅子を利用しているか否か、同行者の有無、妊娠しているか否か等が挙げられる。
次に、サーバ3のデータ認識部3aの環境静的データ認識部3a4が、案内領域全体の環境静的データを認識する(図11/STEP302)。
具体的には、環境静的データ認識部3a4が、サーバ3のマップ格納部3eから、案内速度の決定に影響を与え得る情報を取得して、それらの情報を環境静的データとして認識する。
この処理における案内速度の決定に影響を与え得る情報としては、案内領域の地図情報の他、案内領域内で開催されているイベント、継続的に行われている工事の情報(ひいては、混雑の予想される場所の情報)等が挙げられる。
次に、サーバ3の案内行動決定部3fの案内速度決定部3f2が、認識された利用者静的データ及び環境静的データに基づいて、基準になる第1速度を決定する(図11/STEP303)。
本実施形態では、図8に示すように、案内開始地点P0から目的地P1まで移動するルートであって、利用者が希望する到着時間までに到着できるルートのうち、最も短時間で移動できると推定されるルートを、第1ルートR1とする。そして、その第1ルートR1を移動する場合に推定される案内速度を、基準になる第1速度とする。
次に、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、案内開始前の利用者動的データを認識する(図11/STEP304)。
具体的には、図7/STEP104における処理と同様に、利用者動的データ認識部3a1が、受付端末1から送信された情報に基づいて、案内開始時における利用者の挙動、及び、生体情報(例えば、体調、疲労度合い等)等を、利用者動的データとして認識する。
次に、サーバ3の案内要求推定部3cが、利用者静的データに基づいて、要求推定データを認識する(図11/STEP305)。
具体的には、図7/STEP105、図9/STEP205における処理と同様に、案内要求推定部3cが、利用者静的データのうちから認識した利用者の属性を指すデータに基づいて、要求推定データ格納部3dからその属性と同一の又は関連する属性の関連付けられた要求推定データを取得する。
次に、案内要求推定部3cが、認識された利用者動的データ、利用者静的データ、及び、要求推定データに基づいて、利用者の案内要求を推定する(図11/STEP306)。
具体的には、まず、案内要求推定部3cが、利用者動的データの利用者の挙動及び生体情報(例えば、体調、疲労度合い等)、利用者静的データの利用者が案内領域までに通った経路(例えば、身体に関する障害の有無等)に基づいて、利用者の案内要求(具体的には、案内速度が速い方がよいか遅い方がよいか等)を推定する。
その後、案内要求推定部3cが、認識された利用者動的データと同一又は同様の利用者動的データが含まれている要求推定データを参照して、その要求推定データに対応する案内要求と、今回推定した案内要求とが一致するか否かを判定する。
そして、案内要求が一致すると判定された場合には、案内要求推定部3cが、推定した案内要求を利用者の案内要求として確定する。一方、案内要求が一致しないと判定された場合には、案内要求推定部3cが、他の利用者動的データ、及び、利用者推定データを参照して、利用者の案内要求を改めて推定する。
最後に、案内速度決定部3f2が、推定された案内要求に基づいて、基準になる第1速度を修正して、案内開始時における案内速度になる第2速度を決定して、今回の処理を終了する(図11/STEP307)。
具体的には、案内速度決定部3f2が、利用者の希望する案内速度に応じて、第1速度を調整して、第2速度として決定する。
なお、現在時間から到着時間までの期間が短い場合、利用者の希望する案内速度が極端に遅い場合等には、利用者を移動させることによっては、最も重要になる希望する到着時間までに利用者を目的地まで案内するという目的を果たせなくなるおそれがある。
そこで、そのような場合には、利用者の移動速度を上昇させるための手段を検討する処理を行うようにしてもよい。具体的には、例えば、第1速度を修正して第2速度を決定する処理を行うのではなく、案内に使用するロボットの種類を搭乗可能なものにするか否かを判定する処理、及び、搭乗可能なロボットを呼び寄せる処理を行うようにしてもよい。
次に、案内システムSのサーバ3が、案内中に案内速度を変更する際に行う処理について説明する。
この処理においては、まず、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、現在の利用者動的データを認識する(図12/STEP401)。
具体的には、図9/STEP201における処理と同様に、利用者動的データ認識部3a1が、ロボット2から送信された情報に基づいて、案内中における利用者の挙動(例えば、表情、視線の動き等)、及び、生体情報(例えば、体調、疲労度合い等)等を、現在の利用者動的データとして認識する。
次に、サーバ3のデータ認識部3aの環境動的データ認識部3a3が、ロボット2の現在地(ひいては、利用者の現在地P2)の環境動的データを認識する(図12/STEP402)。
具体的には、図9/STEP203における処理と同様に、環境動的データ認識部3a3が、ロボット2から送信された情報から案内速度の変更に影響を与え得る情報を取得して、その情報を環境動的データとして認識する。
この処理における案内速度の変更に影響を与え得る情報としては、例えば、案内中における利用者の周辺の混雑の度合い、利用者の周辺の騒音の大きさ、他の利用者の移動速度に関する情報等が挙げられる。
これは、例えば、利用者の周辺が混雑している場合には、利用者が移動しにくくなるので、案内速度を低下させる必要があるためである。
また、例えば、周辺の騒音が大きい場合には、その騒音の激しいエリアはできるだけ早く通過したいので、案内速度を上昇させる必要があるためである。
また、例えば、他の利用者の移動速度が現在の案内速度と大きく異なる場合には、衝突の危険性があるので、案内速度をその移動速度にある程度近づける必要があるためである。
次に、利用者動的データ認識部3a1が、認識された利用者動的データは予め定められた所定の利用者動的データであるか否かを判定する(図12/STEP403)。
具体的には、図9/STEP202における処理と同様に、システム設計者等が、案内内容の変更のトリガーにすべき利用者動的データを予め定めておき、利用者動的データ認識部3a1が、認識された利用者動的データがその予め定められた所定の利用者動的データに該当するか否かを判定する。
所定の利用者動的データとしては、例えば、利用者の視線が、何かを探すように移動した、又は、なんらかのポイントに集中していることを示す情報、利用者の移動方向又は移動速度が変更されたことを示す情報、要求を伝えるような声(例えば、もっと早く移動してほしい等)を利用者が発生したことを示す情報等が挙げられる。
所定の利用者動的データではないと判定された場合(図12/STEP403でNOの場合)、環境動的データ認識部3a3が、認識された環境動的データは予め定められた所定の環境動的データであるか否かを判定する(図12/STEP404)。
環境動的データの一部は、利用者の案内要求にどのような影響を与えるかについて一般化が可能である。例えば、混雑の度合いが高くなった場合には、利用者は移動がしにくくなるので、案内速度を低下してほしいという案内要求が生じる。
そこで、案内システムSでは、案内内容の変更のトリガーにすべき環境動的データを予め定めておき、認識された環境動的データがその予め定められた所定の環境動的データに該当するものであった場合にのみ、その後の案内内容の変更のための処理を実行するようにしている。これにより、案内システムSでは、過剰な処理の実行が抑制されるので、過剰な案内内容の変更、及び、それに伴い過剰な報知が抑制されようになっている。
案内内容の変更のトリガーにすべき環境動的データとしては、例えば、混雑の度合いが上昇したことを示す情報、利用者の周辺の騒音の大きさが大きくなったことを示す情報、案内中の利用者の移動速度と他の利用者の移動速度との差が所定の値以上になったことを示す情報等が挙げられる。
所定の環境動的データではないと判定された場合(図12/STEP404でNOの場合)、サーバ3は、再度、STEP401~STEP404の処理を実行する。
一方、所定の利用者動的データであると判定された場合(図12/STEP403でYESの場合)、又は、所定の環境動的データであると判定された場合(図12/STEP404でYESの場合)、サーバ3の案内要求推定部3cが、認識された利用者静的データに基づいて、要求推定データを認識する(図12/STEP405)。
具体的には、図7/STEP105、図9/STEP205、図11/STEP305における処理と同様に、案内要求推定部3cが、案内開始前に認識した利用者静的データ(図11/STEP301で認識した利用者静的データ)のうちから認識した利用者の属性を指すデータに基づいて、要求推定データ格納部3dからその属性と同一の又は関連する属性の関連付けられた要求推定データを取得する。
次に、案内要求推定部3cが、認識された利用者動的データ、環境動的データ、及び、要求推定データに基づいて、利用者の現時点における案内要求を推定する(図12/STEP406)。
具体的には、まず、案内要求推定部3cが、利用者動的データ(表情、視線の動き等)、環境動的データ(現在地の混雑の度合い等)に基づいて、利用者の案内要求(例えば、混雑の度合いが高いのでロボットを追いかけにくい、イベントの内容に興味があるので一度その様子を眺めながら移動したい等)を推定する。
その後、図7/STEP106、図9/STEP206、図11/STEP306における処理と同様に、案内要求推定部3cが、要求推定データを参照して、推定した案内要求を利用者の案内要求として確定する、又は、改めて利用者の案内要求を推定する。
次に、サーバ3の案内行動決定部3fの案内速度決定部3f2が、推定された案内要求に基づいて、案内要求に関連するマップ情報を認識する(図12/STEP407)。
具体的には、例えば、案内速度決定部3f2が、マップ格納部3eから、現在の案内ルート(第3ルートR3)の近傍にある混雑しにくい通路等を取得する。
次に、案内速度決定部3f2、推定された案内要求、並びに、認識された優先度及びマップ情報に基づいて、案内速度の変更内容を決定する(図12/STEP408)。
具体的には、例えば、利用者が現在地の混雑の度合いが高く、ロボット2を追いかけにくいと感じていると推定した場合、まず、案内速度決定部3f2が、利用者が追いかけやすくなるような案内速度を算出する。その後、案内速度決定部3f2が、現在の案内速度である第2速度をどのようにどの程度変更すればよいか(案内速度の変更内容)を決定する。
次に、案内速度決定部3f2が、案内速度を変更した場合の到着時間を認識する(図13/STEP409)。
具体的には、まず、案内速度決定部3f2が、案内速度の変更をどの程度の期間及び距離を継続すれば、推定された案内要求を満足させられるか(例えば、混雑の度合いが高い領域を通過し終わるか)を算出する。その後、案内速度決定部3f2が、算出された継続すべき期間及び距離、並びに、現在時刻及び現在地から目的地までの距離に基づいて、到着時間を算出する。
次に、案内速度決定部3f2が、案内速度を変更した場合の到着時間は利用者が希望する到着時間よりも前か否かを判定する(図13/STEP410)。
希望する到着時間よりも前ではないと判定された場合(図13/STEP410でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
一方、希望する到着時間よりも前であると判定された場合(図13/STEP410でYESの場合)、案内速度決定部3f2が、認識された利用者静的データに基づいて、評価データ格納部3lから評価データを認識する(図13/STEP411)。
具体的には、図10/STEP212における処理と同様に、案内速度決定部3f2が、案内開始前に認識した利用者静的データ(図11/STEP301で認識した利用者静的データ)のうちから認識した利用者の属性を指すデータに基づいて、評価データ格納部3lからその属性と同一の又は関連する属性の関連付けられた評価データを取得する。
次に、案内速度決定部3f2が、評価データに基づいて、案内速度を変更した場合に予測される利用者の感情の変化を認識する(図13/STEP412)。
具体的には、図10/STEP213における処理と同様に、案内速度決定部3f2が、今回の案内要求のために行う予定のロボット2の動作(例えば、案内速度の変更そのもの)に基づいて、その動作が関連付けられている評価データを認識し、その評価データに含まれる感情の変化を認識する。
次に、案内速度決定部3f2が、予測される感情変化はポジティブなものであるか否かを判定する(図13/STEP413)。
感情変化がポジティブなものではないと判定された場合(図13/STEP413でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
一方、ポジティブなものであると判定された場合(図13/STEP413でYESの場合)、サーバ3の報知指示部3hが、ロボット2に、変更内容の報知を指示する(図13/STEP414)。
具体的には、例えば、案内速度の変更に関する処理の場合には、まず、報知指示部3hが、案内速度を変更する旨、案内速度を変更する期間及び距離、案内速度を変更する理由(すなわち、推定された案内要求)、案内速度を変更した場合の到着時間、及び、変更前後の所要時間の変化等の案内速度の変更に関する情報、並びに、案内速度の変更の可否を問う問い合わせ情報の報知を、ロボット2に対して指示する。
その後、この指示を受けたロボット2は、出力部である第2タッチパネル22a、及び、第2スピーカ22cを介して、報知を行う。
次に、利用者動的データ認識部3a1が、問い合わせ情報の報知後の利用者動的データを認識する(図13/STEP415)。
具体的には、図9/STEP216における処理と同様に、利用者動的データ認識部3a1が、ロボット2から送信された情報に基づいて、問い合わせ情報の報知後の利用者の挙動等を、利用者動的データとして認識する。
次に、サーバ3の反応認識部3iが、問い合わせ情報の報知後に認識された利用者動的データに基づいて、利用者の反応を認識する(図13/STEP416)。
具体的には、図9/STEP217における処理と同様に、例えば、反応認識部3iが、報知後に認識された利用者動的データが予め定められた挙動に該当するものであるか否かによって、利用者の反応(具体的には、案内速度の変更が許可されたか否か)を認識する。
次に、案内速度決定部3f2が、反応認識部3iが認識した反応が、案内速度の変更を許可する反応であるか否かを判定する(図13/STEP417)。
案内速度の変更を許可する反応ではないと判定された場合(図13/STEP417でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
一方、案内速度の変更を許可する反応であると判定された場合(図13/STEP417でYESの場合)、案内速度決定部3f2が、案内速度の変更を確定し、サーバ3のロボット制御部3jが、ロボット2に、変更後の案内速度に従った案内行動を指示する(図13/STEP418)。
具体的には、ロボット制御部3jが、変更後の案内速度で利用者を案内する指示を、ロボット2に送信する。
最後に、案内要求推定部3cが、要求推定データ格納部3dに、今回の案内要求の推定の際に用いた利用者動的データ(すなわち、図12/STEP401で認識した利用者動的データ)、環境動的データ(すなわち、図12/STEP402で認識した環境動的データ)及び、利用者静的データと、推定された案内要求とを関連付けて格納して、今回の処理を終了する(図13/STEP419)。
このように構成されているサーバ3では、案内中(具体的には、案内開始時から案内終了時までの期間中)に、推定された利用者の案内要求に基づいて、案内速度が変更される。すなわち、利用者が明示している要求だけではなく、潜在的に希望している要求に基づいて、案内速度が変更される。
これにより、その案内速度は、利用者の案内要求に応じた適切なものになる。例えば、利用者の疲労度合い、混雑による不快感、利用者の興味がある施設の位置等が考慮されたものになる。
したがって、このサーバ3を備える案内システムS、及び、それを用いた案内ロボット制御方法によれば、案内速度が利用者の案内要求に応じたものになり、また、利用者の意思を尊重して案内速度の変更が行われるので、利用者がストレスなく案内を受けることができるようになる。
なお、本実施形態では、案内速度の変更の処理については、利用者動的データを逐次検出し、その都度、案内要求を改めて推定し、案内速度の変更を行っている。これは、時々刻々と変化する利用者の案内要求を逐次把握して、適切に案内速度を変更するためである。
しかし、本発明はこのような構成に限定されるものではない。例えば、所定のタイミング(例えば、所定の地点を通ったタイミング、所定の時間が経過したタイミング等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、案内速度の変更を行うようにしてもよい。
また、例えば、利用者動的データに代わり、環境動的データを逐次認識し、所定の環境動的データが認識されたとき(例えば、混雑の度合いが所定以上の高さになったとき等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、案内速度の変更を行うようにしてもよい。
また、本実施形態では、案内速度を変更した場合の到着時間が希望する到着時間よりも前ではないと判定された場合(図13/STEP410でNOの場合)、予測される感情変化がポジティブなものではないと判定された場合(図13/STEP414でNOの場合)、及び、報知後の反応が許可を示すものではないと判定された場合(図13/STEP417でNOの場合)には、サーバ3はその後の処理を行わずに処理を終了する。これは、希望する到着時間に利用者を目的地に案内することを優先し、また、利用者の直接的な希望を優先するためである。
しかし、本発明はこのような構成に限定されるものではない。例えば、認識された利用者動的データが直接的な指示を含むものであった場合(例えば、所定の店舗に行きたいとロボットに向かって指示した場合)、認識された環境動的データが緊急性の高いものであった場合(現在地近傍で避難を要するような事故が発生した場合)等には、到着時間に関する判定、及び、感情変化に関する判定を行わずに、案内速度の変更を実行してもよい。
また、本実施形態では、利用者動的データ及び環境動的データをトリガーとして、案内速度の変更を行っている。しかし、例えば、利用者静的データと環境静的データとに基づいて、案内速度の変更を行ってもよい。
例えば、利用者静的データ(利用者の服装、持ち物等を示す情報)から、利用者が所定のブランドに興味があると推定された場合には、環境静的データから、そのブランドを取り扱っているという属性を有する店舗(ひいては、利用者が立ち寄りたいと思う可能性の高い店舗)を検索し、その店舗の周囲では、利用者がその店舗に興味を持ちやすいように、案内速度を遅くするようにしてもよい。
また、このように構成する場合には、施設が案内領域の管理者に支払う費用等に応じて店舗ごとに優先度を設定して、優先度の高い店舗の周囲ほど利用者が興味を持ちやすいように、案内速度を特に遅くするようにしてもよい。
次に、図5、図14~図18を参照して、案内システムSが、案内開始直後に目標位置を決定する際に行う処理、及び、案内中に目標位置を変更する際に行う処理について説明する。
ここで、「目標位置」とは、利用者に対するロボット2の案内中における相対位置の目標になる位置を指す。また、「相対位置」とは、利用者からロボットまでの距離のみ、又は、利用者に対してロボットが位置する方向のみをさす場合もあり、曲がる際等における相対位置の変化の度合いを指す場合も含む。ただし、以下の説明における目標位置又は相対位置は、利用者からロボットまでの距離、及び、利用者に対してロボットが位置する方向とする。
また、ここで、「方向」とは、利用者及びロボットの移動面に平行な面における利用者に対するロボットの方向を指す。
例えば、図14に示すように、利用者及びロボットが平地を移動している場合には、平面視において、利用者の身体の中心を通り前後方向に延びる線(矢状面に含まれる線。第1仮想線L1。)と、利用者の身体の中心である第1中心C1とロボット2の中心である第2中心C2とを通る線(第2仮想線L2)とがなす角度θ(すなわち、第2仮想線L2の第1仮想線L1に対する傾き)を指すものとする。
なお、図15は、案内システムSのサーバ3が案内開始直後に目標位置を決定する際に行う処理を示すフローチャートである。また、図17は、案内システムSのサーバ3が案内中に目標位置を変更する際に行う処理のうち、目標位置の変更内容を決定するまでの処理を示すフローチャートである。また、図18は、案内システムSのサーバ3が案内中に目標位置を変更する際に行う処理のうち、目標位置の変更を実行するまでの処理を示すフローチャートである。
まず、案内システムSが、案内開始直後の目標位置を決定する際に行う処理について説明する。
この処理においては、まず、サーバ3のデータ認識部3aの利用者静的データ認識部3a2が、案内開始前における利用者静的データを認識する(図15/STEP501)。
具体的には、まず、図7/STEP101、図11/STEP301における処理と同様に、受付端末1が、利用者によって受付時に入力された情報、及び、受け付けた受付端末1に関する情報、受付端末1の出力部を介して行われた利用者へのアンケートの結果を認識し、それらの情報をサーバ3に送信する。
その後、利用者静的データ認識部3a2が、受付端末1から送信された送信された情報から送信された情報から目標位置の決定に影響を与え得る情報を取得して、その情報を利用者静的データとして認識する。
この処理における目標位置の決定に影響を与え得る情報としては、例えば、目標位置の決定に影響を与え得る情報が挙げられる。例えば、身体(特に、目、耳)に関する障害の有無、車椅子を利用しているか否か、利き手、同行者の有無、妊娠しているか否か、過去の利用履歴等、主として、利用者の属性に関する情報が挙げられる。
次に、サーバ3の案内行動決定部3fの目標位置決定部3f3が、認識された利用者静的データに基づいて、案内開始時の目標位置である第1位置を決定する(図15/STEP502)。
本実施形態では、図14に示すように、利用者Uのパーソナル領域よりも外側であって、利用者Uの前方、且つ、利用者Uの中心視野領域の周辺視野領域近傍の位置(すなわち、利用者Uの斜め前方の位置)を、第1位置とする。ここで、第1位置の距離、及び、方向(利用者の左右いずれかに位置するか)は、利用者静的データに含まれる利用者の利き手、利用者の目、耳に関する障害の有無等によって決定される。
なお、第1位置は、利用者静的データに加え、評価データを参照して決定するようにしてもよいし、利用者に過去の利用履歴があった場合には、その過去の利用履歴における目標位置を用いるようにしてもよい。
次に、サーバ3のロボット制御部3jが、ロボット2に、案内行動を指示する(図15/STEP503)。
具体的には、例えば、図7を用いて説明した処理で決定された案内開始時における案内ルート(図8の第2ルートR2)、又は、図9及び図10を用いて説明した処理で決定された変更後における案内ルート(図8の第3ルートR3)に沿って、図11を用いて説明した処理で決定された案内開始時における案内速度、又は、図12及び図13を用いて説明した処理で決定された変更後における案内速度で、利用者を案内する指示を、ロボット制御部3jがロボット2に送信する。
その指示を受信したロボット2は、利用者(すなわち、案内開始地点P0)の近傍まで移動した後、案内を開始する。本実施形態では、ロボット2が移動を開始した時点を、案内開始時点とする。また、案内開始後、利用者静的データに基づいて決定された目標位置に一度移動した後は、この段階では相対位置の調整は行わずに、一定速度(例えば、図11を用いて説明した処理で決定した第2速度)で移動する。
次に、サーバ3の相対位置認識部3bが、利用者に対するロボット2の相対位置を認識する(図15/STEP504)。
具体的には、まず、ロボット2が、ロボット2の第2カメラ22dで撮影された利用者の画像のデータを、サーバ3に送信する。その後、相対位置認識部3bが、サーバ3に送信された情報に基づいて、利用者からロボットまでの距離、及び、及び、利用者に対してロボットが位置する方向を、相対位置として認識する。この処理は、案内開始後、所定の処理周期で逐次実行される。
次に、サーバ3の案内行動決定部3fの目標位置決定部3f3が、相対位置の変動量を認識する(図15/STEP505)。
具体的には、目標位置決定部3f3が、相対位置認識部3bが相対位置を認識するたびに、前回の認識における距離及び方向に対する今回の認識における距離及び方向の変動量を算出し、その算出された変動量を時系列的に記録する。これにより、変動量については、図16に示すグラフのようなデータが得られる。このグラフにおいて、tは時間、dは相対距離、Δdは変動量を示している。
次に、目標位置決定部3f3が、変動量は所定値以下であるか否かを判定する(図15/STEP506)。
この所定値は、案内システムSのシステム設計者等が任意に設定してよい。例えば、利用者静的データ及び評価データに基づいて、案内する利用者の属性及び過去の案内結果から決定した値を、所定値として設定してもよい。
所定値を超えると判定された場合(図15/STEP506でNOの場合)、STEP504に戻り、相対位置認識部3bが、再度、相対位置を認識する。
一方、所定値以下であると判定された場合(図15/STEP506でYESの場合)、目標位置決定部3f3が、ロボット2が案内を開始した後に利用者が移動を開始したときから第1時間が経過するまでの残り時間は第2時間以上であるか否かを判定する(図15/STEP507)。
この第1時間及び第2時間は、第1時間が第2時間よりも長ければ、案内システムSのシステム設計者等が任意に設定してよい。本実施形態では、第1時間は60秒とし、図16のグラフでは、T1として示す。また、第2時間は15秒とし、図16に示すグラフでは、T2として示す。
また、第1時間の開始時点は、本実施形態では案内開始時点としているが、案内開始時点以降であれば、他の時点であってもよい。例えば、利用者が移動を開始した時点を開始時点としてもよいし、案内開始から所定の時間(例えば10秒)経過した時点を開始時点としてもよい。
そして、このSTEP507における処理は、第1期間T1の終了する時点であるtaを基準として、第2期間T2の終了する時点であるtbが、早い時点になるか遅い時点になるか(すなわち、後述する基準位置決定期間中に、第2時間が終了するか)を判定する。
一方、第2時間以上であると判定された場合(図15/STEP507でYESの場合)、目標位置決定部3f3が、変動量が所定値以下の状態が維持された時間は第2時間以上であるか否かを判定する(図15/STEP508)。
第2時間未満であると判定された場合(図15/STEP508でNOの場合)、STEP504に戻り、相対位置認識部3bが、再度、相対位置を認識する。
一方、第2時間以上であると判定された場合(図15/STEP508でYESの場合)、目標位置決定部3f3が、第2時間中の相対位置に基づいて、案内中の目標位置を決定する(図15/STEP509)。
具体的には、例えば、目標位置決定部3f3が、第2時間中に測定された相対位置の平均値を、案内中の目標位置である第2位置として決定する。
一方、第2時間未満であると判定された場合(図15/STEP507でNOの場合)、目標位置決定部3f3が、案内開始時の目標位置を、案内中の目標位置として決定する(図15/STEP510)。
具体的には、目標位置決定部3f3が、案内開始時の目標位置である第1位置を、案内中の目標位置である第2位置として決定する。
次に、ロボット制御部3jが、ロボット2に、決定された目標位置に従った案内行動を指示して、今回の処理を終了する(図15/STEP511)。
具体的には、例えば、相対位置が決定された目標位置になるように、ロボット2を移動させる指示を、ロボット制御部3jがロボット2に送信する。
以上のSTEP501~STEP511では、相対位置に含まれる距離が決定されるまでの処理を説明したが、相対位置に含まれる方向についても同様の処理によって決定される。
以上説明したように、案内システムSでは、ロボット2が案内を開始した後に利用者が移動を開始したとき(すなわち、案内開始時)に認識された相対位置に基づいて目標位置を決定している。これは、本件発明者が、鋭意研究の結果、その目標位置が利用者にとってストレスの少ないものであるという知見を得たためである。
したがって、案内システムSによれば、利用者がストレスを感じにくい位置が目標位置になるので、利用者がストレスなく案内を受けることができるようになる。
なお、案内システムSでは、ロボット2が案内を開始した後に利用者が移動を開始したときから第1時間が経過するまでの期間を、基準位置決定期間(図16のグラフでは、t=0からt=tbまでの期間)としている。
そして、案内システムSでは、STEP506~STEP509における処理として示したように、その基準位置決定期間中に相対位置を逐次認識して、基準位置決定期間中に、相対位置の変動量(Δd)が所定の値以下になる状態が第2時間以上継続された場合に、第2時間中における相対位置に基づいて、目標位置を決定している。
これは、ロボット2が案内を開始した後に利用者が移動を開始したときにおける歩き出しのタイミングは、同じ利用者によっても異なるおそれがあるためである。例えば、ロボット2による案内の開始を見逃した場合等には、当然のことながら歩き出しのタイミングは遅くなってしまう。その結果、案内開始時において認識された相対位置が、本来好ましいとされる相対位置とは異なってしまうおそれがある。
そこで、このように、所定の期間の間に認識された相対位置、及び、その変動量を基準として、目標位置を決定するようにすると、そのような歩き出しのタイミングの変化による影響を抑制して、適切な目標位置を決定することができる。
しかし、本発明はこのような構成に限定されるものではなく、所定の期間の間に認識された位置、及び、その変動量を基準として、目標位置を決定しなくてもよい。例えば、利用者が歩き出したタイミングから所定の期間経過後の時点における相対位置に基づいて、目標位置を決定してもよい。
次に、案内システムSのサーバ3が、案内中に目標位置を変更する際に行う処理について説明する。
この処理においては、まず、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、現在の利用者動的データを認識する(図17/STEP601)。
具体的には、図9/STEP201、図12/STEP401における処理と同様に、利用者動的データ認識部3a1が、ロボット2から送信された情報に基づいて、案内中における利用者の挙動(例えば、表情、視線の動き等)、及び、生体情報(例えば、体調、疲労度合い等)等を、利用者動的データとして認識する。
次に、サーバ3のデータ認識部3aの環境動的データ認識部3a3が、ロボット2の現在地(ひいては、利用者の現在地P2)の環境動的データを認識する(図17/STEP602)。
具体的には、図9/STEP203、図12/STEP402における処理と同様に、環境動的データ認識部3a3が、ロボット2から送信された情報から目標位置の変更に影響を与え得る情報を取得して、その情報を環境動的データとして認識する。
この処理における目標位置の変更に影響を与え得る情報とは、例えば、案内中における利用者の周辺の混雑の度合い、利用者の周辺の騒音の大きさ、通路の広さ、案内しているルートにおける交通ルールに関する情報等が挙げられる。
これは、例えば、利用者の周辺が混雑している場合には、利用者がロボット2を見失ってしまうことがないように、利用者にロボット2を近づける必要があるためである。
また、例えば、利用者の周辺の騒音が大きい場合には、利用者の声を取得しやすいように、又は、ロボット2からの音声が利用者に届きやすいように、近づく必要があるためである。
また、例えば、通路の広さが狭い場合には、ロボット2を利用者の前方斜め前の位置に位置させることが難しく、利用者の正面に移動させる必要があるためである。
また、例えば、交通ルールとして例えば一時停止を求められている場所では、移動が再開した際にロボット2が利用者にとって邪魔にならないように、横に位置することが好ましいためである。
次に、利用者動的データ認識部3a1が、認識された利用者動的データは予め定められた所定の利用者動的データであるか否かを判定する(図17/STEP603)。
具体的には、図9/STEP202、図12/STEP403における処理と同様に、システム設計者等が、案内内容の変更のトリガーにすべき利用者動的データを予め定めておき、利用者動的データ認識部3a1が、認識された利用者動的データがその予め定められた所定の利用者動的データに該当するか否かを判定する。
所定の利用者動的データとしては、例えば、利用者の視線が、何かを探すように移動した、又は、なんらかのポイントに集中していることを示す情報、利用者の移動方向又は移動速度が変更されたことを示す情報、要求を伝えるような声(例えば、もっと近くに来てほしい等)を利用者が発生したことを示す情報等が挙げられる。
所定の利用者動的データではないと判定された場合(図17/STEP603でNOの場合)、環境動的データ認識部3a3が、認識された環境動的データは予め定められた所定の環境動的データであるか否かを判定する(図17/STEP604)。
具体的には、図12/STEP404における処理と同様に、システム設計者等が、案内内容の変更のトリガーにすべき環境動的データを予め定めておき、環境動的データ認識部3a3が、認識された環境動的データがその予め定められた所定の環境動的データに該当するか否かを判定する。
そのような環境動的データとしては、例えば、混雑の度合いを示す情報、予定になかった工事、突発的な事故といった事象等が挙げられる。
所定の環境動的データではないと判定された場合(図17/STEP604でNOの場合)、サーバ3は、再度、STEP601~STEP604の処理を実行する。
一方、所定の利用者動的データであると判定された場合(図17/STEP603でYESの場合)、又は、所定の環境動的データである判定された場合(図17/STEP604でYESの場合)、サーバ3の案内要求推定部3cが、認識された利用者静的データに基づいて、要求推定データを認識する(図17/STEP605)。
具体的には、図7/STEP105、図9/STEP205、図11/STEP305、図12/STEP405における処理と同様に、案内要求推定部3cが、案内開始前に認識した利用者静的データ(図15/STEP501で認識した利用者静的データ)のうちから認識した利用者の属性を指すデータに基づいて、要求推定データ格納部3dからその属性と同一の又は関連する属性の関連付けられた要求推定データを取得する。
次に、案内要求推定部3cが、認識された利用者動的データ、環境動的データ、及び、要求推定データに基づいて、利用者の現時点における案内要求を推定する(図17/STEP606)。
具体的には、まず、案内要求推定部3cが、利用者動的データ(表情、視線の動き等)、環境動的データ(現在地の混雑の度合い等)に基づいて、利用者の案内要求(例えば、混雑しているのでロボット2にもっと近くに来てほしい等)を推定する。
その後、図7/STEP106、図9/STEP206、図11/STEP306、図12/STEP406における処理と同様に、案内要求推定部3cが、要求推定データを参照して、推定した案内要求を利用者の案内要求として確定する、又は、改めて利用者の案内要求を推定する。
次に、サーバ3の案内行動決定部3fの目標位置決定部3f3が、推定された案内要求に基づいて、目標位置の変更内容を決定する(図17/STEP607)。
具体的には、目標位置決定部3f3は、システム設計者等が予め定められたルールに従って、目標位置の変更内容を決定する。
そのルールとしては、例えば、混雑の度合いの高低に応じて、距離を調整するとともに(例えば、混雑度合いが高いほど近づける)、方向を調整する(例えば、混雑度合いが高いほど、利用者の前方に位置させる)といったものが挙げられる。
また、例えば、利用者の周辺の騒音が大きい場合には、利用者の声を取得しやすいように、又は、ロボット2からの音声が利用者に届きやすいように、ロボット2の第2マイク22b、第2スピーカ22c等が、利用者に近くなるように、ロボット2を移動させるといったものが挙げられる。
また、例えば、通路の広さが所定の広さよりも狭い場合には、ロボット2を利用者の前方斜め前の位置に位置させることが難しいので、ロボット2を利用者の正面に移動させるといったものが挙げられる。
また、例えば、交通ルールとして例えば一時停止を求められている場所では、移動が再開した際にロボット2が利用者にとって邪魔にならないように、横に移動させるといったものが挙げられる。
次に、目標位置決定部3f3が、認識された利用者静的データに基づいて、評価データ格納部3lから評価データを認識する(図18/STEP608)。
具体的には、図10/STEP212、図13/STEP411における処理と同様に、目標位置決定部3f3が、案内開始前に認識した利用者静的データ(図15/STEP501で認識した利用者静的データ)のうちから認識した利用者の属性を指すデータに基づいて、評価データ格納部3lからその属性と同一の又は関連する属性の関連付けられた評価データを取得する。
次に、目標位置決定部3f3が、評価データに基づいて、目標位置を変更した場合に予測される利用者の感情の変化を認識する(図18/STEP609)。
具体的には、図10/STEP213、図13/STEP412における処理と同様に、目標位置決定部3f3が、今回の案内要求のために行う予定のロボット2の動作(例えば、目標位置の変更のための移動)に基づいて、その動作が関連付けられている評価データを認識し、その評価データに含まれる感情の変化を認識する。
次に、目標位置決定部3f3が、予測される感情変化はポジティブなものであるか否かを判定する(図18/STEP610)。
ポジティブなものではないと判定された場合(図18/STEP610でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
一方、ポジティブなものであると判定された場合(図18/STEP610でYESの場合)、サーバ3の報知指示部3hが、ロボット2に、変更内容の報知を指示する(図18/STEP611)。
具体的には、例えば、目標位置の変更に関する処理の場合には、まず、報知指示部3hが、目標位置を変更する旨、及び、目標位置を変更する理由(すなわち、推定された案内要求)等の目標位置の変更に関する情報、並びに、目標位置の変更の可否を問う問い合わせ情報の報知を、ロボット2に対して指示する。
その後、この指示を受けたロボット2は、出力部である第2タッチパネル22a、及び、第2スピーカ22cを介して、報知を行う。
次に、利用者動的データ認識部3a1が、問い合わせ情報の報知後の利用者動的データを認識する(図18/STEP612)。
具体的には、図9/STEP216、図13/STEP415における処理と同様に、利用者動的データ認識部3a1が、ロボット2から送信された情報に基づいて、問い合わせ情報の報知後の利用者の挙動等を、利用者動的データとして認識する。
次に、サーバ3の反応認識部3iが、問い合わせ情報の報知後に認識された利用者動的データに基づいて、利用者の反応を認識する(図18/STEP613)。
具体的には、図9/STEP217、図13/STEP416における処理と同様に、例えば、反応認識部3iが、報知後に認識された利用者動的データが予め定められた挙動に該当するものであるか否かによって、利用者の反応(具体的には、目標位置の変更が許可されたか否か)を認識する。
次に、目標位置決定部3f3が、反応認識部3iが認識した反応が、目標位置の変更を許可する反応であるか否かを判定する(図18/STEP614)。
目標位置の変更を許可する反応ではないと判定された場合(図18/STEP614でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
一方、目標位置の変更を許可する反応であると判定された場合(図18/STEP614でYESの場合)、目標位置決定部3f3が、目標位置の変更を確定し、サーバ3のロボット制御部3jが、ロボット2に、変更後の目標位置に従った案内行動を指示する(図18/STEP615)。
具体的には、ロボット制御部3jが、変更後の目標位置に移動する指示を、ロボット2に送信する。
最後に、案内要求推定部3cが、要求推定データ格納部3dに、今回の案内要求の推定の際に用いた利用者動的データ(すなわち、図17/STEP601で認識した利用者動的データ)、環境動的データ(すなわち、図17/STEP602で認識した環境動的データ)及び、利用者静的データと、推定された案内要求とを関連付けて格納して、今回の処理を終了する(図18/STEP616)。
このように構成されているサーバ3では、案内中(具体的には、案内開始時から案内終了時までの期間中)に、推定された利用者の案内要求に基づいて、目標位置が変更される。すなわち、利用者が明示している要求だけではなく、潜在的に希望している要求に基づいて、目標位置が変更される。
これにより、その目標位置は、利用者の案内要求に応じた適切なものになる。例えば、混雑による不快感等が考慮されたものになる。
したがって、このサーバ3を備える案内システムS、及び、それを用いた案内ロボット制御方法によれば、目標位置が利用者の案内要求に応じたものになり、また、利用者の意思を尊重して目標位置の変更が行われるので、利用者がストレスなく案内を受けることができるようになる。
なお、本実施形態では、目標位置の変更の処理については、利用者動的データを逐次検出し、その都度、案内要求を改めて推定し、目標位置の変更を行っている。これは、時々刻々と変化する利用者の案内要求を逐次把握して、適切に目標位置を変更するためである。
しかし、本発明はこのような構成に限定されるものではない。例えば、所定のタイミング(例えば、所定の地点を通ったタイミング、所定の時間が経過したタイミング等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、目標位置の変更を行うようにしてもよい。
また、例えば、利用者動的データに代わり、環境動的データを逐次認識し、所定の環境動的データが認識されたとき(例えば、混雑の度合いが所定以上の高さになったとき等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、目標位置の変更を行うようにしてもよい。
また、本実施形態では、基準位置決定期間中の相対位置の変動を参照して、案内開始時における目標位置を決定している。
しかし、本発明はこのような構成に限定されるものではない。例えば、基準位置決定期間に代わり、基準位置決定区間(例えば、案内開始地点から最初の曲がり角までの区間)を設定し、その区間の移動中の相対位置の変動を参照して、案内開始時における目標位置を決定してもよい。
また、本実施形態では、目標位置を変更した場合に予測される感情変化がポジティブなものではないと判定された場合(図18/STEP610でNOの場合)、及び、報知後の反応が許可を示すものではないと判定された場合(図18/STEP614でNOの場合)には、サーバ3はその後の処理を行わずに処理を終了する。これは、希望する到着時間に利用者を目的地に案内することを優先し、また、利用者の直接的な希望を優先するためである。
しかし、本発明はこのような構成に限定されるものではない。例えば、認識された利用者動的データが直接的な指示を含むものであった場合(例えば、もっと近くに位置してほしいとロボットに向かって指示した場合)等には、感情変化に関する判定を行わずに、目標位置の変更を実行してもよい。
また、本実施形態では、案内ルートの移動開始時に目標位置の決定を行っている。しかし、本発明はこのような構成に限定されるものではない。例えば、利用者が案内中にいずれかの施設に立ち寄った場合には、その施設に至るまでに決定及び変更された目標位置を継続して使用してもよいが、その施設から移動を再開した時点で、改めて目標位置の決定を行ってもよい。
また、本実施形態では、利用者動的データが所定の利用者動的データに該当する場合、又は、環境動的データが所定の環境動的データに該当する場合に、案内中の目標位置の変更を行っている。
しかし、本発明はこのような構成に限定されるものではなく、環境静的データを参照して、案内中の目標位置の変更を行ってもよい。例えば、狭い通路を移動する場合には、利用者の斜め前方ではなく、正面前方に目標位置を変更してもよい。そして、その変更を行う際には、事前に変更を行う旨の報知を行うと好ましい。
次に、図5、図6、図19、図20を参照して、案内システムSが利用者の評価を推定する際に行う処理について説明する。
なお、図19は、案内システムSのサーバ3が評価を推定する際に行う処理を示すフローチャートである。
この処理においては、まず、サーバ3のデータ認識部3aの利用者静的データ認識部3a2が、案内開始前における利用者静的データを認識する(図19/STEP701)。
具体的には、まず、図7/STEP101、図11/STEP301、図15/STEP501における処理と同様に、受付端末1が、利用者によって受付時に入力された情報、及び、受け付けた受付端末1に関する情報、受付端末1の出力部を介して行われた利用者へのアンケートの結果を認識し、それらの情報をサーバ3に送信する。
その後、利用者静的データ認識部3a2が、受付端末1から送信された送信された情報から利用者の属性に関する情報を取得して、その情報を利用者静的データとして認識する。この処理における利用者の属性としては、例えば、年齢、性別、希望する到着時間等が挙げられる。
次に、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、案内開始前の利用者動的データを認識する(図19/STEP702)。
具体的には、図7/STEP104における処理と同様に、利用者動的データ認識部3a1が、受付端末1から送信された情報に基づいて、案内開始時における利用者の挙動、及び、生体情報(例えば、体調、疲労度合い等)等を、利用者動的データとして認識する。
次に、サーバ3の感情推定部3kが、認識された案内開始前の利用者動的データに基づいて、基準感情を推定する(図19/STEP703)。
具体的には、例えば、まず、感情推定部3kが、認識された案内開始前の利用者動的データに基づいて、利用者の受付の際の感情が図6に示すプルチックの感情モデルMのいずれの領域に属するかを推定する。そして、その領域を基準感情とする。また、このとき、感情推定部3kは、基準感情の属する領域を0として、他の各領域についてのスコアを設定する。
次に、サーバ3のロボット制御部3jが、ロボット2に、案内行動を指示する(図19/STEP704)。
具体的には、例えば、図7を用いて説明した処理で決定された案内開始時における案内ルート(図8の第2ルートR2)、又は、図9及び図10を用いて説明した処理で決定された変更後における案内ルート(図8の第3ルートR3)に沿って、図11を用いて説明した処理で決定された案内開始時における案内速度、又は、図12及び図13を用いて説明した処理で決定された変更後における案内速度で、図15を用いて説明した処理で決定された目標位置、又は、図17及び図18で説明した処理で決定された変更後の目標位置を相対位置の目標位置として、利用者を案内する指示を、ロボット制御部3jがロボット2に送信する。
その指示を受信したロボット2は、利用者(すなわち、案内開始地点P0)の近傍まで移動した後、案内を開始する。本実施形態では、ロボット2が利用者を中心とした所定の範囲内であって利用者の前方になる位置まで移動した時点を、案内開始時点とする。
次に、利用者動的データ認識部3a1が、現在の利用者動的データを認識する(図19/STEP705)。
具体的には、図9/STEP201、図12/STEP401、図17/STEP601における処理と同様に、利用者動的データ認識部3a1が、ロボット2から送信された情報に基づいて、案内中における利用者の挙動(例えば、表情、視線の動き等)、及び、生体情報(例えば、体調、疲労度合い等)等を、利用者動的データとして認識する。
次に、利用者動的データ認識部3a1が、認識された現在の利用者動的データは予め定められた所定の利用者動的データであるか否かを判定する(図19/STEP706)。
具体的には、図9/STEP202、図12/STEP403、図17/STEP603における処理と同様に、システム設計者等が、案内内容の変更のトリガーにすべき利用者動的データを予め定めておき、利用者動的データ認識部3a1が、認識された利用者動的データがその予め定められた所定の利用者動的データに該当するか否かを判定する。
所定の利用者動的データとしては、例えば、利用者の視線が、何かを探すように移動した、又は、なんらかのポイントに集中していることを示す情報、利用者の移動方向又は移動速度が変更されたことを示す情報、要求を伝えるような声を利用者が発生したことを示す情報等が挙げられる。
次に、感情推定部3kが、現在のロボット2の動作は予め定められた所定の動作であるか否かを判定する(図19/STEP707)。
具体的には、システム設計者等が、案内内容の変更のトリガーにすべきロボット2の動作を予め定めておき、感情推定部3kが、ロボット2からの信号に基づいてロボット2の動作を認識するとともに、その認識された動作がその予め定められた所定の動作に該当するか否かを判定する。
所定の動作には、例えば、案内ルート、案内速度、又は、目標位置の変更、及び、それに伴う報知といったロボット2が意図して行った動作が含まれる。また、その所定の動作には、例えば、ロボット2が疑似的に人間のような動作を行うものである場合には、お辞儀に該当する動作等も含まれる。
また、所定の動作には、ロボット2が意図せずに行ってしまった動作も含まれる。具体的には、利用者の移動速度の変化等によって、ロボット2が利用者に近づきすぎた、又は、利用者から離れすぎたといった動作も含まれる。
所定の動作ではないと判定された場合(図19/STEP707でNOの場合)、サーバ3は、再度、STEP705~STEP707の処理を実行する。
一方、所定の利用者動的データであると判定された場合(図19/STEP706でYESの場合)、又は、所定の動作であると判定された場合(図19/STEP707でYESの場合)、感情推定部3kが、現在の利用者動的データに基づいて、現在感情を推定する(図19/STEP708)。
具体的には、例えば、図19/STEP703の処理と同様に、感情推定部3kが、認識された現在の利用者動的データに基づいて、利用者の現在感情が図6に示すプルチックの感情モデルMのいずれの領域に属するか(すなわち、現在感情そのもの)を推定する。
また、感情モデルMの8つの領域は、ポジティブ、ネガティブのいずれかに分類されている。そのため、推定された現在感情がいずれの領域に属するか推定することによって、その現在感情がポジティブなものであるかネガティブなものであるかも推定される。
また、感情モデルMでは、基準感情に基づいて、領域及び程度に応じてスコアを定められている。感情推定部3kは、現在感情を推定した後、そのスコアの変動を認識することによって、基準感情に対する現在感情の変化も認識する。
そして、感情推定部3kは、現在感情そのものだけではなく、その現在感情がポジティブなものであるかネガティブなものであるか、及び、基準感情に対する現在感情の変化を含めたものを、現在感情として認識する。
次に、サーバ3のデータ認識部3aの環境動的データ認識部3a3が、ロボット2の現在地(ひいては、利用者の現在地P2)の環境動的データを認識する(図19/STEP709)。
具体的には、図9/STEP203、図12/STEP402、図17/STEP602における処理と同様に、環境動的データ認識部3a3が、ロボット2から送信された情報に基づいて、環境動的データとして認識する。
次に、感情推定部3kが、評価データ格納部3lに、現在感情に関する評価データ、並びに、利用者静的データ、及び、現在地の環境動的データを格納する(図19/STEP710)。
具体的には、感情推定部3kが、まず、感情推定のトリガーになった現在の利用者動的データ(図19/STEP706で判定対象になった利用者動的データ)が認識される直前に行われたロボット2の動作、又は、感情推定のトリガーになったロボット2の動作(図19/STEP707で判定対象になった動作)を、今回の処理によって推定された現在感情に関連付けて、現在感情に関する評価データとする。
その後、感情推定部3kが、その評価データに、図19/STEP701で認識された利用者静的データ、及び、図19/STEP709で認識された現在地の環境動的データを関連付ける。
そして、感情推定部3kは、それらの評価データを、時系列的に(具体的には、感情推定を行った時刻を関連付けて)、評価データ格納部3lに格納する。その結果、これにより、評価データについては、図20に示すグラフのようなデータが得られる。
このグラフでは、基準感情は0、基準感情よりもポジティブな感情はプラス、基準感情よりもネガティブな感情はマイナスになっている。また、このグラフでは、t1、t2、t3、t4、t5は、感情推定のトリガーになった現在の利用者動的データが認識された時刻、又は、感情推定のトリガーになったロボット2の動作が行われた時刻である。
例えば、本実施形態では、t1の時刻は、案内開始を示す動作を行った時刻、t2、t3、t4の各時刻は、利用者が所定の利用者動的データに対応する挙動等を行った時刻、又は、推定された案内要求に基づいてロボット2が所定の動作を行った時刻、t5の時刻は、案内終了の際にロボット2が案内終了を示す動作を行った時刻となる。
次に、感情推定部3kが、案内が終了したか否かを判定する(図19/STEP711)。
具体的には、例えば、感情推定部3kが、目的地に到着したか否か、ロボット2が案内終了を示す動作(例えば、お辞儀をした後手を振るような動作)を行ったか否かを判定することによって、案内は終了したか否かが判定される。
終了していないと判定された場合(図19/STEP711でNOの場合)、サーバ3は、再度、STEP705~STEP711の処理を実行する。
一方、終了したと判定された場合(図19/STEP711でNOの場合)、感情推定部3kが、評価データ格納部3lに、案内全体に関する評価データ、及び、利用者静的データを格納する(図19/STEP712)。
具体的には、感情推定部3kが、まず。案内開始時から案内終了時までの評価データに基づいて、図20に示すようなグラフを作成し、感情推定部3kが、そのグラフに基づいて積分値を算出する。その後、感情推定部3kは、その積分値、案内の内容(例えば、案内ルート、案内速度、目標位置の他、案内中に認識された環境動的データ)、及び、ロボット2の案内中における全動作を評価データとする。そして、感情推定部3kが、その評価データに、図19/STEP701で認識された利用者静的データを関連付けて、評価データ格納部3lに格納する。
このように構成されているサーバ3では、ロボット2の動作と、その動作の際における利用者の挙動(すなわち、利用者動的データ)に基づいて推定された利用者の現在感情とを関連付けたものを、評価データとして収集している。
これにより、その収集された評価データは、案内終了後に行われたアンケート結果に基づくデータ等に比べ、ロボット2の動作と利用者の感情の変化(すなわち、満足度)との関連性を、明確に示したものになる。
したがって、このサーバ3を備える案内システムS、及び、それを用いた案内ロボット制御方法によれば、ロボット2の動作に対する利用者の満足度を精度よく把握するために有用な評価データを収集することができる。ひいては、その評価データを参照して、ロボット2の動作を設定することによって、利用者がストレスなく案内を受けることができるようになる。
なお、本実施形態では、感情推定部3kによる基準感情の推定は、案内開始時に行われている。これは、案内開始時における感情を基準感情にすることによって、案内中におけるロボットの動作に対する感情を的確に把握するためである。
しかし、本発明の感情推定部はそのような構成に限定されるものではなく、基準感情を案内開始時以外のタイミングで定めてもよいし、1回だけでなく複数回定めてもよい。例えば、利用者が案内中に所定の施設に立ち寄った場合には、その施設から案内を再開するたびに、基準感情を推定してもよい。これにより、その施設内で生じた事象による感情への影響を抑制することができる。
なお、本実施形態では、基準感情を推定し、基準感情に基づいて現在感情の変化を認識している。これは、基準になる感情を定めることによって、ロボット2の各動作に対する利用者の感情の変化(動作の結果、良好になったのか、悪化したのか等)をさらに的確に把握するためである。
しかし、本発明はこのような構成に限定されるものではない。例えば、基準感情を用いずに、直前の感情に対する感情の変化(すなわち、単純にそのときどきの感情の変化)を認識するようにしてもよい。
また、本実施形態では、感情推定部3kが、案内の終了時に、現在感情の変化の積分値を案内全体に対する感情の変化として、案内全体の評価データに含めて、評価データ格納部3lに格納している。これは、個々のロボット2の動作だけではなく、案内全体に対する評価を把握するためである。
しかし、本発明はこのような構成に限定されるものではない。例えば、案内終了時の現在感情そのもの、又は、案内終了時の現在感情と基準感情とを比較した結果を、案内全体に対する感情の変化としてもよい。また、案内全体に対する感情の変化を、評価データに含めなくてもよい。
以上、図示の実施形態について説明したが、本発明はこのような形態に限られるものではない。
例えば、上記実施形態では、推定された案内要求に従って、案内ルート、案内速度、目標位置の決定を行っている。しかし、本発明の案内行動はこれらに限定されるものではなく、案内中にロボットが行う他の動作も含み得るものである。
例えば、ロボットの案内時の音声、効果音、合図音、案内時にロボットから流れる音楽の、種類、発音頻度、音量、ロボットの動作パターン(例えば、曲線的に移動する、直線的に移動する等)等のロボットそのものの動作の他、案内中にロボットが流す音楽、ロボットが提示する広告の内容等、ロボットを介して提供されるサービスの内容等も含み得る。
1…受付端末、1a…第1タッチパネル、1b…キーボード、1c…第1マイク、1d…第1スピーカ、1e…第1カメラ、2…ロボット、3…サーバ(案内ロボット制御装置)、3a…データ認識部、3a1…利用者動的データ認識部、3a2…利用者静的データ認識部、3a3…環境動的データ認識部、3a4…環境静的データ認識部、3b…相対位置認識部、3c…案内要求推定部、3d…要求推定データ格納部、3e…マップ格納部、3f…案内行動決定部、3f1…ルート決定部、3f2…案内速度決定部、3f3…目標位置決定部、3g…優先度格納部、3h…報知指示部、3i…反応認識部、3j…ロボット制御部3k…感情推定部、3l…評価データ格納部、4…監視システム、20…下部基体、20a…第1アクチュエータ、20b…第2アクチュエータ、20c…第3アクチュエータ、21…移動動作部、21a…芯体、21b…ローラ、22…上部基体、22a…第2タッチパネル、22b…第2マイク、22c…第2スピーカ、22d…第2カメラ、23…制御装置、24…通信装置、25…加速度センサ、26…位置センサ、A1…第1領域、A2…第2領域、A3…第3領域、A4…第4領域、A5…第5領域、A6…第6領域、A7…第7領域、A8…第8領域、C1…第1中心、C2…第2中心、L1…第1仮想線、L2…第2仮想線、M…感情モデル、P0…案内開始地点、P1…目的地、P2…現在地、P3…イベント会場、P4…店舗、R1…第1ルート、R2…第2ルート、R3…第3ルート、S…案内システム、U…利用者。
Claims (7)
- 利用者とともに移動して前記利用者を目的地まで案内するロボットを制御する案内ロボット制御装置であって、
前記利用者に対する前記ロボットの相対位置を認識する相対位置認識部と、
前記ロボットが案内を開始した後に前記利用者が移動を開始したときの前記相対位置に基づいて、案内中における前記相対位置の目標になる目標位置を決定する目標位置決定部とを備えていることを特徴とする案内ロボット制御装置。 - 請求項1に記載の案内ロボット制御装置において、
前記相対位置認識部は、前記ロボットが案内を開始した後に前記利用者が移動を開始したときから所定の第1時間が経過するまでの期間である基準位置決定期間中に、前記相対位置を逐次認識し、
前記目標位置決定部は、前記基準位置決定期間中に、前記相対位置の変動量が所定の値以下になる状態が所定の第2時間以上継続された場合に、該所定の第2時間中における前記相対位置に基づいて、前記目標位置を決定することを特徴とする案内ロボット制御装置。 - 請求項1又は請求項2に記載の案内ロボット制御装置において、
経時的に変化する案内領域に関する情報である環境動的データを認識する環境動的データ認識部を備え、
前記目標位置決定部は、前記ロボットが案内を開始した後に前記利用者が移動を開始したときの前記相対位置、及び、前記環境動的データに基づいて、前記目標位置を決定することを特徴とする案内ロボット制御装置。 - 請求項3に記載の案内ロボット制御装置において、
前記環境動的データ認識部は、前記環境動的データを逐次認識し、
前記目標位置決定部は、前記環境動的データが認識された際に、改めて前記目標位置を決定することを特徴とする案内ロボット制御装置。 - 請求項1~請求項4のいずれか1項に記載の案内ロボット制御装置において、
前記ロボットに対し、決定された前記目標位置に基づいて、前記利用者への前記相対位置の変更の可否を問う問い合わせ情報の報知の指示を行う報知指示部と、
前記指示に基づく報知に対する前記利用者の反応を認識する反応認識部とを備え、
前記目標位置決定部は、前記反応に基づいて、前記相対位置の変更を行うか否かを決定することを特徴とする案内ロボット制御装置。 - 利用者とともに移動して前記利用者を目的地まで案内するロボットと、
請求項1~請求項5のいずれか1項に記載の案内ロボット制御装置とを備え、
前記案内ロボット制御装置は、前記相対位置が前記目標位置になるように、前記ロボットの移動を制御するロボット制御部を有していることを特徴とする案内システム。 - 利用者とともに移動して前記利用者を目的地まで案内するロボットを制御する案内ロボット制御方法であって、
相対位置認識部が、前記利用者に対する前記ロボットの相対位置を認識するステップと、
目標位置決定部が、前記ロボットが案内を開始した後に前記利用者が移動を開始したときの前記相対位置に基づいて、案内中における前記相対位置の目標になる目標位置を決定するステップとを備えていることを特徴とする案内ロボット制御方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018237549 | 2018-12-19 | ||
JP2018237549 | 2018-12-19 | ||
PCT/JP2019/033718 WO2020129310A1 (ja) | 2018-12-19 | 2019-08-28 | 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020129310A1 JPWO2020129310A1 (ja) | 2021-10-14 |
JP7038232B2 true JP7038232B2 (ja) | 2022-03-17 |
Family
ID=71102802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020561151A Active JP7038232B2 (ja) | 2018-12-19 | 2019-08-28 | 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11738449B2 (ja) |
JP (1) | JP7038232B2 (ja) |
WO (1) | WO2020129310A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020129312A1 (ja) * | 2018-12-19 | 2020-06-25 | 本田技研工業株式会社 | 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 |
CN112880689A (zh) * | 2021-01-29 | 2021-06-01 | 北京百度网讯科技有限公司 | 一种领位方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008260107A (ja) | 2007-04-13 | 2008-10-30 | Yaskawa Electric Corp | 移動ロボットシステム |
JP2016159155A (ja) | 2015-02-26 | 2016-09-05 | トヨタ自動車株式会社 | ユーザの健康記録に基づいてパーソナライズされた看護の提供 |
JP2017119336A (ja) | 2015-12-28 | 2017-07-06 | ヴイストン株式会社 | ロボット、ロボット制御方法並びにロボットプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3906743B2 (ja) | 2002-05-27 | 2007-04-18 | 松下電工株式会社 | 案内ロボット |
US8077963B2 (en) * | 2004-07-13 | 2011-12-13 | Yulun Wang | Mobile robot with a head-based movement mapping scheme |
JP2007160440A (ja) * | 2005-12-12 | 2007-06-28 | Honda Motor Co Ltd | 脚式移動ロボットの制御装置 |
JP4849244B2 (ja) | 2006-12-15 | 2012-01-11 | 株式会社国際電気通信基礎技術研究所 | 移動ロボットおよび移動速度推定方法 |
US9160783B2 (en) * | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
JP4371153B2 (ja) | 2007-06-15 | 2009-11-25 | トヨタ自動車株式会社 | 自律移動装置 |
JP5423142B2 (ja) | 2009-05-21 | 2014-02-19 | 日本精工株式会社 | 案内用ロボット及びその制御方法 |
EP3154749A4 (en) * | 2014-06-12 | 2017-12-06 | Play-i, Inc. | System and method for reinforcing programming education through robotic feedback |
US10048851B2 (en) * | 2015-03-19 | 2018-08-14 | Denso Wave Incorporated | Apparatus for operating robots |
US10188580B2 (en) * | 2016-05-09 | 2019-01-29 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for providing environment information using an unmanned vehicle |
JP6751658B2 (ja) | 2016-11-15 | 2020-09-09 | クラリオン株式会社 | 音声認識装置、音声認識システム |
-
2019
- 2019-08-28 US US17/415,159 patent/US11738449B2/en active Active
- 2019-08-28 JP JP2020561151A patent/JP7038232B2/ja active Active
- 2019-08-28 WO PCT/JP2019/033718 patent/WO2020129310A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008260107A (ja) | 2007-04-13 | 2008-10-30 | Yaskawa Electric Corp | 移動ロボットシステム |
JP2016159155A (ja) | 2015-02-26 | 2016-09-05 | トヨタ自動車株式会社 | ユーザの健康記録に基づいてパーソナライズされた看護の提供 |
JP2017119336A (ja) | 2015-12-28 | 2017-07-06 | ヴイストン株式会社 | ロボット、ロボット制御方法並びにロボットプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020129310A1 (ja) | 2021-10-14 |
US11738449B2 (en) | 2023-08-29 |
WO2020129310A1 (ja) | 2020-06-25 |
US20220055207A1 (en) | 2022-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7101815B2 (ja) | 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 | |
US11904462B2 (en) | Guide robot control device, guidance system using same, and guide robot control method | |
JP7142718B2 (ja) | 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 | |
US11455792B2 (en) | Robot capable of detecting dangerous situation using artificial intelligence and method of operating the same | |
WO2020054458A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
US20210354305A1 (en) | Serving robot and method for receiving customer using the same | |
US11126833B2 (en) | Artificial intelligence apparatus for recognizing user from image data and method for the same | |
JPWO2020100539A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP4896550B2 (ja) | 情報管理システム | |
KR102303785B1 (ko) | 로봇의 언어를 설정하는 인공 지능 서버 및 그 방법 | |
US20190354178A1 (en) | Artificial intelligence device capable of being controlled according to user action and method of operating the same | |
US20210334640A1 (en) | Artificial intelligence server and method for providing information to user | |
JP7038232B2 (ja) | 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 | |
JP7095757B2 (ja) | 乗車許可判断装置及び乗車許可判断方法 | |
KR20190086628A (ko) | 모바일 로봇을 무빙워크에 진입시키는 방법 및 그 모바일 로봇 | |
WO2023061927A1 (en) | Method for notifying a visually impaired user of the presence of object and/or obstacle | |
US20230315117A1 (en) | Mobile body control device, mobile body control method, and non-transitory computer-readable storage medium | |
US11455529B2 (en) | Artificial intelligence server for controlling a plurality of robots based on guidance urgency | |
JP7061474B2 (ja) | 走行装置 | |
US11560158B2 (en) | Robot and method for controlling the same | |
US20200262071A1 (en) | Mobile robot for recognizing queue and operating method of mobile robot | |
WO2023189105A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20230315130A1 (en) | Mobile body control device, mobile body control method, and non-transitory computer-readable storage medium | |
CN112241237B (zh) | 图像显示装置、图像显示系统以及图像显示方法 | |
CN112238454B (zh) | 机器人管理装置、机器人管理方法以及机器人管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7038232 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |