JP2005131713A - コミュニケーションロボット - Google Patents

Abstract

【構成】 環境内に設置される周囲状況観測装置１６によって周囲の状況が観測され、人間Ｐ２等に装着される人間用観測装置１８によって当該人間の視点からの状況が観測され、また、ロボット本体１２によって当該ロボットの視点からの状況が観測される。展示物Ｂ１…や人間用観測装置１８等には赤外線タグ１４等が取り付けられ、これによって各観測装置では識別情報を含むデータが取得される。したがって、このような環境内における人間や展示物等の間のインタラクションが観測され、その人間の行動履歴がデータベースに逐次記録される。そして、対話相手についての過去の行動データを解析し、その状態に基づいて、対話相手に提示すべき案内や推薦等の行動が決定され、ロボット本体１２は当該行動を実行する。
【効果】 対話相手の過去の行動に応じた行動を提示することができる。
【選択図】 図１

Description

この発明はコミュニケーションロボットに関し、特にたとえば、対話対象の行動を観測して、たとえば身振りや音声等の身体動作を用いてコミュニケーションをする、コミュニケーションロボットに関する。

この種の従来のコミュニケーションロボットの一例が、たとえば本件出願人による特許文献１に開示されている。この特許文献１のロボットでは、たとえば、身振りや音声を用いて対話相手にポスター等のような展示物を見るように案内する行動が実行される。
米国特許第６６０４０２１号明細書

特許文献１の従来技術では、対話相手に対して案内をすることができるが、その対話相手の過去の行動の如何にかかわらず、一義的にプログラミングされたガイド方法を実行するのみであった。

それゆえに、この発明の主たる目的は、対話相手の過去の行動に応じた行動を実行できる、コミュニケーションロボットを提供することである。

請求項１の発明は、対話対象の行動を観測してコミュニケーションをするコミュニケーションロボットであって、対話対象の行動履歴を取得するセンサ、センサによって取得された行動履歴を記録する記録手段、対話対象から対話相手を決定する相手決定手段、記録手段に記録された対話相手に関する行動履歴に基づいて当該ロボットの行動を決定する行動決定手段、および行動決定手段によって決定された行動を実行する実行手段を備える、コミュニケーションロボットである。

請求項１の発明では、たとえば所定の空間における人間等のような当該ロボットの対話対象の行動を観測してコミュニケーションを図る。センサは対話対象の行動履歴を取得し、取得された行動履歴は記録手段によって記録される。相手決定手段は対話対象の中から対話相手を決定し、行動決定手段は、その対話相手に関する行動履歴に基づいて、当該ロボットの提示すべき行動を決定する。そして、実行手段は、決定された行動を、その対話相手に対して実行する。したがって、請求項１の発明によれば、対話相手に対してその過去の行動に応じた行動を提示することができる。

請求項２の発明は、請求項１に従属するコミュニケーションロボットであり、センサは、対話対象を識別するための識別情報および対話対象のインタラクションの対象物を識別するための識別情報の少なくとも一方を取得する。

請求項２の発明では、センサによって、対話対象を識別するための識別情報、および対話対象のインタラクションないし行動の対象物（実施例ではたとえば展示物やロボット本体、ぬいぐるみ等）を識別するための識別情報のうち少なくとも一方を取得する。対話対象を識別するための識別情報を取得する場合、センサは当該対話対象以外の場所に、たとえば他の対話対象、対象物または環境を構成する構造物等に設けられている。したがって、対話対象の識別情報が取得される場合、当該識別情報の付与された対話対象は、センサの設けられた他の対話対象、対象物または構造物等に対してインタラクションをしていることが把握される。また、対象物を識別するための識別情報を取得する場合、センサは当該対象物以外の場所に、たとえば対話対象、他の対象物、または環境を構成する構造物等に設けられている。したがって、対象物の識別情報が取得される場合、当該識別情報の付与された対象物に対して、センサの装着された対話対象がインタラクションをしていることが把握される。そして、記録手段は、対話相手を識別可能な識別情報によって記述された行動履歴、および対象物を識別可能な識別情報によって記述された行動履歴のうち少なくとも一方を記録する。行動決定手段は、対話対象の識別情報が取得される場合、記録手段の行動履歴の中から、対話相手に関する行動履歴をその対話相手の識別情報によって容易に特定し参照することができる。また、対象物の識別情報が取得される場合には、対話相手に設けられるセンサによって取得された行動履歴が、対話相手に関する行動履歴である。このように、センサによって対話対象および対象物の少なくとも一方の識別情報を取得することによって、行動決定手段は対話相手に対する行動を容易に決定することができる。

請求項３の発明は、請求項２に従属するコミュニケーションロボットであり、行動決定手段は、対話相手とインタラクションの対象物との位置関係に基づいて対話相手に関する行動履歴の状態を解析し、該解析結果に基づいて行動を決定する。

請求項３の発明では、行動決定手段は、対話相手に関する行動履歴データを、対話相手とそのインタラクションの対象物との位置関係に基づいて解析する。対話相手とインタラクションの対象物との位置関係は、対話対象の識別情報によって記述される行動履歴や、インタラクション対象物の識別情報によって記述される行動履歴、あるいはこれらの組み合わせ等によって把握することができる。この解析によって対話相手に関する行動履歴の状態を把握することができる。したがって、把握された過去の行動の状態に基づいて、提示する行動を容易に決定することができる。

請求項４の発明は、請求項１ないし３のいずれかに従属するコミュニケーションロボットであり、過去の行動に対応して当該ロボットの提示すべき行動を規定した規則を記憶する規則記憶手段をさらに備え、行動決定手段は、対話相手に関する行動履歴と規則とに基づいて、行動を決定する。

請求項４の発明では、規則記憶手段には、過去の行動に対応して当該ロボットの提示すべき行動を規定した規則が記憶される。そして、行動決定手段は、対話相手に関する行動履歴と規則記憶手段の規則とに基づいて、提示すべき行動を決定する。したがって、過去の行動と規則とを照合することによって、対話相手に提示する行動を容易に決定することができる。

請求項５の発明は、請求項１ないし４のいずれかに従属するコミュニケーションロボットであり、行動決定手段によって決定される行動は、対話相手のインタラクションした対象物に関連する案内ないし推薦をする動作を含む。

請求項５の発明では、対話相手のインタラクションした対象物に関連する案内ないし推薦をする動作が実行されるので、対話相手はインタラクションによって得た知識等を補完したり深めたりすることができ、有益な情報を得ることができる。

この発明によれば、対話相手の過去の行動データに基づいて、当該対話相手に対して提示する行動を決定するので、対話相手の過去の行動に応じた行動を提示することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のコミュニケーションロボット（以下、単に「ロボット」とも言う。）１０は、１または複数の対話対象である人間等の行動を観測してコミュニケーションをするものである。具体的には、ロボット１０は、所定の空間において対話相手である人間に対して、当該人間の過去の行動に応じた行動を提示するためのものであり、実際に身振りや発話等の身体動作を用いて行動を提示するロボット本体１２を含む。この実施例では、一例として、種々の展示物等が配置された展示会場において、訪問者Ｐ１，Ｐ２，Ｐ３…等に案内をする場合を想定している。

ロボット１０では、空間内におけるロボット本体１２の対話対象である少なくとも１人の人間と、その人間のたとえばインタラクション（相互作用）の対象物であるたとえば展示物やロボット本体１２等との間のインタラクションに関するデータ、すなわち対話対象の行動に関するデータが逐次記録されて蓄積される。そして、この蓄積された行動の履歴に基づいて対話相手に提示すべき行動が決定され、ロボット本体１２は、たとえば案内ないし推薦情報やインタラクションした対象物に関する情報等をその身振りまたは音声を含む身体動作（行動）によって提示する。このため、展示会場内には対話対象たる訪問者等のインタラクションを検知するための各種のセンサ類が設けられるとともに、検知対象物にはこの実施例では赤外線タグ１４がそれぞれ取り付けられている。

たとえば、複数の周囲状況観測装置１６が環境を構成する構造物である天井または壁等の所定の位置に設置され、それぞれの設置箇所の周囲でのインタラクションが観測される。また、訪問者Ｐ２，Ｐ３や説明員Ｑ１等には人間用観測装置１８がそれぞれ装着され、それぞれの人間の視点ないし位置からのインタラクションが観測される。また、１または複数のぬいぐるみ型観測装置２０も環境内の所定の場所に配置され、当該ぬいぐるみの視点ないし位置からのインタラクションが観測される。そして、ロボット本体１２もその視点ないし位置からインタラクションを観測する装置として機能する。

また、赤外線タグ１４は、対象物自体またはその近傍もしくは環境内の天井または壁等に取り付けられる。この図１の例では、展示物として説明用ボードないしポスターＢ１，Ｂ２，Ｂ３，Ｂ４…および説明用コンピュータＭ１，Ｍ２，Ｍ３…の所定位置にそれぞれ取り付けられるとともに、訪問者Ｐ１、ぬいぐるみ２０、およびロボット本体１２のたとえば胸部等にそれぞれ取り付けられている。各赤外線タグ１４は、当該対象物を識別するための識別情報（ＩＤ番号等）を赤外線の点滅により送信する。また、訪問者Ｐ２，Ｐ３および説明員Ｑ１に装着される人間用観測装置１８にも、同様に、赤外線タグ（図示せず）が取り付けられ、当該訪問者および説明員等の対話対象を識別するための識別情報が送信される。このように、観測されて記録されるインタラクションデータは、対象物の識別情報で記述されるデータや、対話対象の識別情報で記述されるデータを含む。

赤外線タグ１４および人間用観測装置１８に取り付けられる赤外線タグは、赤外線ＬＥＤ，駆動回路および内部電池等を含み、当該赤外線タグが取り付けられた対象物に対して一意的に割り付けられたＩＤ番号が識別可能なように赤外線ＬＥＤを点滅制御する。赤外線ＬＥＤとしては、たとえば光通信用高出力発光ダイオード(スタンレイ社製ＤＮ３１１)等が適用され、指向性が弱くかつ可視光に近い８００ｎｍ程度のものを好適に用いることができる。駆動回路はマイクロコンピュータ等から構成され、たとえば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができる。具体的には、駆動回路は、マンチェスタ符号化方式によりエンコードしたＩＤ番号(６ｂｉｔ)およびパリティビットと、スタートビット(１ｂｉｔ)およびエンドビット(２ｂｉｔ)とを２００Ｈｚ周期の点滅により繰り返し送信する。

図２にはロボット１０の構成の一例が示される。この図２を参照して、ロボット１０は、周囲状況観測装置１６、人間用観測装置１８、ぬいぐるみ型観測装置２０、データ取得サーバ（処理コンピュータ）２２、ロボット本体１２、インタラクションデータベース２４、ロボット動作データベース２６およびガイドルールデータベース２８等を含む。なお、この図２では、図示を容易にするために、周囲状況観測装置１６、人間用観測装置１８、ぬいぐるみ型観測装置２０およびロボット本体１２をそれぞれ１個のみ示しているが、周囲状況観測装置１６は１または複数の観測位置に設けられ、人間用観測装置１８はたとえば説明員および訪問者ごとに設けられ、ぬいぐるみ型観測装置２０およびロボット本体１２は必要数だけ設けられるのは言うまでもない。

周囲状況観測装置１６は、たとえば赤外線カメラ３０、ＣＣＤカメラ３２、マイク３４および据置型コンピュータ３６等を含む。この周囲状況観測装置１６によって、その周囲におけるインタラクションが観測され、検知範囲内の赤外線タグ１４等の識別情報および位置情報等が取得されるとともに、ビデオデータおよび音声データ等が取得される。

赤外線カメラ３０は、撮影範囲内に位置する赤外線タグ１４または人間用観測装置１８に取り付けられた赤外線タグ等から発せられる赤外線を検出するためのものであり、画像処理装置３８を介して据置型コンピュータ３６に接続される。赤外線カメラ３０は、たとえば赤外線フィルタ、レンズ、ＣＭＯＳイメージセンサ等を含む。

赤外線フィルタは主に近赤外線のみ透過させ、レンズはその近赤外線をＣＭＯＳイメージセンサ上に結像させる。赤外線フィルタとしては、たとえば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックＩＲパスフィルタ等を使用できる。レンズの画角はたとえば６０度程度であり、この場合、ＣＭＯＳイメージセンサのピクセル当りの集光率が高くなり、遠距離に位置する赤外線タグ１４等を容易に発見することができる。

ＣＭＯＳイメージセンサは、レンズにより結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置３８へ出力する。ＣＭＯＳイメージセンサとしては、たとえば、三菱電機社製人口網膜ＬＳＩ（Ｍ６４２８３ＦＰ）等を使用でき、この場合の解像度は１２８×１２８ｐｉｘｅｌである。

画像処理装置３８は、ＣＭＯＳイメージセンサの制御およびデータ処理等を行う。たとえば近赤外線画像から赤外線タグを検出し、検出した赤外線タグの点滅状態からＩＤ番号を検出するとともに、赤外線画像上の赤外線タグのＸＹ座標を検出する。そして、検出したＩＤ番号およびＸＹ座標等のデータをＲＳ２３２Ｃ等のデータ伝送規格に従って据置型コンピュータ３６へ出力する。画像処理装置３８としては、たとえば、Ｃｙｇｎａｌ社製４９ＭＨｚ駆動マイコンＣ８０５１Ｆ１２４を使用できる。

この場合、ＣＭＯＳイメージセンサを１１５２００Ｈｚのクロックで駆動させ、撮像(シャッター開放)後、１クロック毎に１ｐｉｘｅｌの明るさがアナログ値でシリアル出力される。このため、全画素撮影時の最短フレームレートは、（シャッタースピード）＋（１２８×１２８×クロックスピード）となるが、たとえば１２８×１２８ｐｉｘｅｌのうち８×８ｐｉｘｅｌを検出領域に設定して５００Ｈｚのシャッタースピードで撮像した場合、４００Ｈｚのフレームレートを実現することができ、読み出し速度を高速化することができる。このように、赤外線タグ１４等の点滅周期（２００Ｈｚ）の２倍のフレームレート（４００Ｈｚ）で読み込むため、単一ＬＥＤを用いて非同期通信を行うことができる。

ここで、赤外線タグ検出処理について説明する。この赤外線タグ検出処理は、画像処理装置３８に予め記憶されている検出処理プログラムを実行することによって行われるものであり、後述する人間用観測装置１８やロボット本体１２でも同様の処理が行われる。

まず、画像処理装置３８は、赤外線カメラ（ＣＭＯＳイメージセンサ）３０を初期化し、全画面（たとえば１２８×１２８ｐｉｘｅｌ）の赤外線画像を撮影する。次に、画像処理装置３８は、赤外線画像の中から所定サイズの光点、たとえば１ｐｉｘｅｌの光点を赤外線タグとして抽出し、所定サイズより大きな光点を排除する。このように、赤外線画像の中から所定サイズの光点を検出するという簡便な処理によって赤外線タグを検出することができるので、この赤外線タグ処理を高速化することができる。

次に、画像処理装置３８は、抽出した光点を中心とするたとえば８×８ｐｉｘｅｌの領域を検出領域として決定し、ＣＭＯＳイメージセンサによって検出領域を既定回数、たとえば、（（送信ビット数＋スタートビット数＋エンドビット数）×２×２）回読み込み、読み込んだ赤外線画像から赤外線タグの点滅状態を検出してＩＤ番号を検出するとともに、パリティチェックを行い、読み込みデータの判定処理を行う。

このように、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて赤外線タグの点滅状態を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、この赤外線タグ検出処理を高速化することができる。これによって、人の動きに充分に追従することができ、動き予測等の演算コストの高い処理を省略することができる。ここで、パリティチェックが正しければ、画像処理装置３８は、赤外線タグのＩＤ番号およびＸＹ座標を出力し、パリティチェックが正しくなければ、検出領域の読み込みを再度行い、上述の赤外線検出処理を検出されたすべての光点に対して行う。

また、ＣＣＤカメラ３２は、周囲の可視光の映像を撮影するためのものであり、図示しないレンズ等を含み、可視光画像を撮影して映像信号を据置型コンピュータ３６へ出力する。ＣＣＤカメラ３２としては、たとえば、アナログビデオ出力を有するキーエンス社製小型ＣＣＤカメラ（水平画角４４度）等を使用できる。ここで、レンズの光軸は、赤外線カメラ３０のレンズの光軸に合わせられており、したがって、撮影範囲内の軸方向に位置する対象物を識別するだけでなく、当該対象物の可視光画像も同時に撮影することができる。

マイク３４は、周囲音を検出するためのものであり、無指向性のものが適用され、音声処理回路４０を介して据置型コンピュータ３６に接続される。マイク３４は集音して音声処理回路４０へ出力し、音声処理回路４０は録音された音声信号を据置型コンピュータ３６へ出力する。

据置型コンピュータ３６は、入力される赤外線タグ１４等のＩＤ番号、赤外線タグ１４等の赤外線画像におけるＸＹ座標、可視光画像および音声等の各データに対して、観測時刻を特定するための時間情報の付加等の所定の処理を行い、各情報をデータ取得サーバ２２へ送信する。この時間情報の付与によって、各観測装置１６，１８，２０および１２等で分散的に観測される各インタラクションデータの時間的な同期を取っている。なお、時間的な同期を取る方法は、たとえば、全ての装置がワールドクロックに合わせて観測動作を行ったり、また、各装置が独立に内部クロックを持ち、たとえばデータ取得サーバ２２から送信される所定の同期信号を基準にオフセットを調整したりするようにしてもよい。なお、据置型コンピュータ３６はデータ取得サーバ２２と無線により接続されてもよい。

人間用観測装置１８は、たとえば赤外線カメラ４２、ＣＣＤカメラ４４、マイク４６、生体センサ４８および携帯型コンピュータ５０等を含む。人間用観測装置１８は、図１から分かるように、たとえば耳かけ式ネックバンド方式ヘッドセットとして構成され、説明員Ｑ１…や訪問者Ｐ２，Ｐ３…等の頭部に装着される。赤外線カメラ４２およびＣＣＤカメラ４４等はたとえば直方体形状の筺体に一体に内蔵されて人の視線方向にカメラ軸が向けられ、マイク４６はユーザの口元付近に配置される。人間用観測装置１８の装着される人間を識別するための赤外線タグは、この筺体の側面に一体的に固定される。また、生体センサ４８は、説明員または訪問者等の指等に装着され、携帯型コンピュータ５０は、説明員または訪問者等に背負われて使用される。この人間用観測装置１８によって、当該人間の視点等からのインタラクションが観測され、検知範囲内の赤外線タグ１４等の識別情報および位置情報等が取得されるとともに、ビデオデータおよび音声データならびに当該装置１８の装着された人間の生体データ等が取得される。

赤外線カメラ４２は、画像処理装置５２を介して携帯型コンピュータ５０に接続される。これら赤外線カメラ４２および画像処理装置５２は、上述した周囲状況観測装置１６の赤外線カメラ３０および画像処理装置３８と同様に構成されかつ動作する。ただし、レンズの画角はたとえば９０度程度に設定され、この場合、対面での会話状態等において比較的近距離で広範囲に位置する赤外線タグ１４等を容易に検出することができる。この赤外線カメラ４２等によって、視線方向の撮影範囲内に存在する赤外線タグ１４等のＩＤ番号およびＸＹ座標を検出し、検出したＩＤ番号およびＸＹ座標等のデータを携帯型コンピュータ５０へ出力する。

ＣＣＤカメラ４４は、人の視線方向の可視光画像を撮影して映像信号を携帯型コンピュータ５０へ出力する。このＣＣＤカメラ４４も、上述した周囲状況観測装置１６のＣＣＤカメラ３２と同様に構成されかつ動作する。この人間用観測装置１８でも、ＣＣＤカメラ４４のレンズの光軸は、赤外線カメラ４２のレンズの光軸に合わせられており、したがって、視線方向に位置する対象物を識別するだけでなく、当該対象物の可視光画像も同時に撮影することができる。

マイク４６は、説明員または訪問者等の音声や周囲音を検出するためのものであり、音声処理回路５４を介して携帯型コンピュータ５０に接続される。音声処理回路５４はマイク４６から出力された音声信号を携帯型コンピュータ５０へ出力する。

生体センサ４８は、生体データ処理回路５６を介して携帯型コンピュータ５０に接続される。生体センサ４８等は、たとえば、人間の脈拍、手の表面の伝導性（発汗）、温度の3個のセンサを備える生体データ記録用モジュール（Ｐｒｏｃｏｍｐ＋）等から構成される。生体センサ４８は、説明員または訪問者の脈拍、発汗状態および体温を検出し、生体データ処理回路５６は、たとえば検出された各データの平均値を数秒ごとにそれぞれ計算し、リアルタイムに生体データをＡＤ変換して携帯型コンピュータ５０へ送信する。

携帯型コンピュータ５０は、入力される赤外線タグ１４等のＩＤ番号、赤外線タグ１４等の赤外線画像におけるＸＹ座標、可視光画像、音声、および生体データ等の各データに対して、観測時刻を特定するための時間情報の付加等の所定の処理を行い、各情報をデータ取得サーバ２２へ無線により送信する。

ぬいぐるみ型観測装置２０は、たとえば、視覚、聴覚および触覚等を有し、説明員および訪問者は通常のぬいぐるみで遊ぶ感覚でこのぬいぐるみ型観測装置２０を保持する。このぬいぐるみ型観測装置２０によって、ぬいぐるみ自身の視点からの説明員および訪問者等の状況等が観測され、映像データ、音声データおよび触覚データ等のインタラクションデータが取得される。ぬいぐるみ型観測装置２０は、たとえばＣＣＤカメラ５８、マイク６０、触覚センサ６２および携帯型コンピュータ６４等を含む。ＣＣＤカメラ５８は、ぬいぐるみの視線方向の可視光画像を撮影して映像信号を携帯型コンピュータ６４に出力する。マイク６０は説明員または訪問者等の音声や周囲音を検出するためのものであり、音声処理回路６６を介して携帯型コンピュータ６４に接続される。音声処理回路６６はマイク６０から出力された音声信号を携帯型コンピュータ６４へ出力する。触覚センサ６２はたとえば説明員または訪問者等の接触を検知する接触センサないし圧力センサ等であり、図示しない処理回路を介して触覚データを携帯型コンピュータ６４に出力する。そして、携帯型コンピュータ６４は、入力される可視光画像、音声、および触覚データ等の各データに対して、観測時刻を特定するための時間情報の付加等の所定の処理を行い、各情報をデータ取得サーバ２２へ無線により送信する。なお、ぬいぐるみ型観測装置２０では、たとえばぬいぐるみの抱きかかえられたときの体勢データ等も検出するようにしてもよい。

ロボット本体１２は、たとえば、知覚、聴覚および触覚等を有するヒューマノイド型で自律移動型のものであり、ロボット本体１２自身の視点から展示会場の状況、説明員および訪問者の状況等を観測する。そして、観測した赤外線タグ１４等のＩＤ番号およびＸＹ座標や映像データ、音声データおよび触覚データ等のインタラクションデータに時間情報等を付加して、データ取得サーバ２２へ無線により送信する。

また、このロボット本体１２は、身振りおよび音声を用いて対話相手との間でコミュニケーション行動を実行することができる。たとえば、対話相手の存在を検知してその方に顔を向けたり、さらに「こんにちは」と能動的に話しかけたり、また、触られた場合その接触箇所に顔を向けたりといった様々なコミュニケーション行動を実行できる。そして、この実施例では、たとえばロボット本体１２の外部の処理コンピュータとしても機能するデータ取得サーバ２２から身体動作データを受信して、当該身体動作データを実行することによって、対話相手の過去の行動に応じた案内などの行動を提示することもできる。

図３および図４を参照してロボット本体１２の一例を詳細に説明する。図３に示すように、ロボット本体１２は台車６８を含み、この台車６８の下面にはロボット本体１２を自律移動させる車輪７０が設けられる。車輪７０は車輪モータ７２（図４参照）によって駆動され、台車６８すなわちロボット本体１２を前後左右任意の方向に動かすことができる。

なお、図３においては省略するが、台車６８の前面には、衝突センサ７４（図３参照）が取り付けられ、この衝突センサ７４は台車６８への人や他の障害物の接触を検知する。つまり、ロボット本体１２の移動中に障害物との接触を検知すると、直ちに車輪７０の駆動を停止してロボット本体１２の移動を急停止させる。

また、この実施例では、ロボット本体１２の背の高さは、人、特に子供に威圧感を与えることのないように、１００ｃｍ程度とされる。ただし、この背の高さは変更可能である。

台車６８の上には、多角形柱のセンサ取付パネル７６が設けられ、このセンサ取付パネル７６の各面には、超音波距離センサ７８が取り付けられる。この超音波距離センサ７８は、センサ取付パネル７６すなわちロボット本体１２の周囲の主として人との距離を計測するものである。

また、台車６８の上には、さらに、その下部がセンサ取付パネル７６に囲まれて、ロボット本体１２の胴体が直立するように設けられる。この胴体は、下部胴体８０と上部胴体８２とによって構成され、下部胴体８０および上部胴体８２は、連結部８４によって互いに連結される。図示は省略するが、連結部８４には昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体８２の高さすなわちロボット本体１２の背の高さを変化させることができる。昇降機構は、後述するように、腰モータ８６（図４参照）によって駆動される。

上部胴体８２のほぼ中央には、１つの全方位カメラ８８と１つの赤外線カメラ９０と１つのマイク９２とが設けられる。全方位カメラ８８は、ロボット本体１２の周囲を撮影するものであり、後述する眼カメラ９４とは区別される。この全方位カメラ８８としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。赤外線カメラ９０は、上述の赤外線カメラ３０または４２等と同様に、赤外線タグ１４等の発する赤外線を検出するためのものである。また、マイク９２は、周囲の音、とりわけ人の声を取り込む。なお、これら全方位カメラ８８，赤外線カメラ９０およびマイク９２の設置位置は上部胴体８２に限られず適宜変更され得る。

また、たとえば上部胴体８２の胸部には、当該ロボット本体１２を識別するためのＩＤ番号を発する赤外線タグ１４が取り付けられている。

上部胴体８２の両肩には、それぞれ、肩関節９６Ｒおよび９６Ｌによって、上腕９８Ｒおよび９８Ｌが設けられる。肩関節９６Ｒおよび９６Ｌは、それぞれ、３軸の自由度を有する。すなわち、肩関節９６Ｒは、Ｘ軸、Ｙ軸およびＺ軸のそれぞれの軸廻りにおいて上腕９８Ｒの角度を制御できる。Ｙ軸は、上腕９８Ｒの長手方向（または軸）に平行な軸であり、Ｘ軸およびＺ軸は、そのＹ軸に対して、それぞれ異なる方向から直交する軸である。他方、肩関節９６Ｌは、Ａ軸、Ｂ軸およびＣ軸のそれぞれの軸廻りにおいて上腕９８Ｌの角度を制御できる。Ｂ軸は、上腕９８Ｌの長手方向（または軸）に平行な軸であり、Ａ軸およびＣ軸は、そのＢ軸に対して、それぞれ異なる方向から直交する軸である。

また、上腕９８Ｒおよび９８Ｌのそれぞれの先端には、肘関節１００Ｒおよび１００Ｌを介して、前腕１０２Ｒおよび１０２Ｌが設けられる。肘関節１００Ｒおよび１００Ｌは、それぞれ、Ｗ軸およびＤ軸の軸廻りにおいて、前腕１０２Ｒおよび１０２Ｌの角度を制御できる。

なお、上腕９８Ｒおよび９８Ｌならびに前腕１０２Ｒおよび１０２Ｌの変位を制御するＸ軸，Ｙ軸，Ｚ軸，Ｗ軸およびＡ軸，Ｂ軸，Ｃ軸，Ｄ軸では、それぞれ、「０度」がホームポジションであり、このホームポジションでは、図３に示すように、上腕９８Ｒおよび９８Ｌならびに前腕１０２Ｒおよび１０２Ｌは下方に向けられる。

また、図示は省略するが、上部胴体８２の肩関節９６Ｒおよび９６Ｌを含む肩の部分や上述の上腕９８Ｒおよび９８Ｌならびに前腕１０２Ｒおよび１０２Ｌには、それぞれ、タッチセンサ（図４で包括的に示す。：１０４）が設けられていて、これらのタッチセンサ１０４は、人がロボット本体１２の当該各部位に触れたかどうかを検知する。

前腕１０２Ｒおよび１０２Ｌのそれぞれの先端には、手に相当する球体１０６Ｒおよび１０６Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。

上部胴体８２の中央上方には、首関節１０８を介して頭部１１０が設けられる。首関節１０８は、３軸の自由度を有し、Ｓ軸、Ｔ軸およびＵ軸の各軸廻りに角度制御可能である。Ｓ軸は首から真上（鉛直上向き）に向かう軸であり、Ｔ軸およびＵ軸は、それぞれ、そのＳ軸に対して異なる方向で直交する軸である。頭部１１０には、人の口に相当する位置に、スピーカ１１２が設けられる。スピーカ１１２は、ロボット本体１２が、それの周辺の人に対して音声ないし音によってコミュニケーションを取るために用いられる。ただし、スピーカ１１２は、ロボット本体１２の他の部位、たとえば胴体などに設けられてもよい。

また、頭部１１０には、目に相当する位置に眼球部１１４Ｒおよび１１４Ｌが設けられる。眼球部１１４Ｒおよび１１４Ｌは、それぞれ眼カメラ９４Ｒおよび９４Ｌを含む。以下、右の眼球部１１４Ｒと左の眼球部１１４Ｌとをまとめて眼球部１１４ということがあり、また、右の眼カメラ９４Ｒと左の眼カメラ９４Ｌとをまとめて眼カメラ９４ということもある。

眼カメラ９４は、ロボット本体１２に接近した人の顔や他の部分ないし物体等を撮影して、それに対応する映像信号を取り込む。眼カメラ９４としては、上述した全方位カメラ８８と同様のカメラを用いることができる。

たとえば、眼カメラ９４は眼球部１１４内に固定され、眼球部１１４は眼球支持部（図示せず）を介して頭部１１０内の所定位置に取り付けられる。眼球支持部は、２軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。α軸およびβ軸は頭部１１０に対して設けられる軸であり、α軸は頭部１１０の上へ向かう方向の軸であり、β軸はα軸に直交しかつ頭部１１０の正面側（顔）が向く方向に直交する方向の軸である。この実施例では、頭部１１０がホームポジションにあるとき、α軸はＳ軸と平行であり、β軸はＵ軸と平行であるように設定される。このような頭部１１０において、眼球支持部がα軸およびβ軸の各軸廻りに回転されることによって、眼球部１１４ないし眼カメラ９４の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。

なお、眼カメラ９４の変位を制御するα軸およびβ軸では、「０度」がホームポジションであり、このホームポジションでは、図２に示すように、眼カメラ９４のカメラ軸は頭部１１０の正面側（顔）が向く方向に向けられ、視線は正視状態となる。

図４は、ロボット本体１２の電気的な構成を示すブロック図であり、この図４を参照して、ロボット本体１２は、全体を制御するＣＰＵ１１６を含む。ＣＰＵ１１６は、マイクロコンピュータ或いはプロセサとも呼ばれ、バス１１８を介して、メモリ１２０、モータ制御ボード１２２、センサ入力／出力ボード１２４および音声入力／出力ボード１２６に接続される。

メモリ１２０は、図示は省略するが、ＲＯＭやＲＡＭを含み、ＲＯＭにはロボット本体１２の制御プログラムが予め記憶され、ＲＡＭはワークメモリやバッファメモリとして用いられる。制御プログラムはたとえばコミュニケーション行動を実行するためのプログラム、インタラクションを観測してデータを取得するためのプログラム、取得したデータに時間情報等を付加するためのプログラム、データをデータ取得サーバ（処理コンピュータ）２２との間で送受信するためのプログラム、受信した身体動作データを実行するためのプログラム等を含む。メモリ１２０にはまた、コミュニケーション行動の実行の際にスピーカ１１２から発生すべき音声または声の音声データ（音声合成データ）および所定の身振りを提示するための角度データ等を含む身体動作データ等も必要に応じて記憶される。

モータ制御ボード１２２は、たとえばＤＳＰで構成され、各腕や頭部および眼球部等の各軸モータの駆動を制御する。すなわち、モータ制御ボード１２２は、ＣＰＵ１１６からの制御データを受け、右眼球部１１４Ｒのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図４では、まとめて「右眼球モータ」と示す。）１２８の回転角度を制御する。同様に、モータ制御ボード１２２は、ＣＰＵ１１６からの制御データを受け、左眼球部１１４Ｌのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図４では、まとめて「左眼球モータ」と示す。）１３０の回転角度を制御する。

また、モータ制御ボード１２２は、ＣＰＵ１１６からの制御データを受け、右肩関節９６ＲのＸ軸、Ｙ軸およびＺ軸のそれぞれの角度を制御する３つのモータと右肘関節１００ＲのＷ軸の角度を制御する１つのモータとの計４つのモータ（図４では、まとめて「右腕モータ」と示す。）１３２の回転角度を調節する。同様に、モータ制御ボード１２２は、ＣＰＵ１１６からの制御データを受け、左肩関節９６ＬのＡ軸、Ｂ軸およびＣ軸のそれぞれの角度を制御する３つのモータと左肘関節１００ＬのＤ軸の角度を制御する１つのモータとの計４つのモータ（図４では、まとめて「左腕モータ」と示す。）１３４の回転角度を調整する。

さらに、モータ制御ボード１２２は、ＣＰＵ１１６からの制御データを受け、頭部１１０のＳ軸、Ｔ軸およびＵ軸のそれぞれの角度を制御する３つのモータ（図４では、まとめて「頭部モータ」と示す。）１３６の回転角度を制御する。さらにまた、モータ制御ボード１２２は、ＣＰＵ１１６からの制御データを受け、腰モータ８６および車輪７０を駆動する２つのモータ（図３では、まとめて「車輪モータ」と示す。）７２の回転角度を制御する。

なお、この実施例では、車輪モータ７２を除くモータは、制御を簡素化するために、ステッピングモータ或いはパルスモータを用いるようにしてある。ただし、車輪モータ７２と同様に、直流モータを用いるようにしてもよい。

センサ入力／出力ボード１２４もまた、同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ１１６に与える。すなわち、超音波距離センサ７８のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード１２４を通してＣＰＵ１１６に入力される。また、全方位カメラ８８からの映像信号が、必要に応じてこのセンサ入力／出力ボード１２４で所定の処理を施された後、ＣＰＵ１１６に入力される。眼カメラ９４からの映像信号も、同様にして、ＣＰＵ１１６に入力される。

また、赤外線カメラ９０からの映像信号は、上述の周囲状況観測装置１６の画像処理装置３８や人間用観測装置１８の画像処理装置５２と同様に、赤外線画像から赤外線タグを検出して、赤外線タグの点滅状態からＩＤ番号を検出するとともに、赤外線画像上の赤外線タグのＸＹ座標を検出する。そして、赤外線タグのＩＤ番号およびＸＹ座標等のデータはＣＰＵ１１６に入力される。

また、上述した複数のタッチセンサ（図４では、まとめて「タッチセンサ１０４」と示す。）からの信号がセンサ入力／出力ボード１２４を介してＣＰＵ１１６に与えられる。さらに、上述した衝突センサ７４からの信号も、同様にして、ＣＰＵ１１６に与えられる。

音声入力／出力ボード１２６もまた、同様に、ＤＳＰで構成され、ＣＰＵ１１６から与えられる音声合成データに従った音声または声がスピーカ１１２から出力される。また、マイク９２からの音声入力が、音声入力／出力ボード１２６を介してＣＰＵ１１６に取り込まれる。

ＣＰＵ１１６は、このセンサ入力／出力ボード１２４を介して取り込んだ映像データ、音声データ、触覚データ、赤外線タグのＩＤ番号およびＸＹ情報等のインタラクションデータに観測時刻を特定するための時間情報等を付加する。

また、ＣＰＵ１１６は、バス１１８を介して通信ＬＡＮボード１３８に接続される。通信ＬＡＮボード１３８は、ＤＳＰで構成され、ＣＰＵ１１６から送られる送信データを無線通信装置１４０に与え、無線通信装置１４０から送信データを、図示は省略するが、たとえば、無線ＬＡＮのようなネットワークを介してデータ取得サーバ２２に送信させる。また、通信ＬＡＮボード１３８は、無線通信装置１４０を介してデータを受信し、受信したデータをＣＰＵ１１６に与える。つまり、取得したインタラクションデータ等をデータ取得サーバ２２に送信し、また、処理コンピュータ２２から送信された身体動作データ等を受信する。

図２に戻って、データ取得サーバ２２は、たとえば、ＲＯＭ、ＣＰＵ、ＲＡＭおよび外部記憶装置等を含み、インタラクションＤＢ２４と接続される。データ取得サーバ２２は、各観測装置から送信される各インタラクションデータをインタラクションＤＢ２４に格納する。この実施例では、インタラクションＤＢ２４は、ＳＱＬ（Structured Query Language）サーバ２４ａおよびＡＶデータ用サーバ２４ｂ等のデータベースサーバを含み、インタラクションデータのうち、赤外線タグ１４等のＩＤ番号およびＸＹ座標ならびに生体データ等をＳＱＬサーバ２４ａに与えて蓄積させ、映像データおよび音声データをＡＶデータ用サーバ２４ｂに与えて蓄積させる。

ＳＱＬサーバ２４ａは、ＲＯＭ、ＣＰＵ、ＲＡＭおよび外部記憶装置等を含み、時間情報等が付与されたＩＤ番号、ＸＹ座標および生体データ等のインタラクションデータを機械可読な状態でデータベース化して記憶する。また、各インタラクションデータはどの観測装置で取得されたかも特定可能に記憶される。

ＡＶデータ用サーバ２４ｂは、ＲＯＭ、ＣＰＵ、ＲＡＭおよび外部記憶装置等を含み、映像データおよび音声データ等のインタラクションデータを機械可読な状態でデータベース化して記憶する。なお、一度のセッションをひとつの膨大なビデオファイルにするのは現実的ではないので、ＡＶデータ用サーバ２４ｂは、たとえば、ビデオデータを１分ごとに別々のファイルとして記憶し、インタラクションＤＢ２４を利用する際にファイルが１分ごとに分かれていることを意識しなくてすむように、各ビデオデータのインデックスデータをＳＱＬサーバ２４ａにより管理している。

データ取得サーバ２２はまた、ロボット動作ＤＢ２６およびガイドルールＤＢ２８とも接続される。ロボット動作ＤＢ２６は、ロボット本体１２に実行させるための複数の身体動作データを予め記憶している。身体動作データは、その身体動作が身振りを含む場合には各軸モータ等の角度制御データを含み、その身体動作が発話を含む場合には音声合成データを含む。

ガイドルールＤＢ２８は、対話相手の過去の行動に対応する当該ロボット本体１２の提示すべき行動を規定した規則に関する複数のデータを予め記憶している。つまり、たとえば、過去の行動に関する所定の条件に対応付けて、当該条件を満足しまたは満足しない場合に実行すべき所定の行動が規定されている。この実施例では、対話相手の過去の行動に応じて、たとえばその人が見たり訪問したりするなどのインタラクションをした対象物に関連して、さらなる説明などの案内や推薦行動等を行うことや、インタラクションした対象物自体に関する情報の提示を行うこと等が規定される。たとえば、ロボット本体１２は対話相手が見てきたものについて話しかけたり、それに関連して他に見ておいた方が良いものがあればそれについて情報提供したりする。したがって、対話相手にとっては、インタラクションによって得た知識や体験を補完したりさらに深めたりすることが可能であり、有益な情報を得ることができる。ガイドルールの一例としては、たとえば、対話相手が過去に展示物Ｂ１を見たがそれに関連する展示物Ｂ４をまだ見ていない場合には、展示物Ｂ４を見ることを薦める発話をするというようなルールが規定されている。また、たとえば、対話相手がぬいぐるみ型観測装置２０で遊んだ場合には、当該ぬいぐるみに関する情報を発話することや、生体データに変化があった場合の対象物に関する情報を提示すること等が規定される。

このロボット１０では、上述のような周囲状況観測装置１６、人間用観測装置１８、ぬいぐるみ型観測装置２０、およびロボット本体１２等によって、展示会場等の環境内の状況、具体的には、当該環境内における対話対象たる１または複数の人間（説明員、訪問者）と、人間のインタラクションの対象物たる展示物、ぬいぐるみ２０、ロボット本体１２等との間のインタラクションが観測される。このようにあらゆるところにセンサ類が設けられているので、この実施例の展示会場等の環境は、ユビキタスなセンサ環境と呼べる。このようなユビキタスセンサ環境で各インタラクションデータがリアルタイムに取得されて、データ取得サーバ２２によってインタラクションＤＢ２４に逐次記録される。

たとえば、人間用観測装置１８によって説明員Ｑ１の視界に入った訪問者Ｐ１等がインタラクションの対象物として識別され、周囲状況観測装置１６によって説明員Ｑ１が対象物として識別されるとともに、周囲状況観測装置１６の周囲の対象物として訪問者Ｐ１、ロボット本体１２等が識別される。このようにして、展示会場内に遍在する周囲状況観測装置１６等に加えて、インタラクションの主体となる説明員および訪問者が身につけた人間用観測装置１８を利用することによって、同一イベントを複数の観測装置によって多角的に、局所的な視点および全体的な視点から、記録することができる。また、ぬいぐるみ型観測装置２０やロボット本体１２等によって、客観的かつ局所的な視点からインタラクションを記録することができる。また、人間用観測装置１８および周囲状況観測装置１６の視野に入った人や物体のＩＤ番号を自動認識することによって、蓄積されるインタラクションデータに実時間でインデックスを付けることができる。したがって、説明員および訪問者は「見ること」で無意識のうちに他人や物体とのインタラクションにインデックスを付与することができる。また、検出された人間および対象物のＩＤ番号と、測定された他のインタラクションデータとがそれぞれの観測時刻を特定可能な状態で記憶されているので、各インタラクションデータ内の人間および対象物を識別して人間のインタラクションを人間と対象物との関係から解析することができ、人が何気なく扱っている言語化されていない日常常識（非言語情報）を体系的に蓄積して機械可読な状態に辞書化することができる。

そして、この実施例では、ロボット本体１２によって、環境内の人間に対して、そのインタラクションデータに応じた行動（この実施例では案内や推薦等）が提示される。具体的には、データ取得サーバ２２において、インタラクションＤＢ２４に記憶された対話相手のインタラクションデータが解析されて、ガイドルールＤＢ２８に記憶されたガイドルールに基づいて、ロボット本体１２に実行させる行動が決定される。そして、データ取得サーバ２２は決定した行動を実行させるためのデータをロボット本体１２に送信し、これに応じてロボット本体１２は当該行動を実行する。したがって、ロボット本体１２によって、対話相手に対してその過去の行動に適応した案内等の所定の行動を提示することができる。

このように、データ取得サーバ２２は、観測されたインタラクションデータを取得して記録させるだけでなく、ロボット本体１２の行動を制御する外部の処理コンピュータとしても機能するものである。

図５には、この処理コンピュータ２２のガイド提示に関する具体的な動作の一例が示される。このガイド提示処理は、たとえばインタラクションデータの記録中に所定の時間周期で起動される。

まず、ステップＳ１で、処理コンピュータ２２のＣＰＵは、対話対象が有るか否かを判断する。たとえば、現時刻の直近の観測時刻においてロボット本体１２の赤外線カメラ９０によって観測されたインタラクションデータに、訪問者等のＩＤ番号があるかどうかをＳＱＬサーバ２４ａに照会する。ここで、対話対象の有無を判断する際には、ロボット本体１２をその周辺で移動させて視野を移動させるようにしてもよい。このステップＳ１で“ＮＯ”であれば、つまり、対話対象がいない場合には、このガイド提示処理を終了する。

なお、対話対象の有無の判断はロボット本体１２以外の観測装置によって検出されたインタラクションデータに基づいて行われてもよい。たとえば、ロボット本体１２の赤外線カメラ９０からのデータに訪問者等のＩＤ番号が検出されない場合でも、ロボット本体１２のＩＤ番号の検出されるインタラクションデータを探索し、当該インタラクションデータにおいて検出される訪問者等のＩＤ番号について、当該訪問者等がロボット本体１２の近くに存在しているとみなせるので、対話対象に設定するようにしてもよい。この場合、ロボット本体１２に周囲を調査させて視野を移動させることで、当該訪問者を捕らえることができる。

あるいは、ロボット本体１２のＩＤ番号が検出されないインタラクションデータであっても、訪問者等のＩＤ番号が検出されるならば、そのＩＤ番号について対話対象に設定してもよい。この場合には、当該ＩＤ番号の検出されるインタラクションデータを観測した観測装置を特定し、この観測装置がたとえば環境内に設置される周囲状況観測装置１６である場合には当該装置の設置箇所の方へロボット本体１２を移動させて当該訪問者等を捕らえさせるようにしてもよいし、特定された観測装置が人間用観測装置１８である場合にも当該人間用観測装置１８のＩＤ番号を捕らえられるようにロボット本体１２を適宜に移動させるようにしてもよい。

一方、ステップＳ１で“ＹＥＳ”であれば、ステップＳ３で、インタラクションＤＢ２４のＳＱＬサーバ２４ａから対話対象のＩＤ番号を取得して、対話相手として決定する。

続いて、ステップＳ５で、当該対話相手について、インタラクションＤＢ２４から過去の行動データを取得する。つまり、たとえば対話相手のＩＤ番号の検出されたインタラクションデータをＳＱＬサーバ２４ａに照会し、該当するインタラクションデータをＳＱＬサーバ２４ａおよびＡＶデータサーバ２４ｂから取得する。インタラクションデータには、対話相手を識別可能なＩＤ番号で記述されたデータが含まれるので、簡単に取得して参照することができる。

そして、ステップＳ７で、インタラクションＤＢ２４から取得した行動データを解析する。この解析処理では、たとえば、人および対象物のＩＤ番号およびＸＹ座標等を用いて、対話相手と人または対象物との位置関係を特定し、この特定した位置関係に基づいて、当該インタラクションデータの意味するイベントの状態を判定する。

図６にはイベントの種類の一例が模式的に示される。すべてのイベントは、周囲状況観測装置１６、人間用観測装置１８およびロボット本体１２等が赤外線タグ１４等を捕えるという意味では、これ以上単純化できないくらい単純な要素であるが、周囲状況観測装置１６、人間用観測装置１８およびロボット本体１２等と赤外線タグ１４等を付与された対象物との組合わせによって様々な意味を解釈することが可能となる。なお、イベントの状態は、この図６の例に特に限定されず、種々の変更および付加が可能である。

たとえば、図６（Ａ）に示すように、ある人Ａが装着している人間用観測装置１８（白丸表示）によって他の人Ｂの赤外線タグ１４等（黒丸表示）が観測され、同時に、人Ｂが装着している人間用観測装置１８によって人Ａの赤外線タグ１４等が観測されている場合には、このインタラクション状態は人Ａと人Ｂとが対話をしている状態であると判定できる。

また、環境側に設置された周囲状況観測装置１６により人に付与された赤外線タグ１４等が観測された場合、その人が当該設置エリアに滞在している状態と判定でき、図６（Ｂ）に示すように、同一の周囲状況観測装置１６（白丸表示）によって複数の人Ａ，Ｂの赤外線タグ１４等が同時に観測された場合には、それらの人々Ａ，Ｂが同じエリアに共在する状態と判定できる。

また、図６（Ｃ）に示すように、人Ａが装着している人間用観測装置１８によってある対象物Ｃに付与された赤外線タグ１４（黒丸表示）が観測されている場合には、その人Ａがその対象物Ｃを注視している状態と判定できる。また、図示は省略するが、複数の人の人間用観測装置１８によって同一の対象物の赤外線タグ１４が同時に観測された場合には、それらの人々が同じものに対して共同注意を向けている状態であると考えられる。さらに、共同注意に参加している人の人数が増えた場合、注意を向けられている対象物は重要な社会的イベントを担っている状態と考えられる。

また、図６（Ｄ）に示すように、環境側に設置された周囲状況観測装置１６によって、ある対象物Ｃに付与された赤外線タグ１４およびある人Ａの赤外線タグ１４等が同時に観測されている場合には、その人Ａがその対象物Ｃの設置場所を訪問している状態と解釈できる。

また、図６（Ｅ）に示すように、ある人Ａが装着している人間用観測装置１８によって、他の人Ｂの赤外線タグ１４等が観測され、かつ、そのイベントが所定時間以上継続されている場合には、人Ａが人Ｂを凝視している状態を意味するものと解釈することもできる。あるいは、図６（Ｃ）に示すように、人Ａが装着している人間用観測装置１８によって、ある対象物Ｃに付与された赤外線タグ１４が観測され、かつそのイベントが所定時間以上継続されている場合には、人Ａが対象物Ｃを凝視している状態を意味するものと解釈してもよい。

また、図６（Ｆ）に示すように、人Ａが装着している人間用観測装置１８によって、ある対象物Ｃに付与された赤外線タグ１４が観測され、同時に、その対象物Ｃに設置された周囲状況観測装置１６によって人Ａの赤外線タグ１４等が観測されている場合には、その人Ａがその対象物Ｃを注視している状態を意味するものと解釈してもよい。

なお、これらのイベント状態の解釈が重複した場合には、予め優先順位を設定しておき、優先順位の高いものを採用するようにしてよい。

このようにして、図５のステップＳ７で、対話相手のインタラクションデータが解析されて、その過去の行動の履歴がたとえば上述のようなイベント状態等で把握される。したがって、把握された過去の行動の状態に基づくことで、提示すべき行動を容易に決定することができる。

また、たとえば生体データ等を用いることも可能である。つまり、たとえば、対話相手の人または対象物とのインタラクションにおける脈拍、発汗状態および体温等の高まりや変化等を検出して、検出した変化等に基づいて当該インタラクションデータのイベント状態を判定するようにしてもよい。

続いて、ステップＳ９で、処理コンピュータ２２のＣＰＵは、ガイドルールＤＢ２８から、解析した行動データに関連するガイドルールを取得する。たとえば、対話相手が展示物Ｂ１を訪問していた場合には、展示物Ｂ１を訪問したことを条件に含むルールを検索して、適合するルールを取得する。

そして、ステップＳ１１で、解析した過去の行動データと取得したガイドルールとに基づいて実行すべき行動（この実施例ではガイド内容）を決定する。ガイドルールは過去の行動に対応して実行すべき行動が規定されているので、過去の行動とガイドルールとを照合することによって、容易に行動を決定することができる。たとえば、対話相手が展示物Ｂ１を訪問したが展示物Ｂ４を訪問していない場合には、展示物Ｂ４の方に指差し動作をしながら「展示物Ｂ４も見るといいよ」と発話する等の推薦を行うことが決定される。また、たとえば、説明員Ｑ１から直接説明を受けた方が分かりやすいような展示物Ｂ２を訪問しているが説明員Ｑ１と対話していない場合には、「展示物Ｂ２の説明を説明員Ｑ１に聞くといいよ」と発話することが決定される。なお、先のステップＳ９で、行動の提示を規定したルールが複数取得された場合には、ルールの適用順はたとえばランダムにあるいは優先度等に従って決定される。

続いて、ステップＳ１３では、ロボット動作ＤＢ２６から、決定したガイド内容に関する身体動作データを取得し、ステップＳ１５で当該身体動作データをロボット本体１２に送信する。ロボット本体１２ではこの身体動作データを受信すると、ロボット本体１２のＣＰＵ１１６は当該身体動作データに基づいて行動処理を実行する。したがって、対話相手に対して、その過去の行動に応じたガイドや推薦等の行動が提示される。つまり、先の例の１つで言えば、たとえば、ロボット本体１２は「展示物Ｂ４も見るといいよ」との発話音声をそのスピーカ１１２から出力する。

このように、コミュニケーションを図る機能を備えたロボット本体１２の身振りおよび音声の少なくとも一方を含む身体動作によって、対話相手の過去の行動に応じた適切な案内ないし推薦等に相当する所定の行動が提示されるので、対話相手にとってはとても親しみを感じることができるだろうし、自分の行動が把握されていることによって安心感を与えることもできる。したがって、たとえば音声ガイダンスを携帯ラジオや携帯電話等から単に提供するような場合に比べて、提示した案内等を対話相手にきちんと聞いてもらえることが期待できるし、対話相手がその案内に従った行動を取る可能性も高めることができる。

ステップＳ１７では、他に提示するガイド内容が有るか否かを判断する。たとえばステップＳ９において行動の提示を規定したルールが複数取得されて、適用されていないルールが残っている場合等には、このステップＳ１７で“ＹＥＳ”と判断され、この場合にはステップＳ１１に戻って、残りのルールについて処理が繰り返される。

ステップＳ１７で“ＮＯ”であれば、続くステップＳ１９で、別の対話対象がいるかどうかを判断する。たとえば、インタラクションＤＢ２４のＳＱＬサーバ２４ａに対して、現時刻の直近の観測時刻においてロボット本体１２の赤外線カメラ９０によって観測されたインタラクションデータに訪問者のＩＤ番号（先に対話相手に決定されたＩＤ番号を除く。）があるかどうかを照会する。このステップＳ１９で“ＹＥＳ”であれば、ステップＳ３に戻って、インタラクションＤＢ２４からＩＤ番号を取得し、先のＩＤ番号とは別のＩＤ番号を対話相手に決定して、当該別の対話相手に対してステップＳ５からの処理を繰り返す。

一方、ステップＳ１９で“ＹＥＳ”であれば、対話対象がいないのでこのガイド提示処理を終了する。

この実施例によれば、所定の環境内における人間や対象物のインタラクションを観測して、人間の行動を記録することができるとともに、記録された対話相手についての過去のインタラクションデータに基づいて、当該対話相手に対してロボット本体１２によって提示すべき行動を決定することができる。したがって、対話相手の過去の行動に応じた適切な案内や推薦等の情報を提示することができる。このため、対話相手に親しみを感じさせたり安心感を与えることができ、たとえば、提示した案内等を対話相手に有効に利用してもらえることが期待できる。

また、過去に案内等を提示した対話相手が後に対話対象として再び現れた場合等には、行動データの解析処理（図５のステップＳ７）において、その対話相手がロボット本体１２の案内に従って行動したかどうかも把握することができる。つまり、たとえば、まず、図５のステップＳ１５で処理コンピュータ２２が身体動作データをロボット本体１２に送信し、ロボット本体１２によって対話相手に対して案内を提示した後、当該対話相手と提示した身体動作に関する情報とを関連付けてインタラクションＤＢ２４に記録しておく。そして、再び当該対話相手が現れた場合には、ステップＳ７で、当該対話相手のその後のインタラクションデータに、提示した案内に従ったインタラクションないしイベント状態が含まれているかどうかを判定すればよい。たとえば展示物Ｂ４を見ることを推薦した場合には、展示物Ｂ４との間で、図６（Ｃ），（Ｄ）または（Ｆ）に示すようなイベント状態があったかどうかを判定する。これによって、その対話相手がロボット本体１２の案内を聞く人であるか否か、あるいはロボット本体１２を信用する人であるかどうか等を把握することができる。そして、さらに、その結果に応じたガイドルールをガイドルールＤＢ２８に予め登録しておくことによって、たとえば当該対話相手に対してロボット本体１２の提示するガイド内容、その提示の仕方や接し方等を変化させることができる。

なお、上述の実施例では、ロボット本体１２の外部の処理コンピュータ２２によって、図５に示すようなガイド提示処理を実行するようにしていたが、このガイド提示処理を実行するためのプログラム等をロボット本体１２の内部に備えるようにして、この処理をロボット本体１２によって実行するようにしてもよい。ただし、この場合、ステップＳ１５では、ロボットＤＢ２６から取得した身体動作データの実行を処理する。なお、この場合には、ロボット動作ＤＢ２６およびガイドルールＤＢ２８をロボット本体１２内に備えるようにしてもよい。

また、上述の各実施例では、赤外線タグおよび赤外線カメラ等を用いて、人間や対象物を識別するための識別情報を取得するようにしていたが、識別情報の取得方法は適宜変更され得る。たとえば、無線タグ（ＲＦＩＤ）および無線タグ読取装置を用いて識別情報を取得するようにしてもよい。たとえば無線タグ読取装置を対象物に関連して設けかつ人間に無線タグを装着させた場合、または、人間に無線タグ読取装置を装着させかつ対象物に関連して無線タグを設けた場合等には、当該無線タグ読取装置の検知範囲に入ることによってＲＦＩＤの検出されたインタラクションデータの解析において、その人間と対象物とのインタラクションがあったと判定することができる。

また、上述の各実施例では、識別情報として、人間および対象物を個別に識別可能なものを設定し、個別のインタラクションデータを記録して、たとえば個々の人間の行動に応じた行動を提示するようにしていたが、識別情報は、センサ類で取得可能なものであれば、人間や対象物を何らかの特徴や共通性等に基づいて分類したときの所定の単位を識別するものであってもよい。つまり、たとえば、人間の場合、服もしくは毛髪等の色や、年寄りもしくは若い等の年齢層などの違いを識別情報としてよい。このような場合、その単位ごとのインタラクションデータを記録して、対話相手に対しては、その属する単位についての過去の行動に応じた所定の行動を提示することとなる。つまり、同じ属性の人々の行動履歴に基づいてロボット本体１２の提示すべき行動が決定される。なお、上述の色の識別情報は、識別タグ等を設けなくても、たとえば画像データによって人間そのものから直接取得することができる。また、年齢層に関しては、たとえば人間にモーションキャプチャ用のマーカを装着し、モーションキャプチャシステムを用いてたとえば歩くとき等の動きデータを取得して解析することで検知することも可能である。

この発明の一実施例のコミュニケーションロボットの概要を示す図解図である。 図１実施例のロボットの構成を示すブロック図である。 図１のロボット本体の外観を示す図解図（正面図）である。 図１のロボット本体の内部構成を示すブロック図である。 図２の処理コンピュータのガイド提示処理の動作の一例を示すフロー図である。 行動データの解析において判定されるイベントの状態の一例を示す図解図である。

符号の説明

１０ …コミュニケーションロボット
１２ …ロボット本体
１４ …赤外線タグ
１６ …周囲状況観測装置
１８ …人間用観測装置
２０ …ぬいぐるみ型観測装置
２２ …処理コンピュータ
２４ …インタラクションデータベース
２６ …ロボット動作データベース
２８ …ガイドルールデータベース
１１６ …ＣＰＵ

Claims (5)

1. 対話対象の行動を観測してコミュニケーションをするコミュニケーションロボットであって、
   前記対話対象の行動履歴を取得するセンサ、
   前記センサによって取得された前記行動履歴を記録する記録手段、
   前記対話対象から対話相手を決定する相手決定手段、
   前記記録手段に記録された前記対話相手に関する行動履歴に基づいて当該ロボットの行動を決定する行動決定手段、および
   前記行動決定手段によって決定された前記行動を実行する実行手段を備える、コミュニケーションロボット。
2. 前記センサは、対話対象を識別するための識別情報および前記対話対象のインタラクションの対象物を識別するための識別情報の少なくとも一方を取得する、請求項１記載のコミュニケーションロボット。
3. 前記行動決定手段は、前記対話相手と前記インタラクションの対象物との位置関係に基づいて前記対話相手に関する行動履歴の状態を解析し、該解析結果に基づいて前記行動を決定する、請求項２記載のコミュニケーションロボット。
4. 過去の行動に対応して当該ロボットの提示すべき行動を規定した規則を記憶する規則記憶手段をさらに備え、
   前記行動決定手段は、前記対話相手に関する行動履歴と前記規則とに基づいて、前記行動を決定する、請求項１ないし３のいずれかに記載のコミュニケーションロボット。
5. 前記行動決定手段によって決定される行動は、前記対話相手のインタラクションした対象物に関連する案内ないし推薦をする動作を含む、請求項１ないし４のいずれかに記載のコミュニケーションロボット。

Images