JP6841167B2 - コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム - Google Patents

Description

本発明は、コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラムに関する。

ユーザの音声の内容に応じて、応答文の出力を行うと共に、表情の表出を行うコミュニケーション装置が知られている（例えば、特許文献１参照）。

特開２０１６−１９３４６６号公報

従来のコミュニケーション装置によると、ユーザから同じ音声内容が入力された場合には、同じ応答文と同じ表情が出力されるので、コミュニケーション装置としては変化に乏しく、ユーザが当該装置に対して愛着を持つまでには至らないことが多かった。

本発明は、このような問題を解決するためになされたものであり、キャラクターが示す表情に多様なバリエーションを持たせ、同じ話しかけに対しても、状況に応じて様々な表情を示すコミュニケーション装置等を提供するものである。

本発明の第１の態様におけるコミュニケーション装置は、キャラクターとユーザが対話するためのコミュニケーション装置であって、キャラクターに対するユーザの発話を取得する発話取得部と、発話とは異なる情報を取得する情報取得部と、発話取得部が取得した発話の内容に基づいてキャラクターが発する応答音声を生成する音声生成部と、発話取得部が取得した発話の内容に基づいてキャラクターの顔部で表現する応答表情を生成する表情生成部とを備え、表情生成部は、情報取得部から情報を取得した場合には、取得しない場合に対して生成する応答表情が異なり得るように、発話の内容と共に当該情報を用いて応答表情を生成する。

このように構成することで、例えばユーザの表情から読み取れる感情を考慮した場合とそうでない場合とで、キャラクターが顔部で表現する表情を異ならせることができる。したがって、ユーザの発話が同じであっても、キャラクターの顔部が示す表情はバリエーションに富み、ユーザは、対話に飽きることなく、キャラクターへの愛着も増大することが期待できる。

また、上記のコミュニケーション装置は、複数の感情にそれぞれ対応付けられた応答表情のデータベースを備え、表情生成部は、発話の内容に基づいて推定する第１感情と情報取得部で取得した情報に基づいて推定する第２感情との組み合わせに応じて決定する第３感情に対応付けられた応答表情を、データベースから選択するように構成しても良い。このように、それぞれで推定された感情を組み合わせることにより、ユーザの感情を精度良く推定することができる。

この場合、データベースは、ラッセルの円環図に基づいて複数の感情とそれぞれの応答表情とが対応付けられており、表情生成部は、円環図において第１感情に対応する第１ベクトルと第２感情に対応する第２ベクトルの和に基づいて第３感情を決定するように構成することができる。このような構成により、ユーザの感情をより定量的に演算することが可能となる。

また、表情生成部は、第３感情に予め定められた範囲で近似する第４感情に対応する応答表情をデータベースから選択しても良い。決定される感情に若干の揺らぎを持たせることにより、顔部の表情の変化をより豊かにすることができる。

さらに、表情生成部は、応答表情を連続して生成する場合には、前回生成した応答表情と今回生成する応答表情の間に、両者を補間する応答表情を併せて生成しても良い。例えば、表示しようとする表情が大きく変化するときに、中間の表情を挿入して表示すれば、ユーザは、その変化に違和感を覚えることがない。

上記のコミュニケーション装置において、情報取得部は、ユーザを撮像する撮像部を含むことができ、また、ユーザの生体情報を取得する生体センサを含むことができ、さらには、周辺環境の環境情報を取得する環境センサを含むことができる。様々なセンサを利用することで、ユーザの感情をより精度良く推定することができる。

また、上記コミュニケーション装置は、キャラクターを具現化するキャラクター装置の内部状態を取得する状態取得部を備え、表情生成部は、発話の内容と情報に加え、状態取得部が取得した内部状態に基づいて応答表情を生成するようにしても良い。このように構成すれば、ユーザの感情に合わせて顔部が示す表情が決まるばかりでなく、キャラクターが自らの感情を示すような表情も現れるので、ユーザはキャラクターに対してより愛着を持てるようになる。

本発明の第２の態様におけるコミュニケーションロボットは、上記のコミュニケーション装置と、表情生成部が生成した応答表情を表現する顔部とを備えるキャラクターを具現化したロボットである。コミュニケーション装置を、例えば動物に模したロボットとして具現化すれば、ユーザは、ペットのように感じることができ、より愛着を持てるようになる。

本発明の第３の態様におけるコミュニケーション制御プログラムは、キャラクターとユーザが対話するためのコミュニケーション装置のコンピュータで実行されるコミュニケーション制御プログラムあって、キャラクターに対するユーザの発話を取得する発話取得ステップと、発話とは異なる情報を取得する情報取得ステップと、発話取得ステップで取得した発話の内容に基づいてキャラクターが発する応答音声を生成する音声生成ステップと、発話取得ステップで取得した発話の内容に基づいてキャラクターの顔部で表現する応答表情を生成する表情生成ステップとを有し、表情生成ステップは、情報を取得した場合には、取得しない場合に対して生成する応答表情が異なり得るように、発話の内容と共に当該情報を用いて応答表情を生成するプログラムである。

このように構成することで、例えばユーザの表情から読み取れる感情を考慮した場合とそうでない場合とで、キャラクターが顔部で表現する表情を異ならせることができる。したがって、ユーザの発話が同じであっても、キャラクターの顔部が示す表情はバリエーションに富み、ユーザは、対話に飽きることなく、キャラクターへの愛着も増大することが期待できる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明により、同じ話しかけに対しても、状況に応じて様々な表情を示すコミュニケーション装置等を提供することができる。

第１の実施例に係るロボットの概観図である。 ロボットのシステム構成図である。 右眼の構造を示す斜視図である。 ロボットの表情とラッセルの円環図との関係を示す図である。 共感感情の決定手法に関する説明図である。 他の例の共感感情の決定手法に関する説明図である。 更に他の例の共感感情の決定手法に関する説明図である。 主体感情を組み合わせる場合における感情の決定手法に関する説明図である。 感情の切り替えに伴う表示の推移を説明する図である。 動作処理の手順を示すフローチャートである。 第２の実施例に係るコミュニケーションシステムの概観図である。 サーバのシステム構成図である。 ロボットのシステム構成図である。 第３の実施例に係るタブレット端末の概観図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態の第１の実施例に係るロボット１００の概観図である。ロボット１００は、ユーザである人間と音声対話を行うコミュニケーション装置としてのロボットである。ロボット１００は、キャラクターを具現化したキャラクター装置であり、対話に合わせて眼の表情が変化する。

ロボット１００は、外観として動物を模しており、顔部１２０を有する。顔部１２０には、ユーザが眼と認識できる位置に、眼部１２２（右眼１２２ａ、左眼１２２ｂ）が設けられている。眼部１２２の構造については後に詳述するが、右眼１２２ａ、左眼１２２ｂのそれぞれの背後には、例えば液晶パネルや有機ＥＬパネルである表示パネル１０６が設置されている。

ロボット１００の鼻の位置には、カメラ１０２が眼立たないように配置されている。カメラ１０２は、例えばＣＭＯＳセンサを含み、外部環境を認識するための画像を取得する撮像部として機能する。ロボット１００の口の位置には、スピーカ１０９が隠されて配置されている。スピーカ１０９は、ロボット１００が生成した音声を発する発話出力部として機能する。ユーザは、口の位置から出力される音声に、ロボット１００が喋っているような感覚を覚える。また、顔部１２０のいずれかの位置には、マイク１０１が隠されて配置されている。マイク１０１は、ユーザの発話音声等を集音する機能を担う。

ロボット１００は、バッテリ１１１から供給される電力により作動する。バッテリ１１１は、例えばリチウムイオン電池である。バッテリ監視部１１２は、例えばインピーダンス・トラック方式によりバッテリ１１１の残容量を監視する回路ユニットである。

図２は、ロボット１００のシステム構成図である。ロボット１００は、主なシステム構成として、マイク１０１、カメラ１０２、表示パネル１０６、スピーカ１０９、バッテリ監視部１１２、制御部２００、応答音声ＤＢ３１０および応答表情ＤＢ３２０を備えている。制御部２００は、例えばＣＰＵによって構成され、機能ごとの実行を担う機能実行部としても動作し、主に、発話認識部２０１、表情認識部２０２、第１感情推定部２０３、第２感情推定部２０４、共感感情決定部２０５、主体感情決定部２０６、表情選択部２０７、眼制御部２０８、音声選択部２０９および発話制御部２１０として動作する。

マイク１０１は、主な機能として、ロボット１００が対話する相手であるユーザの発話音声を集音する。マイク１０１は、集音したユーザの発話音声を音声信号に変換して、発話認識部２０１へ引き渡す。カメラ１０２は、主な機能として、ロボット１００に対峙するユーザの顔を撮影する。カメラ１０２は、撮像したユーザの顔画像を画像信号に変換して、表情認識部２０２へ引き渡す。

スピーカ１０９は、発話制御部２１０で変換された音声信号を受け取って、応答音声を音声出力する。表示パネル１０６は、眼制御部２０８で変換された映像信号を受け取って、応答表情に対応する図柄を表示する。バッテリ監視部１１２は、バッテリの残容量を検知して検知信号を主体感情決定部２０６へ引き渡す。バッテリ監視部１１２は、ロボット１００の内部状態を取得する状態取得部の一態様である。

応答音声ＤＢ３１０は、音声選択部２０９に接続されている応答音声のデータベースであり、例えばハードディスクドライブの記録媒体によって構成されている。応答音声ＤＢ３１０は、例えばコーパスとして体系化されており、個々の用語は、再生可能な発話データを伴って格納されている。応答表情ＤＢ３２０は、表情選択部２０７に接続されている応答表情のデータベースであり、例えばハードディスクドライブの記録媒体によって構成されている。応答表情ＤＢ３２０は、例えばラッセルの円環図として体系化されており、具体的な眼の表情の映像データ、その表情が意味する感情、およびその感情の度合が互いに対応付けられて格納されている。具体的には後述する。

発話認識部２０１は、マイク１０１から受け取った音声信号を解析してユーザの発話を認識する。発話認識部２０１は、マイク１０１と協働して、ロボット１００へ向かって話しかけるユーザの発話を取得する発話取得部としての機能を担う。発話認識部２０１は、具体的には、一般的な音声認識技術によりユーザの発話内容を認識すると共に、発話の韻律を解析する。韻律は、発話を音波として捉えた場合の、その物理的特徴を表すものであり、発話認識部２０１は、ユーザが発する一塊の音波において、例えば中心周波数、周波数帯域、振幅の最大値および平均値を物理的特徴として演算する。発話認識部２０１は、認識した発話内容を音声選択部２０９へ引き渡す。また、解析した韻律を第１感情推定部２０３へ引き渡す。

第１感情推定部２０３は、発話認識部２０１から受け取った韻律から振幅レベルの変化や語尾の抑揚などを抽出して、ユーザの感情とその度合を推定する。推定される感情の種類とその度合については、後に詳述する。ユーザの発話から推定された第１感情とその度合は、共感感情決定部２０５へ引き渡される。

なお、第１感情推定部２０３は、発話された単語の属性を考慮して、ユーザの感情とその度合を修正しても良い。単語の属性は、その単語がいずれの感情を表現するために多く用いられるものであるかを表す。例えば、「うれしい」という単語は「満足」の属性を有し、ユーザが「うれしい」と発した場合には、第１感情推定部２０３は、推定する感情を「満足」側に寄せる。

表情認識部２０２は、カメラ１０２から受け取った画像信号を解析してユーザの表情を認識する。表情認識部２０２は、カメラ１０２と協働して、ユーザの発話とは異なる情報としてユーザの表情を取得する情報取得部としての機能を担う。表情認識部２０２は、具体的には、一般的な顔認識技術によりユーザの顔画像から特徴点を抽出し、それらの位置、隣接する特徴点を結ぶ線分の傾き、特徴点の数等の表情特徴量を演算する。表情認識部２０２は、演算した表情特徴量を第２感情推定部２０４へ引き渡す。

第２感情推定部２０４は、表情認識部２０２から受け取った表情特徴量から例えば瞳孔の大きさ、目尻の下がり具合、口角の上がり具合、発汗の有無、皺の寄り具合などを抽出して、ユーザの感情とその度合を推定する。推定される感情の種類とその度合については、後に詳述する。ユーザの表情から推定された第２感情とその度合は、共感感情決定部２０５へ引き渡される。

なお、ユーザがカメラ１０２に対峙していなかったり顔画像が暗かったりすると、表情認識部２０２は、表情特徴量を演算することができず、第２感情推定部２０４は、第２感情とその度合を推定することができない。このような場合には、第２感情推定部２０４は、第２感情が生成できなかった旨を共感感情決定部２０５へ引き渡す。

共感感情決定部２０５は、第１感情推定部２０３から受け取った第１感情とその度合、および第２感情推定部２０４から受け取った第２感情とその度合を組み合わせて、ロボット１００が示すユーザへの共感感情とその度合を決定する。共感感情とその度合の具体的な決定の手順については、後に詳述する。共感感情とその度合は、表情選択部２０７へ引き渡される。また、共感感情決定部２０５は、第２感情が生成できなかった旨を第２感情推定部２０４から受け取った場合には、第１感情とその度合を共感感情とその度合として決定する。

主体感情決定部２０６は、バッテリ監視部１１２から受け取った検知信号のレベルを、対応付けられたロボットの主体感情とその度合に変換し、表情選択部２０７へ引き渡す。主体感情は、ロボット１００の状態を示すパラメータ（ここではバッテリ残容量）を擬似的にある感情に対応付けたものである。ロボット１００は、主体感情とその度合によって決定される表情を表現することにより、自身の状態を間接的に外界に示すことができる。具体的なパラメータと感情の対応付けや表情の選択については後述する。

表情選択部２０７は、共感感情決定部２０５から受け取った共感感情とその度合に対応する表情の映像データを、応答表情ＤＢ３２０から取得する。このとき共感感情決定部２０５と表情選択部２０７は、互いに協働して、ユーザの発話内容と表情に基づいて顔部１２０で表現する応答表情を生成する表情生成部としての機能を担う。また、表情選択部２０７は、条件によっては、主体感情決定部２０６から受け取った主体感情とその度合を共感感情とその度合に組み合わせ、その結果に応じた表情の映像データを、応答表情ＤＢ３２０から取得する。また、ユーザが発話していない状況等においては、主体感情決定部２０６から受け取った主体感情とその度合のみに対応する表情の映像データを、応答表情ＤＢ３２０から取得する。表情選択部２０７は、応答表情ＤＢ３２０から取得した映像データを眼制御部２０８へ引き渡す。眼制御部２０８は、表情選択部２０７から受け取った映像データを表示パネル１０６で表示できる映像信号に変換して表示パネル１０６へ引き渡す。

音声選択部２０９は、発話認識部２０１で認識されたユーザの発話内容に対して会話としてふさわしいセンテンスを選択し、選択したセンテンスに応じた発話データを応答音声ＤＢ３１０から収集して、発話制御部２１０へ引き渡す。発話制御部２１０は、受け取った発話データを音声信号に変換してスピーカ１０９へ引き渡す。音声選択部２０９と発話制御部２１０は、互いに協働して、ユーザの発話内容に基づいて応答音声を生成する音声生成部としての機能を担う。なお、音声選択部２０９は、第１感情推定部２０３で推定された感情を加味して、選択するセンテンスを変更しても良い。例えば、第１感情推定部２０４がユーザの感情を「悲しい」と推定した場合は、励ます内容のセンテンスに変更する。このようにユーザが発話に込めた感情も考慮すれば、より深いコミュニケーションが期待できる。ただし、第２感情推定部２０４が推定する感情は考慮しないことが好ましい。後述するように、ロボット１００が発声する応答音声は、第２感情推定部２０４が推定する感情を考慮しない方が、応答表情との組み合わせにおいてバリエーションが豊富になる。

図３は、右眼１２２ａの構造を示す斜視図である。左眼１２２ｂも右眼１２２ａと同様の構造であり、それぞれの表示パネル１０６は、共に眼制御部２０８によって表示制御される。

右眼１２２ａは、主に、透光カバー１３１、光ファイバ束１３２および表示パネル１０６から成る。透光カバー１３１は、例えば透明なポリカーボネイトによって成形され、顔部１２０の外装材としての役割を担う。動物や人を模したロボットの場合、眼の表面は曲面であることが自然であり、ユーザに受け入れられやすい。したがって、本実施形態におけるロボット１００も、眼の表面に相当する透光カバー１３１は、外部に向かって凸状の曲面に成形されている。

右眼１２２ａの奥側には、右眼の表情を図案化した図柄を表示するための表示パネル１０６が設置されている。表示パネル１０６の表示面は平面である。また、表示面は、透光カバー１３１の外縁周を包含する大きさを有する。図においては、透光カバー１３１の外縁周に対応する大きさの白目に偏位して重ねられた黒目から成る図柄である表示右眼映像１９１ａが表示されている様子を示す。表示するそれぞれの図柄は、映像データとして応答表情ＤＢ３２０に格納されており、表情選択部２０７によって読み出され、眼制御部２０８によって映像信号に変換されて表示パネル１０６に表示される。

透光カバー１３１の内曲面と表示パネル１０６の表面とは、光ファイバ束１３２によって接続される。光ファイバ束１３２は、表示パネル１０６に表示された表示右眼映像１９１ａを透光カバー１３１まで伝達する。光ファイバ束１３２は、表示パネル１０６のピクセルのそれぞれに一対一に対応する光ファイバ１３２ａの集合体である。図では説明のために表示パネル１０６の表面から浮かせて示しているが、それぞれの光ファイバ１３２ａの一端は、表示パネル１０６の表面に導光系の接着剤により接着されている。それぞれの光ファイバ１３２ａは、集合体としてその外周面が被覆１３２ｂで覆われて束ねられている。このようにして、透光カバー１３１、光ファイバ束１３２および表示パネル１０６は、互いに接続されて一体化される。

表示パネル１０６に表示された表示右眼映像１９１ａの光束は、光ファイバ１３２ａの一端から入射し、他端から出射する。光ファイバ１３２ａの出射面である他端の集合体は、透光カバー１３１の内曲面に沿う仮想的なスクリーンを形成する。したがって、表示パネル１０６に表示された表示右眼映像１９１ａは、この仮想的なスクリーンに投影され、ユーザに観察される投影右眼映像１９２ａに変換される。

なお、平面として表示される表示右眼映像１９１ａが、曲面として投影される投影右眼映像１９２ａに変換されるので、眼制御部１０５は、観察される投影右眼映像１９２ａが正しい形状となるように、表示する表示右眼映像１９１ａの形状を予め調整することが好ましい。この場合、眼制御部２０８は、例えば一つの黒目の図柄でも、仮想的なスクリーンのどの位置に投影するかにより、表示する位置と形状を調整する。

図４は、ロボット１００が表現する表情とラッセルの円環図との関係を示す図である。図においては顔部１２０の様子を並べて示しているが、本実施例におけるロボット１００は、表示パネル１０６に表示する右眼映像と左眼映像に変化させることにより顔部１２０の全体からユーザが受ける印象をコントロールするものである。したがって、以下に説明するそれぞれの感情とその度合に対応付けられて応答表情ＤＢ３２０に格納されている映像データは、右眼映像と左眼映像に対応する映像データのセットである。

心理学の分野で提唱されているラッセルの円環図は、全ての感情を「快−不快」と「驚き−不活性」を軸とする平面に円環状に配置するモデルである。具体的な感情がいずれの位置に配置され得るかについては諸説あるが、本実施形態においては図示するように、「驚き」から時計回りで均等に、「警戒」「興奮」「高揚」「幸福」「快」「満足」「柔和」「リラックス」「冷静」「不活性」「疲労」「無気力」「憂鬱」「悲しい」「不快」「動転」「ストレス」「緊張」「神経質」の２０の感情を円周上に配置した。したがって、各感情は、「無表情」を中心に放射方向に定義され、中心からの距離は、その感情の度合を表す。図は、それぞれの感情が最も強く表現されたときの表情を示すが、点線で示す放射線上には、その度合に応じた中間的な表情が配置される。

図示するラッセルの円環図において、互いに隣接する感情は似通った感情である。したがって、その表情も相互に類似している。それぞれの感情とその度合に対応付けられた映像データの図柄は、このような関係性をもって予め作成されている。

次に共感感情を決定するまでの手法について説明する。図５は、共感感情の決定手法に関する説明図であり、図４のラッセルの円環図から顔部１２０の様子を取り除いた円環座標系を表している。「無表情」を表す円の中心を「０」とし、各感情の最大値を「１」とする。すなわち、ラッセルの円環図を、半径１の円で表現する。

ここで、第１感情推定部２０３が、ユーザの発話から推定した感情（第１感情）とその度合をベクトルＶ_１で表す。図の例においてベクトルＶ_１は、「快」の向きに約０．２５の長さを有する。また、第２感情推定部２０４がユーザの表情から推定した感情（第２感情）とその度合をベクトルＶ_２で表す。図の例においてベクトルＶ_２は、「興奮」の向きに約０．５の長さを有する。

共感感情決定部２０５は、ラッセルの円環図上でベクトルＶ_１とベクトルＶ_２の和を求めることにより、共感感情を表すベクトルＶ_３を算出する。図の例においてベクトルＶ_３は、「高揚」の向きに約０．６７の長さを有する。したがって、共感感情決定部２０５は、図において星印の座標が表す、共感感情＝「高揚」、度合＝０．６７と決定する。

図６は、他の例の共感感情の決定手法に関する説明図である。図６も、図５と同様に円環座標系を表している。

第１感情推定部２０３は、ベクトルＶ_１で表すように、第１感情＝「動転」、度合＝１と推定し、第２感情推定部２０４は、ベクトルＶ_２で表すように、第２感情＝「驚き」、度合＝１と推定した場合を想定する。この場合、ベクトルＶ_１とベクトルＶ_２の和を求めると、向きは「緊張」であるが、その大きさは１を超えてしまう。そこで、共感感情決定部２０５は、ベクトルＶ_３を、図において星印の座標が表す、共感感情＝「緊張」、度合＝１と決定する。

このように、ベクトルＶ_３の大きさが１を超えた場合は１とする例外規定を設けることにより、ベクトルＶ_１とベクトルＶ_２がどのような向きや大きさであっても、共感感情とその度合を決定することができる。

また、本実施形態においては、第１感情推定部２０３および第２感情推定部２０４がそれぞれ感情と共に度合も推定する構成であるが、度合を推定しない構成であっても、この手法により共感感情を決定することができる。すなわち、第１感情が「動転」、第２感情が「驚き」と推定されれば、それぞれの度合を固定値「１」と仮定してベクトル演算を行い、その向きに相当する感情である「緊張」を共感感情と決定することができる。

図７は、更に他の例の共感感情の決定手法に関する説明図である。図７も、図５と同様に円環座標系を表している。

第１感情推定部２０３は、ベクトルＶ_１で表すように、第１感情＝「幸福」、度合＝０．５０と推定し、第２感情推定部２０４は、ベクトルＶ_２で表すように、第２感情＝「リラックス」、度合＝０．２５と推定した場合を想定する。この場合、ベクトルＶ_１とベクトルＶ_２の和を求めると、ベクトルＶ_３は、「快」と「満足」の間の向きに約０．６２の長さを持つベクトルとなる。このように、算出されたベクトルＶ_３が２つの感情の間を向く場合は、その先端座標に対応する映像データが応答表情ＤＢ３２０に格納されていないので、共感感情決定部２０５は、２つの感情の放射線のうち近い方へ垂線を下ろし、その足を共感感情の座標と決定する。図の例では、「快」の放射線上に示す星印の座標が共感感情の座標となる。すなわち、共感感情決定部２０５は、共感感情＝「快」、度合＝０．６１と決定する。このように、共感感情決定部２０５は、ベクトルＶ_３の向きがいずれかの感情の放射線上に沿っていなくても、共感感情とその度合を一意的に決定することができる。

図５から図７を用いて説明した共感感情とその度合の決定手法は、第２感情推定部２０４が第２感情とその度合を推定した場合、つまり、ベクトルＶ_２を算出できた場合についての決定手法である。第２感情推定部２０４が第２感情を推定できなかった場合には、Ｖ_３＝Ｖ_１として共感感情とその度合を決定すれば良い。

表情選択部２０７は、主体感情決定部２０６が決定する主体感情を考慮しない場合には、ラッセルの円環図における共感感情決定部２０５が決定した共感感情の決定座標に対応する眼の表情の映像データを応答表情ＤＢ３２０から取得する。映像データを取得したら、眼制御部２０８へ引き渡し、眼制御部２０８は、受け取った映像データを映像信号に変換して表示パネル１０６に表示することにより、顔部１２０に決定した共感感情とその度合に応じた表情を創り出す。一方、主体感情決定部２０６が決定する主体感情を共感感情決定部２０５が決定した共感感情と組み合わせる場合には、まず、共感感情のベクトルと主体感情のベクトルのベクトル演算を行う。

図８は、主体感情を組み合わせる場合における、顔部１２０が表現する組合せ感情の決定手法に関する説明図である。図７も、図５と同様に円環座標系を表しており、共感感情決定部２０５が算出したベクトルＶ_３は、図５の例と同じく「高揚」の向きに約０．６７の長さを有するものとする。

上述のように、主体感情は、ロボット１００の状態を示すパラメータを擬似的にある感情に対応付けたものであるが、本実施形態においてはバッテリ残容量を「疲労」に対応付ける。すなわち、ロボット１００が主体感情のみを表現する場合は、バッテリの残容量が減るほどより疲れた表情を示すことを意味する。具体的には、主体感情を「疲労」の放射線上に沿うベクトルＶ_４で表し、残容量をその長さに対応させる。例えば、バッテリ監視部１１２から受け取った検知信号が残容量＝１００％を示すものであれば、長さを「０」とし、５０％を示すものであれば「０．５」とし、０％を示すものであれば「１」とする。図の例では、主体感情決定部２０６は、ベクトルＶ_４を、主体感情＝「疲労」、度合＝０．５と決定している。

表情選択部２０７は、上述の共感感情決定部と同様に、ベクトルＶ_３とベクトルＶ_４の和を求めることにより、組合せ感情を表すベクトルＶ_５を算出する。図の例においてベクトルＶ_５は、「満足」の向きに約０．４０の長さを有する。したがって、表情選択部２０７は、図において星印の座標が表す、組合せ感情＝「満足」、度合＝０．４０と決定する。

なお、表情選択部２０７は、ベクトルＶ_３とベクトルＶ_４の和の算出において、ベクトルＶ_５が１を超える場合は図６を用いて説明したように、ベクトルＶ_５が特定の感情を示す放射線上に位置しない場合は図７を用いて説明したように対処する。また、本実施形態においては、主体感情に対応付けるパラメータをバッテリ残容量に限って説明するが、他のパラメータを別の感情に対応付けても構わない。例えば、特定のユーザと過去に行った対話の回数を記録しておけば、当該回数をパラメータとして「高揚」に対応付けることができる。このように対応付ければ、そのユーザにとって対話の回数が増えれば、ロボット１００は、再度対話できたことを喜んでいるかのように主体感情として「高揚」の表情をより強く示すことになる。ロボット１００の状態を示す複数のパラメータをそれぞれ別の感情に対応付ける場合は、主体感情決定部２０６は、共感感情決定部２０５と同様に、それらのベクトルの和を算出して、一つの主体感情とその度合を決定する。

表情選択部２０７は、ベクトルＶ_５を算出して、組合せ感情とその度合を決定したら、ラッセルの円環図における決定座標に対応する眼の表情の映像データを応答表情ＤＢ３２０から取得する。映像データを取得したら、眼制御部２０８へ引き渡し、眼制御部２０８は、受け取った映像データを映像信号に変換して表示パネル１０６に表示することにより、顔部１２０に決定した組合せ感情とその度合に応じた表情を創り出す。

表情選択部２０７は、予め設定された条件に合致する場合には、共感感情を組み合わせることなく主体感情とその度合に対応する眼の表情の映像データを応答表情ＤＢ３２０から取得しても良い。例えば、対話すべきユーザが近くに存在しないと判断したときには、ロボット１００は、「疲労」の表情を示すことにより、バッテリ１１１が少なくなったことを周囲にアピールできる。また、ユーザとの対話において、ロボット１００の状態に関する事柄をユーザから質問されたときには、ロボット１００は、より直接的に自身の状態をユーザに知覚させることができる。

次に、ユーザとの対話が進むにつれて感情が逐次変化する場合の処理について説明する。図９は、感情の切り替えに伴う表示の推移を説明する図である。図９も、図５と同様に円環座標系を表している。

ユーザとの会話が継続されている期間において、表情選択部２０７は、上述のベクトル演算の結果、時刻ｔ_１で表現する感情とその度合としてベクトルＶ_ｔ１を得たとする。ベクトルＶ_ｔ１が示す座標Ｆ_ｔ１は、感情＝「高揚」、度合＝０．６７である。続いてその後の時刻ｔ_２で表現する感情とその度合としてベクトルＶ_ｔ２を得たとする。ベクトルＶ_ｔ２が示す座標Ｆ_ｔ２は、感情＝「冷静」、度合＝１である。このように、連続する時刻において表現する感情が大きく異なると、顔部１２０の表情は突然大きく変化し、ユーザは違和感を覚えることがある。

そこで、本実施形態においては、座標Ｆ_１と座標Ｆ_２を滑らかに曲線で接続して、その曲線が各感情の放射線と交わる点に補間座標を設定する。図の例では、座標Ｆ_１から座標Ｆ_２までは、感情（「高揚」から「冷静」まで）として６つの差があり、度合の変化としては１−０．６７＝０．３３であるので、一つ隣の感情に移るごとに０．３３／６＝０．０５５ずつ度合を増すように補間座標を設定することができる。このように、曲線が「幸福」「快」「満足」「柔和」「リラックス」の各放射線と交わる点にそれぞれ座標Ｆ_ｔ１１、座標Ｆ_ｔ１２、座標Ｆ_ｔ１３、座標Ｆ_ｔ１４、座標Ｆ_ｔ１５を設定する。そして、表情選択部２０７は、眼制御部２０８へ、座標Ｆ_ｔ１に対応する映像データを引き渡した後、座標Ｆ_ｔ２に対応する映像データを眼制御部２０８へ引き渡すまでに、座標Ｆ_ｔ１１、Ｆ_ｔ１２、Ｆ_ｔ１３、Ｆ_ｔ１４、Ｆ_ｔ１５に対応する映像データを連続的に引き渡す。眼制御部２０８は、時刻ｔ_１で座標Ｆ_ｔ１に対応する映像データを映像信号に変換して表示パネル１０６に表示した後、時刻ｔ_２に至るまでの間に連続して、座標Ｆ_ｔ１１、Ｆ_ｔ１２、Ｆ_ｔ１３、Ｆ_ｔ１４、Ｆ_ｔ１５に対応する映像データを映像信号に変換して表示パネル１０６に表示する。そして、時刻ｔ_２で座標Ｆ_ｔ２に対応する映像データを映像信号に変換して表示パネル１０６に表示する。このように、時刻ｔ_１で表現した表情と時刻ｔ_１に連続する時刻ｔ_２で表現する表情との間に両者を補間する表情を挿入すれば、ユーザは、顔部１２０の変化が滑らかで連続的であるとの印象を受ける。なお、補間する表情の数は、時刻ｔ_１と時刻ｔ_２の期間や、座標Ｆ_ｔ１と座標Ｆ_ｔ２の近さなどの条件によって変更しても良い。

一方で、連続する時刻において表現する感情が全く変わらないと、顔部１２０の表情は変化せず、この場合もユーザは違和感を覚えることがある。そこで、共感感情決定部２０５は、算出したベクトルＶ_３に対して、予め定められた範囲内で近似するベクトルＶ_３’に変更して出力しても良い。たとえば、算出したベクトルＶ_３が示す感情に対して、ラッセルの円環図上で隣接する感情までの範囲を予め定められた範囲とする。このように、共感感情の出力に揺らぎを与えると、ユーザは、より変化に富んだ表情を楽しむことができる。

次に、制御部２００が実行する動作処理の手順を説明する。図１０は、動作処理の手順を示すフローチャートである。フローは、ロボット１００の電源がオンにされて開始される。

発話認識部２０１は、ステップＳ１０１で、ロボット１００に話しかけるユーザの発話を、マイク１０１を介して取得する。ステップＳ１０２へ進み、音声選択部２０９は、取得したユーザの発話内容に対して会話としてふさわしいセンテンスを選択し、選択したセンテンスに応じた発話データを応答音声ＤＢ３１０から収集して、発話制御部２１０へ引き渡す。ステップＳ１０３へ進み、発話制御部２１０は、受け取った発話データを音声信号に変換し、スピーカ１０９から音声として発声させる。第１感情推定部２０３は、ステップＳ１０４で、ユーザの発話からユーザの第１感情とその度合を推定する。

表情認識部２０２は、ステップＳ１０５で、ロボット１００に話しかけるユーザの表情を捉えたカメラ画像を、カメラ１０２から取得する。ステップＳ１０６へ進み、第２感情推定部２０４は、表情認識部２０２から受け取った表情特徴量を用いて、ユーザの第２感情とその度合を推定する。

共感感情決定部２０５は、ステップＳ１０７で、第１感情とその度合を表すベクトルＶ_１と、第２感情とその度合を表すベクトルＶ_２の和を算出することにより、共感感情とその度合を決定する。なお、ステップＳ１０６で、第２感情推定部２０４が第２感情とその度合を推定できなかった場合には、共感感情決定部２０５は、第１感情とその度合を、共感感情とその度合として決定する。

一方、主体感情決定部２０６は、ステップＳ１０８で、バッテリ監視部１１２からバッテリ１１１の残容量を示す検知信号を取得し、ステップＳ１０９で、当該検知信号のレベルを対応付けられたロボットの主体感情とその度合に変換する。表情選択部２０７は、受け取った共感感情と主体感情およびそれぞれの度合から、組合せ感情とその度合を算出し、その結果に応じた表情の映像データを、応答表情ＤＢ３２０から取得する。

ステップＳ１１１へ進み、表情選択部２０７は、前回取得した映像データが対応する組合せ感情と、今回取得した映像データが対応する組合せ感情との差が、予め定められた差以上であるか否かを判断する。予め定められた差は、ラッセルの円環図の円周に沿って配置された感情において、例えば３つである。この場合、前回の組合せ感情に対して今回の組合せ感情が円周方向に３つ以上離れる感情であれば、ＹＥＳ（ステップＳ１１２）へ進み、２つ以下であればＮＯ（ステップＳ１１３）へ進む。

ステップＳ１１２へ進んだ場合には、表情選択部２０７は、前回の組合せ感情と今回の組合せ感情の間を補間する中間感情を設定して、その中間感情に対応する映像データを応答表情ＤＢ３２０から取得する。そして、眼制御部２０８は、これらの映像データを映像信号に変換して表示パネル１０６に順次表示する。中間感情に対応する映像を表示したら、ステップＳ１１３へ進む。

表情選択部２０７は、ステップＳ１１３で、ステップＳ１１０の処理によって取得された映像データを眼制御部２０８へ引き渡し、眼制御部２０８は、これを映像信号に変換して表示パネル１０６に表示する。そして、ステップＳ１１４へ進み、制御部２００は、ロボット１００の電源がオフにされたか否かを判断する。オフにされていなければ、ステップＳ１０１へ戻って、ユーザとのコミュニケーションを繰り返す。オフにされたら、一連の処理を終了する。

なお、ステップＳ１０３の応答発声と、ステップＳ１１３の決定表情の表示は、互いに最適なタイミングとなるように、時間を調整すると良い。また、ユーザの発話に関する処理、ユーザの表情に関する処理、バッテリに関する処理は、上述の順序でなくても良く、また、並列に処理されても良い。

以上説明したロボット１００は、キャラクターとしてユーザが対話するコミュニケーション装置であり、ユーザの発話から推定される第１感情と、ユーザの発話ではない情報としてのユーザの顔画像情報から推定される第２感情とを用いて応答表情を選択、生成する。このとき、第２感情を用いる場合は、用いない場合に対して選択、生成する応答表情が異なり得る。したがって、ユーザの発話が同じであっても、ロボット１００の顔部１２０が示す表情はバリエーションに富み、ユーザは、対話に飽きることなく、ロボット１００への愛着も増大することが期待できる。

また、ユーザの発話のみならず、発話外の情報を考慮して顔部１２０の表情を創り出すので、ユーザの発話が同じであっても、ロボット１００が発する応答音声と顔部１２０の応答表情の組合せは多様に変化する。したがって、ユーザは予想に反するロボット１００の反応を楽しむことができる。ひいては、ロボット１００に対する親近感を増すことが期待できる。

次に、第２の実施例について説明する。図１１は、第２の実施例に係るコミュニケーションシステムの概観図である。第１の実施例では、ロボット１００が単独でユーザとコミュニケーションが取れるように、主要な機能要素を全て本体に備える構成であったが、第２の実施例におけるロボット１００’は、演算に関する機能要素をサーバ３００に任せる構成を採用する。

例えばユーザがロボット１００’に「やあ、元気？」と話しかけると、ロボット１００’のマイクがその音声を取り込む。ロボット１００’は、取り込んだ音声を音声信号に変換して、無線通信によりサーバ３００へ送信する。また、ロボット１００’に組み込まれたカメラは、ユーザの顔を撮影する。ロボット１００’は、カメラの出力信号を画像信号に変換して、無線通信によりサーバ３００へ送信する。サーバ３００は、これらの情報を用いて、応答音声（図の例では「元気だよ！お話しできて嬉しいなあ。」）の音声データと、応答表情（図の例では「快」の表情）の映像データとを選択して、ロボット１００’へ送信する。ロボット１００’は、受け取った音声データに対応する音声をスピーカから発し、受け取った映像データに対応する図柄を表示する。

なお、本実施例では、追加的に採用可能な、ユーザの生体情報を取得するリストセンサ５００についても説明する。ユーザは、リストセンサ５００を腕に巻き付けて装着する。リストセンサ５００は、例えばユーザの脈拍、発汗状態を検出して、検出結果をサーバ３００へ送信する。

図１２は、サーバ３００のシステム構成図である。第１の実施例で説明した要素と原則的に同じ機能を担う要素には同じ名称を付し、特に言及しない限りその機能についての説明を省略する。本実施例においては、サーバ３００が、諸々の演算等を実行するコミュニケーション装置の実体として機能する。

サーバ３００は、主に、演算処理部４００、通信ＩＦ４９０、応答音声ＤＢ３１０および応答表情ＤＢ３２０を備える。演算処理部４００は、例えばＣＰＵであり、第１の実施例で説明した、発話認識部２０１、表情認識部２０２、第１感情推定部２０３、第２感情推定部２０４、共感感情決定部２０５、主体感情決定部２０６、表情選択部２０７の各機能実行部としても動作する。また、演算処理部４００は、機能実行部として生体情報認識部２１２としても動作する。

通信ＩＦ４９０は、ロボット１００’と制御信号やデータの授受を行うための通信インタフェースであり、例えば無線ＬＡＮユニットである。応答音声ＤＢ３１０は、第１の実施例で説明した応答音声ＤＢ３１０と同様の構成であり、音声選択部２０９と接続されている。また、応答表情ＤＢ３２０は、同じく第１の実施例で説明した応答表情ＤＢ３２０と同様の構成であり、表情選択部２０７と接続されている。

発話認識部２０１は、通信ＩＦ４９０を介して、ロボット１００’から音声信号を受け取る。発話認識部２０１は、通信ＩＦ４９０と協働して、ロボット１００へ向かって話しかけるユーザの発話を取得する発話取得部としての機能を担う。また、表情認識部２０２は、通信ＩＦ４９０を介して、ロボット１００’から画像信号を受け取る。表情認識部２０２は、通信ＩＦ４９０と協働して、ユーザの発話とは異なる情報としてユーザの表情を取得する情報取得部としての機能を担う。

生体情報認識部２１２は、通信ＩＦ４９０を介して、リストセンサ５００からユーザの生体情報を示す生体信号を取得する。そして、脈拍や発汗などの解析対象に合わせて、その特徴信号を取得した生体信号から抽出し、第２感情推定部２０４へ引き渡す。生体情報認識部２１２は、通信ＩＦ４９０と協働して、ユーザの発話とは異なる情報としてユーザの生体情報を取得する情報取得部としての機能を担う。

第２感情推定部２０４は、ユーザの表情から推定される感情と、生体情報から推定される感情を合成して第２感情とその度合を決定する。具体的には、図５から図７を用いて説明した手法と同様に、それぞれの感情をベクトルで表してベクトル和を算出することにより、第２感情のベクトルＶ_２を決定する。

表情選択部２０７は、通信ＩＦ４９０を介して、応答表情ＤＢ３２０から取得した映像データをロボット１００’へ送信する。同様に、音声選択部２０９は、通信ＩＦ４９０を介して、選択したセンテンスに応じた発話データをロボット１００’へ送信する。

図１３は、ロボット１００’のシステム構成図である。第１の実施例で説明した要素と原則的に同じ機能を担う要素には同じ名称を付し、特に言及しない限りその機能についての説明を省略する。

ロボット１００’は、主に、マイク１０１、カメラ１０２、表示パネル１０６、スピーカ１０９、バッテリ監視部１１２、通信ＩＦ１９０および制御部２００’を備えている。制御部２００’は、例えばＣＰＵによって構成され、機能ごとの実行を担う機能実行部としても動作し、主に、眼制御部２０８、発話制御部２１０として動作する。

通信ＩＦ１９０は、サーバ３００と制御信号やデータの授受を行うための通信インタフェースであり、例えば無線ＬＡＮユニットである。制御部２００’は、マイク１０１から受け取った音声信号と、カメラ１０２から受け取った画像信号を、通信ＩＦ１９０を介してサーバ３００へ送信する。また、眼制御部２０８は、通信ＩＦ１９０を介して表情選択部２０７から受け取った映像データを、表示パネル１０６で表示できる映像信号に変換して表示パネル１０６へ引き渡す。発話制御部２１０は、通信ＩＦ１９０を介して音声選択部２０９から受け取った発話データを、音声信号に変換してスピーカ１０９へ引き渡す。

このような第２の実施例のシステム構成であっても、第１の実施例と同様に、ユーザとのコミュニケーションを実現できる。また、演算に関する機能をサーバ３００に集約することで、ロボット１００’の構成を容易にすることができ、ロボット１００’に高性能な制御チップを設けなくても、円滑なコミュニケーションを実現できる。また、サーバ３００が演算に関する機能を担うのであれば、複数のロボット１００’からの演算要請にシーケンシャルに応えることもできるので、システム全体としての製造コストを軽減することもできる。

次に、第３の実施例について説明する。図１４は、第３の実施例に係るタブレット端末７００の概観図である。第１の実施例および第２の実施例においては、キャラクターを具現化したロボット１００、１００’をユーザが対話する相手としたが、第３の実施例においては、タブレット端末７００に表示した映像キャラクター８００を対話する相手とする。キャラクターをロボットとして実体化すれば、ユーザは、ペットのように感じることができ、より愛着を持てるようになるが、タブレット端末７００でより簡便にキャラクターを表現することもできる。

タブレット端末７００のシステム構成は、図２を用いて説明した第１の実施例におけるロボット１００のシステム構成とほぼ共通する。共通する構成についてはその説明を省略して、異なる構成について以下に説明する。

タブレット端末７００は、表示パネル７１０、マイク７１１、スピーカ７１２、カメラ７１３を備える。表示パネル７１０は、例えば液晶パネルであり、映像キャラクター８００を表示する。したがって、タブレット端末７００は、第１の実施例における眼の映像のみを表示する表示パネル１０６を有さない。

マイク７１１は、第１の実施例におけるマイク１０１と置き換わる要素であり、ユーザの発話音声を集音する。スピーカ７１２は、第１の実施例におけるスピーカ１０９と置き換わる要素であり、発話制御部２１０で変換された音声信号を受け取って、応答音声を音声出力する。カメラ７１３は、第１の実施例におけるカメラ１０２と置き換わる要素であり、タブレット端末７００に対峙するユーザの顔を撮影する。

タブレット端末７００は、眼の表情が変わるだけでなく、顔の全体、さらには全身を以て感情を表現するようにしても良い。その場合、応答表情ＤＢ３２０は、顔の全体、全身に対応する映像データを各感情とその度合に対応付けて格納するように構成すれば良い。

このようにタブレット端末７００をコミュニケーション装置として機能させれば、コミュニケーション装置としての専用ハードウェアを必要としないので、ユーザはより気軽にキャラクターとの対話を楽しむことができる。また、タブレット端末７００の他のアプリケーションに連動させて映像キャラクター８００と対話できるように構成すれば、様々な用途に応用できる。

次に、若干の変形例について説明する。第１の実施例では、実質的に全ての構成をロボット１００が備え、第２の実施例では、主要な演算をサーバ３００の演算処理部４００が担った。しかし、ロボットとサーバが連携するシステムにおいては、それぞれが演算処理部を備え、担う機能を分担することもできる。例えば、軽微な演算はロボット側の演算処理部が担い、解析を必要とするような重い演算はサーバ側の演算処理部が担うと良い。具体的には、ロボット側の演算処理部は、頷き動作やロボット側から発する質問文選択を担い、サーバ側の演算処理部は、ユーザの個人認証や、感情推定、対話データの蓄積などを担うと良い。このように構成する場合は、ロボットとサーバが連携するシステムがコミュニケーション装置となる。

また、ロボットとサーバが連携するシステムに限らず、第３の実施例で説明したようなタブレット端末やスマートフォンとサーバが連携するシステムであっても良い。このような構成であっても、軽微な演算はタブレット端末やスマートフォン側の演算処理部が担い、解析を必要とするような重い演算はサーバ側の演算処理部が担うと良い。このように構成する場合は、ブレット端末やスマートフォンとサーバが連携するシステムがコミュニケーション装置となる。

以上説明した各実施例においては、カメラは対話するユーザの顔を撮影したが、全身を撮影するように画角を調整しても良い。例えば、飛び跳ねたり猫背であったりする全身の様子を観察できれば、第２感情をより精度良く推定することができる。また、第２感情を推定する情報源として、上記の実施例では対話するユーザの顔と生体情報の例を説明したが、これに限らない。ユーザの発話情報以外の様々な情報は、第２感情を推定する情報源になり得る。例えば、周辺環境からの集音マイクを備えれば、対話するユーザ以外の人物から不意に掛けられる声を集音することができ、第２感情推定部２０４は、その不意打ち具合により「驚き」の感情を推定することができる。

周辺環境の情報を取得するセンサとしては、集音マイクに限らず、他のセンサを採用することもできる。例えば、温度センサや湿度センサを周辺環境の情報を取得するセンサとすれば、第２感情推定部２０４は、これらの出力信号をユーザの不快度合を推定する情報として利用できる。

また、以上説明した各実施例においては、共感感情等の演算について、ラッセルの円環図を利用した。ラッセルの円環図を利用することにより、ユーザの感情をより定量的に演算することが可能となる。しかし、共感感情等の演算においては、他の様々な公知技術を採用しても構わない。

１００、１００’ ロボット、１０１ マイク、１０２ カメラ、１０６ 表示パネル、１０９ スピーカ、１１１ バッテリ、１１２ バッテリ監視部、１２０ 顔部、１２２ 眼部、１２２ａ 右眼、１２２ｂ 左眼、１３１ 透光カバー、１３２ 光ファイバ束、１３２ａ 光ファイバ、１３２ｂ 被覆、１９０ 通信ＩＦ、１９１ａ 表示右眼映像、１９２ａ 投影右眼映像、２００、２００’ 制御部、２０１ 発話認識部、２０２ 表情認識部、２０３ 第１感情推定部、２０４ 第２感情推定部、２０５ 共感感情決定部、２０６ 主体感情決定部、２０７ 表情選択部、２０８ 眼制御部、２０９ 音声選択部、２１０ 発話制御部、２１２ 生体情報認識部、３００ サーバ、３１０ 応答音声ＤＢ、３２０ 応答表情ＤＢ、４００ 演算処理部、４９０ 通信ＩＦ、５００ リストセンサ、７００ タブレット端末、７１０ 表示パネル、７１１ マイク、７１２ スピーカ、７１３ カメラ、８００ 映像キャラクター

Claims (9)

1. キャラクターとユーザが対話するためのコミュニケーション装置であって、
   前記キャラクターに対するユーザの発話を取得する発話取得部と、
   前記発話とは異なる情報を取得する情報取得部と、
   前記発話取得部が取得した前記発話の内容に基づいて前記キャラクターが発する応答音声を生成する音声生成部と、
   前記発話取得部が取得した前記発話の内容に基づいて前記キャラクターの顔部で表現する応答表情を生成する表情生成部と、
   複数の感情にそれぞれ対応付けられた前記応答表情のデータベースと
   を備え、
   前記表情生成部は、前記発話の内容に基づいて推定する第１感情と前記情報取得部で取得した前記情報に基づいて推定する第２感情との組み合わせに応じて決定する第３感情に対応付けられた前記応答表情を、前記データベースから選択し、
   前記データベースは、ラッセルの円環図に基づいて前記複数の感情とそれぞれの前記応答表情とが対応付けられており、
   前記表情生成部は、前記円環図において前記第１感情に対応する第１ベクトルと前記第２感情に対応する第２ベクトルの和に基づいて前記第３感情を決定する
   コミュニケーション装置。
2. 前記表情生成部は、前記第３感情に予め定められた範囲で近似する第４感情に対応する前記応答表情を前記データベースから選択する請求項１に記載のコミュニケーション装置。
3. 前記表情生成部は、前記応答表情を連続して生成する場合には、前回生成した前記応答表情と今回生成する前記応答表情の間に、両者を補間する前記応答表情を併せて生成する請求項１又は２に記載のコミュニケーション装置。
4. 前記情報取得部は、前記ユーザを撮像する撮像部を含む請求項１から３のいずれか１項に記載のコミュニケーション装置。
5. 前記情報取得部は、前記ユーザの生体情報を取得する生体センサを含む請求項１から４のいずれか１項に記載のコミュニケーション装置。
6. 前記情報取得部は、周辺環境の環境情報を取得する環境センサを含む請求項１から５のいずれか１項に記載のコミュニケーション装置。
7. 前記キャラクターを具現化するキャラクター装置の内部状態を取得する状態取得部を備え、
   前記表情生成部は、前記発話の内容と前記情報に加え、前記状態取得部が取得した前記内部状態に基づいて前記応答表情を生成する請求項１から６のいずれか１項に記載のコミュニケーション装置。
8. 請求項１から７のいずれか１項に記載のコミュニケーション装置と、
   前記表情生成部が生成した前記応答表情を表現する前記顔部と
   を備える前記キャラクターを具現化したコミュニケーションロボット。
9. キャラクターとユーザが対話するためのコミュニケーション装置のコンピュータで実行されるコミュニケーション制御プログラムあって、
   キャラクターに対するユーザの発話を取得する発話取得ステップと、
   前記発話とは異なる情報を取得する情報取得ステップと、
   前記発話取得ステップで取得した前記発話の内容に基づいて前記キャラクターが発する応答音声を生成する音声生成ステップと、
   前記発話取得ステップで取得した前記発話の内容に基づいて前記キャラクターの顔部で表現する応答表情を生成する表情生成ステップと
   を有し、
   前記表情生成ステップでは、前記発話の内容に基づいて推定する第１感情と前記情報取得ステップで取得した前記情報に基づいて推定する第２感情との組み合わせに応じて決定する第３感情に対応付けられた前記応答表情を、データベースから選択し、
   前記データベースは、複数の感情にそれぞれ対応付けられた前記応答表情のデータベースであり、ラッセルの円環図に基づいて前記複数の感情とそれぞれの前記応答表情とが対応付けられており、
   前記表情生成ステップでは、前記円環図において前記第１感情に対応する第１ベクトルと前記第２感情に対応する第２ベクトルの和に基づいて前記第３感情を決定する
   コミュニケーション制御プログラム。

Images