JP6388824B2 - 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム - Google Patents

Description

本発明は、ユーザの状態や個人差に依らず、楽しいなどの感情を推定する感情推定技術に関する。

ウェアラブルセンサを用いて、疲労や感情などの内面状態の把握を目指す研究が盛んに行われている。人の内面状態を推定できれば、感情に合ったレコメンデーション等が可能となり、より快適な生活を送る手助けになることが期待できる。例えば、ＧＰＳ情報と組み合わせることにより、施設に対する大規模な感情データを収集できるようになり、ユーザの状態に応じた施設推薦サービスが可能となる。

近年、生体情報から感情を推定する研究がなされている（非特許文献１，２）。非特許文献１に開示された研究では、筋電図，皮膚コンダクタンス等のデータから音楽鑑賞中の感情推定を行っている。非特許文献２に開示された研究では、脳波等のデータからビデオ視聴中の感情推定を行っている。これらの知見を利用すれば、生体情報から感情の推定を行うことが可能である。

J. Kim, and E. Andre, "Emotion recognition based on physiological changes in music listening", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 12, pp. 2067-2083,2008 Sander Koelstra, Christian Muhl, Mohammad Soleymani, Jong-Seok Lee, Ashkan Yazdani, Touradj Ebrahimi, Thierry Pun, Anton Nijholt, Ioannis Patras, "DEAP: A Database for Emotion Analysis Using Physiological Signals", IEEE Transactions on Affective Computing, vol. 3, no. 1, pp. 18-31,2012 Jing Cai, Guangyuan Liu, Min Hao, "The research on emotion recognition from ECG signal", Information Technology and Computer Science, vol. 1, pp. 497-500, 2009 東 英和、重岡 正、糸川 剛、北須賀 輝明、有次 正義，「加速度計を用いた歩行分析による疲労推定特徴量の検討」，情報処理学会研究報告，UBI研究会，Vol.2011-MBL-57 No.27，Vol.2011-MBL-29 No.27，2011/3/8

従来の感情推定は、音楽鑑賞中やビデオ視聴中のような、限られた状況下での推定に限定されている。実生活では、ユーザの動きや疲労度等の様々な要因により生体信号が変化するため、ユーザの状況によっては感情の推定が正しく行えない。また、生体信号は個人差が大きく、ユーザ非依存の推定は難しい。

本発明は、上記の事情に鑑み、任意の身体的状態に基づく感情情報をユーザ非依存に推定することを課題とする。

そこで、本発明は、現在のユーザの身体的状態を判別し、予めユーザの身体的状態毎に作成しておいた推定器のうちから現在のユーザの身体的状態に対応する推定器を選択してこの推定器を用いて当該ユーザの感情情報を推定する。

この本発明の感情情報推定装置の態様としては、ユーザの生体情報に基づき当該ユーザの感情情報を推定する感情情報推定装置であって、予め取得したユーザの生体情報とこの生体情報に対応したそのユーザの感情情報と身体的状態とを格納したデータベースに基づき生体情報と感情情報との関係を学習して身体的状態毎に生体情報から感情情報を推定する推定器を生成する推定器生成手段と、ユーザの位置情報とこの位置情報が取得された時点で検出されたそのユーザの生体情報とに基づき当該ユーザの身体的状態を判定する状態判定手段と、前記生成された身体的状態毎の推定器のうちで前記判定されたユーザの身体的状態に対応した推定器を用いて前記検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情判定手段を備える。

この本発明の感情情報推定方法の態様としては、ユーザの生体情報に基づき当該ユーザの感情情報を推定する感情情報推定装置が実行する感情情報推定方法であって、予め取得したユーザの生体情報とこの生体情報に対応したそのユーザの感情情報と身体的状態とを格納したデータベースに基づき生体情報と感情情報との関係を学習して身体的状態毎に生体情報から感情情報を推定する推定器を生成する推定器生成ステップと、ユーザの位置情報とこの位置情報が取得された時点で検出されたそのユーザの生体情報とに基づき当該ユーザの身体的状態を判定する状態判定ステップと、前記生成された身体的状態毎の推定器のうちで前記判定されたユーザの身体的状態に対応した推定器を用いて前記検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情判定ステップを有する。

また、他の本発明は、現在のユーザの身体的状態に近い学習データを用いて生成した推定器によって当該ユーザの感情情報を推定する。

この他の本発明の感情情報推定装置の態様としては、ユーザの生体情報に基づき当該ユーザの感情情報を推定する感情情報推定装置であって、予め取得したユーザの感情情報とこの感情情報に対応した生体情報と当該感情情報が生成された時点の一定時間前から当該時点までの間に取得された当該ユーザの生体情報とを格納したデータベースと、このデータベースに格納された生体情報であって、前記感情情報が生成された時点の一定時間前から当該時点までの間に検出された生体情報が、ユーザの位置情報が取得された時点の一定時間前から当該時点までの間に検出された当該ユーザの生体情報と類似している生体情報と、この生体情報に対応した感情情報を前記データベースから取得する類似判定手段と、前記取得された生体情報及び感情情報に基づき生体情報と感情情報との関係を学習して生体情報から感情情報を推定する推定器を作成しこの推定器を用いて前記位置情報が取得された時点で検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情情報判定手段を備える。

この他の本発明の感情情報推定方法の態様としては、ユーザの生体情報に基づき当該ユーザの感情情報を推定する感情情報推定装置が実行する感情情報推定方法であって、予め取得したユーザの感情情報とこの感情情報に対応した生体情報と当該感情情報が生成された時点の一定時間前から当該時点までの間に取得された当該ユーザの生体情報とを格納したデータベースから、このデータベースに格納された生体情報であって、前記感情情報が生成された時点の一定時間前から当該時点までの間に検出された生体情報が、ユーザの位置情報が取得された時点の一定時間前から当該時点までの間に検出された当該ユーザの生体情報と類似している生体情報と、この生体情報に対応した感情情報とを取得する類似判定ステップと、前記取得された生体情報及び感情情報に基づき生体情報と感情情報との関係を学習して生体情報から感情情報を推定する推定器を作成しこの推定器を用いて前記位置情報が取得された時点で検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情情報判定ステップを有する。

尚、本発明は上記装置の各手段としてコンピュータを機能させるプログラムまたは上記方法のステップをコンピュータに実行させるプログラムの態様とすることもできる。

以上の発明によれば、任意の身体的状態に基づく感情情報をユーザ非依存に推定できる。

本発明の実施形態１における感情情報推定装置のブロック構成図。 実施形態１における履歴蓄積データベースの構成例。 実施形態１における事前学習のフロー図。 実施形態１の感情推定のフロー図。 推定によって得られた感情情報の一例。 本発明の実施形態２における感情情報推定装置のブロック構成図。 実施形態２における履歴蓄積データベースの構成例。 実施形態２における事前学習のフロー図。 実施形態２の感情推定のフロー図。 本発明の実施形態３における感情情報推定装置のブロック構成図。 実施形態３における事前学習のフロー図。 実施形態３の感情推定のフロー図。

以下、図面を参照しながら本発明の実施の形態について説明するが本発明はこの実施形態に限定されるものではない。

［実施形態１］
（概要）
図１に示された本実施形態の感情情報推定装置１は、現在のユーザの身体的状態を判別し、予めユーザの身体的状態毎に作成しておいた推定器のうちから現在のユーザの身体的状態に対応する推定器を選択してこの推定器を用いて当該ユーザの感情情報を推定する
以下の説明では、感情情報として例えば「楽しい」「退屈」を推定する手法について述べるが、他の感情情報の推定にも同じ手法が適用できる。また、ユーザの身体的状態や感情を推定するためのセンサデータとして、加速度や心拍データを用いた事例についての説明がなされているが、皮膚コンダクタンス等、他のセンサデータを用いてもよい。尚、１拍動の時間から算出した瞬時心拍数を単に心拍数と称する。尚、いくつかの瞬時心拍数を平均した値を心拍数として用いてもよい。

（装置の構成）
図１を参照しながら本実施形態の感情情報推定装置１の構成について説明する。

感情情報推定装置１は事前学習部３０１と推定部３０２とを備える。

事前学習部３０１は、感情取得部３１０、センサデータ取得部３３０、状態取得部３４０、履歴蓄積データベース３５０、推定器生成部３６０を備える。

感情取得部３１０は、ユーザから感情のアノテーションデータ（例えば、楽しい／退屈を示すデータ）を取得する。

センサデータ取得部３３０は、例えば、ユーザに付帯された生体センサ（ウェアラブルセンサ）から感情生成時のユーザの心拍数データを予め取得する。

状態取得部３４０は、疲労度等のユーザの身体的状態を予め取得する。

履歴蓄積データベース３５０は、感情取得部３１０から取得した感情情報（例えば、楽しい、退屈等）、センサデータ取得部３３０から取得した生体情報（例えば、心拍数等）、状態取得部３４０から取得したユーザの身体状態を示す情報（例えば、疲労、普通等）を予め格納したデータベースである。このデータベースの一例を図２に示した。

推定器生成部３６０は、ユーザの身体的状態（例えば、疲労，普通，元気）毎に、心拍数データから感情を推定する推定器を、予め生成する。

また、推定部３０２は、場所取得部３７０、センサデータ取得部３８０、状態判定部３９０、感情判定部３９５、感情可視化部３９６を備える。

場所取得部３７０は、ユーザの現在の位置情報を取得し続ける。

センサデータ取得部３８０は、ユーザに装着された加速度計，心拍計から生体情報として加速度，心拍数をそれぞれ取得し続ける。

状態判定部３９０は、場所取得部３７０，センサデータ取得部３８０から取得された情報に基づき、ユーザがある場所への訪問開始時の当該ユーザの身体的状態を判定する。

感情判定部３９５は、推定器生成部３６０が作成した推定器の群のうちで状態判定部３９０が判定したユーザの身体状態に対応した推定器を用いて、センサデータ取得部３８０によって取得された前記訪問開始時の生体情報に基づき、前記ユーザの感情情報を推定する。

感情可視化部３９６は、感情判定部３９５による推定によって得られた感情情報をユーザに提示する。

以上の感情情報推定装置１の各機能部３０１，３０２はコンピュータのハードウェアリソースによって実現される。すなわち、感情情報推定装置１は、少なくとも演算装置（ＣＰＵ）、記憶装置（メモリ、ハードディスク装置等）、通信インタフェース等のコンピュータに係るハードウェアリソースを備える。そして、これらのハードウェアリソースがソフトウェアリソース（ＯＳ、アプリケーション等）と協働することにより各機能部３０１，３０２が実装される。また、各々のコンピュータに機能部３０１，３０２を各々実装させるようにしてもよい。

（本実施形態の感情情報推定過程の説明）
図１〜５を参照しながら本実施形態の感情情報推定過程について説明する。本実施形態の感情情報推定過程は事前学習ステップＳ３０１と推定ステップＳ３０２とからなる。

事前学習ステップＳ３０１は図３に示したように以下のＳ４１０，Ｓ４２０からなる。

Ｓ４１０：感情取得部３１０、状態取得部３４０、センサデータ取得部３３０は、ユーザから入力された感情情報，身体的状態，この身体的情報のラベルの付いた心拍数データを、履歴蓄積データベース３５０に保存する。データ長は、感情開始後、１分間、５分間等、予め設定した時間幅としてもよいし、感情開始，感情終了のアノテーションを行い、データ毎に異なるデータ長さに設定してもよい。

Ｓ４２０：推定器生成部３６０は、履歴蓄積データベース３５０のデータに基づき、入力データが生体情報（心拍数）であると共に出力データが感情情報（例えば、楽しい，退屈等）である推定器を身体的状態毎（例えば、元気，普通，疲れている）に機械学習を用いて生成する。推定器は例えば非特許文献３に開示された特徴量・分類手法によって生成される。

推定ステップＳ３０２は、図４に示したようにＳ５１０〜Ｓ５５０からなる。

Ｓ５１０：場所取得部３７０は前記ユーザの現在の位置情報（例えば施設名等）を取得し続ける。前記位置情報はＧＰＳを用いて自動で取得してもよい。一方、センサデータ取得部３８０は前記ユーザの加速度計並びに生体センサから当該ユーザの加速度、心拍数のデータを取得し続ける。

Ｓ５２０：前記ユーザがある施設にたどり着いた際に、センサデータ取得部３８０は、それ以前（例えば直近１分間）の加速度を取得する。

Ｓ５３０：状態判定部３９０は、ステップＳ５２０にて取得した加速度を入力として、ユーザの身体状態（元気，普通，疲れている）を判定する。判定には、例えば非特許文献４のような加速度の特徴量を入力として、加速度と身体状態（元気，普通，疲れている）との関係を予め学習しておいた推定器を用いる。

Ｓ５４０：感情判定部３９５は、ステップＳ４２０にて生成された推定器の群のうちでＳ５３０にて判定した身体状態に対応した推定器を選択して前記ユーザの前記施設滞在中にセンサデータ取得部３８０が取得した生体情報（心拍数）から当該ユーザの施設滞在中の感情情報を推定する。

Ｓ５５０：感情可視化部３９６は、ステップＳ５４０での推定によって得られた感情情報をユーザに提示する。感情情報の一例を図５に例示する。

［実施形態２］
（概要）
図６に示された本実施形態の感情情報推定装置２は、現在のユーザの身体的状態に近い学習データを用いて生成した推定器によって当該ユーザの感情情報を推定する。

本実施形態の説明においても、感情情報として例えば「楽しい」「退屈」を推定する手法について述べるが、他の感情情報の推定にも同じ手法が適用できる。また、類似データの判定や感情を推定するためのセンサデータとして、心拍データを用いた事例についての説明がなされているが、加速度や皮膚コンダクタンス等、他のセンサデータを用いてもよい。尚、１拍動の時間から算出した瞬時心拍数を単に心拍数と称する。尚、いくつかの瞬時心拍数を平均した値を心拍数として用いてもよい。

（装置の構成）
図６を参照しながら本実施形態の感情情報推定装置２の構成について説明する。

感情情報推定装置２は事前学習部６０１と推定部６０２とを備える。

事前学習部６０１は、感情取得部６１０、センサデータ取得部６２０、履歴蓄積データベース６３０を備える。

感情取得部６１０は、ユーザから感情のアノテーションデータ（例えば、楽しい／退屈を示すデータ）を予め取得する。

センサデータ取得部６２０は、ユーザに付帯された生体センサ（ウェアラブルセンサ）から当該ユーザの感情生成時と直近１時間の心拍数データを、予め取得する。

履歴蓄積データベース６３０は、感情取得部６１０から取得した感情情報、センサデータ取得部６２０から取得した感情生成時の生体情報（例えば、心拍数等）並びに感情生成時直前の一定期間（例えば一時間）の生体情報（心拍数等）を予め格納したデータベースである。このデータベースの一例を図７に示した。

推定部６０２は、場所取得部６４０、センサデータ取得部６５０、類似データ判定部６６０、感情判定部６７０、感情可視化部６８０を備える。

場所取得部６４０は、ユーザの現在の位置情報を取得し続ける。

センサデータ取得部６５０は、ユーザに装着された心拍計から生体情報として心拍数を取得し続ける。

類似データ判定部６６０は、場所取得部６４０によって前記ユーザの位置情報が取得された時点の一定時間（例えば１時間）前から当該時点までの間におけるセンサデータ取得部６５０によって検出された当該ユーザの生体情報（例えば心拍数等）と類似している生体情報とこの生体情報に対応した感情情報とを履歴蓄積データベース６３０から取得する。

感情判定部６７０は、類似データ判定部６６０が取得したデータを用いて、生体情報（例えば心拍数）と感情情報（例えば、楽しい，退屈）との関係を学習して生体情報から感情情報を推定する推定器を作成し、この推定器を用いてセンサデータ取得部６５０が取得した生体情報（例えば、心拍数）に基づき前記場所に滞在中の前記ユーザの感情情報を推定する。

感情可視化部６８０は、感情判定部６７０による推定によって得られた感情情報をユーザに提示する。

以上の感情情報推定装置２の各機能部６０１，６０２はコンピュータのハードウェアリソースによって実現される。すなわち、感情情報推定装置１は、少なくとも演算装置（ＣＰＵ）、記憶装置（メモリ、ハードディスク装置等）、通信インタフェース等のコンピュータに係るハードウェアリソースを備える。そして、これらのハードウェアリソースがソフトウェアリソース（ＯＳ、アプリケーション等）と協働することにより各機能部６０１，６０２が実装される。また、各々のコンピュータに機能部６０１，６０２を各々実装させるようにしてもよい。

（本実施形態の感情情報推定過程の説明）
図６〜９を参照しながら本実施形態の感情情報推定過程について説明する。本実施形態の感情情報推定過程は事前学習ステップＳ６０１と推定ステップＳ６０２とからなる。

事前学習ステップＳ６０１は図８に示したように以下のＳ７１０，Ｓ７２０からなる。

Ｓ７１０：感情取得部６１０はユーザから感情情報の入力を受ける。また、センサデータ取得部６２０は前記ユーザから前記感情情報のラベルの付いた生体情報（心拍数データ）の入力を受ける。データ長は、感情開始後、１分間、５分間等、予め設定した時間幅としてもよいし、感情開始，感情終了のアノテーションを行い、データ毎に異なるデータ長さに設定してもよい。

Ｓ７２０：感情取得部６１０，センサデータ取得部６２０は、前記入力された感情情報，この感情情報のラベルの付いた生体情報（心拍数データ）を、履歴蓄積データベース６３０に保存する。

推定ステップＳ６０２は、図９に示したようにＳ８１０〜Ｓ８６０からなる。

Ｓ８１０：場所取得部６４０は前記ユーザの現在の位置情報（例えば施設名等）を取得し続ける。前記位置情報はＧＰＳを用いて自動で取得してもよい。一方、センサデータ取得部６５０は前記ユーザの生体センサから当該ユーザの心拍数のデータを取得し続ける。

Ｓ８２０：前記ユーザがある施設にたどり着いた際に、センサデータ取得部６５０は、それ以前（例えば直近１時間）の心拍数データを取得する。

Ｓ８３０：類似データ判定部６６０は、１時間の生体情報（心拍数データｆ_i（ｔ））がステップＳ８２０にて取得した生体情報（心拍数データｇ（ｔ））と類似している生体情報（心拍数データ）とこの生体情報に対応した感情情報とを、履歴蓄積データベース６３０から取得する。類似しているかどうかの判定は、例えば、それぞれの１時間の生体情報（心拍数データ）の平均（average(f_i(t)),average(g(t)）が下記の式（１）を満たしていれば類似していると判断する。

Ｓ８４０：ステップＳ８３０にて取得したデータを用いて、生体情報（心拍数）と感情情報との関係を学習し、入力が生体情報（心拍数データ）であると共に出力が感情情報である推定器を生成する。推定器は例えば非特許文献３に開示された特徴量・分類手法によって生成される。

Ｓ８５０：感情判定部６７０は、ステップＳ８４０にて作成した推定器を用いて、センサデータ取得部６５０が取得した生体情報（心拍数データ）から施設滞在中のユーザの感情情報を推定する。

Ｓ８６０：感情可視化部６８０は、ステップＳ８５０での推定によって得られた感情情報をユーザに提示する。感情情報の一例を図５に例示する。

［実施形態３］
（概要）
図１０に示した本実施形態の感情情報推定装置３は、ユーザの身体的状態間の生体情報の関係を学習し、その関係を用いて学習データを増幅することにより、アノテーションコストの低減を図る。

（装置の構成）
図１０を参照しながら本実施形態の感情情報推定装置３の構成について説明する。

感情情報推定装置３は、事前学習部３０１においてデータ増幅部９５５を備えたこと以外は、実施形態１の感情情報推定装置１と同じ構成となっている。

データ増幅部９５５は、履歴蓄積データベース３５０に蓄積されている同一の感情情報に対応した身体的状態と他の身体的状態の情報に基づき身体的状態間の関係を学習して推定器生成部３６０に供される身体的状態とその感情情報とに対応する生体情報を疑似的に生成する。

（本実施形態の感情情報推定過程の説明）
図１０〜１２を参照しながら本実施形態の感情情報推定過程について説明する。本実施形態の感情情報推定過程は事前学習ステップＳ９０１と推定ステップＳ９０２とからなる。

事前学習ステップＳ９０１は図１１に示したように以下のＳ１０１０〜Ｓ１０４０からなる。

Ｓ１０１０：感情取得部３１０、状態取得部３４０、センサデータ取得部３３０は、ユーザから入力された感情情報，身体的状態，この身体的情報のラベルの付いた心拍数データを、履歴蓄積データベース３５０に保存する。データ長は、感情開始後、１分間、５分間等、予め設定した時間幅としてもよいし、感情開始，感情終了のアノテーションを行い、データ毎に異なるデータ長さに設定してもよい。

Ｓ１０２０：データ増幅部９５５は、履歴蓄積データベース３５０に蓄積されている同一の感情情報に対応した前記ユーザの身体的状態と他の身体的状態の情報に基づき身体的状態間の関係式を学習する。

例えば、学習によって得られた身体的状態１、２のある２つのデータｆ１（ｔ），ｆ２（ｔ）間の特徴量（例えば平均値）の関係式ｒは下記の式（２）となる。

Ｓ１０３０：データ増幅部９５５は、ステップＳ１０２０にて作成した関係式ｒを用いて、学習用データの少ない状態のデータ（特徴量）を、別の身体的状態のデータ（特徴量）から疑似的に生成する。

例えば、下記の式（３）によって身体的状態２のあるデータｆ’２（ｔ）から身体的状態１の疑似データｆ’（ｔ）の特徴量（平均値）が生成される。

この処理を、Ｓ１０４０で用いる全ての特徴量に関して行い、疑似データを作成する。

Ｓ１０４０：推定器生成部３６０は、履歴蓄積データベース３５０のデータとステップＳ１０３０にて生成したデータとに基づき、入力データが生体情報（心拍数）であると共に出力データが感情情報（例えば、楽しい，退屈等）である推定器を身体的状態毎（例えば、元気，普通，疲れている）に機械学習を用いて生成する。推定器は例えば非特許文献３に開示された特徴量・分類手法によって生成される。

推定ステップＳ９０２は、図１２に示したようにＳ１１１０〜Ｓ１１５０からなる。

Ｓ１１１０：場所取得部３７０はユーザの現在の位置情報（例えば施設名等）を取得し続ける。前記位置情報はＧＰＳを用いて自動で取得してもよい。一方、センサデータ取得部３８０は前記ユーザの加速度計並びに生体センサから当該ユーザの加速度、心拍数のデータを取得し続ける。

Ｓ１１２０：ユーザがある施設にたどり着いた際に、センサデータ取得部３８０は、それ以前（例えば直近１分間）の加速度を取得する。

Ｓ１１３０：状態判定部３９０は、ステップＳ１１２０にて取得した加速度を入力として、ユーザの身体状態（元気，普通，疲れている）を判定する。判定には、例えば非特許文献４のような加速度の特徴量を入力として、加速度と身体状態（元気，普通，疲れている）との関係を予め学習しておいた推定器を用いる。

Ｓ１１４０：感情判定部３９５は、ステップＳ１０４０にて生成された推定器の群のうちでＳ１１３０にて判定した身体状態に対応した推定器を用いて、前記ユーザの前記施設滞在中にセンサデータ取得部３８０が取得した生体情報（心拍数）から当該ユーザの施設滞在中の感情情報を推定する。

Ｓ１１５０：感情可視化部３９６は、ステップＳ１１４０での推定によって得られた感情情報をユーザに提示する。感情情報の一例を図５に例示する。

［実施形態１〜３の効果］
従来は、音楽鑑賞中等の限られた状況下での感情推定が行われており、実生活の様々な状況下で感情情報を推定することができなかった。そこで、感情情報推定装置１〜３によれば、ユーザの状態・状況に応じたモデルを用いて感情推定を行うため、様々な状況下で精度良く感情情報を推定することができる。

また、生体信号は個人差が大きく、ユーザ非依存の推定は難しかったが、実施形態２の感情情報推定装置２によれば、他人のデータの中から、そのユーザに類似したデータのみを用いてモデルを作成することにより、ユーザ非依存の感情情報の推定も可能である。

さらに、実施形態３の感情情報推定装置３においては、学習に用いるデータの増幅も行うため、アノテーションコストを軽減できる。

また、感情情報推定装置１〜３においては、ＧＰＳと感情推定技術を組み合わせると、施設等に対する大規模な感情データを収集でき、マーケティングや状態に応じた推薦サービス等、様々な応用が考えられる。

さらに、前記推定された感情情報をこの感情情報の推定を行ったときのユーザの位置情報と対応付けて履歴蓄積データベース３５０，６３０に保存することにより、ユーザが特定の感情を抱かせる位置情報の把握と取得が可能となる。

［本発明の他の態様］
本発明は、感情情報推定装置１〜３を構成する上記の機能部３０１，３０２，６０１，６０２の一部若しくは全てとしてコンピュータを機能させるプログラムで構成しこれを当該コンピュータに実行させることにより実現できる。または、同装置１〜３が実行する上記のステップＳ３０１，３０２，６０１，６０２，９０１，９０２の一部若しくは全てをコンピュータに実行させるプログラムで構成しこれを当該コンピュータに実行させることにより実現できる。そして、このプログラムをそのコンピュータが読み取り可能な周知の記録媒体（例えば、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ等）に格納して提供できる。または、前記プログラムをインターネットや電子メール等でネットワークを介して提供できる。

尚、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更、応用が可能である。

１，２，３…感情情報推定装置
３５０，６３０…履歴蓄積データベース
３６０…推定器生成部
３９０…状態判定部
３９５，６７０…感情判定部（感情判定手段）
６６０…類似データ判定部（類似判定手段）
９５５…データ増幅部（増幅手段）

Claims (7)

1. ユーザの生体情報に基づき当該ユーザの感情情報を推定する感情情報推定装置であって、
   予め取得したユーザの生体情報とこの生体情報に対応したそのユーザの感情情報と身体的状態とを格納したデータベースに基づき生体情報と感情情報との関係を学習して身体的状態毎に生体情報から感情情報を推定する推定器を生成する推定器生成手段と、
   ユーザの位置情報とこの位置情報が取得された時点で検出されたそのユーザの生体情報とに基づき当該ユーザの身体的状態を判定する状態判定手段と、
   前記生成された身体的状態毎の推定器のうちで前記判定されたユーザの身体的状態に対応した推定器を用いて前記検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情判定手段と
   を備えたこと
   を特徴とする感情情報推定装置。
2. ユーザの生体情報に基づき当該ユーザの感情情報を推定する感情情報推定装置であって、
   予め取得したユーザの感情情報とこの感情情報に対応した生体情報と当該感情情報が生成された時点の一定時間前から当該時点までの間に取得された当該ユーザの生体情報とを格納したデータベースと、
   このデータベースに格納された生体情報であって、前記感情情報が生成された時点の一定時間前から当該時点までの間に検出された生体情報が、ユーザの位置情報が取得された時点の一定時間前から当該時点までの間に検出された当該ユーザの生体情報と類似している生体情報と、この生体情報に対応した感情情報を前記データベースから取得する類似判定手段と、
   前記取得された生体情報及び感情情報に基づき生体情報と感情情報との関係を学習して生体情報から感情情報を推定する推定器を作成しこの推定器を用いて前記位置情報が取得された時点で検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情情報判定手段と
   を備えたこと
   を特徴とする感情情報推定装置。
3. 前記データベースに蓄積されている同一の感情情報に対応した身体的状態と他の身体的状態の情報に基づき身体的状態間の関係を学習して前記推定器生成手段に供される身体的状態とその感情情報とに対応する生体情報を疑似的に生成する増幅手段をさらに備えたこと
   を特徴とする請求項１に記載の感情情報推定装置。
4. 前記推定された感情情報はこの感情情報を推定したときのユーザの位置情報と対応付けて前記データベースに保存されること
   を特徴とする請求項１から３のいずれか１項に記載の感情情報推定装置。
5. ユーザの生体情報に基づき当該ユーザの感情情報を推定する感情情報推定装置が実行する感情情報推定方法であって、
   予め取得したユーザの生体情報とこの生体情報に対応したそのユーザの感情情報と身体的状態とを格納したデータベースに基づき生体情報と感情情報との関係を学習して身体的状態毎に生体情報から感情情報を推定する推定器を生成する推定器生成ステップと、
   ユーザの位置情報とこの位置情報が取得された時点で検出されたそのユーザの生体情報とに基づき当該ユーザの身体的状態を判定する状態判定ステップと、
   前記生成された身体的状態毎の推定器のうちで前記判定されたユーザの身体的状態に対応した推定器を用いて前記検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情判定ステップと
   を有すること
   を特徴とする感情情報推定方法。
6. ユーザの生体情報に基づき当該ユーザの感情情報を推定する感情情報推定装置が実行する感情情報推定方法であって、
   予め取得したユーザの感情情報とこの感情情報に対応した生体情報と当該感情情報が生成された時点の一定時間前から当該時点までの間に取得された当該ユーザの生体情報とを格納したデータベースから、このデータベースに格納された生体情報であって、前記感情情報が生成された時点の一定時間前から当該時点までの間に検出された生体情報が、ユーザの位置情報が取得された時点の一定時間前から当該時点までの間に検出された当該ユーザの生体情報と類似している生体情報と、この生体情報に対応した感情情報とを取得する類似判定ステップと、
   前記取得された生体情報及び感情情報に基づき生体情報と感情情報との関係を学習して生体情報から感情情報を推定する推定器を作成しこの推定器を用いて前記位置情報が取得された時点で検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情情報判定ステップと
   を有すること
   を特徴とする感情情報推定方法。
7. コンピュータを請求項１から４のいずれか１項に記載の感情情報推定装置を構成する各手段として機能させることを特徴とする感情情報推定プログラム。

Images