JP5904021B2 - 情報処理装置、電子機器、情報処理方法、及びプログラム - Google Patents

Description

本技術は、情報処理装置、電子機器、情報処理方法、及びプログラムに関する。

携帯電話等の携帯端末にモーションセンサを搭載し、ユーザの行動履歴を自動的に検出して記録できるようにする技術に注目が集まっている。例えば、下記の特許文献１には、加速度センサやジャイロセンサ等のモーションセンサを利用し、歩く動作、走る動作、左右にターンする動作、静止状態を検知する技術が開示されている。同文献には、モーションセンサの出力データから、歩行ピッチ、歩行パワー、重力軸まわりの回転角を算出し、その算出結果を用いて歩く動作、走る動作、左右にターンする動作、及び静止状態を検知する方法が記載されている。

さらに、同文献には、これらの動作や状態の種類、動作や状態が継続していた時間、動作回数等、動作や状態のパターンを入力とする統計的な処理によりユーザの行動パターンを検知する方法が記載されている。上記の方法を用いると、「のんびりした歩行」や「せわしない動作」といった行動パターンを時系列のデータとして得ることができる。しかし、この方法で得られる行動パターンは、比較的短時間に行われるユーザの動作や状態を主に表現したものである。そのため、「今日はデパートで買い物をした」「昨日はホテルのレストランで食事をした」等、具体的な行動内容を行動パターンの履歴から推察することは難しい。

下記の特許文献１に記載の方法を用いて得られる行動パターンは、比較的短時間に行われる行動の積み重ねである。そして、当該行動パターンを形成する個々の行動自体は、ユーザが目的を持って行っているものではない。一方、具体的な行動内容は、ユーザが目的を持って行っているものが多く、比較的長時間にわたって行われるエンタテイメント性の高いものである。そのため、短時間で行われる行動の積み重ねから上記のような具体的な行動内容を窺い知ることは難しい。しかし、最近、モーションセンサを用いて得られる比較的短時間の行動パターンから、比較的長時間にわたり行われるエンタテイメント性の高い行動パターンを検出する技術が開発された（下記の特許文献２を参照）。

特開２００８−００３６５５号公報 特開２０１１−０８１４３１号公報

上記の特許文献２に記載の技術を適用すると、ユーザが行った行動パターンを検出することが可能になる。しかしながら、位置センサやモーションセンサから得られた情報を利用して検出処理を行なっているため、行動パターンの推定精度が不十分な場合もある。具体的には、ユーザ毎にモーションセンサから得られる情報に違いが生じる。例えば、モーションセンサを搭載した機器をポケットに入れて携帯するか、バッグの中に入れて携帯するかなど、携帯する状態に応じて検出結果が異なり、推定結果に違いが生じることがある。そのため、位置センサやモーションセンサ以外の情報を利用して行動パターンの推定精度を高める技術の開発が求められている。

そこで、本技術は、上記のような事情を受けて考案されたものであり、行動パターンの推定精度をより向上させることが可能な、新規かつ改良された情報処理装置、電子機器、情報処理方法、及びプログラムを提供することを意図している。

本技術のある観点によれば、センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースを更新するＤＢ更新部と、前記ユーザが機器に入力したテキスト情報を取得するテキスト情報取得部と、前記テキスト情報から行動パターンに関する情報を得るテキスト情報解析部と、を備え、前記ＤＢ更新部は、前記テキスト情報から前記行動パターンに関する情報が得られた場合に、得られた情報を利用して前記行動パターンデータベースを更新する、情報処理装置が提供される。

また、本技術の別の観点によれば、センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースであって、前記ユーザが電子機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して更新される前記行動パターンデータベースにアクセスする通信部と、前記センサの検出結果及び前記テキスト情報に対応する行動パターンに関する情報を前記行動パターンデータベースから取得する行動パターン情報取得部と、を備える、電子機器が提供される。

また、本技術の別の観点によれば、センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースを更新するステップを含み、前記ユーザが機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して前記行動パターンデータベースが更新される、情報処理方法が提供される。

また、本技術の別の観点によれば、センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースであって、前記ユーザが電子機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して更新される前記行動パターンデータベースにアクセスするステップと、前記センサの検出結果及び前記テキスト情報に対応する行動パターンに関する情報を前記行動パターンデータベースから取得するステップと、を含む、情報処理方法が提供される。

また、本技術の別の観点によれば、センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースを更新するＤＢ更新機能と、前記ユーザが機器に入力したテキスト情報を取得するテキスト情報取得機能と、前記テキスト情報から行動パターンに関する情報を得るテキスト情報解析機能と、をコンピュータに実現させるためのプログラムであり、前記ＤＢ更新機能は、前記テキスト情報から前記行動パターンに関する情報が得られた場合に、得られた情報を利用して前記行動パターンデータベースを更新する、プログラムが提供される。

また、本技術の別の観点によれば、センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースであって、前記ユーザが電子機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して更新される前記行動パターンデータベースにアクセスする通信機能と、前記センサの検出結果及び前記テキスト情報に対応する行動パターンに関する情報を前記行動パターンデータベースから取得する行動パターン情報取得機能と、をコンピュータに実現させるためのプログラムが提供される。

また、本技術の別の観点によれば、上記のプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。

以上説明したように本技術によれば、行動パターンの推定精度をより向上させることが可能になる。

行動・状況解析システムの構成例について説明するための説明図である。 動き・状態認識部の機能について説明するための説明図である。 動き・状態認識部の機能について説明するための説明図である。 ＧＩＳ情報取得部の機能について説明するための説明図である。 ＧＩＳ情報取得部の機能について説明するための説明図である。 ＧＩＳ情報取得部の機能について説明するための説明図である。 ＧＩＳ情報取得部の機能について説明するための説明図である。 行動・状況認識部の機能について説明するための説明図である。 行動・状況認識部の機能について説明するための説明図である。 動作・状態パターンの判定方法について説明するための説明図である。 ジオヒストグラムを利用したスコア分布の算出方法について説明するための説明図である。 機械学習を利用したスコア分布の算出方法について説明するための説明図である。 検出される行動・状況パターンの一例を示した説明図である。 本発明の一実施形態に係る行動・状況認識システムの構成例について説明するための説明図である。 同実施形態に係る行動・状況認識システムの詳細な構成について説明するための説明図である。 同実施形態に係る行動・状況認識システムの動作について説明するための説明図である。 同実施形態に係る行動・状況認識システムの動作について説明するための説明図である。 同実施形態の一変形例に係る行動・状況認識システムの詳細な構成について説明するための説明図である。 同実施形態の一変形例に係る行動・状況認識システムの動作について説明するための説明図である。 同実施形態の一変形例に係る行動・状況認識システムの動作について説明するための説明図である。 同実施形態の一変形例に係る行動・状況認識システムの動作について説明するための説明図である。 同実施形態の一変形例に係る行動・状況認識システムの動作について説明するための説明図である。 同実施形態に係る行動パターン認識結果を利用したアプリケーションの画面構成例について説明するための説明図である。 同実施形態に係るシステム及び各機器の機能を実現することが可能なハードウェア構成例について説明するための説明図である。

以下に添付図面を参照しながら、本技術に係る好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する説明の流れについて簡単に述べる。まず、図１〜図１３を参照しながら、本実施形態の技術に関連する行動パターン認識技術について説明する。次いで、図１４及び図１５を参照しながら、本発明の一実施形態に係る行動・状況認識システムの構成について説明する。次いで、図１６及び図１７を参照しながら、同実施形態に係る行動・状況認識システムの動作について説明する。

次いで、図１８を参照しながら、同実施形態の一変形例に係る行動・状況認識システムの構成について説明する。次いで、図１９〜図２２を参照しながら、同実施形態の一変形例に係る行動・状況認識システムの動作について説明する。次いで、図２３を参照しながら、同実施形態に係る行動パターン認識結果を利用したアプリケーションの画面構成例について説明する。次いで、図２４を参照しながら、同実施形態に係るシステム及び各機器の機能を実現することが可能なハードウェア構成例について説明する。

最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。

（説明項目）
１：はじめに
１−１：行動パターン認識技術
１−２：実施形態の概要
１−２−１：テキスト情報を利用したパターンＤＢの更新
１−２−２：環境音を利用したパターンＤＢの更新
２：実施形態の詳細
２−１：システム構成の一例
２−２：テキスト情報及び音響情報を利用したパターンＤＢの更新
２−２−１：機能構成
２−２−２：処理の流れ
２−３：（変形例）音声認識技術の適用
２−３−１：機能構成
２−３−２：処理の流れ
２−４：画面表示の例（アプリケーションの一例）
３：ハードウェア構成例
４：まとめ

＜１：はじめに＞
はじめに、本実施形態の技術に関連する行動パターン認識技術について説明する。

［１−１：行動パターン認識技術］
ここで説明する行動パターン認識技術は、モーションセンサなどを利用して検知されたユーザの動きや状態に関する情報と位置センサなどを利用して検知された位置情報とを用いてユーザの行動や状況を検出する技術に関する。

なお、モーションセンサとしては、例えば、３軸加速度センサ（加速度センサ、重力検知センサ、落下検出センサなどを含む。）や３軸ジャイロセンサ（角速度センサ、手振れ補正センサ、地磁気センサなどを含む。）などが用いられる。また、位置センサとしては、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、Ｗｉ−Ｆｉアクセスポイント、無線基地局などの情報が利用可能である。これらの情報を利用すると、例えば、現在地の緯度・経度を検出することが可能になる。

（行動・状況解析システム１１のシステム構成）
まず、図１を参照しながら、上記のような行動パターン認識技術を実現することが可能な行動・状況解析システム１１のシステム構成について説明する。図１は、行動・状況解析システム１１の全体的なシステム構成について説明するための説明図である。

なお、本稿においては、「動き、状態」と「行動、状況」という表現を次のような意味で使い分ける。「動き、状態」は、数秒から数分程度の比較的短時間にユーザが行う行動を意味し、例えば、「歩き」「走り」「跳躍」「静止」等の行為を指す。また、この行為を纏めて「動き・状態パターン」又は「ＬＣ（Ｌｏｗ−Ｃｏｎｔｅｘｔ）行動」と表現する。一方、「行動、状況」は、「動き、状態」よりも長い時間かけてユーザが行う生活行動であり、例えば、「食事」「買い物」「仕事」等の行為を指す。また、この行為を纏めて「行動・状況パターン」又は「ＨＣ（Ｈｉｇｈ−Ｃｏｎｔｅｘｔ）行動」と表現する。

図１に示すように、行動・状況解析システム１１は、主に、モーションセンサ１１１と、動き・状態認識部１１２と、時刻情報取得部１１３と、位置センサ１１４と、ＧＩＳ情報取得部１１５と、行動・状況認識部１１６とにより構成される。

なお、行動・状況解析システム１１には、行動・状況認識部１１６により検出される行動・状況パターンを利用するアプリケーションＡＰやサービスＳＶが用意されていてもよい。また、アプリケーションＡＰによる行動・状況パターンの利用結果や、ユーザのプロファイル情報が行動・状況認識部１１６に入力されるように構成されていてもよい。

まず、ユーザが行動すると、モーションセンサ１１１により加速度の変化や重力軸周りの回転等（以下、センサデータ）が検知される。モーションセンサ１１１により検知されたセンサデータは、図２に示すように、動き・状態認識部１１２に入力される。

センサデータが入力されると、動き・状態認識部１１２は、図２に示すように、入力されたセンサデータを用いて動き・状態パターンを検出する。動き・状態認識部１１２により検出可能な動き・状態パターンとしては、例えば、図３に示すように、「歩き」「走り」「静止」「跳躍」「電車（搭乗／非搭乗）」「エレベータ（搭乗／非搭乗／上昇／下降）」などがある。動き・状態認識部１１２により検出された動き・状態パターンは、行動・状況認識部１１６に入力される。

位置センサ１１４は、ユーザの居場所（以下、現在地）を示す位置情報を連続的又は間欠的に取得する。例えば、現在地の位置情報は、緯度・経度により表現される。位置センサ１１４により取得された現在地の位置情報は、ＧＩＳ情報取得部１１５に入力される。

現在地の位置情報が入力されると、ＧＩＳ情報取得部１１５は、ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）情報を取得する。そして、ＧＩＳ情報取得部１１５は、図４に示すように、取得したＧＩＳ情報を用いて現在地の属性を検出する。ＧＩＳ情報は、例えば、地図情報や、人工衛星や現地踏査などで得られた様々な付加情報を含み、科学的調査、土地、施設、道路などの管理や都市計画などにも利用される情報である。ＧＩＳ情報を利用すると、現在地の属性を判別することが可能になる。ＧＩＳ情報取得部１１５は、例えば、ジオカテゴリコード（例えば、図５を参照）と呼ばれる識別情報を利用して現在地の属性を表現する。

ジオカテゴリコードは、図５に示すように、場所に関連する情報の種別を分類するための分類コードである。このジオカテゴリコードは、例えば、建造物の種別、地形の形状、地理的特性、地域性等に応じて設定されている。そのため、現在地のジオカテゴリコードを特定することにより、ユーザが居る環境をある程度認識することが可能になる。

ＧＩＳ情報取得部１１５は、取得したＧＩＳ情報を参照し、現在地及び現在地周辺にある建造物などを特定して、その建造物などに対応するジオカテゴリコードを抽出する。ＧＩＳ情報取得部１１５により選択されたジオカテゴリコードは、行動・状況認識部１１６に入力される。なお、現在地周辺に建造物などが多数存在する場合、ＧＩＳ情報取得部１１５は、各建造物などのジオカテゴリコードを抽出し、抽出したジオカテゴリコードに関する情報として、図６及び図７に示すジオカテゴリヒストグラムのような情報を行動・状況認識部１１６に入力してもよい。

図８に示すように、行動・状況認識部１１６には、動き・状態認識部１１２から動き・状態パターンが入力され、ＧＩＳ情報取得部１１５からジオカテゴリコードなどが入力される。また、行動・状況認識部１１６には、時刻情報取得部１１３から時刻情報が入力される。この時刻情報は、モーションセンサ１１１によりセンサデータが取得された時刻を示す情報を含む。また、この時刻情報は、位置センサ１１４により位置情報が取得された時刻を示す情報を含んでいてもよい。また、時刻情報としては、例えば、時刻を示す情報の他、曜日の情報、祝日の情報、年月日の情報などが含まれていてもよい。

上記の情報が入力されると、行動・状況認識部１１６は、入力された動き・状態パターン、ジオカテゴリコード（或いは、ジオカテゴリヒストグラムなど）、及び時刻情報に基づいて行動・状況パターンを検出する。このとき、行動・状況認識部１１６は、ルールに基づく判定処理（以下、ルールベース判定）や学習モデルに基づく判定処理（以下、学習モデル判定）を利用して行動・状況パターンを検出する。ここで、ルールベース判定及び学習モデル判定について簡単に説明する。

（ルールベース判定について）
まず、ルールベース判定について説明する。ルールベース判定とは、ジオカテゴリコードと行動・状況パターンとの組み合わせ毎にスコアを割り当てておき、そのスコアに基づいて入力データに対応する適切な行動・状況パターンを判定する方法である。

スコアの割り当てルールは、図９に示すようなスコアマップＳＭにより表現される。スコアマップＳＭは、年月日、時間帯、曜日などの時刻情報毎に用意される。例えば、３月の第１週の月曜日に対応するスコアマップＳＭなどが用意される。さらに、スコアマップＳＭは、歩行、走行、電車などの動き・状態パターン毎に用意される。例えば、歩行中のスコアマップＳＭなどが用意される。そのため、スコアマップＳＭは、時刻情報と動き・状態パターンとの組み合わせ毎に用意される。

行動・状況認識部１１６は、図１０に示すように、予め用意された複数のスコアマップＳＭの中から、入力された時刻情報及び動き・状態パターンに適合するスコアマップＳＭを選択する。また、行動・状況認識部１１６は、図１１に示すように、選択したスコアマップＳＭの中から、ジオカテゴリコードに対応するスコアを抽出する。これらの処理により、行動・状況認識部１１６は、センサデータの取得時点における現在地の状況を考慮して、スコアマップＳＭに存在する各行動・状況パターンのスコアを抽出することが可能になる。

次いで、行動・状況認識部１１６は、抽出したスコアの中から最大のスコアを特定し、最大のスコアに対応する行動・状況パターンを抽出する。このようにして行動・状況パターンを検出する方法がルールベース判定である。なお、スコアマップＳＭのスコアは、そのスコアに対応する行動・状況パターンをユーザがとると推測される確率を示している。つまり、スコアマップＳＭは、ジオカテゴリコードで表現される現在地の状況でユーザがとると推測される行動・状況パターンのスコア分布を表している。

例えば、日曜日の３時頃、デパートにいるユーザは「買い物中」である確率が高いと推測される。但し、同じデパートにいても１９時頃、デパートにいるユーザは「食事中」である確率も高いと推測される。このように、ある場所で、ある時間にユーザが行っている行動・状況パターンのスコア分布を示したものがスコアマップＳＭ（正確にはスコアマップＳＭ群）なのである。

スコアマップＳＭは、例えば、ユーザ本人又は他人により予め入力されたものであってもよいし、或いは、機械学習などを利用して得られるものであってもよい。また、スコアマップＳＭは、個人プロファイル情報ＰＲや、ユーザから得られる行動・状況フィードバックＦＢ（出力された行動・状況パターンの正否など）により最適化されてもよい。プロファイル情報ＰＲとしては、例えば、年齢、性別、職業、自宅の情報、職場の情報などが利用される。以上がルールベース判定の具体的な処理内容である。

（学習モデル判定について）
次に、学習モデル判定について説明する。学習モデル判定とは、機械学習アルゴリズムを用いて行動・状況パターンを判定するための判定モデルを生成し、生成した判定モデルを用いて入力データに対応する行動・状況パターンを判定する方法である。

機械学習アルゴリズムとしては、例えば、ｋ−ｍｅａｎｓ法、Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ法、ＳＶＭ、ＨＭＭ、Ｂｏｏｓｔｉｎｇ等が利用可能である。但し、ＳＶＭは、Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅの略である。また、ＨＭＭは、Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌの略である。これらの手法に加え、特開２００９−４８２６６号公報などに記載の遺伝的探索に基づくアルゴリズム構築方法を利用して判定モデルを生成する方法もある。

機械学習アルゴリズムに入力される特徴量ベクトルとしては、例えば、図１２に示すように、時間情報、動き・状態パターン、ジオカテゴリコード（又はジオカテゴリヒストグラムなど）、センサデータ、現在地の位置情報などが利用される。但し、遺伝的探索に基づくアルゴリズム構築方法を用いる場合、学習過程における特徴量ベクトルの選定段階で遺伝的探索アルゴリズムが利用される。行動・状況認識部１１６は、まず、正解の行動・状況パターンが分かっている特徴量ベクトルを学習データとして機械学習アルゴリズムに入力し、各行動・状況パターンの確度、又は最適な行動・状況パターンを判定する判定モデルを生成する。

次いで、行動・状況認識部１１６は、生成した判定モデルに入力データを入力し、入力データに適合すると推測される行動・状況パターンを判定する。但し、生成した判定モデルを用いて行われた判定結果に対する正誤のフィードバックが得られる場合、そのフィードバックを利用して判定モデルが再構築される。この場合、行動・状況認識部１１６は、再構築した判定モデルを用いて入力データに適合すると推測される行動・状況パターンを判定する。以上が学習モデル判定の具体的な処理内容である。

以上説明した方法により、行動・状況認識部１１６は、図１３に示すような行動・状況パターンを検出する。そして、行動・状況認識部１１６により検出された行動・状況パターンは、行動・状況パターンに応じた推奨サービスＳＶの提供に利用されたり、行動・状況パターンに応じた処理を行うアプリケーションＡＰにより利用される。

以上、行動・状況解析システム１１のシステム構成について説明した。後述する実施形態に係る技術は、上述した行動・状況解析システム１１の機能に関係する。なお、行動・状況解析システム１１の詳細な機能については、例えば、特開２０１１−０８１４３１号公報などの記載が参考になる。

［１−２：実施形態の概要］
まず、本実施形態に係る技術の概要について説明する。本実施形態に係る技術は、上述した行動パターン認識技術に利用するパターンデータベース（以下、パターンＤＢ）の更新方法に関する。上述した行動パターン認識技術は、センサデータを利用している。そのため、ユーザが情報端末を携帯する方法や利用環境に行動パターン認識の結果が左右されてしまう可能性がある。そこで、本実施形態に係る技術は、携帯方法や利用環境などに起因するノイズへの耐性が向上するようにパターンＤＢを更新する方法を提案する。

（１−２−１：テキスト情報を利用したパターンＤＢの更新）
その１つの方法として、テキスト情報を利用したパターンＤＢの更新方法を提案する。

テキスト情報としては、例えば、メール、カレンダー、ＴｏＤｏリスト、メモ、ブログ、ツイッター（登録商標）、フェイスブック（登録商標）、或いは、その他のソーシャルメディアに入力したテキストなどが利用可能である。また、乗り換え案内やルート検索などのアプリケーションに対する情報の入力や、アクセスポイントの検索情報などをテキスト情報と組み合わせて利用することも可能である。以下では、こうした組み合わせについて詳細な言及は行わないが、こうした応用も当然に考慮している点に注意されたい。

上記のようなテキスト情報は、ユーザがとっている行動をリアルタイムに反映した情報を含む場合や、行動している日時と行動とを対応付けた情報を含む場合が多い。そのため、テキスト情報を解析し、その解析結果をパターンＤＢの内容に反映させることで、より行動パターン認識の精度を向上させることが可能になる。

例えば、センサデータ及び位置情報から、ユーザの行動パターンが「電車に搭乗」と判定された場合でも、ユーザがテキスト情報に「初めてボートに乗った！！」などと書き込んでいれば、「ボートに搭乗」という行動パターンが正解であると考えられる。この場合、パターンＤＢの該当レコードが「ボートに搭乗」となるように修正することで、行動パターン「電車に搭乗」と、行動パターン「ボートに搭乗」とを区別することが可能になる。つまり、行動パターン認識の精度を向上させることが可能になる。

（１−２−２：環境音を利用したパターンＤＢの更新）
また、他の方法として、環境音を利用したパターンＤＢの更新方法を提案する。

ここで言う環境音とは、ユーザが利用する情報端末によって収集可能な任意の音声情報である。例えば、ユーザが電車に搭乗中であれば、モータの駆動音、社内アナウンス、線路の継ぎ目で発生する規則的な振動音、ドアの開閉音などが環境音として検出されるであろう。また、自家用車に同乗者を載せて運転している場合であれば、自動車の走行音と共に、同乗者との会話やカーオーディオの音などが環境音として検出されるであろう。さらに、家に居る場合でも、雨天の場合には、規則的に屋根を叩く雨音や雷鳴などが環境音として検出されるであろう。

また、同じ行動をとっている場合でも、情報端末をユーザがポケットに入れて携帯している場合と、ハンドバッグに入れて携帯している場合とでは、環境音も異なるだろう。例えば、厚い革製のバッグに情報端末を入れて携帯している場合、検出される環境音の音量は小さく、また、高周波成分が抑圧された音質となるであろう。一方、手で携帯している場合、周囲の喧騒や他人との話し声などが捕捉されやすくなるであろう。こうした環境音を利用すると、行動パターン認識の精度をより高めることが可能になる。例えば、モーションセンサでは、ボートの揺れと電車の揺れとを区別できない場合でも、水音が聞こえれば、その揺れがボートの揺れであることが容易に判別できるようになる。

以上説明したように、テキスト情報や環境音を行動パターン認識に利用することで、行動パターン認識の精度をより高めることが可能になる。特に、上述した動き・状態認識部１１２が利用する動き・状態パターンの情報や、行動・状況認識部１１６が利用する行動パターンの情報が格納されたパターンＤＢの更新により、行動パターン認識の更なる高精度化を実現することが可能になる。以下では、こうした技術的思想に基づく実施形態について、より詳細に説明する。

＜２：実施形態の詳細＞
本実施形態に係る技術の詳細について説明する。

［２−１：システム構成の一例］
まず、図１４を参照しながら、本実施形態に係るシステム（行動・状態認識システム１０）のシステム構成例について紹介する。図１４は、本実施形態に係るシステム（行動・状態認識システム１０）のシステム構成について説明するための説明図である。なお、ここで紹介するシステム構成は一例であり、現在及び将来において利用可能な様々なシステム構成に対して本実施形態に係る技術を適用することが可能である。

図１４に示すように、行動・状態認識システム１０は、主に、複数の情報端末ＣＬと、サーバ装置ＳＶとにより構成される。情報端末ＣＬは、ユーザが利用する機器の一例である。例えば、情報端末ＣＬとしては、携帯電話、スマートフォン、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、タブレット端末、カーナビゲーションシステム、携帯ゲーム機、健康器具（万歩計（登録商標）などを含む）、医療機器などが想定される。一方、サーバ装置ＳＶとしては、例えば、ホームサーバやクラウドコンピューティングシステムなどが想定される。

もちろん、本実施形態に係る技術が適用可能なシステム構成は図１４の例に限定されないが、説明の都合上、有線及び／又は無線のネットワークで接続された複数の情報端末ＣＬ及びサーバ装置ＳＶを念頭に置きつつ説明を進めることにする。従って、情報端末ＣＬとサーバ装置ＳＶとの間で情報をやり取りすることが可能な構成を想定する。但し、行動・状況認識システム１０が有する各種機能のうち、どの機能を情報端末ＣＬが担い、どの機能をサーバ装置ＳＶが担うように構成するかは自由である。例えば、情報端末ＣＬの演算能力や通信速度などを考慮して設計されることが望ましい。

［２−２：テキスト情報及び音響情報を利用したパターンＤＢの更新］
以下、行動・状態認識システム１０の構成及び動作について、より詳細に説明する。

（２−２−１：機能構成）
まず、図１５を参照しながら、行動・状況認識システム１０の機能構成について説明する。図１５は、行動・状況認識システム１０の機能構成について説明するための説明図である。ここでは、情報端末ＣＬとサーバ装置ＳＶとの間の機能分担は明示せず、行動・状況認識システム１０全体が有する機能について説明することにする。

図１５に示すように、行動・状況認識システム１０は、主に、音響情報取得部１０１と、音響情報解析部１０２と、テキスト情報取得部１０３と、テキスト情報解析部１０４と、動き・状態パターン更新部１０５と、動き・状態パターンデータベース１０６と、行動パターン更新部１０７と、行動パターンデータベース１０８とを有する。

さらに、行動・状況認識システム１０は、行動・状況解析システム１１の機能を含む。つまり、行動・状況認識システム１０は、モーションセンサ１１１と、動き・状態認識部１１２と、時刻情報取得部１１３と、位置センサ１１４と、ＧＩＳ情報取得部１１５と、行動・状況認識部１１６とをさらに有する。但し、図１５において、動き・状態認識部１１２が動き・状態パターンデータベース１０６を利用する点を明示した。さらに、行動・状況認識部１１６が行動パターンデータベース１０８を利用する点を明示した。

音響情報取得部１０１は、ユーザ周囲の環境音を取得するデバイスである。例えば、音響情報取得部１０１は、マイクにより構成される。音響情報取得部１０１により取得された環境音の音響信号は、音響情報解析部１０２に入力される。なお、環境音の音響信号は、音響情報解析部１０２に入力される前段で、アナログの音声波形信号からデジタルの音声波形信号に変換されてもよい。環境音の音響信号が入力されると、音響情報解析部１０２は、入力された音響信号を解析し、ユーザの行動パターンを推定する。

例えば、音響情報解析部１０２は、環境音の音響信号から、ユーザが買い物中であるか、食事中であるか、電車に搭乗中であるかなどを推定する。この推定は、例えば、ＨＭＭなどの機械学習手法を用いて構築された学習モデルを利用して実行される。具体的には「買い物中」の行動パターンを推定する学習モデルを構築する場合、実際に買い物中に収集された音響信号を利用する。この場合、売り声や買い物客の会話、エスカレータの音、棚やハンガーから商品を手にする際に生じる音などが環境音として収集されるであろう。その他の行動パターンについても同様である。

また、音響情報解析部１０２は、環境音の音響信号から行動パターン（動き・状態パターン、行動・状況パターン）を推定すると同時に、その確信度（評価スコア）を算出する。そして、環境音の音響信号から推定された行動パターン及び確信度は、動き・状態パターン更新部１０５及び行動パターン更新部１０７に入力される。なお、上記の確信度は、音響情報取得部１０１により実際に取得された環境音の音響信号と、推定された行動パターンに対応する音響信号との類似度を表す。

一方、テキスト情報取得部１０３は、ユーザが入力したテキスト情報を取得する。例えば、テキスト情報取得部１０３は、ユーザがテキストを入力するための入力デバイスであってもよいし、ソーシャルネットワークサービスやアプリケーションからテキスト情報を取得する情報収集デバイスであってもよい。なお、センサが搭載された機器と、テキストを入力する機器（キーボードなど）とは別体に構成されていても良い。ここでは、説明の都合上、テキスト情報取得部１０３がソフトウェアキーボードのような入力手段であると想定して説明を進める。テキスト情報取得部１０３により取得されたテキスト情報は、テキスト情報解析部１０４に入力される。このとき、テキスト情報解析部１０４には、テキスト情報と共に、テキスト情報が入力された際の時刻情報が入力される。

テキスト情報が入力されると、テキスト情報解析部１０４は、入力されたテキスト情報を解析し、ユーザの行動パターン（動き・状態パターン、行動・状況パターン）を推定する。例えば、テキスト情報解析部１０４は、入力されたテキスト情報から、ユーザが買い物中であるか、食事中であるか、電車に搭乗中であるかなどを推定する。この推定は、例えば、ＳＶＭなどの機械学習手法を用いて構築された学習モデルを利用して実行される。具体的に「買い物中」の行動パターンを推定する学習モデルを構築する場合、「買い物中」に入力されたテキスト情報を収集し、収集したテキスト情報を学習データとして利用する。この場合、「安売り」「値段が高い」「レジが混んでる」などのテキスト情報が収集されるであろう。

また、テキスト情報解析部１０４は、テキスト情報から行動パターンを推定すると同時に、その確信度（評価スコア）を算出する。そして、テキスト情報から推定された行動パターン及び確信度は、動き・状態パターン更新部１０５及び行動パターン更新部１０７に入力される。なお、上記の確信度は、テキスト情報取得部１０３により実際に取得されたテキスト情報と、推定された行動パターンに対応するテキスト情報との類似度を表す。

上記のように、動き・状態パターン更新部１０５には、音響信号の解析により得られた行動パターン及び確信度を示す情報（以下、音響由来情報）と、テキスト情報の解析により得られた行動パターン及び確信度を示す情報（以下、テキスト由来情報）とが入力される。同様に、行動パターン更新部１０７には、音響由来情報とテキスト由来情報とが入力される。但し、音響信号が得られない場合や、テキスト情報が得られない場合も考えられる。このような場合には、動き情報パターン更新部１０５及び行動パターン更新部１０７に入力される情報が、音響由来情報又はテキスト由来情報に限られることもある。

例えば、音響情報取得部１０１の機能がオフになっている場合や音響情報取得部１０１に相当するデバイスが存在しない場合、音響由来情報は得られない。また、テキスト情報取得部１０３の機能がオフになっている場合やテキスト情報取得部１０３により取得可能なテキスト情報が存在しない場合、テキスト由来情報は得られない。このような場合、動き・状態パターン更新部１０５及び行動パターン更新部１０７は、入力された情報を利用して動き・状態パターンデータベース１０６及び行動パターンデータベース１０８の更新処理を実行する。

（ケース１）
まず、音響由来情報だけが得られた場合について述べる。

動き・状態パターン更新部１０５は、音響信号の確信度と所定の閾値（以下、第１の音響閾値）とを比較する。音響信号の確信度が第１の音響閾値よりも大きい場合、動き・状態パターン更新部１０５は、音響信号の解析結果から得られた動き・状態パターンにて動き・状態パターンデータベース１０６を更新する。一方、音響信号の確信度が第１の音響閾値より小さい場合、動き・状態パターン更新部１０５は、動き状態パターンデータベース１０６を更新しない。このように、動き・状態パターン更新部１０５は、音響信号の確信度に応じて動き・状態パターンデータベース１０６の更新要否を判断する。

同様に、行動パターン更新部１０７は、音響信号の確信度と所定の閾値（以下、第２の音響閾値）とを比較する。音響信号の確信度が第２の音響閾値よりも大きい場合、行動パターン更新部１０７は、音響信号の解析結果から得られた行動・状況パターンにて行動パターンデータベース１０８を更新する。一方、音響信号の確信度が第２の音響閾値より小さい場合、行動パターン更新部１０７は、行動パターンデータベース１０８を更新しない。このように、行動パターン更新部１０７は、音響信号の確信度に応じて行動パターンデータベース１０８の更新要否を判断する。

なお、第１の音響閾値と第２の音響閾値とは異なる値であってもよい。例えば、動き・状態パターンについてはセンサ情報の解析結果を重視し、行動・状況パターンについては音響信号の解析結果を重視したい場合には、第１の音響閾値を小さく、第２の音響閾値を大きく設定することが好ましい。一方、高性能な音響情報取得部１０１を利用している場合には、第１及び第２の音響閾値を同じ値に設定し、所定以上の確信度が得られた場合に、音響信号の解析により得られた行動パターンを利用して動き・状態パターンデータベース１０６及び行動パターンデータベース１０８を更新することが好ましい。

（ケース２）
次に、テキスト由来情報だけが得られた場合について述べる。

動き・状態パターン更新部１０５は、テキスト情報の確信度と所定の閾値（以下、第１のテキスト閾値）とを比較する。テキスト情報の確信度が第１のテキスト閾値よりも大きい場合、動き・状態パターン更新部１０５は、テキスト情報の解析結果から得られた動き・状態パターンにて動き・状態パターンデータベース１０６を更新する。一方、テキスト情報の確信度が第１のテキスト閾値より小さい場合、動き・状態パターン更新部１０５は、動き状態パターンデータベース１０６を更新しない。このように、動き・状態パターン更新部１０５は、テキスト情報の確信度に応じて動き・状態パターンデータベース１０６の更新要否を判断する。

同様に、行動パターン更新部１０７は、テキスト情報の確信度と所定の閾値（以下、第２のテキスト閾値）とを比較する。テキスト情報の確信度が第２のテキスト閾値よりも大きい場合、行動パターン更新部１０７は、テキスト情報の解析結果から得られた行動・状況パターンにて行動パターンデータベース１０８を更新する。一方、テキスト情報の確信度が第２のテキスト閾値より小さい場合、行動パターン更新部１０７は、行動パターンデータベース１０８を更新しない。このように、行動パターン更新部１０７は、テキスト情報の確信度に応じて行動パターンデータベース１０８の更新要否を判断する。

なお、第１のテキスト閾値と第２のテキスト閾値とは異なる値であってもよい。例えば、動き・状態パターンについてはセンサ情報の解析結果を重視し、行動・状況パターンについてはテキスト情報の解析結果を重視したい場合には、第１のテキスト閾値を小さく、第２のテキスト閾値を大きく設定することが好ましい。一方、高性能なテキスト情報取得部１０３を利用している場合には、第１及び第２のテキスト閾値を同じ値に設定し、所定以上の確信度が得られた場合に、テキスト情報の解析により得られた行動パターンを利用して動き・状態パターンデータベース１０６及び行動パターンデータベース１０８を更新することが好ましい。

（ケース３）
次に、音響由来情報及びテキスト由来情報が両方得られた場合について述べる。

動き・状態パターン更新部１０５は、音響信号の確信度と第１の音響閾値とを比較する。音響信号の確信度が第１の音響閾値よりも大きい場合、動き・状態パターン更新部１０５は、音響信号の解析結果から得られた動き・状態パターンにて動き・状態パターンデータベース１０６の更新を準備する。一方、音響信号の確信度が第１の音響閾値より小さい場合、動き・状態パターン更新部１０５は、動き・状態パターンデータベース１０６の更新に音響信号の解析によって得られた動き・状態パターンを利用しない。このように、動き・状態パターン更新部１０５は、音響信号の確信度に応じて動き・状態パターンデータベース１０６の更新要否を判断するが、実際の更新処理については直ちに実行せず、後述するようにテキスト情報の確信度を考慮して決定する。

音響由来情報に関する判断処理と同様に、動き・状態パターン更新部１０５は、テキスト情報の確信度と第１のテキスト閾値とを比較する。テキスト情報の確信度が第１のテキスト閾値よりも大きい場合、動き・状態パターン更新部１０５は、テキスト情報の解析結果から得られた動き・状態パターンにて動き・状態パターンデータベース１０６の更新を準備する。一方、テキスト情報の確信度が第１のテキスト閾値より小さい場合、動き・状態パターン更新部１０５は、動き・状態パターンデータベース１０６の更新にテキスト情報の解析によって得られた動き・状態パターンを利用しない。ここで、動き・状態パターン更新部１０５は、音響信号の確信度に関する判断結果と、テキスト情報の確信度に関する判断結果とを考慮して動き・状態パターンデータベース１０６の更新処理を実行する。

例えば、音響信号の確信度が第１の音響閾値よりも大きく、かつ、テキスト情報の確信度が第１のテキスト閾値よりも大きい場合、動き・状態パターン更新部１０５は、音響信号の解析結果とテキスト情報の解析結果とを比較する。仮に、音響信号の解析により得られた動き・状態パターンと、テキスト情報の解析により得られた動き・状態パターンとが同じ場合、動き・状態パターン更新部１０５は、その動き・状態パターンにて動き・状態パターンデータベース１０６を更新する。

一方、音響信号の解析により得られた動き・状態パターンと、テキスト情報の解析により得られた動き・状態パターンとが異なる場合、動き・状態パターン更新部１０５は、音響信号の確信度とテキスト情報の確信度とを比較する。例えば、音響信号の確信度がテキスト情報の確信度よりも大きい場合、動き・状態パターン更新部１０５は、音響信号の解析により得られた動き・状態パターンにて動き・状態パターンデータベース１０６を更新する。一方、音響信号の確信度がテキスト情報の確信度よりも小さい場合、動き・状態パターン更新部１０５は、テキスト情報の解析により得られた動き・状態パターンにて動き・状態パターンデータベース１０６を更新する。

例えば、音響信号の確信度が第１の音響閾値よりも大きく、かつ、テキスト情報の確信度が第１のテキスト閾値よりも小さい場合、動き・状態パターン更新部１０５は、音響信号の解析により得られた動き・状態パターンにて動き・状態パターンデータベース１０６を更新する。一方、音響信号の確信度が第１の音響閾値よりも小さく、かつ、テキスト情報の確信度が第１のテキスト閾値よりも大きい場合、動き・状態パターン更新部１０５は、テキスト情報の解析により得られた動き・状態パターンにて動き・状態パターンデータベース１０６を更新する。また、音響信号の確信度が第１の音響閾値よりも小さく、かつ、テキスト情報の確信度が第１のテキスト閾値よりも小さい場合、動き・状態パターン更新部１０５は、動き・状態パターンデータベース１０６を更新しない。

同様に、行動パターン更新部１０７は、音響信号の確信度と第１の音響閾値とを比較する。音響信号の確信度が第１の音響閾値よりも大きい場合、行動パターン更新部１０７は、音響信号の解析結果から得られた行動・状況パターンにて行動パターンデータベース１０８の更新を準備する。一方、音響信号の確信度が第１の音響閾値より小さい場合、行動パターン更新部１０７は、行動パターンデータベース１０８の更新に音響信号の解析によって得られた行動・状況パターンを利用しない。このように、行動パターン更新部１０７は、音響信号の確信度に応じて行動パターンデータベース１０８の更新要否を判断するが、実際の更新処理については直ちに実行せず、後述するようにテキスト情報の確信度を考慮して決定する。

行動パターン更新部１０７は、音響信号の確信度に関する判断結果と、テキスト情報の確信度に関する判断結果とを考慮して行動パターンデータベース１０８の更新処理を実行する。行動パターン更新部１０７は、音響信号の確信度とテキスト信号の確信度の認識が異なる場合は、行動パターンデータベース１０８を更新しない。

例えば、音響信号の確信度が第１の音響閾値よりも大きく、かつ、テキスト情報の確信度が第１のテキスト閾値よりも大きい場合、行動パターン更新部１０７は、音響信号の解析結果とテキスト情報の解析結果とを比較する。仮に、音響信号の解析により得られた行動・状況パターンと、テキスト情報の解析により得られた行動・状況パターンとが同じ場合、行動パターン更新部１０７は、その行動・状況パターンにて行動パターンデータベース１０８を更新する。

一方、音響信号の解析により得られた行動・状況パターンと、テキスト情報の解析により得られた行動・状況パターンとが異なる場合、行動パターン更新部１０７は、音響信号の確信度とテキスト情報の確信度とを比較する。そして、行動パターン更新部１０７は、音響信号の確信度とテキスト信号の確信度の認識が異なる場合は、行動パターンデータベース１０８を更新しない。

例えば、音響信号の確信度が第１の音響閾値よりも大きく、かつ、テキスト情報の確信度が第１のテキスト閾値よりも小さい場合、行動パターン更新部１０７は、音響信号の解析により得られた行動・状況パターンにて行動パターンデータベース１０８を更新する。一方、音響信号の確信度が第１の音響閾値よりも小さく、かつ、テキスト情報の確信度が第１のテキスト閾値よりも大きい場合、行動パターン更新部１０７は、テキスト情報の解析により得られた行動・状況パターンにて行動パターンデータベース１０８を更新する。また、音響信号の確信度が第１の音響閾値よりも小さく、かつ、テキスト情報の確信度が第１のテキスト閾値よりも小さい場合、行動パターン更新部１０７は、行動・状況パターンデータベース１０８を更新しない。

なお、第１及び第２の音響閾値、第１及び第２のテキスト閾値の設定方法については、上記ケース１及び２と同様である。

以上、行動・状況認識システム１０の機能構成について説明した。但し、行動・状況解析システム１１に相当する機能構成については詳細な説明を省略した。

（２−２−２：処理の流れ）
次に、図１６及び図１７を参照しながら、行動・状況認識システム１０の動作について説明する。図１６及び図１７は、行動・状況認識システム１０の動作について説明するための説明図である。ここでも、情報端末ＣＬとサーバ装置ＳＶとの間の機能分担は明示せず、行動・状況認識システム１０全体の動作について説明することにする。また、ここでは処理の流れを明示すべく動作の一例を示すが、上述した機能構成の説明からも推察される通り、行動・状況認識システム１０の動作はこの例に限定されない。

図１６に示すように、行動・状況認識システム１０は、電源がＯＮであるか否かを判定する（Ｓ１０１）。電源がＯＮになると、行動・状況認識システム１０は、処理をステップＳ１０２に進める。一方、電源がＯＮでない場合、行動・状況認識システム１０は、処理をステップＳ１０１に戻す。処理をステップＳ１０２に進めた場合、行動・状況認識システム１０は、時刻情報取得部１１３の機能により、現在の時刻情報を取得する（Ｓ１０２）。次いで、行動・状況認識システム１０は、位置センサ１１４の機能により、現在地の位置情報を取得する（Ｓ１０３）。次いで、行動・状況認識システム１０は、ＧＩＳ情報取得部１１５の機能により、現在位置のＧＩＳ情報を取得する（Ｓ１０４）。

次いで、行動・状況認識システム１０は、モーションセンサ１１１の機能により、モーションセンサのセンサ情報を取得する（Ｓ１０５）。次いで、行動・状況認識システム１０は、動き・状態認識部１１２の機能により、動き・状態パターンデータベース１０６に格納された情報を利用して動き・状態パターンを認識する（Ｓ１０６）。次いで、行動・状況認識システム１０は、行動・状況認識部１１６の機能により、行動パターンデータベース１０８に格納された情報を利用して行動パターンを推定する（Ｓ１０７）。行動パターンの推定後、行動・状況認識システム１０は、処理をステップＡへと進める。

処理をステップＡ（図１７を参照）へと進めると、行動・状況認識システム１０は、音響情報取得部１０１の機能により、環境音の音響信号を取得する（Ｓ１０８）。次いで、行動・状況認識システム１０は、テキスト情報取得部１０３の機能により、テキスト情報を取得する（Ｓ１０９）。次いで、行動・状況認識システム１０は、音響情報解析部１０２の機能により、環境音の音響信号から環境推定結果（上記の行動パターン及び確信度（音響由来情報））を得て、環境推定結果の信頼度（上記の確信度）が所定の閾値（上記の音響閾値）より大きいか否かを判定する（Ｓ１１０）。信頼度が所定の閾値よりも大きい場合、行動・状況認識システム１０は、処理をステップＳ１１２へと進める。一方、信頼度が所定の閾値よりも小さい場合、行動・状況認識システム１０は、処理をステップＳ１１１へと進める。

処理をステップＳ１１１へと進めた場合、行動・状況認識システム１０は、テキスト情報解析部１０４の機能により、テキスト解析結果（上記の行動パターン及び確信度（テキスト由来情報））を得て、テキスト解析結果の信頼度（上記の確信度）が所定の閾値（上記のテキスト閾値）より大きいか否かを判定する（Ｓ１１１）。信頼度が所定の閾値よりも大きい場合、行動・状況認識システム１０は、処理をステップＳ１１２へと進める。一方、信頼度が所定の閾値よりも小さい場合、行動・状況認識システム１０は、処理をステップＳ１１３へと進める。

処理をステップＳ１１２へと進めた場合、行動・状況認識システム１０は、動き・状態パターン更新部１０５及び行動パターン更新部１０７の機能により、動き・状態パターンデータベース１０６及び行動パターンデータベース１０８を更新し（Ｓ１１２）、処理をステップＳ１１３へと進める。処理をステップＳ１１３へと進めた行動・状況認識システム１０は、電源がＯＦＦにされたか否かを判定する（Ｓ１１３）。電源がＯＦＦにされた場合、行動・状況認識システム１０は、行動・状況認識に係る一連の処理を終了する。一方、電源がＯＦＦにされていない場合、行動・状況認識システム１０は、処理をステップＢ（図１６を参照）へと進め、再びステップＳ１０２以降の処理を実行する。

以上、行動・状況認識システム１０の動作について説明した。なお、環境音の音響信号に関する処理とテキスト情報に関する処理とは順序を入れ替えてもよい。

（具体例と補足説明）
上記の技術を適用すると、例えば、テキスト情報として「電車で移動中」といった入力があれば、現在のユーザの行動を「電車（搭乗）」と判断し、動き・状態パターンデータベース１０６が更新される。具体的には、動き・状態パターンデータベース１０６に登録されている動き・状態パターン「電車（搭乗）」に対して、現在、モーションセンサ１１１から得られているセンサ情報を追加データとして考慮し、行動パターンの学習が実施される。また、「デパートで子供とお茶中」といったテキスト情報が日曜の午後３時頃に入力された場合などにも、行動パターンデータベース１０８が更新される。

予め登録されている動き・状態パターンは、多くのユーザの一般的な使用状況に基づいて学習されているパターンが登録されているのに対し、利用ユーザのセンサ情報を用いて適応処理を行うことで、ユーザの使用環境（例えば、ポケットに入れているか、バッグに入れているかなど）に適した動き・状態パターンに更新され、以後の動き・状態パターンや行動・状況パターンの認識精度を高めることができる。

なお、音響情報取得部１０１は、動き・状態パターンデータベース１０６を更新する際だけに利用するような形態にしてもよいし、直接動き・状態認識部１１２に環境音の音響信号に関する情報を入力し、環境音の時系列データをモーションセンサのセンサ情報と併せて直接行動パターンを推定するのに利用するといった形態にしてもよい。また、動き・状態認識と行動・状況認識とを２段階に分けて実施する形態を示したが、１段階で実施したり、動き・状態認識だけを実施したりする形態も考えられる。こうした変形についても、当然に本実施形態の技術的範囲に属する。

［２−３：（変形例）音声認識技術の適用］
次に、本実施形態の一変形例について説明する。本変形例は、音声認識技術を利用する応用技術に関する。音声認識技術を利用すると、例えば、ユーザの会話や話し相手の会話からリアルタイムにテキスト情報を得ることが可能になる。そのため、積極的にテキスト情報を入力しないユーザや、テキスト情報を入力しない状況においても、テキスト情報を利用したパターンＤＢの更新が可能になり、行動パターンの認識精度を向上させることができるようになる。以下、本変形例に係る行動・状況認識システム１０の機能構成及び動作について説明する。

（２−３−１：機能構成）
まず、図１８を参照しながら、本変形例に係る行動・状況認識システム１０の機能構成について説明する。図１８は、本変形例に係る行動・状況認識システム１０の機能構成について説明するための説明図である。ここでは、情報端末ＣＬとサーバ装置ＳＶとの間の機能分担は明示せず、行動・状況認識システム１０全体が有する機能について説明することにする。

図１８に示すように、行動・状況認識システム１０は、主に、音響情報取得部１０１と、音響情報解析部１０２と、テキスト情報取得部１０３と、テキスト情報解析部１０４と、動き・情報パターン更新部１０５と、動き・状態パターンデータベース１０６と、行動パターン更新部１０７と、行動パターンデータベース１０８と、音声認識部１３１とを有する。さらに、行動・状況認識システム１０は、行動・状況解析システム１１の機能を含む。つまり、本変形例に係る行動・状況認識システム１０と、図１５に示した行動・状況認識システム１０との違いは、音声認識部１３１の有無にある。

音響情報取得部１０１は、ユーザ周囲の環境音を取得するデバイスである。例えば、音響情報取得部１０１は、マイクにより構成される。音響情報取得部１０１により取得された環境音の音響信号は、音響情報解析部１０２及び音声認識部１３１に入力される。なお、環境音の音響信号は、音響情報解析部１０２に入力される前段で、アナログの音声波形信号からデジタルの音声波形信号に変換されてもよい。

環境音の音響信号が入力されると、音響情報解析部１０２は、入力された音響信号を解析し、ユーザの行動パターンを推定する。例えば、音響情報解析部１０２は、環境音の音響信号から、ユーザが買い物中であるか、食事中であるか、電車に搭乗中であるかなどを推定する。この推定は、例えば、ＨＭＭなどの機械学習手法を用いて構築された学習モデルを利用して実行される。

また、音響情報解析部１０２は、環境音の音響信号から行動パターン（動き・状態パターン、行動・状況パターン）を推定すると同時に、その確信度（評価スコア）を算出する。そして、環境音の音響信号から推定された行動パターン及び確信度は、動き・状態パターン更新部１０５及び行動パターン更新部１０７に入力される。なお、上記の確信度は、音響情報取得部１０１により実際に取得された環境音の音響信号と、推定された行動パターンに対応する音響信号との類似度を表す。

一方、テキスト情報取得部１０３は、ユーザが入力したテキスト情報を取得する。例えば、テキスト情報取得部１０３は、ユーザがテキストを入力するための入力デバイスであってもよいし、ソーシャルネットワークサービスやアプリケーションからテキスト情報を取得する情報収集デバイスであってもよい。また、テキスト情報取得部１０３は、ＧＩＳ情報などから現在地周辺の地名や建造物名などの情報をテキスト情報として取得するように構成されていてもよい。

さらに、本変形例の場合、テキスト情報取得部１０３には、音声認識部１３１により環境音の音響信号から生成されたテキスト情報も入力される。例えば、音声認識部１３１は、所定の音声認識技術を利用して音響信号からテキスト情報を生成し、テキスト情報取得部１０３に入力する。このように、音声認識部１３１を備えることで、ユーザは、テキスト情報を入力する手間を省くことが可能になる。また、行動の中で発せられる自然な会話をテキスト情報として取得することが可能になり、より行動パターンに適合したテキスト情報を得ることができるようになる。また、駅や車内のアナウンスなどがテキスト化されることで、場所や行動に関する有用な情報が得られると期待される。

また、上記説明では環境音の音響信号を対象に音声認識を行う構成例を紹介したが、情報端末ＣＬの通話機能を利用して会話した内容の一部又は全部を音声認識によりテキスト化することも可能である。この場合、通話内容を示すテキスト情報がテキスト情報取得部１０３に入力される。例えば、待ち合わせ時の通話内容には、現在地の情報や時間の情報、行動の目的、或いは、友人の名前などの情報などが含まれることが多く、行動パターンを推定する際に有用な情報が得られる。つまり、通話内容を音声認識部１３１の機能によりテキスト情報に変換し、パターンＤＢの更新に利用することで、行動パターン認識の高い精度向上効果が期待できる。

上記のようにしてテキスト情報取得部１０３により取得されたテキスト情報は、テキスト情報解析部１０４に入力される。このとき、テキスト情報解析部１０４には、テキスト情報と共に、テキスト情報が入力された際の時刻情報が入力される。テキスト情報が入力されると、テキスト情報解析部１０４は、入力されたテキスト情報を解析し、ユーザの行動パターン（動き・状態パターン、行動・状況パターン）を推定する。この推定は、例えば、ＳＶＭなどの機械学習手法を用いて構築された学習モデルを利用して実行される。

また、テキスト情報解析部１０４は、テキスト情報から行動パターンを推定すると同時に、その確信度（評価スコア）を算出する。この時、音響入力からテキストに変換する音声認識処理での確信度も考慮して確信度を算出する。そして、テキスト情報から推定された行動パターン及び確信度は、動き・状態パターン更新部１０５及び行動パターン更新部１０７に入力される。なお、上記の確信度は、テキスト情報取得部１０３により実際に取得されたテキスト情報と、推定された行動パターンに対応するテキスト情報との類似度を表す。

上記のように、動き・状態パターン更新部１０５には、音響信号の解析により得られた行動パターン及び確信度を示す情報（音響由来情報）と、テキスト情報の解析により得られた行動パターン及び確信度を示す情報（テキスト由来情報）とが入力される。同様に、行動パターン更新部１０７には、音響由来情報とテキスト由来情報とが入力される。但し、音響信号が得られない場合や、テキスト情報が得られない場合も考えられる。このような場合には、動き情報パターン更新部１０５及び行動パターン更新部１０７に入力される情報が、音響由来情報又はテキスト由来情報に限られることもある。

例えば、音響情報取得部１０１の機能がオフになっている場合や音響情報取得部１０１に相当するデバイスが存在しない場合、音響由来情報は得られない。また、テキスト情報取得部１０３の機能がオフになっている場合やテキスト情報取得部１０３により取得可能なテキスト情報が存在しない場合、テキスト由来情報は得られない。このような場合、動き・状態パターン更新部１０５及び行動パターン更新部１０７は、入力された情報を利用して動き・状態パターンデータベース１０６及び行動パターンデータベース１０８の更新処理を実行する。

以上、本変形例に係る行動・状況認識システム１０の機能構成について説明した。但し、行動・状況解析システム１１に相当する機能構成については詳細な説明を省略した。また、パターンＤＢの更新方法については、図１５に示した行動・状況認識システム１０と同様であるために説明を省略した。

（２−３−２：処理の流れ）
次に、図１９及び図２０を参照しながら、本変形例に係る行動・状況認識システム１０の動作について説明する。図１９及び図２０は、本変形例に係る行動・状況認識システム１０の動作について説明するための説明図である。ここでも、情報端末ＣＬとサーバ装置ＳＶとの間の機能分担は明示せず、行動・状況認識システム１０全体の動作について説明することにする。また、ここでは処理の流れを明示すべく動作の一例を示すが、上述した機能構成の説明からも推察される通り、行動・状況認識システム１０の動作はこの例に限定されない。

図１９に示すように、行動・状況認識システム１０は、電源がＯＮであるか否かを判定する（Ｓ１３１）。電源がＯＮになると、行動・状況認識システム１０は、処理をステップＳ１３２に進める。一方、電源がＯＮでない場合、行動・状況認識システム１０は、処理をステップＳ１３１に戻す。処理をステップＳ１３２に進めた場合、行動・状況認識システム１０は、時刻情報取得部１１３の機能により、現在の時刻情報を取得する（Ｓ１３２）。次いで、行動・状況認識システム１０は、位置センサ１１４の機能により、現在地の位置情報を取得する（Ｓ１３３）。次いで、行動・状況認識システム１０は、ＧＩＳ情報取得部１１５の機能により、現在位置のＧＩＳ情報を取得する（Ｓ１３４）。

次いで、行動・状況認識システム１０は、モーションセンサ１１１の機能により、モーションセンサのセンサ情報を取得する（Ｓ１３５）。次いで、行動・状況認識システム１０は、動き・状態認識部１１２の機能により、動き・状態パターンデータベース１０６に格納された情報を利用して動き・状態パターンを認識する（Ｓ１３６）。次いで、行動・状況認識システム１０は、行動・状況認識部１１６の機能により、行動パターンデータベース１０８に格納された情報を利用して行動パターンを推定する（Ｓ１３７）。行動パターンの推定後、行動・状況認識システム１０は、処理をステップＡへと進める。

処理をステップＡ（図２０を参照）へと進めると、行動・状況認識システム１０は、音響情報取得部１０１の機能により、環境音の音響信号を取得する（Ｓ１３８）。次いで、行動・状況認識システム１０は、テキスト情報取得部１０３の機能により、テキスト情報を取得する（Ｓ１３９）。この変形例では、テキスト情報には、音声認識処理によって取得された情報が含まれている。次いで、行動・状況認識システム１０は、音響情報解析部１０２の機能により、環境音の音響信号から環境推定結果（上記の行動パターン及び確信度（音響由来情報））を得て、環境推定結果の信頼度（上記の確信度）が所定の閾値（上記の音響閾値）より大きいか否かを判定する（Ｓ１４０）。信頼度が所定の閾値よりも大きい場合、行動・状況認識システム１０は、処理をステップＳ１４２へと進める。一方、信頼度が所定の閾値よりも小さい場合、行動・状況認識システム１０は、処理をステップＳ１４１へと進める。

処理をステップＳ１４１へと進めた場合、行動・状況認識システム１０は、テキスト情報解析部１０４の機能により、テキスト解析結果（上記の行動パターン及び確信度（テキスト由来情報））を得て、テキスト解析結果の信頼度（上記の確信度）が所定の閾値（上記のテキスト閾値）より大きいか否かを判定する（Ｓ１４１）。信頼度が所定の閾値よりも大きい場合、行動・状況認識システム１０は、処理をステップＳ１４２へと進める。一方、信頼度が所定の閾値よりも小さい場合、行動・状況認識システム１０は、処理をステップＳ１４３へと進める。

処理をステップＳ１４２へと進めた場合、行動・状況認識システム１０は、動き・状態パターン更新部１０５及び行動パターン更新部１０７の機能により、動き・状態パターンデータベース１０６及び行動パターンデータベース１０８を更新し（Ｓ１４２）、処理をステップＳ１４３へと進める。処理をステップＳ１４３へと進めた行動・状況認識システム１０は、電源がＯＦＦにされたか否かを判定する（Ｓ１４３）。電源がＯＦＦにされた場合、行動・状況認識システム１０は、行動・状況認識に係る一連の処理を終了する。一方、電源がＯＦＦにされていない場合、行動・状況認識システム１０は、処理をステップＢ（図１９を参照）へと進め、再びステップＳ１３２以降の処理を実行する。

以上、行動・状況認識システム１０の基本的な動作について説明した。なお、環境音の音響信号に関する処理とテキスト情報に関する処理とは順序を入れ替えてもよい。

（更新対象のデータ区間を同定する方法について）
ここで、更新対象のデータ区間を同定する方法について考えてみたい。実際、パターンＤＢを更新する場合、センサデータの時系列のうち、どの区間を更新するのが適切であるかを決定することは容易ではない。例えば、ユーザは、ポケットから情報端末ＣＬを取り出し、テキスト情報を入力した後、再びポケットに情報端末ＣＬを仕舞うかもしれない。この場合、テキスト情報を入力したタイミングにおけるユーザの行動は、テキスト情報の入力であり、入力されたテキスト情報の解析により得られる行動パターンとは相違する場合が多いであろう。

そこで、ユーザがテキスト情報を入力する際の行動に着目し、テキスト情報を解析して得られる行動パターンが、どの時点（更新対象のデータ区間）に対応するかを同定する方法を提案したい。例えば、上記のようなユーザの行動を想定すると、センサデータの時系列は、図２２に示すような波形を示すと考えられる。期間Ｔ１は、ポケットに情報端末ＣＬが入っている期間であり、テキスト情報を解析して得られる過去の行動パターンに対応する。一方、期間Ｔ４は、テキスト情報の入力を終えて、ポケットに情報端末ＣＬを入れた後の期間であり、テキスト情報を解析して得られる将来の行動パターンに対応する。

また、期間Ｔ２は、ポケットから情報端末ＣＬを取り出している最中の期間である。そのため、センサデータに大きな波形の乱れが見られる。一方、期間Ｔ３は、ポケットに情報端末ＣＬを仕舞っている最中の期間である。そのため、センサデータに大きな波形の乱れが見られる。通常、テキスト情報を入力している際、情報端末ＣＬは安定した状態に保たれる。そのため、情報端末ＣＬの出し入れをしている期間（期間Ｔ２、期間Ｔ３）を検出することで、テキスト情報を入力している期間を比較的高い精度で検出することが可能である。また、期間Ｔ１と期間Ｔ４との間で波形の類似性を考慮することで、テキスト情報の入力期間をより正確に検出できるようになると考えられる。

こうした考察に基づき、更新対象のデータ区間を同定する方法として、図２１に示すような処理方法を考案した。なお、説明の都合上、情報端末ＣＬをポケットから出したり、ポケットに入れたりする行動を例に挙げたが、ポケット以外にも、バッグやアタッシュケース、或いは、トランクやポーチなどに入れて携帯している場合も同様である。

図２１に示すように、行動・状況認識システム１０は、テキスト入力時刻を取得する（Ｓ１５１）。次いで、行動・状況認識システム１０は、テキスト入力時刻前後の所定範囲におけるセンサデータを取得する（Ｓ１５２）。次いで、行動・状況認識システム１０は、テキスト入力時刻前でセンサデータが大きく変動した箇所を同定する（Ｓ１５３）。例えば、行動・状況認識システム１０は、センサデータの値が所定の閾値を超えた場合に、該当する領域を大きく変動した箇所として同定する。また、閾値判定の他にも、スペクトログラム解析を利用する方法なども考えられる。

次いで、行動・状況認識システム１０は、同定箇所より前のセンサデータから所望の時間長のデータを抽出する（Ｓ１５４）。次いで、行動・状況認識システム１０は、テキスト入力時刻後でセンサデータが大きく変動した箇所を同定する（Ｓ１５５）。次いで、行動・状況認識システム１０は、同定箇所より後のセンサデータから所望の時間長のデータを抽出する（Ｓ１５６）。次いで、行動・状況認識システム１０は、抽出した２つのデータ間における類似性を計算する（Ｓ１５７）。例えば、行動・状況認識システム１０は、スペクトログラム上で類似性を判断したり、相互相関係数を計算したりして類似性を判断する。

次いで、行動・状況認識システム１０は、類似性が高いか否かを判定する（Ｓ１５８）。類似性が高い場合、行動・状況認識システム１０は、処理をステップＳ１５９に進める。一方、類似性が低い場合、行動・状況認識システム１０は、更新対象のデータ区間を同定するための一連の処理を終了する。処理をステップＳ１５９に進めた場合、行動・状況認識システム１０は、抽出したデータを利用して動き・状態パターンを適応し（Ｓ１５９）、更新対象のデータ区間を同定するための一連の処理を終了する。

ステップＳ１５８にて類似性をチェックする理由は、テキスト入力の前後でユーザの行動が変化している可能性があるためである。このようなチェックを行うことで、テキストの記載内容が、テキスト入力前後のどちらの行動に関するものかを誤って判定した場合でも、不適切なセンサデータで動き・状態パターンを適応することを防ぐことができる。

その他にも、誤ったセンサデータ区間で適応処理を実施しないための予防策として、例えば、適応前の動き・状態パターンデータベース１０６に登録されている動き・状態パターンと極端にかけ離れたセンサデータで更新することを避ける方法が考えられる。この方法を実現するには、例えば、上述した信頼度計算と同様な処理を実施し、信頼度が所定の閾値を超えない場合は適応処理を実行しないようにすればよい。このように、誤適応を防止するための様々な施策を適用する変形も可能である。

以上、行動・状況認識システム１０の動作について詳細に説明した。

［２−４：画面表示の例（アプリケーションの一例）］
上記の行動・状況認識システム１０を利用すると、例えば、図２３に示すようなアプリケーションを実現することができる。図２３は、ある情報端末ＣＬのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面の一例を示したものである。この画面には、複数の人物Ｍ１〜Ｍ６を示すオブジェクトが表示されている。この例において、人物Ｍ１及びＭ５は走っている。人物Ｍ２は歩いている。人物Ｍ３は寝そべっている。人物Ｍ４及びＭ６はしゃがんでいる。このような各人物の行動は、各人物に対応するユーザが情報端末ＣＬを保持している際に得られた情報を利用して行動・状況認識システム１０が解析した結果を反映したものである。

行動・状況認識システム１０を図２３に示すようなアプリケーションに応用すると、ユーザは、自身の行動を特定するための特別な操作をせずとも、他のユーザに自身の行動を知らせることができるようになる。例えば、誰かを酒を飲みに誘いたいと思った際、暇そうな行動パターンを示している人物に声を掛けることによって、より高い確度で誘いに乗ってくれるだろう。また、話し掛ける相手を探す際、忙しそうな行動パターンをとっている人物を避けるなどの配慮を予めすることができるようになるであろう。他にも様々な応用例が考えられるが、一つの例として図２３に示すようなアプリケーションへの応用を紹介した。

以上、本実施形態に係る技術の詳細について説明した。

＜３：ハードウェア構成例＞
上記の行動・状況認識システム１０、情報端末ＣＬ、サーバ装置ＳＶが有する各構成要素の機能は、例えば、図２４に示すようなハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図２４に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。

図２４に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。

＜４：まとめ＞
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。

上記の情報処理装置の機能構成は次のように表現することができる。

（１）
センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースを更新するＤＢ更新部と、
前記ユーザが機器に入力したテキスト情報を取得するテキスト情報取得部と、
前記テキスト情報から行動パターンに関する情報を得るテキスト情報解析部と、
を備え、
前記ＤＢ更新部は、前記テキスト情報から前記行動パターンに関する情報が得られた場合に、得られた情報を利用して前記行動パターンデータベースを更新する、
情報処理装置。

（２）
前記テキスト情報解析部は、前記行動パターンに関する情報の第１の信頼度を算出し、
前記ＤＢ更新部は、前記第１の信頼度が所定の第１の閾値を超えた場合に、前記テキスト情報から得られた前記行動パターンに関する情報を利用して前記行動パターンデータベースを更新する、
上記（１）に記載の情報処理装置。

（３）
前記機器により検出された音に関する情報を取得する音情報取得部と、
前記音に関する情報から行動パターンに関する情報を得る音情報解析部と、
をさらに備え、
前記ＤＢ更新部は、前記音に関する情報から前記行動パターンに関する情報が得られた場合に、得られた情報を利用して前記行動パターンデータベースを更新する、
上記（１）又は（２）に記載の情報処理装置。

（４）
前記音情報解析部は、前記行動パターンに関する情報の第２の信頼度を算出し、
前記ＤＢ更新部は、前記第２の信頼度が所定の第２の閾値を超えた場合に、前記音に関する情報から得られた前記行動パターンに関する情報を利用して前記行動パターンデータベースを更新する、
上記（３）に記載の情報処理装置。

（５）
前記音に関する情報をテキスト情報に変換する音声認識部をさらに備え、
前記テキスト情報解析部は、前記音声認識部により変換されたテキスト情報及び前記テキスト情報取得部により取得されたテキスト情報から前記行動パターンに関する情報を得る、
上記（３）又は（４）に記載の情報処理装置。

（６）
センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースであって、前記ユーザが電子機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して更新される前記行動パターンデータベースにアクセスする通信部と、
前記センサの検出結果及び前記テキスト情報に対応する行動パターンに関する情報を前記行動パターンデータベースから取得する行動パターン情報取得部と、
を備える、
電子機器。

（７）
センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースを更新するステップを含み、
前記ユーザが機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して前記行動パターンデータベースが更新される、
情報処理方法。

（８）
センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースであって、前記ユーザが電子機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して更新される前記行動パターンデータベースにアクセスするステップと、
前記センサの検出結果及び前記テキスト情報に対応する行動パターンに関する情報を前記行動パターンデータベースから取得するステップと、
を含む、
情報処理方法。

（９）
センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースを更新するＤＢ更新機能と、
前記ユーザが機器に入力したテキスト情報を取得するテキスト情報取得機能と、
前記テキスト情報から行動パターンに関する情報を得るテキスト情報解析機能と、
をコンピュータに実現させるためのプログラムであり、
前記ＤＢ更新機能は、前記テキスト情報から前記行動パターンに関する情報が得られた場合に、得られた情報を利用して前記行動パターンデータベースを更新する、
プログラム。

（１０）
センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースであって、前記ユーザが電子機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して更新される前記行動パターンデータベースにアクセスする通信機能と、
前記センサの検出結果及び前記テキスト情報に対応する行動パターンに関する情報を前記行動パターンデータベースから取得する行動パターン情報取得機能と、
をコンピュータに実現させるためのプログラム。

（備考）
上記の行動パターン更新部１０７は、ＤＢ更新部の一例である。上記の音響情報取得部１０１は、音情報取得部の一例である。上記の音響情報解析部１０２は、音情報解析部の一例である。

以上、添付図面を参照しながら本技術に係る好適な実施形態について説明したが、本技術はここで開示した構成例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。

１０ 行動・状況認識システム
１０１ 音響情報取得部
１０２ 音響情報解析部
１０３ テキスト情報取得部
１０４ テキスト情報解析部
１０５ 動き・状態パターン更新部
１０６ 動き・状態パターンデータベース
１０７ 行動パターン更新部
１０８ 行動パターンデータベース
１３１ 音声認識部
１１ 行動・状況解析システム
１１１ モーションセンサ
１１２ 動き・状態認識部
１１３ 時刻情報取得部
１１４ 位置センサ
１１５ ＧＩＳ情報取得部
１１６ 行動・状況認識部
ＣＬ 情報端末
ＳＶ サーバ装置

Claims (9)

1. センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースを更新するＤＢ更新部と、
   前記ユーザが入力したテキスト情報に基づいて、前記ユーザの行動パターンに関する情報を得るテキスト情報解析部と、
   を備え、
   前記テキスト情報解析部は、前記行動パターンに関する情報の第１の信頼度を算出し、
   前記ＤＢ更新部は、前記テキスト情報から前記行動パターンに関する情報が得られ、前記第１の信頼度が所定の第１の閾値を超えた場合に、前記テキスト情報から得られた前記行動パターンに関する情報を利用して前記行動パターンデータベースを更新する、
   情報処理装置。
2. 前記ユーザにより前記テキスト情報が入力された機器により検出された音に関する情報に基づいて、行動パターンに関する情報を得る音情報解析部と、
   をさらに備え、
   前記ＤＢ更新部は、前記音に関する情報から前記行動パターンに関する情報が得られた場合に、得られた情報を利用して前記行動パターンデータベースを更新する、
   請求項１に記載の情報処理装置。
3. 前記音情報解析部は、前記行動パターンに関する情報の第２の信頼度を算出し、
   前記ＤＢ更新部は、前記第２の信頼度が所定の第２の閾値を超えた場合に、前記音に関する情報から得られた前記行動パターンに関する情報を利用して前記行動パターンデータベースを更新する、
   請求項２に記載の情報処理装置。
4. 前記音に関する情報をテキスト情報に変換する音声認識部をさらに備え、
   前記テキスト情報解析部は、前記音声認識部により変換されたテキスト情報及び前記ユーザが入力したテキスト情報から前記行動パターンに関する情報を得る、
   請求項２又は３に記載の情報処理装置。
5. センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースであって、前記ユーザが電子機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して更新される前記行動パターンデータベースにアクセスする通信部と、
   前記センサの検出結果及び前記テキスト情報に対応する行動パターンに関する情報を前記行動パターンデータベースから取得する行動パターン情報取得部と、
   を備え、
   前記行動パターンデータベースは、前記行動パターンに関する情報の第１の信頼度が所定の第１の閾値を超えた場合に、前記テキスト情報から得られた前記行動パターンに関する情報を利用して更新される、
   電子機器。
6. センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースを、情報処理装置によって、更新するステップと、
   前記ユーザが入力したテキスト情報に基づいて、前記ユーザの行動パターンに関する情報を得るステップと、
   前記行動パターンに関する情報の第１の信頼度を算出するステップと、
   を含み、
   前記テキスト情報から前記行動パターンに関する情報が得られ、前記第１の信頼度が所定の第１の閾値を超えた場合に、前記テキスト情報から得られた前記行動パターンに関する情報を利用して前記行動パターンデータベースが更新される、
   情報処理方法。
7. センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースであって、前記ユーザが電子機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して更新される前記行動パターンデータベースにアクセスするステップと、
   前記センサの検出結果及び前記テキスト情報に対応する行動パターンに関する情報を前記行動パターンデータベースから、電子機器によって、取得するステップと、
   を含み、
   前記行動パターンデータベースは、前記行動パターンに関する情報の第１の信頼度が所定の第１の閾値を超えた場合に、前記テキスト情報から得られた前記行動パターンに関する情報を利用して更新される、
   情報処理方法。
8. コンピュータを、
   センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースを更新するＤＢ更新部と、
   前記ユーザが入力したテキスト情報に基づいて、前記ユーザの行動パターンに関する情報を得るテキスト情報解析部と、
   として機能させるためのプログラムであり、
   前記テキスト情報解析部は、前記行動パターンに関する情報の第１の信頼度を算出し、
   前記ＤＢ更新部は、前記テキスト情報から前記行動パターンに関する情報が得られ、前記第１の信頼度が所定の第１の閾値を超えた場合に、前記テキスト情報から得られた前記行動パターンに関する情報を利用して前記行動パターンデータベースを更新する、
   プログラム。
9. コンピュータを、
   センサの検出結果に基づいてユーザの行動パターンを検出するために用いる行動パターンデータベースであって、前記ユーザが電子機器に入力したテキスト情報から行動パターンに関する情報が得られた場合に、得られた情報を利用して更新される前記行動パターンデータベースにアクセスする通信部と、
   前記センサの検出結果及び前記テキスト情報に対応する行動パターンに関する情報を前記行動パターンデータベースから取得する行動パターン情報取得部と、
   として機能させるためのプログラムであり、
   前記行動パターンデータベースは、前記行動パターンに関する情報の第１の信頼度が所定の第１の閾値を超えた場合に、前記テキスト情報から得られた前記行動パターンに関する情報を利用して更新される、
   プログラム。

Images