JPWO2016092924A1 - 情報処理装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】ユーザの行動情報に基づき、普段と異なる行動に対して応答することで、ユーザが欲しいであろう情報を適切なタイミングで提示することが可能な情報処理装置、制御方法、およびプログラムを提供する。【解決手段】蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、前記生成された応答の出力タイミングを決定する決定部と、を備える、情報処理装置。【選択図】図３

Description

本開示は、情報処理装置、制御方法、およびプログラムに関する。

近年、音声を認識して意味解析を行い、ユーザの発話に対して自動的に回答を行う対話システムが提案されている。このような対話システムは発話に対して必要な情報が返されるのみであって、ユーザが使い続けたいと思うような付加価値は無かった。

これに対し、下記特許文献１では、音楽データや映像データのコンテンツ配信サービスにおいて、ユーザの嗜好や操作の癖に合った、現在のユーザにとって最適なコンテンツを選択するシステムが提案されている。音楽等のコンテンツをユーザの嗜好に基づいて選択することで、選択結果に意外性を持たせている。

特開２００８−９７３１３号公報

しかしながら、特許文献１に記載のシステムでは、ユーザの行動を検知して行動特徴に応じた応答を自動的に行うことについては考慮されていない。また、特許文献１に記載システムは、ユーザから発話を行った時に選択結果が返信されるものであって、自動的に情報提供は行われない。

また、ユーザから発話を行った時以外に情報提供を行うサービスは多々提供されているが、適切なタイミングで役に立つ情報が提示されなければ、ユーザにとっては邪魔で煩わしいものであった。例えば一度検索したキーワードに基づいて広告やお勧めの店等の情報がその後頻繁に提示されても、提示された時やその日に店に行けなければ役に立たない情報であるため、ユーザにとっては不要であった。

したがって、ユーザが発話をしなくても、ユーザが欲しいであろう情報が適切なタイミングで提示されれば、ユーザにとって利便性の高いシステムとなる。例えば、毎朝コーヒーショップに行くことが日課のユーザが、旅行や出張等で普段と異なる場所を訪れた際に、朝、近くにあるコーヒーショップの場所が自動的に提示されると、ユーザにとって役に立つ情報が適切なタイミングで提示されたと言える。また、毎日同じような行動をしている時には不要であるが、珍しくよく歩いた日には、「今日は疲れたね」「運動になったね」「今日の消費カロリーはいつもより○○○カロリーも多かったよ」といった、労りや同調の言葉、普段とどう違ったかを示す情報が、ユーザにとって欲しい情報となる。

このように、ユーザが欲しいであろう情報や情報提示の適切なタイミングは、ユーザの行動に応じて判断することが可能である。

そこで、本開示では、ユーザの行動情報に基づき、普段と異なる行動に対して応答することで、ユーザが欲しいであろう情報を適切なタイミングで提示することが可能な情報処理装置、制御方法、およびプログラムを提案する。

本開示によれば、蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、前記生成された応答の出力タイミングを決定する決定部と、を備える情報処理装置を提案する。

本開示によれば、蓄積された行動情報に基づいて、所定期間内における行動パターンを解析することと、前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成することと、前記生成された応答の出力タイミングを決定することと、を含む、制御方法を提案する。

本開示によれば、コンピュータを、蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、前記生成された応答の出力タイミングを決定する決定部と、として機能させるためのプログラムを提案する。

以上説明したように本開示によれば、ユーザの行動情報に基づき、普段と異なる行動に対して応答することで、ユーザが欲しいであろう情報を適切なタイミングで提示することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による情報処理システムの概要を説明する図である。 本実施形態によるユーザ端末の構成の一例を示すブロック図である。 本実施形態によるサーバの構成の一例を示すブロック図である。 本実施形態による習慣解析処理を示すフローチャートである。 本実施形態による応答処理を示すフローチャートである。 本実施形態による応答蓄積処理を示すフローチャートである。 本実施形態による再応答処理を示すフローチャートである。 本実施形態によるスマートアイグラスの場合における応答表示例を示す図である。 本実施形態によるスマートフォンの場合における応答表示例を示す図である。 本実施形態による部屋での応答表示例を示す図である。 本実施形態による複数のユーザ端末で連携する応答表示例を示す図である。 本実施形態によるメッセージに応じたキャラクタ様相例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２−１．ユーザ端末の構成
２−２．サーバの構成
３．動作処理
３−１．習慣解析処理
３−２．応答処理
３−３．応答蓄積処理および再応答処理
４．応答提示例
５．まとめ

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
まず、本開示の一実施形態による情報処理システムの概要を図１に示して説明する。図１に示すように、本実施形態による情報処理システムは、ユーザが所持するユーザ端末１と、応答生成および提示タイミングの制御を行うサーバ２とを含む。ユーザ端末１とサーバ２は、例えばネットワーク３を介して接続する。

ユーザ端末１は、図１に示すように、例えばスマートアイグラス１ａ、スマートフォン１ｂ、スマートウォッチ１ｃ等により実現される。ユーザ端末１は、ユーザの行動情報を継続的にセンシングし、検知した行動情報を、ネットワーク３を介してサーバ２に送信する。具体的には、例えばユーザ端末１には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、加速度センサ、地磁気センサ等が搭載され、位置情報や動き情報（活動量）がセンシングされる。

サーバ２は、ユーザ端末１から送信された行動情報を蓄積し、行動情報からユーザの行動パターンを解析する。また、サーバ２は、ユーザの行動が行動パターンと異なる場合、すなわち普段と異なる行動が検知された場合、当該異なる行動に対して自動的に応答を生成し、ユーザ端末１からユーザに提示する。また、サーバ２は、応答の提示タイミングを応答内容に応じて制御することが可能である。例えば、サーバ２は、ユーザの現在地近くに存在する店の情報等、位置情報に基づく情報であれば即時提示するよう制御し、ユーザの活動量（歩数、走った距離、立っていた時間等）に基づくものであれば一日の活動終了後、例えば帰宅時に提示するよう制御する。また、サーバ２は、ユーザの行動や行動パターン（習慣）に応じた所定のタイミングで提示するよう制御することも可能である。

これにより、普段同じような行動を取っている場合には提示される情報も常態化してきて面白味に欠けるが、普段と異なる行動に基づいて応答を自動生成し、応答タイミングを制御することで、ユーザが欲しいであろう情報を適切なタイミングで提示することができる。

以上、本開示の一実施形態による情報処理システムの概要について説明した。なお、ユーザ端末１は、図１に示すような形態に限定されず、例えばタブレット端末、携帯電話端末、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）、携帯用音楽プレーヤー、携帯用ゲーム機、またはウェアラブル端末（ＨＭＤ（ヘッドマウントディスプレイ）、スマートバンド）であってもよい。また、図１に示す例では、ユーザ端末１が、ユーザの行動をセンシングする機能と、サーバ２の制御に従って応答を提示する機能とを兼ねているが、センシング機能と提示機能を別々の情報処理端末で行ってもよいし、また、センシング機能を複数の情報処理端末に設けてもよい。

続いて、本実施形態の情報処理システムに含まれるユーザ端末１およびサーバ２の構成について説明する。

＜＜２．構成＞＞
＜２−１．ユーザ端末の構成＞
図２は、本実施形態によるユーザ端末１の構成の一例を示すブロック図である。図２に示すように、ユーザ端末１は、制御部１０、通信部１１、入力部１２、現在位置計測部１３、動き検知部１４、表示部１５、スピーカ１６、および記憶部１７を有する。

（制御部１０）
制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、ユーザ端末１の各構成を制御する。具体的には、本実施形態による制御部１０は、現在位置計測部１３により計測された現在位置情報や、動き検知部１４により検知された動き情報（すなわち活動量情報）を、通信部１１からサーバ２に送信するよう制御する。なお制御部１０は、現在位置情報および動き情報をリアルタイムで送信するよう制御してもよい。また、制御部１０は、通信部１１を介してサーバ２から送信された応答を表示部１５またはスピーカ１６から出力するよう制御する。

（通信部１１）
通信部１１は、無線／有線により外部装置と接続し、データの送受信を行う機能を有する。本実施形態による通信部１１は、例えばサーバ２と接続し、制御部１０の制御に従って、現在位置情報および動き情報を送信したり、サーバ２で生成された応答を受信したりする。

（入力部１２）
入力部１２は、ユーザによる情報入力操作を検出し、検出した入力情報を制御部１０に送信する。例えば入力部１２は、タッチパネル、キーボード、テンキー、ボタン、スイッチ等により実現される。また、入力部１２をカメラにより実現することで、ジェスチャー入力が可能となる。また、入力部１２をマイクロフォンにより実現することで、音声入力が可能となる。また、入力部１２は、複数種類の入力デバイスにより実現されてもよい。

（現在位置計測部１３）
現在位置計測部１３は、外部からの取得信号に基づいてユーザ端末１の現在位置を検知する機能を有する。具体的には、例えば現在位置計測部１３は、ＧＰＳ測位部により実現され、ＧＰＳ衛星からの電波を受信して、ユーザ端末１が存在している位置を検知し、検知した位置情報を制御部１０に出力する。また、現在位置計測部１３は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。

（動き検知部１４）
動き検知部１４は、ユーザ端末１の動きを検知する機能を有する。具体的には、例えば動き検知部１４は、３軸加速度センサおよび地磁気センサ等により実現され、これらで検知されるデータを利用して、ユーザの活動量（停止時間、歩行時間、歩数、走行時間、座っていた時間、立っていた時間、乗り物に乗っていた時間等）を検知する。動き検知部１４は、検知した動き情報を制御部１０に出力する。

（表示部１５）
表示部１５は、制御部１０の指示に従って、画面に文字や画像その他の情報を表示する機能を有する。

（スピーカ１６）
スピーカ１６は、制御部１０の指示に従って、音声信号を再生する機能を有する。

（記憶部１７）
記憶部１７は、様々なデータを記憶し、例えば制御部１０の各処理を実行するためのプログラムを記憶する。また、記憶部１７は、ユーザのスケジュール情報を記憶していてもよい。

以上、本実施形態によるユーザ端末１の構成について具体的に説明した。なおユーザ端末１の構成は図２に示す例に限定されず、例えばスピーカ１６を有さない構成であってもよい。また、ユーザ端末１は、現在位置計測部１３や動き検知部１４が別体に設けられ、別体から近距離無線通信（例えば赤外線通信、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標））により現在位置情報および動き情報を取得する構成であってもよい。

＜２−２．サーバの構成＞
図３は、本実施形態によるサーバ２の構成の一例を示すブロック図である。図３に示すように、サーバ２は、制御部２０、通信部２１、行動情報記憶部２２、習慣記憶部２３、および応答記憶部２４を有する。

（制御部２０）
制御部２０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、サーバ２の各構成を制御する。具体的には、本実施形態による制御部２０は、図３に示すように、行動情報記憶制御部２０ａ、習慣解析部２０ｂ、応答生成部２０ｃ、タイミング決定部２０ｄ、応答出力制御部２０ｅ、音声認識部２０ｆ、意味解析部２０ｇ、天候情報取得部２０ｈ、およびフィードバック部２０ｉとして機能する。

行動情報記憶制御部２０ａは、通信部２１を介してユーザ端末１から送信された現在位置情報および動き情報等を行動情報として行動情報記憶部２２に記憶する。動き情報とは、歩数、歩いた時間、走った時間、乗車時間、立っていた時間、または座っていた時間等を示す活動量情報である。

習慣解析部２０ｂは、行動情報記憶部２２に記憶された行動情報に基づいて、ユーザの行動パターン、すなわち習慣を解析する。具体的には、習慣解析部２０ｂは、所定期間の行動情報に基づいて、ユーザの習慣を解析する。例えば習慣解析部２０ｂは、過去Ｎカ月の行動情報に基づいて、訪問場所のカテゴリ（飲食店、コンビニ、本屋等）を抽出し、訪問回数が多いカテゴリまたは店名を、ユーザがいつも行く場所として検出する。訪問回数の多さは、ユーザのカテゴリ別の訪問回数の中で判断してもよいし、他ユーザの統計と比べて判断してもよい。また、習慣解析部２０ｂは、訪問回数が多い訪問場所に行った日時も併せて抽出することで、ユーザが平日朝または夜、若しくは休日朝または夜等にいつも行く場所を検出することができる。また、習慣解析部２０ｂは、過去Ｎカ月の行動情報に基づいて、いつもの歩数（平日、休日別）、いつも電車に乗っている時間・場所（立っている／座っている率）等を解析してもよい。さらに、習慣解析部２０ｂは、過去一週間の行動情報に基づいて、出社時間、帰社時間、帰宅時間等の平均や分散を解析し、出社時間、帰社時間、帰宅時間等の習慣を検出することもできる。習慣解析部２０ｂにより解析された習慣情報は、習慣記憶部２３に記憶される。

応答生成部２０ｃは、通信部２１を介してユーザ端末１から受信したユーザの行動情報に対する応答を生成する。具体的には、応答生成部２０ｃは、習慣記憶部２３に記憶されたユーザの習慣を参照し、習慣と異なる行動が検知された際に、当該異なる行動に対する応答を生成する。例えば応答生成部２０ｃは、位置情報に基づいて、ユーザが普段訪れない場所に訪れたことが分かった場合、「楽しかったかな？」「いつもと違うことができたかな」といった呼びかけを生成する。また、応答生成部２０ｃは、毎朝コーヒーショップに行くといったユーザの習慣に基づいて、ユーザが普段訪れない場所を訪れた際には、近くに存在する同カテゴリまたは同名称のコーヒーショップに関する情報（場所情報）を生成する。なお、応答生成部２０ｃは、ユーザの習慣の他、ユーザの嗜好情報に基づいて、ユーザが普段訪れない場所を訪れた際に、近くに存在するユーザが好む飲食店等に関する情報（場所情報）を生成してもよい。

また、応答生成部２０ｃは、活動量に関する習慣と動き情報（歩数、歩いている時間、立っている時間等）に基づいて、普段より活動量が多い／少ないことが分かった場合、「運動になったね」「今日はよく歩いたね」といった呼びかけを生成する。また、応答生成部２０ｃは、「今日はいつもよりｎ歩も歩いたよ」「今日の消費カロリーはいつもより多いよ」といった通常の行動との違いを伝える情報を生成する。

また、応答生成部２０ｃは、生活に関する習慣と動き情報に基づいて、いつも座れている電車で座れなかったことが分かった場合、「今日は残念だったね」「今日は疲れたね」といった、労りや同調の言葉を生成する。また、応答生成部２０ｃは、普段よりも帰社や帰宅時間が遅いことが分かった場合、「遅くまで頑張ったね、お疲れさま」といった、労りや同調の言葉を生成する。また、応答生成部２０ｃは、帰社や帰宅時間が遅いことが一週間続いた場合、「今週は忙しかったね」といった、所定期間に対する労りや同調の言葉を生成する。

以上、普段の習慣と異なる行動に対する応答生成について説明したが、本実施形態による応答生成部２０ｃによる応答生成はこれに限定されない。例えば、応答生成部２０ｃは、ユーザが通勤／通学時、買い物時、子供の送迎時等に歩きや自転車で移動する習慣の場合、天候情報取得部２０ｈにより取得された天候情報が特殊な場合や天候に基づく不快指数が所定値より高い場合には、天候を知らせる応答、特殊な天候に応じた助言、特殊な天候に応じた労りや同調の言葉を生成する。具体的には、応答生成部２０ｃは、「夜から急に冷え込んだね。自転車寒かったよね」「蒸し暑いね、水分補給を忘れずに」「雪大丈夫？」といった同調、労り、呼びかけ、助言等の応答を生成する。天候情報取得部２０ｈは、外部の所定サーバから天候に関する情報を取得し、応答生成部２０ｃに出力する。

なお特殊な天候であるか否かの判断や不快指数の算出は一般的な方法を用いて行われ得る。例えば、不快指数は、温度（Ｔｄ）および湿度（Ｈ）を用いて、式１：0.81Td+0.01H(0.99Td-14.3)+46.3により求められる。不快指数５５以下の場合は寒さによる不快を感じ、８５以上の場合は暑さによる不快を感じるため、このような場合に、応答生成部２０ｃは応答を生成する。また、応答生成部２０ｃは、大雨や大雪といった特殊な天候は、地域によって定められた基準（例えば一時間あたり20mm以上の雨であれば大雨、２４時間降雪の深さ２０ｃｍであれば大雪等）に基づいて判断してもよい。

また、応答生成部２０ｃは、ユーザが通勤／通学時に電車で移動する習慣の場合、鉄道情報に基づいて事故、遅延、見合わせ等の普段と異なる状況が発生している場合には、事故等を知らせる応答、助言、労りや同調の言葉を生成する。

また、応答生成部２０ｃは、ユーザからの発話（音声による問い合わせ）に応じた応答を生成することも可能である。具体的には、例えばユーザ端末１においてユーザが発話を行った場合、入力部１２により収音された音声がサーバ２に送信され、サーバ２は、音声認識部２０ｆにより音声認識を行って文字データに変換する。次いで、意味解析部２０ｇにより、音声認識部２０ｆから出力された文字データの意味を解析する。例えば「週末の天気は？」といった文字列が音声認識により出力された場合、意味解析部２０ｇは、現在日時から「週末」の日付を判断する。また、意味解析部２０ｇは、ユーザの現在位置または住所、勤務地、若しくはスケジュール情報から週末に出掛ける予定が入っている場合には外出先の場所に基づいて、「どこの天気」を聞いているかを推定する。これにより、意味解析部２０ｇは、「○月×日における△△（場所）の天候情報」の発話であると解析することができる。そして、応答生成部２０ｃは、意味解析部２０ｇから出力された解析結果（ユーザの発話の意味）に応じた応答を生成する。例えば、「○月×日における△△（場所）の天候情報」といった発話の場合、応答生成部２０ｃは、天候情報取得部２０ｈにより取得された天候情報に基づいて、応答を生成する。また、このようにユーザの発話に応じて生成した応答内容は、応答記憶部２４に記憶される。

また、応答生成部２０ｃは、応答記憶部２４に記憶された、既に回答した応答に変化があった場合、変化を通知するための応答を生成してもよい。例えばユーザからの発話に応じて一週間後の天候情報を応答した数日後に天気予報が変わった場合、応答生成部２０ｃは、最新の天候情報に基づいた応答を生成する。以上、発話に応じた応答生成部２０ｃによる応答の生成について説明したが、本実施形態はこれに限定されず、音声以外の、例えば文字入力やジェスチャー等によるユーザからの問い合わせに対して応答を生成することも可能である。

タイミング決定部２０ｄは、応答生成部２０ｃで生成された応答のユーザへの提示タイミングを決定する。具体的には、タイミング決定部２０ｄは、応答を即時提示するか、朝・外出時・降車時・帰宅時・就寝前・週末等の特定のタイミング（ユーザの行動または行動パターンに応じた所定のタイミング）で提示するかを決定する。例えば、タイミング決定部２０ｄは、場所に関する情報であれば即時提示するようタイミングを決定してもよい。具体的には、例えばユーザが普段行かない場所を訪れた際に、ユーザがいつも行く店と同カテゴリまたは同名称の店が近くにある場合、当該店の情報を即時提示するよう決定する。また、タイミング決定部２０ｄは、ユーザが朝にいつも行く店と同カテゴリの店であれば、朝に提示するよう決定し、夜にいつも行く店と同カテゴリの店であれば夜に提示するよう決定するよう、習慣に基づいて決定してもよい。

また、タイミング決定部２０ｄは、一日の活動量が普段と異なる場合の呼びかけ等の応答の場合、一日の活動終了時すなわち帰宅時に提示するよう決定してもよい。

また、タイミング決定部２０ｄは、普段の生活習慣と異なる場合の労りや同調の言葉の応答の場合、一日の生活終了時すなわち帰宅時や就寝時に提示するよう決定してもよい。また、タイミング決定部２０ｄは、乗車時の状態が普段と異なる場合の労りや同調の言葉の応答の場合、降車時に提示するよう決定してもよい。

また、タイミング決定部２０ｄは、特殊な天候や鉄道事故等を知らせる応答や助言であれば出発前、特殊な天候や鉄道事故等に応じた労りや同調の言葉の場合は帰宅時に提示するよう決定してもよい。

また、タイミング決定部２０ｄは、ユーザからの発話に応じて生成した応答は即時提示するよう決定する。

また、タイミング決定部２０ｄは、既に回答した応答に変化があった場合に応答生成部２０ｃにより生成された、変化を通知するための応答の場合、変化があった場合に即時提示するよう決定してもよいし、帰宅後のユーザが自宅で過ごしている時間に通知するよう決定してもよい。

応答出力制御部２０ｅは、タイミング決定部２０ｄにより決定されたタイミングで、応答生成部２０ｃにより生成された応答をユーザ端末１からユーザに提示するよう制御する。例えば、応答出力制御部２０ｅは、タイミング決定部２０ｄにより決定されたタイミングになった際に、ユーザ端末１に応答を送信して、当該応答を提示するよう指示する。または、応答出力制御部２０ｅは、通信部２１からユーザ端末１に応答を送信すると共に、当該応答の提示タイミングを指示してもよい。ユーザ端末１では、例えばスピーカ１６または表示部１５から応答が出力（音声出力、表示出力）される。

さらに、応答出力制御部２０ｅは、ユーザ端末１のデバイス種別に応じて応答の出力態様を制御することも可能である。例えば、ユーザ端末１がスマートバンドやスマートウォッチといった比較的表示領域が小さいデバイスの場合、応答出力制御部２０ｅは、情報の粒度を粗く、すなわち応答の概要を提示するよう制御する。一方、ユーザ端末１がスマートフォンやタブレット端末といった比較的表示領域が大きいデバイスの場合、応答出力制御部２０ｅは、情報の粒度を細かく、すなわち応答の詳細情報を提示するよう制御する。また、応答出力制御部２０ｅは、スマートバンドやスマートウォッチに概要を表示させると共に、スマートフォンやタブレット端末に詳細情報を表示させるといった複数のデバイスに異なる粒度で応答を提示するよう制御してもよい。

フィードバック部２０ｉは、自動生成した応答に対するユーザの行動をフィードバックとして応答生成部２０ｃやタイミング決定部２０ｄ、習慣記憶部２３に反映させることで、より適切な応答の生成や、タイミングの決定、習慣情報の蓄積を実現することができる。また、フィードバック部２０ｉは、ユーザが好きと回答したものを嗜好情報としてサーバ２が有する嗜好情報記憶部（不図示）に反映させてもよい。

（通信部２１）
通信部２１は、無線／有線により外部装置と接続し、データの送受信を行う機能を有する。本実施形態による通信部２１は、例えばユーザ端末１と接続し、ユーザの行動情報を受信したり、応答出力制御部２０ｅの制御に従って応答情報をユーザ端末１に送信したりする。

（行動情報記憶部２２）
行動情報記憶部２２は、ユーザ端末１から送信されたユーザの行動情報（位置情報および動き情報等）を記憶する。

（習慣記憶部２３）
習慣記憶部２３は、習慣解析部２０ｂにより解析されたユーザの習慣情報（行動パターン）を記憶する。

（応答記憶部２４）
応答記憶部２４は、応答生成部２０ｃにより生成されたユーザからの発話に対する応答を記憶する。

以上、本実施形態によるサーバ２の構成について具体的に説明した。なおサーバ２の構成は図３に示す例に限定されず、例えば行動情報記憶部２２、習慣記憶部２３、および応答記憶部２４が外部サーバに設けられていてもよい。

＜＜３．動作処理＞＞
続いて、本実施形態による情報処理システムの動作処理について、図４〜図７を参照して具体的に説明する。

＜３−１．習慣解析処理＞
図４は、本実施形態による習慣解析処理を示すフローチャートである。図４に示すように、まず、ステップＳ１０３において、ユーザ端末１はユーザの行動情報を検知する。上述したように、ユーザの行動情報は、現在位置計測部１３による位置情報、動き検知部１４による動き情報が含まれる。また、ユーザ端末１は、検知したユーザの行動情報をサーバ２に送信する。行動情報の送信は継続的にリアルタイムで行われ得る。

次に、ステップＳ１０６において、サーバ２の行動情報記憶制御部２０ａは、ユーザ端末１から送信された行動情報を行動情報記憶部２２に記憶する。

次いで、ステップＳ１０９において、サーバ２の習慣解析部２０ｂは、行動情報記憶部２２に蓄積された行動情報に基づいて、習慣（すなわち行動パターン）を解析する。例えば習慣解析部２０ｂは、過去１カ月や１週間の行動情報に基づいて、平日・休日における時間帯別の行動パターンを解析する。

そして、ステップＳ１１２において、サーバ２の習慣記憶部２３は、習慣解析部２０ｂによる解析結果である習慣情報（例えば時間軸に場所・事柄を対応付けた情報）を記憶する。

＜３−２．応答処理＞
図５は、本実施形態による応答処理を示すフローチャートである。図５に示すように、まず、ステップＳ１２３において、ユーザ端末１はユーザの行動情報を検知し、サーバ２に送信する。

次に、ステップＳ１２６において、サーバ２の行動情報記憶制御部２０ａは、ユーザ端末１から送信された行動情報を行動情報記憶部２２に記憶する。

次いで、ステップＳ１２９において、サーバ２の応答生成部２０ｃは、習慣記憶部２３からユーザの習慣情報の読み出しを行う。

次に、ステップＳ１３２において、応答生成部２０ｃは、ユーザ端末１から送信されたユーザの行動情報と、習慣記憶部２３から読み出した習慣情報とを比較して、ユーザの行動が習慣と異なるか否かを判断する。具体的には、例えば応答生成部２０ｃは、ユーザがいつも行く場所と異なる場所に居るか、また、ユーザの動き（活動量）がいつもと異なるかを判断する。

次いで、習慣と異なる場合（ステップＳ１３２で「Ｙｅｓ」）、ステップＳ１３５において、応答生成部２０ｃは、異なる行動に対する応答を生成する。この際、応答生成部２０ｃは、必要に応じて習慣記憶部２３から読み出した習慣情報を用いて、いつも行く店と同カテゴリの店の情報を生成してもよい。また、応答生成部２０ｃは、いつもより活動量が多い場合や、いつも座れる電車で座れなかった場合、いつもより帰宅時間が遅かった場合等は、呼びかけや、労り・同調の言葉を応答として生成してもよい。

次に、ステップＳ１３８において、タイミング決定部２０ｄは、応答生成部２０ｃで生成された応答のユーザへの出力タイミングを決定する。

次いで、決定されたタイミングになった場合（Ｓ１４１で「Ｙｅｓ」）、ステップＳ１４４において、応答出力制御部２０ｅは、応答をユーザ端末１からユーザへ出力するよう制御する。応答の出力は、音声出力や表示出力により行われ得る。

＜３−３．応答蓄積処理および再応答処理＞
図６は、本実施形態による応答蓄積処理を示すフローチャートである。図６に示すように、まず、ステップＳ２０３において、ユーザ端末１の入力部１２によりユーザからの発話（音声入力）が検知され、サーバ２に送信される。

次いで、ステップＳ２０６において、サーバ２の音声認識部２０ｆは、ユーザ端末１から送信された音声の認識を行い、音声を文字データへ変換する。

次に、ステップＳ２０９において、意味解析部２０ｇは、音声認識部２０ｆにより変換された文字データの意味（発話の内容）を抽出する。

次いで、ステップＳ２１２において、応答生成部２０ｃは、意味解析部２０ｇにより抽出されたユーザによる発話の意味、すなわち発話内容に対する応答を生成する。例えば応答生成部２０ｃは、ユーザからの発話が天候情報の発話である場合、意味解析部２０ｇにより抽出した日時および場所の天候情報を応答として生成する。

次に、ステップＳ２１５において、応答出力制御部２０ｅは、応答生成部２０ｃにより生成された応答をユーザ端末１からユーザに出力するよう制御する。

次いで、ステップＳ２１８において、制御部２０は、応答内容を応答記憶部２４に記憶する。この際、制御部２０は、応答内容が未来の天候情報等の今後変化する可能性がある応答内容の場合、○日までに天候変化時は要回答といった付加情報を付けて応答記憶部２４に記憶する。

なお、制御部２０は、ユーザからの発話がユーザの好みに関するものである場合、サーバ２が有する嗜好情報記憶部（不図示）にユーザの嗜好情報として記憶してもよいし、習慣記憶部２３に習慣として反映させてもよい。例えば「毎朝コーヒーショップに行くのが楽しいな」といった好みの発話の場合、制御部２０は、習慣として習慣記憶部２３に反映させることができる。

図７は、本実施形態による再応答処理を示すフローチャートである。図６を参照して上述したように、一度行った応答が応答記憶部２４に記憶されているため、サーバ２は、その後応答内容に変化があった場合には再度応答を行うことが可能である。

具体的には、まず、ステップＳ２２３において、応答生成部２０ｃは、応答記憶部２４に記憶した応答内容に変化があったか否かを判断する。例えば応答生成部２０ｃは、週末の天候情報について応答した後、週末が到来する前に天候情報に変化が生じた場合、応答内容に変化ありと判断する。

次いで、応答内容に変化があった場合（Ｓ２２３で「Ｙｅｓ」）、ステップＳ２２６において、応答生成部２０ｃは、新たな応答を生成する。

次に、ステップＳ２２９において、タイミング決定部２０ｄは、再度生成した応答の出力タイミングを決定する。

次いで、決定されたタイミングになった場合（Ｓ２３２で「Ｙｅｓ」）、ステップＳ２２９において、応答出力制御部２０ｅは、応答生成部２０ｃにより再度生成された応答をユーザ端末１からユーザに出力するよう制御する。

そして、ステップＳ２３２において、制御部２０は、応答記憶部２４に記憶された応答情報を更新する。

以上、本実施形態による動作処理について具体的に説明した。続いて、本実施形態による応答の提示例について説明する。本実施形態によるユーザ端末１での応答の提示は、スピーカ１６からの音声出力であってもよいし、表示部１５からの表示出力であってもよい。以下では、表示出力の場合における応答表示画面の具体例について図８〜図１２を参照して説明する。

＜＜４．応答提示例＞＞
図８は、スマートアイグラス１ａの場合における応答表示例を示す図である。図８に示すように、ユーザ端末１がスマートアイグラス１ａにより実現されている場合、スマートアイグラス１ａをユーザが装着した場合にユーザの眼前に位置するレンズ部が表示部１５ａに相当する。表示部１５ａは透過性を有し、ユーザは表示部１５ａを介して現実空間を視認しつつ、表示部１５ａに表示された画像も見ることができる。

スマートアイグラス１ａは、サーバ２から送信された応答データに基づいて、図８に示すように、ユーザの視界を邪魔しないよう表示部１５ａの端に応答画像３２を表示する。応答画像３２は、ユーザが通勤／通学時に電車移動の習慣がある場合に、鉄道事故が生じたこと（「おはよう！○○線でトラブルだって！」）及び労り・同調の言葉（「大丈夫？影響ないといいけど」）を出発前のタイミングで提示するものである。また、図８に示す応答画像３２はキャラクタを含み、キャラクタから応答が発せられるように見せてもよい。当該キャラクタはユーザの好みに応じて変更可能である。

図９は、スマートフォン１ｂの場合における応答表示例を示す図である。図９に示すように、ユーザ端末１がスマートフォン１ｂにより実現されている場合、スマートフォン１ｂは、サーバ２から送信された応答データに基づいて、表示部１５ｂに応答画像３４を表示する。また、併せて戻るボタン３６が表示されてもよい。

応答画像３４は、ユーザが通勤／通学時に徒歩や自転車移動の習慣がある場合に、雨が降っていることに応じた労り・同調の言葉（「おはよう！雨で通勤大変だね。あんまり濡れずにすみますように」）を出発前のタイミングで提示するものである。また、図９に示す応答画像３４はキャラクタを含み、キャラクタから応答が発せられるように見せてもよい。当該キャラクタはユーザの好みに応じて変更可能である。

図１０は、部屋での応答表示例を示す図である。上述した実施形態では、ユーザ端末１の表示部１５で応答画像が表示される場合について説明したが、本実施形態はこれに限定されず、出力部の一例として、部屋の壁や天井に埋め込まれたディスプレイ、または部屋の壁や天井に画像投影するプロジェクタ１５’を用いてもよい。図１０に示す例では、部屋の壁にプロジェクタ１５’により応答画像３８が投影されている様子を示す。プロジェクタ１５’は、例えばユーザ端末１がスマートフォン１ｂにより実現されている場合に、スマートフォン１ｂとＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）で無線接続し、スマートフォン１ｂの出力部として機能し得る。

図１１は、複数のユーザ端末１で連携する応答表示例を示す図である。例えばユーザがスマートウォッチ１ｃ（またはスマートバンド等）を腕に装着し、かつ、鞄やポケットにスマートフォン１ｂを入れて所持している場合、サーバ２は複数のデバイスに各デバイスに応じた粒度で応答データを表示するよう制御してもよい。若しくは、スマートフォン１ｂとスマートウォッチ１ｃがＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）で無線接続して連携している場合、スマートフォン１ｂはサーバ２から送信された応答データの粒度を調整してスマートウォッチ１ｃの表示部１５ｃに応答概要を表示するよう制御してもよい。スマートウォッチ１ｃの表示部１５ｃは比較的表示領域が小さく、一方のスマートフォン１ｂの表示部１５ｂは比較的表示領域が大きいため、スマートウォッチ１ｃでは応答の概要を表示し、スマートフォン１ｂに応答の詳細を表示することでデバイスに応じた適切な表示態様を実現できる。

これによりユーザは、図１１に示すように、スマートウォッチ１ｃの表示部１５ｃでは応答画像４０により応答の概要を確認し、詳しい情報はスマートフォン１ｂの表示部１５ｂに表示された応答画像４２で確認することができる。

応答画像４０および応答画像４２は、ユーザがいつも行く場所とは異なる場所を訪れた際に、普段は毎朝コーヒーショップに行く習慣があることに基づいて、近くに存在するコーヒーショップの情報を朝に提示するものである。応答画像４０は、比較的表示領域が小さいスマートウォッチ１ｃの表示部１５ｃに表示されるため、「いつも行くＳコーヒーがあるよ」といった、コーヒーショップの存在有無のみを示す。一方、応答画像４２は、比較的表示領域が大きいスマートフォン１ｂの表示部１５ｂに表示されるため、コーヒーショップの場所を示す地図画像や店の営業時間等の詳細情報を示すことが可能である。

なお、上述した各応答提示例では、メッセージと共にキャラクタを表示しているが、当該キャラクタの表情をメッセージ内容に応じて変化させることも可能である。図１２は、メッセージに応じたキャラクタ様相例を示す図である。図１２に示すように、例えばメッセージに「悲しい」「残念」「大変」といった言葉が含まれる場合には、キャラクタの様相を残念な表情に変化させ、「楽しい」「嬉しい」「良かった」といった言葉が含まれる場合には、キャラクタの様相を楽しい表情に変化させる。このように、キャラクタの様相をメッセージに応じた感情（喜び、悲しみ、怒り、諦め、驚き、嫌悪、恐怖など）を示す表情に変化させることで、癒しや労りの効果を高めることができる。

＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、ユーザの行動情報に基づき、普段と異なる行動に対して応答することで、ユーザが欲しいであろう情報を適切なタイミングで提示することを可能とする。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述したユーザ端末１、サーバ２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ユーザ端末１、サーバ２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、図１に示すように、本実施形態による情報処理システムはユーザ端末１とサーバ２を含む構成として説明したが、本実施形態はこれに限定されず、情報処理システムがユーザ端末１で実現されてもよい。すなわち、図３に示すサーバ２の構成をユーザ端末１が備え、ユーザ端末１において、ユーザの行動情報に基づいて普段と異なる行動に対して応答を生成し、提示することが可能となる。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、
前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、
前記生成された応答の出力タイミングを決定する決定部と、
を備える、情報処理装置。
（２）
前記生成部は、前記異なる行動に対して、ユーザの前記行動パターンまたは嗜好情報に基づいてユーザに提示する場所情報を生成する、前記（１）に記載の情報処理装置。
（３）
前記生成部は、前記異なる行動に対する呼びかけを生成する、前記（１）または（２）に記載の情報処理装置。
（４）
前記生成部は、前記異なる行動に対する同調または労りのコメントを生成する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記生成部は、特殊な天候に応じた助言、通知、呼びかけ、同調、または労りのコメントを生成する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記行動情報は、ユーザの位置情報または動き情報である、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記動き情報は、歩数、歩いた時間、走った時間、乗車時間、立っていた時間、または座っていた時間を示す活動量情報である、前記（６）に記載の情報処理装置。
（８）
前記決定部は、前記異なる行動が検知された際に、前記異なる行動に対する応答を即時出力するよう出力タイミングを決定する、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記決定部は、前記異なる行動に対する応答を、ユーザの行動または行動パターンに応じた所定のタイミングに決定する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記応答は、音声出力または表示出力される、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記応答は、出力デバイスの表示領域の大きさに対応した情報粒度で出力される、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記情報処理装置は、ユーザからの問い合わせに対して行った応答を記憶する応答記憶部をさらに備え、
前記生成部は、前記記憶した応答の内容に変化が生じた場合、再度応答を生成する、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
蓄積された行動情報に基づいて、所定期間内における行動パターンを解析することと、
前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成することと、
前記生成された応答の出力タイミングを決定することと、
を含む、制御方法。
（１４）
コンピュータを、
蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、
前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、
前記生成された応答の出力タイミングを決定する決定部と、
として機能させるための、プログラム。

１ ユーザ端末
１０ 制御部
１１ 通信部
１２ 入力部
１３ 現在位置計測部
１４ 動き検知部
１５ 表示部
１６ スピーカ
１７ 記憶部
２ サーバ
２０ 制御部
２０ａ 行動情報記憶制御部
２０ｂ 習慣解析部
２０ｃ 応答生成部
２０ｄ タイミング決定部
２０ｅ 応答出力制御部
２０ｆ 音声認識部
２０ｇ 意味解析部
２０ｈ 天候情報取得部
２０ｉ フィードバック部
２１ 通信部
２２ 行動情報記憶部
２３ 習慣記憶部
２４ 応答記憶部

Claims (14)

1. 蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、
   前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、
   前記生成された応答の出力タイミングを決定する決定部と、
   を備える、情報処理装置。
2. 前記生成部は、前記異なる行動に対して、ユーザの前記行動パターンまたは嗜好情報に基づいてユーザに提示する場所情報を生成する、請求項１に記載の情報処理装置。
3. 前記生成部は、前記異なる行動に対する呼びかけを生成する、請求項１に記載の情報処理装置。
4. 前記生成部は、前記異なる行動に対する同調または労りのコメントを生成する、請求項１に記載の情報処理装置。
5. 前記生成部は、特殊な天候に応じた助言、通知、呼びかけ、同調、または労りのコメントを生成する、請求項１に記載の情報処理装置。
6. 前記行動情報は、ユーザの位置情報または動き情報である、請求項１に記載の情報処理装置。
7. 前記動き情報は、歩数、歩いた時間、走った時間、乗車時間、立っていた時間、または座っていた時間を示す活動量情報である、請求項６に記載の情報処理装置。
8. 前記決定部は、前記異なる行動が検知された際に、前記異なる行動に対する応答を即時出力するよう出力タイミングを決定する、請求項１に記載の情報処理装置。
9. 前記決定部は、前記異なる行動に対する応答を、ユーザの行動または行動パターンに応じた所定のタイミングに決定する、請求項１に記載の情報処理装置。
10. 前記応答は、音声出力または表示出力される、請求項１に記載の情報処理装置。
11. 前記応答は、出力デバイスの表示領域の大きさに対応した情報粒度で出力される、請求項１に記載の情報処理装置。
12. 前記情報処理装置は、ユーザからの問い合わせに対して行った応答を記憶する応答記憶部をさらに備え、
    前記生成部は、前記記憶した応答の内容に変化が生じた場合、再度応答を生成する、請求項１に記載の情報処理装置。
13. 蓄積された行動情報に基づいて、所定期間内における行動パターンを解析することと、
    前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成することと、
    前記生成された応答の出力タイミングを決定することと、
    を含む、制御方法。
14. コンピュータを、
    蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、
    前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、
    前記生成された応答の出力タイミングを決定する決定部と、
    として機能させるための、プログラム。

Images