JP2006345269A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】通信相手のユーザのいまの状態を知り、その状態に応じた処理を行うことができるようにする。
【解決手段】携帯電話機１にはセンサが内蔵されており、センサデータに基づいて携帯電話機１を持っているユーザの行動が認識される。「歩き」、「走り」、「静止」、「車に乗っている」などの行動がユーザの行動として認識される。認識結果はプレゼンス状態情報に含められ、携帯電話機２に送信される。携帯電話機２にはそれぞれの行動をとるキャラクタのデータが用意されており、送信されてきたプレゼンス状態情報により表される携帯電話機１のユーザのいまの行動に応じたアニメーションが、携帯電話機２の画面上に表示される。本発明は、ユーザの行動を認識し、認識結果を含む情報を送信する機器と通信を行うことができる機器に適用することができる。
【選択図】図１

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、通信相手のユーザのいまの状態を知り、その状態に応じた処理を行うことができるようにする情報処理装置および方法、並びにプログラムに関する。

「今なにしてるの？」。これは携帯電話機などでの通話の開始直後に通話の相手方に対する問い合わせとしてたびたび用いられるフレーズである。この問い合わせに対して「電車に乗るところ。」などとして返事があった場合、例えば、電話をかけた本人は、「またかけ直す。」と相手方に伝え、電話を切ることになる。

特許文献１には、利用者端末の次の通信可能時間をスケジュール情報から抽出し、それをサーバ上で管理する技術が開示されている。
特開２００５−５７７０６号公報

このようなやりとりは日常よく行われるものであることから、電話をかける前に、相手方のいまの状態を確認することができれば、上述したようなほとんど意味のないやりとりをする必要がなく便利であると考えられる。

電話をかける前に、携帯電話機の電子メール機能を用いてこれから電話をかけたいことを伝え、返信によって許可が得られたときに電話をかけることによって相手の都合の悪いときに電話をかけてしまうことを防止することができるが、許可を得るためだけに電子メールを送ることは煩雑である。

また、例えば自分の子供が外でなにをしているのかを親が知りたいときなど、電話をかけることや電子メールを送ることまでは必要ないけれども、相手方（この例の場合、子供）の様子を知りたいこともあり、このような場合も、相手方のいまの状態を確認することができれば便利である。

特許文献１に開示されている技術によれば、ユーザは、サーバにアクセスすることによって、利用者端末のユーザの予定（次に通信可能となる時間）を確認することができるものの、その利用者端末のユーザの、いま現在の状態をリアルタイムで確認することはできない。

本発明はこのような状況に鑑みてなされたものであり、通信相手のユーザのいまの状態を知り、その状態に応じた処理を行うことができるようにするものである。

本発明の第１の側面の情報処理装置および方法、並びにプログラムは、行動情報により表される他の情報処理装置のユーザの行動に応じたコミュニケーションツールを、他の情報処理装置のユーザとのコミュニケーションに用いるツールとして対応関係に基づいて選択し、選択したコミュニケーションツールを管理するアプリケーションを起動させる選択手段／ステップを備えることを特徴とする。

この情報処理装置および方法、並びにプログラムにおいては、行動情報により表される他の情報処理装置のユーザの行動に応じたコミュニケーションツールが、他の情報処理装置のユーザとのコミュニケーションに用いるツールとして対応関係に基づいて選択され、選択されたコミュニケーションツールを管理するアプリケーションが起動される。

本発明の第２の側面の情報処理装置および方法、並びにプログラムは、他の情報処理装置のユーザの所定の目的地への到着時刻、または所定の目的地に到着するまでの時間を、行動情報に基づいて予測する予測手段／ステップを備えることを特徴とする。

この情報処理装置および方法、並びにプログラムにおいては、他の情報処理装置のユーザの所定の目的地への到着時刻、または所定の目的地に到着するまでの時間が、行動情報に基づいて予測される。

本発明の第３の側面の情報処理装置および方法、並びにプログラムは、行動情報により表される他の情報処理装置のユーザの行動と同じ行動をとるキャラクタを、送信されてきた画像の近傍に表示させる表示制御手段／ステップを備えることを特徴とする。

この情報処理装置および方法、並びにプログラムにおいては、行動情報により表される他の情報処理装置のユーザの行動と同じ行動をとるキャラクタが、送信されてきた画像の近傍に表示される。

本発明によれば、通信相手のユーザのいまの状態を知ることができる。また、通信相手の状態に応じた処理を行うことができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の情報処理装置は、内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報（例えば、プレゼンス状態情報）を送信する他の情報処理装置（例えば、図１の携帯電話機１）との間でネットワークを介して接続される情報処理装置（例えば、図１の携帯電話機２）であって、前記他の情報処理装置において認識可能なそれぞれの行動と、コミュニケーションツールとの対応関係（例えば、図１１の推薦テーブル）を管理する管理手段（例えば、図７のテーブルDB４４）と、前記行動情報により表される前記他の情報処理装置のユーザの行動に応じたコミュニケーションツールを、前記他の情報処理装置のユーザとのコミュニケーションに用いるツールとして前記管理手段により管理される前記対応関係に基づいて選択し、選択したコミュニケーションツールを管理するアプリケーションを起動させる選択手段（例えば、図７の通信手段選択処理部４３）とを備えることを特徴とする。

請求項４に記載の情報処理方法は、内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報（例えば、プレゼンス状態情報）を送信する他の情報処理装置（例えば、図１の携帯電話機１）との間でネットワークを介して接続される情報処理装置（例えば、図１の携帯電話機２）の情報処理方法であって、前記行動情報により表される前記他の情報処理装置のユーザの行動に応じたコミュニケーションツールを、前記他の情報処理装置において認識可能なそれぞれの行動と、コミュニケーションツールとの対応関係（例えば、図１１の推薦テーブル）に基づいて前記他の情報処理装置のユーザとのコミュニケーションに用いるツールとして選択し、選択したコミュニケーションツールを管理するアプリケーションを起動させる選択ステップ（例えば、図１４のステップＳ２３）を含むことを特徴とする。

請求項５に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項４に記載の情報処理方法と同様である。

請求項６に記載の情報処理装置は、内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報（例えば、プレゼンス状態情報）を、現在位置を表す情報とともに送信する他の情報処理装置（例えば、図１の携帯電話機１）との間でネットワークを介して接続される情報処理装置（例えば、図１の携帯電話機２）であって、前記他の情報処理装置のユーザの所定の目的地への到着時刻、または前記所定の目的地に到着するまでの時間を、前記行動情報に基づいて予測する予測手段（例えば、図７の行動予測処理部４５）を備えることを特徴とする。

請求項８に記載の情報処理方法は、内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報（例えば、プレゼンス状態情報）を、現在位置を表す情報とともに送信する他の情報処理装置（例えば、図１の携帯電話機１）との間でネットワークを介して接続される情報処理装置（例えば、図１の携帯電話機２）の情報処理方法であって、前記他の情報処理装置のユーザの所定の目的地への到着時刻、または前記所定の目的地に到着するまでの時間を、前記行動情報に基づいて予測する予測ステップ（例えば、図１６のステップＳ４３）を含むことを特徴とする。

請求項９に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項８に記載の情報処理方法と同様である。

請求項１０に記載の情報処理装置は、内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報（例えば、プレゼンス状態情報）を、撮影した画像とともに送信する他の情報処理装置（例えば、図１の携帯電話機１）との間でネットワークを介して接続される情報処理装置（例えば、図１の携帯電話機２）であって、前記行動情報により表される前記他の情報処理装置のユーザの行動と同じ行動をとるキャラクタを、送信されてきた前記画像の近傍に表示させる表示制御手段（例えば、図７のBuddyプレゼンス状態認識処理部４２）を備えることを特徴とする。

請求項１１に記載の情報処理方法は、内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報（例えば、プレゼンス状態情報）を、撮影した画像とともに送信する他の情報処理装置（例えば、図１の携帯電話機１）との間でネットワークを介して接続される情報処理装置（例えば、図１の携帯電話機２）の情報処理方法であって、前記行動情報により表される前記他の情報処理装置のユーザの行動と同じ行動をとるキャラクタを、送信されてきた前記画像の近傍に表示させる表示制御ステップ（例えば、図１８のステップＳ６４）を含むことを特徴とする。

請求項１２に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１１に記載の情報処理方法と同様である。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明の一実施形態に係る通信システムの構成例を示す図である。

図１の通信システムにおいて、携帯電話機１と携帯電話機２はネットワーク４を介して接続されており、相互に通信を行うことができるようになされている。また、携帯電話機１とパーソナルコンピュータ３もネットワーク４を介して接続されており、相互に通信を行うことができるようになされている。

携帯電話機１は、加速度センサ、ジャイロセンサなどのセンサを内蔵しており、その内蔵のセンサにより取得されたセンサデータ（加速度センサデータ、ジャイロセンサデータなど）に基づいて携帯電話機１を持っているユーザの行動を認識し、認識したユーザの行動を表す情報（行動情報）を含むプレゼンス状態情報を、所定の周期で携帯電話機２とパーソナルコンピュータ３にそれぞれネットワーク４を介して送信する。

例えば、携帯電話機１においては、「歩き」、「走り」、「静止」、「車に乗っている」などの行動が携帯電話機１のユーザの行動として認識される。

携帯電話機１からのプレゼンス状態情報を受信した携帯電話機２とパーソナルコンピュータ３には、「歩き」、「走り」、「静止」、「車に乗っている」などのそれぞれの行動をとるキャラクタのアニメーションのデータが用意されている。携帯電話機１からプレゼンス状態情報が送信されてきたとき、プレゼンス状態情報により表される携帯電話機１のユーザのいまの行動に応じたアニメーションが、例えば、携帯電話機２とパーソナルコンピュータ３のそれぞれの画面上に表示される。

図２Ａ乃至Ｄは、携帯電話機２とパーソナルコンピュータ３にデータが用意されるキャラクタの例を示す図である。図２Ａ乃至Ｄのキャラクタは、「歩き」、「走り」、「静止」、「車に乗っている」をそれぞれ表す。

キャラクタの表示は携帯電話機１からプレゼンス状態情報が送信されてくる毎に必要に応じて切り替えられ、例えば、携帯電話機１のユーザが歩いている状態から走りはじめたとき、そのときに送信されてくるプレゼンス状態情報に基づいて、携帯電話機２とパーソナルコンピュータ３の画面においても、図２Ａのものから図２Ｂのものにキャラクタの表示が切り替えられる。

このようなアニメーションを見ることにより、携帯電話機２のユーザ、またはパーソナルコンピュータ３のユーザは、携帯電話機１のユーザのいまの状態を知ることができる。例えば、電話をかける前にアニメーションの表示を確認し、携帯電話機１のユーザが車に乗っているとき（図２Ｄのアニメーションが表示されているとき）に電話をかけないようにすることにより、携帯電話機２のユーザは、携帯電話機１のユーザの都合の悪いときに電話をかけないで済む。

図３は、携帯電話機２に表示される画面の例を示す図である。

図３の例においては、アドレス帳に登録されている「村田」、「趙」、「Brian」のそれぞれの名前の右方に、「村田」、「趙」、「Brian」が有するそれぞれの機器から送信されてきたプレゼンス状態情報から確認された行動を表すキャラクタ２Ａ乃至２Ｃが表示されている。図１の通信システムには、携帯電話機１と同様の機能を有する機器がネットワーク４に複数接続されており、図３に示すように、それらの機器から送信されてきたプレゼンス状態情報に基づいて、複数の人の行動を表すアニメーションがそれぞれ表示される。

図３の例においては、「村田」は、いま走っている状態であることがキャラクタ２Ａにより表されており、この表示から、携帯電話機２のユーザは、「村田」が忙しくしていることを確認することができ、電話をかけるのであればあとにしておこうと判断することができる。

また、図３の例においては、「趙」は、いま「静止」している状態であることがキャラクタ２Ｂにより表されており、この表示から、携帯電話機２のユーザは、「趙」がじっとしていることを確認することができ、いま電話をかけようと判断することができる。

同様に、図３の例においては、「Brian」は、いま「車にのっている」状態であることがキャラクタ２Ｃにより表されており、この表示から、携帯電話機２のユーザは、「Brian」が車に乗っていることを確認することができ、要件を電話で伝えるのではなく、電子メールで伝えておこうと判断することができる。

図４は、パーソナルコンピュータ３に表示される画面（ウインドウの表示）の例を示す図である。

図４の例においては、インスタントメッセージのウインドウが表示されており、その中に、「たまご」、「ふじお」、「あきら」が有するそれぞれの機器から送信されてきたプレゼンス状態情報から確認された行動を表すキャラクタ３Ａ乃至３Ｃが表示されている。

図４の例においては、「たまご」は、いま「車にのっている」状態であることがキャラクタ３Ａにより表されており、「ふじお」は、いま走っている状態であることがキャラクタ３Ｂにより表されている。

「あきら」は、いま「静止」している状態であることがキャラクタ３Ｃにより表されている。図４の例において、「あきら」の名前の隣には、「K-005 会議室」の文字が表示されているが、これは、「あきら」が、自分の機器から、プレゼンス状態情報に含めて送信した自分の居場所の情報に基づいて表示されたものである。

このように、プレゼンス状態情報には、ユーザの行動を表す情報だけでなく、各種の情報を含めて他の機器に送信するようにすることができる。

また、図４の例においては、「たまご」、「ふじお」、「あきら」のそれぞれの設定の状況として、ウインドウの右端に「場所を通知しない」、「通知しない」、「すべて通知する」の文字が表示されているが、これは、プレゼンス状態情報に含めて送信した情報のうち、どの情報までを相手方（プレゼンス状態情報を受信した機器）において表示されるようにするのかの設定の状況を表す。

例えば、「あきら」は「すべてを通知する」を設定しているから、パーソナルコンピュータ３においては、プレゼンス状態情報に含めて「あきら」の機器から送信されてきた情報に基づいて、「あきら」の行動を表すキャラクタ３Ｃだけでなく、居場所までが表示されている。すなわち、プレゼンス状態情報の送信元の機器のユーザは、プレゼンス状態情報を受信した機器においてどこまでの情報が公開されるのかを設定することができ、プレゼンス状態情報にはその設定の状況を表す情報も含まれる。

以上のような、送信されてきたプレゼンス状態情報に基づいて図３、図４に示すような画面を表示させる携帯電話機２やパーソナルコンピュータ３の機能は、携帯電話機１にも用意されている。また、反対に、内蔵するセンサからの出力に基づいて行動を認識し、認識した行動を表す情報を含むプレゼンス状態情報を他の機器に送信する携帯電話機１の機能は、携帯電話機２やパーソナルコンピュータ３にも用意されている。

従って、携帯電話機１のユーザも、携帯電話機１に表示される画面から、携帯電話機２のユーザやパーソナルコンピュータ３のユーザの状態を確認することができる。

なお、以上の例においては、プレゼンス状態情報の送信元の機器は、「歩き」、「走り」、「静止」、「車に乗っている」の４つの行動を認識することができるものとしたが、加速度センサ、ジャイロセンサだけでなく、マイクロフォンにより収音された音声などの様々なセンサにより得られるセンサデータや現在時刻などにも基づいて、「歩き」、「走り」、「静止」、「車に乗っている」以外の行動が認識されるようにしてもよい。

図５は、認識結果の例を示す図である。

例えば、図５の左側に示すように、マイクロフォンにより収音された音の音量から「静か」であることが得られ、時計の出力から現在時刻が「昼間」であることが得られ、さらに、加速度センサ、ジャイロセンサの出力から「移動なし」であることが得られたステータスＳ₁に示すような状態の場合、ユーザのいまの行動（状態）は「のんびり中」として判断され、それを表す情報を含むプレゼンス状態情報が送信される。

プレゼンス状態情報を受信した機器においては、「のんびり中」であるから、プレゼンス状態情報の送信元のユーザは、いま、チャットを行うことが可能であると判断され、チャットを管理するアプリケーションが自動的に（ユーザの操作によらずに）起動される。後述するように、プレゼンス状態情報を受信した機器においては、そのプレゼンス状態情報の送信元のユーザとのコミュニケーションをとるためのツールが、プレゼンス状態情報の送信元のユーザのいまの状態に応じて自動的に選択されるようになされている。

また、図５の中央に示すように、例えば、マイクロフォンにより収音された音の音量から「静か」であることが得られ、時計の出力から現在時刻が「夜間」であることが得られ、さらに、加速度センサ、ジャイロセンサの出力から「移動なし」であることが得られたステータスＳ₂に示すような状態の場合、ユーザのいまの状態は「おやすみ中」として判断され、それを表す情報を含むプレゼンス状態情報が送信される。

プレゼンス状態情報を受信した機器においては、「おやすみ中」であるから、プレゼンス状態情報の送信元のユーザは、いま、チャットを行うことが不可能であると判断される。この場合、例えば、メールを行うことが可能であると判断され、メールを管理するアプリケーション（メーラ）が起動される。

同様に、図５の右側に示すように、例えば、加速度センサ、ジャイロセンサの出力から「猛ダッシュ中」であるとして判断されたステータスＳ₃に示すような状態の場合、それを表す情報を含むプレゼンス状態情報が送信される。

プレゼンス状態情報を受信した機器においては、「猛ダッシュ中」であるから、プレゼンス状態情報の送信元のユーザは、いま、チャットを行うこと、および電話をかけることが不可能であると判断される。この場合も、例えば、メールを行うことが可能であると判断され、メーラが起動される。

以上のようなプレゼンス状態情報の送受信や、相手方のユーザの状態に応じた処理を行うそれぞれの機器の動作についてはフローチャートを参照して後述する。

図６は、図１の携帯電話機１のハードウェア構成例を示すブロック図である。

センサ部１１は、加速度センサ、ジャイロセンサ、GPS(Global Positioning System)センサなどよりなり、所定の周期で測定を行い、測定結果である加速度センサデータ、ジャイロセンサデータ、GPSセンサデータなどのセンサデータを行動認識部１２とメイン処理部１３に出力する。センサ部１１を構成する加速度センサは、例えば、互いに直交する３軸方向の加速度を測定可能なものとされる。また、ジャイロセンサは、例えば、互いに直交する３軸周りの角速度を測定可能なものとされる。

行動認識部１２は、後に詳述するように、センサ部１１から供給されてきたセンサデータから特徴を抽出し、抽出した特徴の時系列に基づいて、ユーザの行動を、あらかじめ用意されているHMM(Hidden Markov Model)を参照して認識する。行動認識部１２は、認識結果を表す情報をメイン処理部１３に出力する。

メイン処理部１３は、携帯電話機１の全体の動作を制御し、例えば、行動認識部１２から供給されてきた行動の認識結果を表す情報を含むプレゼンス状態情報を生成し、生成したプレゼンス状態情報を、あらかじめ登録されている機器に通信部１４から送信させる。送信先としては、例えば、アドレス帳に登録されている機器、インスタントメッセージを管理するアプリケーションに登録されている機器が選択される。

また、メイン処理部１３は、他の機器から送信されてきたプレゼンス状態情報が通信部１４において受信され、それが供給されてきたとき、他の機器のユーザの行動を確認し、確認した行動を表すキャラクタを表示部１５に表示させる。さらに、メイン処理部１３は、他の機器から送信されてきたプレゼンス状態情報により表される他の機器のユーザの行動に応じて、そのユーザとのコミュニケーションに用いるツール（通信手段）を選択し、選択したコミュニケーションツールを管理するアプリケーションを起動させたりする。

後述するように、メイン処理部１３には、それぞれの行動と、それぞれの行動のときに用いるのに適したコミュニケーションツールの対応関係を表す推薦テーブルが用意されており、それが参照されて、他の機器のユーザのいまの行動に適したコミュニケーションツールが選択される。

通信部１４は、メイン処理部１３から供給されてきた情報をネットワーク４を介して他の機器に送信するとともに、他の機器からネットワーク４を介して送信されてきた情報を受信し、メイン処理部１３に出力する。

表示部１５はLCD(Liquid Crystal Display)などよりなり、メイン処理部１３による制御に従って、キャラクタ（キャラクタが表示される画面）などを表示させる。

記憶部１６はHDD(Hard Disk Drive)などよりなり、キャラクタを表示するためのデータなどの各種のデータを記憶する。

図７は、携帯電話機１のソフトウェア構成例（機能構成例）を示すブロック図である。図７に示す機能部のうちの少なくとも一部は、図６のメイン処理部１３により所定のプログラムが実行されることによって実現される。

以下、適宜、携帯電話機１において扱われる携帯電話機１のユーザの状態（行動）をMyプレゼンス状態といい、携帯電話機１のユーザの仲間にあたる、携帯電話機２やパーソナルコンピュータ３などの他の機器のユーザの状態をBuddyプレゼンス状態という（反対に、例えば携帯電話機２から見れば、携帯電話機２のユーザの状態はMyプレゼンス状態となり、携帯電話機２のユーザの仲間にあたる、携帯電話機１やパーソナルコンピュータ３などの他の機器のユーザの状態はBuddyプレゼンス状態となる）。

図７に示すように、携帯電話機１は、基本的に、他の機器に対するプレゼンス状態情報の送信を行う送信処理部２１と、他の機器から送信されてきたプレゼンス状態情報に基づく各種の処理を行う受信処理部２２とからなる。

送信処理部２１は、特徴抽出処理部３１、行動認識処理部３２、HMM DB３３、Myプレゼンス状態認識処理部３４、およびプレゼンス状態情報送信部３５から構成される。このうちの実線で囲んで示す特徴抽出処理部３１、行動認識処理部３２、HMM DB３３は、図６の行動認識部１２により実現される。

特徴抽出処理部３１は、例えば、加速度センサから供給されてきた加速度センサデータと、ジャイロセンサから供給されてきたジャイロセンサデータから特徴を抽出し、抽出した特徴を表す特徴データを行動認識処理部３２に出力する。

具体的には、特徴抽出処理部３１は、図８Ａに示すように、加速度センサデータから歩行の周波数（Impulse pitch）を特徴の１つとして求める。図８Ａのサンプル結果においては、横軸が時刻（加速度センサ１１のサンプル数）、縦軸が周波数（Hz）となっている。人が歩くときに加速度センサにより測定される周波数は一般的に２Hz（１秒間に２歩）であるから、この２Hzの測定結果の時系列などから、認識結果としての「歩き」がHMMが参照されて得られる。

また、特徴抽出処理部３１は、図８Ｂに示すように、加速度センサデータから歩行の強さ、衝撃の度合い（Impulse magnitude）を特徴の１つとして求める。図８Ｂのサンプル結果においては、横軸が時刻、縦軸が強さとなっている。

さらに、特徴抽出処理部３１は、図８Ｃに示すように、加速度センサデータから重力軸を求め、ジャイロセンサデータから求められる、重力軸まわりの回転角（Heading）を特徴の１つとして求める。加速度センサが重力軸に対して水平方向の加速度を検出する状態にある場合にはその出力は０となり、一方、重力軸に対して水平方向以外の方向の加速度を検出する状態にある場合には所定の値が測定されるから、上述したように、３軸方向の加速度を測定することができるようになされているときには、それぞれの方向の加速度の測定結果から重力軸を求めることが可能となる。なお、図８Ｃのサンプル結果においては、横軸が時刻、縦軸が回転角となっている。

例えば、以上のような各種の特徴が特徴抽出処理部３１においてセンサデータに基づいて抽出される。抽出された特徴を表す特徴データは、抽出される毎に、行動認識処理部３２に順次出力される。

行動認識処理部３２は、特徴抽出処理部３１から供給されてきた特徴データを所定の量だけ蓄積し、蓄積した特徴データの時系列に基づいて、携帯電話機１のユーザの行動をHMM DB３３に用意されているHMMを参照して認識する。

HMM DB３３には、例えば、人が歩いているときの加速度センサデータとジャイロセンサデータから抽出された特徴に基づいて生成された、「歩き」を認識するために用いられるモデル、人が走っているいるときの加速度センサデータとジャイロセンサデータから抽出された特徴に基づいて生成された、「走り」を認識するために用いられるモデル、人が静止しているときの加速度センサデータとジャイロセンサデータから抽出された特徴に基づいて生成された、「静止」を認識するために用いられるモデル、人が車に乗っているときの加速度センサデータとジャイロセンサデータから抽出された特徴に基づいて生成された、「車に乗っている」を認識するために用いられるモデルなどがあらかじめ用意されている。

行動認識処理部３２により認識された「歩き」、「走り」、「静止」、「車に乗っている」などの行動の認識結果を表す情報はMyプレゼンス状態認識処理部３４に出力される。

図９は、行動認識部１２による行動認識を模式的に示す図である。

生データ（raw data）としての加速度センサデータとジャイロセンサデータに対してはキャリブレーションが施され、キャリブレーションが施されることによって得られたデータから、上述したような、歩行ピッチ、歩行の強さ、重力、進行方向が特徴量（low level context）として取得される。また、取得されたそれらの特徴量に基づいて、HMMが参照され、ユーザの行動（high level context）が統計学的に認識される。

なお、行動認識のアルゴリズムは上述したものに限られず、各種のアルゴリズムにより行われるようにしてもよい。

図１０は、センサデータ、特徴量、認識結果の例を時系列的に示す図である。

図１０の例においては、「歩き」、「走り」、「歩き」、「走り」、「静止」、「歩き」、「静止」の順に行動の認識結果が取得されている。このようなそれぞれの認識結果には、例えば、その認識結果を得るために用いられたセンサデータの測定時刻が付加され、プレゼンス状態情報のうちの行動を表す情報として用いられる。

図７の説明に戻り、Myプレゼンス状態認識処理部３４は、行動認識処理部３２から供給されてきた行動の認識結果を含むプレゼンス状態情報を生成し、生成したプレゼンス状態情報をプレゼンス状態情報送信部３５に出力する。Myプレゼンス状態認識処理部３４は、必要に応じて、プレゼンス状態情報にGPSセンサデータなどを含める。

また、Myプレゼンス状態認識処理部３４は、適宜、行動認識処理部３２から供給されてきた行動の認識結果に基づいて、携帯電話機１のユーザの状態を表すアニメーションを表示部１５に表示させる。

プレゼンス状態情報送信部３５は、通信部１４を制御し、Myプレゼンス状態認識処理部３４により生成され、供給されてきたプレゼンス状態情報をネットワーク４を介して他の機器に送信する。

受信処理部２２は、プレゼンス状態情報取得部４１、Buddyプレゼンス状態認識処理部４２、通信手段選択処理部４３、テーブルDB４４、および行動予測処理部４５から構成される。

プレゼンス状態情報取得部４１は、他の機器からネットワーク４を介して送信されてきたプレゼンス状態情報を受信し、それをBuddyプレゼンス状態認識処理部４２に出力する。

Buddyプレゼンス状態認識処理部４２は、プレゼンス状態情報取得部４１から供給されてきたプレゼンス状態情報に基づいてBuddyプレゼンス状態（他の機器のユーザの状態）を認識し、Buddyプレゼンス状態を表すアニメーションを表示部１５に表示させる。

また、Buddyプレゼンス状態認識処理部４２は、認識したBuddyプレゼンス状態を表す情報を通信手段選択処理部４３と行動予測処理部４５に出力する。他の機器から送信されてきたプレゼンス状態情報に他の機器のユーザの現在位置を表すGPSセンサデータが含まれている場合、Buddyプレゼンス状態認識処理部４２は、そのGPSセンサデータも行動予測処理部４５に出力する。後述するように、行動予測処理部４５においては、Buddyプレゼンス状態とGPSセンサデータに基づいて、そのGPSセンサデータ等をプレゼンス状態情報に含めて送信してきた機器のユーザの目的地までの予測時間などが求められる。

さらに、Buddyプレゼンス状態認識処理部４２は、プレゼンス状態情報を送信してきた機器のユーザとのコミュニケーションに用いるツールが通信手段選択処理部４３により選択され、選択されたツールを表す情報が供給されてきたとき、適宜、その選択されたコミュニケーションツールがどれであるのかを表すメッセージなどを表示部１５に表示させ、携帯電話機１のユーザに提示する。

通信手段選択処理部４３は、Buddyプレゼンス状態認識処理部４２により認識されたBuddyプレゼンス状態に基づいて、他の機器のユーザとのコミュニケーションツールとして適したものをテーブルDB４４に記憶されている推薦テーブルを参照して選択し、選択したコミュニケーションツールを管理するアプリケーションを起動させる。

図１１は、テーブルDB４４に記憶されている推薦テーブルの例を示す図である。

図１１の推薦テーブルの例においては、各時間帯（平日の昼／夜、休日の昼／夜）の行動と、他の機器のユーザがその行動をとっているときに適したコミュニケーションツールが対応付けられている。また、図１１の例においては、携帯電話機１に用意されているコミュニケーションツールとして、電話、電子メール（電子メールの返信）、SMS(Short Message Service)（SMSの返信）、チャットが示されている。

図１１において、「○」はそのコミュニケーションツールが適していることを表し、「×」は適していないことを表す。「△」はその中間であることを表す。

例えば、時間帯が平日の昼間であり、認識されたBuddyプレゼンス状態が歩行中（「歩き」）であるときには、チャット以外の、電話、電子メール（電子メールの返信）、SMS（SMSの返信）が適したコミュニケーションツールと判断される。

従って、このように、時間帯が平日の昼間であり、認識されたBuddyプレゼンス状態が歩行中であることが他の機器から送信されてきたプレゼンス状態情報に基づいて認識されたときには、通信手段選択処理部４３により、電話、電子メール（電子メールの返信）、SMS（SMSの返信）のいずれかのコミュニケーションツールが選択され、それを管理するアプリケーションが起動される。このように複数のコミュニケーションツールが適していると判断された場合、例えば、ユーザによりあらかじめ設定された優先度の高いツールが選択される。

このような推薦テーブルが参照され、コミュニケーション相手となる他の機器のユーザのいまの状態に応じたツールが通信手段選択処理部４３により選択されることになる。なお、図１１の例においては、他の機器のユーザの行動として、歩行中（上述した「歩き」）、走っている（上述した「走り」）、座っている、立っている、乗り物（上述した「車にのっている」）が示されている。

なお、行動とコミュニケーションツールの対応関係を表す情報として、図１１に示すようなテーブル状の情報ではなく、行動を入力としてその行動に応じたコミュニケーションツールを出力とする確率モデルなどの各種の情報が用意されるようにしてもよい。

図７の説明に戻り、行動予測処理部４５は、Buddyプレゼンス状態とGPSセンサデータに基づいて、そのGPSセンサデータ等をプレゼンス状態情報に含めて送信してきた機器のユーザの目的地に到着するまでの予測時間や、目的地に到着する予測時刻を求め、例えば、そのユーザの行動履歴などとともに、地図上に、求めた予測時間や時刻を表示させる。

なお、図６と図７に示す構成は、携帯電話機１だけでなく、携帯電話機２やパーソナルコンピュータ３も有している。以下、適宜、図６と図７に示す構成を、携帯電話機２やパーソナルコンピュータ３の構成としても引用して説明する。

次に、携帯電話機１と携帯電話機２の動作についてフローチャートを参照して説明する。

以下においては、携帯電話機１がプレゼンス状態情報の送信側の機器であり、携帯電話機２がプレゼンス状態情報の受信側の機器である場合について説明するが、携帯電話機１により行われる処理は、適宜、携帯電話機２やパーソナルコンピュータ３においても行われる。また、携帯電話機２により行われる処理は、適宜、携帯電話機１やパーソナルコンピュータ３においても行われる。

はじめに、図１２のフローチャートを参照して、プレゼンス状態情報を送信する携帯電話機１の処理について説明する。

携帯電話機１のメイン処理部１３による制御に従って各種のセンサにより測定が行われ、測定結果であるセンサデータが供給されてきたとき、ステップＳ１において、行動認識部１２により行動認識処理が行われる。行動認識処理の詳細については図１３のフローチャートを参照して後述するが、この処理により、携帯電話機１のユーザのいまの行動が認識される。認識された行動を表す情報は行動認識処理部３２からMyプレゼンス状態認識処理部３４に出力される。

ステップＳ２において、Myプレゼンス状態認識処理部３４は、行動認識処理部３２から供給されてきた行動の認識結果を表す情報や、GPSセンサデータなどを含むプレゼンス状態情報を生成し、生成したプレゼンス状態情報をプレゼンス状態情報送信部３５に出力する。

ステップＳ３において、プレゼンス状態情報送信部３５は、Myプレゼンス状態認識処理部３４により生成されたプレゼンス状態情報をネットワーク４を介して携帯電話機２に送信し、処理を終了させる。

このような処理が所定の周期で繰り返し行われることにより、携帯電話機１から送信されてきたプレゼンス状態情報を受信した携帯電話機２のユーザは、携帯電話機１のユーザの状態をリアルタイムで確認することができる。

次に、図１３のフローチャートを参照して、図１２のステップＳ１において行われる行動認識処理の詳細について説明する。

ステップＳ１１において、行動認識部１２の特徴抽出処理部３１は、加速度センサの出力である加速度センサデータやジャイロセンサの出力であるジャイロセンサデータなどから、上述したような、歩行ピッチ、歩行の強さ、重力、進行方向などの特徴を抽出する。特徴抽出処理部３１により抽出された特徴を表す特徴データは行動認識処理部３２に出力される。

ステップＳ１２において、行動認識処理部３２は、特徴抽出処理部３１から供給されてきた特徴データを所定の量だけ蓄積し、蓄積した特徴データの時系列に基づいて、携帯電話機１のユーザの行動をHMM DB３３に用意されているHMMを参照して認識する。行動認識処理部３２は認識結果をMyプレゼンス状態認識処理部３４に出力し、処理を終了させる。その後、処理は図１２のステップＳ１に戻り、それ以降の処理が行われる。

次に、図１４のフローチャートを参照して、コミュニケーションツールを選択する携帯電話機２の処理について説明する。この処理は、携帯電話機１による図１２の処理に対応して行われる処理である。

ステップＳ２１において、携帯電話機２のプレゼンス状態情報取得部４１は、プレゼンス状態情報が送信されてきたか否かを判定し、送信されてきたと判定するまで待機する。

プレゼンス状態情報取得部４１は、ステップＳ２１において、プレゼンス状態情報が送信されてきたと判定した場合、ステップＳ２２に進む。携帯電話機１から送信されてきたプレゼンス状態情報は、プレゼンス状態情報取得部４１からBuddyプレゼンス状態認識処理部４２に出力される。

ステップＳ２２において、Buddyプレゼンス状態認識処理部４２は、プレゼンス状態情報取得部４１から供給されてきたプレゼンス状態情報に基づいてBuddyプレゼンス状態（携帯電話機１のユーザの状態）を認識し、認識したBuddyプレゼンス状態を表す情報を通信手段選択処理部４３に出力する。

ステップＳ２３において、通信手段選択処理部４３は、Buddyプレゼンス状態認識処理部４２により認識されたBuddyプレゼンス状態に基づいて、携帯電話機１のユーザとのコミュニケーションツールとして適したものをテーブルDB４４に記憶されている推薦テーブルを参照して選択する。

ステップＳ２４において、通信手段選択処理部４３は、コミュニケーションツールを自動的に選択する自動選択モードが設定されているか否かを判定し、自動選択モードが設定されていると判定した場合、ステップＳ２５に進む。

ステップＳ２５において、通信手段選択処理部４３は、ステップＳ２３で選択したコミュニケーションツールを、携帯電話機２のユーザが、携帯電話機１のユーザとの間でメッセージをやりとりするなどしてコミュニケーションをとるときに用いるツールとしてセットする。ステップＳ２４において、自動選択モードが設定されていないと判定された場合、このステップＳ２５の処理はスキップされる。

ステップＳ２６において、Buddyプレゼンス状態認識処理部４２は、ステップＳ２２で認識した携帯電話機１のユーザの状態を表すアニメーションが表示される、例えば図３に示すようなBuddyプレゼンス状態表示画面を表示部１５に表示させる。

Buddyプレゼンス状態表示画面が表示された状態で、例えば、携帯電話機２のユーザにより、携帯電話機１のユーザとの間でメッセージなどのやりとりを開始することが指示されたとき、ステップＳ２７において、通信手段選択処理部４３は、ステップＳ２５でセットしたコミュニケーションツールを管理するアプリケーションを起動させる。

これにより、携帯電話機２のユーザは、携帯電話機１のユーザのいまの状態に適したツールで、携帯電話機１のユーザとの間でコミュニケーションをとることができる。

以上においては、プレゼンス状態情報に基づいて得られた携帯電話機１のユーザの状態であるBuddyプレゼンス状態に基づいてコミュニケーションツールを選択する処理について主に説明したが、次に、Buddyプレゼンス状態に基づいて、携帯電話機１のユーザが所定の目的地に到着する時刻、または所定の目的地に到着するまでの時間を予測する処理について説明する。

図１５は、予測結果に基づいて携帯電話機２に表示される画面の例を示す図である。図１５は、携帯電話機１のユーザが目的地に到着するまでの時間が予測された場合の例を示している。

図１５の例においては、所定の範囲の地図が表示され、目的地Ｐが設定されている。この目的地Ｐは例えば携帯電話機２のユーザにより地図上から選択されたものである。

また、図１５の例においては、地図上のそれぞれの場所に、その場所で携帯電話機１のユーザがとっていた行動を表すキャラクタが表示されている。地図上のキャラクタの表示位置は、プレゼンス状態情報に含めて携帯電話機１から送信されてきたGPSセンサデータに基づいて求められる位置であり、キャラクタは、上述したように、プレゼンス状態情報により表される携帯電話機１のユーザの状態に基づいて選択されたものである。

図１５の画面上に表示されるキャラクタ６１は、それが表示されている場所に携帯電話機１のユーザがいたときに、携帯電話機１のユーザが車にのっていたことを表し、キャラクタ６２は、それが表示されている場所に携帯電話機１のユーザがいたときに、携帯電話機１のユーザが静止していたことを表す。また、キャラクタ６３，６４，６５は、それぞれのキャラクタが表示されている場所に携帯電話機１のユーザがいたときに、携帯電話機１のユーザが歩いていたことを表し、キャラクタ６６は、それが表示されている場所に携帯電話機１のユーザがいたときに、携帯電話機１のユーザが走っていたことを表す。

キャラクタ６７は携帯電話機１のユーザの現在位置と、その行動を表し、キャラクタ６７の下には、携帯電話機１のユーザの現在の行動を表す「現在：車で移動中」のメッセージが表示されている。

さらに、図１５の例においては、地図上に設定されている目的地Ｐの上に、携帯電話機２において予測された、携帯電話機１のユーザが目的地Ｐに到着するまでの時間を表す「到着予定：１０分後」のメッセージが表示されている。この予測時間は、例えば、携帯電話機１のユーザの現在位置から目的地Ｐまでの距離と、目的地Ｐに向かう速さ（例えば、プレゼンス状態情報に含めて携帯電話機１から順次送信されてくるGPSセンサデータにより表される位置の変化量から求められる速さ、または、車の予想速度）から求められる。

例えば、目的地で携帯電話機１のユーザと待ち合わせをしているにもかかわらず、待ち合わせの時刻に携帯電話機１のユーザがこない場合、携帯電話機２のユーザは、このような画面を携帯電話機２を用いて確認することにより、携帯電話機１のユーザが目的地に向かっていることや、到着するまでの時間などを確認することができる。すなわち、携帯電話機２のユーザは、携帯電話機２から電話をかけるなどして携帯電話機１のユーザにいまの状態を問い合わせる必要がない。

ここで、図１６のフローチャートを参照して、図１５に示すような画面を表示させる携帯電話機２の処理について説明する。なお、携帯電話機１においては、図１２の処理と同様の処理が行われ、GPSセンサデータを含むプレゼンス状態情報が携帯電話機２に対して繰り返し送信されている。

ステップＳ４１において、携帯電話機２のプレゼンス状態情報取得部４１は、プレゼンス状態情報が送信されてきたか否かを判定し、送信されてきたと判定するまで待機する。

プレゼンス状態情報取得部４１は、ステップＳ４１において、プレゼンス状態情報が送信されてきたと判定した場合、ステップＳ４２に進む。携帯電話機１から送信されてきたプレゼンス状態情報は、プレゼンス状態情報取得部４１からBuddyプレゼンス状態認識処理部４２に出力される。

ステップＳ４２において、Buddyプレゼンス状態認識処理部４２は、プレゼンス状態情報取得部４１から供給されてきたプレゼンス状態情報に基づいてBuddyプレゼンス状態（携帯電話機１のユーザの状態）を認識し、認識したBuddyプレゼンス状態を表す情報を、プレゼンス状態情報に含めて携帯電話機１から送信されてきたGPSセンサデータとともに行動予測処理部４５に出力する。

ステップＳ４３において、行動予測処理部４５は、Buddyプレゼンス状態認識処理部４２により認識された携帯電話機１のユーザの行動と、GPSセンサデータにより求められる携帯電話機１のユーザの現在位置から、例えば携帯電話機２のユーザにより設定された目的地への携帯電話機１のユーザの到着時刻、または目的地に到着するまでの時間を計算により予測する。到着時刻の予測には、到着までの時間を求めるときに用いられる、上述したような携帯電話機１のユーザの現在位置から目的地Ｐまでの距離と、目的地Ｐに向かう速さの他に、現在時刻も用いられる。

ステップＳ４４において、行動予測処理部４５は、ステップＳ４３で求めた携帯電話機１のユーザの目的地への到着時刻、または目的地に到着するまでの時間を表示部１５に表示させ、携帯電話機２のユーザに提示する。この提示は、例えば、図１５に示したような画面表示により行われる。

ステップＳ４５において、Buddyプレゼンス状態認識処理部４２は、ステップＳ４２で認識した携帯電話機１のユーザの状態を表すアニメーションが表示されるBuddyプレゼンス状態表示画面を表示部１５に表示させる。

例えば、プレゼンス状態情報表示画面が表示されている状態で、携帯電話機１のユーザとの間でコミュニケーションをとることが携帯電話機２のユーザにより指示されたとき、通信手段選択処理部４３は、指示されたコミュニケーションツールを管理するアプリケーションを起動させ、携帯電話機１のユーザとの間でコミュニケーションをとることを可能な状態とする。なお、携帯電話機２がコミュニケーションツールを自動的に選択する自動選択モードが設定されている場合、図１４を参照して説明した処理により、自動的に、携帯電話機１のユーザとの間でコミュニケーションをとることができる状態が設定されるようにしてもよい。

次に、携帯電話機１のユーザの状態を表すアニメーションを、携帯電話機１により撮影され、プレゼンス状態情報とともに送信されてきた画像（動画）と並べて表示させる携帯電話機２の処理について説明する。

この例においては、携帯電話機２のセンサ部１１にはカメラも設けられており、それにより撮影された画像が、携帯電話機２により認識された携帯電話機２のユーザ自身の行動を表すアニメーションと並べて表示されるようになされている。すなわち、表示される画面から、携帯電話機２のユーザは、自分自身のプレゼンス状態であるMyプレゼンス状態と、携帯電話機１のユーザ等のBuddyプレゼンス状態を確認しながら、それぞれの機器により撮影された画像を確認することができる。

図１７は、携帯電話機２に表示されるプレゼンス状態表示画面の例を示す図である。

図１７のプレゼンス状態表示画面には、右方に表示される、携帯電話機２のカメラにより撮影されている画像と、携帯電話機１を含む他の機器のカメラにより撮影されている画像の中からユーザにより選択された画像を表示するStream View８１が表示されている。

また、プレゼンス状態表示画面には、携帯電話機２のユーザに関する情報（行動と撮影された画像）が表示されるMyプレゼンス状態表示部８２と、他の機器に関する情報が一覧表示されるBuddyリスト８３が表示されている。

このうちのMyプレゼンス状態表示部８２は、携帯電話機２により認識された携帯電話機２のユーザの行動を表すアニメーションが表示されるアニメーション表示部８２Ａと、携帯電話機２のカメラにより撮影されている画像が表示される画像表示部８２Ｂからなる。アニメーション表示部８２Ａに表示されるアニメーションは、所定の周期で行われる携帯電話機２のユーザの行動の認識結果に応じて表示される。

また、図１７の例においては、Buddyリスト８３には、携帯電話機１のユーザに関する情報が表示されるBuddyプレゼンス状態表示部８３−１と、携帯電話機１以外の他の機器のユーザに関する情報が表示されるBuddyプレゼンス状態表示部８３−２が表示されている。すなわち、図１７の例は、携帯電話機２が、携帯電話機１の他に、携帯電話機１以外の機器とも通信を行っており、それらの機器から送信されてきたプレゼンス状態情報に基づいて表示される画面の例を示している。

Buddyプレゼンス状態表示部８３−１は、携帯電話機１により認識された携帯電話機１のユーザの行動を表すアニメーションが表示されるアニメーション表示部８３−１Ａと、携帯電話機１のカメラにより撮影されている画像が表示される画像表示部８３−１Ｂからなる。また、Buddyプレゼンス状態表示部８３−２は、他の機器により認識されたその機器のユーザの行動を表すアニメーションが表示されるアニメーション表示部８３−２Ａと、他の機器のカメラにより撮影されている画像が表示される画像表示部８３−２Ｂからなる。アニメーション表示部８３−１Ａ，８３−２Ａに表示されるアニメーションも、それぞれの機器から送信されてくるプレゼンス状態情報により表される、それぞれの機器のユーザの行動の認識結果に応じて表示される。

携帯電話機２のユーザは、例えば、Buddyプレゼンス状態表示部８３−１の画像表示部８３−１Ｂに表示されている画像を選択することによって、そこに表示されている画像と同じ画像をStream View８１に拡大して表示させることができる。図１７の例においては、携帯電話機２で撮影され、画像表示部８２Ｂに表示されている画像と同じ画像がStream View８１に拡大表示されている。

遠隔で撮影され、ネットワークを介して送信されてきた画像を見ることのできる画面においては、通常、その撮影者がどんな行動をとっているかなどは画面を見ているユーザは確認することができないが、このように、撮影を行っている機器から送信されてきたプレゼンス状態情報に基づくその撮影者の行動を表すアニメーションと、撮影されている画像が並べて（近くに）表示されることにより、画面を見ているユーザは、撮影されている画像だけでなく、撮影者の行動をも確認することができる。

ここで、図１８のフローチャートを参照して、図１７に示すような画面を表示させる携帯電話機２の処理について説明する。なお、携帯電話機１においては、図１２の処理と同様の処理が行われ、プレゼンス状態情報が、撮影された画像とともに携帯電話機２に対して繰り返し送信されている。

ステップＳ６１において、携帯電話機２のプレゼンス状態情報取得部４１は、プレゼンス状態情報が送信されてきたか否かを判定し、送信されてきたと判定するまで待機する。

プレゼンス状態情報取得部４１は、ステップＳ６１において、プレゼンス状態情報が送信されてきたと判定した場合、ステップＳ６２に進む。例えば携帯電話機１から送信されてきたプレゼンス状態情報は、プレゼンス状態情報取得部４１からBuddyプレゼンス状態認識処理部４２に出力される。また、携帯電話機１などの他の機器において撮影され、プレゼンス状態情報とともに送信されてきた画像もBuddyプレゼンス状態認識処理部４２に供給される。

ステップＳ６２において、Buddyプレゼンス状態認識処理部４２は、プレゼンス状態情報取得部４１から供給されてきたプレゼンス状態情報に基づいてBuddyプレゼンス状態（携帯電話機１のユーザの状態）を認識する。

ステップＳ６３において、センサ部１１を構成する各種のセンサにより測定が行われ、測定結果であるセンサデータが供給されてきたとき、携帯電話機２の行動認識部１２は行動認識処理を行う。すなわち、図１３を参照して説明した処理と同様の処理が携帯電話機２において行われ、認識結果（Myプレゼンス状態）がMyプレゼンス状態認識処理部３４に出力される。

ステップＳ６４において、Myプレゼンス状態認識処理部３４は、表示部１５の所定の位置にMyプレゼンス状態を表すアニメーションを表示させるとともに、携帯電話機２自身により撮影された画像を表示させる。Buddyプレゼンス状態認識処理部４２も同様に、表示部１５の所定の位置にBuddyプレゼンス状態を表すアニメーションを表示させるとともに、他の機器において撮影された画像を表示させる。これにより、図１７に示すようなプレゼンス状態表示画面が表示される。

プレゼンス状態表示画面が表示されている状態で携帯電話機１のユーザとメッセージをやりとりすることにより、携帯電話機２のユーザは、例えば、携帯電話機１のユーザの撮影対象について、携帯電話機１のユーザの行動を見ながらメッセージによりコミュニケーションをとったりすることができる。

以上においては、プレゼンス状態情報の送信側の機器においてユーザの行動の認識処理が行われ、認識結果が受信側の機器にプレゼンス状態情報に含められて送信されるものとしたが、センサデータがそのまま受信側の機器に送信され、その受信側の機器において、センサデータに基づく行動（送信側の機器のユーザの行動）の認識処理が行われるようにしてもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、そのソフトウェアを実行させる装置は、例えば、図１９に示されるようなパーソナルコンピュータにより構成される。

図１９において、CPU(Central Processing Unit)１０１は、ROM(Read Only Memory)１０２に記憶されているプログラム、または、記憶部１０８からRAM(Random Access Memory)１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、ネットワークを介しての通信処理を行う通信部１０９が接続されている。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続される。ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それから読み出されたコンピュータプログラムが必要に応じて記憶部１０８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図１９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（登録商標）(Mini-Disk)を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明の一実施形態に係る通信システムの構成例を示す図である。 キャラクタの例を示す図である。 携帯電話機２に表示される画面の例を示す図である。 パーソナルコンピュータ３に表示される画面の例を示す図である。 認識結果の例を示す図である。 携帯電話機１のハードウェア構成例を示すブロック図である。 携帯電話機１のソフトウェア構成例を示すブロック図である。 特徴データの例を示す図である。 行動認識を模式的に示す図である。 センサデータ、特徴量、認識結果の例を時系列的に示す図である。 推薦テーブルの例を示す図である。 携帯電話機１のプレゼンス状態情報送信処理について説明するフローチャートである。 図１２のステップＳ１１において行われる行動認識処理の詳細について説明するフローチャートである。 携帯電話機２の通信手段選択処理について説明するフローチャートである。 予測結果の表示画面の例を示す図である。 携帯電話機２の予測処理について説明するフローチャートである。 プレゼンス状態表示画面の例を示す図である。 携帯電話機２の表示処理について説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１，２ 携帯電話機， ３ パーソナルコンピュータ， １１ センサ部， １２ 行動認識部， １３ メイン処理部， １４ 通信部， １５ 表示部， １６ 記憶部， ３１ 特徴抽出処理部， ３２ 行動認識処理部， ３３ HMM DB， ３４ Myプレゼンス状態認識処理部， ３５ プレゼンス状態情報送信部， ４１ プレゼンス状態情報取得部， ４２ Buddyプレゼンス状態認識処理部， ４３ 通信手段選択処理部， ４４ テーブルDB， ４５ 行動予測処理部

Claims (12)

1. 内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報を送信する他の情報処理装置との間でネットワークを介して接続される情報処理装置において、
   前記他の情報処理装置において認識可能なそれぞれの行動と、コミュニケーションツールとの対応関係を管理する管理手段と、
   前記行動情報により表される前記他の情報処理装置のユーザの行動に応じたコミュニケーションツールを、前記他の情報処理装置のユーザとのコミュニケーションに用いるツールとして前記管理手段により管理される前記対応関係に基づいて選択し、選択したコミュニケーションツールを管理するアプリケーションを起動させる選択手段と
   を備えることを特徴とする情報処理装置。
2. 前記対応関係が、各時間帯の行動と、コミュニケーションツールとの対応を表すものである場合、
   前記選択手段は、前記行動情報により表される前記他の情報処理装置のユーザの行動の他に、さらに、現在時刻にも基づいてコミュニケーションツールを選択する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記管理手段は、前記他の情報処理装置において認識可能なそれぞれの行動と、コミュニケーションツールとの対応関係を、テーブル状の情報により管理する
   ことを特徴とする請求項１に記載の情報処理装置。
4. 内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報を送信する他の情報処理装置との間でネットワークを介して接続される情報処理装置の情報処理方法において、
   前記行動情報により表される前記他の情報処理装置のユーザの行動に応じたコミュニケーションツールを、前記他の情報処理装置において認識可能なそれぞれの行動と、コミュニケーションツールとの対応関係に基づいて前記他の情報処理装置のユーザとのコミュニケーションに用いるツールとして選択し、選択したコミュニケーションツールを管理するアプリケーションを起動させる選択ステップを含む
   ことを特徴とする情報処理方法。
5. 内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報を送信する他の情報処理装置との間でネットワークを介して接続される情報処理装置における情報処理をコンピュータに実行させるプログラムにおいて、
   前記行動情報により表される前記他の情報処理装置のユーザの行動に応じたコミュニケーションツールを、前記他の情報処理装置において認識可能なそれぞれの行動と、コミュニケーションツールとの対応関係に基づいて前記他の情報処理装置のユーザとのコミュニケーションに用いるツールとして選択し、選択したコミュニケーションツールを管理するアプリケーションを起動させる選択ステップを含む
   ことを特徴とするプログラム。
6. 内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報を、現在位置を表す情報とともに送信する他の情報処理装置との間でネットワークを介して接続される情報処理装置において、
   前記他の情報処理装置のユーザの所定の目的地への到着時刻、または前記所定の目的地に到着するまでの時間を、前記行動情報に基づいて予測する予測手段を備える
   ことを特徴とする情報処理装置。
7. 前記予測手段は、予測された前記他の情報処理装置のユーザの所定の目的地への到着時刻、または前記所定の目的地に到着するまでの時間を、前記他の情報処理装置のユーザの行動の履歴とともに表示させる
   ことを特徴とする請求項６に記載の情報処理装置。
8. 内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報を、現在位置を表す情報とともに送信する他の情報処理装置との間でネットワークを介して接続される情報処理装置の情報処理方法において、
   前記他の情報処理装置のユーザの所定の目的地への到着時刻、または前記所定の目的地に到着するまでの時間を、前記行動情報に基づいて予測する予測ステップを含む
   ことを特徴とする情報処理方法。
9. 内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報を、現在位置を表す情報とともに送信する他の情報処理装置との間でネットワークを介して接続される情報処理装置における情報処理をコンピュータに実行させるプログラムにおいて、
   前記他の情報処理装置のユーザの所定の目的地への到着時刻、または前記所定の目的地に到着するまでの時間を、前記行動情報に基づいて予測する予測ステップを含む
   ことを特徴とするプログラム。
10. 内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報を、撮影した画像とともに送信する他の情報処理装置との間でネットワークを介して接続される情報処理装置において、
    前記行動情報により表される前記他の情報処理装置のユーザの行動と同じ行動をとるキャラクタを、送信されてきた前記画像の近傍に表示させる表示制御手段を備える
    ことを特徴とする情報処理装置。
11. 内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報を、撮影した画像とともに送信する他の情報処理装置との間でネットワークを介して接続される情報処理装置の情報処理方法において、
    前記行動情報により表される前記他の情報処理装置のユーザの行動と同じ行動をとるキャラクタを、送信されてきた前記画像の近傍に表示させる表示制御ステップを含む
    ことを特徴とする情報処理方法。
12. 内蔵するセンサの出力に基づいてユーザの行動を認識し、認識したユーザの行動を表す行動情報を、撮影した画像とともに送信する他の情報処理装置との間でネットワークを介して接続される情報処理装置における情報処理をコンピュータに実行させるプログラムにおいて、
    前記行動情報により表される前記他の情報処理装置のユーザの行動と同じ行動をとるキャラクタを、送信されてきた前記画像の近傍に表示させる表示制御ステップを含む
    ことを特徴とするプログラム。

Images