JP4799120B2

JP4799120B2 - 個人の行動特性を用いた意図推測システム及び方法並びにプログラム

Info

Publication number: JP4799120B2
Application number: JP2005301041A
Authority: JP
Inventors: 仁志楓; 裕之山原; 聡子藤原; 豊司野口; 辰輔東; 博光島川
Original assignee: Uchida Yoko Co Ltd
Current assignee: Uchida Yoko Co Ltd
Priority date: 2005-10-14
Filing date: 2005-10-14
Publication date: 2011-10-26
Anticipated expiration: 2025-10-14
Also published as: JP2007109110A

Description

この発明は、タグ付けられた世界（Tagged World）における個人の行動特性を用いた意図推測システム及び方法並びに当該システム又は方法を実現するためのコンピュータプログラムに関する。

ネットワーク技術の進歩や組み込み型計算機の開発によりユビキタスな環境が整いつつあると言われているが、実際にはユビキタス環境を使いこなすのは、小型計算機やネットワーク・システムを熟知している者に限られる。真にユビキタスな世界が実現化するためには、計算機やネットワークに不慣れなユーザがいつものようにある意図に従ってふるまったときに、そのふるまいをユビキタス環境側で認識して、そのユーザの意図に適合したサービスが提供されなければならない。例えば、ユーザが外出しようとしたときには、切り忘れたエアコン電源を切り、キッチンの火の元を確認し、エレベータをユーザの住む階に遠隔で呼び出してくれるようなサービスを、特別なコマンドの送出がなくとも提供してくれるシステムが望まれる。

Anind, K, Dey, et al., CybreMinder: A Context - Aware System for Supporting Reminders. Proceedings of the 2nd International Symposium on Handheld and Ubiquitous Computing (HUC2K), 2000. Cory, D, Kidd, et al., The Aware Home: A Living Laboratory for Ubiquitous Computing Research. Proceedings of CoBuild'99, pp. 19 1-198, 1999. Matthias, Grimm, et al., Towards a Framework for Mobile Knowledge Management. Proceedings of the 4th International Conference on Practical Aspects of Knowledge Management, pp.326-338, 2002. Jani, Mantyjarvi, et al., Sensor Signal Data Set for Exploring Context Recognition of Mobile Devices. In Workshop "Benchmarks and a database for context recognition" in conjunction with the 2nd Int. Conf. on Pervasive Computing, pp. 18-23, 2004. Panu, Korpipaa, et al., Bayesian approach to sensor-based context awareness, Personal and Ubiquitous Computing, Vol.7, Issue 2, pp.1 1 3-124, 2003 . 青木茂樹,他,人物の位置・姿勢に注目した行動パターンの認識.電子情報通信学会技術報告,PRMU2002-82,WIT2002-25,PP.13-18.2002. Mike, Perkowitz, et al., Mining Models of Human Activities from the Web. Proceedings of the 13th international conference on World Wide Web, pp.573-582, 2004. Taketoshi Mori, et al., Sensing Room: Distributed Sensor Environment for Measurement of Human Daily Behavior, First International Workshop on Networked Sensing Systems (INSS2004), pp.40-43, 2004. Diane J. Cook, et al., MavHome: An Agent-Based Smart Home, IEEE International Conference on Pervasive Computing and Communications (PerCom), pp.521-524, 2003. 山原裕之,他,個人の習慣的行動における半順序関係に注目したふるまい認識手法情報科学技術フォーラム(FIT)予稿集,2005. 本村陽一,"Bayesian Network Softwares",人工知能学会論文詩V0117,No5,pp.559-565. 2002. Gregory, F, Cooper, et al., A Bayesian Method for the Induction of Probabilistic Networks from Data. Machine Learning, Vol.9, pp.309-347., 1992. Satoshi Kaede, et al., Context Aware Operation Reproduction for Safety Driving, 11th International Conference on Human-Computer Interaction (HCI), 2005. 藤原聡子,他,RFIDアクセス履歴を用いた行動パターンのモデル化,情報科学技術フォーラム(FIT)予稿集,2005. BayoNet http://www.msi.co.jp/BAYONET/

現在、現実世界の様々な「モノ」や「場所」に固有の識別子（ucode）を割り振って、それらの「モノ」や「場所」に応じた、すなわちコンテキスト・アウエアな情報の提供を目的とするコンテキスト・アウェア・アプリケーションとして、ユーザの存在場所や時刻に応じたサービスを提供することが研究されている（非特許文献１及び２）。また、多種多様なセンサを使用した、ユビキタス環境においてユーザが携帯できる端末を用いて、ユーザの支援を行う研究（非特許文献３）やユーザのコンテキストを認識する研究（非特許文献４）が行なわれている。これら人間の行動認識に加えて、過去の行動から現在の行動を推測する研究もされている（非特許文献５）。そのほかにユーザの行動を認識し、それを用いてユーザの振る舞いに応じたサービスを提案する研究が多数行なわれている。例えば、室内に周囲360度の画像を一度に撮影できる全方位センサを設置した環境で、ユーザの行動パターンをユーザが室内を移動する軌跡から画像処理技術によって抽出するものがある（非特許文献６）。また、RFID systemを利用して、人間にふるまいを指示する研究も行なわれている（非特許文献７）。

上記のように、現在、人間の動作、移動経路、存在場所を認識し、その意図を推測する研究が多くなされている。これらは、万人に共通するふるまいの特徴を使って意図を推定しようとしている。しかし、人間はそれぞれ行動特性を持っている。そのため、全ての人間に適用できる行動パターンを作成することは事実上不可能であり、そのようなパターンを作成した場合には各人の行動を高精度で認識することは困難である。

すなわち、人間は各々、癖や習慣を持っている。上述した非特許文献１乃至７の研究は人間の位置や移動履歴を取得するものであり、個人ごとの特性に基づいてユーザの行動を認識、または推測するものではない。例えば、玄関にいるユーザに対して玄関の掃除か、外出かを判断した後に外出の場合には、リビングを出る際に、忘れ物や電化製品の電源を切り、玄関を出る際にエレベータを自宅の階に呼ぶといった、種々のきめ細かいサービスを提供することはできない。このようなきめ細かいサービスを提供するためには、ユーザの持つ癖や習慣を考慮した行動の認識、推測を行う必要がある。

これに関連するものとして、ユーザの生活空間に多種多様なセンサを設置し、ユーザの行動を認識する、または推測する研究は既に行なわれている（非特許文献８及び９）。しかし、既存研究では多種多様なセンサを用いてユーザの行動を認識、推測するため、高いコストが要求される。

そこで、本発明は、ユーザが過去に行ったふるまいを用いて個人ごとの行動の特徴を抽出し、その特徴を用いてユーザの意図を推測することで、きめ細やかなサービスの提供を実現すること、及び、当該サービスを低いコストで提供することを目的とする。

この発明に係る個人の行動特性を用いた意図推測システムは、
オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、
前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯サーバと、
前記携帯サーバから前記RFIDタグの情報を受けて処理を行う処理部とを備え、
前記携帯サーバは、前記RFIDタグの読み取り可能範囲内にユーザが移動したときに前記RFIDリーダで前記RFIDタグの情報を読み取り、
前記処理部は、前記RFIDリーダで読み取った前記RFIDタグの情報に基づきユーザが触れた又は使用したオブジェクトをユーザの行動の記録として蓄積し、蓄積された前記ユーザの行動の記録を、予め作成された行動パターンと比較することによりユーザの意図を推測するものである。

この発明は、オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯サーバと、を含むシステムにより蓄積された行動の記録に基づきユーザの意図を推測する方法であって、
前記携帯サーバで、前記RFIDタグの読み取り可能範囲内にユーザが移動したときに前記RFIDリーダで前記RFIDタグの情報を読み取るステップと、
前記RFIDリーダで読み取った前記RFIDタグの情報に基づきユーザが触れた又は使用したオブジェクトをユーザの行動の記録として蓄積するステップと、
蓄積された前記ユーザの行動の記録を、予め作成された行動パターンと比較することによりユーザの意図を推測するステップと、を備えるものである。

好ましくは、さらに、複数のユーザについて蓄積された行動の記録からベイジアンネットワークを使用して行動パターン雛型を生成するステップと、
蓄積された前記ユーザの行動の記録に基づき生成された前記行動パターン雛型を洗練し、個人の癖や習慣を反映した行動特性として当該ユーザ用の行動パターンを生成するステップと、を備える。

この発明に係るプログラムは、上記方法をコンピュータに実行させるためのものである。
この発明に係るプログラムは、例えば、記録媒体に記録される。
媒体には、例えば、ＥＰＲＯＭデバイス、フラッシュメモリデバイス、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。

媒体とは、何等かの物理的手段により情報（主にデジタルデータ、プログラム）が記録されているものであって、コンピュータ、専用プロセッサ等の処理装置に所定の機能を行わせることができるものである。

本発明の実施の形態では、低価格な13.56MHz帯の近接型RFID tagをユーザの生活空間に存在するオブジェクトヘ貼り付ける。ユーザは、RFID Readerが接続された携帯型小型サーバを携帯する。ユーザが触ったオブジェクトは、RFIDシステムを使って時間順に記録される。この記録は個人の行動ログである。この行動ログと、特定の意図を持って行動するユーザが頻繁に触るオブジェクトで示した行動パターンとを比較することにより、ユーザの意図を推定する。そのため、予め個人の行動を認識するパターンを作成するための雛形を多数の人の行動履歴から生成する手法、及び、その雛形に対して個人の行動履歴を適用することで、雛形を個人ごとの行動パターンに洗練する手法を以下に説明する。

発明の実施の形態に係るシステムでカバーする空間の例を図１に示す。
図１はマンションの一室の平面図を示し、この部屋に置かれたパソコンPC、テーブルTable、テレビ受像機TVのスイッチ、キッチンKitchenのレンジのつまみ、玄関の靴箱などの複数のオブジェクトそれぞれに又はそれらの近傍にRFID tagが埋め込まれている。ユーザは携帯サーバPocket Assistantを携帯していて、それで各オブジェクトのRFID tagの情報、すなわち各オブジェクトへのユーザのアクセスの有無及びその順序（時刻）を行動の記録（行動ログ）として蓄積する。必要に応じてサーバ（処理部）を設けてもよい。サーバは、無線LANで携帯サーバと通信を行う。

図１の世界をTagged Wor1dと呼ぶことにする。Tagged Worldとは、人間の行動を認識するために家庭内に存在するオブジェクトに13.56MHz帯の近接型RFID tagが埋め込まれ、その中をRFID readerを携えたユーザが行動する世界である。認識距離が2cm程の近接型RFlDシステムを利用するため、ユーザが触ったオブジェクトを正確に記録できる。RFID readerを含みユーザが携帯するサーバをPocket Assistantと呼ぶことにする。

日常生活の中でユーザが触れたオブジェクトに貼り付けられたRFID tagがPocket Assistantに接続されたRFID readerに読み取られ、それらのログはユーザの行動の記録としてPocket Assistantに蓄積される。

さらにPocket Assistantは、RFID Tagへのアクセス履歴を蓄積するだけでなく、蓄積された行動ログを用いて個人の行動ログからそのユーザの癖や習慣を認識するこのユーザの行動特性を用いて行動を認識し、それを基にユーザの行動の意図を推測する。ユーザの意図を推測することができたPocket Assistantは、推測された意図をユビキタス環境に伝えることでユーザの行動に応じたきめ細かいサービスを提供できる。なお、この処理をサーバ（処理部）で行うようにしてもよい。

非特許文献８及び９の既存研究では、多種多様なセンサを用いてユーザの行動を認識、推測するため、高いコストが要求される、しかしTagged Worldでは、単価の安い13.56MHz帯のRFID tagを生活環境に設置し、また、ユーザはRFID readerが接続された小型携帯サーバを携帯するだけであるため既存研究に比べて安価に環境を構築することが可能である。

図２は、Tagged Wor1dを構築する際に組み込まれる機能の説明図（機能ブロック図）である。これらの機能は、例えばコンピュータシステムとソフトウエアで実現される。

図２において、Ｄ１は予め用意された多数の人の行動ログである。多数の人について、例えば、「外出」「来客」「帰宅」という行為を行ったときの行動ログが記録されている。Ｄ２は、多数の人の行動ログＤ１に基づき生成された行動パターン雛型である。行動パターン雛型Ｄ２は、アクト・アクション・ふるまいの3階層からなるノード名・親ノード名・確率値などの情報とアクトの順序を記述する順序元アクト名・順序先アクト名・順序対ポイント数などの情報を含んでいる。Ｄ３は、行動パターン雛型Ｄ２から生成されるとともに、意図の推測の対象となるユーザの実際の個人の行動ログＤ４に基づき洗練された（修正が加えられた）行動パターンである。ユーザの実際の個人の行動ログＤ４を行動パターンＤ３と比較することで当該ユーザの意図を推測する。行動パターンＤ３は、D2と同様のデータを含むが、パターンの確率値・ポイント数がD4を基に更新された情報を含んでいる。Ｄ４は、Pocket Assistantにより実際に収集された当該ユーザの個人の行動ログである（図４を参照）。個人の行動ログＤ４は、操作又は接近したオブジェクトの情報、その時刻、順番などの情報を含んでいる。
アクトの順序を2つのアクトの繋がりと考え、これを順序対と定義する。この順序対は、連続するアクトである必要はなく、これによりアクトの順序を柔軟性に表現している。図9は順序対集合の要素とデータ例を表している。1つの順序対の識別子として順序対IDを設け、順序対種別によりこの順序対が万人共通のものか個人固有のものかを判別し、個人の癖を抽出する。順序元グループ化アクト数・順序先グループ化アクト数は将来計算量軽減のため、意味のあるアクトの集合をグループ化し集合の簡略化を想定し、そのグループに属するアクトの数を定義する。順序元アクト名・順序先アクト名は2つのアクトの繋がり順序を示しており、これは順序元グループ名・順序先グループ名と置き換えることを可能とする。また、順序対ポイント数はこの順序対が出現した際に加算するポイント数である。これは、あらかじめ用意した統計的な行動毎の順序対集合と実際の行動ログの順序対集合を比較し、出現した順序対のポイント数に従い、持ち点に加算するために使用する。この持ち点がある閾値以上になるとその行動と判定する。

１０は、多数の人の行動ログD1を統計的にマイニングし、標準的な行動パターンとなる行動パターン雛形D2を抽出する行動パターン雛型生成機能である。
１１は、行動パターンD3を基に個人の行動ログにより再計算を行い、個人の行動パターンを抽出する行動パターン洗練機能である。
１２は、行動パターンD3を基に個人の行動ログD4から行動パターンを照合するパターン照合機能である。
１３は、RFID Readerで読み取ったRFID tagの情報を時刻順に蓄積する行動ログ収集機能である。

Tagged Wor1dには、ユーザの行動を認識し、それに応じたユーザの意図を推測するために必要な複数の行動パターン雛形Ｄ２が予め用意されている。この行動パターン雛形Ｄ２はサービスを提供する際に必要なユーザの振る舞いを推測するために、Tagged Wor1dサービス提供者が行動パターン雛形生成機能１０を用いて多数の人の行動ログＤ１を基に作成する。

Tagged Worldで用いられる行動ログＤ４は、行動ログ収集機能１３によって取得される。行動ログ収集機能１３は、Pocket Assistantを携帯するユーザがオブジェクトに触れると、オブジェクトに貼り付けられたRFID tagをPocket Assistantに接続されたRFID readerが読み取り、個人の行動ログとして記憶する。

例えば、図３のフローチャートに示すように、Pocket AssistantがRFID readerに対してRFIDの読み取りコマンドを送り（Ｓ１）、RFIDタグが読み取り範囲内に入ったら、RFID tagを読み取る（Ｓ２）。
もう少し詳しく説明すると、電池を内蔵しないパッシブタグの場合は次のようになる。
・コンピュータなどの上位システムから、リーダ/ライタにコマンド[タグIDの連続読取]を送る。
・タグがリーダ/ライタの発生する無線フィールド内に入ってくる。
・無線信号により、タグに電力が供給される。
・無線信号を介してコマンドが送信され、タグはコマンドを受け取る。
・タグがコマンドを解釈し、自分の持っているIDデータを無線信号で送信する。
・リーダ/ライタはIDデータを受け取り、コンピュータに送信する。
・コンピュータでは、そのIDデータを内部のテーブル（あるいはネットワーク上のデータベース）と照合し、特定の操作を実行する。

そして、個人ごとの行動特性に基づいたサービス提供をおこなうために行動パターン洗練機能１１が、行動パターン雛形Ｄ３を洗練し、ユーザの日々の行動ログを用いて個人の癖や習憤を反映した行動特性として個人用の行動パターンＤ３を生成する。例えば、図５のフローチャートに示すように、用意された多数の人の行動ログをベイジアンネットワークを利用して行動パターン雛型Ｄ２を生成し（Ｓ１１）、生成した行動パターン雛型Ｄ２をユーザの行動ログＤ４に基づき洗練し、当該ユーザの行動特性を反映した行動パターンを生成する。

そして、パターン照合機能が収集された個人の行動ログＤ４と行動パターンＤ３を照合し（図３のＳ４）、当該ユーザの意図を推測し（同Ｓ５）、サービス提供をユビキタス基盤に通知する（同Ｓ６）。

しかし、ユーザがオブジェクトに触れる度に詳細なパターン照合を行うことは、ユーザが携帯するPocket Assistantの持つ電力量に限りがあるために非現実的である。そこで、パターン照合機能は2階層の照合機構で構成される。第一段階は、本発明の実施の形態に係る行動パターンを用いた照合であり、第2段階はユーザが触れるオブジェクトの順序に着目した公知の照合（非特許文献１０）である。前者は詳細な照合対照となる事象を削減するフィルタとなることを目的としている。後者においてオブジェクトの順序関係が調べられ、2段階の作業の結果、詳細な照合が実施される。

ここで、行動ログ収集機能とパターン照合機能はユーザが日常生活を送る間、常に起動するものであるが、行動パターン洗練機能１１は、ユーザが一日の生活を終えた時点で起動するものである。
以下、行動パターンを生成する基となる行動パターン雛形生成機能について詳しく述べる。

＜行動パターン雛型生成機能＞
１．行動する意図の推測手法
本発明の目的は、ユーザが持つ行動の特性に着目することで、行動の意図を推測し、それに応じたサービスを提供することである。しかし、行動の特性は個々人によって多種多様である。そのため照合対象となるユーザの行動全てに対応できるルールを予め作成しておくことは事実上不可能である。そこで、本発明の実施の形態では多数の人の行動ログを用いて照合対象となる行動パターンの雛形を生成し、それを個人の行動ログで洗練することで行動特性を反映した行動パターンを生成する。

行動パターンの解析としてK2アルゴリズムによるベイジアンネットワークを使用している。このアルゴリズムでは双方向リンクを生成する可能性とノード間リンクが多大になる可能性により計算量が膨大になってしまい、リアルタイムで行動を解析することが困難である。従って本発明では、ベイジアンネットワークのノード種類をアクト・アクション・ふるまいの3階層に分類したネットワークを構築することでこの問題を解決する。また、ベイジアンネットワークではノード間の順序を考慮しないため、アクトの順序を統計的にパターン化する手法を取り入る。従って、行動パターンを個人の行動ログで洗練する際、ベイジアンネットワークのノード間確率値を更新すると共に、個人の行動ログで相対的に頻度の高いアクトの順序パターンの集合を抽出し、個人の行動パターンを抽出する。

人間は、1つ1つの動作を積み重ねることで行動の意図を達成する。例えば、「外出する」という行動の意図は、「荷物を用意する」、「電化製品のスイッチを切る」、「ドアを開ける」などの動作で構成されている。この各動作は、この意図「外出する」を達成するために必要であり、この意図と動作の間には依存関係が存在する。そこで、人間の動作を各オブジェクトヘ触れることと仮定し、それをノードとしたBayesian Network(以降、BN)、を用いて人間の意図を推測する手法を提案する。

BNとは、ネットワークを使って対象をモデル化することで知りたい変数の確率分布を推定し、起こり得る各状態の確信度を確率で評価する方法である。特に複雑な依存関係を表すためにグラフ構造を利用する。依存関係のある変数をノードとしてその間を条件付確率が関連付けられた有向リンクで結び、リンクをたどったパスが循環しないような非循環有向グラフで表される確率モデルがBNである。

２．K2アルゴリズムを用いた行動パターン雛形生成
BNを利用する場合、知りたい変数の確率分布を推定するとき利用するNetwork構造が推定結果に大きく影響する。そこで、統計データから自動的にNetwork構造を導出する手法として公知のK2アルゴリズム（非特許文献１２）がある。K2アルゴリズムとは、あるノードが依存する親ノードを2つのノードが取る値の組の出現頻度を用いて選出する。そのため、ノード間の依存関係を表す双方向リンクが出現する可能性があり、また非循環有向グラフが構成されない可能性もある。

そこで、K2アルゴリズムを用いて構築したBNに双方リンクが出現した際に、構築された循環有向グラフであるBNを人間の意図を推測ための有効なBNに変換する手法が検討されている（非特許文献１３）。非特許文献１３が推測対象とする空間は、自家用車内などの限られた空間であるため、BNを構成するノードは少数である。本発明が対象とする人間の意図を推測する際には、多くの人間の動作をノードとするBNを構築する必要がある。非特許文献１３の手法で用いているK2アルゴリズムはBNの構造決定を行う際に、任意ノードの親ノードを決定するために総当り検索を行う。そのため、BN構造を決定する際に膨大な計算時間が必要となる。また、K2アルゴリズムで構築したBNに出現する双方リンクの数をnとすると人間の意図を推測する際に用いられるBNの候補は1つの意図につき最大２＾ｎ（２のｎ乗）個となる。そのため、メモリ量が限られるPoceket Assistantにその全てを格納することは不可能である。よって、家庭内のユーザが行う動作の意図を推測する際に非特許文献１３の手法を利用することは計算時間とメモリ制約の点で不都合を生じる。

３．モデル化された意図を用いた雛形生成手法
発明者は、人間の動作から意図を推測するために必要な行動パターンを作成する際に人間の行動をモデル化する手法（非特許文献１４）を提案している。非特許文献１４で示されるモデル化手法(以降、行動モデル化手法)では、ユーザがオブジェクトヘ接触することによりセンシング可能な人間の行いの最小単位をアクトと呼ぶ。また、ドアを開けるという目的を達成するために実施するアクトの並びをアクションと呼ぶ。さらに、特定状況で習慣的に行うアクションの集合体をふるまいと呼び、これはユーザが行う動作の意図を示している。これまで推測対象をユーザが行う動作の意図と述べてきたが、行動モデル化手法と整合を保つため、これ以降は推測対象をふるまいと表現する。ここで、各アクションの生起確率はアクションを構成する各アクトの生起確率に依存すると仮定する。同様に、任意のふるまいはそれを構成する各アクションの生起確率に依存すると仮定する。このように行動モデル化手法に基づいてふるまいを推測するBNの構造を決定すれば、BNの構造は3階層に限定され、BN構造決定に必要な計算時間が大幅に削減されPocket Assistantの持つメモリ制約問題も解消される。

TaggedWor1dにおいてサービス提供者は、多数の人を被験者としてBNを構築するための基データを取得し、各サービスを提供する際に推測する必要のあるふるまいを表現する行動パターン雛形を構築しておく必要がある。図６に示す、ふるまいを推測するBNを構成する各ノードが持つ条件付確率表(以降、CPT)は、取得された多数の人の行動ログを用いて生成される。

この行動モデル化手法で構造が決定され、多数の人の行動ログから各ノードが自分の親ノードとの依存関係を表現するCPTが作成される。このようにして構成されたBNがふるまいを推測する行動パターン雛形として用いられる。この行動パターン雛形に対して個人の行動ログを追加し、CPTを再計算することでできたBNを個人の行動パターンとする、各アクト、アクション、ふるまいの依存関係が人間の行動特性を表現しており、この行動パターンを用いて、ふるまいを推測するための第一段階の評価が可能となる。

特許文献における雛形生成手法は、アクトの集合をアクション、アクションの集合がふるまいとして表現しベイジアンネットワークにより行動パターン雛形を構成する。また、RFIDタグを貼り付けたオブジェクト（ドアのノブなど）とアクトは一対一に対応させアクト・アクション・ふるまいの3階層のネットワーク構造を実現し、行動パターン雛形を生成する。
特許文献の雛形生成手法に順序が含まれないため、外出・来客などの酷似した行動パターンでは、ほぼ同様のネットワーク構造を構成する。従って、非特許文献１４に示す雛形生成手法では、アクションを構成するアクト間に順序を定義し構成する。また、アクトを構成するオブジェクトは複数存在し、複数のオブジェクトを「and」「or」の表現を用いグループ化し、行動パターン雛形を生成する。

＜実験結果＞
以下、具体例に基づき発明の実施の形態の動作の説明を加える。
例えば、マンションの一室を想定し、ここにTagged Worldを構築する。当該空間には、リビングスペースのほかに、オブジェクトとしてガスコンロ、シンク、冷蔵庫など家庭用電化製品を設置したキッチンスペースや、オブジェクトとして靴箱、実際のドアが設置された玄関スペース及び、トイレスペースがある。上記空間に設置された家庭用電気製品や照明のスイッチ、カバン、携帯電話機、財布などユーザが生活する際に触れるオブジェクトには、それぞれ近接型RFID tagが貼り付けられている。ユーザは、Pocket Assistantを携帯する。RFID readerのアンテナは、例えばユーザの右手の指に固定され、オブジェクトに貼り付けられたRFID TagのID番号を読み取る。

ユーザがオブジェクトに触れた際には、Pocket Assistantは、RFlD readerが読み取ったRFID tagのID番号とその時のタイムスタンプ、実験番号、1秒間に読み込んだ回数を行動ログとしてPocket Assistant内の記憶領域に書き込む。行動ログはオフラインでデータベースサーバに格納される。行動パターン雛形となるBNは、公知のベイジアンネットワーク構築支援環境（非特許文献１５）を用いて、データベースサーバに格納された行動ログから作成される。作成されたBNを用いてふるまいの確率計算が行われる。

図７は、男性１７名と女性４名に関する「外出」「来客」「帰宅」についての行動に関して、予め作成した行動パターン雛形を用いてリビングを出る際と玄関を出る際に行動パターン雛形の確率計算を行い、雛形がユーザのふるまいを外出と示したものである。

図７は、「来客」「帰宅」は３０％−５０％の範囲にほぼ全部の行動ログが集中しているのに対し、「外出」は３０％−５０％と６０％−８０％の２つの範囲に分かれている。図７に示すように被験者が実際にふるまい「外出」を行なった場合には、他のふるまいを被験者が行なった場合より明らかに高い外出確率（６０％−８０％）を示している。図７において、例えば閾値を５０％に設定することでユーザの行動が「外出」であることを判定することができ、このとき「来客」「帰宅」を誤って「外出」と判定することはほとんどなくなる。よって、本手法で作成した行動パターン雛形が人間のふるまいを推測することが可能であることが示された。

しかし、ふるまいを検知する閾値を50%に設定した場合、約49.2%のふるまいしか検殪することができない。一方、閾値を35%に設定した場合には、外出の96.5%を検知することができるが、来客、帰宅の45.8%も同時に検知される。そのためパターン照合機能の2段階目の照合機構を適切に呼び出すためには、なるべく多くの目的とするふるまいを通し、且つなるべく目的以外のふるまいを通さないフィルタとなるような閾値を決定する必要がある。

行動パターン洗練機能の検証を行うために、作成した行動パターン雛形に対して被験者Aの行動ログを追加し、CPTを再構築することで被験者Aの行動特性を反映させた行動パターンが生成できるかを調べた。

行動パターン洗練機能の有効性を検証するために、洗練された行動パターンと洗練前の行動パターン雛形を用いて被験者Aのふるまいを推測する。その結果をふるまい外出とふるまい帰宅を用いて比較した。行動パターン雛形が示す確率値と洗練された行動パターンが示す確率値は、外出の場合は平均9.69%、帰宅の場合は、平均5.32%上昇した。この要因は、ふるまい外出のケースのみがBNを構成する各ノードのCPTの再計算の際に追加されたため（ふるまい外出のケースのみを使用し、BNを構成する各ノードのCPT再計算を行ったため）、初期値として全体の確率値が上昇した。しかし、被験者がふるまい外出を行なった際の確率値の方が帰宅を行った際の確率値に比べて大幅に向上している。

また、外出と帰宅のふるまいを被験者が行なった場合に、洗練前と洗練後のふるまい検知割合が閾値を変更するごとにどのように変化するか検証した（図８を参照）。閾値を33%に設定した場合、洗練前では外出を75.OO%検知することができるが、帰宅の100.00%を外出と誤検知している。これに対して、洗練後では外出を100%検知することができるが、帰宅もまた100%外出と誤検知している。これは、先に述べた洗練後は外出、帰宅ともに確率値が上昇していることが要因である。図８で注目する点は、閾値を固定した時に外出と判断した割合の差分である。閾値43%に設定した場合は96.17%の外出を検知し、且つ帰宅の16.67%を外出と誤検知しており、被験者Aの行動ログを用いて行動パターン雛形を洗練した後の方が、より多くの外出を検知し、より多くの帰宅を除外していることが示された。以上より、閾値を動的に変更させれば、本発明の実施の形態に係る手法が目的とするふるまいをふるいわけるよいフィルタとして働くことが判明した。

検証実験を実施した結果、本発明の実施の形態に係る手法で作成した行動パターン雛形が人間のふるまいを推測できることが示された。また、個人の行動ログを用いて行動パターン雛形を洗練した行動パターンを用いることで、その個人の行動特性を反映できることが示された。

しかし、図８に示すように、より多くの目的とするふるまいを検知し、より多くの目的以外のふるまいを除外するためには、適切な閾値を設定する必要があり、この閾値は動的に設定される必要がある。Pocket Assistantでふるまいを検知するためには閾値を自動的に設定することが好ましい。さらに、ユーザがオブジェクトに触れる順序を考慮することが好ましい。

発明の実施の形態によれば、近接型RFID Tagをユーザの生活空間に存在するオブジェクトに貼り付け、ユーザはRFID readerが接続された個人用の小型サーバを携帯して前記生活空間を移動することを前提に、前記小型サーバにより個人の行動特性に基づいてユーザ行動を認識し、その意図を推測するとともに、意図の推測のために作成された雛形を洗練することができる。多数の人の行動ログから個人の行動特性を考慮した行動パターン作成の雛形を生成することができる。

本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

発明の実施の形態に係るシステムでカバーする空間の説明図である。発明の実施の形態に係るTagged Wor1dを構築する際に組み込まれる機能の説明図（機能ブロック図）である。発明の実施の形態に係るシステムの概略処理フローチャートである。発明の実施の形態に係る行動ログの説明図である。発明の実施の形態に係る行動パターン雛型と行動パターンの生成の説明図である。ふるまいを推測するベイジアンネットワーク（BN）を構成する各ノードの説明図である。発明の実施の形態に係るシステムによる意図の推測結果の一例である。発明の実施の形態に係る洗練の前後のふるまい（意図）検知割合の説明図である。発明の実施の形態に係る順序対集合定義ファイル要素の説明図である。

符号の説明

１０行動パターン雛型生成機能
１１行動パターン洗練機能
１２パターン照合機能
１３行動ログ収集機能

Claims

オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、
前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯サーバと、
前記携帯サーバから前記RFIDタグの情報を受けて処理を行う処理部と、
前記複数のオブジェクトに対して複数の者が所定の行為を行ったときの行動ログが記録されている行動ログＤ１に基づき生成される行動パターン雛型Ｄ２と、
前記携帯サーバにより収集され、前記ユーザが操作又は接近した前記オブジェクトの情報、その時刻及びその順番を含む当該ユーザの個人の行動ログＤ４と、
前記個人の行動ログＤ４に基づき前記行動パターン雛型Ｄ２から生成される行動パターンＤ３と、を含むシステムであって、
前記行動パターン雛型Ｄ２は、前記ユーザが前記オブジェクトヘ接触することによりセンシング可能な人間の行いの最小単位であるアクト、目的を達成するために実施する前記アクトの並びであるアクション、及び、特定状況で習慣的に行う前記アクションの集合体であるふるまいの３階層からなるノード名、親ノード名及び確率値と前記アクトの順序を記述する順序元アクト名及び順序先アクト名並びに順序対を抽出したときに与えられる順序対ポイント数とを含み、
前記順序対は、２つの前記アクトの繋がりである前記アクトの順序であり、前記順序対の識別子として順序対IDが設けられるとともに、抽出した順序対の種類である順序対種別が設けられ、
前記ノードは、前記ユーザが行う前記オブジェクトへ触れるというアクトであって所定の意図を達成するために必要な複数のアクトであり、
各アクションの生起確率は前記アクションを構成する各アクトの生起確率に依存し、任意のふるまいはそれを構成する各アクションの生起確率に依存し、
前記行動パターンＤ３は、前記行動パターン雛型Ｄ２と同様のデータを含むものであり、
前記携帯サーバで、前記RFIDタグの読み取り可能範囲内にユーザが移動したときに前記RFIDリーダで前記RFIDタグの情報を読み取るステップと、
前記処理部で、前記RFIDリーダで読み取った前記RFIDタグの情報に基づき前記ユーザが操作又は接近した前記オブジェクトの情報、その時刻、順番をユーザの行動の記録として蓄積するステップと、
前記処理部で、前記行動パターン雛型Ｄ２及び前記個人の行動ログＤ４に基づき３階層のベイジアンネットワークを使用して前記ノード間の確率値を更新すると共に、相対的に頻度の高い前記アクトの順序パターンの集合を抽出することにより前記ユーザ個人の行動パターンを抽出し、個人の癖や習慣を反映した行動特性として当該ユーザ用の行動パターンＤ３を生成するステップと、
前記処理部で、蓄積された前記ユーザの行動の記録を、前記行動パターンＤ３と比較することによりユーザの意図を推測するステップと、を行うことを特徴とする個人の行動特性を用いた意図推測システム。
オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、
前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯サーバと、
前記複数のオブジェクトに対して複数の者が所定の行為を行ったときの行動ログが記録されている行動ログＤ１に基づき生成される行動パターン雛型Ｄ２と、
前記携帯サーバにより収集され、前記ユーザが操作又は接近した前記オブジェクトの情報、その時刻及びその順番を含む当該ユーザの個人の行動ログＤ４と、
前記個人の行動ログＤ４に基づき前記行動パターン雛型Ｄ２から生成される行動パターンＤ３と、を含むシステムにより蓄積された行動の記録に基づきユーザの意図を推測する方法であって、
前記行動パターン雛型Ｄ２は、前記ユーザが前記オブジェクトヘ接触することによりセンシング可能な人間の行いの最小単位であるアクト、目的を達成するために実施する前記アクトの並びであるアクション、及び、特定状況で習慣的に行う前記アクションの集合体であるふるまいの３階層からなるノード名、親ノード名及び確率値と前記アクトの順序を記述する順序元アクト名及び順序先アクト名並びに順序対を抽出したときに与えられる順序対ポイント数とを含み、
前記順序対は、２つの前記アクトの繋がりである前記アクトの順序であり、前記順序対の識別子として順序対IDが設けられるとともに、抽出した順序対の種類である順序対種別が設けられ、
前記ノードは、前記ユーザが行う前記オブジェクトへ触れるというアクトであって所定の意図を達成するために必要な複数のアクトであり、
各アクションの生起確率は前記アクションを構成する各アクトの生起確率に依存し、任意のふるまいはそれを構成する各アクションの生起確率に依存し、
前記行動パターンＤ３は、前記行動パターン雛型Ｄ２と同様のデータを含むものであり、
前記携帯サーバで、前記RFIDタグの読み取り可能範囲内にユーザが移動したときに前記RFIDリーダで前記RFIDタグの情報を読み取るステップと、
前記RFIDリーダで読み取った前記RFIDタグの情報に基づき前記ユーザが操作又は接近した前記オブジェクトの情報、その時刻、順番をユーザの行動の記録として蓄積するステップと、
前記行動パターン雛型Ｄ２及び前記個人の行動ログＤ４に基づき３階層のベイジアンネットワークを使用して前記ノード間の確率値を更新すると共に、相対的に頻度の高い前記アクトの順序パターンの集合を抽出することにより前記ユーザ個人の行動パターンを抽出し、個人の癖や習慣を反映した行動特性として当該ユーザ用の行動パターンＤ３を生成するステップと、
蓄積された前記ユーザの行動の記録を、前記行動パターンＤ３と比較することによりユーザの意図を推測するステップと、を備える個人の行動特性を用いた意図推測方法。
オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、
前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯サーバと、
前記複数のオブジェクトに対して複数の者が所定の行為を行ったときの行動ログが記録されている行動ログＤ１に基づき生成される行動パターン雛型Ｄ２と、
前記携帯サーバにより収集され、前記ユーザが操作又は接近した前記オブジェクトの情報、その時刻及びその順番を含む当該ユーザの個人の行動ログＤ４と、
前記個人の行動ログＤ４に基づき前記行動パターン雛型Ｄ２から生成される行動パターンＤ３と、を含むシステムにより蓄積された行動の記録に基づきユーザの意図を推測する方法をコンピュータに実行させるためのプログラムであって、
前記行動パターン雛型Ｄ２は、前記ユーザが前記オブジェクトヘ接触することによりセンシング可能な人間の行いの最小単位であるアクト、目的を達成するために実施する前記アクトの並びであるアクション、及び、特定状況で習慣的に行う前記アクションの集合体であるふるまいの３階層からなるノード名、親ノード名及び確率値と前記アクトの順序を記述する順序元アクト名及び順序先アクト名並びに順序対を抽出したときに与えられる順序対ポイント数とを含み、
前記順序対は、２つの前記アクトの繋がりである前記アクトの順序であり、前記順序対の識別子として順序対IDが設けられるとともに、抽出した順序対の種類である順序対種別が設けられ、
前記ノードは、前記ユーザが行う前記オブジェクトへ触れるというアクトであって所定の意図を達成するために必要な複数のアクトであり、
各アクションの生起確率は前記アクションを構成する各アクトの生起確率に依存し、任意のふるまいはそれを構成する各アクションの生起確率に依存し、
前記行動パターンＤ３は、前記行動パターン雛型Ｄ２と同様のデータを含むものであり、
前記行動パターン雛型Ｄ２及び前記個人の行動ログＤ４に基づき３階層のベイジアンネットワークを使用して前記ノード間の確率値を更新すると共に、相対的に頻度の高い前記アクトの順序パターンの集合を抽出することにより前記ユーザ個人の行動パターンを抽出し、個人の癖や習慣を反映した行動特性として当該ユーザ用の行動パターンＤ３を生成するステップと、
蓄積された前記ユーザの行動の記録を、前記行動パターンＤ３と比較することによりユーザの意図を推測するステップと、を実行させるためのプログラム。