JP2005352922A - 情報蓄積装置及び情報蓄積方法 - Google Patents

Abstract

【課題】個人にとって実益の高い情報を蓄積する。
【解決手段】情報蓄積装置１にユーザにとって特徴的な情報であることを示す注釈（アノテーション；annotation）を付加するアノテーションボタン４４を設け、ＧＰＳ４１、ＣＣＤ４２、マイク４３から取得されたユーザにとっての経験情報に対してアノテーションを付加できるようにする。アノテーションが付加されると、アノテーションが付加された時刻を中心とする前後のコンテンツから提示用コンテンツとしてのオブジェクトが生成される。例えば、Ａという経験に対して、ユーザがアノテーションボタン４４を押したときには、そのとき取得中のコンテンツの一部に時刻情報及びＧＰＳ情報がアノテーションＡとして付加される。記録中の経験情報に対してアノテーションを付加できるようにしたことにより、経験情報をユーザなりのカテゴリに分類して蓄積することができる。
【選択図】図１１

Description

本発明は、情報蓄積装置及び情報蓄積方法に関し、特に、使用者が経験した事象に関連する情報と使用者が私的に必要とするアノテーションとを関連付けて記憶する情報蓄積装置及び情報蓄積方法に関する。

近年、いわゆるインターネットのようなネットワーク網の発達や、大容量記録媒体の普及等により、膨大な情報を提供したり入手したりできる環境が整備されつつある。また、これに伴って種々の情報提供サービスが提案されており、これら情報提供サービスでは、大量の情報を効率的・効果的に取り扱うために様々な工夫がされている。膨大な情報のなかから個人が個別に必要とする情報を如何に効率よく提供するかは、１つの重要な要素となっている。

一例として、情報を提供する側は、提供先である使用者個人の嗜好性を抽出することによって個人毎に特徴付けをし、これに合致した情報やサービスを提供する手法（提供する情報のパーソナライゼーション）を採っている。これは、例えばネットワーク上のサイトから物品を購入できるオンラインサービス等に採用されている。

ネットワーク上で書籍を購入できるサービスでは、情報のパーソナライゼーションを導入することによって、ユーザがある書籍を購入したとき、購入した書籍の著者の作品一覧から推薦図書を提示する機能、このユーザと同一書籍を購入したほかのユーザ群が購入したほかの書籍を提示する機能、このユーザが役立つと思う情報を他のユーザへと知らせる機能等を実現している。また、情報提供を受ける側（情報を閲覧する側）は、使用者個人の嗜好に応じて動作環境や設定等がカスタマイゼーション（変更）できるようにしている。カスタマイゼーションのなかには、例えば、パーソナルコンピュータ、携帯型個人情報端末等の電子機器において、マウスの応答性を変更できたりウィンドウの配色やフォントを個人の好みに合わせて変更できたりする機能も含まれる。このように、情報のパーソナライゼーションやカスタマイゼーションを行うことで、情報を効率的かつ効果的に使用できるようにしたシステムは、既に知られている。

また、パーソナライゼーションの発展型として、ネットワーク上におけるユーザの行動をリアルタイムでプロファイリングする技術や、ユーザの操作癖を学習してユーザ嗜好にあったＧＵＩを提供する技術や、ユーザのリアクションを監視することによって、エージェントが推薦したコンテンツに対するユーザの嗜好性や反応を観測する技術等が考えられている。

上述したように、現在では、提供者が情報やサービスを望むユーザに合った最適な情報を提供する、いわゆるプッシュ型の情報提供が可能になり、情報提供を受ける側にとっては、所望とする情報を容易に入手できるようになった。

しかし、提供情報を各個人にあわせるパーソナライゼーションを実現するためには、情報提供者は、紙面やサイト等のアンケートによって個人レベルの情報を収集したり、個々のユーザに対してユーザの行動履歴（上記書籍の例では購入履歴等）を収集したりすることが必要になる。

例えば、インターネットを用いた情報提供サービスのなかには、結婚式の挙式・披露宴会場、英会話教室、各種カルチャースクール等に関する料金情報、雰囲気、サービス内容等に関する情報を、既にこれらを利用したことがあるものからアンケート等によって収集し、収集結果を予め決定した規則にあてはめて、これにマッチングした情報、すなわち施設に関する情報や利用者からの体験情報を表示画面上に一緒に表示することにより、これから利用しようとするものに施設や提供会社を決定する際の判断材料を提供するサービスがある（例えば特許文献１参照）。

この情報提供サービスでは、情報を複数ユーザ間で利用できるようにする際、ユーザが体験データを公開する場合には体験レベルに応じて情報を提供して貰い、情報を検索するユーザが精度の高い情報又は所望の情報に近い情報を取得できるように、収集した各ユーザの体験データを視覚化することによって、多くの文字情報のなかから所望の情報を検索するための検索操作ステップを簡略化している。

この特許文献１に記載の技術では、既に挙式・披露宴会場を利用したことがあるユーザから収集する情報の多くは文字情報であり、提供されている文字情報のなかにユーザが重要視している情報内容が含まれているか否かを直ちに認識することは困難である。そのため、従来のシステムでは、ユーザは、本来必要としない文字情報も多数読まなくてはならず、ユーザは必要とする情報を探し出すことが困難な場合もあった。また、提供情報を各個人にあわせるパーソナライゼーション技術の多くは、情報提供者が技術を駆使してユーザの嗜好性モデルを抽出するものである。パーソナライゼーションすることにより、個々のユーザにあったサービスを提供することができるとはいえ、嗜好が類似した複数のユーザに対して同一の情報を提供用情報とするため、提供される情報に個々のユーザの細かな嗜好性を必ずしも反映させることができなかった。また、個人の行動に関わる情報（事象）が利用できないという問題があった。

特開２００３−１６２０２号公報

本発明は、ユーザが経験した事象に関連する情報を蓄積し効率よく読み出しできるように管理することにより、ネットワークにてキーワード検索する手法よりも応答がよく、抽出される情報から所望の情報を選択する処理も効率的で、尚かつ個人にとって実益の高い情報が取り出せる情報蓄積装置及び情報蓄積方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る情報蓄積装置は、使用者が経験した事象に関連する経験情報を取得する情報取得手段と、情報取得手段によって取得された経験情報が蓄積される蓄積手段と、情報取得手段によって取得された経験情報に対する注釈となる注釈情報が入力される注釈情報入力手段と、注釈情報入力手段によって注釈情報が付加された経験情報を抽出して提示用コンテンツを生成する提示用コンテンツ生成手段と、生成された提示用コンテンツと注釈情報とを対応付けて提示用コンテンツリストとして記憶する提示用コンテンツリスト記憶手段と、情報取得手段においてある経験情報が取得されたとき注釈情報入力手段によって注釈情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し生成された提示用コンテンツを注釈情報とともに提示用コンテンツリスト記憶手段に記憶する制御を行う制御手段とを備える。

これにより、本発明に係る情報蓄積装置は、使用者にとって特徴的な情報であることを示す注釈情報を取得されたユーザにとっての経験情報に対して付加できるようにする。ここで、注釈情報入力手段において入力される注釈情報としては、時刻情報、位置情報を使用する。提示用コンテンツは、時刻情報に基づいて、注釈情報が入力された時刻の前後期間を所定期間分抽出したものにする。取得中の経験情報に対して注釈情報を付加できるようにしたことにより、経験情報を使用者独自のカテゴリに分類して蓄積できる。

また、上述した目的を達成するために、本発明に係る情報蓄積方法は、使用者が経験した事象に関連する経験情報を取得する情報取得工程と、情報取得工程で取得された経験情報がメモリに蓄積される蓄積工程と、情報取得工程で取得された経験情報に対する注釈情報が入力される注釈情報入力工程と、注釈情報入力工程で注釈情報が付加された経験情報を抽出して提示用コンテンツを生成する提示用コンテンツ生成工程と、生成された提示用コンテンツと注釈情報とを対応付けて提示用コンテンツリストとして提示用コンテンツリストメモリに記憶する提示用コンテンツリスト記憶工程とを有する。

これにより、本発明に係る情報蓄積方法は、使用者にとって特徴的な情報であることを示す注釈情報を取得されたユーザにとっての経験情報に対して付加できるようにする。ここで、注釈情報入力工程で入力される注釈情報としては、時刻情報、位置情報を使用する。提示用コンテンツは、時刻情報に基づいて、注釈情報が入力された時刻の前後期間を所定期間分抽出したものにする。取得中の経験情報に対して注釈情報を付加できるようにしたことにより、経験情報を使用者独自のカテゴリに分類して蓄積できる。

本発明に係る情報蓄積装置によれば、ユーザが経験している事象を記録しているときに、注釈情報入力手段で入力することによって、そのときの体験をユーザなりのカテゴリ毎に分類して蓄積することができる。これにより、蓄積した情報をユーザに提示する場合には、インターネットの検索エンジンを使用してキーワード検索する手法を使用するよりも応答がよく、抽出される情報から所望の情報を選択する処理も効率的で尚かつ個人にとって実益の高い、個人の行動により密接に関わる情報が取り出せる。

本発明は、ユーザが経験した事象に関連する情報と、ユーザが必要とする情報とを後から利用できるように蓄積する仕組みを提案したものである。本発明の具体例として示す情報蓄積装置は、ユーザの周囲の情報を記録できるようになっており、例えば、周囲の情報のうちユーザが個人的に必要とする情報や特徴的な情報等があった場合に、この情報に対する注釈（アノテーション；annotation）を付加できるようにした。

本具体例で示す注釈とは、ユーザにとって特徴的な情報であることを指し示す目印（以下、ポインタと記す。）であって、このポインタを“カテゴリ”として使用して、取得した情報を分類したり、ポインタを“検索条件”の１つとして使用して情報を検索することができる。

本発明の具体例では、ユーザがある「経験」をした日時や場所、またそのときの映像や音声といった情報は、ユーザが経験した事象に関連する経験情報と記し、経験した情報に対してユーザが付加する情報を注釈（アノテーション；annotation）と記す。以下では、経験情報に対してユーザが付加した注釈をアノテーションと記す。

本発明の一例として示す情報蓄積装置は、上述したアノテーションが付加された情報をユーザに提示することもできる。例えば、ユーザは、情報提示を望む場合にアノテーションを抽出するためのボタンとして設けるアノテーション入力ボタンを押せば、過去にアノテーションが付加されたコンテンツの一部分を取り出すことができる。以前に同じアノテーションを付加したことがある情報は、その日時、その場所等の情報が提示される。また、ユーザによって入力されたアノテーションに基づいて、アノテーションが付加された情報を優先的に提示することもできる。

以下、本発明の具体例として示す情報蓄積装置１の概略を図１に示す。情報蓄積装置１は、情報を入力する情報登録フェーズのための情報登録部１０と、これらの情報を蓄積する手段と、取得した情報を後に利用する情報利用フェーズのための情報利用部３０とを備えている。

情報蓄積装置１は、情報登録部１０として、経験した事象に関連する経験情報を取得するための情報取得部１１と、ユーザが取得された経験情報に対して目印になるアノテーションを付加するとき入力に使用するアノテーション入力部１２と、取得した情報を認識するデータ認識処理部１３と、認識したデータを予め決められた定義にしたがって分類するデータ定義処理部１４と、定義にしたがって分類されたデータを格納するデータ蓄積部１５とを備えている。

情報取得部１１は、ユーザ周囲の情報を取得する機能を備え、カメラ、マイク、ＧＰＳ（Global Positioning System）用ユニット等、画像情報、音声情報、位置情報、日時等を取得できる取得部が含まれる。

データ認識処理部１３は、カメラ、マイク、ＧＰＳ等にて取得した画像情報、音声情報、位置情報、日時等から特定の情報を抽出する処理を行っている。データ認識処理部１３は、画像認識部１６とテキスト処理部１７と音声処理部１８とを有しており、カメラから取得した画像データを画像認識部１６及びテキスト処理部１７にて画像認識処理及びテキスト認識処理し、特定の画像データ及びテキストデータを抽出する。マイクから取得した音声データであれば、音声認識部１９にて音声を認識し、言語処理部２０にて音声情報をテキストデータに変換し、キーワード抽出部２１では変換されたテキストデータからキーワードを抽出する。

データ認識処理部１３にて抽出されたデータは、データ定義処理部１４において、予め決められた定義にしたがって分類される。例えば、定義には、人物画像、この人物画像に関する家族、兄弟、配偶者、職場関係、友人、年齢層、居住域、国籍等の識別情報、画像データから判別される密集度（高い・低い）、画像データから判別される建物の種類（看板等によるサービス業の種別）、建物の名称（文字列）、日時、天候（晴、雨、曇り等）、気温（高・低）、湿度（高・低）、風（強・弱）、位置情報（緯度、経度、高度）、最寄駅、またユーザのみ理解できる通称名等があり、これら定義に基づいて、取得したデータが分類される。データ蓄積部１５は、上述の定義に基づいて分類されたデータを格納している。

また、情報登録部１０は、情報取得部１１で取得されデータ蓄積部１５に蓄積される情報に対して、ユーザの入力操作によってアノテーションが付加されたとき、記録される情報から提示用コンテンツを生成し、提示用コンテンツとアノテーションとを対応付けてアノテーションリストを作成するデータ処理部２２と、データ処理部２２で作成された提示用コンテンツ及びアノテーションリストが記憶されるリスト記憶部２３とを備えている。

続いて、上述の情報登録部１０にて登録されたユーザによるアノテーションを情報利用部３０において利用する場合について説明する。

情報蓄積装置１は、情報利用部３０として、現在の状態を取得する情報取得部３１と、検索条件が入力される検索入力部３２と、取得した情報を認識するデータ認識処理部３３と、データ蓄積部１５から検索条件に適合した情報又は類似した情報を抽出する検索部３４と、抽出された情報をユーザに提示する情報提示部３５とを備えている。

情報取得部３１及びデータ認識処理部３３は、情報登録フェーズと同様の方法で現在地の位置情報やそのほかの情報を取得して認識する。検索入力部３２には、ユーザによって検索条件が入力される。入力方法としては、音声入力、テキスト入力、画像入力等があげられる。検索入力部３２にて音声として入力されれば、データ認識処理部３３は、音声から時間、場所、人に関するキーワードを抽出し、検索入力部３２にテキストデータが入力されれば、データ認識処理部３３は、テキストからキーワードを抽出し、検索入力部３２に画像データが入力されれば、データ認識処理部３３は、画像からキーワードを抽出する。また、スケジュール管理ソフトに記録されたデータを使用することもできる。

検索部３４は、データ蓄積部１５から検索条件に類似した情報を抽出する提示データ推論部３７と、データ蓄積部１５から検索条件に適合した情報を抽出する提示データ検索部３８とを備えている。データ蓄積部１５から情報を検索する際には、リスト記憶部２３に記憶されたアノテーションリストを参照して提示するコンテンツの優先度を決めている。検索部３４によって抽出された、テキストデータ、音声案内、画像表示、またこれらの組み合わせからなる提示用コンテンツが情報提示部３５によってユーザに提示される。

この情報蓄積装置１によれば、ユーザが経験した事象に対して、その経験の特徴に応じてユーザがアノテーションを付加して蓄積することができる。また、この装置のデータ蓄積部１５を検索して得られる情報は、ユーザが一旦経験した情報であるため、インターネットのようなネットワークにてキーワード検索する手法に比べ効率的でかつ実益の高い情報を取り出すことができる。

本発明の特徴は、この情報蓄積装置１にて管理された情報を利用するのが登録した本人である点である。そのため、上述した情報蓄積装置１を使用したシステムでは、ユーザが経験によって得た情報、またこの経験情報のポインタとなるアノテーションは、例えば、食事をしたときに付けられるアノテーション、タバコを吸ったときに付けられるアノテーション、といったように明確に決める必要はない。単に経験情報に付加されるフラグでよい。例えば、このフラグによって抽出された情報のもつ意味や情報のカテゴリは、ユーザがみれば容易に判るからである。

経験した事象に関連する情報の取得は、上述した例のように、カメラ、マイク、ＧＰＳ等によって可能な限り自動的に取得されることが好ましい。本発明に係る情報蓄積装置１が必要とされるのは、ユーザが経験したあらゆる事象に対して意識的に「メモ書き」、「覚え書き」を残すことが現実的には困難であって、重要な情報を記録する機会を逃してしまうことがあり再び同様の状況になっても前回の経験を想起し、これを今回の経験に生かすことが難しいことがある、という実情があるからである。

アノテーションリストの作成処理又は更新処理が行われる局面としては、次の場合があげられる。例えば、（１）情報登録フェーズにて取得した経験情報としてのコンテンツに対してアノテーションが付加されたとき提示用コンテンツを作成する処理と、（２）アノテーションリストにあげられた提示用コンテンツをユーザに提示する処理とがあげられる。ここでは、特にデータベース５３に格納された情報のうち、“時刻情報”と、“位置情報”に対してアノテーションリストを作成する場合について示す。

（１）情報登録フェーズにて取得した経験情報としてのコンテンツに対してアノテーションが付加されたとき提示用コンテンツを作成する処理

以下、本発明の具体例として示す情報蓄積装置１について図２及び図３を用いて詳細に説明する。

図２は、情報蓄積装置１を用いて行われる情報登録フェーズと情報利用フェーズとを分けて表した図であり、図３は、情報蓄積装置１の具体的な構成を示したものである。図２は、“ユーザがレストラン（店舗）で食事をする”という経験情報を記録する場合について説明している。図２において、情報登録フェーズは、レストランで食事をしたときの周囲の情報及びこのときユーザが特徴付けて記録したい情報があって、ここで経験した事象に対する情報の特徴部分に目印としてのアノテーションを付加する場面である。また、情報利用フェーズは、別の機会に過去の経験にアノテーションを付加した情報を検索する場面である。

ユーザがある事象を経験するとき、常に情報蓄積装置１を所持していることが重要である。そのため、本具体例では情報蓄積装置１は、携帯可能なタイプになっている。また、情報蓄積装置自体は携帯型であっても、例えば、家庭用の据置型ＰＣ１００又はサーバ装置に相当する機器と接続可能になっていて、取得した情報を据置型ＰＣ１００又はサーバ装置に蓄積できる構成になっていれば好ましい。この場合、情報蓄積装置１のデータ蓄積部１５として機能することができるデータ蓄積部を据置型ＰＣ１００又はサーバ装置側に用意し、情報蓄積装置１との間で無線或いは有線通信インターフェイスを介して情報を送受信できるようにする。

情報蓄積装置１は、図３に示すように、位置情報を取得するＧＰＳユニット４１、ユーザの周囲の情報を取得するＣＣＤ（Charge Coupled Device）４２及びマイク４３を備えている。これらは、図１に示した情報登録フェーズのための情報取得部１１と情報利用フェーズのための情報取得部３１とを兼ねている。情報蓄積装置１は、ユーザによる操作なくして自動的に画像データ、音声データを取得することができる、ＣＣＤ４２及びマイク４３は、所定間隔若しくはユーザ周囲の環境の変化等をトリガとしてデータを取得し、データモデルに基づいて格納形式データを生成し、このデータを後述するデータベース５３に格納している。例えば、突然大きな音を検出したとき、後述のキーワード抽出部５１にて指定されたキーワードが検出されたときなどをデータベース作成のためのトリガとする。本具体例の説明では、このように情報取得部１１にて取得されるユーザの経験に関するユーザ周囲の情報を必要に応じて経験情報と記す。

また、情報蓄積装置１は、蓄積した情報に対してユーザがアノテーションを付加するための入力操作が行われるアノテーション入力部１２としてのアノテーションボタン４４と、情報利用フェーズにおける検索入力やこの装置の操作入力を行う操作入力部４５とを備えている。アノテーションが付加される対象となるコンテンツは、情報取得部１１で取得されるコンテンツである。図３で示すマイク４３で取得された音声データ、ＣＣＤ４２で取得した画像データ等があげられる。また、アノテーションボタン４４が押されたときのＧＰＳ情報も同時に付加する。

操作入力部４５は、検索モードか記録モードかの選択、更に自動検索モードか手動検索モードかの選択が行われる。操作入力部４５は、表示部としてのＬＣＤ５４と組み合わせたタッチパネル方式の入力部であってもよいし、ＬＣＤ５４に表示されるＧＵＩを選択する方式であってもよい。

なお、情報蓄積装置１は、情報取得部１１に対応する構成として上述した構成のほかに気温、湿度、天気等の天候情報を取得する構成を備えていてもよい。これら位置情報や天候情報を取得する手法としては、例えば、既に携帯電話にて実現されているような、基地局から定期的に送信される基地局情報に加えて位置情報や天候情報等を定期配信する手法があげられる。また、情報蓄積装置１に簡易的な温度センサ、湿度センサを設けてもよい。

情報蓄積装置１は、取得した画像データ、文章データ、音声データを認識する画像認識部４６と文章認識部４７と音声認識部４８とを備える。画像認識部４６は、ＣＣＤ４２から取得した画像データに対して画像認識処理を実行し、例えば、人物の顔部分を認識して抽出する処理を行う。また、文章認識部４７は、ＣＣＤ４２から取得した画像データに対してテキスト認識処理を実行し、例えば、看板等の文字のように画像のなかにある文字列や記号を認識して建物や標識の名称をテキストデータとして抽出する処理を行う。音声認識部４８は、音声認識処理部４９と言語処理部５０とキーワード抽出部５１とを有し、マイク４３から取得した音声データを音声認識処理部４０にて音声認識処理し、言語処理部５０にて音声情報をテキストデータに変換し、キーワード抽出部５１では、変換されたテキストデータからキーワードを抽出する。

また、情報蓄積装置１は、画像認識部４６、文章認識部４７、音声認識部４８から抽出されたデータを定義付けするデータ定義処理部５２を備えている。データ定義処理部５２は、情報登録フェーズのためのデータ定義処理部１４及び情報利用フェーズのための検索部３４に相当し、抽出されたデータを予め決められた定義にしたがって分類する或いは検索条件に応じてデータベース５３から情報を検索する。

例えば、情報蓄積装置１には、画像データとこの画像データに対する情報が記述されたテキストデータがデータベース５３に登録されている。例えば、人物の顔の画像データに対して友人の名前、住所、連絡先、年齢等が対応付けて記憶されている。また、更にこの人物に関連した家族、兄弟、配偶者、職場関係者、友人等の情報があればあわせ記憶されている。画像認識部４６、文章認識部４７、音声認識部４８にて抽出された画像データ、テキストデータ、及び音声データから判別される人物、建物の種類、建物の名称（文字列）等がデータベース５３に格納されたデータと比較して分類され新規データとして蓄積される。また、定義には、上述した位置情報（緯度、経度、高度）、日時データ、天候情報（晴、雨、曇り等）、気温（高・低）、湿度（高・低）、風（強・弱）、最寄駅、またユーザのみ理解できる通称名、評価値、評価の対象（立地条件、店員の評価、商品の評価、店の雰囲気、値段設定、料理の提供時間、その他の条件等）等があり、取得された情報は、これら定義に基づいて分類される。

取得後、定義付けされたデータは、データモデルに応じてモデル変換され、データベース管理システム（ＤＢＭＳ）を用いてデータベース５３に格納される。モデル変換の例としては、例えば、表形式で各データを定義しＤＢＭＳとしてリレーショナルデータベース（ＲＤＢ）を用いて管理する手法や、各データをＲＤＦｓ・ＯＷＬを用いて分類しＤＢＭＳとしてＲＤＦＤＢ或いはＸＭＬＤＢを用いて管理する手法がある。データベース５３に格納されたユーザが経験した事象に関する情報及びアノテーションが付加されて生成された提示用コンテンツは、後々ユーザの意図で編集できてもよい。

このほかに情報蓄積装置１は、ユーザに対して情報を提示するための構成として、表示部としてのＬＣＤ５４、表示用デバイス５５、スピーカ５６、音声出力デバイス５７とを備えている。

情報蓄積装置１は、アノテーションリスト及び提示用コンテンツを作成するためのデータ処理部５９を備えている。データ処理部５９は、ユーザによって入力されたアノテーションで指定された情報の一部を抽出し提示用コンテンツを作成し、作成した提示用コンテンツとアノテーションとを関連づけしてアノテーションリストを作成する。また、データ処理部５９は、検索部３４として機能している。データ処理部５９は、取得される位置情報及び時刻情報からアノテーションが付加された提示用コンテンツを自動的に抽出する処理、ユーザが検索を希望するアノテーションが入力された場合に検索条件に適合した類似した提示用コンテンツを抽出する処理、アノテーションリスト及び提示用コンテンツを編集する処理等を実行する。

データ処理部５９は、ユーザに対して“発生した経験”に伴って取得され、データベース５３に記録される経験情報としてのコンテンツのうち、アノテーションが入力された時刻の前後の情報を含めてユーザに対して提示するための提示用コンテンツを作成する。そして、アノテーションと提示用コンテンツとを関連付けたアノテーションリストを作成する。データ処理部５９にて作成されたアノテーションリストは、アノテーションリスト記憶部６０に格納される。また、データ処理部５９によって作成された提示用コンテンツは、提示用コンテンツリスト６１に登録される。

以上説明した各構成は、ＣＰＵ、処理プログラム等が格納されたＲＯＭ及びＣＰＵの作業領域としてのＲＡＭを備える制御部５８によって統括制御されている。

続いて、図４乃至図６を用いてアノテーションボタン４４について説明する。図４に示すように、情報蓄積装置１は、側面若しくは正面にアノテーションボタン４４を備えている。アノテーションボタン４４は、複数のアノテーションを区別して指定できるよう複数個設けられていてもよい。また、ユーザの操作性を考慮して、同一のアノテーションを入力するためのボタンが複数箇所に設けられてもよい。アノテーションボタン４４の設置位置は、図４に示したタイプに限定されることはなく、例えば、情報蓄積装置１の背面などでもよい。情報蓄積装置１のサイズがある程度大きくなる場合には、アノテーション入力部を情報蓄積装置１の本体部から分離し、ボタンと表示部とを備えた独立した入力装置として提供することもできる。この場合、本体装置との間は無線通信等により通信可能とする。

アノテーション入力部を独立させたタイプの入力装置を図５に示す。図５（ａ）〜図５（ｄ）に示す独立型のアノテーション入力装置４４０は、アノテーションボタン４４と簡単なテキストデータ等を表示可能な表示パネル４４１とを備えている。図５（ａ）、（ｂ）に示すアノテーション入力装置４４０は、アノテーションボタン４４を１つ備えたタイプである。アノテーションボタン４４は、図５（ａ）のように表示パネル４４１と同一面に設けられていても、図５（ｂ）のように表示パネル４４１に対して側面に設けられていてもよい。また、図５（ｃ）、（ｄ）に示すアノテーション入力装置４４０は、アノテーションボタン４４を複数備えたタイプである。図５（ｃ）のように表示パネル４４１と同一面に複数のアノテーションボタン４４が設けられたタイプと、図５（ｄ）のように表示パネル４４１に対して側面に設けられたタイプが示されている。

独立型のアノテーション入力装置４４０においてもアノテーションボタン４４の設置位置は、図示したタイプに限定されることはない。ユーザの操作性を考慮した箇所に設ければよい。

図６に、アノテーション入力部を情報蓄積装置から独立させた独立タイプのアノテーション入力装置４４０の構成を示す。アノテーション入力装置４４０は、表示部としての液晶表示パネル（ＬＣＤ；Liquid Crystal Display）４４１と、表示用デバイス４４２と、本体装置との間で通信するための通信インターフェイス４４３と、アノテーションボタン４４と入力検出部４４４とからなるアノテーション入力部１２とを備えている。アノテーションボタン４４に対する入力の検出と本体装置との間の通信は、制御部４４５によって制御されている。

ユーザは、上述したアノテーションボタン４４を押下することによって、情報取得部１１、３１としての構成にて取得中のコンテンツのうち、ユーザにとって特に有益な情報に対してアノテーションを付加することができる。ＧＰＳ４１、ＣＣＤ４２、マイク４３から取得された経験情報が後述するデータベース５３に蓄積されるときにユーザによって付加されるアノテーションについて、図７を用いて説明する。

アノテーションボタン４４が１つ設けられ、アノテーションボタン４４に１つのアノテーションが割り当てられた場合、このアノテーションボタン４４によって付加されるアノテーションが図７（ａ）に示されている。図７（ｂ）には、アノテーションボタン４４が複数設けられ、個々のアノテーションボタン４４に別々のアノテーションが割り当てられた場合、複数のアノテーションボタン４４によって付加されるアノテーションが示されている。ユーザにとって特徴的な情報であること示すポインタとなるアノテーションには、時刻情報及び位置情報を使用する。すなわち、アノテーションが付加されると、取得中のコンテンツに、ユーザがアノテーションボタン４４を操作した時刻情報とその位置情報が付加される。時刻情報は、例えば、２００４年１月１日午前１時２３分４５秒であれば、“２００４０１０１０１２３４５”のように表される。位置情報及び時刻情報は、ＧＰＳ衛星から送られる緯度及び経度が使用される。図における横軸は、取得したコンテンツの時間軸の正方向を表している。

図７（ａ）に示すように、例えば、Ａという経験に対して、ユーザがアノテーションボタン４４を押したときには、そのとき取得中のコンテンツの一部に時刻情報及びＧＰＳ情報がアノテーションＡとして付加される。アノテーションボタン４４が複数個用意されている場合、図７（ｂ）に示すように、アノテーションボタンが経験Ａ、経験Ｂ、経験Ｃに対して割り当てられていて、ユーザがＡという経験に対してアノテーションボタンＡを押したときには、そのとき取得中のコンテンツの一部に時刻情報及びＧＰＳ情報がアノテーションＡとして付加される。Ｂという経験に対しては、アノテーションＢとしてそのときの時刻情報及びＧＰＳ情報が、またＣという経験に対しては、アノテーションＣとしてそのときの時刻情報及びＧＰＳ情報が付加される。

データ処理部５９がアノテーションが付加された情報を位置情報又は時刻情報に応じて統計的に自動的に整理してアノテーションの傾向を算出するようにしてもよい。これによりアノテーションを統計的にある集団で分類することができる。こうすると、１つのアノテーションボタンによって複数のアノテーションを入力することもできる。この手法では、入力されたアノテーションの数に応じて分類の精度が向上する。

記録したコンテンツにアノテーションを付加する処理の詳細は、後述する。このように、記録しているコンテンツにアノテーションを付加できるようにすれば、検索の際、アノテーションが付けられた情報は検索が容易になる。

ここでの説明に使用した経験とは、ユーザがアノテーションとして決めた行為、ユーザがアノテーションとして決めた情報などが含まれる。例えば、「気になっている音楽を聴いた」、「喫煙した」、「○○さんに会った」、「○○さんから電話がきた」、「食事をした」などがあげられる。アノテーションＡが「喫煙した」であるならば、ユーザは記録されたコンテンツに付加されたアノテーションを検索すれば、喫煙した場所と時刻において取得したコンテンツを知ることができる。

アノテーションボタン４４によって入力される情報は、記録されているコンテンツに対する単なる目印であればよいため、アノテーションボタン４４によって入力されるアノテーションの意味を情報蓄積装置上で設定する必要はない。したがって、例えば、アノテーション入力装置４４０が複数ボタンを備える場合、ユーザは、ボタンＡに“喫煙”というアノテーションを割り当て、ボタンＢに“食事”というアノテーションを割り当て、ボタンＣに“買物”というアノテーションを割り当てるという設定操作を事前に情報蓄積装置１若しくはアノテーション入力装置４４０に対して行う必要はない。どの状況で若しくはどの経験情報に対して、どのボタンを使用するかは、ユーザが使い分ければよい。勿論、情報蓄積装置１或いはアノテーション入力装置４４０に対してアノテーションボタン４４によって付加されるアノテーションが何を示すかを機器に対して設定することができてもよい。この場合、アノテーションボタン４４に何が割り当てられているかをＬＣＤ４４１に表示する。

次に、データ処理部５９にて作成される提示用コンテンツ及びアノテーションリストの一例を図８乃至図１０を用いて説明する。

アノテーションリストについて図８を用いて説明する。アノテーションリストは、アノテーションリスト記憶部６０に格納される。アノテーションリスト記憶部６０のメモリ領域は、要素数Ｍ×Ｎ個の配列（以下、大領域と記す。）に区分され、Ｍ×Ｎ個の要素の１つが更にｍ×ｎ個の配列に区分されている（以下、中領域と記す。）。そして提示用コンテンツの有無を表すビットを設ける。提示用コンテンツが用意されていれば、すなわちアノテーションが付加されていれば１を、アノテーションが付加されていなければ０とする。更に、中領域の１要素に対して時刻情報を記述する配列を定める。大領域又は中領域には、国、県、市町村等の行政区分、特定の地域内における領域区分、会社の支店、学校キャンパス等を割り当てることができる。例えば、東京２３区を大領域とし、区内を緯度経度から分割される所定数の領域を中領域とすることができる。図８に示すように、アノテーションリストは、位置情報と時刻情報に関連付けられて、この順番に配列されている。また、中領域の要素に対応して回数を記述できるようにしてもよい。

図９を用いて提示用コンテンツについて説明する。図９には、データベース５３に記録される一連の経験情報としてのコンテンツ５３０が時系列に沿って表されている。また、記録されたコンテンツ５３０に対してアノテーションが付加される。ここでは、情報蓄積装置１は、アノテーションボタン４４は複数設けられたタイプであってボタンＡによってアノテーションＡが入力され、ボタンＢによってアノテーションＢが入力されるものとする。アノテーションの入力には、複数のアノテーションボタン４４が設けられたアノテーション入力装置４４０を使用してもよい。

データ処理部５９は、ユーザによってアノテーションが入力されると、ＧＰＳ４１、ＣＣＤ４２、マイク４３等の情報取得部１２によって随時取得している日時、位置、画像データ、音声データの一部から提示用コンテンツを生成する。以下、この提示用コンテンツをオブジェクトと記す。データ処理部５９は、アノテーションボタン４４でアノテーションが付加されると、上述した図８にて説明したメモリ構造内に記述された時刻情報の前後の所定期間のコンテンツを抽出し、適切な圧縮処理等を施して提示用コンテンツとしてのオブジェクトを生成する。また、データ処理部５９は、アノテーションＢに対しても同様にオブジェクトを生成する。

本具体例では、データ処理部５９は、アノテーションＡが入力された時刻から前後５秒の所定期間分のコンテンツを抽出し、アノテーションＡが付加された時刻前後１０秒間分の音声データ或いは映像データを提示用コンテンツとして用意する。画像データの場合、例えば１０秒間分の動画像データであってもよいし、１秒間に１枚分の静止画像データを生成し１０枚分を一纏まりとしてオブジェクトを作成してもよい。

データ処理部５９は、生成されたオブジェクトをオブジェクトリスト記憶部６１に格納するとともに、格納場所を示すアドレス情報等がアノテーションと対応付けたアノテーションリストとしてアノテーションリスト記憶部６０に格納される。アノテーションリストの一例を図１０（ａ）及び図１０（ｂ）に示す。図１０（ａ）には、データ処理部５９において作成されるアノテーションボタン４４のボタンＡで付加されたアノテーションに対するアノテーションリストの一例が示されており、図１０（ｂ）には、アノテーションボタン４４のボタンＢで付加されたアノテーションに対するアノテーションリストの一例が示されている。アノテーションリストによって、アノテーションは、対応するオブジェクトにリンクされる構造になっている。アノテーションリストには、図８で示したビット配列が位置情報、時刻情報の順番に記述され、更にデータベース５３内においてオブジェクトを特定するためのオブジェクトナンバ、オブジェクトが記録されたアドレス情報等が記述されている。

続いて、上述した情報蓄積装置１を用いて、ユーザが経験した事象に関連する情報（経験情報）とアノテーションとを登録する処理について説明する。ユーザがレストラン（店舗）で食事をするとき、この経験に関連するコンテンツが記録されるとともにアノテーションが付加され、付加されたアノテーションに基づいてオブジェクト及びアノテーションリストが生成される処理を図１１に示す。

ユーザが情報蓄積装置１を携帯した状態でレストラン２００にて食事をする場合（経験事象：図２矢印Ａ）、レストランで食事をするという経験に関連して情報蓄積装置１において、音声データ、映像データ、位置情報等のコンテンツが取得される（図２矢印Ｂ）。経験情報は、このとき情報蓄積装置１によって、主に自動的に取得される。アノテーションは、ユーザによって入力される（図２矢印Ｃ）。但し、アノテーションの入力は、経験した事象に関する情報の取得と同時でない場合もある。

経験情報としてのコンテンツが取得されるタイミングは、レストラン２００に入る前にユーザが所定間隔で自動取得するモードに切り換えてもよいが、常時、記録動作を行っていてもよい。また、通常、ユーザはこのモード設定操作自体を意識的に行えない場合が多い。経験した事象に関連するコンテンツは、ユーザに意識されないように取得されていることが望ましいため、本具体例では、できる限り周囲の状況変化等をトリガとして自動的に経験情報を取得できるようにする。例えば、“いらっしゃいませ”という単語を記録開始のトリガとしてのキーワードとして予め定義したとすると、ユーザがレストラン２００に入り、情報蓄積装置１が“いらっしゃいませ”という単語を検出したとき、これをトリガとしてコンテンツを記録する情報取得モードに入る（図１１に示すステップＳ１及びステップＳ２）。

アノテーションは、取得された経験情報に付加されて記憶される。ユーザがアノテーションを付加するタイミング（図２矢印Ｃ）は、経験情報の取得中であるが、取得した情報に対して時間的に後から付加することもできる。

情報蓄積装置１は、ステップＳ１としてＣＣＤ、ＧＰＳ等を起動し待機しているときにトリガが検出されると、ステップＳ２において、データ作成モードに移り経験情報を取得する。ステップＳ２にて取得された経験情報は、ステップＳ３以降において、それぞれ認識処理される。画像データであれば、ステップＳ３においてＣＣＤ４２から取得した画像データに対して画像認識処理を実行する。このとき、画像データであって画像中に文字情報が含まれている場合、ステップＳ４において文章認識部４７は、ＣＣＤ４２から取得した画像データに対してテキスト認識処理を実行し、例えば、看板等の文字のように画像のなかにある文字列や記号を認識して建物や標識の名称をテキストデータとして抽出する。また、音声データの場合、ステップＳ５において、取得した音声データを音声認識処理部４０にて音声認識処理し、ステップＳ６において言語処理部５０にて音声情報をテキストデータに変換し、ステップＳ７においてキーワード抽出部５１にてテキストデータからキーワードを抽出する。ＧＰＳ４１によって取得された位置情報、日時データ等のＧＰＳデータ及び操作部３５から入力されたテキストデータ等はそのまま使用できるため、次のステップに進む。取得されたコンテンツは、ステップＳ８において定義に基づいて分類され、ステップＳ９においてデータベース５３に登録される。

情報蓄積装置１は、ステップＳ１０においてアノテーションが入力されたか否か判別し、ユーザによってアノテーションが入力された場合には、ステップＳ１１において、アノテーションリストの登録とオブジェクトの作成を行う。ステップＳ１２においてアノテーションとオブジェクトとが関連づけされる。

ステップＳ１２におけるアノテーションリストの登録処理について図１２を用いて更に詳しく説明する。アノテーションリスト記憶部６０のメモリ領域は、位置情報に対応付けられているので、データ処理部５９は、図１２に示すように、ステップＳ１１１において、位置情報を取得する。ステップＳ１１２においてデータ処理部５９は、取得した位置情報とアノテーションリスト記憶部６０に記憶したＭ×Ｎ配列の大領域のビット列Ａとを比較し、現在の位置情報に対応する所定ビットが１の場合、ステップＳ１１３において、引き続きｍ×ｎ配列の中領域のビット列Ｂをチェックする。ステップＳ１１３において０の場合、ステップＳ１０に戻る。また、ステップＳ１１３において、ｍ×ｎ配列の中領域の配列において現在の位置情報に対応する所定ビットが１の場合、ステップＳ１１４において、データ処理部５９は、この要素に対して現在の時刻情報を記述し、作成したオブジェクトをオブジェクトリストの最後に加えてステップＳ１２に進む。ｍ×ｎ配列の中領域の配列において現在の位置情報に対応する所定ビットが０の場合、ステップＳ１１５において、中領域リストの対応するビットに１を立て、作成したオブジェクトをオブジェクトリストの最後に加えてステップＳ１３に進む。

アノテーションとオブジェクトは、ステップＳ１２において互いに関連づけられて、ステップＳ１３においてアノテーションリスト記憶部６０に格納される。このようにして、情報蓄積装置１は、ユーザの経験情報のなかで特にユーザの興味があった状況に関連するコンテンツを容易に検索できるように整理してデータベース５３に登録することができる。

図１１の処理で取得される経験情報の一例を図１３に示す。以下の図では、便宜上、説明にかかる部分のみデータを記入しているが空欄の箇所にも別のデータが含まれているものとする。図１３では、取得した情報の番号に対応付けられて、取得された時刻情報は、２００３年７月２２日１７時３０分であれば、“２００３０７２２１７３０”のように表され、位置情報は、“６０５９５８，１３５４５３６，５４６”（緯度６０°５９′５８″，経度１３５°４５′３６″，高度５４６ｍ）のように登録される。またこのほか、例えば基地局から送信された天候情報等の付帯状況の情報が付加される。更に、この経験情報の取得よりも以前に取得した情報から明らかになっている事実があれば、その情報も付加される。なお、ここで取得される時刻情報は、ＧＰＳデータに含まれる正確な時刻情報でもよいし、例えば、“２００３／０７／２２ 夜 ”、単に“昼”、“夜”、“休日”、“平日”のように抽象的な表現も含まれる。また、位置情報も同様に緯度経度に代わって駅名、建物名、施設名、ユーザに馴染みのある通称名等で表してもよい。このほうが、ユーザが情報利用フェーズにて検索したときに、より分かり易く使い易い情報として取り出すことができるからである。これらの経験情報は、ＣＣＤ４２、マイク４３にて取得した映像や音声といったコンテンツとともに記録される。

一例として、ユーザが喫煙の度にアノテーションボタン４４を押すように決めた場合には、アノテーションボタンＡが押されると、記録されているコンテンツに対するアノテーションとして喫煙をした時間及び喫煙した場所を示す情報が記録される。このとき、喫煙中に情報蓄積装置１のＣＣＤ４２から取得される画像データやマイクから取得される音声データからオブジェクトが作成される。作成されたオブジェクトは、ユーザにとって喫煙というアノテーションによって関連付けられるコンテンツである。アノテーションの位置情報及び時刻情報の傾向を統計的に処理して自動的に分類する手法を取り入れれば、１つのアノテーションボタン４４に対して複数種類のアノテーションを入力することもできる。この手法ではオブジェクトの特徴は、オブジェクトが増えるほどに統計的に分類されたアノテーションのグループの傾向が現れ、グループを纏めるキーワードの精度が向上する。

上述のようにデータベース５３に登録されたコンテンツのうちアノテーションが付加されたコンテンツ毎にアノテーションリストを作成することによって、ユーザの経験情報及びこの経験情報のなかで特徴的な経験に対するコンテンツを抽出し易くすることができる。オブジェクトの入力からアノテーションリストの作成までの処理に関する詳細は後述する。

最も原理的なアノテーションの付加方法は、上述したように、経験情報の自動検出とアノテーションボタン４４のオンオフによる単純なアノテーションの入力によって実現できるが、例えば、表示部としてのＬＣＤ５４、操作入力部４５等を併用することでより複雑な情報の入力及び提示が可能になる。この場合、次の登録処理があげられる。

図１４及び図１５に示す登録処理では、アノテーションボタン４４及び操作入力部４５からのユーザによる操作とその操作に基づくデータ処理部５９の動作が示されている。

ステップＳ２１においてユーザによってアノテーションボタン４４が押下されると、データ処理部５９は、押下を検出した検出信号を受け取り、ステップＳ２２において表示部としてのＬＣＤ５４に、場所、日時等の選択メニューを提示する。ステップＳ２３において、提示した選択メニューを表したＧＵＩ（Graphical User Interface）を介して、ユーザから場所を指定するＧＵＩボタンが選択されると、ステップＳ２４において場所が指定され、データ処理部５９は、ステップＳ２５において、現位置か任意の場所かを選択する選択メニューを表示する。

この選択メニューに対して、ステップＳ２６において、提示した選択メニューを表したＧＵＩを介して場所が選択されるがステップＳ２７において更に詳しい場所の情報が選択されない場合、図１５Ａに続くステップＳ３１のステップＳ３１１において現在場所を検索キーとしてアノテーションリストが検索される。

また、ステップＳ２６で提示した選択メニューを表したＧＵＩを介して場所が選択された後、ステップＳ２７において、更に詳しく任意の場所が指定された場合、データ処理部５９は、ステップＳ２８において地図ソフトを起動する。ステップＳ２９においてＬＣＤ５４上に地図とともに表示されたＧＵＩによってユーザが所望とする場所が指定されると、データ処理部５９は、指定された場所情報をステップＳ３０にて受け取る。データ処理部５９は、図１５Ｃに続くステップＳ３１のステップＳ３１３において指定された場所情報及び時刻を現在の時刻を検索キーとしてアノテーションリストを検索する。

一方、ステップＳ２４においてユーザによって場所が指定されなかった場合、ステップＳ３２において、データ処理部５９は、任意の時刻（未来）、翌日以降の同一時間、翌週以降の同一曜日、翌月以降の同一日、翌年以降の同一月、翌年以降の同一月日を選択するための選択メニューを表示する。

データ処理部５９は、ステップＳ３３において任意の時刻を入力するメニューが選択されると、ステップＳ３４において任意時刻を入力するための時刻入力用ＧＵＩをＬＣＤ５４に表示する。この入力インターフェイスを介してユーザから時刻が指定されると時刻を認識し、データ処理部５９は、図１５Ｃに続くステップＳ３１のステップＳ３１３において指定された場所情報及び時刻を現在の時刻を検索キーとしてアノテーションリストを検索する。ステップＳ３３において任意の時刻を入力するメニューが選択されない場合には、データ処理部５９は、図１５Ｂに続くステップＳ３１のステップＳ３１２において、指定された日時を検索キーとしてアノテーションリストを検索する。

ステップＳ３１以降は、図１２に示したアノテーションリストの作成処理に準ずる。すなわち、ステップＳ３５において、データ処理部５９では、該当する時刻情報又は位置情報に対応するビットが１であるか否か判別が行われる。所定ビットが０の場合、ステップＳ３６においてオブジェクトを作成し、オブジェクトリストの最後にここで作成したオブジェクトを登録するとともにアノテーションリストと関連づけしてアノテーションリストに加えて処理を終了する。一方、所定ビットが１の場合、データ処理部５９は、ステップＳ３７において、必要に応じてオブジェクトを更新しアノテーションリストを登録し直す。

なお、上述した登録処理では、ユーザによって選択された場所の情報は、ネットワークを介して受信されてもよい。

以上説明したように、情報蓄積装置１は、取得した情報に対する意味づけをユーザが自由に行うことができるインターフェイスとしてアノテーションボタン４４を備えることにより、取得した情報を個人に依存したデータとして管理することが可能になる。ユーザは、情報蓄積装置１を携帯することによって自分の経験から得たコンテンツを収集することができ、経験に基づくデータベースが作成されるため、いわゆるインターネットに検索語を入力して情報検索する場合と比べ、蓄積される情報及びコンテンツは、ユーザにとって有益度が高く、ユーザが希望する情報に近い情報になる。情報蓄積装置１は、自動的に取得され、大量に蓄積されるコンテンツを、ユーザによって付加されたアノテーションに基づいて分類することができる。

また、情報蓄積装置１は、アノテーションを検索キーとする串刺し検索を行うこともできる。検索キーワードが入力されなくとも、検索モード時にアノテーションボタン４４が選択されると、このアノテーションボタン４４を使用して付加されたアノテーションで纏められたコンテンツを抽出することができる。

（２）アノテーションリストに基づいてオブジェクトをユーザに提示する処理

続いて、アノテーションリストに基づいてオブジェクトを検索する処理について、図１６乃至図２２を用いて説明する。この処理は、本発明の具体例として示す情報蓄積装置１における情報利用フェーズに対応する。

情報蓄積装置１は、検索モードが用意されており、通常は、検索モードが選択されているときには、常に位置情報（場所）と時刻情報（時間）とを検索キーとした検索結果が提示されるようになっている。また、検索モード時にアノテーションボタン４４が押下されると、そのアノテーションボタンに割り当てられたアノテーションを検索キーとする検索が実行されるようにしてもよい。本具体例の情報蓄積装置１では、情報検索モードと情報登録モードとが設けられ、ユーザによって検索モードが明示的に選択された場合にのみ検索するようになっている。

オブジェクト及びアノテーションを検索する検索モードの例として、ユーザが検索したいアノテーション条件を指定できる手動検索モードと、時刻情報又は位置情報に基づいてアノテーションリストから共通するアノテーションが付加されたオブジェクトを自動的に抽出する自動検索モードとがある。

自動検索モードについて図１６を用いて説明する。情報蓄積装置１における制御部５８は、ステップＳ４１としてＣＣＤ、ＧＰＳ等を起動し、ステップＳ４２として現在の位置情報及び時刻情報を取得する。また制御部５８は、ステップＳ４３で、操作入力部４５においてユーザによって検索モードが選択されたか判別する。検索モードが選択された場合、ステップＳ４４で更に選択されたモードが自動検索モードが否か判別される。手動検索モードが選択された場合の処理は、図１９にて説明する。制御部５８は、ユーザによって自動選択モードが選択されたことを検出すると、データ処理部５９に指示し、データ処理部５９は、ステップＳ４２で取得した現在の位置情報及び時刻情報とアノテーションリストの位置情報及び時刻情報とを、ステップＳ４５とステップＳ４６において比較する。

データ処理部５９がステップＳ４５において位置情報を比較する処理を図１７に示す。データ処理部５９は、ステップＳ４５１として、ステップＳ４２で取得した現在の位置情報とアノテーションリスト記憶部６０に記憶されたアノテーションリストに記述された位置情報とを比較する。ここで、データ処理部５９は、場所に対するマッチングは必ずしも現在の位置情報として取得されるＧＰＳデータの緯度経度（ｘ，ｙ）に完全に一致しなくとも、例えば、ある程度の精度範囲、（ｘ＋α、ｙ＋α）で略一致していれば一致と判断してもよい。

これにより、全く同一の場所でなくとも、アノテーションリストに登録された付近の情報を併せて提示することができる。ステップＳ４５２において、データ処理部５９は、取得した現在の位置情報に適合する位置情報をもつアノテーションがあると判別した場合、ステップＳ４５３として提示用の結果リストを作成し、条件に適合するアノテーションを結果リストに加えてステップＳ４６に移る。ステップＳ４５２において適合するアノテーションがない場合にもステップＳ４６に移る。

続いて、データ処理部５９がステップＳ４６において位置情報を比較する処理を図１８に示す。データ処理部５９は、ステップＳ４６１として、ステップＳ４２で取得した現在の時刻情報とアノテーションリスト記憶部６０に記憶されたアノテーションリストに記述された時刻情報とを比較する。データ処理部５９は、時刻で適合データが得られないときには、日、曜日、月で適合する時刻情報を検索する。

また、データ処理部５９は、取得した時刻情報に対して、例えば、ある程度の範囲を持たせた値を検索値として、アノテーションリストの時刻情報と比較してもよい。これにより、全く同一時刻でなくとも、アノテーションリストに登録された付近の情報を併せて提示することができる。ステップＳ４６２においてデータ処理部５９は、適合するアノテーションがないと判別した場合、ステップＳ４６３として条件に適合するアノテーションがアノテーションリストに登録されていない旨を返し、ステップＳ４７に移る。一方、データ処理部５９は、取得した現在の時刻情報に適合する時刻情報をもつアノテーションがあると判別した場合、ステップＳ４６４として提示用の結果リストに適合するアノテーションを加えてステップＳ４７に移る。なお、ここで、ステップＳ４５とステップＳ４６の処理の順序は図１６に示す順序に限定されない。

アノテーションリストが複数ある場合、制御部５８はステップＳ４７の判別処理を行って、データ処理部５９に対して、ステップＳ４５及びステップＳ４６の処理を各アノテーションリストについて繰り返し実行させる。また、検索モード時にユーザに選択されたアノテーションボタンに対するアノテーションリストを検索するようにもできる。制御部５８は、全てのアノテーションリストに関して検索が終了すると、ステップＳ４８でユーザに対して結果リストを提示する。

最も原理的なオブジェクトの提示方法は、上述したように、現在情報とアノテーションリストの位置情報及び時刻情報とを比較することによるアノテーションの検索によって実現できるが、例えば、表示部としてのＬＣＤ５４、操作入力部４５等を併用することでより複雑な情報の入力及び提示が可能になる。手動による検索処理について、図１９及び図２０を用いて説明する。

情報蓄積装置１における制御部５８は、図１６に示すステップＳ４４において手動検索モードが選択されたことを検出すると、データ処理部５９に手動検索モードを実行するよう指示する。図１９及び図２０に示す検索処理では、アノテーションボタン４４及び操作入力部４５からのユーザによる操作とその操作に基づくデータ処理部５９の動作が示されている。

ステップＳ５１においてユーザによって手動検索モードが選択されると、データ処理部５９は、選択による検出信号を受け取り、ステップＳ５２において表示部としてのＬＣＤ５４に、場所、日時等の選択メニューを提示する。ステップＳ５３において、提示した選択メニューを表したＧＵＩを介して、ユーザから場所を指定するＧＵＩボタンが選択されると、ステップＳ５４において場所が指定される。データ処理部５９は、ステップＳ５５において現位置か任意の場所かを選択する選択メニューを表示する。この選択メニューに対して、ステップＳ５６において、提示した選択メニューを表したＧＵＩを介してユーザから場所が選択されるがステップＳ５７において更に詳しい場所の情報が選択されない場合には、図２０Ａに続くステップＳ６１のステップＳ６１１において現在場所を検索キーとしてアノテーションリストが検索される。

また、ステップＳ５６で提示した選択メニューを表したＧＵＩを介してユーザが場所を選択した後、ステップＳ５７において、更に詳しく任意の場所が指定された場合には、データ処理部５９は、ステップＳ５８において地図ソフトを起動する。ステップＳ５９においてＬＣＤ５４上に地図とともに表示されたＧＵＩによってユーザが所望とする場所が指定されると、データ処理部５９は、指定された場所情報をステップＳ６０にて受け取る。データ処理部５９は、図２０Ｃに続くステップＳ６１のステップＳ６１２において指定された場所情報及び時刻を現在の時刻を検索キーとしてアノテーションリストを検索する。

一方、ステップＳ５４においてユーザによって場所が指定されなかった場合、ステップＳ６２において、データ処理部５９は、任意の時刻（未来）、翌日以降の同一時間、翌週以降の同一曜日、翌月以降の同一日、翌年以降の同一月、翌年以降の同一月日を選択するための選択メニューを表示する。

データ処理部５９は、ステップＳ６３において任意の時刻を入力するメニューを選択すると、ステップＳ６４において任意時刻を入力するための時刻入力用ＧＵＩをＬＣＤ５４に表示する。この入力インターフェイスを介してユーザから時刻が指定されると時刻を認識し、データ処理部５９は、図２０Ｃに続くステップＳ６１のステップＳ６１２において指定された場所情報及び時刻を現在の時刻を検索キーとしてアノテーションリストを検索する。ステップＳ６３において任意の時刻を入力するメニューが選択されない場合には、データ処理部５９は、図２０Ｂに続くステップＳ６１のステップＳ６１２において、指定された日時を検索キーとしてアノテーションリストを検索する。

データ処理部５９は、ステップＳ６５において検索条件に適合するアノテーションがある場合、ステップＳ６６として結果リストを作成する。結果リストは、ユーザに提示される。適合するアノテーションがない場合には、ステップＳ６７において、データ処理部５９は、該当するアノテーションが見つからない旨を表示してステップＳ５２に戻る。

上述したステップＳ４５３及びＳ４６４で作成される結果リストについて説明する。
図２１（ａ）には位置情報に基づく結果リストが、図２１（ｂ）には時刻情報に基づく結果リストが示されている。情報蓄積装置１がアノテーションボタン４４を複数備えるタイプであれば、結果リストがアノテーションボタン４４に割り当てられたアノテーションの数だけ用意される。ユーザは、操作入力部４５によって結果リストに提示されたオブジェクトを選択すると対応するオブジェクトにリンクされ、オブジェクトが再生される。

情報蓄積装置１では、ユーザは、結果リストからアノテーションリスト及びオブジェクトの編集、削除等を行うこともできる。また、情報提供装置１は、オブジェクトが参照された回数をカウントする機能を有する。これにより、情報提供装置１は、結果リストを通じてオブジェクトが利用された際、ユーザによるアノテーションリストの使用状況をリスト内に“利用度”として登録しておくようにしてもよい。

情報蓄積装置１が結果リストを介したユーザから操作入力によりオブジェクトの参照ポインタを付加する処理を図２２に示す。

データ処理部５９は、ステップＳ７１において、結果リストからオブジェクトが選択されたことを検出すると、ステップＳ７２として、データ処理部５９は、確認ボタンが選択されたか否か判別する。確認ボタンが選択された場合、ステップＳ７３において、選択されたオブジェクトを再生するとともに、ステップＳ７４で結果リスト及びこのオブジェクトに対応付けられるアノテーションリストの参照カウンタを＋１する。

一方、ステップＳ７２及びステップＳ７５において、データ処理部５９は、確認ボタンではなく削除ボタンが選択されたことを検出すると、ステップＳ７６において、ユーザに対して削除を確認するメッセージを提示し、ステップＳ７７において、確認ボタンが選択されたことを検出すると、データ処理部５９は、ステップＳ７８において選択されたオブジェクトをオブジェクトリストから削除する。また、オブジェクトに関連付けられたアノテーションリストにおけるアノテーションも削除する。このとき、データベース５３に格納された元のコンテンツまで削除される必要はない。

データ処理部５９は、ステップＳ７９において、結果リストに他のオブジェクトがある場合には、ステップＳ７１より処理を繰り返す。

このように、検索結果のオブジェクトが表示されたときに、例えば、“参照した（利用した）”ことをカウントできるようにすると、ユーザは、情報処理装置１によって作成されたオブジェクトがどの程度有効活用されていることを知ることができる。

上述した検索処理によれば、情報蓄積装置１は、アノテーションを検索キーとする串刺し検索を行うことができる。また、情報蓄積装置１は、アノテーションボタン４４によってアノテーションを付加して管理されているコンテンツがデータベースとなるため、ユーザにとって有益度が高く、ユーザが希望する情報に近い情報を検索することができる。

以上説明したように、情報蓄積装置１によるアノテーションの登録処理とアノテーションの検索処理によれば、例えば、実際には次のことが可能になる。例えば、ユーザがアノテーションボタンを友人の一人に割り当て、この友人に会ったとき、この友人に電話したとき、この友人の話題が出たときなどにアノテーションボタンを押して情報蓄積装置１が取得するコンテンツにアノテーションを付加しておけば、取得されたコンテンツをこの友人で分類しておくことができる。

また、アノテーションボタンは、取得されるコンテンツに対するユーザ独自の目印であるため、例えば、ユーザが過去、１２日の１７時に取得されるコンテンツにアノテーションを付加しているとき、翌月の１２日の１７時がくる（又は近づくと）とオブジェクトを再生してユーザの注意を促すようにすることもできる。アノテーションボタンがユーザによって、ユーザの“自分の好きなもの”に対して割り当てられたとすれば、取得されたコンテンツを自動的にこのアノテーションで分類することができる。次回、このアノテーションによって検索される検索結果は、位置情報であれば、これがユーザの“気に入った場所”であるし、検索されたオブジェクトが音楽コンテンツであれば、これがユーザの“気に入った音楽”であるし、検索されたオブジェクトに人が写っていれば、これがユーザの“好きな人物”ということになる。

また、アノテーションボタンがユーザの“失敗”に対して割り当てられたとすれば、取得されたコンテンツを自動的にこのアノテーションで分類することができる。次回、このアノテーションによって検索される検索結果は、位置情報であれば、ユーザが“迷った場所”であるし、検索されたオブジェクトが音楽コンテンツであれば、ユーザが“気に入らなかった音楽”であるし、検索されたオブジェクトに人が写っていれば、ユーザが“失態をしてしまった人物”ということになる。このように、情報蓄積装置１は、取得されるコンテンツをアノテーションによって自動的に分類できる。

本発明は、ユーザが経験した事象に関連する情報を取得して蓄積し提示できる装置であればよい。具体例では、携帯型情報処理端末として示されているが、情報処理端末としての機能、カメラ、マイク等といった情報取得機能等が複数のユニットとして用意され、これらをユーザの身体各部に分散して装着するタイプの、いわゆるウェアラブルコンピュータに使用して好適である。

本発明の最良の形態として示す情報蓄積装置を説明する構成図である。 本発明の具体例として示す情報蓄積装置を用いて情報を取得する場合と情報を検索する場合とを説明する図である。 上記情報蓄積装置を説明する構成図である。 アノテーションボタンが設けられた情報蓄積装置を説明する外観図である。 （ａ）及び（ｂ）はアノテーションボタンと簡略な表示部分とを備えたアノテーション入力装置を説明する外観図である。（ｃ）及び（ｄ）は複数のアノテーションボタンを備えたアノテーション入力装置を説明する外観図である。 アノテーション入力部を情報蓄積装置から独立させた独立タイプのアノテーション入力装置を説明する構成図である。 （ａ）は１つのアノテーションボタンに１つのアノテーションが割り当てられた場合、このボタンによって入力されるアノテーションを説明する図であり、（ｂ）は複数のアノテーションボタンによって入力されるアノテーションを説明する図である。 アノテーションリストを記憶するメモリ構成を説明する模式図である。 上記情報蓄積装置のオブジェクトデータ生成部においてオブジェクトを作成する処理を説明する模式図である。 （ａ）は上記情報蓄積装置のオブジェクトデータ生成部において作成されるボタンＡで付加されたアノテーションに対するアノテーションリストを説明する図であり、（ｂ）はボタンＢで付加されたアノテーションに対するアノテーションリストを説明する図である。 上記情報蓄積装置が経験情報とユーザによって入力されたアノテーションとを記録する処理を説明するフローチャートである。 アノテーションリストの登録処理を説明するフローチャートである。 図１１の処理で取得される経験情報の一例を説明する図である。 複雑な情報入力及び情報提示が可能な場合のアノテーションの登録処理を説明するフローチャートである。 複雑な情報入力及び情報提示が可能な場合のアノテーションの登録処理を説明するフローチャートである。 上記情報蓄積装置におけるコンテンツの検索処理を説明するフローチャートである。 検索モードにおいて取得した現在の位置情報とアノテーションリストの位置情報とを比較する処理を説明するフローチャートである。 検索モードにおいて取得した現在の時刻情報とアノテーションリストの時刻情報とを比較する処理を説明するフローチャートである。 複雑な情報入力及び情報提示が可能な場合のアノテーションの検索処理を説明するフローチャートである。 複雑な情報入力及び情報提示が可能な場合のアノテーションの検索処理を説明するフローチャートである。 上記情報蓄積装置において検索結果としてユーザに提示される結果リストを説明する図である。 上記情報蓄積装置が結果リストを介したユーザの操作入力により参照ポインタを付加する処理を示す図である。

符号の説明

１ 情報蓄積装置、 １０ 情報登録部、 １１ 情報取得部、 １２ アノテーション付加部、 １３ データ認識処理部、 １４ データ定義処理部、 １５ データ蓄積部、 １６ 画像認識部、 １７ テキスト処理部、 １８ 音声処理部、 １９ 音声認識部、 ２０ 言語処理部、 ３０ 情報利用部、 ３１ 情報取得部、 ３２ 検索入力部、 ３３ データ認識処理部、 ３４ 検索部、 ３５ 情報提示部 ４１ ＧＰＳ、 ４２ ＣＣＤカメラ、 ４３ マイク、 ４４ アノテーションボタン、 ４５ 操作入力部、 ４６ 画像認識部、 ４７ 文章認識部、 ４８ 音声認識部、 ４９ 音声認識処理部、 ５０ 言語処理部、 ５１ キーワード抽出部、 ５２ データ定義処理部、 ５３ データベース、 ５４ ＬＣＤ、 ５５ 表示用デバイス、 ５６ スピーカ、 ５７ 音声出力デバイス、 ５８ 制御部、 ６０ アノテーションリスト記憶部、 ６１ オブジェクトリスト記憶部

Claims (7)

1. 使用者が経験した事象に関連する経験情報を取得する情報取得手段と、
   上記情報取得手段によって取得された経験情報が蓄積される蓄積手段と、
   上記情報取得手段によって取得された経験情報に対する注釈となる注釈情報が入力される注釈情報入力手段と、
   上記注釈情報入力手段によって注釈情報が付加された経験情報を抽出して提示用コンテンツを生成する提示用コンテンツ生成手段と、
   上記生成された提示用コンテンツと上記注釈情報とを対応付けて提示用コンテンツリストとして記憶する提示用コンテンツリスト記憶手段と、
   上記情報取得手段にてある経験情報が取得されたとき上記注釈情報入力手段によって注釈情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し生成された提示用コンテンツを上記注釈情報とともに上記提示用コンテンツリスト記憶手段に記憶する制御を行う制御手段と
   を備えることを特徴とする情報蓄積装置。
2. 上記注釈情報入力手段は、上記情報取得手段によって取得された経験情報に対する注釈情報として時刻情報を入力し、
   上記制御手段は、上記情報取得手段においてある経験情報が取得されたとき上記注釈情報入力手段によって注釈情報としての時刻情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し生成された提示用コンテンツを上記時刻情報とともに上記提示用コンテンツリスト記憶手段に記憶する制御を行うことを特徴とする請求項１記載の情報蓄積装置。
3. 位置情報を取得する位置情報取得手段を備え、
   上記注釈情報入力手段は、上記情報取得手段によって取得された経験情報に対する注釈情報として位置情報を入力し、
   上記制御手段は、上記情報取得手段においてある経験情報が取得されたとき上記注釈情報入力手段によって注釈情報としての位置情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し生成された提示用コンテンツを上記位置情報とともに上記提示用コンテンツリスト記憶手段に記憶する制御を行うことを特徴とする請求項１記載の情報蓄積装置。
4. 上記情報取得手段は、外部の音声データを取得する音声データ取得手段であり、上記音声データ取得手段にて取得した音声データから特徴単語の発音を認識する音声認識手段を備え、
   上記制御手段は、上記音声データ取得手段で特徴単語の音声データが取得されたとき上記注釈情報入力手段によってユーザから注釈情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し、上記提示用コンテンツ生成手段は、注釈情報が付加された時刻から所定期間分の音声データを提示用コンテンツとして抽出することを特徴とする請求項１記載の情報蓄積装置。
5. 上記情報取得手段は、外部の画像データを取得する画像データ取得手段であり、上記画像データ取得手段にて取得した画像データから特徴画像を認識する画像認識手段を備え、
   上記制御手段は、上記画像データ取得手段で特徴画像の画像データが取得されたとき上記注釈情報入力手段によってユーザから注釈情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し、上記提示用コンテンツ生成手段は、注釈情報が付加された時刻から所定期間分の画像データを提示用コンテンツとして抽出することを特徴とする請求項１記載の情報蓄積装置。
6. 上記注釈情報入力手段は、複数の入力部として設けられ、上記経験情報の属性毎に割り当てられることを特徴とする請求項１記載の情報蓄積装置。
7. 使用者が経験した事象に関連する経験情報を取得する情報取得工程と、
   上記情報取得工程で取得された経験情報がメモリに蓄積される蓄積工程と、
   上記情報取得工程で取得された経験情報に対する注釈情報が入力される注釈情報入力工程と、
   上記注釈情報入力工程で注釈情報が付加された経験情報を抽出して提示用コンテンツを生成する提示用コンテンツ生成工程と、
   上記生成された提示用コンテンツと注釈情報とを対応付けて提示用コンテンツリストとして提示用コンテンツリストメモリに記憶する提示用コンテンツリスト記憶工程と
   を有することを特徴とする情報蓄積方法。
   

Images