JP4232774B2

JP4232774B2 - 情報処理装置および方法、並びにプログラム

Info

Publication number: JP4232774B2
Application number: JP2005319724A
Authority: JP
Inventors: 超徐; 智彦後藤; 環児嶋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-11-02
Filing date: 2005-11-02
Publication date: 2009-03-04
Anticipated expiration: 2025-11-02
Also published as: TW200739371A; EP1785896A2; CN1959705A; US9507802B2; US8538961B2; US20070103565A1; JP2007129434A; US20130279815A1; CN100435166C; EP1785896A3; TWI351620B; KR101325110B1; KR20070047697A

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、画像を撮影したときのイベントを識別することができるようにした情報処理装置および方法、並びにプログラムに関する。

従来より、ディジタルカメラで撮影された画像を分類する技術として様々なものが提案されている。

特許文献１には、撮影した画像に書き換えのできないIDを組み込み、そのIDを用いて、画像の分類や検索、あるいは、画像の再生の制限などを行う技術が開示されている。特許文献２には、１枚の画像全体から所定の領域を切り出し、切り出した領域から抽出された特徴に基づいて画像のカテゴリを決定する技術が開示されている。
特開平１０−５１７２１号公報特開２００２−３２７５１号公報

ところで、ある「飲み会」で撮影した画像をひとまとまりの画像として管理したり、ある「旅行」で撮影した画像をひとまとまりの画像として管理したりするように、撮影した画像をイベント毎に管理することが一般的に行われている。このように管理しておくことにより、ユーザは、例えば、「飲み会」の画像を見たいと思ったときに、「飲み会」としてまとめられた画像を指定するだけでそれを見ることができる。

従来、このようなイベント毎に画像を管理するためには、ユーザ自らがイベント毎にフォルダを作成し、撮影した画像をそれぞれのフォルダに振り分ける必要があり、このような整理に慣れていない人には面倒であることから、仮に、画像などから、それを撮影したときのイベントが機器によって自動的に識別され、イベント毎に画像が管理されるとすれば非常に便利であると考えられる。

本発明はこのような状況に鑑みてなされたものであり、画像自体や画像の属性情報から、その画像を撮影したときのイベントを識別することができるようにするものである。

本発明の一側面の情報処理装置は、撮影画像に付加されている属性情報に含まれる撮影時刻の情報と、撮影画像を解析することによって求められた撮影画像に写る人の顔の数の情報を含む情報を、撮影画像の特徴情報として抽出する特徴情報抽出手段と、複数の撮影画像を対象として、それぞれの撮影画像の撮影時刻の時間間隔のばらつきの程度が閾値より大きい部分がグループの境界部分となるようにグループ分けを行うクラスタリング手段と、前記クラスタリング手段により同じグループの撮影画像として分類された複数の撮影画像の前記特徴情報の平均をグループの特徴情報として、グループの特徴情報の条件にあうグループのイベントを、複数の学習用の撮影画像の撮影時刻の情報と、前記学習用の撮影画像に写る人の顔の数の情報を含む情報に基づいて学習を行うことによってあらかじめ生成された、各イベントをイベントの識別結果として得るための前記特徴情報の条件が記述された識別ファイルを参照して識別するイベント識別手段と、ユーザにより選択されたグループに含まれる撮影画像を所定の領域にサムネイル表示させるとともに、同じ画面の前記所定の領域と異なる領域に、ユーザにより選択された前記グループと同じイベントのグループとして前記イベント識別手段により識別されたグループに含まれる撮影画像のうちの代表画像を複数表示させ、代表画像を表示させているグループが選択されたとき、選択されたグループに含まれる撮影画像を前記所定の領域にサムネイル表示させる表示制御手段とを備える。

前記イベント識別手段には、前記特徴情報抽出手段により抽出された前記特徴情報の条件にあうそれぞれの撮影画像のイベントを前記識別ファイルを参照して識別させ、前記表示制御手段には、１枚の撮影画像を表示させるとともに、同じ画面に、表示させている撮影画像のイベント名を表示させることができる。

前記クラスタリング手段には、撮影時刻が近い撮影画像同士が同じノードに属し、それぞれのノードに属する撮影画像の撮影時刻に基づいて設定したノードの時刻と近い撮影時刻の画像とそのノードが同じノードに属するようにして、グループ分けの対象になる複数の撮影画像からなる二分木構造を生成させ、それぞれのノードに注目して、注目するノードを親のノードとする子ノード間の時間間隔の偏差の値を前記注目するノード内全体の撮影画像の撮影時刻の時間間隔の標準偏差の値で割って得られた値と、閾値とを比較し、閾値より大きい値が求められたノードを親のノードとするそれぞれの子ノードに含まれる撮影画像が異なるグループの撮影画像になるようにしてグループ分けを行わせることができる。

本発明の一側面の情報処理方法またはプログラムは、撮影画像に付加されている属性情報に含まれる撮影時刻の情報と、撮影画像を解析することによって求められた撮影画像に写る人の顔の数の情報を含む情報を、撮影画像の特徴情報として抽出し、複数の撮影画像を対象として、それぞれの撮影画像の撮影時刻の時間間隔のばらつきの程度が閾値より大きい部分がグループの境界部分となるようにグループ分けを行い、同じグループの撮影画像として分類した複数の撮影画像の前記特徴情報の平均をグループの特徴情報として、グループの特徴情報の条件にあうグループのイベントを、複数の学習用の撮影画像の撮影時刻の情報と、前記学習用の撮影画像に写る人の顔の数の情報を含む情報に基づいて学習を行うことによってあらかじめ生成された、各イベントをイベントの識別結果として得るための前記特徴情報の条件が記述された識別ファイルを参照して識別し、ユーザにより選択されたグループに含まれる撮影画像を所定の領域にサムネイル表示させるとともに、同じ画面の前記所定の領域と異なる領域に、ユーザにより選択された前記グループと同じイベントのグループとして識別したグループに含まれる撮影画像のうちの代表画像を複数表示させ、代表画像を表示させているグループが選択されたとき、選択されたグループに含まれる撮影画像を前記所定の領域にサムネイル表示させるステップを含む。

本発明の一側面においては、撮影画像に付加されている属性情報に含まれる撮影時刻の情報と、撮影画像を解析することによって求められた撮影画像に写る人の顔の数の情報を含む情報が、撮影画像の特徴情報として抽出され、複数の撮影画像を対象として、それぞれの撮影画像の撮影時刻の時間間隔のばらつきの程度が閾値より大きい部分がグループの境界部分となるようにグループ分けが行われる。また、同じグループの撮影画像として分類された複数の撮影画像の前記特徴情報の平均をグループの特徴情報として、グループの特徴情報の条件にあうグループのイベントが、複数の学習用の撮影画像の撮影時刻の情報と、前記学習用の撮影画像に写る人の顔の数の情報を含む情報に基づいて学習を行うことによってあらかじめ生成された、各イベントをイベントの識別結果として得るための前記特徴情報の条件が記述された識別ファイルを参照して識別される。ユーザにより選択されたグループに含まれる撮影画像が所定の領域にサムネイル表示されるとともに、同じ画面の前記所定の領域と異なる領域に、ユーザにより選択された前記グループと同じイベントのグループとして識別されたグループに含まれる撮影画像のうちの代表画像が複数表示され、代表画像が表示されているグループが選択されたとき、選択されたグループに含まれる撮影画像が前記所定の領域にサムネイル表示される。

本発明の一側面によれば、画像を撮影したときのイベントを識別することができる。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明の一実施形態に係るパーソナルコンピュータ１に、ディジタルカメラ２が接続されている状態を示す図である。

図１の例においては、パーソナルコンピュータ１とディジタルカメラ２がケーブル３を介して接続され、パーソナルコンピュータ１とディジタルカメラ２の間では、ケーブル３を介して相互に通信を行うことができるようになされている。ディジタルカメラ２の内部にはフラッシュメモリなどの記録媒体が設けられており、その記録媒体にはユーザにより撮影された画像が記録されている。

パーソナルコンピュータ１とディジタルカメラ２が接続されている図１の状態で、ユーザがパーソナルコンピュータ１を操作するなどしてディジタルカメラ２に記録されている画像をパーソナルコンピュータ１に取り込んだとき、パーソナルコンピュータ１上で起動するアプリケーション（アプリケーションプログラム）により、取り込まれたそれぞれの画像を撮影したときのイベントの識別が行われる。識別されたイベントを表す情報は、画像に対応付けてパーソナルコンピュータ１において管理される。

例えば、パーソナルコンピュータ１においては、「旅行」、「花見」、「花火」、「ドライブ・おでかけ」、「飲み会」、「結婚式」、「バーベキュー・キャンプ」、「スポーツ」の８つのイベントが識別可能なものとしてあらかじめ用意されており、その中から選択された１つのイベントを表す情報が、イベント識別の対象としている画像に対応付けられる。

詳細については後述するが、パーソナルコンピュータ１においては、例えば、イベント識別の対象とする画像自体や、EXIF(Exchangeable Image File Format)情報などの、画像の属性情報からメタデータが抽出され、抽出されたメタデータに基づいて、対象としている画像のイベントがSVM(Support Vector Machine)によって識別される。１枚の画像から抽出されたメタデータには、画像から抽出された、画像に写っている人の顔の数や位置の情報、画像の明度、色相、彩度などの色空間情報、EXIF情報から抽出された撮影日時、フラッシュを焚いたか否かなどの情報などが含まれ、それらに基づいて、画像を撮影したときのイベントが識別される。

このように、撮影されたそれぞれの画像を撮影したときのイベントがパーソナルコンピュータ１によって自動的に（ユーザによる選択によらずに）識別され、例えば、イベント毎にフォルダが生成されて同じイベントで撮影した画像が管理されるため、ユーザは、容易に、イベント毎に画像を管理することができる。また、ユーザは、イベントを指定して画像を閲覧したりすることができる。

一方、パーソナルコンピュータ１側からすれば、最近撮影した「花見」の画像をユーザが見ているときに前の年に撮影した「花見」の画像を自動的に表示することによって、画像を見ているユーザの記憶を想起させることができる。

このように、パーソナルコンピュータ１においては、画像に対応付けて管理されているイベントに基づいて各種の処理が実現される。

図２は、パーソナルコンピュータ１のディスプレイに表示される、画像の閲覧画面の例を示す図である。

図２の例においては、画面の上方に画像表示領域１１が形成され、ここには、イベントの識別対象となる画像が表示される。図２の画像表示領域１１には、木や人を被写体として撮影した画像が表示されている。

また、図２の例においては、画像表示領域１１に表示されている画像の保存場所の情報（C:\Document and Setting〜）が画像表示領域１１の下に表示され、その下に、識別結果表示領域１２が形成されている。図２の識別結果表示領域１２には、画像表示領域１１に表示されている画像を撮影したときのイベントの識別結果（認識結果）として「花見」が表示されている。

このように、ユーザは、識別結果表示領域１２の表示から、画像表示領域１１に表示されている画像を撮影したときのイベントを確認することができる。

図２の例においては、識別結果表示領域１２の下には、例えば、画像表示領域１１に表示されている画像に替えて、同じフォルダで管理されている画像のうちの先頭の画像を画像表示領域１１に表示させるときに操作されるボタン１３、画像表示領域１１に表示されている画像に替えて１つ前の画像を画像表示領域１１に表示させるときに操作されるボタン１４、画像表示領域１１に表示されている画像に替えて１つ後の画像を画像表示領域１１に表示させるときに操作されるボタン１５、および、画像表示領域１１に表示されている画像に替えて、同じフォルダで管理されている画像のうちの最後の画像を画像表示領域１１に表示させるときに操作されるボタン１６が横方向に並べて表示されている。ユーザは、これらのボタンを押すことによって、画像表示領域１１に表示させる画像、すなわちイベントの識別対象とする画像を切り替えることができる。

また、図２の例においては、ボタン１３乃至１６の下には、「認識間違いだったら、以下のボタンを押し、直してください。」の文字が表示され、その下に、それぞれのイベントを選択するときに操作されるイベントボタン１７が表示されている。イベントボタン１７は、上述したそれぞれのイベントを指定するときに操作されるボタンから構成されている。

ユーザは、画像表示領域１１に表示される画像の内容と、識別結果表示領域１２に表示される識別結果を比較し、イベントが正しく判断されていないと感じたときにイベントボタン１７を操作して正しいイベントを指定することによって、画像表示領域１１に表示されている画像を、正しいイベントを対応付けた形でパーソナルコンピュータ１に管理させることができる。

このようにユーザにより正しいイベントが指定されたとき、パーソナルコンピュータ１内に保存される、イベントの識別時に参照されるファイル（どのようなメタデータが抽出された画像を、どのイベントとして判断するのかを記述したファイル）は、イベントの識別精度がより高まるように更新される。

図３は、パーソナルコンピュータ１のディスプレイに表示される、画像の閲覧画面の他の例を示す図である。

パーソナルコンピュータ１においては、ディジタルカメラ２から取り込まれた画像は自動的にグループ分けされて管理され、ユーザは、画像の閲覧やコピーなどをグループ単位で行うことができるようになされている。

後述するように、ディジタルカメラ２から取り込まれた画像は、例えば、それぞれの画像の撮影時刻のばらつきの程度が閾値より大きい部分がグループの境界部分となるようにグループ分けされる。１つのグループには、グループに含まれる画像や属性情報から抽出されたデータに基づいて識別された１つのイベントが設定される。

図３の閲覧画面は、基本的に、画面の左方に形成される代表画表示領域３１と、画面の右方に形成される画像表示領域３２とから構成される。

代表画表示領域３１は、同じイベントが設定されたグループの代表画が表示される領域である。図３の例においては、代表画表示領域３１には、「２００５年花火」、「２００４年花火」、「２００３年花火」のイベント名が設定された、「花火」のイベントのグループの代表画が縦方向に並べて表示されている。

例えば、ユーザが「２００５年花火」のグループの画像を閲覧する画像として選択したとき、そのグループと同じ「花火」のイベントが設定された、「２００４年花火」のグループと、「２００３年花火」のグループがパーソナルコンピュータ１において管理されているグループの中から自動的に選択され、選択されたグループの代表画が表示されることによって、図３に示されるような閲覧画面の表示が実現される。

なお、それぞれのグループに設定されているイベント名のうち、「花火」は、グループに設定されたイベントを表すものとして設定されたものであり、「２００５年」、「２００４年」、「２００３年」は、グループに含まれる画像の撮影日（年月日）の情報に基づいて設定されたものである。

ユーザは、このようにして代表画が表示されるグループから所定のグループを選択し、選択したグループの画像を一覧表示させることができる。

図３の例においては、「２００５年花火」のグループが選択されており、「２００５年花火」のグループに含まれる１４枚の画像が画像表示領域３２に一覧表示（サムネイル表示）されている。図３の画像表示領域３２に表示されているそれぞれの画像は、「花火」のときに撮影した画像である。

このように、ユーザが選択したグループと同じイベントが設定されているグループ（グループの代表画）が自動的に表示されるから、いわば、イベントに基づく賢い検索機能が実現されることになり、ユーザは、自分が選択した画像を撮影したときの状況と同じ状況で過去に撮影した画像を見て楽しむことができる。

なお、イベントが設定されるそれぞれのグループは、図４に示されるように、階層構造を有する形でパーソナルコンピュータ１において管理される。図４の白抜き矢印の先に示される階層構造においては、「旅行」のイベントが設定されたルートノードｎ_rootには「ドライブ・おでかけ」のイベントが設定されたノードｎ₁と「飲み会」のイベントが設定されたノードｎ₂が子のノードとして連結され、ノードｎ₂には、同じく「飲み会」のイベントが設定されたノードｎ₃と「B.B.Q（バーベキュー・キャンプ）」のイベントが設定されたノードｎ₄が子のノードとして連結されている。ノードｎ₃とｎ₄には複数の画像が含まれるものとされている。

それぞれのノード（グループ）に含まれる画像は、ノードに直接に、または他のノードを介して間接的に連結される画像であり、ユーザは、所定のノードを選択し、好みの粒度のイベント単位で画像を閲覧したり、整理したりすることができる。

以上のようにして画像を管理し、閲覧画面を表示するパーソナルコンピュータ１の動作についてはフローチャートを参照して後述する。

図５は、図１のパーソナルコンピュータ１の構成例を示すブロック図である。

CPU(Central Processing Unit)４１は、ROM(Read Only Memory)４２、または記憶部４８に記録されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)４３には、CPU４１が実行するプログラムやデータなどが適宜記録される。これらのCPU４１、ROM４２、およびRAM４３は、バス４４により相互に接続されている。

なお、CPU４１として、”Cell誕生”、日経エレクトロニクス、日経BP社、２００５年２月２８日、８９頁乃至１１７頁に記載されているCellを採用することができる。

CPU４１にはまた、バス４４を介して入出力インターフェース４５が接続されている。入出力インターフェース４５には、キーボード、マウス、マイクロホンなどよりなる入力部４６、ディスプレイ、スピーカなどよりなる出力部４７が接続されている。CPU４１は、入力部４６から入力される指令に対応して各種の処理を実行する。そして、CPU４１は、処理の結果を出力部４７に出力する。

入出力インターフェース４５に接続されている記憶部４８は、例えばハードディスクからなり、CPU４１が実行するプログラム、ディジタルカメラ２から取り込まれた画像などの各種のデータを記録する。通信部４９は、ディジタルカメラ２との間で通信を行い、ディジタルカメラ２から取り込まれた画像やEXIF情報をCPU４１などに出力する。通信部４９においては、インターネットやローカルエリアネットワークなどのネットワークを介した外部の装置との通信なども行われる。

入出力インターフェース４５に接続されているドライブ５０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部４８に転送され、記録される。ディジタルカメラ２からの画像やEXIF情報の取り込みは、このリムーバブルメディア５１を介しても行われる。

図６は、パーソナルコンピュータ１の機能構成例を示すブロック図である。図６に示す機能部のうちの少なくとも一部は、図５のCPU４１により所定のプログラムが実行されることによって実現される。

パーソナルコンピュータ１においては、画像DB６１、特徴抽出部６２、イベント識別部６３、演算部６４、およびユーザインタフェース制御部６５が実現される。特徴抽出部６２はEXIF情報処理部７１、顔情報抽出部７２、および類似画像認識処理部７３から構成され、演算部６４はクラスタリング部８１と階層決定部８２から構成される。

画像DB６１にはディジタルカメラ２から取り込まれた画像や、それぞれの画像の属性情報であるEXIF情報（JEITAで規定されている、主にディジタルカメラ用の画像情報タグ。JEITA CP-3451-1 EXIF Ver.2.21およびJEITA CP-3461 DCF Ver.2.0に準拠）が記録される。

特徴抽出部６２は、イベントの識別対象とする画像をEXIF情報とともに画像DB６１から読み出し、読み出したデータから抽出した、画像の特徴を表すメタデータをイベント識別部６３に出力する。

具体的には、特徴抽出部６２のEXIF情報処理部７１は、画像DB６１から読み出されたEXIF情報から、撮影時刻などの所定の情報を抽出する。また、EXIF情報処理部７１は、EXIF情報に含まれる撮影時刻の情報を演算部６４にも出力する。

顔情報抽出部７２は、画像DB６１から読み出された画像を解析することによって、画像に写っている人の顔の情報を抽出する。顔の情報を抽出する技術については例えば特開２００５−４４３３０号公報に開示されており、この技術により、画像に写っている人の顔の数などの情報が抽出される。

類似画像認識処理部７３は、画像DB６１から読み出された画像を解析することによって、画像の色空間の情報などを抽出する。色空間の情報などを抽出する技術については例えば国際公開第００／３９７１２号パンフレットに開示されている。

図７は、特徴抽出部６２を構成する各部により抽出される情報の例を示す図である。

「DateTimeOriginal」のタグ名で表される情報は画像の撮影日時を表し、「Flash」のタグ名で表される情報は画像を撮影するときのフラッシュの状態を表す。「ExposureTime」のタグ名で表される情報は画像の撮影時の露出時間を表し、「FNumber」のタグ名で表される情報は画像の撮影時のＦ値（絞り値）を表す。

これらの４つの情報（「DateTimeOriginal」、「Flash」、「ExposureTime」、「FNumber」）が、対象とする画像のEXIF情報からEXIF情報処理部７１により抽出される。

「nx」の名前で表される値は、画像に写っている人の顔のＸ軸方向の位置を表し、「ny」の名前で表される値は、画像に写っている人の顔のＹ軸方向の位置を表す。例えば、１枚の画像の左上端を（０，０）、右上端を（１，０）、左下端を（０，１）、右下端を（１，１）とし、検出された顔の範囲を表す枠のＸ軸方向、Ｙ軸方向の位置（枠の左上の位置）が、「nx」、「ny」の値により表される。

「nwidth」の名前で表される値は、画像に写っている人の顔の幅を表し、「nheight」の名前で表される値は、画像に写っている人の顔の高さを表す。「Pitch」の名前で表される値は、画像に写っている人の顔の上下方向の向きを表し、「yaw」の名前で表される値は画像に写っている人の顔の左右方向の向きを表す。「TotalFace」の名前で表される値は、画像に写っている人の顔の数を表す。

これらの７つの情報（「nx」、「ny」、「nwidth」、「nheight」、「Pitch」、「yaw」、「TotalFace」）が、対象とする画像から顔情報抽出部７２により抽出される。なお、「nx」、「ny」、「nwidth」、「nheight」、「Pitch」、「yaw」のそれぞれの値は、イベント識別の対象とする１つの画像に写っている人の顔の数の分だけ抽出される。

「Ｌ」の名前で表される値は画像の明度を表し、「ａ」の名前で表される値は画像の色相を表す。「ｂ」の名前で表される値は画像の彩度を表す。

これらの３つの情報（「Ｌ」、「ａ」、「ｂ」）が、対象とする画像から類似画像認識処理部７３により抽出される。

以上のような各種の情報が記述されたメタデータが特徴抽出部６２からイベント識別部６３に出力され、画像を撮影したときのイベントの識別に用いられる。

図６の説明に戻り、イベント識別部６３は、特徴抽出部６２から供給されたメタデータから、対象とする画像を撮影したときのイベントを例えば上述した８種類のうちの１つを選択することによって識別し、識別したイベントの情報をメタデータに書き込んで管理する。イベントの情報も書き込まれたメタデータは、適宜、イベント識別部６３から演算部６４やユーザインタフェース制御部６５に出力される。

図８は、イベント識別部６３により管理されるメタデータ（イベントの情報も書き込み済みのメタデータ）の例を示す図である。図８において、それぞれの行の左端に示される数字と「；」は説明の便宜上付したものであり、メタデータの一部を構成するものではない。

図８に示されるように、メタデータは例えばXML(eXtensible Markup Language)文書として管理される。

１行目の「Photo」は、１枚の画像に対応付けられるメタデータの開始位置を表す。

２行目の「guid」タグは、図８のメタデータが対応付けられている画像のGUID(Global Unique Identifier)を表す。図８の例においては、画像のGUIDは「{624D4F19-1249-4d18-AAF8-15E1BFFF076F}」とされている。このGUIDにより、メタデータが対応付けられる画像が識別される。

３行目の「FilePath」タグは、図８のメタデータが対応付けられている画像のパーソナルコンピュータ１上での保存場所を表す。図８の例においては、画像の保存場所は「C:\Documents and Settings\aaa\デスクトップ\test\IMGP2198.JPG」とされている。

４行目の「PixelXDimension」タグ、５行目の「PixelYDimension」は、それぞれ、図８のメタデータが対応付けられている画像の横方向（Ｘ軸方向）、縦方向（Ｙ軸方向）の画素数を表す。図８の例においては、画像の横方向、縦方向の画素数はそれぞれ「2400」、「1600」とされている。

６行目の「Make」タグは、図８のメタデータが対応付けられている画像を撮影したディジタルカメラ２の製造元を表す。図８の例においては、ディジタルカメラ２の製造元は「AAA」とされている。

７行目の「Model」タグは、図８のメタデータが対応付けられている画像を撮影したディジタルカメラ２のモデル名を表す。図８の例においては、ディジタルカメラ２のモデル名は「BBB」とされている。

８行目の「EXIFversion」タグは、図８のメタデータが対応付けられている画像に付加されたEXIF情報のバージョンを表す。図８の例においては、EXIF情報のバージョンは「0221」（バージョン2.21）とされている。この８行目以降に、EXIF情報処理部７１により抽出されたEXIF情報が記述される。

９行目の「DateTimeOriginal」タグと１０行目の「DateTimeDigitized」タグは、図８のメタデータが対応付けられている画像の撮影日、撮影時刻を表す。図８の例においては、撮影日は「2005:06:05」（２００５年６月５日）、撮影時刻「12:02:26」（１２時２分２６秒）とされている。

１１行目の「SceneCaptureType」タグは、図８のメタデータが対応付けられている画像の撮影時のモードを表す。図８の例においては、撮影時のモードは「Portrait」とされている。

１２行目の「Flash」タグは、図８のメタデータが対応付けられている画像の撮影時のフラッシュのモードを表す。図８の例においては、フラッシュのモードは「reserved」とされている。

１３行目の「ExposureTime」タグは、図８のメタデータが対応付けられている画像の撮影時の露出時間を表す。図８の例においては、露出時間は「1/8」とされている。

１４行目の「FNumber」タグは、図８のメタデータが対応付けられている画像の撮影時のＦ値を表す。図８の例においては、Ｆ値は「35/10」とされている。

１５行目の「FocalLength」タグは、図８のメタデータが対応付けられている画像の撮影時の焦点距離を表す。図８の例においては、焦点距離は「18/1」とされている。

１６行目の「FocalLengthIn35mmFilm」タグは、図８のメタデータが対応付けられている画像の撮影時の３５mm換算の焦点距離を表す。図８の例においては、３５mm換算の焦点距離は「27」とされている。

１７行目の「ExposureProgram」タグは、図８のメタデータが対応付けられている画像の撮影時の露出調整プログラムを表す。図８の例においては、露出調整プログラムは「Portrait mode」とされている。

１８行目の「MeteringMode」タグは、図８のメタデータが対応付けられている画像の撮影時の測光モードを表す。図８の例においては、測光モードは「Pattern」とされている。

１９行目の「ExposureMode」タグは、図８のメタデータが対応付けられている画像の撮影時の露出モードを表す。図８の例においては、露出モードは「Manual exposure」とされている。

２０行目の「WhiteBalance」タグは、図８のメタデータが対応付けられている画像の撮影時のホワイトバランスの設定を表す。図８の例においては、ホワイトバランスの設定は「Auto white balance」とされている。

２１行目の「FaceNumber」タグは、図８のメタデータが対応付けられている画像に写っている人の顔の数を表す。図８の例においては、人の顔の数は「2」（２人の顔が写っている）とされている。この２１行目以降に、顔情報抽出部７２により抽出された顔情報が記述される。

２２行目の「FaceData」タグは、図８のメタデータが対応付けられている画像に写っている２つの顔のうちの一方の顔の情報を表す。図８の例においては、顔情報は「0.766962,0.477876,0.088496,0.058997,0.000000,-30.000000」とされており、それぞれの値は、先頭のものから順に、顔のＸ軸方向の位置（図７の「nx」）、顔のＹ軸方向の位置（図７の「ny」）、顔の幅（図７の「nwidth」）、顔の高さ（図７の「nheight」）、顔の上下方向の向き（図７の「Pitch」）、顔の左右方向の向き（図７の「yaw」）を表す。

２３行目の「FaceData」タグは、図８のメタデータが対応付けられている画像に写っている２つの顔のうちの他方の顔の情報を表す。図８の例においては、顔情報は「0.501475,0.433628,0.088496,0.058997,0.000000,-30.000000」とされている。このように、顔情報は、画像に写っているとして検出された顔毎に記述される。

２４行目の「ClassifiedEvent」タグは、図８のメタデータが対応付けられている画像を撮影したときのイベントを表す。イベント識別部６３によりイベントが識別されたとき、このタグの部分に、識別結果のイベントが書き込まれる。図８の例においては、イベントの識別結果は「結婚式」とされている。

２５行目の「UpdatedEvent」タグは、図８のメタデータが対応付けられている画像を撮影したときのイベントを表す。例えば、図２に示される画面からイベントボタン１７が操作されることによって正しいイベントが指定されたとき、指定されたイベントがこのタグの部分にイベント識別部６３によって書き込まれる。図８の例においては、指定されたイベントは「No Update」（イベントの指定なし）とされている。

２６行目の「/Photo」はメタデータの終了位置を表す。このような情報からなるメタデータが画像毎に用意され、イベント識別部６３により管理される。なお、類似画像認識処理部７３により抽出された情報も、適宜、同様にしてメタデータに書き込まれる。

ここで、イベント識別部６３によるイベントの識別について説明する。

イベント識別部６３においては、例えば、SVMによりイベントが識別される。

SVMはクラス分類を行う学習機械の一種であり、与えられた訓練点のなかで、サポートベクトルと呼ばれるクラス境界近傍に位置する訓練点と識別面との距離であるマージンを最大化するように分離超平面を構築し、その構築した分離超平面を用いてクラス分類を行うものである。線形での分類が難しい場合には、カーネルトリックによって入力空間をより高次の特徴空間に写像し、そこで線形分離を行うことで非線形の問題にも適用が可能となる。SVMの特徴には、従来のパターン認識の分野でよく用いられていた逆誤差伝播法によって学習を行う多層パーセプトロンに比べ、高い汎化性能を持つことや、２次の凸計画問題として定式化されるため学習の結果最適解を得ることができる、などがある。

図９は、イベント識別部６３による学習と、イベント識別のテストの概念を示す図である。このような学習とテストが、例えば、図６に示されるような機能部を実現するアプリケーションの開発時に行われ、イベントの識別時に参照されるデータとして得られた識別ファイルがイベント識別部６３に用意される。

１枚の画像のメタデータが供給された場合、SVM識別器６３Ａが学習を行う状態にあるときには、そのメタデータは判定器を経て教師データとしてSVM識別器６３Ａに出力される。SVM識別器６３Ａにおいては、例えば８００枚分の画像のメタデータを用いたSVMの学習が行われ、イベントの識別時に参照される識別ファイルが生成される。

一方、SVM識別器６３Ａがテストを行う状態にあるときには、供給されたメタデータは判定器を経て生徒データとしてSVM識別器６３Ａに出力される。SVM識別器６３Ａにおいては、学習時に得られた識別ファイルが参照され、供給されたメタデータに基づいてイベントが識別される。

SVM識別器６３Ａによる識別結果は例えば図２に示されるような形で画面上に出力され、その識別結果を見たアプリケーションの開発者は、識別結果が正しいか否かを選択することによってテスト結果の評価を行う。開発者による選択に応じて識別ファイルが更新され、１枚の画像を対象とした評価が終了される。

このような評価が、例えば、学習に用いられたものと同じ、８００枚分の画像のメタデータを用いて繰り返し行われ、最終的に得られた識別ファイルがイベント識別部６３に用意される。評価手法にはHoldoutやK-fold cross-validationなどがある。

図１０は、学習の具体的な例を示す図である。

図１０に示されるように、学習用の画像（Training photo data）を用いて、学習アルゴリズム（Training Algorithm）に従った学習が行われ、識別ファイル（Classification）が生成される。図１０の例においては、メタデータの内容が、画像に写っている人の顔の数が「５」より大きく、画像の撮影時のフラッシュの状態が「No」（発光させていない状態）であり、撮影時刻が「１９：００〜２２：００」の間である場合には、「飲み会」の識別結果が得られるような識別ファイルが生成されている。

図１１は、テストを含めたイベント識別の具体的な例を示す図である。

図１１に示されるように、テスト用の画像（Test photo data（学習に用いられた図１０の画像と同じ画像））を対象としたイベントの識別が、学習時に生成された識別ファイル（Classification）を参照して行われる。また、学習やテストなどに用いられた画像とは異なる新たな画像（New photo）のメタデータが供給されたとき、同じ識別ファイルが参照され、その新たな画像を撮影したときのイベントが識別される。図１１の例においては、新たな画像である「New.jpg」のファイル名の画像を撮影したときのイベントは「飲み会」として識別されている。

図６の説明に戻り、イベント識別部６３はまた、上述したような１枚の画像を撮影したときのイベントを識別するだけでなく、演算部６４により分けられた画像のグループに対してもイベントを設定する。

例えば、イベント識別部６３は、グループ分けの結果を表す情報を演算部６４から読み込み、それぞれのグループの画像のメタデータの平均をグループのメタデータとして上述したイベントの識別を行い、識別結果のイベントをグループに設定する。なお、グループに含まれるそれぞれの画像のメタデータは特徴抽出部６２から供給されているから、イベント識別部６３においては、グループに含まれる画像のメタデータの平均を求めることが可能となる。

グループに対して設定されたイベントは、例えば、ユーザにより閲覧されている画像を撮影したときと同じイベントで撮影した画像のグループを提示する図３に示されるような画面を表示するときに用いられる。

演算部６４のクラスタリング部８１は、保持しているクラスタデータと、EXIF情報処理部７１から供給された撮影時刻に基づいて画像のクラスタリング（グループ分け）を行う。例えば、過去にクラスタリングが行われた画像も含めて、対象の画像全体が二分木構造を有する形で管理されるクラスタリング結果がクラスタリング部８１により取得される。

クラスタリング部８１が保持しているクラスタデータには、それまでに求められた、それぞれの画像がどのクラスタ（グループ）に属するのかを表す情報や、画像全体の二分木構造を表す情報が含まれる。

階層決定部８２は、クラスタリング部８１により取得されたクラスタリング結果である二分木構造を表す情報に基づいて、所定の条件にあうクラスタを決定する。例えば、それぞれのクラスタがどの画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが階層決定部８２により取得され、画像全体の二分木構造を表すとともに、最終的なクラスタリングの結果を表すクラスタデータが得られる。

ここで、演算部６４により行われる処理の詳細について説明する。

例えば、１００枚の画像ｐ１乃至ｐ１００をクラスタリングの対象として、それらの画像をイベントクラスタＡ（グループ化条件Ａを満たす画像のクラスタ）と、サブイベントクラスタＢ（グループ化条件Ｂを満たす画像のクラスタ）に分ける処理について説明する。

はじめに、図１２乃至図２０を参照して、クラスタリング部８１により行われる二分木構造の作成について説明する。

図１２乃至図２０において、「ｐ」の文字と数字がその中に書かれている１つの円は１枚の画像を表し、「ｎ」の文字と数字がその中に書かれている１つの円は１つのノードを表す。また、図の右方は、左方より時間的に後の方向であるものとする。なお、ここでは、画像ｐ１乃至ｐ１００を、撮影時刻順（画像ｐ１が一番古く、画像ｐ１００が一番新しいデータ）にクラスタリングの対象とする場合について説明する。画像ｐ１とｐ２をクラスタリングの対象とした後（二分木構造に組み込んだ後）で、画像ｐ１よりも新しく、画像ｐ２より古い画像ｐ３を新たにクラスタリングの対象とするように、撮影時刻順にではなく、それぞれの画像を対象として行われるクラスタリングについては後述する。

クラスタリングがまだ行われていない状態で、最初の撮影により得られ、ディジタルカメラ２から取り込まれた画像ｐ１がツリーに挿入されたとき（クラスタリングの対象とされたとき）、初期の状態ではツリーのルートとなるノードが存在しないから、図１２に示されるように、画像ｐ１自身がルートノードとなる。

画像ｐ１に続けて撮影された画像ｐ２がツリーに挿入されたとき、図１３に示されるように、ノードｎ１が新たに作られ、画像ｐ２の撮影時刻は画像ｐ１の撮影時刻より後であるから、ノードｎ１には、画像ｐ１が左の子ノードとして連結され、画像ｐ２が右の子ノードとして連結される。ノードｎ１は画像ｐ１に代えてルートノードとなる。

ノードｎ１の最小時刻として画像ｐ１の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。ノードの時刻として、そのノードを親のノードとする２つの子ノードの撮影時刻の平均値（中間の時刻）が記録されるようにしてもよい。

画像ｐ２に続けて撮影された画像ｐ３がツリーに挿入され、図１４に示されるように、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔td_p2p3が、画像ｐ２の撮影時刻と画像ｐ１の撮影時刻の時間間隔td_p1p2より小さいとき、図１５に示されるように、ノードｎ２が新たに作られ、ノードｎ２には、その左の子ノードとして画像ｐ２が連結され、右の子ノードとして画像ｐ３が連結される。また、ノードｎ２が、画像ｐ２の代わりに右の子ノードとしてノードｎ１に連結される。

ノードｎ２の最小時刻として画像ｐ２の撮影時刻が記録され、最大時刻として画像ｐ３の撮影時刻が記録される。また、このとき、ノードｎ２の親のノードであるノードｎ１の最大時刻が画像ｐ３の撮影時刻で上書きされる。

画像ｐ３に続けて撮影された画像ｐ４がツリーに挿入され、図１６に示されるように、画像ｐ４の撮影時刻と画像ｐ３の撮影時刻の時間間隔td_p3p4が、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔td_p2p3より大きく、かつ、画像ｐ４の撮影時刻とノードｎ２の最大時刻の時間間隔td_n2maxp4が、ノードｎ２の最小時刻と画像ｐ１の撮影時刻の時間間隔td_p1n2minより大きいとき、図１７に示されるように、ノードｎ３が新たにルートノードとして作られる。また、ノードｎ３には、その左の子ノードとしてノードｎ１が連結され、右の子ノードとして画像ｐ４が連結される。

ノードｎ３の最小時刻としてノードｎ１の最小時刻が記録され、最大時刻として画像ｐ４の撮影時刻が記録される。

画像ｐ４に続けて撮影された画像ｐ５がツリーに挿入され、図１８に示されるように、画像ｐ５の撮影時刻と画像ｐ４の撮影時刻の時間間隔td_p4p5より、画像ｐ４の撮影時刻とノードｎ１の最大時刻の時間間隔td_n1maxp4の方が大きいとき、図１９に示されるように、ノードｎ４が新たに作られる。また、ノードｎ４には、その左の子ノードとして画像ｐ４が連結され、右の子ノードとして画像ｐ５が連結される。さらに、ノードｎ４が、画像ｐ４の代わりに右の子ノードとしてノードｎ３に連結される。

ノードｎ４の最小時刻として画像ｐ４の撮影時刻が記録され、最大時刻として画像ｐ５の撮影時刻が記録される。また、このとき、ノードｎ４の親のノードであるノードｎ３の最大時刻が画像ｐ５の撮影時刻で上書きされる。

この時点で、画像ｐ１乃至ｐ５の５枚の画像を含むノードｎ１乃至ｎ４から二分木構造が形成された状態になる。

それぞれのノードに含まれる画像は、それぞれのノードに直接に、または他のノードを介して間接的に連結される画像であるから、図１９に示されるようなツリーが作成されているとき、ノードｎ３に含まれる画像は画像ｐ１乃至ｐ５の５枚の画像となり、ノードｎ１に含まれる画像は画像ｐ１乃至ｐ３の３枚の画像となる。また、ノードｎ２に含まれる画像は画像ｐ２およびｐ３の２枚の画像となり、ノードｎ４に含まれる画像は画像ｐ４およびｐ５の２枚の画像となる。

このように、画像が新たに挿入される毎に、撮影時刻の時間間隔のより小さい画像同士、または、撮影時刻と設定された時刻の時間間隔のより小さい画像とノードが、同じノードにぶらさがるように連結されていく。

画像ｐ６乃至ｐ１００がツリーに挿入されたときも同様にして処理が行われ、最終的に、ルートノードｎ_rootに画像ｐ１乃至ｐ１００が含まれる、図２０に示されるような二分木構造が得られる。

次に、図２１乃至図２７を参照して、階層決定部８２により行われるグループ化条件に基づくクラスタリングについて説明する。

階層決定部８２においては、二分木構造内のそれぞれのノードが注目され、ノード内の全ての画像の撮影時刻の時間間隔の標準偏差sdが下式（１）により算出される。

Ｎは画像の撮影時刻の時間間隔の数であり、「ノードに含まれる画像の数−１」で表される。td_nは、Ｎ個の時間間隔のうちの、時間的に先のものから見てｎ番目の時間間隔である。「￣」が付されたtdはノード内の時間間隔tdの平均値である。

また、注目するノードを親のノードとする子ノード間の時間間隔の偏差dev（子ノード間の時間間隔と、撮影時刻の時間間隔の平均との差の絶対値）が下式（２）により算出される。

Ｎは画像の撮影時刻の時間間隔の数であり、「ノードに含まれる画像の数−１」で表される。td_cは子ノード間の時間間隔である。「￣」が付されたtdはノード内の時間間隔tdの平均値である。なお、子ノード間の時間間隔とは、注目するノードを親のノードとする２つの子ノードのうちの時間的に先の子ノードに含まれる時間的に最後の画像の撮影時刻と、時間的に後の子ノードに含まれる時間的に最初の画像の撮影時刻の時間間隔である。具体例については後述する。

さらに、式（２）により算出された偏差devの、式（１）により算出された標準偏差sdに対する比が、分割パラメータthとして、注目するノードに設定される。分割パラメータthは下式（３）で表され、注目するノードを親のノードとする子ノードを、それぞれ異なるクラスタに属するものとして分割するか否かを判断する基準となるパラメータである。

ここで、上式により求められる値について図２１を参照して具体的に説明する。

図２１は、クラスタリング部８１により作成された二分木構造全体のうちの一部の、図１９と同じ範囲の構造を示す図である。

図２１において、td₁は、画像ｐ１の撮影時刻と画像ｐ２の撮影時刻の時間間隔であり、td₂は、画像ｐ２の撮影時刻と画像ｐ３の撮影時刻の時間間隔である。また、td₃は、画像ｐ３の撮影時刻と画像ｐ４の撮影時刻の時間間隔であり、td₄は、画像ｐ４の撮影時刻と画像ｐ５の撮影時刻の時間間隔である。

例えば、図２１のうちのルートノードに最も近いノードであるノードｎ３が注目されている場合、はじめに、式（１）にそれぞれの値が代入され、標準偏差sdは下式（４）で表される。また、撮影時刻の時間間隔の平均値は下式（５）で表される。

偏差devは下式（６）で表される。

すなわち、注目するノードｎ３を親のノードとする２つの子ノードはノードｎ１とｎ４であり、そのうちの時間的に先のノードｎ１に含まれる時間的に最後の画像ｐ３の撮影時刻と、時間的に後のノードｎ４に含まれる時間的に最初の画像ｐ４の撮影時刻の時間間隔td₃がノードｎ１とノードｎ４の時間間隔であり、それが、ノードｎ３に注目したときの偏差devの算出に用いられる。

式（４）により算出された標準偏差sdと、式（６）により算出された偏差devから、ノードｎ３に注目したときの分割パラメータthが算出され、ノードｎ３に設定される。

以上のようにして全てのノードに対する分割パラメータの設定が終了したとき、階層決定部８２においては、次に、グループ化条件としての閾値が設定される。

例えば、グループ化条件Ａとして閾値ａが設定され、グループ化条件Ｂとして閾値ｂが設定された場合、「ａ＝３．０」、「ｂ＝２．６」などのように、「ａ＞ｂ」の条件を満たすときには、図２２に示されるように、「グループ化条件Ａにより規定されるクラスタ＞グループ化条件Ｂにより規定されるクラスタ」となる（グループ化条件Ａにより規定されるクラスタの中に、グループ化条件Ｂにより規定されるクラスタがいくつかできることになる）。

図２２の例においては、対象となる画像全体が、グループ化条件Ａによりグループｇ₁とｇ₂の２つのクラスタに分けられ、グループ化条件Ｂによりグループｇ₃乃至ｇ₇の５つのクラスタに分けられている。

すなわち、後述するように、設定されている分割パラメータの値が閾値より大きい場合に、その分割パラメータが設定されているノードの部分がクラスタの境界部分となるから、閾値が大きいほど、そのノードの部分はクラスタの境界部分となりにくく、従って、全体として見たときにクラスタの粒度は粗くなる。反対に、閾値が小さいほど、そのノードの部分はクラスタの境界部分となりやすく、従って、全体として見たときにクラスタの粒度は細かくなる。

なお、ある画像の撮影時刻と、次に撮影された画像の撮影時刻の時間間隔が３０分以上ある場合（時間間隔td＞３０min）や１日以上ある場合（時間間隔td＞１day）、その時間間隔のある部分がクラスタの境界部分となるようなグループ化条件、いわば、１つのクラスタに含まれる画像の撮影時刻の時間間隔の上限を規定するようなグループ化条件が設定されるようにしてもよい。これにより、撮影時刻の時間間隔が３０分、あるいは１日以上ある画像同士はそれぞれ異なるクラスタに含まれる画像となる。

グループ化条件としての閾値が設定された後、階層決定部８２においては、次に、設定された閾値と、上述したようにしてそれぞれのノードに設定された分割パラメータthに基づいてそれぞれのノードに分割フラグが設定される。

例えば、分割パラメータthが、グループ化条件Ａとして設定された閾値ａを越えるノードには１の値のグループＡ分割フラグが設定され、閾値ａを越えないノードには０の値のグループＡ分割フラグが設定される。

分割フラグとして１の値が設定されていることは、その分割フラグが設定されているノードを親のノードとする子ノード間の時間間隔が、注目しているノード内全体の画像の撮影時刻の時間間隔より比較的大きいことを表す。反対に、分割フラグとして０の値が設定されていることは、その分割フラグが設定されているノードを親のノードとする子ノード間の時間間隔が、注目しているノード内全体の画像の撮影時刻の時間間隔とあまり変わらないことを表す。

グループＡ分割フラグの値の設定が終了したとき、二分木構造内のノードが昇順で（葉から根の方向に順に）注目され、子ノードの時間間隔がノード内全体の画像の撮影時刻の時間間隔より比較的大きいノード、すなわち、グループＡ分割フラグとして１の値が設定されているノードを境界として画像が区切られ、グループ化条件Ａによりクラスタが規定される。

図２３はグループＡ分割フラグの設定の例を示す図である。

図２３の例においては、ルートノードに最も近いノードであるノードｎ１０には、ノードｎ１１とｎ１２がそれぞれ左右の子ノードとして連結され、ノードｎ１１には、ノードｎ１３とｎ１４がそれぞれ左右の子ノードとして連結される。また、ノードｎ１２には、ノードｎ１５とｎ１６がそれぞれ左右の子ノードとして連結され、ノードｎ１４には、ノードｎ１７とｎ１８がそれぞれ左右の子ノードとして連結される。

また、図２３の例においては、これらのノードのうちのノードｎ１０，ｎ１１，ｎ１２，ｎ１４のそれぞれにグループＡ分割フラグとして１の値が設定されており、それらのノードの部分を境界として、太線で示されるようにクラスタが分けられる。

なお、図２３の右方に示されるように、ノードｎ１３は画像ｐ１乃至ｐ１７を含むノードであり、ノードｎ１７は画像ｐ１８乃至ｐ３０を含むノードである。また、ノードｎ１８は画像ｐ３１乃至ｐ６８を含むノードであり、ノードｎ１５は画像ｐ６９乃至ｐ９３を含むノードである。ノードｎ１６は画像ｐ９４乃至ｐ１００を含むノードである。

従って、グループＡ分割フラグの値として１が設定されているノードの部分を境界としてクラスタが分けられた場合、いまクラスタリングの対象とされている画像ｐ１乃至ｐ１００は、図２４に示されるようなそれぞれのクラスタ（イベントクラスタＡ）に分けられる。

すなわち、ノードｎ１３に含まれる画像ｐ１乃至ｐ１７からクラスタＡ₁が構成され、ノードｎ１７に含まれる画像ｐ１８乃至ｐ３０からクラスタＡ₂が構成される。

また、ノードｎ１８に含まれる画像ｐ３１乃至ｐ６８からクラスタＡ₃が構成され、ノードｎ１５に含まれる画像ｐ６９乃至ｐ９３からクラスタＡ₄が構成される。さらに、ノードｎ１６に含まれる画像ｐ９４乃至ｐ１００からクラスタＡ₅が構成される。

以上のようにしてグループ化条件Ａに基づくクラスタリングが行われ、グループ化条件Ａにより規定されるそれぞれのクラスタがどの範囲の画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが、グループ化条件Ａに基づくクラスタリング結果として取得される。

グループ化条件Ａに基づくクラスタリングが行われたとき、同様にして、グループ化条件Ｂに基づくグループ分けが行われる。

すなわち、階層決定部８２においては、分割パラメータthが、グループ化条件Ｂとして設定された閾値ｂを越えるノードには１の値のグループＢ分割フラグが設定され、閾値ｂを越えないノードには０の値のグループＢ分割フラグが設定される。

グループＢ分割フラグの値の設定が終了したとき、二分木構造内のノードが昇順で注目され、子ノードの時間間隔がノード内全体の画像の撮影時刻の時間間隔より比較的大きいノード、すなわち、グループＢ分割フラグとして１の値が設定されているノードを境界として画像が区切られ、グループ化条件Ｂによりクラスタが規定される。

図２５はグループＢ分割フラグの設定の例を示す図である。

図２５の例においては、ルートノードに最も近いノードであるノードｎ１０には、ノードｎ１１が左の子ノードとして連結され、ノードｎ１１には、ノードｎ１３とｎ１４がそれぞれ左右の子ノードとして連結される。また、ノードｎ１４には、ノードｎ１７とｎ１８がそれぞれ左右の子ノードとして連結され、ノードｎ１７には、ノードｎ１９とｎ２０がそれぞれ左右の子ノードとして連結される。さらに、ノードｎ１８には、ノードｎ２１とｎ２２がそれぞれ左右の子ノードとして連結され、ノードｎ１９には、ノードｎ２３とｎ２４がそれぞれ左右の子ノードとして連結される。

また、図２５の例においては、これらのノードのうちのノードｎ１０，ｎ１１，ｎ１４，ｎ１７，ｎ１８，ｎ１９のそれぞれにグループＢ分割フラグとして１の値が設定されており、それらのノードの部分を境界として、太線で示されるようにクラスタが分けられる。

なお、図２５の右側に示されるように、ノードｎ１３は画像ｐ１乃至ｐ１７を含むノードであり、ノードｎ２３は画像ｐ１８乃至ｐ２１を含むノードである。また、ノードｎ２４は画像ｐ２２乃至ｐ２６を含むノードであり、ノードｎ２０は画像ｐ２７乃至ｐ３０を含むノードである。ノードｎ２１は画像ｐ３１乃至ｐ５７を含むノードであり、ノードｎ２２は画像ｐ５８乃至ｐ６８を含むノードである。

従って、グループＢ分割フラグの値として１が設定されているノードの部分を境界としてクラスタが分けられた場合、いまクラスタリングの対象とされている画像ｐ１乃至ｐ１００のうちの画像ｐ１乃至ｐ６８は、図２６に示されるようなそれぞれのクラスタ（サブイベントクラスタＢ）に分けられる。

すなわち、ノードｎ１３に含まれる画像ｐ１乃至ｐ１７からクラスタＢ₁が構成され、ノードｎ２３に含まれる画像ｐ１８乃至ｐ２１からクラスタＢ₂が構成される。

また、ノードｎ２４に含まれる画像ｐ２２乃至ｐ２６からクラスタＢ₃が構成され、ノードｎ２０に含まれる画像ｐ２７乃至ｐ３０からクラスタＢ₄が構成される。さらに、ノードｎ２１に含まれる画像ｐ３１乃至ｐ５７からクラスタＢ₅が構成され、ノードｎ２２に含まれる画像ｐ５８乃至ｐ６８からクラスタＢ₆が構成される。

以上のようにしてグループ化条件Ｂに基づくクラスタリングが行われ、グループ化条件Ｂにより規定されるそれぞれのクラスタがどの範囲の画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが、グループ化条件Ｂに基づくクラスタリング結果として取得される。取得されたクラスタリング結果は階層決定部８２により管理される。

図２７は、グループ化条件Ａに基づくクラスタリング結果（図２４）と、グループ化条件Ｂに基づくクラスタリング結果（図２６）を重ねて示す図である。

図２７に示されるように、複数のグループ化条件に基づいてグループ化が行われた場合、クラスタリング結果のクラスタは入れ子関係を有する。

図２７の例においては、クラスタＡ₁とクラスタＢ₁は同じ範囲の画像を含むクラスタであり、クラスタＡ₂にはクラスタＢ₂乃至Ｂ₄が含まれる。また、クラスタＡ₃にはクラスタＢ₅とＢ₆が含まれる。

図２７に示されるような関係をそれぞれのクラスタが有する場合、例えば、クラスタＡ₂を表すフォルダの下位の階層のフォルダとして、クラスタＢ₂乃至Ｂ₄を表すフォルダがそれぞれ表示され、クラスタＡ₃を表すフォルダの下位の階層のフォルダとして、クラスタＢ₅とＢ₆を表すフォルダがそれぞれ表示される。

以上のように、演算部６４においては、階層的なクラスタリングと、分散に基づくクラスタリング（画像全体の撮影間隔の平均を基準としたクラスタリング）が行われる。これにより、単に撮影間隔の近い画像同士が同じクラスタに含まれるようにクラスタリングが行われるのではなく、時間間隔が揃っている画像同士が同じクラスタに含まれるようにクラスタリングが行われることになる。

次に、クラスタリング部８１により行われる二分木構造の作成の他の例について図２８乃至図３５を参照して説明する。

ここでは、それぞれの画像を、撮影時刻順にではなくクラスタリングの対象とする場合について説明する。例えば、ディジタルカメラ２で撮影された画像のクラスタリングをパーソナルコンピュータ１に行わせた後に、人からもらった画像などの、他のディジタルカメラで撮影された画像をもパーソナルコンピュータ１に取り込み、それらの画像全体をクラスタリングさせる場合などに、撮影時刻順にではなく、それぞれの画像を対象としたクラスタリングが行われる。

例えば、図１３に示されるように、ノードｎ１の左の子ノードとして画像ｐ１が連結され、右の子ノードとして画像ｐ２が連結されている状態で、画像ｐ１よりも新しく、画像ｐ２より古い画像である画像ｐ３がツリーに新たに挿入された場合、図２８に示されるように、画像ｐ１の撮影時刻と画像ｐ３の撮影時刻の時間間隔td_p1p3が、画像ｐ２の撮影時刻と画像ｐ３の撮影時刻の時間間隔td_p2p3より大きいときには、図２９に示されるように、ノードｎ２が新たに作られる。ノードｎ２には、その左の子ノードとして画像ｐ３が連結され、右の子ノードとして画像ｐ２が連結される。また、ノードｎ２が、画像ｐ２の代わりに右の子ノードとしてノードｎ１に連結される。

ノードｎ２の最小時刻として画像ｐ３の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。このとき、ノードｎ２の親のノードであるノードｎ１の最小時刻と最大時刻に変更はない（最小時刻は画像ｐ１の撮影時刻、最大時刻は画像ｐ２の撮影時刻のままとなる）。

一方、図１３に示されるように、ノードｎ１の左の子ノードとして画像ｐ１が連結され、右の子ノードとして画像ｐ２が連結されている状態で、画像ｐ１よりも新しく、画像ｐ２より古い画像である画像ｐ３がツリーに新たに挿入され、図３０に示されるように、画像ｐ１の撮影時刻と画像ｐ３の撮影時刻の時間間隔td_p1p3が、画像ｐ２の撮影時刻と画像ｐ３の撮影時刻の時間間隔td_p2p3より小さいとき、図３１に示されるように、ノードｎ２が新たに作られる。ノードｎ２には、その左の子ノードとして画像ｐ１が連結され、右の子ノードとして画像ｐ３が連結される。また、ノードｎ２が、画像ｐ１の代わりに左の子ノードとしてノードｎ１に連結される。

ノードｎ２の最小時刻として画像ｐ１の撮影時刻が記録され、最大時刻として画像ｐ３の撮影時刻が記録される。このとき、ノードｎ２の親のノードであるノードｎ１の最小時刻と最大時刻に変更はない（最小時刻は画像ｐ１の撮影時刻、最大時刻は画像ｐ２の撮影時刻のままとなる）。

また、図１３に示されるように、ノードｎ１の左の子ノードとして画像ｐ１が連結され、右の子ノードとして画像ｐ２が連結されている状態で、画像ｐ１よりも古い画像である画像ｐ３がツリーに新たに挿入された場合、図３２に示されるように、画像ｐ１の撮影時刻と画像ｐ３の撮影時刻の時間間隔td_p1p3が、画像ｐ１の撮影時刻と画像ｐ２の撮影時刻の時間間隔td_p1p2より小さいときには、図３３に示されるように、ノードｎ２が新たに作られる。ノードｎ２には、その左の子ノードとして画像ｐ３が連結され、右の子ノードとして画像ｐ１が連結される。また、ノードｎ２が、画像ｐ１の代わりに左の子ノードとしてノードｎ１に連結される。

ノードｎ２の最小時刻として画像ｐ３の撮影時刻が記録され、最大時刻として画像ｐ１の撮影時刻が記録される。このとき、ノードｎ２の親のノードであるノードｎ１の最小時刻が画像ｐ３の撮影時刻で上書きされる。ノードｎ１の最大時刻に変更はない（最大時刻は画像ｐ２の撮影時刻のままとなる）。

一方、図１３に示されるように、ノードｎ１の左の子ノードとして画像ｐ１が連結され、右の子ノードとして画像ｐ２が連結されている状態で、画像ｐ１よりも古い画像である画像ｐ３がツリーに新たに挿入され、図３４に示されるように、画像ｐ１の撮影時刻と画像ｐ３の撮影時刻の時間間隔td_p1p3が、画像ｐ１の撮影時刻と画像ｐ２の撮影時刻の時間間隔td_p1p2より大きいときには、図３５に示されるように、ノードｎ２が新たにルートノードとして作られる。また、ノードｎ２には、その左の子ノードとして画像ｐ３が連結され、右の子ノードとしてノードｎ１が連結される。

ノードｎ２の最小時刻として画像ｐ３の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。このとき、ノードｎ１の最小時刻と最大時刻に変更はない（最小時刻は画像ｐ１の撮影時刻、最大時刻は画像ｐ２の撮影時刻のままとなる）。

画像ｐ４以降が新たに挿入された場合も同様に、その画像ｐ４が、クラスタリングが既に行われた画像の中で最も新しい画像である場合には、図１２乃至図２０を参照して説明したような処理が行われ、それ以外の場合には、図２８乃至図３５を参照して説明した処理が行われる。

図６のイベント識別部６３においては、以上のようにして生成されたそれぞれのクラスタ（ノード）に１つのイベントが設定されることになる。従って、例えば、図２４に示されるようなクラスタが生成されている場合、クラスタＡ₁に対しては、画像ｐ１乃至ｐ１７自体やそれらの画像のEXIF情報から抽出されたメタデータの平均がクラスタのメタデータとされ、クラスタのメタデータに基づいて識別されたイベントが対応付けて管理される。これにより、ユーザは、あるイベントを指定して、指定したイベントが設定されたクラスタに含まれる画像だけを閲覧したりすることができる。

図６の説明に戻り、ユーザインタフェース制御部６５はディスプレイの表示を制御する。例えば、ユーザインタフェース制御部６５は、画像DB６１から読み出した画像を表示させるとともに、イベント識別部６３により管理されているメタデータに記述されるイベントの識別結果を表示する。これにより、図２に示されるような、画像と、それを撮影したときのイベントが表示される画面がディスプレイに表示される。

また、ユーザインタフェース制御部６５は、あるグループの画像を表示しているとき、そのグループと同じイベントが設定されているグループを演算部６４の階層決定部８２により管理されている情報に基づいて判断し、同じイベントが設定されているグループの代表画を並べて表示させる。これにより、図３に示されるような、同じイベントが設定されたグループの代表画が並んで表示される画面がディスプレイに表示される。

次に、以上のような構成を有するパーソナルコンピュータ１の動作について説明する。

はじめに、１枚の画像のイベントを識別し、図２に示されるような画面を表示させるパーソナルコンピュータ１の一連の処理について図３６と図３７のフローチャートを参照して説明する。

図３６は、パーソナルコンピュータ１のイベント識別処理について説明するフローチャートである。

ステップＳ１において、通信部４９は、記録媒体に記録されている画像をEXIF情報とともにディジタルカメラ２から取り込む。通信部４９により取り込まれた画像とEXIF情報は、例えば記憶部４８に形成される画像DB６１に記録され、所定のタイミングでイベント識別に用いられる。

ステップＳ２において、特徴抽出部６２は、イベント識別の対象とする画像とEXIF情報から特徴を抽出する。すなわち、特徴抽出部６２のEXIF情報処理部７１により、EXIF情報に含まれる各種の情報のうちの所定の情報が抽出され、顔情報抽出部７２により、画像に写っている人の顔の情報が抽出される。また、類似画像認識処理部７３により、画像の色空間の情報などが抽出される。

ステップＳ３において、特徴抽出部６２は、ステップＳ２で抽出した情報を記述したメタデータを生成し（画像をベクトル化し）、生成したメタデータをイベント識別部６３に出力する。

ステップＳ４において、イベント識別部６３は、特徴抽出部６２から供給されたメタデータに記述される各種の情報から、あらかじめ用意される識別ファイルを参照してイベントを識別し、ステップＳ５に進み、識別したイベントをメタデータに書き込む。これにより、図８に示されるようなメタデータが画像毎に生成される。

ステップＳ６において、イベント識別部６３は、生成したメタデータをファイルに書き込み、処理を終了させる。例えば、複数の画像のメタデータが１つのファイルで管理されており、生成されたメタデータが、この１つのファイルに書き込まれる。

次に、図３７のフローチャートを参照して、パーソナルコンピュータ１の画像表示処理について説明する。

ステップＳ１１において、ユーザインタフェース制御部６５は、表示対象の画像を画像DB６１から読み出し、読み出した画像を撮影したときのイベントをイベント識別部６３により管理されているメタデータから確認する。

ステップＳ１２において、ユーザインタフェース制御部６５は、画像DB６１から読み出した画像を表示させるとともに、ステップＳ１１で確認したイベントを画像の近傍に表示させる。これにより、ディスプレイには、図２に示されるような画面が表示される。

次に、クラスタに設定されたイベントに基づいて図３に示されるような画面を表示するパーソナルコンピュータ１の一連の処理について図３８乃至図４０を参照して説明する。

はじめに、図３８のフローチャートを参照して、クラスタデータを生成するパーソナルコンピュータ１の処理について説明する。

ステップＳ２１において、通信部４９は、記録媒体に記録されている画像をEXIF情報とともにディジタルカメラ２から取り込む。取り込まれた画像とEXIF情報は画像DB６１に記録される。

ステップＳ２２において、特徴抽出部６２のEXIF情報処理部７１は、イベント識別の対象となる画像のEXIF情報から撮影時刻を取得し、取得した撮影時刻を演算部６４に出力する。

ステップＳ２３において、演算部６４のクラスタリング部８１は、EXIF情報処理部７１から供給された撮影時刻と、保持しているクラスタデータに基づいて、クラスタリングの対象となる画像全体からなる二分木構造を例えば図１２乃至図２０を参照して説明したようにして作成する。

ステップＳ２４において、階層決定部８２は、二分木構造の所定の階層にある１つのノードに注目し、ステップＳ２５に進み、注目するノード内の全ての画像の撮影時刻の時間間隔の標準偏差sdを算出する。

ステップＳ２６において、階層決定部８２は、注目するノードを親のノードとする子ノード間の時間間隔の偏差devを算出する。

ステップＳ２７において、階層決定部８２は、ステップＳ２６で算出した偏差devの、ステップＳ２５で算出した標準偏差sdに対する比を算出し、算出した比を分割パラメータthとして、いま注目しているノードに記録する。

ステップＳ２８において、階層決定部８２は、二分木構造の全てのノードに注目したか否かを判定し、注目していないと判定した場合、ステップＳ２４に戻り、注目するノードを切り替えてそれ以降の処理を繰り返す。

一方、階層決定部８２は、ステップＳ２８において、二分木構成の全てのノードに注目したと判定した場合、ステップＳ２９に進み、グループ化条件としての閾値を設定する。同じ画像を対象として異なる粒度のクラスタを求める場合、ここでは、複数のグループ化条件が設定される。

ステップＳ３０において、階層決定部８２は、ステップＳ２９で設定したグループ化条件としての閾値と、それぞれのノードに設定された分割パラメータthを比較し、例えば、分割パラメータthが閾値を越えるノードには１の値の分割フラグを設定し、閾値を越えないノードには０の値の分割フラグを設定する。グループ化条件が複数設定されている場合、それぞれのグループ化条件について分割パラメータの設定が行われる。

ステップＳ３１において、階層決定部８２は、二分木構造のそれぞれのノードに昇順で注目し、分割フラグに１の値が設定されているノードを境界としてクラスタを分け、それぞれのクラスタの範囲を表すクラスタデータを作成する。

ステップＳ３２において、階層決定部８２は、作成したクラスタデータを保存し、処理を終了させる。

次に、図３９のフローチャートを参照して、以上のようにして生成されたクラスタのイベントを識別するパーソナルコンピュータ１の処理について説明する。

ステップＳ４１において、イベント識別部６３は、階層決定部８２により管理されているクラスタデータを読み込み、ステップＳ４２に進み、クラスタの特徴を抽出する。例えば、それぞれのクラスタに含まれる画像のメタデータの平均が求められ、クラスタの特徴とされる。

ステップＳ４３において、イベント識別部６３は、ステップＳ４２で求めたクラスタの特徴が記述されたメタデータを生成する。

ステップＳ４４において、イベント識別部６３は、ステップＳ４３で生成したメタデータに基づいてクラスタのイベントを識別し、ステップＳ４５に進み、それぞれのクラスタとイベントの識別結果を対応付けることによってイベントの設定（ラベリング）を行う。設定されたイベントの情報は階層決定部８２に出力される。

ステップＳ４６において、階層決定部８２は、それぞれのクラスタにイベントが設定された二分木構造を表すクラスタデータを保存し、処理を終了させる。

次に、図４０のフローチャートを参照して、パーソナルコンピュータ１の画像表示処理について説明する。

ステップＳ５１において、ユーザインタフェース制御部６５は、ある画像を表示してユーザに閲覧させる。

例えば、画像を表示している状態で所定の操作が行われたとき、ユーザインタフェース制御部６５は、ステップＳ５２において、それぞれのクラスタにイベントが設定された二分木構造を表すクラスタデータを演算部６４の階層決定部８２から読み込む。

ステップＳ５３において、ユーザインタフェース制御部６５は、ユーザに閲覧させている画像を撮影したときのイベントと同じイベントが設定されたクラスタであって、かつ、同じ粒度のクラスタを閲覧対象のクラスタとして選択する。例えば、ここで選択されたクラスタの代表画が表示され、それぞれの代表画で表されるクラスタの中から選択された１つのクラスタに含まれる全ての画像がサムネイル表示されることによって、図３に示されるような閲覧画面の表示が実現される。

ユーザが見ている画像と同じイベントで撮影した画像が自動的に提示されるから、これにより、ユーザの記憶を想起させることができる。

なお、ユーザの記憶の想起を図るための画面の表示は、図３に示されるものに限られず、他の表示によってユーザの記憶の想起を図ることもできる。

図４１は、画像の閲覧画面の他の例を示す図である。

画面の横方向に表示される帯状の領域９１は、撮影時刻に従って時系列順に並べられた、それぞれのクラスタの代表画が表示される領域である。右側が時間的に後の時刻を示し、図４１の例においては、画像９１Ａ乃至９１Ｆが左から順に表示されている。

また、図４１の例においては、クラスタに含まれる画像が、領域９１と直交する方向の縦方向に並べて表示されるようになされており、帯状の領域９２と９３が表示されている。

例えば、領域９１に並べて表示されている画像の中からユーザが画像９１Ｂを選択したとき、画像９１Ｂの位置を基準として、画像９１Ｂを代表画とするクラスタに含まれる画像が領域９２に表示される。

また、ユーザが画像９１Ｂを選択したとき、領域９２に画像が表示されることに連動して、画像９１Ｅの位置を基準として、画像９１Ｅを代表画とするクラスタに含まれる画像が領域９３に表示される。このような表示は、ユーザが領域９１の中から選択した画像９１Ｂを代表画とするクラスタに設定されているイベントと、画像９１Ｅを代表画とするクラスタに設定されているイベントが同じであることに基づいて行われるものである。

すなわち、図４１の画面においては、領域９１に表示されているものの中からある画像にユーザが注目したとき、注目した画像を代表画とするクラスタに含まれる画像が表示されるとともに、そのクラスタと同じイベントが設定されたクラスタに含まれる画像が、自動的に表示される。同じような状況で撮影した画像が自動的に表示されるから、このような表示によっても、ユーザの記憶の想起が図られることになる。

同様に、例えば、図４１の状態から、ユーザが、注目する画像を画像９１Ｃに切り替えたとき、画像９１Ｃを代表画とするクラスタに含まれる画像が画像９１Ｃの位置を基準として縦方向に並べて表示されるとともに、それに連動して、画像９１Ｃを代表画とするクラスタと同じイベントが設定されたクラスタに含まれる画像も、そのクラスタの代表画の位置を基準として縦方向に並べて表示される。

なお、図４１において、画面のほぼ中央に形成される領域９４は、ユーザが選択した所定のクラスタに含まれる画像がスライドショー表示される領域であり、領域９５は、スライドショー表示されている画像の情報が表示される領域である。また、画面の右方に形成される領域９６は、ユーザが注目している画像（図４１の場合、画像９１Ｂ）の情報と、ユーザが注目している画像を代表画とするクラスタと同じイベントが設定されているクラスタの代表画（図４１の場合、画像９１Ｅ）の情報が表示される領域である。

以上においては、イベントの識別はパーソナルコンピュータ１により行われるものとしたが、ネットワーク上のサーバによりイベントの識別が行われ、画像やEXIF情報をサーバに送信してきたユーザに識別結果が返されるイベント識別サービスが実現されるようにしてもよい。

図４２は、イベント識別サービスを実現する構成の例を示す図である。

図４２においては、ディジタルカメラ２とサーバ１０１がインターネットなどのネットワーク１０２を介して接続され、ディジタルカメラ２とサーバ１０１が通信を行うことができるようになされている。

例えば、ディジタルカメラ２のユーザが所定の操作を行ったとき、ディジタルカメラ２内に記録されている画像がEXIF情報とともにネットワーク１０２を介してサーバ１０１に送信され、ディジタルカメラ２から送信された情報を受信したサーバ１０１において、上述したようなイベント識別が行われる。イベントの識別結果は、ディジタルカメラ２やユーザが使用するパーソナルコンピュータにネットワーク１０２を介して送信され、図２に示されるような閲覧画面を表示させるために用いられる。

このように、ネットワーク１０２を介して接続されるサーバ１０１上でイベントの識別が行われ、画像やEXIF情報を送信してきた機器に対してイベントの識別結果がサーバ１０１から返されるようなサービスが実現されるようにしてもよい。

なお、上述したようなクラスタリングもサーバ１０１において行われ、クラスタリング結果がサーバ１０１から返されることによって、イベントの識別結果とクラスタリング結果を受信した機器において、図３に示されるような画面が表示されるようにしてもよい。また、イベント識別に用いられるメタデータがディジタルカメラ２において抽出され、画像自体は送信されることなく、抽出されたメタデータだけがサーバ１０１に送信され、サーバ１０１においてイベントの識別が行われるようにしてもよい。

以上においては、「旅行」、「花見」、「花火」、「ドライブ・おでかけ」、「飲み会」、「結婚式」、「バーベキュー・キャンプ」、「スポーツ」の８つのイベントが識別されるものとしたが、他のイベントを識別するための識別ファイルを学習によって生成し、あらかじめ用意しておくことによって他の様々なイベントを識別することができるようにしてもよい。

また、イベントを識別するために用いられるデータは、図８に示されるようなデータに限られるものではなく、撮影した画像やEXIF情報から得られた他のデータなどの各種の情報を用いることも可能である。例えば、GPS(Global Positioning System)センサにより得られた撮影位置の情報などが用いられるようにしてもよい。

以上においては、イベントの識別やクラスタリング、あるいは、それらの結果を用いた画像の表示がパーソナルコンピュータ１において行われるものとしたが、このような機能が、ディジタルカメラ自体や、ディジタルカメラを内蔵する携帯電話機、PDA(Personal Digital Assistants)、ポータブルゲーム機などの他の機器に搭載されるようにしてもよい。

また、以上においては、ディジタルカメラ２により撮影された画像（静止画）を対象としてイベントの識別が行われるものとしたが、動画を撮影したときのイベントの識別や、音楽の雰囲気の識別などの、他のコンテンツを対象とした識別が行われるようにしてもよい。音楽の雰囲気を識別することができる場合、例えば、あるイベントで撮影した画像をスライドショー表示しているときに、そのイベントにあった雰囲気の音楽を自動的に再生したりすることができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

この記録媒体は、図５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布されるリムーバブルメディア５１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４２や、記憶部４８に含まれるハードディスクなどで構成される。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の一実施形態に係るパーソナルコンピュータに、ディジタルカメラが接続されている状態を示す図である。画像の閲覧画面の例を示す図である。画像の閲覧画面の他の例を示す図である。パーソナルコンピュータにおける画像の管理の概念を示す図である。パーソナルコンピュータの構成例を示すブロック図である。パーソナルコンピュータの機能構成例を示すブロック図である。特徴抽出部により抽出される情報の例を示す図である。メタデータの例を示す図である。学習とテストの概念を示す図である。学習の具体的な例を示す図である。テストの具体的な例を示す図である。二分木構造の作成について説明する図である。二分木構造の作成について説明する図１２に続く図である。二分木構造の作成について説明する図１３に続く図である。二分木構造の作成について説明する図１４に続く図である。二分木構造の作成について説明する図１５に続く図である。二分木構造の作成について説明する図１６に続く図である。二分木構造の作成について説明する図１７に続く図である。二分木構造の作成について説明する図１８に続く図である。二分木構造の作成について説明する図１９に続く図である。グループ化条件に基づくクラスタリングについて説明する図である。クラスタの粒度の例を示す図である。グループＡ分割フラグの設定の例を示す図である。グループ化条件Ａに基づくクラスタリング結果の例を示す図である。グループＢ分割フラグの設定の例を示す図である。グループ化条件Ｂに基づくクラスタリング結果の例を示す図である。クラスタの入れ子関係を示す図である。二分木構造の作成について説明する他の図である。二分木構造の作成について説明する図２８に続く図である。二分木構造の作成について説明する図２９に続く図である。二分木構造の作成について説明する図３０に続く図である。二分木構造の作成について説明する図３１に続く図である。二分木構造の作成について説明する図３２に続く図である。二分木構造の作成について説明する図３３に続く図である。二分木構造の作成について説明する図３４に続く図である。パーソナルコンピュータのイベント識別処理について説明するフローチャートである。パーソナルコンピュータの画像表示処理について説明するフローチャートである。パーソナルコンピュータのクラスタデータ生成処理について説明するフローチャートである。パーソナルコンピュータの他のイベント識別処理について説明するフローチャートである。パーソナルコンピュータの他の画像表示処理について説明するフローチャートである。画像の閲覧画面の他の例を示す図である。イベント識別サービスを実現する構成の例を示す図である。

符号の説明

１パーソナルコンピュータ，２ディジタルカメラ，６１画像DB，６２特徴抽出部，６３イベント識別部，６４演算部，６５ユーザインタフェース制御部，７１ EXIF情報処理部，７２顔情報抽出部，７３類似画像認識処理部，８１クラスタリング部，８２階層決定部

Claims

撮影画像に付加されている属性情報に含まれる撮影時刻の情報と、撮影画像を解析することによって求められた撮影画像に写る人の顔の数の情報を含む情報を、撮影画像の特徴情報として抽出する特徴情報抽出手段と、
複数の撮影画像を対象として、それぞれの撮影画像の撮影時刻の時間間隔のばらつきの程度が閾値より大きい部分がグループの境界部分となるようにグループ分けを行うクラスタリング手段と、
前記クラスタリング手段により同じグループの撮影画像として分類された複数の撮影画像の前記特徴情報の平均をグループの特徴情報として、グループの特徴情報の条件にあうグループのイベントを、複数の学習用の撮影画像の撮影時刻の情報と、前記学習用の撮影画像に写る人の顔の数の情報を含む情報に基づいて学習を行うことによってあらかじめ生成された、各イベントをイベントの識別結果として得るための前記特徴情報の条件が記述された識別ファイルを参照して識別するイベント識別手段と、
ユーザにより選択されたグループに含まれる撮影画像を所定の領域にサムネイル表示させるとともに、同じ画面の前記所定の領域と異なる領域に、ユーザにより選択された前記グループと同じイベントのグループとして前記イベント識別手段により識別されたグループに含まれる撮影画像のうちの代表画像を複数表示させ、代表画像を表示させているグループが選択されたとき、選択されたグループに含まれる撮影画像を前記所定の領域にサムネイル表示させる表示制御手段と
を備える情報処理装置。
前記イベント識別手段は、前記特徴情報抽出手段により抽出された前記特徴情報の条件にあうそれぞれの撮影画像のイベントを前記識別ファイルを参照して識別し、
前記表示制御手段は、１枚の撮影画像を表示させるとともに、同じ画面に、表示させている撮影画像のイベント名を表示させる
請求項１に記載の情報処理装置。
前記クラスタリング手段は、撮影時刻が近い撮影画像同士が同じノードに属し、それぞれのノードに属する撮影画像の撮影時刻に基づいて設定したノードの時刻と近い撮影時刻の画像とそのノードが同じノードに属するようにして、グループ分けの対象になる複数の撮影画像からなる二分木構造を生成し、それぞれのノードに注目して、注目するノードを親のノードとする子ノード間の時間間隔の偏差の値を前記注目するノード内全体の撮影画像の撮影時刻の時間間隔の標準偏差の値で割って得られた値と、閾値とを比較し、閾値より大きい値が求められたノードを親のノードとするそれぞれの子ノードに含まれる撮影画像が異なるグループの撮影画像になるようにしてグループ分けを行う
請求項１に記載の情報処理装置。
撮影画像に付加されている属性情報に含まれる撮影時刻の情報と、撮影画像を解析することによって求められた撮影画像に写る人の顔の数の情報を含む情報を、撮影画像の特徴情報として抽出し、
複数の撮影画像を対象として、それぞれの撮影画像の撮影時刻の時間間隔のばらつきの程度が閾値より大きい部分がグループの境界部分となるようにグループ分けを行い、
同じグループの撮影画像として分類した複数の撮影画像の前記特徴情報の平均をグループの特徴情報として、グループの特徴情報の条件にあうグループのイベントを、複数の学習用の撮影画像の撮影時刻の情報と、前記学習用の撮影画像に写る人の顔の数の情報を含む情報に基づいて学習を行うことによってあらかじめ生成された、各イベントをイベントの識別結果として得るための前記特徴情報の条件が記述された識別ファイルを参照して識別し、
ユーザにより選択されたグループに含まれる撮影画像を所定の領域にサムネイル表示させるとともに、同じ画面の前記所定の領域と異なる領域に、ユーザにより選択された前記グループと同じイベントのグループとして識別したグループに含まれる撮影画像のうちの代表画像を複数表示させ、代表画像を表示させているグループが選択されたとき、選択されたグループに含まれる撮影画像を前記所定の領域にサムネイル表示させる
ステップを含む情報処理方法。
撮影画像に付加されている属性情報に含まれる撮影時刻の情報と、撮影画像を解析することによって求められた撮影画像に写る人の顔の数の情報を含む情報を、撮影画像の特徴情報として抽出し、
複数の撮影画像を対象として、それぞれの撮影画像の撮影時刻の時間間隔のばらつきの程度が閾値より大きい部分がグループの境界部分となるようにグループ分けを行い、
同じグループの撮影画像として分類した複数の撮影画像の前記特徴情報の平均をグループの特徴情報として、グループの特徴情報の条件にあうグループのイベントを、複数の学習用の撮影画像の撮影時刻の情報と、前記学習用の撮影画像に写る人の顔の数の情報を含む情報に基づいて学習を行うことによってあらかじめ生成された、各イベントをイベントの識別結果として得るための前記特徴情報の条件が記述された識別ファイルを参照して識別し、
ユーザにより選択されたグループに含まれる撮影画像を所定の領域にサムネイル表示させるとともに、同じ画面の前記所定の領域と異なる領域に、ユーザにより選択された前記グループと同じイベントのグループとして識別したグループに含まれる撮影画像のうちの代表画像を複数表示させ、代表画像を表示させているグループが選択されたとき、選択されたグループに含まれる撮影画像を前記所定の領域にサムネイル表示させる
ステップを含む処理をコンピュータに実行させるプログラム。