JP4569471B2 - 電子画像蓄積方法、電子画像蓄積装置、及び電子画像蓄積システム - Google Patents

Description

本発明は、電子画像分類装置及システム並びにこれらを用いた電子画像蓄積装置及びシステムに関し、特に、電子画像に撮影されている人物に基づいて分類、蓄積する装置及びシステムに関する。

撮影した画像の画像データは、後日の利用のために画像管理ソフトウェアがインストールされたパーソナルコンピュータ（ＰＣ）や画像蓄積に特化したコンピュータシステムである専用の画像蓄積装置に蓄積保管される。保管に際しては、後日取り出し易いような方法で整理される。例えば、撮影日時や撮影したイベント名などを検索キーとして画像データに関連付けて記憶させる。画像の撮影日時はデジタルカメラによって自動的に各画像に付与させることができる。後日、画像データを利用する際には、前記検索キーによってコンピュータ検索すれば、所望の画像データを容易に取り出すことができる。画像プリントや画像編集、画像送信などのために画像データにアクセスした日時も自動的に該画像データと関連付けて記憶させ前記検索キーとすることができる。

一方、予め、任意の人物の顔の特徴量とその人物の属性とを記憶させたデータベースを参照して、テレビカメラなどが現在電子画像として捉えている画像又は録画された電子画像の再生画像中の人物の顔の特徴量によって該人物を特定する顔認識システムが知られている。

撮影日時など日時に関するデータは、撮影に用いたデジタルカメラや画像プリント、画像編集、画像送信等の為に画像データを取り扱う機器により自動的に付与させることができるので、画像データに容易に検索キーを付することができるが、イベント名などは手操作による入力作業を要する。この入力作業は手間がかかり面倒なので、画像データに適切な検索キーが付されることなく記憶、蓄積されることが多い。

日時データは画像データに対して容易に付与することができるが、撮影されている内容と直接的に結び付いているものではないので一般的に印象が薄く、必ずしも検索キーとして適当ではない。

一方、画像に誰が撮影されているかは、殆どの場合、検索目的そのものなので、後日の画像検索に重要な検索キーとなる。しかしながら、前記理由により撮影された人名が検索キーとして入力されることは少ない。

本発明は、画像に撮影されている被写体の属性、例えば人の名前などを前記画像に自動的に付することができ、これを用いて前記画像を自動的に分類整理する画像蓄積方法及び画像蓄積装置並びに画像蓄積システムを提供する。

請求項１の発明は、顔画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法に適用され、顔画像登録フェーズは、登録画像が入力されるステップと、登録画像中の顔画像の顔の特徴量を求めるステップと、特徴量を登録顔画像として記憶するステップとを含み、画像整理フェーズは、整理対象画像が入力されるステップと、整理対象画像中の顔画像の顔の特徴量を求めるステップと、求めた整理対象画像中の顔の特徴量に該当する特徴量の顔を登録顔画像から検出するステップと、整理対象画像と検出した登録顔画像とを関連付けるステップとを含み、顔画像登録フェーズは、登録顔画像の人物に関する属性情報を用いたフォルダ名で登録顔画像に対応する画像保存用フォルダを作成するステップを更に含み、整理対象画像と検出した登録顔画像とを関連付けるステップは、整理対象画像を検出した登録顔画像に対応する画像保存用フォルダに収納するステップであることを特徴とするものである。
請求項２の発明は、請求項１に記載の画像蓄積方法において、特徴量を登録顔画像として記憶するステップは、特徴量と登録画像中の顔画像とを登録顔画像として記憶するステップであることを特徴とするものである。
請求項３の発明は、請求項１又は２に記載の電子画像蓄積方法において、整理対象画像と検出した登録顔画像とを関連付けるステップは、整理対象画像に検出した登録顔画像の特徴量を更に付加することを特徴とするものである。
請求項４の発明は、請求項１又は２に記載の電子画像蓄積方法において、顔画像登録フェーズは、登録顔画像の人物に関する属性情報を入力させるステップと、入力された属性情報と登録顔画像とを関連付けて記憶するステップとを更に含むことを特徴とするものである。
請求項５の発明は、請求項４に記載の電子画像蓄積方法において、整理対象画像と検出した登録顔画像とを関連付けるステップは、整理対象画像に検出した登録顔画像に対応する属性情報を更に付加することを特徴とするものである。
請求項６の発明は、請求項１に記載の電子画像蓄積方法において、顔画像登録フェーズは、登録顔画像の特徴量を画像保存用フォルダと関連付けるステップとを更に含むことを特徴とするものである。
請求項７の発明は、請求項１に記載の電子画像蓄積方法において、顔画像登録フェーズは、登録顔画像の人物に関する属性情報を入力させるステップと、入力された属性情報の少なくとも一部を使用して画像保存用フォルダのフォルダ名を決定するステップとを更に含むことを特徴とするものである。
請求項８の発明は、請求項１に記載の電子画像蓄積方法において、求めた顔の特徴量に該当する特徴量の顔を登録顔画像から検出できなかったとき、整理対象画像を予め用意された未登録顔画像フォルダに収納するステップを更に含むことを特徴とするものである。
請求項９の発明は、請求項１〜８のいずれかに記載の電子画像蓄積方法において、画像整理フェーズは、整理対象画像中の顔の位置を示す位置情報を求めるステップを更に含み、画像保存用フォルダに収納するステップ又は未登録顔画像フォルダに収納するステップは、求めた顔の位置を示す位置情報を整理対象画像と関連付けて収納することを特徴とするものである。
請求項１０の発明は、請求項１に記載の電子画像蓄積方法において、整理対象画像中に顔画像を検出されなかったとき、整理対象画像を予め用意された無顔画像フォルダに収納するステップを更に含むことを特徴とするものである。
請求項１１の発明は、請求項１又は２に記載の電子画像蓄積方法において、動作フェーズとして画像検索フェーズを更に有し、画像検索フェーズは、画像入力部に検出すべき顔画像が撮影された検索画像が入力されるステップと、検索画像中の顔画像の顔の特徴量を求めるステップと、求めた顔の特徴量に該当する特徴量の顔を含む画像を整理対象画像から検出するステップとを更に含むことを特徴とするものである。
請求項１２の発明は、請求項１１に記載の電子画像蓄積方法において、求めた顔の特徴量に該当する特徴量の顔を含む画像を未登録顔画像フォルダから検出するステップを更に含むことを特徴とするものである。
請求項１３の発明は、請求項１１又は１２に記載の電子画像蓄積方法において、検出した画像を表示するステップを更に含み、表示した画像の位置情報に基づく位置に、所定の表示を表示することを特徴とするものである。
請求項１４の発明は、プログラムに適用され、請求項１〜１３のいずれかに記載の方法をコンピュータに実行させるプログラムとするものである。
請求項１５の発明は、電子画像蓄積装置に適用され、登録画像と整理対象画像とが入力される画像入力部と、画像入力部に入力された各画像中の顔画像を検出して該顔画像の顔の特徴量を求める顔認識部と、顔画像とその特徴量とを関連付けて登録顔画像として記録媒体に記録させる記録制御部とを備え、顔認識部は、画像入力部に入力された整理対象画像中の顔画像の顔の特徴量に該当する特徴量を求め、記録制御部は、登録顔画像の人物に関する属性情報を用いたフォルダ名で登録顔画像に対応する画像保存用フォルダを作成し、整理対象画像を整理対象画像中の顔画像の顔の特徴量に該当する特徴量の登録画像に対応する画像保存用フォルダに記録させることを特徴とするものである。
請求項１６の発明は、請求項１５に記載の電子画像蓄積装置において、画像検索部を更に備え、画像入力部には検索画像が更に入力され、画像検索部は、顔認識部が求めた検索画像中の顔画像の顔の特徴量に該当する特徴量の登録顔画像に対応する画像保存用フォルダに収納された整理対象画像を抽出することを特徴とするものである。
請求項１７の発明は、請求項１５に記載の電子画像蓄積装置において、画像検索部を更に備え、画像入力部には検索画像が更に入力され、画像検索部は、顔認識部が求めた検索画像中の顔画像の顔の特徴量に該当する特徴量の顔画像を含む整理対象画像を未登録顔画像フォルダから抽出することを特徴とするものである。
請求項１８の発明は、請求項１５に記載の電子画像蓄積装置において、画像入力部は撮像手段を含み、顔認識部は、撮像手段から入力された画像を整理対象画像とし、整理対象画像中の顔画像を検出して該顔画像の顔の特徴量を求め、顔認識部が求めた整理対象画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する画像比較部を更に有し、記録制御部は、整理対象画像を顔認識部が求めた画像中の顔画像の顔の特徴量に該当する登録顔画像の顔の特徴量と関連付けて画像保存用フォルダに記録させることを特徴とするものである。
請求項１９の発明は、電子画像蓄積システムに適用され、表示部と画像入力部と属性入力部とを有し、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と所望の人物の顔画像を含む検索画像とが画像入力部に入力される端末装置と、入力された各画像中の顔画像の特徴量を求める特徴量検出部と、登録画像中の顔画像の特徴量を登録顔画像として記憶する第１の記憶部と、特徴量検出部が求めた蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、各登録顔画像に夫々対応する収納場所を有し蓄積画像を収納場所に蓄積記憶すると共に登録画像の属性情報を記憶する第２の記憶部と、収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、各装置を互いに情報授受可能に接続する通信網とから成り、端末装置は、画像入力部に入力された登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と属性入力部に入力された属性情報とを画像蓄積装置に送信し、表示部に画像蓄積装置から受けた検出画像を表示し、画像蓄積装置は、端末装置から受けた登録画像と蓄積画像とを顔認識装置に送出し、顔認識装置から各登録顔画像を識別する符号を受け、属性情報を用いたフォルダ名で登録顔画像に対応する画像保存用フォルダを第２の記憶部に作成し、属性情報を符号と関連付けて画像保存用フォルダに記憶し、蓄積画像を符号と関連付けて画像保存用フォルダに記憶し、画像検索部によって、符号と関連付けられた蓄積画像を抽出し、抽出した蓄積画像を端末装置に送信し、顔認識装置は、特徴量検出部が求めた登録画像中の顔画像の特徴量を顔画像を示す識別符号と関連付けて第１の記憶部に記憶し、特徴量検出部が求めた蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を画像蓄積装置に出力することを特徴とするものである。
請求項２０の発明は、請求項１９に記載の電子画像蓄積システムにおいて、蓄積画像を符号と関連付けて第２の記憶部に記憶することは、蓄積画像を第２の記憶部の符号が示す登録顔画像に対応する収納場所に記憶することであることを特徴とするものである。
請求項２１の発明は、請求項１９に記載の電子画像蓄積システムにおいて、顔画像と収納場所とは、属性情報によって対応付けられていることを特徴とするものである。

本発明は、以上説明したように構成しているので、次のような効果を奏する。
電子画像を被写体を特定する特定情報や特徴量に関連付けて蓄積するので、自動的にかつ適切に分類し整理することができる。すなわち、電子画像を、煩わしい操作を不要とし、かつ、適切に分類および整理をすることができる。特に、被写体である人物の顔の画像から抽出した情報に基づいて分類するので、電子画像の中に撮像されている人物単位に適切に分類がなされる。

本発明の実施の形態例装置の構成を示すブロック図。 図１の装置による処理の流れを示した図。 図１の装置による画像登録フェーズの処理の流れを示した図。 図１の装置による画像整理フェーズの処理の流れの前半を示した図。 図１の装置による画像整理フェーズの処理の流れの後半を示した図。 図１の装置による画像検索フェーズの処理の流れを示した図。 本発明の実施の形態例システムの構成を示すブロック図。 図７のシステムによる画像登録フェーズの処理の流れを示した図。 図７のシステムによる画像整理フェーズの処理の流れの前半を示した図。 図７のシステムによる画像整理フェーズの処理の流れの後半を示した図。 図７のシステムによる画像検索フェーズの処理の流れを示した図。 登録画像に線枠のマークが表示された状態を示した図。 登録顔画像の内容を説明する図。 蓄積画像に線枠のマークが表示された状態を示した図。 蓄積画像に属性が表示された状態を示した図。 画像蓄積フォルダの種類と各フォルダに収納される画像を説明する図。 他の蓄積画像を示した図。 図７のシステムにおける登録顔画像の属性情報の内容を説明する図。 図７のシステムにおける登録顔画像情報の内容を説明する図。 プログラムをコンピュータに提供する様子を示す図。

図１は、本発明装置の構成の概要を示すブロック図である。本発明装置は、コンピュータ装置ないしコンピュータシステムによって所定のプログラムを実行することにより実現される。

１１は記憶媒体読み取り手段や、外部機器からデータを受信するデータ通信手段などで構成され、画像が入力される画像入力部である。画像入力部１１には登録画像、蓄積画像、検索画像が入力される。１２はキーボードなどの入力手段で構成され、前記登録画像に撮影されている人物の属性、例えば氏名が入力される属性入力部である。１４は画像を表示する表示部である。

２１は顔認識部であり、画像処理部１５と第１の記憶部１３１とで構成されている。画像処理部１５は画像入力部１１に入力された画像に含まれる人物の顔の部分の画像（以下、顔画像という）を解析してその顔の特徴量を求める。第１記憶部１３１はハードディスク装置、光磁気記憶装置、ＣＤ−Ｒなどで構成され、登録画像中の顔画像と画像処理部１５が求めた前記顔画像の顔の特徴量（以下、単に顔画像の特徴量という）と前記人物に関する属性とを、後述する顔認識処理の参照データとなる登録顔画像として記憶する。画像処理部１５は更に、前記求めた顔の特徴量と第１記憶部１３１に記憶した顔画像の特徴量とを比較して、前記求めた顔の特徴量に該当する特徴量の登録顔画像を抽出する。

２２は画像蓄積部であり、第２の記憶部１３２で構成されている。第２記憶部１３２はハードディスク装置、光磁気記憶装置、ＣＤ−Ｒなどで構成され、画像入力部１１に蓄積画像として入力された画像を蓄積・記憶する。その際、画像処理部２１が行う、蓄積画像中の顔画像の特徴量と登録顔画像の特徴量とに基づいて蓄積画像中の人物を識別する顔認識処理の結果に基づいて、前記蓄積画像と識別した人物の属性とを関係付けると共に前記蓄積画像を分類して蓄積・記憶する。なお、第１記憶部１３１と第２記憶部１３２とは、図１に１３で示したように一つの記憶部の一部として構成されることが多い。

１７は画像蓄積部２２の蓄積画像から所望の画像を取り出す画像検索部である。画像検索部１７は、属性入力手段１２から入力された検索キーワードと蓄積画像に関係付けられた属性に基づいて所望の画像を検索する。更に、顔認識部２１に、画像入力部１１に入力された検索画像中の顔画像の特徴量を求めさせると共に前記求めた特徴量と登録顔画像の特徴量とに基づいて検索画像中の人物を識別する顔認識処理を行わせ、その結果に基づいて検索画像中の人物の属性に対応する属性の人物が撮影された蓄積画像を取りだして表示部１４に表示する。即ち、画像検索部１７は顔認識部２１と協同するか、若しくは包含する。

１８は上記各部に接続され上記各部の動作を制御する制御部である。

次に、本発明装置による画像の取扱を説明する。本発明装置による画像の取扱いには三つのフェーズがある。

第１の顔画像登録フェーズでは、後の画像整理フェーズで入力される画像中から検出すべき人物の顔画像をその人物の属性と共に第１記憶部１３１に登録顔画像として記憶させる。第２の画像整理フェーズでは、入力された画像に撮影されている人物の顔画像を検出すると共に、登録顔画像として記憶されている顔画像に該当する人物を検知し、前記画像を前記検知した人物の属性情報と関連付けて第２記憶部１３２に蓄積画像として蓄積・記憶させる。前記属性情報は、後の画像検索フェーズにおいて検索キーとして用いられる。第３の画像検索フェーズでは、検索条件の入力を受け、該検索条件によって第２記憶部１３２の蓄積画像を検索し、該検索条件に合致する画像を取り出す。

本発明装置を起動させると図２に手順を示した処理が行われる。即ち、ステップ２１（図中ではＳ２１と記す。他のステップも同様とする。）において、前記三つのフェーズの一つを選択させる画面が表示される。前記画面には処理を終了させる処理を選択する表示も表示されている。

ステップ２２において、マウスなどにより任意の処理が選択される。ステップ２３において、処理の終了が選択されたかを判断する。処理の終了が選択された場合には処理を終了する。それ以外の場合はステップ２４に進む。ステップ２４において、前記選択されたフェーズの処理を実行してステップ２１に戻る。

以下、各フェーズを詳細に説明する。図３に顔画像登録フェーズの処理手順を、図４、図５に画像整理フェーズの処理手順を、図６に画像検索フェーズの処理手順を示す。

顔画像登録フェーズの処理（図３参照）では、ステップ３１において、画像入力部１１に所望の人物の顔が撮影された画像が登録画像として入力される。入力された登録画像は表示部１４に表示される。

ステップ３２において、画像処理部１５が前記登録画像を解析して、該登録画像に撮影されている人物の顔画像を検出あるいは抽出する。検出した顔画像の位置に線枠などのマークが表示される。複数の顔画像が検出された場合には、夫々の顔画像の位置に前記マークが表示される。図１２は、前記入力された登録画像１２０に前記線枠のマーク１２１〜１２５が表示された状態を示した図である。顔画像が一つも検出されない場合は、図示していないが、その旨を表示するエラー処理を行って処理を終了する。

ステップ３３において、マウスなどの指示装置によって前記マークが表示された顔画像のうち、任意の人物の顔画像が一つ選択される。表示部１４には選択終了ボタンが前記画像と共に表示される。前記顔画像の一つが選択された時、又は前記選択終了ボタンが選択された時にステップ３４に進む。なお、検出した顔画像が一つのみの場合はその顔画像が自動的に選択され、このステップはスキップされるようにしても良い。

ステップ３４において、ステップ３３で選択された顔画像の有無を判断し、あればステップ３５に進み、無ければ処理を終了する。選択された顔画像が無いのは、登録すべき全ての人物の顔画像が登録され、未登録の人物の顔画像が無くなった時、又は有っても登録の必要のない人物の顔画像のみとなった時である。

ステップ３５において、画像処理部１５が前記選択された顔画像の特徴量を求める（抽出する）。前記特徴量は、顔の輪郭の縦横比や、目、鼻、口の相対的位置及び顔輪郭に対する位置、夫々の形状及び大きさ等を含み、個人を十分な精度で識別可能な特徴量である。すなわち、顔画像の特徴量は、被写体である各人物を特定することが可能な情報である。なお、顔画像自体も各人物を特定することができる情報である。前記特徴量を求めるための処理は、「従来の技術」の欄で述べたシステムに用いられる処理と同様の処理である。

ステップ３６において、前記選択された人物の属性が入力部１２から入力される。ステップ３７において、前記画像の前記選択された顔画像を前記特徴量及び前記属性と関連付けて第１記憶部１３１に登録顔画像として記憶して登録する。

ステップ３８において、画像蓄積フォルダを作成する。その際、フォルダ名をステップ３６で入力された属性の一部、例えばその人物の名前などとする。顔画像の特徴量をフォルダ名としても良い。

ステップ３９において、前記選択された顔画像に対する前記マークを消去する。ステップ４０において、他に検出された顔画像があるか否かを判断し、あればステップ３３に戻り、無ければ処理を終了する。

この様にして、登録顔画像として記憶（登録）すべき顔画像が第１記憶部１３１に記憶される。図１３は図１２の枠線１２３の人物を除き登録顔画像として記憶された場合の第１記憶部１３１の記憶内容を示した図である。ＩＤ１は図１２のマーク１２１の「Ａさん」に、ＩＤ２はマーク１２２の「Ｂさん」に、ＩＤ３はマーク１２４の「Ｃさん」に、ＩＤ４はマーク１２５の「Ｄさん」にそれぞれ対応する。登録顔画像は、図１２の登録画像１２０から抽出したそれぞれの顔画像データが格納される。表示していないが少なくとも特徴量の欄にはデータが記入されている。この場合、ステップ３８において、フォルダ名「Ａさん」、「Ｂさん」、「Ｃさん」、「Ｄさん」の４つの画像蓄積フォルダが作成されている。その他に「未登録顔画像」フォルダ及び「無人画像」フォルダが予め作成されている。

画像整理フェーズの処理を図４、図５を参照して説明する。図４、図５の処理は一連の処理であるが、紙面の都合により前半を図４に、後半を図５に示した。

ステップ４１において、ＤＳＣなどの外部機器から整理すべき対象画像、即ち蓄積画像が入力される。ステップ４２において、画像処理部１５が前記蓄積画像を解析して、前記蓄積画像中に撮影されている顔画像を検出する。前記顔画像の位置に線枠などのマークが表示される。複数の顔画像が検出された場合には、夫々の顔画像の位置に前記マークが表示される。図１４は蓄積画像１４０に前記線枠のマーク１４１〜１４３が表示された状態を示した図である。

ステップ４３において、前記蓄積画像中に顔画像があるか否か、即ち前記線枠などのマークの有無を判断する。前記マークがあればステップ４４に進み、なければステップ１４４に進む。ステップ１４４では、該蓄積画像を、人物が撮影されていない画像の保管用に予め用意された無人画像フォルダに収納して処理を終了する。

ステップ４４において、画像処理部１５が前記検出した顔画像を処理してその顔画像の特徴量を求める。該顔画像の特徴量を検出するための処理は前記画像登録フェーズのステップ３５と同じである。

ステップ４５において、第１記憶部１３１の登録顔画像の特徴量を参照して、前記検出した特徴量に該当する登録顔画像を検出する。そして、ステップ４６において、前記検出された登録顔画像と関連付けられた属性、例えば名前を前述の処理をした顔画像の近傍に表示する。蓄積画像中に検出された全ての顔画像についてステップ４４〜ステップ４６の処理を行う。検出した特徴量に該当する登録顔画像が無いときは未登録である旨を表示する。

図１５は蓄積画像１４０に前記属性および未登録である旨が表示された状態の図であり、図１３の登録顔画像に含まれている顔画像１５１と１５２には、その属性「Ａさん」、「Ｄさん」が表示され、前記登録顔画像に含まれていない顔画像１５３には「未登録」が表示される。前記蓄積画像と同時に収納ボタン１５４と追加登録ボタン１５５とキャンセルボタン１５６とが表示される。なお、以下、該当する登録顔画像が検出された顔画像を検出顔画像、登録顔画像が無い顔画像を未登録顔画像と言う。

ステップ４７において、マウスなどの指示装置により前記収納ボタン１５４、追加登録ボタン１５５、キャンセルボタン１５６のいずれのボタンが選択されたかを判断する。そして、収納ボタン１５４の選択に応じてステップ４８に、追加登録ボタン１５６の選択に応じてステップ１４８に、キャンセルボタン１５６の選択に応じてステップ２４８に進む。ここで、前記各ボタンが選択される前に、前記顔画像がマウスなどで選択された場合は該選択された顔画像だけがその後の処理の対象とされる。前記顔画像の選択は複数を選択することができる。

ステップ４８において、前記蓄積画像が、特徴量が該当する登録顔画像に対応する画像蓄積フォルダに収納される。特徴量が該当する登録顔画像が複数ある場合、即ち顔画像が登録されている人物が複数撮影されている場合は、各登録顔画像に対応する全ての画像蓄積フォルダに前記蓄積画像が収納される。即ち、前述の場合、図１４の蓄積画像はフォルダ「Ａさん」とフォルダ「Ｄさん」とに収納される。

なお、蓄積画像を画像保存フォルダに収納するとは、蓄積画像と画像保存フォルダとを対応付けること、又は、前記蓄積画像と特徴量が該当する登録画像に対応する属性情報とを関連付けること、前記蓄積画像の画像ファイルに前記属性情報を付加することも含むものとする。なお、ステップ３８において顔画像の特徴量をフォルダ名とした場合には前記蓄積画像と前記特徴量とを関連付ける。前記蓄積画像の画像ファイルに前記特徴量を付加しても良い。

ステップ４９において、ステップ４８の処理の対象となった検出顔画像のマークが消去されてステップ５０に進む。検出顔画像に対して表示された名前が違っているものがある場合には、正しい表示の検出顔画像をマウスで選択した後に収納ボタンを選択する。その結果、選択された検出顔画像、即ち正しい表示の検出顔画像に対応する登録顔画像の画像蓄積フォルダに蓄積画像が収納される。一方、選択されなかった検出顔画像は未登録顔画像とされる。元々の未登録顔画像はそのまま維持される。

ステップ１４８において、前記未登録顔画像を対象として前記顔画像登録フェーズのステップ３３〜ステップ４０の処理が実行される。即ち、未登録顔画像を登録顔画像に追加登録する処理が行われる。そして、この処理の中で登録された顔画像に対応する画像蓄積フォルダが作成される。但し、ステップ３５は画像整理フェーズのステップ４４と重複するので除外される。追加登録の必要が無い未登録顔画像は、後述のステップ２４８の処理の対象としてキャンセルする。

ステップ１４９において、前記蓄積画像がステップ１４８の処理で作成された画像蓄積フォルダに収納されると共に、このステップの処理の対象となった未登録顔画像のマークが消去されステップ５０に進む。選択されなかった検出顔画像は、ステップ１４８、ステップ１４９の処理後もそのまま維持される。

ステップ２４８において、ステップ４２で顔画像に付されたマーク及びステップ６で顔画像に表示された名前が消去される。このステップの処理の対象となった全ての顔画像のマークや名前が消去される。

ステップ２４９において、キャンセル対象となった未登録顔画像を含む蓄積画像は、前記未登録顔画像の位置情報及び特徴量と関連付けられると共に未登録顔画像フォルダに収納されステップ５０に進む。前述の例において、顔画像１５３をステップ１４８による追加登録の対象とせず、ステップ２４８によりキャンセルすると、図１４の画像は予め用意された「未登録顔画像」フォルダにも収納される。検出顔画像の一部だけをこの処理の対象としたい場合は、予め処理の対象とする顔画像をマウスで選択した後にキャンセルボタン１５６を選択する。

ステップ５０において、ステップ４８、ステップ１４８、ステップ２４８のいずれの処理もされていない顔画像が残っているかを判断し、残っていればステップ４７に戻り、残っていなければ処理を終了する。

図１６は、上記処理により図１７の画像１７０を更に整理蓄積したときに、各画像蓄積フォルダに収納されている画像を示した図である。フォルダ「Ａさん」１６１に図１４の画像１４０と図１７の画像１７０とが、フォルダ「Ｂさん」１６２に図１７の画像１７０が、フォルダ「Ｄさん」１６４に図１４の画像１４０が、フォルダ「未登録」１６５に図１４の画像１４０が、夫々収納されている。フォルダ「Ｃさん」１６３とフォルダ「無人画像」１６６には画像が一つも収納されていない。

検出顔画像と未登録顔画像とが混在する画像の場合には、例えばステップ４７において、まず収納ボタン１５４を選択して各検出顔画像に対応する画像蓄積フォルダに蓄積画像を収納し、次に、未登録顔画像の中で登録顔画像として登録しておきたい人物の顔画像をマウスで選択した後、追加登録ボタン１５５を選択して前記顔画像登録フェーズの処理手順に従って所要の登録操作を行う。次に、キャンセルボタン１５６を選択して残った未登録顔画像の処理を放棄する。

最初に蓄積画像を画像蓄積フォルダに収納する必要のない人物の顔画像や追加登録する必要のない人物の顔画像をマウスで選択した後にキャンセルボタン１５６を選択してこれらを処理対象から除外した後、収納ボタン１５４又は追加登録ボタン１５５を選択しても良い。即ち収納ボタン１５４、追加登録ボタン１５５、キャンセルボタン１５６は適宜の順に選択することができる。

さて、同一人物の顔画像であっても顔の向きや表情の違いによって求めた顔の特徴量に若干の相異が生ずることがある。また、加齢によっても顔の特徴量は多少変化する。そこで、前記ステップ４８の処理と同時に、ステップ４５で検出した特徴量によって登録顔画像に関連付けられた特徴量に修正を加えるか、前記登録画像に前記検出した特徴量を更に関連付けて記憶させることが好ましい。蓄積画像の顔画像に対応する登録顔画像をより正確に検出することができる。

両画像の特徴量に所定量以上の差がある場合に前記特徴量の修正又は追加を行うようにしても良い。また、登録画像、蓄積画像には、各画像が撮影された撮影日時が撮影したデジタルカメラによって関連付けられている。登録画像の撮影日時と蓄積画像の撮影日時とを参照して、両者間に所定日数以上の時間経過がある場合に前記特徴量の修正又は追加を行うようにしても良い。

更に、顔画像登録フェーズのステップ３６で入力された属性が既に記憶されたものと重複した場合、特徴量の更新を行うか否かを確認の上で記憶済みの特徴量の修正又は追加を行うようにしても良い。

次に画像検索フェーズを説明する。画像検索フェーズでは前記第２記憶部１３２の蓄積画像から所望の人物が撮影された画像を抽出するために、２種類の画像検索方法を選択的に用いることができる。その一は、検索部１８が、入力された検索キーワードに基づいて蓄積画像についてフォルダ名、画像ファイル名、これらに関連付けられた属性情報を検索して該当する画像を抽出する方法であり、主に、所望の人物の顔画像が登録顔画像に登録されている人物、即ち所望の人物の属性が知れている場合に用いられる。この方法は周知の方法である。

その二は、入力された顔画像の特徴量と一致する特徴量の顔画像が含まれる画像を抽出する検索方法であり、主として、所望の人物の顔画像が登録顔画像に登録されていない人物である場合に用いられる方法である。以下、この場合の方法をその処理手順を示した図６を参照して説明する。

ステップ６１において、所望の人物の顔画像が撮影された検索画像が入力される。ステップ６２において、画像処理部１５が前記検索画像を解析して、前記画像に撮影されている未登録顔画像を検出し、検出した顔画像の位置に線枠などのマークを表示する。複数の未登録顔画像が検出された場合には、夫々の顔画像の位置に前記マークを表示する。

ステップ６３において、マウスなどの指示装置によって所望の未登録顔画像が選択される。表示部１４には選択終了ボタンが前記検索画像と共に表示され、該選択終了ボタンが選択された時にステップ６４に進む。検出した未登録顔画像が一つのみの場合はその顔画像が自動的に選択され、このステップはスキップされるようにしても良い。以下、選択された顔画像を検索顔画像と言う。

ステップ６４において、画像処理部１５が前記検索顔画像の特徴量を求める。ステップ６５において、画像検索部１７が未登録顔画像フォルダ中の画像と関連付けられた顔画像の特徴量を参照して、画像処理部１５が求めた前記検索顔画像の特徴量に該当すると思われるものを検出する。画像処理部１５の顔画像比較機能を利用して前記処理を行うようにしても良い。

ステップ６６において、前記検出した特徴量に関連付けられた画像、即ち前記検索顔画像の特徴量に該当すると思われる特徴量の顔画像を含む画像を表示部１４に表示すると共に、該画像と関連付けて記憶されている位置情報に基づいて該位置情報の位置にマークを表示する。その結果、前記該当すると思われる顔画像にマークが付される。表示部１４には前記画像と同時に参照顔画像登録フェーズを開始させるボタンと処理終了ボタンとが表示される。

ステップ６７において、いずれのボタンが選択されたかを判定し、前者のボタンの選択に応じてステップ６８に進み、後者のボタンの選択に応じて処理を終了する。ステップ６８において、前記顔画像登録フェーズを実行して処理を終了する。

この検索方法によれば、所望の人物の顔画像が予め登録顔画像に登録されていなくても、その人物が撮影されている画像を容易に抽出することができる。例えば、図１２の画像を検索画像とし、線枠１２３の顔画像を検索顔画像とすれば、図１６のフォルダ「未登録」から図１４の画像が抽出される。

なお、ステップ６２において全ての顔画像を検出するようにすると共に、ステップ６５において登録顔画像に対応する画像保存フォルダを検索対象とすれば、顔画像を登録済みだが名前等の属性を忘れてしまった人物が撮影された画像を抽出することができる。ステップ３８及びステップ４８において顔画像の特徴量を用いた場合には、ステップ６４では求めた特徴量をフォルダ名とする画像保存フォルダに収納されている画像を抽出すれば良い。

また、ステップ４８の処理を行う際に、各蓄積画像に該蓄積画像を収納するフォルダに対応する顔画像の位置を示す位置情報を関連付けて記憶させれば、前記画像保存フォルダに収納されている画像を表示する際に、検索顔画像に該当する人物の顔の位置にその人物の名前等の属性情報を表示するようにすることができる。抽出する人物の名前を忘れても確認することができる。更に、ステップ４８において、検出した全ての登録顔画像の位置と属性情報とを蓄積画像と関連付けて記憶させておけば検索顔画像の人物以外の人物についても名前を表示することができる。

以上説明した方法は、画像蓄積装置のみならず画像撮影装置においても実現することができる。その場合には、前記画像入力部に画像撮影手段を備え、前記画像撮影手段で撮影した画像を前記整理対象画像（蓄積画像）とし、前記第２の記憶部を前記撮影した画像を記録する記憶媒体とする。その結果、撮影した画像を撮影と同時に所望の分類に分けて画像撮影装置の記録媒体に記録することができる。なお、登録顔画像とその属性情報とは前記画像蓄積装置が記憶する登録顔画像を読み込んで記憶しても良いし、撮影した画像を登録画像としても良い。

図７は上記各フェーズの処理をコンピュータネットワーク上で実施した場合のシステムの構成例を示した図である。図１の構成と同様の機能の構成には同一符号を付した。前記システムは顔認識を行う顔認識コンピュータ（以下顔認識ＣＰＵ）７１と、画像を蓄積保管する画像蓄積サーバ７２と、利用者が操作する端末装置としてのパーソナルコンピュータ（ＰＣ）７３と、これらを結ぶ通信手段、例えばインターネット７４とで構成されている。画像蓄積サーバ７２は、例えばインターネットのプロバイダや画像プリント業者などが提供する画像預かりサービス用のサーバ等である。顔認識ＣＰＵ７３は顔認識サービスを提供する業者のコンピュータである。

顔認識ＣＰＵ７１は、入力された画像中の顔画像の特徴量と求める特徴量検出部１５１と、登録顔画像の特徴量を含む登録顔画像情報７１１が記憶された記憶部１３１と、特徴量検出部１５１が検出した特徴量に該当する特徴量の登録顔画像を抽出する顔画像検索部１５２とを備えている。特徴量検出部１５１と顔画像検索部１５２とで前述の実施の形態例の画像処理部１５が構成される。

画像蓄積サーバ７２は蓄積画像７２１と登録顔画像の人物の属性情報等７２２とを記憶した記憶部１３２と画像検索部１７とを備えている。前記蓄積画像７２１は画像蓄積フォルダ７２３に収納されている。

ＰＣ７３は一般的仕様のＰＣであり、表示部１４やキーボード、マウスなどを備えると共に、本システム用のプログラムがインストールされ、該プログラムによって記憶媒体読取部や外部機器接続部、例えば外部記憶装置が接続されたＵＳＢコネクタが画像入力部１１として、キーボードが属性入力部１２として作用する。キーボードは他の文字情報の入力などにも用いられる。

以下、前述の実施の形態例と異なる点を中心に各フェーズにおける処理を説明する。各フェーズにおける処理の内容には、前述の実施の形態例と同様の処理を行うステップが含まれると共に、それらのステップの処理を顔認識ＣＰＵ７１と画像蓄積サーバ７２とＰＣ７３とで分担するためのステップが追加されたものとなっている。なお、以下の説明に参照する図８〜図１１において、各ステップの処理の説明の先頭の文字は、そのステップを実行するコンピュータを示すものであり、Ｋ：は顔認識ＣＰＵ７１を、Ｓ：は画像蓄積サーバ７２を、Ｐ：はＰＣ７３を示している。

顔画像登録フェーズを説明する。図８のステップ８１において、登録画像と利用者に割り当てられたＩＤとがＰＣ７３の画像入力部１１及びキーボードから入力される。入力された登録画像は表示部１４に表示される。入力された登録画像とＩＤとが画像蓄積サーバ７２に送られる。

ステップ８２において、画像蓄積サーバ７２は、前記ＩＤと予め前記ＩＤに対応させて記憶した利用者情報（不図示）とに基づいて利用者を特定し認証すると共に前記登録画像に識別符号を付し、前記識別符号と前記登録画像とを顔認識ＣＰＵ７１に転送する。前記識別符号には前記利用者を特定する情報、例えば前記ＩＤが含まれることが好ましい。

ステップ８３において、顔認識ＣＰＵ７１は、前記登録画像中の顔画像を検出し、前記登録画像中における顔画像の位置を示す位置情報を求めて前記識別符号と共に画像蓄積サーバ７２に送信すると共に該顔画像を画像解析してその顔の特徴量を求め前記識別符号及び前記位置情報と共に記憶する。

ステップ８４において、画像蓄積サーバ７２は前記識別符号と前記位置情報とをＰＣ７３に転送する。ステップ８５において、ＰＣ７３は前記位置情報の位置にマークを表示する。その結果、ＰＣ７３に表示された登録画像の顔画像にマークが付される。

ステップ８６において、ＰＣ７３において、登録すべき顔画像がマウスで選択され、これに応じて表示される属性入力欄に該顔画像の人物の属性が入力される。マークが付されていても登録不要の顔画像は選択されない。選択された顔画像の位置情報と属性とが前記識別符号と共に画像蓄積サーバ７２に送信される。

ステップ８７において、画像蓄積サーバ７２は、受信した前記識別符号と位置情報と前記属性とを関連付けて記憶部１３２に記憶する。図１８に示した前記記憶内容が前述の登録顔画像の属性情報等７２２である。画像蓄積サーバ７２は、更に、前記属性に対応した、例えば前記属性に含まれる人名をフォルダ名とする画像蓄積フォルダ７２３を記憶部１３２に作成する。更に顔認識ＣＰＵ５１に前記受信した識別符号と位置情報とを送信する。

ステップ８８において、顔認識ＣＰＵ７１は、前記識別符号と前記位置情報とを受信し、前記識別符号と前記位置情報とその位置の顔画像の特徴量とを登録顔画像情報７１１として記憶部１３１に記憶する。図１９は画像認識ＣＰＵ７１が記憶した登録顔画像情報７１１の内容を示した図である。図１９の例では顔画像も登録顔画像情報として記憶した。受信した位置情報に含まれていない位置の顔画像の特徴量は破棄する。なお、図１８、図１９のＩＤは便宜上付したもので必須ではない。また、両者のＩＤが同一でも対応している必要はない。

ステップ８３の顔の特徴量の検出は、ステップ８８において受信した位置情報の位置の顔画像のみについて行うようにしても良い。連続して処理されるなど処理中の画像が他の画像と混同される恐れが無いステップでは前記識別符号の送受信を省略しても良い。登録顔画像の人物の属性情報も顔認識ＣＰＵ７１に記憶させることもできるが、通常、顔認識ＣＰＵ７１は画像蓄積サーバ７２の運営者により選定され、利用者が直接選択しないので個人情報保護の観点から上記のように属性情報は画像蓄積サーバ７２に記憶させることが好ましい。

画像整理フェーズを説明する。図９のステップ９１において、蓄積画像と前記ＩＤとがＰＣ７３に入力される。ＰＣ７３は蓄積画像を表示部１４に表示すると共に、入力された蓄積画像とＩＤとを画像蓄積サーバ７２に送信する。ステップ９２において、画像蓄積サーバ７２は前記ＩＤに基づいて利用者を特定し、前記蓄積画像を一時保管フォルダに収納すると共に顔認識ＣＰＵ７１に転送する。

ステップ９３において、顔認識ＣＰＵ７１は前記蓄積画像中の顔画像を検出し、前記蓄積画像中における顔画像の位置を示す位置情報と該顔画像の特徴量とを求め、登録顔画像情報７１１を参照して、前記求めた特徴量に該当する特徴量の顔画像を記憶部１３１の登録顔画像から検出する。そして、該当する特徴量の顔画像が検出された顔画像については該顔画像が含まれる登録画像の識別符号及び登録顔画像の位置情報と、前記蓄積画像中に検出した顔画像の位置情報とを画像蓄積サーバ７２に送信し、該当する特徴量の顔画像が検出されない顔画像については未登録であることを示す未登録情報と前記蓄積画像中に検出した顔画像の位置情報とを画像蓄積サーバ７２に送信する。登録画像の識別符号及び登録顔画像の位置情報を送信しないことをもって未登録情報としても良い。

ステップ９４において、画像蓄積サーバ７２は登録顔画像の属性情報７２２を参照して、前記識別符号及び位置情報に関連付けられた属性を検出する。属性情報７２２を顔認識ＣＰＵ７１に登録顔画像情報７１１の一部として各登録顔画像と関連付けて記憶させることもでき、その場合にはステップ９３において前記検出した登録顔画像の属性情報７１１も画像蓄積サーバ７２に送信する。ステップ９４の前記識別符号及び位置情報に関連付けられた属性を検出することは不要となる。本実施の形態例では、登録顔画像の人物に関する情報保護を重視し、属性情報７１１は画像蓄積サーバ７２に記憶させている。

ステップ９５において、画像蓄積サーバ７２は前記顔認識ＣＰＵ７１から受けた蓄積画像中に検出した顔画像の位置情報を前記属性又は未登録情報と共にＰＣ７３に送信する。ステップ９６において、ＰＣ７３は受信した位置情報の位置に前記属性又は未登録であることを示す未登録マークを表示する。その結果、表示部１４に表示した蓄積画像の顔画像に前記属性又は未登録マークが表示される。以下、図１０を参照する。

ステップ９７において、ＰＣ７３は以降の処理の対象とする顔画像のマウスによる選択入力を受ける。即ち、表示部１４に前記蓄積画像と共に収納ボタン、追加登録ボタン、キャンセルボタンを表示し、選択されたボタンに応じて夫々ステップ９８、ステップ１９８、ステップ２９８の処理に進む。

ステップ９８において、ＰＣ７３は選択された顔画像の位置情報を画像蓄積サーバ７２に送信する。ステップ９９において、画像蓄積サーバ７２は、前記受信した位置情報の位置の顔画像の属性に対応する画像蓄積フォルダ７２３に前記蓄積画像を蓄積画像として収納する。そして、ステップ１００に進む。

ステップ１９８において、前述の顔画像登録フェーズを実行する。この処理の中で登録された顔画像に対応する画像蓄積フォルダ７２３が作成される。ステップ１９９において、上記顔画像登録フェーズで作成した画像蓄積フォルダ７２３に前記蓄積画像を収納する。そして、ステップ１００に進む。

ステップ２９８において、ＰＣ７３はキャンセルボタンが選択されたことを画像蓄積サーバ７２に通知すると共に、ステップ９６で顔画像に表示された名前や未登録マークを消去する。このステップの処理の対象となった全ての名前や未登録マークが消去される。ステップ２９９において、画像蓄積サーバ７２は前記処理の対象となった未登録顔画像を含む蓄積画像を、前記未登録顔画像の位置情報及び特徴量と関連付けると共に予め設けられた未登録顔画像フォルダに収納する。そして、ステップ１００に進む。検出顔画像の一部だけをこの処理の対象としたい場合は、予め、処理の対象とする顔画像をマウスで選択した後にキャンセルボタンを選択する。

ステップ１００において、ステップ９８、ステップ１９８、ステップ２９８のいずれの処理もされていない顔画像が残っているかを判断し、残っていればステップ７に戻り、残っていなければ処理を終了する。

画像検索フェーズを説明する。画像検索フェーズでは、前述の実施の形態例と同様、検索キーワードに基づき、記憶部１３１の登録顔画像に登録されている人物が撮影された画像を検索する検索と、入力された検索画像中の所望の人物の登録顔画像に基づいて、前記登録顔画像の人物に対応する画像蓄積フォルダ７２３に収納されている蓄積画像を抽出する検索とが可能である。後者の場合、前記検索画像中の所望の人物の顔画像の特徴量を求め、前記求めた特徴量に該当する特徴量の登録顔画像を検出し、前記登録顔画像の属性に対応する画像保存フォルダ７２３に収納されている蓄積画像を抽出する。更に、所望の人物の顔画像に基づいて、登録顔画像に登録されていない前記所望の人物が撮影された画像を抽出する検索も可能である。ここではこの方法を図１１を参照して説明する。

ステップ１０１において、ＰＣ７３は利用者のＩＤと検索すべき人物の顔が撮影された検索画像とを読み込むと共に、前記検索画像を表示部に表示する。ステップ１０２において、ＰＣ７３はマウスによる検索すべき人物の顔画像の位置の指示入力を受ける。即ち、前記表示した検索画像の前記顔画像の位置がマウスでクリックされる。

ステップ１０３において、ＰＣ７３は前記指示入力された位置を示す位置情報を求めて、前記ＩＤと共に画像蓄積サーバ７２に送信する。ステップ１０４において、画像蓄積サーバ７２は前記ＩＤに基づいて利用者を特定すると共に、前記検索画像と前記位置情報とを顔認識ＣＰＵ７１に転送する。

ステップ１０５において、顔認識ＣＰＵ７１は前記位置情報の位置の顔画像を検出し、該顔画像の特徴量を求めて画像蓄積サーバ７２に転送する。ステップ１０６において、画像蓄積サーバ７２は画像検索部１７によって画像未登録顔画像フォルダ中の画像と関連付けられた顔画像の特徴量を参照し、受信した特徴量に該当する特徴量の顔画像を含む画像を求め、該画像をＰＣ７３に送信する。

ステップ１０７において、ＰＣ７３は受けた画像を表示部に表示する。顔認識ＣＰＵ７１と画像蓄積サーバ７２とは前述の説明の如く異なる管理者に管理されても良いし、同一の管理者に管理されても良く、更に、一台のコンピュータで両者を兼ねても良い。

本実施の形態例のシステムは、例えば、インターネットプロバイダや映像産業関連業者などがインターネット上で運営する画像預かりサービスのサイトと連携するか、その機能を利用して構築することができる。即ち、画像蓄積サーバ７２と前記画像預かりサービス用サーバとは、少なくとも一方が他方の機能の一部を兼ねても良い。

前記各実施の形態例では、撮影された人物の顔画像に基づいて蓄積画像を分類し蓄積する例を説明したが、被写体の種類毎に、例えば人物の有無、自動車、電車、花等の植物、動物等に分類して蓄積・記録することもできる。更に、自動車や電車の車種毎、花などの植物や動物の種類毎に細分して蓄積・記録することもできる。

上記説明した処理は、コンピュータ装置ないしコンピュータシステムが所定のプログラムを実行することにより行われる。このようなプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図２０はその様子を示す図である。コンピュータ２００は、ＣＤ−ＲＯＭ２０４を介してプログラムの提供を受ける。また、コンピュータ２００は通信回線２０１との接続機能を有する。コンピュータ２０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク２０３などの記録媒体にプログラムを格納する。通信回線２０１は、インターネット、電話回線などの通信回線、あるいは専用通信回線などである。コンピュータ２０２はハードディスク２０３を使用してプログラムを読み出し、通信回線２０１を介してプログラムをコンピュータ２００に送信する。すなわち、プログラムをデータ信号として搬送波にのせて（ｅｍｂｏｄｉｅｄ）、通信回線２０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

上記説明した実施の形態の装置は、次のような効果を奏する。電子画像を被写体を特定する特定情報や特徴量に関連付けて蓄積するので、自動的にかつ適切に分類し整理することができる。すなわち、撮像した電子画像を、煩わしい操作を不要とし、かつ、適切に分類および整理をすることができる。特に、被写体である人物の顔の画像から抽出した情報に基づいて分類するので、電子画像の中に撮像されている人物単位に適切に分類がなされる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００３年第３３４５２８号（２００３年９月２６日出願）

Claims (21)

1. 顔画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法であって、
   前記顔画像登録フェーズは、
   登録画像が入力されるステップと、
   前記登録画像中の顔画像の顔の特徴量を求めるステップと、
   前記特徴量を登録顔画像として記憶するステップとを含み、
   前記画像整理フェーズは、
   整理対象画像が入力されるステップと、
   前記整理対象画像中の顔画像の顔の特徴量を求めるステップと、
   前記求めた整理対象画像中の顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出するステップと、
   前記整理対象画像と前記検出した登録顔画像とを関連付けるステップとを含み、
   前記顔画像登録フェーズは、
   前記登録顔画像の人物に関する属性情報を用いたフォルダ名で前記登録顔画像に対応する画像保存用フォルダを作成するステップを更に含み、
   前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像を前記検出した登録顔画像に対応する前記画像保存用フォルダに収納するステップであることを特徴とする画像蓄積方法。
2. 請求項１に記載の画像蓄積方法において、
   前記特徴量を登録顔画像として記憶するステップは、前記特徴量と前記登録画像中の顔画像とを登録顔画像として記憶するステップであることを特徴とする画像蓄積方法。
3. 請求項１又は２に記載の電子画像蓄積方法において、
   前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像の特徴量を更に付加することを特徴とする画像蓄積方法。
4. 請求項１又は２に記載の電子画像蓄積方法において、
   前記顔画像登録フェーズは、
   前記登録顔画像の人物に関する属性情報を入力させるステップと、
   前記入力された属性情報と前記登録顔画像とを関連付けて記憶するステップとを更に含むことを特徴とする画像蓄積方法。
5. 請求項４に記載の電子画像蓄積方法において、
   前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像に対応する前記属性情報を更に付加することを特徴とする画像蓄積方法。
6. 請求項１に記載の電子画像蓄積方法において、
   前記顔画像登録フェーズは、
   前記登録顔画像の特徴量を前記画像保存用フォルダと関連付けるステップとを更に含むことを特徴とする画像蓄積方法。
7. 請求項１に記載の電子画像蓄積方法において、
   前記顔画像登録フェーズは、
   前記登録顔画像の人物に関する属性情報を入力させるステップと、
   前記入力された属性情報の少なくとも一部を使用して前記画像保存用フォルダのフォルダ名を決定するステップとを更に含むことを特徴とする画像蓄積方法。
8. 請求項１に記載の電子画像蓄積方法において、
   前記求めた顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出できなかったとき、前記整理対象画像を予め用意された未登録顔画像フォルダに収納するステップを更に含むことを特徴とする画像蓄積方法。
9. 請求項１〜８のいずれかに記載の電子画像蓄積方法において、
   前記画像整理フェーズは、
   整理対象画像中の顔の位置を示す位置情報を求めるステップを更に含み、
   前記画像保存用フォルダに収納するステップ又は未登録顔画像フォルダに収納するステップは、前記求めた顔の位置を示す位置情報を前記整理対象画像と関連付けて収納することを特徴とする画像蓄積方法。
10. 請求項１に記載の電子画像蓄積方法において、
    前記整理対象画像中に顔画像を検出されなかったとき、前記整理対象画像を予め用意された無顔画像フォルダに収納するステップを更に含むことを特徴とする画像蓄積方法。
11. 請求項１又は２に記載の電子画像蓄積方法において、
    動作フェーズとして画像検索フェーズを更に有し、
    前記画像検索フェーズは、前記画像入力部に検出すべき顔画像が撮影された検索画像が入力されるステップと、
    前記検索画像中の顔画像の顔の特徴量を求めるステップと、
    前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記整理対象画像から検出するステップとを更に含むことを特徴とする画像蓄積方法。
12. 請求項１１に記載の電子画像蓄積方法において、
    前記求めた顔の特徴量に該当する特徴量の顔を含む画像を未登録顔画像フォルダから検出するステップを更に含むことを特徴とする画像蓄積方法。
13. 請求項１１又は１２に記載の電子画像蓄積方法において、
    前記検出した画像を表示するステップを更に含み、
    表示した画像の前記位置情報に基づく位置に、所定の表示を表示することを特徴とする画像蓄積方法。
14. 請求項１〜１３のいずれかに記載の方法をコンピュータに実行させるプログラム。
15. 電子画像蓄積装置であって、
    登録画像と整理対象画像とが入力される画像入力部と、
    前記画像入力部に入力された前記各画像中の顔画像を検出して該顔画像の顔の特徴量を求める顔認識部と、
    前記顔画像とその特徴量とを関連付けて登録顔画像として記録媒体に記録させる記録制御部とを備え、
    前記顔認識部は、前記画像入力部に入力された前記整理対象画像中の顔画像の顔の特徴量に該当する特徴量を求め、
    前記記録制御部は、前記登録顔画像の人物に関する属性情報を用いたフォルダ名で前記登録顔画像に対応する画像保存用フォルダを作成し、前記整理対象画像を前記整理対象画像中の顔画像の顔の特徴量に該当する特徴量の前記登録画像に対応する前記画像保存用フォルダに記録させることを特徴とする電子画像蓄積装置。
16. 請求項１５に記載の電子画像蓄積装置において、
    画像検索部を更に備え、
    前記画像入力部には検索画像が更に入力され、
    前記画像検索部は、前記顔認識部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像保存用フォルダに収納された前記整理対象画像を抽出することを特徴とする電子画像蓄積装置。
17. 請求項１５に記載の電子画像蓄積装置において、
    画像検索部を更に備え、
    前記画像入力部には検索画像が更に入力され、
    前記画像検索部は、前記顔認識部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の顔画像を含む整理対象画像を未登録顔画像フォルダから抽出することを特徴とする電子画像蓄積装置。
18. 請求項１５に記載の電子画像蓄積装置において、
    前記画像入力部は撮像手段を含み、
    前記顔認識部は、前記撮像手段から入力された画像を前記整理対象画像とし、前記整理対象画像中の顔画像を検出して該顔画像の顔の特徴量を求め、
    前記顔認識部が求めた前記整理対象画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する画像比較部を更に有し、
    前記記録制御部は、前記整理対象画像を前記顔認識部が求めた前記画像中の顔画像の顔の特徴量に該当する前記登録顔画像の顔の特徴量と関連付けて前記画像保存用フォルダに記録させることを特徴とする電子画像蓄積装置。
19. 電子画像蓄積システムであって、
    表示部と画像入力部と属性入力部とを有し、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と所望の人物の顔画像を含む検索画像とが前記画像入力部に入力される端末装置と、
    入力された前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記登録画像中の顔画像の特徴量を登録顔画像として記憶する第１の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、
    各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶すると共に前記登録画像の属性情報を記憶する第２の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、
    前記各装置を互いに情報授受可能に接続する通信網とから成り、
    前記端末装置は、
    前記画像入力部に入力された登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と前記属性入力部に入力された属性情報とを前記画像蓄積装置に送信し、
    前記表示部に前記画像蓄積装置から受けた検出画像を表示し、
    前記画像蓄積装置は、
    前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、
    前記顔認識装置から各登録顔画像を識別する符号を受け、
    前記属性情報を用いたフォルダ名で前記登録顔画像に対応する画像保存用フォルダを前記第２の記憶部に作成し、
    前記属性情報を前記符号と関連付けて前記画像保存用フォルダに記憶し、
    前記蓄積画像を前記符号と関連付けて前記画像保存用フォルダに記憶し、
    前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、
    前記抽出した蓄積画像を前記端末装置に送信し、
    前記顔認識装置は、
    前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第１の記憶部に記憶し、
    前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力することを特徴とする電子画像蓄積システム。
20. 請求項１９に記載の電子画像蓄積システムにおいて、
    前記蓄積画像を前記符号と関連付けて前記第２の記憶部に記憶することは、前記蓄積画像を前記第２の記憶部の前記符号が示す登録顔画像に対応する前記収納場所に記憶することであることを特徴とする電子画像蓄積システム。
21. 請求項１９に記載の電子画像蓄積システムにおいて、
    前記顔画像と前記収納場所とは、前記属性情報によって対応付けられていることを特徴とする電子画像蓄積システム。

Images