JP2009087004A - 画像検索装置、画像検索方法 - Google Patents

Abstract

【課題】検索対象の被写体部分を含む画像を簡単に検索して表示することができる画像検索装置等を提供する。
【解決手段】検索対象となる画像を撮像して画像データに変換するＣＣＤ２と、被検索対象となる画像を表す画像データを記録する記録媒体１５と、ＣＣＤ２により撮像した画像が表す被写体と同一被写体に関する画像を含む画像を表す画像データを記録媒体１５に記録されている画像データの中から検索する第１ＣＰＵ２８および第２ＣＰＵ２９と、第１ＣＰＵ２８および第２ＣＰＵ２９によって検索した画像データを表す画像を表示するＴＦＴパネル８等と、を備えた画像検索装置。
【選択図】図１

Description

本発明は、記録されている画像データの中から検索対象の被写体部分を含む画像を検索する画像検索装置、画像検索方法に関する。

写真は、銀塩カメラによる撮影からデジタルカメラによる撮影にシフトしており、新たに生成される画像の多くがデジタル化されたものになりつつある。

そして、デジタルカメラ等の撮像装置に用いられる記録媒体は、近年、容量当たりの単価が低下して、大容量の記録媒体を比較的安価に入手することができるようになってきている。さらに、こうした記録媒体を販売する店舗も増加していることから、記録媒体の入手自体も手軽に行うことができるようになってきている。

一方、画像データを取り扱う機器としての例えばパーソナルコンピュータにおいても、画像処理を行うＣＰＵの性能が向上すると共にハードディスク等の記録媒体の容量が飛躍的に増大しているために、大量の画像データを気軽に記録し、処理することができる環境が整ってきている。

こうした１つの記録媒体に記録することができる画像数が膨大に増加した状況では、多数の画像の中から目的とする画像を効率的に検索して再生表示し得るようにする技術の開発が望まれている。

このような技術の一つとして、画像の撮影日時に基づいて、時間軸に沿って検索する技術が提案されており、具体的にはカレンダー表示を行って目的の画像を探すものとなっている。

また、他の技術としては、画像が撮影された場所の情報に基づいて、地図表示等を行い、目的の画像を探すものも提案されている。

しかし、これらの技術では、時間や場所に依らない検索、例えば、全画像の中から特定の人物が撮影されている画像を検索するなどを簡単に行うことができなかった。

そこで、このような検索を行うための技術として、例えば特開２００３−１５０９３２号公報には、検索の基準となる第１の顔画像を参照画像として登録し、画像蓄積装置から入力された画像から第２の顔画像を抽出し、第２の顔画像と同一人物の参照画像を検索し、該当した参照画像を抽出したときにはそこに付加されている人物の名前、撮影年等を第２の画像と共に記憶し、該当した参照画像を第２の画像と共に関連付けて表示する画像処理装置が記載されている。

また、例えば特開２００５−３５２７２７号公報には、検索対象画像群の件数を検出し、検出した件数に応じて比較対象とする顔パーツの数を設定し、検索しようとする人物の顔と顔パーツとを比較して、比較の結果、一定の相関を有する画像を類似画像として表示する人物画像検索装置が記載されている。

そして、各公報に記載の技術は、何れも、所定の人物が写っている画像を画像データベースから検索する技術に関するものとなっている。
特開２００３−１５０９３２号公報 特開２００５−３５２７２７号公報

しかしながら、上述した各公報に記載の技術では、検索対象となる画像をまず指定しなければならないが、多数の画像の中から画像を指定する操作がまず面倒である。すなわち、画像を指定するためには、通常、まず画像が記録されている装置を指定して、次にその装置に記録されている画像を一覧表示等し、スクロール操作等を行って画像を発見し、その画像を着目画像としてから確定するなどの一連の操作が必要となるために、より簡便な技術が望まれる。

本発明は上記事情に鑑みてなされたものであり、検索対象の被写体部分を含む画像を簡単に検索して表示することができる画像検索装置、画像検索方法を提供することを目的としている。

上記の目的を達成するために、第１の発明による画像検索装置は、検索対象となる画像を撮像して画像データに変換する撮像部と、被検索対象となる画像を表す画像データを記録する記録部と、上記撮像部により撮像した画像が表す被写体と同一被写体に関する画像を含む画像を表す画像データを上記記録部に記録されている画像データの中から検索する検索部と、上記検索部によって検索した画像データを表す画像を表示する表示部と、を具備したものである。

また、第２の発明による画像検索装置は、上記第１の発明による画像検索装置において、上記撮像部が、上記検索対象となる画像として、上記表示部を観察している観察者の顔画像を撮影し得るように配置されたものであり、上記検索部は、上記撮像部により撮像した上記顔画像が表す人物と同一人物の画像を含む画像を表す画像データを上記記録部に記録されている画像データの中から検索するものである。

さらに、第３の発明による画像検索装置は、上記第１または第２の発明による画像検索装置において、上記検索部が、上記撮像部により撮像した画像中の顔画像の認識を行う機能を備えたものであり、上記表示部は、上記検索部により顔画像を認識したときには、その旨を表すマークを上記顔画像に重ねて表示するものである。

第４の発明による画像検索装置は、上記第３の発明による画像検索装置において、上記表示部が、上記撮像部により撮像した画像と上記検索部により検索した画像とを同一画面上に表示するものである。

第５の発明による画像検索装置は、上記第１または第２の発明による画像検索装置において、上記撮像部が、検索対象となる画像を動画像として撮像して画像データに変換するものである。

第６の発明による画像検索装置は、上記第１の発明による画像検索装置において、上記撮像部が、カメラ本体に設けられたものであり、上記表示部は、上記カメラ本体とは別体として設けられたものである。

第７の発明による画像検索方法は、検索対象となる画像を撮像部により撮像して画像データに変換し、上記撮像部により撮像した画像が表す被写体と同一被写体に関する画像を含む画像を表す画像データを記録部が記録している被検索対象となる画像を表す画像データの中から検索し、上記検索した画像データを表す画像を表示部に表示する、方法である。

本発明の画像検索装置、画像検索方法によれば、検索対象の被写体部分を含む画像を簡単に検索して表示することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図７は本発明の実施形態１を示したものであり、図１は画像検索装置が適用されるカメラおよび外部画像表示装置の構成を示すブロック図である。

このカメラは、図１に示すように、レンズ１と、ＣＣＤ２と、撮像回路３と、Ａ／Ｄ変換器４と、フレームメモリ５と、ＦＩＦＯメモリ６と、ＴＦＴ液晶駆動回路７と、ＴＦＴパネル８と、バックライトユニット９と、ビデオ出力回路１１と、ビデオ出力端子１２と、記録バッファ１３と、記録媒体インタフェース（記録媒体Ｉ／Ｆ）１４と、記録媒体１５と、アクチュエータ駆動回路１６と、アクチュエータ１７と、ＬＣＤ表示回路１８と、ＬＣＤパネル１９と、電池２１と、バックアップ電源２２と、電源回路２３と、電池状態検出回路２４と、キーマトリクス２５と、外部有線データインタフェース（外部有線データＩ／Ｆ）２６と、ＥＥＰＲＯＭ２７と、第１ＣＰＵ２８と、第２ＣＰＵ２９と、を有して構成されている。

レンズ１は、光学的な被写体像をＣＣＤ２へ結像するためのものであり、撮像部の一部である。

ＣＣＤ２は、レンズ１により結像された光学的な被写体像を光電変換して、電気的な画像信号を出力する撮像素子であり、撮像部の一部である。なお、ここでは撮像素子としてＣＣＤを例に挙げているが、もちろん、ＣＭＯＳやその他のタイプの撮像素子を用いても構わない。

撮像回路３は、ＣＣＤ２からの出力に各種のアナログ信号処理を行うものであり、撮像部の一部である。

Ａ／Ｄ変換器４は、撮像回路３から出力されるアナログの画像信号をデジタルの画像信号（検索対象となる画像を表す画像データ）に変換するためのものであり、撮像部の一部である。

フレームメモリ５は、スルー画像を表示する際にはフレーム単位で出力される動画像の画像信号を記憶し、さらに静止画像を撮像したときにはその静止画像を記憶するメモリであり、例えばＳＤＲＡＭ等により構成されている。

ＦＩＦＯメモリ６は、画像を表示したり出力したりする際にバッファリングを行うためのメモリである。

ＴＦＴ液晶駆動回路７は、ＦＩＦＯメモリ６から出力される画像信号に基づき、ＴＦＴパネル８を制御するものであり、表示部の一部である。

ＴＦＴパネル８は、カラー表示可能なものであって、ＴＦＴ液晶駆動回路７の制御に基づき、画像やこのカメラに係る各種の情報等を表示したりするためのものであり、表示部の一部である。

バックライトユニット９は、ＴＦＴパネル８の背面側に設けられていて、ＴＦＴパネル８を背面側から照明するためのものであり、表示部の一部である。

ビデオ出力回路１１は、ＦＩＦＯメモリ６からの画像信号を、ビデオ出力端子１２を介して外部へ出力するためのものである。

ビデオ出力端子１２は、外部のビデオケーブル等を接続するための接続端子である。なお、このビデオ出力端子１２には、例えば外部画像表示装置３０が接続されるようになっている。

記録バッファ１３は、フレームメモリ５に記憶されている画像信号を、記録媒体１５に記録する際に、バッファリングするものであり、記録部を構成するものとなっている。また、記録バッファ１３は、記録媒体１５から読み出される信号のバッファリングも行うようになっている。

記録媒体インタフェース１４は、記録媒体１５へのデータの記録や、記録媒体１５からのデータの読み出しを制御するためのものであり、記録部を構成するものとなっている。

記録媒体１５は、画像データ（被検索対象となる画像を表す画像データ）やその他の各種データを記録するための不揮発性の記録媒体（記録部）であり、このカメラに対して例えば着脱自在に構成されたものとなっている。

アクチュエータ駆動回路１６は、第１ＣＰＵ２８の制御に基づいて、アクチュエータ１７を制御し駆動するものである。

アクチュエータ１７は、レンズ１を駆動して、オートフォーカスを行ったり、あるいは自動ズーム機能が備えられている場合には自動ズームを行ったりするための駆動源である。

ＬＣＤ表示回路１８は、第１ＣＰＵ２８の制御に基づき、ＬＣＤパネル１９を制御して各種の表示を行わせるための回路である。

ＬＣＤパネル１９は、例えばモノクロＬＣＤを含んで構成されていて、このカメラに設定されている撮影モード等の動作モードや、記録媒体１５に記録可能な画像の枚数、撮影時のシャッタ速度や絞り値などの情報を表示するための表示部である。

電池２１は、このカメラのメイン電源である。

バックアップ電源２２は、このカメラにおける日付表示用の電源を供給するための電源である。

電源回路２３は、第１ＣＰＵ２８の指令に基づいて、電池２１およびバックアップ電源２２からの電力を、このカメラ内の各回路へ供給する制御を行う回路である。

電池状態検出回路２４は、電池２１の電圧等を検出して、電池２１の電池残量等を算出し、その結果を第１ＣＰＵ２８へ出力するものである。

キーマトリクス２５は、このカメラに設けられている各種の操作スイッチや操作ボタン等を含む操作入力装置の総称である。このキーマトリクス２５は、具体例としては、このカメラの電源をオンするための電源スイッチや、撮影動作を入力するためのレリーズボタン、カメラを被写体登録モード（後述する図４参照）や再生者確認モード（後述する図５参照）に設定するためのモードボタン等を含んでいる。そして、このキーマトリクス２５が操作されることにより発生した信号は、第１ＣＰＵ２８に入力されるようになっている。

外部有線データインタフェース２６は、例えばＵＳＢ等で構成されていて、外部の機器とデータの送受信を行うためのインタフェースである。

ＥＥＰＲＯＭ２７は、このカメラに係る各種のデータや、第１ＣＰＵ２８あるいは第２ＣＰＵ２９により実行される処理プログラム等を保存するための不揮発性の記憶媒体であり、例えばフラッシュＲＯＭ（ＦｌａｓｈＲＯＭ）等の書き換え可能な記憶媒体として構成されている。このＥＥＰＲＯＭ２７には、後述するような個人認証用特徴データと、被写体分類情報と、がさらに記憶されるようになっている。

第１ＣＰＵ２８は、メインＣＰＵであって、このカメラの各回路を統括的に制御するための制御部である。この第１ＣＰＵ２８は、このカメラのシステムをコントロールするためのシステムコントロール機能を備えており、このシステムコントロール機能としては、画像検索・分類機能、個人認証機能、時計機能が含まれている。

ここに、時計機能は、通常のコンピュータ等に備えられているのと同様の、時間を計測する機能であり、画像の撮影日時や画像ファイルの作成日時等の管理に用いられる機能である。なお、第１ＣＰＵ２８が備えるその他の機能については、後で詳しく説明する。

こうして、第１ＣＰＵ２８は主に制御を行い、画像データを扱う処理に関しては主に第２ＣＰＵ２９が行うようになっている。

すなわち、第２ＣＰＵ２９は、フレームメモリ５に記憶されている画像データを処理するものである。この第２ＣＰＵ２９は、画像解析機能と、特徴点抽出機能と、画像圧縮伸長機能と、記録媒体アクセス機能と、を備えている。

画像圧縮伸長機能は、フレームメモリ５に記憶されている画像データを、例えばＪＰＥＧ圧縮等したり、あるいは記録媒体１５から読み出された圧縮されている画像データを伸長したりする機能である。

記録媒体アクセス機能は、記録媒体インタフェース１４による記録媒体１５のアクセスを制御する機能である。

なお、第２ＣＰＵ２９が備えるその他の機能については、後で詳しく説明する。また、これら第１ＣＰＵ２８および第２ＣＰＵ２９は、ＣＣＤ２により撮像した画像が表す被写体と同一被写体に関する画像を含む画像を表す画像データを記録媒体１５に記録されている画像データの中から検索する検索部を構成している。

次に、画像検索装置の第１の適用例について、図２を参照して説明する。図２は画像検索装置の携帯電話への適用例を示す図である。

この携帯電話３１は、図１のレンズ１、ＣＣＤ２、撮像回路３、およびＡ／Ｄ変換器４等に対応する撮像部３２と、図１のＴＦＴ液晶駆動回路７、ＴＦＴパネル８、およびバックライトユニット９等に対応する画像表示部３３と、図１のキーマトリクス２５等に対応する操作部３４と、を備えていて、その他にも、図示はしないが図１に示した構成とほぼ同様の構成を備えているものとなっている。なお、撮像部３２は、画像表示部３３を観察している人物を撮影することが可能な位置に配設されている。

このように、画像検索装置は、携帯電話３１に適用することも可能となっている。

続いて、画像検索装置の第２の適用例について、図３を参照して説明する。図３は画像検索装置のカメラおよび外部モニタへの適用例を示す図である。

この図３に示す構成例は、外部モニタ４１とカメラ４２とを接続して組み合わせた例となっている。ここに、カメラ４２は、外部モニタ４１を観察している人物を撮影することが可能となるように配置されている。

カメラ４２は、図１のレンズ１、ＣＣＤ２、撮像回路３、およびＡ／Ｄ変換器４等に対応する撮像部４４と、図１のキーマトリクス２５等に対応する操作部４５と、を備えている。

また、外部モニタ４１は、図１の外部画像表示装置３０等に対応するものであり、モニタ本体４３に画像表示部４６を備えて構成されている。

外部モニタ４１およびカメラ４２の組み合わせは、その他にも、図示はしないが図１に示した構成とほぼ同様の構成を備えているものとなっている。

このように、画像検索装置は、外部モニタ４１を接続したカメラ４２に適用することも可能となっている。

図１に示したように構成され、図２や図３に示したような適用例が考えられる画像検索装置は、まず、記録媒体１５に記録されている画像データに含まれる（被検索対象となる）被写体（人物の顔など）を画像解析機能（顔認識機能など）により認識して、認識した被写体の特徴点を特徴点抽出機能により抽出し、抽出した特徴点をＥＥＰＲＯＭ２７に個人認証用特徴データとして登録するとともに、この特徴データとフラグ（登録済みの人物であることを示すフラグであり、詳細は後述する）とのリンク情報を被写体分類情報に記録する。このような登録が行われたら、次に、検索対象となる被写体（人物の顔など）を撮像して、撮像した画像データに含まれる被写体を画像解析機能により認識し、認識した被写体の特徴点を特徴点抽出機能により抽出する。そして、個人認証機能を用いて検索対象の被写体の特徴点が、既に登録されている被写体の特徴点の何れかと一致するか否かを判定して、一致する場合には該当する被写体が写っている画像をフラグを用いて画像検索・分類機能によりリストアップして、リストアップされた順に表示するものとなっている。

そこで、まず、被写体登録時の作用について、図４を参照して説明する。ここに、図４は、画像検索装置により被写体を登録するときの作用を示すフローチャートである。

カメラが被写体登録モードに設定されると、この処理が開始されるようになっている。処理が開始されると、まず、内部カウンタｎを１に設定する（ステップＳ１）。

次に、記録媒体１５に記録されている画像の中から、ｎ枚目の画像をＴＦＴパネル８あるいは外部画像表示装置３０などに再生して表示する（ステップＳ２）。

続いて、再生している画像を第２ＣＰＵ２９の画像解析機能により解析し、画像に含まれている顔を検出する（ステップＳ３）。

そして、画像に顔が検出されたか否かを第１ＣＰＵ２８が判定して（ステップＳ４）、検出されたと判定した場合には、第２ＣＰＵ２９の特徴点抽出機能により、検出された顔の特徴点を解析して抽出する（ステップＳ５）。

次に、解析して得られた顔の特徴点と、既に登録されている人物の顔の特徴点とを比較することにより、その顔が既に登録されている人物の顔であるか否かを第１ＣＰＵ２８の個人認証機能により判定する（ステップＳ６）。

ここで、既に登録されている人物の顔であると判定した場合には、現在対象としている画像のファイルヘッダに既存人物写真としてのフラグ（該当人物が写っていることを示すフラグ）を付加する（ステップＳ７）。

また、ステップＳ６において、登録されていない人物の顔であると判定した場合には、新規人物として、ＥＥＰＲＯＭ２７の個人認証用特徴データの部分に顔の特徴点データを記録するとともに、被写体分類情報の部分にこの特徴点データとフラグとのリンク情報を記録する（ステップＳ８）。

そして、現在対象としている画像のファイルヘッダに新たに登録された人物を示すフラグを付加する（ステップＳ９）。

ここで、図６および図７を参照して、フラグおよび特徴データについて説明する。図６は画像データのファイル構造を示す図、図７はＥＥＰＲＯＭ２７に格納される被写体分類情報と個人認証用特徴データとの関連を示す図である。

画像ファイルは、図６に示すように、ＪＰＥＧ等により圧縮されている画像データ本体を格納する部分と、この画像データ本体に付随する情報を格納するためのファイルヘッダと、を備えている。そして、ファイルヘッダ内には、人物特定フラグを記録するための領域が設けられている。ここに、この領域のサイズは、例えば６４ビット（もちろん、より大きくしてより多くの人物が写っているか否かを判定することができるようにしても構わない）であるものとし、ファイル作成時には全ビットが０にセットされているものとする。そして、第１ビットは登録済みの第１の人物が写っていることを示し、第２ビットは登録済みの第２の人物が写っていることを示し、第３ビット以降も同様である。

この図６に示す例においては、この人物特定フラグの記録領域に、人物特定フラグ１と人物特定フラグ２とが書き込まれている（すなわち、第１ビット目および第２ビット目が「１」（フラグが立っている状態）である）。これは、この画像に、人物特定フラグ１に対応する人物の画像部分と、人物特定フラグ２に対応する人物の画像部分と、が存在していることを意味している。なお、人物特定フラグの記録領域の全てのビットが０であるか否かを判定することにより、その画像ファイルが人物写真以外の画像ファイル（例えば風景写真の画像ファイル等）であるか否かを判定することができるようになっている。

次に、ＥＥＰＲＯＭ２７には、図７の左側に示す被写体分類情報と、図７の右側に示す個人認証用特徴データと、が記録されるようになっている。

ここに、被写体分類情報には、図６に示したようなファイルヘッダの人物特定フラグの記録領域に対応するリンク情報が記録されるようになっている。すなわち、ファイルヘッダの第１ビットに対応する顔特徴点データ”１”の人物（人物１という）が登録済みである場合には、その旨を示すビット「１」が立ち、さらに個人認証用特徴データ内に記録されているこの人物１に関する顔特徴点データへのリンク情報が記録されている。同様に、図６に示したファイルヘッダの第２ビットに対応する顔特徴点データ”２”の人物（人物２という）が登録済みである場合には、その旨を示すビット「１」が立ち、さらに個人認証用特徴データ内に記録されているこの人物２に関する顔特徴点データへのリンク情報が記録されている。その後も同様である。従って、登録済みであることを示すビットが「０」である場合には、その欄の人物は未登録（つまり空き領域）であることを示している。ただし、記録媒体１５内の画像データの解析を順に行って、最初に発見された人物の顔を顔特徴点データ”１”の人物に、２番目に発見された人物の顔を顔特徴点データ”２”の人物に、等の順に設定するようになっているために、特定の人物の顔特徴点データを削除しない限りは、人物特定フラグの１ビット目から順にビット１が立ち、特定のあるビット以降がビット０になることになる。

これにより、検索対象の人物の顔特徴点データと、ＥＥＰＲＯＭ２７に記録されている登録済みの人物の顔特徴点データと、を比較して、一致する顔特徴点データが存在する場合には、その顔特徴点データに対応する人物特定フラグを被写体分類情報から探し出し、そのフラグをファイルヘッダに持っている画像ファイルを記録媒体１５から検索することにより、検索対象の人物が写っている画像ファイルのリストアップを行うことが可能となっている。

ステップＳ７またはステップＳ９の処理が終了することにより、現在対象としている画像にフラグが付加されたら、次に、現在対象としている画像にその他の顔があるか否かを判定する（ステップＳ１０）。ここに、１枚の画像には複数の顔が検出されることもあるために、ステップＳ５〜Ｓ９の処理は、１枚の画像に含まれる各顔毎に行うようになっている。

このステップＳ１０において、その他の顔があると判定した場合には、ステップＳ５へ戻って、次の顔について上述したような処理を行う。

一方、ステップＳ１０においてその他の顔がないと判定した場合、またはステップＳ４において画像に顔が検出されなかったと判定した場合には、記録媒体１５に含まれる全ての画像の解析が終了したか否かを判定する（ステップＳ１１）。

ここで、まだ記録媒体１５に含まれる全ての画像の解析が終了していないと判定した場合には、カウンタｎをインクリメントして（ステップＳ１２）、ステップＳ２へ戻って、次の画像について上述したような処理を行う。

また、ステップＳ１１において、記録媒体１５に含まれる全ての画像の解析が終了したと判定した場合には、この被写体登録の処理を終了する。

次に、記録媒体１５に記録されている画像データに対して上述したような被写体登録が行われた後に実行される再生者確認再生の処理について、図５を参照して説明する。図５は再生者確認モードでカメラ電源をオンしたときの処理を示すフローチャートである。

この処理が開始されると、まず、カメラの初期化を行う（ステップＳ２１）。この初期化には、各回路への電源供給や、ＥＥＰＲＯＭ２７からの所定パラメータの読み込み、レンズ１を撮影可能位置まで繰り出す処理などが含まれる。

そして、初期化が終了して撮影準備が整ったところで、キーマトリクス２５に含まれるレリーズボタンを押す等により、再生者を撮影する（ステップＳ２２）。ここに、再生者とは、画像再生の対象となる人物（検索、リストアップされ、表示されようとしている画像に写っている人物）のことである。そして、ここでは、再生者１名のみを静止画像により撮影することを想定している。

続いて、撮影されてフレームメモリ５に記憶されている画像データを、第２ＣＰＵ２９の画像解析機能を用いて解析することにより、顔検出を行う（ステップＳ２３）。

そして、画像データ中に顔が検出されたか否かを第１ＣＰＵ２８が判定する（ステップＳ２４）。

ここで、顔が検出されない場合には、第１ＣＰＵ２８は、再生者の検出に失敗した旨の表示をＴＦＴパネル８や外部画像表示装置３０などに行い（ステップＳ２５）、その後に撮影を再び行うように促す警告等を行う（ステップＳ２６）。これは、例えば「もう一度撮影を行って下さい」等の文字を表示する等により行うことができる。そして、上述したステップＳ２２へ戻って、再生者が再度撮影されるのを待機する。

また、ステップＳ２４において、画像データ中に顔が検出されたと判定した場合には、第２ＣＰＵ２９の特徴点抽出機能により、検出された顔の特徴点を解析して抽出する（ステップＳ２７）。

次に、解析して得られた顔の特徴点に基づき、既に登録されている人物の顔であるか否かを第１ＣＰＵ２８の個人認証機能により判定する（ステップＳ２８）。

ここで、まだ登録されていない人物の顔であると判定した場合には、該当者がない旨の表示をＴＦＴパネル８または外部画像表示装置３０に行って（ステップＳ２９）、再生者の撮影をやり直すか否かを判定する（ステップＳ３０）。この判定は、例えば、「再度撮影しますか？」等の表示を行って、それに対するキーマトリクス２５からの入力に基づき行うことができる。

そして、再生者の撮影をやり直すと判定した場合には、上述したステップＳ２２へ戻って、再生者を再度撮影する。

一方、ステップＳ２８において、既に登録されている人物の顔であると判定した場合には、第１ＣＰＵ２８の画像検索・分類機能により、記録媒体１５に記録されている画像データの中から、該当する人物のフラグが付されている画像データを検索してリストアップする（ステップＳ３１）。

そして、検索した画像を、リストの順番にＴＦＴパネル８または外部画像表示装置３０により表示する（ステップＳ３２）。

ステップＳ３２の処理が終了または中断されるか、あるいはステップＳ３０において再生者の撮影をやり直さないと判定された場合には、別の人物を表示するか否かを判定する（ステップＳ３３）。ここでは例えば、「別の人を表示しますか？」等の文字表示を行い、これに対してキーマトリクス２５を介して、別の人を表示する旨の入力が行われたか、あるいは表示しない旨の入力が行われたか、等により判定することが考えられる。

ここで、別の人物を表示すると判定した場合には、ステップＳ２２へ戻って別の人物を再生者として撮影する処理を行う。

一方、ステップＳ３３において、別の人物を表示しないと判定された場合には、カメラの電源オフ処理を行って（ステップＳ３４）、この処理を終了する。

なお、上述では顔認識を用いて個人認証を行うようにしているが、これに限るものではなく、その他の個人認証の技術を適用するようにしても構わない。

また、被写体として人物を例に挙げて、記録媒体１５に記録されている画像データの中から該当人物が写っている画像をリストアップして表示するようにしているが、これに限らず、何らかの特定の被写体が写っている画像をリストアップして表示するようにしても構わない。例えば、画像中に犬が写っている写真をリストアップして表示する、あるいは運動会のシーンをリストアップして表示する、などである。これらの場合には、犬を認識する技術を用いたり、あるいは運動会シーンを認識する技術を用いたりすることになる。

さらに、上述ではＥＥＰＲＯＭ２７に個人認証用特徴データや被写体分類情報を記憶するようにしている。これは、カメラに設けられているＥＥＰＲＯＭ２７に記憶させておくと、記録媒体を交換したとしても、既に登録された人物（例えばカメラの所有者など）を再度登録し直す必要がないために、利便性が高いという利点があるからである。しかし、これに限るものではなく、例えば画像データを記録する記録媒体１５自体に記録するようにしても構わない。この場合には、記録媒体１５を他の装置に接続して使用する際にも、個人認証用特徴データや被写体分類情報を再度登録する必要がないという利点がある。

そして、上述では画像データを記録している記録媒体がカメラに設けられたものとしているが、これに限らず、通信回線等を介して接続されている特定の記録媒体（記録されている画像データを特定することができる記録媒体であり、例えば、サーバ上において特定のユーザに与えられた記録領域等）であっても構わない。

このような実施形態１によれば、事前準備として、被写体の特徴（例えば、人物の顔の特徴）に基づいたフラグ付与を記録媒体に記録されている各画像データに対して行っているために、その後の検索処理を簡単かつ短時間に行うことが可能となる。そして、再生したい被写体（例えば、再生したい人物の顔）を撮影するという簡単な操作を行うだけで、記録媒体に記録されている画像データの中から、該当する被写体の画像部分を含む画像データを自動的に検索してリストアップし再生することができるために、再生したい被写体（検索対象となる画像）に関する属性情報を入力する手間を省くことができ、極めて簡便な操作で所望の被写体が写っている画像の再生を行うことが可能となる。

また、表示部の画像を観察している観察者を撮像することができるように撮像部を配設する構成例では、画像を観察している観察者と同一人物が写っている画像を簡単に検索することができる利点がある。

［実施形態２］
図８から図１６は本発明の実施形態２を示したものであり、図８は再生者確認モードでカメラ電源をオンしたときの処理を示すフローチャート、図９はカメラ初期化後に読み込まれ表示されるスルー画像を示す図、図１０は１人に対する再生者検出成功表示の例を示す図、図１１は再生者検出失敗表示の例を示す図、図１２は複数人の内の１人目の検出が行われたときの再生者検出成功表示の例を示す図、図１３は３人に対する再生者検出成功表示の例を示す図、図１４は全員該当者表示の例を示す図、図１５は一部該当者なし表示の例を示す図、図１６は検索した画像をリストの順番にスルー画像とともに表示する例を示す図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態２においても、図１に示したような画像検索装置が適用されたカメラの構成を想定している。そして、記録媒体１５に記録されている被写体を登録する処理については、上述した図４に示した処理と同様である。

このカメラの実施形態２における作用を、図８に沿って、図９〜図１６を参照して説明する。

上述した実施形態１においては、再生したい被写体の静止画を撮影することを前提としていたが、この実施形態２では、スルー画像（動画像）として撮影されている画像データに基づいて、該当する人物の画像を検索、リストアップして表示することを前提としている。

すなわち、図８に示す処理を開始すると、ステップＳ２１と同様にカメラの初期化を行う（ステップＳ４１）。

次に、ＣＣＤ２により撮像されているスルー画像を読み込んで、ＴＦＴパネル８または外部画像表示装置３０の画面５１に図９に示すように表示する（ステップＳ４２）。

続いて、フレーム単位で入力されフレームメモリ５に記憶されるスルー画像の画像データを、第２ＣＰＵ２９の画像解析機能を用いて解析することにより、顔検出を行う（ステップＳ４３）。

そして、画像データ中に顔が検出されたか否かを第１ＣＰＵ２８が判定する（ステップＳ４４）。

ここで、顔が１つも検出されない場合には、第１ＣＰＵ２８は、再生者の検出に失敗した旨の表示をＴＦＴパネル８や外部画像表示装置３０などの画面５１に行う（ステップＳ４６）。ここでは、例えば図１１に示すように、「検出失敗」の文字５３をスルー画像に重畳表示することにより行っている。続いて、ステップＳ４２へ戻って、その後に入力されてくるフレーム画像について上述したような処理を繰り返して行う。

また、ステップＳ４４において、画像データ中に少なくとも１つの顔が検出されたと判定した場合には、第１ＣＰＵ２８は、再生者検出成功表示を行う（ステップＳ４５）。ここでは、例えば図１０に示すように、検出された顔画像部分に四角枠でなるマーク５２を重畳表示することにより行っている。なお、複数の人物がスルー画像として撮影されて、その中の１人目の人物の再生者検出が成功したときの表示例は図１２、さらに３人の人物の再生者検出が成功したときの表示例は図１３に示すようになる。

次に、検出された顔が複数であるか否かを判定する（ステップＳ４７）。

ここで、検出された顔が単数であると判定された場合には、第２ＣＰＵ２９の特徴点抽出機能により、その検出された顔の特徴点を解析して抽出する（ステップＳ５２）。

そして、解析して得られた顔の特徴点に基づき、既に登録されている人物の顔であるか否かを第１ＣＰＵ２８の個人認証機能により判定する（ステップＳ５３）。

一方、ステップＳ４７において、検出された顔が複数であると判定された場合には、検出された全ての顔の特徴点を、第２ＣＰＵ２９の特徴点抽出機能により解析して抽出する（ステップＳ４８）。

そして、解析して得られた全ての顔の特徴点に基づき、全ての顔が既に登録されている人物の顔であるか否かを第１ＣＰＵ２８の個人認証機能により判定する（ステップＳ４９）。

ここで、全ての顔が既に登録されている人物の顔であるわけではない、と判定した場合には、さらに、全ての顔が登録されていない人物の顔であるか否かを判定する（ステップＳ５０）。

こうして、ステップＳ５３において登録されている人物の顔であると判定された場合、またはステップＳ４９において全ての顔が登録されている人物の顔であると判定された場合には、全員該当者表示を行う（ステップＳ５５）。具体的には、例えば図１４に示すように、検出された顔画像部分に丸枠でなるマーク５４を、図１３に示した四角枠でなるマーク５２に代えて重畳表示することにより行う。

また、ステップＳ５０において、全ての顔が登録されていない人物の顔であるというわけではないと判定された場合、つまり一部の人物の顔は登録されている人物の顔であり、それ以外の人物の顔は登録されていない人物の顔であると判定された場合には、一部該当者なし表示を行う（ステップＳ５１）。具体的には、例えば図１５に示すように、顔が登録されている顔である場合には、検出された顔画像部分に丸枠でなるマーク５４を重畳表示し、顔が登録されていない顔である場合には顔画像部分に×印でなるマーク５５を重畳表示することにより行う。

さらに、ステップＳ５３において登録されている人物の顔ではないと判定された場合、またはステップＳ５０において全ての顔が登録されていない人物の顔であると判定された場合には、該当者なし表示を行う（ステップＳ５４）。この該当者なし表示の例は、特に図示はしないが、検出された全ての顔画像部分に×印でなるマーク５５を重畳表示することにより行っても良いし、あるいは図１１の検出失敗表示の例と同様に、例えばスルー画像に「該当者なし」の文字を重畳表示するなどにより行っても構わない。

ステップＳ５５またはステップＳ５１の処理が終了した場合、つまり少なくとも１人の顔が、既に登録されている人物の顔に該当する場合には、第１ＣＰＵ２８の画像検索・分類機能により、記録媒体１５に記録されている画像データの中から、該当する人物のフラグが付されている画像データを検索してリストアップする（ステップＳ５６）。

そして、検索した画像を、リストの順番にＴＦＴパネル８または外部画像表示装置３０により表示する（ステップＳ５７）。このときの表示は、例えば図１６に示すように行う。この図１６に示す表示例は、ＴＦＴパネル８または外部画像表示装置３０の画面５１の、例えば右上角部にスルー画像５７を縮小して表示するとともに、画面５１の中程から下側にかけての部分に、検索された画像データのインデックス画像５８を例えば複数並べて一覧表示する例となっている。ただし、もちろん、一覧表示に代えて、画像を１枚ずつ表示するようにしても構わない。

ステップＳ５７の処理が終了または中断されるか、あるいはステップＳ５４において該当者なし表示を行った場合には、再生モードを終了するか否かを判定する（ステップＳ５８）。

ここで、再生モードを終了しない場合には、ステップＳ４２へ戻って、次に入力されてくるスルー画像に基づき、上述したような処理を繰り返して行う。なお、ステップＳ４２〜Ｓ５８のループは、全てのフレームのスルー画像について行う必要はなく、適宜の時間間隔で行うようにしても良い。

こうして、ステップＳ５８において、再生モードを終了すると判定した場合には、カメラの電源オフ処理を行って（ステップＳ５９）、この処理を終了する。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、スルー画像に基づき被写体検出を行って、検出された被写体が写っている画像を自動的に検索、リストアップして表示するようにしているために、所望の画像をリアルタイムで表示することが可能でありスルー画像として写っている人物の変化にすぐに対応することができると共に、静止画の場合のようにレリーズボタンを押す必要がなく、特に再生者が複数人である場合に何度もレリーズボタンを押す必要がなくなって、操作が極めて簡便となる。

そして、複数人が写っている画像の場合に、どの人物の顔認識が行われたかがマーク５２により明示されるために、顔認識の対象になった人物となっていない人物とを容易に把握することができる。

さらに、顔認識が行われた人物の内で、どの人物が既に登録された顔の人物であり、どの人物がまだ登録されていない顔の人物であるかが、マーク５４，５５により区分して明示されるために、画像が表示される人物がどの人物であるかを容易に把握することが可能となる。

そして、検索した画像をリストの順番に表示するときに、スルー画像も同時に表示するようにしたために、現在のスルー画像におけるどの人物の画像を表示しているかを容易に認識することが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明の実施形態１の画像検索装置が適用されるカメラおよび外部画像表示装置の構成を示すブロック図。 上記実施形態１において、画像検索装置の携帯電話への適用例を示す図。 上記実施形態１において、画像検索装置のカメラおよび外部モニタへの適用例を示す図。 上記実施形態１において、画像検索装置により被写体を登録するときの作用を示すフローチャート。 上記実施形態１において、再生者確認モードでカメラ電源をオンしたときの処理を示すフローチャート。 上記実施形態１における画像データのファイル構造を示す図。 上記実施形態１において、ＥＥＰＲＯＭに格納される被写体分類情報と個人認証用特徴データとの関連を示す図。 本発明の実施形態２において、再生者確認モードでカメラ電源をオンしたときの処理を示すフローチャート。 上記実施形態２において、カメラ初期化後に読み込まれ表示されるスルー画像を示す図。 上記実施形態２において、１人に対する再生者検出成功表示の例を示す図。 上記実施形態２において、再生者検出失敗表示の例を示す図。 上記実施形態２において、複数人の内の１人目の検出が行われたときの再生者検出成功表示の例を示す図。 上記実施形態２において、３人に対する再生者検出成功表示の例を示す図。 上記実施形態２において、全員該当者表示の例を示す図。 上記実施形態２において、一部該当者なし表示の例を示す図。 上記実施形態２において、検索した画像をリストの順番にスルー画像とともに表示する例を示す図。

符号の説明

１…レンズ（撮像部）
２…ＣＣＤ（撮像部）
３…撮像回路（撮像部）
４…Ａ／Ｄ変換器（撮像部）
５…フレームメモリ
６…ＦＩＦＯメモリ
７…ＴＦＴ液晶駆動回路（表示部）
８…ＴＦＴパネル（表示部）
９…バックライトユニット（表示部）
１１…ビデオ出力回路
１２…ビデオ出力端子
１３…記録バッファ
１４…記録媒体インタフェース（記録媒体Ｉ／Ｆ）
１５…記録媒体（記録部）
１６…アクチュエータ駆動回路
１７…アクチュエータ
１８…ＬＣＤ表示回路
１９…ＬＣＤパネル
２１…電池
２２…バックアップ電源
２３…電源回路
２４…電池状態検出回路
２５…キーマトリクス
２６…外部有線データインタフェース（外部有線データＩ／Ｆ）
２７…ＥＥＰＲＯＭ
２８…第１ＣＰＵ（検索部）
２９…第２ＣＰＵ（検索部）
３０…外部画像表示装置
３１…携帯電話
３２…撮像部
３３…画像表示部
３４…操作部
４１…外部モニタ
４２…カメラ
４３…モニタ本体
４４…撮像部
４５…操作部
４６…画像表示部

Claims (7)

1. 検索対象となる画像を撮像して画像データに変換する撮像部と、
   被検索対象となる画像を表す画像データを記録する記録部と、
   上記撮像部により撮像した画像が表す被写体と同一被写体に関する画像を含む画像を表す画像データを上記記録部に記録されている画像データの中から検索する検索部と、
   上記検索部によって検索した画像データを表す画像を表示する表示部と、
   を具備したことを特徴とする画像検索装置。
2. 上記撮像部は、上記検索対象となる画像として、上記表示部を観察している観察者の顔画像を撮影し得るように配置されたものであり、
   上記検索部は、上記撮像部により撮像した上記顔画像が表す人物と同一人物の画像を含む画像を表す画像データを上記記録部に記録されている画像データの中から検索するものであることを特徴とする請求項１に記載の画像検索装置。
3. 上記検索部は、上記撮像部により撮像した画像中の顔画像の認識を行う機能を備えたものであり、
   上記表示部は、上記検索部により顔画像を認識したときには、その旨を表すマークを上記顔画像に重ねて表示するものであることを特徴とする請求項１または請求項２に記載の画像検索装置。
4. 上記表示部は、上記撮像部により撮像した画像と上記検索部により検索した画像とを同一画面上に表示するものであることを特徴とする請求項３に記載の画像検索装置。
5. 上記撮像部は、検索対象となる画像を動画像として撮像して画像データに変換するものであることを特徴とする請求項１または請求項２に記載の画像検索装置。
6. 上記撮像部は、カメラ本体に設けられたものであり、
   上記表示部は、上記カメラ本体とは別体として設けられたものであることを特徴とする請求項１に記載の画像検索装置。
7. 検索対象となる画像を撮像部により撮像して画像データに変換し、
   上記撮像部により撮像した画像が表す被写体と同一被写体に関する画像を含む画像を表す画像データを、記録部が記録している被検索対象となる画像を表す画像データの中から検索し、
   上記検索した画像データを表す画像を表示部に表示する、
   ことを特徴とする画像検索方法。

Images