JP2007281760A - 電子カメラ - Google Patents

Abstract

【課題】 顔認識データを容易に作成できる電子カメラを提供する。
【解決手段】 撮像素子と、操作部と、顔検出部と、制御部と、顔認識データ生成部と、記録部とを備えた電子カメラを提供する。撮像素子は、被写体の結像を光電変換して画像信号を生成する。操作部は、レリーズを指示する入力を受け付ける。顔検出部は、レリーズの待機時に画像信号に基づいて撮影画面内の顔領域を検出する。制御部は、レリーズに応じて被写体を撮影し、画像信号から撮影画像データを生成する。顔認識データ生成部は、顔領域が検出されている状態でレリーズがあった場合に、画像信号に基づいて顔領域に対応する人物の顔の特徴点を抽出し、撮影された人物の顔認識データを特徴点に基づいて生成する。記録部は、顔認識データを記録する。
【選択図】 図１

Description

本発明は、人物の顔認識機能を備えた電子カメラに関する。

従来から、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている（特許文献１参照）。かかる顔認識の技術では、予め電子カメラなどに顔認識データを登録する必要がある。特に顔認識の精度を向上させるためにはより多くの顔認識データが必要となるので、複数フレームの撮影画像から顔認識データを生成する必要がある。
特開平６−２５９５３４号公報

ところで、上記のカメラにおいて顔認識データを生成する作業が煩雑であると顔認識データの生成量および生成頻度が低下し、顔認識機能が十分に活用されなくなるおそれもある。そのため、顔認識データをより容易に作成できる手段が要望されている。
本発明は上記従来技術の課題を解決するためのものであって、その目的は、顔認識データを容易に作成できる電子カメラを提供することである。

本発明の第１の形態は、撮像素子と、操作部と、顔検出部と、制御部と、顔認識データ生成部と、記録部とを備えた電子カメラを提供する。撮像素子は、被写体の結像を光電変換して画像信号を生成する。操作部は、レリーズを指示する入力を受け付ける。顔検出部は、レリーズの待機時に画像信号に基づいて撮影画面内の顔領域を検出する。制御部は、レリーズに応じて被写体を撮影し、画像信号から撮影画像データを生成する。顔認識データ生成部は、顔領域が検出されている状態でレリーズがあった場合に、画像信号に基づいて顔領域に対応する人物の顔の特徴点を抽出し、撮影された人物の顔認識データを特徴点に基づいて生成する。記録部は、顔認識データを記録する。

上記第１の形態では、顔認識データ生成部は、レリーズ時の撮影条件を示す撮影条件データを生成するとともに、該撮影条件データを顔認識データに対応付けて記録することが好ましい。
上記第１の形態では、顔認識データ生成部は、顔認識データの取得時期を示す取得時期データを生成するとともに、該取得時期データを顔認識データに対応付けて記録することが好ましい。

上記第１の形態では、顔認識データ生成部は、顔認識データに対応する顔を示すインデックス画像データを生成するとともに、該インデックス画像データを顔認識データに対応付けて記録することが好ましい。
上記第１の形態では、顔検出部の出力および顔認識データに基づいて、顔領域の人物が顔認識データに対応する登録人物か否かを判定する顔認識部をさらに備えることが好ましい。

上記第１の形態では、顔認識データ生成部は、上記の判定の結果に基づいて同一の人物から生成された複数の顔認識データをグループ化して記録することが好ましい。
上記第１の形態では、記録部は、各々の登録人物の撮影回数を示す撮影回数データをさらに記録する。そして、顔認識データ生成部は、撮影回数に基づいて登録人物に優先順位を設定することが好ましい。さらに、記録部の容量が不足する場合には、顔認識データ生成部は優先順位が相対的に低く設定された登録人物に関するデータを消去することが好ましい。

本発明の第２の形態では、撮像素子と、操作部と、顔検出部と、制御部と、顔画像生成部と、記録部とを備えた電子カメラを提供する。撮像素子は、被写体の結像を光電変換して画像信号を生成する。操作部は、レリーズを指示する入力を受け付ける。顔検出部は、レリーズの待機時に画像信号に基づいて撮影画面内の顔領域を検出する。制御部は、レリーズに応じて被写体を撮影し、画像信号から撮影画像データを生成する。顔画像生成部は、顔領域が検出されている状態でレリーズがあった場合に、顔領域の画像を切り出して顔画像データを生成する。記録部は、顔画像データを記録する。

本発明の電子カメラによれば、顔領域が検出されている状態でレリーズがあった場合には、撮影画像データとともに、撮影された人物の顔認識データが生成される。

図１は本実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、撮影光学系１１と、第１レンズ駆動部１２と、揺動センサ部１３と、像ぶれ補正レンズ１４と、第２レンズ駆動部１５と、撮像素子１６と、アナログ信号処理部１７と、Ａ／Ｄ変換部１８と、内蔵メモリ１９と、画像処理部２０と、カードＩ／Ｆ２１と、入出力Ｉ／Ｆ２２と、操作部材２３および液晶モニタ２４と、閃光発光部２５と、ＣＰＵ２６と、顔登録メモリ２７およびデータバス２８とを有している。なお、内蔵メモリ１９、画像処理部２０、カードＩ／Ｆ２１、入出力Ｉ／Ｆ２２およびＣＰＵ２６は、データバス２８を介して接続されている。

撮影光学系１１は、ズームレンズ１１ａと、合焦位置調節用のフォーカシングレンズ１１ｂとを含む複数のレンズ群で構成されている。撮影光学系１１を構成する各レンズは、第１レンズ駆動部１２によって光軸方向に駆動調整される。
揺動センサ部１３は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。揺動センサ部１３は電子カメラの揺れを示すカメラ揺動データをＣＰＵ２６に出力する。このカメラ揺動データは、像ぶれ補正レンズ１４の移動量の演算に使用される。

像ぶれ補正レンズ１４は光軸直角方向に揺動可能に構成されている。第２レンズ駆動部１５は、像ぶれ補正レンズ１４を縦方向に揺動させる縦揺動手段と、像ぶれ補正レンズ１４を横方向に揺動させる横揺動手段とで構成される。この第２レンズ駆動部１５は、ＣＰＵ２６が演算した像ぶれ補正レンズ１４の移動量に基づいて、像ぶれ補正レンズ１４を揺動させてぶれ補正を実行する。

撮像素子１６は、撮影光学系１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。この撮像素子１６は、非レリーズ時（撮影待機時）にも所定間隔毎に被写体を露光し、間引き読み出しによるアナログ画像信号（スルー画像信号）を出力する。スルー画像信号は、後述のＡＦ演算、ＡＥ演算および顔検出動作や、ファインダ用画像の生成などに使用される。

アナログ信号処理部１７は、相関二重サンプリングを行うＣＤＳ回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。Ａ／Ｄ変換部１８は撮像素子１６のアナログ画像信号をデジタル画像信号に変換する。内蔵メモリ１９は、画像処理部２０での画像処理の前工程および後工程でデータを一時的に保存する。なお、内蔵メモリ１９には後述の撮影画像データを記録可能な記録領域を設けることもできる。

画像処理部２０はデジタル画像信号に所定の画像処理を施す。この画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。また、画像処理部２０はスルー画像信号に基づいてスルー画像データを順次生成する。このスルー画像データの解像度は、撮影画像データの解像度よりも低く設定される。スルー画像データは、ＣＰＵ２６による顔認識処理に使用されるとともに、液晶モニタ２４の表示画像（プレビュー画像）としても使用される。さらに、画像処理部２０は撮影画像データの圧縮処理なども実行する。さらにまた、画像処理部２０は、撮影画像の一部を切り出して解像度を変換する電子ズーム処理を行うことも可能である。

また、画像処理部２０は、ＣＰＵ２６の指示により各種表示（顔認識時の枠表示など）のビデオデータを生成し、上記のビデオデータをスルー画像データに重畳させて液晶モニタ２４に出力する。これによって、プレビュー画像には上記の各種表示が合成される。
カードＩ／Ｆ２１には、記録媒体２９を接続するためのコネクタが形成されている。記録媒体２９は公知の半導体メモリなどで構成される。そして、カードＩ／Ｆ２１は、記録媒体２９に対する撮影画像データの書き込み／読み込みを制御する。

入出力Ｉ／Ｆ２２には、操作部材２３および液晶モニタ２４が接続されている。操作部材２３は入力釦やレリーズ釦などを備えている。操作部材２３の入力釦は、例えば、電子カメラの撮影モード（通常撮影モード、再生モード、顔登録モード、顔認識撮影モード等）の切り換え入力などを受け付ける。また、操作部材２３のレリーズ釦は、半押しによるＡＦ動作の指示入力と、全押しによるレリーズ入力とを受け付ける。

一方、液晶モニタ２４は主として電子カメラの背面部分に配置される。この液晶モニタ２４には、撮影画像データの再生画像や電子カメラの各種設定を変更するための設定画面などが表示される。上記の設定画面には後述の顔認識データを編集するための編集画面が含まれる。また、撮影モードでの液晶モニタ２４には上記のプレビュー画像を動画表示することが可能である。したがって、ユーザーは、液晶モニタ２４のプレビュー画像を確認しつつ被写体のフレーミングを行うことができる。

さらに、入出力Ｉ／Ｆ２２には外部接続端子が形成されている。そして、入出力Ｉ／Ｆ２２は、外部接続端子を介して接続されたコンピュータなどとのデータ送受信をＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などのシリアル通信規格に準拠して制御する。また、入出力Ｉ／Ｆ２２の外部接続端子には、外部との無線通信を行うための拡張機器である通信ユニット３０を接続することも可能である。

閃光発光部２５は、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光タイミングや光量を調整する発光制御回路などから構成されている。
ＣＰＵ２６は、不図示のＲＯＭに格納されたシーケンスプログラムに従って電子カメラの各部動作を制御する。例えば、ＣＰＵ２６はスルー画像信号に基づいて公知のコントラスト方式のＡＦ（オートフォーカス）演算や、公知のＡＥ（自動露出）演算などを実行する。また、ＣＰＵ２６は、上記のカメラ揺動データに基づいて像ぶれ補正レンズ１４の移動量を演算する。

さらに、ＣＰＵ２６は顔検出部３１、顔認識部３２として機能する。顔検出部３１は、スルー画像データまたは撮影画像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部３１は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。

顔認識部３２は、顔登録モードでは、検出した顔の特徴点に基づいて顔認識データを生成する。例えば、顔認識部３２は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから登録人物の顔認識データを生成する。
また、顔認識部３２は、顔認識撮影モードでは、撮影画面内の人物の顔が顔認識データの登録人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部３２は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部３２は、上記の演算結果と顔認識データとを比較して所定の登録人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部３２は上記の相似度が閾値を上回る場合に撮影人物が所定の登録人物に合致すると判定する。

なお、ＣＰＵ２６は、顔認識処理の結果に基づいて、撮影条件または画像処理の設定変更や、撮像素子１６へのレリーズ指示などを実行することが可能である。
顔登録メモリ２７には、ＣＰＵ２６の顔認識部３２が生成した顔認識データが記録される。この顔登録メモリ２７には登録人物ごとにグループフォルダが生成されている。グループフォルダには、各登録人物の顔認識データがそれぞれ記録されている。すなわち、顔登録メモリ２７の顔認識データは、グループフォルダによって登録人物ごとにグループ化されている。例えば、グループフォルダには、同一の登録人物に関して顔の向き、眼鏡の有無および撮影条件などが異なる複数の顔認識データを記録することが可能である。そして、登録人物を指定することで、ＣＰＵ２６はグループフォルダ内の顔認識データを顔登録メモリ２７から一括して読み出すことが可能となっている。

また、顔登録メモリ２７には、登録人物の名称および顔認識時の処理設定のデータが記録されている。上記の登録人物の名称および顔認識時の処理設定は、各登録人物のグループフォルダにそれぞれ対応付けされている。
ここで、顔認識時の処理設定には、登録人物が認識された場合に適用される電子カメラの各種制御の設定が記録されている。例えば、顔認識時の処理設定には、（１）撮影時の撮影条件の設定、（２）撮影画像データの画像処理の設定、（３）撮影画像データの記録先の設定、（４）撮影画像データの印刷指定の設定、（５）撮影画像データの送信設定、などが含まれる。

上記（１）の撮影条件の設定には、各登録人物を撮影するときの露出補正値や、被写界深度の設定（浅め、標準の選択）などが含まれる。また、登録人物の検出の際にＣＰＵ２６が自動的に撮影を行う設定も可能である。上記（２）の画像処理の設定には、撮影画像データのソフトフォーカス処理の有無の設定、エッジ強調の抑制の設定などが含まれる。
上記（３）の記録先の設定では、撮影画像データの記録先となる記録媒体２９内の記録フォルダのディレクトリパスを各登録人物ごとに指定できる。すなわち、ＣＰＵ２６は顔登録メモリ２７のデータを参照し、各登録人物ごとに異なる記録フォルダに撮影画像データを記録することが可能となる。

上記（４）の印刷指定の設定では、例えば、ＤＰＯＦ（Digital Print Order Format）などの規格による撮影画像データの印刷指定の有無を各登録人物ごとに指定できる。なお、上記（５）の送信設定では、登録人物の撮影時における撮影画像データの送信の要否と、送信先のアドレス情報（電子メールアドレス）とを指定できる。
また、顔登録メモリ２７には、顔登録画像、顔認識データの登録時期および顔認識データの取得時の撮影条件のデータが記録されている。上記の顔登録画像、顔認識データの登録時期および顔認識データの取得時の撮影条件のデータは、グループフォルダ内の個々の顔認識データにそれぞれ対応付けされている。

上記の顔登録画像は、顔認識データ取得時の撮影画像データであって、所定の画素サイズにリサイズされている。そして、顔登録画像は上記の編集画面で液晶モニタ２４に表示される。すなわち、顔登録画像は、登録人物または顔認識データの識別性、検索性を高めるインデックス画像として機能する。例えば、顔登録画像によって、ユーザーは誰のどのような画像（顔正面、横向きなど）から顔認識データが生成されたかを編集画面で確認することも可能となる。

顔認識データの登録時期は、その顔認識データの元となる顔登録画像データの撮影日時のデータである。また、顔認識データの取得時の撮影条件は、顔登録画像データの撮影条件のデータである。上記の撮影条件には、例えば、撮影光学系１１の焦点距離のデータや、撮影時のホワイトバランスおよび露出条件や、撮影時のフラッシュ発光の有無などが含まれる。なお、顔認識データの登録時期および顔認識データの取得時の撮影条件のデータは、ＣＰＵ２６が顔認識処理で使用する顔認識データを絞り込む場合の判定にも使用される。

また、顔登録メモリ２７には、各登録人物ごとの撮影回数を示す撮影回数データも記録される。この撮影回数データの撮影回数は、ＣＰＵ２６が顔認識撮影モードでの顔認識の結果に応じてインクリメントする。なお、上記の撮影回数は、ユーザーが編集画面などで手動で入力するようにしてもよい。
以下、図２および図３の流れ図を参照しつつ、本実施形態の電子カメラでの撮影動作の一例を説明する。

ステップ１０１：まず、ユーザーはＣＰＵ２６に対して電子カメラの設定入力を行う。
例えば、電子カメラが通常撮影モードやポートレート撮影モードに設定されている状態において、ユーザーは操作部材２３によりモード選択画面を呼び出す操作を行う。これにより、ＣＰＵ２６はモード選択画面（図４参照）を液晶モニタ２４に表示する。
そして、ユーザーは操作部材２３でモード選択画面上の選択枠を操作し、ＣＰＵ２６に対して顔認識撮影モードの起動を指示する。これにより、ＣＰＵ２６は顔認識撮影モードの一連の動作を開始する。

また、上記のモード選択画面では、ユーザーは選択枠で顔登録オン、顔登録オフの項目を選択してＣＰＵ２６に入力できる。顔登録オンを指定入力した場合には、ＣＰＵ２６は撮影時に撮影画像データと顔認識データとを生成する。顔登録オフを指定入力した場合には、ＣＰＵ２６は撮影時に撮影画像データのみを生成する。なお、本実施形態では顔登録オンの項目を入力した場合を説明するものとする。

ステップ１０２：ＣＰＵ２６は、登録人物の選択画面（図５参照）を液晶モニタ２４に表示する。そして、ＣＰＵ２６は、顔認識対象の登録人物（撮影時に顔認識を行う登録人物）の指定入力をユーザーから受け付ける。なお、顔認識対象の登録人物を撮影前に予めユーザーがＣＰＵ２６に指定入力しておくことも可能である。
ここで、登録人物の選択画面では、ＣＰＵ２６は１または２以上の登録人物の指定を受け付けることができる。例えば、ＣＰＵ２６は顔登録メモリ２７の登録人物の全指定を受け付けることもできる。また、グループフォルダを所定のカテゴリ（例えば、家族、サークルなど）で予めリンクするとともに、ユーザーが選択画面でカテゴリを指定入力することで、ＣＰＵ２６にリンクされた登録人物の一括指定を入力することもできる。

ステップ１０３：ＣＰＵ２６は、撮像素子１６を駆動させてスルー画像信号の取得を開始する。撮像素子１６は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部２０はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ２４にはスルー画像データに基づいてプレビュー画像が動画表示される。
ステップ１０４：ＣＰＵ２６はレリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ側）にはＳ１０５に移行する。一方、レリーズ釦が半押しされていない場合（ＮＯ側）には、ＣＰＵ２６はレリーズ釦の半押し操作を待機する。

ステップ１０５：ＣＰＵ２６の顔検出部３１は、スルー画像データに顔検出処理を施して撮影画面内の顔領域を検出する。顔検出部３１が撮影画面内で人物の顔を検出した場合、画像処理部２０はプレビュー画像の顔領域の位置に矩形の枠を合成表示する（図６参照）。これにより、ユーザーはプレビュー画像で顔検出の有無を確認することができる。
ステップ１０６：ＣＰＵ２６はＳ１０５で顔領域が検出されたか否かを判定する。顔領域が検出された場合（ＹＥＳ側）にはＳ１０７に移行する。一方、顔領域が検出されない場合（ＮＯ側）にはＳ１２２に移行する。

ステップ１０７：ＣＰＵ２６の顔認識部３２は、検出した顔領域（Ｓ１０５）に対して顔認識処理を実行する。そして、顔認識部３２は、登録人物の顔（Ｓ１０２）が含まれているか否かを判定する。登録人物の顔が含まれている場合（ＹＥＳ側）にはＳ１０８に移行する。一方、登録人物の顔が含まれない場合（ＮＯ側）にはＳ１１０に移行する。
ステップ１０８：ＣＰＵ２６は登録人物の顔の位置を基準としてＡＦ演算およびＡＥ演算を実行する。なお、登録人物が複数検出されている場合、ＣＰＵ２６は所定のアルゴリズムで登録人物の優先順位を決定し、優先順位が最も高い登録人物の顔に基づいて上記演算を実行する。

ステップ１０９：ＣＰＵ２６は、検出された登録人物に応じて、電子カメラの撮影条件の設定や画像処理の設定などを変更する。その後、Ｓ１１１に移行する。なお、顔認識時の処理設定で登録人物の自動撮影が設定されている場合には、ＣＰＵ２６はＳ１１２に移行して登録人物を自動的に撮影する。
ここで、上記の設定変更は、その登録人物に対応する顔認識時の処理設定のデータに基づいて行われる。登録人物が複数検出されている場合には、ＣＰＵ２６は上記のＳ１０７と同様に優先順位が最も高い登録人物のデータを選択する。

ステップ１１０：ＣＰＵ２６は、検出した顔領域の位置を基準としてＡＦ演算およびＡＥ演算を実行する。なお、顔領域が複数検出されている場合、ＣＰＵ２６は撮影画面の中央の顔領域または最も至近側の顔領域を基準として上記演算を実行する。
ステップ１１１：ＣＰＵ２６はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ１１２に移行する。一方、レリーズ釦が全押しされていない場合（ＮＯ側）には、ＣＰＵ２６はレリーズ釦の全押し操作を待機する。

ステップ１１２：ＣＰＵ２６は撮像素子１６を駆動させて被写体像を撮影する。その後、画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。この撮影画像データは最終的に記録媒体２９に記録される。
ここで、登録人物の顔が撮影されている場合、画像処理部２０はＳ１０９で設定された画像処理を撮影画像データに施す。また、ＣＰＵ２６は、撮影された登録人物に対応する撮影回数データのカウントをインクリメントする。

ステップ１１３：ＣＰＵ２６は、レリーズに応じて、Ｓ１０５で検出されている顔の顔認識データを生成する。ここで、複数の顔領域が検出されている場合には、ＣＰＵ２６は撮影画面内の一部の顔領域のみから顔認識データを生成してもよく、あるいは全部の顔領域から顔認識データを生成するようにしてもよい。
複数の顔認識データを生成する場合には、ＣＰＵ２６は、所定のアルゴリズムで処理対象となる顔領域を決定して顔認識データを逐次生成する。上記の処理対象を決定するアルゴリズムの一例として、ＣＰＵ２６は登録人物を優先して顔認識データを生成するようにしてもよい。登録人物が複数撮影されている場合には、ＣＰＵ２６は優先順位の高い人物から顔認識データを生成するようにしてもよい。

以下、Ｓ１１３での顔認識データの生成工程を具体的に述べる。まず、第１に、ＣＰＵ２６は画像処理部２０に対して顔登録画像データの生成を指示する。画像処理部２０は、レリーズ時の画像信号から撮影画面の全体画像を生成するとともに、この全体画像から顔の部分を切り出して顔登録画像データを生成する。顔登録画像は、全体画像の顔領域を例えば８０×８０画素程度のサイズで切り出して生成される。かかる顔画像データの画像に対しては、解像度変換による変倍処理を施さないようにするのが好ましい。なお、全体画像に対応する画像データは、上記の撮影画像データでもよく、あるいは撮影画像データの生成プロセスにおける中間工程のデータ（例えば圧縮処理前の画像データなど）でもよい。

第２に、ＣＰＵ２６の顔検出部３１は、各々の顔登録画像データの画像ごとに特徴点抽出処理を施して、各々の顔登録画像データに対応する顔の特徴点を抽出する。そして、ＣＰＵ２６の顔認識部３２は、顔登録画像データから抽出した顔の特徴点に基づいて顔認識データを生成する。なお、その後に画像処理部２０は、解像度変換で顔登録画像データの顔画像を所定のサイズにリサイズしてインデックス画像データを生成する。

ステップ１１４：ＣＰＵ２６は、顔登録メモリの記録容量が不足しているか（すなわち、顔登録メモリに現在処理中の顔認識データを記録不能か）否かを判定する。記録容量が不足する場合（ＹＥＳ側）にはＳ１１５に移行する。一方、記録容量が十分な場合（ＮＯ側）にはＳ１１８に移行する。
ステップ１１５：ＣＰＵ２６は、現在処理中の顔認識データの記録に関する選択画面を液晶モニタ２４に表示する。この選択画面では、現在処理中の顔認識データを記録するか否かの入力をユーザーに促す表示が行われる。

図７に上記の選択表示の一例を示す。この選択画面での表示処理、動作は、ＣＰＵ２６がシーケンスプログラムに基づいて実行する。図７の選択画面には、現在の処理対象の人物を示す表示と、他のデータを消去してこの人物の顔認識データを記録しますか等のメッセージと、メッセージに対応する選択表示（はい、いいえ）が画面上に表示される。図７では、処理対象の人物の表示として、全体画像において処理対象の顔領域に矩形枠を重畳表示する。なお、処理対象の人物の顔画像を表示してもよい（図示を省略する）。

そして、操作部材２３によってユーザーが上記の選択表示の一方を選択枠で指定入力することで、その選択結果がＣＰＵ２６に入力される。
ステップ１１６：ＣＰＵ２６は、Ｓ１１５の選択画面の選択表示で、はいが指定入力されたか否かを判定する。はいが指定入力された場合（ＹＥＳ側）にはＳ１１７に移行する。いいえが指定入力された場合（ＮＯ側）にはＳ１２１に移行する。なお、この場合に現在処理中の顔領域は、以後処理済みと同様に扱われることとなる。

ステップ１１７：ＣＰＵ２６は、顔登録メモリ２７のデータ群のうちで、優先順位が最も低く設定されている登録人物のデータを上書き可能な状態に変更する。これにより、現在処理中の顔認識データ等を記録するための容量が顔登録メモリ２７上に確保される。
ここで、ＣＰＵ２６は、ある登録人物の顔認識データ等をすべて消去してもよい。あるいは、ＣＰＵ２６は、ある登録人物の顔認識データのうちで比較的に重要度の低いデータ（例えば特徴点の抽出数が最も少ない顔認識データや、撮影日時が最も古い顔認識データなど）のみを順次消去するようにしてもよい。

ステップ１１８：ＣＰＵ２６は、Ｓ１０７の判定結果に基づいて、処理対象の顔領域が未登録の人物のものか否かを判定する。未登録の人物の場合（ＹＥＳ側）にはＳ１１９に移行する。一方、既登録の人物の場合（ＮＯ側）にはＳ１２０に移行する。
ステップ１１９：ＣＰＵ２６は、現在処理中の顔認識データを記録するために、新規のグループフォルダを顔登録メモリ２７に生成する。また、ＣＰＵ２６は、新規のグループフォルダに対応する撮影回数データのカウントをインクリメントし、この段階で未登録の人物の撮影回数をカウントする。

ステップ１２０：ＣＰＵ２６は、顔登録メモリ２７において撮影された人物に対応するグループフォルダに、現在処理中の顔認識データおよびその関連データを記録する。ここで、顔認識データの関連データには、上記のインデックス画像データと、レリーズ時の撮影条件のデータと、顔認識データの登録時期を示す撮影日時データとが含まれる。各々の関連データは、ＣＰＵ２６によって顔認識データに対応付けされた状態で記録される。

ステップ１２１：ＣＰＵ２６は、顔認識データを生成する顔領域が残っているか否かを判定する。顔認識データを生成する顔領域が残っている場合（ＹＥＳ側）には、ＣＰＵ２６は、次に処理対象となる顔領域を決定するとともに、Ｓ１１３に戻って上記動作を繰り返す。一方、顔認識データを生成する顔領域が他にない場合（ＮＯ側）には、ＣＰＵ２６は１フレーム分の撮影動作を終了して撮影待機状態に移行する。なお、ＣＰＵ２６は、ユーザーの操作に応じてＳ１０４に戻って撮影を続行してもよい。

ステップ１２２：この場合には、ＣＰＵ２６は、顔検出を行わない通常撮影モードの場合と同様のアルゴリズムでＡＦ演算およびＡＥ演算を実行する。そして、ＣＰＵ２６はレリーズ釦の全押しに応じて被写体を撮影する。その後、画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。勿論、この場合には顔認識データが生成されることはない。

以下、本実施形態の顔認識撮影モードの作用効果を説明する。上記の顔認識撮影モードでは、電子カメラはレリーズに応じて撮影画像データと顔認識データとを同時に生成する（Ｓ１１２、Ｓ１１３）。したがって、ユーザーが意識的に顔登録のためだけの撮影を行わなくとも、通常のスナップ写真などの撮影時に顔認識データが生成される。そのため、顔登録メモリ２７に顔認識データを登録する作業が非常に容易となる。

また、上記の顔認識撮影モードでは、電子カメラが顔認識データに基づいて撮影人物の顔認識を行なう（Ｓ１０７）。そして、認識対象の顔が検出された場合には、その登録人物に対応する設定で撮影時の各種処理などが行われる（Ｓ１０８、Ｓ１０９、Ｓ１１２）。そのため、登録人物の撮影時において電子カメラがユーザーの意図を反映させた処理を自動的に行うので、電子カメラを操作するユーザーの利便性が著しく向上する。

（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではなく、例えば以下のような形態であってもよい。
（１）上記実施形態では電子カメラが撮影時に顔認識データを生成する例を説明した。しかし、ＣＰＵ２６は、撮影時には顔登録画像データを記録するにとどめ、撮影後にコンピュータによる後処理で顔登録画像データから顔認識データを生成してもよい。

上記の場合には、ＣＰＵ２６は、インデックス画像データや、撮影条件および撮影日時などを顔画像データに対応付けして記録してもよい。また、上記の顔画像データについても、ＣＰＵは、同一の撮影人物から生成した複数の顔画像データを同一のフォルダ等にグループ化して記録するのが好ましい。
（２）上記実施形態において、ＣＰＵ２６は、顔登録画像データを生成することなく、レリーズ前に顔検出で抽出した特徴点に基づいてレリーズとともに顔認識データを生成してもよい。

（３）上記実施形態において、ＣＰＵ２６は、顔認識データを生成するときに現在の処理対象の人物を示す表示を液晶モニタ２４に表示するようにしてもよい。また、顔認識データを作成するときには、ＣＰＵ２６は処理対象の人物の顔認識データの要否をユーザーに確認する選択表示を液晶モニタ２４に毎回表示するようにしてもよい。
（４）上記実施形態において顔登録メモリの記録容量が不足する場合、ＣＰＵ２６は顔認識データの生成を中止するとともに、液晶モニタ２４にＮＧ表示を行うようにしてもよい。

（５）上記実施形態では、電子カメラが撮影前に顔検出処理および顔認識処理を実行する例を説明した。しかし、本発明は、撮影前に顔検出処理を行うが顔認識処理を行わない撮影モードにおいても同様に適用できる。
（６）上記実施形態における登録時期のデータは、元となる顔画像が概ねいつ頃撮影されたかを示すもので足りる。したがって、ＣＰＵは、登録時期に関して撮影年、撮影月、撮影日のいずれかで記録を打ち切って、詳細な時刻などの記録を省略するようにしてもよい。

（７）上記実施形態における顔認識処理では、顔認識部３２はグループ化された顔認識データのうちから判定に使用する顔認識データを所定条件で絞り込むようにしてもよい。例えば、顔認識部３２は、顔認識データの登録時期に基づいて撮影日時よりも一定期間以上古い顔認識データを除外してもよい。同様に、顔認識部３２は顔認識データの取得時の撮影条件に基づいて今回の撮影条件と大きく異なる撮影条件で生成された顔認識データを除外してもよい。

（８）本発明の電子カメラは実施形態の電子カメラの構成と必ずしも一致する必要はない。例えば、内蔵メモリ１９と顔登録メモリ２７とが共通のメモリで構成されていてもよい。顔登録メモリ２７がデータバス２８を介してＣＰＵ２６に接続されていてもよい。また、揺動センサ部１３、像ぶれ補正レンズ１４および第２レンズ駆動部１５からなる光学的なぶれ補正機構が省略されていてもよい。さらに、電子カメラ内に通信ユニット３０が内蔵されていてもよい。

（９）ＣＰＵ２６は顔登録メモリ２７内のデータを記録媒体２９に記録して、顔登録メモリ２７のバックアップを可能としてもよい。また、ＣＰＵ２６は、予め他の電子カメラで生成された顔認識データ等を記録媒体２９から取得し、電子カメラ間で顔登録メモリ２７のデータを共用できるようにしてもよい。

本実施形態の電子カメラの構成を示すブロック図 本実施形態の電子カメラでの撮影動作を示す流れ図 本実施形態の電子カメラでの撮影動作を示す流れ図 モード選択画面の一例を示す図 登録人物の選択画面の一例を示す図 顔検出時におけるプレビュー画像の表示例を示す図 顔認識データ生成時の選択画面の一例を示す図

符号の説明

１６…撮像素子、２０…画像処理部、２３…操作部材、２６…ＣＰＵ、２７…顔登録メモリ、３１…顔検出部、３２…顔認識部

Claims (9)

1. 被写体の結像を光電変換して画像信号を生成する撮像素子と、
   レリーズを指示する入力を受け付ける操作部と、
   前記レリーズの待機時に前記画像信号に基づいて撮影画面内の顔領域を検出する顔検出部と、
   前記レリーズに応じて前記被写体を撮影し、前記画像信号から撮影画像データを生成する制御部と、
   前記顔領域が検出されている状態で前記レリーズがあった場合に、前記画像信号に基づいて前記顔領域に対応する人物の顔の特徴点を抽出し、撮影された人物の顔認識データを前記特徴点に基づいて生成する顔認識データ生成部と、
   前記顔認識データを記録する記録部と、
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記顔認識データ生成部は、前記レリーズ時の撮影条件を示す撮影条件データを生成するとともに、該撮影条件データを前記顔認識データに対応付けて記録することを特徴とする電子カメラ。
3. 請求項１に記載の電子カメラにおいて、
   前記顔認識データ生成部は、前記顔認識データの取得時期を示す取得時期データを生成するとともに、該取得時期データを前記顔認識データに対応付けて記録することを特徴とする電子カメラ。
4. 請求項１に記載の電子カメラにおいて、
   前記顔認識データ生成部は、前記顔認識データに対応する顔を示すインデックス画像データを生成するとともに、該インデックス画像データを前記顔認識データに対応付けて記録することを特徴とする電子カメラ。
5. 請求項１に記載の電子カメラにおいて、
   前記顔検出部の出力および前記顔認識データに基づいて、前記顔領域の人物が前記顔認識データに対応する登録人物か否かを判定する顔認識部をさらに備えることを特徴とする電子カメラ。
6. 請求項５に記載の電子カメラにおいて、
   前記顔認識データ生成部は、前記判定の結果に基づいて同一の人物から生成された複数の前記顔認識データをグループ化して記録することを特徴とする電子カメラ。
7. 請求項５に記載の電子カメラにおいて、
   前記記録部は、各々の前記登録人物の撮影回数を示す撮影回数データをさらに記録し、
   前記顔認識データ生成部は、前記撮影回数に基づいて前記登録人物に優先順位を設定することを特徴とする電子カメラ。
8. 請求項７に記載の電子カメラにおいて、
   前記記録部の容量が不足する場合には、前記顔認識データ生成部は前記優先順位が相対的に低く設定された前記登録人物に関するデータを消去することを特徴とする電子カメラ。
9. 被写体の結像を光電変換して画像信号を生成する撮像素子と、
   レリーズを指示する入力を受け付ける操作部と、
   前記レリーズの待機時に前記画像信号に基づいて撮影画面内の顔領域を検出する顔検出部と、
   前記レリーズに応じて前記被写体を撮影し、前記画像信号から撮影画像データを生成する制御部と、
   前記顔領域が検出されている状態で前記レリーズがあった場合に、前記顔領域の画像を切り出して顔画像データを生成する顔画像生成部と、
   前記顔画像データを記録する記録部と、
   を備えることを特徴とする電子カメラ。
   
   

Images