JP4702418B2 - 撮影装置、画像領域の存否判定方法及びプログラム - Google Patents

Description

本発明は、撮影装置、被写体の画像領域の存否判定方法、及び、プログラムに関する。

撮影対象の人物の顔を基準に露出制御を行うために、デジタルカメラなどにおいて、撮像素子上に結像している画像の中から、人間の顔を検出する装置を備えることが行われている。例えば、特許文献１には、スルー画像（ライブビュー画像）を解析することにより、人間の顔検出を行い、その顔に適した露出制御を行う撮影装置及び撮影方法が記載されている。また、特許文献２には、フルサイズ画像から、人間の顔検出を行い、さらにその表情の評価を算出する撮像装置及び撮影方法が記載されている。

特開２００８−２８９６０号公報 特開２００８−４２３１９号公報

しかし、スルー画像を用いる検出装置は、処理時間の短縮が期待できるが、精度の高い顔検出を行うことができない。一方、フルサイズ画像を用いる場合は、高い精度の顔検出が期待できるが、検出対象のデータ量が多いため処理時間が増大するという問題がある。

本発明は、このような背景に鑑みてなされたものであり、被写体に対応する画像領域について正確にその存否を判定するとともに、その判定処理にかかる時間を短縮させることを目的とする。

本発明の請求項１に記載の発明は、撮像処理により撮像画像を得る撮像手段と、この撮像手段によって得られた撮像画像から解像度を落とした第１の画像を作成する画像作成手段と、この画像作成手段によって作成された第１の画像から、被写体に対応する画像領域を探索する探索手段と、この探索手段による探索により前記被写体に対応する画像領域を検出したか否かを判定する第１の判定手段と、この第１の判定手段により前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第１の制御手段と、前記撮像画像における前記第１の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第２の判定手段と、この第２の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第２の制御手段と、前記第１の画像において、前記探索手段の探索対象となる画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第１の評価値算出手段と、前記撮像画像における前記特定された位置に対応する画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第２の評価値算出手段と、前記第１の判定手段による判定の結果、前記被写体に対応する画像領域を検出したと判定した場合、前記第１の評価値算出手段が算出した評価値が前記第１の閾値より大きい第３の閾値以上であるか否かを判定する第３の判定手段を備え、前記第１の判定手段は、前記第１の画像から前記第１の評価値算出手段が算出した評価値が第１の閾値以上の画像領域を検出したか否かに基づいて、前記被写体に対応する画像領域を検出したか否かを判定し、前記第２の判定手段は、前記第２の評価値手段が算出した評価値が第２の閾値以上であるか否かに基づいて、前記特定された位置に対応する画像領域が前記被写体に対応する画像領域であるか否かを判定するとともに、前記第２の判定手段による判定以前に前記第３の判定手段によって肯定と判定した場合、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御することを特徴とする。

また、請求項２に記載の発明は、上記請求項１に記載の発明において、前記第１の評価値算出手段及び前記第２の評価値算出手段は、共に同じ方法で評価値を算出することを特徴とする。

また、請求項３に記載の発明は、上記請求項２に記載の発明において、前記第１の閾値は前記第２の閾値よりも小さい値であることを特徴とする。

また、請求項４に記載の発明は、上記請求項２又は３に記載の発明において、前記被写体に対応する画像領域を基準画像として記憶する基準画像記憶手段を更に備え、前記第１の評価値算出手段及び前記第２の評価値算出手段は、前記基準画像記憶手段に記憶されている基準画像と前記所定の画像領域及び前記特定された位置に対応する画像領域との相関度を評価値として算出することを特徴とする。

また、請求項５に記載の発明は、上記請求項１乃至４の何れか１項に記載の発明において、前記第１の評価値算出手段及び前記第２の評価値算出手段は、互いに異なる方法で評価値を算出することを特徴とする。

また、請求項６に記載の発明は、上記請求項１乃至５の何れか１項に記載の発明において、前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第１の画像を順次作成し、前記第２の判定手段により否と判定した場合、前記第１の制御手段による制御により特定された位置の画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第３の制御手段と、を更に備えることを特徴とする。

また、請求項７に記載の発明は、上記請求項６に記載の発明において、前記第３の制御手段による制御の後に順次作成される第１の画像における前記特定された位置の画像領域を、前記探索手段による探索対象から除外するよう制御する第４の制御手段を更に備えることを特徴とする。

また、請求項８に記載の発明は、上記請求項６に記載の発明において、前記第３の制御手段による制御の後、前記第１の制御手段による制御により特定された位置と前記第３の制御手段による制御により特定された位置とが略一致するか否かを判定する第４の判定手段と、前記第２の判定手段による判定以前に前記第４の判定手段により略一致すると判定した場合、前記撮像画像の前記第１の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第５の制御手段と、を更に備えることを特徴とする。

また、請求項９に記載の発明は、上記請求項１乃至５の何れか１項に記載の発明において、前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第１の画像を順次作成し、前記第２の判定手段により肯定と判定された場合、前記第１の制御手段による制御により特定された位置に対応する、前記撮像画像における画像領域の位置を特定するよう制御する第６の制御手段と、この第６の制御手段による制御の後に順次作成される第１の画像における前記第１の制御手段による制御により特定された位置と前記第６の制御手段による制御により特定された位置とが略一致するか否かを判定する第５の判定手段と、前記第２の判定手段による判定以前に前記第５の判定手段により略一致すると判定した場合、前記撮像画像の前記第１の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域であるとみなすように制御する第７の制御手段と、を更に備えることを特徴とする。

また、請求項１０に記載の発明は、上記請求項１乃至９の何れか１項に記載の発明において、前記被写体に対応する画像領域とは人物の顔の画像領域であり、前記第２の制御手段による制御により存在するとみなされた画像領域における表情と、所定の表情との相関度を表情評価値として算出する表情評価値算出手段を更に備えることを特徴とする。

また、請求項１１に記載の発明は、上記請求項１０に記載の発明において、前記表情評価値算出手段により算出した表情評価値をユーザに報知する表情評価値報知手段を更に備えることを特徴とする。

また、請求項１２に記載の発明は、上記請求項１０又は１１に記載の発明において、前記表情評価値算出手段により算出した表情評価値が所定の閾値以上か否かを判定する第６の判定手段と、この第６の判定手段により前記表情評価値が所定の閾値以上と判定すると、この画像領域を含む撮像画像を保存する保存手段を更に備えることを特徴とする。

また、請求項１３に記載の発明は、撮像部にて得られた撮像画像から解像度を落とした第１の画像を作成する画像作成ステップと、この画像作成ステップにて作成された第１の画像から、被写体に対応する画像領域を探索する探索ステップと、この探索手段での探索により前記被写体に対応する画像領域を検出したか否かを判定する第１の判定ステップと、この第１の判定ステップにて前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第１の制御ステップと、前記撮像画像における前記第１の制御ステップでの制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第２の判定ステップと、この第２の判定ステップにて肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第２の制御ステップと、前記第１の画像において、前記探索手段の探索対象となる画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第１の評価値算出ステップと、前記撮像画像における前記特定された位置に対応する画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第２の評価値算出ステップと、前記第１の判定ステップによる判定の結果、前記被写体に対応する画像領域を検出したと判定した場合、前記第１の評価値算出ステップが算出した評価値が前記第１の閾値より大きい第３の閾値以上であるか否かを判定する第３の判定ステップを含み、前記第１の判定ステップは、前記第１の画像から前記第１の評価値算出ステップが算出した評価値が第１の閾値以上の画像領域を検出したか否かに基づいて、前記被写体に対応する画像領域を検出したか否かを判定し、前記第２の判定ステップは、前記第２の評価値ステップが算出した評価値が第２の閾値以上であるか否かに基づいて、前記特定された位置に対応する画像領域が前記被写体に対応する画像領域であるか否かを判定するとともに、前記第２の判定ステップによる判定以前に前記第３の判定ステップによって肯定と判定した場合、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御することを特徴とする。

また、請求項１４に記載の発明は、画像領域を検出する検出部、及び、画像領域について判定する判定部を備える撮影装置が有するコンピュータを、撮像された画像から解像度を落とした第１の画像を作成する画像作成手段、前記検出部で前記被写体に対応する画像領域の検出処理を行わせることにより、前記画像作成手段によって作成された第１の画像から前記被写体に対応する画像領域を探索する探索手段、この探索手段での探索により前記検出部が前記被写体に対応する画像領域を検出したか否かを判定する第１の判定手段、この第１の判定手段によって前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像された画像に前記被写体には対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第１の制御手段、前記判定部で前記特定された位置の画像領域について判定処理を行わせることにより、前記撮像された画像における前記第１の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第２の判定手段、この第２の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第２の制御手段、前記第１の画像において、前記探索手段の探索対象となる画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第１の評価値算出手段、前記撮像画像における前記特定された位置に対応する画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第２の評価値算出手段、前記第１の判定手段による判定の結果、前記被写体に対応する画像領域を検出したと判定した場合、前記第１の評価値算出手段が算出した評価値が前記第１の閾値より大きい第３の閾値以上であるか否かを判定する第３の判定手段として機能させ、前記第１の判定手段は、前記第１の画像から前記第１の評価値算出手段が算出した評価値が第１の閾値以上の画像領域を検出したか否かに基づいて、前記被写体に対応する画像領域を検出したか否かを判定し、前記第２の判定手段は、前記第２の評価値手段が算出した評価値が第２の閾値以上であるか否かに基づいて、前記特定された位置に対応する画像領域が前記被写体に対応する画像領域であるか否かを判定するとともに、前記第２の判定手段による判定以前に前記第３の判定手段によって肯定と判定した場合、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御させることを特徴とする。

本発明によれば、被写体に対応する画像領域について正確にその存否を判定させることができるとともに、その判定処理にかかる時間を短縮させることができる。

以下、図面を参照しながら、本発明の実施形態を説明する。

図１は、実施形態に係るデジタルカメラ１の概念的な構成を示す図である。図１に示すように、デジタルカメラ１は、光学レンズ装置１０、ＣＭＯＳ１１、Ａ／Ｄ変換器１２、記憶部１３、顔検出部１４、顔判定部１５、表情認識部１６、表示部１７、制御部１８、外部メモリ１９及びプログラムメモリ１８１から構成される。

光学レンズ装置１０は、レンズ、絞り、焦点調整装置およびシャッタ装置等を備えて、被写体の画像をＣＭＯＳ１１上に結像する装置である。

ＣＭＯＳ１１は、約１００万個の画像検出素子を二次元マトリックス状に配列して、光学レンズ装置１０によって結像された画像を、画像信号に変換する装置である。また、ＣＭＯＳ１１が出力する画像信号は、ＣＭＯＳ１１上の画像検出素子とほぼ同数の画素から構成される。このＣＭＯＳ１１上の画像検出素子と同数の画素（つまり約１００万画素）からなる画像（信号）を、フルサイズ画像（信号）と呼ぶことにする。また、後述するように、表示部１７で表示できる解像度はフルサイズ画像に比べて低く、また、ライブビュー画像の更新処理速度を速くする必要もあるので、ＣＭＯＳ１１が出力し、後述のＡ／Ｄ変換器１２にてデジタル信号に変換されて記憶部１３に一時記憶された画像信号については制御部１８がその画素数を減じ、解像度を例えばＶＧＡクラスに落とした画像を生成し出力する。この解像度を落とした画像（信号）を本明細書ではライブビュー画像（信号）と呼ぶ。

Ａ／Ｄ変換器１２は、アナログ信号をデジタル信号に変換する回路であり、ＣＭＯＳ１１から出力された画像信号をデジタル信号に変換する。

記憶部１３は、画像信号を記憶する記憶装置である。

顔検出部１４は、制御部１８の指示によりライブビュー画像から、被写体の画像領域として人物の顔の画像（以下、顔画像という）が存在する画像領域（以下、顔画像領域という）を検出する装置である。

顔判定部１５は、制御部１８の指示によりフルサイズ画像において、顔検出部１４で検出された画像領域に対応する画像領域が顔画像領域か否かを判定する装置である。

表情認識部１６は、制御部１８の指示により抽出された顔画像が特定の表情に近いか否かを示す表情評価値を算出する。

表示部１７は、制御部１８の指示に応じてライブビュー画像等を表示する液晶表示装置である。

制御部１８は、デジタルカメラ１の動作を制御するコンピュータであり、プログラムメモリ１８１に書き込まれたプログラムに従って、顔検出部１４等を制御して、後述するＣＭＯＳ１１が出力する画像信号における顔画像の存否判定の処理を実行させる。

外部メモリ１９は、例えばデジタルカメラ本体に着脱自在なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。

以上のように構成されたデジタルカメラ１は、光学レンズ装置１０で撮像した被写体の画像をＣＭＯＳ１１で電気信号に変換し、その電気信号をＡ／Ｄ変換器１２でデジタル信号に変換し、記憶部１３に記憶する。また、光学レンズ装置１０で撮像した被写体の画像は解像度が落とされて表示部１７に表示され、ユーザ（撮影者）は、表示部１７に表示された画像を確認して、図示しないシャッタ装置を操作することによって、所望の画像だけを外部メモリ１９に保存することができる。

また、前述したように、表示部１７は、デジタルカメラ１に取り付けるために小型に構成され、そのため表示できる画素数も限られている。また、ＣＭＯＳ１１から出力される全ての画素を表示部１７に表示しようとすれば、その処理に時間を要するので、画像を実時間表示することが難しい。そこで、制御部１８では、ＣＭＯＳ１１から出力されるフルサイズ画像とは別に、フルサイズ画像から画素数を減じて、画素数の少ない（つまり、解像度が低い）ライブビュー画像を作成して、記憶部１３に出力する。

前述したように、デジタルカメラ１は、ユーザが表示部１７に表示された画像を確認して、シャッタ装置を手動で操作して撮影するが、被写体の人物が好ましい（微笑している）表情を見せたのを検出して、自動的に撮影（以下、自動撮影という）することもできる。例えば、図２に示すような、ライブビュー画像が表示部１７に表示されている時に、ユーザが自動撮影を選択すると、デジタルカメラ１は、おおよそ次のような処理を行う。

まず、図２に示したライブビュー画像について顔画像領域を探索し、その結果として顔検出部１４が、図３に示すように領域Ｒ３０、Ｒ３１、Ｒ３２を検出する。そして、このライブビュー画像における領域Ｒ３０、Ｒ３１、Ｒ３２の位置を特定する。この後、顔判定部１５はＣＭＯＳ１１上に結像しているフルサイズ画像から、特定されたＲ３０、Ｒ３１、Ｒ３２に相当する領域Ｐ３０、Ｐ３１、Ｐ３２（図４参照）を切り出して、これらの領域の画像が、顔画像か否かを詳細判定する。例えば、Ｐ３０、Ｐ３１の画像には、人物の顔が写っているから、顔判定部１５はこれらを顔画像であると判定し、Ｐ３２については解像度が低いライブビュー画像においては人物の顔画像と判定して検出されたものの、解像度を上げたフルサイズ画像において詳細に判定すると、彫刻であり人物の顔画像ではないと判定する。つまり、顔検出部１４は、顔画像である可能性が少しでも高い画像領域があれば、その画像領域を検出するため、Ｒ３２のように、詳細に見れば人物の顔画像でない画像領域を検出する。一方、顔判定部１５は、フルサイズ画像について高精度な判定を行うため、顔検出部１４が顔画像ではない画像領域を検出したとしても、顔判定部１５により、正確には顔画像ではないと判定し、結果として、このライブビュー画像におけるＲ３２、及び、このＲ３２に相当するフルサイズ画像の領域Ｐ３２には、人物の顔が存在しないとみなすよう制御する。

次に表情認識部１６は、顔判定部１５により、顔画像であると判定された顔画像Ｐ３０、Ｐ３１について、表情評価を行い、表情評価値を算出する。なお、表情評価値とは、検出した顔領域のそれぞれについて、「目をつぶっていないこと」および「笑顔であること」等を評価し、これら２つの評価値に基づいて、表情評価値を算出する。つまり、表情評価値とは、被写体の人物の表情の好ましさを示す指標であり、被写体の人物が笑顔であれば、その値は大きくなる。表情評価値を算出したら、デジタルカメラ１は、表示部１７に、顔画像の位置を示す枠Ｆ３０、Ｆ３１と、顔画像の表情評価値Ｖ３０、Ｖ３１を表示する（図５参照）。また、顔画像の表情評価値が所定の閾値より高ければ、ＣＭＯＳ１１に結像しているフルサイズ画像が、記憶部１３に記憶され、自動撮影が完了する。

以上の処理を、図６を参照しながら、詳細に説明する。なお、プログラムメモリ１８１に格納されたプログラムが読み出され、このプログラムに基づいて制御部１８がその処理を開始し、デジタルカメラ１を被写体に向けると、まず制御部１８は、ライブビュー画像の作成を所定の時間間隔（例えば、毎秒３０回〜６０回）で順次繰り返し行い、ＣＭＯＳ１１上に結像している画像から解像度を落とした画像をライブビュー画像として生成し、表示部１７に逐次表示する。これは、ユーザに構図を検討させるためである。図６に示したフローチャートは、Ｎ番目のライブビュー画像が作成された時の処理手順を示している。

まず、Ｎ番目のライブビュー画像を記憶部１３に記録する（ステップＳ１００）。

この時、前回作成されたライブビュー画像、つまり（Ｎ−１）番目のライブビュー画像を使って検出された顔画像の位置情報とその表情評価値が記憶部１３に記憶されていれば（ステップＳ１０１；ＹＥＳ）、表示部１７に、Ｎ番目のライブビュー画像に、（Ｎ−１）番目のライブビュー画像を使って検出された顔画像の位置を示す枠と表情評価値を重ねて表示する（ステップＳ１０２）。

（Ｎ−１）番目のライブビュー画像を使って検出された顔画像とその表情評価値が記憶部１３に記憶されていなければ（ステップＳ１０１；ＮＯ）、表示部１７に、Ｎ番目のライブビュー画像だけを表示する（ステップＳ１０３）。

次に、顔検出部１４が、Ｎ番目のライブビュー画像を探索して顔画像領域を検出する（ステップＳ１０４）。なお、ステップＳ１０４における顔画像領域検出の詳細な手順は後述する。

Ｎ番目のライブビュー画像から顔画像領域が検出されたら（ステップＳ１０４；ＹＥＳ）、その顔画像領域の位置を特定し、ＣＭＯＳ１１上に結像している画像から、当該顔画像領域に相当する領域をフルサイズで切り出して（ステップＳ１０５）、顔判定部１５に送る。なお、Ｎ番目のライブビュー画像から顔画像領域が検出されない場合（ステップＳ１０４；ＮＯ）は、結像した画像には顔画像が存在しないものとみなし、ステップＳ１０５からステップＳ１１１をバイパスして、ステップＳ１１２に進む。

顔判定部１５は、送られた画像が顔画像であるか否か判定する顔判定処理を行う（ステップＳ１０６）。なお、この顔判定処理の詳細な手順は後述する。

このステップＳ１０６の顔判定処理の後、顔画像である、すなわち、“肯定”と判断すると（ステップＳ１０７；ＹＥＳ）、当該顔画像の位置情報を記憶部１３に出力し、当該顔画像を表情認識部１６に出力する（ステップＳ１０８）。一方、顔画像でない、すなわち“否”と判定すると（ステップＳ１０７；ＮＯ）、ステップ１０８の処理を飛ばしてステップＳ１０９に進む。

尚、ステップＳ１０５からステップＳ１０９までの処理は、検出された全ての顔画像領域について繰り返し行われる。

全ての顔画像領域についての顔判定処理が終わったか否かを判断し（ステップＳ１０９）、全ての顔画像領域について顔判定処理が終わったと判断したら（ステップＳ１０９；ＹＥＳ）、ステップＳ１１０に進む。

尚、ステップＳ１０８で出力された顔画像については、表情認識部１６にて顔画像について表情評価処理を行い（ステップＳ１１０）、表情評価値を算出して、記憶部１３に出力する（ステップＳ１１１）。つまり、ステップＳ１０８で出力された顔画像がなかった場合は、ステップＳ１１０及びステップＳ１１１における処理は行われない。

なお、表情評価処理は、顔画像が所定の表情に近いか否かを示す表情評価値を算出する処理であり、本実施形態における所定の表情は笑顔とし、顔画像の人物が笑っているほど、表情評価値は大きくなる。表情評価値の算出は、例えば、笑顔を示す基準画像と、無表情を示す基準画像を用意して、評価対象の顔画像がどちらの基準画像に近いかを判定する方法が考えられる。なお、このような表情評価値の算出方法については、前述の特許文献２に詳細に記載されている。

ユーザ（撮影者）は、表示部１７に表示された表情評価値を確認して、シャッタ操作の可否を判断する。そして、ユーザがシャッタを操作すると（ステップＳ１１２；ＹＥＳ）、記録用画像の撮影条件で撮影を行ない、ＣＭＯＳ１１上に結像したフルサイズ画像を外部メモリ１９に記録し（ステップＳ１１３）、撮影が終了する。

なお、ユーザがシャッタ操作を行わない場合は（ステップＳ１１２；ＮＯ）、ステップＳ１００に戻って、（Ｎ＋１）番目のライブビュー画像について同様の処理が繰り返される。

次に、ステップＳ１０４における顔画像領域検出の詳細な手順を説明する。顔画像領域検出処理では、探索対象のライブビュー画像から切り出した部分画像と基準テンプレート顔画像を対比して、その部分画像と基準テンプレート顔画像の相関係数を求めて、相関係数が所定の閾値（第１の閾値）を超える場合に、その部分画像を顔画像領域として検出する。なお、前記基準テンプレート顔画像は、複数の人物の顔の画像を重ねて得た画像であり、平均的な顔のモノクロ画像である。また、前記基準テンプレート顔画像は、予め作成されて、記憶部１３に記憶されている。

図７は、顔画像領域検出処理の手順を示すフローチャートであり、図８は、顔画像領域検出の過程で、ライブビュー画像から切り出す部分画像を説明する図である。以下、図７と図８を参照しながら、説明を続ける。

前述したように、基準テンプレート顔画像はモノクロ画像なので、まず、探索対象のライブビュー画像をモノクロ化する（ステップＳ１０）。

次に、図８に示すように、基準テンプレート顔画像Ｔと同じサイズの部分画像Ｆをライブビュー画像Ｇから抽出する（ステップＳ１１）。

基準テンプレート顔画像Ｔと部分画像Ｆの対応する画素の輝度を比較して、基準テンプレート顔画像Ｔに対する部分画像Ｆの相関係数を求める（ステップＳ１２）。なお、相関係数の算出方法は公知技術であることから具体的な記載は省略する。

得られた相関係数が所定の閾値（第１の閾値）以上であれば（ステップＳ１３；ＹＥＳ）、その部分画像Ｆは顔画像領域として検出する（ステップＳ１４）。

次に、部分画像Ｆを垂直方向又は水平方向に１画素分移動又は基準テンプレート顔画像Ｔのサイズを変化させて、ステップＳ１１からステップＳ１４の処理を繰り返す（ステップＳ１５；ＮＯ）。

ライブビュー画像の全ての領域Ｆについて探索したら（ステップＳ１５；ＹＥＳ）、顔画像領域検出処理を終了する。

次に、ステップＳ１０６における顔判定処理の詳細な手順を説明する。顔判定処理は、顔画像領域検出処理で検出された顔画像領域に相当するフルサイズ画像の領域（以下、判定領域）について、当該判定領域が顔画像か否かを判定する処理である。そのために、顔判定処理では、判定領域の画像のフルサイズ基準テンプレート顔画像の相関性を検討する。なお、フルサイズ基準テンプレート顔画像とは、顔画像領域検出処理で使用する基準テンプレート顔画像の画素数を増やして解像度を上げ、フルサイズ画像に対応させた画像である。

図９は、顔判定処理の手順を示すフローチャートである。以下、図９を参照しながら、説明を続ける。

まず、ＣＭＯＳ１１上に結像しているフルサイズ画像から、判定領域を切り出し（ステップＳ２０）、その画像に対してモノクロ処理を行う（ステップＳ２１）。

次に、フルサイズ基準テンプレート顔画像と判定領域の画像の対応する画素の輝度を比較して、フルサイズ基準テンプレート顔画像に対する判定領域の画像の相関係数を求める（ステップＳ２２）。

求めた相関係数が所定の閾値（第２の閾値）以上であれば（ステップＳ２３；ＹＥＳ）、その判定領域が顔画像である、すなわち、“肯定”と判定する（ステップＳ２４）。前記相関係数が所定の閾値（第２の閾値）未満ならば（ステップＳ２３；ＮＯ）、その判定領域は顔画像ではない、すなわち“否”と判定し、顔判定処理を終わる。

以上のように、デジタルカメラ１は、ライブビュー画像を探索して顔画像領域を検出し、顔画像領域が検出された場合に、当該顔画像領域に相当するフルサイズ画像の領域で顔画像か否かの判定と表情評価値の算出を行うことで、ライブビュー画像の探索時において既に顔画像を検出しなかった場合はその時点で判定処理を終わらせることにより処理速度を短縮させると共に、顔画像を検出した場合は更に高精度の顔判定処理を行うことにより、撮像された画像における正確な顔画像の存否を判定することができる。また、顔判定処理により顔画像であると判定された画像については表情評価処理を行うことにより、判定された顔画像における表情が、所謂「良い表情」か否かも判断できる。

なお、図６に示した制御フローを、図１０に示すように変形することもできる。すなわち、ステップＳ１０４とステップＳ１０５の間にステップＳ１１４を加えて、基準テンプレート顔画像Ｔに対する部分画像Ｆの相関係数が前記第１の閾値より大きい第３の閾値を超えた場合（ステップＳ１１４；ＹＥＳ）は、ステップＳ１０５からステップＳ１０７の処理を飛ばすようにしてもよい。このようにすれば、基準テンプレート顔画像Ｔに対する部分画像Ｆの相関係数が第３の閾値を超えた場合で顔判定処理に移行する以前に、顔画像領域検出処理で検出された顔画像領域に顔が存在する、すなわち“肯定”と判定することで、処理速度をさらに短縮することができる。なお、第３の閾値は第１の閾値よりも高い値であり、この値を超えれば検出対象がライブビュー画像であっても、十分に顔画像領域であると信頼できる値とする。

また、図６に示した制御フローでは、ユーザのシャッタ操作によって、ＣＭＯＳ１１上のフルサイズ画像を外部メモリ１９に保存するようにしたが（ステップＳ１１２）、図１１に示すように、ステップＳ１１２に代えて、ステップＳ２００を設けて、全ての表情評価値が７０％を超えたら、自動的に、ＣＭＯＳ１１上のフルサイズ画像を外部メモリ１９に記録するようにしてもよい。このようにすれば、ユーザによるシャッタ操作を待たずに、被写体が笑顔を見せた瞬間を自動的に撮影することができる。

なお、自動的にＣＭＯＳ１１上のフルサイズ画像を外部メモリ１９に記録する要件は、「全ての表情評価値が７０％を超える」には限られない。「少なくとも１つの表情評価値が７０％を超える」であってもよいし、「７０％」を他の値にしてもよい。

さて、毎秒３０フレームから６０フレームのライブビュー画像がＣＭＯＳ１１から出力される度に、顔画像領域検出処理が実行されるが、顔画像領域の位置は短時間（例えば、ライブビュー画像が数フレーム出力される間）では大きく変化しないと考えられる。また、顔判定処理において、顔画像ではないと判定された領域についても、次のフレームにおける顔画像領域検出処理で、再び顔画像領域として検出してしまう場合が考えられる。しかし、この場合は、前回のフレームの処理において顔画像領域検出処理よりも高精度な顔判定処理によって顔画像ではないと判定されているため、次のフレームの処理で顔画像領域として検出された領域も、顔判定処理では顔画像ではない判定される可能性が高い。そこで、順次行われる直近の単数または複数のフレームの処理において、顔画像ではないと判定された領域については、ライブビュー画像における当該画像領域は顔画像領域ではないとみなし、顔画像領域検出処理あるいは顔判定処理の対象から除外させるようにしてよい。

具体的には、図１２に示すように顔判定処理によって顔画像領域に相当するフルサイズ画像の領域において判定領域が顔画像ではない、すなわち“否”と判定された場合（ステップＳ１０７；ＮＯ）に、その判定領域の位置情報を顔画像無検出領域として記憶部１３に記憶しておき（ステップＳ３００）、直近の３フレームのライブビュー画像（（Ｎ−１）番目〜（Ｎ−３）番目のライブビュー画像）に、この顔画像無検出領域に対応する領域が存在するか否かを判定し（ステップＳ３０１）、存在すると判定した場合（ステップＳ３０１；ＹＥＳ）、その領域は顔画像の画像領域ではないとみなして、顔画像領域検出処理の探索対象から除外して探索させるようにしてもよい（ステップＳ３０２）。

あるいは、図１３に示すように、Ｎ番目のライブビュー画像について検出された顔画像領域の位置が、直近の３フレームのライブビュー画像（（Ｎ−１）番目〜（Ｎ−３）番目のライブビュー画像）の顔画像無検出領域の位置と略一致した場合（ステップＳ３０３；ＹＥＳ）、そのステップＳ１０５からステップＳ１０８をバイパスしその顔画像領域は顔画像でない、すなわち“否”とみなして顔判定処理の対象から除外してもよい。また逆に、顔判定処理によって顔画像領域に相当するフルサイズ画像の領域に顔画像が存在する、すなわち“肯定”と判定された場合に、その顔画像領域の位置情報を顔画像有検出領域として記憶部１３に記憶しておいて、Ｎ番目のライブビュー画像について検出された顔画像領域の位置が、直近の３フレームのライブビュー画像（（Ｎ−１）番目〜（Ｎ−３）番目のライブビュー画像）の顔画像有検出領域の位置と略一致した場合、その顔画像領域は顔画像である、すなわち“肯定”とみなして顔判定処理の対象から除外してもよい。
そして上記図１２、１３の処理を行うようにすれば、被写体に対応する画像領域について正確にその存否を判定するとともに、その判定処理にかかる時間を更に短縮させることができる。

上記実施形態及び変形例の何れにおいても、ライブビュー画像から切り出した部分画像と基準テンプレート顔画像の相関係数を求めて、相関係数が所定の閾値（第１の閾値）を超える場合に、その部分画像を顔画像領域として検出するようにしたが、この第１の閾値は顔画像領域である可能性が少しでもあれば顔画像領域として検出するような値とする。つまり、顔画像領域検出処理は、顔画像である領域を検出するための処理ではなく、高精度に顔画像が存在するか否かを判定可能な顔判定処理を行う領域を限定させるために行う処理である。
このように、フルサイズ画像に対して精度の高い顔判定処理を行う前に、予めライブビュー画像において顔画像領域である可能性が少しでもある領域を検出し、顔画像領域である可能性が少しでもある領域があった場合のみ、顔判定処理を行うようにしたため、ライブビュー画像内に顔画像領域がある可能性がなかった場合の処理を速くし、顔画像領域である可能性がある領域に対しては、精度の高い顔判定処理により顔画像があるか否かの判定を行うことができる。
また、表情評価処理についても、顔判定処理によって顔であると判定された領域のフルサイズ画像に対して行うため、精度の高い表情評価処理を行うことができる。

また、上記実施形態及び変形例の何れにおいても、顔画像領域検出処理と顔判定処理は基準テンプレート顔画像の相関係数を求める方法であったが、それ以外の方法であってもよく、顔画像領域検出処理と顔判定処理とで異なる方法を使ってもよい。例えば、顔画像領域検出処理では肌色検出によって顔画像領域である可能性がある領域を検出し、顔判定処理は目や口などの特徴点を検出することで、顔画像が存在するか否かの判定を行うようにしてもよい。しかし何れの場合においても、顔画像であるか否かの結果は、顔画像領域検出処理よりも顔判定処理の方が高精度な結果が得られることとする。

また、上記実施形態及び変形例の何れにおいても、画像から人物の顔を検出するようにしたが、顔に限らず、何れの被写体についても実施可能である。

本発明の実施形態を示すデジタルカメラ１の概念的な構成図である。 ライブビュー画像を示す図である。 ライブビュー画像を示す図である。 フルサイズ画像から切り出した画像を示す図である。 ライブビュー画像を示す図である。 デジタルカメラ１による顔画像検出の手順を示すフローチャートである。 デジタルカメラ１による顔画像領域検出の手順を示すフローチャートである。 顔画像領域検出の際にライブビュー画像から切り出される部分画像を説明する図である。 デジタルカメラ１による顔判定処理の手順を示すフローチャートである。 前記顔画像検出の手順の変形例を示すフローチャートである。 前記顔画像検出の手順の変形例を示すフローチャートである。 前記顔画像検出の手順の変形例を示すフローチャートである。 前記顔画像検出の手順の変形例を示すフローチャートである。

符号の説明

１・・・デジタルカメラ、１０・・・光学レンズ装置、１１・・・ＣＭＯＳ、１２・・・Ａ／Ｄ変換器、１３・・・記憶部、１４・・・顔検出部、１５・・・顔判定部、１６・・・表情認識部、１７・・・表示部、１８・・・制御部、１８１・・・プログラムメモリ、１９・・・外部メモリ、Ｒ３０・・・領域、Ｒ３１・・・領域、Ｒ３２・・・領域、Ｐ３０・・・画像、Ｐ３１・・・画像、Ｐ３２・・・画像、Ｆ３０・・・枠、Ｆ３１・・・枠、Ｖ３０・・・表情評価値、Ｖ３１・・・表情評価値、Ｆ・・・部分画像、Ｇ・・・ライブビュー画像、Ｔ・・・基準テンプレート顔画像

Claims (14)

1. 撮像処理により撮像画像を得る撮像手段と、
   この撮像手段によって得られた撮像画像から解像度を落とした第１の画像を作成する画像作成手段と、
   この画像作成手段によって作成された第１の画像から、被写体に対応する画像領域を探索する探索手段と、
   この探索手段による探索により前記被写体に対応する画像領域を検出したか否かを判定する第１の判定手段と、
   この第１の判定手段により前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第１の制御手段と、
   前記撮像画像における前記第１の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第２の判定手段と、
   この第２の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第２の制御手段と、
   前記第１の画像において、前記探索手段の探索対象となる画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第１の評価値算出手段と、
   前記撮像画像における前記特定された位置に対応する画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第２の評価値算出手段と、
   前記第１の判定手段による判定の結果、前記被写体に対応する画像領域を検出したと判定した場合、前記第１の評価値算出手段が算出した評価値が前記第１の閾値より大きい第３の閾値以上であるか否かを判定する第３の判定手段を備え、
   前記第１の判定手段は、前記第１の画像から前記第１の評価値算出手段が算出した評価値が第１の閾値以上の画像領域を検出したか否かに基づいて、前記被写体に対応する画像領域を検出したか否かを判定し、
   前記第２の判定手段は、前記第２の評価値手段が算出した評価値が第２の閾値以上であるか否かに基づいて、前記特定された位置に対応する画像領域が前記被写体に対応する画像領域であるか否かを判定するとともに、前記第２の判定手段による判定以前に前記第３の判定手段によって肯定と判定した場合、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御することを特徴とする撮影装置。
2. 前記第１の評価値算出手段及び前記第２の評価値算出手段は、共に同じ方法で評価値を算出することを特徴とする請求項１に記載の撮影装置。
3. 前記第１の閾値は前記第２の閾値よりも小さい値であることを特徴とする請求項２に記載の撮影装置。
4. 前記被写体に対応する画像領域を基準画像として記憶する基準画像記憶手段を更に備え、
   前記第１の評価値算出手段及び前記第２の評価値算出手段は、前記基準画像記憶手段に記憶されている基準画像と前記所定の画像領域及び前記特定された位置に対応する画像領域との相関度を評価値として算出することを特徴とする請求項２又は３に記載の撮影装置。
5. 前記第１の評価値算出手段及び前記第２の評価値算出手段は、互いに異なる方法で評価値を算出することを特徴とする請求項１乃至４の何れか１項に記載の撮影装置。
6. 前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第１の画像を順次作成し、
   前記第２の判定手段により否と判定した場合、前記第１の制御手段による制御により特定された位置の画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第３の制御手段と、
   を更に備えることを特徴とする請求項１乃至５の何れか１項に記載の撮影装置。
7. 前記第３の制御手段による制御の後に順次作成される第１の画像における前記特定された位置の画像領域を、前記探索手段による探索対象から除外するよう制御する第４の制御手段を更に備えることを特徴とする請求項６に記載の撮影装置。
8. 前記第３の制御手段による制御の後、前記第１の制御手段による制御により特定された位置と前記第３の制御手段による制御により特定された位置とが略一致するか否かを判定する第４の判定手段と、
   前記第２の判定手段による判定以前に前記第４の判定手段により略一致すると判定した場合、前記撮像画像の前記第１の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第５の制御手段と、
   を更に備えることを特徴とする請求項６に記載の撮影装置。
9. 前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第１の画像を順次作成し、
   前記第２の判定手段により肯定と判定された場合、前記第１の制御手段による制御により特定された位置に対応する、前記撮像画像における画像領域の位置を特定するよう制御する第６の制御手段と、
   この第６の制御手段による制御の後に順次作成される第１の画像における前記第１の制御手段による制御により特定された位置と前記第６の制御手段による制御により特定された位置とが略一致するか否かを判定する第５の判定手段と、
   前記第２の判定手段による判定以前に前記第５の判定手段により略一致すると判定した場合、前記撮像画像の前記第１の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域であるとみなすように制御する第７の制御手段と、
   を更に備えることを特徴とする請求項１乃至５の何れか１項に記載の撮影装置。
10. 前記被写体に対応する画像領域とは人物の顔の画像領域であり、
    前記第２の制御手段による制御により存在するとみなされた画像領域における表情と、所定の表情との相関度を表情評価値として算出する表情評価値算出手段を更に備えることを特徴とする請求項１乃至９の何れか１項に記載の撮影装置。
11. 前記表情評価値算出手段により算出した表情評価値をユーザに報知する表情評価値報知手段を更に備えることを特徴とする請求項１０に記載の撮影装置。
12. 前記表情評価値算出手段により算出した表情評価値が所定の閾値以上か否かを判定する第６の判定手段と、
    この第６の判定手段により前記表情評価値が所定の閾値以上と判定すると、この画像領域を含む撮像画像を保存する保存手段を更に備えることを特徴とする請求項１０又は１１に記載の撮影装置。
13. 撮像部にて得られた撮像画像から解像度を落とした第１の画像を作成する画像作成ステップと、
    この画像作成ステップにて作成された第１の画像から、被写体に対応する画像領域を探索する探索ステップと、
    この探索手段での探索により前記被写体に対応する画像領域を検出したか否かを判定する第１の判定ステップと、
    この第１の判定ステップにて前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第１の制御ステップと、
    前記撮像画像における前記第１の制御ステップでの制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第２の判定ステップと、
    この第２の判定ステップにて肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第２の制御ステップと、
    前記第１の画像において、前記探索手段の探索対象となる画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第１の評価値算出ステップと、
    前記撮像画像における前記特定された位置に対応する画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第２の評価値算出ステップと、
    前記第１の判定ステップによる判定の結果、前記被写体に対応する画像領域を検出したと判定した場合、前記第１の評価値算出ステップが算出した評価値が前記第１の閾値より大きい第３の閾値以上であるか否かを判定する第３の判定ステップを含み、
    前記第１の判定ステップは、前記第１の画像から前記第１の評価値算出ステップが算出した評価値が第１の閾値以上の画像領域を検出したか否かに基づいて、前記被写体に対応する画像領域を検出したか否かを判定し、
    前記第２の判定ステップは、前記第２の評価値ステップが算出した評価値が第２の閾値以上であるか否かに基づいて、前記特定された位置に対応する画像領域が前記被写体に対応する画像領域であるか否かを判定するとともに、前記第２の判定ステップによる判定以前に前記第３の判定ステップによって肯定と判定した場合、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御することを特徴とする画像領域の存否判定方法。
14. 画像領域を検出する検出部、及び、画像領域について判定する判定部を備える撮影装置が有するコンピュータを、
    撮像された画像から解像度を落とした第１の画像を作成する画像作成手段、
    前記検出部で前記被写体に対応する画像領域の検出処理を行わせることにより、前記画像作成手段によって作成された第１の画像から前記被写体に対応する画像領域を探索する探索手段、
    この探索手段での探索により前記検出部が前記被写体に対応する画像領域を検出したか否かを判定する第１の判定手段、
    この第１の判定手段によって前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像された画像に前記被写体には対応する画像領域が存在しないとみなす一方、画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第１の制御手段、
    前記判定部で前記特定された位置の画像領域について判定処理を行わせることにより、前記撮像された画像における前記第１の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第２の判定手段、
    この第２の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第２の制御手段、
    前記第１の画像において、前記探索手段の探索対象となる画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第１の評価値算出手段、
    前記撮像画像における前記特定された位置に対応する画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第２の評価値算出手段、
    前記第１の判定手段による判定の結果、前記被写体に対応する画像領域を検出したと判定した場合、前記第１の評価値算出手段が算出した評価値が前記第１の閾値より大きい第３の閾値以上であるか否かを判定する第３の判定手段
    として機能させ、
    前記第１の判定手段は、前記第１の画像から前記第１の評価値算出手段が算出した評価値が第１の閾値以上の画像領域を検出したか否かに基づいて、前記被写体に対応する画像領域を検出したか否かを判定し、
    前記第２の判定手段は、前記第２の評価値手段が算出した評価値が第２の閾値以上であるか否かに基づいて、前記特定された位置に対応する画像領域が前記被写体に対応する画像領域であるか否かを判定するとともに、前記第２の判定手段による判定以前に前記第３の判定手段によって肯定と判定した場合、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御させることを特徴とするプログラム。

Images