JP4914045B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、デジタルカメラ及びビデオカメラ等の撮像信号処理装置に関する。

撮像画像などから人物の顔を検出する顔検出技術を備えた撮像装置において、検出された顔領域に焦点をあわせたり、最適な露出制御を行ったり、色補正を施すといった、撮像装置が提案されている（特許文献１）。

図７及び図８は、従来の顔検出技術を備えた撮像装置の撮像動作タイミング及び動作フローを示したものである。図を用いてその動作を説明する。

シャッターボタンが半押し（これよりＳＷ１という）されるまで、撮像装置は電子ビューファインダー（これよりＥＶＦという）表示用として定期的に被写体を撮像し、画像信号を生成する。

通常ＮＴＳＣ方式では１／３０秒毎に表示のための画像信号が更新される。撮像装置の電源がＯＮされると、撮像装置は、ステップＳ８０１から始まる撮像動作に備える。

ステップＳ８０１にて、撮影者がレリーズボタンを半押し（これよりＳＷ１という）すると、ステップＳ８０２にて撮像装置は顔検出用の画像を得るための撮像を行う。

ステップＳ８０３では、撮像装置は、ステップＳ８０２にて撮像された画像信号に対して、公知の顔検出を行い、ステップＳ８０４にて、色、輪郭などの顔情報を取得する。

ステップＳ８０５では、撮像装置は、測光枠及び測距枠を設定する。

そして、ステップＳ８０６では、撮像装置は、ステップＳ８０５で設定された測光枠から得られた情報を基に自動露出（これよりＡＥという）を行う。

ステップＳ８０７では、撮像装置は、ステップＳ８０５で設定されたＡＦ枠に対して焦点位置を調節する自動合焦（これよりＡＦという）を行う。

ステップＳ８０７にてＡＦが完了すると、撮像装置は、ステップＳ８０８にて撮像装置本体に備えられた不図示のランプより合焦サインを発する。

ステップＳ８０９にて、撮影者がレリーズボタンを全押し（これよりＳＷ２という）すると、撮像装置は、ステップＳ８１０にて撮影動作を開始する。

ステップＳ８１１にて、撮像装置は、撮影後の撮像信号より検出された人顔が最適な色再現になるようホワイトバランス（これよりＷＢという）処理等の信号処理を行う。

ステップＳ８１２では、信号処理回路はステップＳ８１１の出力信号をＹＵＶ信号に変換する。

ステップＳ８１３では、撮像装置は、ステップＳ８１２にて変換されたＹＵＶ信号をＪＰＥＧ信号などに圧縮して、ＣＦなどの記録媒体に記録する。
特開２００３−１０７３３５号公報

従来の顔検出モジュールを備えた撮像装置では、ＳＷ１後に画像をスキャンし、その画像に対し顔検出を行い、その後ＡＥ、ＡＦを実施している。

しかしながら顔検出モジュールが顔を検出する時間は、顔検出アルゴリズムを簡略化した場合でも、ＡＦやＡＥに比べて多くの時間がかかることが実験にて確認されている。

そのため、ＳＷ１からＳＷ２までの時間が延び、シャッタータイムラグとなってしまうという問題があった。

そこで、本発明では、フレーミング中のＥＶＦ表示用画像信号を用いて顔検出を行うことで顔検出にかかる時間を短縮し、シャッタータイムラグを低減させることを目的とする。

上記課題を解決し目的を達成するため、本発明の請求項１に係る発明は、撮像レンズを通過した被写体像を電気信号に変換する撮像素子を備える撮像装置において、前記撮像素子から順次得られる信号を用いて被写体領域を繰り返し検出する被写体検出手段と、前記被写体検出手段により検出された被写体領域の被写体情報を記憶するための記憶手段と、前記記憶手段から読み出した前記被写体情報を基に撮像パラメータを設定するパラメータ設定処理を行う設定手段と、前記撮像素子から得られた画像信号を、静止画としてメモリに記録する記録処理を行う静止画記録手段と、第１の操作が行われることによって前記設定手段に前記パラメータ設定処理を行うよう指示し、第２の操作が行われることによって前記静止画記録手段に前記記録処理を行うよう指示するための操作部材を有し、前記設定手段は、前記第１の操作が行われることに応じて、前記第１の操作が行われた時点で既に前記記憶手段に記憶されている前記被写体情報を読み出し、読み出した前記被写体情報を基に前記撮像パラメータを設定することを特徴とするものである。

本発明によれば、フレーミング中のＥＶＦ表示用画像信号を用いて顔検出を行うことで顔検出にかかる時間を短縮し、シャッタータイムラグを低減させることを可能にしている。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。

図３は、本発明の実施の形態に係る撮像装置１００の構成を示すブロック図である。本実施の形態では撮像装置１００の例として電子スチルカメラを用いる。

図３において、１０１は撮像レンズ群、１０２は絞り装置及びシャッタ装置を備えた光量調節装置である。

１０３は撮像レンズ群を通過した被写体像としての光束を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子である。

１０４は撮像素子１０３のアナログ信号出力にクランプ処理、ゲイン処理等を行うアナログ信号処理回路である。

１０５はアナログ信号処理回路１０４の出力をデジタル信号に変換するアナログ／デジタル（以下、Ａ／Ｄとする）変換器である。１０７はデジタル信号処理回路であり、Ａ／Ｄ変換器１０５からのデータ或いはメモリ制御回路１０６からのデータに対して所定の画素補間処理や色変換処理を行う。

また、このデジタル信号処理回路１０７は、撮像した画像データを用いて所定の演算を行う。

システム制御回路１１２はこの演算結果に基づいて、ＥＦ（ストロボプリ発光）処理や、露出制御回路１１３に対するＡＥ（自動露出）処理を行っている。

また、焦点制御回路１１４に対する制御を実行するＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理も行っている。

また、デジタル信号処理回路１０７は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

さらに、デジタル信号処理回路１０７は内部に特徴検出回路１１６を備えている。

特徴検出回路１１６は、画像信号の周波数特性から不図示のバンドパスフィルタによって各テクスチャーを検出する。

そして、検出されたテクスチャー群から目、鼻、口、耳等の被写体の特徴的な部位の候補群の検出を行う。

そうすることによって主被写体の存在する領域を検出している。さらに特徴検出回路１１６は検出された特徴情報を記録しておく不図示のメモリを備えている。

なお、本実施形態においては特徴検出回路１１６にて顔検出を行っているが、公知の顔検出技術を用いてもよい。

なお、公知の顔検出技術としては、ニューラルネットワークに代表される学習を用いた手法があげられる。

また、目や鼻や口といった形状に特徴のある部位を、画像領域からテンプレートマッチングを用い探し出し類似度が高ければ顔とみなす手法もあげられる。

また、他にも、肌の色や目の形といった画像特徴量を検出し統計的解析を用いた手法等、多数提案されており、一般的にはこれらの手法を複数組み合わせて顔認識するのが一般的である。

具体的な例としては特開平２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

メモリ制御回路１０６は、アナログ信号処理回路１０４、Ａ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ１０８、デジタル／アナログ（以下、Ｄ／Ａとする）変換器１０９を制御する。これにより、Ａ／Ｄ変換器１０５でＡ／Ｄ変換されたデータはデジタル信号処理回路１０７、メモリ制御回路１０６を介して、メモリ１０８に書き込まれる。

或いは、Ａ／Ｄ変換器１０５でＡ／Ｄ変換されたデータが直接メモリ制御回路１０６を介して、メモリ１０８に書き込まれる。

メモリ１０８は表示装置１１０に表示するデータを記憶しており、このメモリ１０８に記録されているデータはＤ／Ａ変換器１０９を介してＴＦＴ、ＬＣＤ等の表示装置１１０に出力されて表示される。また、メモリ１０８は、撮像した静止画象や動画像を格納し、所定枚数の静止画像や所定時間分の動画像を格納するのに十分な記憶量を備えている。

これにより、複数枚の静止画像を連続して撮像する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１０８に対して行うことが可能となる。

また、このメモリ１０８はシステム制御回路１１２の作業領域としても使用することが可能である。

表示装置１１０は、撮像した画像データを逐次表示すればＥＶＦとしての機能を実現できる。

また表示装置１１０は、システム制御回路１１２の指示により任意に表示をオン／オフすることが可能である。

表示をオフにした場合は、オンにした場合に比較して、この撮像装置１００の電力消費を大幅に低減できる。

また、システム制御回路１１２でのプログラムの実行に応じて、文字、画像等を用いて動作状態やメッセージ等を表示する。

１１１はメモリカードやハードディスク等の記憶媒体とのインタフェースである。

このインターフェース１１１を用いて、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

このインターフェース１１１をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続すればよい。

この各種通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等があげられる。

システム制御回路１１２は撮像装置１００全体の動作を制御している。

なお、システム制御回路１１２内部には、撮像パラメータなどの制御変数を記憶する為のＲＡＭと、本実施形態を実施する為のプログラムコードが格納されたＲＯＭが備えられている。

露出制御回路１１３は、光量調節装置１０２の絞り装置、シャッタ装置を制御する。

焦点制御回路１１４は撮像レンズ群１０１のフォーカシング、ズーミングを制御する。

露出制御回路１１３、焦点制御回路１１４はＴＴＬ方式を用いて制御されている。

そして、撮像した画像データをデジタル信号処理回路１０７によって演算した演算結果に基づき、システム制御回路１１２が露出制御回路１１３、焦点制御回路１１４に対して制御を行う。

１１５は撮像装置１００に撮像のタイミングの指示を行うＳＷ１、ＳＷ２を備える操作部である。

不図示のレリーズボタンがそのストロークの半分だけ押しこまれることでＳＷ１がオンし、そのストロークの全部を押しこまれることでＳＷ２がオンする。

撮像装置はＳＷ１がオンすることで撮影のための焦点調節と測光を行い、ＳＷ２がオンすることで撮影を開始する。

次に一般的な信号の読み出しについて説明する。

図４は信号の読み出しの様子を示す図である。

撮像素子１０３を加算あるいは間引きモードにて駆動し、１/３０秒毎に撮像された撮像信号は、カメラの信号処理部に転送される。

本実施形態において撮像素子１０３は図４(ａ)のように通常のスチル読み出し（全画素読み出し）モードを備えている。

また、上記読み出し方法に加え、表示装置１１０への表示用あるいは動画用に、図４(ｂ)のようなムービー読み出し（垂直同色画素２画素加算、水平２画素間引き読み出し）等のモードも備えている。

表示装置１１０への画像の表示には、電荷の読み出しを高速にする必要がある。

そこで、一般的に、図４(ｂ)の加算、間引きモードで撮像素子を駆動する。

加算、間引きの種類は、図４(ｂ)以外にも多々あるが、本発明の主旨ではないため説明は省略する。

次に本実施形態における撮像装置１００の撮像動作について、図２に示すフローチャート図を用いて説明を行う。併せて撮像装置１００の動作タイミングの様子を図１に示す。

撮像装置１００の電源がＯＮされると、撮像装置１００は、ステップＳ２０１から始まる撮像動作に備える。

ステップＳ２０１で、撮影者がシャッターボタンを半押し（ＳＷ１をオン）すると、ステップＳ２０２にてシステム制御回路１１２は特徴検出回路１１６より、その時点での最新の顔情報を読み込む。このようにＳＷ１は撮影用のＡＦ、ＡＥを行わせる機能を備えるだけでなく、顔情報を読み込むための情報取得手段としても機能する。

なお、本実施形態のカメラ動作シーケンスでは、ＳＷ１をオンした後に初めて顔検出処理を実施するのではない。

ＳＷ１をオンする前の表示装置１１０にてフレーミングを行なっている際に定期的に表示装置１１０用に繰り返し作成された画像信号より連続して顔検出を実施する。

そして、特徴検出回路１１６内の不図示のメモリに顔情報を書き込み、更新する。

そして、ＳＷ１がオンされたことに応じて特徴検出回路１１６内の不図示のメモリに存在する最新の顔検出結果（顔情報）を読み出す。

こうすることで、ＳＷ１をオンした後にＡＥ、ＡＦ用の顔検出を行う必要がなくなるので、ＳＷ１がオンされてから合焦サイン表示までのタイムラグを短くすることができる。

なお、本実施形態における顔情報とは、肌の色、輪郭、目や鼻や口の形状等の顔の特徴的な要素のことである。

図１のカメラ動作シーケンスで説明すると、表示装置１１０に表示される画像信号は１/３０秒毎に撮像、信号処理され出力される(ＥＶＦ[０],ＥＶＦ[１],・・・ＥＶＦ[９]・・・として示す)。

一方、特徴検出回路１１６では、表示装置１１０の表示周期（画像更新）に係わらず、ある一定のタイミング（図では５０ミリ秒間隔）でそのときに存在する表示装置１１０用の画像信号を用いて顔検出を実施する(顔検出０,顔検出１・・・顔検出４・・・として示す)。

例えば、図１ではＳＷ１をオンした時に読み込んだ顔情報は、ＥＶＦ[０]の画像信号で顔を検出した顔検出[０]の結果を使用している。

ステップＳ２０３で、検出された顔が２つ以上ある場合には、顔の大きさ及び中心からの距離、信頼度情報を用いて、検出された複数の顔に対して優先度をつけ、主となる顔の検出を行う。

ここで、検出された複数の顔に対しての優先度をつけるための優先係数の算出方法を説明する。検出された顔情報のうち、顔の大きさ、座標値、信頼度情報を用いて、重み付けを行う。

表示装置１１０に表示される画像内の被写体に対して特徴検出回路１１６にて顔検出を行い、検出された結果の一部を図１１に示す。

図１２は優先度の算出結果を示した図である。具体的には顔の大きさ、座標値、信頼度情報のそれぞれに対して係数を設け、これらを掛け合わせることで優先係数を求める。

顔の大きさが大きいほどこれに関する係数を小さく、顔の位置が中心位置に近いほどこれに関する係数を小さく、信頼度が高いほどこれに関する係数を小さくする。

信頼度は、例えば、目、鼻、口、耳等の顔の特徴的な部位の候補群のマッチングの程度に応じて求めることができる。この場合、優先係数が小さいほど、優先度が高くなる。

次にステップＳ２０４では、システム制御回路１１２は、ステップＳ２０３にて算出した最も優先度の高い顔の座標値を重み付けが最も大きくなるようにＡＦ枠及びＡＥのための重み付けを設定する。

ステップＳ２０５では、焦点制御回路１１４は、ステップＳ２０４で設定されたＡＦ枠に基づきＡＦ動作を行う。

ステップＳ２０６では、露出制御回路１１３は、ステップＳ２０４で設定されたＡＥのための重み付けに基づきＡＥ動作を行う。

ステップＳ２０７では、システム制御回路１１２は、ＡＦ動作、ＡＥ動作ともに完了したのを確認すると不図示のカメラに備えられたランプを点灯させるなどして、合焦した旨を撮影者に知らせる。

ステップＳ２０８では、撮影者がシャッターボタンを全押し（ＳＷ２をオン）したか否かを判定する。

ステップＳ２０８にて、撮影者がシャッターボタンを全押しすれば、システム制御回路１１２は処理をステップＳ２０９へ進め、これまでに設定されたＴｖ、Ａｖ、合焦位置にて静止画の撮影を行う。

なお、撮影後の撮像素子１０３からの出力信号はカメラ内メモリに一旦蓄えられ、Ｄ／Ａ変換部に送られる。

ステップＳ２０８にて、撮影者がシャッターボタンを全押ししなければ、全押しするまで備える。

本実施形態のカメラ動作シーケンスでは、ＳＷ１がオンされてからＳＷ２がオンされるまで間の顔検出処理に起因するシャッタータイムラグを防ぐため、表示装置１１０に表示されている画像に対して定期的に顔検出を行う。

そして、ＳＷ１時点に存在する顔検出情報を用いてＡＦ、ＡＥを行っている。

ここで、本実施形態の撮像操作のタイミングを示した図１と、従来の撮像操作のタイミングを示した図７をもとにその違いを説明する。

ＳＷ１時にはＥＶＦ[０]の画像を用いて顔を検出した顔検出[０]の情報を用いてＡＥ及びＡＦ動作を実施しているが、撮影後のＡＷＢ及びデジタルゲイン処理に必要な顔情報はＥＶＦ[３]の画像信号で顔を検出した顔検出[２]の結果を用いている。

この結果、図７に示した従来例の処理と比較して、「顔検出用の画像を得るための撮像動作＋顔検出」分のシャッタータイムラグを減少できる。

次にステップＳ２１０では、システム制御回路１１２は特徴検出回路１１６内の不図示のメモリより最新の顔情報を取得する。

これは、被写体に動きがある場合は、顔検出処理、ＡＦ、および、ＡＥを行うためのタイムラグによって、ステップＳ２０１で読み込んだ画像の顔の位置とステップＳ２０９で得られた画像の顔の位置とが異なる可能性があるためである。

したがってＳＷ２後の信号処理に必要な顔情報を、ＳＷ２がオンされた時点での最新な顔検出情報を用いることにしている。

ステップＳ２１１では、デジタル信号処理回路１０７は、ステップＳ２１０で得た顔情報を用いて最適なＷＢ処理を行う。

なお、顔検出により得られた情報をもとにＷＢ処理を行う手法としては、公知の手法を使う。公知の手法とは、検出された顔領域を白検出範囲から除外し白検出の精度を向上させる手法や、検出された顔領域にて、肌色検出を行い、肌色から光源の色温度を予測し、環境光の色温度を算出する手法等が挙げられる。

ステップＳ２１２では、デジタル信号処理回路１０７は、検出された顔領域の明るさが最適になるようにデジタルゲイン補正を行って画像補正を行う。

ここで、デジタルゲイン補正の為の補正値の算出方法について説明する。

まず、検出された顔領域の輝度平均値(FaseYave)を算出し、補正ゲイン値（Fk）を算出する。

Ｆｋ＝２００／ＦａｓｅＹａｖｅ
ここで補正ゲイン値の範囲は、

と設定する。

補正ゲイン値（FK）が１．０以下の場合は、補正後の画像信号の最大値が１０２４以下（１０bitRAWの場合）に下がってしまい、ガンマ補正後のＹ信号が２５５にならない。

それ故に、飽和領域のＲＧＢ比率が崩れてしまい、本来あるべき色がでなくなってしまう。

また補正ゲイン値（Fｋ）が１．２５以上の場合は、Ｓ／Ｎ比が落ちる。

ステップＳ２１３では、ステップＳ２１２にてデジタルゲイン補正が施された画像信号は、デジタル信号処理回路１０７にて、例えばＪＰＥＧなどの圧縮方式の画像信号に圧縮される。

ステップＳ２１４において、ステップＳ２１３にて、生成された画像信号はメモリ１０８に記録される。

以上のように本実施形態では、ＳＷ１後に顔検出用の画像を得るための撮像動作を行わないようにすることで、レリーズタイムラグを小さくすることを可能にしている。

なお、検出された顔領域の位置をＡＦ及びＡＥに反映させているが、いずれか一方のみに反映させる構成であっても構わない。

また、したがってＳＷ２後の信号処理に必要な顔情報を、ＳＷ２がオンされた時点での最新の顔検出情報を用いることで、被写体が動く場合であっても顔領域の位置を正しく考慮したＷＢ処理を行うことができる。

（第２の実施形態）
本実施形態はＳＷ１がオンされる前までと、ＳＷ１がオンされてからＳＷ２がオンされるまでの期間で、顔検出を実施する周期を異ならせるという点が第１の実施形態と異なる部分である。

上記の動作を行うことにより、ＳＷ１前においては、表示装置１１０の表示期間中に顔検出を実施する周期をＳＷ１後よりも遅くすることで、結果として顔検出の実施回数を減らし、顔検出を行うことによる消費電力を減らすことが可能となる。

また、ＳＷ１後においては、撮影における顔検出の検出周期を短くすることで、第１の実施形態の手法を用いて検出された顔に最適な撮像動作を可能にする。

本実施形態では、ＳＷ１前の通常表示装置１１０の使用時には、例えば顔検出は図５の動作タイミング図に示すように１００ms(ΔＦＤ１)に１回の割合で行う。

このときの特徴検出回路１１６の動作としては第１の実施形態と同様に、例えば顔検出[０]のタイミングでは、その時に存在するＥＶＦ[０]のＥＶＦ画像を用いて顔を検出する。

更に、表示装置１１０を使用し撮影シーンのフレーミングを行っている間に、予め設定された間隔で、検出された顔に最適なＡＥ、ＡＦ、ＷＢ動作を行う。

これにより、検出された顔にＡＥ、ＡＦ、ＷＢをロックし続ける。

顔情報を用いたＡＥ、ＡＦ、ＷＢの動作は第１の実施形態と同様の手法を用いて実現するが、表示装置１１０の動作中にＡＥ、ＡＦ、ＷＢが頻繁に切り替わると、撮像条件の変化に伴い画面がちらつくことがあるので好ましくない。

そこで、本実施形態では、表示装置１１０の動作中に検出された顔情報より、顔の位置変化、輝度変化、面積変化をチェックし、予め決められた閾値より変化度合いが小さい場合は、ＡＥ、ＡＦ、ＷＢの動作を行わない構成をとる。

図１３は、本実施形態における特徴検出回路１１６の検出結果を示している。

これより、図１３の示す本実施形態における特徴検出回路１１６の検出結果図、図５の示す動作タイミング図、図６の示す動作フロー図にしたがって、本実施形態における撮像装置１００の動作を説明する。

撮像装置１００は、表示装置１１０の表示及び顔検出機能がＯＮされた状態でをステップＳ６０１から始まる撮像動作に備える。

ステップＳ６０１にて、システム制御回路１１２は、顔検出[０]より顔情報を取得する。

なお、撮像装置１００の電源スイッチがＯＮされると、撮像処理が開始されて１回目の顔検出が行われる。

ステップＳ６０２では、システム制御回路１１２は、ステップＳ６０１にて取得した顔情報に基づき、ＡＥ，ＡＦ枠を設定する。

ステップＳ６０３では、ステップＳ６０２で設定されたＡＥ，ＡＦ枠に基づき、焦点制御回路１１４はＡＦ動作を、露出制御回路１１３はＡＥ動作を、デジタル信号処理回路１０７はＷＢ処理を行う。

ステップＳ６０４では、メモリ制御回路１０６は、顔検出[０]の検出情報を特徴検出回路１１６内の不図示のメモリに書き込む。

ステップＳ６０５では、特徴検出回路１１６は、ＥＶＦ[３]の信号より顔検出[１]を行い、システム制御回路１１２は、顔検出[１]の結果より顔情報を取得する。

ステップＳ６０６では、システム制御回路１１２は、ステップＳ６０５にて取得された顔情報と、ステップＳ６０４にて書き込まれた特徴検出回路１１６内の不図示のメモリに記憶されている情報との差分信号を算出する。

なお、ステップＳ６０６で算出する差分信号は被写体の動き情報を表している。

以下に述べる方法にて、動き情報を求める。

被写体の動き情報として、位置変化Δpos、輝度変化ΔBrightness、面積変化Δareaを以下の式で算出する。

△Ｂｒｉｇｈｔｎｅｓｓ＝Ｂ［１］−ｐｒｅ＿Ｂ＝１０２−１００＝２
△ａｒｅａ＝Ａｒｅａ［１］−ｐｒｅ＿Ａｒｅａ＝２５００−２５００＝０
例えば、ここで位置変化閾値を５０、輝度変化閾値を１０、面積変化閾値を２０と予め設定しておいたとすると、
△ｐｏｓ ＜ ５０
△Ｂｒｉｇｈｔｎｅｓｓ ＜ １０
△ａｒｅａ ＜ ２０
であるから、ステップＳ６０７にて、システム制御回路１１２は、被写体の動きはないと判定し、処理をステップＳ６０５へ戻す。

なお、このタイミングではＡＥ及びＡＦ動作は実施しない。

また、ＡＥ及びＡＦ動作を実施しないため、前回顔情報は更新せず、顔検出[０]の顔情報がそのまま保持される。

次に、ステップＳ６０５では、特徴検出回路１１６は、ＥＶＦ[６]の信号より顔検出[２]を行い、システム制御回路１１２は、顔検出[２]の結果より顔情報を取得する。

ステップＳ６０６では、システム制御回路１１２は、顔検出[２]の結果より取得した顔情報と、ステップＳ６０４にて書き込まれた特徴検出回路１１６内の不図示のメモリに記憶されている情報との差分信号を算出する。

上記と同様にして差分信号を算出する。

△Ｂｒｉｇｈｔｎｅｓｓ＝Ｂ［２］−ｐｒｅ＿Ｂ＝１１５−１００＝１５
△ａｒｅａ＝Ａｒｅａ［２］−ｐｒｅ＿Ａｒｅａ＝２５００−２５００＝０
となり、各閾値が上記と同様であるとすると、
△ｐｏｓ ＞ ５０
△Ｂｒｉｇｈｔｎｅｓｓ ＞ １０
△ａｒｅａ ＜ ２０
であるから、位置変化閾値Over、輝度変化閾値Overとなるため、ステップＳ６０７にて、システム制御回路１１２は、被写体の動きがありと判定し、処理をステップ６０８へ進める。

ステップＳ６０８では、メモリ制御回路１０６は、特徴検出回路１１６内の不図示のメモリの情報を、顔検出[２]の顔情報に更新する。

ステップＳ６０９では、システム制御回路１１２は、ステップＳ６０８にて更新された顔情報に基づき、ＡＥ，ＡＦ枠を設定する。

ステップＳ６１０では、ステップＳ６０９で設定されたＡＥ，ＡＦ枠に基づき、焦点制御回路１１４がＡＦを行い、露出制御回路１１３がＡＥを行う。

ステップＳ６１１では、撮影者によってＳＷ１がオンされたならば、システム制御回路１１２は処理をステップＳ６１２へ進め、撮影者によってＳＷ１がオンされなければ、ＳＷ１がオンされるまでステップＳ６０５乃至ステップＳ６１１の処理を繰り返す。

ステップＳ６１２では、第１の実施形態のステップＳ２０２以降の処理を行う。

本実施形態において、ＳＷ１後の顔検出の周期をＳＷ１前よりも短く設定することで、被写体の動きを正確に追従することが可能である。

また、ＳＷ１後は被写体の動きにかかわらずＡＥ，ＡＦ制御を行うことにより、ＡＥ、ＡＦの精度を上げている。

以上のように本実施形態では、ＳＷ１前において、ＥＶＦ表示期間中に顔検出を実施する周期をＳＷ１後よりも遅くすることで、結果として顔検出の実行回数を減らし、顔検出モジュール実行による消費電力を減らすことを可能にしている。

（第３の実施形態）
本実施形態はシャッターボタンがＳＷ１がオンされた時点での最新の顔情報を算出する為に用いたＥＶＦ画像撮像時からＳＷ１がオンされるまでの時間ΔＴを算出する。そしてこのΔＴが予め設定した時間よりも短い場合は、第１の実施形態と同様の撮像信号処理を行い、ΔＴが予め設定した時間よりも長い場合は、ＳＷ１後に顔検出を行い、その検出結果に基づき撮像信号処理を行う。

本実施形態における撮像装置１００の撮像動作について、図１０に示すフローチャート図を用いて説明を行う。併せて撮像装置１００の動作タイミングの様子を図９に示す。

図１０に示すフローチャートにおいて、ステップＳ２０２以降の処理は第１の実施形態と同じ処理を行うので詳しい説明は省略する。

撮像装置１００の電源がＯＮされると、撮像装置１００は、ステップＳ９０１から始まる撮像動作に備える。

ステップＳ９０１にて、撮影者によってシャッターボタンのＳＷ１がオンされると、システム制御回路１１２は処理をステップＳ９０２へ進める。

ステップＳ９０２では、システム制御回路１１２は特徴検出回路１１６内の不図示のメモリから、その時点での最新の顔情報を検出するのに用いたＥＶＦ画像が撮影されたタイミングＴ１を読み込む。

そして、シャッターボタンがＳＷ１状態になったタイミングＴ２との差分値ΔＴを算出する。

なお、図９（ａ）のように最新の顔検出が成功している場合は、シャッターボタンがＳＷ１状態になった時点での顔情報８１３を算出するのに用いたＥＶＦ画像はＥＶＦ８０５の画像である。

そして、ΔＴは図９（ａ）に示しているようになる。

また、図９（ｂ）のように、最新の顔検出が失敗している場合は、シャッターボタンがＳＷ１状態になった時点での顔情報８３４が最新の顔情報であり、その顔情報を算出するのに用いたＥＶＦ画像はＥＶＦ８２４の画像である。

そして、そして、ΔＴは図９（ｂ）に示しているようになる。

ステップＳ９０３では、システム制御回路１１２は、ΔＴを予め設定した時間と比較し、ΔＴが大きければステップＳ９０４、ΔＴが小さければステップＳ２０２へ処理を進める。

ステップＳ９０４では、システム制御回路１１２は、シャッターボタンがＳＷ１状態になった時点での最新のＥＶＦ画像８２９を用いて顔検出を行う。

なお、ステップＳ９０４にて、顔検出ができなければ、以後の処理では通常領域にＡＥ，ＡＦ枠を設定して撮影動作を行う。

以上のように本実施形態では、シャッターボタンのＳＷ１がオンされた時点での最新の顔検出結果が得られたＥＶＦ画像の撮像タイミングとＳＷ１がオンされたタイミングの時間差を算出し、ＳＷ１がオンされた後に新たに顔検出を実施するか否かを判断している。

その為、ＳＷ１がオンされる直前まで顔未検出状態が続いてるような、被写体が動いている確立が比較的高い場合には、新たに顔検出を実施するため、正確なＡＥ、ＡＦ動作を行うことが可能である。

（他の実施形態）
本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し、遠隔操作の対象である撮像装置に対して上述の処理を実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

さらに、以下のようにして達成することも可能である。即ち、記憶媒体から読み出されたプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能を実現する。

第１の実施形態の撮像装置における撮像動作タイミングを示す図である。 第１の実施形態の撮像装置における撮像動作フローチャート図である。 本発明の撮像装置における撮像装置のブロック図である。 信号読み出しの様子を示す図である。 第２の実施形態の撮像装置における撮像動作タイミングを示す図である。 第２の実施形態の撮像装置における撮像動作フローチャート図である。 従来の撮像装置における撮像動作タイミングを示す図である。 従来の撮像装置における撮像動作フローチャート図である。 第３の実施形態の撮像装置における撮像動作タイミングを示す図である。 第３の実施形態の撮像装置における撮像動作フローチャート図である。 顔検出モジュールによって検出された顔情報レジスタの結果の一部を示す図である。 優先度の算出結果を示した図である。 第２の実施形態における顔検出モジュールの検出結果を示す図である。

符号の説明

１０１ 撮像レンズ群
１０２ 光量調節装置
１０３ 撮像素子
１０４ アナログ信号処理回路
１０５ Ａ／Ｄ変換器
１０６ メモリ制御回路
１０７ デジタル制御回路
１０８ メモリ
１０９ Ｄ／Ａ変換機
１１０ 表示装置
１１１ インタフェース
１１２ システム制御回路
１１３ 露出制御回路
１１４ 焦点制御回路
１１５ 操作部
１１６ 特徴検出回路

Claims (11)

1. 撮像レンズを通過した被写体像を電気信号に変換する撮像素子を備える撮像装置において、
   前記撮像素子から順次得られる信号を用いて被写体領域を繰り返し検出する被写体検出手段と、
   前記被写体検出手段により検出された被写体領域の被写体情報を記憶するための記憶手段と、
   前記記憶手段から読み出した前記被写体情報を基に撮像パラメータを設定するパラメータ設定処理を行う設定手段と、
   前記撮像素子から得られた画像信号を、静止画としてメモリに記録する記録処理を行う静止画記録手段と、
   第１の操作が行われることによって前記設定手段に前記パラメータ設定処理を行うよう指示し、第２の操作が行われることによって前記静止画記録手段に前記記録処理を行うよう指示するための操作部材を有し、
   前記設定手段は、前記第１の操作が行われることに応じて、前記第１の操作が行われた時点で既に前記記憶手段に記憶されている前記被写体情報を読み出し、読み出した前記被写体情報を基に前記撮像パラメータを設定することを特徴とする撮像装置。
2. 前記設定手段は、前記第１の操作が行われた時点で前記記憶手段に記憶された最新の前記被写体情報を読み出すことを特徴とする請求項１に記載の撮像装置。
3. 前記被写体検出手段は、前記第１の操作が行われるまでに繰り返し行われる被写体検出における第１の検出間隔と、前記第１の操作が行われた後で繰り返し行われる被写体検出における第２の検出間隔とを異ならせることを特徴とする請求項１または２に記載の撮像装置。
4. 前記第２の検出間隔は、第１の検出間隔より短いことを特徴とする請求項３に記載の撮像装置。
5. 前記設定手段は、前記被写体検出手段によって検出された第１の被写体情報と、その前または後に検出された第２の被写体情報の差分が所定値以内であれば、前記撮像パラメータを変更しないことを特徴とする請求項１に記載の撮像装置。
6. 前記被写体情報は、被写体輝度、被写体の面積、被写体の座標、のうち少なくともいずれかを含むことを特徴とする請求項１から５のいずれかに記載の撮像装置。
7. 前記設定手段は、前記被写体情報を得る基となる信号が生成されてから、前記第１の操作が行われるまでの時間が所定の時間以上であれば、前記被写体情報を取得した後に、前記被写体検出手段によって新たに被写体領域を検出し、新たに検出された被写体領域の被写体情報を用いて前記撮像パラメータを設定することを特徴とする請求項１に記載の画像処理装置。
8. 前記設定手段は、前記被写体情報を得る基となる信号が生成されてから、前記第１の操作が行われるまでの時間が前記所定の時間より短ければ、前記第１の操作が行われた時点で既に前記記憶手段に記憶されている前記被写体情報に基づき撮像パラメータを設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記被写体検出手段は、前記被写体情報を基に撮像パラメータが設定された後も前記撮像素子から順次得られる信号を用いて被写体領域を繰り返し検出し、
   前記被写体情報を基に設定された撮像パラメータにて撮影が行われた時点で既に前記記憶手段に記憶されている前記被写体情報を読み出し、該被写体情報を基に前記撮影にて得られた信号に対して画像補正を行う画像補正手段を有することを特徴とする請求項１に記載の撮像装置。
10. 前記画像補正手段は前記被写体情報を基に設定された撮像パラメータにて撮影が行われた時点で前記記憶手段に記憶された最新の前記被写体情報を前記記憶手段から読み出すことを特徴とする請求項９に記載の撮像装置。
11. 前記撮像パラメータとは、焦点位置、露出値のうち少なくとも一つを含むことを特徴とする請求項１から１０のいずれかに記載の撮像装置。

Images