JP2007304280A - 撮像装置及びその制御方法及びプログラム及び記憶媒体 - Google Patents

Abstract

【課題】顔が存在する焦点検出エリアで正確な焦点合わせが出来ないような場合でも、確実に人物にピントを合わせることが出来るようにする。
【解決手段】撮影光学系１０１により結像された被写体像を光電変換する撮像素子１０３と、撮像素子から得られる画像信号を用いて、少なくとも画面内の人物の顔が存在する位置を検出する顔位置検出部１２０と、画面内に位置するところの、被写体像の合焦状態を検出する焦点検出エリア内で求められた被写体像の合焦位置を参照して撮影光学系を制御する合焦部１１４と、人物の顔が存在する第１の焦点検出エリアで求められた合焦位置と、人物の顔の位置から見て人物の体が位置すると予測される第２の焦点検出エリアで求められた合焦位置の少なくともいずれかを、合焦部が参照するよう制御する制御部１１２とを具備する。
【選択図】図１

Description

本発明は、被写界から検出した人物の顔の情報を利用してオートフォーカスを行う技術に関するものである。

従来、焦点検出エリアが画面中央に固定されているオートフォーカスカメラにおいて人物を撮影する場合、人物を一度中央に入れてフォーカスロックをしたのち構図を決定して撮影する必要があった。

そのため、フォーカスロックをせずに撮影構図のままのオートフォーカスを可能とする目的で、焦点検出エリアを画面内に複数個設定する方法が開発された。この技術においては、複数の焦点検出エリアからユーザが所望の１つを選択する方法と、複数のエリアの焦点検出結果から主要被写体を推測して、採用する焦点検出エリアを自動で選択する方法とがある。これらのうち後者の方法では、ユーザは焦点検出エリアの選択に気を使うことなく撮影が出来るため、より利便性が高い。しかしながら、自動で選択した焦点検出エリアは、ユーザーが撮影したい被写体と一致しない場合があるという問題点があった。

これを解決する１つの手法として、人物に限定して上記の推測精度を高めるために、画像データから人物の顔を検出し、検出した顔を含むように焦点検出エリアを設定して焦点調節するよう構成した撮像装置がある（例えば、特許文献１参照）。この技術によれば、検出した顔に対してオートフォーカスを行うため、誤って人物以外の被写体にフォーカスを合わせてしまう可能性が減少する。
特開２００３−１０７３３５号公報

しかしながら、上記従来例では、顔のコントラストが低く焦点検出データが十分得られない場合や、焦点検出エリアに顔と背景など距離の異なる被写体が混在した場合には、顔が検出できているにもかかわらず、焦点調節できない場合があった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、顔が存在する焦点検出エリアで正確な焦点合わせが出来ないような場合でも、確実に人物にピントを合わせることが出来るようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、 撮影光学系により結像された被写体像を光電変換する撮像素子と、前記撮像素子から得られる画像信号を用いて、少なくとも画面内の人物の顔が存在する位置を検出する顔位置検出手段と、前記画面内に位置するところの、被写体像の合焦状態を検出する焦点検出エリア内で求められた被写体像の合焦位置を参照して前記撮影光学系を制御する合焦手段と、前記人物の顔が存在する第１の焦点検出エリアで求められた合焦位置と、前記人物の顔の位置から見て前記人物の体が位置すると予測される第２の焦点検出エリアで求められた合焦位置の少なくともいずれかを、前記合焦手段が参照するよう制御する制御手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、撮影光学系により結像された被写体像を光電変換する撮像素子を備える撮像装置を制御する方法であって、前記撮像素子から得られる画像信号を用いて、少なくとも画面内の人物の顔が存在する位置を検出する顔位置検出工程と、前記画面内に位置するところの、被写体像の合焦状態を検出する焦点検出エリア内で求められた被写体像の合焦位置を参照して前記撮影光学系を制御する合焦工程と、前記人物の顔が存在する第１の焦点検出エリアで求められた合焦位置と、前記人物の顔の位置から見て前記人物の体が位置すると予測される第２の焦点検出エリアで求められた合焦位置の少なくともいずれかを、前記合焦工程において参照するよう制御する制御工程と、を具備することを特徴とする。

また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。

本発明によれば、顔が存在する焦点検出エリアで正確な焦点合わせが出来ないような場合でも、確実に人物にピントを合わせることが可能となる。

以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係わる顔検出機能を使用してオートフォーカスを行う撮像装置１００の構成を示すブロック図である。本実施形態では、デジタルカメラを例にあげて説明を行う。

図１において、１０１は後述の撮像素子１０３に被写体像を結像させる対物レンズ群、１０２は絞り装置及びシャッタ装置を備えた光量調節装置である。１０３は対物レンズ群１０１によって結像された被写体象を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子である。１０４は撮像素子１０３のアナログ信号出力にクランプ処理、ゲイン処理等を行うアナログ信号処理回路である。１０５はアナログ信号処理回路１０４の出力をデジタル信号に変換するアナログ／デジタル（以下、Ａ／Ｄという）変換器である。Ａ／Ｄ変換器１０５から出力されたデータは後述のデジタル信号処理回路１０７とメモリ制御回路１０６を介して、あるいは、直接メモリ制御回路１０６を介してメモリ１０８に書き込まれる。

１０７はデジタル信号処理回路であり、Ａ／Ｄ変換器１０５からのデータ或いはメモリ制御回路１０６からのデータに対して画素補間処理や色変換処理を行う。また、デジタル信号処理回路１０７はＡ／Ｄ変換器１０５からのデータを用いて被写体の合焦状態を示す値や、輝度値の演算、および、ホワイトバランスの調節を行う。

システム制御回路１１２はデジタル信号処理回路１０７の演算結果に基づいて、露出制御回路１１３、焦点制御回路１１４に対する制御を実行する。具体的には対物レンズ群１０１を通過した被写体像を用いた焦点制御処理、露出制御処理、調光処理を行う。またシステム制御回路１１２は、表示装置１１０の表示を制御する表示制御回路１１７を有している。

メモリ制御回路１０６は、アナログ信号処理回路１０４、Ａ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ１０８、デジタル／アナログ（以下、Ｄ／Ａとする）変換器１０９を制御する。Ａ／Ｄ変換器１０５でＡ／Ｄ変換されたデータはデジタル信号処理回路１０７、メモリ制御回路１０６を介して、或いはＡ／Ｄ変換器１０５でＡ／Ｄ変換されたデータが直接メモリ制御回路１０６を介して、メモリ１０８に書き込まれる。

メモリ１０８には表示装置１１０に表示するデータが書き込まれ、メモリ１０８に書き込まれたデータはＤ／Ａ変換器１０９を介して後述する表示装置１１０によって表示される。また、メモリ１０８は、撮像した静止画あるいは動画を格納する。また、このメモリ１０８はシステム制御回路１１２の作業領域としても使用することが可能である。

１１０は撮影によって得られた画像データから生成した画像を表示する液晶モニターからなる表示装置であり、撮像素子１０３を用いて得られた被写体像を逐次表示すれば電子的なファインダとして機能する。この表示装置１１０は、システム制御回路１１２の指示により任意に表示のオンとオフを切り換えることができ、表示をオフにした場合は、オンにした場合に比較して撮像装置１００の電力消費を低減できる。また、表示装置１１０はシステム制御回路１１２からの指令に応じて文字、画像等を用いて撮像装置１００の動作状態やメッセージ等を表示する。

１１１はメモリカードやハードディスク等の外部記憶媒体や、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うためのインターフェースである。このインターフェース１１１をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続すればよい。この各種通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等があげられる。

１１６は姿勢検知回路であり、撮像装置１００の姿勢を検知してシステム制御回路１１２に検知結果を出力する。

システム制御回路１１２は撮像装置１００全体の動作を制御している。システム制御回路１１２内の不図示のメモリに、このシステム制御回路１１２の動作用の定数、変数、プログラム等を記憶している。

露出制御回路１１３は、光量調節装置１０２の絞り装置、シャッタ装置を駆動する。焦点制御回路１１４は対物レンズ群１０１のフォーカシングレンズ、ズームレンズを駆動する。

オートフォーカス動作は、システム制御回路１１２及び焦点制御回路１１４により制御される。まず、顔検出回路１２０によって顔位置を検出する。顔検出回路１２０は、人物の顔の特徴データを予め登録し、特徴データと照合することで、画像データから人物の顔を識別する。本実施形態では、顔検出回路１２０はＡ／Ｄ変換器１０５からのデータ、あるいは、メモリ１０８に書き込まれたデータから、特徴データとして登録された目や口等の顔の特徴部を検出することで、人物の顔を検出する。ここでは、顔の位置およびサイズ情報が得られるものとする。

次に、焦点検出枠設定部１２１により下記に述べるように焦点検出枠を設定し、焦点制御回路１１４を介して対物レンズ群１０１の中のフォーカスレンズを駆動する。フォーカスレンズを移動させながら複数箇所の焦点検出エリアにおいてそれぞれ撮像した画像信号を用いて、画像のコントラストに応じた信号を、ＡＦ評価値演算回路１２２において演算する。次に、合焦位置決定部１２３において合焦位置を決定後、その位置にフォーカスレンズを駆動するよう制御し、合焦枠表示部１２４によって合焦枠を表示する。なお、レリーズボタンの半押しでＯＮとなるスイッチＳＷ１（１３１）が操作された場合にフォーカス動作が行われ、レリーズボタンの全押しでＯＮとなるスイッチＳＷ２（１３２）が操作された場合に撮像および画像の記録が行われる。

ＡＦ評価値の演算は次のように行う。焦点検出枠内の画像データの各ラインに水平方向のバンドパスフィルタを適用する。次に、ライン毎にバンドパス出力信号の絶対値の最も大きいものを選択する。選択した信号を垂直方向に積分する。この処理により、水平方向のコントラストの大きいものが検出され、垂直方向に積分することで信号のＳ／Ｎの向上した信号が得られる。この信号は合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなるような信号となる。したがって、上記信号の極大値位置を検出しその位置で撮影を行うことで合焦した画像を得ることができる。

以下、図２のフローチャートを参照して、本実施形態に係る撮像装置のメイン動作について説明する。尚、この処理を実行するプログラムはシステム制御回路１１２内のメモリに記憶されており、システム制御回路１１２の制御の下に実行される。

図２は本実施形態に係る撮像装置１００におけるメイン処理での動作を説明するためのフローチャートである。

この処理は、例えば電池交換後などの電源投入により開始され、まずステップＳ１０１で、システム制御回路１１２は、内部のメモリの各種フラグや制御変数等を初期化する。

ステップＳ１０２で、システム制御回路１１２は表示装置１１０の画像表示をオフに初期設定する。

ステップＳ１０３でシステム制御回路１１２は撮像装置１００が画像データを撮影し記録するための設定がなされる撮影モードが選択されているかを検知する。撮影モードが選択されていなければステップＳ１０４に進む。ステップＳ１０４では、システム制御回路１１２は選択された撮影モードとは異なるモードに応じた処理を実行し、その処理を終えるとステップＳ１０３に戻る。

システム制御回路１１２は、ステップＳ１０３で撮影モードが設定されている場合は、ステップＳ１０５に進み、電源の残容量や動作情況が撮像装置１００の動作に問題があるか否かを判断する。システム制御回路１１２は、問題があると判断するとステップＳ１０７に進み、表示装置１１０を用いて、画像や音声により所定の警告表示を行い、その後、ステップＳ１０３に戻る。

ステップＳ１０５で、システム制御回路１１２は電源に問題が無いと判断するとステップＳ１０６に進む。ステップＳ１０６では、システム制御回路１１２は記憶媒体の動作状態が撮像装置１００の動作、特に記憶媒体に対するデータの記録再生動作に問題があるか否かを判断する。システム制御回路１１２は問題があると判断すると前述のステップＳ１０７に進み、表示装置１１０を用いて、画像や音声により所定の警告表示を行った後にステップＳ１０３に戻る。

システム制御回路１１２はステップＳ１０６で問題がないと判断するとステップＳ１０８に進む。ステップＳ１０８では、システム制御回路１１２は表示装置１１０を用いて、画像や音声により撮像装置１００の各種設定状態のユーザーインターフェース（以下、ＵＩとする）表示を行う。尚、表示装置１１０の画像表示がオンであったならば、表示装置１１０も用いて画像や音声により撮像装置１００の各種設定状態のＵＩ表示を行ってもよい。こうしてユーザによる各種設定がなされる。

次にステップＳ１０９で、システム制御回路１１２は表示装置１１０の画像表示をオンに設定する。

更に、ステップＳ１１０で、システム制御回路１１２は撮像素子１０３にて得られた画像データをもとに生成した画像を逐次表示する観察表示状態に設定する。この観察表示状態では、メモリ１０８に逐次書き込まれたデータを表示装置１１０により逐次表示することにより、表示装置１１０が電子的なファインダとして機能する。

ステップＳ１１４では、システム制御回路１１２はシャッタースイッチＳＷ１が押されているかどうかを調べ、押されていなければステップＳ１０３に戻るが、シャッタースイッチＳＷ１が押されたならばステップＳ１１５に進む。

ステップＳ１１５では、システム制御回路１１２は画面の輝度値が適正となるように露出制御回路１１３に露出制御を行わせる。このときの露出制御の結果に応じて、必要であれば不図示の閃光装置を撮影時に発光させることを決定する。さらに、人物の顔が存在する領域が合焦状態になるように焦点制御回路１１４に焦点制御を行わせる。

ステップＳ１１６で、システム制御回路１１２はシャッタースイッチＳＷ２が操作されるまで観察表示状態を継続する。

次にステップＳ１１７で、シャッタースイッチＳＷ２が押されずに、シャッタースイッチＳＷ１が解除されたことを検知するとステップＳ１０３に戻る。

一方、ステップＳ１１７でシャッタースイッチＳＷ２が押されるとステップＳ１１９に進む。

ステップＳ１１９では、システム制御回路１１２は撮像した画像データをメモリ１０８に書き込む撮影処理を行う。露出制御回路１１３はステップＳ１１５の露出制御結果に従い絞り装置を駆動し、シャッタを開放して撮像素子１０３を露光する。必要に応じて閃光装置を発光させ、設定された露光時間が経過したところでシャッタを閉じる。撮像素子１０３から出力された電荷信号はＡ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ制御回路１０６を介して保存用の画像データとしてメモリ１０８に書き込まれる。さらにシステム制御回路１１２はメモリ制御回路１０６、デジタル信号処理回路１０７を用いて、メモリ１０８に書き込まれた保存用の画像データを読み出して垂直加算処理を実行させる。デジタル信号処理回路１０７に色処理を順次行わせ、表示用の画像データを生成し、再びメモリ１０８に書き込ませる。

ステップＳ１２０では、表示装置１１０にて、ステップＳ１１９にて得られた表示用の画像データを用いて撮影した画像の表示を行う。

ステップＳ１２１では、システム制御回路１１２は、メモリ１０８に書き込まれた保存用の画像データを読み出して、メモリ制御回路１０６、及び必要に応じてデジタル信号処理回路１０７を用いて各種画像処理を実行させる。また、システム制御回路１１２は、画像圧縮処理を行わせた後、記憶媒体へ圧縮した保存用の画像データの書き込みを行う記録処理を実行する。

ステップＳ１２１の記録処理が終了した後、ステップＳ１２２で、シャッタースイッチＳＷ２が押された状態かどうかを調べる。シャッタースイッチＳＷ２が押された状態であればステップＳ１２３に進み、システム制御回路１１２は、システム制御回路１１２の内部メモリ或いはメモリ１０８に記憶される連写フラグの状態を判断する。ここで連写フラグがオンであれば、システム制御回路１１２は連続して撮像を行うためにステップＳ１１９に進み、次の映像の撮像を行う。ステップＳ１２３で、連写フラグがオンでなければ、システム制御回路１１２はステップＳ１２２に進み、シャッタースイッチＳＷ２がオフされるまでステップＳ１２２、Ｓ１２３の処理を繰り返す。

ステップＳ１２１の記録処理の後、シャッタースイッチＳＷ２がオフされた場合はステップＳ１２２からステップＳ１２４に進む。そしてステップＳ１２４では設定された撮影画像の表示時間が経過するのを待ってステップＳ１２５に進む。

ステップＳ１２５では、システム制御回路１１２は表示装置１１０を観察表示状態に設定してステップＳ１２６に進む。これにより、表示装置１１０で撮影した画像を確認した後に、次の撮影のための観察表示状態にすることができる。

ステップＳ１２６では、シャッタースイッチＳＷ１がオンされた状態かどうかを調べ、そうであればステップＳ１１７に進んで次の撮像に備える。またステップＳ１２６で、シャッタースイッチＳＷ１がオフされている場合は、一連の撮像動作を終えてステップＳ１０３に戻る。

次に、図３は、図２におけるステップＳ１１５の測光、焦点検出ルーチンの詳細を示すフローチャートである。

まず、図２のステップＳ１１４でシャッタースイッチＳＷ１がＯＮされると、ステップＳ３０１において、システム制御回路１１２は画面の輝度値が適正となるように、露出制御回路１１３に露出制御を行わせる。

次に、ステップＳ３０３において、顔検出回路１２０が人物の顔の検出を行なう。顔を検出する技術としては、様々な手法が公知となっている。例えば、ニューラルネットワークに代表される学習を用いた方法がある。また、目、鼻、口、および、顔の輪郭といった物理的な形状の特徴のある部位を画像データからテンプレートマッチングを用いて識別する手法がある。他にも、肌の色や目の形といった画像データの特徴量を検出し統計的解析を用いた手法があげられる（例えば、特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報等を参照）。さらに、直前の顔領域が検出された位置の近傍であるかを判定したり、服の色を加味するために顔領域の近傍の色を判定したり、あるいは、画面の中央付近ほど顔識別のための閾値を低く設定したりする方法がある。または予め主被写体が存在する領域を指定させてヒストグラムや色情報を記憶し、相関値を求めることで主被写体を追尾する方法がある。本実施形態では、一対の目（両目）、鼻、口、および、顔の輪郭を検出し、これらの相対位置より人物の顔を決定する手法により顔の識別処理を行っている。なお、ＳＷ１がＯＮされる前から周期的に人物の顔を検出しておいて、ＳＷ１がＯＮされた時点で最新の顔の検出結果を読み出すようにしてもよい。

次に、ステップＳ３０５において、焦点検出枠設定部１２１が検出した顔位置および顔サイズから推測した体の位置に焦点検出枠を設定する。例えば、図４のように、顔位置については、顔検出回路から得られる顔位置およびサイズをそのままＡＦ枠として適用すればよい。また、体の位置については、例えば、顔の下側に体があるとして顔枠の直下に、顔枠のサイズと同じサイズで設定すればよい。なお、通常顔の位置に対して下側に体が位置することになるが、顔の位置に対してどちらが下側であるかは、図１に示した姿勢検知回路１１６で撮像装置の姿勢を検出することにより行う。あるいは、画面内の顔の傾きを検出して、どの方向に体が位置するかを検出してもよい。また、体の位置の焦点検出枠は、顔の位置の焦点検出枠とは重複しないように設定される。顔の位置での焦点検出を失敗する理由の一つとして、顔位置の多くの領域が肌色で占められており、その輝度値の差分が小さく、後述する信頼性の高いＡＦ評価値が得られないことがあげられる。そこで顔の位置を回避して胴体（体）の位置に焦点検出枠を設定すれば、服の柄や模様にもよるが、信頼性の高いＡＦ評価値を得られる可能性が高くなる。また、体の位置の焦点検出枠を１つではなく複数設定すれば、焦点検出に成功する焦点検出枠を得られる可能性をより高くすることができる。

ステップＳ３０７においてＡＦ評価値演算回路１２２が上記焦点検出枠に対して焦点検出を行う。

次に、ステップＳ３０９において合焦位置決定部１２３が顔位置の枠で焦点検出できたか否かを判定し、焦点検出できた場合にはステップＳ３１１において焦点制御回路１１４が顔位置での合焦位置を参照してフォーカスレンズを駆動する。焦点検出できなかった場合には、ステップＳ３１３において焦点制御回路１１４が体の位置の枠での合焦位置を参照してフォーカスレンズを駆動する。体の位置でも焦点検出できなかった場合にはデフォルト位置に駆動すればよい。顔位置の枠と体位置の枠の両方で焦点検出できた場合は、それぞれの合焦位置を加味してフォーカスレンズを駆動しても構わない。なお、焦点検出可能か否かは、例えば、焦点検出した際のＡＦ評価値の最大値と最小値の差が所定値以上かどうかで判定すればよい。これについては、後に詳述する。

なお、画面内に複数の顔が検出された場合には、それぞれの顔と体に対して焦点検出を行う。

フォーカスレンズ駆動後、ステップＳ３１５において、合焦枠表示部１２４が顔検出位置に図４に示すような合焦表示枠を表示する。顔検出機能を搭載したカメラの場合、顔検出ができ、かつ、人物にフォーカス可能と判断できた場合には、顔位置に合焦表示をする方が、実際に測距した位置（体など）に合焦表示するよりもユーザーに人物にフォーカスしたということがわかりやすくなる。または、ユーザーに人物の体の部分に合焦したことをわかりやすくするために、顔位置の焦点検出枠とは異なる表示を人物の体の部分に表示するようにしてもよい。

次に、ステップＳ３１７において、被写体に焦点が合った状態で、再度システム制御回路１１２は画面の輝度値が適正となるように、露出制御回路１１３に露出制御を行わせる。そして、図２のメインルーチンに戻る。

次に、図３のステップＳ３０９における焦点検出できたか否かを判定する方法について説明する。

図３のステップＳ３０７でシステム制御回路１１２は合焦位置を検出するためのスキャンＡＦ（オートフォーカス）処理を行う。その概略を図５を用いて説明する。スキャンＡＦは撮像素子１０３によって生成された画像信号から出力される高周波成分が最も多くなるフォーカスレンズの位置を求めることにより行われる。システム制御回路１１２は、フォーカスレンズを無限遠に相当する位置（図５における「Ａ」）から各々の撮影モードにおいて設定される至近距離に相当する位置（図５における「Ｂ」）まで駆動する。そして駆動しながらＡＦ評価値演算部１２２の出力（ＡＦ評価値信号）を取得し、フォーカスレンズの駆動が終了した時点で取得したＡＦ評価値信号から、それが最大になる位置（図５における「Ｃ」）を求め、その位置にフォーカスレンズを駆動する。

このＡＦ評価値演算部１２２の出力の取得はスキャンＡＦの高速化のために、全てのフォーカスレンズの停止位置については行わず、所定ステップ毎に行う。この場合、例えば、図５に示すａ１、ａ２、ａ３点においてＡＦ評価値信号を取得する。このような場合はＡＦ評価値信号が最大値となった点とその前後の点から合焦位置Ｃを計算にて求める。なお、上記所定ステップ毎にＡＦ評価値信号を取得するフォーカスレンズ位置のことを、以降、「スキャンポイント」と呼び、本実施形態においては無限遠のスキャンポイントを０とし、至近距離のスキャンポイントをＮとする。

本実施形態では、このように補間計算を行いＡＦ評価値信号が最大値となる点（図５のＣ）を求める前に、ＡＦ評価値信号の信頼性を評価する。その信頼性が十分であれば、ＡＦ評価値信号が最大値となる点を求め、合焦検出ができたと判断する。

また、ＡＦ評価値信号の信頼性を評価した結果、その信頼性が低い場合には、ＡＦ評価値信号が最大値となる点を求める処理は行わず、合焦検出が出来なかったと判断する。

次に、スキャンＡＦ処理におけるＡＦ評価値信号の信頼性判定方法の詳細について述べる。

ＡＦ評価値信号は遠近競合の特殊な場合を除けば、横軸に距離、縦軸にＡＦ評価値をとるとその形は図６に示すような山状になる。そこで本実施形態においてはＡＦ評価値信号が山状になっているか否かを、ＡＦ評価値信号の最大値と最小値の差、一定値以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から判断することにより、ＡＦ評価値信号の信頼性を判断する。

本実施形態においては図６に示すように、山の頂上（Ｐ1点）から傾斜していると認められるＰ2点、Ｐ3点を求め、Ｐ2点とＰ3点の幅を山の幅Ｌ、Ｐ1点とＰ2点のＡＦ評価値の差ＳＬ１と、Ｐ1点とＰ3点のＡＦ評価値の差ＳＬ２の和ＳＬ１＋ＳＬ２を山の高低差ＳＬとしている。

以下、図６を参照しながら、図７〜図９のフローチャートに沿って、ＡＦ評価値信号の信頼性を判断する具体的な動作について説明する。

まずステップＳ７０１において、ＡＦ評価値演算部１２２から出力されるＡＦ評価値の最大値ｍａｘと最小値ｍｉｎ、及び最大値を与えるスキャンポイントｉｏを求める。その後ステップＳ７０２において、ＡＦ評価値の山の幅を表す変数Ｌ、山の高低差を表す変数ＳＬをともに０に初期化する。

ついで最大値を与えるスキャンポイントｉｏが無限遠に相当する位置か否か、すなわち、ｉｏ＝０か否かを調べ、無限遠に相当する位置であったならば（ステップＳ７０３でＹＥＳ）、ステップＳ７０４をスキップしてステップＳ７０５に進む。一方、無限遠に相当する位置でないならば（ステップＳ７０３でＮＯ）、ステップＳ７０４に進み、無限遠に相当するフォーカスレンズ位置方向への単調減少を調べる。

ここでステップＳ７０４における無限遠に相当するフォーカスレンズ位置方向への単調減少を調べる処理について、図８のフローチャートを参照して説明する。

まずステップＳ８０１において、カウンター変数ｉをｉｏに初期化する。そしてｉにおけるＡＦ評価値の値ｄ［ｉ］とｉより１スキャンポイント（所定ステップ）分無限遠寄りのスキャンポイントｉ−１におけるＡＦ評価値の値ｄ［ｉ−１］を比較する。ｄ［ｉ］がｄ［ｉ−１］より大きければ（ステップＳ８０２でＹＥＳ）、無限遠方向への単調減少が生じていると判断し、ステップＳ８０３に進み、ＡＦ評価値の山の幅を表す変数Ｌ、山の高低差を表す変数ＳＬを以下の式に従い更新する。

Ｌ ＝ Ｌ＋１
ＳＬ＝ ＳＬ＋（ｄ［ｉ］−ｄ［ｉ−１］）
また、ステップＳ８０２で、ｄ［ｉ］＞ｄ［ｉ−１］でなければ、無限遠方向への単調減少は生じていないと判断し、無限遠方向の単調減少をチェックする処理を終了し、ステップＳ７０５に進む。

ステップＳ８０３の処理後ステップＳ８０４に進み、ｉ＝ｉ−１として、検出をする点を１スキャンポイント無限遠側に移す。

そして、ステップＳ８０５及びＳ８０６においてＬ、ＳＬが山であるとみなすための山の幅及び山の高低差に関するしきい値Ｌｏ、ＳＬｏと比較し、両者ともしきい値以上か否かを判定する。両者ともしきい値以上の場合は、後述する図７のステップＳ７０８及びＳ７０９において行われるＡＦ評価値の信頼性を判定する処理における条件をすでに満足しているので、これ以上無限遠方向への単調減少をチェックする処理は行わず、ステップＳ７０５に進む。

ステップＳ８０５またはＳ８０６でＮＯの場合はステップＳ８０７に進み、カウンターｉが無限遠相当の値（＝０）になったかどうかをチェックする。カウンターｉの値が０でなければステップＳ８０２に戻って上記処理を繰り返し、０であれば、すなわちスキャンポイントが無限遠相当の位置に達したならば、無限遠方向の単調減少をチェックする処理を終了し、ステップＳ７０５に進む。

このようにｉ＝ｉｏから無限遠方向への単調減少をチェックする。

ステップＳ７０４で無限遠方向への単調減少をチェックする処理を終了したならば、次に、最大値ｍａｘを与えるスキャンポイントｉｏがスキャンＡＦを行う至近端（Ｎ）に相当する位置か否かを調べ、至近端に相当する位置であったならば（ステップＳ７０５でＹＥＳ）、ステップＳ７０６をスキップしてステップＳ７０７に進む。一方、至近端に相当する位置でないならば（ステップＳ７０６でＮＯ）、ステップＳ７０６に進み、至近端に相当するフォーカスレンズ位置方向への単調減少を調べる。

ここでステップＳ７０６における至近端に相当するフォーカスレンズ位置方向への単調減少を調べる処理について、図９のフローチャートを参照して説明する。

まずステップＳ９０１において、カウンター変数ｉをｉｏに初期化する。そしてｉにおけるＡＦ評価値の値ｄ［ｉ］とｉより１スキャンポイント分至近端よりのスキャンポイントｉ＋１におけるＡＦ評価値の値ｄ［ｉ＋１］を比較する。ｄ［ｉ］がｄ［ｉ＋１］より大きければ（ステップＳ９０２でＹＥＳ）、至近端方向への単調減少が生じていると判断し、ステップＳ９０３に進み、ＡＦ評価値の山の幅を表す変数Ｌ、山の高低差を表す変数ＳＬを以下の式に従い更新する。

Ｌ ＝ Ｌ＋１
ＳＬ＝ ＳＬ＋（ｄ［ｉ］−ｄ［ｉ＋１］）
また、ステップＳ３０２で、ｄ［ｉ］＞ｄ［ｉ＋１］でなければ、至近端方向への単調減少は生じていないと判断し、至近端方向の単調減少をチェックする処理を終了し、ステップＳ７０７に進む。

ステップＳ９０３の処理後ステップＳ９０４に進み、ｉ＝ｉ＋１として、検出をする点を１スキャンポイント至近端側に移す。

そして、ステップＳ９０５及びＳ９０６においてＬ、ＳＬが山であるとみなすための山の幅及び山の高低差に関するしきい値Ｌｏ、ＳＬｏと比較し、両者ともしきい値以上か否かを判定する。両者ともしきい値以上の場合は、後述する図７のステップＳ７０８及びＳ７０９において行われるＡＦ評価値の信頼性を判定する処理における条件をすでに満足しているので、これ以上至近端方向の単調減少をチェックする処理は行わず、ステップＳ７０７に進む。

ステップＳ９０５またはＳ９０６でＮＯの場合はステップＳ９０７に進み、カウンターｉが至近端相当の値（＝Ｎ）になったかどうかをチェックする。カウンターの値がＮでなければステップＳ９０２に戻って上記処理を繰り返し、Ｎであれば、すなわちスキャンポイントが至近端相当の位置に達したならば、至近端方向の単調減少をチェックする処理を終了し、ステップＳ７０７に進む。

このようにｉ＝ｉｏから至近端方向への単調減少をチェックする。

無限遠方向、至近端方向への単調減少のチェックがそれぞれ終了したならば、ＡＦ評価値の信頼性を判定するための諸係数をそれぞれのしきい値と比較し、全ての条件を満たしたならばＡＦ評価値の信頼性があると判定する。

まずステップＳ７０７において、ＡＦ評価値の最大値maxと最小値minの差をしきい値と比較し、しきい値より小さい場合は信頼性がないと判断し、ステップＳ７１１へ進む。なお、ここでのしきい値は小さい値に設定しておき、コントラストが確実に低い場合のみを検出できるようにしておく。ステップＳ７０７でＹＥＳの場合はステップＳ７０８において、一定値以上の傾きで傾斜している部分の長さＬとしきい値Ｌｏとを比較し、しきい値Ｌｏより小さい場合は信頼性がないと判断し、ステップＳ７１１へ進む。ステップＳ７０８でＹＥＳの場合、ステップＳ７０９において、更に、高低差ＳＬとＳＬｏとを比較し、所定値より小さい場合は信頼性がないと判断し、ステップＳ７１１へ進む。

以上の３つの条件をすべて満たした場合はＡＦ評価値の信頼性があると判定してステップＳ７１０へ進み、スキャンＡＦ回路１４により算出されたＡＦ評価値からフォーカスレンズを駆動する位置を求める。これは離散的に算出されたＡＦ評価値の最大となる位置を補間演算等を行うことによって求めることで算出される。

また、ＡＦ評価値の信頼性がないと判断し、ステップＳ７１１へ進んだ場合は、焦点検出できなかったと判定する。

以上説明したように、上記の実施形態によれば、顔のコントラストが低く焦点検出できないような場合や焦点検出エリアに顔と背景など距離の異なる被写体が混在した場合でも、確実に人物にピントを合わせることが可能となる。

なお、上記実施形態では、顔位置で焦点検出できた場合に顔位置の合焦位置にフォーカスレンズを駆動するようにした。しかし、顔位置での焦点検出結果が背景のコントラストに影響され後ピンになっている可能性などもある。そのため、顔位置と体位置での合焦位置の差が所定の値以下の場合のみ顔位置での焦点検出結果が正しいと判定し、顔位置の合焦位置にフォーカスレンズを駆動し、所定の値より大きい場合には体位置の合焦位置にフォーカスレンズを駆動するよう構成しても良い。

なお、顔検出ができなかった場合には、例えば画面中央に焦点検出枠を設定して焦点検出を行えばよい。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の一実施形態に係るデジタルカメラの構成を示すブロック図である。 一実施形態のデジタルカメラの全体動作を示すフローチャートである。 図２における測光、焦点検出ルーチンの詳細を示すフローチャートである。 焦点検出枠の例を示す図である。 フォーカスレンズ位置に対するＡＦ評価値信号の関係の一例を示す図である。 ＡＦ評価値信号の信頼性判定の概念を説明するための図である。 一実施形態におけるＡＦ手順を示すフローチャートである。 無限遠方向の単調減少の確認に関する動作を説明するためのフローチャートである。 至近方向の単調減少の確認に関する動作を説明するためのフローチャートである。

符号の説明

１００ 撮像装置
１０１ 対物レンズ群
１０２ 光量調節装置
１０３ 撮像素子
１０４ アナログ信号処理回路
１０５ Ａ／Ｄ変換器
１０６ メモリ制御回路
１０７ デジタル信号処理回路
１０８ メモリ
１０９ Ｄ／Ａ変換器
１１０ 表示装置
１１１ インターフェース
１１２ システム制御回路
１１３ 露出制御回路
１１４ 焦点制御回路
１１５ 被写体識別回路
１１６ 姿勢検知回路
１１７ 表示制御回路

Claims (12)

1. 撮影光学系により結像された被写体像を光電変換する撮像素子と、
   前記撮像素子から得られる画像信号を用いて、少なくとも画面内の人物の顔が存在する位置を検出する顔位置検出手段と、
   前記画面内に位置するところの、被写体像の合焦状態を検出する焦点検出エリア内で求められた被写体像の合焦位置を参照して前記撮影光学系を制御する合焦手段と、
   前記人物の顔が存在する第１の焦点検出エリアで求められた合焦位置と、前記人物の顔の位置から見て前記人物の体が位置すると予測される第２の焦点検出エリアで求められた合焦位置の少なくともいずれかを、前記合焦手段が参照するよう制御する制御手段と、
   を具備することを特徴とする撮像装置。
2. 前記制御手段は、前記第１の焦点検出エリアで合焦位置が求められない場合に、前記合焦手段が前記第２の焦点検出エリアで求められた合焦位置を参照するよう制御することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の焦点検出エリアにおいて前記人物の顔に合焦できる信頼度を判定する判定手段をさらに具備し、前記制御手段は、前記判定手段による判定結果に基づいて前記合焦手段が前記第１の焦点検出エリアで求められた合焦位置を参照するか、または前記第２の焦点検出エリアで求められた合焦位置を参照するかを制御することを特徴とする請求項１に記載の撮像装置。
4. 前記第１の焦点検出エリアにおける合焦位置と前記第２の焦点検出エリアにおける合焦位置との差が予め定められた値以下の場合には、前記制御手段は、前記合焦手段が前記第１の焦点検出エリアで求められた合焦位置を参照するよう制御することを特徴とする請求項１に記載の撮像装置。
5. 前記撮像素子から得られた画像を表示する表示手段をさらに具備し、前記合焦手段が前記第１の焦点検出エリアまたは前記第２の焦点検出エリアで求められた合焦位置を参照して前記撮影光学系を制御した場合に、前記顔位置検出手段により検出された顔の位置に合焦表示を行うことを特徴とする請求項１に記載の撮像装置。
6. 撮影光学系により結像された被写体像を光電変換する撮像素子を備える撮像装置を制御する方法であって、
   前記撮像素子から得られる画像信号を用いて、少なくとも画面内の人物の顔が存在する位置を検出する顔位置検出工程と、
   前記画面内に位置するところの、被写体像の合焦状態を検出する焦点検出エリア内で求められた被写体像の合焦位置を参照して前記撮影光学系を制御する合焦工程と、
   前記人物の顔が存在する第１の焦点検出エリアで求められた合焦位置と、前記人物の顔の位置から見て前記人物の体が位置すると予測される第２の焦点検出エリアで求められた合焦位置の少なくともいずれかを、前記合焦工程において参照するよう制御する制御工程と、
   を具備することを特徴とする撮像装置の制御方法。
7. 前記制御工程では、前記第１の焦点検出エリアで合焦位置が求められない場合に、前記合焦工程において前記第２の焦点検出エリアで求められた合焦位置を参照するよう制御することを特徴とする請求項６に記載の撮像装置の制御方法。
8. 前記第１の焦点検出エリアにおいて前記人物の顔に合焦できる信頼度を判定する判定工程をさらに具備し、前記制御工程では、前記判定工程における判定結果に基づいて前記合焦工程において前記第１の焦点検出エリアで求められた合焦位置を参照するか、または前記第２の焦点検出エリアで求められた合焦位置を参照するかを制御することを特徴とする請求項６に記載の撮像装置の制御方法。
9. 前記第１の焦点検出エリアにおける合焦位置と前記第２の焦点検出エリアにおける合焦位置との差が予め定められた値以下の場合には、前記制御工程では、前記合焦工程において前記第１の焦点検出エリアで求められた合焦位置を参照するよう制御することを特徴とする請求項６に記載の撮像装置の制御方法。
10. 前記撮像素子から得られた画像を表示する表示工程をさらに具備し、前記合焦工程において前記第１の焦点検出エリアまたは前記第２の焦点検出エリアで求められた合焦位置を参照して前記撮影光学系を制御した場合に、前記顔位置検出工程において検出された顔の位置に合焦表示を行なうことを特徴とする請求項６に記載の撮像装置の制御方法。
11. 請求項６乃至１０のいずれか１項に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images