JP2006201282A - デジタルカメラ - Google Patents

Abstract

【課題】 人物撮影における合焦時間（合焦までに要する時間）の短縮を図る。
【解決手段】 撮像によって得られた画像信号を解析して画像内の人物の顔を認識し、顔が認識された場合に、その顔エリアのサイズに基づいて顔までの概略距離を求め、求められた距離に基づいて、ＡＦサーチの開始点となる合焦レンズ位置Ｌｓを決定する。ＬｓからＡＦサーチを開始することで、無限遠端Ｌｉから開始するよりも短時間でＬ０のピーク（顔に合焦するレンズ位置）が検出でき、以て人物撮影における合焦時間を短縮できる。
【選択図】 図３

Description

本発明は、コントラスト方式のＡＦ（オートフォーカス）制御を行うデジタルカメラに関し、人物撮影時の合焦速度を速めたものである。

上記コントラスト方式のＡＦ制御においては、被写体をＣＣＤ等の撮像素子で撮像して画像信号を取得し、そのうち所定のＡＦエリア内の信号から所定空間周波数帯域の成分を取り出し、その絶対値を積分することで焦点評価値を演算する。この焦点評価値は、焦点検出エリアのコントラストに応じた量であり、コントラストが高いほどその値が高くなる。そして、合焦レンズが合焦位置に近いほど像のコントラストが高くなることに鑑み、焦点評価値がピークとなる位置（以下、ピーク位置）を見つけて合焦位置と判断し、その位置に合焦レンズを駆動する。

コントラスト方式におけるピーク位置の検出（ＡＦサーチ）には、いわゆる山登り制御と呼ばれる手法が用いられる。これは、合焦レンズを光軸に沿って移動させながら所定のサンプリングピッチごとに上記焦点評価値を演算するもので、その都度得られた焦点評価値を前回の評価値と比較することでレンズ移動方向を決め、評価値が増加する方向にサンプリングを続けて最終的にピーク位置（山の頂上）を探し出す（例えば、特許文献１参照）。また、他の手法として全域スキャン方式と呼ばれるものがあり、これは、合焦レンズを無限遠端から至近端まで、あるいはその逆にスキャン駆動し、その間、合焦レンズが所定のサンプリングピッチだけ移動するたびに上記焦点評価値を演算して記憶し、スキャン終了後、記憶された複数の焦点評価値を評価することでそのピーク位置を求めるものである（例えば、特許文献２参照）。

上記のようなコントラスト方式を採用するカメラであって、画像から肌色検出を行い、その検出結果をＡＦエリアの選択に反映させることで、人物撮影時の合焦精度を高めたものがある（例えば、特許文献３参照）。また、画像から被写体である人物の顔を検出し、検出された顔の情報から目を検出し、検出した目にピントが合うようにＡＦ制御を行うデジタルカメラもある（例えば、特許文献４参照）。

画像から人物の顔を抽出する手法としては、肌色検出の他に、顔形状に相当する顔候補領域を抽出し、その領域内から顔領域を決定する技術が知られている（例えば、特許文献５参照）。また別の方法として、複数の顔形状のテンプレートを予め用意し、そのテンプレートと画像との相関を演算し、その相関値により顔を抽出するものがある。さらに、顔認識や目検出については特許文献６，７にも記載されている。

特開２００３−３１５６６５号公報 特開２００３−３０７６６９号公報 特開２００４−０３７７３３号公報 特開２００１−２１５４０３号公報 特開平８−０６３５９７号公報 特開平９−２５１５３４号公報 特開平１０−２３２９３４号公報

上記コントラスト方式によるＡＦ制御は、一般に高精度の合焦結果が得られる反面、その制御方式ゆえに位相差検出方式などと比べて合焦位置を見つけるのに時間がかかる。そこで、コントラスト方式を採用しながらも、人物撮影において迅速に人物の顔に合焦し得る機能が望まれる。

本発明は、撮影光学系の透過光を受光して画像信号を出力する撮像手段と、撮影光学系を構成する合焦レンズを光軸方向に移動させて焦点調節を行う焦点調節手段と、画像信号に基づいて、合焦レンズの位置に応じて変化する焦点評価値を演算する評価値演算手段とを備え、焦点調節手段により前記合焦レンズを光軸方向に移動させつつ撮像手段および評価値演算手段を繰り返し作動せしめ、得られた焦点評価値に基づいて合焦位置を検出し、その合焦位置に合焦レンズをもたらすＡＦサーチを行うデジタルカメラに適用される。
そして、画像信号を解析して画像内の人物の顔を認識する顔認識手段と、顔が認識された場合に、その認識された顔のサイズに基づいて顔までの概略距離を求める距離演算手段と、距離演算手段で求められた距離に基づいて、ＡＦサーチの開始点となる合焦レンズ位置を決定するレンズ位置決定手段とを具備する。
請求項２の発明は、距離演算定手段で求められた距離と撮影光学系のズーム状態とに基づいてＡＦサーチの開始点となる合焦レンズ位置を決定するものである。
請求項３の発明は、顔が小さいほどＡＦサーチにおけるレンズ移動範囲が広くなるように開始点となる合焦レンズ位置を決定するものである。
請求項４の発明は、顔認識手段により複数の顔が認識された場合には、その中からサイズの最大のものを選択し、その最大値に基づく概略距離に基づいて開始点となる合焦レンズ位置を決定するものである。
請求項５の発明は、更にＡＦサーチの終了点となる合焦レンズ位置をも決定するものである。

本発明によれば、画像信号を解析して画像内の人物の顔を認識し、顔が認識された場合に、認識された顔のサイズに基づいて顔までの概略距離を求め、求められた距離に基づいてＡＦサーチの開始点となる合焦レンズ位置を決定するようにしたので、人物撮影におけるＡＦサーチの範囲を狭めることができ、合焦レンズを迅速に人物に合焦させることが可能となる。

図１〜図５により本発明の一実施の形態を説明する。
図１は本実施形態におけるデジタルスチルカメラの機能ブロック図である。１は合焦レンズを含む撮影光学系であり、この撮影光学系１を透過した被写体光束は撮像素子２の受光面に結像される。撮像素子２は、受光面上に結像された被写体像の光強度に応じた電気信号を出力する光電変換素子であり、ＣＣＤ型やＭＯＳ型の固体撮像素子が用いられる。固体撮像素子２の出力である画像信号はアナログ信号処理部３に入力され、ここで相関二重サンプリング処理（ＣＤＳ処理）等の処理が行われる。

アナログ信号処理部３で処理された画像信号は、Ａ／Ｄ変換器４によりデジタル信号に変換された後、一旦バッファメモリ１２に記憶される。バッファメモリ１２は、複数フレーム分の撮像データを記憶可能なフレームメモリである。バッファメモリ１２に記憶されたデータは、デジタル信号処理部５に読み出され、ここで輪郭補償やガンマ補正などの種々の画像処理が施される。デジタル信号処理部５は、ゲイン制御回路、輝度信号生成回路、色差信号生成回路などの種々の信号処理回路を含み、これらはＣＰＵ９の指示によって制御される。

デジタル処理後のデータは、再びバッファメモリ１２に記憶された後、記録・再生信号処理部１４を介してメモリカード等の外部記憶媒体１５に記録される。画像データを記憶媒体１５に記録する際には、必要に応じて所定の圧縮形式（例えばＪＰＥＧ形式）でデータ圧縮が行われる。記録・再生信号処理部１４は、画像データを外部記憶媒体１５に記録する際のデータ圧縮や、記憶媒体１５から圧縮された画像データを読み込む際のデータ伸長処理を行う。記録・再生信号処理部１４には、記憶媒体１５とデータ通信を行うためのインタフェースも含まれている。

ＥＶＦ（Electronic View Finder）８は液晶ファインダ装置であり、連続して撮像される被写体画像がその液晶画面に逐次更新表示される（スルー画表示）。撮影者はそのスルー画を見ながら構図を決定する。スルー画表示に際しては、バッファメモリ１２に記憶された画像データをＥＶＦ処理部６に読み出し、表示用にリサイズした画像をＤ／Ａ変換器７でアナログ映像信号に変換し、そのアナログ映像信号を用いてＥＶＦ８に表示する。

ＣＰＵ９は、ＡＥ演算部、ＡＷＢ演算部、ＡＦ演算部およびその他の演算部を含む。ＡＥ演算部は、Ａ／Ｄ変換器４からの画像信号に基づき、被写体を適正露出で撮影するための自動露出演算を行う。ＡＷＢ演算部は、Ａ／Ｄ変換器４からの画像信号（Ｒ，Ｇ，Ｂの各信号）に基づいてホワイトバランス調整用ゲインの設定を行う。ＡＦ演算部は、Ａ／Ｄ変換器４からの画像信号を用いてＡＦ演算を行う。ＡＦ演算の詳細は後述するが、ＣＰＵ９はＡＦ演算部の演算結果に基づき、フォーカスモータ１０を介して撮影光学系１の合焦レンズを駆動する。フォーカスモータ１０としては、例えばステッピングモータが用いられる。

顔認識演算部１１は、背景技術で述べたような公知の手法を用いて画像から人物の顔を認識し、認識に成功すると、認識した顔エリア（矩形）の位置および大きさを表す座標をＣＰＵ９に入力する。顔認識の対象となる画像は、スルー画表示用の画像である。ＣＰＵ９は、顔認識演算部１１から上記座標が入力されると、それに基づいてスルー画表示用の画像に顔エリアマークを重ねた画像を作成し、これを図２に示すようにＥＶＦ８に表示する。図中のＭＫが顔エリアマークである。

ＣＰＵ９にはまた複数の操作部材１３が接続される。操作部材１３は、カメラの電源をオン・オフするための電源スイッチ、レリーズボタンの半押し操作でオンする半押しスイッチ、レリーズボタンの全押し操作でオンする全押しスイッチ、各種モードを選択するためのモードスイッチなどを含む。

次に、本実施形態におけるＡＦ演算（ＡＦ制御）について詳述する。
撮影画面には、予め１箇所または複数箇所にＡＦエリアが設定されており、そのＡＦエリアの画像信号に基づいて、コントラスト方式のＡＦ制御を行う。コントラスト法は、像のボケの程度とコントラストとの間に相関があることに着目し、焦点が合ったときに像のコントラストが最大になることを利用して焦点合わせを行うものである。コントラストの大小は画像信号の高周波成分の大小により評価することができる。このためＣＰＵ９のＡＦ演算部は、撮像によって得られた画像信号から所定帯域の高周波成分を抽出するデジタルフィルタを有する。そして、デジタルフィルタにて抽出した高周波成分の絶対値をＡＦエリアごとに積分し、これを焦点評価値とする。

焦点評価値は、像のコントラスト、換言すれば合焦レンズの焦点調節状態に応じて変化する量であり、合焦してコントラストが最大となったときに最大値（ピーク値）となる。そこで、焦点評価値がピークとなるレンズ位置を求め、その位置に合焦レンズをもたらすことで、ＡＦエリア内の被写体に合焦させることができる。以下、焦点評価値がピークとなるレンズ位置を求める動作をＡＦサーチと呼ぶ。

ＡＦサーチの手法としては、山登り方式と全域スキャン方式とが知られている。山登り方式では、合焦レンズを移動させながら所定のサンプリングピッチごとに焦点評価値を演算し、演算のたびにその焦点評価値を前回サンプリング時の同評価値（記憶値）と比較する。今回の評価値が前回の評価値よりも増加していれば、ピークに近づいていることになるので、同方向に合焦レンズを移動させつつサンプリングを続ける。今回の評価値が前回の評価値よりも減少していれば、ピークから遠ざかっていることになるので、逆方向に合焦レンズを移動させつつサンプリングを続ける。かかる動作を繰り返すことで、最終的にピーク位置（山の頂上）に合焦レンズをもたらすことができる。

一方、全域スキャン方式では、合焦レンズを例えば無限遠端から至近端まで一方向にスキャン駆動し、スキャン駆動中に、合焦レンズが所定のサンプリングピッチだけ移動するたびに上記焦点評価値を求め、得られた焦点評価値を記憶してゆく。スキャン駆動終了後、記憶された複数の焦点評価値を分析してそのピーク位置を求め、その位置を合焦位置と認定して合焦レンズを移動させる。

図３は合焦レンズの位置と焦点評価値との関係の一例を示している。この例は図２の撮影状況を想定しており、背景物体（山）の手前に人物を配して撮影するケースを示している。焦点評価値のピークは、人物の距離Ｌ０と背景物体の距離Ｌ１と２箇所あるが、検出すべきピークはＬ０である。

ところで、コントラスト方式の最大の欠点は、合焦までに時間がかかることである。つまりＡＦサーチにおいて、ピーク位置の検出精度を高めるにはサンプリングピッチを細かくする必要があり、そうすると焦点評価値の演算回数が増えてピーク位置の検出までに多くの時間を要する。特に全域スキャンでは、サーチ範囲が無限遠から至近までの全域であるため、サーチに多大の時間を要する。合焦精度を低下させずに合焦までの時間を短縮するには、サーチ範囲を狭めることが効果的である。しかし、サーチ範囲を限定するには、サーチ以前に主要被写体である人物までのおおよその距離が判明していなければならず、従来はそれを知る術はなかった。

本実施形態では、上記顔認識結果に基づいて主要被写体のおおよその距離を把握し、それに基づいてＡＦサーチの開始点を決めることで、サーチ範囲を狭めることを可能とした。以下、その詳細を説明する。

上述したように、顔認識結果によって画像内の顔エリアの大きさ（以下、顔エリアサイズ）が判明する。これに加えて撮影光学系１のズーム状態が分かれば、それらの２つの情報から、主要被写体である人物の顔までの概略距離を推定することが可能となる。この概略距離が判明すれば、ＡＦサーチの範囲を絞り込むことができる。

そこで、予め図４のような顔エリアサイズとズーム位置とに顔までの概略距離を対応づけたテーブルを作成し、カメラ内のメモリに格納しておく。顔エリアサイズは、矩形の顔エリアの縦横いずれかの辺の長さ（画素数）で与えられる。

テーブル中の概略距離は、後のＡＦサーチにおける開始点となるため、この距離からＡＦサーチを開始したときに必ず顔のピークが検出できる値でなければならない。ここでは至近側に合焦レンズを移動させながらサーチを行うことを前提としているため、推定される顔位置よりも少し遠側の位置からサーチが開始されるように概略距離を定める。顔の大きさには個人差があり、特に大人と子供とでは異なるため、その点を考慮して安全を見込んで概略距離を設定しておく必要がある。顔認識の傾向として実際よりも顔が小さく（大きく）検出される場合には、その点も考慮に入れる必要がある。さらに、推定される顔までの距離は、顔エリアサイズが小さいほど信頼度が低く、特にワイド寄りでその傾向が強くなる。この点も考慮し、顔エリアサイズが小さいほど推定される顔位置よりも大きく手前（遠側）からサーチが開始されるように概略距離を定める。この場合、顔エリアサイズが小さいほどサーチ範囲は長くなるが、顔に合焦する可能性は高まる。
なお、ズーム位置は、ワイド、ミドル、テレといったおおまかな分け方であるが、より細かく分けてもよい。

図５はＣＰＵ９によるＡＦ制御の手順を示すフローチャートである。
このプログラムの起動に先立ち、ＣＰＵ９は電源オンに伴って撮像、ＡＥ処理、ホワイトバランス処理、スルー画表示処理を開始する。これらの処理は繰り返し行われ、ＡＥ処理結果やホワイトバランス処理結果はその都度スルー画に反映される。同時に顔認識も行われ、顔が認識された場合にはスルー画に顔エリアマークＭＫが表示される。撮影者は、ＥＶＦ８のスルー画を見ながら構図を決め、決まるとレリーズボタンを半押し操作する。

半押し操作がなされると、ＣＰＵ９は撮影準備処理の一環として図５のプログラムをコールする。ステップＳ１では、通常ＡＦモードと顔認識ＡＦモードのいずれが設定されているかを判別する。これは、撮影者が操作によっていずれかのモードを予め選択できるようになっている。通常ＡＦモードであれば、顔認識結果を利用しない従来どおりのＡＦサーチを行う。すなわち、ステップＳ３でＡＦサーチの開始点を例えば無限遠端Ｌｉ（図３）に設定し、ステップＳ６でＡＦサーチを行う。スキャン方式は山登りでも全域スキャンでもよい。いずれにしても無限遠端Ｌｉを開始点としたので、合焦レンズを至近側に移動させながらのサーチとなる。このときのサーチ範囲は、図３にＡ１で示す範囲となる。ピーク位置が見つかると、その位置で合焦レンズを固定する。なお、至近端から無限遠側にサーチを行ってもよい。

一方、顔認識ＡＦモードが設定されている場合には、ステップＳ２において、顔認識演算部１１から現時点での顔認識結果を入力し、顔が認識されているか否かを判定する。画面に人物の顔が含まれない場合、顔は認識されないのでステップＳ２は否定されることになる。また顔が含まれていても何らかの理由で認識に失敗すると、ステップＳ２は否定される。ステップＳ２が否定されると、通常ＡＦ制御を行うべく上記ステップＳ３に進む。

一方、顔認識がなされた場合は顔エリアサイズが得られるので、ステップＳ４で顔エリアサイズとそのときのズーム位置に基づいて図４のテーブルから顔までの概略距離Ｌを求める。なおズーム位置は、撮影レンズの焦点距離を取得し、テレ，ミドル，ワイドのいずれに含まれるかで決定される。ステップＳ５では、テーブルから得た距離Ｌｓ（図３）を開始点としてＡＦサーチを開始する。すなわち、まずその距離Ｌｓに対応するレンズ位置に合焦レンズを駆動し、ここから合焦レンズを例えば至近側に移動させつつＡＦサーチを行う（ステップＳ６）。この場合のＡＦエリアは顔エリアとなり、画像信号のうち顔エリアに対応する信号の焦点評価値を演算しながらのサーチとなる。ピーク位置が見つかると、その位置に合焦レンズを固定し、リターンする。

図３から明らかなように、顔認識結果に基づく距離Ｌｓからサーチを開始することで、無限遠端Ｌｉから開始する場合と比べて短時間でＬ０のピークを検出でき、以て合焦までの時間を大幅に短縮できる。これは山登り方式でもスキャン方式（全域スキャン方式であるが全域ではない）でも同じである。山登りの場合は、最初のピーク（Ｌ０のピーク）を過ぎた点から合焦レンズを少し戻してサーチの終了となる。スキャン方式の場合は、サーチの開始点Ｌｓから所定距離だけ至近側の点をサーチ終了点Ｌｅとして設定することが望ましい。この場合のサーチ範囲はＡ２となり、Ａ１と比べて大幅に短くて済む。

なお以上では、図４のようなテーブルを用いて顔までの概略距離を求めたが、パラメータ（顔エリアサイズや焦点距離）を所定の演算式に代入することで求めてもよい。また、画像中に顔が認識された場合、その顔エリアをそのままＡＦエリアとしたが、ＡＦエリアの大きさがその都度変わると合焦判定のための閾値設定等が煩雑になる。そこで、例えば画面を予め幾つかの同サイズの領域に分割しておき（例えば、１／４分割、あるいは１／６分割とする）、顔領域が含まれる分割領域をＡＦエリアとしてもよい。この場合、ＡＦエリアが顔領域よりも広くなり、ＡＦエリア内に顔だけでなく、襟元や毛髪の一部などの比較的コントラストの高い部位が含まれるケースが多くなるので、ＡＦサーチによる合焦精度の向上にも寄与する。

さらに顔認識においては、顔部分の像が大きくぼけていると認識に支障を来すおそれがある。そこで、顔認識に先ち、そのときの焦点距離と絞り値とによって決まる過焦点距離に合焦レンズを駆動するようにすれば、顔部分が被写界深度内に入る可能性が高くなり、顔認識の信頼度が増す。

また顔認識の結果、複数の顔が認識される場合もあり得る。この場合は至近優先とし、顔エリアサイズの最も大きいもの、つまり最も近くに位置する顔を選択し、その顔エリアサイズに基づいてサーチ開始点となる概略距離を求めればよい。

本発明の一実施形態におけるデジタルカメラの制御ブロック図。 顔エリアマークを含む画像をＥＶＦに表示した例を示す図。 レンズ位置（距離）と焦点評価値との関係の一例を示す図。 顔エリアサイズとズーム位置との組み合わせにＡＦサーチの開始点となる距離を対応づけたテーブルを示す図。 実施形態におけるＡＦ制御の処理手順を示すフローチャート。

符号の説明

１ 撮影光学系
２ 撮像素子
５ デジタル信号処理部
６ ＥＶＦ処理部
８ ＥＶＦ
９ ＣＰＵ
１０ フォーカスモータ
１１ 顔認識演算部
Ｌｉ 無限遠端
Ｌｓ ＡＦサーチ開始点（距離）
Ｌｅ ＡＦサーチ終了点（距離）

Claims (5)

1. 撮影光学系の透過光を受光して画像信号を出力する撮像手段と、
   前記撮影光学系を構成する合焦レンズを光軸方向に移動させて焦点調節を行う焦点調節手段と、
   前記画像信号に基づいて、前記合焦レンズの位置に応じて変化する焦点評価値を演算する評価値演算手段とを備え、
   前記焦点調節手段により前記合焦レンズを光軸方向に移動させつつ前記撮像手段および前記評価値演算手段を繰り返し作動せしめ、得られた焦点評価値に基づいて合焦位置を検出し、その合焦位置に前記合焦レンズをもたらすＡＦサーチを行うデジタルカメラにおいて、
   前記画像信号を解析して画像内の人物の顔を認識する顔認識手段と、
   顔が認識された場合に、その認識した顔のサイズに基づいて顔までの概略距離を求める距離演算手段と、
   該距離演算手段で求められた距離に基づいて、前記ＡＦサーチの開始点となる合焦レンズ位置を決定するレンズ位置決定手段とを具備することを特徴とするデジタルカメラ。
2. 前記レンズ位置決定手段は、前記距離演算定手段で求められた距離と前記撮影光学系のズーム状態とに基づいて前記ＡＦサーチの開始点となる合焦レンズ位置を決定することを特徴とする請求項１に記載のデジタルカメラ。
3. 前記レンズ位置決定手段は、前記認識した顔のサイズが小さいほど前記ＡＦサーチにおけるレンズ移動範囲が広くなるように前記開始点となる合焦レンズ位置を決定することを特徴とする請求１または２に記載のデジタルカメラ。
4. 前記レンズ位置決定手段は、前記顔認識手段により１画像中に複数の顔が認識された場合には、その中からサイズの最大のものを選択し、その最大値に基づく前記概略距離に基づいて前記開始点となる合焦レンズ位置を決定することを特徴とする請求項１〜３のいずれかに記載のデジタルカメラ。
5. 前記レンズ位置決定手段は、更に前記ＡＦサーチの終了点となる合焦レンズ位置をも決定することを特徴とする請求項１〜４のいずれかに記載のデジタルカメラ。

Images