JP4571617B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

撮像装置を用いた撮影では、一般に、位相差検出方式の測距装置を用いて、被写体までの距離を検出した後、焦点を調節して被写体に対してピントを合わせている。一方、写真撮影で被写体となるのは、人物であることが実際上多いことから、人物を中心に自動的に焦点を調節し、露光を調節したいというニーズが高かった。

ディジタルスチルカメラ等の撮像装置では、撮影時に人物の顔を捉えて、焦点を調節し、顔部分を中心に確実にピントを合わせる技術や、顔の明るさをもとに露出を調節する技術が実用化されてきた。例えば、特許文献１には、被写体までの距離を検出し、撮像装置の焦点調節に応用する技術が開示されている。

特開２００３−７５７１７号公報

特許文献１では、標準的な人物の顔の大きさに関する情報を撮像装置内に保持し、撮像装置が取得した撮像画像の領域内の顔の大きさと比較した上で、計算を行い、撮像装置から被写体までの距離を検出し、焦点調節に応用している。

しかし、上述の距離検出方法は、撮像画像領域内の顔を認識する際、人物の顔と類似したデータパターンを有する被写体、例えば樹木などを人物の顔と誤認するという問題があった。このような誤認が生じると、ピントを合わせる必要のない被写体に対して焦点調節をするという問題や、焦点調節に余計な時間がかかり、撮影時間が遅延するという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像画像領域内から人物の顔を確実に認定することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、焦点調節が可能なフォーカスレンズを有する結像光学系と、光情報を電気信号に変換する光電変換素子と、電気信号を画像信号として出力する画像信号処理部と、画像信号から人物の顔に該当する顔領域データを検出し、当該顔領域データを予め記憶手段に記憶されている標準顔データと比較して、前記顔領域データの被写体までの第１の被写体距離を取得する第１の測距部と、顔領域データの被写体の合焦位置を検出し、当該顔領域データの被写体までの第２の被写体距離を取得する第２の測距部と、第１の被写体距離と前記第２の被写体距離とを比較し、前記顔領域データの被写体を前記顔であると認定する顔認定部と、を備えることを特徴とする、撮像装置が提供される。

かかる構成により、第１の測距部で取得された第１の被写体距離と、第２の測距部で取得された第２の被写体距離とを比較し、顔認定部で顔領域データの被写体が、顔であるかどうか認定される。そして、撮影時、人物の顔に該当する顔領域データの被写体について、顔であると正確に認定できる場合が増加し、人物の顔が表示されていない領域について、顔であると認定する誤認を低減させることができる。その結果、誤認による撮影の失敗を減少させることができる。

上記第１の測距部は、顔領域データ内の被写体の面積データを検出する顔検出部と、結像光学系の焦点距離と、前記顔の標準面積データと、前記顔までの標準距離との関係を前記記憶手段に格納するデータベースと、を備え、データベースから読み出した前記焦点距離と前記検出された被写体の面積データとに基づいて、前記第１の被写体距離を取得することができる。かかる構成により、第１の被写体距離は、焦点距離毎の顔の標準面積データと、検出された被写体の面積データとを対比して、顔までの標準距離に基づいて取得される。

上記第２の測距部は、顔領域データの被写体の合焦位置を検出する合焦位置検出部と、を備え、合焦位置時の前記結像光学系の前記フォーカスレンズの位置と前記焦点距離とに基づいて、前記第２の被写体距離を取得することができる。かかる構成により、第２の被写体距離は、被写体の合焦位置を検出する際に変化するフォーカスレンズの位置に基づいて取得される。

上記第１の被写体距離と、前記第２の被写体距離とを比較し、前記顔領域データの信頼性値を算出する信頼性値算出部を更に備え、前記顔認定部は、前記信頼性値に基づいて、前記顔領域データの被写体を前記顔であると認定することができる。かかる構成により、第１の被写体距離と第２の被写体距離とを比較し、信頼性値算出部で算出された信頼性値に基づいて、顔検出部で検出された顔領域データの被写体が、顔であるかどうか認定される。

上記顔認定部で前記顔と認定された被写体に対して、焦点調節、露出調節及びカラーバランス調節のうち少なくともいずれかの調節をする調節部を更に備えることができる。かかる構成により、顔領域データの被写体を確実に顔であると認定できることから、人物を含めた撮影時に、人物に対して合焦させる性能を向上させ、人物顔面に対して、最適な露出を獲得する性能を向上させることができる。また、人物を含めた撮影時に、人物顔面に対するカラーバランス性能を向上させることができる。

撮像画像の領域内において、前記顔認定部で前記顔と認定された被写体を明示する顔表示部を更に備えることができる。かかる構成により、撮像画像の領域内で、顔と認定された被写体のみを明示することができる。

また、上記課題を解決するために、本発明の別の観点によれば、結像光学系で結像された光束を電気信号に変換し、前記電気信号を画像信号として出力する第１のステップと、画像信号から人物の顔に該当する顔領域データを検出し、当該顔領域データを予め記憶されている標準顔データと比較して、前記顔領域データの被写体までの第１の被写体距離を取得する第２のステップと、顔領域データの被写体の合焦位置を検出し、当該顔領域データの被写体までの第２の被写体距離を取得する第３のステップと、第１の被写体距離と前記第２の被写体距離とを比較し、前記顔領域データの被写体を前記顔であると認定する第４のステップと、を備えることを特徴とする、撮像方法が提供される。

かかる構成により、第１の測距部で取得された第１の被写体距離と、第２の測距部で取得された第２の被写体距離とを比較し、顔認定部で顔領域データの被写体が、顔であるかどうか認定される。そして、撮影時、人物の顔に該当する顔領域データの被写体について、顔であると正確に認定できる場合が増加し、人物の顔が表示されていない領域について、顔であると認定する誤認を低減させることができる。その結果、誤認による撮影の失敗を減少させることができる。

上記第２のステップでは、顔領域データ内の被写体の面積データを検出し、前記結像光学系の焦点距離と、前記顔の標準面積データと、前記顔までの標準距離との関係が予め格納されたデータベースから、前記焦点距離と前記検出した被写体の面積データとに基づいて、前記第１の被写体距離を取得することができる。かかる構成により、第１の被写体距離は、焦点距離毎の顔の標準面積データと、検出された被写体の面積データとを対比して、顔までの標準距離に基づいて取得される。

上記第３のステップでは、顔領域データの被写体の合焦位置を検出し、当該合焦位置時の前記結像光学系の前記フォーカスレンズの位置と前記焦点距離とに基づいて、前記第２の被写体距離を取得することができる。かかる構成により、第２の被写体距離は、被写体の合焦位置を検出する際に変化するフォーカスレンズの位置に基づいて取得される。

上記第４のステップでは、第１の被写体距離と、前記第２の被写体距離とを比較し、前記顔領域データの信頼性値を算出した後、当該信頼性値に基づいて、前記顔領域データの被写体を前記顔であると認定することができる。かかる構成により、第１の被写体距離と第２の被写体距離とを比較し、算出された信頼性値に基づいて、顔検出部で検出された顔領域データの被写体が、顔であるかどうか認定される。

上記第４のステップにおいて前記顔と認定された被写体に対して、焦点調節、露出調節及びカラーバランス調節のうちいずれかの調節をする第５のステップを更に備えることができる。かかる構成により、顔領域データの被写体を確実に顔であると認定できることから、人物を含めた撮影時に、人物に対して合焦させる性能を向上させ、人物顔面に対して、最適な露出を獲得する性能を向上させることができる。また、人物を含めた撮影時に、人物顔面に対するカラーバランス性能を向上させることができる。

撮像画像の領域内において、前記第４のステップにおいて前記顔と認定された被写体を明示する第６のステップを更に備えることかできる。かかる構成により、撮像画像の領域内で、顔と認定された被写体のみを明示することができる。

本発明によれば、撮像画像領域内から人物の顔を確実に認定することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（本実施形態の構成）
まず、本発明の第１の実施形態に係る撮像装置の構成について説明する。図１は、本実施形態に係る撮像装置を示すブロック図である。

図１に示すように、本実施形態に係る撮像装置は、結像光学系１０２と、モータドライバ１０４と、ＣＣＤ（charge coupled device）１０６と、タイミングジェネレータ１０８と、ＣＰＵ（central processing unit）１１０と、ＣＤＳ／ＡＭＰ１２４と、Ａ／Ｄ変換機１２６と、画像入力コントローラ１２８と、圧縮処理回路１３０と、画像信号処理回路１３２と、メモリ１３４と、メディアコントローラ１３６と、記録メディア１３８と、ＶＲＡＭ１４０と、ビデオエンコーダ１４２と、画像表示装置１４４と、顔検出回路１５０と、顔面距離演算回路１５２と、ＡＦ検出回路１５４と、焦点→被写体距離演算回路１５６とを備える。

結像光学系１０２は、外部の光情報をＣＣＤ１０６に結像させる光学系システムである。結像光学系１０２は、例えば、レンズユニット（図示せず。）と、ズーム機構（図示せず。）と、フォーカスレンズ１０３を有するフォーカス機構（図示せず。）と、開口の大きさを変えて、光束の方向や範囲を限定できる絞り機構（図示せず。）と、レンズを取り付ける筒状の鏡胴（図示せず。）を有している。結像光学系１０２は、例えば、単焦点レンズ又はズームレンズとすることができる。モータドライバ１０４は、例えば、結像光学系１０２のズーム機構、フォーカス機構、絞り機構を駆動する。

ＣＣＤ１０６は、結像光学系１０２を経由して入射した光情報を電気信号に変換する光電変換が可能な素子から構成され、各素子が受光した光に応じた電気信号を生成する。なお、本実施形態では、光電変換素子の一例としてＣＣＤ１０６を適用した場合を示したが、この例に限定されず、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）等を適用することができる。ＣＣＤ１０６の露光時間を制御するため、非撮影時に光を遮って撮影時のみ光が当たるように、メカニカルシャッター（図示せず。）を適用することができる。また、これに限定されず、電子シャッター（図示せず。）を適用してもよい。なお、メカニカルシャッター又は電子シャッターの動作は、ＣＰＵ１１０に接続されたシャッターボタン１２２のスイッチによって行われる。

タイミングジェネレータ１０８は、ＣＣＤ１０６にタイミング信号を入力し、ＣＣＤ１０６を構成している各画素の露光期間の制御や、電荷の読み出し制御を行う。ＣＤＳ／ＡＭＰ（相関二重サンプリング回路（correlated double sampling）／増幅器（amplifier））１２４は、ＣＣＤ１０６から出力された電気信号に含まれる低周波ノイズを除去すると共に、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換機１２６は、アナログの電気信号をデジタル信号に変換する。画像入力コントローラ１２８は、画像音声処理をするためデジタル信号の処理を行う。圧縮処理回路１３０は、デジタル信号からなる入力画像データをＪＰＥＧ圧縮形式、またはＬＺＷ圧縮形式などの圧縮形式で圧縮されたデータへと変換する。画像信号処理回路１３２は、画像を合成し、合成された画像は、メモリ１３４に出力される。上記のＣＤＳ／ＡＭＰ１２４、Ａ／Ｄ変換機１２６、画像入力コントローラ１２８、圧縮処理回路１３０、画像信号処理回路１３２から構成される処理部は、画像信号処理部の一例である。

メモリ１３４は、例えばＳＤＲＡＭ（synchronous DRAM）等の半導体記憶素子から構成され、時分割撮影された画像が一時的に保存される。また、メモリ１３４には、ＣＰＵ１１０の動作プログラムが保存される。メディアコントローラ１３６は、記録メディア１３８への画像データの書き込み、又は記録メディア１３８に記録された画像データや設定情報などの読み出しを制御する。記録メディア１３８は、例えば、光学式記録媒体、光磁気ディスク、磁気ディスク、半導体記憶媒体などから構成され、撮影された画像データを記録する。記録メディア１３８は、撮像装置から着脱可能に構成されてもよい。ＶＲＡＭ１４０は、画像表示用のメモリであり、表示画像の書き込みと画像表示装置１４４への表示を同時に実行できるように、複数のチャネルを有するメモリから構成される。ビデオエンコーダ１４２は、動画像の圧縮処理をし、圧縮されたフレームを画像表示装置１４４へ出力する。画像表示装置１４４は、例えばＬＣＤ等の表示手段から構成され、ＶＲＡＭ１４０から読み出された画像が表示される。

顔検出回路１５０は、撮像装置１００が取得した撮像画像の画像信号から人物の顔に該当する顔領域データを検出する。顔領域データは、例えば、撮像画像内の被写体の相対的な位置や、被写体の大きさといった属性を有する。顔検出回路１５０は、更に顔領域データ内の被写体の面積データを検出する。顔検出回路１５０は、顔検出部の一例である。

顔面距離演算回路１５２は、顔検出回路１５０で検出された顔領域データ内の被写体の大きさと、結像光学系１０２の焦点距離と、顔の標準面積データが記録されたＴａｂｌｅ１２０によって、撮像装置１００から被写体までの被写体距離Ｄ１を取得する。顔検出回路１５０及び顔面距離演算回路１５２は、第１の測距部の一例である。なお、図１では、顔検出回路１５０及び顔面距離演算回路１５２は、別のものとして図示したが、この例に限定されず、顔検出回路１５０は、顔面距離演算回路１５２に含まれるとしてもよい。また、顔検出回路１５０及び顔面距離演算回路１５２は、ＣＰＵ１１０に含まれるとしてもよい。

ＡＦ検出回路１５４は、顔検出回路１５０で検出された顔領域データの被写体の合焦位置を検出する。ＡＦ検出回路１５４は、合焦位置検出部の一例である。合焦位置の検出は、フォーカスレンズ１０３を駆動してＡＦ評価値を取得することによって行う。合焦位置は、フォーカスレンズ１０３を移動させて、画像信号中の高周波成分を抽出し、撮像画像領域のうち例えば合焦を目的とする所定の領域について抽出された信号を積分することによって算出される。当該所定の領域のＡＦ評価値は、最大値を１つ有する曲線からなり、ＡＦ評価値が最大となるフォーカスレンズ１０３の位置が最も合焦している位置とみなすことができる。

焦点→被写体距離演算回路１５６は、フォーカスレンズ１０３の合焦位置時の相対的な位置と、結像光学系１０２の焦点距離とに基づいて、撮像装置１００から被写体までの被写体距離Ｄ２を取得する。ＡＦ検出回路１５４及び焦点→被写体距離演算回路１５６は、第２の測距部の一例である。なお、図１では、ＡＦ検出回路１５４及び焦点→被写体距離演算回路１５６は、別のものとして図示したが、この例に限定されず、ＡＦ検出回路１５４は、焦点→被写体距離演算回路１５６に含まれるとしてもよい。また、ＡＦ検出回路１５４及び焦点→被写体距離演算回路１５６は、ＣＰＵ１１０に含まれるとしてもよい。

ＣＰＵ１１０は、撮像装置１００の各構成部品に対して信号の送受信を行って、各構成部品を制御する。ＣＰＵ１１０は、信頼性算出部１１２と、顔認定部１１４と、調節部１１６と、顔表示部１１８とを有する。

ＣＰＵ１１０は、Ｔａｂｌｅ１２０を読み込む。Ｔａｂｌｅ１２０は、結像光学系１０２の焦点距離と、顔の標準面積データと、顔までの標準距離との関係が記録されている。Ｔａｂｌｅ１２０は、データベースの一例である。結像光学系１０２の焦点距離は、結像光学系１０２が単焦点レンズである場合は、固定され、結像光学系１０２がズームレンズである場合は、可変である。なお、上述では、Ｔａｂｌｅ１は、ＣＰＵ１１０に読み込まれるとしたが、顔面距離演算回路１５２がＴａｂｌｅ１を備えているとしてもよい。

信頼性算出部１１２は、被写体距離Ｄ１と被写体距離Ｄ２とを比較し、顔領域データの信頼性値を算出する。顔認定部１１４は、信頼性算出部１１２で算出された信頼性値に基づいて、顔領域データの被写体を顔であると認定する機能を有する。

調節部１１６は、顔認定部１１４で顔と認定された被写体について、撮影条件についての所定の調節をする。具体的には、調節部１１６は、モータドライバ１０４に信号を出力してフォーカスレンズ１０３を駆動し、被写体に対して焦点調節をする。また、調節部１１６は、モータドライバ１０４に信号を出力して絞り機構を駆動し、被写体に対して露出調節をする。調節部１１６は、ＣＰＵ１１０に信号を送ることにより、撮像画像内の被写体に対してカラーバランス調節をする。

顔表示部１１８は、撮像画像が画像表示装置１４４の画面に表示される際、撮像画像の領域内において、顔認定部１１４で顔と認定された被写体を明示する。顔表示部１１８は、例えば、被写体の周囲に顔表示枠として、四角形状の枠を表示する。

（本実施形態の動作）
次に、本実施形態に係る撮像装置の動作について説明する。図２は、本実施形態に係る撮像装置の動作を示すフロー図である。

まず、撮像装置を用いて、撮影をする際、撮影準備状態では、結像光学系１０２からＣＣＤ１０６に入射した光情報が、ＣＣＤ１０６で電気信号に変換される。そして、ＣＤＳ／ＡＭＰ１２４で、電気信号は、低周波ノイズが除去されて、任意のレベルまで増幅される。次に、Ａ／Ｄ変換機１２６で、電気信号はデジタル信号に変換され、画像入力コントローラ１２８、圧縮処理回路１３０、画像信号処理回路１３２、ビデオエンコーダ１４２を介して、圧縮化されたデータが画像表示装置１４４に出力される。

撮影準備状態では、画像表示装置１４４に動画像（スルー画像）が表示される。このとき、撮像装置１００は、スルー画像を表示しながら、シャッターボタン１２２の押下を待機している状態にある。ＶＲＡＭ１４０には、画像を表示する面と取り込む面で分けられた２面分の領域が保持される。これらをフレーム単位で切り替えて繰り返すことで、スルー画像が形成される（ステップＳ１０２）。

シャッターボタン１２２が押下されたら、顔検出回路１５０が、押下直前に表示した撮像画像の画像信号から人物の顔に該当する顔領域データを検出し、更に顔領域データから被写体の大きさを検出する（ステップＳ１０４）。次に、顔面距離演算回路１５２が、顔検出回路１５０で検出された顔領域データ内の被写体の大きさと、Ｔａｂｌｅ１２０を照合することによって、撮像装置１００から被写体までの被写体距離Ｄ１を算出する（ステップＳ１０６）。

一方、ＡＦ検出回路１５４は、顔検出回路１５０で取得された顔領域データ内の被写体の合焦位置、及び画像中央領域の合焦位置を検出する（ステップＳ１０８）。そして、焦点→被写体距離演算回路１５６が、合焦点位置時の結像光学系１０２におけるフォーカスレンズ１０３の相対的な位置と、焦点距離とに基づいて、撮像装置１００から被写体までの被写体距離Ｄ２を取得する（ステップＳ１１０）。

次に、信頼性算出部１１２が、被写体距離Ｄ１と被写体距離Ｄ２を比較し、顔領域データの信頼性値を算出する（ステップＳ１１２）。更に、顔認定部１１４は、信頼性算出部１１２で算出された信頼性値に基づいて、顔領域データの被写体を顔であると認定する（ステップＳ１１４）。

顔認定部１１４が、顔領域データの被写体を顔であると認定した場合（ステップＳ１１６）は、顔表示部１１８は、撮像画像の領域内において、顔と認定された被写体の周囲に顔表示枠を表示する（ステップＳ１１８）。更に、ＣＰＵ１１０は、顔と認定された被写体を焦点領域と決定する。（ステップＳ１２０）。

一方、顔認定部１１４が、顔領域データの被写体を顔ではないと判定した場合（ステップＳ１１６）は、顔表示部１１８は、当該被写体に対して、顔表示枠を表示しない。または、被写体の周囲に顔表示枠が表示されていた場合には、その顔表示枠を消去する（ステップＳ１２２）。そして、撮像画像内に顔と認定できる領域がないと認定されたとき、ＣＰＵ１１０は、撮像画像の中央領域を焦点領域と決定する（ステップＳ１２４）。

そして、調節部１１６は、顔領域データの被写体又は撮像画像の中央領域に設けられた焦点領域に対して焦点調節をする。即ち、ＣＰＵ１１０がモータドライバ１０４を駆動し、フォーカスレンズ１０３を移動させて、焦点領域にピントを合わせる（ステップＳ１２６）。

以上より、フォーカスレンズ１０３の合焦点位置が決定すると、ＣＣＤ１０６を露光させる。そして、ＣＣＤ１０６で、光情報が光電変換されて電気信号が出力される。更に電気信号は、ＹＣ変換やＪＰＥＧ方式の圧縮がされ、記録メディア１３８に画像データが記録される。

次に、本実施形態に係る撮像装置の各動作の詳細について説明する。

まず、図３を参照して、人物の顔を検出し（ステップＳ１０２）、被写体までの被写体距離Ｄ１を算出する動作（ステップＳ１０４）について説明する。図３は、本実施形態に係る撮像装置による被写体距離算出を示す説明図である。

図３に示す３つの図は、同一の焦点距離における撮像画像を示している。図３の中段の図には、当該焦点距離の標準となる顔の大きさを示す標準顔領域１６０が表されている。標準顔領域１６０の面積は、当該焦点距離の顔面標準面積Ａとして、単位がピクセル（ｐｉｘｅｌ）で、Ｔａｂｌｅ１２０に保存されている。また、Ｔａｂｌｅ１２０には、撮像画像内で顔の大きさが顔面標準面積Ａと同一であるときの、顔から撮像装置１００までの距離が定義距離Ｐ（ｍ）として保存されている。

下記にＴａｂｌｅ１２０の一例を示す。

図３の上段の図には、撮像画像内に人物１７０が捉えられている状態を示している。撮像画像内に人物１７０の顔１７２があることから、顔検出回路１５０は、データパターンを照合して、顔１７２の部分に顔領域１６２を検出する。そして、顔検出回路１５０は、顔領域１６２から顔１７２の面積を検出する。

次に、被写体距離Ｄ１を算出する動作（ステップＳ１０６）について説明する。

顔面距離演算回路１５２が、顔検出回路１５０で検出された顔領域１６２の面積と、Ｔａｂｌｅ１２０を照合することによって、撮像装置１００から被写体までの被写体距離Ｄ１を算出する。具体的には、顔面距離演算回路１５２は、撮影時の焦点距離ｆを判断し、Ｔａｂｌｅ１２０から焦点距離ｆに該当する顔面標準面積Ａ及び定義距離Ｐを取得する。

次に、顔面距離演算回路１５２は、下記の数式１を用いて、撮像装置１００から被写体までの被写体距離Ｄ１を算出する。

ここで、Ｄ１：被写体距離（ｍ）、Ａ：顔面標準面積（ｐｉｘｅｌ）、Ｂ：顔検出回路で検出された顔領域の面積、Ｐ：定義距離（ｍ）、Ｋ：調整係数である。なお、調整係数Ｋは、撮像装置１００の特性などに依存する係数である。

顔領域１６２の面積は、標準顔領域１６０に比べて小さい。従って、数式１によれば、被写体距離Ｄ１は、定義距離Ｐよりも大きい値が得られ、撮像装置１００から顔１７２までの距離は定義距離Ｐよりも遠くにあるという結果が得られる。

一方、図３の下段の図にも、撮像画像内に人物１７０が捉えられている状態を示している。撮像画像内に人物１７０の顔１７２があることから、顔検出回路１５０は、データパターンを照合して、顔１７２の部分に顔領域１６４を検出する。そして、顔検出回路１５０は、顔領域１６４から顔１７２の面積を検出する。そして、上述と同様に、顔面距離演算回路１５２が、顔検出回路１５０で検出された顔領域１６４の面積と、Ｔａｂｌｅ１２０を照合することによって、撮像装置１００から被写体までの被写体距離Ｄ１を算出する。

顔領域１６４の面積は、標準顔領域１６０に比べて大きい。従って、数式１によれば、被写体距離Ｄ１は、定義距離Ｐよりも小さい値が得られ、撮像装置１００から顔１７２までの距離は定義距離Ｐよりも近くにあるという結果が得られる。

次に、ＡＦ検出回路１５４が、顔領域１６２内の被写体の合焦位置を検出する動作（ステップＳ１０８）について説明する。図４は、本実施形態に係る合焦位置検出動作を示すフローチャートである。図５は、本実施形態に係る合焦位置検出動作の概念を示す説明図である。図６は、本実施形態に係る画像内で焦点領域及び顔表示枠が表示された状態を示す説明図である。

合焦位置の検出は、図４に示すように、フォーカスレンズ１０３を駆動し（ステップＳ２０２）、その段階のＡＦ評価値を取得し（ステップＳ２０４）、合焦位置の探索が完了したかどうかを判断して（ステップＳ２０６）、探索が完了するまでフォーカスレンズを段階的に駆動してＡＦ評価値を取得するという動作を繰り返すことで行われる。

具体的には、フォーカスレンズ１０３は、結像光学系１０２に対して、フォーカスレンズ１０３の焦点面の相対的な位置０（μｍ）からｍ（μｍ）まで駆動される。なお、焦点面の位置が０（μｍ）であるとき、被写界深度は無限遠であり、焦点面の位置がｍ（μｍ）であるとき、被写体深度はＭ（ｍ）である。

フォーカスレンズ１０３は、モータドライバ１０４によって段階的に駆動され、各段階で、ＡＦ検出回路１５４が、顔検出回路１５０で検出された顔領域データ、及び画像中央領域について、ＡＦ評価値を取得する。

図６は、画像内で、人物１７０の顔１７２で検出された顔領域に顔表示枠１６６が表示され、樹木１９０で検出された顔領域に顔表示枠１６８が表示されている状態を示している。このとき、ＡＦ検出回路１５４は、人物１７０の顔１７２で検出された顔領域に対応する焦点領域１８２と、樹木１９０で検出された顔領域に対応する焦点領域１８４と、画面中央領域に対応する焦点領域１８０とで、ＡＦ評価値を取得する。

図５に示すように、各焦点領域でのＡＦ評価値が取得されることによって、フォーカスレンズ１０３がどの位置にあるときに最も合焦するかを判断することができる。なお、フォーカスレンズ１０３が段階的に移動し、各焦点領域で取得されたＡＦ評価値は、メモリに保存される。従って、ＡＦ検出回路１５４は、ＡＦ評価値が最大であるときのフォーカスレンズ１０３の位置を最も合焦している位置とみなすことができ、ＡＦ検出回路１５４は、そのときのフォーカスレンズ１０３の相対的な位置を取得する。

次に、焦点→被写体距離演算回路１５６が、フォーカスレンズ１０３の相対的な位置と、焦点距離とに基づいて、撮像装置１００から被写体までの被写体距離Ｄ２を取得する動作（ステップＳ１１０）について説明する。

焦点→被写体距離演算回路１５６は、下記の数式２を用いて、撮像装置１００から被写体までの被写体距離Ｄ２を算出する。

ここで、Ｄ２：被写体距離（ｍ）、ｆ：焦点距離（ｍｍ）、ｘ：合焦位置のフォーカスレンズの位置である。

数式２によれば、焦点→被写体距離演算回路１５６は、結像光学系１０２の焦点距離ｆと、合焦位置のフォーカスレンズ１０３の位置から、被写体距離Ｄ２が算出される。

次に、信頼性算出部１１２が、被写体距離Ｄ１と被写体距離Ｄ２を比較し、顔領域データの信頼性値を算出する動作（ステップＳ１１２）について説明する。ここで、信頼性算出部１１２は、まず、下記の数式３を用いて、撮像装置１００から被写体までの被写体距離Ｄ１と被写体距離Ｄ２を比較し、顔領域データの相関値（％）を算出する。

ここで、Ｓ：相関値（％）である。

相関値は、１００％に近いほど、被写体距離Ｄ１と被写体距離Ｄ２が近い値であることを示し、１００％から離れるほど、被写体距離Ｄ１と被写体距離Ｄ２が相互に離れた値であることを示す。

そして、信頼性算出部１１２は、図８に示すような信頼性値と相関値との関係から、信頼性値を算出する。図８は、本実施形態に係る信頼性値算出式を示す説明図である。図８に示す信頼性算出式は、相関値が１００％前後であるとき、信頼性値が１であり、相関値の１００％前後の領域から離れると信頼性値が減少する。なお、信頼性値が１であるときの相関値の値は、撮像装置１００の条件に応じて変えることができる。

次に、顔認定部１１４が、信頼性算出部１１２で算出された信頼性値に基づいて、顔領域データの被写体を顔であると認定する動作（ステップＳ１１４）について説明する。図７は、本実施形態に係る画像内で顔表示枠が表示された状態を示す説明図である。

顔認定部１１４は、予め信頼性値について閾値を決定しておき、信頼性値が当該閾値以上であれば、顔検出回路１５０で検出された顔領域データの被写体を顔であると認定し、信頼性値が当該閾値未満であれば、顔領域データの被写体を顔ではないと認定する。

以上より、顔面距離演算回路１５２で取得された被写体距離Ｄ１と、焦点→被写体距離演算回路１５６で取得された被写体距離Ｄ２とを比較し、相互に近い値であれば、顔検出回路１５０で検出された顔領域データの被写体が顔であると認定される。そして、顔認定部１１４が、顔領域データの被写体を顔であると認定した場合（ステップＳ１１６）は、図７に示すように、顔表示部１１８は、撮像画像の領域内において、顔と認定された被写体の周囲に顔表示枠１６６を表示する（ステップＳ１１８）。一方、顔認定部１１４が、顔領域データの被写体を顔ではないと判定した場合（ステップＳ１１６）は、図６に示すように、被写体の周囲に顔表示枠１６８が表示されていた場合には、その顔表示枠１６８を消去し（ステップＳ１２２）、結果的に顔表示枠１６６のみが画像上に表示される。

本実施形態によれば、撮像装置によって撮影する際、人物の顔が表示された領域について、顔であると正確に認識することができる場合が増加し、樹木などの人物の顔が表示されていない領域について、顔であるとする誤認を低減させることができる。その結果、誤認による撮影の失敗を減少させることができる。また、確実に顔であると認識することができることから、人物を含めた撮影時に、人物に対して合焦させる撮像装置の性能を向上させることができ、また、人物顔面に対して、最適な露出を獲得する性能やカラーバランス性能を向上させることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の第１の実施形態に係る撮像装置を示すブロック図である。 同実施形態に係る撮像装置の動作を示すフロー図である。 同実施形態に係る撮像装置による被写体距離算出を示す説明図である。 同実施形態に係る合焦位置検出動作を示すフローチャートである。 同実施形態に係る合焦位置検出動作の概念を示す説明図である。 同実施形態に係る画像内で焦点領域及び顔表示枠が表示された状態を示す説明図である。 同実施形態に係る画像内で顔表示枠が表示された状態を示す説明図 同実施形態に係る信頼性値算出式を示す説明図である。

符号の説明

１００ 撮像装置
１０２ 結像光学系
１０４ モータドライバ
１０６ ＣＣＤ
１０８ タイミングジェネレータ
１１０ ＣＰＵ
１１２ 信頼性算出部
１１４ 顔認定部
１１６ 調節部
１１８ 顔表示部
１２０ Ｔａｂｌｅ
１２４ ＣＤＳ／ＡＭＰ
１２６ Ａ／Ｄ変換機
１２８ 画像入力コントローラ
１３０ 圧縮処理回路
１３２ 画像信号処理回路
１３４ メモリ
１３６ メディアコントローラ
１３８ 記録メディア
１４０ ＶＲＡＭ
１４２ ビデオエンコーダ
１４４ 画像表示装置
１５０ 顔検出回路
１５２ 顔面距離演算回路
１５４ ＡＦ検出回路
１５６ 焦点→被写体距離演算回路

Claims (12)

1. 焦点調節が可能なフォーカスレンズを有する結像光学系と、
   光情報を電気信号に変換する光電変換素子と、
   前記電気信号を画像信号として出力する画像信号処理部と、
   前記画像信号から人物の顔に該当する顔領域データを検出し、当該顔領域データを予め記憶手段に記憶されている標準顔データと比較して、前記顔領域データの被写体までの第１の被写体距離を取得する第１の測距部と、
   前記顔領域データの被写体の合焦位置を検出し、当該顔領域データの被写体までの第２の被写体距離を取得する第２の測距部と、
   前記第１の被写体距離と前記第２の被写体距離とを比較し、前記顔領域データの被写体を前記顔であると認定する顔認定部と、
   を備えることを特徴とする、撮像装置。
2. 前記第１の測距部は、
   前記顔領域データ内の被写体の面積データを検出する顔検出部と、
   前記結像光学系の焦点距離と、前記顔の標準面積データと、前記顔までの標準距離との関係を前記記憶手段に格納するデータベースと、
   を備え、
   前記データベースから読み出した前記焦点距離と前記検出された被写体の面積データとに基づいて、前記第１の被写体距離を取得することを特徴とする、請求項１に記載の撮像装置。
3. 前記第２の測距部は、
   前記顔領域データの被写体の合焦位置を検出する合焦位置検出部と、
   を備え、
   前記合焦位置時の前記結像光学系の前記フォーカスレンズの位置と前記焦点距離とに基づいて、前記第２の被写体距離を取得することを特徴とする、請求項２に記載の撮像装置。
4. 前記第１の被写体距離と、前記第２の被写体距離とを比較し、前記顔領域データの信頼性値を算出する信頼性値算出部を更に備え、
   前記顔認定部は、前記信頼性値に基づいて、前記顔領域データの被写体を前記顔であると認定することを特徴とする、請求項１〜３のいずれかに記載の撮像装置。
5. 前記顔認定部で前記顔と認定された被写体に対して、焦点調節、露出調節及びカラーバランス調節のうち少なくともいずれかの調節をする調節部を更に備えることを特徴とする、請求項１〜４のいずれかに記載の撮像装置。
6. 撮像画像の領域内において、前記顔認定部で前記顔と認定された被写体を明示する顔表示部を更に備えたことを特徴とする、請求項１〜５のいずれかに記載の撮像装置。
7. 結像光学系で結像された光束を電気信号に変換し、前記電気信号を画像信号として出力する第１のステップと、
   前記画像信号から人物の顔に該当する顔領域データを検出し、当該顔領域データを予め記憶されている標準顔データと比較して、前記顔領域データの被写体までの第１の被写体距離を取得する第２のステップと、
   前記顔領域データの被写体の合焦位置を検出し、当該顔領域データの被写体までの第２の被写体距離を取得する第３のステップと、
   前記第１の被写体距離と前記第２の被写体距離とを比較し、前記顔領域データの被写体を前記顔であると認定する第４のステップと、
   を備えることを特徴とする、撮像方法。
8. 前記第２のステップでは、
   前記顔領域データ内の被写体の面積データを検出し、前記結像光学系の焦点距離と、前記顔の標準面積データと、前記顔までの標準距離との関係が予め格納されたデータベースから、前記焦点距離と前記検出した被写体の面積データとに基づいて、前記第１の被写体距離を取得することを特徴とする、請求項７に記載の撮像方法。
9. 前記第３のステップでは、
   前記顔領域データの被写体の合焦位置を検出し、当該合焦位置時の前記結像光学系の前記フォーカスレンズの位置と前記焦点距離とに基づいて、前記第２の被写体距離を取得することを特徴とする、請求項８に記載の撮像方法。
10. 前記第４のステップでは、
    前記第１の被写体距離と、前記第２の被写体距離とを比較し、前記顔領域データの信頼性値を算出した後、当該信頼性に基づいて、前記顔領域データの被写体を前記顔であると認定することを特徴とする、請求項７〜９のいずれかに記載の撮像方法。
11. 前記第４のステップにおいて前記顔と認定された被写体に対して、焦点調節、露出調節及びカラーバランス調節のうちいずれかの調節をする第５のステップを更に備えることを特徴とする、請求項７〜１０のいずれかに記載の撮像方法。
12. 撮像画像の領域内において、前記第４のステップにおいて前記顔と認定された被写体を明示する第６のステップを更に備えたことを特徴とする、請求項７〜１１のいずれかに記載の撮像方法。

Images