[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4843002B2 - 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム - Google Patents

撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP4843002B2
JP4843002B2 JP2008190505A JP2008190505A JP4843002B2 JP 4843002 B2 JP4843002 B2 JP 4843002B2 JP 2008190505 A JP2008190505 A JP 2008190505A JP 2008190505 A JP2008190505 A JP 2008190505A JP 4843002 B2 JP4843002 B2 JP 4843002B2
Authority
JP
Japan
Prior art keywords
scan
focus
processing
face
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008190505A
Other languages
English (en)
Other versions
JP2009199049A (ja
JP2009199049A5 (ja
Inventor
哲夫 三瀬
英滋 新宅
学 山内
俊樹 小野
博之 根本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008190505A priority Critical patent/JP4843002B2/ja
Priority to US12/358,917 priority patent/US8379138B2/en
Priority to CN2009100084665A priority patent/CN101494735B/zh
Publication of JP2009199049A publication Critical patent/JP2009199049A/ja
Publication of JP2009199049A5 publication Critical patent/JP2009199049A5/ja
Application granted granted Critical
Publication of JP4843002B2 publication Critical patent/JP4843002B2/ja
Priority to US13/607,188 priority patent/US8493493B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、フォーカス制御を行なう撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。
昨今の多くのスチルカメラやビデオカメラなどの撮像装置は、被写体に対するフォーカスを自動的に合わせるオートフォーカス(AF)機構を搭載している。例えば多くのカメラで用いられているコントラスト測定に基づくフォーカス制御は、レンズを介して取得された撮像データのコントラストの高低を判断してフォーカス位置を決定する。すなわちフォーカスレンズを動かしながら画像のコントラスト強度が最大となる位置を検出し、この位置を合焦位置とするものである。
なお、フォーカスレンズを動かす範囲はスキャン範囲とよばれ、一般的に至近側〜無限遠側の範囲をスキャン範囲としてレンズ駆動が行なわれ、スキャン範囲で、複数のコントラスト計測点であるサンプリングポイントを設定して合焦位置を決定する。
オートフォーカス(AF)を利用した撮影では、一般的に至近側〜無限遠側の範囲をスキャン範囲としてレンズ駆動が行なわれるため、フォーカス位置の決定までに時間を要するという問題がある。すなわち、ピント合わせのためのフォーカス駆動量(スキャンAFのサンプリングポイント数)が増加し、焦点調整にかかる時間が長くなるという欠点がある。特に、焦点距離の長い高倍率な光学系を使用している場合はその影響を受けやすい。
このような問題を回避するために、例えば、至近側〜無限遠側の全範囲をスキャン範囲とすることなく、その一部区間のみをスキャン範囲、すなわちレンズ駆動範囲として設定して合焦位置検出を行なう構成が提案されている。
例えば、特許文献1(特開平9−211298号公報)、特許文献2(特開2003−262786号公報)、特許文献3(特開2003−230039号公報)、特許文献4(特開2005−202064号公報)には、フォーカスレンズの駆動範囲を近接領域と遠景領域に分割し、スキャンAFにおけるピント合わせまでのトータル時間を短くする構成を開示している。
具体的には、特許文献1(特開平9−211298号公報)は、フォーカスレンズの移動領域を移動可能領域と移動禁止領域とに区分して、駆動範囲を限定する構成を開示している。特許文献2(特開2003−262786号公報)は、スキャン範囲を分割し、例えばユーザによって指定された一方の範囲に制限してスキャンAFする構成を開示している。
特許文献3(特開2003−230039号公報)は、撮影範囲を限定するための距離指定ボタンを設定し、距離指定ボタンからの入力に応じてAFスキャンの範囲を限定する構成を開示している。特許文献4(特開2005−202064号公報)にもスキャン範囲を限定しフォーカス時間を短くする構成が開示されている。
このように、スキャン範囲の限定により、オートフォーカス(AF)の処理時間を短縮する構成については複数の技術が開示されている。
また、昨今のカメラには、被写体までの距離に応じて最適な撮影モードに切り替えて撮影を行うことを可能としたものもある。例えば被写体までの距離が数十cm程度の近い近景領域(マクロ領域)の撮影に適したマクロモードや、さらに近い数cm程度の至近距離(拡大鏡領域)の撮影に適した拡大鏡モード(あるいは虫眼鏡モード)などを備えたカメラがある。これらのモードでの撮影では、フォーカス領域を特定の範囲に設定したフォーカスリミットを設定した撮影を行なう。
このようなモードを備えたカメラは、現在のフォーカス位置によってマクロ領域や拡大鏡領域なのかをアイコン等でユーザにお知らせする技術が知られている。また、特許文献5(特開2003−241069号公報)や特許文献6(特開2005−260792号公報)のように、測距した距離情報をもとに通常撮影モードにするかマクロ撮影モードにするかの警告を表示するものを提示されている。しかし、これらの文献に記載の構成のように警告を発行すると、シャッターチャンスを逃す場合が少なくない。
また、測距センサー等を搭載しないコンパクトカメラでは、画像処理AFが主体であり、測距については、モニタリングAFやスキャンAFをして合焦したときのフォーカスレンズ位置から知るしかない。スキャンAFの動作は、被写体距離が近い位置(マクロ領域)であることを検出した場合には自動的にマクロモードに移行するいわゆるオートマクロ動作を前提にしている。従って、前述の特許文献5(特開2003−241069号公報)や特許文献6(特開2005−260792号公報)のように領域ごとにフォーカスリミットはかからないため、失敗画像を撮ってしまうことが少ない。
このようなオートマクロ搭載機器は、被写体がマクロ領域にあるか否かの情報(例えばチューリップアイコンの表示)を、シャッターの半押し前のモニタリングAF情報から現在のフォーカス位置を算出しその情報に従って表示する設定としているものが多い。しかし、このようなアイコン表示処理は、主にモニタリングAF時のフォーカス情報に基づいて実行しており、ユーザが、撮影しようとしてパン・チルト、ズームなどで画角を変えたりすると、モニタリングAFの方が追従に時間がかかり、アイコンを不適切に出力したり、マクロ領域や拡大鏡領域にフォーカス位置があるのに、アイコンが出力されないといった弊害をもたらす場合がある。
また、明るさが十分でない場合には補助光を発光させて撮影する制御を行うカメラがある。しかし、このようなカメラの多くは被写体がマクロ領域や拡大鏡領域にある場合と、通常の遠景領域にある場合とで、同じ強度の光を発光させて撮影を行わせる構成となっており、マクロ領域や拡大鏡領域にある場合には余分な強度の光となる場合も少なくなく電力消費を過大にしてしまうという問題もある。
特開平9−211298号公報 特開2003−262786号公報 特開2003−230039号公報 特開2005−202064号公報 特開2003−241069号公報 特開2005−260792号公報
昨今のカメラには人物の顔を検出し、顔に対するフォーカス制御を行なって人物の顔をきれいに撮影するといったカメラも多く利用されている。顔検出を行なう場合、カメラは顔検出処理を継続的に実行し、顔までのおおよその距離を算出する処理を実行することになる。カメラの取得画像のモニタリングによるフォーカス情報を利用することで被写体に対する距離推定情報を得ることも可能である。
本発明は、カメラの撮影時のオートフォーカス時において、顔検出情報や、モニタリング情報など、カメラの様々なモードにおいて利用可能な情報を選択的に適用して最適なAFスキャン範囲の設定を実行して、短時間で正確な合焦処理(ピント合わせ)を実現する撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明は、さらに、被写体距離に応じた補助光の発光制御を実行して電力消費を抑制することを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
撮像装置であり、
フォーカスレンズを移動させてフォーカス位置の検出を行なう制御部を有し、
前記制御部は、
フォーカスレンズの可動範囲の一部のみをスキャン範囲として設定したオートフォーカス(AF)スキャン処理を第1スキャン処理として実行し、
前記第1スキャン処理において合焦位置が検出されない場合に、
前記第1スキャン処理のスキャン領域と異なる領域および重複領域を含む領域をスキャン範囲として設定したオートフォーカス(AF)スキャン処理を第2スキャン処理として実行する構成であり、
前記第1スキャン処理を、
(a)撮像装置の設定モードが顔検出モードであり、顔検出がなされている場合には、顔検出処理によって検出された顔の距離(Df)を顔の大きさの基準値(Wref)と撮像素子の幅(Wi)と焦点距離(f)と、撮影画像における顔の幅のピクセル数(Wf)と、撮影画像の幅のピクセル数(Ww)に基づく以下の式、
Df=Wref×(f/Wi)×(Ww/Wf)
上記式に従って算出し、算出した顔の距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
(b)撮像装置の設定モードがモニタリングモードである場合は、撮像装置の取得画像のモニタリング処理においてコントラスト測定に基づいて周期的に取得する被写体距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
(c)撮像装置の設定モードが顔検出モードで顔検出がなされていない場合、または、撮像装置の設定モードが顔検出モードでもモニタリングモードでもない場合は、撮影対象となる被写体の推定距離である被写体距離を撮像素子の高さおよび焦点距離と被写体の高さ情報から算出し、算出した被写体距離に対応するフォーカスレンズ位置を含む近傍領域の一方の端部位置をスキャン開始位置として、該スキャン開始位置から前記近傍領域の他方の端部位置方向にのみフォーカスレンズを移動させるスキャン処理、
上記(a),(b),(c)いずれかのスキャン処理として実行し、
前記第1スキャン処理において合焦位置が検出された場合に、前記第2スキャン処理を行わずにスキャン処理を終了する撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記第2スキャン処理として、フォーカスレンズの可動範囲の全領域をスキャン範囲として設定したスキャン処理を実行することを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記第1スキャン処理において合焦位置が検出されない場合に、前記第1スキャン処理におけるスキャン処理範囲以外の領域を含む領域をスキャン範囲として設定した第2スキャン処理を実行する構成である。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記被写体距離を、
被写体距離[m]=(焦点距離)×(被写体の高さ)/(イメージャの高さ)/1000
上記式によって算出することを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記第1スキャン処理において合焦位置が検出されない場合に、前記第1スキャン処理のスキャン領域を含み、かつ、フォーカスレンズの可動範囲の一部領域のみをスキャン範囲として設定した第2スキャン処理を実行し、前記第2スキャン処理において、合焦位置が検出されない場合に、前記第2スキャン処理におけるスキャン処理範囲以外の領域を含む領域をスキャン範囲として設定した第3スキャン処理を実行する構成である。
さらに、本発明の第2の側面は、
撮像装置において実行する撮像装置制御方法であり、
制御部が、フォーカスレンズを移動させてフォーカス位置の検出を行なうフォーカス制御ステップを有し、
前記フォーカス制御ステップは、
フォーカスレンズの可動範囲の一部のみをスキャン範囲として設定したオートフォーカス(AF)スキャン処理を実行する第1スキャン処理ステップと、
前記第1スキャン処理において合焦位置が検出されない場合に、
前記第1スキャン処理のスキャン領域と異なる領域および重複領域を含む領域をスキャン範囲として設定したオートフォーカス(AF)スキャン処理を実行する第2スキャン処理ステップを含み、
前記第1スキャン処理ステップは、
(a)撮像装置の設定モードが顔検出モードであり、顔検出がなされている場合には、顔検出処理によって検出された顔の距離(Df)を顔の大きさの基準値(Wref)と撮像素子の幅(Wi)と焦点距離(f)と、撮影画像における顔の幅のピクセル数(Wf)と、撮影画像の幅のピクセル数(Ww)に基づく以下の式、
Df=Wref×(f/Wi)×(Ww/Wf)
上記式に従って算出し、算出した顔の距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
(b)撮像装置の設定モードがモニタリングモードである場合は、撮像装置の取得画像のモニタリング処理においてコントラスト測定に基づいて周期的に取得する被写体距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
(c)撮像装置の設定モードが顔検出モードで顔検出がなされていない場合、または、撮像装置の設定モードが顔検出モードでもモニタリングモードでもない場合は、撮影対象となる被写体の推定距離である被写体距離を撮像素子の高さおよび焦点距離と被写体の高さ情報から算出し、算出した被写体距離に対応するフォーカスレンズ位置を含む近傍領域の一方の端部位置をスキャン開始位置として、該スキャン開始位置から前記近傍領域の他方の端部位置方向にのみフォーカスレンズを移動させるスキャン処理、
上記(a),(b),(c)いずれかのスキャン処理として実行するステップであり、
前記第1スキャン処理において合焦位置が検出された場合に、前記第2スキャン処理を行わずにスキャン処理を終了する撮像装置制御方法にある。
さらに、本発明の第3の側面は、
撮像装置において像装置制御処理を実行させるコンピュータ・プログラムであり、
制御部に、フォーカスレンズを移動させてフォーカス位置の検出を行なわせるフォーカス制御ステップを有し、
前記フォーカス制御ステップは、
フォーカスレンズの可動範囲の一部のみをスキャン範囲として設定したオートフォーカス(AF)スキャン処理を実行させる第1スキャン処理ステップと、
前記第1スキャン処理において合焦位置が検出されない場合に、
前記第1スキャン処理のスキャン領域と異なる領域および重複領域を含む領域をスキャン範囲として設定したオートフォーカス(AF)スキャン処理を実行させる第2スキャン処理ステップを含み、
前記第1スキャン処理ステップは、
(a)撮像装置の設定モードが顔検出モードであり、顔検出がなされている場合には、顔検出処理によって検出された顔の距離(Df)を顔の大きさの基準値(Wref)と撮像素子の幅(Wi)と焦点距離(f)と、撮影画像における顔の幅のピクセル数(Wf)と、撮影画像の幅のピクセル数(Ww)に基づく以下の式、
Df=Wref×(f/Wi)×(Ww/Wf)
上記式に従って算出し、算出した顔の距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
(b)撮像装置の設定モードがモニタリングモードである場合は、撮像装置の取得画像のモニタリング処理においてコントラスト測定に基づいて周期的に取得する被写体距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
(c)撮像装置の設定モードが顔検出モードで顔検出がなされていない場合、または、撮像装置の設定モードが顔検出モードでもモニタリングモードでもない場合は、撮影対象となる被写体の推定距離である被写体距離を撮像素子の高さおよび焦点距離と被写体の高さ情報から算出し、算出した被写体距離に対応するフォーカスレンズ位置を含む近傍領域の一方の端部位置をスキャン開始位置として、該スキャン開始位置から前記近傍領域の他方の端部位置方向にのみフォーカスレンズを移動させるスキャン処理、
上記(a),(b),(c)いずれかのスキャン処理として実行させるステップであり、
前記第1スキャン処理において合焦位置が検出された場合に、前記第2スキャン処理を行わずにスキャン処理を終了させるコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成では、フォーカスレンズを移動させてフォーカス位置の検出を行なうフォーカス制御において、フォーカスレンズの可動範囲の一部のみをスキャン範囲として設定した第1スキャン処理と、第1スキャン処理においてフォーカスポイントが検出されない場合に、第1スキャン処理のスキャン領域と異なる領域を含む領域をスキャン範囲として設定した第2スキャン処理を実行する構成とした。第1スキャン処理のスキャン範囲は顔検出情報またはモニタリング情報によって得られる被写体距離情報などを利用して設定することで効率的なフォーカス処理が可能となる。また第1スキャン処理においてフォーカスポイントが得られなかった場合、第2スキャン処理を実行する構成としたので、より確実なフォーカス処理が実現される。
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。
まず、図1、図2を参照して、本発明の撮像装置の構成について説明する。図1は、本発明の撮像装置10の外観を示す図である。図1(a)は、撮像装置10の上面図、(b)は正面図、(c)は背面図である。(a)上面図のレンズ部分は断面図として示してある。撮像装置10は、電源スイッチ11、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターとして機能するレリーズスイッチ12、撮像装置によって撮影される画像(スルー画像)や操作情報などを表示するモニタ13、撮像素子(CCD)としてのイメージャ14、ズーム制御を行うためのズームボタン15、各種の操作情報を入力する操作ボタン16、撮像装置によって撮影される画像(スルー画像)を確認するためのビューファインダ17、フォーカス調整において駆動されるフォーカスレンズ18、ズーム調整に際して駆動されるズームレンズ19、撮影モードを設定するためのモードダイアル20、フォーカスレンズ18を駆動するためのフォーカスレンズモータ(M1)21、ズームレンズ19を駆動するためのズームレンズモータ(M2)22を有する。さらに、撮影環境が低照度環境である場合に被写体に光を照射するための補助光発光部25を有する。
被写体画像は、ビューファインダ17およびモニタ13に表示される。ビューファインダ17およびモニタ13は例えばLCDによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ17またはモニタ13を確認して、撮影する目標被写体を確認して、シャッターとしてのレリーズスイッチ12を押すことで画像の記録処理が実行されることになる。
図2を参照して本発明の撮像装置100の内部構成について説明する。本発明の撮像装置は、オートフォーカス機能を持つ撮像装置である。フォーカスレンズ101、ズームレンズ102を介する入射光は、例えばCCD(Charge Coupled Device)などの撮像素子103に入力し、撮像素子103において光電変換される。光電変換データは、アナログ信号処理部104に入力され、アナログ信号処理部104においてノイズ除去等の処理がなされ、A/D変換部105においてデジタル信号に変換される。A/D変換部105においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス115に記録される。さらに、モニタ117、ビューファインダ(EVF)116に表示される。モニタ117、ビューファインダ(EVF)116には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。
操作部118は、図1を参照して説明したカメラ本体にあるレリーズスイッチ12、ズームボタン15、各種の操作情報を入力する操作ボタン16、撮影モードを設定するためのモードダイアル20等を含む操作部である。制御部110は、CPUを有し、撮像装置の実行する各種の処理の制御を予めメモリ(ROM)120などに格納されたプログラムに従って実行する。メモリ(EEPROM)119は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ(ROM)120は、制御部(CPU)110が使用するプログラムや演算パラメータ等を格納する。メモリ(RAM)121は、制御部(CPU)110において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ111は、撮像装置の傾き、手振れなどによる揺れなどを検出する。検出情報は、制御部(CPU)110に入力され手ぶれ防止などの処理が実行される。制御部110は、さらに、図示しない照度計測部からの計測情報を入力して、撮影環境が低照度環境であるか否かを判定し、撮影環境が低照度環境である場合に被写体に光を照射するため補助光発光部25(図1参照)を制御して被写体に光を照射する制御を行う。
モータドライバ112は、フォーカスレンズ101に対応して設定されたフォーカスレンズ駆動モータ113、ズームレンズ102に対応して設定されたズームレンズ駆動モータ114を駆動する。垂直ドライバ107は、撮像素子(CCD)103を駆動する。タイミングジェネレータ106は、撮像素子103およびアナログ信号処理部104の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。
顔検出部130は、レンズを介して入力される画像データの解析を行い、画像データ中の人物の顔を検出する。顔検出情報は、制御部110に送られ、制御部110では、検出された顔情報に基づいて、検出された顔の領域にオートフォーカス(AF)のための測距枠(検波枠とも呼ばれる)を設定し、フォーカス制御を行なう。本発明の撮像装置では、検出された顔の領域に測距枠を設定するのみではなく、顔領域から推定される人物の体の領域を推定し、体の領域にも測距枠を設定して、これら複数の測距枠に基づいてフォーカス制御を実行してフォーカス位置を決定する。
次に、本発明の撮像装置において適用される以下の処理について説明する。
(a)コントラスト測定に基づくフォーカス制御処理
(b)顔領域の検出処理
(a)コントラスト測定に基づくフォーカス制御処理
まず、本発明の撮像装置において適用するコントラスト測定に基づくフォーカス制御処理について、図3を参照して説明する。コントラスト測定に基づくフォーカス制御は、レンズを介して取得された撮像データのコントラストの高低を判断してフォーカス位置を決定する手法である。このオートフォーカス(AF)手法は、例えば特開平10−213737に記載されている。
ビデオカメラやスチルカメラにおいて取得される画像のコントラストの大小情報を用いてフォーカス制御を行う。例えば、撮像画像の特定領域をフォーカス制御用の信号取得領域(空間周波数抽出エリア)として設定する。この領域は測距枠(検波枠)と呼ばれる。この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。
具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、フォーカスレンズを複数の位置へと動かしながら複数枚の画像を取得し、各画像の輝度信号に対しハイパスフィルタに代表されるフィルタ処理をすることにより、各画像のコントラスト強度を示すAF評価値を得る。このとき、あるフォーカス位置でピントが合った被写体が存在する場合、フォーカスレンズ位置に対するAF評価値は図3のような曲線を描く。この曲線のピーク位置P1、すなわち画像のコントラスト値が最大となる位置が合焦位置である。この方式では、デジタルカメラの撮像素子であるイメージャに写った画像の情報のみをもとに合焦動作を行うことができ、撮像光学系の他に測距光学系を持つ必要がないことから、今般デジタルスチルカメラにおいて広く行われている。
本発明の撮像装置では、図2に示す顔検出部130において検出された顔領域に設定された測距枠と、顔領域から推定される体領域にも別の測距枠を設定して、これらの複数の測距枠各々について、コントラスト判定に基づいてフォーカス位置の決定処理を行なう。この処理構成については、後段で詳細に説明する。
(b)顔領域の検出処理
次に、本発明の撮像装置の顔検出部130において実行する顔領域の検出処理について説明する。顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開2004−133637に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔3次元直交座標系のXYZ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。
縮小された画像に対して2次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになる。本発明の撮像装置では、この顔領域に1つの測距枠を設定し、さらにその顔領域に基づいて体領域を推定して、体領域にも別の測距枠を設定して、コントラスト判定に基づくオートフォーカスを行なう。
なお、上述のテンプレートマッチングにより顔領域が決定されると、顔の大きさも実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交3軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔の大きさ、位置、回転角度を用いて、顔の距離の推定を実行してオートフォーカス制御を行うことで、フォーカスレンズの動作範囲(Rf)を小さく設定することが可能となる。
具体的な顔までの距離の算出方法について図4を参照して説明する。図4には、被写体位置301、フォーカスレンズ302、撮像素子303を示している。被写体位置301には人物の顔が存在する。顔の大きさ(顔の幅)はWfである。
顔の実際の大きさ(Wf)が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離(Df)、すなわち、フォーカスレンズ302から被写体位置301までの被写体距離(Df)は以下の式で求めることができる。
Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1)
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値:Wref
撮像素子の幅:Wi
焦点距離:f
撮像画像における人の顔の大きさのピクセル数(撮像素子検出値):Wf
人の顔検出に使用した画像の大きさのピクセル数(撮像素子検出値):Ww
人間の顔の大きさ基準値(Wref)は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値(Wref)を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。
次に、図5以下を参照して本発明の一実施例に係る撮像装置の実行するフォーカス制御処理の詳細について説明する。本発明の一実施例に係る撮像装置は、撮像装置に設定されたモードや、設定状態、あるいは各モードにおいて取得された情報に応じて異なるフォーカス制御を行なう。具体的には、例えばフォーカスレンズのスキャン開始位置や終了位置、スキャン範囲などを変更してフォーカス制御を行なう。
本発明の撮像装置は、フォーカスレンズを移動させてフォーカス位置の検出を行なう制御部、すなわち、図2に示す制御部110を有し、制御部は、例えばフォーカスレンズの可動範囲の一部のみをスキャン範囲として設定したオートフォーカス(AF)スキャン処理を第1スキャン処理として実行し、この第1スキャン処理においてフォーカスポイントが検出されない場合に、第1スキャン処理のスキャン領域と異なる領域を含む領域をスキャン範囲として設定したオートフォーカス(AF)スキャン処理を第2スキャン処理として実行する制御を行う。
図5以下を参照して説明する例は、モードや取得情報に応じて4つのフォーカス制御処理を選択的に実行する例について説明する。
図5は、撮像装置の実行するフォーカス制御態様を決定するための処理シーケンスを示すフローチャートである。なお、図5以下において説明するフローは、図2に示す撮像装置100の制御部110の制御下で実行され、例えばメモリ120に格納されたプログラムを利用して実行される。
図5に示すフローの各ステップの処理について説明する。まず、ステップS101において、撮像装置が顔撮影モードに設定されているか否かを判定する。なお、顔撮影モードは、撮像装置の取得画像から顔領域を検出して、顔領域にフォーカスを設定して撮影する場合に利用されるモードであり、ユーザの設定により顔撮影モードに設定される。
顔撮影モードである場合は、ステップS102に進む。ステップS102において撮影画像から顔領域が検出されているか否かを判定する。なお、顔検出処理は、先に説明したように、例えば顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現でき、図1に示す撮像装置100の顔検出部130において実行され、検出情報が制御部110に入力されることになる。
顔検出に成功している場合は、ステップS104に進み、顔検出時の顔オートフォーカス(AF)モード対応処理を実行する。この処理の詳細については、後段で説明する。一方顔検出がなされていない場合は、ステップS105に進み、顔未検出時の顔オートフォーカス(AF)モード対応処理を実行する。この処理の詳細については、後段で説明する。
また、ステップS101において顔撮影モードに設定されていないと判定した場合は、ステップS103に進み、撮像装置のモードがシングルモードであるか否かを判定する。シングルモードは、撮像装置の取得画像のモニタリングによるフォーカス情報を利用することなくフォーカス制御を行なうモードである。一方、撮像装置の取得画像のモニタリングによるフォーカス情報を利用してフォーカス制御を行なうモードがモニタリングモードである。
シングルモードである場合は、ステップS106に進み、シングルモード対応のオートフォーカス(AF)処理を実行する。この処理の詳細については、後段で説明する。一方モニタリングモードである場合は、ステップS107に進み、モニタリングモード対応のオートフォーカス(AF)処理を実行する。この処理の詳細については、後段で説明する。
以下、
ステップS104:顔検出モードにおいて顔検出がなされている場合のオートフォーカス制御処理、
ステップS105:顔検出モードにおいて顔検出がなされていない場合のオートフォーカス制御処理、
ステップS106:シングルモードにおけるオートフォーカス制御処理、
ステップS107:モニタリングモードにおけるオートフォーカス制御処理、
これらの各処理の詳細について図6以下を参照して説明する。
まず、図6、図7を参照して、ステップS104の顔検出モードにおいて顔検出がなされている場合のオートフォーカス制御処理の詳細について説明する。
図6に示すフローチャートの各ステップの処理について説明する。まず、ステップS201において、顔近傍をオートフォーカス(AF)スキャン開始位置として決定する。顔検出モードにおいて顔検出がなされている場合には、顔までの距離情報が得られており、この顔距離情報に基づいて取得される顔近傍をオートフォーカス(AF)スキャン開始位置として決定する。
例えば、図7に示すように、例えば顔検出処理によって取得される顔の距離情報501を入力して、顔検出処理によって検出された顔の距離の近傍を焦点距離とするフォーカスレンズの位置にオートフォーカス(AF)スキャン開始位置502を設定し、その近傍のみをスキャン範囲として設定したスキャン処理を実行する
ステップS202では、図7に示すオートフォーカス(AF)スキャン開始位置502から顔近傍領域をスキャン範囲としてオートフォーカス(AF)スキャンを実行する。図7に示す1回目スキャンに相当する処理である。なお、太線矢印の起点、終点がコントラストに基づくAF評価値を取得するサンプリング点である。なおコントラストに基づくAF評価値の取得処理は、先に図3を参照して説明した処理と同様の処理として行なわれる。
ステップS203では、ステップS202の顔近傍のオートフォーカス(AF)スキャンにおいてAF評価値のピークが検出されたか否かを判定する。AF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定する。
一方、ステップS202の顔近傍のオートフォーカス(AF)スキャンにおいてAF評価値のピークが検出されなかった場合は、ステップS204に進む。ステップS204では、全領域をスキャン範囲としてAFスキャンを実行する。すなわち、図7の2回目スキャンに示すように、フォーカスレンズの可動範囲の全領域、最至近〜無限遠をスキャン範囲としてAFスキャンを実行する。この2回目のスキャンにおいてAF評価値のピーク位置をフォーカスポイント(合焦位置)として決定する。
このように、顔検出モードにおいて顔検出がなされている場合のオートフォーカス制御では、まず、顔検出処理によって取得される顔の距離情報の近傍にオートフォーカス(AF)スキャン開始位置502を設定して限定されたスキャン範囲でのAFスキャンを実行するので、顔が残っている場合には、短時間でフォーカスポイント(合焦位置)を見つけることが可能となる。
また、この1回目の限定されたスキャン範囲内のAFスキャンにおいてAF評価値のピークが検出されない場合には、自動的に全範囲のAFスキャンを実行する構成であるので、例えば顔が移動した場合など、様々な距離にある被写体に対するフォーカスポイント(合焦位置)を見つけることが可能となる。
次に、図8、図9を参照して、図5に示すフローにおけるステップS105の顔検出モードにおいて顔検出がなされていない場合のオートフォーカス制御処理の詳細について説明する。
図8に示すフローチャートの各ステップの処理について説明する。まず、ステップS301において、オートフォーカス(AF)スキャン開始位置の決定処理を行なう。このオートフォーカス(AF)スキャン開始位置は、撮影対象となる被写体の推定距離(被写体距離)とする。被写体距離は、次式で求められる。
被写体距離[m]=(焦点距離)×(被写体の高さ)/(イメージャの高さ)/1000・・・(式1)
上記式において、(被写体の高さ)は、撮影したい構図によって変化する。例えば、顔をアップで撮影したいときは、被写体の高さは約20〜25cmに設定すればよく、バストショット(胸から頭が入る構図)の場合は、被写体の高さは60cmに設定すればよい。被写体高さデータは、被写体に応じて異なるため、ユーザの入力データを利用するか、あるいは撮像装置において取得された画像の解析によって算出する構成として予め設定した周期ごとに計算する設定としてよい。あるいはあらかじめ撮像装置内のメモリにROMデータとして記録しておき、このデータを利用する構成としてもよい。
ステップS301では、上記式によって算出した被写体距離の近傍を焦点距離とするフォーカスレンズの位置をオートフォーカス(AF)スキャン開始位置として設定する。例えば、図9に示すように、オートフォーカス(AF)スキャン開始位置521を設定する。
ステップS302では、図9に示すオートフォーカス(AF)スキャン開始位置521から遠景領域をスキャン範囲としてオートフォーカス(AF)スキャンを実行する。すなわち、スキャン開始位置から一方向にのみフォーカスレンズを移動させて第1スキャン処理を実行する。
図9に示す1回目スキャンに相当する処理である。なお、太線矢印の起点、終点がコントラストに基づくAF評価値を取得するサンプリング点である。なおコントラストに基づくAF評価値の取得処理は、先に図3を参照して説明した処理と同様の処理として行なわれる。
ステップS303では、ステップS302の1回目のオートフォーカス(AF)スキャンにおいてAF評価値のピークが検出されたか否かを判定する。AF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定する。
一方、ステップS302の1回目のオートフォーカス(AF)スキャンにおいてAF評価値のピークが検出されなかった場合は、ステップS304に進む。ステップS304では、ステップS301で設定したオートフォーカス(AF)スキャン開始位置521より至近領域をスキャン範囲としてAFスキャンを実行する。すなわち、図9の2回目スキャンに示すように、最至近〜オートフォーカス(AF)スキャン開始位置の領域をスキャン範囲としてAFスキャンを実行する。この2回目のスキャンにおいてAF評価値のピーク位置をフォーカスポイント(合焦位置)として決定する。
なお、2回目のオートフォーカス(AF)スキャン処理においてスキャン終了地点は、オートフォーカス(AF)スキャン開始位置521を越えて1回目のスキャン領域とオーバーラップする領域まで実行することが好ましい。
このように、顔検出モードにおいて顔検出がなされていない場合のオートフォーカス制御では、まず、撮影対象となる被写体の推定距離である被写体距離を、
被写体距離[m]=(焦点距離)×(被写体の高さ)/(イメージャの高さ)/1000
上記式で求めて、この被写体距離の近傍を焦点距離とするフォーカスレンズの位置をオートフォーカス(AF)スキャン開始位置として設定して限定されたスキャン範囲でのAFスキャンを実行するので、短時間でフォーカスポイント(合焦位置)を見つけることが可能となる。また、この1回目の限定されたスキャン範囲内のAFスキャンにおいてAF評価値のピークが検出されない場合には、自動的に残りの範囲のAFスキャンを実行する構成であるので、様々な距離にある被写体に対するフォーカスポイント(合焦位置)を見つけることが可能となる。
次に、図10、図11を参照して、図5に示すフローにおけるステップS106のシングルモードにおけるオートフォーカス制御処理の詳細について説明する。
図10に示すフローチャートの各ステップの処理について説明する。まず、ステップS401において、オートフォーカス(AF)スキャン開始位置の決定処理を行なう。このオートフォーカス(AF)スキャン開始位置は、先の顔検出モードにおいて顔検出がなされなかった場合と同様、撮影対象となる被写体の推定距離(被写体距離)とする。被写体距離は、次式で求められる。
被写体距離[m]=(焦点距離)×(被写体の高さ)/(イメージャの高さ)/1000
ステップS401では、上記式によって算出した被写体距離の近傍を焦点距離とするフォーカスレンズの位置をオートフォーカス(AF)スキャン開始位置として設定する。例えば、図11に示すように、オートフォーカス(AF)スキャン開始位置541を設定する。
ステップS402では、図11に示すオートフォーカス(AF)スキャン開始位置541から遠景領域をスキャン範囲としてオートフォーカス(AF)スキャンを実行する。図11に示す1回目スキャンに相当する処理である。なお、太線矢印の起点、終点がコントラストに基づくAF評価値を取得するサンプリング点である。なおコントラストに基づくAF評価値の取得処理は、先に図3を参照して説明した処理と同様の処理として行なわれる。
ステップS403では、ステップS402の1回目のオートフォーカス(AF)スキャンにおいてAF評価値のピークが検出されたか否かを判定する。AF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定する。
一方、ステップS402の1回目のオートフォーカス(AF)スキャンにおいてAF評価値のピークが検出されなかった場合は、ステップS404に進む。ステップS404では、ステップS401で設定したオートフォーカス(AF)スキャン開始位置541より至近領域をスキャン範囲としてAFスキャンを実行する。すなわち、図11の2回目スキャンに示すように、最至近〜オートフォーカス(AF)スキャン開始位置の領域をスキャン範囲としてAFスキャンを実行する。この2回目のスキャンにおいてAF評価値のピーク位置をフォーカスポイント(合焦位置)として決定する。
なお、2回目のオートフォーカス(AF)スキャン処理においてスキャン終了地点は、オートフォーカス(AF)スキャン開始位置541を越えて1回目のスキャン領域とオーバーラップする領域まで実行することが好ましい。
このように、シングルモードにおけるオートフォーカス制御では、まず、撮影対象となる被写体の推定距離である被写体距離を、
被写体距離[m]=(焦点距離)×(被写体の高さ)/(イメージャの高さ)/1000
上記式で求めて、この被写体距離をオートフォーカス(AF)スキャン開始位置として設定して限定されたスキャン範囲でのAFスキャンを実行するので、短時間でフォーカスポイント(合焦位置)を見つけることが可能となる。また、この1回目の限定されたスキャン範囲内のAFスキャンにおいてAF評価値のピークが検出されない場合には、自動的に残りの範囲のAFスキャンを実行する構成であるので、様々な距離にある被写体に対するフォーカスポイント(合焦位置)を見つけることが可能となる。
次に、図12、図13を参照して、図5に示すフローのステップS107のモニタリングモードにおけるオートフォーカス制御処理の詳細について説明する。
図12に示すフローチャートの各ステップの処理について説明する。まず、ステップS501において、モニタリング処理において検出された被写体の近傍を第1オートフォーカス(AF)スキャン開始位置として決定する。モニタリング処理では、撮像装置の取得している画像に基づいて被写体までの距離情報を周期的に取得しており、この取得情報に基づいて得られる被写体近傍に第1オートフォーカス(AF)スキャン開始位置を設定する。
例えば、図13に示すように、モニタリング処理によって取得される被写体の距離情報561を入力して、この被写体距離情報の近傍を焦点距離とするフォーカスレンズの位置を第1オートフォーカス(AF)スキャン開始位置571として設定する。
ステップS502では、図13に示す第1オートフォーカス(AF)スキャン開始位置571から被写体近傍領域をスキャン範囲としてオートフォーカス(AF)スキャンを実行する。図13に示す1回目スキャンに相当する処理である。なお、太線矢印の起点、終点がコントラストに基づくAF評価値を取得するサンプリング点である。なおコントラストに基づくAF評価値の取得処理は、先に図3を参照して説明した処理と同様の処理として行なわれる。
ステップS503では、オートフォーカス(AF)スキャンのリトライ処理を実行するか否かを判定する。リトライ処理は、最初にスキャンした領域でピント位置が見つからなかった場合にスキャン領域を増加または変更してスキャンする処理であり、ユーザの設定によって、例えばAF評価値のピークが検出されなかった場合は、自動的にステップS504に進む。ステップS502の限定領域のオートフォーカス(AF)スキャンにおいてAF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定する。
ステップS503においてAF評価値のピークが検出されなかった場合など、リトライ処理を実行する場合はステップS504に進む。ステップS504では、第2のオートフォーカス(AF)開始位置を決定する。
この第2オートフォーカス(AF)スキャン開始位置は、先の他モードにおいて説明したと同様、撮影対象となる被写体の推定距離(被写体距離)とする。被写体距離は、次式で求められる。
被写体距離[m]=(焦点距離)×(被写体の高さ)/(イメージャの高さ)/1000
ステップS504では、上記式によって算出した被写体距離の近傍を焦点距離とするフォーカスレンズの位置を第2オートフォーカス(AF)スキャン開始位置として設定する。例えば、図13に示すように、第2オートフォーカス(AF)スキャン開始位置572を設定する。
ステップS505では、図13に示す第2オートフォーカス(AF)スキャン開始位置572から遠景領域をスキャン範囲としてオートフォーカス(AF)スキャンを実行する。図13に示す2回目スキャンに相当する処理である。なお、太線矢印の起点、終点がコントラストに基づくAF評価値を取得するサンプリング点である。なおコントラストに基づくAF評価値の取得処理は、先に図3を参照して説明した処理と同様の処理として行なわれる。
ステップS506では、ステップS505の2回目のオートフォーカス(AF)スキャンにおいてAF評価値のピークが検出されたか否かを判定する。AF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定する。
一方、ステップS505の2回目のオートフォーカス(AF)スキャンにおいてAF評価値のピークが検出されなかった場合は、ステップS507に進む。ステップS507では、ステップS504で設定した第2オートフォーカス(AF)スキャン開始位置572より至近領域をスキャン範囲としてAFスキャンを実行する。すなわち、図13の3回目スキャンに示すように、最至近〜第2オートフォーカス(AF)スキャン開始位置の領域をスキャン範囲としてAFスキャンを実行する。この3回目のスキャンにおいてAF評価値のピーク位置をフォーカスポイント(合焦位置)として決定する。
なお、3回目のオートフォーカス(AF)スキャン処理においてスキャン終了地点は、第2オートフォーカス(AF)スキャン開始位置572を越えて2回目のスキャン領域とオーバーラップする領域まで実行することが好ましい。
このように、モニタリングモードのオートフォーカス制御では、まず、モニタリング処理によって取得される被写体距離情報の近傍にオートフォーカス(AF)スキャン開始位置502を設定して限定されたスキャン範囲でのAFスキャンを実行するので、短時間でフォーカスポイント(合焦位置)を見つけることが可能となる。
また、この1回目の限定されたスキャン範囲内のAFスキャンにおいてAF評価値のピークが検出されない場合には、自動的に第2、第3のAFスキャンを実行する構成であるので、例えばモニタリングされていた被写体が移動した場合など、様々な距離にある被写体に対するフォーカスポイント(合焦位置)を見つけることが可能となる。
このように本発明の撮像装置では、初期的に実行する第1スキャン処理におけるスキャン範囲を限定することにより、高速なフォーカス設定が実現されるばかりでなくフォーカスレンズの駆動に伴う消費電力を削減することも可能となる。
なお、さらに、撮影シーンの識別、例えば風景であるか夜景であるかのシーン識別機能を保持して、識別したシーンに応じてスキャン開始ポイントを決める構成としてもよい。例えば、風景と判断されている場合は、スキャン開始ポイントを遠景側に決定する(例えば6〜10mなど)。また、顔検出されている場合は、顔領域の全体が撮影されるような距離、例えば40〜50cmをスキャン開始ポイントとする設定とする。なお、シーン判別機能は既存の技術を利用可能である。
さらに、ユーザ設定により撮影時のレスポンスを速くする構成とすることも可能である。例えば、ユーザが撮像装置を購入した後、1回目の起動時にユーザに好みの情報、例えば、[屋外撮影が多い]、あるいは[屋内撮影が多い]、あるいは[スナップ撮影が多い]などの好みの撮影情報を入力させ、これらの撮影情報に応じて設定されたスキャン開始ポイントを予めテーブルとしてメモリに格納し、ユーザの設定情報に従ってテーブルから取得した対応するスキャン開始ポイントを設定する構成としてもよい。
[マクロモードや拡大鏡モード対応のアイコン表示制御構成]
次に、マクロモードや拡大鏡モード対応のアイコン表示制御を行う実施例について説明する。本実施例のカメラは、例えば被写体までの距離が数十cm程度の近い近景領域(マクロ領域)の撮影に適したマクロモード、さらに近い数cm程度の至近距離(拡大鏡領域)の撮影に適した拡大鏡モード(あるいは虫眼鏡モード)などの撮影モードを備えたカメラである。
先に説明したように、このようなモードを備えた従来のカメラは、被写体画像のモニタリング処理時に取得する被写体距離情報を利用して被写体距離が、遠景領域にあるか、数十cm程度のマクロ領域にあるか、さらに近い数cmの拡大鏡領域にあるかを判定し、この判定情報に応じてカメラのモニタリング画像表示部にアイコン(例えばチューリップアイコン)の表示を実行してユーザに被写体までの距離状況を通知する設定としたものが多い
しかし、このように、被写体のモニタリング処理時に測定された被写体距離情報に基づくアイコン表示処理を実行すると以下のような問題が発生する。すなわち、実際にユーザが撮影しようとしてパン・チルト、ズームなどで画角を変えたりすると、モニタリングオートフォーカス(AF)の時間がかかり、実際の被写体距離とアイコンの表示または消去タイミングとにずれが発生し、アイコンの不適切な出力や、マクロ領域や拡大鏡領域にフォーカス位置があるのに、アイコンが出力されないといった弊害をもたらす場合がある。
以下に説明する実施例は、モニタリングAFによって得られる被写体距離情報の他の情報、例えばユーザの操作などによるカメラの動き等の情報を適用してアイコン表示を制御して、誤った撮影が行われないように適切な制御を行う実施例である。
例えば被写体が、
(a)遠景領域にある場合、
(b)近景領域(マクロ領域)にある場合、
(c)拡大鏡領域にある場合、
これらの3種類の被写体距離に応じたアイコンを表示する場合、被写体が遠景領域にあるか、近景領域(マクロ領域)にあるか、拡大鏡領域にあるかを判別することが必要である。このためには、遠景領域と近景領域(マクロ領域)と拡大鏡領域との境界を決める必要がある。
先に説明したように、被写体距離は次式によって算出できる。
被写体距離[m]=(焦点距離)×(被写体の高さ)/(イメージャの高さ)/1000・・・(式1)
上記式において、(被写体の高さ)は、撮影したい構図によって変化する。例えば、顔をアップで撮影したいときは、被写体の高さは約20〜25cmに設定すればよく、バストショット(胸から頭が入る構図)の場合は、被写体の高さは60cmに設定すればよい。被写体高さデータは、被写体に応じて異なるため、ユーザの入力データを利用するか、あるいは撮像装置において取得された画像の解析によって算出する構成として予め設定した周期ごとに計算する設定としてよい。あるいはあらかじめ撮像装置内のメモリにROMデータとして記録しておき、このデータを利用する構成としてもよい。
また、カメラにはズーム制御によって移動するズームレンズとフォーカス制御に際して移動するフォーカスレンズがあるが、ズームレンズの位置に対して、フォーカスの合うフォーカスレンズの位置とは対応関係がある。この対応関係を示すカーブはカムカーブと呼ばれる。遠景領域と近景領域(マクロ領域)と拡大鏡領域との境界は、このカムカーブを適用して定義することができる。
図14は、横軸がズームレンズの位置(ワイド端〜テレ端)、縦軸がフォーカスレンズの位置(無限側〜至近側)として、複数の異なる被写体距離(0.5m,1.0m,3.0m,7.0m,∞)ごとにフォーカスが合う、すなわち合焦ポイントとなるフォーカスレンズ位置の軌跡を示した図である。このグラフに描かれる線がカムカーブと呼ばれる。
例えば、被写体までの距離を取得して、ズームレンズを操作した場合、被写体距離に応じた曲線(カムカーブ)に沿ってフォーカスレンズを移動させることでフォーカスレンズをフォーカス位置に設定することが可能となる。
このカムカーブを適用して遠景領域と近景領域(マクロ領域)と拡大鏡領域との境界を定義することができる。例えば図15に示すような境界が設定できる。
例えば、被写体距離が1cm〜20cmまでの距離を拡大鏡領域と定義すると、近景領域(マクロ領域)と拡大鏡領域との境界は、単純に被写体距離=20cmのカムカーブとすることができる。また、遠景領域と近景領域(マクロ領域)との境界は被写体距離=1mのカムカーブとするといった設定である。なお、この境界情報のデータは、ROMデータとしてメモリに格納しておく。
例えば被写体が、
(a)遠景領域にある場合、
(b)近景領域(マクロ領域)にある場合、
(c)拡大鏡領域にある場合、
これらの3種類の被写体距離に応じたアイコンの表示切り替え構成としては、
(a)遠景領域にある場合はアイコン表示なし、
(b)近景領域(マクロ領域)にある場合はマクロ領域を示すマクロ領域アイコンを表示、
(c)拡大鏡領域にある場合は拡大領域を示す拡大鏡領域アイコンを表示、
このようなアイコン表示切り替え処理が可能である。
例えば、モニタリングオートフォーカス(AF)処理の実行時や、オートフォーカス(AF)スキャン処理の実行時に、フォーカスレンズ位置が、図15に示す各領域のどこに対応するかを判別して、各アイコンを表示する設定とすることができる。フォーカスレンズ位置が図15に示す近景領域(マクロ領域)にある場合はマクロ領域アイコンを表示し、図15に示す拡大鏡領域にある場合は拡大鏡領域アイコンを表示する。
ただし、モニタリングオートフォーカス(AF)処理中に、被写体距離に応じてアイコンの表示、非表示、表示切り替えを忠実に実行すると、めまぐるしく表示変更が行われるいわゆるチャタリング(ハンチング)が発生して、ユーザにとっては不快な表示になる場合もある。これを防ぐため、LPF(ローパスフィルタ)をかけて、アイコンの切り替えや表示/非表示の各領域間を行き来する部分にヒステリシスを持たせて、境界の通過時に即座に表示切り替えを行うのではなく、一定の待機時間を持たせて表示変更を行うようにすることが好ましい。
特に、ズームレンズ位置がW(ワイド)端付近にある領域では、カムカーブ(距離間隔)間隔が狭くなるため、境界に応じた表示切り替えを忠実に実行すると、頻繁に切り替えが発生してしまう。これを防止する構成として、例えば図16に示すように、遠景領域/近景領域の境界ラインから至近方向に、それぞれk深度ずつ間隔を設けそれぞれのエリアに番号を振る。kは例えばk=1としたときのkは、現ズーム位置における開放深度などとする。このエリアが2と3の時に、近景領域に対応するマクロアイコンを表示して、4のときは拡大鏡領域アイコンを表示するように制御する。
(スキャンAFの説明)
ユーザがシャッターボタンを半押しすることでオートフォーカス(AF)スキャン処理が始まる。設定されたAFエリアの高周波成分が最大値となるピント位置にフォーカスレンズを駆動させ、その状態でシャッターボタンを全押しされることで画像が記録される。
遠景領域と近景領域(マクロ領域)と拡大鏡領域との境界を定義して実行するオートマクロ設定とした場合のオートフォーカス(AF)スキャン処理シーケンスの一例について図17を参照して説明する。
オートフォーカス(AF)スキャン処理は、図17に示すように、
まず、遠景領域と近景領域(マクロ領域)との境界を第1オートフォーカス(AF)スキャン開始位置として、無限遠方向にオートフォーカス(AF)スキャンを実行する。図17に示すステップS601の1回目スキャンに相当する処理である。なお、太線矢印の起点、終点がコントラストに基づくAF評価値を取得するサンプリング点である。なおコントラストに基づくAF評価値の取得処理は、先に図3を参照して説明した処理と同様の処理として行なわれる。
このステップS601の処理において、AF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定する。AF評価値のピークが検出されなかった場合はステップS602に進む。
ステップS602では、近景領域(マクロ領域)と拡大鏡領域との境界を第2オートフォーカス(AF)スキャン開始位置として、無限遠方向にオートフォーカス(AF)スキャンを実行する。図17に示すステップS602の2回目スキャンに相当する処理である。このステップS602の処理において、AF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定する。AF評価値のピークが検出されなかった場合はステップS603に進む。
ステップS603では、最近接位置を第3オートフォーカス(AF)スキャン開始位置として、無限遠方向にオートフォーカス(AF)スキャンを実行する。図17に示すステップS603の3回目スキャンに相当する処理である。このステップS603の処理において、AF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定する。
なお、オートフォーカス(AF)スキャン処理の開始トリガは、ユーザによるシャッターの半押し処理である。あるいは被写体の顔検出を行い、そのサイズが予め設定しているサンプリング情報にほぼ一致した場合など、顔サイズの変化をトリガにしてオートフォーカス(AF)スキャン処理を開始する設定としてもよい。あるいは、ズーム動作が完了したときをオートフォーカス(AF)スキャン処理の開始ポイントとしてもよい。
図17に示すオートフォーカス(AF)スキャン処理の詳細シーケンスについて図18に示すフローチャートを参照して説明する。まず、ステップS651において、遠景領域と近景領域(マクロ領域)との境界を第1オートフォーカス(AF)スキャン開始位置として決定し、ステップS652において、第1オートフォーカス(AF)スキャン開始位置から無限遠方向にオートフォーカス(AF)スキャンを実行する。図17に示す1回目スキャンに相当する処理である。なお、図17に示す太線矢印の起点、終点がコントラストに基づくAF評価値を取得するサンプリング点である。
ステップS653では、オートフォーカス(AF)スキャンのリトライ処理を実行するか否かを判定する。リトライ処理は、最初にスキャンした領域でピント位置が見つからなかった場合にスキャン領域を増加または変更してスキャンする処理であり、ユーザの設定によって、例えばAF評価値のピークが検出されなかった場合は、自動的にステップS654に進む。ステップS652の限定領域のオートフォーカス(AF)スキャンにおいてAF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定する。
ステップS653においてAF評価値のピークが検出されなかった場合など、リトライ処理を実行する場合はステップS654に進む。ステップS654では、第2のオートフォーカス(AF)開始位置を決定する。
この第2オートフォーカス(AF)スキャン開始位置は、近景領域(マクロ領域)と拡大鏡領域との境界である。ステップS655では、この第2オートフォーカス(AF)スキャン開始位置から無限遠方向にオートフォーカス(AF)スキャンを実行する。図17に示すステップS602の2回目スキャンに相当する処理である。このステップS602の処理において、AF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定し処理を終了する。AF評価値のピークが検出されなかった場合はステップS657に進む。
ステップS657では、最近接位置を第3オートフォーカス(AF)スキャン開始位置に決定し、ステップS658において、無限遠方向にオートフォーカス(AF)スキャンを実行する。図17に示すステップS603の3回目スキャンに相当する処理である。この処理において、AF評価値のピークが検出された場合は、そのピーク位置をフォーカスポイント(合焦位置)として決定する。
(アイコン表示制御)
次に、本実施例におけるアイコン表示制御シーケンスについて、図19以下のフローチャートを参照して説明する。アイコン表示制御処理は、図19のフローに示すように、ステップS701のモニタリングオートフォーカス(AF)処理時のアイコン表示制御と、ステップS702のオートフォーカス(AF)スキャン処理時のアイコン表示制御処理とに区分される。
まず、ステップS701のモニタリングオートフォーカス(AF)処理時のアイコン表示制御処理のシーケンスについて図20に示すフローチャートを参照して説明する。
ステップS711において、現在のフォーカスポジションの検証を行い、フォーカスレンズの位置が、図16に示すカムカーブによって区分される領域の2〜4であるか否かを判定する。2〜4以外の領域[1]である場合は、被写体は遠景領域にあると判断し、ステップS714に進み、マクロアイコンまたは拡大鏡アイコンの表示は行わない。
ステップS711において、フォーカスレンズの位置が図16に示すカムカーブによって区分される領域の2〜4であると判定した場合は、ステップS712に進み、手振れの有無を検出する。これはジャイロセンサからの検出情報を利用する。手振れがあった場合は、ステップS714に進み、マクロアイコンまたは拡大鏡アイコンの表示は行わない。これは、ユーザがカメラを動かしパン・チルト、ズームなどで画角を変えたりした場合が想定され、この場合には被写体距離が変更されている可能性が高く、誤ったアイコン表示を停止するための処理である。
手振れがない場合は、ステップS713に進み、マクロアイコンまたは拡大鏡アイコンの表示を行う。
このような表示制御により、ユーザがカメラを動かして、パン・チルト、ズームなどで画角を変えたりした場合に誤ったアイコンが表示されることを防止できる。
次に、図21に示すフローを参照して、オートフォーカス(AF)スキャン処理時のアイコン表示制御処理について説明する。ステップS721においてユーザによるシャッターの半押しが検出された場合に、ステップS722においてオートフォーカス(AF)スキャン処理を開始する。ステップS723において、オートフォーカス(AF)スキャン処理が終了したと判定された後、ステップS724において、オートフォーカス(AF)スキャン処理においてロックされたフォーカスポジションに従って、アイコン情報の更新処理を開始する。
ステップS724のアイコン情報の更新処理の詳細シーケンスについて、図22に示すフローチャートを参照して説明する。ステップS731においてオートマクロを実行する設定であるかを判定する。なされていない場合は、ステップS735の拡大鏡処理を行う。拡大鏡処理の詳細については、図23に示すフローを参照して後段で説明する。
ステップS731においてオートマクロを実行する設定である場合は、ステップS732に進み、現在のフォーカスポジションの検証を行い、フォーカスレンズの位置が、図16に示すカムカーブによって区分される領域の4であるか否かを判定する。4である場合は、ステップS735の拡大鏡処理を行う。4領域でない場合は、ステップS733に進む。
ステップS733では、近接領域がローコン、すなわちフォーカスポイントが検出されていないかを判定し、されていない場合はステップS735の拡大鏡処理を行う。されている場合は、ステップS734に進み、マクロ領域であることを示すマハロアイコンを表示する。
次に、図23のフローチャートを参照して、図22に示すフローのステップS735の拡大鏡処理の詳細について説明する。まず、ステップS741において、ズームレンズがワイド端側にあり、かつオートフォーカス(AF)スキャン処理時における至近端のカーブの上昇ラインが予め設定した閾値(thr)より大きいか否かを判定する。Noである場合は、フォーカスポイントが明確に判定できないので、ステップS745に進みアイコンを非表示とする。
ステップS741の判定がYesの場合は、ステップS742に進む。ステップS742では、拡大鏡サーチ処理、すなわち、拡大鏡領域においてオートフォーカス(AF)スキャン処理を実行してコントラスト検出に基づくフォーカスポイントの検出を行う。ステップS743において、フォーカスポイントが検出されなかったと判定した場合、すなわちローコンであると判定した場合は、ステップS745に進みアイコンを非表示とする。
ステップS743において、フォーカスポイントが検出されたと判定した場合は、ステップS744に進む。ステップS744では、拡大鏡アイコンの表示を行う。
このように、アイコン表示制御が行われる。以上の説明に従ったアイコン表示制御のシーケンスについて図24を参照して説明する。図24は、(a)に示すオートフォーカスシーケンスに従ったAF処理が実行された場合の、
(b)マクロアイコンの表示制御、
(c)拡大鏡アイコンの表示制御、
これらのアイコンのオン(表示)オフ(非表示)制御のシーケンスについて説明する図である。時間(t)は、左から右に冷夏するものとする。
(a)に示すように、オートフォーカス処理は、時間t0〜t1は、モニタリングオートフォーカス(AF)処理実行期間、すなわちモニタ画像に基づくオートフォーカス処理の実行期間である。その後、時間t1〜t2が、オートフォーカス(AF)スキャン処理実行期間である。例えばシャッターの半押し期間に相当する。時間t2以降にシャッターが全押しされて撮影がなされる。
このシーケンスにおいて、(b)マクロアイコンの表示制御は、例えば以下のように行われる。図には、etの2つの処理例について示している。
(b1)時間t1〜t2のオートフォーカス(AF)スキャン処理実行中に、マクロ(近景)領域にフォーカスポイントが検出されなかった場合、
(b2)時間t1〜t2のオートフォーカス(AF)スキャン処理実行中に、マクロ(近景)領域にフォーカスポイントが検出された場合、
(b1)のケースでは、時間t0〜t2までのオートフォーカス(AF)スキャン処理実行完了時まで、マクロアイコンが表示(ON)されている場合でも、オートフォーカス(AF)スキャン処理実行中に、マクロ(近景)領域にフォーカスポイントが検出されなかったため、時間t2の時点でマクロアイコンが非表示(OFF)となる。
(b2)のケースでは、時間t0〜t2までのオートフォーカス(AF)スキャン処理実行完了時まで、マクロアイコンが非表示(OFF)の場合でも、オートフォーカス(AF)スキャン処理実行中に、マクロ(近景)領域にフォーカスポイントが検出されたため、時間t2の時点でマクロアイコンが表示(ON)される。
(c)は、拡大鏡アイコンの表示制御シーケンス例である。(c1)のケースでは、時間t0〜t2までのオートフォーカス(AF)スキャン処理実行完了時まで、拡大鏡アイコンが非表示(OFF)の場合でも、オートフォーカス(AF)スキャン処理実行中に、拡大鏡領域にフォーカスポイントが検出されたため、時間t2の時点で拡大鏡アイコンが表示(ON)される。
[補助光出力制御]
次に、本発明の撮像装置において実行する補助光制御処理について説明する。先に、図1、図2を参照して説明したように、撮像装置の制御部110は、照度計測部からの計測情報を入力して、撮影環境が低照度環境であるか否かを判定し、撮影環境が低照度環境である場合に被写体に光を照射するため補助光発光部25(図1参照)を制御して被写体に光を照射する制御を行う。
しかし、従来のカメラの多くは被写体がマクロ領域や拡大鏡領域にある場合と、通常の遠景領域にある場合とで、同じ強度の光を発光させて撮影を行わせる構成となっており、マクロ領域や拡大鏡領域にある場合には余分な強度の光となる場合も少なくなく電力消費を過大にしてしまうという問題もある。
本発明の撮像装置の制御部は、被写体までの距離情報を入力し、その距離情報に応じて補助光の発光強度を変化させる制御を実行する。具体的には、
(a)被写体が拡大鏡領域にある場合は、低レベルの発光強度、
(b)被写体がマクロ(近景)領域にある場合は、中レベルの発光強度、
(c)被写体が遠景領域にある場合は、高レベルの発光強度、
このようなレベル制御を実行する。
具体的には、例えば図25に示すように、
(a)被写体が拡大鏡領域にある場合は、補助光発光率を60%とした低レベルの発光強度、
(b)被写体がマクロ(近景)領域にある場合は、補助光発光率を80%とした中レベルの発光強度、
(c)被写体が遠景領域にある場合は、補助光発光率を100%とした高レベルの発光強度、
このようなレベル制御を実行する。
なお、被写体の距離情報に応じた補助光発光率は予めテーブルとしてメモリに格納し、制御部は、モニタリングオートフォーカスあるいは処理オートフォーカススキャン処理において得られる被写体距離情報に応じてテーブルを参照して補助光発光率を決定する。
あるいは、図26に示すように、被写体までの距離の増加に応じて、補助光発光率を60%〜100%の間でなめらかに増加させる設定としたテーブル設定して、このようなテーブルを利用して制御を行う構成としてもよい。
被写体までの距離が近い場合は、補助光の光が低レベルであっても、被写体を明るく照射可能であり、撮影画像の品質を低下させてしまうことはない。この処理によって消費電力が抑制され、バッテリーの消耗を低減させることが可能となる。
なお、制御部は、ユーザがシャッターを半押しする前のモニタリング中の輝度を測定し、測定輝度に基づいて補助光を発光するか否かを決定する。さらに、制御部は、補助光を発光することを決定した場合は、モニタ画面上に補助光アイコンを表示する。例えば、図27に示すような補助光アイコン701である。これは、アイコン表示中に半押しをすればAF補助光が発光することをユーザに知らせる役目をしている。
なお、上述の発光制御態様に応じて、その発光強度についても認識可能となるように、図28に示すように、
(a)被写体が拡大鏡領域にある場合は、補助光発光率を60%とした低レベルの発光強度の発光処理を行う予定であることを示すアイコン721、
(b)被写体がマクロ(近景)領域にある場合は、補助光発光率を80%とした中レベルの発光強度の発光処理を行う予定であることを示すアイコン722、
(c)被写体が遠景領域にある場合は、補助光発光率を100%とした高レベルの発光強度の発光処理を行う予定であることを示すアイコン723、
このようなレベル制御についても認識可能なアイコンを提示する構成としてもよい。
なお、本発明はデジタルスチルカメラ、デジタルビデオカメラ、カメラつき携帯電話など様々な機器に適用可能である。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成では、フォーカスレンズを移動させてフォーカス位置の検出を行なうフォーカス制御において、フォーカスレンズの可動範囲の一部のみをスキャン範囲として設定した第1スキャン処理と、第1スキャン処理においてフォーカスポイントが検出されない場合に、第1スキャン処理のスキャン領域と異なる領域を含む領域をスキャン範囲として設定した第2スキャン処理を実行する構成とした。第1スキャン処理のスキャン範囲は顔検出情報またはモニタリング情報によって得られる被写体距離情報などを利用して設定することで効率的なフォーカス処理が可能となる。また第1スキャン処理においてフォーカスポイントが得られなかった場合、第2スキャン処理を実行する構成としたので、より確実なフォーカス処理が実現される。
本発明の撮像装置の外観構成例について説明する図である。 本発明の撮像装置のハードウェア構成例について説明する図である。 フォーカス制御における合焦動作として実行されるレンズ駆動、AF評価値取得処理例について説明する図である。 顔検出による顔までの距離の推定処理について説明する図である。 本発明のフォーカス制御における処理シーケンスについて説明するフローチャートを示す図である。 本発明のフォーカス制御における顔検出時のオートフォーカス処理シーケンスについて説明するフローチャートを示す図である。 顔検出時のオートフォーカス処理におけるフォーカスレンズの移動範囲およびスキャン処理について説明する図である。 本発明のフォーカス制御における顔未検出時のオートフォーカス処理シーケンスについて説明するフローチャートを示す図である。 顔未検出時のオートフォーカス処理におけるフォーカスレンズの移動範囲およびスキャン処理について説明する図である。 本発明のフォーカス制御におけるシングルモード時のオートフォーカス処理シーケンスについて説明するフローチャートを示す図である。 シングルモード時のオートフォーカス処理におけるフォーカスレンズの移動範囲およびスキャン処理について説明する図である。 本発明のフォーカス制御におけるモニタリングモード時のオートフォーカス処理シーケンスについて説明するフローチャートを示す図である。 モニタリングモード時のオートフォーカス処理におけるフォーカスレンズの移動範囲およびスキャン処理について説明する図である。 カムカーブについて説明する図である。 遠景領域と近景領域と拡大鏡領域との境界設定処理例について説明する図である。 遠景領域と近景領域と拡大鏡領域におけるアイコン表示制御処理例について説明する図である。 遠景領域と近景領域と拡大鏡領域におけるオートフォーカス(AF)スキャン処理例について説明する図である。 遠景領域と近景領域と拡大鏡領域におけるオートフォーカス(AF)スキャン処理例について説明するフローチャートを示す図である。 オートフォーカス(AF)処理におけるアイコン表示制御処理シーケンスについて説明するフローチャートを示す図である。 オートフォーカス(AF)処理におけるアイコン表示制御処理シーケンスについて説明するフローチャートを示す図である。 オートフォーカス(AF)処理におけるアイコン表示制御処理シーケンスについて説明するフローチャートを示す図である。 オートフォーカス(AF)処理におけるアイコン表示制御処理シーケンスについて説明するフローチャートを示す図である。 オートフォーカス(AF)処理におけるアイコン表示制御処理シーケンスについて説明するフローチャートを示す図である。 オートフォーカス(AF)処理におけるアイコン表示制御処理シーケンスについて説明する図である。 補助光発光制御処理について説明する図である。 補助光発光制御処理について説明する図である。 補助光発光制御処理において実効するアイコン表示処理例ついて説明する図である。 補助光発光制御処理において実効するアイコン表示処理例ついて説明する図である。
符号の説明
10 撮像装置
11 電源スイッチ
12 レリーズスイッチ
13 モニタ
14 イメージャ
15 ズームボタン
16 操作ボタン
17 ビューファインダ
18 フォーカスレンズ
19 ズームレンズ
20 モードダイアル
21 フォーカスレンズモータ(M1)
22 ズームレンズモータ(M2)
25 補助光発光部
100 撮像装置
101 フォーカスレンズ
102 ズームレンズ
103 撮像素子
104 アナログ信号処理部
105 A/D変換部
106 タイミングジェネレータ(TA)
107 垂直ドライバ
108 デジタル信号処理部
110 制御部
111 ジャイロ
112 モータドライバ
113,114 モータ
115記録デバイス115
116 ビューファインダ(EVF)
117 モニタ
118 操作部
119 メモリ(EEPROM)
120 メモリ(ROM)
121 メモリ(RAM)
301 被写体位置
302 フォーカスレンズ
303 撮像素子
501 距離情報
521 AFスキャン開始位置
541 AFスキャン開始位置
561 距離情報
571 第1AFスキャン開始位置
572 第2AFスキャン開始位置
701 補助光アイコン
721〜723 補助光アイコン

Claims (7)

  1. 撮像装置であり、
    フォーカスレンズを移動させてフォーカス位置の検出を行なう制御部を有し、
    前記制御部は、
    フォーカスレンズの可動範囲の一部のみをスキャン範囲として設定したオートフォーカス(AF)スキャン処理を第1スキャン処理として実行し、
    前記第1スキャン処理において合焦位置が検出されない場合に、
    前記第1スキャン処理のスキャン領域と異なる領域および重複領域を含む領域をスキャン範囲として設定したオートフォーカス(AF)スキャン処理を第2スキャン処理として実行する構成であり、
    前記第1スキャン処理を、
    (a)撮像装置の設定モードが顔検出モードであり、顔検出がなされている場合には、顔検出処理によって検出された顔の距離(Df)を顔の大きさの基準値(Wref)と撮像素子の幅(Wi)と焦点距離(f)と、撮影画像における顔の幅のピクセル数(Wf)と、撮影画像の幅のピクセル数(Ww)に基づく以下の式、
    Df=Wref×(f/Wi)×(Ww/Wf)
    上記式に従って算出し、算出した顔の距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
    (b)撮像装置の設定モードがモニタリングモードである場合は、撮像装置の取得画像のモニタリング処理においてコントラスト測定に基づいて周期的に取得する被写体距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
    (c)撮像装置の設定モードが顔検出モードで顔検出がなされていない場合、または、撮像装置の設定モードが顔検出モードでもモニタリングモードでもない場合は、撮影対象となる被写体の推定距離である被写体距離を撮像素子の高さおよび焦点距離と被写体の高さ情報から算出し、算出した被写体距離に対応するフォーカスレンズ位置を含む近傍領域の一方の端部位置をスキャン開始位置として、該スキャン開始位置から前記近傍領域の他方の端部位置方向にのみフォーカスレンズを移動させるスキャン処理、
    上記(a),(b),(c)いずれかのスキャン処理として実行し、
    前記第1スキャン処理において合焦位置が検出された場合に、前記第2スキャン処理を行わずにスキャン処理を終了する撮像装置。
  2. 前記制御部は、
    前記第2スキャン処理として、フォーカスレンズの可動範囲の全領域をスキャン範囲として設定したスキャン処理を実行する構成である請求項1に記載の撮像装置。
  3. 前記制御部は、
    前記第1スキャン処理において合焦位置が検出されない場合に、
    前記第1スキャン処理におけるスキャン処理範囲以外の領域を含む領域をスキャン範囲として設定した第2スキャン処理を実行する構成である請求項1に記載の撮像装置。
  4. 前記制御部は、
    前記被写体距離を、
    被写体距離[m]=(焦点距離)×(被写体の高さ)/(イメージャの高さ)/1000
    上記式によって算出することを特徴とする請求項1に記載の撮像装置。
  5. 前記制御部は、
    前記第1スキャン処理において合焦位置が検出されない場合に、
    前記第1スキャン処理のスキャン領域を含み、かつ、フォーカスレンズの可動範囲の一部領域のみをスキャン範囲として設定した第2スキャン処理を実行し、
    前記第2スキャン処理において、合焦位置が検出されない場合に、前記第2スキャン処理におけるスキャン処理範囲以外の領域を含む領域をスキャン範囲として設定した第3スキャン処理を実行する構成である請求項に記載の撮像装置。
  6. 撮像装置において実行する撮像装置制御方法であり、
    制御部が、フォーカスレンズを移動させてフォーカス位置の検出を行なうフォーカス制御ステップを有し、
    前記フォーカス制御ステップは、
    フォーカスレンズの可動範囲の一部のみをスキャン範囲として設定したオートフォーカス(AF)スキャン処理を実行する第1スキャン処理ステップと、
    前記第1スキャン処理において合焦位置が検出されない場合に、
    前記第1スキャン処理のスキャン領域と異なる領域および重複領域を含む領域をスキャン範囲として設定したオートフォーカス(AF)スキャン処理を実行する第2スキャン処理ステップを含み、
    前記第1スキャン処理ステップは、
    (a)撮像装置の設定モードが顔検出モードであり、顔検出がなされている場合には、顔検出処理によって検出された顔の距離(Df)を顔の大きさの基準値(Wref)と撮像素子の幅(Wi)と焦点距離(f)と、撮影画像における顔の幅のピクセル数(Wf)と、撮影画像の幅のピクセル数(Ww)に基づく以下の式、
    Df=Wref×(f/Wi)×(Ww/Wf)
    上記式に従って算出し、算出した顔の距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
    (b)撮像装置の設定モードがモニタリングモードである場合は、撮像装置の取得画像のモニタリング処理においてコントラスト測定に基づいて周期的に取得する被写体距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
    (c)撮像装置の設定モードが顔検出モードで顔検出がなされていない場合、または、撮像装置の設定モードが顔検出モードでもモニタリングモードでもない場合は、撮影対象となる被写体の推定距離である被写体距離を撮像素子の高さおよび焦点距離と被写体の高さ情報から算出し、算出した被写体距離に対応するフォーカスレンズ位置を含む近傍領域の一方の端部位置をスキャン開始位置として、該スキャン開始位置から前記近傍領域の他方の端部位置方向にのみフォーカスレンズを移動させるスキャン処理、
    上記(a),(b),(c)いずれかのスキャン処理として実行するステップであり、
    前記第1スキャン処理において合焦位置が検出された場合に、前記第2スキャン処理を行わずにスキャン処理を終了する撮像装置制御方法。
  7. 撮像装置において像装置制御処理を実行させるコンピュータ・プログラムであり、
    制御部に、フォーカスレンズを移動させてフォーカス位置の検出を行なわせるフォーカス制御ステップを有し、
    前記フォーカス制御ステップは、
    フォーカスレンズの可動範囲の一部のみをスキャン範囲として設定したオートフォーカス(AF)スキャン処理を実行させる第1スキャン処理ステップと、
    前記第1スキャン処理において合焦位置が検出されない場合に、
    前記第1スキャン処理のスキャン領域と異なる領域および重複領域を含む領域をスキャン範囲として設定したオートフォーカス(AF)スキャン処理を実行させる第2スキャン処理ステップを含み、
    前記第1スキャン処理ステップは、
    (a)撮像装置の設定モードが顔検出モードであり、顔検出がなされている場合には、顔検出処理によって検出された顔の距離(Df)を顔の大きさの基準値(Wref)と撮像素子の幅(Wi)と焦点距離(f)と、撮影画像における顔の幅のピクセル数(Wf)と、撮影画像の幅のピクセル数(Ww)に基づく以下の式、
    Df=Wref×(f/Wi)×(Ww/Wf)
    上記式に従って算出し、算出した顔の距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
    (b)撮像装置の設定モードがモニタリングモードである場合は、撮像装置の取得画像のモニタリング処理においてコントラスト測定に基づいて周期的に取得する被写体距離に対応するフォーカスレンズ位置の近傍のみをスキャン範囲として設定したスキャン処理、
    (c)撮像装置の設定モードが顔検出モードで顔検出がなされていない場合、または、撮像装置の設定モードが顔検出モードでもモニタリングモードでもない場合は、撮影対象となる被写体の推定距離である被写体距離を撮像素子の高さおよび焦点距離と被写体の高さ情報から算出し、算出した被写体距離に対応するフォーカスレンズ位置を含む近傍領域の一方の端部位置をスキャン開始位置として、該スキャン開始位置から前記近傍領域の他方の端部位置方向にのみフォーカスレンズを移動させるスキャン処理、
    上記(a),(b),(c)いずれかのスキャン処理として実行させるステップであり、
    前記第1スキャン処理において合焦位置が検出された場合に、前記第2スキャン処理を行わずにスキャン処理を終了させるコンピュータ・プログラム。
JP2008190505A 2008-01-25 2008-07-24 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Expired - Fee Related JP4843002B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008190505A JP4843002B2 (ja) 2008-01-25 2008-07-24 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US12/358,917 US8379138B2 (en) 2008-01-25 2009-01-23 Imaging apparatus, imaging apparatus control method, and computer program
CN2009100084665A CN101494735B (zh) 2008-01-25 2009-01-23 摄像装置、摄像装置控制方法
US13/607,188 US8493493B2 (en) 2008-01-25 2012-09-07 Imaging apparatus, imaging apparatus control method, and computer program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008014455 2008-01-25
JP2008014455 2008-01-25
JP2008190505A JP4843002B2 (ja) 2008-01-25 2008-07-24 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010181740A Division JP4730478B2 (ja) 2008-01-25 2010-08-16 撮像装置、および撮像装置制御方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2009199049A JP2009199049A (ja) 2009-09-03
JP2009199049A5 JP2009199049A5 (ja) 2009-10-15
JP4843002B2 true JP4843002B2 (ja) 2011-12-21

Family

ID=40898831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008190505A Expired - Fee Related JP4843002B2 (ja) 2008-01-25 2008-07-24 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Country Status (2)

Country Link
US (2) US8379138B2 (ja)
JP (1) JP4843002B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4264660B2 (ja) * 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
TWI392852B (zh) * 2009-09-25 2013-04-11 Primax Electronics Ltd 利用自動對焦測量距離之可攜式電子設備以及利用自動對焦測量距離之方法
US8970770B2 (en) * 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
CN103222258B (zh) * 2010-12-01 2016-06-08 日本电气株式会社 移动终端、图像处理的方法
US20120281874A1 (en) * 2011-05-05 2012-11-08 Lure Yuan-Ming F Method, material, and apparatus to improve acquisition of human frontal face images using image template
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP6103849B2 (ja) * 2012-08-02 2017-03-29 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2014126612A (ja) * 2012-12-25 2014-07-07 Canon Inc 撮像装置およびその制御方法
CN107005655B (zh) * 2014-12-09 2020-06-23 快图有限公司 图像处理方法
JP6474693B2 (ja) * 2015-06-19 2019-02-27 オリンパス株式会社 焦点検出装置、焦点検出方法、および記録媒体
US20180012094A1 (en) * 2016-07-05 2018-01-11 Morphotrust Usa, Llc Spoofing attack detection during live image capture
CN110785691B (zh) 2017-06-27 2023-08-04 索尼公司 可互换透镜装置、成像装置、成像系统、方法以及计算机存储介质
JP6668570B2 (ja) * 2018-05-22 2020-03-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像装置、移動体、制御方法、及びプログラム
US11509833B2 (en) * 2021-03-04 2022-11-22 Ford Global Technologies, Llc Illumination control for vehicle sensors

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2594454B2 (ja) * 1988-03-16 1997-03-26 旭光学工業株式会社 カメラの被写界深度の表示方法
US5119121A (en) * 1988-06-30 1992-06-02 Asahi Kogaku Kogyo Kabushiki Kaisha Electronically controlled camera having macro and normal operational modes
US5892991A (en) * 1991-04-30 1999-04-06 Minolta Co., Ltd. Camera capable of displaying the level of visual effect
US5532783A (en) * 1993-11-24 1996-07-02 Nikon Corporation Apparatus and method for adjusting the focus of a camera during scanning drive and non-scanning drive of a photographic lens
JPH09211298A (ja) 1996-02-02 1997-08-15 Canon Inc フォーカス制御装置及びオートフォーカス制御装置
JPH10213737A (ja) 1997-01-30 1998-08-11 Sony Corp ビデオカメラのオートフォーカス装置
JP4024404B2 (ja) * 1998-11-13 2007-12-19 オリンパス株式会社 カメラ
JP3921069B2 (ja) * 2001-10-15 2007-05-30 株式会社リコー 撮像装置
JP2003230039A (ja) 2002-02-05 2003-08-15 Ricoh Co Ltd デジタルカメラ
JP4068856B2 (ja) 2002-02-18 2008-03-26 株式会社リコー 撮像装置
JP2003262786A (ja) 2002-03-08 2003-09-19 Casio Comput Co Ltd 撮像装置及びその自動合焦方法
JP3944039B2 (ja) * 2002-09-13 2007-07-11 キヤノン株式会社 焦点調節装置及びプログラム
JP2004133637A (ja) 2002-10-09 2004-04-30 Sony Corp 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
KR100562404B1 (ko) * 2003-12-19 2006-03-17 삼성테크윈 주식회사 추가 스캐닝이 수행되는 카메라의 자동 포커싱 방법
JP5051812B2 (ja) 2004-01-14 2012-10-17 株式会社リコー 撮像装置、その合焦方法および記録媒体
US7598997B2 (en) * 2004-01-14 2009-10-06 Ricoh Company, Ltd. Imaging apparatus and focus control method based on a number of automatic focus scan stages, and recording medium storing a program for executing such a method
US7551218B2 (en) 2004-03-15 2009-06-23 Fujifilm Corporation Digital camera with a mode selectable structure
JP4241447B2 (ja) 2004-03-15 2009-03-18 富士フイルム株式会社 デジタルカメラ
JP4095071B2 (ja) * 2004-03-19 2008-06-04 株式会社リコー ディスプレイ付き電子装置、ディスプレイ付き電子装置の制御方法、及びプログラム
JP2006018246A (ja) * 2004-06-03 2006-01-19 Canon Inc 撮像装置及び撮像方法
US7733412B2 (en) * 2004-06-03 2010-06-08 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
JP2006047602A (ja) * 2004-08-04 2006-02-16 Casio Comput Co Ltd カメラ装置
US9215363B2 (en) * 2004-09-29 2015-12-15 Hewlett-Packard Development Company, L.P. Implementing autofocus in an image capture device while compensating for movement
CN1815341A (zh) 2005-02-06 2006-08-09 亚洲光学股份有限公司 照相机自动调整闪光强度的方法及系统
JP4288612B2 (ja) * 2005-09-14 2009-07-01 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR100649983B1 (ko) * 2005-10-05 2006-11-27 삼성전자주식회사 동작 감지를 이용한 촬영 장치 및 방법
JP2007206237A (ja) * 2006-01-31 2007-08-16 Fujifilm Corp 撮影装置用補助光照射装置
JP2007206433A (ja) * 2006-02-02 2007-08-16 Canon Inc 焦点調整装置、撮像装置、及び制御方法
JP4264660B2 (ja) 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4127297B2 (ja) 2006-06-09 2008-07-30 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4172507B2 (ja) 2006-07-13 2008-10-29 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2008046255A (ja) * 2006-08-11 2008-02-28 Fujifilm Corp Af補助光搭載カメラ
JP4810416B2 (ja) * 2006-12-19 2011-11-09 Hoya株式会社 焦点調節装置を備えたカメラ
JP4974912B2 (ja) * 2008-01-22 2012-07-11 キヤノン株式会社 撮像装置
JP4582152B2 (ja) 2008-01-25 2010-11-17 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
JP2009199049A (ja) 2009-09-03
US20130002537A1 (en) 2013-01-03
US8493493B2 (en) 2013-07-23
US20090190023A1 (en) 2009-07-30
US8379138B2 (en) 2013-02-19

Similar Documents

Publication Publication Date Title
JP4843002B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4730478B2 (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP4582152B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5019939B2 (ja) 撮像装置及び撮像方法
US9277111B2 (en) Image capture apparatus and control method therefor
CN107850753B (zh) 检测设备、检测方法、检测程序和成像设备
JP5051812B2 (ja) 撮像装置、その合焦方法および記録媒体
US7391461B2 (en) Apparatus, method and control computer program for imaging a plurality of objects at different distances
JP5855454B2 (ja) 撮像装置
KR20140014288A (ko) 촬상 장치
JP5610867B2 (ja) 撮像装置及びその制御方法
JP6727453B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP2008079193A (ja) デジタルカメラ
JP6431429B2 (ja) 撮像装置およびその制御方法、プログラム、ならびに記憶媒体
JP5409483B2 (ja) 撮像装置
JP2013210572A (ja) 撮像装置および撮像装置の制御プログラム
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP2008263478A (ja) 撮像装置
JP5800600B2 (ja) 撮像装置、撮像方法およびプログラム
JP2010066728A (ja) 撮像装置および撮像装置の制御方法
JP2020088810A (ja) 撮像装置及び撮像装置の制御方法
JP2013242408A (ja) 撮像装置およびその制御方法
JP2020052400A (ja) ズーム制御装置およびその制御方法
JP5938268B2 (ja) 撮像装置およびその制御方法
JP2010268400A (ja) 電子カメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090721

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100816

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100901

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20101015

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111006

R150 Certificate of patent or registration of utility model

Ref document number: 4843002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees