JP2016142999A

JP2016142999A - 撮像装置及びその制御方法

Info

Publication number: JP2016142999A
Application number: JP2015020617A
Authority: JP
Inventors: 隼中村; hayato Nakamura
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-02-04
Filing date: 2015-02-04
Publication date: 2016-08-08

Abstract

【課題】撮像面位相差検出方式を用いたＡＦ制御において、時系列的に連続した複数フレーム分のＡＦ制御に係る情報の合成が必要な条件下でも、ＡＦ制御の精度を維持しつつ、高速化を実現すること。
【解決手段】撮像光学系を介して入射した光束を光電変換して、位相差検出用の一対の像信号を出力する焦点検出用画素を含む撮像素子２０１と、撮像素子から出力された信号から、画像を生成する生成手段２０３、２０４と、一対の像信号から、フレーム毎にデフォーカス量を求める第１の相関演算と、該第１の相関演算で求められたデフォーカス量の絶対値が予め決められた第１の閾値以下である、時系列的に連続する予め決められた数のフレームで得られた一対の像信号から、デフォーカス量を求める第２の相関演算とを行う相関演算手段２０５、２１５と、第２の相関演算で用いるフレームの予め決められた数を設定する設定手段２１６とを有する。
【選択図】図１

Description

本発明は、撮像装置及びその制御方法に関し、特に撮像装置における撮像面位相差ＡＦによる焦点調節技術に関する。

近年、一眼レフカメラを代表とする撮像装置において、ＬＶ（ライブビュー）画面を見ながら撮影する機会が増加している。一方、撮像装置のＡＦ（オートフォーカス）方式として、従来より様々な手法が提案されているが、主な手法として位相差検出方式とコントラスト検出方式がある。

位相差検出方式では、撮像光学系における互いに異なる射出瞳領域を通過した被写体からの光束を一対のラインセンサ上に結像させ、該一対のラインセンサにより得られた一対の像信号の位相差から撮像光学系のデフォーカス量を算出する。そして、算出したデフォーカス量に相当する移動量だけフォーカスレンズを移動させることで合焦状態を得る（特許文献１参照）。しかし、特許文献１に記載された位相差検出方式では、ＡＦ中に撮像素子への光路が遮られてしまうため、ＬＶ画面を見ながらの撮影（ＬＶ撮影）ができない。

一方、コントラスト検出方式では、フォーカスレンズを移動させながら、複数の異なるフォーカスレレンズ位置において撮像素子を用いて撮像信号を得る。そして、得られた撮像信号から生成したコントラスト評価値が最大となるフォーカスレンズ位置を探索することによって合焦状態を得る（特許文献２参照）。コントラスト検出方式は、撮像信号を基にフォーカシングを行うので、ＬＶ撮影時のＡＦに適しており、近年では、ＬＶ撮影時の主流なＡＦ方式である。しかし、コントラスト検出方式では、被写体に合焦させるためのフォーカスレンズの位置及び駆動方向を容易に判断することができない。そのため、コントラスト検出方式では、合焦に時間を要したり、フォーカスレンズを駆動すべき方向を間違えたり、合焦位置を通り過ぎてしまったりと、品位の悪い挙動をすることがある。

ＬＶ撮影は、静止画だけでなく動画の撮影時にも行われるため、ＡＦ制御として、逸早く合焦させるための応答性に加えて、品位良くフォーカシングを行うことが求められている。最近では、ＬＶ撮影時にも高速かつ品位良くフォーカシングを行うことが可能なＡＦ方式が提案されている。その方式の一つとして挙げられるのが、位相差検出方式の焦点検出を撮像素子から得られた撮像信号を用いて行う撮像面位相差検出方式である。

撮像面位相差検出方式の焦点検出を行うための１つの方法として、撮像素子内に撮像用の画素と焦点検出用の画素とを設け、撮像用の画素により撮像を行いつつ、焦点検出用の画素からの出力信号を比較する手法が提案されている（特許文献３参照）。撮像面位相差検出方式を用いることで、ＬＶ撮影時にも位相差検出方式で焦点検出することが可能になるため、高速で品位良くフォーカシングを行うことができる。

また、被写体の信号レベルが低く、十分な精度で撮像面位相差検出方式による焦点検出を行うには不十分である場合に、時系列に連続した複数フレームのそれぞれで求めたデフォーカス量を平均したり、一対の像信号を加算する方法がある。特許文献４では、所定のレベルに達するまで各フレームで得られる一対の像信号を加算し、加算した一対の像信号を基にデフォーカス量を算出するが、加算中に撮影条件の変化を検出した場合は、加算を停止して再度加算をやり直すという手法が提案されている。

特開平０９−０５４２４２号公報特開２００１−００４９１４号公報特開２０００−１５６８２３号公報特開２０１１−２５２９５５号公報

しかしながら、特許文献４では、撮影条件の変化の発生時に加算をやり直すため、ＡＦ時に撮影条件の変化が発生するケースにおいて合成する時間が余分にかかってしまう。例えば、撮影条件の変化が被写体の合焦位置の変化に伴うものであった場合に、いち早く被写体の合焦位置の変化に追従したいものの、再度合成をやり直す時間が発生するために追従が遅れてしまう場合がある。

本発明は上記問題点を鑑みてなされたものであり、撮像面位相差検出方式を用いたＡＦ制御において、時系列的に連続した複数フレーム分のＡＦ制御に係る情報の合成が必要な条件下でも、ＡＦ制御の精度を維持しつつ、高速化を実現することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像光学系を介して入射した光束を光電変換して、位相差検出用の一対の像信号を出力する焦点検出用画素を含む撮像素子と、前記撮像素子から出力された信号から、画像を生成する生成手段と、前記一対の像信号から、フレーム毎にデフォーカス量を求める第１の相関演算と、該第１の相関演算で求められたデフォーカス量の絶対値が予め決められた第１の閾値以下である、時系列的に連続する予め決められた数のフレームで得られた前記一対の像信号から、デフォーカス量を求める第２の相関演算とを行う相関演算手段と、前記第２の相関演算で用いるフレームの前記予め決められた数を設定する設定手段とを有する。

本発明によれば、撮像面位相差検出方式を用いたＡＦ制御において、時系列的に連続した複数フレーム分のＡＦ制御に係る情報の合成が必要な条件下でも、ＡＦ制御の精度を維持しつつ、高速化を実現することができる。

本発明の第１及び第２の実施形態に係る撮像装置の一例としてのレンズ交換式カメラの機能構成例を示すブロック図。第１、２、４、５の実施形態における撮像素子の画素構成例を示す図。第１乃至第５の実施形態における撮影処理を示すフローチャート。第１乃至第５の実施形態における静止画撮影処理を示すフローチャート。第１乃至第５の実施形態における焦点状態検出処理を示すフローチャート。第１及び第３の実施形態におけるＡＦ処理を示すフローチャート。焦点状態検出処理で取り扱う焦点検出領域の一例を模式的に示した図。図７に示す焦点検出領域から得られる像信号の例を示す図。図８に示す像信号のシフト量と相関量の関係の一例を示す図。図８に示す像信号のシフト量と相関変化量ΔＣＯＲの関係例を示した図。第２の実施形態におけるＡＦ処理を示すフローチャート。第２の実施形態における閾値Th2の設定処理を示すフローチャート。第３の実施形態に係る撮像装置の一例としてのレンズ交換式カメラの機能構成例を示すブロック図。第３の実施形態に係る撮像面位相差検出方式（撮像画素／ＡＦ画素兼用）の画素構成例を示す図。第４及び第５の実施形態に係る撮像装置の一例としてのレンズ交換式カメラの機能構成例を示すブロック図。第４の実施形態におけるＡＦ処理を示すフローチャート。第５の実施形態におけるＡＦ処理を示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置の一例として、レンズ交換式カメラシステムの機能構成例を示すブロック図である。

本実施形態の撮像装置は交換可能なレンズユニット１０及びカメラ本体２０から構成されている。レンズ全体の動作を統括制御するレンズ制御部１０８と、レンズユニット１０を含めたカメラシステム全体の動作を統括するカメラ本体２０に設けられたカメラ制御部２１５とは、レンズマウントに設けられた端子を通じて相互に通信可能である。

まず、レンズユニット１０の構成について説明する。固定レンズ１０１、ズームレンズ１０２、絞り１０３、フォーカスレンズ１０４は撮像光学系を構成する。ズームレンズ１０２は、ズームレンズ駆動部１０５によって駆動され、ズームレンズ１０２の位置に応じて焦点距離が変化する。絞り１０３は、絞り駆動部１０６によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０４はフォーカスレンズ駆動部１０７によって駆動され、フォーカスレンズ１０４の位置に応じて撮像光学系の合焦距離が変化する。ズームレンズ駆動部１０５、絞り駆動部１０６、フォーカスレンズ駆動部１０７はレンズ制御部１０８によって制御され、ズームレンズ１０２の位置、絞り１０３の開口量、フォーカスレンズ１０４の位置を決定する。

レンズ操作部１０９は、ＡＦ／ＭＦ（マニュアルフォーカス）モードの切り替え、撮影距離範囲の設定など、ユーザがレンズユニット１０の動作に関する設定を行うための入力デバイス群である。レンズ操作部１０９が操作された場合、レンズ制御部１０８は操作に応じた制御を行う。また、レンズ制御部１０８は、カメラ制御部２１５から受信した制御命令や制御情報に応じてズームレンズ駆動部１０５、絞り駆動部１０６、フォーカスレンズ駆動部１０７を制御すると共に、レンズ制御情報をカメラ制御部２１５に送信する。なお、図１に示す構成では、ズームレンズ１０２、絞り１０３、フォーカスレンズ１０４はレンズ制御部１０８が制御するものとしたが、レンズ操作部１０９を介してユーザがこれらを直接駆動できる構成としても構わない。

次に、カメラ本体２０の構成について説明する。カメラ本体２０はレンズユニット１０の撮像光学系を通過した光束から撮像信号を取得できるように構成されている。撮像素子２０１はＣＣＤやＣＭＯＳセンサにより構成される。レンズユニット１０の撮像光学系を介して入射した光束は撮像素子２０１の受光面上に結像し、撮像素子２０１に配列された画素に設けられたフォトダイオードにより、入射光量に応じた信号電荷に光電変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１５の指令に従ってタイミングジェネレータ２１８が出力する駆動パルスより、信号電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

図２は、位相差検出方式によるＡＦ（撮像面位相差ＡＦ）に対応した、第１の実施形態の撮像素子２０１における画素の構成例を模式的に示す図である。なお、ここではベイヤ配列の原色カラーフィルタが設けられているものとする。図２に示すように、撮像面位相差ＡＦに対応した撮像素子２０１は、画像の撮影に用いられる撮像画素と、撮像面位相差ＡＦを行うための像信号を生成するＡＦ用画素（焦点検出用画素）の２種類から構成されている。

ＡＦ用画素は、図において水平方向に２分割され、フォトダイオード（受光領域）と遮光部に分けられている。また、ＡＦ用画素は、遮光部が水平方向の右側にある画素と左側にある画素があり、それぞれフォトダイオードＡまたはＢが設けられている。なお、図２に示した分割方法は一例であり、他の分割方法（例えば、垂直方向に２分割）を用いたり、画素によって異なる分割方法が適用されてもよい。遮光部でマスクされたＡＦ用画素に入射する光束をフォトダイオードＡ、Ｂで受光し、得られた信号をそれぞれ出力することで、位相差検出用の一対の像信号（Ａ像信号、Ｂ像信号）を得ることができる。

上記構成を有する撮像素子２０１により、撮像画素から読み出された撮像信号から画像を生成すると共に、ＡＦ用画素から読み出されたＡＦ用信号から生成したＡ像信号及びＢ像信号から撮像面位相差ＡＦを行うことができる。

ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像素子２０１から読み出された信号に対し、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、処理した信号をＡＦ画素補正部２０３に、また、当該信号のうち、ＡＦ用信号を位相差ＡＦ信号処理部２０５にそれぞれ出力する。

ＡＦ画素補正部２０３は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力された信号のうち、ＡＦ用画素に対応する信号を、ＡＦ用画素の周辺の撮像画素から出力された撮像信号を用いて画像用の信号に補正して、画像入力コントローラ２０４に出力する。これは、ＡＦ用画素の出力信号が位相差検出方式のＡＦにのみ使用できるものであり、画像を構成する観点ではＡＦ用画素はキズ画素と同義であるためで、図２に示すようなＡＦ用画素を配置する場合、ＡＦ用画素のＡＦ用信号を画像用に補正する。

画像入力コントローラ２０４は、ＡＦ画素補正部２０３により補正された撮像信号をバス２１を介してＳＤＲＡＭ２１０に格納する。ＳＤＲＡＭ２１０に格納された画像信号は、バス２１を介して表示制御部２０６によって読み出され、表示部２０７に表示される。また、撮像信号の記録を行う動作モードでは、ＳＤＲＡＭ２１０に格納された画像信号は記録媒体制御部２０８によって記録媒体２０９に記録される。

ＲＯＭ２１１にはカメラ制御部２１５が実行する制御プログラム及び制御に必要な各種データ等が格納されており、フラッシュＲＯＭ２１２には、ユーザ設定情報等のカメラ本体２０の動作に関する各種設定情報等が格納されている。

位相差ＡＦ信号処理部２０５はＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力されたＡＦ用のＡ像信号及びＢ像信号に対して相関演算を行い、像ずれ量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を算出する。位相差ＡＦ信号処理部２０５は、算出した像ずれ量及び信頼性情報などの情報をカメラ制御部２１５へ出力する。なお、相関演算の詳細については、図７から図１０を用いて後述する。

カメラ制御部２１５は、例えば１つ以上のプログラマブルプロセッサであり、ＲＯＭ２１１に記憶された制御プログラムを実行することで、レンズユニット１０を含めた撮像装置全体の動作を実現する。また、カメラ制御部２１５はレンズユニット１０への制御命令や制御情報をレンズ制御部１０８に送ったり、レンズユニット１０の情報をレンズ制御部１０８から取得したりする。カメラ制御部２１５は更に、カメラ本体２０内の各機能ブロックと情報をやり取りして制御を行う。

その１つとして、カメラ制御部２１５は、位相差ＡＦ信号処理部２０５が求めた像ずれ量や信頼性情報を基に、必要に応じて位相差ＡＦ信号処理部２０５の設定を変更する。例えば、像ずれ量が所定量以上の場合に相関演算を行う領域を広く設定したり、Ａ像信号及びＢ像信号のコントラスト情報に応じてＡＦ用信号に対してかけるバンドパスフィルタの種類を変更したりする。また、カメラ制御部２１５は、位相差ＡＦ信号処理部２０５から取得した相関演算結果に基づきフォーカスレンズ１０４を駆動する。その際、撮影状態によっては、カメラ制御部２１５は取得した相関演算結果をそのまま使用せずに、時系列的に連続した複数フレームで求められた相関演算結果を合成して使用する。

また、カメラ制御部２１５はカメラ本体２０内の処理だけでなく、カメラ操作部２１７からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、記録の開始、ＡＦ制御の開始、記録映像の確認等、ユーザの操作に応じた様々なカメラ機能を実行する。

フレーム合成数設定部２１６は、カメラ制御部２１５の機能の一部を示しており、時系列的に連続した複数フレームで求められた相関演算結果を合成する際の、合成するフレーム数を設定する。カメラ制御部２１５は、後述するように撮影状態に応じて、フレーム合成数設定部２１６によって設定されたフレーム合成数分、位相差ＡＦ信号処理部２０５から算出された相関演算結果を合成する。そして、カメラ制御部２１５は、合成後の相関演算結果または、１フレームから算出した相関演算結果を基にレンズ制御部１０８を介してフォーカスレンズ１０４を駆動するように制御する。

追従信号処理部２１４は、カメラ制御部２１５からの指令に従いＳＤＲＡＭ２１０から追尾用に画像信号を取り込み、取り込んだ画像信号から、色情報のヒストグラム及び輝度情報のヒストグラムからなる特徴量を生成する。被写体領域検出部２１３は、現在撮像している画像信号に対して、生成した特徴量を基に追従する被写体（追従被写体）の探索処理を施し、撮影画面内の所定領域に追従被写体に相当する被写体が存在するかどうかを特定する。追従被写体が存在する場合は、追従被写体の位置座標を基に追従領域を決定し、カメラ制御部２１５に送信する。カメラ制御部２１５は、追従領域を用いてＡＦを行う焦点検出領域を設定したり、ＡＥを行う測光領域を設定する。また、追従被写体の位置座標はＳＤＲＡＭ２１０に保持され、次回以降の追従領域の検出を行う際にこの位置座標を用いることで、追従被写体の探索処理を施すエリアを限定することができる。そして、追従被写体の位置座標が更新される度に、ＳＤＲＡＭ２１０に保持する位置座標も更新する。

次に、本第１の実施形態における撮像装置の動作について説明する。図３はカメラ本体２０の撮影処理の手順を示すフローチャートであり、カメラ制御部２１５の制御により実行される。Ｓ３０１でカメラ設定等の初期化処理を行い、Ｓ３０２でカメラ本体２０の撮影モードが動画撮影モードか静止画撮影モードかを判定する。動画撮影モードであれば、Ｓ３０３に進んで動画撮影処理を行い、Ｓ３０５へ処理を進める。一方、静止画撮影モードであれば、Ｓ３０４に進んで静止画撮影処理を行い、Ｓ３０５へ処理を進める。

Ｓ３０３の動画撮影処理、またはＳ３０４の静止画撮影処理を行った後、Ｓ３０５に進んで撮影処理が停止されたかどうかを判断し、停止されていない場合はＳ３０６へ進み、停止された場合は撮影処理を終了する。なお、撮影処理が停止された場合とは、カメラ操作部２１７によりカメラ本体２０の電源が切断された場合や、カメラのユーザ設定処理や撮影画像／動画の確認のための再生処理等、撮影以外の動作が行われた場合等である。Ｓ３０６において、撮影モードが変更されたかどうかを判断し、変更されている場合はＳ３０１へ戻って、初期化処理を行った上で変更された撮影モードの処理を行う。一方、変更されていない場合はＳ３０２へ戻って現在の撮影モードの処理を継続して行う。

次に、図３のＳ３０４で行われる静止画撮影処理について、図４を参照して説明する。第１の実施形態では、静止画撮影処理において本発明の焦点検出処理を行うものとして説明するが、動画撮影処理及び静止画撮影処理のどちらにも適用可能である。しかしながら、第１の実施形態においては、Ｓ３０３で行われる動画撮影処理として従来の動画撮影処理が行われるものとし、説明を省略する。

まず、Ｓ４０１でカメラ制御部２１５は焦点状態検出処理を行い、Ｓ４０２へ処理を進める。焦点状態検出処理は、カメラ制御部２１５、位相差ＡＦ信号処理部２０５による、撮像面位相差ＡＦを行うためのデフォーカス情報及び信頼性情報を取得する処理であり、詳細は図５のフローチャートを用いて詳細に後述する。Ｓ４０２では、カメラ制御部２１５は、カメラ操作部２１７によってＡＦ指示が行われているかどうかを判断する。ＡＦ指示は、例えば、シャッターボタンを半押しや、ＡＦを実行するＡＦＯＮボタンの押下により行われるが、その他の手段によってＡＦ指示を行う構成でも構わない。Ｓ４０２でＡＦ指示が行われている場合はＳ４０３に進み、ＡＦ処理（焦点調節処理）を行って、静止画撮影処理を終了する。なお、Ｓ４０３で行われるＡＦ処理については図６のフローチャートを用いて詳細に後述する。

一方、Ｓ４０２でＡＦ指示が行われていない場合はＳ４０４へ処理を進め、カメラ操作部２１７によって撮影指示が行われているかどうかを判断する。撮影指示は、例えば、シャッターボタンを全押しすることにより行われるが、その他の手段によって撮影指示を行う構成でも構わない。Ｓ４０４で撮影指示が行われていない場合は、そのままＳ４０７に処理を進める。また、Ｓ４０４で撮影指示が行われている場合はＳ４０５へ進み、現在、合焦停止状態にあるかどうかを判断する。合焦停止状態についてはＳ４０３で行われるＡＦ処理の説明で図６を用いて後述するが、撮影が完了した場合や、ＡＦ指示及び撮影指示が行われていない場合は、合焦停止状態でない状態に初期化しておく。

Ｓ４０５で合焦停止状態でない場合は、まだ被写体にピントが合っていないと判断し、Ｓ４０３でＡＦ処理を開始または継続することで被写体にピントを合わせる。一方、合焦停止状態である場合はＳ４０６に進んで撮影処理を行い、記録媒体制御部２０８を介して記録媒体２０９に撮影画像を保存して、Ｓ４０７へ処理を進める。Ｓ４０７では、合焦停止状態を解除して静止画撮影処理を終了する。

次に図４のＳ４０１で行われる焦点状態検出処理について、図５を参照して説明する。まず、Ｓ５０１においてカメラ制御部２１５は、カメラ本体２０、またはレンズユニット１０が持つ、ＡＦに使用する撮影パラメータを取得する。撮影パラメータとは、レンズユニット１０内の絞り１０２の絞り情報や、カメラ本体２０内の撮像素子２０１にかかっているセンサゲインなどをはじめとした情報であり、本実施形態の構成に依らず、カメラの構成に応じて必要な情報を適宜取得すれば良い。この撮影パラメータに基づいて、位相差ＡＦ信号処理部２０５でのＡＦ用信号生成に係る処理に適用できるように、カメラ制御部２１５は情報を取得する。

次に、Ｓ５０２でカメラ制御部２１５は、撮像画面の焦点検出範囲内から、焦点状態検出を行う焦点検出領域の位置の設定／配置を行う。ここでは、例えば、ユーザがカメラ操作部２１７を操作して任意の位置を設定したり、被写体検出が可能な構成であれば、例えば顔を検出した位置を焦点検出領域の位置として設定してもよい。カメラ制御部２１５は、設定した焦点検出領域を位相差ＡＦ信号処理部２０５に設定することで、位相差ＡＦ用信号を検出する撮像画面内の範囲を設定する。

次に、Ｓ５０３で位相差ＡＦ信号処理部２０５は、Ｓ５０２で設定された焦点検出領域内における、ＡＦ用の一対の像信号（Ａ像信号及びＢ像信号）を取得する。次に、Ｓ５０４で位相差ＡＦ信号処理部２０５は、取得した像信号間の相関量を算出する。続いて、Ｓ５０５で位相差ＡＦ信号処理部２０５はＳ５０４より算出した相関量から相関変化量を算出し、そしてＳ５０６で位相差ＡＦ信号処理部２０５は相関変化量から像ずれ量を算出する。Ｓ５０７で位相差ＡＦ信号処理部２０５は、算出した像ずれ量がどれだけ信頼できるのかを表す信頼性を算出する。Ｓ５０８では、位相差ＡＦ信号処理部２０５はＳ５０７で算出した像ずれ量に換算係数を掛けることでデフォーカス量に変換し（第１の相関演算）、焦点状態検出処理を終了する。

次に、図７から図１０（ｂ）を用いて図５で説明した焦点状態検出処理についてさらに詳細に説明する。

図７は焦点状態検出処理で取り扱う焦点検出領域の一例を模式的に示した図であり、撮像素子２０１の画素アレイ７０１における焦点検出領域７０２の例を示している。シフト領域７０３は、相関演算に必要な領域を示している。従って、焦点検出領域７０２とシフト領域７０３とを合わせた領域７０４が相関演算に必要な画素領域となる。図中、ｐ、ｑ、ｓ、ｔはそれぞれｘ軸方向の座標を表し、ｐ及びｑは画素領域７０４の始点及び終点のｘ座標を、ｓ及びｔは焦点検出領域７０２の始点および終点のｘ座標を表す。また撮像素子２０１には、離散的にＡＦ用画素を含むＡＦ用画素領域７０５が設けられており、ＡＦ用画素領域７０５内でのみ相関演算を行うことが可能である。なお、焦点検出領域の配置の仕方、広さ、ＡＦ用画素領域の配置の仕方などはここで例示した構成に限られるものではなく他の構成を用いてもよい。

図８は図７で設定した焦点検出領域７０２に含まれる画素から取得したＡＦ用の像信号の例を示す図であり、実線８０１がＡ像信号、破線８０２がＢ像信号を示している。

図８（ａ）は、シフト前の像信号の例を示し、図８（ｂ）及び（ｃ）は、図８（ａ）のシフト前の像信号の波形に対し、それぞれプラス方向およびマイナス方向にシフトした状態を示している。相関量を算出する際には、Ａ像信号８０１及びＢ像信号８０２の両方を、矢印の方向に１ビットずつシフトする。

続いて相関量ＣＯＲの算出方法について説明する。まず、図８（ｂ）および（ｃ）に示したように、Ａ像信号８０１とＢ像信号８０２のそれぞれを１ビットずつシフトし、各シフト状態において、その時のＡ像信号とＢ像信号の差の絶対値の和を算出する。この時、シフト量をｉで表すと、最小シフト量は図８中のｐ−ｓ、最大シフトは図８中のｑ−ｔである。これらを用い、焦点検出領域７０２における相関量ＣＯＲは以下の式（１）によって算出することができる。

図９（ａ）はシフト量と相関量との関係の一例を示した図であり、横軸はシフト量、縦軸は相関量を示している。相関量波形９０１における極値付近９０２、９０３のうち、相関量が小さい方ほど、Ａ像信号とＢ像信号との一致度が高い。

続いて相関変化量ΔＣＯＲの算出法について説明する。まず、図９（ａ）の相関量波形から、１シフト飛ばしの相関量の差から相関変化量を算出する。シフト量をｉで表し、最小シフト量は図８中のｐ−ｓ、最大シフト量は図８中のｑ−ｔである。これらを用いて、相関変化量ΔＣＯＲは以下の式（２）によって算出することができる。
ΔCOR[i] = COR[i-1] - COR[i+1]，
{(p - s + 1)＜i＜(q - t - 1)} …（２）

図１０（ａ）はシフト量と相関変化量ΔＣＯＲの関係例を示した図である。横軸はシフト量を示し、縦軸は相関変化量を示す。相関変化量の波形１００１で、１００２、１００３は相関変化量がプラスからマイナスになる周辺である。相関変化量が０となる状態ゼロクロスと呼び、像信号間の一致度が最も高く、ゼロクロス時のシフト量が像ずれ量となる。

図１０（ｂ）は図１０（ａ）の１００２の部分を拡大したもので、１００４は相関変化量の波形１００１の一部分である。図１０（ｂ）を用いて像ずれ量ＰＲＤの算出方法について説明する。

ここで、ゼロクロス時のシフト量（ｋ−１＋α）は、整数部分β（＝ｋ−１）と小数部分αに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥの相似の関係から、以下の式（３）によって算出することができる。

整数部分βは、図１０（ｂ）より、以下の式（４）によって算出することができる。
β＝k - 1 …（４）
αとβの和から像ずれ量ＰＲＤを算出することができる。

また図１０（ａ）のようにゼロクロスとなるシフト量が複数存在する場合は、ゼロクロスでの相関量変化の急峻性が大きいところを第１のゼロクロスとする。この急峻性はＡＦのし易さを示す指標で、値が大きいほど精度良くＡＦし易い点であることを示す。急峻性ｍａｘｄｅｒは以下の式（５）によって算出することができる。
maxder = |ΔCOR[k - 1] + ΔCOR[k]| …（５）
以上のように、ゼロクロスが複数存在する場合は、急峻性によって第１のゼロクロスを決定する。

続いて像ずれ量の信頼性の算出方法について説明する。信頼性は、上述した急峻性や、Ａ像信号及びＢ像信号の一致度ｆｎｃｌｖｌ（以下、「２像一致度」と呼ぶ。）によって定義することができる。２像一致度は像ずれ量の精度を表す指標で、本実施形態における相関演算手法では、値が小さいほど精度が良い。

次に、図９（ｂ）を用いて、２像一致度の算出方法について説明する。図９（ｂ）は図９（ａ）の９０２の部分を拡大したもので、９０４は相関量の波形９０１の一部分を示している。２像一致度ｆｎｃｌｖｌは以下の式（６）によって算出できる。
（ｉ）|ΔCOR[k - 1| × ２≦maxderのとき

（ｉｉ）|ΔCOR[k - 1| × ２＞maxderのとき

次に、図４のＳ４０３で行われるＡＦ処理について、図６のフローチャートを用いて説明する。Ｓ６０１でカメラ制御部２１５は、現在、ＡＦが完了して合焦停止状態にあるかどうかを判断し、合焦停止状態でない場合はＳ６０２へ処理を進め、合焦停止状態である場合はＳ６１６へ処理を進める。Ｓ６０２では、カメラ制御部２１５は、Ｓ５０７で求めたデフォーカス量の信頼性が所定の閾値Th1（第３の閾値）以上かどうかを判断する。信頼性が閾値Th1以上の場合は、以降の処理において、Ｓ５０８で算出したデフォーカス量を使用してＡＦを行うように制御される。逆に、信頼性が閾値Th1より低い場合は、以降の処理において、Ｓ５０８で算出したデフォーカス量に依らずにＡＦを行うように制御する。なお、信頼性は、上述したように急峻性や２像一致度といった指標であり、デフォーカス量が、フォーカスレンズ１０４を駆動する方向すら信頼できなくなる値を閾値Th1とするように設定するのが望ましい。なお、信頼性は、急峻性及び２像一致度の一方を用いたり、両方を組み合わせたり、デフォーカス量の信頼度を判定することのできるその他指標を用いてもよい。Ｓ６０２で信頼性が閾値Th1以上の場合はＳ６０３へ処理を進め、閾値Th1よりも低い場合はＳ６１４へ処理を進める。

Ｓ６０３では、フレーム合成数設定部２１６が、Ｓ５０３で取得した一対の像信号の信号情報やＳ５０１で取得した撮影パラメータ情報に基づいて、デフォーカス量を合成するフレーム数を示すフレーム合成数ｎを設定してＳ６０４へ処理を進める。このフレーム合成数ｎを設定する為に用いる情報の一例として、Ｓ５０３で取得した一対の像信号の信号レベルのＭａｘ値（最大レベル）、またはＭａｘ値−Ｍｉｎｉｍｕｍ値（コントラスト）を用いる。これらの値が所定値より小さい場合、前者であれば像信号のレベルが低く、低照度被写体を撮影している可能性があり、後者であれば像信号の信号差が低く、低コントラスト被写体を撮影している可能性がある。それぞれ、撮像面位相差ＡＦにおいてデフォーカス量の算出ばらつきが大きくなる懸念がある為、レベルが低いほどフレーム合成数ｎを多くするように設定する。また、フレーム合成数ｎを設定する為に用いる情報の別の一例として、Ｓ５０１で設定した撮影パラメータ情報の内、図１の撮像素子２０１にかかる感度ゲインを用いてもよい。撮像素子２０１に係る感度ゲインが大きいほど、一対の像信号のノイズ成分が多くなり、デフォーカス量の算出ばらつきが大きくなる懸念があるため、撮像素子２０１に係る感度ゲインが大きいほどフレーム合成数ｎを多くするように設定する。

Ｓ６０３でフレーム合成数ｎを設定すると、次のＳ６０４において、フレーム合成数設定部２１６は、検出した最新のデフォーカス量の絶対値が所定の閾値Th2（第１の閾値）以下かどうかを判断する。このときの判断に用いる閾値Th2は、焦点深度よりも大きい必要があり、また、デフォーカス量を基にした数回以内のフォーカスレンズ駆動で焦点深度内に入れるような値を設定することが望ましい。Ｓ６０４において閾値Th2以下である場合はＳ６０５へ処理を進める。

Ｓ６０５においてカメラ制御部２１５は、検出した最新のデフォーカス量と、合成中のデフォーカス量とを合成して（第２の相関演算）、Ｓ６０６へ処理を進める。Ｓ６０６でカメラ制御部２１５は、現在継続している合成数を１増やし、Ｓ６０７へ処理を進める。Ｓ６０７でカメラ制御部２１５は、現在の合成数が、設定されたフレーム合成数ｎ未満であるかどうかを判断し、フレーム合成数ｎ未満であれば処理を終了し、フレーム合成数ｎ以上であればＳ６０８へ処理を進める。このように、Ｓ６０４で検出した最新のデフォーカス量の絶対値が閾値Th2以下であり、且つ、Ｓ６０７で合成数がフレーム合成数ｎに達していない場合は、フォーカスレンズ１０４のレンズ駆動を行わずにデフォーカス量の合成を継続する。また、Ｓ６０７で現在の合成数がフレーム合成数ｎ以上の場合はＳ６０８に進み、カメラ制御部２１５は、合成したデフォーカス量をＡＦ制御用のデフォーカス量として設定し、Ｓ６１０へ処理を進める。

一方、Ｓ６０４で検出した最新のデフォーカス量の絶対値が閾値Th2を超える場合、Ｓ６０９においてカメラ制御部２１５は、検出した最新のデフォーカス量をＡＦ制御用のデフォーカス量として設定し、Ｓ６１０へ処理を進める。この場合、合成したデフォーカス量は使用しない。

フレーム合成数設定部２１６の説明で先述したように、合成を行わなければ検出デフォーカス量の算出ばらつきが大きく、十分に精度が出ない条件においても、１フレームで検出したデフォーカス量の絶対値が閾値Th2より大きい場合は、合成を行わない。合焦に近い位置であれば、最終合焦の追い込みの為にデフォーカス量の精度を高める必要がある。しかし、合焦に近い位置でなければ、大まかなデフォーカス量を使用して合焦近傍にフォーカスレンズ１０４を駆動し、合焦近傍で改めてデフォーカス量の合成を行う方が、常に合成を実行するよりもＡＦに係る時間を短縮することができる。そのため、Ｓ６０３において設定されたフレーム合成数ｎが２以上であっても、Ｓ６０４で検出した最新のデフォーカス量の絶対値が閾値Th2以下でなければ、Ｓ６０９において、検出した最新のデフォーカス量を基にＡＦ制御を行うようにする。

なお、Ｓ６０３でフレーム合成数ｎが１回に設定された場合、Ｓ６０５、Ｓ６０６、Ｓ６０８の、デフォーカス量を合成する処理を通るものの、実際には検出した最新の１フレームのデフォーカス量によってＡＦ制御を行うことになる。

Ｓ６１０において、カメラ制御部２１５は、設定されたデフォーカス量が焦点深度内かどうかを判断し、焦点深度内である場合はＳ６１１へ処理を進め、焦点深度内でない場合はＳ６１２へ処理を進める。Ｓ６１０で検出したデフォーカス量が焦点深度内、すなわち被写体にピントが合っていると判断できる状態であれば、カメラ制御部２１５は被写体に合焦したと判断してＳ６１１で合焦停止状態へ移行し、Ｓ６１７へ処理を進める。なお、Ｓ６０９でＡＦ制御用のデフォーカス量を検出した最新のデフォーカス量とした場合は、Ｓ６０４においてデフォーカス量の絶対値が焦点深度以内にならないように閾値Th2を設定している為、Ｓ６１１の処理は基本的には通らない。

Ｓ６１２では、まだ被写体に合焦した状態ではないので、フォーカスレンズ１０４の駆動を行うために撮像面位相差ＡＦ用のレンズ駆動設定を行い、Ｓ６１３へ処理を進める。ここで設定する撮像面位相差ＡＦ用のレンズ駆動設定とは、例えば、フォーカスレンズ１０４の駆動速度の設定や、デフォーカス誤差を見越したデフォーカス量に対するゲイン掛けなどである。Ｓ６１３でカメラ制御部２１５は、Ｓ６０８またはＳ６０９で設定したＡＦ制御用のデフォーカス量及び、Ｓ６１２で設定したレンズ駆動設定情報に基づいて、レンズ制御部１０８にフォーカスレンズ１０４の駆動指示を出してＳ６１７へ処理を進める。

Ｓ６１７では、現在の合成数及び、合成したデフォーカス量の初期化を行い、次のデフォーカス量の合成に備えた状態にした上で処理を終了する。

また、Ｓ６０２でデフォーカス量の信頼性が閾値Th1より小さいと判定された場合、Ｓ６１４においてカメラ制御部２１５は、デフォーカス量を使用せずにフォーカスレンズ１０４の駆動域内から被写体を探す、サーチ駆動を行うための設定を行う。より具体的には、Ｓ６１４では、フォーカスレンズ１０４の駆動開始方向や駆動速度などを設定し、設定が終了すると、Ｓ６１５へ処理を進める。Ｓ６１５でカメラ制御部２１５は、サーチ駆動によるレンズ駆動処理を行い、Ｓ６１７に進んで上述した初期化処理を行い、処理を終了する。

また、Ｓ６０１で合焦停止状態と判断した場合、Ｓ６１６で合焦停止状態を保持してＳ６１７へ処理を進め、上述した初期化を行い、処理を終了する。

なお、本第１の実施形態では、Ｓ６０２でデフォーカス量の信頼性が所定の信頼性より低い場合はサーチ駆動を行うようにした。しかし、例えばカメラ本体２０がコントラスト方式のＡＦも同時にできるような構成であった場合、コントラストＡＦによってフォーカスレンズ１０４を制御する方法など、その他の方式でＡＦを行ってもよい。

ここで、撮像面位相差ＡＦにおいて、複数フレーム分の相関演算結果を合成する意義について説明する。相関演算を行う被写体のコントラストが大きいほど、また信号のノイズ成分が少ないほど、基本的に相関演算によって算出したデフォーカス量の精度は高くなり、より精度の良いＡＦを行うことができる。例えば、ある特定の被写体条件において、１フレームから算出したデフォーカス量の精度が所定の基準以内に収まるのであれば、１フレームから算出したデフォーカス量の結果を用いてＡＦを行っても、合焦精度の高い撮影を行うことができる。従って、時系列的に連続した複数フレーム分のデフォーカス量を合成する必要はない。

しかし、相関演算を行う被写体のコントラストが小さかったり、信号のノイズ成分が大きかったりした場合は、相関演算によって算出したデフォーカス量の精度が低くなり、合焦精度が劣化してしまう。このような撮影条件として、低コントラストの被写体を撮影している場合や、撮影環境が暗所であるなどの理由で撮像素子２０１にかけるゲインが大きくなった場合などが想定される。ある特定の被写体条件において、１フレームで算出したデフォーカス量の精度が所定の基準以内に収まらない場合、このデフォーカス量をそのまま使用してＡＦを行い、合焦とみなしてしまうと、ピントの甘い状態で撮影が行われてしまうことがある。

このような合焦精度の劣化を軽減する為の１つの手法として、上述したように、本実施形態では、時系列的に連続した複数フレーム分のデフォーカス量を合成する。複数フレーム分のデフォーカス量を合成することによって、合成後のデフォーカス量の精度が所定の基準以内に収まれば、この合成後のデフォーカス量を用いてＡＦすることでより合焦精度の高い撮影を行うことができる。

フレーム合成数設定部２１６は、位相差ＡＦ信号処理部２０５を始めとした、カメラ本体２０、レンズユニット１０内における情報に基づいて、合成を行うフレームの数であるフレーム合成数を設定する。ただし、本実施形態においては、情報が、２フレーム以上のデフォーカス量の合成が必要なことを示す場合であっても、算出した１フレームのデフォーカス量の絶対値に応じて、フレーム合成数を変更するように制御する。算出した１フレームのデフォーカス量の絶対値が閾値Th2以下の場合は、撮影している被写体の合焦位置に近いとして、十分な合焦精度を出せるようにフレーム合成を行う。一方、算出した１フレームのデフォーカス量の絶対値が閾値Th2より大きい場合は、撮影している被写体の合焦位置に近くなく、まだ厳密にＡＦを行うことができないため、算出した１フレームのデフォーカス量を用いてＡＦを行う。

また、直前のフレームで算出したデフォーカス量の絶対値が閾値Th2以下でデフォーカス量の合成を行っている最中でも、最新のフレームで算出したデフォーカス量の絶対値が閾値Th2より大きい場合は、被写体がボケる方向に変化したと判断する。そして、途中のフレーム合成結果をリセットする。その後、最新の１フレームで算出したデフォーカス量を用いてＡＦを行う。

このように、撮影している被写体の合焦位置に近い場合は厳密なＡＦ精度が要求されるが、被写体の合焦位置に近くない場合、また近い状態から遠い状態に変化してしまった場合は、詳細に合わせ込む為の厳密なＡＦ精度は必ずしも必要としない。それよりもむしろ、後者の場合にデフォーカス量の合成を行うと、合成の為の待ち時間が発生してしまうというデメリットがある。合成の為の待ち時間が発生してしまうと、例えば撮影被写体の合焦位置が近い状態から遠い状態に変化した際に、被写体の合焦状態の変化に素早く追従できず、ＡＦ時間が長くなってしまう。従って、同条件において、フレーム合成を一時的にやめて１フレームから算出したデフォーカス量を基にＡＦを行えば、被写体のピント状態の変化に対して高速にＡＦでき、ＡＦ時間を短縮することができる。

なお、本実施形態では、複数フレームについて合成を行うＡＦ用パラメータをデフォーカス量として説明したが、デフォーカス量以外の情報を合成してもよい。例えば、デフォーカス量を算出する為の、一対の像信号の像ずれ量を合成してもよいし、一対の像信号そのものをフレーム間で合成してもよい。この場合、デフォーカス量、像ずれ量であれば、フレーム毎の平均値を算出することで合成を行い、一対の像信号であれば、加算値を算出することで合成を行うのが望ましい（第２の相関演算）。

上記の通り本第１の実施形態によれば、デフォーカス量の合成が必要な撮影条件においても、最新フレームにおいて検出したデフォーカス量の絶対値が閾値Th2より大きい場合は、加算を行わずに、検出した最新のデフォーカス量に基づいてＡＦ制御を行う。また、検出したデフォーカス量の絶対値が閾値Th2以下で、デフォーカス量の合成を実行している最中に、最新フレームのデフォーカス量の絶対値が閾値Th2より大きく変化した場合についても、合成を中断して、検出した最新のデフォーカス量に基づいてＡＦ制御を行う。このようにすることで、合焦近傍において最終的な合焦位置に追い込む場合はデフォーカス量の合成をして、デフォーカス量の検出ばらつきを抑えた精度のよいデフォーカス量によってＡＦを行う。これに対して、合焦近傍でない状態や、合焦近傍から被写体が変化した場合は、おおよその精度のデフォーカス量に基づいてＡＦ制御を行い、デフォーカス量の合成に係る時間を短縮することでＡＦ高速化を実現することができる。

なお、本発明は、本第１の実施形態で例示した構成に限らない。例えば、図１に示すようなレンズ交換式カメラの構成でなく、レンズ一体型カメラの構成でもよい。また、図２におけるＡＦ用画素の配置位置や密度を変化させてもよいし、横方向の位相差でなく縦方向の位相差を検出可能なＡＦ用画素を配置してもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。まず、本第２の実施形態と上述した第１の実施形態との違いについて説明する。第１の実施形態では、検出したデフォーカス量の絶対値に応じて、デフォーカス量の合成を行った結果を基にＡＦを行うか否かを切り替えた。これに対し、第２の実施形態では、第１の実施形態に加えて、最新フレームのデフォーカス量の絶対値と比較する閾値Th2を、各種パラメータに応じて変更する。これにより、よりＡＦの高速性が重視されるケースにおいて、閾値Th2を小さめに設定することで、合成に係る時間を削減する。

なお、本第２の実施形態におけるレンズユニットおよびカメラ本体からなるレンズ交換式カメラの構成は、第１の実施形態で図１を用いて説明した内容と同様なので説明を省略する。また、本第２の実施形態における撮像装置の動作に関して、図３に示す撮影処理、図４に示す静止画撮影処理、図５に示す焦点状態検出処理は、第１の実施形態と同様なので説明を省略する。第２の実施形態では、図４のＳ４０３で行われるＡＦ処理が、第１の実施形態で図６を参照して説明した処理と異なる。以下、第２の実施形態におけるＡＦ処理について、図１１のフローチャートを用いて説明する。

なお、図１１の処理において、図６と同様の処理には同じステップ番号を付し、説明を省略する。本第２の実施形態は、Ｓ６０３でフレーム合成数ｎを設定した後、Ｓ１１０１において閾値Th2を、条件に応じて変更するところが図６の処理と異なる。

次に、図１１のＳ１１０１で行う閾値設定処理について、図１２のフローチャートを用いて説明する。Ｓ１２０１で、フレーム合成数設定部２１６は、像ずれ量をデフォーカス量に換算する換算係数が所定値より小さいかどうかを判断し、所定値より小さい場合はＳ１２０２へ処理を進め、所定値以上の場合はＳ１２０７へ処理を進める。

Ｓ１２０２でフレーム合成数設定部２１６は、ズームレンズ１０２の焦点距離が所定値より長いかどうかを判断し、所定値より長い場合はＳ１２０３へ処理を進め、所定値以下の長さである場合はＳ１２０７へ処理を進める。

Ｓ１２０３でフレーム合成数設定部２１６は、絞り１０３の絞りが所定値より開放側かどうかを判断し、所定値より開放側である場合はＳ１２０４へ処理を進め、所定値より小絞りである場合はＳ１２０７へ処理を進める。

Ｓ１２０４でフレーム合成数設定部２１６は、撮像画面内の特定被写体の検出を行っているかどうかを判断し、特定被写体の検出中でない場合はＳ１２０６へ処理を進め、特定被写体の検出中である場合はＳ１２０５へ処理を進める。Ｓ１２０５では、フレーム合成数設定部２１６は、前回の特定被写体の検出位置と、最新の特定被写体の検出位置の座標間の距離差が所定以内かどうかを判断し、所定値以内である場合はＳ１２０６へ処理を進め、所定値以上である場合はＳ１２０７へ処理を進める。

Ｓ１２０６でフレーム合成数設定部２１６は、閾値Th2をＸに設定し、処理を終了する。一方、Ｓ１２０７では、フレーム合成数設定部２１６は、閾値Th2をＹに設定し処理を終了する。なお、Ｘ、Ｙの大小関係は以下のように設定する。
Ｘ＜Ｙ

このように、Ｓ１２０１からＳ１２０４において全てＹＥＳ、若しくは、Ｓ１２０４でＮＯだがＳ１２０５でＹＥＳの場合は、Ｓ１２０６において閾値Th2をＸとする。反対に、Ｓ１２０１からＳ１２０３のいずれかがＮＯの場合、またはＳ１２０４とＳ１２０５が共にＮＯの場合は、Ｓ１２０７において閾値Th2をＹとする。

最新フレームのデフォーカス量の絶対値が閾値Th2より小さい場合は、デフォーカス量の合成をして精度を高めたＡＦを行い、閾値Th2より大きい場合はデフォーカス量の合成をせずに、合成に係る時間を削減してＡＦの高速化を行う。このような制御を行う上で、デフォーカス量の合成の有無を切り替える閾値Th2は、基本的には数回の焦点検出を行うことで焦点深度内にＡＦすることができる値を設定する。しかし、よりＡＦの高速化を図りたい場合や、より安定的にＡＦによる合焦を図りたい場合に合わせて、この閾値Th2を変更することでそれぞれ性能を高めることができる。

なお、Ｓ１２０１で判定した、像ずれ量をデフォーカス量に換算する換算係数は、使用するレンズユニットの射出瞳距離、撮像画面上で設定された焦点検出領域の像高、絞りなど、多くのパラメータによって値が変わる。換算係数が大きい条件の場合は、少ない像ずれ量でも、デフォーカス量が大きく算出されてしまい、デフォーカス量の算出ばらつきが大きくなってしまう。このように換算係数が大きい場合に閾値Th2が小さい状態であると、デフォーカス量の算出ばらつきが大きい為に、最終合焦時になかなか合成をしたデフォーカス量を使用できないという問題が起こり得る。そのため、像ずれ量をデフォーカス量に換算する換算係数が所定値より大きい場合は、Ｓ１２０７で閾値Th2を大きめのＹに設定することでこの問題を防ぐ。

また、Ｓ１２０２で判定した焦点距離、及び、Ｓ１２０３で判定した絞りは、一概には言えないが、焦点距離が長いほど、また、絞りが開放側であるほど焦点深度が浅くなる傾向がある。焦点深度が浅い場合、例えば撮影している被写体の距離が少し変化しただけで、被写体のボケ度合いがより大きくなる傾向がある。ＡＦ時にはできるだけ被写体がボケている状態にならないようにするために、焦点深度が浅いと想定される場合、すなわち焦点距離が長い場合、また絞りが開放側である場合は、Ｓ１２０６で閾値Th2としてより小さいＸの値を設定する。これによって、被写体がボケた状態の場合はできるだけフレーム加算をしないようにすることで、より高速に被写体にピントを合わせることができる。

更に、Ｓ１２０４及びＳ１２０５における判定に関して、被写体を検出していてかつ、被写体の移動量が大きい場合は、合焦位置が変化している可能性がより高くなる。合焦位置が変化した場合は、できるだけピントがボケた状態とならないように、Ｓ１２０６において閾値Th2をより小さい値Ｘに設定する。

以上説明したように、第２の実施形態によれば、デフォーカス量の合成を行った結果を基にＡＦを行うか否かを判断するための閾値Th2を、各種パラメータに応じて変更する。これによって、よりＡＦの高速性が重視されるケースでは閾値Th2を小さめに設定することで、デフォーカス量の合成に係る時間を削減することができる。

なお、本発明は上述した第２の実施形態で例示した構成に限られるものではない。第２の実施形態では閾値Th2をＸ、Ｙの２種類としたが、３種類以上あっても構わない。また、図１２を参照して行った説明では、像ずれ量をデフォーカス量に換算する換算係数、焦点距離、絞り、被写体検出の有無及び被写体位置の変化度合に応じて閾値Th2を変更したが、全てのパラメータを使用しなくてもよい。必要に応じて、パラメータの種類及び判定の条件を変更してもよい。

＜第３の実施形態＞
以下、本発明の第３の実施形態について説明する。まず、本第３の実施形態と上述した第１の実施形態との違いについて説明する。第１の実施形態では図２に示す構成を有する撮像素子を用いていた。これに対し、第３の実施形態では、図１４に示す撮像素子を用いる。図１４に示すように、第３の実施形態における撮像素子３０１は、各画素が紙面水平方向に２分割され、ＡＢ２つのフォトダイオード（受光領域）が設けられている。そのため、図２に示す撮像素子２０１と異なり、撮像画素とＡＦ用画素とに分かれておらず、各画素が撮像用とＡＦ用を兼用した画素構成になっている。

図１４に示す構成を有する各画素からは、２つのフォトダイオードＡ及びＢのいずれかからの出力と、２つのフォトダイオードＡ及びＢの合計の出力を出力するように制御する。または、２つのフォトダイオードＡ及びＢそれぞれから信号を読み出すように制御してもよい。

第３の実施形態におけるレンズユニット１０及びカメラ本体３０からなるレンズ交換式カメラの構成を図１３に示す。なお、図１３において、レンズユニット１０の構成は図１に示すものと同様であるため、同じ参照番号を付し、説明を省略する。また、カメラ本体３０の構成についても、図１に示す構成と同様の構成には同じ参照番号を付して説明を省略する。図１３に示すカメラ本体３０の構成と、図１に示すカメラ本体２０の構成との差は、上述したように、撮像素子３０１の構成が第１の実施形態で説明したものと異なること、及び、撮像素子３０１から出力された信号を処理するための構成が異なる。

図１ではＡＦ用画素から出力された信号を補正するためのＡＦ画素補正部２０３が設けられていたが、第３の実施形態では、撮像素子３０１にＡＦ用画素が存在しないため、必要無い。ただし、本第３の実施形態では、画像入力コントローラ２０４では、撮像素子３０１の２つのフォトダイオードＡ及びＢそれぞれから信号を読み出した場合には、画素毎に読み出した信号を合計する処理を行って、撮像信号を得る。

また、位相差ＡＦ信号処理部２０５では、焦点検出領域のフォトダイオードＡ及びＢから出力された信号に基づいて、Ａ像信号及びＢ像信号を生成する。その際、２つのフォトダイオードＡ及びＢのいずれかからの出力と、２つのフォトダイオードＡ及びＢの合計を出力するように制御されている場合には、合計の出力から、片方のフォトダイオードからの出力を差分する。これにより、もう一方のフォトダイオードからの出力を得ることができる。

上述した構成を有するカメラを用いて、第１の実施形態で図３乃至図１２を参照して説明した処理を行うことができる。すなわち、検出したデフォーカス量の絶対値に応じて、デフォーカス量の合成を行った結果を基にＡＦを行うか否かを切り替える。

なお、本第３の実施形態では撮像素子の画素を紙面水平方向に２分割した構成であるが、紙面垂直方向に２分割した撮像素子や、１つの画素を４分割してＡＢＣＤ４つのフォトダイオードを設けたような構成を有する撮像素子であっても構わない。

＜第４の実施形態＞
以下、本発明の第４の実施形態について説明する。まず、本第４の実施形態と上述した第１の実施形態との違いについて説明する。第１の実施形態では、デフォーカス量を合成する際に、合成するフレーム数を設定し、フレーム毎に検出されたデフォーカス量を、フレーム合成数以下であれば合成するように制御した。これに対し、第４の実施形態では、合成を行う際に、合成を行うフレーム数を設定するのではなく、検出した一対の像信号のレベルを基に、一対の像信号のレベルが所定レベルに達していなければ、合成を行うように制御する。

第４の実施形態におけるレンズユニット１０及びカメラ本体４０からなるレンズ交換式カメラの構成を図１５に示す。なお、図１５において、レンズユニット１０の構成は図１に示すものと同様であるため、同じ参照番号を付し、説明を省略する。また、カメラ本体４０の構成についても、図１に示す構成と同様の構成には同じ参照番号を付して説明を省略する。図１５に示すカメラ本体４０の構成と、図１に示すカメラ本体２０の構成との差は、カメラ制御部４１５が、合成を行う一対の像信号のレベルを設定するフレーム合成レベル設定部４１６を有している点である。フレーム合成レベル設定部４１６は、カメラ制御部４１５の機能の一部であり、位相差ＡＦ信号処理部２０５は、入力された一対の像信号のレベルを保持しておき、設定された合成レベルより低ければ、フレーム毎に得られる一対の像信号のレベルを加算する。そして、設定値未満であれば合成を継続する。

本第４の実施形態における撮像装置の動作に関して、図３に示す撮影処理、図４に示す静止画撮影処理、図５に示す焦点状態検出処理は、第１の実施形態と同様なので説明を省略する。第４の実施形態では、図４のＳ４０３で行われるＡＦ処理が、第１の実施形態で図６を参照して説明した処理と異なる。以下、第４の実施形態におけるＡＦ処理について、図１６のフローチャートを用いて説明する。

なお、図１６の処理において、図６と同様の処理には同じステップ番号を付し、説明を省略する。Ｓ６０２で、デフォーカス量の信頼性が閾値以上であると判断されると、Ｓ１６０３において、フレーム合成レベル設定部４１６は、合成が必要な像信号の加算レベルの閾値Ａ（第２の閾値）を設定して、Ｓ１６０４へ処理を進める。これは、第１の実施形態においてフレーム合成数ｎを設定した処理の代替に当たる処理であり、本第４の実施形態では像信号加算レベルの閾値Ａを設定する。像信号をフレーム毎に加算したレベルがここで設定した合成が必要な像信号加算レベル閾値に到達するまで、デフォーカス量の合成を行う。例えば、閾値Ａを１０００と設定し、像信号レベルが４００である場合は、像信号を３回加算すれば閾値Ａの１０００を超える為、３フレーム分のデフォーカス量の加算が行われる。また、閾値Ａを１０００としたときに、像信号レベルが１５００である場合は、すでに閾値Ａの１０００を超えているので、１回の焦点検出結果に基づいてＡＦを行うことができる。

次に、Ｓ６０５でデフォーカス量を合成した後、Ｓ１６０６においてカメラ制御部４１５は、像信号加算レベルを更新してＳ１６０７へ処理を進める。ここでは、現在の像信号加算レベルに加えて、最新の像信号のレベルをフレーム間で加算する。例えば、前回の焦点検出処理から合成を開始し、前回の像信号レベルが３００、今回の像信号レベルが４００である場合、両者を加算して像信号加算レベルを７００に更新する。次にＳ１６０７でカメラ制御部４１５は、現在の像信号加算レベルがＳ１６０３で設定した閾値Ａ未満であるかどうかを判断し、閾値Ａ未満であれば再度デフォーカス量の合成をする為に処理を終了し、閾値Ａ以上になるとＳ６０８へ処理を進める。

Ｓ６０８からＳ６１６の処理後、Ｓ１６１７においてカメラ制御部４１５は現在の像信号加算レベル及び、合成したデフォーカス量の初期化を行い、次の合成に備えた状態にした上で処理を終了する。合成の継続中の場合を除いて、常に初期化処理を行う。

以上説明したように、本第４の実施形態の撮像装置では、検出した一対の像信号のレベルを基に、所定のレベルに到達するまで一対の像信号レベルを加算し、その間にデフォーカス量の合成を行う。このように、合成を行うか否かを判定する方法が異なっていても、第１の実施形態と同様に、検出したデフォーカス量の絶対値に応じて、合成を行った結果を基にＡＦを行うか否かを切り替えることができる。

なお、第１の実施形態で先述したように、合成を行うパラメータはデフォーカス量に限られるものではなく、像ずれ量や一対の像信号であってもよい。

＜第５の実施形態＞
以下、本発明の第５の実施形態について説明する。まず、本第５の実施形態と第４の実施形態との違いについて説明する。第４の実施形態では、デフォーカス量を合成する際に、一対の像信号のレベルが所定レベル未満である場合に合成を行うように制御すると共に、検出したデフォーカス量の絶対値に応じて、合成したデフォーカス量を基にＡＦを行うか否かを切り替えた。

これに対し、第５の実施形態では、第４の実施形態に加えて、最新フレームのデフォーカス量の絶対値と比較する閾値Th2を、各種パラメータに応じて変更する。よりＡＦの高速性が重視されるケースでは閾値Th2を小さめに設定することで、合成に係る時間を削減する。

なお、本第５の実施形態におけるレンズユニット１０およびカメラ本体４０からなるレンズ交換式カメラの構成は、第４の実施形態で図１５を用いて説明した構成と同様であるため、説明を省略する。また、本第５の実施形態における撮像装置の動作に関して、図３に示す撮影処理、図４に示す静止画撮影処理、図５に示す焦点状態検出処理は、第１の実施形態と同様なので説明を省略する。第５の実施形態では、図４のＳ４０３で行われるＡＦ処理が、第１の実施形態で図６を参照して説明した処理と異なる。以下、第５の実施形態におけるＡＦ処理について、図１７のフローチャートを用いて説明する。

なお、図１７の処理において、第４の実施形態で図１６を参照して説明した処理と同様の処理には同じ参照番号を付し、説明を省略する。図１６に示す処理との違いは、Ｓ１６０３でデフォーカス量の合成が必要な像信号加算レベルＡを設定した後に、Ｓ１７０１が追加されているところが異なる。Ｓ１７０１では、フレーム合成レベル設定部４１６は、閾値Th2を設定し、Ｓ６０４へ処理を進める。第５の実施形態では、第２の実施形態と同様に閾値Th2を条件に応じて可変する。

Ｓ１７０４のフレーム合成継続閾値設定処理は、第２の実施形態において図１２を用いて説明した処理と同様なので説明を省略する。効果についても同様に、第２の実施形態で説明した内容と同様なので説明を省略する。

以上説明したように、本第５の実施形態によれば、第４の実施形態の処理に加え、最新フレームのデフォーカス量の絶対値と比較する閾値Th2を、各種パラメータに応じて変更する。これによって、第４の実施形態と比較して、よりＡＦの高速性が重視されるケースでは閾値Th2を小さめに設定することで、デフォーカス量の合成に係る時間を削減することができる。

なお、第２の実施形態の説明の際も述べたが、閾値Th2の数や、閾値Th2を決定するために考慮するパラメータの数などは、図１２及びその説明で例示したものに限らない。

以上、本発明をその例示的な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、特許請求の範囲に記載した発明の範囲内で様々な変形、改変を行うことができる。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：レンズユニット、２０，３０，４０：カメラ本体、１０２：ズームレンズ、１０３：絞り、１０４：フォーカスレンズ、１０７：フォーカスレンズ駆動部、２０１，３０１：撮像素子、２０３：ＡＦ画素補正部、２０４：画像入力コントローラ、２０５：位相差ＡＦ信号処理部、２１３：被写体領域検出部、２１４：追従信号処理部、２１５，４１５：カメラ制御部、２１６：フレーム合成数設定部、４１６：フレーム合成レベル設定部

Claims

撮像光学系を介して入射した光束を光電変換して、位相差検出用の一対の像信号を出力する焦点検出用画素を含む撮像素子と、
前記撮像素子から出力された信号から、画像を生成する生成手段と、
前記一対の像信号から、フレーム毎にデフォーカス量を求める第１の相関演算と、該第１の相関演算で求められたデフォーカス量の絶対値が予め決められた第１の閾値以下である、時系列的に連続する予め決められた数のフレームで得られた前記一対の像信号から、デフォーカス量を求める第２の相関演算とを行う相関演算手段と、
前記第２の相関演算で用いるフレームの前記予め決められた数を設定する設定手段と
を有することを特徴とする撮像装置。
前記設定手段は、前記撮像素子から出力された信号の最大レベルがより高い場合、前記撮像素子から出力された信号のコントラストがより大きい場合、前記撮像素子に設定された感度がより高い場合に、より大きい値を前記予め決められた数として設定することを特徴とする請求項１に記載の撮像装置。
撮像光学系を介して入射した光束を光電変換して、位相差検出用の一対の像信号を出力する焦点検出用画素を含む撮像素子と、
前記撮像素子から出力された信号から、画像を生成する生成手段と、
前記一対の像信号から、フレーム毎にデフォーカス量を求める第１の相関演算と、該第１の相関演算で求められたデフォーカス量の絶対値が予め決められた第１の閾値以下である、時系列的に連続する予め決められた数のフレームで得られた前記一対の像信号から、デフォーカス量を求める第２の相関演算とを行う相関演算手段と、
前記デフォーカス量の絶対値が前記第１の閾値より大きい場合に、当該デフォーカス量を用いて焦点調節を行い、前記デフォーカス量の絶対値が前記第１の閾値以下の場合、前記第２の相関演算でデフォーカス量が求められていれば、当該第２の相関演算で求めたデフォーカス量を用いて焦点調節を行う焦点調節手段と
を有することを特徴とする撮像装置。
撮像光学系を介して入射した光束を光電変換して、位相差検出用の一対の像信号を出力する焦点検出用画素を含む撮像素子と、
前記撮像素子から出力された信号から、画像を生成する生成手段と、
前記一対の像信号から、フレーム毎にデフォーカス量を求める第１の相関演算と、該第１の相関演算で求められたデフォーカス量の絶対値が予め決められた第１の閾値以下である、時系列的に連続する複数フレームで得られた前記一対の像信号から、デフォーカス量を求める第２の相関演算とを行う相関演算手段と、
前記デフォーカス量の絶対値が前記第１の閾値以下の場合に、前記時系列的に連続する複数フレームで得られた前記一対の像信号をフレーム間でそれぞれ加算する加算手段と、
前記加算手段により加算された前記一対の像信号の最大レベルを比較する第２の閾値を設定する設定手段とを有し、
前記第２の相関演算では、前記加算手段により加算された前記一対の像信号の最大レベルが前記第２の閾値以上になった時までに出力された前記複数フレームで得られた前記一対の像信号から、前記デフォーカス量を求めることを特徴とする撮像装置。
前記設定手段は、前記撮像素子から出力された信号の最大レベルがより高い場合、前記撮像素子から出力された信号のコントラストがより大きい場合、前記撮像素子に設定された感度がより高い場合に、より大きい値を前記第２の閾値として設定することを特徴とする請求項４に記載の撮像装置。
撮像光学系を介して入射した光束を光電変換して、位相差検出用の一対の像信号を出力する焦点検出用画素を含む撮像素子と、
前記撮像素子から出力された信号から、画像を生成する生成手段と、
前記一対の像信号から、フレーム毎にデフォーカス量を求める第１の相関演算と、該第１の相関演算で求められたデフォーカス量の絶対値が予め決められた第１の閾値以下である、時系列的に連続する複数フレームで得られた前記一対の像信号から、デフォーカス量を求める第２の相関演算とを行う相関演算手段と、
前記デフォーカス量の絶対値が前記第１の閾値以下の場合に、前記時系列的に連続する複数フレームで得られた前記一対の像信号をフレーム間でそれぞれ加算する加算手段と、
前記デフォーカス量の絶対値が前記第１の閾値より大きい場合に、当該デフォーカス量を用いて焦点調節を行い、前記デフォーカス量の絶対値が前記第１の閾値以下の場合、前記第２の相関演算でデフォーカス量が求められていれば、当該第２の相関演算で求めたデフォーカス量を用いて焦点調節を行う焦点調節手段と、を有し、
前記第２の相関演算では、前記加算手段により加算された前記一対の像信号の最大レベルが前記第２の閾値以上になった時までに出力された前記複数フレームで得られた前記一対の像信号から、前記デフォーカス量を求めることを特徴とする撮像装置。
前記第１の閾値は、焦点深度よりも大きいことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記第１の閾値を決定する決定手段を更に有し、
前記決定手段は、焦点距離が予め決められた焦点距離より短い場合、絞りが予め決められた絞り値よりも閉じている場合、被写体の検出中で無い場合、被写体の検出中であっても被写体位置の変化量が予め決められた変化量よりも大きい場合の少なくともいずれかに該当する場合に、いずれにも該当しない場合よりも大きい値を前記第１の閾値として決定することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記相関演算手段は、前記一対の信号の像ずれ量を換算係数により換算してデフォーカス量を演算し、
前記決定手段は、前記換算係数が予め決められた値以上の場合に、前記予め決められた値より小さい場合よりも大きい値を前記第１の閾値として決定することを特徴とする請求項８に記載の撮像装置。
前記相関演算手段による前記第１の相関演算により得られたデフォーカス量の信頼性を取得する取得手段を更に有し、
前記相関演算手段は、前記信頼性が予め決められた第３の閾値よりも高い場合に、前記第２の相関演算を行うことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
前記相関演算手段は、前記第２の相関演算において、複数フレームで得られたデフォーカス量を合成することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
前記相関演算手段は、前記第２の相関演算において、複数フレームで得られた前記一対の像信号の像ずれ量を合成し、当該合成した像ずれ量から前記デフォーカス量を求めることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
前記相関演算手段は、前記第２の相関演算において、複数フレームで得られた一対の像信号を合成し、当該合成した一対の像信号から前記デフォーカス量を求めることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
撮像光学系を介して入射した光束を光電変換して、位相差検出用の一対の像信号を出力する焦点検出用画素を含む撮像素子を有する撮像装置の制御方法であって、
生成手段が、前記撮像素子から出力された信号から、画像を生成する生成工程と、
相関演算手段が、前記一対の像信号から、フレーム毎にデフォーカス量を求める第１の相関演算工程と、
前記相関演算手段が、前記第１の相関演算工程で求められたデフォーカス量の絶対値が予め決められた第１の閾値以下である、時系列的に連続する予め決められた数のフレームで得られた前記一対の像信号から、デフォーカス量を求める第２の相関演算工程と、
設定手段が、前記第２の相関演算工程で用いるフレームの前記予め決められた数を設定する設定工程と
を有することを特徴とする撮像装置の制御方法。
撮像光学系を介して入射した光束を光電変換して、位相差検出用の一対の像信号を出力する焦点検出用画素を含む撮像素子を有する撮像装置の制御方法であって、
生成手段が、前記撮像素子から出力された信号から、画像を生成する生成工程と、
相関演算手段が、前記一対の像信号から、フレーム毎にデフォーカス量を求める第１の相関演算工程と、
前記相関演算手段が、前記第１の相関演算工程で求められたデフォーカス量の絶対値が予め決められた第１の閾値以下である、時系列的に連続する予め決められた数のフレームで得られた前記一対の像信号から、デフォーカス量を求める第２の相関演算工程と、
焦点調節手段が、前記デフォーカス量の絶対値が前記第１の閾値より大きい場合に、当該デフォーカス量を用いて焦点調節を行い、前記デフォーカス量の絶対値が前記第１の閾値以下の場合、前記第２の相関演算工程でデフォーカス量が求められていれば、当該第２の相関演算工程で求めたデフォーカス量を用いて焦点調節を行う焦点調節工程と
を有することを特徴とする撮像装置の制御方法。
撮像光学系を介して入射した光束を光電変換して、位相差検出用の一対の像信号を出力する焦点検出用画素を含む撮像素子を有する撮像装置の制御方法であって、
生成手段が、前記撮像素子から出力された信号から、画像を生成する生成工程と、
相関演算手段が、前記一対の像信号から、フレーム毎にデフォーカス量を求める第１の相関演算工程と、
加算手段が、前記第１の相関演算工程で求められたデフォーカス量の絶対値が予め決められた第１の閾値以下の場合に、前記時系列的に連続する複数フレームで得られた前記一対の像信号をフレーム間でそれぞれ加算する加算工程と、
前記相関演算手段が、前記加算工程で加算された前記一対の像信号の最大レベルが予め決められた第２の閾値以上になった時までに出力された、前記デフォーカス量の絶対値が前記第１の閾値以下である、時系列的に連続する複数フレームで得られた前記一対の像信号から、デフォーカス量を求める第２の相関演算工程と、
設定手段が、前記加算工程で加算された前記一対の像信号の最大レベルを比較する第２の閾値を設定する設定工程とを有し、
前記加算工程で加算された前記一対の像信号の最大レベルが前記第２の閾値未満である間、前記第２の相関演算工程を行うことを特徴とする撮像装置の制御方法。
撮像光学系を介して入射した光束を光電変換して、位相差検出用の一対の像信号を出力する焦点検出用画素を含む撮像素子を有する撮像装置の制御方法であって、
生成手段が、前記撮像素子から出力された信号から、画像を生成する生成工程と、
相関演算手段が、前記一対の像信号から、フレーム毎にデフォーカス量を求める第１の相関演算工程と、
加算手段が、前記第１の相関演算工程で求められたデフォーカス量の絶対値が予め決められた第１の閾値以下の場合に、前記時系列的に連続する複数フレームで得られた前記一対の像信号をフレーム間でそれぞれ加算する加算工程と、
前記相関演算手段が、前記加算工程で加算された前記一対の像信号の最大レベルが予め決められた第２の閾値以上になった時までに出力された、前記デフォーカス量の絶対値が前記第１の閾値以下である、時系列的に連続する複数フレームで得られた前記一対の像信号から、デフォーカス量を求める第２の相関演算工程と、
焦点調節手段が、前記デフォーカス量の絶対値が前記第１の閾値より大きい場合に、当該デフォーカス量を用いて焦点調節を行い、前記デフォーカス量の絶対値が前記第１の閾値以下の場合、前記第２の相関演算工程でデフォーカス量が求められていれば、当該第２の相関演算工程で求めたデフォーカス量を用いて焦点調節を行う焦点調節工程と
を有することを特徴とする撮像装置の制御方法。
撮像装置のコンピュータに、請求項１４乃至１７のいずれか１項に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
請求項１８に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。