JP6748477B2 - 撮像装置及びその制御方法、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、焦点調節及び被写体検出を行う撮像装置に関する。

従来より、マイクロレンズにより瞳分割された画素を有する撮像素子により得られた像信号の位相差に基づいて焦点検出を行う技術が知られている（特許文献１）。特許文献１では、瞳分割された各画素がマイクロレンズを介して結像光学系の異なる瞳領域を通過した光束を受光する。また、複数の像信号を加算することで画像信号を得ることができる。

上記のような位相差方式の焦点検出においては、焦点調節用にどのくらいの量の像信号を読み出して演算処理を行うかを決めることは検出精度や処理速度の面で非常に重要な要素となる。また、像信号を全て取り込もうとすると、画素が２分割された撮像素子では撮像画像用の２倍のデータ量となり、後段の処理回路に多大な負荷をかけることになる。

そこで、撮像素子において焦点調節用の距離情報取得領域を任意に設定可能とし、撮像素子からの画像信号の読み出し時間を短縮する撮像装置が提案されている（特許文献２）。また、焦点調節用の距離情報取得領域から得た画像信号を用いて、画像中の被写体の距離の分布（距離マップ）を生成可能な撮像装置が提案されている（特許文献３）。特許文献３の距離マップを用いることで、画像中における主被写体とそれ以外の被写体の距離情報が得られ、主被写体とそれ以外の被写体がすれ違った場合等に主被写体の検出が可能となる。

特開２００７−３２５１３９号公報 特開２０１２−１５５０９５号公報 特開２０１４−０７４８９１号公報

しかしながら、上記従来技術において、焦点調節用の距離情報取得領域と被写体検出用距離情報取得領域とは必ずしも一致しないため、いずれか一方に合わせると、もう一方の精度が低下する可能性がある。

本発明は、上記課題に鑑みてなされ、その目的は、焦点調節の精度と被写体検出の精度とを両立できるようにすることである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、主被写体に対応する領域を示す情報と、当該主被写体の合焦状態を示す情報とを取得する取得手段と、前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定手段と、を有し、前記設定手段は、前記視差が異なる信号を読み出す領域の設定として第１の領域と、当該第１の領域よりも包含する画角が広く、かつ前記第１の領域より前記画角内で前記視差が異なる信号を読み出すラインの間隔が広い第２の領域とを設定可能であり、各フレームにおける前記視差が異なる信号を読み出す領域について、前記主被写体の合焦状態が第１の状態であるときには、当該第１の状態よりも合焦に遠い第２の状態であるときよりも前記第２の領域で前記視差が異なる信号が読み出されるフレームの頻度が高くなるように設定する。

また、本発明の撮像装置は、複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、主被写体に対応する領域を示す情報と、当該主被写体の合焦状態を示す情報とを取得する取得手段と、前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定手段と、を有し、前記設定手段は、前記視差が異なる信号を読み出す領域の設定として第１の領域と、当該第１の領域よりも包含する画角が広く、かつ前記第１の領域より前記画角内で前記視差が異なる信号を読み出すラインの間隔が広い第２の領域とを設定可能であり、各フレームの読み出しにおいて、前記主被写体の合焦状態が第１の状態であるときに前記第２の領域に設定し、前記主被写体の合焦状態が前記第１の状態よりも合焦に遠い第２の状態であるときに前記第１の領域に設定する。

本発明によれば、焦点調節の精度と被写体検出の精度とを両立できるようになる。

本実施形態の撮像装置の構成を示すブロック図。 本実施形態の撮像素子の画素配置を模式的に示す図。 撮影レンズの射出瞳から出る光束と画素との関係を模式的に示す図。 本実施形態の撮像素子の構成図。 本実施形態の撮像素子の単位画素の回路構成図（ａ）、撮像素子の各単位画素列の読み出し回路の構成図（ｂ）、および撮像素子の画素配列に対して設定される測距枠を示す図（ｃ）。 本実施形態の撮像素子の単位画素行の読み出し動作のタイミングチャート。 実施形態１のＡＦ制御部の構成を示すブロック図。 実施形態１の光学系駆動情報を算出する際の重み付け係数を例示する図。 実施形態１の距離情報取得領域設定部による距離情報取得領域設定処理を示すフローチャート。 実施形態１の領域設定部により設定される距離情報取得領域を説明する図。 実施形態２のＡＦ制御部の構成を示す図。 実施形態２の距離情報取得領域設定部による距離情報取得領域設定処理を示すフローチャート。 実施形態３の距離情報取得領域設定部による距離情報取得領域設定処理を示すフローチャート。 実施形態３の領域設定部により設定される距離情報取得領域を説明する図。 実施形態４の距離情報取得領域設定部による距離情報取得領域設定処理を示すフローチャート。 本実施形態の背景を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［背景の説明］まず、図１６を参照して、本実施形態の背景について具体的に説明する。

図１６は、画像撮影中のＡＦ制御時に、撮像画面に任意に設定された、焦点調節に必要となる（ＡＦ制御用）の距離情報取得領域及びその距離マップと、被写体検出に必要となる（主被写体追尾用)の距離情報取得領域及びその距離マップの関係を例示している。なお、図１６の（ａ）、（ｂ）、（ｃ）において、（ａ−１）〜（ａ−４）、（ｂ−１）〜（ｂ−４）、（ｃ−１）〜（ｃ−４）、（ｄ−１）〜（ｄ−４）は、撮像された画像信号の各フレームを時系列的に示したものである。

図１６（ａ）は、撮像画面にＡＦ制御用の距離情報取得領域を設定した場合の画像信号を例示している。図１６（ａ）において、（ａ−１）はある時刻における画像信号とＡＦ制御用の距離情報取得領域を示しており、１６００は主被写体、１６０１は主被写体以外の被写体、１６０２は距離情報取得領域を示している。ＡＦ制御用には、主被写体の距離情報が取得できればよいので、ＡＦ制御用に設定される距離情報取得領域は主被写体の周辺であればよい。よって、（ａ−１）のように距離情報取得領域１６０２が画面に局所的に設定される。また、（ａ−１）〜（ａ−４）のように時間が経過していくに従って主被写体以外の被写体１６０１が主被写体１６００に近づき（ａ−２）、主被写体以外の被写体１６０１と主被写体１６００が重なり（ａ−３）、主被写体以外の被写体１６０１が画面から消え、主被写体１６００のみが残った状態となっている（ａ−４）。すなわち、（ａ−１）〜（ａ−４）の画像は、主被写体とそれ以外の被写体がすれ違ったシーンを示している。

図１６（ｂ）は、図１６（ａ）の距離情報取得領域１６０２から得られた距離マップを例示している。図１６（ｂ）において、（ｂ−１）は（ａ−１）の距離情報取得領域から得られた距離マップであり、ドット領域１６０３は主被写体１６００の距離、白塗り部１６０４は背景の距離を表している。また、黒塗り部１６０５は距離情報取得領域外であるため距離情報が取得できないことを表している。また、（ｂ−３）の斜線部１６０６は、（ａ−３）の主被写体以外の被写体１６０１の距離を表している。

図１６（ｂ）の距離マップでは、主被写体１６００に対してＡＦ制御用の距離情報取得領域が設定されているためＡＦ制御の精度は低下しない。一方で、図１６（ｂ）の距離マップを用いて主被写体１６００の検出を行う場合、（ｂ−１）と（ｂ−２）では主被写体１６００の距離１６０３しか得られず、（ｂ−３）で急に主被写体１６００の距離が変化したようになる。実際には、主被写体以外の被写体１６０１が主被写体１６００に重なったために距離が変化するのであるが、正しい判断ができなくなる可能性がある。

図１６（ｃ）は、撮像画面に被写体検出用の距離情報取得領域を設定した場合の画像信号を例示している。図１６（ｃ）において、（ｃ−１）はある時刻における画像信号と被写体検出用の距離情報取得領域を示している。距離情報を用いて主被写体１６００を検出するためには主被写体周辺の状況を判断する必要がある。このため画面全体が俯瞰できるように距離情報取得領域を設定する必要がある。よって、（ｃ−１）のように距離情報取得領域１６０７が画面全体に離散的に設定される。なお、（ｃ−１）〜（ｃ−４）のように時間が経過していること、（ｃ−３）で主被写体以外の被写体１６０１が主被写体１６００に重なった状況は、図１６（ａ）の（ａー３）と同様である。

図１６（ｄ）は、図１６（ｃ）の距離情報取得領域１６０７から得られた距離マップを例示している。図１６（ｄ）では画面全体が俯瞰できるように距離情報取得領域１６０７が設定されているため、距離マップから、（ｄ−１）から（ｄ−２）へ時間が経過していくに従って主被写体以外の被写体１６０１が主被写体１６００に近づいていることがわかる。また、（ｄ−３）では主被写体１６００と、主被写体以外の被写体１６０１が重なっているが、（ｄ−１）から（ｄ−２）において主被写体以外の被写体１６０１が主被写体１６００に近づいていることと、その被写体１６０１が斜線で示す距離１６０９を持っていることから、主被写体１６００と、主被写体以外の被写体１６０１が重なっている可能性が高いと判断できる。一方で、主被写体１６００の距離１６０８が離散的にしか得られないためＡＦ制御の精度は低下する。

このように、ＡＦ制御用の距離情報取得領域と被写体検出（主被写体追尾）用の距離情報取得領域とは必ずしも一致しないため、いずれか一方に合わせると、もう一方の精度が低下する可能性がある。

そこで、本実施形態では、画像撮影中のＡＦ制御時に、フレームごとまたはフレーム内におけるＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域の割合を可変に制御することで、ＡＦ制御の精度と被写体検出の精度とを両立できるようにしている。

［実施形態１］
本実施形態では、撮像装置を、コントラスト方式及び位相差方式のオートフォーカス（ＡＦ）機能並びに被写体検出機能（主被写体追尾機能）を有するデジタルビデオカメラにより実現した例について説明するが、携帯電話の一種であるスマートフォンやタブレット端末などの電子機器にも適用可能である。

＜装置構成＞
以下に、図１を参照して、本実施形態の撮像装置１００の構成について説明する。

図１において、光学系１は、ズームレンズ、フォーカスレンズ、絞りを含む。光学系駆動部２は、後述するＡＦ制御部８から出力される光学系駆動情報に基づいて光学系１を制御する。撮像素子３は、ＣＭＯＳなどの光電変換素子を備え、光学系１により受光面に結像された被写体像を電気信号に変換して画像信号を出力する。

撮像センサ駆動部４は、ＡＦ制御部８からの被写体距離情報の取得領域に関する情報（以下、領域情報）に基づいて撮像素子３を駆動し画像信号の読み出しを制御する。なお、本実施形態の撮像素子３は、光学系１の異なる瞳領域を通過した光束をそれぞれ受光し、瞳分割された画像信号を出力する複数の画素部を有する。そして、撮像センサ駆動部４からの駆動パルスによって瞳分割された各画素から視差が異なる画像信号（Ａ像信号、Ｂ像信号）を個別に読み出すことができる。撮像素子３の回路構成は、図２から図６を用いて後述する。

コントラストＡＦ評価値算出部５は、撮像素子３からの画像信号とＡＦ制御部８からの測距枠情報とに基づき、コントラスト評価値（評価情報）を算出し、ＡＦ制御部８に出力する。

測距部６は、撮像素子３からの画像信号とＡＦ制御部８からの領域情報とに基づき、ＡＦ制御用の距離情報（第２の深さ情報）及び画面内の被写体検出用の距離情報（第１の深さ情報、距離マップデータ）を算出し、被写体追尾部７とＡＦ制御部８に出力する。

被写体追尾部７は、撮像素子３からの画像信号とＡＦ制御部８からの距離情報とに基づき、撮像画像中の被写体を検出し、検出された被写体から主被写体を判別し、その位置や大きさ（サイズ）に関する情報（以下、被写体情報）を、ＡＦ制御部８に出力する。

ＡＦ制御部８は、システム制御部１３により制御されて、コントラストＡＦ評価値算出部５に測距枠情報と領域情報を出力し、また、測距部６に領域情報を出力する。また、ＡＦ制御部８は、コントラストＡＦ評価値算出部５からのコントラスト評価値と測距部６からの距離情報を取得し、光学系駆動部２及び撮像センサ駆動部４に制御信号を出力する。

信号処理部９は、撮像素子３からの像信号を加算した画像信号を生成し、所定の信号処理を施して表示用あるいは記録用の画像信号を出力する。また、信号処理部９は、生成された画像信号に対して、色変換、ホワイトバランス補正、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行い、記録部１０や表示部１１に表示用あるいは記録用の画像信号を出力する。

記録部１０は信号処理部９により生成された画像信号を記録したり、既に記録された画像が読み出されるメモリーカードやハードディスクなどである。表示部１１は信号処理部９により生成された画像や各種メニュー画面などを表示する液晶パネル（ＬＣＤ）などである。操作部１２は、ユーザ操作を受け付ける各種スイッチ（ＡＦオン／オフ、ズームなど）であり、ユーザからの指示をシステム制御部１３に送出する。

システム制御部１３は、撮像装置１００の各種機能を統括して制御するための、ＣＰＵ、ＲＡＭ、ＲＯＭや、専用の回路などを含む。ＣＰＵは、不揮発性メモリであるＲＯＭに格納されたプログラムをワークメモリとしてのＲＡＭに展開し実行することで、後述する制御シーケンスを実行する。

＜撮像素子の構成＞
図２は撮像素子３の画素配置を示す模式図である。単位画素２００が行列状に配列されており、各単位画素２００に対してＲ（Ｒｅｄ）／Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー状に配置されている。また、各単位画素２００内にはそれぞれ副画素ａ、副画素ｂが配置されており、フォトダイオード（以下、ＰＤ）２０１ａ、２０１ｂがそれぞれの副画素ａ、ｂに配置されている。副画素ａ、ｂから出力される各々の画像信号は焦点検出に利用され、副画素ａ、副画素ｂから出力される画像信号を加算した信号であるａ／ｂ合成信号は画像生成用に利用される。

図３は、光学系１の異なる射出瞳から出る光束と単位画素２００との関係を示しており、図２と同様の部分については、同じ符号を付している。

図３に示すように、カラーフィルタ３０１とマイクロレンズ３０２とが、各々の単位画素２００上に形成されている。レンズの射出瞳３０３を通過した光は、光軸３０４を中心として単位画素２００に入射する。射出瞳３０３の一部の領域である瞳領域３０５を通過する光束は、マイクロレンズ３０２を通って、副画素ａで受光される。一方、射出瞳３０３の他の一部の領域である瞳領域３０６を通過する光束は、マイクロレンズ３０２を通って、副画素ｂで受光される。したがって、副画素ａと副画素ｂは、それぞれ、光学系１の射出瞳３０３の別々の瞳領域３０５、３０６の光を受光している。このように視差が異なる副画素ａの出力信号（Ａ像信号）と副画素ｂの出力信号（Ｂ像信号）を比較することで（撮像面）位相差方式の焦点検出が可能となる。

図４は、撮像素子３の回路構成を示している。画素領域ＰＡには、単位画素２００がｐ１１〜ｐｋｎのように行列状（ｎ行×ｋ列）に配置されている。ここで、単位画素２００の構成を、図５（ａ）を用いて説明する。図５（ａ）は、撮像素子の単位画素の回路構成を示す図である。

図５（ａ）において、前述した副画素ａ、ｂのＰＤ（光電変換部）５０１ａ、５０１ｂに入射した光信号が、ＰＤ５０１ａ、５０１ｂによって光電変換され、露光量に応じた電荷がＰＤ５０１ａ、５０１ｂに蓄積される。転送ゲート５０２ａ、５０２ｂのゲートに印加する信号ｔｘａ、ｔｘｂをそれぞれＨｉｇｈレベルにすることで、ＰＤ５０１ａ、５０１ｂに蓄積されている電荷がＦＤ（フローティングディフュージョン）部５０３に転送される（電荷転送）。ＦＤ部５０３は、フローティングディフュージョンアンプ５０４（以下ＦＤアンプと表す）のゲートに接続されており、ＰＤ５０１ａ、５０１ｂから転送されてきた電荷量がＦＤアンプ５０４によって電圧量に変換される。

ＦＤ部５０３をリセットするためのＦＤリセットスイッチ５０５のゲートに印加する信号ｒｅｓをＨｉｇｈレベルとすることにより、ＦＤ部５０３がリセットされる。また、ＰＤ５０１ａ、５０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ、ｔｘｂとを同時にＨｉｇｈレベルとする。これにより、転送ゲート５０２ａ、５０２ｂ及びＦＤリセットスイッチ５０５の両方がＯＮ状態となり、ＦＤ部５０３経由でＰＤ５０１ａ、５０１ｂがリセットされる。画素選択スイッチ５０６のゲートに印加する信号ｓｅｌをＨｉｇｈレベルとすることにより、ＦＤアンプ５０４によって電圧に変換された画素信号が単位画素２００の出力ｖｏｕｔに出力される。

図４に示すように、垂直走査回路４０１は、前述の単位画素２００の各スイッチを制御するｒｅｓ、ｔｘａ、ｔｘｂ、ｓｅｌといった駆動信号を各単位画素２００に供給する。これらの駆動信号ｒｅｓ、ｔｘａ、ｔｘｂ、ｓｅｌは、行毎において共通となっている。各単位画素２００の出力ｖｏｕｔは、列毎に垂直出力線４０２を介して列共通読出し回路４０３に接続されている。

ここで、列共通読出し回路４０３の構成を、図５（ｂ）を用いて説明する。

垂直出力線４０２は、単位画素２００の列毎に設けられ、１列分の単位画素２００の出力ｖｏｕｔが接続されている。垂直出力線４０２には電流源４０４が接続されており、電流源４０４と、垂直出力線４０２に接続された単位画素２００のＦＤアンプ５０４とによってソースフォロワ回路が構成される。

図５（ｂ）において、クランプ容量６０１はＣ１の容量を有しており、フィードバック容量６０２はＣ２の容量を有しており、演算増幅器６０３は、基準電源Ｖｒｅｆに接続された非反転入力端子を有している。スイッチ６０４はフィードバック容量６０２の両端をショートさせるためのものであり、スイッチ６０４は信号ｃｆｓによって制御される。

転送スイッチ６０５〜６０８は、それぞれ単位画素２００から読み出される信号を各信号保持容量６０９〜６１２に転送するためのものである。後述する読み出し動作によって、第１のＳ信号保持容量６０９には、副画素ａから出力される画素信号Ｓａが記憶される。また、第２のＳ信号保持容量６１１には、副画素ａから出力される信号と副画素ｂから出力される信号とを合成（加算）した信号であるａ／ｂ合成信号Ｓａｂが記憶される。また、第１のＮ信号保持容量６１０及び第２のＮ信号保持容量６１２には、単位画素２００のノイズ信号Ｎがそれぞれ記憶される。各信号保持容量６０９〜６１２は、それぞれ列共通読出し回路４０３の出力ｖｓａ、ｖｎａ、ｖｓｂ、ｖｎｂに接続されている。

列共通読出し回路４０３の出力ｖｓａ、ｖｎａには、それぞれ水平転送スイッチ４０５、４０６が接続されている。水平転送スイッチ４０５、４０６は、水平走査回路４１１の出力信号ｈａ＊（＊は列番号）によって制御される。

また、列共通読出し回路４０３の出力ｖｓｂ、ｖｎｂには、それぞれ水平転送スイッチ４０７、４０８が接続されている。水平転送スイッチ４０７、４０８は、水平走査回路４１１の出力信号ｈｂ＊（＊は列番号）によって制御される。水平出力線４０９、４１０は差動増幅器４１４の入力に接続されており、差動増幅器４１４ではＳ信号とＮ信号の差分をとると同時に所定のゲインをかけ、最終的な出力信号を出力端子４１５へ出力する。

水平出力線リセットスイッチ４１２、４１３のゲートに印加する信号ｃｈｒｅｓをＨｉｇｈにすると、水平出力線リセットスイッチ４１２、４１３がＯＮとなり、各水平出力線４０９、４１０がリセット電圧Ｖｃｈｒｅｓにリセットされる。

以下、Ａ像信号の読み出し動作と、Ａ像信号とＢ像信号の合成信号であるＡ＋Ｂ像信号の読み出し動作について説明する。

図５（ｃ）は、撮像素子３の画素領域ＰＡに設定される焦点調節用の距離情報取得領域と被写体検出用の距離情報取得領域との関係を示している。測距枠６２０は、ＡＦ制御部８からの領域情報によって測距部６により設定される。

ｋ列×ｎ行の画素で構成される画素領域ＰＡにおいて、点線で示す領域が測距枠６２０である。斜線部で示す距離情報取得領域Ｒ１に含まれる単位画素の行（画素ライン）からは、Ａ像信号及びＡ＋Ｂ像信号が読み出され、画像の生成、焦点検出及び被写体検出に使用される。距離情報取得領域Ｒ１以外の領域Ｒ２に含まれる単位画素の行（画素ライン）からは、Ａ像信号とＢ像信号の加算信号のみが読み出され、画像生成のみに使用される。

なお、図５（ｃ）に示すように、画素領域の垂直方向に複数の領域Ｒ１を設定した場合、各領域Ｒ１における単位画素２００の行の数を互いに異ならせて設定してもよい。

次に、撮像素子３の読み出し動作について図６（ａ）を用いて説明する。図６（ａ）は、前述の領域Ｒ２の各行に対して行われる読み出し動作のタイミングチャートである。

まず、信号ｃｆｓをＨｉｇｈレベルにしてスイッチ６０４をＯＮすることにより、演算増幅器６０３をバッファ状態にする。次に、信号ｓｅｌをＨｉｇｈレベルにして単位画素の画素選択スイッチ５０６をＯＮにする。その後、信号ｒｅｓをＬｏｗレベルにしてＦＤリセットスイッチ５０５をＯＦＦにし、ＦＤ部５０３のリセットを開放する。

続いて信号ｃｆｓをＬｏｗレベルに戻してスイッチ６０４をＯＦＦにした後、信号ｔｎａ、ｔｎｂをＨｉｇｈレベルにして、転送スイッチ６０６、６０８を介して第１のＮ信号保持容量６１０及び第２のＮ信号保持容量６１２にノイズ信号Ｎを記憶する。

次いで、信号ｔｎａ、ｔｎｂをＬｏｗにし、転送スイッチ６０６、６０８をＯＦＦにする。その後、信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ６０７をＯＮにすると共に、信号ｔｘａ及びｔｘｂをＨｉｇｈレベルにすることで転送ゲート５０２ａと５０２ｂをＯＮにする。この動作により、副画素ａのＰＤ５０１ａに蓄積されていた電荷信号及び副画素ｂのＰＤ５０１ｂに蓄積された電荷信号を合成した信号が、ＦＤアンプ５０４、画素選択スイッチ５０６を介して垂直出力線４０２へ出力される。垂直出力線４０２の信号は、クランプ容量６０１の容量Ｃ１とフィードバック容量６０２の容量Ｃ２との容量比に応じたゲインで演算増幅器６０３により増幅され、転送スイッチ６０７を介して第２のＳ信号保持容量６１１へ記憶される（ａ／ｂ合成信号Ｓａｂ）。転送ゲート５０２ａ及び５０２ｂと、転送スイッチ６０７とを順次ＯＦＦにした後、信号ｒｅｓをＨｉｇｈレベルにしてＦＤリセットスイッチ５０５をＯＮにし、ＦＤ部５０３をリセットする。

次に、水平走査回路４１１の出力ｈｂ１がＨｉｇｈレベルになることにより、水平転送スイッチ４０７、４０８がＯＮされる。これにより、第２のＳ信号保持容量６１１、第２のＮ信号保持容量６１２の信号が水平出力線４０９、４１０と差動増幅器４１４を介して出力端子４１５に出力される。水平走査回路４１１は、各列の選択信号ｈｂ１、ｈｂ２、・・・、ｈｂｋを順次Ｈｉｇｈにすることにより、１行分のａ／ｂ合成信号（Ａ＋Ｂ像信号）を出力する。尚、信号ｈｂ１〜ｈｂｋによって各列の信号が読み出される間には、信号ｃｈｒｅｓをＨｉｇｈレベルにすることで水平出力線リセットスイッチ４１２、４１３をＯＮし、一旦、水平出力線４０９、４１０をリセット電圧Ｖｃｈｒｅｓのレベルにリセットする。

以上が、領域Ｒ２における単位画素の各行の読み出し動作である。これにより、Ａ＋Ｂ像信号が読み出されることになる。

続いて、領域Ｒ１の各行の読み出し動作について図６（ｂ）、図６（ｃ）を用いて説明する。図６（ｂ）は、Ａ像信号が読み出されるまでの動作のタイミングチャートである。信号ｃｆｓをＨｉｇｈレベルにすることから始まり、信号ｔｎａ、ｔｎｂをＬｏｗにして第１のＮ信号保持容量６１０及び第２のＮ信号保持容量６１２にＮ信号を記憶するまでの動作は、図６（ａ）で説明した動作と同様である。

ノイズ信号Ｎの記憶が終了すると、信号ｔｓａをＨｉｇｈレベルにして転送スイッチ６０５をＯＮにすると共に、信号ｔｘａをＨｉｇｈレベルにすることで転送ゲート５０２ａをＯＮする。このような動作によって、副画素ａのＰＤ５０１ａに蓄積されていた信号が、ＦＤアンプ５０４及び画素選択スイッチ５０６を介して垂直出力線４０２へ出力される。垂直出力線４０２の信号は、演算増幅器６０３において、クランプ容量６０１の容量Ｃ１とフィードバック容量６０２の容量Ｃ２との容量比に応じたゲインで増幅され、転送スイッチ６０５を介して第１のＳ信号保持容量６０９に記憶される（画素信号Ｓａ）。

次に、水平走査回路４１１の出力ｈａ１がＨｉｇｈレベルになることにより、水平転送スイッチ４０５、４０６がＯＮされる。これにより、第１のＳ信号保持容量６０９、第１のＮ信号保持容量６１０の信号が水平出力線４０９、４１０と差動増幅器４１４とを介して出力端子４１５に出力される。水平走査回路４１１は、各列の選択信号ｈａ１、ｈａ２、・・・、ｈａｋを順次Ｈｉｇｈにすることにより、１行分の副画素ａの信号（Ａ像信号）を出力する。

信号ｒｅｓはＬｏｗレベルのままで、信号ｓｅｌはＨｉｇｈレベルのままで、Ａ像信号の読み出しを終了する。これにより、ＦＤ部５０３上のＡ像信号はリセットされず保持されることになる。

Ａ像信号の読み出しが終了すると、続けて図６（ｃ）に示すＡ＋Ｂ像信号の読み出し動作へと移る。信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ６０７をＯＮすると共に、信号ｔｘａ及びｔｘｂをＨｉｇｈレベルにすることで転送ゲート５０２ａと５０２ｂとをＯＮにする。このような動作により、副画素ｂのＰＤ５０１ｂに蓄積されていた信号がＦＤ部５０３に保持されていた副画素ａの信号と加算され、加算された信号がＦＤアンプ５０４、画素選択スイッチ５０６を介して垂直出力線４０２へ出力される。これ以降の部分は、図６（ａ）を用いて説明した領域Ｒ２の動作と同じである。

以上により、領域Ｒ１における各行の読み出し動作が終了する。これにより、領域Ｒ１では、Ａ像信号の読み出しとＡ＋Ｂ像信号の読み出しが行われ、Ａ像信号とＡ＋Ｂ像信号が順次読み出されることになる。

＜撮影動作＞
次に、上述した構成を有する撮像装置１００による画像撮影時の動作について説明する。

まず、光学系１は、光学系駆動部２からの駆動信号により、絞りとレンズを駆動して、適正な明るさに設定された被写体像を撮像素子３の受光面に結像させる。撮像素子３は、撮像センサ駆動部４からの駆動パルスにより駆動され、被写体像を光電変換により電気信号に変換して画像信号として出力する。

撮像センサ駆動部４は、ＡＦ制御部８からの領域情報に応じた駆動パルスにより、上述した読み出し動作によって領域Ｒ１からＡ像信号の読み出しとＡ＋Ｂ像信号の読み出しを行い、領域Ｒ２からＡ＋Ｂ像信号の読み出しを行う。このようにＡ像信号を一部の領域で読み出すことで処理負荷を軽減している。さらに、ＡＦ制御部８は、Ａ像信号を読み出した領域Ｒ１では、Ａ＋Ｂ像信号からＡ像信号を差し引くことでＢ像信号を取得し、Ａ像信号とＢ像信号を用いてＡＦ制御を行う。なお、領域Ｒ１からＡ像信号とＢ像信号を個別に読み出すと共に、領域Ｒ１以外の領域Ｒ２からＡ＋Ｂ像信号を読み出すことでＡＦ制御を行ってもよい。

コントラストＡＦ評価値算出部５は撮像素子３からの画像信号とＡＦ制御部８からの測距枠情報に基づき、測距枠内のコントラスト評価値を算出し、ＡＦ制御部８へ出力する。この場合、コントラストＡＦ評価値算出部５は、ＡＦ制御部８からの領域情報に基づき、Ａ像信号とＢ像信号を加算し、距離情報取得領域Ｒ１以外の領域Ｒ２から読み出したＡ＋Ｂ像信号と同じ形式にしてからコントラスト評価値を算出する。

ここで、コントラストＡＦの概要について説明する。コントラストＡＦ評価値算出部５は、Ａ像信号から得られる第１焦点検出信号と、Ｂ像信号から得られる第２焦点検出信号を相対的に瞳分割方向にシフトさせ、加算してシフト加算信号を生成し、生成されたシフト加算信号からコントラスト評価値を算出する。

ｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、距離情報取得領域Ｒ１に対応する番号ｋの範囲をＷとし、シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をτ１として、コントラスト評価値ＲＦＣＯＮは、下記式により算出される。

シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ１番目の第２焦点検出信号Ｂ（ｋ−ｓ１）を対応させて加算してシフト加算信号が生成され、シフト加算信号からコントラスト評価値ＲＦＣＯＮ（ｓ１）が算出される。

測距部６は、ＡＦ制御部８からの領域情報に基づき、撮像センサ駆動部４により可変制御されるＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域から読み出したＡ像信号、およびＡ＋Ｂ像信号からＡ像信号を減算して得られるＢ像信号を用いて被写体の距離情報（第１の深さ情報、第２の深さ情報）を算出する。なお、本実施形態では、距離情報は（撮像面）位相差方式のＡＦを行うための位相差情報（デフォーカス量）である。

ここで、位相差ＡＦの概要について説明する。測距部６は、Ａ像信号から得られる第１焦点検出信号と、Ｂ像信号から得られる第２焦点検出信号を相対的に瞳分割方向にシフトさせ、信号の一致度を表す相関量を算出する。ｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、距離情報取得領域Ｒ１に対応する番号ｋの範囲をＷとし、シフト処理によるシフト量をｓ２、シフト量ｓ２のシフト範囲をτ２として、相関量ＣＯＲは、下記式により算出される。

シフト量ｓ２のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ２番目の第２焦点検出信号Ｂ（ｋ−ｓ２）を対応させ減算し、シフト減算信号を生成し、距離情報取得領域に対応する範囲Ｗ内で番号ｋの和をとり、相関量ＣＯＲ（ｓ２）を算出する。そして、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた第１の変換係数Ｋ１をかけて、デフォーカス量を検出する。

なお、本実施形態では、測距部６が、異なる視差のＡ像信号とＢ像信号から距離情報を算出する例を示すが、被写体検出用の情報としては、例えば、「距離」に換算されない「深さに対応する情報」としてもよい。「深さに対応する情報」は、例えば、「距離」に換算されるまでの過程で生成されるＡ像信号とＢ像信号の「視差量（像ずれ量）」の情報、「デフォーカス量」の情報、「被写体距離」の情報のうちのいずれの形態であってもよい。そして、本実施形態では、「深さに対応する情報」のうちの「被写体距離」を、被写体検出用として画面全体に分散させて取得する。なお、被写体検出用の「深さに対応する情報」は画像に関連付けて記録してもよい。

本発明は、画像における被写体の深さに対応する情報としてさまざまな実施形態での適用が可能である。つまり、被写体の深さに対応するデータが示す情報（深さ情報）は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の被写体距離や深さの相対関係を表す情報であればよい。

具体的には、撮像素子３は、光学系１の異なる瞳領域を通過する一対の光束が光学像としてそれぞれ結像したものを、対をなす画像信号として複数の光電変換部から出力することができる。対をなす画像信号間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を光学系１や撮像素子３の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。

このように、本実施形態では、測距部６は、像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得すればよい。なお、各マップデータの各データはブロック単位で持っていてもよいし、画素単位で持っていてもよい。この場合、通常の画像データのように最小単位ごとに８ビット程度ビット数を割り当て、距離画像として画像処理や表示、記録などを画像処理と同様に行ってもよい。

被写体追尾部７は、撮像素子３からの画像信号とＡＦ制御部８からの距離情報とに基づいて被写体を検出し、検出された被写体から主被写体を特定し、その位置や大きさ（サイズ）に関する被写体情報を、ＡＦ制御部８に出力する。被写体追尾部７が特定の人物の顔を主被写体（主顔）として追尾する場合、画面のより中央に近い位置にある顔を主顔に設定し、主顔の動きベクトルや色、大きさから主顔の移動先を検出する。そして、被写体追尾部７は、主顔の距離情報及び主顔周辺の被写体の距離情報に基づいて主顔の追尾を行い、他の被写体と主顔とがすれ違った場合などに主顔の判別を行う。

ＡＦ制御部８は、コントラストＡＦ評価値算出部５からのコントラスト評価値と、測距部６からの距離情報とに基づき、撮像センサ駆動部４へ領域情報を出力する。

また、ＡＦ制御部８は、コントラスト方式でＡＦを行う場合はコントラストＡＦ評価値算出部５からのコントラスト評価値に基づき合焦位置（コントラスト評価値が最大となるピーク位置）を検出し、主被写体を合焦状態にするための光学系駆動情報を光学系駆動部２へ出力する。また、ＡＦ制御部８は、位相差方式でＡＦを行う場合は測距部６からの（相関量が最小となる像ずれ量やデフォーカス量に対応する）距離情報に基づき合焦位置を検出し、主被写体を合焦状態にするための光学系駆動情報を光学系駆動部２へ出力する。なお、ＡＦ制御部８は、位相差方式のＡＦを行って（測距部６からの距離情報を用いて）主被写体を合焦状態に近づけ、さらにコントラスト方式のＡＦを行って（コントラスト評価値を用いて）主被写体を合焦状態にするような制御を行ってもよい。すなわち、ＡＦ制御部８は、コントラストＡＦ評価値算出部５からのコントラスト評価値と測距部６からの距離情報の少なくともいずれかを用いて主被写体を合焦状態にするような制御を行ってもよい。

信号処理部９は、撮像素子３からの画像信号を輝度信号と色差信号に変換した画像データを生成して記録部１０や表示部１１に出力する。記録部１０及び表示部１１は、信号処理部９により生成された画像データの記録・表示を行う。

＜ＡＦ制御部８における光学系駆動情報及び領域情報の算出処理＞
次に、図７を参照して、ＡＦ制御部８による光学系駆動情報及び領域情報の算出処理について説明する。

まず、ＡＦ制御部８による光学系駆動部２に出力する光学系駆動情報の算出処理を説明する。

図７において、第１の光学系駆動量算出部７００は、コントラストＡＦ評価値算出部５からのコントラスト評価値に基づき、いわゆる山登り方式によって第１の光学系駆動量を算出する。第２の光学系駆動量算出部７０１は、測距部６からの距離情報に基づき、第２の光学系駆動量を算出する。光学系駆動量加算部７０２は、後述するコントラスト評価値に基づいて第１及び第２の光学系駆動量を重み付けして加算し、光学系駆動部２に出力する光学系駆動情報を算出する。

上述したように、コントラストＡＦは、いわゆる山登り方式であり、フォーカスレンズを移動させながら、コントラスト評価値が大きくなるようにレンズ駆動量を算出することから合焦までに時間がかかる。一方で、位相差方式のＡＦは被写体までの距離情報が得られることから大ボケの場合であっても精度の高いレンズ駆動量が算出できる。このため、合焦付近までのレンズの駆動は高速で行えるが、合焦付近での焦点調節精度はコントラストＡＦに比べて低くなる。

そこで、本実施形態では、光学系駆動部２は、図８に示すようにコントラスト評価値に応じて第１の光学系駆動量と第２の光学系駆動量に重み付けをする。具体的には、コントラスト評価値が大きいほど第１の光学系駆動量の重み付けが大きくなり、コントラスト評価値が小さいほど第２の光学系駆動量の重み付けが小さくなるように係数αを設定し、例えば以下の式を用いて加算する。

ＭＶ＝α×Ｃａｆ＋（１−α）×Ｒ＊Ｄａｆ
ここで、αは重み付け係数、Ｃａｆは第１の光学系駆動量、Ｄａｆは第２の光学系駆動量である。

次に、ＡＦ制御部８による撮像センサ駆動部４に出力する領域情報の算出処理を説明する。

図７の距離情報取得領域設定部７０３は、コントラストＡＦ評価値算出部５からのコントラスト評価値と、被写体追尾部７からの主被写体の被写体情報（位置、大きさ）から領域情報を設定する。

＜ＡＦ制御部の動作＞
次に、図９を参照して、撮影動作におけるＡＦ制御時に、ＡＦ制御部８の距離情報取得領域設定部７０３が撮像センサ駆動部４へ領域情報を出力する処理について説明する。

Ｓ９００では、距離情報取得領域設定部（以下、領域設定部）７０３は、コントラストＡＦ評価値算出部５からコントラスト評価値を取得する。

Ｓ９０１では、領域設定部７０３は、被写体追尾部７から主被写体の被写体情報（位置、大きさ）を取得する。

Ｓ９０２では、領域設定部７０３は、Ｓ９０１で取得したコントラスト評価値に基づいてＡＦの状態を判定する。領域設定部７０３は、閾値Ｔｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）を用いて、コントラスト評価値が閾値Ｔｈ１より小さい場合は大ボケと判定し、コントラスト評価値が閾値Ｔｈ１より大きく、閾値Ｔｈ２より小さい場合は中ボケと判定し、コントラスト評価値が閾値Ｔｈ２より大きい場合は合焦と判定する。そして、ＡＦ状態が大ボケと判定された場合はＳ９０３へ、中ボケと判定された場合はＳ９０４へ、合焦と判定された場合はＳ９０５へ処理を進める。

ここで、前述したようにコントラスト評価値が大きいほど第１の光学系駆動量の重み付けが大きくなり、コントラスト評価値が小さいほど第２の光学系駆動量の重み付けが小さくなるように重み付け係数αが設定される。したがって、コントラスト評価値が大きい場合には第２の光学系駆動量の算出精度を落としてもＡＦ制御の精度低下は小さくなる。換言すると、コントラスト評価値が小さい場合には第２の光学系駆動量の算出精度を低下させてはならない。

また、被写体追尾部７においては、被写体検出用の距離マップは、主被写体の判別ができないくらいコントラスト評価値が小さい場合には不要であり、主被写体が判別できる程度にコントラスト評価値が大きい場合に必要となる。そこで、本実施形態では、コントラスト評価値に応じて、ＡＦ制御用の距離情報取得領域が設定されるフレームの頻度と、被写体検出用の距離情報取得領域が設定されるフレームの頻度を可変に制御し、ＡＦ制御の精度と被写体追尾の精度を両立できるような距離マップを取得可能としている。

ここで、図１０を参照しながら、図９のＳ９０３〜Ｓ９０５における距離情報取得領域が設定される頻度を切り替える制御について詳細に説明する。なお、図１０の（ａ）、（ｂ）、（ｃ）において、（ａ−１）〜（ａ−４）、（ｂ−１）〜（ｂ−４）、（ｃ−１）〜（ｃ−４）は、撮像された画像信号の各フレームを時系列的に示したものである。また、図１０の（ａ）、（ｂ）、（ｃ）において、１０００は主被写体、１００１は主被写体以外の被写体、１００２はＡＦ制御用の距離情報取得領域を例示している。また、１００３は被写体検出用の距離情報取得領域をそれぞれ示している。また、図１０において、（ａ）は大ボケ状態（Ｓ９０３）での領域設定例、（ｂ）は中ボケ状態（Ｓ９０４）での領域設定例、（ｃ）は合焦状態（Ｓ９０５）での領域設定例をそれぞれ例示している。

Ｓ９０３の大ボケ状態の場合には、領域設定部７０３は、図１０（ａ）のようにＡＦ制御用の距離情報取得領域１００２が設定されるフレームの頻度が最も高くなるように領域設定を行う。

Ｓ９０４の中ボケ状態の場合には、領域設定部７０３は、図１０（ｂ）のようにＡＦ制御用の距離情報取得領域１００２が設定されるフレームの頻度が中くらいになるように領域設定を行う。図１０（ｂ）の中ボケ状態では、図１０（ａ）の大ボケ状態と比べてＡＦ制御用の距離情報取得領域１００２が設定されるフレームの頻度を低くすると共に、被写体検出用の距離情報取得領域が設定されるフレームの頻度を高くする。

Ｓ９０５は合焦状態なので、領域設定部７０３は、図１０（ｃ）のようにＡＦ制御用の距離情報取得領域が設定されるフレームの頻度が低くなるように領域設定を行う。図１０（ｃ）の合焦状態では、図１０（ｂ）の中ボケ状態と比べてさらにＡＦ制御用の距離情報取得領域１００２が設定されるフレームの頻度を低くすると共に、被写体検出用の距離情報取得領域が設定されるフレームの頻度を高くする。例えば、図１０（ｃ）のようにＡＦ制御用の距離情報取得領域１００２が設定されるフレームの割合と被写体検出用の距離情報取得領域が設定されるフレームの割合が同じとなる。

Ｓ９０６では、領域設定部７０３は、Ｓ９０３からＳ９０５で設定されたＡＦ制御用の距離情報取得領域の設定頻度に応じて領域情報を算出し、撮像センサ駆動部４へ出力する。

Ｓ９０７では、領域設定部７０３は、操作部１２を介してユーザから撮影終了が指示されるなどをトリガーとして、撮影動作が終了したか否かを判定し、終了と判定されるまでＳ９００からの処理を繰り返す。

本実施形態によれば、画像撮影中のＡＦ制御時に、ＡＦ制御用の距離情報取得領域が設定されるフレームの割合と、被写体検出用の距離情報取得領域が設定されるフレームの割合を、コントラスト評価値に応じて可変に制御している。このようにすることで、ＡＦ制御の精度と主被写体追尾の精度とを両立することができるようになる。

なお、上述した実施形態では、ＡＦ制御用の距離情報取得領域を主被写体の被写体情報（位置、大きさ）に基づいて設定したが、ＡＦモードやユーザが指定した被写体に合わせて設定してもよい。また、ＡＦの状態をコントラスト評価値に基づいて判定しているが、測距部６により位相差方式で判定してもよい。

［実施形態２］次に、実施形態２について説明する。

実施形態１では、領域設定部７０３が、コントラスト評価値に基づいてＡＦ制御用の距離情報取得領域が設定されるフレームの割合と、被写体検出用の距離情報取得領域が設定されるフレームの割合を制御していた。これに対して、実施形態２では、図１１の距離情報取得領域設定部（以下、領域設定部）１１０３は、主被写体以外の被写体の数に基づいてＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域の割合を制御する。

なお、実施形態２において、実施形態１と同様の要素には同一の符号付して説明を省略する。実施形態１と異なる点は、被写体追尾部７が撮像素子３からの画像信号と測距部６からの距離情報とに基づき、撮像画像中の被写体の数を検出し、ＡＦ制御部８に出力する点と、ＡＦ制御部８が被写体追尾部７からの被写体の数に基づいてＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域の割合を制御する点である。

まず、図１２を参照して、撮影動作におけるＡＦ制御時に、ＡＦ制御部８の領域設定部１１０３が撮像センサ駆動部４へ領域情報を出力する処理について説明する。

Ｓ１２００では、領域設定部１１０３は、被写体追尾部７から主被写体の被写体情報（位置、大きさ）を取得する。

Ｓ１２０１では、領域設定部１１０３は、被写体追尾部７から主被写体以外の被写体の数を取得する。

Ｓ１２０２では、領域設定部１１０３は、Ｓ１２０１で取得した主被写体以外の被写体の数が多いか、少ないか、中くらいかを判定する。領域設定部１１０３は、閾値Ｔｈ３、Ｔｈ４（Ｔｈ３＜Ｔｈ４）を用いて、主被写体以外の被写体の数が閾値Ｔｈ３より小さい場合は少ないと判定し、主被写体以外の被写体の数が閾値Ｔｈ３より大きく、閾値Ｔｈ４より小さい場合は中くらいと判定し、主被写体以外の被写体の数が閾値Ｔｈ４より大きい場合は多いと判定する。そして、主被写体以外の被写体の数が少ないと判定された場合はＳ１２０３へ、中くらいと判定された場合はＳ１２０４へ、多いと判定された場合はＳ１２０５へ処理を進める。

本実施形態において主被写体以外の被写体の数を判定条件としているのは、主被写体以外の被写体の数が多いほど、主被写体の前をそれ以外の被写体がすれ違う可能性が高くなるため、距離情報を用いた主被写体の判別が必要となる可能性が高くなるからである。

Ｓ１２０３では、領域設定部１１０３は、主被写体以外の被写体の数が多い場合には、図１０（ｃ）と同様に、ＡＦ制御用の距離情報取得領域１００２が設定されるフレームの頻度を低くし、被写体検出用の距離情報取得領域が設定されるフレームの頻度が高くなるように領域設定を行う。

Ｓ１２０４では、領域設定部１１０３は、主被写体以外の被写体の数が中くらいの場合には、図１０（ｂ）と同様に、図１０（ｃ）と比べてＡＦ制御用の距離情報取得領域１００２が設定されるフレームの頻度を高くするが、図１０（ａ）よりも低くなるように領域設定を行う。

Ｓ１２０５では、領域設定部１１０３は、主被写体以外の被写体の数が少ない場合には、図１０（ａ）と同様に、ＡＦ制御用の距離情報取得領域１００２が設定されるフレームの頻度がさらに高くなるように領域設定を行う。

Ｓ１２０６では、領域設定部１１０３は、Ｓ１２０３〜Ｓ１２０５で設定されたＡＦ制御用の距離情報取得領域の設定頻度に応じて領域情報を算出し、撮像センサ駆動部４へ出力する。

Ｓ１２０７では、領域設定部１１０３は、操作部１２を介してユーザから撮影終了が指示されるなどをトリガーとして、撮影動作が終了したか否かを判定し、終了と判定されるまでＳ１２００からの処理を繰り返す。

本実施形態によれば、画像撮影中のＡＦ制御時に、ＡＦ制御用の距離情報取得領域が設定されるフレームの割合と、被写体検出用の距離情報取得領域が設定されるフレームの割合とを主被写体以外の被写体の数に応じて可変に制御している。このようにすることで、ＡＦ制御の精度と主被写体追尾の精度とを両立することができるようになる。

なお、上述した実施形態では、ＡＦ制御用の距離情報取得領域を主被写体以外の被写体の数に基づいて設定したが、主被写体以外の被写体の動きベクトルを検出し、主被写体の前をそれ以外の被写体がすれ違う可能性が高いと判定した場合にはＡＦ制御用の距離情報取得領域の割合を低くし、すれ違う可能性が低いと判定した場合には高くしてもよい。

［実施形態３］次に、実施形態３について説明する。

実施形態１では、領域設定部７０３が、コントラスト評価値に基づいてＡＦ制御用の距離情報取得領域が設定されるフレームの割合と、被写体検出用の距離情報取得領域が設定されるフレームの割合を制御していた。これに対して、実施形態３では、領域設定部７０３は、コントラスト評価値に基づいてフレーム内のＡＦ制御用の距離情報取得領域の優先度を設定する。そして、領域設定部７０３は、設定された優先度に応じた割合でフレーム内に配置されるＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域の割合を制御する。

なお、実施形態３において、実施形態１と同様の要素には同一の符号付して説明を省略する。

以下、図１３を参照して、撮影動作におけるＡＦ制御時に、ＡＦ制御部８の領域設定部７０３が撮像センサ駆動部４へ領域情報を出力する処理について説明する。なお、図１３のＳ１３００〜Ｓ１３０２は、図９のＳ９００〜Ｓ９０２と同様であるため説明を省略する。

ここで、図１４を参照しながら、図１３のＳ１３０３〜Ｓ１３０５における距離情報取得領域の優先度の設定処理について詳細に説明する。

図１４において、１４００は主被写体、１４０１は主被写体以外の被写体、１４０２はＡＦ制御用の距離情報取得領域を例示している。また、１４０３は被写体検出用の距離情報取得領域を例示している。また、図１４において、（ａ）は大ボケ状態（Ｓ１３０３）での領域設定例、（ｂ）は中ボケ状態（Ｓ１３０４）での領域設定例、（ｃ）は合焦状態（Ｓ１３０５）での領域設定例をそれぞれ例示している。

Ｓ１３０３の大ボケ状態の場合には、領域設定部７０３は、ＡＦ制御用の距離情報取得領域１４０２の優先度が高くなるように領域設定を行う。これにより、図１４（ａ）のようにフレーム内に配置されるＡＦ制御用の距離情報取得領域１４０２の割合が大きくなり、ＡＦ制御用の距離情報取得領域１４０２が広くなる。

Ｓ１３０４の中ボケ状態の場合には、領域設定部７０３は、ＡＦ制御用の距離情報取得領域１４０２の優先度が中くらいになるように領域設定を行う。図１４（ｂ）の中ボケ状態では、図１４（ａ）の大ボケ状態と比べてフレーム内に配置されるＡＦ制御用の距離情報取得領域１４０２の割合が小さくなるが、被写体検出用の距離情報取得領域１４０３が比較的狭いながらも画面全体に離散的に設定される。

Ｓ１３０５は合焦状態なので、領域設定部７０３は、ＡＦ制御用の距離情報取得領域の優先度が低くなるように領域設定を行う。図１４（ｃ）の合焦状態では、図１４（ｂ）の中ボケ状態と比べてさらにフレーム内のＡＦ制御用の距離情報取得領域１４０２の割合が小さくなるが、被写体検出用の距離情報取得領域１４０３が比較的広くなるように画面全体に離散的に設定される。

Ｓ１３０６では、領域設定部７０３は、Ｓ１３０３〜Ｓ１３０５で設定されたＡＦ制御用の距離情報取得領域の優先度に応じて領域情報を算出し、撮像センサ駆動部４へ出力する。

Ｓ１３０７では、領域設定部７０３は、操作部１２を介してユーザから撮影終了が指示されるなどをトリガーとして、撮影動作が終了したか否かを判定し、終了と判定されるまでＳ１３００からの処理を繰り返す。

本実施形態によれば、画像撮影中のＡＦ制御時に、ＡＦ状態に応じて、フレーム内に配置されるＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域の割合を制御している。このようにすることで、ＡＦ制御の精度と主被写体追尾の精度とを両立することができるようになる。

なお、上述した実施形態では、ＡＦ制御用の距離情報取得領域を主被写体の被写体情報（位置、大きさ）に基づいて設定したが、ＡＦモードやユーザが指定した被写体に合わせて設定してもよい。また、ＡＦの状態をコントラスト評価値に基づいて判定しているが、測距部６により位相差方式で判定してもよい。

［実施形態４］次に、実施形態４について説明する。

実施形態２では、領域設定部１１０３が、主被写体以外の被写体の数に基づいてＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域の割合を制御していた。これに対して、実施形態４では、領域設定部１１０３が、主被写体以外の被写体の数に基づいてフレーム内のＡＦ制御用の距離情報取得領域の優先度を設定する。そして、領域設定部１１０３は、設定された優先度に応じた割合でフレーム内に配置されるＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域の割合を制御する。

なお、実施形態４において、実施形態２と同様の要素には同一の符号付して説明を省略する。

以下、図１５を参照して、撮影動作におけるＡＦ制御時に、ＡＦ制御部８の領域設定部１１０３が撮像センサ駆動部４へ領域情報を出力する処理について説明する。なお、図１５のＳ１５００〜Ｓ１５０２は、図１２のＳ１２００〜Ｓ１２０２と同様であるため説明を省略する。

Ｓ１５０２では、領域設定部１１０３は、Ｓ１５０１で取得した主被写体以外の被写体の数が多いか、少ないか、中くらいかを判定する。領域設定部１１０３は、閾値Ｔｈ３、Ｔｈ４（Ｔｈ３＜Ｔｈ４）を用いて、主被写体以外の被写体の数が閾値Ｔｈ３より小さい場合は少ないと判定し、主被写体以外の被写体の数が閾値Ｔｈ３より大きく、閾値Ｔｈ４より小さい場合は中くらいと判定し、主被写体以外の被写体の数が閾値Ｔｈ４より大きい場合は多いと判定する。そして、主被写体以外の被写体の数が少ないと判定された場合はＳ１５０３へ、中くらいと判定された場合はＳ１５０４へ、多いと判定された場合はＳ１５０５へ処理を進める。

本実施形態において主被写体以外の被写体の数を判定しているのは、主被写体以外の被写体の数が多いほど、主被写体の前をそれ以外の被写体がすれ違う可能性が高くなるため、距離情報を用いた主被写体の判別が必要となる可能性が高くなるからである。

Ｓ１５０３では、領域設定部１１０３は、主被写体以外の被写体の数が多い場合には、ＡＦ制御用の距離情報取得領域の優先度が低くなるように領域設定を行う。これにより、図１４（ｃ）と同様に、フレーム内のＡＦ制御用の距離情報取得領域１４０２が狭くなるが、被写体検出用の距離情報取得領域１４０３が比較的広くなるように画面全体に離散的に設定される。

Ｓ１５０４では、領域設定部１１０３は、主被写体以外の被写体の数が中くらいの場合には、ＡＦ制御用の距離情報取得領域１４０２の優先度が中くらいになるように領域設定を行う。これにより、図１４（ｂ）と同様に、フレーム内のＡＦ制御用の距離情報取得領域１４０２が狭くなるが、被写体検出用の距離情報取得領域１４０３が比較的狭いながらも画面全体に離散的に設定される。

Ｓ１５０５では、領域設定部１１０３は、主被写体以外の被写体の数が少ない場合には、ＡＦ制御用の距離情報取得領域１４０２の優先度が高くなるように領域設定を行う。これにより、図１４（ａ）と同様に、フレーム内のＡＦ制御用の距離情報取得領域１４０２が広くなる。

Ｓ１５０６では、領域設定部１１０３は、Ｓ１５０３〜Ｓ１５０５で設定されたＡＦ制御用の距離情報取得領域の設定の優先度に応じて領域情報を算出し、撮像センサ駆動部４へ出力する。

Ｓ１５０７では、領域設定部１１０３は、操作部１２を介してユーザから撮影終了が指示されるなどをトリガーとして、撮影動作が終了したか否かを判定し、終了と判定されるまでＳ１５００からの処理を繰り返す。

本実施形態によれば、画像撮影中のＡＦ制御時に、主被写体以外の被写体の数に応じてフレーム内に配置されるＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域の割合を制御している。このようにすることで、ＡＦ制御の精度と主被写体追尾の精度とを両立できるようになる。

なお、上述した実施形態では、ＡＦ制御用の距離情報取得領域を主被写体以外の被写体の数に基づいて設定したが、主被写体以外の被写体の動きベクトルを検出し、主被写体の前をそれ以外の被写体がすれ違う可能性が高いと判定される場合にはＡＦ制御用の距離情報取得領域の割合を低くし、すれ違う可能性が低いと判定される場合には高くしてもよい。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…光学系、２…光学系駆動部、３…撮像素子、４…撮像センサ駆動部、５…コントラストＡＦ評価値算出部、６…測距部、７…被写体追尾部、８…ＡＦ制御部、９…信号処理部、１０…記録部、１１…表示部、１２…操作部、１３…システム制御部

Claims (8)

1. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
   前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、
   主被写体に対応する領域を示す情報と、当該主被写体の合焦状態を示す情報とを取得する取得手段と、
   前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定手段と、を有し、
   前記設定手段は、
   前記視差が異なる信号を読み出す領域の設定として第１の領域と、当該第１の領域よりも包含する画角が広く、かつ前記第１の領域より前記画角内で前記視差が異なる信号を読み出すラインの間隔が広い第２の領域とを設定可能であり、
   各フレームにおける前記視差が異なる信号を読み出す領域について、前記主被写体の合焦状態が第１の状態であるときには、当該第１の状態よりも合焦に遠い第２の状態であるときよりも前記第２の領域で前記視差が異なる信号が読み出されるフレームの頻度が高くなるように設定することを特徴とする撮像装置。
2. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
   前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、
   主被写体に対応する領域を示す情報と、当該主被写体の合焦状態を示す情報とを取得する取得手段と、
   前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定手段と、を有し、
   前記設定手段は、
   前記視差が異なる信号を読み出す領域の設定として第１の領域と、当該第１の領域よりも包含する画角が広く、かつ前記第１の領域より前記画角内で前記視差が異なる信号を読み出すラインの間隔が広い第２の領域とを設定可能であり、
   各フレームの読み出しにおいて、
   前記主被写体の合焦状態が第１の状態であるときに前記第２の領域に設定し、
   前記主被写体の合焦状態が前記第１の状態よりも合焦に遠い第２の状態であるときに前記第１の領域に設定することを特徴とする撮像装置。
3. 前記設定手段により設定された前記視差が異なる信号を読み出す領域から読み出された信号を用いて深さ情報を算出する算出手段を有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記設定手段により設定された前記視差が異なる信号を読み出す領域から読み出された信号を用いて深さ情報を算出する算出手段を有し、
   前記取得手段は、前記深さ情報に基づいて得られた被写体の合焦状態を示す情報を取得することを特徴とする請求項１または２に記載の撮像装置。
5. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
   前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、を有する撮像装置の制御方法であって、
   主被写体に対応する領域を示す情報と、当該主被写体の合焦状態を示す情報とを取得する取得工程と、
   前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定工程と、を有し、
   前記設定工程では、
   前記視差が異なる信号を読み出す領域の設定として第１の領域と、当該第１の領域よりも包含する画角が広く、かつ前記第１の領域より前記画角内で前記視差が異なる信号を読み出すラインの間隔が広い第２の領域とを設定可能であり、
   各フレームにおける前記視差が異なる信号を読み出す領域について、前記主被写体の合焦状態が第１の状態であるときには、当該第１の状態よりも合焦に遠い第２の状態であるときよりも前記第２の領域で前記視差が異なる信号が読み出されるフレームの頻度が高くなるように設定することを特徴とする撮像装置の制御方法。
6. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
   前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、を有する撮像装置の制御方法であって、
   主被写体に対応する領域を示す情報と、当該主被写体の合焦状態を示す情報とを取得する取得工程と、
   前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定工程と、を有し、
   前記設定工程では、
   前記視差が異なる信号を読み出す領域の設定として第１の領域と、当該第１の領域よりも包含する画角が広く、かつ前記第１の領域より前記画角内で前記視差が異なる信号を読み出すラインの間隔が広い第２の領域とを設定可能であり、
   各フレームの読み出しにおいて、
   前記主被写体の合焦状態が第１の状態であるときに前記第２の領域に設定し、
   前記主被写体の合焦状態が前記第１の状態よりも合焦に遠い第２の状態であるときに前記第１の領域に設定することを特徴とする撮像装置の制御方法。
7. 請求項５または６に記載された制御方法を、撮像装置のコンピュータに実行させるためのプログラム。
8. 請求項５または６に記載された制御方法を、撮像装置のコンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。

Images