JP6762710B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関し、特に焦点検出技術に関するものである。

撮像装置において、撮像素子に位相差検出機能を組み込むことにより、撮影レンズのピントずれ量を求めることを可能とする技術が提案されている。
例えば特許文献１では、撮像素子の一部の受光素子において、受光部の感度領域をオンチップマイクロレンズの光軸に対して偏心させることで瞳分割機能を持たせている。そして、これらの受光素子を有する画素を、撮像素子中に所定の間隔で配置させることで位相差検出機能を実現している。
また、例えば特許文献２では、撮像素子の一つのマイクロレンズに対応する各画素に、Ａ画素及びＢ画素の複数の光電変換素子を設け、Ａ画素出力とＡ＋Ｂ画素出力を読み出している。そして、Ａ画素出力とＡ＋Ｂ画素出力を減算処理することでＢ画素出力を求め、位相差検出機能を実現している。

特開２０１０−２１９９５８号公報 特開２０１３−１０６１９４号公報

しかしながら、特許文献１の位相差検出画素は通常画素としては利用できないため、位相差検出画素の配置割合を大きくすることは困難である。そのため、位相差検出の分解能が低くなって位相差検出の精度が低下してしまう。

一方、特許文献２では全ての画素が複数の光電変換素子を有しているので、全ての画素を位相差検出素子として利用できる。このため、位相差検出の分解能が向上する。しかし、全ての画素からＡ＋Ｂ信号とＡ信号を読み出すために、Ａ＋Ｂ画素とＡ画素をそれぞれ読み出すための読み出し回路が必要となる。特に、撮像素子内で比較的大きな面積を必要とする保持容量が２倍必要となり、また制御線も複雑となることから、撮像素子の回路規模の増大が懸念される。また、Ａ＋Ｂ信号とＡ信号（またはＢ信号）の両方を読み出すことから、読み出し時間も２倍必要となってしまう。

本発明に係る撮像装置は、被写体からの光を光電変換する単位画素が行列状に配列され、単位画素に生じた電荷に基づく画像生成用の第１の信号、及び単位画素の一部領域に生じた電荷に基づく位相差検出用の第２の信号を出力する撮像素子と、第１の信号及び第２の信号を行毎に読み出すための走査を制御する走査回路と、を備え、走査回路は、第１の信号を第１の周期で間引いて読み出す第１の走査と、第１の走査で第１の信号が読み出されない行について、第２の信号を第２の周期毎に所定の間引き率で間引いて読み出す第２の走査とを行うことを特徴とする。

本発明によれば、撮像素子の回路規模及び読み出し時間を増大することなく、位相差検出を高精度に行うことができる撮像装置及びその制御方法を提供することができる。

第１の実施形態における撮像装置の構成を示すブロック図。 第１の実施形態における撮像装置の概略構成を示す側断面図。 第１の実施形態におけるＤＳＰ内部の機能を示すブロック図。 第１の実施形態における撮像素子の回路図。 第１の実施形態における撮像素子の単位画素の回路図。 第１の実施形態における撮像素子の平面図。 第１の実施形態における位相差検出を行わない場合の撮像素子の駆動を示すタイミングチャート。 第１の実施形態における撮像素子の読み出し方法を説明するための模式図。 第１の実施形態における位相差検出を行う場合の撮像素子の駆動を示すタイミングチャート。 第１の実施形態における撮像装置の撮影動作を示すフローチャート。 第１の実施形態における静止画撮影処理を示すフローチャート。 第１の実施形態における動画撮影処理を示すフローチャート。 第１の実施形態における焦点検出領域と読み出し領域の関係を示す図。 第１の実施形態における第２の走査における第２の周期、及び間引き率の設定例を示す図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
従来、撮像装置の自動焦点検出及び自動焦点調整において、撮影レンズを通過した光束を用いる一般的な方式として、コントラスト検出方式が知られている。この方式は撮像素子を焦点検出用センサとして用いるもので、撮像素子の出力信号を評価して、そのコントラスト情報が最大となるように撮影レンズの位置を動かすことで焦点調整が可能となる。

しかしながら、撮影レンズを動かしてはコントラスト情報を評価する必要があるとともに、その評価結果としてコントラストが最大であったことが分かった後に、再度コントラスト最大の位置に撮影レンズを移動させるため時間を要する。従って、高速な動作は困難であった。

このような欠点を改善するために撮像素子に位相差検出機能を組み込むことで、撮像素子を焦点検出素子として用いながら、なおかつ撮影レンズのピントずれ量を直接求めることを可能とする技術が提案されている。

例えば特許文献１では、撮像素子の一部の受光素子に、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を持たせている。これらの画素を撮像素子中に所定の間隔で配置させることで位相差検出機能を実現している。

また、例えば特許文献２では、撮像素子の一つのマイクロレンズに対応する各画素にＡ画素、Ｂ画素という複数の光電変換素子を設け、Ａ画素出力とＡ＋Ｂ画素出力を読み出している。この２つの出力を減算処理することでＢ画素出力を求め、位相差検出機能を実現している。

特許文献１には、位相差検出画素が配置されている行のみ、いわゆるローリングシャッタ駆動におけるリセットラインを通常画素行と位相差検出画素を含む行とでそれぞれ独立に走査する案が開示されている。この場合、同一行内に配置された位相差検出画素と通常画素とで、撮像素子内部での信号の読み出し方法は変わらない。しかし、特許文献１では、位相差検出画素を通常画素して使用できないため、位相差検出画素の配置割合を極端に大きくすることは困難である。そのため、位相差検出のための分解能は低くなる。

一方、特許文献２では、全ての画素を複数の光電変換素子で形成することで、全ての画素が位相差検出素子として利用可能となる。このため、水平方向の分解能も向上する。しかしながら、全ての画素の複数の光電変換素子からＡ＋Ｂ信号とＡ信号を読み出すために、撮像素子はＡ＋Ｂ画素とＡ画素をそれぞれ読み出すための読み出し回路が必要となる。特に、撮像素子内で比較的大きな面積を必要とする保持容量を２倍必要とすること、また制御線も複雑となることから、撮像素子周辺部の回路面積の増大が懸念される。

また、特許文献２に示すように、撮像素子の全ての撮像画素が複数の光電変換素子手段から形成される撮像素子では、周辺読み出し回路における回路構成が複雑となり、とくに保持容量といった面積的に比較的大きな回路素子が必要となる。

さらにシステム全体としてＡ＋Ｂ信号からＡ信号を減算しＢ信号を算出する仕組みが必要であり、回路規模の大きさ、コストが課題であった。また、Ａ＋Ｂ信号とＡ（またはＢ）信号を読み出すためには、単純に画素数が２倍になったことと等価であるため、読み出し時間が２倍必要となる。このように、列回路への書き込み時間が増加し、水平転送時間が単純に２倍となるため、高速読み出しが困難となる課題が生じる。

なお、全ての画素からＡ＋Ｂ信号と、Ａ信号の両方を読み出すことをせず、特定の行のみＡ＋Ｂ信号と、Ａ信号の両方を読み出そうとすると、特定行のみ水平転送時間が長くなる。しかしながら、特定行のみ水平同期の周期を変えることは、読み出し信号の処理回路の回路規模の増大と煩雑さを招くことになる。

そこで、第１の実施形態では、撮像素子の回路規模、コスト及び読み出し時間を増大することなく、画像の画質を落とさずに、位相差検出に十分な精度で必要な画素信号を読み出す方法について説明する。また、焦点検出動作における撮影条件に応じて、位相差検出画素の読み出しを切り替えることで、ＡＦ性能を改善する方法についても説明する。

図１は、本発明の第１の実施形態にかかる撮像装置のブロック図である。撮像素子１０１は、光学系（図示せず）の射出瞳を通過して結像した撮影光束を光電変換する。撮像素子１０１は、ＩＳＯ感度に応じてゲインを切り替える不図示のアンプ回路を内蔵している。アナログフロントエンド（ＡＦＥ）１０２は、撮像素子１０１からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を内蔵し、また、ダークオフセットレベルをクランプする機能を有している。

ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０３は、ＡＦＥ１０２から出力されたデータ信号に対して、各種の補正処理、現像処理、圧縮処理を行う。また、ＤＳＰ１０３は、ＲＡＭ１０７上の画像データに対して各種の補正処理を行うことも可能である。更に、ＤＳＰ１０３は、撮像素子１０１で発生する各種ノイズの補正処理、欠陥画素の検出及び欠陥画素と位相差検出用画素からの出力の補正処理、位相差検出用画素の周辺画素に対する補正処理等を行う。また、ＤＳＰ１０３は、位相差検出用画素からの出力を用いてオートフォーカス情報を算出する演算処理も行う。なお、これらの処理についての詳細は後述する。

また、ＤＳＰ１０３は、ＲＯＭ１０６、ＲＡＭ１０７等の各種メモリに対するアクセス処理、記録媒体１０８への画像データの書き込み処理、表示部１１４に対する各種データの表示処理等を行う。なお、第１の実施形態ではアナログ出力タイプのＣＭＯＳ型の撮像素子１０１とＡＦＥ１０２の組み合わせからなる例を示しているが、デジタル出力タイプのＣＭＯＳ型の撮像素子を用い、ＤＳＰ１０３に直接接続するものであっても構わない。

タイミング発生回路１０４は、ＣＰＵ１０５の制御の下、撮像素子１０１、ＡＦＥ１０２及びＤＳＰ１０３にクロック信号や制御信号を供給し、ＤＳＰ１０３と協働して、撮像素子１０１の各種読出しモードに対応したタイミング信号を生成する。ＣＰＵ１０５は、ＤＳＰ１０３及びタイミング発生回路１０４の制御、並びに測光、焦点調整等のカメラ機能の制御を行う。焦点調整では、撮像素子１０１とは別に構成された位相差ＡＦを行うための不図示の撮像素子の出力を用いたＡＦや、撮像素子１０１に組み込まれた位相差検出用画素の出力を用いて演算されるオートフォーカス情報を用いたＡＦ等を行うことができる。

ＣＰＵ１０５には、電源スイッチ１０９、第１段目のシャッタスイッチＳＷ１（１１０）、第２段目のシャッタスイッチＳＷ２（１１１）、モードダイアル１１２及びＩＳＯ感度設定スイッチ１１３等の各種スイッチが接続されている。ＣＰＵ１０５は、これらのスイッチ及びダイアルの設定状態に応じた処理を実行する。

ＲＯＭ１０６は、撮像装置の制御プログラム、すなわち、ＣＰＵ１０５が実行するプログラム、及び各種の補正用データ等を記憶しており、一般的にはフラッシュメモリにより構成されている。ＲＡＭ１０７は、ＲＯＭ１０６よりも高速にアクセスできるように構成されている。ＲＡＭ１０７は、ワークエリアとして利用され、ＤＳＰ１０３により処理される画像データ等を一時的に記憶する。記録媒体１０８としては、例えば撮影された画像データを保存するメモリカード等が用いられ、例えば不図示のコネクタを介してＤＳＰ１０３に接続される。ＬＣＤ等により構成される表示部１１４は、撮像装置の情報を表示したり、撮影した画像を再生表示したり、或いは動画像データを表示したりするために用いられる。

電源スイッチ１０９は、撮像装置を起動させる際にユーザにより操作される。不図示のレリーズボタンを操作することにより第１段目のシャッタスイッチＳＷ１（１１０）がオンされた場合は、測光処理、測距処理等の撮影前処理が実行される。更に、第２段目のシャッタスイッチＳＷ２（１１１）がオンされた場合は、不図示のミラー及びシャッタを駆動し、撮像素子１０１により撮像した画像データをＡＦＥ１０２及びＤＳＰ１０３を介して記録媒体１０８に書込む一連の撮像動作が開始される。モードダイアル１１２は、撮像装置の各種の動作モードを設定するために用いられる。ＩＳＯ感度設定スイッチ１１３は、撮像装置の撮影ＩＳＯ感度を設定するために用いられる。

図２は、図１に示す撮像装置の概略構成を示す側断面図である。この撮像装置においては、静止画を撮影する光学ファインダー使用時の状態と、動画撮影あるいはライブビュー使用時のミラーアップ、シャッタ開状態とがある。光学ファインダー使用時の状態を図２（ａ）に、動画撮影及びライブビュー時のミラーアップ、シャッタ開状態を図２（ｂ）に示す。

図２に示すように、第１の実施形態における撮像装置は、主に、カメラ本体２０１と、その前面に装着された撮影レンズ２０２とからなる。撮影レンズ２０２は交換可能であり、カメラ本体２０１と撮影レンズ２０２はマウント接点群２０３を介して電気的に接続される。撮影レンズ２０２には、絞り２０４、焦点調整用レンズ群２０５等が配置されており、いずれもレンズ制御部２０６により制御される。

カメラ本体２０１は、ハーフミラーであるメインミラー２０７を有し、図２（ａ）に示す光学ファインダー使用時の状態では、撮影光路上に斜設されて撮影レンズ２０２からの光をファインダー光学系へ反射する。反射光はピント板２１１に投影され、撮影者は光路変更用のペンタプリズム２１２、接眼レンズ群２１３を介して、ピント板２１１に投影された被写体像を確認することができる。

一方、メインミラー２０７を透過した一部の光はサブミラー２０８を介してＡＦユニット２０９に入射する。ＡＦユニット２０９は位相差検出方式のＡＦセンサである。位相差ＡＦについては詳細な説明は省略するが、この検出結果を基に、撮影レンズ２０２の焦点調整用レンズ群２０５を制御することでＡＦ動作を行う。

不図示のレリーズボタンに連動し、半押しでオンするＳＷ１（１１０）によりＡＥやＡＦ等の撮影準備動作が行われる。全押しでオンするＳＷ２（１１１）がＯＮすると、図２（ｂ）に示すように、メインミラー２０７及びサブミラー２０８が光路から退避するよう動作し、その後フォーカルプレーンシャッタ２１０が所定時間開いて、撮像素子１０１が露光されることとなる。なお、フォーカルプレーンシャッタ２１０は図２（ａ）に示すように通常閉状態であり、撮影時のみ指定された秒時の露光を行うよう開動作を行う。

また、モードダイアル１１２によりモードが切り替えられ、例えばライブビュー状態になると、ＳＷ２がＯＮした時の静止画撮影時と同様に、図２（ｂ）に示すように、メインミラー２０７及びサブミラー２０８が光路から退避し、その状態が保持される。さらにフォーカルプレーンシャッタ２１０も開状態を保持し、撮像素子１０１が常時露光された状態となる。そして、撮像素子１０１から得られた信号を表示部１１４に表示することでライブビューモードが実現される。また、この状態で動画像を記録することで、動画モードに対応できる。

この場合、サブミラー２０８も光路から退避しているため、ＡＦユニット２０９へ被写体像が入射しないため、ＡＦユニット２０９を用いた位相差ＡＦは不可能となる。またメインミラー２０７も光路から退避しているため、光学ファインダーを用いて被写体像を確認することもできない。

次に図３を参照して、ＤＳＰ１０３の構成について説明する。ＤＳＰ１０３は先に説明した画像処理の基本となる現像部１００１、圧縮部１００２のほかにメモリ制御部１００３、記録媒体制御部１００４、ＬＣＤ表示制御部１００５がある。さらに、後述する位相差検出用画素の出力からオートフォーカス情報を算出する焦点検出演算部１００６、算出したオートフォーカス情報をＣＰＵ１０５に送信したり、全般的にＣＰＵ１０５と双方向の通信を行う通信制御部１００７がある。

また、画像生成を行う際に撮像素子１０１が有する理想状態からの感度や、ダークレベルの誤差をデジタル的に補正するための画像補正部１００８、更に、ＡＦ用補正部１００９を有する。ＡＦ用補正部１００９は、位相差検出用画素の出力からオートフォーカス情報を算出するために、焦点検出演算部１００６にデータを送出する前に、光学条件の補正をデジタル的に行う。光学条件の補正としては、例えば、位相差検出用画素の理想状態からの感度や、ダークレベルの誤差補正や、撮影時の撮影レンズ２０２の焦点距離や絞り値などを含む。

次に、撮像素子１０１の画素構造について説明する。図４は第１の実施形態における撮像素子１０１の構成の一例を示す等価回路図である。画素領域には複数の光電変換部を含む単位画素が、水平及び垂直方向に等間隔で行列状に配列されている。撮像素子１０１は、単位画素に生じた電荷に基づく画像生成用の信号（第１の信号）、及び単位画素が分割された一部領域（瞳領域）に生じた電荷に基づく位相差検出用の信号（第２の信号）を出力する。

ここで単位画素の構成について説明する。図５は撮像素子１０１の第ｎ行目の単位画素の構成を説明するための等価回路図、図６は単位画素の平面図である。図５及び図６において、光電変換部５０１及び、光電変換部５０２はフォトダイオードにより構成される。光電変換部５０１及び５０２は単位画素上部に配置された一つのマイクロレンズ６０１に対応する領域内部に２つに分割されて配置されており、便宜的に光電変換部５０１をＡ画素、光電変換部５０２をＢ画素と呼ぶこととする。マイクロレンズ６０１は点線で示した画素ピッチに接するように形成されている。

マイクロレンズ６０１に対してオフセットして配置されていることから、Ａ画素とＢ画素は分割された瞳領域を透過した被写体像を光電変換することとなり、Ａ画素出力、Ｂ画素出力を読み出すことで位相差検出が可能となり、焦点検出動作が可能となる。即ち、Ａ画素及びＢ画素が位相差検出用画素である。

光電変換部５０１及び５０２で発生した電荷は、それぞれ転送トランジスタ５０７、５０８を介してＦＤ部（フローティングディフュージョン部）５０３に転送される。ＦＤ部５０３は増幅トランジスタ５０４のゲートに接続され、画素アンプを構成すると共に、電荷電圧変換部としても機能する。

各転送トランジスタ５０７、５０８は垂直走査回路５２０から制御線５１２に出力される制御信号φＴＸＡ＿ｎ、及び、制御線５１３に出力される制御信号φＴＸＢ＿ｎにより制御される。転送トランジスタ５０７、５０８は、制御信号φＴＸＡ＿ｎ、φＴＸＢ＿ｎがＨ（ハイレベル）のときオン、Ｌ（ローレベル）のときオフとなる。なお、各制御信号におけるｎは行を示しており、例えば、制御信号φＴＸＡ＿ｎは、第ｎ行目の単位画素に対して出力する制御信号φＴＸＡであることを表している。

また垂直走査回路５２０より出力される制御線５１１に出力されるリセット信号φＲＥＳ＿ｎをＨとすることで、リセットトランジスタ５０５がオンとなり、ＦＤ部５０３をリセットすることができる。また、制御信号φＴＸＡ＿ｎ及びφＴＸＢ＿ｎがＨの期間の光電変換部５０１、５０２の電荷をリセットすることができる。

垂直走査回路５２０より出力される制御線５１０に出力される制御信号φＳＥＬ＿ｎがＨになると、選択トランジスタ５０６がオンとなり、増幅トランジスタ５０４の出力が垂直出力線５０９に現れる。垂直出力線５０９には不図示の定電流源が接続され、この垂直出力線５０９に接続された列ごとの増幅トランジスタ５０４とからソースフォロワ回路を構成することとなる。

図４は、上述した単位画素が水平方向に４画素、垂直方向に２画素配置された場合を示す模式図である。なお、実際の撮像素子では、このような画素が数十万から数千万画素程度、配置されている。図４では各単位画素のマイクロレンズ６０１と、その下のＡ画素、Ｂ画素を模式的に示している。各単位画素は列毎に垂直出力線５０９に接続されている。

垂直出力線５０９は各列に用意された列アンプ４０１に接続する。この列アンプ４０１は各垂直出力線５０９の出力に入力容量Ｃ０と帰還容量Ｃfにより定まる所定のゲインを乗じて、後段のフォロワ４０４に出力する。フォロワ４０４はこの出力をアナログスイッチ４０５または４０６を介して、ノイズ成分保持容量ＣＴｋＮまたは信号成分保持容量ＣＴｋＳに出力する。なお、ｋは、図４に示す例では列を表し、k＝１〜４である。アナログスイッチ４０５、４０６は、それぞれ、不図示の垂直走査回路から制御線４０９、４１０に出力される制御信号φＴＳ、φＴＮにより制御される。

列毎に第ｎ行目の画素のノイズ成分と信号成分を保持したノイズ成分保持容量ＣＴｋＮ、信号成分保持容量ＣＴｋＳは、不図示の水平走査回路によって出力アンプ４１１の入力に順次接続される。例えば保持容量ＣＴ１Ｎ、ＣＴ１Ｓが出力アンプ４１１に接続されると、出力アンプ４１１は１列目の電圧の差分に対して所定ゲインを乗じて撮像素子１０１の外部へ出力する。水平走査回路により次の時刻に保持容量ＣＴ３Ｎ、ＣＴ３Ｓが出力アンプ４１１に接続され、これを１行の列数分だけ繰り返し一行分の水平走査動作を終える。この動作を撮像素子１０１の特定行の選択動作を順次垂直方向に進めることで、撮像素子１０１の所定の画素の出力を得ることが可能となる。

また、このときに各単位画素のＡ画素とＢ画素の両方の出力を同時に転送すると、画像生成に好適な同一のマイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することができる。

特許文献２の撮像素子とは異なり、第１の実施形態の列回路ではＡ＋Ｂ信号またはＡ信号、またはＢ信号のいずれかを読み出すための１対のノイズ成分保持容量ＣＴｋＮ、信号成分保持容量ＣＴｋＳしか必要としない。すなわち、第１の実施形態の列回路においては、列回路は、位相差検出のために光電変換素子を分離しないので、位相差検出を行わない通常の撮像素子のものと同じ回路構成である。

●位相差検出を行わない場合
まず、位相差検出を行わない場合の動作について、図７に示すタイミングチャートに従って説明する。図７において、時刻ｔ１で水平同期信号ＨＤが入力されると、所定時間後の時刻ｔ２に第ｎ行目の画素群を選択するφＳＥＬ＿ｎがＨとなり、第ｎ行目の画素の選択トランジスタ５０６がＯＮとなる。これにより、増幅トランジスタ５０４の入力に応じた信号が、垂直出力線５０９に現れる。

同時に第ｎ行目の画素のリセット信号φＲＥＳ＿ｎがＨとなり、第ｎ行目の画素のリセットトランジスタ５０５をオンする。その後、所定時間後の時刻ｔ３でリセット信号φＲＥＳ＿ｎをＬとし、リセット動作を解除する。すると、垂直出力線５０９にはリセット解除した状態での信号レベルが現れる。

時刻ｔ３で同時に制御信号φＴＮがＨとなり、リセット解除時の垂直出力線５０９の信号レベルが列アンプ４０１により増幅された信号が、ノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ４で制御信号φＴＮをＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされることとなる。

次に時刻ｔ５で第ｎ行目の画素のＡ画素及びＢ画素それぞれの転送トランジスタ５０７、５０８をオンにすべく、制御信号φＴＸＡ＿ｎ、φＴＸＢ＿ｎをＨとする。この動作によりＡ画素及びＢ画素の信号電荷が、共にＦＤ部５０３へ転送される。

所定時間後の時刻ｔ６で制御信号φＴＸＡ＿ｎ、φＴＸＢ＿ｎをＬにして転送トランジスタ５０７、５０８をオフにする。更に、制御信号φＴＳをＨにする。これにより、信号電荷に応じた垂直出力線５０９の信号レベルが列アンプ４０１により増幅されて、信号成分保持容量ＣＴｋＳに現れる。そして、時刻ｔ７でφＴＳをＬにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされることとなる。

ここまでで第ｎ行目の各画素のリセット解除直後の出力が各列のノイズ成分保持容量ＣＴｋＮに保持され、信号電荷に応じた出力が各列の信号成分保持容量ＣＴｋＳに保持されたことになる。この後、不図示の水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号成分保持容量ＣＴｋＳを、順次出力アンプ４１１に接続する。そして、ノイズ成分保持容量ＣＴｋＮと信号成分保持容量ＣＴｋＳの差分を、所定ゲインを乗じて出力することで、第ｎ行目のＡ画素＋Ｂ画素の信号（合成信号）の読み出しを完了する。位相差検出が不要な場合は、これまで説明した読み出し動作を行うことで実現できる。

上述した駆動方法の概念を図８（ａ）に示す。図８（ａ）は、撮像素子１０１の画素領域を示す図である。図８（ａ）〜（ｃ）に示す画素領域中の左側及び上側の斜線部は、遮光されたオプティカルブラック部（ＯＢ部）を示している。また、図８（ａ）の画素領域の左側には行番号を示している。先に説明したように、位相差検出を行わない場合には、画素領域を構成する全ての画素から、Ａ画素＋Ｂ画素の合成信号が読み出される。

●位相差検出を行う場合
次に位相差検出を行う場合の動作について説明する。第１の実施形態において、位相差検出を行う場合には、まず、垂直方向に、第１の周期で間引きながら、Ａ画素＋Ｂ画素からの合成信号を読み出す。この第１回目の走査を、以下「第１の走査」という。そして、全面を垂直方向に走査したのち、再度垂直走査を垂直方向の上部の行に戻し、今度は、第１の走査で読み出さなかった行について、第２の周期で間引きながら再度走査する。この第２回目の走査を「第２の走査」という。第１の走査では、対象行の単位画素から画像生成用の合成信号を読み出す。一方、第２の走査では、対象行の単位画素内のＡ画素及びＢ画素から位相差検出用の信号を順次読み出す。そして、読み出した合成信号を用いて画像を生成するとともに、位相差検出用信号を用いて位相差検出を行う。このような読み出し方法は、撮影する画像の解像度が小さくて、静止画モードと比較して読み出し対象の行が少なくて済む動画モード時に好適であるため、第１の実施形態では、動画モードでの適用を想定するが、これに限定されるものではない。

第１の走査及び第２の走査を行う場合の、読み出し行の模式図を図８（ｂ）に示す。図８（ｂ）において、太枠で囲まれた行は、第１の走査における読み出し対象行であり、その他の行は、第１の走査において読み出されずに間引かれる行である。また、図８（ｂ）に縦線パターンを付した行は、第２の走査における読み出し対象行である。

図８（ｂ）に示す例では、垂直走査回路５２０は、Ｖ０行目のＡ画素及びＢ画素から合成信号を読み出した後、第１の周期後（図８では３行後）のＶ１行目から合成信号を読み出す。引き続き、垂直走査回路５２０は、同じ第１の周期で、Ｖ２、Ｖ３、Ｖ４、Ｖ５、Ｖ６及びＶ７行目から合成信号を順次読み出す。これらＶ０からＶ７までの読み出しが、第１の走査である。第１の走査により読み出される行は、画像生成に好適な同一のマイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することとなり、Ｖ０〜Ｖ７行目の合成信号から画像が生成される。

なお、第１の実施形態では列方向（水平方向）には間引きせずに読み出しを行っているため、水平方向と垂直方向の読み出し画素数が異なり、画像の縦横比が異なってしまう。しかしながら後段で縦横比の変換を行ってもよいし、水平方向も同じ比率で一般的な間引き読み出し、あるいは加算間引き読み出しを行ってもよく、任意の方法で縦横比の変換が可能である。

Ｖ７行目まで第１の走査で読み出した後、垂直走査回路５２０は、Ｖ８行目まで戻り、Ｖ８行目に含まれる画素のうち、まず、Ａ画素から位相差検出用信号を読み出す。続けて、同一行のＶ８行目に含まれる画素のうち、Ｂ画素から位相差検出用信号を読み出す。その後、第２の周期後（図８では１行後）のＶ９行目に含まれる画素のうち、Ａ画素から位相差検出用信号を読み出す。続けて、同一行のＶ９行目に含まれる画素のうち、Ｂ画素から位相差検出用信号を読み出す。その後、すでに第１の走査で読み出しているＶ４行目をスキップし、次の第２の周期後（１行後）のＶ１０行目のＡ画素及びＢ画素、更に次の第２の周期後（１行後）のＶ１１行目のＡ画素及びＢ画素を読み出す。同様に、すでに第１の走査で読み出しているＶ５行目をスキップし、Ｖ１２行目及び次のＶ１３行目を順次読み出す。これらＶ８からＶ１３までの読み出しが第２の走査である。

このように、第２の走査では、同一行に対して、Ａ画素からの信号及びＢ画素からの信号を別々に読み出す。なお、焦点を検出する画素領域が焦点検出領域として予め設定されている場合には、この焦点検出領域を含む最も狭い行範囲を、第２の走査の対象行範囲とすることが好ましい。例えば、図８（ｂ）において、Ｖ８行目からＶ１３行目の範囲に焦点検出領域が予め設定されている場合には、上述の動作のように、Ｖ８行目からＶ１３行目までが第２の走査の対象行範囲となる。なお、焦点検出領域は、不図示の操作部によりユーザが所望の領域を指定しても良いし、被写体検出等による公知の方法により自動的に設定しても良いし、あるいは、固定の領域であっても良い。第２の走査における垂直方向走査の第２の周期を小さくすることで、位相差検出時のノイズ低減効果が期待できる。一方、第２の周期を大きくすることにより読み出し時間が短縮されるので、高速なフレームレートへの対応が可能となる。

こうして読み出されて処理される順序に画素配置を並べ替えると、図８（ｃ）に示す模式図のようになる。先に説明したように、Ｖ０〜Ｖ７行目は、第１の走査においてＡ画素及びＢ画素から合成信号を読み出しているため、この合成信号を用いて通常の画像生成が可能である。一方、Ｖ８〜Ｖ１３行目は、第２の走査においてＡ画素及びＢ画素から位相差検出用信号を読み出しているため、同一行毎に得られるペアのＡ画素出力とＢ画素出力を用いて位相差検出が可能である。

次に、第１の走査及び第２の走査について図９に示すタイミングチャートを参照して説明する。ここでは、第１の走査で読み出す最終行のＶ７行目からの読み出し動作について説明する。図９の時刻ｔ１において、水平同期信号ＨＤが入力されると、所定時間後の時刻ｔ２にＶ７行目の画素群を選択するφＳＥＬ＿Ｖ７がＨとなり、Ｖ７行目の画素の選択トランジスタ５０６がＯＮとなる。これにより増幅トランジスタ５０４の入力に応じた信号が垂直出力線５０９に現れる。同時にＶ７行目の画素のリセット信号φＲＥＳ＿Ｖ７がＨとなり、Ｖ７行目の画素のリセットトランジスタ５０５をオンする。

その後、所定時間後の時刻ｔ３でリセット信号φＲＥＳ＿Ｖ７をＬとし、リセット動作を解除する。すると垂直出力線５０９にはリセット解除した状態での信号レベルが現れる。時刻ｔ３で同時に制御信号φＴＮがＨとなり、リセット解除時の垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号がノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ４でφＴＮ４１０をＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされることとなる。

次に時刻ｔ５でＶ７行目のＡ画素及びＢ画素それぞれの転送トランジスタ５０７、５０８をオンにすべく、制御信号φＴＸＡ＿Ｖ７、φＴＸＢ＿Ｖ７をＨとする。この動作によりＡ画素及びＢ画素の信号電荷がともにＦＤ部５０３に転送される。さらに所定時間後の時刻ｔ６で転送トランジスタ５０７、５０８をオフにすると、Ａ画素及びＢ画素の信号電荷がともにＦＤ部５０３にホールドされる。さらに時刻ｔ６で制御信号φＴＳがＨになると、信号電荷に応じた垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号が信号成分保持容量ＣＴｋＳに現れる。時刻ｔ７でφＴＳをＬにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされることとなる。

ここまででＶ７行目の各画素のリセット解除直後の出力が各列のノイズ成分保持容量ＣＴｋＮに、信号電荷に応じた出力が各列の信号成分保持容量ＣＴｋＳに保持されたことになる。この後、不図示の水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号成分保持容量ＣＴｋＳを順次出力アンプ４１１に接続し、この差分に所定ゲインを乗じて出力することでＶ７行目の合成信号の読み出しを完了する。ここではＶ７行目の動作を説明したがＶ０〜Ｖ６行での動作も同様である。

次に時刻ｔ９で次の水平同期信号ＨＤ信号が入力すると、それまで第Ｖ７行目を選択していたφＳＥＬ＿Ｖ７がＬとなる。そして所定時間後の時刻ｔ１０にＶ８行目の画素群を選択するφＳＥＬ＿Ｖ８がＨとなり、Ｖ８行目の画素の選択トランジスタ５０６がＯＮとなる。これにより増幅トランジスタ５０４の入力に応じた信号が垂直出力線５０９に現れる。同時にＶ８行目の画素のリセット信号φＲＥＳ＿Ｖ８がＨとなり、Ｖ８行目の画素のリセットトランジスタ５０５をオンする。

その後、所定時間後の時刻ｔ１１でリセット信号φＲＥＳ＿Ｖ８をＬとし、リセット動作を解除する。すると、垂直出力線５０９にはリセット解除した状態での信号レベルが現れる。時刻ｔ１１で同時に制御信号φＴＮがＨとなり、リセット解除時の垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号がノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ１２でφＴＮをＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされることとなる。

次に時刻ｔ１３でＶ８行目の画素のＡ画素のみの転送トランジスタ５０７をオンにすべく、制御信号φＴＸＡ＿Ｖ８をＨ、φＴＸＢ＿Ｖ８をＬとする。この動作によりＡ画素のみの信号電荷がＦＤ部５０３へ転送される。さらに所定時間後の時刻ｔ１４で転送トランジスタ５０７をオフにすると、この動作によりＡ画素のみの信号電荷がＦＤ部５０３にホールドされることとなる。さらに時刻ｔ１４で制御信号φＴＳがＨになると、信号電荷に応じた垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号が信号成分保持容量ＣＴｋＳに現れる。時刻ｔ１５でφＴＳをＬにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされることとなる。

ここまででＶ８行の各画素のリセット解除直後の出力が各列のノイズ成分保持容量ＣＴｋＮに、信号電荷に応じた出力が各列の信号成分保持容量ＣＴｋＳに保持されたことになる。この後、不図示の水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号成分保持容量ＣＴｋＳを順次出力アンプ４１１に接続し、この差分に所定ゲインを乗じて出力することでＶ８行目のＡ画素のみの信号読み出しを完了する。

次に時刻ｔ１７で次の水平同期信号ＨＤ信号が入力すると、それまで第Ｖ８行目を選択していたφＳＥＬ＿Ｖ８がＬとなる。そして所定時間後の時刻ｔ１８に再びＶ８行目の画素群を選択するφＳＥＬ＿Ｖ８がＨとなり、Ｖ８行目の画素の選択トランジスタ５０６がＯＮとなる。これにより増幅トランジスタ５０４の入力に応じた信号が垂直出力線５０９に現れる。同時にＶ８行目の画素のリセット信号φＲＥＳ＿Ｖ８がＨとなり、Ｖ８行目の画素のリセットトランジスタ５０５をオンする。

その後、所定時間後の時刻ｔ１９でリセット信号φＲＥＳ＿Ｖ８をＬとし、リセット動作を解除する。すると、垂直出力線５０９にはリセット解除した状態での信号レベルが現れる。時刻ｔ１９で同時に制御信号φＴＮがＨとなり、リセット解除時の垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号がノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ２０でφＴＮをＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされることとなる。

次に時刻ｔ２１でＶ８行目の画素のＢ画素のみの転送トランジスタ５０７をオンにすべく、制御信号φＴＸＢ＿Ｖ８をＨ、φＴＸＡ＿Ｖ８をＬとする。この動作によりＢ画素のみの信号電荷がＦＤ部５０３へ転送される。さらに所定時間後の時刻ｔ２２で転送トランジスタ５０７をオフにすると、この動作によりＢ画素のみの信号電荷がＦＤ部５０３にホールドされることとなる。さらに時刻ｔ２２で制御信号φＴＳがＨになると、信号電荷に応じた垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号が信号成分保持容量ＣＴｋＳに現れる。時刻ｔ２３でφＴＳをＬにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされることとなる。

ここまででＶ８行の各画素のリセット解除直後の出力が各列のノイズ成分保持容量ＣＴｋＮに、信号電荷に応じた出力が各列の信号成分保持容量ＣＴｋＳに保持されたことになる。この後、不図示の水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号成分保持容量ＣＴｋＳを順次出力アンプ４１１に接続し、この差分に所定ゲインを乗じて出力することでＶ８行目のＢ画素のみの信号読み出しを完了する。

次に時刻ｔ２５で次の水平同期信号ＨＤ信号が入力すると、それまで第Ｖ８行目を選択していたφＳＥＬ＿Ｖ８がＬとなる。そして所定時間後の時刻ｔ２６にＶ９行目の画素群を選択するφＳＥＬ＿Ｖ９がＨとなり、Ｖ９行目の画素の選択トランジスタ５０６がＯＮとなる。これにより増幅トランジスタ５０４の入力に応じた信号が垂直出力線５０９に現れる。同時にＶ９行目の画素のリセット信号φＲＥＳ＿Ｖ９がＨとなり、Ｖ９行目の画素のリセットトランジスタ５０５をオンする。

その後、所定時間後の時刻ｔ２７でリセット信号φＲＥＳ＿Ｖ９をＬとし、リセット動作を解除する。すると、垂直出力線５０９にはリセット解除した状態での信号レベルが現れる。時刻ｔ２７で同時に制御信号φＴＮがＨとなり、リセット解除時の垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号がノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ２８でφＴＮをＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされることとなる。

次に時刻ｔ２９でＶ９行目の画素のＡ画素のみの転送トランジスタ５０７をオンにすべく、制御信号φＴＸＡ＿Ｖ９をＨ、φＴＸＢ＿Ｖ９をＬとする。この動作によりＡ画素のみの信号電荷がＦＤ部５０３へ転送される。さらに所定時間後の時刻ｔ３０で転送トランジスタ５０７をオフにすると、この動作によりＡ画素のみの信号電荷がＦＤ部５０３にホールドされることとなる。さらに時刻ｔ３０で制御信号φＴＳがＨになると、信号電荷に応じた垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号が信号成分保持容量ＣＴｋＳに現れる。時刻ｔ３１でφＴＳをＬにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされることとなる。

ここまででＶ９行の各画素のリセット解除直後の出力が各列のノイズ成分保持容量ＣＴｋＮに、信号電荷に応じた出力が各列の信号成分保持容量ＣＴｋＳに保持されたことになる。この後、不図示の水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号成分保持容量ＣＴｋＳを順次出力アンプ４１１に接続し、この差分に所定ゲインを乗じて出力することでＶ９行目のＡ画素のみの信号読み出しを完了する。

次に時刻ｔ３３で次の水平同期信号ＨＤ信号が入力すると、それまで第Ｖ９行目を選択していたφＳＥＬ＿Ｖ９がＬとなる。そして所定時間後の時刻ｔ３４に再びＶ９行目の画素群を選択するφＳＥＬ＿Ｖ９がＨとなり、Ｖ９行目の画素の選択トランジスタ５０６がＯＮとなる。これにより増幅トランジスタ５０４の入力に応じた信号が垂直出力線５０９に現れる。同時にＶ９行目の画素のリセット信号φＲＥＳ＿Ｖ９がＨとなり、Ｖ９行目の画素のリセットトランジスタ５０５をオンする。

その後、所定時間後の時刻ｔ３５でリセット信号φＲＥＳ＿Ｖ９をＬとし、リセット動作を解除する。すると、垂直出力線５０９にはリセット解除した状態での信号レベルが現れる。時刻ｔ３５で同時に制御信号φＴＮがＨとなり、リセット解除時の垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号がノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ３６でφＴＮをＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされることとなる。

次に時刻ｔ３７でＶ９行目の画素のＢ画素のみの転送トランジスタ５０７をオンにすべく、制御信号φＴＸＢ＿Ｖ９をＨ、φＴＸＡ＿Ｖ９をＬとする。この動作によりＢ画素のみの信号電荷がＦＤ部５０３へ転送される。さらに所定時間後の時刻ｔ３８で転送トランジスタ５０７をオフにすると、この動作によりＢ画素のみの信号電荷がＦＤ部５０３にホールドされることとなる。さらに時刻ｔ３９で制御信号φＴＳがＨになると、信号電荷に応じた垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号が信号成分保持容量ＣＴｋＳに現れる。時刻ｔ４０でφＴＳをＬにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされることとなる。

ここまででＶ９行の各画素のリセット解除直後の出力が各列のノイズ成分保持容量ＣＴｋＮに、信号電荷に応じた出力が各列の信号成分保持容量ＣＴｋＳに保持されたことになる。この後、不図示の水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号成分保持容量ＣＴｋＳを順次出力アンプ４１１に接続し、この差分に所定ゲインを乗じて出力することでＶ９行目のＢ画素のみの信号読み出しを完了する。

以下同様にＶ１０行目以降のＡ画素及びＢ画素の信号の読み出し動作を繰り返すことで、所望の読み出し動作が完了する。

●撮影動作
次に、第１の実施形態における撮像装置の撮影動作の概要を図１０のフローチャートに基づいて説明する。ＣＰＵ１０５は、電源スイッチ１０９がオンされるまで待ち（Ｓ１１）、電源スイッチ１０９がオンされると（Ｓ１１のＯＮ）、撮影に必要な電気エネルギーがバッテリに残存しているか否かを判別する（Ｓ１２）。
その結果、撮影に必要な電気エネルギーがバッテリに残存していなければ（Ｓ１２のＮＯ）、ＣＰＵ１０５は、その旨の警告メッセージを表示部１１４に表示して（Ｓ１７）、Ｓ１１に戻り、電源スイッチ１０９が再度オンされるのを待つ。

撮影に必要な電気エネルギーがバッテリに残存していれば（Ｓ１２のＹＥＳ）、ＣＰＵ１０５は、記録媒体１０８をチェックする（Ｓ１３）。このチェックは、記録媒体１０８が撮像装置に装着されており、かつ所定容量以上のデータを記録可能な状態となっているか否かを判断することにより行う。記録媒体１０８が撮像装置に装着されていない場合やデータを記録可能な容量が不足している場合は（Ｓ１３のＮＯ）、ＣＰＵ１０５は、その旨の警告メッセージを表示部１１４に表示して（Ｓ１７）、Ｓ１１に戻る。

記録媒体１０８が装着されて、記録可能な状態となっている場合は（Ｓ１３のＹＥＳ）、ＣＰＵ１０５は、モードダイアル１１２により設定された撮影モードが静止画撮影モード、動画撮影モードの何れであるかを判別する（Ｓ１４）。そして、ＣＰＵ１０５は、静止画撮影モードが設定されていれば、静止画撮影処理を行い（Ｓ１５）、動画撮影モードが設定されていれば、動画撮影処理を行う（Ｓ１６）。

ここで、Ｓ１５で行われる静止画撮影の詳細について、図１１のフローチャートを参照して説明する。静止画撮影処理では、ＣＰＵ１０５は、まず、シャッタスイッチＳＷ１がオンされるのを待つ（Ｓ２１）。シャッタスイッチＳＷ１がオンされると（Ｓ２１のＯＮ）、ＣＰＵ１０５は、不図示の測光制御部からの測光情報を用いて、撮影レンズ２０２の絞り２０４の絞りとシャッタ速度を決定する測光処理を行う。更に、ＡＦユニット２０９からの位相差検出情報を用いて、撮影レンズ２０２の焦点調整用レンズ群２０５を被写体位置に合わせる焦点調整処理を行う（Ｓ２２）。

次に、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされたか否かを判別する（Ｓ２３）。その結果、シャッタスイッチＳＷ２がオンされていなければ（Ｓ２３のＯＦＦ）、ＣＰＵ１０５は、シャッタスイッチＳＷ１のオン状態が継続しているか否かを判別する（Ｓ２４）。シャッタスイッチＳＷ１のオン状態が継続しているときは（Ｓ２４のＯＮ）、Ｓ２２に戻って再度焦点調整処理を行ない、Ｓ２３でシャッタスイッチＳＷ２がオンされたか否かを判別する。一方、シャッタスイッチＳＷ１のオン状態が継続していなければ（Ｓ２４のＯＦＦ）、Ｓ２１に戻って、シャッタスイッチＳＷ１が再度オンされるのを待つ。

Ｓ２３にて、シャッタスイッチＳＷ２がオンされたと判別された場合は、ＣＰＵ１０５は、撮影処理を実行する（Ｓ２５）。静止画の撮影時には、上述した位相差検出を伴わない駆動方法により、図８（ａ）に示すように撮像素子１０１の全領域からＡ画素とＢ画素の合成信号を読み出す。これにより画像生成に好適な同一のマイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することができる。

次に、ＣＰＵ１０５は、ＤＳＰ１０３に得られた合成信号（画像データ）に対する現像処理を実行させる（Ｓ２６）。更にＣＰＵ１０５は、ＤＳＰ１０３に現像処理が施された画像データに圧縮処理を実行させて、その圧縮処理が施された画像データをＲＡＭ１０７の空き領域に格納させる（Ｓ２７）。次に、ＣＰＵ１０５は、ＤＳＰ１０３によりＲＡＭ１０７に格納されている画像データの読み出しと、記録媒体１０８への記録処理を実行させる（Ｓ２８）。

そして、ＣＰＵ１０５は、電源スイッチ１０９のオン／オフ状態をチェックする（Ｓ２９）。電源スイッチ１０９がオンのままであれば（Ｓ２９のＯＮ）、Ｓ２１へ戻り、ＣＰＵ１０５は次の撮影に備える。一方、電源スイッチ１０９がオフされていれば（Ｓ２９のＯＦＦ）、図１０のＳ１１に戻り、電源スイッチが再度オンされるのを待つ。

次に、Ｓ１６で行われる動画撮影処理の詳細について、図１２のフローチャートを参照して説明する。なお、第１の実施形態では、動画撮影モードになると、フォーカルプレーンシャッタ２１０を開き、撮像素子１０１から読み出される画像データを現像して表示部１１４上に表示し続けるモニタ動作を行う。また、シャッタスイッチＳＷ２がオンしている間は、動画データを記録媒体１０８に記録し続けるものとする。動画撮影モードから抜け出るには、モードダイアル１１２の設定を動画撮影モード以外に変更するか、電源スイッチ１０９をオフする。

まず、ＣＰＵ１０５は、モードダイアル１１２により選択された動画モードに設定され（Ｓ３１）、メインミラー２０７、サブミラー２０８、フォーカルプレーンシャッタ２１０の開動作を行う（Ｓ３２）。これにより、図２（ｂ）に示すように、撮像素子１０１に常時被写体像が入射するようになる。

次に、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされているか否かを判別する（Ｓ３３）。シャッタスイッチＳＷ２がオンされている場合には（Ｓ３３のＯＮ）、ＣＰＵ１０５は、記録媒体１０８に動画像データを書き込む記録動作を開始する（Ｓ３５）。一方、シャッタスイッチＳＷ２がオフされている場合には（Ｓ３３のＯＦＦ）、ＣＰＵ１０５は、記録媒体１０８に動画像データを書き込む記録動作が現在実行されていれば、その記録動作を停止する（Ｓ３４）。このように、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされている間は、動画像データの記録処理を継続し、シャッタスイッチＳＷ２がオフされた時点で動画像データの記録処理を停止する。ただし、シャッタスイッチＳＷ２がオフされなくても、所定時間が経過した時点や、記録媒体１０８の残容量が少なくなった時点で、記録動作を停止するように制御してもよい。

Ｓ３４またはＳ３５の後、ＣＰＵ１０５は、表示部１１４への画像データのモニタ表示を繰り返すモニタ動作を行うべく、露出調整を行う（Ｓ３６）。この露出調整では、直前に撮影した画像データから露光量を判断し、適切な露光量となるように、撮影レンズ２０２の絞り２０４やＡＦＥ１０２内部のゲインを設定する。ただし、最初の動画撮影時には直前のデータが存在しないため、レンズの絞り２０４やＡＦＥ１０２内部のゲインとしては、初期値が設定される。

次に、Ｓ３７において、ＣＰＵ１０５は撮影処理を行う。動画撮影モードでは、上述した位相差検出を伴う駆動を行う。まず、図８（ｂ）及び（ｃ）で説明したように、第１の走査により、撮像素子１０１上の画素を、垂直方向に第１の周期毎に例えば１行読み出す。第１の走査後、位相差検出用信号を得るために、第２の走査を行う。第２の走査で読み出す行範囲は、ＡＦを行う焦点検出領域に応じて指定される。図１３に、ＡＦを行う焦点検出領域と第２の走査の対象行範囲との関係を示す。図１３の（ａ）は、焦点検出領域として１点測距枠が設定された場合を示している。また、図１３（ｂ）は、焦点検出領域として５×５分割の測距枠が設定された場合を示している。ＣＰＵ１０５は、ユーザによって設定される不図示の測距枠モードに応じて、焦点検出領域を設定する。そして、焦点検出領域を含む最も狭い行範囲を、第２の走査の対象行範囲として設定する。例えば、測距枠モードが任意１点モード時は、図１３（ａ）に示すように焦点検出領域を設定し、測距枠モードが自動選択モード時は、図１３（ｂ）に示すように焦点検出領域を設定する。あるいは、ＡＦの動作状態に応じて、焦点検出領域を設定してもよい。例えば、ＡＦを行う被写体位置が特定されていない場合は、図１３（ｂ）に示す焦点検出領域を設定し、ＡＦを行う被写体位置が特定された場合は、図１３（ａ）に示す焦点検出領域を設定するようにする。

また、ＣＰＵ１０５は、第２の走査で読み出しを行う対象行の周期である第２の周期と、各第２の周期における間引き率とを、タイミング発生回路１０４に指示することで、読み出される位相差検出用信号の密度の切り替えを行う。図１４は、第２の走査における第２の周期、及び間引き率の設定例を示す図である。図１４（ａ）〜（ｃ）は、第１の周期が３行である場合の例を示している。すなわち、図１４（ａ）〜（ｃ）では、第１の走査で読み出される合成信号の対象行（太枠で囲まれた行）が、３行周期となっている。

図１４（ａ）は、第２の周期が４行、間引き率が０の場合の例を示している。図１４（ａ）では、第１の走査で読み出されていない行の全てが、縦線で示す第２の走査で読み出される対象行として設定されているため、高密度に位相差検出用信号を得ることが可能である。図１４（ｂ）は、第２の周期が４行、間引き率が２行／４行の場合の例を示している。図１４（ｂ）では、第１の走査で読み出されていない行の半分が、第２の走査で読み出される対象行として設定されているため、図１４（ａ）に対して読み出し行数を減少させることで、より高速な読み出しを可能としている。図１４（ｃ）は、第２の周期が８行、間引き率が６行／８行の場合の例を示している。図１４（ｃ）では、第２の走査で読み出す対象行がさらに間引かれ、より高速な読み出しが可能となる。

ＣＰＵ１０５は、測距枠モードや被写体の明るさなどにより、第２の走査で読み出しを行う対象行の第２の周期、及び間引き率を切り替える。例えば、図１４（ａ）では、高密度な位相差検出用信号を後段のＤＳＰ１０３に供給することで、ノイズ低減の効果を改善し、低照度下、低コントラスト被写体などの位相差検出性能を改善することが可能である。また、図１４（ｂ）では、読み出し行数を減少させることにより、読み出し時間が短縮して高フレームレート化するので、ＡＦ速度を改善させることが可能である。また、図１４（ｃ）では、例えばＡＦを行う被写体位置が特定されていない場合に、図１３（ｂ）に示すような広範囲な焦点検出領域を設定して高速な読み出しを行うことにより、フレームレートを維持したまま広範囲な位相差検出を行うことが可能となる。この場合、読み出される位相差検出用信号は低密度となり、位相差検出性能の劣化を招く可能性があるが、ＡＦを行う被写体位置の特定（測距点選択）を行う上で、必要な位相差検出性能が満たせていればよい。被写体の特定を行った後の合焦動作において、図１４（ａ）または図１４（ｂ）に切り替えることで、高精度な位相差検出を行うことが可能である。

第２の走査により読み出した位相差検出用信号は、ＤＳＰ１０３内のＡＦ用補正部１００９に転送される。そして、画素毎の補正や、撮影時の光学条件に対応する補正が行われる。

その後、その補正結果を焦点検出演算部１００６に転送し、異なる瞳領域から形成された２種類の画素出力であるＡ画素系列とＢ画素系列の信号を基に、ここで既知の相関演算等を用いて位相差検出結果を算出し、焦点検出動作を行う。その算出結果をＣＰＵ１０５が受け取り、撮影レンズ２０２内の焦点調整用レンズ群２０５の位置制御を行うことで、オートフォーカス制御を行う（Ｓ３８）。

一方、撮像素子１０１中の第１の走査で得られる合成信号に対して、画像補正部１００８で撮像素子１０１が有する理想状態からの感度や、ダークレベルの誤差をデジタル的に補正する。更に、現像部１００１で撮像素子１０１の欠陥画素の補正処理を行い、現像処理（Ｓ３９）、圧縮部１００２での圧縮処理（Ｓ４０）を行う。この際に、シャッタスイッチＳＷ２がオン状態で動画記録中であれば、圧縮した画像信号を記録媒体１０８に記録する。そして、これらの処理結果を、ＬＣＤ表示制御部１００５を用いて表示部１１４に表示する（Ｓ４１）。上述の動作を表示に必要なフレームレートで繰り返すことで、動画用の動作が可能となる。

次に、ＣＰＵ１０５は、電源スイッチ１０９がオフされているかの判断を行い（Ｓ４２）、オフされていれば（Ｓ４２のＯＦＦ）、動画終了処理を行って（Ｓ４４）、図１０のＳ１１にリターンする。一方、電源スイッチ１０９がオン状態のままであれば（Ｓ４２のＯＮ）、ＣＰＵ１０５は、モードダイアル１１２をチェックする（Ｓ４３）。モードダイアル１１２が動画撮影モードのままであれば、Ｓ３３に戻り、モードダイアル１１２が静止画モードに切り替えられていれば、動画終了処理を行って（Ｓ４５）、図１０のＳ１４にリターンする。

Ｓ４４、Ｓ４５の動画終了処理では、現在記録動作中であれば記録動作の停止、撮像素子１０１の駆動停止、ＤＳＰ１０３の読出し処理の停止を行う。更に、フォーカルプレーンシャッタ２１０を閉じるとともにメインミラー２０７、サブミラー２０８をダウンする。

このように動画撮影モード時には、第１の走査で垂直方向に間引きながら読み出した合成信号を用いて動画像を生成するとともに、後半の第２の走査で読み出した位相差検出用信号を用いて位相差を算出することが可能となる。そして、動画撮影が行われている間、第１の走査と第２の走査が交互に繰り返されることにより、動画像の画像データとしてとしての品質を保持したまま、撮像素子の出力のみを用いたオートフォーカス制御を実現することができる。

また、このように画像データが、画像生成用の合成信号、位相差検出用信号の順序で出力されることから、その処理内容、補正処理も時間的に分離できる。そのため、読み出した信号から位相差検出用信号を分離して、一方は現像処理、一方は位相差検出演算のため焦点検出演算部に振り分けるといった処理を行ったり、画像データ生成のために位相差検出用信号を補正したりする処理が不要となる。このため、大幅な処理の効率化が可能となる。

また、第１の実施形態における動画撮影モードでは、動画像用の合成信号の読み出し時に、位相差検出用信号を読み出さないようにしている。そのため、動画像の画像データを得る際に、位相差検出用信号によりに生じる画質の低下について懸念する必要が無い。更に、焦点検出動作も垂直走査回路の走査の切り替えにより、任意の領域、間引き周期での検出が可能になる。

なお、第１の実施形態では、まず第１の走査で合成信号を読み出して動画像を生成し、次に第２の走査で位相差検出用信号を読み出してオートフォーカス情報を算出する場合について説明した。しかしながら本発明はこれに限るものではなく、まず第２の走査で位相差検出用信号を読み出してオートフォーカス情報を算出し、その後、第１の走査で合成信号を読み出して動画像を生成してもよい。この場合にはオートフォーカス情報が先に検出できるため、より早くレンズの駆動ができるというメリットがある。これは、垂直走査回路５２０による走査順序を変更するだけであるので、容易に実現することができる。また、ＣＰＵ１０５からどちらの駆動方法から行うかを、例えばフレーム毎に設定し切り替えることも可能である。

上記の通り第１の実施形態によれば、複数の光電変換部を有する画素領域を有し、垂直走査回路内のロジック回路の機能追加で、読み出し行ごとにＡ＋Ｂ画素の出力を読み出すか、Ａ画素、及び、Ｂ画素を読み出すか切り替え可能とする。これにより、回路規模を大きくせずに、画像の画質を落とすこと無く、位相差検出に十分な精度で必要な画素信号を読み出すことが可能となる。

また、必要な領域のみにおいて位相差検出用の画素信号を読み出すため、全ての画素の合成信号と、位相差検出用信号を読み出す必要が無く、読み出し時間が大幅に短縮され、読み出し動作の高速化を実現することができる。

また、特定行のみにおいて画像用信号と位相差検出用画素信号の両方を読み出すといった、水平走査期間が複雑に変化するような制御を行う必要が無く、従来システムからの対応が容易である。

また、第１の周期が、動画記録モード（解像度、フレームレートなど）によって、例えば３行周期と５行周期などのように異なる場合であっても、同一の第２の周期とすることで、動画記録モードに依存しない位相差検出性能を維持することが可能となる。

また、撮影条件（測距枠モード、ＡＦ動作状態、動画記録モードなど）や、撮影シーン（被写体の明るさ、低コントラストなど）に応じて、垂直走査回路５２０の設定を変更することも可能である。具体的には、被写体の明るさに基づく評価値が第１の閾値以上の場合には、第２の周期を第１の周期よりも大きくし、被写体の明るさに基づく評価値が第２の閾値未満の場合には、第２の周期を第１の周期よりも小さくする（例えば１行とする）。また、あるいは、焦点検出領域の広さに応じて、第２の周期または間引き率を切り替える。このように、状況に合った位相差検出用画素信号の読み出しを容易に実現することが可能であり、ＡＦの高速化、低照度限界、低輝度限界、焦点検出領域の範囲拡大など、ＡＦ性能の改善させることが可能となる。

このように、垂直走査回路５２０の設定次第で、画像生成に使用する行の設定、位相差検出に使用する行の設定は非常に自由度が高く、画像の品質、位相差検出の精度、検出領域、合わせた読み出し速度（フレームレート）等に応じて任意の設定が可能である。

以上のように、本実施形態では、第１の信号及び第２の信号を行毎に読み出すための走査を制御する走査回路（垂直走査回路、タイミング発生回路、ＣＰＵ）を備えている。そして、走査回路は、第１の信号を第１の周期で間引いて読み出す第１の走査と、第１の走査で読み出さない行について第２の信号を第２の周期毎に所定の間引き率で間引いて読み出す第２の走査とを行う。これにより、撮像素子の回路規模及び読み出し時間を増大することなく、位相差検出を高精度に行うことができる。

＜変形実施形態＞
上述した第１の実施形態のほかにも自由な展開が可能であり、第１の周期、第２の周期、間引き率は、画像生成用の合成信号、位相差検出用信号の所望の精度等に応じて自由に設定できる。

上述した実施形態では、全行の画素からの読み出しが行われる静止画時の適用については言及していないが、全行読み出す中で特定行に対し第２の走査を行い、位相差検出を行うことで、静止画読み出し時にも適用可能である。ただし、この場合、第２の走査を行った行においては、画像生成用の信号を、ＤＳＰ１０３など後段の処理で、Ａ画素からの信号及びＢ画素からの信号を加算して生成する必要がある。

また、上述した実施形態の説明の中では、画像生成用の第１の走査と位相差検出用の第２の走査とを、セットで行っている。しかしながら、これに限られるものではなく、位相差検出が不要な場合は第１の走査のみを行うことが可能である。また、一方で、ＡＦ専用の読み出しを行う場合のように、画像生成用の合成信号が不要で位相差検出のみを行う必要がある場合には、第２の走査のみを行うことが可能である。

また、上述した実施形態では水平方向の読み出し方法については言及していないが、水平方向を間引きしたり、同色の加算、加算平均処理したりする場合でも、上述した実施形態における発明を適用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮像素子、１０３：ＤＳＰ、１０４：タイミング発生回路、１０５：ＣＰＵ、１１３：モードダイアル、５０１、５０２；光電変換部、６０１：マイクロレンズ、１００１：現像部、１００２：圧縮部、１００６：焦点検出演算部、１００８：画像補正部、１００９：ＡＦ用補正部、ＣＴｋＳ：信号成分保持容量、ＣＴｋＮ：ノイズ成分保持容量

Claims (12)

1. 被写体からの光を光電変換する単位画素が行列状に配列され、前記単位画素に生じた電荷に基づく画像生成用の第１の信号と、前記単位画素の一部領域に生じた電荷に基づく位相差検出用の第２の信号及び第３の信号とを出力する撮像素子と、
   前記第１の信号と前記第２の信号及び前記第３の信号とを行毎に読み出すための走査を制御する走査回路と、
   を備え、
   前記走査回路は、
   前記第１の信号を第１の周期で間引いて読み出す第１の走査と、
   前記第１の走査で前記第１の信号が読み出されない行について、前記第２の信号及び前記第３の信号を第２の周期毎に所定の間引き率で間引いて読み出す第２の走査と、
   を１つのフレームを読み出す際において連続的に行い、
   前記走査回路は同一行での前記第２の走査において、前記第２の信号に続いて、前記第２の信号に対して視差を有する前記第３の信号を読み出す
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記走査回路は、撮影条件または撮影シーンに応じて、前記第２の走査の対象行範囲、前記第２の周期、及び前記間引き率を切り替える
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記撮影シーンは、前記被写体の明るさに基づく評価値を含み、
   前記走査回路は、前記被写体の明るさに基づく評価値が第１の閾値以上の場合には、前記第２の周期を前記第１の周期よりも大きくする
   ことを特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   前記撮影シーンは、前記被写体の明るさに基づく評価値を含み、
   前記走査回路は、前記被写体の明るさに基づく評価値が第２の閾値未満の場合には、前記第２の周期を前記第１の周期よりも小さくする
   ことを特徴とする撮像装置。
5. 請求項２から４のいずれか１項に記載の撮像装置において、
   前記撮影条件は、測距を行う範囲が指定された焦点検出領域を含み、
   前記走査回路は、前記焦点検出領域を含む最も狭い行範囲を、前記第２の走査の前記対象行範囲として設定する
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記走査回路は、前記焦点検出領域の広さに応じて、前記第２の周期または前記間引き率を切り替える
   ことを特徴とする撮像装置。
7. 請求項１から６のいずれか１項に記載の撮像装置において、
   前記単位画素は、前記一部領域としてＡ画素及びＢ画素を有し、
   前記第１の信号は、前記Ａ画素及び前記Ｂ画素からの合成信号であり、
   前記第２の信号は、前記Ａ画素からの信号及び前記Ｂ画素のうちのいずれか一方からの信号であり、
   前記第３の信号は、前記Ａ画素からの信号及び前記Ｂ画素のうちのもう一方からの信号である
   ことを特徴とする撮像装置。
8. 請求項１から７のいずれか１項に記載の撮像装置において、
   前記走査回路は、前記第１の走査を行った後に前記第２の走査を行う
   ことを特徴とする撮像装置。
9. 請求項１から８のいずれか１項に記載の撮像装置において、
   前記被写体からの光を前記撮像素子に結像させる光学系と、
   前記第２の信号に基づいて、前記光学系の焦点を調整する焦点調整手段と、
   を更に備える
   ことを特徴とする撮像装置。
10. 被写体からの光を光電変換する単位画素が行列状に配列され、前記単位画素に生じた電荷に基づく画像生成用の第１の信号と、前記単位画素の一部領域に生じた電荷に基づく位相差検出用の第２の信号及び第３の信号とを出力する撮像素子と、
    を備える撮像装置の制御方法であって、
    前記第１の信号を第１の周期で間引いて読み出す第１の走査ステップと、
    前記第１の走査ステップで前記第１の信号が読み出されない行について、前記第２の信号及び前記第３の信号を第２の周期毎に所定の間引き率で間引いて読み出す第２の走査ステップと、
    を１つのフレームを読み出す際において連続的に行う走査ステップと、を有し、
    前記第２の走査ステップは、同一行において、前記第２の信号に続いて、前記第２の信号に対して視差を有する前記第３の信号を読み出すステップを有する
    ことを特徴とする制御方法。
11. 被写体からの光を光電変換する単位画素が行列状に配列され、前記単位画素に生じた電荷に基づく画像生成用の第１の信号と、前記単位画素の一部領域に生じた電荷に基づく位相差検出用の第２の信号及び第３の信号とを出力する撮像素子と、
    を備える撮像装置において、
    コンピュータを、
    前記第１の信号を第１の周期で間引いて読み出す第１の走査手段と、
    前記第１の走査手段で前記第１の信号が読み出されない行について、前記第２の信号及び前記第３の信号を第２の周期毎に所定の間引き率で間引いて読み出す第２の走査手段と、
    を１つのフレームを読み出す際において連続的に行う走査手段と、
    して機能させ、
    前記第２の走査手段を、同一行において、前記第２の信号に続いて、前記第２の信号に対して視差を有する前記第３の信号を読み出す手段としてさらに機能させる
    ことを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。

Images