JP2019050486A - 撮像装置、撮像装置の制御方法 - Google Patents

Abstract

【課題】用途に応じて、高画質の画像用画素信号と、高画質の焦点検出用画素信号とを適切に得ることができる撮像装置等を提供する。【解決手段】画像用画素が光電変換信号を生成する複数の焦点検出用画素に分割されており、光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成する画素部２２等と、あるフレームにおいて一対の焦点検出用画素信号の両方を生成して読み出す第１読出を行い、他のあるフレームにおいて一対の焦点検出用画素信号の一方を生成すると共に、光電変換信号を加算して画像用画素信号を生成し、生成した一方の焦点検出用画素信号および画像用画素信号を読み出す第２読出を行うように画素部２２等を制御する素子制御部２９等と、を備える撮像装置。【選択図】図２

Description

本発明は、マイクロレンズに対応する画像用画素が、複数の焦点検出用画素に分割されている撮像装置、撮像装置の制御方法に関する。

撮像素子単体で位相差検出用の情報を取得することができるように、マイクロレンズに対応する画像用画素が、複数の焦点検出用画素に分割された撮像素子が、従来より提案され、製品化されている。

例えば、特開２０１４−２１６８６６号公報には、１つのマイクロレンズを備える１つの画素が２つの光電変換部を備え、第１の書き込み処理では、画素の１つの光電変換部から提供される信号を第１の容量に書き込み、第２の書き込み処理では、２つの光電変換部から提供される信号を加算した信号を第２の容量に書き込んで、加算した信号を撮像信号に用い、第１の信号と、加算した信号と第１の信号の差分信号とを焦点検出に用いる撮像装置が記載されている。

特開２０１４−２１６８６６号公報

上記特開２０１４−２１６８６６号公報に記載の技術は、画像用画素信号として高画質の信号を得ることができるが、焦点検出用画素信号についてはノイズ成分を含む２つの信号を差分演算する必要があるために、画像用画素信号に比べてＳ／Ｎが低くなってしまう。また、加算信号がデジタルクリップのレベル（デジタル信号の最大値）に達した以降は、差分演算を行っても焦点検出用画素信号を復元することができなくなるために、焦点検出用画素信号のダイナミックレンジが狭くなってしまう。

本発明は上記事情に鑑みてなされたものであり、用途に応じて、高画質の画像用画素信号と、高画質の焦点検出用画素信号とを適切に得ることができる撮像装置、撮像装置の制御方法を提供することを目的としている。

本発明の一態様による撮像装置は、マイクロレンズに対応する画像用画素を有し、前記画像用画素は撮影光学系の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する複数の焦点検出用画素に分割されており、前記光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成する撮像部と、あるフレームにおいて、前記光電変換信号に基づいて第１の瞳分割方向における一対の前記焦点検出用画素信号の両方を生成して読み出す第１読出を行い、他のあるフレームにおいて、前記光電変換信号に基づいて第２の瞳分割方向における一対の前記焦点検出用画素信号の一方を生成すると共に、１つの画像用画素内で生成された全ての前記光電変換信号を加算することで前記画像用画素信号を生成し、生成した一方の前記焦点検出用画素信号および前記画像用画素信号を読み出す第２読出を行うように、前記撮像部を制御する制御部と、を具備する。

本発明の他の態様による撮像装置の制御方法は、マイクロレンズに対応する画像用画素を有し、前記画像用画素は撮影光学系の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する複数の焦点検出用画素に分割されており、前記光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成する撮像部を備える撮像装置の制御方法であって、あるフレームにおいて、前記光電変換信号に基づいて第１の瞳分割方向における一対の前記焦点検出用画素信号の両方を生成して読み出す第１読出を行い、他のあるフレームにおいて、前記光電変換信号に基づいて第２の瞳分割方向における一対の前記焦点検出用画素信号の一方を生成すると共に、１つの画像用画素内で生成された全ての前記光電変換信号を加算することで前記画像用画素信号を生成し、生成した一方の前記焦点検出用画素信号および前記画像用画素信号を読み出す第２読出を行うように、前記撮像部を制御する方法である。

本発明の撮像装置、撮像装置の制御方法によれば、用途に応じて、高画質の画像用画素信号と、高画質の焦点検出用画素信号とを適切に得ることができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における撮像素子の構成を示すブロック図。 上記実施形態１において、１つのマイクロレンズに２つまたは４つのフォトダイオードが配置される画素構造の例を示す図表。 上記実施形態１における４ＰＤ画素構造の画素の構成例を示す回路図。 上記実施形態１において、焦点検出用画素優先モードにおける電子シャッタ動作を行うときの撮像素子の駆動例を示すタイミングチャート。 上記実施形態１において、焦点検出用画素優先モードにおける画素信号読出を行うときの撮像素子の駆動例を示すタイミングチャート。 上記実施形態１において、画像用画素優先モードにおける電子シャッタ動作を行うときの撮像素子の駆動の第１例を示すタイミングチャート。 上記実施形態１において、画像用画素優先モードにおける電子シャッタ動作を行うときの撮像素子の駆動の第２例を示すタイミングチャート。 上記実施形態１において、画像用画素優先モードにおける画素信号読出を行うときの撮像素子の駆動例を示すタイミングチャート。 上記実施形態１において、画像のみモードにおける電子シャッタ動作を行うときの撮像素子の駆動例を示すタイミングチャート。 上記実施形態１において、画像のみモードにおける画素信号読出を行うときの撮像素子の駆動例を示すタイミングチャート。 上記実施形態１において、画素部の中央部に位置する４ＰＤ画素構造の画素に照射される光の様子を示す図。 上記実施形態１において、画素部の周辺部に位置する４ＰＤ画素構造の画素に照射される光の様子を示す図。 上記実施形態１の焦点検出用画素優先モードにおいて取得される表示／記録用の画素信号のダイナミックレンジを説明するためのタイミングチャート。 上記実施形態１の画像用画素優先モードにおいて取得される表示／記録用の画素信号のダイナミックレンジを説明するためのタイミングチャート。 上記実施形態１の焦点検出用画素優先モードにおいて取得される焦点検出用の画素信号のダイナミックレンジを説明するためのタイミングチャート。 上記実施形態１の画像用画素優先モードにおいて取得される焦点検出用の画素信号のダイナミックレンジを説明するためのタイミングチャート。 上記実施形態１の、焦点検出用画素優先モード、画像用画素優先モード、画像のみモード、のそれぞれにおいて取得される表示／記録用の画素信号および焦点検出用の画素信号の、Ｓ／Ｎおよびダイナミックレンジにおける優劣を説明するための図表。 上記実施形態１において、焦点検出用データの要／不要と、焦点検出用画素と画像用画素との何れを優先するかと、に応じて撮像素子をどのタイミングチャートに従って駆動するかを分類した図表。 上記実施形態１における撮像装置の作用を示すフローチャート。 上記実施形態１の図２０におけるステップＳ４のＡＦ用処理の内容を示すフローチャート。 上記実施形態１の図２０におけるステップＳ５の静止画用処理の内容を示すフローチャート。 上記実施形態１において、１フレーム毎に、焦点検出用画素優先モードによる撮像素子の動作と、画像用画素優先モードによる撮像素子の動作と、を交互に行う例を示すタイミングチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図２３は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、撮像レンズ２と、シャッタ３と、撮像素子４と、データバス５と、メモリ６と、焦点検出用減算部７と、焦点検出用信号処理部８と、画像信号用加算部９と、画像信号処理部１０と、表示部１１と、記録部１２と、入力インタフェース（入力ＩＦ）１３と、システム制御部１４と、を備え、いわゆるカメラとしての機能を備えている。

撮像レンズ２は、被写体の光学像を撮像素子４上に結像するための撮影光学系である。この撮像レンズ２は、フォーカス位置を調節するためのフォーカスレンズと、撮像レンズ２を通過する光束の範囲を制御する光学絞りとを備え、例えば焦点距離を可変なズームレンズとして構成されている。撮像レンズ２のフォーカス位置、光学絞りの開口径（絞り値）、および焦点距離は、システム制御部１４の駆動制御により変更される。

シャッタ３は、撮像レンズ２からの光束が撮像素子４へ到達する時間を制御するものであり、例えばフォーカルプレーンシャッタなどの、シャッタ幕を走行させる構成のメカニカルシャッタとなっている。このシャッタ３の開閉動作は、システム制御部１４により駆動制御される。

撮像素子４は、撮像部に含まれ、複数の画像用画素が２次元状に配列された画素部２２（図２参照）を有する。画像用画素は、マイクロレンズＬ（図３参照）に対応し、複数の焦点検出用画素に分割された構成となっている。ここに、焦点検出用画素は、撮影光学系である撮像レンズ２の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成するものである。こうして、画素部２２には、複数の焦点検出用画素が２次元状に配列されているともいえる。

そして、撮像素子４は、システム制御部１４の制御に基づき、シャッタ３を通して撮像レンズ２により結像された被写体の光学像を、上述したように光電変換して複数の光電変換信号を生成する。

こうした撮像素子４は、例えば、原色ベイヤ配列のカラーフィルタを備える単板式ＣＭＯＳ撮像素子として構成されているが、もちろんこの構成に限定されるものではない。

そして、本実施形態の撮像素子４は、システム制御部１４の制御に基づき、第１読出を行う焦点検出用画素優先モード（単純読み出し方式）と、第２読出を行う画像用画素優先モード（減算読み出し方式）と、第３読出を行う画像のみモード（位相差情報なし読み出し方式）と、により動作可能となっている。

１つの画像用画素が、例えば２つの焦点検出用画素Ａ，Ｂに分割されている場合を例に挙げると、焦点検出用画素優先モード（単純読み出し方式）では、第１読出により、撮像素子４から一対の焦点検出用画素信号Ａ，Ｂがそれぞれ出力される。また、画像用画素優先モード（減算読み出し方式）では、第２読出により、撮像素子４から、一対の焦点検出用画素信号Ａ，Ｂの何れか一方（ここでは例えば焦点検出用画素信号Ａであるものとする）と、一対の焦点検出用画素信号Ａ，Ｂを加算した画像用画素信号（Ａ＋Ｂ）とが出力される。さらに、画像のみモード（位相差情報なし読み出し方式）では、第３読出により、一対の焦点検出用画素信号Ａ，Ｂを加算した画像用画素信号（Ａ＋Ｂ）のみが出力され、焦点検出用画素信号Ａ，Ｂは何れも出力されない。

データバス５は、各種のデータや制御信号を、撮像装置１内のある場所から他の場所へ転送するための転送路である。本実施形態におけるデータバス５は、撮像素子４と、メモリ６と、焦点検出用減算部７と、焦点検出用信号処理部８と、画像信号用加算部９と、画像信号処理部１０と、表示部１１と、記録部１２と、入力ＩＦ１３と、システム制御部１４と、に接続されている。

メモリ６は、撮像素子４により生成された画素信号を一時的に記憶する記憶部であり、例えばＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）等により構成されている。このメモリ６は、撮像装置１内の各部が例えば画像処理や焦点検出等の各種の処理を行う際の、ワークメモリや画像のバッファメモリとしても用いられる。

焦点検出用減算部７は、上述した減算読み出し方式の第２読出が行われたときに、画像用画素信号から一対の焦点検出用画素信号の一方を減算することで、一対の焦点検出用画素信号の他方を生成する（あるいは、「他方を復元する」ともいえる）ものである。上述した単純読み出し方式の第１読出では、撮像素子４から出力される焦点検出用画素信号Ａ，Ｂをそのまま位相差検出に用いることができるのに対して、減算読み出し方式の第２読出では、位相差検出を行うために必要な焦点検出用画素信号（上述した例における焦点検出用画素信号Ｂ）が不足している。そこで、焦点検出用減算部７は、例えば｛（Ａ＋Ｂ）−Ａ｝の減算を行うことで、焦点検出用画素信号Ｂを復元する。

焦点検出用信号処理部８は、単純読み出し方式で撮像素子４から出力された一対の焦点検出用画素信号の両方、または減算読み出し方式で撮像素子４から出力された一対の焦点検出用画素信号の一方および焦点検出用減算部７により復元された一対の焦点検出用画素信号の他方に基づいて、像面位相差検出を行うものである。

また、本実施形態における焦点検出用信号処理部８は、焦点検出用画素信号に基づく位相差検出方式の焦点検出（位相差ＡＦ）に加えて、さらに、画像用画素信号のコントラストに基づく焦点検出（コントラストＡＦ）を行うことができるようになっている。

そして、焦点検出用信号処理部８は、焦点検出の結果に基づいて、撮像レンズ２のフォーカス位置を合焦位置へ移動するためのレンズ制御パラメータを算出する。加えて、焦点検出用信号処理部８は、焦点検出用画素信号に対する演算を行って、例えば、３Ｄ情報、デプスマップ、あるいは深度補正情報などを算出することも可能であり、これらを算出した場合にはその結果を画像信号処理部１０へ送信する。

画像信号用加算部９は、上述した単純読み出し方式の第１読出が行われたときに、必要に応じて、一対の焦点検出用画素信号の両方を加算して画像用画素信号を生成するものである。具体的に、画像信号用加算部９は、単純読み出し方式で撮像素子４から出力された焦点検出用画素信号（上述した例におけるＡ，Ｂ）を加算することにより、画像用画素信号（Ａ＋Ｂ）を復元する。

画像信号処理部１０は、減算読み出し方式または位相差情報なし読み出し方式で撮像素子４から出力された画像用画素信号、または単純読み出し方式で撮像素子４から出力され画像信号用加算部９により復元された画像用画素信号に、画像処理を行って表示用および／または記録用の画像（例えば、表示部１１に表示するための画像、記録部１２に記録するための画像など）を生成するものである。

この画像信号処理部１０は、画像用画素信号に対して、例えば、ＯＢ減算、ホワイトバランス（ＷＢ）ゲイン、デモザイク、ノイズ低減、色変換、ガンマ変換、拡大縮小などの画像処理（いわゆる現像処理を含む）を行う。なお、静止画や動画を記録部１２に記録する際あるいは記録部１２から読み出す際のデータ圧縮／データ伸張は、この画像信号処理部１０により行っても構わないし、専用の圧縮伸張部を設けて行うようにしてもよい。

表示部１１は、画像を表示すると共に、撮像装置１に係る各種の情報を表示する表示装置である。この表示部１１は、例えば、ＬＣＤパネルあるいは有機エレクトロルミネッセンス（有機ＥＬ）ディスプレイ等のデバイスを有している。表示部１１の具体的な配置や構成としては、電子ビューファインダ（ＥＶＦ）、撮像装置１の背面パネル、撮像装置１と無線接続されている携帯デバイスの表示装置などが挙げられる。従って、表示部１１は、撮像装置１に固有の構成であることに限定されない。

記録部１２は、複数の画素信号で構成される画像データ（静止画像データ、動画像データなど）を不揮発に記憶する記録部であり、例えば、撮像装置１本体に内蔵されているフラッシュメモリ、あるいは撮像装置１本体に着脱可能なメモリカード等により構成されている。従って、記録部１２は、撮像装置１に固有の構成であることに限定されない。

入力ＩＦ１３は、この撮像装置１に対する各種の操作入力を行うためのものである。入力ＩＦ１３は、例えば、撮像装置１の電源をオン／オフするための電源ボタン、画像の撮影開始を指示するための例えばレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置１の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。

ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、例えば、撮影モード（静止画撮影モード、動画撮影モード等）、記録モード（ＪＰＥＧ記録、ＲＡＷ＋ＪＰＥＧ記録など）、再生モードなどが含まれている。

そして、入力ＩＦ１３には、機能ボタンとして、ＡＦ用処理を選択するための第１ボタン、静止画用処理を選択するための第２ボタン、動画用処理を選択するための第３ボタンが含まれているものとする（後述する図２０参照）。なお、第１〜第３ボタンが何れもオフである場合には、ライブビュー（ＬＶ）用処理が選択されるようになっている。

入力ＩＦ１３に対して操作が行われると、操作内容に応じた信号がシステム制御部１４へ出力される。

なお、入力ＩＦ１３の具体的な配置や構成としては、カメラ本体の外装に配設されたボタンやスイッチ類、あるいは表示部１１における背面パネルの表示面に設けられたタッチパネル、遠隔操作するためのリモートレリーズ装置や携帯デバイスなどが挙げられる。従って、入力ＩＦ１３も、撮像装置１に固有の構成であることに限定されない。

システム制御部１４は、例えばＣＰＵを含んで構成され、撮像装置１内の各部を統括的に制御する制御部である。

システム制御部１４は、所定の処理プログラム（撮像プログラムを含む）に従って、入力ＩＦ１３からの操作入力に応じた各種のシーケンスを実行する。ここに、処理プログラムは、システム制御部１４内に不揮発に記憶されていてもよいし、メモリ６に不揮発に記憶されていてシステム制御部１４により読み込まれる構成であっても構わない。

例えば、システム制御部１４は、焦点検出用信号処理部８により算出されたレンズ制御パラメータに基づいて、撮像レンズ２のフォーカスレンズを制御し、システム制御部１４内で行った露出演算の結果に基づいて撮像レンズ２の絞りおよびシャッタ３の制御を行い、撮像素子４を制御して撮像を行わせ画素信号を出力させる。また、システム制御部１４は、表示部１１に各種情報を表示する制御、および記録部１２へデータを記録しまたは読み出す制御なども行う。

次に、図２は、撮像素子４の構成を示すブロック図である。

撮像部は、複数の焦点検出用画素に分割された画像用画素を有し、焦点検出用画素により光束を光電変換して生成された光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成するものであり、上述したように撮像素子４を含んでいる。

撮像素子４は、図２に示す例においては、垂直走査部２１と、画素部２２と、アナログ処理部２３と、ＡＤＣ処理部２４と、メモリ部２５と、水平走査部２６と、出力部２７と、入力部２８と、素子制御部２９と、を備えている。

画像用画素（ひいては焦点検出用画素）は画素部２２に配列されていて、光電変換信号に基づく画像用画素信号と焦点検出用画素信号との生成は、垂直走査部２１〜出力部２７までの少なくとも一部、および素子制御部２９などが行う。

なお、図２では、撮像素子４が垂直走査部２１および画素部２２を備えるだけでなく、さらに、アナログ処理部２３〜素子制御部２９を備える構成例を示しているが、これに限るものではなく、例えばアナログ処理部２３〜素子制御部２９の１つ以上を撮像素子４の外部に配置しても構わない。

画素部２２は、上述したように、画像用画素（ひいては焦点検出用画素）が２次元状（例えば、垂直方向（列方向）および水平方向（行方向））に配列された画素アレイ部である。

ここで、図３は、１つのマイクロレンズＬに２つまたは４つのフォトダイオードＰＤが配置される画素構造の例を示す図表である。

画像用画素の構造として、この図３には、１つのマイクロレンズＬに対して２つのフォトダイオードＰＤが配置される２ＰＤ画素構造と、１つのマイクロレンズＬに対して４つのフォトダイオードＰＤが配置される４ＰＤ画素構造と、を例示している。

画素は、物体側から像側へ向かう積層方向の順に、マイクロレンズＬとカラーフィルタＦとフォトダイオードＰＤとが配設された構成となっている。ここに、マイクロレンズＬは、光を集めることにより画像用画素に到達する光量を増加させ、画像用画素の開口率を実質的に大きくするものである。また、カラーフィルタＦは、例えば原色ベイヤ配列のカラーフィルタの場合には、Ｒフィルタ、Ｇフィルタ、またはＢフィルタの何れかが、その画素位置に応じて配設されている。

ここで、図３に示す２ＰＤ画素構造の場合には、１つのマイクロレンズＬの結像範囲に２つのフォトダイオードＰＤが配設されている。２つのフォトダイオードＰＤは、水平方向の位相差を検出するためのものである場合には左右に２分割されており、垂直方向の位相差を検出するためのものである場合には上下に２分割されている。これにより２つの焦点検出用画素ａ，ｂが構成されている。

一方、図３に示す４ＰＤ画素構造の場合には、１つのマイクロレンズＬの結像範囲に４つのフォトダイオードＰＤが配設されている。４つのフォトダイオードＰＤは、水平方向および垂直方向の位相差を検出することができるように、上下左右に４分割されている（すなわち、４つのフォトダイオードＰＤが、左上、左下、右上、右下の位置にそれぞれ配置される）。これにより４つの焦点検出用画素ａ，ｂ，ｃ，ｄが構成されている。

また、以下では、画素部２２の全画素が４ＰＤ画素構造である場合を例に挙げて説明を行うこととする（ただし、画素部２２の一部の画素が、４ＰＤ画素構造、または２ＰＤ画素構造となることを妨げるものではない）。ここに、画素部２２の全画素が４ＰＤ画素構造である場合には、各フォトダイオードＰＤから出力される画素信号は焦点検出用画素信号である。

さらに、フォトダイオードＰＤの出力を後述する図４の回路構成によって垂直２画素加算する場合、つまり、図３における（ａ＋ｂ）と（ｃ＋ｄ）とを算出する場合には、水平方向の位相差を検出（縦線検知）するための焦点検出用画素信号となる。

そして、フォトダイオードＰＤの出力を同様に水平２画素加算する場合、つまり、図３における（ａ＋ｃ）と（ｂ＋ｄ）とを算出する場合には、垂直方向の位相差を検出（横線検知）するための焦点検出用画素信号となる。

図３に示す４ＰＤ画素構造の場合には、縦線検知用の焦点検出用画素信号と、横線検知用の焦点検出用画素信号と、の内の、一方が第１の瞳分割方向における一対の焦点検出用画素信号、他方が第２の瞳分割方向における一対の焦点検出用画素信号となる。

加えて、フォトダイオードＰＤの出力を同様に４画素加算する場合、つまり、図３における（ａ＋ｂ＋ｃ＋ｄ）を算出する場合には、画像用画素信号となる。

垂直走査部２１は、画素部２２の画素の水平方向の並び（行）を選択することを順次行うことで、走査を垂直方向に行う回路である。この垂直走査部２１が、特定の行を選択して、選択された行にある各画素のリセットや転送を行うことで、画素の電荷蓄積時間（露光時間）が制御されるようになっている。

アナログ処理部２３は、画素部２２から読み出されたアナログの画素信号をアナログ信号処理する回路である。このアナログ処理部２３は、例えば、画素信号を増幅するプリアンプ、画素信号からリセットノイズを低減する相関二重サンプリング（ＣＤＳ）回路などを含んでいる。

アナログデジタル変換処理部（ＡＤＣ処理部）２４は、アナログ処理部２３から出力されたアナログの画素信号をデジタルの画素信号に変換する。このＡＤＣ処理部２４は、例えば、カラムＡＤＣに代表されるような、画素部２２から読み出された画素信号を列毎のアナログ・デジタル・コンバータ（ＡＤＣ）でＡＤ変換する構成が採用されている。

メモリ部２５は、ＡＤＣ処理部２４で変換された画素信号を一時的に保持する揮発性メモリ回路等で構成されている。

水平走査部２６は、メモリ部２５から、画素信号（画像用画素信号と焦点検出用画素信号）を列順に読み出す。

出力部２７は、水平走査部２６により読み出された画素信号を配列して画素信号列を生成し、シリアル信号や差動信号などの出力信号形式に変換して出力する。なお、この出力部２７または上述したＡＤＣ処理部２４等は、増感処理（設定されているＩＳＯ感度に応じた信号増幅処理）を行う増感部としても機能するようになっている。

入力部２８は、システム制御部１４から、撮像素子４の制御に係る同期信号、基準クロック、動作設定の情報などを受信する。

素子制御部２９は、入力部２８を介して受信した同期信号および基準クロックに合わせて、撮像素子４内の各ブロックを制御するものであり、読出方法選択部３０を備えている。

読出方法選択部３０は、入力部２８を介して受信した動作設定の情報（例えば、静止画撮影、動画撮影、ライブビュー、ＡＦ等のカメラモード）に基づいて、撮像素子４からの読み出し（上述したような、第１読出（単純読み出し方式）、第２読出（減算読み出し方式）、第３読出（位相差情報なし読み出し方式）など）を選択して設定する。素子制御部２９は、読出方法選択部３０により設定された読み出し方式に応じて、撮像素子４内の各部を制御する。こうして、素子制御部２９および図１に示したシステム制御部１４等により、撮像部の読み出しを制御する制御部が構成されている。

制御部は、あるフレームにおいて第１読出を行い、他のあるフレームにおいて第２読出を行うように、撮像部（図２に示す構成例では撮像素子４が該当する）を制御する。また、制御部は、さらに他のあるフレームにおいて第３読出を行うように撮像部を制御する。

上述したように、第１読出は、光電変換信号に基づいて第１の瞳分割方向における一対の焦点検出用画素信号の両方を生成して読み出すことである。

また、第２読出は、光電変換信号に基づいて第２の瞳分割方向における一対の焦点検出用画素信号の一方を生成すると共に、１つの画像用画素内で生成された全ての光電変換信号を加算することで画像用画素信号を生成し、生成した一方の焦点検出用画素信号および画像用画素信号を読み出すことである。

さらに、第３読出は、１つの画像用画素内で生成された全ての光電変換信号を加算することで画像用画素信号を生成し、生成した画像用画素信号のみを読み出すことである。

次に、図４は、４ＰＤ画素構造の画素の構成例を示す回路図である。

４ＰＤ画素構造の画素においては、１つのマイクロレンズＬに対応する位置に４つのフォトダイオードＰＤ１〜ＰＤ４が配置され、具体的には、マイクロレンズＬの光学像が結像される範囲内の左上、左下、右上、右下位置に４つのフォトダイオードＰＤ１〜ＰＤ４がそれぞれ配置されている。

４つのフォトダイオードＰＤ１〜ＰＤ４には、スイッチとして機能するトランジスタＴｒ１〜Ｔｒ４がそれぞれ接続されており、垂直走査部２１から制御信号ＴＸ１〜ＴＸ４をそれぞれ印加することにより、トランジスタＴｒ１〜Ｔｒ４のオン／オフがそれぞれ制御されるようになっている。

各トランジスタＴｒ１〜Ｔｒ４は、フローティングディフュージョンＦＤに接続されていて、オンされたトランジスタＴｒに対応するフォトダイオードＰＤの信号電荷が、フローティングディフュージョンＦＤに転送されるようになっている。

また、各トランジスタＴｒ１〜Ｔｒ４とフローティングディフュージョンＦＤとの間には、スイッチとして機能するトランジスタＴｒ５の一端が接続されており、トランジスタＴｒ５の他端は電源電圧ＶＤＤに接続されている。そして、トランジスタＴｒ５にリセット信号ＲＥＳを印加することにより、電源電圧ＶＤＤ側とフローティングディフュージョンＦＤ側とのオン／オフが制御されるようになっている。このような構成により、トランジスタＴｒ５をオンにすることで、フローティングディフュージョンＦＤのリセットが行われる。また、トランジスタＴｒ１〜Ｔｒ４をオンにした状態で、さらにトランジスタＴｒ５をオンにすることで、フォトダイオードＰＤ１〜ＰＤ４のリセットが行われる。

フローティングディフュージョンＦＤは、スイッチとして機能するトランジスタＴｒ６と、電源電圧ＶＤＤに接続され増幅部として機能するトランジスタＴｒ７と、を介して出力端子ＯＵＴに接続されている。

トランジスタＴｒ６に選択信号ＳＥＬを印加することで、フローティングディフュージョンＦＤの電圧値がトランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出されるようになっている。

次に、図５および図６を参照して、第１読出（焦点検出用画素優先モード）に係るタイミングチャート（１）を説明する。

図５は、焦点検出用画素優先モードにおける電子シャッタ動作を行うときの撮像素子４の駆動例を示すタイミングチャートである。なお、図５（および後述する図６〜図１１）におけるタイミングｔ１〜ｔ１０は、１つのタイミングチャート内におけるタイミングの前後関係を表すものであり、異なるタイミングチャートにタイミングを示す同一の記号（例えばｔ１）が記載されていても、同一の時刻を表すものではない。

タイミングｔ２において、リセット信号ＲＥＳをオンにする（スイッチとして機能するトランジスタＴｒ１〜Ｔｒ６の内、オンであることを明示したもの以外はオフであるものとする。以下同様。）と、フローティングディフュージョンＦＤがリセットされる。このリセット信号ＲＥＳのオンは、タイミングｔ４においてリセット信号ＲＥＳがオフにされるまで行われる。

タイミングｔ３において、制御信号ＴＸ１，ＴＸ２をオンにすると、この時点ではリセット信号ＲＥＳがオンであるために、フォトダイオードＰＤ１，ＰＤ２の信号電荷がさらにリセットされる。

タイミングｔ４においてリセット信号ＲＥＳがオフにされた後に、タイミングｔ７においてリセット信号ＲＥＳがオンにされると、フローティングディフュージョンＦＤが再びリセットされる。このリセット信号ＲＥＳのオンは、タイミングｔ９においてリセット信号ＲＥＳがオフにされるまで行われる。

タイミングｔ８において、制御信号ＴＸ３，ＴＸ４をオンにすると、この時点ではリセット信号ＲＥＳがオンであるために、フォトダイオードＰＤ３，ＰＤ４の信号電荷がさらにリセットされる。

また、この図５に示す流れでは、フォトダイオードＰＤ１〜ＰＤ４からフローティングディフュージョンＦＤへの電荷転送はないために、フローティングディフュージョンＦＤは、タイミングｔ２以降、リセット電荷（タイミングチャート中において、ＲＥＳと記載）を保持する。

次に、図６は、焦点検出用画素優先モードにおける画素信号読出を行うときの撮像素子４の駆動例を示すタイミングチャートである。図５に示したような電子シャッタの動作から露光時間（いわゆるシャッタ速度に対応）が経過した後に行われる画素信号の読み出し動作を示すのが、この図６である。

タイミングｔ１において、リセット信号ＲＥＳをオンにすると、フローティングディフュージョンＦＤがリセットされる。そして、フローティングディフュージョンＦＤは、リセット電荷（ＲＥＳ）を保持する。

タイミングｔ２において、選択信号ＳＥＬをオンにすると、フローティングディフュージョンＦＤに蓄積されたリセット電荷（ＲＥＳ）の電圧が、トランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出される。

タイミングｔ３において、制御信号ＴＸ１，ＴＸ２をオンにすると、フォトダイオードＰＤ１の信号電荷（この信号電荷をＰＤ１とする）、およびフォトダイオードＰＤ２の信号電荷（この信号電荷をＰＤ２とする）が、フローティングディフュージョンＦＤへ転送される。これにより、フローティングディフュージョンＦＤは、電荷（ＰＤ１２＋ＲＥＳ（なお、ＰＤ１２＝ＰＤ１＋ＰＤ２である））を保持する。

タイミングｔ４において、選択信号ＳＥＬをオンにすると、フローティングディフュージョンＦＤに蓄積された電荷（ＰＤ１２＋ＲＥＳ）の電圧が上述のように出力端子ＯＵＴから読み出される。このタイミングｔ４で読み出された電圧に含まれるリセット電圧（リセットノイズ）は、アナログ処理部２３のＣＤＳ回路により、タイミングｔ２で読み出されたリセット電圧を用いて除去されるようになっている（以後、説明は省略するが、同様にしてリセットノイズが除去される）。

その後、タイミングｔ６において、リセット信号ＲＥＳをオンにすると、フローティングディフュージョンＦＤがリセットされる。そして、フローティングディフュージョンＦＤは、リセット電荷（ＲＥＳ）を保持する。

タイミングｔ７において、選択信号ＳＥＬをオンにすると、フローティングディフュージョンＦＤに蓄積されたリセット電荷（ＲＥＳ）の電圧が出力端子ＯＵＴから読み出される。

タイミングｔ８において、制御信号ＴＸ３，ＴＸ４をオンにすると、フォトダイオードＰＤ３の信号電荷（この信号電荷をＰＤ３とする）、およびフォトダイオードＰＤ４の信号電荷（この信号電荷をＰＤ４とする）が、フローティングディフュージョンＦＤへ転送される。これにより、フローティングディフュージョンＦＤは、電荷（ＰＤ３４＋ＲＥＳ（なお、ＰＤ３４＝ＰＤ３＋ＰＤ４である））を保持する。

タイミングｔ９において、選択信号ＳＥＬをオンにすると、フローティングディフュージョンＦＤに蓄積された電荷（ＰＤ３４＋ＲＥＳ）の電圧が出力端子ＯＵＴから読み出される。

続いて、（図７または図８）および図９を参照して、第２読出（画像用画素優先モード）に係るタイミングチャート（２）を説明する。

図７は、画像用画素優先モードにおける電子シャッタ動作を行うときの撮像素子４の駆動の第１例を示すタイミングチャートである。図７〜図１１において、図５または図６と同様である点については適宜省略し、以下ではより簡潔に説明する。

タイミングｔ７においてリセット信号ＲＥＳをオンにし、オンにしたリセット信号ＲＥＳを、タイミングｔ９においてオフにする。そして、リセット信号ＲＥＳがオンになっているタイミングｔ８において、制御信号ＴＸ１〜ＴＸ４をオンにして、フォトダイオードＰＤ１〜ＰＤ４の信号電荷をリセットする。

図８は、画像用画素優先モードにおける電子シャッタ動作を行うときの撮像素子４の駆動の第２例を示すタイミングチャートである。後で図９を参照して説明するように、画像用画素優先モードにおける画素信号読出においては、タイミングｔ３におけるフォトダイオードＰＤ１，ＰＤ２の信号電荷の読み出しと、タイミングｔ８におけるフォトダイオードＰＤ１〜ＰＤ４の信号電荷の読み出しと、が行われる。そこで、電子シャッタ動作におけるフォトダイオードＰＤ１〜ＰＤ４のリセットをタイミングｔ３およびタイミングｔ８の２度行うことで、電源電圧ＶＤＤの変動が一定（定常的）となるようにしたのが、この図８の電子シャッタ動作である。

すなわち、タイミングｔ２においてリセット信号ＲＥＳをオンにし、オンにしたリセット信号ＲＥＳを、タイミングｔ４においてオフにする。そして、リセット信号ＲＥＳがオンになっているタイミングｔ３において、制御信号ＴＸ１〜ＴＸ４をオンにして、フォトダイオードＰＤ１〜ＰＤ４の信号電荷をリセットする。

さらに、タイミングｔ７においてリセット信号ＲＥＳをオンにし、オンにしたリセット信号ＲＥＳを、タイミングｔ９においてオフにする。そして、リセット信号ＲＥＳがオンになっているタイミングｔ８において、制御信号ＴＸ１〜ＴＸ４をオンにして、フォトダイオードＰＤ１〜ＰＤ４の信号電荷をリセットする。

図９は、画像用画素優先モードにおける画素信号読出を行うときの撮像素子４の駆動例を示すタイミングチャートである。

タイミングｔ１において、リセット信号ＲＥＳをオンにしてフローティングディフュージョンＦＤをリセットし、タイミングｔ２において、リセット電荷（ＲＥＳ）の電圧を読み出す。

タイミングｔ３において、フォトダイオードＰＤ１，ＰＤ２の信号電荷をフローティングディフュージョンＦＤへ転送してタイミングｔ４において電荷（ＰＤ１２＋ＲＥＳ）の電圧を読み出す。

その後、タイミングｔ８において、フォトダイオードＰＤ１〜ＰＤ４の信号電荷をフローティングディフュージョンＦＤへ転送してタイミングｔ９において電荷（ＰＤ１２３４＋ＲＥＳ（なお、ＰＤ１２３４＝ＰＤ１＋ＰＤ２＋ＰＤ３＋ＰＤ４である））の電圧を読み出す。

なお、図９に示す動作を行う場合には、タイミングｔ３で読み出される電荷と、タイミングｔ８で読み出される電荷とは、露光時間が異なることになる。しかし、この露光時間の差は、実際の露光時間（例えば、１／３０秒〜１／１０００秒など）に比べてごく小さいために、実体的な影響はほぼないと考えてよい。

さらに、図１０および図１１を参照して、第３読出（画像のみモード）に係るタイミングチャート（３）を説明する。

図１０は、画像のみモードにおける電子シャッタ動作を行うときの撮像素子４の駆動例を示すタイミングチャートである。

タイミングｔ２においてリセット信号ＲＥＳをオンにし、オンにしたリセット信号ＲＥＳを、タイミングｔ４においてオフにする。そして、リセット信号ＲＥＳがオンになっているタイミングｔ３において、制御信号ＴＸ１〜ＴＸ４をオンにして、フォトダイオードＰＤ１〜ＰＤ４の信号電荷をリセットする。

図１１は、画像のみモードにおける画素信号読出を行うときの撮像素子４の駆動例を示すタイミングチャートである。

タイミングｔ１において、リセット信号ＲＥＳをオンにしてフローティングディフュージョンＦＤをリセットし、タイミングｔ２において、リセット電荷（ＲＥＳ）の電圧を読み出す。

タイミングｔ３において、フォトダイオードＰＤ１〜ＰＤ４の信号電荷をフローティングディフュージョンＦＤへ転送してタイミングｔ４において電荷（ＰＤ１２３４＋ＲＥＳ）の電圧を読み出す。

図１０に示したような電子シャッタ動作を行い、図１１に示したような画素信号読出を行う画像のみモード（第３読出）は、画像用画素信号を取得することはできるが、焦点検出用画素信号を取得することはできない（ただし、読み出しは１回で済む）。

これに対して、図５に示したような電子シャッタ動作を行い、図６に示したような画素信号読出を行う焦点検出用画素優先モード（第１読出）と、図７または図８に示したような電子シャッタ動作を行い、図９に示したような画素信号読出を行う画像用画素優先モード（第２読出）とは、焦点検出用減算部７または画像信号用加算部９を用いることにより、画像用画素信号と焦点検出用画素信号との両方を取得することができる（ただし、読み出しは２回必要となる）。

そこで、焦点検出用画素優先モードと画像用画素優先モードとの、画像用画素信号および焦点検出用画素信号に対するノイズやダイナミックレンジの優劣について説明する。

まず、焦点検出用画素優先モードでは、読み出される焦点検出用画素信号ＰＤ１２，ＰＤ３４に対して、次の数式１および数式２に示すような標準偏差のノイズが生じている。
［数１］

［数２］

そして、焦点検出用画素優先モードにおける画像用画素信号ＰＤ１２３４は、画像信号用加算部９によるＰＤ１２とＰＤ３４との加算により取得されるために、算出された画像用画素信号ＰＤ１２３４のノイズの標準偏差は、次の数式３に示すようになる。なお、算出したノイズの標準偏差σにはダッシュを付して、σ’としている（以下同様）。
［数３］

ここに、数式３に表れる各量は、以下の数式４に示すようになっている。
［数４］

一方、画像用画素優先モードでは、画像用画素信号ＰＤ１２３４が撮像素子４から出力されるために、画像用画素信号ＰＤ１２３４のノイズの標準偏差は、次の数式５に示すようになる。
［数５］

従って、数式３の右辺と数式５の右辺とを比較すれば分かるように（そして、標準偏差σとダッシュ付き標準偏差σ’とはほぼ同等レベルであると考えてよいから）、画像用画素信号ＰＤ１２３４に含まれるノイズの量は、画像用画素優先モードの方が焦点検出用画素優先モードよりも小さくなり、ノイズの観点（Ｓ／Ｎの観点）からは画像用画素優先モードの方が優れていることになる。

一方、焦点検出用画素優先モードでは、焦点検出用画素信号ＰＤ１２，ＰＤ３４が撮像素子４から出力されるために、焦点検出用画素信号ＰＤ１２，ＰＤ３４のノイズの標準偏差は、上記の数式１および数式２に示すようになる。

これに対して、画像用画素優先モードにおける焦点検出用画素信号ＰＤ３４は、画像信号用加算部９による画像用画素信号ＰＤ１２３４から焦点検出用画素信号ＰＤ１２の減算により取得されるために、算出された焦点検出用画素信号ＰＤ３４のノイズの標準偏差は、次の数式６に示すようになる。
［数６］

従って、数式２の右辺と数式６の右辺とを比較すれば分かるように、焦点検出用画素信号ＰＤ３４に含まれるノイズの量は、焦点検出用画素優先モードの方が画像用画素優先モードよりも小さくなり、ノイズの観点（Ｓ／Ｎの観点）からは焦点検出用画素優先モードの方が優れていることになる。

次に、図１２は画素部２２の中央部に位置する４ＰＤ画素構造の画素に照射される光の様子を示す図、図１３は画素部２２の周辺部に位置する４ＰＤ画素構造の画素に照射される光の様子を示す図である。なお、図１２および図１３におけるハッチング部分は、光が照射される部分の例を示している。

一般的な撮影光学系の場合に、画素部２２の中央部は、撮像レンズ２の光軸が直交して交差する部分となる。そして、撮像レンズ２およびマイクロレンズＬにより光束が円形に集光され、図１２に示すように、４つのフォトダイオードＰＤ（ａ，ｂ，ｃ，ｄ）に対して均等に光が分配される。

一方、画素部２２の周辺部では、撮像レンズ２からの光が斜めに入射し、図１３に示すように、光束が円形とは異なる形状（この形状は、撮像レンズ２の光学特性およびマイクロレンズＬの光学特性に依存する）に集光されることがある。このときには、４つのフォトダイオードＰＤ（ａ，ｂ，ｃ，ｄ）に対して分配される光は、均等にならないことがある。

具体的に、図１３に示す例では、４つのフォトダイオードに分配される光量は、ｄ＞（ｂ，ｃ）＞ａとなっている。従って、強い光が入射すると、まず焦点検出用画素ｄに蓄積された電荷が飽和してあふれ出すことになる。

そこで、撮像素子４では、１つの画像用画素内における複数の焦点検出用画素同士を区切るポテンシャル障壁を、複数の画像用画素同士を区切るポテンシャル障壁よりも低くすることで、１つの画像用画素内におけるある焦点検出用画素においてあふれた電荷を、同一の画像用画素内における他の焦点検出用画素に移動する構造（公知の技術に基づく構造）が採用されている。これにより、画像用画素からの電荷あふれを防止して、画像の周辺部における画素値の低下を抑制することができるようになっている。

このような構成の撮像素子４により取得される表示／記録用の画素信号のダイナミックレンジについて、図１４および図１５を参照して説明する。

図１４は、焦点検出用画素優先モードにおいて取得される表示／記録用の画素信号のダイナミックレンジを説明するためのタイミングチャートである。

図５に示したような電子シャッタ動作を行い、図６に示したような画素信号読出を行う焦点検出用画素優先モードでは、フォトダイオードＰＤ１，ＰＤ２の露光期間と、フォトダイオードＰＤ３，ＰＤ４の露光期間とに、開始タイミングのズレ、および終了タイミングのズレが生じる。

図１４に示すＸ期間は、図５のタイミングｔ３とタイミングｔ８とのズレを示す期間であり、図１４に示すＹ期間は共通の露光期間であり、図１４に示すＺ期間は図６のタイミングｔ３とタイミングｔ８とのズレを示す期間である。

そして、もしＸ期間に強い光が入射して、フォトダイオードＰＤ１，ＰＤ２の電荷が、フォトダイオードＰＤ３，ＰＤ４にあふれたとしても、Ｘ期間が終了する時点でフォトダイオードＰＤ３，ＰＤ４がリセットされるために、フォトダイオードＰＤ３，ＰＤ４の電荷は欠損してしまう。

同様に、もしＺ期間に強い光が入射して、フォトダイオードＰＤ３，ＰＤ４の電荷が、フォトダイオードＰＤ１，ＰＤ２にあふれたとしても、Ｙ期間が終了した時点でフォトダイオードＰＤ１，ＰＤ２の電荷は既に読み出されているために、同一フレームの画像には寄与しない（さらに、次のフレームの露光を開始する前にフォトダイオードＰＤ１，ＰＤ２がリセットされてしまうために、結局、電荷の欠損となる。）。

従って、電荷の欠損により画像の輝度が低下したり、（特定色の電荷が欠損することで）画像に色づきが生じたりすることがある。

図１５は、画像用画素優先モードにおいて取得される表示／記録用の画素信号のダイナミックレンジを説明するためのタイミングチャートである。

上述したような焦点検出用画素優先モードに対して、図７または図８に示したような電子シャッタ動作を行い、図９に示したような画素信号読出を行う画像用画素優先モードでは、１つの画像用画素内の全てのフォトダイオードＰＤ１〜ＰＤ４は、図７または図８のタイミングｔ８において一斉に露光が開始されるために、露光開始タイミングにズレは生じない。

また、画像用画素の露光終了タイミングは、図９のタイミングｔ８となるために、焦点検出用画素優先モードのような電荷の欠損は画像用画素に発生しない。

従って、表示／記録用の画素信号のダイナミックレンジという観点からは、焦点検出用画素優先モードよりも、画像用画素優先モードの方が優れている。

次に、撮像素子４により取得される焦点検出用の画素信号のダイナミックレンジについて、図１６および図１７を参照して説明する。

ここでは例えば、画素信号を、上述したＡＤＣ処理部２４あるいは出力部２７などで（高く設定されたＩＳＯ感度に応じて）増感処理する（アナログ信号増幅、デジタル信号増幅の何れでも構わない）ことにより、焦点検出用画素のフォトダイオードＰＤが飽和するレベル（フォトダイオードＰＤに蓄積可能な電荷の最大量）よりも、焦点検出用画素信号のデジタル値の上限レベル（デジタルクリップのレベル（デジタル信号の最大値）であり、例えば１２ビット信号における値「４０９５」）の方が低い場合を考える。

まず、図１６は、焦点検出用画素優先モードにおいて取得される焦点検出用の画素信号のダイナミックレンジを説明するためのタイミングチャートである。

単位時間当たりに画素に入射する光量が一定であるとすると、露光時間ｔの増加に応じて、画素信号値は単調増加する。焦点検出用画素優先モードでは、例えばＰＤ１２とＰＤ３４とが出力されるために、ＰＤ１２とＰＤ３４との内の何れかが先にデジタルクリップするまで（例えば、１２ビット信号の場合に、ＰＤ１２とＰＤ３４との内の何れかが先に４０９５の値に達するまで（図１６の例ではＰＤ１２＞ＰＤ３４であるために、ＰＤ１２が４０９５の値に達するまで））は、ＰＤ１２およびＰＤ３４は露光量に応じた信号値を保持している。

一方、図１７は、画像用画素優先モードにおいて取得される焦点検出用の画素信号のダイナミックレンジを説明するためのタイミングチャートである。

画像用画素優先モードでは、例えばＰＤ１２３４とＰＤ１２とが出力されるが、信号値にはＰＤ１２３４＞ＰＤ１２の関係がある。従って、ＰＤ１２３４がデジタルクリップするまでしか、ＰＤ１２３４は露光量に応じた信号値を保持することができない。ＰＤ１２３４がデジタルクリップすると、ＰＤ３４＝ＰＤ１２３４−ＰＤ１２の算出を行ったとしても、図１７に示すように、露光量に応じた正しい信号値ＰＤ３４を得ることはできない。

そして一般的に、ＰＤ１２３４がデジタルクリップしても、ＰＤ１２とＰＤ３４とはデジタルクリップしていないと考えられる。

従って、焦点検出用の画素信号のダイナミックレンジという観点からは、画像用画素優先モードよりも、焦点検出用画素優先モードの方が優れている。

図１８は、焦点検出用画素優先モード（タイミングチャート（１））、画像用画素優先モード（タイミングチャート（２））、画像のみモード（タイミングチャート（３））、のそれぞれにおいて取得される表示／記録用の画素信号および焦点検出用の画素信号の、Ｓ／Ｎおよびダイナミックレンジにおける優劣を説明するための図表である。この図１８において、優れているものを「○」により、優れているものと比較して劣っているものを「△」により、該当するものがない場合を「−」により、それぞれ表している。

図１８に示すように、Ｓ／Ｎとダイナミックレンジ（図１８中において「Ｄレンジ」と記載している）との何れにおいても、焦点検出用の画素信号については焦点検出用画素優先モード（タイミングチャート（１））の方が画像用画素優先モード（タイミングチャート（２））よりも優れ、表示／記録用の画素信号については画像用画素優先モード（タイミングチャート（２））の方が焦点検出用画素優先モード（タイミングチャート（１））よりも優れている。また、画像のみモード（タイミングチャート（３））は、表示／記録用の画素信号については優れているが、焦点検出用の画素信号は取得されない。

図１９は、焦点検出用データの要／不要と、焦点検出用画素と画像用画素との何れを優先するかと、に応じて撮像素子４をどのタイミングチャートに従って駆動するかを分類した図表である。

上述したように、第１読出に係るタイミングチャート（１）は図５および図６を示し、第２読出に係るタイミングチャート（２）は（図７または図８）および図９を示し、第３読出に係るタイミングチャート（３）は図１０および図１１を示している。

制御部（素子制御部２９およびシステム制御部１４）は、焦点検出用画素信号が不要である場合には第３読出を行うように撮像部（ここでは例えば撮像素子４）を制御する。また、焦点検出用画素信号が必要である場合には、次のようになる。すなわち、制御部は、焦点検出用画素信号を画像用画素信号よりも優先する場合には第１読出を行うように撮像部を制御し、画像用画素信号を焦点検出用画素信号よりも優先する場合には第２読出を行うように撮像部を制御する。

具体的に、図１９に示すように、例えば静止画撮影などの、焦点検出用データ（焦点検出用画素信号）が不要である場合には、タイミングチャート（３）（画像のみモード）が選択され使用される。

また、焦点検出用データ（焦点検出用画素信号）が必要である場合には、焦点検出用画素信号を優先するか、あるいは画像用画素信号を優先するかに応じて、選択され使用されるタイミングチャートが異なる。

すなわち、焦点検出用画素信号を優先する場合（例えば、表示用あるいは記録用の画像が不要であって、焦点検出用画素信号のみが必要な場合など）には、タイミングチャート（１）（焦点検出用画素優先モード）が選択され使用される。これにより、焦点検出用画素優先モードにおいては、図１７を参照して説明したような、デジタルクリップにより焦点検出用画素信号の一方を復元することができなくなることがなく、広いダイナミックレンジの焦点検出用画素信号を得ることができる。

また、画像用画素信号を優先する場合（例えば、ライブビュー、あるいは動画撮影などの、焦点検出用画素信号が必要であるが、画像の画質を優先する場合）には、タイミングチャート（２）（画像用画素優先モード）が選択され使用される。これにより、画像用画素優先モードにおいては、表示画像や記録画像のＳ／Ｎが高くなり、Ｘ期間やＺ期間における電荷欠損が生じることもないために、広いダイナミックレンジの画像を得ることができる。

この図１９に示した選択方法は、カメラモードが、静止画撮影モード、動画撮影モード、ライブビューモード、ＡＦモードの何れである場合にも、共通して適用される。

図２０は、撮像装置１の作用を示すフローチャートである。この図２０および後述する図２１、図２２の各動作は、システム制御部１４の制御に基づいて撮像装置１により行われるようになっている。

この処理を開始すると、入力ＩＦ１３の第１ボタンがオンであるか否かを判定する（ステップＳ１）。

ここで、第１ボタンがオフであると判定された場合には、入力ＩＦ１３の第２ボタンがオンであるか否かを判定する（ステップＳ２）。

さらに、第２ボタンがオフであると判定された場合には、入力ＩＦ１３の第３ボタンがオンであるか否かを判定する（ステップＳ３）。

そして、ステップＳ１において、第１ボタンがオンであると判定された場合には、後で図２１を参照して説明するようなＡＦ用処理を行う（ステップＳ４）。

また、ステップＳ２において、第２ボタンがオンであると判定された場合には、後で図２２を参照して説明するような静止画用処理を行う（ステップＳ５）。

さらに、ステップＳ３において、第３ボタンがオンであると判定された場合には、後述する図２２の処理とほぼ同様の動画用処理を行う（ステップＳ６）。

一方、ステップＳ３において、第３ボタンがオフであると判定された場合には、記録処理が不要である点を除いて後述する図２２の処理とほぼ同様のライブビュー（ＬＶ）用処理を行う（ステップＳ７）。

そして、ステップＳ４〜Ｓ７の何れかの処理を行ったら、ステップＳ１の処理へ戻る。

図２１は、図２０におけるステップＳ４のＡＦ用処理の内容を示すフローチャートである。

この処理を開始すると、焦点検出用データが必要であるか否かを判定する（ステップＳ１１）。

ここで焦点検出用データが必要であると判定された場合には、画像用画素信号を優先するか、または焦点検出用画素信号を優先するかを判定する（ステップＳ１２）。

画像用画素信号を優先すると判定された場合には、システム制御部１４からの指令に基づいて、素子制御部２９の読出方法選択部３０が（図７または図８）および図９に示したタイミングチャート（２）の動作（第２読出）を選択して設定する（ステップＳ１３）。

そして、設定されたタイミングチャート（２）に基づいて露光を行い（ステップＳ１４）、画素信号の読み出しを行う（ステップＳ１５）。

読み出される画素信号は、上述したように、例えばＰＤ１２３４およびＰＤ１２であるために、焦点検出用減算部７により、ＰＤ３４＝ＰＤ１２３４−ＰＤ１２の焦点検出用減算処理が行われる（ステップＳ１６）。

また、ステップＳ１２において、焦点検出用画素信号を優先すると判定された場合には、システム制御部１４からの指令に基づいて、素子制御部２９の読出方法選択部３０が図５および図６に示したタイミングチャート（１）の動作（第１読出）を選択して設定する（ステップＳ１７）。

そして、設定されたタイミングチャート（１）に基づいて露光を行い（ステップＳ１８）、画素信号の読み出しを行う（ステップＳ１９）。

ここで、例えば、位相差ＡＦ以外に、さらにコントラストＡＦを行う場合などもあるために、コントラストを取得するか否かを判定する（ステップＳ２０）。

コントラストを取得しないと判定された場合には、フレーム画像を表示するか否かをさらに判定する（ステップＳ２１）。

そして、ステップＳ２０においてコントラストを取得すると判定された場合、またはステップＳ２１においてフレーム画像を表示すると判定された場合には、画像用画素信号が必要となるために、画像信号用加算処理を行う（ステップＳ２２）。すなわち、読み出される画素信号は、上述したように、例えばＰＤ１２およびＰＤ３４であるために、画像信号用加算部９により、ＰＤ１２３４＝ＰＤ１２＋ＰＤ３４の加算処理を行う。

一方、ステップＳ１１において、焦点検出用データは不要であると判定された場合には、システム制御部１４からの指令に基づいて、素子制御部２９の読出方法選択部３０が図１０および図１１に示したタイミングチャート（３）の動作（第３読出）を選択して設定する（ステップＳ２３）。

そして、設定されたタイミングチャート（３）に基づいて露光を行い（ステップＳ２４）、画素信号の読み出しを行う（ステップＳ２５）。

ステップＳ１６の処理、ステップＳ２２の処理、ステップＳ２５の処理の何れかを行うか、またはステップＳ２１においてフレーム画像を表示しないと判定された場合には、焦点検出用信号処理部８が、焦点検出用画素信号（例えばＰＤ１２およびＰＤ３４）に基づいて位相差ＡＦ検出を行い、あるいは画像用画素信号（例えばＰＤ１２３４）に基づいてコントラストを算出してコントラストＡＦ検出を行う（ステップＳ２６）。

続いて、フレーム画像を表示するか否かを判定する（ステップＳ２７）。

ここで、フレーム画像を表示すると判定された場合には、画像用画素信号（例えばＰＤ１２３４）に基づいて画像信号処理部１０が画像信号処理を行い（ステップＳ２８）、表示部１１に画像を表示する処理を行う（ステップＳ２９）。

このステップＳ２９を行った後、またはステップＳ２７においてフレーム画像を表示しないと判定された場合には、この処理から図２０に示した処理にリターンする。

図２２は、図２０におけるステップＳ５の静止画用処理の内容を示すフローチャートである。

この静止画用処理において、ステップＳ１１において焦点検出用データが不要であると判定された場合にはステップＳ２３〜Ｓ２５の処理を行い、ステップＳ１２において画像用画素信号を優先すると判定された場合にはステップＳ１３〜Ｓ１６の処理を行い、ステップＳ１２において焦点検出用画素信号を優先すると判定された場合にはステップＳ１７〜Ｓ１９の処理を行うことは、上述したＡＦ用処理と同様である。

ただし、静止画用処理においては、画像用画素信号が必要であるために、ステップＳ２０およびステップＳ２１の判定を行うことなく、ステップＳ１９で読み出した画素信号からステップＳ２２において画像信号用加算処理を行う。

ステップＳ１６またはステップＳ２２の処理を行ったらステップＳ２６で焦点検出用信号処理を行ってからステップＳ２８の処理へ進むが、ステップＳ２５の処理を行った後はステップＳ２６の処理をスキップしてステップＳ２８の処理へ進む。図２１はＡＦ用処理であるために、焦点検出用画素信号が不要であっても、ステップＳ２５の処理を行った後はステップＳ２６へ行ってコントラストＡＦを行っていた。これに対して、図２２は静止画用処理であるために、ステップＳ２６の焦点検出用信号処理をスキップしている。

その後、ステップＳ２８の画像信号処理を行ったら、ステップＳ２９で表示部１１に画像を表示する処理を行い、さらに記録部１２に画像を記録する処理を行う（ステップＳ３０）。このステップＳ３０の処理を行ったら、この処理から図２０に示した処理にリターンする。

なお、図２０のステップＳ６における動画用処理は、例えばフレーム単位で、この図２２に示した静止画用処理とほぼ同様の処理を行うことになる。また、図２０のステップＳ７におけるＬＶ用処理は、同様にフレーム単位で、この図２２に示した静止画用処理とほぼ同様の処理を行うが、ライブビューでは画像の記録は不要であるために、ステップＳ３０をスキップすることになる。

図２３は、１フレーム毎に、焦点検出用画素優先モードによる撮像素子４の動作と、画像用画素優先モードによる撮像素子４の動作と、を交互に行う例を示すタイミングチャートである。

実際の撮像装置１の動作においては、ライブビューを行っている最中にもオートフォーカスが行われる。この図２３は、このような実用的な撮像素子４の動作例を示している。

いわゆるローリングシャッタの動作を行う際には、垂直同期信号ＶＤに同期して第１行目の画素信号の読み出しが行われ、その後も行毎に（あるいは複数行毎でもよい）、読み出しが順次行われる。そして、任意の行について、読み出し時点から露光時間だけ遡った時点で電子シャッタ動作が行われるようになっている。

ここで、例えば１２０ｆｐｓのフレームレートで（つまり、８．３ｍｓの時間間隔で）ライブビュー画像を取得する場合に、垂直同期信号ＶＤを２４０ｆｐｓ（つまり、４．２ｍｓの時間間隔）に設定して、垂直同期信号ＶＤに同期して、ライブビュー画像の読み出しと、焦点検出用画素信号の読み出しと、を交互行う。

具体的に、ある垂直同期信号ＶＤに同期して、図６に示したようなタイミングチャート（１）に従って、水平方向の位相差検出（縦線検知）を行うための一対の焦点検出用画素信号（例えば、ＰＤ１２とＰＤ３４）を読み出す（図２３において、ＲＬ（右左）と記載している）。このときには、読み出しから露光時間だけ遡った時点で、図５に示したようなタイミングチャート（１）に従って電子シャッタ動作が行われることになる。

続いて、次の垂直同期信号ＶＤに同期して、図９に準じたタイミングチャート（２）に従って（ただし、図９のタイミングｔ３において、制御信号ＴＸ１，ＴＸ２をオンにするのに代えて、制御信号ＴＸ１，ＴＸ３をオンにすることになる）、垂直方向の位相差検出（横線検知）を行うための一対の焦点検出用画素信号の一方（例えば、ＰＤ１３）と、画像用画素信号（例えば、ＰＤ１２３４）と、を読み出す（図２３において、ＴＢ（上下）と記載している）。このときには、読み出しから露光時間だけ遡った時点で、図７または図８に示したようなタイミングチャート（２）に従って電子シャッタ動作が行われることになる。さらにその後、焦点検出用減算部７により、ＰＤ２４＝ＰＤ１２３４−ＰＤ１３の焦点検出用減算処理を行って、横線検知に必要な一対の焦点検出用画素信号の他方ＰＤ２４を復元する。

その後も同様にして、水平方向の位相差検出用の一対の焦点検出用画素信号の両方の読み出しと、垂直方向の位相差検出用の一対の焦点検出用画素信号の一方および画像用画素信号の読み出しと、を交互に行う。

なお、上述したような処理に代えて、垂直方向の位相差検出用の一対の焦点検出用画素信号の両方の読み出しと、水平方向の位相差検出用の一対の焦点検出用画素信号の一方および画像用画素信号の読み出しと、を交互に行うようにしても構わない。

こうして、制御部であるシステム制御部１４および素子制御部２９は、第１読出と第２読出とを１フレーム毎に交互に行うように撮像部を制御するようになっている。さらに、図２３に示す例では、第１読出における第１の瞳分割方向と、第２読出における第２の瞳分割方向とは、異なる方向となっている（ただし、第１の瞳分割方向と第２の瞳分割方向とを同一の方向としても構わない）。なお、異なる瞳分割の方向の焦点検出用画素信号を得るには、画像用画素は３以上（好ましくは４以上）の焦点検出用画素に分割されていることが必要である。

また、４種類以上の焦点検出用画素信号を、２以上のフレームに分けて出力しても構わない。一例を挙げれば、４つのフレームを基本周期として、第１のフレームで画像用画素および左上から右下方向への一対の焦点検出用画素の一方を読み出し、第２のフレームで水平方向の一対の焦点検出用画素を読み出し、第３のフレームで画像用画素および左下から右上方向への一対の焦点検出用画素の一方を読み出し、第４のフレームで水平方向の一対の焦点検出用画素を読み出す、等である。このときにも、画像用画素信号を優先するフレームはタイミングチャート（２）に準じて読み出しを行い、焦点検出用画素信号を優先するフレームはタイミングチャート（１）に準じて読み出しを行うことになる。

上述した図２３に示すような処理を行うことにより、ライブビューを行っている最中に焦点検出を行うことが可能になるだけでなく、さらに、縦線検知と横線検知との両方（あるいはさらに異なる方向の検知）を行うことができるために、焦点検出の精度を向上することができる。

なお、上述では、画像用画素を焦点検出用画素信号に分割する仕方として、左右分割や上下分割（両方可能な上下左右４分割）などを主として挙げたが、斜め方向に分割しても構わないし、分割数は４より大きくてもよい（ただし、上述したように２〜４の分割数でも構わない）し、上述した例に限定されるものではない。

また、フォトダイオードＰＤで生成された画素信号をＲＡＷ記録する場合にも、上述したようなタイミングチャート（１）〜（３）の使い分けを同様に適用することができる。

このような実施形態１によれば、あるフレームにおいて一対の焦点検出用画素信号の両方を生成して読み出す第１読出を行い、他のあるフレームにおいて一対の焦点検出用画素信号の一方と画像用画素信号とを生成して読み出す第２読出を行うようにしたために、第１読出を行うことでＳ／Ｎが高くダイナミックレンジが広い焦点検出用画素信号を得ることができ、第２読出を行うことでＳ／Ｎが高くダイナミックレンジが広い画像用画素信号を得ることができ、用途に応じた使い分けが可能となる。

また、焦点検出用画素信号を優先する場合には第１読出を行い、画像用画素信号を優先する場合には第２読出を行うことで、高画質の画像用画素信号と、高画質の焦点検出用画素信号とを用途に応じて適切に得ることができる。

さらに、画像用画素信号のみを読み出す第３読出を行うことで、高画質の画像用画素信号のみを得ることができる。この第３読出を、焦点検出用画素信号が不要である場合に行うことで、撮像装置の負荷および消費電力を低減し、読出時間を短縮することができる。また、第１読出および第２読出は１つの画像用画素に対して２回の読み出しを行うのに対して、第３読出は１つの画像用画素に対する読み出しが１回で済むために、いわゆるローリングシャッタの幕速を速くすることができる。これにより、高速に移動する物体の歪みを軽減して、より高品質のフレーム画像を得ることができる。

そして、例えば図２３に示したように、制御部は、第１読出と第２読出とを１フレーム毎に交互に行うことで、高画質の焦点検出用画素信号および高画質の画像用画素信号を交互に得ることができる。これにより、例えば動画撮影あるいはライブビュー等における高画質のフレーム画像の取得と高精度の位相差検出との両方を行うことが可能となる。このとき、第１読出における第１の瞳分割方向と、第２読出における第２の瞳分割方向とを異なる方向とすることで、複数の異なる方向の位相差を検出することが可能となり、焦点検出の精度をさらに向上することができる。

加えて、第１読出が行われたときに、一対の焦点検出用画素信号の両方を加算して画像用画素信号を生成することで、高画質の焦点検出用画素信号に加えて、ある程度の画質の画像用画素信号を得ることも可能となる。

一方、第２読出が行われたときに、画像用画素信号から一対の焦点検出用画素信号の一方を減算して一対の焦点検出用画素信号の他方を生成することで、高画質の画像用画素信号に加えて、ある程度の画質の焦点検出用画素信号を得ることも可能となる。

なお、上述した各部の処理は、ハードウェアとして構成されたプロセッサが行うようにしてもよい。

また、上述では主として撮像装置について説明したが、撮像装置を上述したように制御する制御方法であってもよいし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像装置
２…撮像レンズ
３…シャッタ
４…撮像素子
５…データバス
６…メモリ
７…焦点検出用減算部
８…焦点検出用信号処理部
９…画像信号用加算部
１０…画像信号処理部
１１…表示部
１２…記録部
１３…入力ＩＦ
１４…システム制御部
２１…垂直走査部
２２…画素部
２３…アナログ処理部
２４…ＡＤＣ処理部
２５…メモリ部
２６…水平走査部
２７…出力部
２８…入力部
２９…素子制御部
３０…読出方法選択部
Ｆ…カラーフィルタ
Ｌ…マイクロレンズ
ＰＤ…フォトダイオード
ＰＤ１〜ＰＤ４…フォトダイオード
Ｔｒ１〜Ｔｒ７…トランジスタ
ＴＸ１〜ＴＸ４…制御信号
ＦＤ…フローティングディフュージョン
ＯＵＴ…出力端子
ＲＥＳ…リセット信号
ＳＥＬ…選択信号
ＶＤＤ…電源電圧

Claims (9)

1. マイクロレンズに対応する画像用画素を有し、前記画像用画素は撮影光学系の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する複数の焦点検出用画素に分割されており、前記光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成する撮像部と、
   あるフレームにおいて、前記光電変換信号に基づいて第１の瞳分割方向における一対の前記焦点検出用画素信号の両方を生成して読み出す第１読出を行い、他のあるフレームにおいて、前記光電変換信号に基づいて第２の瞳分割方向における一対の前記焦点検出用画素信号の一方を生成すると共に、１つの前記画像用画素内で生成された全ての前記光電変換信号を加算することで前記画像用画素信号を生成し、生成した一方の前記焦点検出用画素信号および前記画像用画素信号を読み出す第２読出を行うように、前記撮像部を制御する制御部と、
   を具備することを特徴とする撮像装置。
2. 前記制御部は、前記焦点検出用画素信号を前記画像用画素信号よりも優先する場合には前記第１読出を行うように前記撮像部を制御し、前記画像用画素信号を前記焦点検出用画素信号よりも優先する場合には前記第２読出を行うように前記撮像部を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、さらに他のあるフレームにおいて、１つの前記画像用画素内で生成された全ての前記光電変換信号を加算することで前記画像用画素信号を生成し、生成した前記画像用画素信号のみを読み出す第３読出を行うように前記撮像部を制御することを特徴とする請求項１に記載の撮像装置。
4. 前記制御部は、前記焦点検出用画素信号が不要である場合には前記第３読出を行うように前記撮像部を制御することを特徴とする請求項３に記載の撮像装置。
5. 前記制御部は、前記第１読出と前記第２読出とを１フレーム毎に交互に行うように前記撮像部を制御することを特徴とする請求項１に記載の撮像装置。
6. 前記画像用画素は３以上の前記焦点検出用画素に分割されており、
   前記第１の瞳分割方向と前記第２の瞳分割方向とは異なる方向であることを特徴とする請求項５に記載の撮像装置。
7. 前記第１読出が行われたときに、一対の前記焦点検出用画素信号の両方を加算して前記画像用画素信号を生成する画像信号用加算部をさらに具備することを特徴とする請求項１に記載の撮像装置。
8. 前記第２読出が行われたときに、前記画像用画素信号から一対の前記焦点検出用画素信号の一方を減算することで、一対の前記焦点検出用画素信号の他方を生成する焦点検出用減算部をさらに具備することを特徴とする請求項１に記載の撮像装置。
9. マイクロレンズに対応する画像用画素を有し、前記画像用画素は撮影光学系の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する複数の焦点検出用画素に分割されており、前記光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成する撮像部を備える撮像装置の制御方法であって、
   あるフレームにおいて、前記光電変換信号に基づいて第１の瞳分割方向における一対の前記焦点検出用画素信号の両方を生成して読み出す第１読出を行い、
   他のあるフレームにおいて、前記光電変換信号に基づいて第２の瞳分割方向における一対の前記焦点検出用画素信号の一方を生成すると共に、１つの前記画像用画素内で生成された全ての前記光電変換信号を加算することで前記画像用画素信号を生成し、生成した一方の前記焦点検出用画素信号および前記画像用画素信号を読み出す第２読出を行うように、
   前記撮像部を制御することを特徴とする撮像装置の制御方法。

Images