JP7566065B2 - 撮像素子及び撮像装置 - Google Patents

Description

本発明は、撮像素子及び撮像装置に関するものである。

近年、ＣＭＯＳ撮像素子などを用いた撮像装置において、様々なニーズに対応するべく高機能化、多機能化が進んでいる。ＣＭＯＳ撮像素子は、多画素化、高速撮像化が進み、より高速に画素信号を読み出せる方式への要求が高まっている。

例えば、高速読み出しを行う方式としては、特許文献１に記載されているように、列毎にアナログ／デジタル変換回路（以下、列ＡＤＣ）を配置し、デジタル出力を行う方式が近年普及している。列ＡＤＣを導入することで、撮像素子の外部への画素信号の伝送をデジタルで行うことが可能となり、デジタル信号伝送の技術向上に伴い、高速読み出しが可能となる。

一方、多機能化の例としては、例えば光の強度分布のみならず、光の入射方向や距離情報をも取得可能な撮像装置が提案されている。特許文献２では、撮像素子から得られた信号を用いて焦点検出が可能な撮像素子について開示されている。１つのマイクロレンズに対応するフォトダイオード（以下、ＰＤ）を２つに分割することによって、各ＰＤが撮影レンズの異なる瞳面の光を受光するように構成されている。そして、２つのＰＤの出力を比較することによって、焦点検出を行っている。また、単位画素を構成する２つのＰＤからの出力信号を加算することで、通常の撮像画像を得ることもできる。

また、特許文献３に記載の撮像装置は、ライブビュー表示のための撮像用信号、焦点検出用信号、露光制御用信号を、同じフレームの一回の垂直走査で固体撮像素子から読み出すモードを備えている。そして、特許文献３に記載の撮像装置は、焦点検出制御および露光制御の両方を高速化した上でライブビュー表示ができるとしている。

特開２００５－２７８１３５号公報 特許第３７７４５９７号公報 特開２００９－８９１０５号公報

しかし、特許文献２、特許文献３に開示されているような撮像素子において焦点検出や露光制御を行う場合、全てのＰＤの信号を読み出す必要があるため、ＰＤの信号を読み出すのに必要な時間が長くなり、フレームレートが下がってしまうという課題がある。特許文献１のように列ＡＤＣを用いた読み出し方式により信号読み出し時間を高速化しても、今後更なる多画素化、高フレームレート化が進むことが予想され、信号読み出し時間の更なる短縮が望まれる。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、焦点検出信号のような撮像装置の駆動制御に必要な信号を撮像素子から出力するためにかかる時間を大幅に短縮できる撮像素子を提供することである。

本発明に係わる撮像素子は、各々が１つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部と、前記単位画素の各々における前記複数の光電変換部のうちの一部の光電変換部に蓄積された電荷に対応する信号と、前記複数の光電変換部のすべてに蓄積された電荷を混合して得られた電荷に対応する信号とを前記単位画素の各々から読み出すように前記画素部を駆動する駆動部と、前記駆動部により前記画素部から読み出された信号をデジタル信号に変換する複数のＡ／Ｄ変換部と、前記デジタル信号を保持するメモリ部と、前記メモリ部に保持された前記デジタル信号に基づく信号を出力する出力部と、を備え、前記メモリ部は、前記画素部から読み出された複数画素行のデジタル信号を保持し、前記出力部は、前記単位画素の各々における前記複数の光電変換部のうちの一部の光電変換部に蓄積された電荷に対応する信号および前記複数の光電変換部のすべてに蓄積された電荷を混合して得られた電荷に対応する信号に基づく信号を出力し、前記画素部が第１の半導体基板に形成されるとともに、前記メモリ部が前記第１の半導体基板と異なる第２の半導体基板に形成され、前記第１の半導体基板と前記第２の半導体基板は互いに積層されていることを特徴とする。

本発明によれば、焦点検出信号のような撮像装置の駆動制御に必要な信号を撮像素子から出力するためにかかる時間を大幅に短縮できる撮像素子を提供することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 第１の実施形態の撮像素子の単位画素の構成を説明する図。 撮影レンズの射出瞳から出射された光束が単位画素に入射する概念図。 第１の実施形態の撮像素子の構成を示すブロック図。 第１の実施形態の撮像素子の画素回路及び読み出し回路を説明する図。 第１の実施形態の撮像素子の信号読み出し動作を示すタイミングチャート。 第１の実施形態の撮像素子における信号処理部の構成を説明する図。 第２の実施形態の画素領域における焦点検出用信号出力領域を示した図。 本発明の第３の実施形態に係わる撮像装置の構成を示すブロック図。 第３の実施形態における撮像面位相差ＡＦの処理の流れを示すフローチャート。 第３の実施形態における焦点検出領域の選択画面を示す図。 第３の実施形態における被写体検出結果画面を示す図。 第４の実施形態の撮像素子の構成を説明する図。 第４の実施形態の撮像素子の画素回路及び読み出し回路を説明する図。 第５の実施形態の撮像素子の全体構成図。 第５の実施形態の撮像素子の全体構成図。 第６の実施形態の撮像素子の全体構成図。 第７の実施形態に係わる撮像装置の構成を示すブロック図。 第８の実施形態に係わる撮像装置の構成を示すブロック図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の撮像素子を有する撮像装置の構成を示すブロック図である。撮像素子１００は、受光部１０２、読み出し部１０３、制御部１０４、信号処理部１０５、出力部１０６を備えて構成される。受光部１０２は、複数の単位画素が行列状に配置されており、撮影レンズ１０１により結像された光学像を受光する。受光部１０２の構成については後述する。読出し部（ＡＤ変換部）１０３は、制御部１０４の駆動制御信号を受けて、受光部１０２から出力される画像信号をＡ／Ｄ変換し、信号処理部１０５に送る。

信号処理部１０５は、Ａ／Ｄ変換された画像信号に対して、信号の加算、減算、乗算等の演算処理や、出力部１０６を介して撮像素子１００から外部に出力する信号の選択処理などを行う。また、信号処理部１０５では、基準レベル調整等の各種補正やデータの並べ替えなども行う。これらの処理は、制御部１０４からの制御信号を受けて実行される。信号処理部１０５の詳細は後述するが、信号処理部１０５においては、受光部１０２から得られた画像信号に対して、撮像画像用の信号処理と焦点検出用の信号処理を行い、それらを出力部１０６に送る。出力部１０６は、信号処理部１０５により処理された画像信号を撮像素子１００の外部に出力する。

画像処理部１０７は、撮像素子１００の出力部１０６から撮像画像用の信号を受け取り、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、画像補正等の画像処理や、解像度変換処理、画像圧縮処理などを行い、静止画像や動画像を生成する。位相差検出部１０８は、出力部１０６からの焦点検出用の信号を受けて、焦点検出を行うための位相差評価値を算出する。

全体制御・演算部１０９は、撮像素子１００や撮像装置全体の統括的な駆動及び制御を行う。表示部１１０は、撮影後の画像やライブビュー画像、各種設定画面等を表示する。記録部１１１及びメモリ部１１２は、全体制御・演算部１０９から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。操作部１１３は、撮像装置に備え付けられた操作部材によりユーザーの命令を受け付け、全体制御・演算回路１０６にその命令を入力する。レンズ制御部１１４は、位相差検出部１０８で算出された位相差評価値に基づいて光学系駆動情報を算出し、撮影レンズ１０１のフォーカスレンズ位置を制御する。

次に、本実施形態の撮像装置における撮影レンズ１０１、撮像素子１００の受光部１０２の関係と、画素の定義、及び瞳分割方式による焦点検出の原理について説明する。

図２は、撮像素子１００の単位画素２００の構成を示す模式図である。図２において、マイクロレンズ２０２は、撮影レンズ１０１によって撮像素子１００上に結像された光を画素毎にさらに集光する。フォトダイオード（ＰＤ）からなる光電変換部２０１Ａ，２０１Ｂは、単位画素２００に入射した光を受光し、その受光量に応じた信号電荷を生成して蓄積する。単位画素２００は、１つのマイクロレンズ２０２の下に２つの光電変換部を有することによって、２つの光電変換部２０１Ａ，２０１Ｂが、２つに分割された射出瞳領域の光を各々受光可能である。光電変換部２０１Ａ，２０１Ｂの２つの信号を、画素毎に混合した信号が、画像生成用としての１画素の出力信号である。また、画素毎に２つの光電変換部から得られる信号を比較することで、撮影レンズ１０１の焦点検出を行うことができる。すなわち、単位画素２００内のある領域において、光電変換部２０１Ａから得られる信号と、光電変換部２０１Ｂから得られる信号を相関演算することで、左右方向に瞳分割された位相差検出方式の焦点検出が可能である。

図３は、撮影レンズ１０１を通過した光が１つのマイクロレンズ２０２を通過して撮像素子１００の受光部１０２の単位画素２００で受光される様子を光軸（Ｚ軸）に対して垂直な方向（Ｙ軸方向）から観察した図である。撮影レンズの射出瞳３０２，３０３を通過した光は、光軸を中心として単位画素２００に入射する。その際に、レンズ絞り３０１により入射光量が調節される。図３に示すように瞳領域３０２を通過する光束はマイクロレンズ２０２を通過して光電変換部２０１Ａで受光され、瞳領域３０３を通過する光束はマイクロレンズ２０２を通して光電変換部２０１Ｂで受光される。したがって、光電変換部２０１Ａ，２０１Ｂは、それぞれ撮影レンズの射出瞳の異なる領域の光を受光する。

撮影レンズ１０１からの光を瞳分割する光電変換部２０１Ａの信号をＸ軸方向に並ぶ複数の単位画素２００から取得し、これらの出力信号群で構成した被写体像をＡ像とする。同様に瞳分割する光電変換部２０１Ｂの信号をＸ軸方向に並ぶ複数の単位画素２００から取得し、これらの出力信号群で構成した被写体像をＢ像とする。

Ａ像とＢ像に対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出する。さらに像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報に基づいて撮影レンズ１０１のフォーカス位置を制御することで、撮像面位相差ＡＦ（オートフォーカス）が可能となる。また、Ａ像信号とＢ像信号との足し合わせた信号をＡ＋Ｂ像信号とすることで、このＡ＋Ｂ像信号を通常の撮影画像に用いることができる。

次に、撮像素子１００の受光部１０２と読み出し部１０３の構成を図４、図５を用いて説明する。図４は、撮像素子１００の受光部１０２と読出し部１０３の構成例を示すブロック図である。

受光部１０２は、画素部４０１と駆動回路部４０２とを有する。画素部４０１には、複数の単位画素２００が水平方向（行方向）および垂直方向（列方向）に行列状に複数配列されている。図４においては、単位画素２００を２行３列の計６個のみ図示しているが、実際には数百万、数千万の単位画素２００が配置されている。駆動回路部４０２は、画素部４０１を駆動するための電源回路、タイミングジェネレータ（ＴＧ）、走査回路などを含む。駆動回路部４０２によって画素部４０１を駆動することにより、画素部４０１の全撮像領域の画素信号が画素部４０１から読み出し部１０３に出力される。駆動回路部４０２は、図１の制御部１０４からの制御を受けて駆動される。読み出し部１０３に入力された画素部４０１からの画素信号に対し、アナログデジタル変換（Ａ／Ｄ変換）が行われる。なお、読出し部１０３は複数の読み出し回路、例えば１列に１つの読み出し回路を備えて構成される。

ところで、画素部４０１の駆動方法に関して、互いに隣接する行が異なる条件（フレームレート、蓄積時間など）で駆動されると、クロストークやブルーミング等のノイズが発生し易くなる。しかしながら、本実施形態では、駆動回路部４０２が画素部４０１を全領域一様に同じ条件で駆動するため、このような問題は発生しない。

図５は、撮像素子１００の単位画素２００、及び読み出し部１０３を構成する読み出し回路５０９の一例を示す図である。単位画素２００において、フォトダイオード（ＰＤ）からなる光電変換部２０１Ａには転送スイッチ５０２Ａが接続され、光電変換部２０１Ｂには転送スイッチ５０２Ｂが接続される。光電変換部２０１Ａ，２０１Ｂで発生した電荷は、それぞれ転送スイッチ５０２Ａ，５０２Ｂを介して共通のフローティングディフュージョン部（ＦＤ）５０４に転送され、一時的に保存される。ＦＤ５０４に転送された電荷は、選択スイッチ５０６がオンされると、ソースフォロワアンプを形成する増幅ＭＯＳトランジスタ（ＳＦ）５０５を介して電荷に対応した電圧として列出力線５０７に出力される。列出力線５０７には電流源５０８が接続されている。

リセットスイッチ５０３は、ＦＤ５０４の電位、及び転送スイッチ５０２Ａ，５０２Ｂを介して光電変換部２０１Ａ，２０１Ｂの電位をＶＤＤにリセットする。転送スイッチ５０２Ａ，５０２Ｂ、リセットスイッチ５０３、選択スイッチ５０６は、それぞれ周辺の駆動回路部４０２に接続されている信号線を介して、制御信号ＰＴＸＡ、ＰＴＸＢ、ＰＲＥＳ、ＰＳＥＬにより制御される。

次に、読み出し回路５０９の回路構成について説明する。アンプ５１０は、列出力線５０７に出力された信号を増幅し、容量５１２は信号電圧を保持するために用いられる。容量５１２への書き込みは、制御信号ＰＳＨによりオン、オフされるスイッチ５１１により制御される。比較器５１３の一方の入力には、不図示のスロープ電圧発生回路から供給された参照電圧Ｖｓｌｏｐｅが入力され、他方の入力には、容量５１２に書き込まれたアンプ５１０の出力が入力される。比較器５１３はアンプ５１０の出力と参照電圧Ｖｓｌｏｐｅを比較し、その大小関係によってローレベル、ハイレベルの２値のいずれかを出力する。具体的には、参照電圧Ｖｓｌｏｐｅがアンプ５１０の出力に対して小さい場合にはローレベル、大きい場合にはハイレベルを出力する。参照電圧Ｖｓｌｏｐｅの遷移開始と同時にクロックＣＬＫが動き出し、カウンタ５１４は比較器５１３の出力がハイレベルの場合にクロックＣＬＫに対応してカウントアップし、比較器５１３の出力がローレベルに反転すると同時にカウントの信号を停止する。このときのカウント値をデジタル信号としてメモリ５１６またはメモリ５１７のいずれかに保持する。

メモリ５１６には、ＦＤ５０４のリセットレベルの信号（以下、「Ｎ信号」）をＡＤ変換したデジタル信号が保持され、メモリ５１７には、光電変換部２０１Ａや光電変換部２０１Ｂの信号をＦＤ５０４のＮ信号に重畳した信号（以下「Ｓ信号」）をＡＤ変換したデジタル信号が保持される。カウンタ５１４のカウント値がメモリ５１６，５１７のどちらに書き込まれるかはスイッチ５１５により振り分けられる。メモリ５１６，５１７に保持された信号はＣＤＳ回路５１８にてＳ信号からＮ信号を差し引いた差分が算出される。そして、駆動回路部４０２の制御により、デジタル信号出力線５１９を介して信号処理部１０５へ出力される。

なお、読み出し回路５０９は画素の各列に対して１つ配置され、画素信号は行単位で読み出される。この場合、選択スイッチ５０６は行単位で制御され、選択された行の画素信号が一括して列出力線５０７に出力される。この読み出し回路５０９の数が多いほど、画素部４０１の画素信号を高速に信号処理部１０５に読み出すことができる。

図６は、図５に示す回路構成を有する撮像素子１００の単位画素２００からの電荷読み出し動作の一例を示すタイミングチャートである。各駆動パルスのタイミング、参照電圧Ｖｓｌｏｐｅ、クロックＣＬＫ、水平走査信号を模式的に示している。また、各タイミングにおける列出力線の電位Ｖｌも併せて示している。

光電変換部２０１Ａからの信号の読み出しに先立って、リセットスイッチ５０３の信号線ＰＲＥＳがＨｉとなる（ｔ６００）。これによって、ＳＦ（ソースフォロワアンプ）５０５のゲートがリセット電源電圧にリセットされる。時刻ｔ６０１で制御信号ＰＳＥＬをＨｉとし、ＳＦ５０５を動作状態とする。そして、ｔ６０２で制御信号ＰＲＥＳをＬｏとすることでＦＤ５０４のリセットを解除する。このときのＦＤ５０４の電位を列出力線５０７にリセット信号レベル（Ｎ信号）として出力し、読み出し回路５０９に入力する。

時刻ｔ６０３、ｔ６０４で制御信号ＰＳＨをＨｉ、Ｌｏとしてスイッチ５１１をオン、オフすることで、列出力線５０７に出力されたＮ信号はアンプ５１０で所望のゲインで増幅されたのち容量５１２に保持される。容量５１２に保持されたＮ信号の電位は比較器５１３の一方に入力される。時刻ｔ６０４でスイッチ５１１がオフされた後、時刻ｔ６０５からｔ６０７まで、不図示のスロープ電圧発生回路により、参照電圧Ｖｓｌｏｐｅを時刻と共に初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始と共に、クロックＣＬＫをカウンタ５１４に供給する。ＣＬＫの数に応じてカウンタ５１４の値は増加していく。そして、比較器５１３に入力された参照電圧ＶｓｌｏｐｅがＮ信号と同じレベルになると、比較器５１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ５１４の動作も停止する（時刻ｔ６０６）。この、カウンタ５１４の動作が停止した時の値が、Ｎ信号がＡＤ変換された値となり、スイッチ５１５により、カウンタ５１４とメモリ５１６が接続され、Ｎ信号のデジタル値がＮ信号用メモリ５１６に保持される。

次に、デジタル化されたＮ信号をＮ信号メモリ５１６に保持した後の時刻ｔ６０７、ｔ６０８で制御信号ＰＴＸＡを順次Ｈｉ、Ｌｏとして光電変換部２０１Ａに蓄積された光電荷をＦＤ５０４に転送する。すると、電荷量に応じたＦＤ５０４の電位変動が列出力線５０７に信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として出力され、読み出し回路５０９に入力される。入力された信号（Ｓ（Ａ）＋Ｎ）はアンプ５１０で所望のゲインで増幅されたのち、時刻ｔ６０９、ｔ６１０で制御信号ＰＳＨを順次Ｈｉ、Ｌｏとしてスイッチ５１１をオン、オフするタイミングで容量５１２に保持される。容量５１２に保持された電位は比較器５１３の一方に入力される。時刻ｔ６１０でスイッチ５１１がオフされた後、時刻ｔ６１１からｔ６１３まで、スロープ電圧発生回路により、参照電圧Ｖｓｌｏｐｅを時刻と共に初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始と共に、ＣＬＫをカウンタ５１４に供給する。ＣＬＫの数に応じてカウンタ５１４の値は増加していく。そして、比較器５１３に入力した参照電圧ＶｓｌｏｐｅがＳ信号と同じレベルになると、比較器５１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ５１４の動作も停止する（時刻ｔ６１２）。この、カウンタ５１４の動作が停止した時の値が、Ｓ（Ａ）＋Ｎ信号がＡＤ変換された値となる。そして、スイッチ５１５により、カウンタ５１４とメモリ５１７が接続され、Ｓ（Ａ）＋Ｎ信号のデジタル値がＳ信号用メモリ５１７に保持される。メモリ５１６及びメモリ５１７に保持された信号からＣＤＳ回路５１８により差動信号レベル（光成分）が算出され、リセットノイズ成分が除去されたＳ（Ａ）信号が得られる。Ｓ（Ａ）信号は、制御部１０４の制御により順次信号処理部１０５に送られる。

以上が、単位画素２００の光電変換部２０１Ａからの信号を読み出す動作である。単位画素２００のもう一方の光電変換部２０１Ｂからの信号を読み出す場合も同様に図６のタイミングチャートに従って駆動すればよい。ただし、この場合は時刻ｔ６０７、ｔ６０８において制御信号ＰＴＸＡの代わりに制御信号ＰＴＸＢを順次Ｈｉ、Ｌｏとする。すなわち、図６の時刻ｔ６００から時刻ｔ６１３の駆動を１回目に制御信号ＰＴＸＡをＨｉ、Ｌｏとして画素信号Ｓ（Ａ）を出力し、続いて２回目に制御信号ＰＴＸＢをＨｉ、Ｌｏとして画素信号Ｓ（Ｂ）を出力することで、１行分の画素信号の出力が完了する。これを全行分繰り返すことで、全画素の画素信号Ｓ（Ａ）、Ｓ（Ｂ）の出力が完了する。

図７は、撮像素子１００の信号処理部１０５及び出力部１０６の構成例を示す図である。信号処理部１０５は撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を有する。読み出し部１０３から出力された画素信号はデジタル信号出力線５１９を介して信号処理部１０５に入力される。入力された信号は制御部１０４からの制御に従って処理される。なお、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２は、それぞれ不図示のメモリを備えるものとする。

撮像画像用信号処理部７０１では、読み出し部１０３から出力された信号から、撮像画像用信号を算出する。すなわち、単位画素２００の光電変換部２０１Ａ、及び光電変換部２０１Ｂの画素信号Ｓ（Ａ）、Ｓ（Ｂ）を受けて混合処理を行い、Ｓ（Ａ＋Ｂ）信号を算出する。そして、画素信号Ｓ（Ａ＋Ｂ）を撮像画像用信号出力線７０３を介して出力部１０６に送る。撮像画像用信号処理部７０１において、２つの光電変換部の画素信号Ｓ（Ａ）、Ｓ（Ｂ）を混合処理して出力部１０６から撮像素子１００の外部に出力することで、撮像素子１００の外部への信号伝送量を減らすことができる。なお、画素信号Ｓ（Ａ）と画素信号Ｓ（Ｂ）の演算は、単位画素の両方の信号がそろった段階で可能となる。先に読み出された画素信号Ｓ（Ａ）はメモリで保持しておき、画素信号Ｓ（Ｂ）が読み出され、撮像画像用信号処理部７０１に入力されると、順次Ｓ（Ａ）＋Ｓ（Ｂ）の演算が行われ、出力部１０６から出力される。

なお、撮像画像用信号処理部７０１では更に単位画素２００同士の信号を混合したり、平均化処理を行ってもよい。例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のベイヤ―配列のカラーフィルタが設けられた一般的な構成の画素部において、隣接する同色画素の信号を混合平均化演算して出力部１０６に送れば、更に信号伝送量を減らすことができる。また、画素部全ての信号を出力部１０６に出力するのではなく、必要な領域のみの信号を出力してもよい。これらの処理は制御部１０４により制御される。

続いて、焦点検出用信号処理部７０２の処理について説明する。焦点検出用信号処理部７０２では、読み出し部１０３から出力された信号から、焦点検出用信号を算出して出力する。位相差検出を行うためには、前述した通り、画素信号Ｓ（Ａ）と画素信号Ｓ（Ｂ）がそれぞれ必要である。しかし、画素部４０１の全ての画素の画素信号Ｓ（Ａ）と画素信号Ｓ（Ｂ）を出力部１０６から撮像素子１００の外部に出力するとなると信号伝送量が膨大になり、高速読み出しの妨げとなる。

そこで、焦点検出用信号処理部７０２において演算処理を行い、信号量を減らして出力部１０６から出力する。例えば、画素信号Ｓ（Ａ）、Ｓ（Ｂ）をそれぞれベイヤ加算して輝度値Ｙ値を算出して、輝度信号Ｙ（Ａ）、Ｙ（Ｂ）を出力する。焦点検出のための演算は、信号をＹ値に変換してから行うこともあり、撮像素子１００から出力する前にＹ値に変換することで、信号伝送量を１／４に減らすことができる。なお、Ｙ値の算出にはベイヤ単位の信号が必要になるため、算出に必要な信号が揃うまで、焦点検出用信号処理部７０２に入力された画素信号をメモリに保持しておく。つまり、Ｒ・Ｇ行の信号が出力された後、Ｇ・Ｂ行の信号が出力されるので、Ｒ・Ｇ行の画素信号Ｓ（Ａ）と画素信号Ｓ（Ｂ）はメモリに保持しておき、Ｇ・Ｂ行の信号が出力されたら順次輝度信号Ｙ（Ａ）、Ｙ（Ｂ）を演算し、信号線７０４を介して出力部１０６から出力する。

また、更に焦点検出用信号処理部７０２において相関演算を行い、演算された値を信号線７０４から出力部１０６に出力してもよい。なお、相関演算を用いた位相差検出は公知の手法により実施可能である。相関演算値のみの出力であれば、その演算時の領域分割数に依存するものの、出力する信号量は大幅に減らすことができる。

以上のように、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を備える撮像素子１００において、必要な信号のみを撮像素子１００の外部に出力する信号処理を行う。これにより、信号伝送量を減らすことができ、撮像画像データと焦点検出情報を共に高速に得ることができる。

なお、本実施形態においては、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２それぞれにメモリを備える構成とした。しかし、これらの前段にメモリを備えて、各処理部における演算に必要な信号が揃った段階で、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２に信号を送る構成であってもよい。

また、本実施形態の説明において、焦点検出用信号として、輝度信号Ｙ（Ａ）、及びＹ（Ｂ）を出力したが、出力部１０６からは輝度信号Ｙ（Ａ）のみを出力してもよい。具体的には、撮像画像用信号処理部７０１からは、撮像画像用信号、すなわち画素信号Ｓ（Ａ＋Ｂ）が出力されている。そのため、撮像素子１００の外部に出力された後、位相差検出部１０８などで画素信号Ｓ（Ａ＋Ｂ）から輝度信号Ｙ（Ａ＋Ｂ）を演算し、輝度信号Ｙ（Ａ）の減算処理を行い、輝度信号Ｙ（Ｂ）を算出することで、焦点検出用信号を得てもよい。このように、焦点検出用信号処理部７０２からは輝度信号Ｙ（Ａ）のみを出力することによって、信号伝送量を更に減らすことができる。

例えば、画素数が２０００万画素であった場合、信号処理部を備えない場合は全画素分の画素信号Ｓ（Ａ）、Ｓ（Ｂ）、すなわち４０００万個のデータを出力する必要がある。一方、本実施形態の信号処理部を備える撮像素子により焦点検出用信号としてＹ値を演算して出力する場合、撮像画像用の２０００万個のデータと焦点検出用の２０００万／４＝５００万個のデータを出力することになり、信号伝送量が減ることがわかる。その結果、高速読み出しが可能となる。また、焦点検出用信号が相関演算値である場合、更に信号伝送量が減ることは明らかである。

また、図６のタイミングチャートにおいて、時刻ｔ６０７、ｔ６０８で制御信号ＰＴＸＡ、ＰＴＸＢを同時に制御して光電変換部２０１Ａと光電変換部２０１Ｂの電荷が混合された単位画素２００の信号を得ることも可能である。具体的には、図６のタイミングチャートに従って、光電変換部２０１Ａの信号を読み出した後、制御信号ＰＴＸＡ、ＰＴＸＢを同時にＨｉ、Ｌｏとなるように制御して信号を読み出せば画素信号Ｓ（Ａ＋Ｂ）を得ることが可能である。この場合、リセット信号の読み出しが１回減るため、更に高速読み出しが可能となる。

画素から画素信号Ｓ（Ａ）とＳ（Ａ＋Ｂ）が読み出された場合には、焦点検出用信号処理部７０２において、画素信号Ｓ（Ａ＋Ｂ）から画素信号Ｓ（Ａ）を減算する処理を行えば、画素信号Ｓ（Ｂ）を得ることができる。もしくは、焦点検出処理部７０２においては、画素信号Ｓ（Ａ）のみ処理して出力し、位相差検出部１０８で画素信号Ｓ（Ｂ）あるいは輝度信号Ｙ（Ｂ）の算出を行ってもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態においては、画素部の全領域において焦点検出用信号の出力を行ったが、焦点検出用信号については必要な領域のみの信号を選択して出力すれば、更に高速化を実現することができる。

図８は、画素領域における、焦点検出用信号の出力領域の例を示した図である。斜線で示した領域は、焦点検出用信号と撮像画像用信号を出力し、それ以外の領域は撮像画像用信号のみを出力する。例えば、図８（ａ）に示した例のように、画素の広範囲において目的とする領域のみの焦点検出用信号を離散的に（選択的に）出力する。これによって、画素領域全体の焦点検出情報を得ることが可能となる一方で、撮像素子１００の外部に出力する信号量を抑制することが可能となる。また、図８（ｂ）に示した例の場合、一部の領域について詳細な焦点検出情報を得ることが可能となり、また撮像素子１００の外部に出力する信号量を抑制することが可能となる。これらの出力する領域の選択は制御部１０４により制御される。焦点検出用信号処理部７０２において、出力対象領域の信号のみをメモリから読み出して演算する。

なお、図８に示したような一部の領域における焦点検出用信号の出力は、Ｙ値信号や相関演算結果でもよいが、画素信号Ｓ（Ａ)であってもよい。Ｙ値信号や相関演算結果に比べて伝送する信号量は多くなるが、必要領域のみ出力するため、信号伝送量の抑制は達成される。また、比較的小規模な信号処理回路でも実現可能である。

なお、焦点検出用信号処理部７０２においても、焦点検出用信号を混合処理、平均化処理してもよい。この場合、画素信号Ｓ（Ａ）同士、画素信号Ｓ（Ｂ）同士について混合処理、平均化処理を行う。

以上のように、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を備える撮像素子１００において、必要な信号のみを撮像素子１００の外部に出力する信号処理を行う。これにより、焦点検出用信号の伝送量を減らすことができ、撮像画像データと焦点検出情報を共に高速かつ効率的に得ることができる。

なお、このように焦点検出に使用する画素を限定することによって、１フレームの読み出し時間を短縮する方法がある。通常は、焦点検出処理に使用する行のみ単位画素内の２つの光電変換部の信号をそれぞれ出力し、焦点検出処理に使用しない行は２つの光電変換部の信号を混合して画像生成用の信号のみを出力することで読み出し時間の増大を抑制する。この場合、焦点検出用として出力された２つの光電変換部の個々の出力信号は混合して撮像画像用の画素信号として使用することが可能である。しかし、信号の読み出し方法や２つの光電変換部の出力信号の混合方法が焦点検出処理に使用する行としない行とで異なることにより、ノイズレベル等に差が生じてしまい、その結果得られる撮像画像が劣化するという問題が生じる。しかし、本実施形態のように焦点検出用信号処理部を備えることによって、画素部からの信号は全て同様の読み出しタイミングで読み出し、焦点検出用信号処理部７０２で出力する画素を選択できる。そのため、撮像画像に用いる画素信号Ｓ（Ａ＋Ｂ）のノイズ量が領域によって異なることもなく、高品質の撮像画像を得ることができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。上記の第２の実施形態では、焦点検出用信号処理部７０２において、焦点検出用信号のうちの必要な出力対象領域の信号のみを選択して出力する例について説明した。本実施形態では、これをさらに進めて、焦点検出用信号のうちの必要な領域を、ユーザーの入力や、被写体検出部により検出された被写体の領域に基づいて設定する例について説明する。

本実施形態の撮像装置の構成は、図９に示すように、図１に示した第１及び第２の実施形態の撮像装置の構成に被写体検出部１０５ａが加えられたものである。その他の構成は図１の構成と同様であるので、同じ部分の説明は省略し、異なる部分についてのみ説明する。

図９において、被写体検出部１０５ａは、読み出し部１０３からの画像生成用のデジタル信号出力を受けて、公知のパターン認識処理回路を用いて被写体を検出し、焦点検出処理を行うための焦点検出領域を決定する。ここで検出する被写体としては、例えば、人物や動物の顔や目などが挙げられる。また、被写体検出部１０５ａは、被写体検出処理を行うために、画像生成用の信号を一時的に格納するメモリを、その内部に備えていてもよい。

信号処理部１０５は、既に第１の実施形態で図７を用いて説明したように、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を有する。撮像画像用信号処理部７０１の動作は第１の実施形態と同様である。

一方、焦点検出用信号処理部７０２は、第２の実施形態と同様に、焦点検出用のデジタル信号出力のうち必要な領域を選択して、出力部１０６へ出力する。但し、焦点検出用信号処理部７０２は、焦点検出領域の設定が手動である場合、ユーザーが任意に選んだ焦点検出領域の焦点検出用信号を選択的に出力する。あるいは、焦点検出領域の設定が自動である場合、焦点検出用信号処理部７０２は、被写体検出部１０５ａの被写体検出結果を受けて、被写体が検出された領域の焦点検出用信号を選択的に出力する。出力部１０６は、撮像画像用信号処理部７０１から受けた画像生成用のデジタル信号、および焦点検出用信号処理部７０２から受けた焦点検出用のデジタル信号を撮像素子１００の外部に出力する。

位相差検出部１０８は、出力部１０６からの焦点検出用のデジタル信号を受けて、位相差検出方式の焦点検出を行うための位相差評価値を算出する。本実施形態においては、位相差検出部１０８に入力される焦点検出用の信号は、撮像素子１００内部の信号処理部１０５内の焦点検出用信号処理部７０２が領域を選択して出力した信号である。従って、撮像素子１００の出力部１０６が位相差検出部１０８に伝送する焦点検出用の信号は、焦点検出制御に必要な信号のみであるので、伝送帯域が効率的に使われることになる。また、位相差検出部１０８の内部処理においても、焦点検出制御に不要な領域の位相差評価値算出の演算処理や、焦点検出制御に最終的に必要な信号を抽出する処理が不要となる。従って、位相差検出部１０８が位相差評価値を算出する処理速度を高速化できる。また、位相差検出部１０８の処理回路規模を、小規模化することもできる。

なお、図９における表示部１１０は、全体制御・演算部１０９から受けた画像信号を表示するだけでなく、撮像装置のユーザーが任意に選ぶことができる焦点検出領域を表示するためにも使用される。あるいは、被写体検出部１０５ａが検出した被写体が存在する領域である被写体領域を表示するためにも使用される。また、操作部１１３は、各種の入力に使用されるが、撮像装置のユーザーが任意の焦点検出領域を設定するためにも用いられる。但し、表示部１１０がタッチパネルであれば、操作部１１３の入力操作を表示部１１０へのタッチ操作によって代替してもよい。

次に、図１０は、本実施形態における撮像面位相差ＡＦの処理の流れを示すフローチャートである。撮像面位相差ＡＦの処理が開始されると、まずステップＳ４０１では、撮像素子１００の画素部４０１が駆動されて、画素部４０１の全領域の単位画素２００に含まれる複数のＰＤの信号（焦点検出用信号）が各々読み出される。この時、駆動回路部４０２は、必要なフレームレートに応じて、行間引き読み出し、行加算読み出し、行部分読み出し、列間引き読み出し、列加算読み出し、列部分読み出しなどの読み出し走査方法で画素部４０１を駆動してもよい。但し、前述したように、駆動回路部４０２は、画素部４０１を一様に同じ条件で駆動するため、クロストークやブルーミングが発生し易くなるような問題は発生しない。

その後、各ＰＤの信号は読み出し部１０３でＡＤ変換処理されて、焦点検出用のデジタル信号が得られる。さらに、読み出し部１０３は、単位画素２００毎の複数のＰＤのデジタル信号を混合することによって、画像生成用の信号も生成できる。

画素部４０１の全領域の焦点検出用信号および画像生成用信号は、読み出し部１０３から信号処理部１０５に出力される。そして、画像生成用の信号は、信号処理部１０５を介して出力部１０６から撮像素子１００の外部に出力されて、画像処理部１０７で処理される。その後、全体制御・演算部１０９によって表示部１１０に生成画像が表示される。撮像素子１００からは、所定のフレームレートで、画像生成用信号が出力され続けることによって、表示部１１０には継続的に動画像が表示される。

次に、ステップＳ４０２では、焦点検出領域の選択モードを確認する。ここで、ユーザーが、任意の領域に撮影レンズ１０１の焦点を合わせるために、焦点検出領域を予め手動で設定している場合は、ステップＳ４０３に移行する。この場合、ユーザーが焦点検出領域を選択する時に、表示部１１０に表示される操作画面の例を図１１に示す。図１１に示すように、操作画面には選択可能な複数の焦点検出領域１１０１が表示されている。ここでは横７分割、縦５分割された検出枠で示したが、さらに細かく分割されていてもよく、粗く分割されていてもよい。また、予め決められた検出枠の中から選択するのではなく、撮影画面全体から任意の位置をユーザーが指定してもよい。ユーザーは、焦点を合わせたい領域として、例えば人物の顔が含まれる領域１１０２を選択する。そして、ユーザーが選択した焦点検出領域１１０２の位置情報が、操作部１１３から全体制御・演算部１０９を介して、信号処理部１０５に入力される。

次にステップＳ４０３では、ステップＳ４０１で読み出し部１０３から信号処理部１０５に出力された画素部４０１の全領域の焦点検出用信号のうち、ユーザーが指定した領域の焦点検出用信号を、信号処理部１０５内の焦点検出用信号処理部７０２が選択する。そして、焦点検出用信号処理部７０２が選択した焦点検出用信号が、出力部１０６を介して、位相差検出部１０８に入力される。この時、本実施形態においては、出力部１０６が位相差検出部１０８に伝送する焦点検出用の信号は、焦点検出制御に必要な信号のみ、つまりユーザーが指定した領域の焦点検出用信号のみであるので、高速な伝送が可能である。

次にステップＳ４０４では、位相差検出部１０８が、出力部１０６からの焦点検出用のデジタル信号を受けて、位相差検出方式の焦点検出を行うための位相差評価値を算出する。この時、位相差検出部１０８では、焦点検出制御に不要な領域の位相差評価値算出の演算処理や、焦点検出制御に最終的に必要な信号を抽出する処理が不要となる。従って、焦点検出制御を高速に行うことができる。

次にステップＳ４０５では、位相差検出部１０８で算出された位相差評価値に基づいて、レンズ制御部１１４が、光学系駆動情報を算出して撮影レンズ１０１のフォーカスレンズ位置を制御する。

次にステップＳ４０６では、撮像装置が撮影を終了するべきか確認する。操作部１１３から、ユーザーによって、撮影終了の操作が入力されれば、このまま撮影を終了する。操作部１１３から、ユーザーによって、撮影終了の操作が入力されなければ、ステップＳ４０１に移行して、撮影と撮像面位相差ＡＦ処理を継続する。

一方、ステップＳ４０２で、撮影レンズ１０１の焦点を合わせる領域を、撮像装置が自動的に決める設定となっている場合は、ステップＳ４０７に移行する。ステップＳ４０７では、被写体検出部１０５ａが、読み出し部１０３からの画像生成用信号を受けて、撮影レンズ１０１の焦点を合わせる領域を自動的に決めるための、被写体検出処理を行う。検出する被写体とは、例えば、人物や動物の顔や目である。被写体検出処理の方法には、公知の様々なパターン認識処理を適用することができる。代表的なパターン認識手法としては、例えば、テンプレートマッチングやディープラーニングと呼ばれる手法が挙げられる。

被写体検出部１０５ａが検出した被写体領域を示すための、表示部１１０に表示される画面の例を図１２（ａ）に示す。図１２（ａ）に示すように、人物の顔が含まれる領域として被写体検出部１０５ａが検出した被写体領域１２０１が表示されている。被写体検出部１０５ａは、検出した被写体領域１２０１の画像中の水平・垂直アドレス情報を信号処理部１０５に出力する。信号処理部１０５は、被写体領域１２０１の画像中の水平・垂直アドレス情報を、表示部１１０に被写体領域として表示するために、出力部１０６を介して全体制御・演算部１０９に出力する。そして、全体制御・演算部１０９は、画像処理部１０７で処理された生成画像に、被写体領域情報を合成して表示部１１０に表示する。また、詳細は後述するが、信号処理部１０５は、被写体領域１２０１の画像中の水平・垂直アドレス情報を、焦点検出用信号を選択するために用いる。

また、被写体検出結果の別の例として、人物の顔がアップでフレーミングされている場合を図１２（ｂ）に示す。図１２（ｂ）のような例では、人物の顔を含む領域が広いため、仮に、顔全体を含む広範囲の領域における焦点検出用信号を後段の位相差検出部１０８に出力すると、その通信時間が長くなり、高速な焦点検出制御の妨げとなる。従って、図１２（ｂ）に示すように、人物の顔がアップで検出された場合、被写体検出部１０５ａが顔の特徴的な部分（例えば目など）をさらに抽出して、被写体検出領域１２０２とすることが好ましい。これは、例えば、被写体検出部１０５ａが顔を検出した領域の画素数が所定の画素数を超えた場合を検知して、被写体検出対象を切り替えるように制御することで実現される。

次にステップＳ４０８では、ステップＳ４０７での被写体検出部１０５ａの検出結果を確認する。ステップＳ４０７で被写体を検出することができた場合は、ステップＳ４０９へ移行する。

ステップＳ４０９では、画素部４０１の全領域から読み出した焦点検出用信号のうち、被写体検出部１０５ａが検出した領域の焦点検出用信号を、信号処理部１０５が選択する。そして、信号処理部１０５から選択的に出力された焦点検出用信号は、出力部１０６を介して、位相差検出部１０８に入力される。この場合、本実施形態においては、出力部１０６が位相差検出部１０８に伝送する焦点検出用の信号は、焦点検出制御に必要な領域の信号のみであるので、高速に伝送することができる。

次にステップＳ４０４では、位相差検出部１０８が、出力部１０６からの焦点検出用のデジタル信号を受けて、位相差検出方式の焦点検出を行うための位相差評価値を算出する。この場合、位相差検出部１０８では、焦点検出制御に不要な領域の位相差評価値算出の演算処理や、焦点検出制御に最終的に必要な信号を抽出する処理が不要となる。従って、焦点検出制御を高速に行うことができる。以降は、ステップＳ４０５、ステップＳ４０６において、既に説明した処理が実行される。

一方で、ステップＳ４０８において、ステップＳ４０７で被写体を検出できなかったことを確認した場合は、ステップＳ４１０に移行する。

ステップＳ４１０では、レンズ制御部１１４が撮影レンズ１０１のフォーカスレンズを所定量サーチ駆動させるように制御する。さらにステップＳ４１１では、撮影レンズ１０１のフォーカスレンズ位置を確認して、サーチ駆動が終了したかを判定する。ここでサーチ駆動が途中の場合は、ステップＳ４０１に移行する。従って、ステップＳ４０２で焦点検出領域を自動的に決める設定であり、ステップＳ４０７で被写体検出部１０５ａが被写体を検出できない状態が継続する場合は、フォーカスレンズのサーチ駆動が継続される。ただし、ステップＳ４１１でフォーカスレンズ位置が無限端から至近端までのサーチ駆動を終えた場合は、ステップＳ４１２に移行する。

ステップＳ４１２では、ステップＳ４１０でレンズ制御部１１４がフォーカスレンズをサーチ駆動する動作を繰り返しても、ステップＳ４０７で被写体検出部１０５ａが被写体を検出できなかった場合の処理を行う。ここでは、撮影レンズ１０１のフォーカスレンズ位置を暫定的に決めるため、画素部４０１の全領域から読み出した焦点検出用信号のうち暫定領域の焦点検出用信号を、信号処理部１０５が選択する。そして、信号処理部１０５から選択的に出力された焦点検出用信号は、出力部１０６を介して、位相差検出部１０８に入力される。

次にステップＳ４０４では、位相差検出部１０８が、出力部１０６からの焦点検出用のデジタル信号を受けて、位相差検出方式の焦点検出を行うための位相差評価値を算出する。以降は、ステップＳ４０５、ステップＳ４０６において、既に説明した処理が実行される。

以上説明したように、本実施形態では、撮像素子１００の出力部１０６が位相差検出部１０８に伝送する焦点検出用の信号は、焦点検出制御に必要な信号のみであるので、高速な伝送が可能である。そして、位相差検出部１０８では、焦点検出制御に不要な領域の位相差評価値算出の演算処理や、焦点検出制御に最終的に必要な信号を抽出する処理が不要となる。従って、位相差検出部１０８が位相差評価値を算出する処理速度を高速化できる。よって、撮像面位相差ＡＦによる焦点検出制御を高速に行うことができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第４の実施形態では、画素部４０２の単位画素２００の構成が異なる。図１３は、撮像素子１００の受光部１０２及びマイクロレンズアレイを光軸方向（Ｚ方向）から観察した図である。１つのマイクロレンズ２０２に対して、４つの光電変換部９０１Ａ、９０１Ｂ、９０１Ｃ、９０１Ｄが配置されている。このように、Ｘ軸方向及びＹ軸方向それぞれ２つの合計４つの光電変換部を有することで、４つに分割された射出瞳領域の光をそれぞれ受光することができる。このような単位画素がそれぞれ４つの光電変換部を備えている画素部４０１により構成される撮像素子１００における、信号読み出し方法、及び信号処理部１０５の処理について説明する。

図１４は、単位画素９００及び読み出し部１０３の構成の一例を示す模式図である。図１４の構成では、各光電変換部のそれぞれに対応した読み出し回路を備えている。すなわち、光電変換部９０１Ａの画素信号は読み出し回路１００１Ａに出力される。以下同様に、光電変換部９０１Ｂは読み出し回路１００１Ｂ、光電変換部９０１Ｃは読み出し回路１００１Ｃ、光電変換部９０１Ｄは読み出し回路１００１Ｄに出力される。光電変換部からの信号読み出し動作については、図５、図６で説明した駆動方法とほぼ同様の方法で実施可能であるため、説明は省略する。

各光電変換部から読み出された信号に対する信号処理部１０５の処理について説明する。撮像画像用信号処理部７０１では、読み出された信号から、撮像画像用信号を算出する。すなわち、単位画素９００の複数の光電変換部９０１Ａ、９０１Ｂ、９０１Ｃ、９０１Ｄの画素信号Ｓ（Ａ）、Ｓ（Ｂ）、Ｓ（Ｃ）、Ｓ（Ｄ）を受けて、混合処理を行い、画素信号Ｓ（Ａ＋Ｂ＋Ｃ＋Ｄ）を算出する。そして、画素信号Ｓ（Ａ＋Ｂ＋Ｃ＋Ｄ）を撮像画像用信号出力線７０３を介して出力部１０６に送る。撮像画像用信号処理部７０１において、複数の光電変換部の信号を混合処理して出力部１０６から撮像素子１００の外部に出力することで、撮像素子１００の外部への信号伝送量を減らすことができる。単位画素９００のように４つの光電変換部を備えるような撮像素子においては、その効果はより大きくなる。

続いて、焦点検出用信号処理部７０２の処理について説明する。図１３に示した様な単位画素９００当たり４つの光電変換部を備える撮像素子の場合、焦点検出のためには４つの光電変換部の信号を個別に出力する必要があり、信号伝送量が膨大になり、高速読み出しに望ましくない。第１の実施形態で説明したように、Ｙ値を演算して出力したり、相関演算結果のみを出力することが好適である。必要な領域のみの信号を出力すれば、更に信号伝送量を減らすことができる。

また、図１３のように単位画素９００が２ｘ２の光電変換部を備える構成の場合、左右方向に加え、上下方向の位相差検出も行うことができる。例えば、画素信号Ｓ（Ａ）とＳ（Ｃ）を混合処理し、画素信号Ｓ（Ｂ）とＳ（Ｄ）を混合処理してそれぞれ出力する。この場合、得られた焦点検出用信号からは左右方向に瞳分割された位相差方式の焦点検出が可能となる。また、画素信号Ｓ（Ａ）とＳ（Ｂ）を混合処理し、画素信号Ｓ（Ｃ）とＳ（Ｄ）を混合処理してそれぞれ出力した場合は、得られた焦点検出用信号からは上下方向に瞳分割された位相差方式の焦点検出が可能となる。これらは、被写体に応じて切り替えて出力することで、縦縞、横縞それぞれの被写体に対して精度良く焦点検出することができる。また、画素の領域によって出力パターンを変えてもよい。

更に、焦点検出用信号処理部７０２において、得られた混合信号（例えば、Ｓ（Ａ＋Ｃ）とＳ（Ｂ＋Ｄ））を用いて相関演算を行い、その結果のみを出力してもよい。焦点検出用信号処理部７０２で相関演算処理をすれば撮像素子１００から出力する信号伝送量を減らすことができる。また、同一領域において左右方向と上下方向両方の相関演算を行って出力しても信号伝送量を抑えることができる。

このように、多分割画素を備えた撮像素子において、撮像素子内に焦点検出用信号処理部７０２を備えることで、撮像素子から出力する信号量の増加を抑制し、高速に撮像画像データと焦点検出情報を得ることができる。更に、左右方向と上下方向の位相差情報を取得できるため、精度良く焦点検出を行うことができる。本実施形態では、単位画素当たり４つの光電変換部を有する撮像素子を例に説明したが、更に多くの光電変換部を有する構成であってもよい。より視差を付けるために、必要なＰＤの信号のみを出力したり、斜め方向に信号を混合して出力してもよい。

（第５の実施形態）
第１乃至第３の実施形態で説明したような撮像素子１００の信号処理部１０５は大規模な回路となるため、撮像素子１００は全体として大面積なものとなる可能性が高い。そこで、本実施形態においては、面積の増大を抑制する撮像素子１００の構成について説明する。

図１５、図１６は、第５の実施形態における撮像素子１００の構成図である。本実施形態の撮像素子は画素領域チップ１５０１、信号処理チップ１５０２を積層させた構成（多層構造）を有する。各半導体チップ間の配線は、公知の基板積層技術により、マイクロバンプ等を用いて電気的に接続される。

画素領域チップ１５０１は、複数の光電変換部を備えた単位画素２００が行列状に配置された画素部４０１と、駆動回路部４０２と、読み出し部１０３とを備える。駆動回路部４０２は、画素部４０１の画素に対して駆動信号を送る。なお、図１５では、単位画素２００は、２つの光電変換部を有するが、光電変換部の数はこれに限定されるものではない。

読み出し部１０３は多数の、例えば画素１列当たり１つの読み出し回路５０９を備えて構成され、画素部４０１の画素信号を読み出す。読み出された画素信号は駆動回路部４０２の制御により、垂直・水平選択がなされ、順次、信号処理部１０５に転送される。

信号処理チップ１５０２は、制御部１０４、信号処理部１０５、出力部１０６を備える。信号処理部１０５は、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を有し、読み出し部１０３から読み出された画素信号を処理して、出力部１０６を介して撮像素子１００の外部に出力する。信号処理部１０５における信号処理については、第１乃至第３の実施形態で説明した処理と同様であるため説明を省略する。撮像素子１００は、図１６に示したように、画素領域チップ１５０１、信号処理チップ１５０２が互いに積層されて一体となった構成を有する。

以上のように、撮像素子を積層構造にしたことにより、信号処理部１０５に十分な面積を取ることができ、大規模な回路を実装することが可能となる。信号処理部１０５において、必要な信号のみを撮像素子１００の外部に出力する信号処理を行うことにより信号伝送量を減らすことができ、撮像画像データと焦点検出情報を共に高速に得ることが可能となる。

（第６の実施形態）
第１乃至第３の実施形態で説明したような単位画素当たり複数の光電変換部を備える画素部から構成される撮像素子においては、読み出し回路５０９が多い方が好ましい。例えば、単位画素に対して１つの読み出し回路を備える構成や、更に、１つの光電変換部に対して１つの読み出し回路を備える構成であれば、全画素同時に画素信号を出力して画素毎にＡ／Ｄ変換することができるため、より高速な読み出しが可能となる。この場合、読み出し回路を配置するために面積が必要であり、積層構造の撮像素子であることが望ましい。

図１７は、第６の実施形態における撮像素子１００の構成を示す図である。本実施形態の撮像素子は画素領域チップ１３０１、読み出し回路チップ１３０２、信号処理チップ１３０３を積層させた構成を有する。各半導体チップ間の配線は、公知の基板積層技術により、マイクロバンプ等を用いて電気的に接続される。

画素領域チップ１３０１は、複数の光電変換部を備えた単位画素２００が行列状に配置された画素部４０１と駆動回路部４０２を備える。駆動回路部４０２は、画素部４０１の画素に対して駆動信号を送る。なお、図１７では、単位画素２００は２つの光電変換部を備えるが、光電変換部の数は２つに限定されるものではない。

読み出し回路チップ１３０２は、読み出し部１０３、垂直選択回路１３０４、水平選択回路１３０５を備える。読み出し部１０３は単位画素あるいは光電変換部の各々に対応した多数の読み出し回路５０９を有し、画素部４０１の画素信号が出力される。読み出し回路５０９に出力された画素信号は垂直選択回路１３０４、水平選択回路１３０５の制御により、順次信号処理部１０５に転送される。

信号処理チップ１３０３は、制御部１０４、信号処理部１０５、出力部１０６を備える。信号処理部１０５は、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を有し、読み出し部１０３により読み出された画素信号を信号処理部１０５で処理して、出力部１０６を介して撮像素子１００の外部に出力する。信号処理部１０５における信号処理については、第１乃至第３の実施形態で説明した処理と同様であるため、説明を省略する。

撮像素子１００は、画素領域チップ１３０１、読み出し回路チップ１３０２、信号処理チップ１３０３が積層されて一体となった構成を有する。ところで、本実施形態の構成のように、例えば１つの光電変換部に対して１つの読み出し回路を備える構成の場合、画素信号が信号処理部１０５に出力される時間は飛躍的に速くなる。例えば、１つの光電変換部の信号出力にかかる時間をαとすると、１列当たり１つの読み出し回路を備える撮像素子の場合、１フレーム分の画素信号を読み出すためにはαｘ行数分の時間がかかる。一方、１つの光電変換部に対して１つの読み出し回路を備える場合は、αの時間で１フレーム分の画素信号を読み出すことができる。ただし、この場合、信号処理部１０５での画素信号の受け取り、及び信号処理が律速することが懸念される。しかし、本実施形態のように、積層構造からなる撮像素子１００の信号処理部１０５は面積を大きく配することができるため、読み出し回路チップ１３０２からの信号の伝送ラインを多数設けることができ、高速に画素信号を信号処理部１０５に送ることができる。また、信号処理部１０５には信号処理回路を多数実装することができるため、並列処理が可能となり、信号処理時間も高速化される。

以上のように、撮像素子が積層構造となることにより、読み出し部、信号処理部に十分な面積を取ることができる。本実施形態の撮像素子は、画素部からの信号読み出しも高速になり、更に信号処理部１０５において、必要な信号のみを撮像素子の外部に出力する信号処理を行うことにより、信号伝送量を減らすことができ、撮像画像データと焦点検出情報を共に高速に得ることができる。

（第７の実施形態）
図１８は、本発明の第７の実施形態の撮像装置の構成を示すブロック図である。図１８において、第３の実施形態と同じ構成部分に関しては同じ記号を付し、詳細な説明を省略する。

第７の実施形態は、撮像装置全体として見ると、第３の実施形態と同じ構成要素から成るが、撮像素子８００の内部に含まれる構成要素が第３の実施形態と異なる。第３の実施形態の撮像素子８００は、受光部８０１、読み出し部８０２、信号処理部８０３、画像処理部８０４、被写体検出部８０５、位相差検出部８０６、出力部８０７、制御部１０４を含んで構成されている。

受光部８０１は、撮影レンズ１０１で結像された光学像を受光する。受光部８０１には、撮影レンズ１０１の分割された射出瞳領域を通過した光束をそれぞれ受光するように、１つのマイクロレンズの下に複数のＰＤを備えた焦点検出画素が配置されている。読み出し部８０２は、Ａ／Ｄ変換回路によるアナログデジタル信号処理、および基準レベルの調整（クランプ処理）を行う。

信号処理部８０３は、読み出し部１０３からのデジタル信号出力を受けて、後述する位相差検出部８０６および画像処理部８０４へ信号を出力する。このとき、信号処理部８０３は、被写体検出部８０５の被写体検出結果を受けて、被写体検出領域の焦点検出用信号を選択的に出力する。

画像処理部８０４は、信号処理部８０３から受けた画像生成用の信号に対して、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理などを行う。被写体検出部８０５は、画像処理部８０４からのデジタル信号出力を受けて、焦点検出処理を行うための信号領域を決定する。

位相差検出部８０６は、信号処理部８０３から受けた焦点検出用の信号に対して、位相差検出方式の焦点検出を行うための位相差評価値を算出する。出力部８０７は、位相差検出部８０６および画像処理部８０４から受け取った、位相差評価値および画像生成用のデジタル信号を撮像素子８００の外部に出力する。このように、本発明の第７の実施形態の撮像素子によっても、第３の実施形態と同様の効果が得られる。

ところで、撮像面位相差ＡＦでは、１つの位相差評価値が、複数画素×複数ＰＤから得られた焦点検出用の信号を相関演算することによって算出される。第３の実施形態では、この位相差評価値の算出に必要な複数の焦点検出用のデジタル信号を、出力部１０６が撮像素子１００の外部に出力していた。一方で、第７の実施形態の場合は、位相差検出部８０６が算出した位相差評価値を、出力部８０７が撮像素子８００の外部に出力する。つまり、撮像素子８００の外部に出力する信号の量は、第７の実施形態の方が第３の実施形態よりもさらに少ない。従って、撮像素子８００の出力部８０７が、焦点検出制御に必要な信号を、第３の実施形態よりもさらに短時間で伝送することができ、撮像面位相差ＡＦによる焦点検出制御を高速に行うことができる。

また、第７の実施形態の撮像素子８００では、被写体検出部８０５が、画像処理部８０４によって処理された後のデジタル信号を用いて、被写体検出を行っている。そのため、欠陥画素補正やノイズリダクションが施された信号を用い、さらには色情報も用いた被写体検出処理を施すことも可能である。従って、第７の実施形態の被写体検出は、第３の実施形態よりも高精度に行うことができる。

なお、第７の実施形態の撮像素子８００では、第３の実施形態の撮像素子１００よりもさらに多くの構成要素を撮像素子８００の中に構成する。従って、図１６に示したような、積層型撮像素子であることが好適である。

（第８の実施形態）
第１乃至第３の実施形態では、撮像素子が焦点検出用の信号を選択的に出力／伝送することによって、高速な撮像面位相差ＡＦが可能になることを説明した。しかしながら、本発明の適用される範囲は撮像面位相差ＡＦに限らず、撮像素子の信号を用いた自動露光制御（撮像面ＡＥ）にも、適用することができる。撮像面ＡＥでは、具体的には、撮影レンズの絞り、撮像素子の蓄積時間、撮像素子の感度（ゲイン）、などを撮像装置が自動的に決定した上で制御する。本発明の第３の実施形態では、撮像面ＡＥに用いる信号を、撮像素子が選択的に出力／伝送することによって、撮像面ＡＥを高速化することを目的としている。

図１９は、本発明の第８の実施形態の撮像装置の構成を示すブロック図である。図１９において、第３の実施形態と同じ構成部分に関しては、同じ記号を付して、詳細な説明を省略する。本実施形態は、撮像装置が測光部８２０を備えている点が第３の実施形態と異なる。

信号処理部１０５は、読み出し部１０３からの画像生成用のデジタル信号出力を受けて、出力部１０６へ信号を出力する。信号処理部１０５は、撮像装置で設定された測光方式に応じて、撮像面ＡＥに用いる画像生成用のデジタル信号を選択する。この時、例えば、所謂「スポット測光方式」や「部分測光方式」であれば、信号処理部１０５は、画面中央の一部領域の信号を選択する。また、所謂「評価測光方式」であれば、信号処理部１０５は、画面全体の信号を選択する。ただし、画面全体の全ての画素の信号を選択するのではなく、測光評価値の算出に必要な信号量が得られる範囲で、行間引きや列間引きして信号を選択することが、撮像面ＡＥを高速化するために好ましい。また、第３の実施形態と同様に、ユーザーが任意に選択した焦点検出領域や、被写体検出部１０５ａが検出した被写体領域の、画像生成用信号を選択するようにしてもよい。

測光部８２０は、出力部１０６からの画像生成用のデジタル信号を受けて、撮像面ＡＥを行うための測光評価値を算出する。測光部８２０に入力される画像生成用のデジタル信号は、撮像素子１００内部の信号処理部１０５が選択した領域の信号である。従って、撮像素子１００の出力部１０６が測光部８２０に伝送する撮像面ＡＥのための画像生成用信号は、露光制御に必要な信号のみであるので、通信帯域が効率的に使われることになる。また、測光部８２０の内部処理においても、撮像面ＡＥに最終的に不要な領域の測光評価値算出の演算処理や、最終的に必要な信号を抽出する処理が不要となる。従って、測光部８２０が測光評価値を算出する処理速度を高速化できる。

レンズ制御部１１４は、測光部８２０からの測光評価値の出力を受けて、測光評価値に基づいて、撮影レンズ１０１の絞りを駆動する。さらに、全体制御・演算部１０９は測光評価値に基づいて撮像素子１００を駆動して、撮像素子１００の蓄積時間と感度（ゲイン）を制御する。

以上説明したように、本発明の第８の実施形態によれば、撮像素子１００の出力部１０６が測光部８２０に伝送する画像生成用の信号は、撮像面ＡＥに必要な信号のみであるので、高速な伝送が可能である。そして、測光部８２０では、撮像面ＡＥに最終的に不要な測光評価値算出の演算処理や、最終的に必要な信号を抽出する処理が不要となる。従って、撮像面ＡＥを高速化することができる。

なお、第８の実施形態の撮像素子１００の画素においては、必ずしも図２で説明したような１画素につき複数のＰＤを配置することは必要ない。測光評価値を算出するためには、画像生成用の信号（すなわち１つのマイクロレンズ下にある複数のＰＤの信号を画素毎に混合した信号）さえあればよいので、１つのマイクロレンズ下に１つのＰＤがある構成であってもよい。

また、第８の実施形態では、第３の実施形態の構成を基に撮像面ＡＥを適用する構成について説明したが、同じように第７の実施形態の構成を基に撮像面ＡＥを適用することもできる。この場合は、図１８における位相差検出部８０６が、測光部に置き換わることで撮像素子８００が構成される。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像素子、１０１：撮影レンズ、１０２：受光部、１０３：読み出し部、１０４：制御部、１０５：信号処理部、１０６：出力部、１０７：画像処理部、１０８：位相差検出部、１０９：全体制御・演算部

Claims (12)

1. 各々が１つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部と、
   前記単位画素の各々における前記複数の光電変換部のうちの一部の光電変換部に蓄積された電荷に対応する信号と、前記複数の光電変換部のすべてに蓄積された電荷を混合して得られた電荷に対応する信号とを前記単位画素の各々から読み出すように前記画素部を駆動する駆動部と、
   前記駆動部により前記画素部から読み出された信号をデジタル信号に変換する複数のＡ／Ｄ変換部と、
   前記デジタル信号を保持するメモリ部と、
   前記メモリ部に保持された前記デジタル信号に基づく信号を出力する出力部と、
   を備え、
   前記メモリ部は、前記画素部から読み出された複数画素行のデジタル信号を保持し、
   前記出力部は、前記単位画素の各々における前記複数の光電変換部のうちの一部の光電変換部に蓄積された電荷に対応する信号および前記複数の光電変換部のすべてに蓄積された電荷を混合して得られた電荷に対応する信号に基づく信号を出力し、
   前記画素部が第１の半導体基板に形成されるとともに、前記メモリ部が前記第１の半導体基板と異なる第２の半導体基板に形成され、
   前記第１の半導体基板と前記第２の半導体基板は互いに積層されていることを特徴とする撮像素子。
2. 前記出力部は、前記画素部の一部領域に配置された前記単位画素の各々における前記複数の光電変換部の信号のうちの一部の光電変換部に蓄積された電荷に対応する信号に基づく信号を出力することを特徴とする請求項１に記載の撮像素子。
3. 前記出力部は、前記画素部の全域に配置された前記複数の単位画素の各々における前記複数の光電変換部のすべてに蓄積された電荷を混合して得られた電荷に対応する信号に基づく信号を出力することを特徴とする請求項２に記載の撮像素子。
4. 前記画素部の一部領域は、被写体領域であることを特徴とする請求項２または３に記載の撮像素子。
5. 前記画素部の一部領域は、ユーザにより選ばれた領域であることを特徴とする請求項２または３に記載の撮像素子。
6. 前記メモリ部は、前記画素部から読み出した信号をそれぞれ前記単位画素ごとに保持する複数の保持回路を有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
7. 撮像素子と、該撮像素子から出力された信号を処理して画像を生成する画像処理手段と、前記出力された信号を処理して焦点検出を行う焦点検出手段とを備え、
   前記撮像素子が、
   各々が１つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部と、
   前記単位画素の各々における前記複数の光電変換部のうちの一部の光電変換部に蓄積された電荷に対応する信号と、前記複数の光電変換部のすべてに蓄積された電荷を混合して得られた電荷に対応する信号とを前記単位画素の各々から読み出すように前記画素部を駆動する駆動部と、
   前記駆動部により前記画素部から読み出された信号をデジタル信号に変換する複数のＡ／Ｄ変換部と、
   前記デジタル信号を保持するメモリ部と、
   前記メモリ部に保持された前記デジタル信号に基づく信号を出力する出力部と、
   を有し、
   前記メモリ部は、前記画素部から読み出された複数画素行のデジタル信号を保持し、
   前記出力部は、前記単位画素の各々における前記複数の光電変換部のうちの一部の光電変換部に蓄積された電荷に対応する信号および前記複数の光電変換部のすべてに蓄積された電荷を混合して得られた電荷に対応する信号に基づく信号を出力し、
   前記画素部が第１の半導体基板に形成されるとともに、前記メモリ部が前記第１の半導体基板と異なる第２の半導体基板に形成され、
   前記第１の半導体基板と前記第２の半導体基板は互いに積層されていることを特徴とする撮像装置。
8. 前記出力部は、前記画素部の一部領域に配置された前記単位画素の各々における前記複数の光電変換部の信号のうちの一部の光電変換部に蓄積された電荷に対応する信号に基づく信号を出力することを特徴とする請求項７に記載の撮像装置。
9. 前記出力部は、前記画素部の全域に配置された前記複数の単位画素の各々における前記複数の光電変換部のすべてに蓄積された電荷を混合して得られた電荷に対応する信号に基づく信号を出力することを特徴とする請求項８に記載の撮像装置。
10. 前記画素部の一部領域は、被写体領域であることを特徴とする請求項８または９に記載の撮像装置。
11. 前記画素部の一部領域は、ユーザにより選ばれた領域であることを特徴とする請求項８または９に記載の撮像装置。
12. 前記メモリ部は、前記画素部から読み出した信号をそれぞれ前記単位画素ごとに保持する複数の保持回路を有することを特徴とする請求項７乃至１１のいずれか１項に記載の撮像装置。

Images