JP2018207502A - 撮像素子、撮像装置 - Google Patents

Abstract

【課題】位相差画素の読み出しを行っても動きが滑らかな動画表示が可能となる撮像素子等を提供する。【解決手段】画像用画素と位相差画素とが行列状に配置された画素部２４と、画素部２４からの画素信号を、行列方向に隣接する複数の同一色に対応する画素で構成される単位画素の行並びである単位行の１行分以上メモリ部３１に記憶し、単位行毎に、単位画素の画素信号を合成画素信号として合成すると共に単位行から位相差画素信号を抽出する画像信号生成部２７と、１単位行の合成画素信号および位相差画素信号を水平同期信号に同期して１行の信号として読み出す画像信号読出部２８と、を備えた撮像素子１３。【選択図】図２

Description

本発明は、画像用画素と位相差画素とが行列状に配置された撮像素子と、この撮像素子を有する撮像装置と、に関する。

従来より、画像用画素と位相差画素とが行列状に配置された撮像素子を備える撮像装置、いわゆる像面位相差ＡＦを行う撮像装置が提案されている。

例えば、特開２０１０−２８３９７号公報には、位相差画素を像面に配置した撮像素子を有する撮像装置において、複数の画素の中から、位相差画素を含む任意の数の画素の信号を加算して読み出す第１のモードと、一部の画素の信号を間引いて少なくとも位相差画素の信号を読み出す第２のモードと、で読み出しを行う技術が記載されている。すなわち、動画像（ライブビューを含む）を取得するための第１のモードにおいては、フレームレートを確保するために、画素信号が加算されて（つまり、読み出される画素信号の数が少なくなるように処理されて）読み出されるようになっている。一方、位相差ＡＦを行うための第２のモードにおいては、画素信号の加算を行うことなく位相差画素を読み出すようにしている。そして、所定フレーム数に１フレームの割合で第２のモードでの位相差画素の取得を行い、その他のフレームにおいて第１のモードでの画像用の加算画素信号の取得を行うようになっている。

特開２０１０−２８３９７号公報

しかしながら、上記特開２０１０−２８３９７号公報に記載の技術では、画像用画素を読み出す第１のモードと位相差画素を読み出す第２のモードとをフレーム単位で切り替えていたために、画像用画素を読み出すことができないフレームが発生することになり、動画表示を滑らかに行うことができない場合が生じていた。

本発明は上記事情に鑑みてなされたものであり、位相差画素の読み出しを行っても動きが滑らかな動画表示が可能となる撮像素子、撮像装置を提供することを目的としている。

本発明のある態様による撮像素子は、画像用の画素信号を生成するための画素と、焦点検出用の画素信号を生成するための画素と、が行列状に配置され、生成した画素信号を出力する画素部と、上記画素部に行列状に配置された複数の画素を、行方向および列方向に隣接する複数の同一色に対応する画素で構成される単位画素に分けたときに、上記画素部から出力された画素信号を、上記単位画素の行方向の並びによって構成される単位行の少なくとも１行分記憶する記憶部を有し、上記単位画素の構成は、少なくとも１つの画像用の画像信号を生成するための画素を有するものであり、該記憶部に記憶した画素信号に基づいて、単位行毎に、上記単位画素に係る画素信号を合成した合成画素信号と、該単位行から抽出した上記焦点検出用の位相差画素信号と、を生成する画像信号生成部と、上記画像信号生成部により生成された１単位行に係る上記合成画素信号および上記位相差画素信号を、水平同期信号に同期して１行の信号として読み出す画像信号読出部と、を備えている。

本発明のある態様による撮像装置は、上記撮像素子と、上記撮像素子から読み出された上記合成画素信号を画像処理して動画用または静止画用の画像信号を生成する画像処理部と、上記撮像素子から読み出された上記位相差画素信号に基づいて、位相差法に基づく焦点検出を行う第１焦点検出部と、上記撮像素子から読み出された上記合成画素信号に基づいて、コントラスト法に基づく焦点検出を行う第２焦点検出部と、を備えている。

本発明の撮像素子、撮像装置によれば、位相差画素の読み出しを行っても動きが滑らかな動画表示が可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における撮像素子の構成を示すブロック図。 上記実施形態１において、光線方向に沿った位相差画素の構成を示す図。 上記実施形態１における位相差画素の構成を示す平面図。 上記実施形態１の画素部における基本画素配置を示す図。 上記実施形態１において、動画モードにおける画像信号読出部からの読出順序を説明するために位相差画素に識別符号を付した図。 上記実施形態１において、１，３行目でなる第１の単位行および２，４行目でなる第２の単位行に基づいて生成される合成画素信号および位相差画素信号の読み出し順序を示す図。 上記実施形態１において、５，７行目でなる第３の単位行および６，８行目でなる第４の単位行に基づいて生成される合成画素信号および位相差画素信号の読み出し順序を示す図。 上記実施形態１において、９，１１行目でなる第５の単位行および１０，１２行目でなる第６の単位行に基づいて生成される合成画素信号および位相差画素信号の読み出し順序を示す図。 上記実施形態１において、図７〜図９に示したような読み出し順序により得られる画素構成を示す図。 上記実施形態１において、３×３画素の同一色画素群により単位画素を構成したときの、撮像素子からの出力画素の構成を示す図。 上記実施形態１の画素部におけるＧｒ，Ｒラインの配置を示す図。 上記実施形態１の画素部におけるＧｂ，Ｂラインの配置を示す図。 上記実施形態１におけるメモリ部の構成を示す図。 上記実施形態１における１／４間引きで第１メモリアレイに記憶されるＧｒ，Ｒラインを示す図。 上記実施形態１における１／４間引きで第２メモリアレイに記憶されるＧｂ，Ｂラインを示す図。 上記実施形態１において、動画モードにおいて複数フレームに１フレームの割合で位相差ＡＦを行う様子を示すタイミングチャート。 上記実施形態１の動画モードにおける処理を示すフローチャート。 本発明の実施形態２において、光線方向に沿った位相差画素の構成を示す図。 上記実施形態２における位相差画素の構成を示す平面図。 上記実施形態２の画素部における基本画素配置を示す図。 上記実施形態２の図２１に示す構成において１〜２，５〜６サブラインでなる第１の単位行および３〜４，７〜８サブラインでなる第２の単位行に基づいて生成される合成画素信号および位相差画素信号の読み出し順序を示す図。 上記実施形態２の画素部における基本画素配置の他の例を示す図。 上記実施形態２の図２３に示す構成において１〜２，５〜６サブラインでなる第１の単位行および３〜４，７〜８サブラインでなる第２の単位行に基づいて生成される合成画素信号および位相差画素信号の読み出し順序を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１８は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

本実施形態の撮像装置は、レンズ１１と、シャッタ１２と、撮像素子１３と、信号処理部１４と、画像処理部１５と、焦点検出部１６と、記録部１７と、表示部１８と、メモリ部１９と、操作部２１と、システム制御部２２と、を備えている。

レンズ１１は、被写体の光学像を撮像素子１３に結像する撮影光学系である。具体的にレンズ１１は、フォーカスレンズや光学絞りを備えており、これらフォーカスレンズや光学絞りの駆動制御はシステム制御部２２により行われるようになっている。また、レンズ１１が電動ズームレンズである場合には、さらにズームの駆動制御もシステム制御部２２により行われる。

シャッタ１２は、レンズ１１からの光束が撮像素子１３へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のフォーカルプレーンシャッタなどのメカニカルシャッタとして構成されている。このシャッタ１２は、静止画撮影時には、システム制御部２２の駆動制御に基づいて、撮像素子１３へ光束が到達する時間、つまり撮像素子１３による被写体の露光時間を制御する。一方、シャッタ１２は、動画モード（動画撮影モードおよびライブビューを含む、以下同様）時には開放状態に維持され、露光時間の制御はいわゆる素子シャッタにより行われる。

撮像素子１３は、例えば原色ベイヤ配列のカラーフィルタを備えた単板式ＣＭＯＳ撮像素子として構成されていて、システム制御部２２の駆動制御に基づき、被写体の光学像を光電変換して画素信号を出力する撮像部である。ただし、撮像素子１３が単板式ＣＭＯＳ撮像素子に限定されるものではないことは勿論である。

この撮像素子１３は、後述するように、静止画像または動画像を構成するための画素信号（画像用画素信号）と、位相差ＡＦ処理による焦点検出を行うための画素信号（位相差画素信号）と、を含む画素信号を生成する。

そして、撮像素子１３は、静止画撮影時には例えば画像用画素信号を画像処理部１５へ出力し、動画モード時には、動画像のフレームレートを確保するために、後述する単位画素に含まれる複数の画素信号（例えば、単位画素に含まれる全ての画素信号、または単位画素に含まれる全ての画像用画素信号）を合成して合成画素信号を生成し、生成した合成画素信号を画像処理部１５および焦点検出部１６へ出力する（ただし、静止画像の生成を、合成画素信号に基づき行うことを妨げるものではない）。

さらに、撮像素子１３は、動画モード時には、システム制御部２２の制御に基づいて、必要なフレームにおいて位相差画素信号を焦点検出部１６へ出力する。

信号処理部１４は、撮像素子１３から出力された画素信号に対して、ノイズ低減処理や信号増幅などの処理を行うものである。ただし、この信号処理部１４と同様の処理を内部で行うタイプの撮像素子１３を用いるようにしても良く、この場合には信号処理部１４を省略することが可能となる。

画像処理部１５は、撮像素子１３から読み出された合成画素信号または画像用画素信号を画像処理して動画用または静止画用の画像信号を生成するものである。この画像処理部１５は、撮像素子１３から出力された画素信号に対して、シェーディング処理、ホワイトバランス処理、ガンマ補正処理、欠陥画素補正処理などの各種の補正処理や、デモザイキング処理などの画像処理を行う。また、画像処理部１５は、動画モード時に撮像素子１３から出力された合成画素信号に対して、画素値補正処理を必要に応じ行う。後述するように、位相差画素は画像用画素に比べて画素開口が制限された画素であって、出力画素値が画像用画素よりも小さくなるために、このような位相差画素を含むように画素合成された合成画素信号の画素値補正を行うのがこの画素値補正処理である。

焦点検出部１６は、撮像素子１３から読み出された位相差画素信号に基づいて、位相差法に基づく焦点検出（位相差ＡＦ）を行う第１焦点検出部と、撮像素子１３から読み出された合成画素信号に基づいて、コントラスト法に基づく焦点検出（コントラストＡＦ）を行う第２焦点検出部と、を兼ねたものとなっている。すなわち、第１焦点検出部は、撮像素子１３から出力された位相差画素信号から被写体像の位相差情報を検出して、フォーカスを合わせるためのレンズ制御パラメータを算出する。さらに、第２焦点検出部は、撮像素子１３から出力された合成画素信号または画像用画素信号から被写体像のコントラスト情報を検出し、複数フレームのコントラスト情報に基づいてフォーカスを合わせるためのレンズ制御パラメータを算出する。ここに、位相差検出とコントラスト検出とは、同時に行うことも可能となっている。

記録部１７は、画像処理部１５から出力された記録用の画素信号（静止画像または動画像など）を不揮発メモリに記憶するものであり、例えば、撮像装置に内蔵されている内蔵フラッシュメモリや、撮像装置に着脱可能なＳＤメモリカードなどにより構成されている。従って、記録部１７は、撮像装置に固有の構成である必要はない。

表示部１８は、例えば電子ビューファインダ（ＥＶＦ）や背面表示パネル等で構成されていて、画像処理部１５から出力された表示用の画素信号に基づく画像を表示する。この表示部１８により行われる画像表示には、静止画撮影直後の画素信号を短時間だけ表示するレックビュー表示、動画撮影時の動画表示、ライブビュー表示、および記録部１７に記録されたＪＰＥＧファイルの再生表示などが含まれる。また、表示部１８は、画像を表示すると共に、この撮像装置に係る各種の情報も表示する。なお、表示部１８を、無線ＬＡＮ等を介して撮像装置に通信可能に接続された携帯デバイスなどにより構成しても構わない。

メモリ部１９は、例えばＤＲＡＭ（Dynamic Random Access Memory）等により構成されていて、画素信号を一時的に記憶する記憶部である。例えばメモリ部１９は、画像処理部１５が画像処理を行う際の画素信号、焦点検出部１６が焦点検出を行うために用いる画素信号、記録部１７が記録するための画素信号、記録部１７から読み出された画素信号、表示部１８に表示するための画素信号などをバッファするためのメモリ領域として利用される。

操作部２１は、この撮像装置に対する各種の操作入力を行うためのものであり、例えば、操作ボタンや操作スイッチ、あるいは背面表示パネルに設けられたタッチパネル機能などにより構成されている。なお、操作部２１として、リモートレリーズ、あるいはスマートフォンやタブレットＰＣなどの遠隔コントローラ機能を利用しても構わない。

この操作部２１により実現される機能としては、例えば、撮像装置の電源をオン／オフするための電源ボタン、画像の撮影開始を指示するためのレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタンなどの機能が含まれている。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定可能な項目には、撮影モード（静止画撮影モード、動画撮影モード等）や再生モード、ＡＦモード（通常ＡＦモード、常時ＡＦモード等）、撮影モードにおける画像の解像度（後述する間引き率に対応する）などが含まれている。動画を一例に挙げると、ＨＤ（High Definition：高精細）動画には解像度やフレームレートが異なる複数の種類があり、どの種類のＨＤ動画を撮影するかは操作部２１を介してユーザが設定可能となっている。この操作部２１に対して操作が行われると、操作内容に応じた信号がシステム制御部２２へ出力される。

システム制御部２２は、例えばＣＰＵを含んで構成され、この撮像装置全体を統括的に制御する制御部である。このシステム制御部２２は、不揮発メモリに記憶している所定の処理プログラムに従って、操作部２１からの操作入力に応じた各種の処理シーケンスを実行する。例えば、システム制御部２２は、焦点検出部１６から出力されたレンズ制御パラメータに基づき、レンズ１１の駆動制御を行う。また、システム制御部２２は、操作部２１のレリーズ操作に応じて、シャッタ１２と撮像素子１３の素子シャッタとを駆動制御し、撮像素子１３の露光制御を行う。さらに、システム制御部２２は、焦点検出部１６の第１焦点検出部が焦点検出を行わない場合には、撮像素子１３の後述する画像信号読出部２８に画素信号を出力させないように制御する。加えて、システム制御部２２は、被写体条件と撮影条件との少なくとも一方が変化したか否かを判定し、変化したと判定した場合には、撮像素子１３の後述する画像信号読出部２８に位相差画素信号を読み出させて、焦点検出部１６の第１焦点検出部に焦点検出を行わせるように制御する。

次に、図２は撮像素子１３の構成を示すブロック図である。

撮像素子１３は、垂直走査部２３と、画素部２４と、アナログ処理部２５と、ＡＤＣ部２６と、画像信号生成部２７と、画像信号読出部２８と、を備えている。

画素部２４は、画像用の画素信号を生成するための画素と、焦点検出用の画素信号を生成するための画素（具体的には、像面焦点検出用位相差画素）と、が行列状に配置され、生成した画素信号を出力する。

垂直走査部２３は、画素部２４に配置された各画素の蓄積時間を制御すると共に、読み出す画素の垂直方向の走査を制御する回路部である。

アナログ処理部２５は、画素部２４から読み出されたアナログの画素信号に、プリアンプによる増幅や、ＣＤＳ回路による相関二重サンプリングなどのアナログ信号処理を行う回路部である。

ＡＤＣ部２６は、画素部２４から出力されアナログ処理部２５により処理されたアナログの画素信号をＡ／Ｄ変換して、デジタルの画素信号を出力するＡ／Ｄ変換部である。このＡＤＣ部２６は、具体例としては、カラムＡＤＣに代表されるような、画素部２４の画素信号を列毎のアナログデジタルコンバータ（ＡＤＣ）でＡ／Ｄ変換するタイプのものが挙げられる。

画像信号生成部２７は、画像信号読出部２８により読み出すための画素信号を生成するものであり、メモリ部３１と、画素合成部３２と、位相差画素抽出部３３と、を備えている。ここでは画像信号生成部２７は、メモリ部３１に記憶されたデジタル画素信号に基づいて、デジタルの合成画素信号と、デジタルの位相差画素信号と、をそれぞれ生成する。

メモリ部３１は、画素部２４に行列状に配置された複数の画素を、隣接する複数の画素（カラーの場合には、隣接する同一色の複数の画素）で構成される単位画素に分けたときに、画素部２４から出力された画素信号を、単位画素の行方向の並びによって構成される単位行の少なくとも１行分（少なくとも画素合成部３２および位相差画素抽出部３３の処理に必要な分）記憶する記憶部である。本実施形態のメモリ部３１は、ＡＤＣ部２６によりＡ／Ｄ変換されたデジタル画素信号を記憶するものであり、例えば揮発性メモリ回路により構成されていて、具体例としてはＤＲＡＭ、ラインメモリなどが挙げられるが、特定の構成に限定されるものではない。

画素合成部３２は、動画モード時に、メモリ部３１に記憶した画素信号に基づいて、単位行毎に、単位画素に係る画素信号を合成した合成画素信号を生成する。具体的に、画素合成部３２は、メモリ部３１に記憶した単位行の画素信号について、単位画素毎に、単位画素内の画素信号を選択または読み出して例えば加算平均処理（ただし、加算平均処理に限定されるものではない）し、加算平均処理した結果を合成画素信号として生成する。これにより、画像用の画素数は、単位画素毎に間引き処理（画素部２４の画素構成に対する出力画素構成の減縮化であり、加算による減縮化（いわゆる加算間引き）も含む）されることになる。なお、間引き率（より詳しくは、行間引き率および列間引き率）は、動画撮影モード（ライブビュー動画、上述した複数種類のＨＤ動画など）に応じて予め定められている。従って、設定されている間引き率に応じて、システム制御部２２により単位画素および単位行が決定される。

位相差画素抽出部３３は、メモリ部３１に記憶した画素信号に基づいて、単位行毎に、単位行から抽出した焦点検出用の位相差画素信号を生成する。具体的に、位相差画素抽出部３３は、メモリ部３１に記憶した単位行に含まれる位相差画素信号を選択または読み出すことにより、位相差画素信号の抽出を行う。

画像信号読出部２８は、画像信号生成部２７により生成された１単位行に係る合成画素信号および位相差画素信号（ここでは何れもデジタル信号）を、１行の信号として読み出すものであり、水平走査部３４と、出力部３５と、を備えている。

水平走査部３４は、画像信号生成部２７で生成された１単位行に係る合成画素信号および位相差画素信号を１行の信号として読み出すことを、行毎に順次行う。ここに、本実施形態の水平走査部３４は、単位行毎に、合成画素信号のみが配列された画素信号群と、位相差画素信号のみが配列された画素信号群と、を直列に並べて１行の信号として読み出すようになっている。ただし、合成画素信号と位相差画素信号とを適宜の混合順序で読み出して、後で信号処理部１４等において、合成画素信号のみが配列された画素信号群と、位相差画素信号のみが配列された画素信号群と、を直列に配置した順序に並べ換えるようにしても構わない。

出力部３５は、水平走査部３４により読み出した画素信号に対して、パラレルシリアル変換、あるいは差動信号への変換処理などを行って、撮像素子１３から順次出力するものである。

次に、図３は光線方向に沿った位相差画素の構成を示す図、図４は位相差画素の構成を示す平面図である。

画素部２４に行列状に配置された画素ＰＸのそれぞれは、図３に示すように、画素部２４が構成された基板の厚み方向に沿って（被写体から入射される光線方向に沿って）、マイクロレンズＭＬと、カラーフィルタＣＦと、配線層ＷＬと、フォトダイオードＰＤと、を備えている。

マイクロレンズＭＬは、被写体から入射される光線をフォトダイオードＰＤ上へ集光することにより、画素開口率を実質的に大きくするものである。

カラーフィルタＣＦは、フォトダイオードＰＤに入射する光線の波長帯域を制限するものであり、原色ベイヤー配列のカラーフィルタアレイが画素部２４に設けられている場合には、緑色（Ｇ）、青色（Ｂ）、赤色（Ｒ）の内の何れか１つの波長帯域の光を通過させるカラーフィルタＣＦがフォトダイオードＰＤ上に配置されている。ただし、位相差画素に関しては、何れか１色（例えば原色ベイヤー配列に従った何れか１色）のカラーフィルタを配置しても構わないが、特段の波長帯域制限を行わないホワイト画素として構成し、受光感度を向上するようにしても良い。

配線層ＷＬは、フォトダイオードＰＤに接続される回路を結ぶ配線が構成された層であり、導電性を有する金属等を用いた層として構成されている。そこで、図３および図４に示す位相差画素においては、この配線層ＷＬが、フォトダイオードＰＤの開口の一部を制限する遮光膜としても利用されている。具体的に、図３および図４に示す位相差画素は、左開口ＰＸ２が配線層ＷＬにより遮光され、右開口ＰＸ１のみが光を受光する画素構成の右開口画素Ｒｉとなっている。

フォトダイオードＰＤは、入射する光線を光電変換して、光線の光量に応じた画素信号を生成する光電変換部である。

続いて、図５は画素部２４における基本画素配置を示す図である。

画素部２４は、図５に示すような水平方向１６画素×垂直方向１２画素の基本画素配置を２次元状に敷き詰めることにより構成されている。

まず、画像用画素は（位相差画素が配置された部分を除いて）原色ベイヤー配列となっている。この原色ベイヤー配列は、よく知られているように、２×２画素を基本ベイヤー配列として、この基本ベイヤー配列における一方の対角方向に緑色（Ｇ）画素を配置し、他方の対角方向に赤色（Ｒ）画素と青色（Ｂ）画素とを配置したものとなっている。ここに、図面において、緑色（Ｇ）画素には右斜め下線によるハッチングを、赤色（Ｒ）画素には縦線によるハッチングを、青色（Ｂ）画素には横線によるハッチングを、それぞれ付している。なお、以下では適宜、赤色（Ｒ）画素と同一ラインに配置された緑色（Ｇ）画素をＧｒ画素、青色（Ｂ）画素と同一ラインに配置された緑色（Ｇ）画素をＧｂ画素と述べることにする。

そして、図５に示す１６×１２画素の基本画素配置の水平方向位置を１〜１６のＸアドレス、垂直方向位置を１〜１２のＹアドレスにより表すとすると、２次元アドレス（Ｘ，Ｙ）が次のアドレスとなる位置に右開口（左遮光）画素Ｒｉ、左開口（右遮光）画素Ｌｅ、上開口（下遮光）画素Ｔｏ、下開口（上遮光）画素Ｂｏがそれぞれ配置されている。
Ｒｉ：（１，１）、（５，１）、（９，１）、（１３，１）、
（１，９）、（５，９）、（９，９）、（１３，９）
Ｌｅ：（１，５）、（５，５）、（９，５）、（１３，５）
Ｔｏ：（３，２）、（１１，４）、（３，６）、（１１，８）
Ｂｏ：（７，２）、（１５，４）、（７，６）、（１５，８）

そして、焦点検出部１６の第１焦点検出部は、右開口画素Ｒｉの群（例えばＹアドレスが１となる群）から得た画素信号と左開口画素Ｌｅの群（例えばＹアドレスが５となる群）から得た画素信号とに基づいて被写体の縦線成分の位相差情報を検出し、上開口画素Ｔｏの群（例えばＸアドレスが３となる群）から得た画素信号と下開口画素Ｂｏの群（例えばＸアドレスが７となる群）から得た画素信号とに基づいて被写体の横線成分の位相差情報を検出するようになっている。

次に、図６は、動画モードにおける画像信号読出部２８からの読出順序を説明するために、位相差画素に識別符号ａ〜ｔ，ａ’〜ｅ’を付した図である。

図６においては、図示されている位相差画素に、Ｙアドレスが小さい順に、かつＹアドレスが同一である場合にはさらにＸアドレスが小さい順に、識別符号ａ〜ｔ，ａ’〜ｅ’を付している。

この図６に示すような画素配置において、同一色に係る２×２画素の画素信号の平均値を合成画素信号とする例（つまり１／４間引きとする例）を説明する。ここに、Ｇｒ画素とＧｂ画素は別色として区別するものとし、位相差画素についてはベイヤー配列に従っていると仮定したときの色に分類するものとする。

この場合には、同一色の２×２画素の画素群が単位画素を構成し、この単位画素の行方向の並びが単位行を構成する。従って、ｋを例えば０以上の整数としたときに、画素部２４がベイヤー配列である場合の単位行には、（４ｋ＋１），（４ｋ＋３）行で構成される単位行と、（４ｋ＋２），（４ｋ＋４）行で構成される単位行と、がある。そして、ベイヤー配列の場合には、１つの単位行に２つの色の単位画素が含まれていることになる。例えば、１，３行で構成される単位行には２×２のＧｒ画素で構成される単位画素と２×２のＲ画素で構成される単位画素とが含まれ、２，４行で構成される単位行には２×２のＧｂ画素で構成される単位画素と２×２のＢ画素で構成される単位画素とが含まれる。

この場合には、合成後の合成画素信号における２×２画素でなる基本ベイヤー配列の画素値Ｐ’（１，１）〜Ｐ’（２，２）は、合成前の４つの単位画素内の画素値Ｐ（１，１）〜Ｐ（４，４）に基づいて、画素合成部３２により以下の数式１に示すように算出される。
［数１］
Ｐ’（１，１）＝｛Ｐ（１，１）＋Ｐ（３，１）
＋Ｐ（１，３）＋Ｐ（３，３）｝／４
Ｐ’（２，１）＝｛Ｐ（２，１）＋Ｐ（４，１）
＋Ｐ（２，３）＋Ｐ（４，３）｝／４
Ｐ’（１，２）＝｛Ｐ（１，２）＋Ｐ（３，２）
＋Ｐ（１，４）＋Ｐ（３，４）｝／４
Ｐ’（２，２）＝｛Ｐ（２，２）＋Ｐ（４，２）
＋Ｐ（２，４）＋Ｐ（４，４）｝／４

まず、図７は、１，３行目でなる第１の単位行および２，４行目でなる第２の単位行に基づいて生成される合成画素信号および位相差画素信号の読み出し順序を示す図である。

画像信号読出部２８は、１行の画素信号の読み出しにおいて、数式１に示したような演算により生成された合成画素信号のみが配列された画素信号群をまず読み出し、続いて、位相差画素信号のみが配列された画素信号群を読み出す（つまり、合成画素信号群と位相差画素信号群とを直列に並べて読み出す）ようになっている。ただし、位相差画素信号群を先に読み出して、後で合成画素信号群を読み出しても構わないし、あるいは上述したように、位相差画素信号と合成画素信号とを混合した順序で読み出して後で配列し直すようにしても良い。

具体的に、図６に示すアドレス（１，１）、（３，１）、（１，３）、（３，３）のＧｒ画素信号を加算平均して得られる合成画素信号Ｇｒ’をまず出力し、次に、（２，１）、（４，１）、（２，３）、（４，３）のＲ画素信号を加算平均して得られる合成画素信号Ｒ’を出力し、等を行って１行目と３行目を合成して得られる合成画素信号を全て読み出す。その後に引き続いて、１行目と３行目に含まれている位相差画素信号をａ，ｂ，ｃ，ｄ，…，ｅの順に読み出す。

なお、ここでは合成画素信号を生成する際に、単位画素に含まれる位相差画素の信号も用いて平均値を算出しているが、位相差画素は上述したように画像用画素よりも開口が小さいために画素値も低くなる。従って、位相差画素信号を用いたことによる平均値の低下分は、後で画像処理部１５等により上述した画素値補正処理を行うことを想定している（ただし、例えば撮像素子１３内でゲインアップ等の画素値補正処理が可能であれば撮像素子１３内で行っても良いし、より一般に、画素値補正処理を行う機能部の配置は限定されるものではない）。

また、位相差画素の位置の画素信号を、近傍の画像用画素信号から補間処理して求め、補間処理で得られた画素信号を用いて平均値を算出するようにしても良い。

こうして、第１の単位行に係る読み出しを行ったら、次に、第２の単位行に係る読み出しを同様に行って、まず合成画素信号Ｂ’、Ｇｂ’、…を読み出し、その後に位相差画素信号をｆ，ｇ，ｉ，ｊ，…，ｈの順に読み出す。ここに、単位行からの位相差画素信号の読み出し順序は、例えば、Ｘアドレスが小さい順、かつＸアドレスが同一である場合にはさらにＹアドレスが小さい順となっている。このように、水平同期信号ＨＤに同期して、１つ単位行から１行分の出力画素が出力される。

こうして、第１および第２の単位行の読み出しを行ったら、次に、第３および第４の単位行の読み出しを行う。図８は５，７行目でなる第３の単位行および６，８行目でなる第４の単位行に基づいて生成される合成画素信号および位相差画素信号の読み出し順序を示す図である。

第３および第４の単位行についても、上述した第１および第２の単位行と同様に、まず、５行目と７行目でなる第３の単位行に係る合成画素信号および位相差画素信号を直列に読み出し、続いて、６行目と８行目でなる第４の単位行に係る合成画素信号および位相差画素信号を直列に読み出す。

さらに、第３および第４の単位行の読み出しを行ったら、第５および第６の単位行の読み出しを行う。図９は９，１１行目でなる第５の単位行および１０，１２行目でなる第６の単位行に基づいて生成される合成画素信号および位相差画素信号の読み出し順序を示す図である。

まず、上述した第１〜第４の単位行と同様に、９行目と１１行目でなる第５の単位行に係る合成画素信号および位相差画素信号を直列に読み出す。

次に、１０行目と１２行目でなる第６の単位行に係る処理を行うが、１０行目および１２行目には位相差画素は含まれていないために、まず、合成画素信号のみを読み出す。その後に、第１〜第５の単位行に係る読み出しにおいて位相差画素信号として読み出されている部分において、ダミーの位相差画素信号Ｄを読み出す。このために、画像信号生成部２７は、１行における合成画素信号の数と位相差画素信号の数とを合計した数が全ての行において同一数となるように、画素信号の数が同一数に満たない行にダミーの位相差画素信号Ｄを付加する。

一般に、１出力ラインにおいて、合成画素信号の数は一定であるが、位相差画素信号の数は１単位行に含まれる位相差画素の数に応じて変動することになる。そこで、１出力ラインにおける位相差画素の数を、１単位行に含まれる位相差画素の最大数に合わせ、位相差画素の数が最大数に満たないラインについては、ダミーの位相差画素信号Ｄで充填する処理を行う。

このような処理を行うことにより、撮像素子１３から出力される全てのラインの画素信号数が一定となり、後段の信号処理や画像処理を一定周期の同期信号に同期させて行うことが可能となる。

画素部２４は、図５に示した１６×１２画素の基本画素配置を２次元状に敷き詰めて構成されているために、このような１２行分の読み出しと同様の読み出しをその後も繰り返して行うことで、全画素の読み出しが行われる。

図１０は、図７〜図９に示したような読み出し順序により得られる画素構成を示す図である。

上述したように必要に応じてダミーの位相差画素信号Ｄを付加しているために、図１０に示すように、撮像素子１３から出力される各ラインの画素数は同一である。さらに、各ラインにおける合成画素の画素数も同一、かつ各ラインにおける位相差画素の画素数も同一となっている。

また、図１１は、３×３画素の同一色画素群により単位画素を構成したときの、撮像素子１３からの出力画素の構成を示す図である。

この場合には、図６に示す１，３，５行目が第１の単位行、２，４，６行目が第２の単位行となり、Ｇｒ画素およびＲ画像の合成は１，３，５行目の画素信号を用いて同一色３×３画素の例えば加算平均をとることにより行われ、Ｇｂ画素およびＢ画素の合成は２，４，６行目の画素信号を用いて同一色３×３画素の例えば加算平均をとることにより行われる（つまり１／９間引きとなる）。

また、位相差画素の読み出し順序は、上述したように、Ｘアドレスが小さい順、かつＸアドレスが同一である場合にはさらにＹアドレスが小さい順としているために、例えば１，３，５行目の画素信号から生成した合成画素信号の後に出力される位相差画素信号は、ａ，ｋ，ｂ，ｌ，ｃ，ｍ，…の順序となっている。

さらに、図５に示した１６×１２画素の基本画素配置において、合成対象となる３行分の位相差画素数は次のようになっている。
１， ３， ５行目合計：８個
２， ４， ６行目合計：６個
７， ９，１１行目合計：４個
８，１０，１２行目合計：２個

従って、位相差画素の最大数となる１，３，５行目に合わせて、ダミーの位相差画素信号Ｄを付加している。

なお、図１０や図１１に示すダミーの位相差画素信号Ｄの位置は、撮像素子１３の画素構成と間引き率の設定とに基づいてシステム制御部２２が把握するようになっている。従って、焦点検出部１６の第１焦点検出部は、システム制御部２２の制御に基づいて、ダミーでない位相差画素信号を用いた焦点検出を行うことが可能となっている。

図１２は画素部２４におけるＧｒ，Ｒラインの配置を示す図、図１３は画素部２４におけるＧｂ，Ｂラインの配置を示す図である。

加算間引き処理は色成分毎に行われるが、本実施形態においては上述したように、Ｒ画素とＢ画素とＧｒ画素とＧｂ画素を別色として区別するようにしている。従って、Ｇｒ画素の合成は図１２に示すＧｒ画素同士で行われ、Ｇｂ画素の合成は図１３に示すＧｂ画素同士で行われることとなって、Ｇｒ画素とＧｂ画素とを合成する処理は行われない。

図１４はメモリ部３１の構成を示す図である。

メモリ部３１は、複数の単位メモリ４１が行列状に配置されたメモリアレイ３１ａを備えており、メモリアレイ３１ａに設けられている単位メモリ４１の数は、少なくとも、単位行に含まれる画素数以上となっている。ここに、複数の間引きモードが設けられている場合には、単位行に含まれる画素数が最大値となる間引きモードにおける、該最大値以上の数の単位メモリ４１をメモリアレイ３１ａに設ける必要がある。

具体的に、メモリアレイ３１ａに配列した単位メモリ４１の列数を画素部２４に配列した画素の列数と同一にする場合であって、３×３画素の加算平均をとる１／９間引きが最大値の間引きモードである場合には、メモリアレイ３１ａの行数ｍは３以上となる必要がある。さらに、画素部２４からライン順に読み出す場合には、Ｇｒ，ＲラインとＧｂ，Ｂラインとが交互に並んでいることを考慮すれば、メモリアレイ３１ａの行数ｍは６以上であると良い。

単位メモリ４１のそれぞれに対応して読出スイッチ４２が設けられており、読出スイッチ４２の一端は単位メモリ４１に、他端は列信号線４４に接続されている。そして、読出スイッチ４２のオン／オフは行信号線４３を介して行選択部３１ｂにより制御されるようになっている。ここに、全ての行信号線４３は行選択部３１ｂに接続され、全ての列信号線４４は列選択部３１ｃに接続されている。

このような構成において、行選択部３１ｂがある行信号線４３を選択して選択行の読出スイッチ４２をオンにし、列選択部３１ｃがある列信号線４４を選択することにより、ある行信号線４３とある列信号線４４との両方が接続されている単位メモリ４１に記憶されている画素信号を選択して読み出すことが可能となっている。

こうして画像信号生成部２７は、必要な単位メモリ４１を選択して、選択した単位メモリ４１に記憶されている画素信号を読み出し、加算平均処理や並替処理などを行うようになっている。

図１５は１／４間引きで第１メモリアレイ３１ａ−１に記憶されるＧｒ，Ｒラインを示す図、図１６は１／４間引きで第２メモリアレイ３１ａ−２に記憶されるＧｂ，Ｂラインを示す図である。

加算平均による間引き処理は同一色画素に対して行われるために、撮像素子１３がベイヤ配列のカラーフィルタを備える構成である場合には、奇数行と偶数行とをメモリ部３１ａの異なる領域に記憶するようにしても良い。

すなわち、図１５および図１６に示すように、メモリ部３１ａを第１メモリアレイ３１ａ−１と第２メモリアレイ３１ａ−２との複数のメモリ領域に分割して、第１メモリアレイ３１ａ−１に例えばＧｒ，Ｒラインの各画素信号を、第２メモリアレイ３１ａ−２に例えばＧｂ，Ｂラインの各画素信号を、それぞれ記憶するようにしても構わない。

この場合には、第１メモリアレイ３１ａ−１と第２メモリアレイ３１ａ−２とにそれぞれ、まず、１，３行目と２，４行目の画素信号を記憶し、次に、５，７行目と６，８行目の画素信号を記憶し、さらに、９，１１行目と１０，１２行目の画素信号を記憶する、等を順次行うことになる。

図１７は動画モードにおいて複数フレームに１フレームの割合で位相差ＡＦを行う様子を示すタイミングチャート、図１８は動画モードにおける処理を示すフローチャートである。

図１８に示す処理を開始すると、画素部２４により被写体像を光電変換する（ステップＳ１）。

光電変換が終了すると、設定された行間引き率に対応して画素部２４からの読み出し対象となる行（合成処理の対象となる単位行を含む）を、垂直走査部２３が選択して走査する。こうして画素部２４から行単位で読み出された画素信号を、アナログ処理部２５で処理した後にＡＤＣ部２６でＡ／Ｄ変換して、メモリ部３１に記憶する（ステップＳ２）。

次に、システム制御部２２は、常時ＡＦモード（コンティニュアスＡＦモード）が設定されているか否かを判定する（ステップＳ３）。

ここで常時ＡＦモードが設定されていないと判定された場合には、画素合成部３２が、メモリ部３１に記憶されている画素信号から、設定された行列間引き率に対応した単位画素に含まれる画素信号（上述したように、同一色の画素信号となる）を選択し、選択した画素信号を読み出して合成処理し、合成画素信号を生成する。そして、撮像素子１３は、システム制御部２２の制御に基づいて、合成処理を行った合成画素信号のみを読み出す（ステップＳ４）。

また、ステップＳ３において、常時ＡＦモードが設定されていると判定された場合には、所定条件が変化したか否かを判定する（ステップＳ５）。ここに、所定条件は、被写体条件と撮影条件との少なくとも一方を含んでいる。

まず、被写体条件が変化したと判定する例としては、ＡＦターゲット領域（設定領域、顔領域、画面中央領域など）の輝度と色情報との少なくとも一方が、輝度または色情報に応じた各所定値以上変化した場合が挙げられる。

また、撮影条件が変化したと判定する例としては、感度設定、シャッタ速設定、絞り設定、焦点距離設定の内の少なくとも１つが、各設定に応じた所定値以上変化した場合、あるいは手振れや撮像装置の姿勢を検知するためのジャイロセンサの出力値が所定値以上変化した場合などが挙げられる。

このステップＳ５において所定条件が変化していないと判定された場合には、図１７に示したように、複数フレームに１フレームの割合で合成画素信号および位相差画素信号を撮像素子１３から順次読み出し、その他のフレームは合成画素信号のみを撮像素子１３から読み出すコンティニュアスＡＦ時の処理を行う（ステップＳ６）。ここに、位相差画素信号を読み出す際には、位相差画素抽出部３３が、メモリ部３１に記憶されている画素信号から、設定された行列間引き率に対応した単位行に含まれる位相差画素信号のみを選択して読み出す。

また、ステップＳ５において所定条件が変化したと判定された場合には、所定条件が変化したと判定されたタイミングで直ちに、合成画素信号および位相差画素信号を撮像素子１３から順次読み出す（ステップＳ７）。

ステップＳ６において位相差画素信号も読み出すフレームの処理を行った場合、またはステップＳ７の処理を行った場合には、水平走査部３４は、画素合成部３２により生成された合成画素信号を列番号順に水平走査して出力し、その後に続けて位相差画素抽出部３３により抽出された位相差画素信号を順次水平走査して出力する（図７〜図９参照）。

こうして、ステップＳ６またはステップＳ７において位相差画素信号が読み出された場合には、読み出された位相差画素信号に基づいて、焦点検出部１６の第１焦点検出部が位相差法に基づく焦点検出を行う（ステップＳ８）。

このように、システム制御部２２は、被写体条件と撮影条件との少なくとも一方が変化したか否かを判定し、変化したと判定した場合には、画像信号読出部２８に位相差画素信号を読み出させて、第１焦点検出部に焦点検出を行わせるように、さらに制御するようになっている。

また、システム制御部２２は、第１焦点検出部が焦点検出を行わない場合（図１７参照）には、撮像素子１３の画像信号読出部２８に位相差画素信号を出力させないように制御するようになっている。

ステップＳ４またはステップＳ８を行ったら、読み出した合成画素信号に画像処理部１５により画像処理を行って、処理後の画像を表示部１８に表示する（ステップＳ９）。

その後、動画記録の操作が行われているか否かを判定して（ステップＳ１０）、操作が行われている場合には得られた１フレーム分の動画像信号を記録部１７に記録する（ステップＳ１１）。

このステップＳ１１の処理が終了するか、またはステップＳ１０において動画記録の操作が行われていないと判定された場合（例えばライブビューの場合など）には、動画モードの処理を終了するか否かを判定して（ステップＳ１２）、終了しない場合には上述したステップＳ１へ戻って次のフレームについて上述したような動作を繰り返して行い、終了する場合にはこの処理を終える。

なお、上述ではＡＤＣ部２６によりデジタルに変換された画素信号から合成画素信号と位相差画素信号とを生成したが、アナログ処理部２５により処理されたアナログの画素信号から合成画素信号と位相差画素信号とを生成するようにしても構わない。

また、図２においては、画素部２４からの出力系統として、アナログ処理部２５から画像信号読出部２８までの１出力系統だけを（例えば画素部２４の下側に）設けているが、複数出力系統、例えば画素部２４の上側にさらに１出力系統設けることにより合計２出力系統設けて、これら２つの出力系統で同時に画素部２４の信号を並列処理するようにしても良い。具体的にこの場合には、図１５に示した第１メモリアレイ３１ａ−１を含む第１メモリ部を一方の出力系統に配置してＧｒ，Ｒラインの画素信号を記憶し、図１６に示した第２メモリアレイ３１ａ−２を含む第２メモリ部を他方の系統に配置してＧｂ，Ｂラインの画素信号を記憶する等になる。このような高速化を図った撮像素子１３に対しても、本発明は上述と同様に適用することが可能となっている。

このような実施形態１によれば、撮像素子１３からの１行の信号出力に、画像用画素を合成した合成画素信号と位相差画素信号との両方を含めるようにしたために、位相差画素信号の読み出しを行うフレームにおいても画像表示に用いる合成画素信号を取得することができ、フレームの欠落がない動きが滑らかな動画表示を行うことが可能となる。

さらに、合成画素信号のみが配列された画素信号群と、位相差画素信号のみが配列された画素信号群と、を直列に並べて１行の信号として読み出すようにしたために、合成画素信号と位相差画素信号とを容易に分離することが可能となる。

また、１行における合成画素信号の数と位相差画素信号の数とを合計した数が全ての行において同一数となるように、画素信号の数が同一数に満たない行にダミー画素信号を付加するようにしたために、一定周期の同期信号に同期した画像処理等を行うことが可能となる。

そして、画素信号をデジタル化してから合成画素信号を生成する場合には、合成処理を簡単に行うことができる。一方、画素信号をアナログ信号のまま合成処理する場合には、処理に時間を要するＡ／Ｄ変換を撮像素子１３内において行う必要がないために、撮像素子１３からの画素信号の読み出しを高速化することが可能となる。

加えて、動画用の画像信号の生成を合成画素信号に基づき行うことにより、撮像素子１３からの読み出し画素数を少なくすることができ、必要なフレームレートを確保して、動きが滑らかな動画像表示を行うことが可能となる。

また、第１焦点検出部が位相差画素信号に基づいて位相差ＡＦを行い、第２焦点検出部が合成画素信号に基づいてコントラストＡＦを行うようにしたために、両方のＡＦ方式の特長を合わせて利用することが可能となる。具体的に、例えば１フレームの画像のみからＡＦを行うことができる位相差ＡＦにより高速なＡＦ処理を行い、その後に、コントラストＡＦを用いて高精度なＡＦ処理を行う、等である。

さらに、第１焦点検出部が焦点検出を行わない場合には、撮像素子１３の画像信号読出部２８に位相差画素信号を出力させないようにしたために、撮像素子１３内において処理する画素数を少なくして省電力化、高速化を図ることが可能となる。

そして、被写体条件と撮影条件との少なくとも一方が変化した場合には、位相差画素信号を読み出して位相差ＡＦを行うようにしたために、条件の変化に短時間で対応し、ＡＦタイムラグを縮小することが可能となる。
［実施形態２］

図１９から図２４は本発明の実施形態２を示したものであり、図１９は光線方向に沿った位相差画素の構成を示す図、図２０は位相差画素の構成を示す平面図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１は、１つの位相差画素が、右開口画素Ｒｉ、左開口画素Ｌｅ、上開口画素Ｔｏ、下開口画素Ｂｏの何れか１つとなっていたが、本実施形態は、１つの位相差画素が右開口画素Ｒｉ、左開口画素Ｌｅ、上開口画素Ｔｏ、下開口画素Ｂｏの何れとしても機能することができるように構成されたものとなっている。

すなわち、図１９に示すように１つのマイクロレンズＭＬを有する１つの画素ＰＸに対して配置されるフォトダイオードＰＤは、図２０に示すように４つのフォトダイオードＰＤ１〜ＰＤ４により構成されていて、これらのフォトダイオードＰＤ１〜ＰＤ４は２×２の配列となっている。そこで、以下では、フォトダイオードＰＤ１〜ＰＤ４のそれぞれを、適宜、サブ画素などと呼ぶことにする。また、本実施形態の画素ＰＸは、配線層ＷＬによる開口の制限は行われておらず、被写体からの光線がフォトダイオードＰＤ１〜ＰＤ４の全てに入射してそれぞれ光電変換が行われる。さらに、フォトダイオードＰＤ１〜ＰＤ４のそれぞれに蓄積されたサブ画素信号は、各独立に読み出すことが可能となっている。

なお、図１９および図２０に示した画素構成は、位相差画素だけでなく、画像用画素についても同様であるものとする。

そして、画素信号を読み出す際に、フォトダイオードＰＤ１のサブ画素信号とフォトダイオードＰＤ３のサブ画素信号とを加算して読み出すことにより左開口画素Ｌｅの位相差画素信号を得ることができ、同様に、ＰＤ２とＰＤ４のサブ画素信号を加算して読み出すことにより右開口画素Ｒｉの位相差画素信号を、ＰＤ１とＰＤ２のサブ画素信号を加算して読み出すことにより上開口画素Ｔｏの位相差画素信号を、ＰＤ３とＰＤ４のサブ画素信号を加算して読み出すことにより下開口画素Ｂｏの位相差画素信号を、それぞれ得ることができる。

ここに、サブ画素信号の加算は、例えば画素合成部３２と位相差画素抽出部３３とにより各行われ、従って、垂直走査部２３はサブ画素単位のライン（適宜、サブラインという）を選択して走査することが可能であり、アナログ処理部２５、ＡＤＣ部２６、およびメモリ部３１はサブ画素信号を取り扱うことができるように構成されている。

図２１は、画素部２４における基本画素配置を示す図である。なお、この図２１および後述する図２３においては、ＸサブアドレスおよびＹサブアドレスを、サブ画素単位のアドレスとして記載している。

画素部２４は、図２１に示すような水平方向８画素（Ｘサブアドレス１〜１６）×垂直方向８画素（Ｙサブアドレス１〜１６）の基本画素配置を２次元状に敷き詰めることにより構成されている。そして、画素部２４からの読み出しは、ＸサブアドレスとＹサブアドレスとを選択することにより、サブ画素単位で行うことが可能となっている。

まず、２×２のＸＹサブアドレスを１色の単位とした点を除いて、画像用画素が原色ベイヤー配列となっているのは上述した実施形態１と同様である。

そして、２次元サブアドレス（Ｘ，Ｙ）が例えば次のアドレスとなる位置を、右開口画素Ｒｉ、左開口画素Ｌｅ、上開口画素Ｔｏ、下開口画素Ｂｏとしてそれぞれ利用するようになっている。
Ｒｉ：（１〜２，１〜２）、（９〜１０，１〜２）
Ｌｅ：（１〜２，９〜１０）、（９〜１０，９〜１０）
Ｔｏ：（５〜６，３〜４）、（５〜６，１１〜１２）
Ｂｏ：（１３〜１４，３〜４）、（１３〜１４，１１〜１２）

このような画素配置において、焦点検出部１６の第１焦点検出部は、右開口画素Ｒｉの群（例えばＹサブアドレスが１〜２となる群）から得た画素信号と左開口画素Ｌｅの群（例えばＹサブアドレスが９〜１０となる群）から得た画素信号とに基づいて被写体の縦線成分の位相差情報を検出し、上開口画素Ｔｏの群（例えばＸサブアドレスが５〜６となる群）から得た画素信号と下開口画素Ｂｏの群（例えばＸサブアドレスが１３〜１４となる群）から得た画素信号とに基づいて被写体の横線成分の位相差情報を検出するようになっている。

さらに、本実施形態においては、各位相差画素上に、ベイヤー配列に従ったカラーフィルタが配置されているものとする。すなわち、右開口画素Ｒｉおよび左開口画素Ｌｅ上には緑色（Ｇ）のカラーフィルタＣＦが、上開口画素Ｔｏおよび下開口画素Ｂｏ上には青色（Ｂ）のカラーフィルタＣＦが、それぞれ配置されているものとする。

従って、非破壊読み出しを行えば、右開口画素Ｒｉおよび左開口画素ＬｅはＧｒ画素として、上開口画素Ｔｏおよび下開口画素ＢｏはＢ画素として、それぞれ機能することもできるようになっている。

このように、位相差画素にもベイヤー配列に応じたカラーフィルタを設ける場合には、位相差画素が画像用画素を兼ねることが可能となっている。また、全てのサブ画素を所望に読出可能となるように構成すれば、図２１に示す位相差画素配置だけでなく、所望の位相差画素配置をハードウェアの変更なしに達成することが可能である。

そして、この図２１に示すような画素配置における１／４間引きによる合成画素値Ｐ’（１，１）の生成は、単位画素を構成する合成前の下記のサブ画素値Ｐに基づいて、画素合成部３２により以下の数式２に示すように算出される。
［数２］
Ｐ’（１，１）
＝［｛Ｐ（１，１）＋Ｐ（２，１）＋Ｐ（１，２）＋Ｐ（２，２）｝
＋｛Ｐ（５，１）＋Ｐ（６，１）＋Ｐ（５，２）＋Ｐ（６，２）｝
＋｛Ｐ（１，５）＋Ｐ（２，５）＋Ｐ（１，６）＋Ｐ（２，６）｝
＋｛Ｐ（５，５）＋Ｐ（６，５）＋Ｐ（５，６）＋Ｐ（６，６）｝］／４

図２２は図２１に示す構成において１〜２，５〜６サブラインでなる第１の単位行および３〜４，７〜８サブラインでなる第２の単位行に基づいて生成される合成画素信号および位相差画素信号の読み出し順序を示す図である。

画像信号読出部２８は、１行の画素信号の読み出しにおいて、例えば数式２に示したような演算により生成された合成画素信号のみが配列された画素信号群をまず読み出し、続いて、位相差画素信号のみが配列された画素信号群を読み出す（つまり、上述した実施形態１と同様に、合成画素信号群と位相差画素信号群とを直列に並べて読み出す）ようになっている。

その結果、合成画素信号がＧｒ’，Ｒ’，Ｇｒ’，Ｒ’，…等の順序で読み出され、その後に引き続いて、位相差画素信号がＲｉ１，Ｒｉ２，…の順に読み出される。こうして１〜２，５〜６サブラインのサブ画素の読み出しが終了したら、次に、３〜４，７〜８サブラインのサブ画素の読み出しが行われ、合成画素信号がＢ’，Ｇｂ’，Ｂ’，Ｇｂ’，…等の順序で読み出され、その後に引き続いて、位相差画素信号がＴｏ１，Ｂｏ２，…の順に読み出される。

なお、本実施形態おいては、位相差画素を含むように合成画素信号を生成する際には、位相差画素に含まれる全てのサブ画素信号が用いられるために、上述した実施形態１のような画像処理部１５等による画素値補正処理は不要となっている。

次に、図２３は、画素部２４における基本画素配置の他の例を示す図である。

画素部２４における基本画素配置が、水平方向８画素（Ｘサブアドレス１〜１６）×垂直方向８画素（Ｙサブアドレス１〜１６）となっているのは、図２１に示した例と同様である。

そして、２×２のＸＹサブアドレスを１色の単位として原色ベイヤー配列されている画像用画素群の中の、２次元サブアドレス（Ｘ，Ｙ）が例えば次のアドレスとなる位置を、右開口画素Ｒｉ、左開口画素Ｌｅ、上開口画素Ｔｏ、下開口画素Ｂｏとしてそれぞれ利用するようになっている。
Ｒｉ：（１〜２，１〜２）、（９〜１０，１〜２）
（１〜２，９〜１０）、（９〜１０，９〜１０）
Ｌｅ：（３〜４，３〜４）、（１１〜１２，３〜４）
（３〜４，１１〜１２）、（１１〜１２，１１〜１２）
Ｔｏ：（５〜６，１〜２）、（１３〜１４，１〜２）
（５〜６，９〜１０）、（１３〜１４，９〜１０）
Ｂｏ：（７〜８，３〜４）、（１５〜１６，３〜４）
（７〜８，１１〜１２）、（１５〜１６，１１〜１２）

このような画素配置において、焦点検出部１６の第１焦点検出部は、右開口画素Ｒｉの群（例えばＹサブアドレスが１〜２となる群）から得た画素信号と左開口画素Ｌｅの群（例えばＹサブアドレスが３〜４となる群）から得た画素信号とに基づいて被写体の縦線成分の位相差情報を検出し、上開口画素Ｔｏの群（例えばＸサブアドレスが５〜６となる群）から得た画素信号と下開口画素Ｂｏの群（例えばＸサブアドレスが７〜８となる群）から得た画素信号とに基づいて被写体の横線成分の位相差情報を検出するようになっている。

ここに、図２３に示す配置は、右開口画素Ｒｉと左開口画素Ｌｅとを隣接する画素位置に配置し、かつ上開口画素Ｔｏと下開口画素Ｂｏとを隣接する画素位置に配置して、位相差検出精度を高くしたものとなっている。

そして、各位相差画素上に、ベイヤー配列に従ったカラーフィルタが配置されている点、つまり、各位相差画素Ｒｉ，Ｌｅ，Ｔｏ，Ｂｏ上に緑色（Ｇ）（より詳しくは、ＧｒまたはＧｂ）のカラーフィルタＣＦが配置されている点も図２１に示した例と同様である。従って、位相差画素は画像用画素を兼用し、画像処理部１５等による画素値補正処理が不要である点も同様である。

図２４は図２３に示す構成において１〜２，５〜６サブラインでなる第１の単位行および３〜４，７〜８サブラインでなる第２の単位行に基づいて生成される合成画素信号および位相差画素信号の読み出し順序を示す図である。

画像信号読出部２８は、１行の画素信号の読み出しにおいて、例えば数式２に示したような演算により生成された合成画素信号のみが配列された画素信号群をまず読み出し、続いて、位相差画素信号のみが配列された画素信号群を読み出す（つまり、上述した実施形態１と同様に、合成画素信号群と位相差画素信号群とを直列に並べて読み出す）ようになっている。

その結果、合成画素信号がＧｒ’，Ｒ’，Ｇｒ’，Ｒ’，…等の順序で読み出され、その後に引き続いて、位相差画素信号がＲｉ１，Ｔｏ１，Ｒｉ２，Ｔｏ２，…の順に読み出される。こうして１〜２，５〜６サブラインのサブ画素の読み出しが終了したら、次に、３〜４，７〜８サブラインのサブ画素の読み出しが行われ、合成画素信号がＢ’，Ｇｂ’，Ｂ’，Ｇｂ’，…等の順序で読み出され、その後に引き続いて、位相差画素信号がＬｅ１，Ｂｏ１，Ｌｅ２，Ｂｏ２，…の順に読み出される。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、位相差画素が画像用画素を兼用しているために、補間の必要がない動画像および静止画像を得ることができる。

さらに、サブ画素の読み出し方を変えるだけで、位相差画素を、右開口画素Ｒｉ、左開口画素Ｌｅ、上開口画素Ｔｏ、および下開口画素Ｂｏの何れとしても用いることが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１１…レンズ
１２…シャッタ
１３…撮像素子
１４…信号処理部
１５…画像処理部
１６…焦点検出部
１７…記録部
１８…表示部
１９…メモリ部
２１…操作部
２２…システム制御部
２３…垂直走査部
２４…画素部
２５…アナログ処理部
２６…ＡＤＣ部
２７…画像信号生成部
２８…画像信号読出部
３１…メモリ部
３１ａ…メモリアレイ
３１ａ−１…第１メモリアレイ
３１ａ−２…第２メモリアレイ
３１ｂ…行選択部
３１ｃ…列選択部
３２…画素合成部
３３…位相差画素抽出部
３４…水平走査部
３５…出力部
４１…単位メモリ
４２…読出スイッチ
４３…行信号線
４４…列信号線
Ｌｅ…左開口画素
Ｒｉ…右開口画素
Ｔｏ…上開口画素
Ｂｏ…下開口画素
Ｄ…ダミーの位相差画素信号
ＰＸ…画素
ＰＸ１…右開口
ＰＸ２…左開口
ＭＬ…マイクロレンズ
ＣＦ…カラーフィルタ
ＷＬ…配線層
ＰＤ，ＰＤ１〜ＰＤ４…フォトダイオード

Claims (9)

1. 画像用の画素信号を生成するための画素と、焦点検出用の画素信号を生成するための画素と、が行列状に配置され、生成した画素信号を出力する画素部と、
   上記画素部に行列状に配置された複数の画素を、行方向および列方向に隣接する複数の同一色に対応する画素で構成される単位画素に分けたときに、上記画素部から出力された画素信号を、上記単位画素の行方向の並びによって構成される単位行の少なくとも１行分記憶する記憶部を有し、上記単位画素の構成は、少なくとも１つの画像用の画像信号を生成するための画素を有するものであり、該記憶部に記憶した画素信号に基づいて、単位行毎に、上記単位画素に係る画素信号を合成した合成画素信号と、該単位行から抽出した上記焦点検出用の位相差画素信号と、を生成する画像信号生成部と、
   上記画像信号生成部により生成された１単位行に係る上記合成画素信号および上記位相差画素信号を、水平同期信号に同期して１行の信号として読み出す画像信号読出部と、
   を備えたことを特徴とする撮像素子。
2. 上記画像信号読出部は、上記単位行毎に、上記合成画素信号のみが配列された画素信号群と、上記位相差画素信号のみが配列された画素信号群と、を直列に並べて１行の信号として読み出すことを特徴とする請求項１に記載の撮像素子。
3. 上記画像信号生成部は、１行における上記合成画素信号の数と上記位相差画素信号の数とを合計した数が全ての行において同一数となるように、画素信号の数が該同一数に満たない行にダミー画素信号を付加することを特徴とする請求項１に記載の撮像素子。
4. 上記画素部から出力された画素信号をＡ／Ｄ変換してデジタル画素信号を出力するＡ／Ｄ変換部をさらに有し、
   上記記憶部は、上記Ａ／Ｄ変換部によりＡ／Ｄ変換されたデジタル画素信号を記憶するものであり、
   上記画像信号生成部は、上記記憶部に記憶されたデジタル画素信号に基づいて、デジタルの上記合成画素信号と、デジタルの上記位相差画素信号と、をそれぞれ生成するものであり、
   上記画像信号読出部は、１単位行に係るデジタルの上記合成画素信号およびデジタルの上記位相差画素信号を、１行の信号として読み出すものであることを特徴とする請求項１に記載の撮像素子。
5. 請求項１に記載の撮像素子と、
   上記撮像素子から読み出された上記合成画素信号を画像処理して動画用または静止画用の画像信号を生成する画像処理部と、
   上記撮像素子から読み出された上記位相差画素信号に基づいて、位相差法に基づく焦点検出を行う第１焦点検出部と、
   上記撮像素子から読み出された上記合成画素信号に基づいて、コントラスト法に基づく焦点検出を行う第２焦点検出部と、
   を備えたことを特徴とする撮像装置。
6. 上記第１焦点検出部が焦点検出を行わない場合には、上記画像信号読出部に上記位相差画素信号を出力させないように制御する制御部をさらに備えたことを特徴とする請求項５に記載の撮像装置。
7. 上記制御部は、被写体条件と撮影条件との少なくとも一方が変化したか否かを判定し、変化したと判定した場合には、上記画像信号読出部に上記位相差画素信号を読み出させて、上記第１焦点検出部に焦点検出を行わせるように、さらに制御することを特徴とする請求項６に記載の撮像装置。
8. 上記画像信号生成部は、上記位相差画素信号も合成して上記合成画素信号を生成することを特徴とする請求項１に記載の撮像素子。
9. 上記画像信号読出部は、上記位相差画素信号が、上記単位行内の同一の列に複数存在する場合は、列方向の並びに応じた所定の順序で上記位相差画素信号を配列することを特徴とする請求項２に記載の撮像素子。

Images