JP6483354B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、複数の撮像用画素と、複数の焦点検出用画素を有する撮像素子を有する撮像装置および撮像方法に関する。

撮像素子の一部に位相差を検出するための焦点検出用画素（位相差画素ともいう）を配置し、位相差画素値から位相差情報を取得し、被写体距離を判断し、オートフォーカス制御する技術が実用化されている。一方、動画記録やライブビュー表示の場合には、撮像素子内で複数の画素出力を混合し出力することによって動画フレームレートを確保するのが一般的である。位相差画素が配置されている撮像素子では、そのままでは画像信号として利用できない位相差画素の出力が混合される。

そこで、位相差画素の開口が狭いことに起因する感度不足を補正するためのゲインアップや周辺画素からの補間演算により画像信号を生成する必要がある。しかし、位相差画素の出力が混合された画素（混合画素）の密度は混合前よりも高くなるため、周辺画素から補完する方式では画質の劣化を招く。

このような画質劣化を防止するために、混合画素にかけるゲインを画像から推定し、混合画素をゲインアップすることで画質を向上させる技術が提案されている（特許文献１参照）。混合画素にかけるべきゲインは画像の中心部分では位相差画素の開口率で決まるが、周辺では光学系の瞳位置や画素の斜入射特性などの影響を受け、中心部分とは異なるものとなる。この影響は、開口方向（左右開口であれば、左右方向）の像高に依存したものとなる。

特開２０１３−２５７４９４号公報

混合画素値にかけるゲインは、位相差画素の出力とその周辺の通常画素の出力を比較することが好ましい。しかし、特許文献１の技術では、位相差画素を撮像素子の広い領域に配置する場合、ゲイン推定のために、位相差の開口方向に幅の広い領域の画素を配置しなければならい。検出する位相差の方向を左右方向だけなく、上下方向にも実現する場合には、上下方向の開口を持った位相差画素を配置することになる。この場合には、補正に用いるゲイン推定のためには、位相差画素が配置されている領域の上限方向にも幅の広い画素を配置しなければならなくなる。すなわち、左右方向と上限方向の両方に、位相差画素の補正用の領域の広い画素を配置しなければならなくなり、このため、演算に用いるメモリの大幅な増大や、データ転送量の増加を招いてしまう。

本発明は、このような事情を鑑みてなされたものであり、位相差検出性能を向上させつつ、メモリの増大と画質の劣化を防止するようにした撮像装置および撮像方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、複数の撮像用画素と上記撮像用画素とは受光部の開口の位置が異なる複数の焦点検出用画素を有する、とともに上記複数の撮像用画素に対応して規則的に配置される複数の色フィルタを有する撮像素子と、上記撮像素子の画素信号を混合して読み出して混合画素出力を出力する読出し部と、上記混合画素出力を補正する画素補正部と、を有し、上記撮像素子は、対をなす第１の焦点検出用画素を上記撮像用画素の第１の色フィルタに対応する位置に配置し、対をなす第２の焦点検出用画素を上記撮像用画素の上記第１の色フィルタと色が異なる第２の色フィルタに対応する位置に配置し、上記読出し部は、上記第１の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、上記第１の焦点検出用画素の出力を含めた複数の画素信号を混合して第１の混合画素出力を読み出し、上記第２の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、上記第２の焦点検出用画素の出力を含めず複数の画素信号を混合して第２の混合画素出力を読み出し、上記画素補正部は、上記第１の混合画素出力の出力値を補正し、上記第２の混合画素出力の出力値を補正せず、上記第１の焦点検出用画素は、開口の位置を上記撮像用画素の開口の位置に対して左もしくは右方向にずらした画素であり、上記第２の焦点検出用画素は、開口の位置を上記撮像用画素の開口の位置に対して上もしくは下方向にずらした画素である、ことを特徴とする撮像装置。

第２の発明に係る撮像装置は、上記第１の発明において、上記第１および第２の焦点検出用画素に配置される色フィルタは、共に同じ色を有する。
第３の発明に係る撮像装置は、上記第１の発明において、上記第１の色フィルタは緑色で、上記第２の色フィルタは青色または赤色である。

第４の発明に係る撮像装置は、上記第１の発明において、上記画素補正部は、上記第１の焦点検出用画素の遮光率と混合する画素の数に基づく補正ゲインに基づいて上記第１の混合画素出力の出力値を補正する。

第５の発明に係る撮像装置は、上記第１の発明において、上記撮像素子は、上記第２の焦点検出用画素が、上記読出し部で混合される画素混合のパターンの周期と同一の周期で配置されている。
第６の発明に係る撮像装置は、上記第５の発明において、上記撮像素子は、上記第２の焦点検出用画素が配置されていない画素領域を持ち、上記読出し部は、第２の焦点検出用画素の配置状態によらず、全画素領域で同一の周期にて画素を混合して混合画素出力を読み出す。

第７の発明に係る撮像装置は、上記第１の発明において、上記読出し部は、撮像素子の画素信号を読み出して画素混合せずに画素出力を出力する機能を加えて有し、上記画素補正部は、上記第１および第２の焦点検出用画素の出力値を、各々焦点検出用画素の周囲に位置する各々のフィルタに対応する撮像用画素の出力値を用いて補間して上記第１および第２の焦点検出用画素の位置に対応する撮像用画素の出力値を求める。

第８の発明に係る撮像方法は、複数の撮像用画素と上記撮像用画素とは受光部の開口の位置が異なる複数の焦点検出用画素を有する撮像素子と、上記撮像素子の画素信号を混合して読み出して混合画素出力を出力する読出し部と、上記混合画素出力を補正する画素補正部を有し、上記撮像素子は、対をなす第１の焦点検出用画素を上記撮像用画素の第１の色フィルタに対応する位置に配置し、対をなす第２の焦点検出用画素を上記撮像用画素の上記第１の色フィルタと色が異なる第２の色フィルタに対応する位置に配置されている撮像装置の撮像方法において、上記読出し部は、上記第１の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、上記第１の焦点検出用画素の出力を含めた複数の画素信号を混合して第１の混合画素出力を読み出し、上記第２の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、上記第２の焦点検出用画素の出力を含めず複数の画素信号を混合して第２の混合画素出力を読み出し、上記画素補正部は、上記第１の混合画素出力の出力値を補正し、上記第２の混合画素出力の出力値を補正せず、上記第１の焦点検出用画素は、開口の位置を上記撮像用画素の開口の位置に対して左もしくは右方向にずらした画素であり、上記第２の焦点検出用画素は、開口の位置を上記撮像用画素の開口の位置に対して上もしくは下方向にずらした画素である。

本発明によれば、位相差検出性能を向上させつつ、メモリの増大と画質の劣化を防止するようにした撮像装置および撮像方法を提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラの撮像素子の平面図である。 本発明の一実施形態に係るカメラの位相差画素の配置を示す図である。 本発明の一実施形態に係るカメラの位相差画素の画素混合（Ｇｒ画素の画素混合）の組み合わせ（４画素周期）を示す図である。 本発明の一実施形態に係るカメラの位相差画素の画素混合（Ｂ画素の画素混合）の組み合わせ（４画素周期）を示す図である。 本発明の一実施形態に係るカメラの位相差画素の画素混合（Ｇｒ画素の画素混合）の組み合わせ（６画素周期）を示す図である。 本発明の一実施形態に係るカメラの位相差画素の画素混合（Ｂ画素の画素混合）の組み合わせ（６画素周期）を示す図である。 本発明の一実施形態に係るカメラの位相差画素の遮光特性を示し、（ａ）は像高方向の遮光率を示すグラフであり、（ｂ）は像高方向の補正ゲインを示すグラフである。 本発明の一実施形態に係るカメラの静止画撮影の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの動画撮影の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの動画撮影の動作を示すフローチャートである。

以下、本発明の一実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

本実施形態の撮像素子は、第１の位相差画素を撮像用画素のＧｒ（緑色）の色フィルタに対応する位置に配置し、第２の位相差画素を撮像用画素のＢ（青色）フィルタに対応する位置に配置し、Ｇｒフィルタに対応する撮像用画素の出力を混合して読み出す場合には、第１の位相差画素の出力を含めた複数の画素信号を混合して第１の混合画素出力を読み出し、Ｂフィルタに対応する撮像用画素の出力を混合して読み出す場合には、第２の位相差画素の出力を含めず複数の画素信号を混合して第２の混合画素出力を読み出す。第１の混合画素出力は第１の位相差画像出力が含まれていることから、この出力を補正して使用し、一方、第２の混合画素出力は第２の位相差画像出力が含まれていないことから、この出力を補正せずに使用する（画素混合については、図４Ａ−図４Ｄ等参照、補正については図５、図７ＡのＳ４９、Ｓ５１、Ｓ５５参照）。

図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。

撮影レンズ１０１は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズを含む）から構成され、単焦点レンズまたはズームレンズであり、また固定式または交換式のレンズ鏡筒内に配置される。また、撮影レンズ１０１はフォーカス駆動部１０３によって光軸方向に移動可能であり、後述するＣＰＵ（Central Processing Unit）１４０からの制御信号に基づいて、撮影レンズ１０１内のフォーカスレンズを移動させることによりフォーカス位置が制御され、ズームレンズの場合には、不図示のズーム駆動部によりズームレンズ群を移動させて焦点距離も制御される。

撮影レンズ１０１の光軸の後方には、絞り１０５が配置されており、絞り１０５は開口径が可変であり、撮影レンズ１０１を通過した被写体光束の光量を制御する。絞り駆動部１０７は、ＣＰＵ１４０からの制御信号に基づいて、絞り１０５の開口径の制御を行う。

撮影レンズ１０１によって形成される被写体像は、撮像部１１０によって画像データに変換される。この撮像部１１０は、撮像素子１１１、アンプ（Ａ−Ｇａｉｎ）１１３、Ａ／Ｄ変換器１１５、混合部（ＭＩＸ）１１７、インターフェース（Ｉ／Ｆ）１１９を有する。撮像部１１０は、バス１３０を介して、ＣＰＵ１４０からの制御信号に応じて撮像素子１１１から画像信号を読み出して処理を行い、撮像処理部１２０に画像データを出力する。

撮像素子１１１は、撮影レンズ１０１の光軸上であって、被写体像の結像位置付近に配置されている。撮像素子１１１は、被写体像（光学像）を電気信号に変換する光電変換部を有する複数の画素を備えている。すなわち、撮像素子１１１は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。これらの複数のフォトダイオードが、前述の複数の画素に対応する。

また、撮像素子１１１の複数の画素は、画素へ入射する光束の入射方向を制限するよう構成された位相差画素（「焦点検出用画素」ともいう）と、画素へ入射する光束が位相差画素よりも制限されないように構成された撮像用画素を含んでいる。この撮像素子１１１は、複数の撮像用画素とこの撮像用画素とは受光部の開口の位置が異なる複数の焦点検出用画素を有している。撮像用画素からの画像信号はそのまま被写体像を表示するに使用できるが位相差画素からの画像信号は入射光束の一部が遮光されているために、補間演算やゲイン補正等による補正処理が必要である（この補正については、位相差補正部１７０を参照）。撮像素子１１１の位相差および撮像用画素の配置については、図３を用いて後述する。

撮像素子１１１の出力はアンプ１１３に出力される。アンプ１１３は、撮像素子１１１から出力されるアナログの画像信号を所定のゲインで増幅する。アンプ１１３の出力はＡ／Ｄ変換器１１５に出力される。Ａ／Ｄ変換器１１５は、アナログの画像信号をアナログ・デジタル変換し、画像データを混合部１１７に出力する。

混合部１１７は、ライブビュー表示や動画撮影時に、複数の画素からの画像データを加算処理してＩ／Ｆ１１９に出力する。混合部１１７は、撮像素子の画素信号を混合して読み出して混合画素出力を出力する読出し部として機能する。また、混合部１１７は、第１の色フィルタ（本実施形態ではＧｒフィルタ）に対応する撮像用画素の出力を混合して読み出す場合には、第１の焦点検出用画素の出力を含めた複数の画素信号を混合して第１の混合画素出力を読み出し、第２の色フィルタ（本実施形態においてはＢフィルタ）に対応する撮像用画素の出力を混合して読み出す場合には、第２の焦点検出用画素の出力を含めず複数の画素信号を混合して第２の混合画素出力を読み出す読出し部として機能する（例えば、図４Ａ−図４Ｄ参照）。また、読み出し部は、撮像素子の画素信号を読み出して画素混合せずに画素出力する機能を有する。このため、画素混合されない場合には、周辺画素から高精度に補間することで、画質を向上させることができる。

混合部１１７において行う混合画素の組み合わせについては、図４Ａ−図４Ｄを用いて後述する。なお、本実施形態においては、画素からの信号の混合は、Ａ／Ｄ変換後に行っているが、Ａ／Ｄ変換前に行ってもよく、また撮像素子１１１から画像信号を読み出す際に行うようにしてもよい。

混合部１１７の出力はＩ／Ｆ１１９を介して、撮像処理部１２０のＩ／Ｆ１２１に出力される。Ｉ／Ｆ１１９とＩ／Ｆ１２１の間で、画像データを高速で通信する。

撮像処理部１２０は、撮像部１１０から出力される画像データに対して、ＣＰＵ１４０からの制御信号に従って、種々の撮像処理を施し、バス１３０に出力する。Ｉ／Ｆ１２１、ＡＦ検波部１２３、ＡＥ／ＷＢ部１２５、リサイズ部１２７を有する。なお、各部は、図中の画像データの流れに沿って直列にデータが処理してもよいが、それぞれ個別に処理が可能とする。

Ｉ／Ｆ１２１で受信した画像データは、ＡＦ検波部１２３に出力される。ＡＦ検波部１２３は、画像データの中から位相差画素からの画像データのみを抽出する。後述する図３に示すように撮像素子１１１の中には、撮像用画素（図中、Ｒ、Ｇｒ、Ｇｂ、Ｂで示す）と位相差画素（図中、ＬＦ、ＲＩ、ＴＰ、ＢＴで示す）の画素が所定の周期で混在している。これらの画素の画素データは水平方向に読みだされてくるので、ＡＦ検波部１２３は、位相差画素の画素データのみを抽出する。ＡＦ検波部１２３で抽出された位相差画素の画素データは、バス１３０を介してＣＰＵ１４０に入力される。ＣＰＵ１４０は、位相差画素の画素データを用いて位相差検出方式に基づくＡＦ演算を行う。そして、ＣＰＵ１４０は、ＡＦ演算の結果に基づいてフォーカス駆動部１０３によりフォーカスレンズの移動を制御してオートフォーカスを実行する。

ＡＥ／ＷＢ部１２５は、ＡＥ部とＷＢ部を有している。ＡＥ（Automatic Exposure）部は、画像データから被写体の輝度に相当する信号を検出し、輝度信号として出力する。またＷＢ（White Balance）部は画像データのホワイトバランス処理を行うためにＲ信号、Ｂ信号にかけるべきホワイトバランスゲインを検出する。

リサイズ部１２７は、画像データのサイズを変更する。ライブビュー表示時や動画撮影時には、画像サイズは静止画撮影時ほど大きくなくてもよい。リサイズ部１２７は、ライブビュー表示や動画撮影が要求する画像の大きさに応じて、リサイズを行う。画像サイズを小さくすることにより、迅速な処理が可能となる。

ＣＰＵ１４０は、このカメラ全体の制御部としての機能を果たし、フラッシュＲＯＭ１４３に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。ＣＰＵ１４０には、前述のバス１３０以外に、操作部１４１が接続されている。

操作部１４１は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をＣＰＵ１４０に出力する。ＣＰＵ１４０は、操作部１４１からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。

フラッシュＲＯＭ１４３は、ＣＰＵ１４０の各種シーケンスを実行するためのプログラムを記憶している。ＣＰＵ１４０はこのプログラムに基づいてカメラ全体の制御を行う。

ＤＲＡＭ１４５は、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）であり、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＤＲＡＭ１４５は、撮像部１１０から出力され撮像処理部１２０によって処理された画像データや、後述する画像処理部１５０等において処理された画像データを一時記憶する。

バス１３０には、位相差画素補正部１７０が接続されており、この位相差画素補正部１７０は、撮像素子１１１中の位相差画素からの画素データに対して補正処理を行う。位相差画素補正部１７０は、ゲイン推定部１７１、ゲイン補正部１７３、画素補間部１７５を有する。なお、各部は、図中の画像データの流れに沿って直列にデータを処理してもよいが、それぞれ個別に処理が可能である。

ゲイン推定部１７１は、混合部１１７によって混合された画素データに対して乗算するゲインを推定する。図５を用いて後述するように、補正用のゲインは画素データの像高位置に応じて異なっており、また焦点距離や瞳位置等によっても異なる。本実施形態においては、画像データを用いて、フレーム（または数フレーム）毎にゲインの推定を行う。

ゲイン補正部１７３は、混合部１１７によって混合された画素データに対して、ゲイン推定部１７１によって推定されたゲインを乗算する。ゲイン推定部１７１とゲイン補正部１７３は、混合画素出力を補正する画素補正部として機能する。この画素補正部は、第１の混合画素出力の出力値を補正し、第２の混合画素出力の出力値を補正しない（例えば、図７ＡのＳ５１、Ｓ５５参照）。また、この画素補正部は、第１の混合画素の周辺に位置する第１の色フィルタに対応する撮像用画素だけの混合画素出力に基づいて第１の混合画素出力の出力値を補正する（例えば、後述する図５の説明を参照）。このため、レンズの焦点距離や瞳位置など様々な条件によって変化する焦点検出用画素と撮像用画素の出力差を精度よく補正し、画質劣化を防止することができる。

画素補間部１７５は、位相差画素の画素データを周囲の撮像用画素の画素データを用いて補間処理を行う。本実施形態においては、静止画撮影時の画像処理では、位相差画素の画素データについては上記補間処理を行う。画素補間部１７５は、第１および第２の焦点検出用画素の出力値を、各々焦点検出用画素の周囲に位置する各々色のフィルタに対応する撮像用画素の出力値を用いて補間して第１および第２の焦点検出用画素の位置に対応する撮像用画素の出力値を求める画素補正部としての機能を有する。

バス１３０には、画像処理部１５０が接続されており、この画像処理部１５０は、撮像処理部１２０または位相差画素補正部１７０から出力された画像データの画像処理を行う。画像処理部１５０は、ＯＢ／ＷＢ部１５１、同時化部１５３、カラーマトリックス（ＣＭＸ）１５５、ガンマ変換部１５７、ＲＧＢ２ＹＣ部１５９、エッジ強調部１６１、ＮＲ部１６３、リサイズ１６５、画像圧縮・伸張部１６７を有する。なお、各部は、図中の画像データの流れに沿って直列にデータが処理してもよいが、それぞれ個別に処理が可能とする。

ＯＢ／ＷＢ部１５１は、ＯＢ（Optical Black）部とＷＢ（White Balance）を有する。ＯＢ部は、撮像素子１１１に設けられた遮光部からの画素データを、被写体像を表す画素データから減算し、暗電流等の撮像素子に起因するノイズを除去する。また、ＷＢ部は、撮像処理部１２０内のＷＢ部と同様に、画像データのホワイトバランス処理を行う。

同時化部１５３は、ＲＧＢの各画素データは、それぞれ異なる位置からのデータを用いて、各画素位置におけるＲＧＢのデータを生成する。例えば、各色ごとに存在しない色成分の画素値を周囲画素から補間によって求める。カラーマトリックス部１３５は、撮像素子１１１の分光感度特性や光学系の分光透過率特性等を考慮して、ＲＧＢの各データを理想とするＲＧＢの画像データに補正する。

ガンマ変換部１５７は、カメラで撮影した際の被写体の光量と表示部での表示輝度を略線形に保つと同時に、表示画像の階調特性を好ましくみせるために行う補正である。ＲＧＢ２ＹＣ部１５７は、ＲＧＢの色空間から輝度・色差の色空間変換を行う。ガンマ変換後のＲＧＢ画像データを用いて、ＹＣ変換後に、色差補正を行う。

エッジ強調部１６１は、画像中の輪郭部分を強調する画像処理を行う。ＮＲ（Noise Reduction）部１６３は、周波数に応じたコアリング処理等を行うことにより画像データ中に含まれるノイズを除去する。リサイズ部１６５は、撮像処理部１２０中のリサイズ部１２７と同様に、画像データのサイズを変更する。画像圧縮・伸張部１６７は、画像データに対してＪＰＥＧやＭＰＥＧ等の圧縮を行い、また圧縮されたデータの伸張を行う。

バス１３０に接続されたＥＶＦ（Electrical View Finder）１８１は、電子ビューファインダであり、画像処理部１５０からの画像データに基づいて、被写体像のライブビュー表示等を行う。ユーザは接眼部からＥＶＦを覗くことにより、ライブビュー表示等を観察することができる。

バス１３０に接続された背面パネル１８３は、液晶パネル等の表示部を有し、画像処理部１５０からの画像データに基づいて、被写体像のライブビュー表示等を行う。ユーザは接眼部を介さず背面パネル１８３を直接観察できる。

バス１３０に接続された外部メモリ１８５は、カメラ本体に装填自在な記録媒体であり、電気的に書き換え可能な不揮発性メモリを有する。画像処理部１５０において、記録用に画像処理された画像データを記録し、また画像データを読み出すことができる。

次に、図２を用いて、撮像素子１１１の撮像面における位相差画素エリアの配置について説明する。図２の矩形は撮像素子１１１の有効画素エリア１１１ａを示す。有効画素エリア１１１ａには、ＲＧＢの撮像用画素が全面に配置されている。

水平方向に細長く伸びるＬＦ／ＲＩ画素エリア１１１ｂ（図中、実線で囲まれた領域）内には、撮像用画素の間に所定の周期でＬＦ画素とＲＩ画素が配置されている。ＬＦ画素は左開口の位相差画素であり、ＲＩ画素は右開口の位相差画素である。左開口は撮像面を正面から見て左側が開口しており、左側からの被写体光束が画素を構成するフォトダイオードに入射する。また右開口は、逆に、撮像面を正面から見て右が開口しており、右側からの被写体光束が画素を構成するフォトダイオードに入射する。

上下方向に細長く伸びるＴＰ／ＢＴ画素エリア１１１ｃ（図中、点線で囲まれた領域）内には、撮像用画素の間に所定の周期でＴＰ画素とＢＰ画素が配置されている。ＴＰ画素は上開口の位相差画素であり、ＢＴ画素は下開口の位相差画素である。上開口は撮像面を正面から見て上側が開口しており、上側からの被写体光束が画素を構成するフォトダイオードに入射する。また下開口は、逆に、撮像面を正面から見て下が開口しており、下側からの被写体光束が画素を構成するフォトダイオードに入射する。

ＬＦ／ＲＩ画素エリア１１１ｂとＴＢ／ＢＴ画素エリア１１１ｃが重複している領域は、ＲＧＢの撮像用画素に加えて、ＬＦ／ＲＩ画素とＴＢ／ＢＴ画素が混在している領域である。この混在している領域における画素の配置の一例について、図３を用いて説明する。

図３において、ＲはＲフィルタを持つ撮像用画素の位置を示し、ＢはＢフィルタを持つ撮像用画素の位置を示し、ＧｒまたはＧｂはＧ（緑色）フィルタを持つ撮像用画素の位置を示す。また、ＬＦは前述の左開口の位相差画素の位置を示し、ＲＩは右開口の位相差画素の位置を示す。またＴＰは上開口の位相差画像の位置を示し、ＢＴは下開口の位相差画素の位置を示す。

また、第１および第２の焦点検出用画素に配置される色フィルタは、共に第１の色フィルタである。第１の焦点検出用画素は撮像用画素と混合されるため、色再現性を担保するために焦点検出用画素と撮像用画素に同色のフィルタを配置する必要がある。第２の焦点検出用画素は撮像用画素と混合されないため、必ずしも撮像用画素と同色のフィルタを配置する必要はないが、同色とすることで焦点検出用画素の分光感度特性を揃えることができ、焦点検出精度を向上させることができる。具体的には、第１のフィルタは緑色である。また、第２の色フィルタは青色または赤色とし、解像への影響が少ない周波数帯域を含めて効果的に焦点検出画素を配置することで、焦点検出用画素の密度を上げ、焦点検出精度を向上させると共に、画質の劣化を防止することができる。

図３において、（ｘ１、ｙ１）のＬＦ位相差画素と（ｘ５、ｙ１）のＲＩ位相差画素が１対となっており、ｙ１行、ｙ５行、ｙ９行、ｙ１３行にＬＦ／ＲＩの位相差画素が配置されている。また（ｘ３、ｙ４）のＴＰ位相差画素と（ｘ３、ｙ８）のＢＴ位相差画素が１対となっており、ｘ３列、ｘ７列、ｘ１１列、ｘ１５列にＴＰ／ＢＴの位相差画素が配列されている。

撮像素子１１１の内の有効画素エリア１１１ａは、従って、次の４つのエリアとなる。
（１）ＬＦ／ＲＩ位相差画素のみが配置されるエリア（エリア１）
（２）ＴＰ／ＢＴ位相差画素のみが配置されるエリア（エリア２）
（３）ＬＦ／ＲＩ／ＴＰ／ＢＴ位相差画素の全てが配置されるエリア（エリア３）
（４）いずれの位相差画素も配置されないエリア（エリア４）

次に、図４Ａ−図４Ｄを用いて、混合部１１７において行われる画素混合の組み合わせについて説明する。これらの図の内、図４Ａと図４Ｂは、４画素周期の画素混合の例を示し、図４Ｃと図４Ｄは６画素周期の画素混合の例を示す。

図４Ａは、Ｇｒ画素を４画素周期で画素混合する場合において、混合する画素の組み合わせを示す。図４Ａに示すように、例えば、（ｘ１、ｙ１）の位相差画素ＬＦと、（ｘ３、ｙ１）（ｘ１、ｙ３）（ｘ３、ｙ３）の３つのＧｒの撮像用画素を混合し、また（ｘ５、ｙ１）の位相差画素ＲＩと、（ｘ７、ｙ１）（ｘ５、ｙ３）（ｘ７、ｙ３）の３つのＧｒの撮像用画素を混合する。

このように、図４Ａに示す例では、Ｇｒ画素は左右の開口の位相差画素ＬＦ、ＲＩを含めて４画素を混合している。また、それぞれの組み合わせパターンは、矩形の左上の隅に位相差画素が配置され、他の３隅にＧｒの撮像用画素が配置され、この組み合わせパターンが繰り返し同じ周期で配置される。なお、本実施形態におけるパターンは、左上の隅を位相差画素としていたが、これに限らず、左下でも右上でも右下でも構わない。

図４Ｂは、Ｂ画素を４画素周期で画素混合する場合において、混合する画素の組み合わせを示す。図４Ｂに示すように、例えば、（ｘ１、ｙ２）（ｘ３、ｙ２）（ｘ１、ｙ４）の３つのＢの撮像用画素を混合している。しかし、（ｘ３、ｙ４）の位相差画素ＴＰや、（ｘ３、ｙ８）の位相差画素ＢＴのような位相差画素を避けて画素混合を行っている。

このように、図４Ｂに示す例では、３つのＢ画素を混合しているが、上下開口の位相差画素を避けて画素混合を行っている。また、それぞれの組み合わせパターンは、矩形の右下の隅に画素を欠き、他の３隅にＢの撮像用画素が配置され、この組み合わせパターンが繰り返し同じ周期で配置される。なお、本実施形態においては、Ｂ画素の混合を行っているが、上下開口の位相差画像をＲ画素の位置に配置した場合は、Ｒ画素についても同様に混合を行ってもよい。また、本実施形態におけるパターンは、右下の隅を位相差画素としていたが、これに限らず、左上でも右上でも左下でも構わなわい。

図４Ｃは、Ｇｒ画素を９画素周期で画素混合する場合において、混合する画素の組み合わせを示す。図４Ｃに示すように、例えば、（ｘ１、ｙ１）の位相差画素ＬＦと、（ｘ３、ｙ１）（ｘ５、ｙ１）（ｘ１、ｙ３）（ｘ３、ｙ３）（ｘ５、ｙ３）（ｘ１、ｙ５）（ｘ３、ｙ５）（ｘ５、ｙ５）の８つのＧｒの撮像用画素を混合し、また（ｘ７、ｙ１）の位相差画素ＲＩと、（ｘ９、ｙ１）（ｘ１１、ｙ１）（ｘ７、ｙ３）（ｘ９、ｙ３）（ｘ１１、ｙ３）（ｘ７、ｙ５）（ｘ９、ｙ５）（ｘ１１、ｙ５）の８つのＧｒの撮像用画素を混合する。

このように、図４Ｃに示す例では、Ｇｒ画素は左右の開口の位相差画素ＬＦ、ＲＩを含めて９画素を混合している。また、それぞれの組み合わせパターンは、矩形の左上の隅に位相差画素が配置され、他の３隅や中間点にＧｒの撮像用画素が配置され、この組み合わせパターンが繰り返し同じ周期で配置される。なお、本実施形態におけるパターンは、左上の隅を位相差画素としていたが、これに限らず、左下でも右上でも右下でも、またこれらの中間点でも構わない。また、図４Ｃでは、混合の組み合わせを４組しか示していないが、これ以外の画素についても同様に混合される。

図４Ｄは、Ｂ画素を９画素周期で画素混合する場合において、混合する画素の組み合わせを示す。図４Ｄに示すように、例えば、（ｘ１、ｙ４）（ｘ５、ｙ４）（ｘ１、ｙ６）（ｘ３、ｙ６）（ｘ５、ｙ６）（ｘ１、ｙ８）（ｘ３、ｙ８）（ｘ５、ｙ８）の８つのＢの撮像用画素を混合している。しかし、（ｘ３、ｙ４）の位相差画素ＴＰや、（ｘ３、ｙ１０）の位相差画素ＢＴのような位相差画素を避けて画素混合を行っている。

このように、図４Ｄに示す例では、８つのＢの撮像用画素を混合しているが、上下開口の位相差画素を避けて画素混合を行っている。また、それぞれの組み合わせパターンは、矩形の上辺の中間点に画素を欠き、他の４隅と中間点（上辺を除く）にＢの撮像用画素が配置され、この組み合わせパターンが繰り返し同じ周期で配置される。なお、本実施形態においては、Ｂ画素の混合を行っているが、上下開口の位相差画素をＲ画素の位置に配置した場合は、Ｒ画素についても同様に混合を行ってもよい。また、本実施形態におけるパターンは、上辺の中間点を位相差画素としていたが、これに限らず、画素混合パターンの任意の場所でも構わない。また、図４Ｄでは、混合の組み合わせを４組しか示していないが、これ以外の画素についても同様に混合される。

このように、本実施形態における画素混合では、Ｇｒ画素は左右開口の位相差画素を含めて画素混合し、またＢ画素は上下開口の位相差画素を避けて画素混合を行う。Ｇｒ画素は位相差画素を含めて画素混合を行っているのは、Ｇｒ画素は輝度成分を多く含み解像度への影響度がより大きいことから、画素混合を行わないとモアレや解像劣化といった画質劣化の大きな要因となるため、画素混合にあたっても含めている。これに対して、Ｂ画素（Ｒ画素も同様）は、輝度成分が少なく解像度への影響度がより低く、画素混合にあたって含めていない。また、本実施形態では、Ｇｒ画素の位置に位相差画素を配置しているが、Ｇｂ画素の位置に位相差画素を配置した場合であっても、Ｇｂ画素についてＧｒ画素と同様な画素混合を行ってもよい。このようにＧｒ／Ｇｂ画素については画素混合に含め、Ｂ／Ｒ画素について画素混合に含めないようにすることによって、十分な解像度を確保すると共に演算処理の短縮化を図ることができる。

また、本実施形態における画素混合では、画素混合パターンの周期と位相差画素の周期が同じになるように配置している。例えば、図４Ａ、図４Ｂでは、画素混合パターンは４画素おきに同じ画素が配置されており、また位相差画素の周期も４画素おきに位相差画素が配置されている。このように画素混合パターンと位相差画素の周期が同じにすることにより、画素混合の重心位置の周期性が保たれる。画素混合の重心位置の周期性が崩れると、主に解像力の面で画質が劣化してしまうが、本実施形態においては、画質の向上を図ることができる。

また、本実施形態においては、位相差画素がないエリアがある。すなわち、前述したように、エリア１〜３においては、何らかの位相差画素が配置されるが、エリア４（図２の有効エリア１１１ａ内において、ＬＦ／ＲＩ画素エリア１１１ｂとＴＰ／ＢＴ画素エリア１１１ｃ以外のエリア）においては位相差画素が配置されない。このエリア４においても図４Ａ〜図４Ｄに示すような周期性のある画素混合パターンによって混合を行う。Ｂ画素やＲ画素については、エリア４には位相差画素が配置されないので、４画素周期の場合には図４Ｂの場合と異なり、４画素混合を行うことも可能となる。しかし、３画素混合と４画素混合では、混合時に発生するモアレが異なるため、モアレが発生する被写体を撮影した場合に画像の場所によってはモアレの発生具合が異なり、画質に違和感が発生する。このため、各エリアで発生するモアレを均一化し、画質に違和感が発生しないようにするために、エリア４においても画素混合を行う。このようにして、モアレを均一化することによって画質を向上させることが可能である。

このように、撮像素子１１１は、第１の焦点検出用画素を撮像用画素の第１の色フィルタ（本実施形態においては、Ｇｒフィルタ）に対応する位置に配置し、第２の焦点検出用画素を撮像用画素の第１の色フィルタと異なる第２の色フィルタ（本実施形態においては、Ｂフィルタ）に対応する位置に配置している。また、第１の焦点検出用画素は、開口の位置を撮像用画素の開口の位置に対して左もしくは右方向にずらした画素であり（本実施形態においては、位相差画素ＬＦ、ＲＩ）、第２の焦点検出用画素は、開口の位置を撮像用画素の開口の位置に対して上もしくは下方向にずらした画素である（本実施形態においては、位相差画素ＴＰ、ＢＴ）。焦点検出用画素の遮光率は開口の方向に依存するため、左右の開口を持つ画素の出力値を補正し、上下に開口を持つ画素の出力値を補正しないようにすることで、補正の際の補正量を導出するためのメモリ容量を少なくすることができる。

また、撮像素子１１１は、第２の焦点検出用画素が読出し部で混合される画素混合の周期と同一の周期で配置されている。また、撮像素子１１１は、第２の焦点検出用画素が配置されていない画素領域を持ち（上述のエリア４）、読出し部（混合部１１７）は、第２の焦点検出用画素の配置状態によらず、全画素領域で同一の周期にて画素を混合して混合画素出力を読み出す。画素の混合パターンと周期を揃えることで、画素混合により発生する色モアレを画面内で均一化し、焦点検出用画素が配置されている領域と配置されていない領域との間の画質差を無くすことができる。

次に、図５を用いて、位相差画素を含む混合画素の補正について説明する。位相差画素の遮光率は、開口方向の像高（撮像面において撮影レンズの光軸と交わる点を中心にし、その中心点からの距離）に依存する。この場合、図５（ａ）に示すように、位相差画素ＬＦ／ＲＩであれば横方向に変化する。すなわち、像高中心位置において、遮光率は０．５となり、左開口ＬＦの場合には左側から右側に向けて遮光率が下がり、一方右開口ＲＩの場合には左側から右側に向けて遮光率が上がる。また、像高に対する遮光率特性は、装着する交換レンズの焦点距離や瞳位置等の光学特性によって、図５（ａ）に示すグラフの形状が変化する。

遮光率は、予め設計値を記憶しておいてもよいが、レンズの焦点距離や瞳位置はユーザのカメラの使用状況によって変化するので、遮光率は、撮影時に毎フレーム（または所定フレーム数）ごとに検出することが望ましい。遮光率の算出としては、例えば、図３の（ｘ５、ｙ５）のＲＩ位相差画素の場合には、周囲のＧｒ画素（（ｘ３、ｙ３）（ｘ５、ｙ３）（ｘ７、ｙ３）（ｘ３、ｙ５）（ｘ７、ｙ５）（ｘ３、ｙ７）（ｘ５、ｙ７）（ｘ７、ｙ７））の画素値と、ＲＩ位相差画素値の比から求めることができる。なお、個々の位相差画素毎に算出すると、ノイズや被写体の影響等を受けばらつきが発生するので、像高中心からの距離が等しい等像高距離毎に平均化等を行ってもよい。

位相差画素を含む混合画素の補正ゲインは、原理的には遮光率と画素混合の画数から下記式（１）にて算出される。
補正ゲイン＝混合画素数÷（混合画素数−（１−遮光率）×位相差画素数） ・・（１）
図５（ｂ）は、図５（ａ）の遮光率に対して、上記式（１）に基づく４画素混合の場合の補正ゲインを示す。

ここで、被写体像が均一である場合には、上記式（１）により適正な補正ゲインが算出可能であるが、実際には被写体像は不均一であるため誤差を含む場合がある。このような場合には、取得した画像データに基づいて被写体像の絵柄を検出し、絵柄に応じて上記補正ゲインをさらに補正すると効果的である。また、位相差画素は、その遮光率の違いに起因して、周辺画素に与えるクロストークの影響が撮像用画素とは異なるものとなる。この影響を除去するために、以下の処理を行ってもよい。取得された画像データの内から位相差画素の影響を受けているＧｒ画素と、その近傍にあり、かつ位相差画素の影響を受けていないＧｂ画素との比率から、それぞれの像高に対する補正ゲインを算出してもよい。さらに、算出された補正ゲインを、各水平ライン毎に算出して全水平ラインを平均したり、適当な次数で近似化することで、被写体やノイズの影響を軽減することが可能である。こうして求めた補正ゲインを用いて全ての位相差画素を含む混合画素の出力値を補正する。

また、本実施形態においては、前述したように、画像データから補正ゲインを算出するが、遮光率の像高依存性を予め測定し、カメラ本体に記憶しておいてもよく、装着するレンズ鏡筒（交換レンズ）に記憶し、レンズ装着時にレンズ鏡筒から取得してもよい。

また、本実施形態においては、前述したように、位相差画素ＬＦ／ＲＩは、横方向（水平方向）に対になるように配置されており、また位相差画素ＴＰ／ＢＴは、縦方向（垂直方向）に対になるように配置されている。そして、位相差画素ＬＦ／ＲＩはＧｒ画素混合の際には、加算されるが、位相差画素ＴＰ／ＢＴはＢ画素混合の際には加算されていない。一般に、撮像素子は横方向に画像信号の読み出しが行われ、ラインメモリに記憶される。このため、位相差画素ＬＦ／ＲＩは読み出された順番にラインメモリに記憶されるため、画素混合の際の演算処理が行い易い。これに対して、位相差画素ＴＰ／ＢＴは縦方向に対になっているため、画素混合の際の演算処理が行いにくい。本実施形態においては、画素混合の際に、縦方向に配置された位相差画素ＴＰ／ＢＴは画素混合の際に使用していないので、混合や補正ゲインの演算を迅速に処理することができる。

次に、図６および図７Ａ、図７Ｂに示すフローチャートを用いて、本実施形態に係るカメラの動作について説明する。なお、図６、図７Ａ、図７Ｂに示すフローチャートは、フラッシュＲＯＭ１４３に記憶されているプログラムに従ってＣＰＵ１４０が各部を制御し実行する。また、これらのフローチャートは、カメラの動作の内の静止画撮影と動画撮影に関わる動作のみであり、他の動作については省略している。

まず、図６を用いて静止画撮影の動作について説明する。静止画撮影の際には、撮像素子１１１から全画素の画像信号を読み出し、図４Ａ−図４Ｄを用いて説明した画素混合を行うことがない。

操作部１４１のレリーズ釦の全押し等がなされると、図６に示す静止画撮影のフローが開始する。まず、ＡＥ演算を行う（Ｓ１）。ここでは、画像データから求めた輝度情報を用いて、ＣＰＵ１４０は絞りやシャッタ速度等の露出制御値を算出する。

ＡＥ演算を行うと、次にＡＦ演算を行う（Ｓ３）。ここでは、撮像素子１１１に配置された位相差画素からの画素データを、ＡＦ検波部１２３によって抽出し、この抽出された画素データ用いて、位相差法によって撮影レンズ１０１のデフォーカス方向およびデフォーカス量を算出する。

ＡＦ演算を行うと、次にフォーカス駆動を行う（Ｓ５）。ここでは、ステップＳ５において算出したデフォーカス方向およびデフォーカス量に基づいて、撮影レンズ１０１のフォーカス位置の制御を行う。

フォーカス駆動を行うと、次に、撮像モード切替を行う（Ｓ７）。ここでは、撮像素子１１１の動作モードをＡＦ用から静止画撮影用に変更する。

撮影モードの切替を行うと、次に、露光を行う（Ｓ９）。ここでは、静止画撮影用にシャッタが開き撮像素子１１１上に被写体像が形成され、各フォトダイオードが光電変換して電荷蓄積する。シャッタ速度で決まる露光時間が終了すると露光が終了する。

露光が終わると、次に、Ａ／Ｄ変換を行う（Ｓ１１）。ここでは、撮像素子１１１から画像信号を読み出し、Ａ／Ｄ変換部１１５がデジタルの画像データに変換する。Ａ／Ｄ変換すると、次に画素データを取得する（Ｓ１３）。ここでは、Ａ／Ｄ変換された画像データを撮像処理部１２０に取り込み、ＡＦ検波、ＡＥ／ＷＢ等の処理は行わずにバス１３０を介してＤＲＡＭ１４５に転送する。

画素データを取得すると、次に、位相差画素か否かを判定する（Ｓ１５）。ここでは、画素データが、左開口の位相差画素ＬＦ、右開口の位相差画素ＲＩ、上開口の位相差画素ＴＰ、または下開口の位相差画素ＢＴの画素データであるか否かを判定する。

ステップＳ１５における判定の結果、位相差画素の場合には、補間演算を行う（Ｓ１７）。位相差画素は、画素であるフォトダイオードの上部の半分が開口で半分は遮光されているため、フォトダイオードに入射する光量が、通常の撮像用画素の場合よりも少ない。そこで、画素補間部１７５が位相差画素の近傍（周囲）の画素の画素データを用いて補間演算を行う。

ステップＳ１７において補間演算を行うと、またはステップＳ１５における判定の結果、位相差画素でない場合には、次に、画像処理を行う（Ｓ１９）。ここでは、画像処理部１５０が、静止画記録用に、ＯＢ補正、ＷＢ補正、同時化処理、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の画像処理を行う。

画像処理を行うと、画像表示を行う（Ｓ２１）。ここでは、ステップＳ１９において画像処理された画像データを用いて、ＥＶＦ１８１、背面パネル１８３に記録画像を所定時間の間、表示する。

画像表示を行うと、次に、画像データ圧縮を行う（Ｓ２３）。ここでは、画像圧縮・伸張部１６７が、ステップＳ１９において画像処理された画像データの圧縮を行う。画像データの圧縮を行うと、次に、画像ファイルの記録を行う（Ｓ２５）。ここでは、ステップＳ２３において圧縮された画像データを外部メモリ１８５に記録する。画像ファイルを記録すると、静止画撮影のフローを終了する。

このように、本実施形態における静止画撮影においては、撮像素子１１１の位相差画素の画素データを用いて位相差ＡＦによってデフォーカス方向およびデフォーカス量を算出し、このデータを用いてフォーカスレンズをフォーカス位置に駆動する（Ｓ３、Ｓ５）。また、読み出された画素データが位相差画素の画素データの場合には、補間演算によって通常の撮像用画素の画素データのレベルと同等レベルに補正している。但し、静止画撮影の場合には、画素混合を行っていない。

なお、本実施形態においては、静止画撮影のフローはレリーズ釦の全押しでスタートするとしたが、これに限らず、例えば、レリーズ釦の半押しでステップＳ１〜Ｓ５を実行し、レリーズ釦の全押しに応答してステップＳ７以下を実行するようにしてもよい。

次に、図７Ａおよび図７Ｂを用いて動画撮影の動作について説明する。本実施形態においては、フルＨＤモードの動画撮影の際には、撮像素子１１１から読み出した画素データについて、図４Ａ−図４Ｄを用いて説明した画素混合を行う。

操作部１４１の動画釦が操作されると、図７Ａに示す動画撮影のフローが開始する。まず撮影モードの問い合わせを行う（Ｓ３１）。本実施形態においては、動画撮影モードとしてフルＨＤモードと４Ｋモードを設定できる。このステップでは、ユーザが何れを設定したかを検出する。撮像モードの問い合わせを行うと、次に、画像ファイルを生成する（Ｓ３３）。ここでは、撮像モードに応じた動画記録用画像ファイルのファイルヘッダー等を外部メモリ１８５上に生成し、画像データを記録する準備を行う。

画像ファイルの生成を行うと、次に、撮影モードに応じた撮像モード切替を行う（Ｓ３５）。ここでは、ステップＳ３３における撮影モードの問い合わせ結果に応じて、撮像素子１１１の動作モードをフルＨＤモードまたは４Ｋモードに切り替える。

撮像モードの切り替えを行うと、露光を開始する（Ｓ３７）。ここでは、動画用の露光を行う。すなわち、撮像素子１１１上に形成された被写体像を各フォトダイオードが光電変換して電荷蓄積する。電子シャッタ速度で決まる露光時間が終了するたびに電荷が画像信号として読み出され、読み出されると次の露光が開始する。

露光を行い、画像信号を読み出すと、次に、Ａ／Ｄ変換を行う（Ｓ３９）。ここでは撮像素子１１１から読み出した画像信号を、Ａ／Ｄ変換部１１５がデジタルの画像データに変換する。

Ａ／Ｄ変換すると、次に撮影モードが４ＫかフルＨＤ（ＦＨＤ）か否かを判定する（Ｓ４１）。ここでは、ステップＳ３３の撮影モード問い合わせの結果に応じて判定する。本実施形態においては、撮影モードが４Ｋの場合には、画素混合を行うことなく、撮像素子１１１から読み出した画像信号を使用するのに対して、フルＨＤモードの場合には、画素混合を行う。

ステップＳ４１における判定の結果、撮影モードが４Ｋの場合には、画素データの取得を行う（Ｓ４３）。４Ｋモードは、高精細画像であり、画素混合を行うことがない。すなわち、撮像素子１１１から読み出され、Ａ／Ｄ変換された画像データに対して、撮像処理部１２０が撮像処理を行い、画素データの取得を行う。静止画と同様、ＡＦ検波やＡＥ／ＷＢ処理を行わないが、撮像された画像サイズが記録する画像サイズと異なる場合は、リサイズ部１２７により記録する画像サイズへリサイズする。

一方、ステップＳ４１における判定の結果、撮影モードがフルＨＤモードの場合には、画素混合を行う（Ｓ４５）。ここでは、撮像素子１１１から読み出され、Ａ／Ｄ変換された画像データを、混合部１１７が、図４Ａ〜図４Ｄを用いて説明したように、画素混合を行う。画素混合を行うと、画素データの取得を行う（Ｓ４７）。ここでは、撮像処理部１２０が画像データに対して撮像処理を行い、画素データの取得を行う。静止画と同様、ＡＦ検波やＡＥ／ＷＢ処理を行わないが、撮像された画像サイズが記録する画像サイズと異なる場合は、リサイズ部１２７により記録する画像サイズへリサイズする。

ステップＳ４７において画素データの取得を行うと、次に、補正ゲイン推定を行う（Ｓ４９）。ここでは、ゲイン推定部１７１が、前述した式（１）を用いて補正ゲインを算出する。なお、補正ゲインを算出するために遮光率を、動画用の画像データの毎フレームまたは所定フレーム毎に算出し、補正ゲインを算出する。

補正ゲインを算出すると、次に、画素混合した画素がＧｒ画素か否かの判定を行う（Ｓ５１）。ここでは、画素混合して読み出した画素がＧｒ画素であるか否かを判定する。前述したように、画素混合した画素がＧｒ画素の場合には、ゲイン補正を行うのに対して、Ｂ画素またはＲ画素の場合には、ゲイン補正を行うことなく、そのままの画素データを、動画撮影に使用する。画素混合した画素がＧｒ画素の場合には、ステップＳ５３以下でゲイン補正または補間演算を行う。

この判定の結果、画素混合した画素がＧｒ画素の場合には、デフォーカス判定を行う（Ｓ５３）。ここでは、後述するステップＳ７３におけるＡＦ演算の結果に基づいて判定する。本実施形態においては、画像中でピントが合っている部分では、画素混合した画像データに補正ゲインを乗算することにより、混合した位相差画素の影響を除去したＧｒ画素の位置の画素データを求めている。一方、画像中でピントが合っていない部分では、この位相差画素を含んで画素混合したＧｒ画素の周囲に位置する画素混合したＧｂ画素データを用いて補間演算を行う。

ステップＳ５３における判定の結果、オンフォーカス、すなわちピントが合っているとみなさせる場合には、ゲイン補正を行う（Ｓ５５）。ここでは、ゲイン補正部１７３がステップＳ４９において算出した補正ゲインを用いて、ゲイン補正する。

ステップＳ５３における判定の結果、ＦＨＤモードにてデフォーカス、すなわちピントが合っていない場合には、またはステップＳ４３において４Ｋモードにて画素データを取得すると、補間演算を行う（Ｓ５７）。ここでは、画素補間部１７５が、周囲の画素データを用いて、補間演算を行う。

またステップＳ４３またはＳ４７において画素データを取得すると、ステップＳ４９〜Ｓ６７の処理と並行して、図７ＢのステップＳ７１〜Ｓ７９の処理を行う。まず、ＡＥ演算を行う（Ｓ７１）。ここでは、ステップＳ４３またはＳ４７において取得した画像データから求めた輝度情報を用いて、ＣＰＵ１４０は絞りやＩＳＯ感度等の露出制御値を算出する。

ＡＥ演算を行うと、ＡＦ演算を行う（Ｓ７３）。ここでは、撮像素子１１１に配置された位相差画素からの画素データを、ＡＦ検波部１２３によって抽出し、この抽出された画素データ用いて、位相差法によって撮影レンズ１０１のデフォーカス方向およびデフォーカス量を算出する。

ＡＦ演算を行うと、露出目標値を更新する（Ｓ７５）。ここでは、ステップＳ７１において算出した露出制御値を目標値として更新し、絞り等の制御を行う。露出目標値の更新を行うと、フォーカス目標位置の更新を行う（Ｓ７７）。ここでは、ステップＳ７３において算出したデフォーカス方向およびデフォーカス量を、フォーカス目標位置として更新する。

フォーカス目標位置の更新を行うと、次にフォーカス駆動を行う（Ｓ７９）。ここでは、ステップＳ７７において更新されたデフォーカス方向およびデフォーカス量に基づいて、撮影レンズ１０１のフォーカス位置の制御を行う。

図７Ａに示すステップＳ５５においてゲイン補正を行うと、またはステップＳ５７において補間演算を行うと、またはステップＳ５１における判定の結果、Ｇｒ画素でない場合には、画像処理を行う（図７ＢのＳ６１）。ここでは、画像処理部１５０が、動画記録用に、ＯＢ補正、ＷＢ補正、同時化処理、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の画像処理を行う。

画像処理を行うと、画像表示を行う（Ｓ６３）。ここでは、ステップＳ６３において画像処理された画像データを用いて、ＥＶＦ１８１、背面パネル１８３に記録画像用の動画画像を表示する。

画像表示を行うと、次に、画像データ圧縮を行う（Ｓ６５）。ここでは、画像圧縮・伸張部１６７が、ステップＳ６３において画像処理された画像データの圧縮を行う。画像データの圧縮を行うと、次に、画像ファイルの記録を行う（Ｓ６７）。ここでは、ステップＳ６５において圧縮された画像データを、ステップＳ３１において用意した画像ファイルを用いて、外部メモリ１８５に記録する。

ステップＳ６７において画像ファイルの記録を行うと、またはステップＳ７９においてフォーカス駆動を行うと、撮影終了か否かを判定する（Ｓ８１）。ユーザが動画の撮影を終了する場合には、再度、動画釦を操作する。ここでは、動画釦の操作状態に基づいて判定する。この判定の結果、撮影終了でない場合には、ステップＳ３７に戻り、動画撮影を続行する。

一方、ステップＳ８１における判定の結果、撮影終了の場合には、画像ファイル記録終了処理を行う（Ｓ８３）。ここでは、外部メモリ１８５上の動画ファイルをクローズする等、動画画像の記録を終了するための処理を行う。記録終了処理を行うと、動画撮影のフローを終了する。

このように、本実施形態における動画撮影の動作においては、画素混合された画素がＧｒ画素の場合には、ゲイン補正を行っている（Ｓ５１Ｙｅｓ、Ｓ５５）。一方、画素混合された画素がＧｒ画素でない場合（位相差画素を含まない場合）には、ゲイン補正を行うことなく、そのままの画素データを使用している（Ｓ５１Ｎｏ）。

なお、ライブビュー表示の場合には、図７Ａ、図７Ｂに示した動画撮影の動作において、撮影モードとしてはフルＨＤモードか、またはこれよりは画像サイズを小さくしたモードとし、画像ファイルの記録等のステップを省略するだけでよい。

以上説明したように、本発明の一実施形態においては、複数の撮像用画素と撮像用画素とは受光部の開口の位置が異なる複数の焦点検出用画素を有する撮像素子（例えば、撮像素子１１１）と、撮像素子の画素信号を混合して読み出して混合画素出力を出力する読出し部（例えば、混合部１１７参照）と、混合画素出力を補正する画素補正部（例えば、位相差画素補正部１７０）を有し、撮像素子は、第１の焦点検出用画素（例えば、位相差画素ＬＦ／ＲＩ）を撮像用画素の第１の色フィルタ（例えば、Ｇフィルタ）に対応する位置に配置し、第２の焦点検出用画素（例えば、位相差画素ＴＰ／ＢＴ）を撮像用画素の第１の色フィルタと異なる第２の色フィルタ（例えば、Ｂフィルタ）に対応する位置に配置し、読出し部は、第１の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には（例えば、図７ＡのＳ５１Ｙｅｓ）、第１の焦点検出用画素の出力を含めた複数の画素信号を混合して第１の混合画素出力を読み出し、第２の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には（例えば、図７ＡのＳ５１Ｎｏ）、第２の焦点検出用画素の出力を含めず複数の画素信号を混合して第２の混合画素出力を読み出し、画素補正部は、第１の混合画素出力の出力値を補正し（例えば、図７ＡのＳ５５）、第２の混合画素出力の出力値を補正しない。このように、本実施形態においては、複数の色チャンネルに焦点検出画素を配置することで、焦点検出用画素の密度を上げ、焦点検出精度を向上させることができる。また、焦点検出用画素を混合しない色チャンネルを持つことで、画素補正処理の高速化や演算に用いるメモリを削減することも可能となる。

なお、本発明の一実施形態においては、画素混合を動画のフルＨＤモード場合に適用した例を説明したが、静止画で画素混合を行ったり、また他の動画の撮影モードの場合、またライブビュー表示の際にも適用することができる。

また、本発明の一実施形態においては、Ｇｒ画素（またはＧｂ画素）の位置に位相差画素ＬＦ／ＲＩを配置し、Ｂ画素（またはＲ画素）の位置に位相差画素ＴＰ／ＢＴを配置しているが、Ｂ画素（またはＲ画素）の位置にも位相差画素ＬＦ／ＲＩを配置してもよい。また、Ｇｒ画素（またはＧｂ画素）の位置とＢ画素（またはＲ画素）の位置の両方に位相差画素ＴＰ／ＢＴを配置してもよい。

また、本発明の一実施形態においては、位相差画素補正部１７０等の各部を、ＣＰＵ１４０とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、ＣＰＵ１４０によって実行するようにしても勿論かまわない。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、撮像素子の像面に位相差画素を配置する機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０１・・・撮影レンズ、１０３・・・フォーカス駆動部、１０５・・・絞り、１０７・・・絞り駆動部、１１０・・・撮像部、１１１・・・撮像素子、１１１ａ・・・有効画素エリア、１１１ｂ・・・ＬＦ／ＲＩ画素エリア、１１１ｃ・・・ＴＰ／ＢＰ画素エリア、１１３・・・アンプ部、１１５・・・Ａ／Ｄ変換部、１１７・・・混合部、１１９・・・Ｉ／Ｆ部、１２０・・・撮像処理部、１２１・・・Ｉ／Ｆ部、１２３・・・ＡＦ検波部、１２５・・・ＡＥ／ＷＢ部、１２７・・・リサイズ部、１３０・・・バス、１４０・・・ＣＰＵ、１４１・・・操作部、１４３・・・フラッシュＲＯＭ、１４５・・・ＤＲＡＭ、１５０・・・画像処理部、１５１・・・ＯＢ／ＷＢ部、１５３・・・同時化部、１５５・・・カラーマトリックス部、１５７・・・ガンマ変換部、１５９・・・ＲＧＢ２ＹＣ部、１６１・・・エッジ強調部、１６３・・・ＮＲ部、１６５・・・リサイズ部、１６７・・・画像圧縮・伸張部、１７０・・・位相差画素補正部、１７１・・・ゲイン推定部、１７３・・・ゲイン補正部、１７５・・・画素補間部、１８１・・・ＥＶＦ、１８３・・・背面パネル、１８５・・・外部メモリ

Claims (8)

1. 複数の撮像用画素と上記撮像用画素とは受光部の開口の位置が異なる複数の焦点検出用画素を有する、とともに上記複数の撮像用画素に対応して規則的に配置される複数の色フィルタを有する撮像素子と、
   上記撮像素子の画素信号を混合して読み出して混合画素出力を出力する読出し部と、
   上記混合画素出力を補正する画素補正部と、
   を有し、
   上記撮像素子は、対をなす第１の焦点検出用画素を上記撮像用画素の第１の色フィルタに対応する位置に配置し、対をなす第２の焦点検出用画素を上記撮像用画素の上記第１の色フィルタと色が異なる第２の色フィルタに対応する位置に配置し、
   上記読出し部は、上記第１の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、上記第１の焦点検出用画素の出力を含めた複数の画素信号を混合して第１の混合画素出力を読み出し、上記第２の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、上記第２の焦点検出用画素の出力を含めず複数の画素信号を混合して第２の混合画素出力を読み出し、
   上記画素補正部は、上記第１の混合画素出力の出力値を補正し、上記第２の混合画素出力の出力値を補正せず、
   上記第１の焦点検出用画素は、開口の位置を上記撮像用画素の開口の位置に対して左もしくは右方向にずらした画素であり、上記第２の焦点検出用画素は、開口の位置を上記撮像用画素の開口の位置に対して上もしくは下方向にずらした画素である、
   ことを特徴とする撮像装置。
2. 上記第１および第２の焦点検出用画素に配置される色フィルタは、共に同じ色を有することを特徴とする請求項１に記載の撮像装置。
3. 上記第１の色フィルタは緑色で、上記第２の色フィルタは青色または赤色であることを特徴とする請求項１に記載の撮像装置。
4. 上記画素補正部は、上記第１の焦点検出用画素の遮光率と混合する画素の数に基づく補正ゲインに基づいて上記第１の混合画素出力の出力値を補正することを特徴とする請求項１に記載の撮像装置。
5. 上記撮像素子は、上記第２の焦点検出用画素が、上記読出し部で混合される画素混合のパターンの周期と同一の周期で配置されていることを特徴とする請求項１に記載の撮像装置。
6. 上記撮像素子は、上記第２の焦点検出用画素が配置されていない画素領域を持ち、上記読出し部は、第２の焦点検出用画素の配置状態によらず、全画素領域で同一の周期にて画素を混合して混合画素出力を読み出すことを特徴とする請求項５に記載の撮像装置。
7. 上記読出し部は、撮像素子の画素信号を読み出して画素混合せずに画素出力を出力する機能を加えて有し、
   上記画素補正部は、上記第１および第２の焦点検出用画素の出力値を、各々焦点検出用画素の周囲に位置する各々のフィルタに対応する撮像用画素の出力値を用いて補間して上記第１および第２の焦点検出用画素の位置に対応する撮像用画素の出力値を求める、
   ことを特徴とする請求項１に記載の撮像装置、
8. 複数の撮像用画素と上記撮像用画素とは受光部の開口の位置が異なる複数の焦点検出用画素を有する撮像素子と、上記撮像素子の画素信号を混合して読み出して混合画素出力を出力する読出し部と、上記混合画素出力を補正する画素補正部を有し、上記撮像素子は、対をなす第１の焦点検出用画素を上記撮像用画素の第１の色フィルタに対応する位置に配置し、対をなす第２の焦点検出用画素を上記撮像用画素の上記第１の色フィルタと色が異なる第２の色フィルタに対応する位置に配置されている撮像装置の撮像方法において、
   上記読出し部は、上記第１の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、上記第１の焦点検出用画素の出力を含めた複数の画素信号を混合して第１の混合画素出力を読み出し、上記第２の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、上記第２の焦点検出用画素の出力を含めず複数の画素信号を混合して第２の混合画素出力を読み出し、
   上記画素補正部は、上記第１の混合画素出力の出力値を補正し、上記第２の混合画素出力の出力値を補正せず、
   上記第１の焦点検出用画素は、開口の位置を上記撮像用画素の開口の位置に対して左もしくは右方向にずらした画素であり、上記第２の焦点検出用画素は、開口の位置を上記撮像用画素の開口の位置に対して上もしくは下方向にずらした画素である、
   ことを特徴とする撮像方法。

Images