WO2014006785A1

WO2014006785A1 - 撮像装置及び画像処理方法

Info

Publication number: WO2014006785A1
Application number: PCT/JP2012/084089
Authority: WO
Inventors: 貴嗣青木; 遠藤　宏; 岩崎　洋一; 林　健吉
Original assignee: 富士フイルム株式会社
Priority date: 2012-07-06
Filing date: 2012-12-28
Publication date: 2014-01-09
Also published as: JPWO2014006785A1; JP5749403B2; US20150124129A1; US9172927B2

Abstract

　本発明によれば、ライブビュー表示を含め動画用のカラー画像に第１、第２の位相差画素を含む画素ラインによる画像データが含まれるため、動画の撮影中であっても精度良く位相差ＡＦを行うことができる。また、動画用のカラー画像は、第１、第２の位相差画素を含む画素ラインの画像データだけではなく、第１、第２の位相差画素を含まない通常の画素のみを含む画素ラインの画像データも含むため、動画用のカラー画像の画質が向上し、画像補間処理を精度良く行うことができ、位相差画素による撮影画像（静止画及び動画）の画質の低下を防止し、又は軽減することができる。

Description

撮像装置及び画像処理方法

　本発明は撮像装置及び画像処理方法に係り、特に動画の生成と位相差に基づく焦点調節とを並行して行う撮像装置及び画像処理方法に関する。

　従来、撮像素子の一部に、撮影レンズの左右の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を設け、第１、第２の位相差画素の出力信号の位相差を検出し、検出した位相差に基づいてフォーカスレンズの焦点位置を調節する自動焦点調節（位相差ＡＦ）が知られている。

　特許文献１に記載の撮像素子は、一般的なベイヤ配列のカラーフィルタを有し、水平方向及び垂直方向において、第１の焦点検出用画素（瞳分割左側の画素）と第２の焦点検出用画素（瞳分割右側の画素）とが、一定の周期（水平方向に６画素の周期、垂直方向に３画素の周期）で交互に配置されている。また、第１、第２の焦点検出用画素は、緑（Ｇ）フィルタがある画素位置に配置されている。

　そして、特許文献１に記載の電子カメラは、焦点検出を行う場合には第１、第２の焦点検出用画素が配置された行の画像（ライン画像）を間引き読み出しし、間引き読み出ししたライン画像中の第１、第２の焦点検出用画素の画像信号に基づいて焦点位置を検出してフォーカスレンズの位置を制御するとともに、間引き読み出ししたライン画像（第１、第２の焦点検出用画素を含む）の画像信号に基づいてリアルタイムにライブビュー表示を行うようにしている。また、焦点検出を行わない場合には、第１、第２の焦点検出用画素が配置されていないライン画像を読み出し、そのライン画像の画像信号によりライブビュー表示を行うようにしている。

　なお、特許文献１に記載の電子カメラは、焦点検出を行う場合には、間引き読み出ししたライン画像のうち、第１又は第２の焦点検出用画素（Ｇ画素）と、このＧ画素と隣接する赤画素（Ｒ画素）又は青画素（Ｂ画素）とをペアにして抽出し、これらの抽出した画素の画像信号によりライブビュー表示を行うようにしている。したがって、焦点検出を行った時のライブビュー表示には、通常のＧ画素（第１又は第２の焦点検出用画素以外のＧ画素）の画像信号は使用されていない。

特開２００９－８９１４４号公報

　特許文献１に記載の発明は、焦点検出を行うとともに、ライブビュー表示を行う場合には、間引き読み出しした第１又は第２の焦点検出用画素をＧ画素として使用しているが、焦点検出用画素は、通常の画素とは構造が異なるため、焦点検出用画素をそのままＧ画素として使用するのは適切でない。

　また、特許文献１に記載の撮像素子のカラーフィルタの配列はベイヤ配列であるため、間引き読み出し後の画像もベイヤ配列になる。したがって、仮に焦点検出用画素の画像信号を、周囲の同じ色の画素の画像信号を補間して求める場合であっても、上下左右に隣接する画素に同色の画素が存在しないため、補間による偽色等が発生しやすいという問題がある。

　本発明はこのような事情に鑑みてなされたもので、ライブビュー表示を含め動画の撮影中に精度良く位相差ＡＦを行うことができ、かつ位相差画素による撮影画像の画質の低下を防止し、又は軽減することができる撮像装置及び画像処理方法を提供することを目的とする。

　本発明の一態様は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、又は撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、位相差検出手段により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節手段と、を備え、所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、複数の画素のうちカラー画像取得手段により間引き読み出し又は抽出される画素信号に対応する画素から成る抽出画素群は、第１の位相差画素を含む第１の方向に延在する画素ラインと、第２の位相差画素を含む第１の方向に延在する画素ラインと、第１の位相差画素及び第２の位相差画素のいずれも含まず第１の方向に延在する画素ラインとを周期的に有する撮像装置に関する。

　本発明の別の態様は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、又は撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、位相差検出手段により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節手段と、を備え、所定のカラーフィルタ配列は、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある１色以上の第１の色に対応する第１のフィルタと、透過率のピークが範囲外にある２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、複数の画素のうちカラー画像取得手段により間引き読み出し又は抽出される画素信号に対応する画素から成る抽出画素群は、第１の位相差画素を含む第１の方向に延在する画素ラインと、第２の位相差画素を含む第１の方向に延在する画素ラインと、第１の位相差画素及び第２の位相差画素のいずれも含まず第１の方向に延在する画素ラインとを周期的に有する撮像装置に関する。

　本発明の別の態様は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、又は撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、位相差検出手段により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節手段と、を備え、所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、波長５００ｎｍ以上５６０ｎｍ以下の範囲内で透過率が第１のフィルタよりも低くなる２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、複数の画素のうちカラー画像取得手段により間引き読み出し又は抽出される画素信号に対応する画素から成る抽出画素群は、第１の位相差画素を含む第１の方向に延在する画素ラインと、第２の位相差画素を含む第１の方向に延在する画素ラインと、第１の位相差画素及び第２の位相差画素のいずれも含まず第１の方向に延在する画素ラインとを周期的に有する撮像装置に関する。

　本発明の別の態様は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、又は撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、位相差検出手段により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節手段と、を備え、所定のカラーフィルタ配列は、３原色のうち最も輝度信号に寄与する色と３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、第１の色以外の２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、複数の画素のうちカラー画像取得手段により間引き読み出し又は抽出される画素信号に対応する画素から成る抽出画素群は、第１の位相差画素を含む第１の方向に延在する画素ラインと、第２の位相差画素を含む第１の方向に延在する画素ラインと、第１の位相差画素及び第２の位相差画素のいずれも含まず第１の方向に延在する画素ラインとを周期的に有する撮像装置に関する。

　これらの態様によれば、ライブビュー表示を含む動画用に抽出されるライン画像中に第１、第２の位相差画素による画像データが配置されるため、動画撮影中であっても精度良く位相差ＡＦを行うことができる。また、間引き読み出し又は抽出されたライン画像から成るカラー画像は、第１、第２の位相差画素を含む画素ラインの画像データだけではなく、第１、第２の位相差画素を含まない通常の画素のみを含む画素ラインの画像データも含むため、通常画素の画像データを用いて精度良く画像補間処理を行うことができ、これにより位相差画素による撮影画像（静止画及び動画）の画質の低下を防止し、又は軽減することができる。なお、これらの態様において、例えば第１のフィルタを緑（Ｇ）フィルタ、第２のフィルタを赤（Ｒ）フィルタ及び青（Ｂ）フィルタとすることができるが、第１のフィルタ及び第２のフィルタはこれらの色フィルタに限定されるものではない。

　望ましくは、間引かれたカラー画像は、第１、第２の位相差画素に隣接して第１、第２の位相差画素の位置における画素の色と同じ色の画素が配置され、間引かれたカラー画像中の第１、第２の位相差画素の位置における画素の画素値を、第１、第２の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算手段を備え、動画生成手段は、間引かれたカラー画像中の第１、第２の位相差画素の位置における画素の画素値として補間演算手段により算出された値を使用したカラー画像に基づいて動画データを生成する。

　本態様によれば、第１、第２の位相差画素に隣接する画素に第１、第２の位相差画素の色と同じ色の画素が配置されるため、第１、第２の位相差画素の画素データの補間処理を精度良く行うことができる。

　望ましくは、間引きパターンは、画素信号の間引き読み出し又は抽出に関する第２の方向の周期を規定する抽出画素周期を有し、第１の位相差画素と第２の位相差画素との間の第２の方向に関する画素数ｔ１と、抽出画素周期の第２の方向に関する対応画素数ｔ２とは、ｔ１＝ｔ２×Ｉ（Ｉは、１以上の整数）を満たす。

　本態様によれば、第１の位相差画素と第２の位相差画素との間の画素数が抽出画素周期の対応画素数の整数倍となるため、第１の位相差画素を含む画素ライン及び第２の位相差画素を含む画素ラインの画像データを効率良く読み出すことができる。

　望ましくは、間引きパターンは、画素信号の間引き読み出し又は抽出に関する第２の方向の周期を規定する抽出画素周期を有し、第１の位相差画素及び第２の位相差画素の第２の方向に関する繰り返し周期に対応する画素数は、抽出画素周期の第２の方向に関する対応画素数と基本配列パターンの第２の方向の画素数との公倍数である。

　本態様によれば、位相差画素の第２の方向に関する繰り返し周期が、抽出画素周期及び基本配列パターンの第２の方向の画素数の公倍数となるため、第１の位相差画素及び第２の位相差画素を含む画素ラインの画像データを効率良く読み出すことができる。

　望ましくは、第１の位相差画素と第２の位相差画素との間の第２の方向に関する画素数は、基本配列パターンの第２の方向の画素数とは異なる。

　本態様によれば、第１の位相差画素及び第２の位相差画素は基本配列パターン内において異なる位置に配置される。

　望ましくは、抽出画素群は、第１のフィルタ及び第２のフィルタの配列パターンに関し、基本配列パターンと同じ配列パターンを有する。

　本態様によれば、抽出画素群が基本配列パターンと同じ配列パターンを有するため、間引き抽出前後のカラー画像に対して共通の画像処理を適用することが可能である。

　望ましくは、カラーフィルタ配列において、第１のフィルタに対応する第１の色の全画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きく、第１、第２の位相差画素は、第１のフィルタの位置に配置される。

　本態様によれば、第１の色の画素数の比率が第２の色の各色の画素数の比率よりも大きいため、第１の色の画素データをより有効に活用することができる。また、そのような第１の色に対応する第１のフィルタの位置に位相差画素を配置することで、多数存在する同色の第１の色の画素を有効活用して、位相差画素の画素データの補間処理を効果的に行うことができる。

　望ましくは、第１のフィルタは、Ｍ×Ｎ画素（Ｍ、Ｎ：３以上の整数）内に複数配置され、Ｍ×Ｎ画素が第１、第２の方向に繰り返し配置される。

　本態様によれば、Ｍ×Ｎ画素周期で第１のフィルタが配置される。

　望ましくは、第１、第２の位相差画素のうちの一方の位相差画素が、Ｍ×Ｎ画素内に１又は２つ配置される。

　本態様によれば、Ｍ×Ｎ画素に基づく周期で第１の位相差画素及び第２の位相差画素を配置することができる。

　望ましくは、第１、第２の位相差画素は、第２の方向に一対となって配置される。

　本態様によれば、第２の方向に関して、第１、第２の位相差画素を用いたＡＦ（オートフォーカス）制御を精度良く行うことができる。

　望ましくは、第１、第２の位相差画素は、第１の方向に延在する１画素ライン上に交互に配置される。

　本態様によれば、第１の方向に関して、第１、第２の位相差画素を用いたＡＦ（オートフォーカス）制御を精度良く行うことができる。

　望ましくは、第１の位相差画素及び第２の位相差画素には第１のフィルタが配置され、抽出画素群のうち第１の位相差画素及び第２の位相差画素のいずれも含まない画素ラインは第１のフィルタに対応する画素を含む。

　より望ましくは、抽出画素群において、第１の位相差画素及び第２の位相差画素のいずれも含まない画素ラインの第１のフィルタに対応する画素は、第１の位相差画素又は第２の位相差画素に隣接する位置に配置される。

　本態様によれば、第１の位相差画素及び第２の位相差画素に配置される第１のフィルタと、第１の位相差画素及び第２の位相差画素のいずれも含まない画素ラインに含まれる第１のフィルタとが共通するため、位相差画素の補間処理の際に、第１の位相差画素及び第２の位相差画素のいずれも含まない画素ラインに含まれる画素データを有効に使用することが可能となる。

　ここで画素が隣接する場合とは、対象となるフィルタや画素の４辺に対し辺で接する位置に画素がある場合を含み、更に対象となるフィルタや画素の中心から√２画素離れた位置に中心を持つ画素がある場合も含まれる。例えば正方配列の場合、対象となるフィルタや画素の上下左右（第１の方向及び第２の方向）に隣接する位置や、更に斜め右上左下左上右下に隣接する位置に配置されるフィルタや画素が、対象となるフィルタや画素に隣接することとなる。

　望ましくは、基本配列パターンは、カラーフィルタが第１の方向及び第２の方向にＭ×Ｍ（Ｍは３以上の整数）画素に対応する配列パターンで配列されてなり、第１の位相差画素が配置される基本配列パターンと、第２の位相差画素が配置される基本配列パターンと、第１の位相差画素及び第２の位相差画素のいずれも含まない少なくとも１つの基本配列パターンとが第２の方向に並置される。

　望ましくは、基本配列パターンは、カラーフィルタが第１の方向及び第２の方向にＭ×Ｎ（Ｍは３以上の整数、Ｎは６以上の偶数）画素に対応する配列パターンで配列されてなり、基本配列パターンは、カラーフィルタがＭ×（Ｎ／２）画素に対応する配列パターンで配列された２種類のサブ配列である第１のサブ配列及び第２のサブ配列をそれぞれ１つずつ含み、第１のサブ配列及び第２のサブ配列の各々において、第１のフィルタ及び第２の色の各色に対応する第２のフィルタの各々が少なくとも１画素分配置され、第１の位相差画素及び第２の位相差画素を含む基本配列パターンと、第１の位相差画素及び第２の位相差画素のいずれも含まない基本配列パターンとが第２の方向に並置され、第１の位相差画素は第１のサブ配列に配置され、第２の位相差画素は第２のサブ配列に配置される。

　望ましくは、基本配列パターンは、カラーフィルタが第１の方向及び第２の方向にＭ×Ｍ（Ｍは６以上の偶数）画素に対応する配列パターンで配列されてなり、基本配列パターンは、カラーフィルタが（Ｍ／２）×（Ｍ／２）画素に対応する配列パターンで配列された２種類のサブ配列である第１のサブ配列及び第２のサブ配列をそれぞれ２つずつ含み、第１のサブ配列及び第２のサブ配列の各々において、第１のフィルタ及び第２の色の各色に対応する第２のフィルタの各々が少なくとも１画素分配置され、第１の位相差画素を含む第１のサブ配列と、第１の位相差画素及び第２の位相差画素のいずれも含まない第２のサブ配列と、第２の位相差画素を含む第１のサブ配列と、第１の位相差画素及び第２の位相差画素のいずれも含まない第２のサブ配列とが第２の方向に並置される。

　望ましくは、第１の色は緑（Ｇ）色であり、第２の色は赤（Ｒ）色及び青（Ｂ）色であり、第１のフィルタはＧフィルタであり、第２のフィルタはＲフィルタ及びＢフィルタであり、基本配列パターンは、カラーフィルタが第１の方向及び第２の方向に６×６画素に対応する配列パターンで配列されてなり、第１のサブ配列及び第２のサブ配列は第１の方向及び第２の方向に３×３画素に対応する配列パターンで配列されてなり、第１のサブ配列は、基本配列パターンの一方の対角線方向に並置され、第２のサブ配列は、基本配列パターンの他方の対角線方向に並置され、Ｇフィルタは、第１のサブ配列及び第２のサブ配列の各々の中央画素及び４隅の画素に配置され、Ｒフィルタは、第１のサブ配列における中央画素に対し第２の方向に隣接する画素、及び第２のサブ配列における中央画素に対し第１の方向に隣接する画素に配置され、Ｂフィルタは、第１のサブ配列における中央画素に対し第１の方向に隣接する画素、及び第２のサブ配列における中央画素に対し第２の方向に隣接する画素に配置され、第１の位相差画素及び第２の位相差画素にはＧフィルタが配置される。

　望ましくは、第１、第２の位相差画素には、透明フィルタを有する画素を使用する。

　本態様によれば、透明フィルタは可視光波長域の光を高効率に透過するため、第１の位相差画素及び第２の位相差画素の画素データを効率良く取得することが可能となる。

　本発明の別の態様は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子とを備えた撮像装置における画像処理方法であって、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、又は撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、位相差検出工程により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節工程であって、動画生成工程による動画データの生成と並行して撮影レンズの焦点位置を調節する焦点調節工程と、を含み、所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、複数の画素のうちカラー画像取得工程で間引き読み出し又は抽出される画素信号に対応する画素から成る抽出画素群は、第１の位相差画素を含む第１の方向に延在する画素ラインと、第２の位相差画素を含む第１の方向に延在する画素ラインと、第１の位相差画素及び第２の位相差画素のいずれも含まず第１の方向に延在する画素ラインとを周期的に有する画像処理方法に関する。

　本発明の別の態様は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子とを備えた撮像装置における画像処理方法であって、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、又は撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、位相差検出工程により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節工程であって、動画生成工程による動画データの生成と並行して撮影レンズの焦点位置を調節する焦点調節工程と、を含み、所定のカラーフィルタ配列は、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある１色以上の第１の色に対応する第１のフィルタと、透過率のピークが範囲外にある２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、複数の画素のうちカラー画像取得工程で間引き読み出し又は抽出される画素信号に対応する画素から成る抽出画素群は、第１の位相差画素を含む第１の方向に延在する画素ラインと、第２の位相差画素を含む第１の方向に延在する画素ラインと、第１の位相差画素及び第２の位相差画素のいずれも含まず第１の方向に延在する画素ラインとを周期的に有する画像処理方法に関する。

　本発明の別の態様は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子とを備えた撮像装置における画像処理方法であって、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、又は撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、位相差検出工程により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節工程であって、動画生成工程による動画データの生成と並行して撮影レンズの焦点位置を調節する焦点調節工程と、を含み、所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、波長５００ｎｍ以上５６０ｎｍ以下の範囲内で透過率が第１のフィルタよりも低くなる２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、複数の画素のうちカラー画像取得工程で間引き読み出し又は抽出される画素信号に対応する画素から成る抽出画素群は、第１の位相差画素を含む第１の方向に延在する画素ラインと、第２の位相差画素を含む第１の方向に延在する画素ラインと、第１の位相差画素及び第２の位相差画素のいずれも含まず第１の方向に延在する画素ラインとを周期的に有する画像処理方法に関する。

　本発明の別の態様は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子とを備えた撮像装置における画像処理方法であって、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、又は撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、位相差検出工程により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節工程であって、動画生成工程による動画データの生成と並行して撮影レンズの焦点位置を調節する焦点調節工程と、を含み、所定のカラーフィルタ配列は、３原色のうち最も輝度信号に寄与する色と３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、第１の色以外の２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、複数の画素のうちカラー画像取得工程で間引き読み出し又は抽出される画素信号に対応する画素から成る抽出画素群は、第１の位相差画素を含む第１の方向に延在する画素ラインと、第２の位相差画素を含む第１の方向に延在する画素ラインと、第１の位相差画素及び第２の位相差画素のいずれも含まず第１の方向に延在する画素ラインとを周期的に有する画像処理方法に関する。

　上記各態様の画像処理方法によっても、上述した撮像装置と同様に、動画の撮影中に精度良く位相差ＡＦを行うことができ、かつ位相差画素による撮影画像の画質の低下を防止し、又は軽減することができる。

　本発明によれば、ライブビュー表示を含む動画用のカラー画像に第１、第２の位相差画素を含む画素ラインによる画像データが含まれるため、動画の撮影中であっても精度良く位相差ＡＦを行うことができる。また、ライブビュー表示を含む動画用のカラー画像は、第１、第２の位相差画素を含む画素ラインの画像データだけではなく、第１、第２の位相差画素を含まない通常の画素のみを含む画素ラインの画像データも含むため、動画用のカラー画像の画質が向上し、画像補間処理を精度良く行うことができ、位相差画素による撮影画像（静止画及び動画）の画質の低下を防止し、又は軽減することができる。

撮像装置の一例を示す斜視図である。図１に示した撮像装置の背面図である。図１に示した撮像装置の内部構成の一例を示すブロック図である。撮像素子に配置されたカラーフィルタ配列の一例を示す図である。図４のカラーフィルタ配列の基本配列パターンの一例を示す図である。位相差画素の構成例を示す図であり、（ａ）は第１の位相差画素を示し、（ｂ）は第２の位相差画素を示す。撮像素子の撮像領域とＡＦ領域を示す図である。ＡＦ領域の他の例を示す図である。本発明の一実施形態に係る画像処理方法を示すフローチャートである。位相差画素の第１の配置例と画像データを間引き読み出しとを示す概念図である。位相差画素の第２の配置例と画像データを間引き読み出しとを示す概念図である。位相差画素の第３の配置例と画像データを間引き読み出しとを示す概念図である。Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及び透明フィルタが配設されるフォトダイオードの分光感度特性の一例を示すグラフである。Ｒフィルタ、Ｇ１フィルタ、Ｇ２フィルタ及びＢフィルタが配設されるフォトダイオードの分光感度特性の一例を示すグラフである。Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＥフィルタが配設されるフォトダイオードの分光感度特性の一例を示すグラフである。撮像装置の他の例であるスマートフォンの外観図である。スマートフォンの要部構成を示すブロック図である。

　以下、添付図面に従って本発明に係る撮像装置及び画像処理方法の好ましい実施形態について詳説する。

　［撮像装置］
　図１及び図２は、それぞれ撮像装置の一例（デジタルカメラ）を示す斜視図及び背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとして記録メディアに記録するデジタルカメラである。

　図１に示すように撮像装置１０は、その正面に撮影レンズ１２、ストロボ１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、３Ｄ表示用の液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

　撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラの作動モードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ１は、主要被写体にストロボ光を照射するものである。

　シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成される。撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２を途中まで押し込む「半押し」がされることによりＡＥ／ＡＦが作動し、「半押し」からさらに押し込む「全押し」がされることにより、撮影を実行する。また、撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２が「全押し」されることにより、撮影を実行する。

　電源／モードスイッチ３は、撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

　モードダイヤル４は、撮像装置１０の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、撮像装置１０の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。

　液晶モニタ３０は、撮影モード時のライブビュー画像（スルー画像）の表示、再生モード時の静止画又は動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェース（ＧＵＩ）の一部として機能する。

　ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

　十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

　ＭＥＮＵ／ＯＫボタン７は、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作ボタンである。

　再生ボタン８は、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

　ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

　なお本実施の形態に係る撮像装置１０において、ボタン／スイッチ類に対し固有の部材を設けるのではなく、タッチパネルを設けこれを操作することでそれらボタン／スイッチ類の機能を実現するようにしてもよい。

　［撮像装置の内部構成］
　図３は上記撮像装置１０の内部構成の実施形態を示すブロック図である。この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

　撮像装置１０には、前述したシャッタボタン２、電源／モードスイッチ３、モードダイヤル４、テレボタン５Ｔ、ワイドボタン５Ｗ、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、イメージセンサの駆動制御、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ３０の表示制御などを行う。

　電源／モードスイッチ３により撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、撮像装置１０の駆動が開始される。

　撮影レンズ１２、絞り１４、メカシャッタ（機械的シャッタ）１５等を通過した光束は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のカラーイメージセンサである撮像素子１６に結像される。なお、撮像素子１６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型のカラーイメージセンサでもよい。

　撮像素子１６は、多数の受光素子（フォトダイオード）が２次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（又は電荷）に変換され、撮像素子１６内のＡ／Ｄ変換器を介してデジタル信号に変換されて出力される。

　＜撮像素子の実施形態＞
　撮像素子１６は、水平方向（第１の方向）及び垂直方向（第２の方向）に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、以下に例示するカラーフィルタ配列のカラーフィルタが配設されて構成される。

　図４は、上記撮像素子１６の一例を示す図であり、特に撮像素子１６の受光面上に配置されている新規のカラーフィルタ配列を示す。

　この撮像素子１６のカラーフィルタ配列は、カラーフィルタが水平方向及び垂直方向に６×６（Ｍ×Ｍ）画素に対応する配列パターンで配列されてなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向（左右方向：第１の方向）及び垂直方向（上下方向：第２の方向）に繰り返し配置されている。即ち、このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが周期性をもって配列されるため、撮像素子１６から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

　なお、６×６画素の基本配列パターンは、上記基本配列パターンＰに限らず、基本配列パターンＰとは異なる位置から切り出した６×６画素の基本配列パターンＰ’（図４参照）を基本配列パターンとして捉えることもできる。

　図４に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め左上方向の各画素ライン内に１以上配置されている。ここで、画素ラインとは、水平、垂直、斜め右上、又は斜め左上方向に一列に画素が配列されているラインをいい、以下、単に「ライン」ともいう。

　また、この実施形態での斜め右上方向及び斜め右下方向は、水平方向及び垂直方向に対してそれぞれ４５°傾いた方向である。これは、複数の画素及びカラーフィルタが水平方向及び垂直方向に正方格子状に配列されているからである。従って、複数の画素及びカラーフィルタが矩形格子状に配列されている場合には、その矩形格子（単位画素）の対角線の方向が、斜め右上方向及び斜め右下方向に対応する。

　輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め右上、及び斜め左上方向の各ライン内に配置されるため、入力像において高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。ここで、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に伴うＲＧＢのモザイク画像から画素毎にＲＧＢの全ての色情報を算出（同時式に変換）する処理であって、デモザイク処理、デモザイキング処理とも言う（本明細書内において同じ）。

　また、図４に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ、Ｂの色）に対応するＲフィルタ、Ｂフィルタが、それぞれ基本配列パターンＰの水平、及び垂直方向の各画素ライン内に１つ以上配置されている。

　Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各画素ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。これにより、偽色の発生を低減（抑制）するための光学ローパスフィルタを省略することができる。なお、光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

　更に、図４に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。

　上記のようにＧ画素の画素数とＲ、Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ、Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

　図５は、図４に示した基本配列パターンＰを３×３（（Ｍ／２）×（Ｍ／２））画素に４分割した状態、及び後述する位相差画素の第１の配置例を示す。

　基本配列パターンＰは、図５に示すように水平方向及び垂直方向に３×３画素に対応する配列パターンで配列されてなる実線の枠で囲んだＡ配列（第１のサブ配列）と、破線の枠で囲んだ３×３画素のＢ配列（第２のサブ配列）とが、水平方向及び垂直方向に交互に並べられた配列となっていると捉えることもできる。これにより、Ａ配列は、基本配列パターンＰの一方の対角線方向に配置され、Ｂ配列は、基本配列パターンＰの他方の対角線方向に配置される。

　Ａ配列及びＢ配列の各々において、Ｇフィルタ（第１の色）は、４隅及び中央の画素に配置されており、両対角線上に配置される。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタ（第１の構成色）が垂直方向に配列され、Ｂフィルタ（第２の構成色）が水平方向に配列される。一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが垂直方向に配列され、Ｒフィルタが水平方向に配列されている。したがって、Ｒフィルタは、Ａ配列において中央画素に対し垂直方向に隣接する画素、及びＢ配列において中央画素に対し水平方向に隣接する画素に配置される。またＢフィルタは、Ａ配列において中央画素に対し水平方向に隣接する画素、及びＢ配列において中央画素に対し垂直方向に隣接する画素に配置される。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、Ｇフィルタの配置は同じである。

　また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平方向及び垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

　上述の配列パターンを有するカラーフィルタ配列において、Ｇ画素に関するカーネル周期（規則性を有する画像処理単位）は３画素周期となっているが、Ｒ画素及びＢ画素に関するカーネル周期は６画素周期となっており、Ｇ画素のカーネル周期とＲ画素及びＢ画素のカーネル周期とは必ずしも一致しない。

　また本実施形態に係るカラーフィルタ配列は、後述のＡＦ制御のための複数の位相差画素（第１の位相差画素ｐ１及び第２の位相差画素ｐ２）を含み、これらの位相差画素は水平方向及び垂直方向に関して周期的に配置される。第１の位相差画素ｐ１及び第２の位相差画素ｐ２の配置に関して、基本配列パターンＰは「第１の基本配列パターンＰ１」と「第２の基本配列パターンＰ２」とに分類可能である。本実施形態に係るカラーフィルタ配列では、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の配置が異なる「第１の基本配列パターンＰ１」と「第２の基本配列パターンＰ２」とが垂直方向に交互に配置され、また水平方向に関しては「第１の基本配列パターンＰ１」及び「第２の基本配列パターンＰ２」の各々が連続的に並置される（図１０参照）。

　第１の位相差画素ｐ１は、第１の基本配列パターンＰ１の一方のＡ配列及び第２の基本配列パターンＰ２の一方のＢ配列に配置される。また第２の位相差画素ｐ２は、第１の基本配列パターンＰ１の一方のＢ配列及び第２の基本配列パターンＰ２の一方のＡ配列に配置される。具体的には、第１の基本配列パターンＰ１では、垂直方向上側に配置されるＡ配列の左下隅のＧ画素の位置に第１の位相差画素ｐ１が配置され、垂直方向上側に配置されるＢ配列の左下隅のＧ画素の位置に第２の位相差画素ｐ２が配置される。また、第２の基本配列パターンＰ２では、垂直方向上側に配置されるＡ配列の左上隅のＧ画素の位置に第２の位相差画素ｐ２が配置され、垂直方向上側に配置されるＢ配列の左上隅のＧ画素の位置に第１の位相差画素ｐ１が配置される。

　したがって、第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、Ｇフィルタが水平方向に関して密に配置される（比較的多数配置される）画素ラインに位置し、Ｇフィルタが水平方向に関して疎に配置される（比較的少数配置される）画素ラインには位置しないこととなる。これにより、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の周辺に同色のＧ画素が多く配置され、本例では図１０の（ａ）に示すように第１の位相差画素ｐ１及び第２の位相差画素ｐ２の各々に対して「左画素（水平方向画素）、下画素（垂直方向画素）及び左下画素（斜め方向画素）」又は「左画素（水平方向画素）、上画素（垂直方向画素）及び左上画素（斜め方向画素）」に同色のＧ画素が配置される。したがって、後述の動画撮影時のようなライン画像の間引き読み出し（抽出）を行わない静止画撮影時においても、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の周辺の同色画素の画像データを使って、これらの位相差画素の画像データの補間処理を高精度に行うことができる。

　図５に示すカラーフィルタ配列において、第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、垂直方向に延在する１画素ライン上に交互に配置される。例えば第１の基本配列パターンＰ１の第１の位相差画素ｐ１と第２の基本配列パターンＰ２の第２の位相差画素ｐ２、また第１の基本配列パターンＰ１の第２の位相差画素ｐ２と第２の基本配列パターンＰ２の第１の位相差画素ｐ１とは、垂直方向に一対となって配置され、位相差画素ペアとして活用することができる。また、第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、水平方向に延在する１画素ライン上に交互に配置される。例えば第１の基本配列パターンＰ１のＡ配列の第１の位相差画素ｐ１とＢ配列の第２の位相差画素ｐ２、また第２の基本配列パターンＰ２のＡ配列の第２の位相差画素ｐ２とＢ配列の第１の位相差画素ｐ１とは、水平方向に一対となって配置され、位相差画素ペアとして活用することができる。

　この場合、垂直方向にペアを形成する第１の位相差画素ｐ１と第２の位相差画素ｐ２との間の垂直方向に関する画素数ｔ１は、「４」であり、２の倍数（偶数）となっている。また、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の垂直方向に関する繰り返し周期は、２つの基本配列パターンＰが基準になり、具体的な対応画素数は「１２」である。

　したがって、第１の位相差画素ｐ１の第１の基本配列パターンＰ１における位置と、第２の位相差画素ｐ２の第２の基本配列パターンＰ２における位置とは異なることとなる。また、第１の位相差画素ｐ１と第２の位相差画素ｐ２との間の垂直方向に関する画素数ｔ１（＝４）は、基本配列パターンＰの垂直方向の画素数（＝６）及び基本配列パターンＰを構成するＡ配列及びＢ配列の垂直方向の画素数（＝３）とは異なることとなる。

　図６の（ａ）及び（ｂ）はそれぞれ第１の位相差画素ｐ１及び第２の位相差画素ｐ２の構成を示す要部拡大図である。

　図６の（ａ）に示すように第１の位相差画素ｐ１のフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材１６Ａが配設され、一方、図６の（ｂ）に示すように第２の位相差画素ｐ２のフォトダイオードＰＤの前面側には、遮光部材１６Ｂが配設される。マイクロレンズＬ及び遮光部材１６Ａ、１６Ｂは瞳分割手段としての機能を有し、図６の（ａ）に示すように遮光部材１６Ａは、フォトダイオードＰＤの受光面の左半分を遮光する。そのため、第１の位相差画素ｐ１には、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の左側を通過する光束のみが受光される。図６の（ｂ）に示すように遮光部材１６Ｂは、第２の位相差画素ｐ２のフォトダイオードＰＤの受光面の右半分を遮光する。そのため、第２の位相差画素ｐ２には、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の右側を通過する光束のみが受光される。このように、瞳分割手段であるマイクロレンズＬ及び遮光部材１６Ａ、１６Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ第１の位相差画素ｐ１及び第２の位相差画素ｐ２に入射する。

　第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、図７に示すように撮像素子１６の撮像領域内の中央部のＡＦ領域（焦点検出領域）に設けられている。第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、位相差検出方向に数１０画素から１００画素程度配置することが好ましく、また、垂直方向に一対の位相差画素が、複数対配置することが好ましい。

　なお、ＡＦ領域は、図７に示す例に限らず、図８の（ａ）～（ｃ）に示すように撮影領域内に複数設けるようにしてもよく、また、撮影領域の全域に設けるようにしてもよい。

　図３に戻って、センサ駆動部３２は、ＣＰＵ４０からの読み出し指令により撮像素子１６からデジタル信号（画像信号）を読み出すカラー画像取得手段であり、撮像素子１６から画素ライン毎に順次画像信号を読み出すが、例えば１／４間引き等の間引き読み出し指令がＣＰＵ４０から加えられると、後述する間引きパターン（抽出パターン）に対応する画素ラインの画像信号を選択的に読み出す。

　ＣＭＯＳイメージセンサにおける読み出し方式は、上方から１画素ライン毎に順次リセット、順次読み出しを行う、ローリングシャッタ方式となる事が知られている。このローリングシャッタ方式は、画素ライン毎に露光タイミングに時間差があるため、動く被写体の場合には、被写体の画像が歪むという問題がある。したがって、静止画撮影時には、シャッタ駆動部３３によりメカシャッタ１５を開閉制御（露光時間を制御）してローリングシャッタによる歪みが発生しないようにしている。なおローリングシャッタ方式とは、ＭＯＳ型の撮像素子において、少なくとも１つ以上の走査ラインや画素毎に順次露光動作を行う、すなわち走査ラインや画素毎に順次リセットを行い電荷の蓄積を開始し蓄積した電荷を読み出す方式である（フォーカルプレーンシャッター方式とも言う）。

　撮像素子１６から読み出された画像信号（Ｒ、Ｇ、Ｂ信号）は画像入力コントローラ２２に出力される。

　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理等の信号処理及び動画の生成処理等を行う。

　デジタル信号処理部２４により処理された画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。

　ＶＲＡＭ５０から読み出された画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が連続的に液晶モニタ３０の表示画面上に表示される。

　ＣＰＵ４０は、スルー画像（ライブビュー画像）の撮影／表示中及び動画の撮影／記録（録画）中、常時ＡＦ動作及びＡＥ（自動露出）動作を行う。

　ＡＦ処理部（位相差検出手段）４２は、本発明に係る位相差ＡＦ処理を行う部分であり、図５に示した第１の位相差画素ｐ１、第２の位相差画素ｐ２の各出力信号を使用して位相差を検出する。なお、ＡＦ処理部４２による位相差検出の詳細については後述する。ＣＰＵ４０は、ＡＦ処理部４２から位相差を示す位相差データが入力されると、位相差データに基づいて位相差ＡＦを行う焦点調節手段として機能する。即ち、ＣＰＵ４０は、位相差データに基づいて撮影レンズ１２によるピント位置と撮像素子１６の結像面とのずれ量（デフォーカス量）を算出し、算出したデフォーカス量がゼロになるようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させる。なお、デフォーカス量の算出は、ＡＦ処理部４２で行ってもよい。

　ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力される積算値より被写体の明るさ（撮影Ｅｖ値）を算出する。撮影モードが静止画撮影モードの場合には、シャッタボタン２の第１段階の押下（半押し）があると、ＣＰＵ４０は、前述のＡＦ制御を再度行い、シャッタボタン２の全押しがあると、被写体の明るさ（撮影Ｅｖ値）を算出し、算出した撮影ＥＶ値に基づいて絞り１４のＦ値及びメカシャッタ１５による露光時間（シャッタ速度）をプログラム線図にしたがって決定し、静止画の撮影（露出制御）を行う。

　一方、撮影モードが動画撮影モードの場合には、シャッタボタン２の全押しがあると、ＣＰＵ４０は、動画の撮影／記録（録画）を開始させる。なお、動画撮影時には、メカシャッタ１５を開放し、撮像素子１６から画像データを連続的に読み出し（例えば、フレームレートとして３０フレーム／秒、６０フレーム／秒）、連続的に位相差ＡＦを行うとともに、被写体の明るさを算出し、シャッタ駆動部３３によりシャッタ速度（ローリングシャッタによる電荷蓄積時間）及び／又は絞り駆動部３４による絞り１４を制御する。

　ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてレンズ駆動部３６を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

　また、４７は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、動画の間引き読み出し用の間引きパターン等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。

　動画又は静止画の撮影時に撮像素子１６から出力される画像データは、画像入力コントローラ２２からメモリ（ＳＤＲＡＭ）４８に入力され、一時的に記憶される。

　メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出され、ここで、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理（又はデモザイク処理とも呼ばれる））、エッジ強調の画像処理、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む信号処理が行われ、ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。すなわち、デジタル信号処理部２４は、入力モザイク画像に所要の信号処理を施して、画素毎にＲＧＢ全ての色情報を有するＲＧＢ画素信号を生成し、これに基づいて輝度データ（Ｙデータ）と色差データ（Ｃｒ、Ｃｂデータ）とからなる画像データを生成し、この画像データをメモリ４８に記憶する。

　メモリ４８に記憶されたＹＣデータは、圧縮伸張処理部２６に出力され、ＪＰＥＧ　（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの圧縮処理が実行された後、再びメモリ４８に記憶される。メモリ４８に記憶されたＹＣデータ（圧縮データ）から画像ファイルが生成され、その画像ファイルは、メディアコントローラ５２により読み出され、メモリカード５４に記録される。

　［位相差ＡＦ処理］
　図９は、本発明に係る画像処理方法を示すフローチャートであり、特に動画撮影時の画像処理に関して示す。

　動画撮影時にＣＰＵ４０は、撮像素子１６から画素データ（画像データ）を間引き読み出しするための間引き率を取得する（図９のステップＳ１０）。この間引き率は、予め設定された固定値でもよいし、複数の間引き率からユーザにより選択できるようにしてもよい。例えば、動画の画像サイズの選択、あるいはフレームレートの選択に連動して最適な間引き率を設定することができる。

　続いて、ＣＰＵ４０は、間引き率に応じた間引きパターン（抽出パターン）を示す読み出し指令をセンサ駆動部３２に出力し、撮像素子１６から画像データを間引き読み出しする（ステップＳ１２）。

　図１０は、撮像素子１６における位相差画素の第１の配置例、及び画像データの間引き読み出しに関する概念図である。

　図１０の（ａ）に示すように、撮像素子１６のカラーフィルタ配列と同じカラー配列のＲＡＷデータ（モザイク画像）の全ライン（全水平画素ライン）を撮像素子１６から読み出すことができるが、動画撮影時には、図１０の（ｂ）に示すように垂直方向に関して４ライン毎に１ラインを抽出読み出しする１／４間引き読み出し、又は図１０の（ｃ）に示すように垂直方向への１／４間引き抽出読み出しに加えて水平方向に関して２ライン毎に１ラインを抽出読み出しする１／２間引き読み出しを行うことができる。例えば、高解像度の撮影モードでは図１０の（ｂ）に示す間引き読出しを行い、低解像度の撮影モードやライブビュー表示モードでは図１０の（ｃ）に示す間引き読出しを行うように、切替えてもよい。

　第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、それぞれ３×３画素のＡ配列及びＢ配列の左下のＧ画素の位置又は左上のＧ画素の位置に配置されている（図５参照）。そして、垂直方向の間引き読み出し時には、第１の位相差画素ｐ１及び第２の位相差画素ｐ２を含む水平画素ラインと、第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まない水平画素ラインとの両者が読み出される。即ち、間引き率に対応して、いずれのラインを読み出すかを示す間引きパターンが予め設定されており、本例では「水平方向の画素ライン」又は「水平方向の画素ライン及び垂直方向の画素ライン」から間引きパターンが構成され、間引きパターンに応じた画素ラインの画素データ（画像データ）のみが間引き読み出しされる。

　図１０の（ａ）において、Ａ配列又はＢ配列（サブ配列）に対応する３画素ライン（水平方向／垂直方向）に番号１～３を付し、基本配列パターンＰに対応する６画素ライン（水平方向／垂直方向）に番号１～６を付す。

　第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、Ａ配列の番号１又は３に対応する水平方向画素ラインのみに配置されている。したがって、図１０の（ａ）の黒丸が付された水平方向画素ラインのみを抽出する１／４間引き読み出しの場合には、図１０の（ｂ）に示すように「Ａ配列の番号３であって基本配列パターンＰの番号３に対応する水平方向画素ライン」、「Ａ配列の番号１であって基本配列パターンＰの番号１に対応する水平方向画素ライン」及び「Ｂ配列の番号２であって基本配列パターンＰの番号５に対応する水平方向画素ライン」の画像データ（画素信号）が周期的に読み出される。

　すなわち本例では、カラー画像取得手段（センサ駆動部３２）によって撮像素子１６から読み出し抽出されるライン画像は、第１の基本配列パターンＰ１の第１の位相差画素ｐ１を含む水平方向に延在する画素ライン（サブ配列の番号３、基本配列パターンの番号３）の画像データと、第２の基本配列パターンＰ２の第２の位相差画素ｐ２を含む水平方向に延在する画素ライン（サブ配列の番号１、基本配列パターンの番号１）の画像データと、第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まず水平方向に延在する第２の基本配列パターンＰ２の画素ライン（サブ配列の番号２、基本配列パターンの番号５）の画像データとによって構成される。したがって、間引き読み出し又は抽出される画素信号に対応する画素から成る画素群であって動画生成時に使用される画像データに対応する画素群（抽出画素群）は、これらの読み出し抽出対象の複数の画素ライン（本例では３つの水平方向画素ライン）が周期的に配列されて構成される。本例では、この抽出画素群のうち第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まない画素ラインが、第１の位相差画素ｐ１及び第２の位相差画素ｐ２が配置される画素（Ｇ画素）と同色の画素（Ｇ画素）を含み、このＧ画素は、斜め方向に関して第１の位相差画素ｐ１及び第２の位相差画素ｐ２と隣接して配置される。

　なお本例では、水平方向に関しては間引かれずに同時化処理が行われ、その後、画素データを水平方向に縮小する処理が行われることで動画データが生成される。したがって、デジタル信号処理部２４において、所定のカラー配列のカラー画像が抽出取得され、この抽出取得されたカラー画像に基づいて動画データが生成される。

　同様に、図１０の（ａ）の黒丸が付された水平方向画素ライン（１／４間引き）及び垂直方向画素ライン（１／２間引き）のみを抽出する場合には、図１０の（ｃ）に示すように「Ａ配列の番号３であって基本配列パターンＰの番号３に対応する水平方向画素ライン」、「Ａ配列の番号１であって基本配列パターンＰの番号１に対応する水平方向画素ライン」及び「Ｂ配列の番号２であって基本配列パターンＰの番号５に対応する水平方向画素ライン」の画像データ（画素信号）が周期的に読み出されると共に、「Ａ配列の番号２であって基本配列パターンＰの番号２に対応する垂直方向画素ライン」、「Ｂ配列の番号１であって基本配列パターンＰの番号４に対応する垂直方向画素ライン」及び「Ｂ配列の番号３であって基本配列パターンＰの番号６に対応する垂直方向画素ライン」の画像データ（画素信号）が周期的に読み出される。したがって、本例においても、この抽出画素群のうち第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まない（水平方向）画素ラインが、第１の位相差画素ｐ１及び第２の位相差画素ｐ２が配置される画素（Ｇ画素）と同色の画素（Ｇ画素）を含み、このＧ画素は、斜め方向に関して第１の位相差画素ｐ１及び第２の位相差画素ｐ２と隣接して配置される。

　なお本例では、デジタル信号処理部２４において、図１０の（ｃ）に示すような抽出画素データに基づいて同時化処理が行われ、その後、水平方向及び垂直方向の両者の間で間引き縮小の程度を揃えるための画素データの縮小処理が行われることで動画データが生成される。

　このように、間引き率に応じた間引きパターンは、ライン画像の抽出に関する垂直方向の周期（抽出画素周期）を有し、抽出画素周期の垂直方向に関する対応画素数ｔ２（＝４）は、基本配列パターンＰの垂直方向に関する画素数（＝６）と異なる。また、第１の位相差画素ｐ１と第２の位相差画素ｐ２との間の垂直方向に関する画素数ｔ１（＝４）と、抽出画素周期の垂直方向に関する対応画素数ｔ２（＝４）とは、ｔ１＝ｔ２×１の関係を満たす。

　また、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の垂直方向に関する繰り返し周期に対応する画素数（＝１２）は、抽出画素周期の垂直方向に関する対応画素数ｔ２（＝４）と基本配列パターンＰの垂直方向の画素数（＝６）との最小公倍数（＝１２）となる。したがって、位相差画素の垂直方向に関する繰り返し周期や抽出画素周期は、上述のＧ画素のカーネル周期やＲ画素及びＢ画素のカーネル周期と一致しない。

　図９に戻って、ステップＳ１２により１フレーム分の画像データが間引き読出しされると、以下に示すようにＡＦ動作と動画生成の処理とが並列して行われる。

　ＡＦ処理部４２は、間引き読み出しされた１フレーム分の画像データのうちのＡＦ領域内の第１の位相差画素ｐ１及び第２の位相差画素ｐ２の画像データ（出力データ）を抽出し、第１の位相差画素ｐ１の出力データと第２の位相差画素ｐ２の出力データとの位相差を検出する（ステップＳ１４）。例えば、上下一対の第１の位相差画素ｐ１と第２の位相差画素ｐ２の各出力データの相関が最大になるとき（上下一対の位相差画素の各出力データの差分絶対値の積算値が最小になるとき）の各出力データ間の左右方向のシフト量から位相差を求める。

　また、図１０の（ｂ）に示すように１／４間引き読み出しにより水平方向に第１の位相差画素ｐ１と第２の位相差画素ｐ２とが交互に配置される場合には、水平方向の第１の位相差画素ｐ１の出力データと第２の位相差画素ｐ２の出力データとの相関が最大になる時の各出力データ間の左右方向のシフト量から位相差を求め、求めたシフト量を、第１の位相差画素ｐ１と第２の位相差画素ｐ２との水平方向の位置ずれ分だけ補正した値を位相差として算出することができる。なお、位相差の算出方法は、上記の方法に限らず、種々の方法を適用することができる。

　続いて、ＣＰＵ４０は、ステップＳ１４で検出した位相差からＣＰＵ４０は、位相差データに基づいて撮影レンズ１２によるピント位置と撮像素子１６の結像面とのずれ量（デフォーカス量）を算出する（ステップＳ１６）。なお、デフォーカス量の算出は、ＡＦ処理部４２で行ってもよい。

　ＣＰＵ４０は、算出したデフォーカス量から撮影レンズ１２内のフォーカスレンズが合焦位置にあるか否かを判別する（ステップＳ１８）。合焦位置にないと判別すると（「Ｎｏ」の場合）、算出したデフォーカス量がゼロになるようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させる（ステップＳ２０）。合焦位置にあると判別すると（「Ｙｅｓ」の場合）、ステップＳ３２に遷移する。

　上記ステップＳ１４からステップＳ２０の処理と並行し動画生成の処理が行われる。

　ステップＳ１２により１フレーム分の画像データが間引き読出しされると、ステップＳ２２では、デジタル信号処理部２４中の補間演算手段により第１の位相差画素ｐ１及び第２の位相差画素ｐ２の画素位置における画素（Ｇ画素）の画素値（画像データ）の算出が行われる。即ち、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の出力データは、Ｇ画素の画像データとしては使用できないため、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の画素位置におけるＧ画素の画像データを、周囲の複数のＧ画素（この実施形態の場合には、隣接Ｇ画素を含む複数のＧ画素）の画像データの補間により算出する。算出した画像データは、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の画素位置におけるＧ画素の画像データとする。

　このように間引き読み出し後のカラー画像は、第１の位相差画素ｐ１及び第２の位相差画素ｐ２に隣接して、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の位置における画素の色（Ｇ）と同じ色の画素が配置されており、間引き読み出し後のカラー画像中の第１の位相差画素ｐ１及び第２の位相差画素ｐ２の位置における画素の画素値は、第１の位相差画素ｐ１及び第２の位相差画素ｐ２に隣接する同じ色（Ｇ）の画素を含む周辺画素の画素値が補間処理に使用され、デジタル信号処理部２４中の補間演算手段（例えば補間演算回路）により算出される。

　次に、デジタル信号処理部２４は、間引き読み出し（抽出）されたＲ、Ｇ、Ｂの画像データ（位相差画素の画素位置のＧ画素は、補間された画像データ）に基づいて、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理等の信号処理を施した動画の生成処理を行う。このとき、デジタル信号処理部２４（動画生成手段）は、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の位置における画素の画素値として補間演算手段により算出された値を使用した間引き読み出し後のカラー画像に基づいて、縮小した動画データを生成する（ステップＳ２４）。

　図１０の（ｂ）及び図１０の（ｃ）に示すように間引き読み出し後のＲ、Ｇ、Ｂのモザイク画像は、位相差画素の周辺に通常画素のＧ画素が多く配置されるため、位相差画素の補間の精度を高くすることができ、また、水平方向の全ライン上にＲ、Ｇ、Ｂの画素が配置されるため、同時化処理（デモザイク処理）の精度を高くすることができる。

　また、デジタル信号処理部２４は、同時化処理後に垂直方向のラインの画像を、水平方向のラインの間引き読み出し（本例では１／４間引き）と同様に間引き読み出しし（抽出し）、それぞれ水平方向及び垂直方向に間引かれた画像（縮小された画像）を生成する。

　デジタル信号処理部２４により生成された動画は、圧縮伸張処理部２６によりモーションＪＰＥＧ、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）－４などの圧縮された動画データに変換された後、メディアコントローラ５２を介してメモリカード５４に記録される（ステップＳ２６）。

　また、デジタル信号処理部２４は、上記記録用の動画の生成と並行して、液晶モニタ３０に表示する表示用の動画を生成する（ステップＳ２８）。表示用の動画は、液晶モニタ３０の表示サイズに合わせて更に縮小された画像である。生成された表示用の動画は、ビデオエンコーダ２８を介して液晶モニタ３０に出力され、スルー画像として表示される（ステップＳ３０）。

　ユーザは液晶モニタ３０に表示されるスルー画像により動画撮影中の画像を確認することができる。

　次に、ＣＰＵ４０は、操作部３８から動画の撮影終了の指示入力（シャッタボタン２の再度の押下）があったか否かを判別する（ステップＳ３２）。そして、動画の撮影終了の指示入力があった場合（「Ｙｅｓ」の場合）には動画の撮影／記録を終了し、一方、動画の撮影終了の指示入力がない場合（「Ｎｏ」の場合）には、ステップＳ１２に遷移させ、動画の撮影／記録を継続する。

　以上説明したように本実施形態によれば、動画の生成に使用する間引き抽出画像（図１０の（ｂ）に示す例では垂直方向に関して１／４間引き読み出し（４ラインのうち１ラインのみを抽出）した画像、図１０の（ｃ）に示す例では垂直方向に関して１／４間引き読み出し（４水平方向画素ラインのうち１ラインのみを抽出）及び水平方向に関しては１／２間引き読み出し（２垂直方向画素ラインのうち１ラインのみを抽出）した画像）における高い同時化処理精度を確保しつつ、その抽出画像において位相差画素を効率良く利用した正確なＡＦ制御を行うことができる。

　すなわち、動画生成時に抽出されるライン画像に位相差画素（第１の位相差画素ｐ１及び第２の位相差画素ｐ２）が含まれるため、動画像撮影時においても適切にＡＦ制御を行うことができる。特に、垂直方向に関し、第１の位相差画素ｐ１と第２の位相差画素ｐ２との間の画素数ｔ１と動画生成時のライン画像の抽出周期（抽出画素周期）の対応画素数ｔ２とが「ｔ１＝ｔ２×Ｉ（Ｉは、１以上の整数；本実施形態ではＩ＝１）」を満たすため、位相差画素を動画生成時の抽出画素ラインに効率良く含めることができる。

　また、垂直方向に関し、位相差画素（第１の位相差画素ｐ１及び第２の位相差画素ｐ２）の繰り返し周期と動画生成時のライン画像の抽出周期（抽出画素周期）とがズレている（異なる）ため、位相差画素を含む画素ラインだけではなく、位相差画素を含まずに通常の画素のみを含む画素ラインも動画生成時には抽出される。これにより、動画像の画質を良化することができ、また位相差画素の画像データを、周囲の画素データに基づいて補間処理により算出取得する際に、「位相差画素を含まずに通常の画素のみを含む画素ライン」の画像データを有効に活用することができ、画像データ（画素データ）の補間精度を向上させることができる。特に本例では、位相差画素を含まない抽出画素ラインが位相差画素と同じ色のフィルタ（Ｇフィルタ）が第１の位相差画素ｐ１又は第２の位相差画素ｐ２と隣接し、また抽出（間引き）後のカラー画像（抽出画素群）では、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の各々に隣接する位置に同色画素（Ｇ画素）が配置されるため、より一層、補間精度を高めることができる。

　また、垂直方向にペアを形成する第１の位相差画素ｐ１と第２の位相差画素ｐ２との間の画素数ｔ１（本例ではｔ１＝４）を偶数にすることで、これらの位相差画素に対する画像処理を簡便にすることが可能である。すなわち、撮像素子１６の受光素子に設けられるアンプ（増幅器）等を含む下地構造は、垂直方向に隣接する２画素及び水平方向に隣接する２画素（計２×２＝４画素）の受光素子で共有させることが行われている。この場合、この下地構造に対する受光素子の相対位置（配置特性）を考慮した信号処理を、各受光素子から出力される信号に対して施すことで、画質を向上させることができる。そのため、下地構造に対する第１の位相差画素ｐ１及び第２の位相差画素ｐ２の相対位置を共通化することで、配置特性を考慮した信号処理を簡便にすることが可能であり、補間処理精度を向上させることができる。したがって、垂直方向に隣接する２画素間でアンプ等を共有させる場合に、本例のように第１の位相差画素ｐ１と第２の位相差画素ｐ２との画素間隔を偶数画素数にすることで、またペアとなる第１の位相差画素ｐ１及び第２の位相差画素ｐ２を垂直方向に延在する同一画素ライン上に配置することで、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の下地構造に対する相対位置を共通化することができ、信号処理を簡便にすることが可能である。ここで、画素間隔とは、基準画素の中心点から隣接画素の中心点まで画素間隔（ピッチ）をいう。

　更に、図１０の（ｂ）に示す例によれば、動画生成のために（間引き）抽出されるライン画素群において、全ての水平方向画素ラインの各々に、Ｒ画素、Ｇ画素及びＢ画素の全ての色の画素が含まれる。また図１０の（ｂ）及び図１０の（ｃ）のいずれの場合においても、間引き読み出し後の配列（抽出画素群）において、Ｇ画素及び位相差画素の各々がＲ画素及びＢ画素と垂直・水平・斜め方向のいずれかの方向に隣接し、Ｒ画素、Ｇ画素及びＢ画素の各々は垂直方向に関してストライプ状にならない（Ｒ画素、Ｇ画素及びＢ画素のうちの単一色のみの画素が垂直方向において並置される状態にはならない）ので同時化精度を高くすることができる。したがって、本例によれば、色再現性に優れた高画質の動画を生成することができる。

　以上説明したように本実施形態の撮像装置１０によれば、間引かれたカラー画像を動画処理の対象画像とすることにより、１フレーム当りの処理時間の短縮化を図ることができ、フレームレートが低下しないようにすることができる。また、撮像素子１６から画素を間引き読出しすることにより、撮像素子１６からの画像の読出し時間の短縮化を図ることができる。

　また、取得したカラー画像の少なくともＡＦ領域内には、間引きパターン上であって、第１の方向（水平方向）の画素ライン上の同一の色のフィルタの位置に、第１、第２の位相差画素ｐ１、ｐ２が配置されているため、第１、第２の位相差画素に対応する出力信号を第１の方向及び第２の方向（垂直方向）の２次元で取得することができ、この出力信号に基づいて精度よく各出力信号の位相差を検出することができる。これにより撮像装置１０では、動画の撮影中に精度よく位相差ＡＦを行うことができる。

　更に、第１のフィルタ（Ｇ色のＧフィルタ）及び第２の色の各色（Ｒ色、Ｂ色）に対応する第２のフィルタ（Ｒフィルタ、Ｂフィルタ）のそれぞれは、基本配列パターンＰ、Ｐ’内の第１の方向及び第２の方向の各画素ライン内にそれぞれ１以上配置されているため、間引かずに全画素を用いた撮影（例えば静止画）を行う場合には、その撮影画像（静止画など）での偽色の発生の低減及び高解像度化を図ることができ、また、第１、第２の位相差画素の周辺画素として通常の画素（第１、第２の位相差画素以外の画素）を配置することができ、第１、第２の位相差画素の位置のカラー画素の画素値を、隣接する画素を含む周辺画素の画素値の補間により生成する際に精度よく求めることができる。これにより撮像装置１０では、位相差画素ｐ１，ｐ２による撮影画像の画質の低下を防止し、又は軽減することができる。

　［位相差画素の第２の配置例］
　図１１は、撮像素子１６における位相差画素の第２の配置例、及び画像データの間引き読み出しに関する概念図である。なお本配置例に関し、図１０に示す第１の配置例と同様の構成及び作用効果についての詳細な説明は省略する。

　図１１の（ａ）に示すように本例の撮像素子１６のカラーフィルタ配列では、カラーフィルタが水平方向及び垂直方向に３×６（Ｍ×Ｎ）画素に対応する配列パターンで配列されて基本配列パターンＰが構成される。この基本配列パターンＰは、カラーフィルタが３×３（Ｍ×（Ｎ／２））画素に対応する配列パターンで配列された２種類のサブ配列であるＡ配列（第１のサブ配列）及びＢ配列（第２のサブ配列）を、それぞれ１つずつ含む。

　Ａ配列及びＢ配列の各々では、４辺のうちの２辺であって相互に隣接する２辺を構成するＬ字状の外周部の画素位置にＧフィルタが５画素分配置され、外周部以外の画素位置にＲフィルタ及びＢフィルタがそれぞれ２画素ずつ配置される。Ａ配列では、Ｇフィルタが配置される外周部以外の２×２画素の箇所の一方の対角線上にＲフィルタが配置され、他方の対角線上にＢフィルタが配置される。特に本例のＡ配列では、外周部によって構成される２辺に共通なＧ画素（Ｌ字状に配置されるＧ画素のうち角部を形成するＧ画素）を通る対角線上にＲフィルタが配置される。一方、Ｂ配列でも、Ｇフィルタが配置される外周部以外の２×２画素の箇所の一方の対角線上にＲフィルタが配置され、他方の対角線上にＢフィルタが配置されるが、外周部によって構成される２辺に共通なＧ画素を通る対角線上にＢフィルタが配置される。したがって、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、Ｇフィルタの配置は同様になっている。

　上記の配列パターンを有する本例のカラーフィルタ配列では、Ｇ画素に関するカーネル周期は３画素周期であり、Ｒ画素及びＢ画素に関するカーネル周期も３画素周期となっており、Ｇ画素のカーネル周期とＲ画素及びＢ画素のカーネル周期とは一致する。

　位相差画素の配置に関して本例のカラーフィルタ配列では、第１の位相差画素ｐ１がＡ配列の４隅のうちの左上のＧ画素に配置され、また第２の位相差画素ｐ２がＢ配列のＧ画素のうち垂直方向に関して中央に位置するＧ画素に配置される。したがって、図１１の（ａ）に示すように第１の位相差画素ｐ１及び第２の位相差画素ｐ２の各々に対して上下画素（垂直方向画素）及び斜め方向画素（左右上画素又は左右下画素）に同色のＧ画素が配置される。これにより、ライン画像の間引き読み出し（抽出）を行わない静止画撮影時においても、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の周辺の同色画素の画像データを使って、これらの位相差画素の画像データの補間処理を高精度に行うことができる。

　そして、これらの第１の位相差画素ｐ１及び第２の位相差画素ｐ２を含む基本配列パターンＰ（第１の基本配列パターン）と、第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まない基本配列パターンＰ（第２の基本配列パターン）とが垂直方向に交互に並置され、また水平方向に関してはこれらの第１の基本配列パターン及び第２の基本配列パターンが連続的に並置される。

　したがって、全体のカラーフィルタ配列では、Ａ配列及びＢ配列の各々の隅部に配置されるＧフィルタによって、Ｒフィルタ及びＢフィルタが配置される２×２画素の領域が取り囲まれ、十字状のＧフィルタ配置が形成されることとなる。この十字配列を形成するＧ画素の交差部分のうち水平方向のＧ画素の画素値の差分絶対値及び垂直方向のＧ画素の画素値の差分絶対値を求めることにより、水平方向及び垂直方向のうちの差分絶対値の小さい方向に相関があると判断することができる。また、交差部分のうち斜め方向（ＮＥ、ＮＷ）のＧ画素の画素値の差分絶対値を求めることにより、各斜め方向のうち差分絶対値の小さい方向に相関があると判断することができる。その結果、カラーフィルタ配列では、最小画素間隔のＧ画素の情報（出力信号）を使用して、水平方向、垂直方向及び斜め方向のうちの相関の高い方向判別ができる（ここでいう画素間隔とは、基準画素の中心点から隣接画素の中心点まで画素間隔（ピッチ）をいう）。この方向判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。なおこの場合、例えば前述の同時化処理回路内に方向判別処理部を設け、方向判別処理部で方向判別を行うようにするとよい。

　なお、Ｒフィルタ及びＢフィルタの各々は、色モワレ（偽色）の発生を低減するために、基本配列パターンＰ内においてカラーフィルタ配列の水平方向（Ｈ）、及び垂直方向（Ｖ）の各ライン内に配置することが好ましい。しかしながら、Ｇ画素におけるＲ、Ｂ画素値については、前述の隣接するＧ画素群からの出力信号値から方向判別した結果などを用いて隣接するフィルタ列内のＲフィルタまたはＢフィルタに対応する画素から補間処理することにより求めることができる。

　このカラーフィルタ配列において、第１の位相差画素ｐ１と第２の位相差画素ｐ２とは、垂直方向に延在する同一画素ライン上に一対となって配置され、ペアとして活用することができる。本例においても、垂直方向にペアを形成する第１の位相差画素ｐ１と第２の位相差画素ｐ２との間の垂直方向に関する画素数ｔ１は、「４」であり、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の垂直方向に関する繰り返し周期は、２つの基本配列パターンＰが基準になり、具体的な対応画素数は「１２」である。

　上述の配置構成では、以下のようにして、動画生成時のライン画像の抽出処理が行われる。

　本例においても、撮像素子１６のカラーフィルタ配列と同じカラー配列のＲＡＷデータ（モザイク画像）の全ラインを撮像素子１６から読み出すことが可能であるが、動画撮影時には、図１１の（ｂ）に示すように４ライン毎に１ラインを間引き読み出しする１／４間引き読み出し（抽出）を行うことができる。

　そして、間引き読み出し時には、間引きパターンに応じたラインの画像データのみが読み出され、第１の位相差画素ｐ１を含むライン、第２の位相差画素ｐ２を含むライン、及び第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まないラインから画像データ（画素データ）が読み出される。すなわち、「第１の位相差画素ｐ１を含む水平方向画素ライン（Ａ配列の番号１、基本配列パターンの番号１）」、「第２の位相差画素ｐ２を含む水平方向画素ライン（Ｂ配列の番号２、基本配列パターンの番号５）」及び「第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まない水平方向画素ライン（Ａ配列の番号３、基本配列パターンの番号３）」の画像データ（ライン画像）が、垂直方向に関して４画素間隔で周期的に読み出される。

　図１１の（ｂ）に示す本例の抽出画素群のうち第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まない画素ライン（基本配列パターンの番号３）は、第１の位相差画素ｐ１及び第２の位相差画素ｐ２に配置されるＧ画素と同色の画素（Ｇ画素）のみによって構成され、第１の位相差画素ｐ１及び第２の位相差画素ｐ２はこれらのＧ画素とも隣接する。

　以上説明したように本例においても、動画生成時に抽出されるライン画像に位相差画素（第１の位相差画素ｐ１及び第２の位相差画素ｐ２）が含まれるため、動画像撮影時においても適切にＡＦ制御を行うことができる。特に、垂直方向に関し、第１の位相差画素ｐ１と第２の位相差画素ｐ２との間の画素数ｔ１と動画生成時のライン画像の抽出周期（抽出画素周期）の対応画素数ｔ２とが「ｔ１＝ｔ２×Ｉ（Ｉは、１以上の整数；本例ではＩ＝１）」を満たすため、周期的に配置される位相差画素を動画生成時の抽出画素ラインに効率良く含めることができる。

　また、位相差画素を含む画素ラインだけではなく、位相差画素を含まずに通常の画素のみを含む画素ラインも動画生成時には抽出されるので、画像データ（画素データ）の補間精度を向上させることができる。特に、位相差画素を含まない抽出画素ラインが位相差画素と同じ色のフィルタ（Ｇフィルタ）を含み、また抽出（間引き読み出し）後のカラー画像（抽出画素群）では、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の各々に隣接する位置（垂直方向隣接位置及び斜め方向隣接位置）に同色の通常画素（Ｇ画素）が配置されるため、より一層、補間精度を高めることができる。

　［位相差画素の第３の配置例］
　図１２は、撮像素子１６における位相差画素の第３の配置例、及び画像データの間引き読み出しに関する概念図である。なお本配置例に関し、図１０に示す第１の配置例及び図１１に示す第２の配置例と同様の構成及び作用効果についての詳細な説明は省略する。

　図１２の（ａ）に示すように本例の撮像素子１６のカラーフィルタ配列では、カラーフィルタが水平方向及び垂直方向に３×３（Ｍ×Ｍ）画素に対応する配列パターンで配列されて基本配列パターンＰが構成される。

　この基本配列パターンＰは、上述の図１１に示す第２の配置例のＢ配列と同様のカラーフィルタ配列を有する。すなわち、基本配列パターンＰの４辺のうちの２辺であって相互に隣接する２辺を構成するＬ字状の外周部の画素位置にＧフィルタが５画素分配置され、外周部以外の画素位置にＲフィルタ及びＢフィルタがそれぞれ２画素ずつ配置される。特に本例の基本配列パターンＰでは、外周部によって構成される２辺に共通なＧ画素（Ｌ字状に配置されるＧ画素のうち角部を形成するＧ画素）を通る対角線上にＢフィルタが配置され、Ｇフィルタが配置される外周部以外の２×２画素の箇所の他方の対角線上にＲフィルタが配置される。

　この基本配列パターンＰが水平方向及び垂直方向に並置されるカラーフィルタ配列において、Ｇ画素に関するカーネル周期は３画素周期であり、Ｒ画素及びＢ画素に関するカーネル周期も３画素周期となっており、Ｇ画素のカーネル周期とＲ画素及びＢ画素のカーネル周期とは一致する。

　位相差画素の配置に関して本例のカラーフィルタ配列では、第１の位相差画素ｐ１が配置される１つの基本配列パターンＰと、第２の位相差画素ｐ２が配置される１つの基本配列パターンＰと、第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも配置されない２つの基本配列パターンＰとが垂直方向に並置される。したがって、図１２の（ａ）に示すように第１の位相差画素ｐ１及び第２の位相差画素ｐ２の各々に対して上下画素（垂直方向画素）及び斜め方向画素（左右上画素又は左右下画素）に同色のＧ画素が配置される。これにより、ライン画像の間引き読み出し（抽出）を行わない静止画撮影時においても、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の周辺の同色画素の画像データを使って、これらの位相差画素の画像データの補間処理を高精度に行うことができる。

　第１の位相差画素ｐ１は、基本配列パターンＰの４隅のうちの左上のＧ画素に配置される。また第２の位相差画素ｐ２は、基本配列パターンＰのＧ画素のうち、垂直方向に関して中央に位置するＧ画素に配置される。そして、これらの第１の位相差画素ｐ１及び第２の位相差画素ｐ２を含む２つの基本配列パターンＰと、第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まない２つの基本配列パターンＰとが垂直方向に交互に並置され、また水平方向に関してはこれらの基本配列パターンＰが連続的に並置される。

　したがって、全体のカラーフィルタ配列では、基本配列パターンＰの隅部に配置されるＧフィルタによって、Ｒフィルタ及びＢフィルタが配置される２×２画素の領域が取り囲まれ、十字状のＧフィルタ配置が形成されることとなる。

　このカラーフィルタ配列において、第１の位相差画素ｐ１と第２の位相差画素ｐ２とは、垂直方向に延在する同一画素ライン上に一対となって配置され、ペアとして活用することができる。このように垂直方向にペアを形成する第１の位相差画素ｐ１と第２の位相差画素ｐ２との間の垂直方向に関する画素数ｔ１は、「４」である。また、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の垂直方向に関する繰り返し周期は、４つの基本配列パターンＰが基準になり、具体的な対応画素数は「１２」である。

　本例においても、撮像素子１６のカラーフィルタ配列と同じカラー配列のＲＡＷデータ（モザイク画像）の全ラインを撮像素子１６から読み出すことができるが、動画撮影時には、図１２の（ｂ）に示すように垂直方向に関して４ライン毎に１ラインを間引き読み出しする１／４間引き読み出し（抽出）、または図１２の（ｃ）に示すように垂直方向に関する１／４間引き読み出しに加えて水平方向に関しても４ライン毎に１ラインを間引き読み出しする１／４間引き読み出し（抽出）を行うことができる。

　そして、間引き読み出し時には、間引きパターンに応じたラインの画像データのみが読み出され、第１の位相差画素ｐ１を含むライン、第２の位相差画素ｐ２を含むライン、及び第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まないラインから画像データ（画素データ）が読み出される。すなわち図１２の（ｂ）に示す例では、「第１の位相差画素ｐ１を含む水平方向画素ライン（基本配列パターンの番号１）」、「第２の位相差画素ｐ２を含む水平方向画素ライン（基本配列パターンの番号２）」及び「第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まない水平方向画素ライン（基本配列パターンの番号３）」の画像データ（ライン画像）が、垂直方向に関して４画素間隔で周期的に読み出される。この場合、水平方向に関しては間引かれずに同時化処理が行われ、その後、画素データを水平方向に縮小する処理が行われることで動画データが生成される。また図１２の（ｃ）に示す例では、これらの水平方向画素ラインに加えて「第１の位相差画素ｐ１及び第２の位相差画素ｐ２を含む垂直方向画素ライン（基本配列パターンの番号１）」、「基本配列パターンの番号２に対応する垂直方向画素ライン」及び「基本配列パターンの番号３に対応する垂直方向画素ライン」のの画像データ（ライン画像）が、垂直方向及び水平方向の各々に関して４画素間隔で周期的に読み出される。

　図１２の（ｂ）及び図１２の（ｃ）に示す抽出画素群のうち第１の位相差画素ｐ１及び第２の位相差画素ｐ２のいずれも含まない水平方向画素ラインは、第１の位相差画素ｐ１及び第２の位相差画素ｐ２が配置されるＧ画素と同色の画素（Ｇ画素）のみによって構成される。

　また、図１２の（ｂ）及び図１２の（ｃ）に示す抽出画素群は、Ｒフィルタ、Ｇフィルタ及びＢフィルタの配列パターンに関し、図１２の（ａ）に示す基本配列パターンＰと同じ配列パターンを有する。したがって、動画生成の前後において、共通の画像処理（補間処理）を適用することができ、非常に利便性が高い。

　また、位相差画素を含む画素ラインだけではなく、位相差画素を含まずに通常の画素のみを含む画素ラインも動画生成時には抽出されるので、画像データ（画素データ）の補間精度を向上させることができる。特に本例では、位相差画素を含まない水平方向の抽出画素ラインが位相差画素と同じ色のフィルタ（Ｇフィルタ）及び画素（Ｇ画素）のみから成り、抽出（間引き読み出し）後のカラー画像（抽出画素群）では、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の各々に隣接する位置（垂直方向隣接位置及び斜め方向隣接位置）にこの位相差画素を含まない抽出画素ラインにおける同色（Ｇ色）の通常画素（Ｇ画素）が配置されるため、より一層、補間精度を高めることができる。

　また、動画生成のために（間引き読み出し）抽出されるライン画素群によって構成される画像データは、抽出処理前のモザイク画像データの基本配列パターンＰと同じ配列パターンを有するため、動画生成の前後において、共通の画像処理（補間処理）を適用することができる。

　更に、本例によれば、動画生成のために（間引き読み出し）抽出されるライン画素群において、Ｒ画素及びＢ画素は、隣接画素位置に同色画素が配置されず、他の色の画素が配置される。例えばＲ画素にはＧ画素及びＢ画素が隣接し、Ｂ画素にはＧ画素及びＲ画素が隣接する。したがって、本例によれば、動画生成時における補間処理（同時化処理）の精度を効果的に向上させることができる。

　［他の実施形態］
　＜Ｒ、Ｇ、Ｂ以外の画素を有する撮像素子の他の実施形態＞
　上記各実施形態では、本発明の第１の色を有する第１のフィルタとしてＧ色のＧフィルタを例に挙げて説明を行ったが、Ｇフィルタの代わりに、あるいはＧフィルタの一部に代えて、下記条件（１）から条件（４）のいずれかを満たすフィルタを用いてもよい。

　＜第１のフィルタ（第１の色）の条件＞
　〔条件（１）〕
　条件（１）は、輝度信号を得るための寄与率が５０％以上であることである。この寄与率５０％は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定めた値であって、輝度データを得るための寄与率がＲ色、Ｂ色などよりも相対的に高くなる色が「第１の色」に含まれるように定めた値である。

　Ｇ画素の画像信号は、Ｒ画素及びＢ画素の画像信号よりも輝度信号の生成時の寄与率が高い。具体的に説明すると、同時化処理後の、ある画素の輝度信号（Ｙ信号）は、同時化されたＲ、Ｇ、Ｂの画像信号（Ｒ、Ｇ、Ｂ信号）に基づいて、一般に次式により算出される。

　［数１］
　Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ
　この［数１］式ではＧ色の寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。したがって、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。

　また、Ｇ色以外の色の寄与率についても実験やシミュレーションにより取得可能である。従って、Ｇ色以外で寄与率が５０％以上となる色を有するフィルタについても、本発明の第１のフィルタとして用いることができる。尚、寄与率が５０％未満となる色は本発明の第２色（Ｒ色、Ｂ色など）となり、この色を有するフィルタが本発明の第２のフィルタとなる。

　〔条件（２）〕
　条件（２）は、フィルタの透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるＲ色、Ｂ色などのピークが含まれず、かつ寄与率が相対的に高くなるＧ色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあるフィルタを第１のフィルタとして用いることができる。尚、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲外となるフィルタが本発明の第２のフィルタ（Ｒフィルタ、Ｂフィルタ）となる。

　〔条件（３）〕
　条件（３）は、波長５００ｎｍ以上５６０ｎｍ以下の範囲内での透過率が第２のフィルタ（ＲフィルタやＢフィルタ）の透過率よりも高いことである。この条件（３）においても、フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この条件（３）の波長範囲も、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、Ｒ色やＢ色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、ＲＢフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長５００ｎｍ以上５６０ｎｍ以下の範囲内で相対的に高いフィルタを第１のフィルタとして用い、透過率が相対的に低いフィルタを第２のフィルタとして用いることができる。

　〔条件（４）〕
　条件（４）は、３原色のうち最も輝度信号に寄与する色（例えばＲＧＢのうちのＧ色）と、この３原色とは異なる色とを含む２色以上のフィルタを、第１のフィルタとして用いることである。この場合には、第１のフィルタの各色以外の色に対応するフィルタが第２のフィルタとなる。

　＜透明フィルタ（Ｗフィルタ）＞
　上述の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタ（白色画素に対応するＷフィルタ）としてもよい。特に第１のフィルタ（Ｇフィルタ）の一部に代えてＷフィルタＷを配置することが好ましい。このようにＧ画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。

　Ｗフィルタは、透明色（第１の色）のフィルタである。Ｗフィルタは、可視光の波長域に対応する光を透過可能であり、例えばＲＧＢの各色の光の透過率が５０％以上となるフィルタである。Ｗフィルタの透過率は、Ｇフィルタよりも高くなるので、輝度信号を得るための寄与率もＧ色（６０％）よりは高くなり、前述の条件（１）を満たす。

　図１３は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及び透明フィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。

　カラーフィルタ配列（受光素子）の分光感度特性を示す図１３において、Ｗフィルタの透過率のピーク（白色画素の感度のピーク）は、波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、Ｗフィルタの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、Ｗフィルタは前述の条件（２）、（３）も満たしている。尚、ＧフィルタについてもＷフィルタと同様に前述の条件（１）～（３）を満たしている。

　このようにＷフィルタは、前述の条件（１）～（３）を満たしているので、本発明の第１のフィルタとして用いることができる。尚、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタの一部をＷフィルタに置き換えているので、前述の条件（４）も満たしている。

　＜複数種類の第１のフィルタ（Ｇフィルタ）＞
　第１のフィルタとしてのＧ色のＧフィルタは一種類に限定されるものではなく、例えば複数種類のＧフィルタを第１のフィルタとして用いることもできる。即ち、上述の各実施形態に係るカラーフィルタ（基本配列パターン）のＧフィルタが、Ｇ１フィルタ、Ｇ２フィルタに適宜置き換えられてもよい。

　図１４は、Ｒフィルタ、Ｇ１フィルタ、Ｇ２フィルタ及びＢフィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。Ｇ１フィルタは第１の波長帯域のＧ光を透過し、Ｇ２フィルタはＧ１フィルタと相関の高い第２の波長帯域のＧ光を透過する。

　Ｇ１フィルタとしては、現存のＧフィルタ（例えば第１実施形態のＧフィルタ）を用いることができる。また、Ｇ２フィルタとしては、Ｇ１フィルタと相関の高いフィルタを用いることができる。この場合に、Ｇ２フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長５００ｎｍから５３５ｎｍの範囲（現存のＧフィルタが配置される受光素子の分光感度曲線のピーク値の近傍）にあることが望ましい。尚、４色（Ｒ、Ｇ１、Ｇ２、Ｂ）のカラーフィルタを決定する方法は、例えば特開２００３－２８４０８４号に記載されている方法が用いられる。

　このようにカラー撮像素子により取得される画像の色を４種類とし、取得される色情報を増やすことにより、３種類の色（ＲＧＢ）のみが取得される場合と較べて、より正確に色を表現することができる。即ち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること（「色の判別性」を向上させること）ができる。

　尚、Ｇ１及びＧ２フィルタの透過率は、第１実施形態のＧフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は５０％よりは高くなる。したがって、Ｇ１及びＧ２フィルタは前述の条件（１）を満たす。

　また、カラーフィルタ配列（受光素子）の分光感度特性を示す図１４において、Ｇ１、Ｇ２フィルタの透過率のピーク（各Ｇ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。Ｇ１、Ｇ２フィルタの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、Ｇ１、Ｇ２フィルタは前述の条件（２）、（３）も満たしている。

　尚、Ｇ１、Ｇ２フィルタの配置や個数は適宜変更してもよい。また、Ｇフィルタの種類を３種類以上に増加してもよい。

　＜エメラルドフィルタ（Ｅフィルタ）＞
　上述の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド（Ｅ）色に対応するフィルタ（Ｅ画素に対応するＥフィルタ）としてもよい。特に第１のフィルタ（Ｇフィルタ）の一部に代えてＥフィルタを配置することが好ましい。このようにＧフィルタの一部をＥフィルタで置き換えた４色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。

　図１５は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＥフィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。

　カラーフィルタ配列（受光素子）の分光感度特性を示す図１５において、Ｅフィルタの透過率のピーク（Ｅ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、Ｅフィルタの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、Ｅフィルタは前述の条件（２）、（３）を満たしている。また、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタの一部をＥフィルタに置き換えているので、前述の条件（４）も満たしている。

　尚、図１５に示した分光特性では、ＥフィルタがＧフィルタよりも短波長側にピークを持つが、Ｇフィルタよりも長波長側にピークを持つ（少し黄色よりの色に見える）場合もある。このようにＥフィルタとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件（１）を満たすようなエメラルドフィルタＥを選択することもできる。

　＜他の色の種類＞
　上述の各実施形態では、原色ＲＧＢのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件（１）～（４）のいずれかを満たすカラーフィルタを本発明の第１のフィルタとし、他のカラーフィルタを第２のフィルタとする。

　第１のフィルタの位置において、第１のフィルタであるＧフィルタの代わりに、又はＧフィルタの一部をＷフィルタ、Ｇ２フィルタ、Ｅフィルタに置き換えた撮像素子を使用する場合、位相差画素は、Ｗフィルタ、Ｇ２フィルタ、Ｅフィルタが配置される位置に配置してもよい。

　例えば、位相差画素が配置されるフィルタをＷフィルタにすることにより、位相差画素を高感度にすることができる。

　また、撮像装置１０の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

　＜スマートフォンの構成＞
　図１６は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図１６に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

　図１７は、図１６に示すスマートフォン５００の構成を示すブロック図である。図１７に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

　無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

　表示パネル５２１は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

　図１６に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１６に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１６に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ　ＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

　ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

　電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る２Ｄ画像から３Ｄ画像を生成する機能などがある。

　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部５４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラであり、図３のブロック図に示した機能と同等の機能を備えている。ここで、カメラ部５４１における撮像素子のカラーフィルタ配列、位相差画素の配列等は撮像装置１０と同様の態様を用いることができ、そのようなカラーフィルタ配列の下での画像処理・制御処理（間引き読み出しや位相差検出、焦点調節等）も撮像装置１０について上述したのと同様におこなうことができる。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることができる。図１６に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影したりすることもできる。

　また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　上述のスマートフォン５００の実施形態において、カメラ部５４１の撮像素子に設けられるカラーフィルタに対して、上述の本発明を適用することが可能であり、各種の色フィルタを所定のパターンで配置したカラーフィルタをカメラ部５４１に配設することができる。なお、動画生成時等における画像データの間引き（抽出）読み出しは、例えば、操作部５４０からの操作指示信号に応じて主制御部５０１によって実現可能となっている。

　上述した構成のスマートフォン５００によれば、撮像装置１０と同様に動画の撮影中に精度よく位相差ＡＦを行うことができ、かつ位相差画素による撮影画像の画質の低下を防止し、又は軽減することができる。

　［その他］
　本発明の実施形態では、動画撮影時に撮像素子から間引きパターンにしたがって直接画素信号を間引き読出しするようにしたが、これに限らず、撮像素子から全画素の画像を読み出しし、読み出した画像から間引きパターンにしたがって画素信号を抽出し、位相差画素を含む所定のカラー配列のカラー画像を取得するようにしてもよい。この場合でも同時化処理を含む信号処理の対象画像の画像サイズを小さくすることができるため、動画の処理時間の短縮化を図ることができる。尚、間引きパターンにしたがった画素信号を抽出する方法としては、周辺の複数の同色画素の出力信号を加算または混合する画素混合処理により、間引きパターンにしたがった画素信号を抽出するようにしても良い。特に、撮像素子において読み出した直後に画素混合処理を行うことで動画の処理時間をより短縮することが可能である。

　また、本発明が適用される撮像素子のカラーフィルタ配列は、図１０～１２に示した例に限らず、例えば、図１０に示した基本配列パターンＰ内の３×３画素のＡ配列又はＢ配列のみ、又は図１１に示した基本配列パターンＰ内の３×３画素のＢ配列のみが水平方向及び垂直方向に繰り返し配置されたカラーフィルタ配列を有するものでもよい。要は、Ｍ×Ｎ画素（Ｍ、Ｎ：３以上の整数）の基本配列パターンが繰り返し配置されたカラーフィルタ配列であり、第１の色（この実施形態では、Ｇフィルタ、Ｗフィルタ、Ｇ１フィルタ、Ｇ２フィルタ、Ｅフィルタ）に対応する第１のフィルタ及び第２の色（この実施形態では、Ｒフィルタ、Ｂフィルタ）に対応する第２のフィルタが、基本配列パターン内の第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置されるものであればよい。尚、基本配列パターンのサイズ（Ｍ×Ｎ画素）は、他の画素数に対応する配列パターンで配列させてもよいが、基本配列パターンの画素数が増加すると同時化等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られない。したがって、信号処理の複雑化を防止する観点からは、基本配列パターンのサイズは大きすぎない１０×１０画素以下が好ましく、６×６画素以下がより好ましく、最小の基本配列パターンは３×３画素にすることが好ましい。また、第２の色に対応するフィルタは、Ｒフィルタ、Ｂフィルタ以外の色のフィルタを含んでいてもよい。

　また、上述の実施形態では、第１の位相差画素ｐ１と第２の位相差画素ｐ２との画素間隔が４、位相差画素の繰り返し周期が１２、抽出画素周期（垂直方向の読み出し周期）が４の場合について説明したが、これらの周期は特に限定されない。「第１の位相差画素ｐ１と第２の位相差画素ｐ２との間の垂直方向に関する画素数ｔ１と、抽出画素周期の垂直方向に関する対応画素数ｔ２とが、ｔ１＝ｔ２×Ｉ（Ｉは、１以上の整数）を満たし」、「第１の位相差画素ｐ１及び第２の位相差画素ｐ２の垂直方向に関する繰り返し周期に対応する画素数が、抽出画素周期の垂直方向に関する対応画素数と基本配列パターンの垂直方向の画素数との公倍数（好ましくは最小公倍数）」であればよい。

　また、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の補色系のカラーフィルタや、補色系のカラーフィルタに更に他の色のフィルタが追加されたカラーフィルタ配列を有する撮像素子にも本発明は適用できる。

　更に、位相差画素の配置位置は特に限定されず、動画撮影時に間引き読み出しされるライン上に配置されていればよい。

　また、本発明に適用される撮像素子としては、図４等に示したように複数の画素及びカラーフィルタが水平方向及び垂直方向に正方格子状に配列されたものに限らず、斜め格子状に配列されたもの（具体的には、図１０等に示したカラーフィルタ配列を４５°回転したもの）であってもよい。この場合、基本配列パターンも斜め格子状の配列パターンになる。

　本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

　１０…撮像装置、１２…撮影レンズ、１４…絞り、１５…メカシャッタ、１６…撮像素子、２４…デジタル信号処理部、３０…液晶モニタ、３２…センサ駆動部、３３…シャッタ駆動部、３４…絞り駆動部、３６…レンズ駆動部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ処理部、４７…ＲＯＭ（ＥＥＰＲＯＭ）、４８…メモリ、５００…スマートフォン

Claims

　撮影レンズと、
　第１の方向及び当該第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
　前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
　前記所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記複数の画素のうち前記カラー画像取得手段により間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第１の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第２の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まず前記第１の方向に延在する画素ラインとを周期的に有する撮像装置。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
　前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
　前記所定のカラーフィルタ配列は、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある１色以上の第１の色に対応する第１のフィルタと、透過率のピークが前記範囲外にある２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記複数の画素のうち前記カラー画像取得手段により間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第１の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第２の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まず前記第１の方向に延在する画素ラインとを周期的に有する撮像装置。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
　前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
　前記所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、波長５００ｎｍ以上５６０ｎｍ以下の範囲内で透過率が前記第１のフィルタよりも低くなる２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記複数の画素のうち前記カラー画像取得手段により間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第１の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第２の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まず前記第１の方向に延在する画素ラインとを周期的に有する撮像装置。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
　前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
　前記所定のカラーフィルタ配列は、３原色のうち最も輝度信号に寄与する色と前記３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記複数の画素のうち前記カラー画像取得手段により間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第１の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第２の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まず前記第１の方向に延在する画素ラインとを周期的に有する撮像装置。
　前記間引かれたカラー画像は、前記第１、第２の位相差画素に隣接して該第１、第２の位相差画素の位置における画素の色と同じ色の画素が配置され、
　前記間引かれたカラー画像中の第１、第２の位相差画素の位置における画素の画素値を、前記第１、第２の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算手段を備え、
　前記動画生成手段は、前記間引かれたカラー画像中の前記第１、第２の位相差画素の位置における画素の画素値として前記補間演算手段により算出された値を使用したカラー画像に基づいて前記動画データを生成する請求項１から４のいずれか１項に記載の撮像装置。
　前記間引きパターンは、前記画素信号の間引き読み出し又は抽出に関する前記第２の方向の周期を規定する抽出画素周期を有し、
　前記第１の位相差画素と前記第２の位相差画素との間の前記第２の方向に関する画素数ｔ１と、前記抽出画素周期の前記第２の方向に関する対応画素数ｔ２とは、ｔ１＝ｔ２×Ｉ（Ｉは、１以上の整数）を満たす請求項１から５のいずれか１項に記載の撮像装置。
　前記間引きパターンは、前記画素信号の間引き読み出し又は抽出に関する前記第２の方向の周期を規定する抽出画素周期を有し、
　前記第１の位相差画素及び前記第２の位相差画素の前記第２の方向に関する繰り返し周期に対応する画素数は、前記抽出画素周期の前記第２の方向に関する対応画素数と前記基本配列パターンの前記第２の方向の画素数との公倍数である請求項１から６のいずれか１項に記載の撮像装置。
　前記第１の位相差画素と前記第２の位相差画素との間の前記第２の方向に関する画素数は、前記基本配列パターンの前記第２の方向の画素数とは異なる請求項１から７のいずれか１項に記載の撮像装置。
　前記抽出画素群は、前記第１のフィルタ及び前記第２のフィルタの配列パターンに関し、前記基本配列パターンと同じ配列パターンを有する請求項１から８のいずれか１項に記載の撮像装置。
　前記カラーフィルタ配列において、前記第１のフィルタに対応する第１の色の全画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きく、
　前記第１、第２の位相差画素は、前記第１のフィルタの位置に配置される請求項１から９のいずれか１項に記載の撮像装置。
　前記第１のフィルタは、Ｍ×Ｎ画素（Ｍ、Ｎ：３以上の整数）内に複数配置され、該Ｍ×Ｎ画素が前記第１、第２の方向に繰り返し配置される請求項１から１０のいずれか１項に記載の撮像装置。
　前記第１、第２の位相差画素のうちの一方の位相差画素が、前記Ｍ×Ｎ画素内に１又は２つ配置される請求項１１に記載の撮像装置。
　前記第１、第２の位相差画素は、前記第２の方向に一対となって配置される請求項１から１２のいずれか１項に記載の撮像装置。
　前記第１、第２の位相差画素は、前記第１の方向に延在する１画素ライン上に交互に配置される請求項１から１３のいずれか１項に記載の撮像装置。
　前記第１の位相差画素及び前記第２の位相差画素には前記第１のフィルタが配置され、
　前記抽出画素群のうち前記第１の位相差画素及び前記第２の位相差画素のいずれも含まない前記画素ラインは前記第１のフィルタに対応する画素を含む請求項１から１４のいずれか１項に記載の撮像装置。
前記抽出画素群において、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まない前記画素ラインの前記第１のフィルタに対応する画素は、前記第１の位相差画素又は前記第２の位相差画素に隣接する位置に配置される請求項１５に記載の撮像装置。
　前記基本配列パターンは、前記カラーフィルタが前記第１の方向及び前記第２の方向にＭ×Ｍ（Ｍは３以上の整数）画素に対応する配列パターンで配列されてなり、
　前記第１の位相差画素が配置される前記基本配列パターンと、前記第２の位相差画素が配置される前記基本配列パターンと、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まない少なくとも１つの前記基本配列パターンとが前記第２の方向に並置される請求項１から１６のいずれか１項に記載の撮像装置。
　前記基本配列パターンは、前記カラーフィルタが前記第１の方向及び前記第２の方向にＭ×Ｎ（Ｍは３以上の整数、Ｎは６以上の偶数）画素に対応する配列パターンで配列されてなり、
　前記基本配列パターンは、前記カラーフィルタがＭ×（Ｎ／２）画素に対応する配列パターンで配列された２種類のサブ配列である第１のサブ配列及び第２のサブ配列をそれぞれ１つずつ含み、
　前記第１のサブ配列及び前記第２のサブ配列の各々において、前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタの各々が少なくとも１画素分配置され、
　前記第１の位相差画素及び前記第２の位相差画素を含む前記基本配列パターンと、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まない前記基本配列パターンとが前記第２の方向に並置され、
　前記第１の位相差画素は前記第１のサブ配列に配置され、前記第２の位相差画素は前記第２のサブ配列に配置される請求項１から１６のいずれか１項に記載の撮像装置。
　前記基本配列パターンは、前記カラーフィルタが前記第１の方向及び前記第２の方向にＭ×Ｍ（Ｍは６以上の偶数）画素に対応する配列パターンで配列されてなり、
　前記基本配列パターンは、前記カラーフィルタが（Ｍ／２）×（Ｍ／２）画素に対応する配列パターンで配列された２種類のサブ配列である第１のサブ配列及び第２のサブ配列をそれぞれ２つずつ含み、
　前記第１のサブ配列及び前記第２のサブ配列の各々において、前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタの各々が少なくとも１画素分配置され、
　前記第１の位相差画素を含む前記第１のサブ配列と、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まない前記第２のサブ配列と、前記第２の位相差画素を含む前記第１のサブ配列と、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まない前記第２のサブ配列とが前記第２の方向に並置される請求項１から１６のいずれか１項に記載の撮像装置。
　前記第１の色は緑（Ｇ）色であり、前記第２の色は赤（Ｒ）色及び青（Ｂ）色であり、前記第１のフィルタはＧフィルタであり、前記第２のフィルタはＲフィルタ及びＢフィルタであり、
　前記基本配列パターンは、前記カラーフィルタが前記第１の方向及び前記第２の方向に６×６画素に対応する配列パターンで配列されてなり、前記第１のサブ配列及び前記第２のサブ配列は前記第１の方向及び前記第２の方向に３×３画素に対応する配列パターンで配列されてなり、
　前記第１のサブ配列は、前記基本配列パターンの一方の対角線方向に並置され、前記第２のサブ配列は、前記基本配列パターンの他方の対角線方向に並置され、
　前記Ｇフィルタは、前記第１のサブ配列及び前記第２のサブ配列の各々の中央画素及び４隅の画素に配置され、
　前記Ｒフィルタは、前記第１のサブ配列における前記中央画素に対し前記第２の方向に隣接する画素、及び前記第２のサブ配列における前記中央画素に対し前記第１の方向に隣接する画素に配置され、
　前記Ｂフィルタは、前記第１のサブ配列における前記中央画素に対し前記第１の方向に隣接する画素、及び前記第２のサブ配列における前記中央画素に対し前記第２の方向に隣接する画素に配置され、
　前記第１の位相差画素及び前記第２の位相差画素には前記Ｇフィルタが配置される請求項１９に記載の撮像装置。
　前記第１、第２の位相差画素には、透明フィルタを有する画素を使用する請求項１から１９のいずれか１項に記載の撮像装置。
　撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　を備えた撮像装置における画像処理方法であって、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
　前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による前記動画データの生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
　前記所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記複数の画素のうち前記カラー画像取得工程で間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第１の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第２の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まず前記第１の方向に延在する画素ラインとを周期的に有する画像処理方法。
　撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　を備えた撮像装置における画像処理方法であって、

　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
　前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による前記動画データの生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
　前記所定のカラーフィルタ配列は、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある１色以上の第１の色に対応する第１のフィルタと、透過率のピークが前記範囲外にある２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記複数の画素のうち前記カラー画像取得工程で間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第１の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第２の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まず前記第１の方向に延在する画素ラインとを周期的に有する画像処理方法。
　撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　を備えた撮像装置における画像処理方法であって、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
　前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による前記動画データの生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
　前記所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、波長５００ｎｍ以上５６０ｎｍ以下の範囲内で透過率が前記第１のフィルタよりも低くなる２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記複数の画素のうち前記カラー画像取得工程で間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第１の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第２の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まず前記第１の方向に延在する画素ラインとを周期的に有する画像処理方法。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　を備えた撮像装置における画像処理方法であって、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記カラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
　前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による前記動画データの生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
　前記所定のカラーフィルタ配列は、３原色のうち最も輝度信号に寄与する色と前記３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記複数の画素のうち前記カラー画像取得工程で間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第１の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第２の位相差画素を含む前記第１の方向に延在する画素ラインと、前記第１の位相差画素及び前記第２の位相差画素のいずれも含まず前記第１の方向に延在する画素ラインとを周期的に有する画像処理方法。