WO2012039180A1 - 撮像デバイス及び撮像装置 - Google Patents

Abstract

半導体基板上の行方向及び列方向に配列された多数の光電変換素子と、１つの光電変換素子の上方に配設される１つのマイクロレンズであって、該マイクロレンズに入射する光を前記１つの光電変換素子の受光面に導く第１のマイクロレンズと、上下左右に隣接する４つの光電変換素子の上方に配設される１つのマイクロレンズであって、該マイクロレンズに入射する光を瞳分割してそれぞれ前記４つの光電変換素子の受光面に導く第２のマイクロレンズと、を有し、少なくとも前記第１のマイクロレンズに対応する光電変換素子の第１の出力信号及び前記第２のマイクロレンズに対応する光電変換素子の第２の出力信号に基づいてそれぞれ２次元画像及び３次元画像が生成可能なように前記第１のマイクロレンズと第２のマイクロレンズとが混在して配設されている撮像デバイス。

Description

撮像デバイス及び撮像装置

　本発明は撮像デバイス及び撮像装置に係り、特に２次元画像（２Ｄ画像）と３次元画像（３Ｄ画像）の撮影が可能な撮像デバイス及び撮像装置に関する。

　従来、複数の画素に対して１つのマイクロレンズが割り当てられた撮像素子を使用し、立体画像内の任意の奥行き方向に任意の２次元画像を挿入することが可能な画像処理装置が提案されている（特許文献１）。この特許文献１には、１つのマイクロレンズが割り当てられた複数の画素から視差の異なる複数の視差画像を生成する記載がある。

　また、複数のレンズがアレイ状に配置されたレンズアレイカメラと通常のカメラとを、水平方向に並ぶように配置し、一方のレンズアレイカメラを用いて低解像度の画像によって複数の視差画像を撮影し、他方のカメラを用いて高解像度の映像を撮影し、カメラ間の視差とレンズアレイカメラの視差のベクトルが一致するように構成された立体映像撮影装置が提案されている（特許文献２）。この立体映像撮影装置によって撮影された映像は、細かい視差間隔の複数の映像と、この映像と同じベクトルを有する大きな視差間隔の１つの映像とを含み、解像度としては、細かい解像度を有する映像と、荒い解像度を有する映像とを含んでいる。そして、視差や解像度を互いに補間することで、解像度の高い多視差の画像を撮影できるようにしている。

特開２０１０－６８０１８号公報 特開２０１０－７８７６８号公報

　特許文献１に記載の２次元配列された複数のマイクロレンズ（マイクロレンズアレイ）は、撮影レンズの結像面に配設され、このマイクロレンズアレイの結像位置に撮像素子が配設されており、撮像素子の各画素にはマイクロレンズアレイを介して光束が入射するようになっている。

　従って、特許文献１に記載の撮像装置は、１つのマイクロレンズが割り当てられた複数の画素から視差の異なる複数の視差画像を取得することができるが、高解像度の２Ｄ画像を得ることができない。また、引用文献１には、カラーフィルタを、撮像画素単位で２次元配置するようにしてもよいという記載があるが（特許文献１の段落［００２２］）、１つのマイクロレンズが割り当てられた複数の画素単位で、同じ色のカラーフィルタを配置する記載はない。

　一方、特許文献２に記載の立体映像撮影装置は、レンズアレイカメラと通常のカメラの２台のカメラが必要になり、装置が大がかりになるとともに、コストがかかるという問題がある。

　本発明はこのような事情に鑑みてなされたもので、高解像度の２Ｄ画像を撮影することができるとともに、３Ｄ画像を撮影することができる低コストで小型化が可能な撮像デバイス及び撮像装置を提供することを目的とする。

　前記目的を達成するために、本発明に係る撮像デバイスは、半導体基板上の行方向及び列方向に配列された複数の光電変換素子と、１つの光電変換素子の上方に配設される１つのマイクロレンズであって、該マイクロレンズに入射する光を前記１つの光電変換素子の受光面に導く第１のマイクロレンズと、上下左右に隣接するｎ×ｎ（ｎ：２以上の整数）個の光電変換素子の上方に配設される１つのマイクロレンズであって、該マイクロレンズに入射する光を瞳分割してそれぞれ前記ｎ×ｎ個の光電変換素子の受光面に導く第２のマイクロレンズと、を有し、少なくとも前記第１のマイクロレンズに対応する光電変換素子の第１の出力信号及び前記第２のマイクロレンズに対応する光電変換素子の第２の出力信号に基づいてそれぞれ２次元画像及び３次元画像が生成可能なように前記第１のマイクロレンズと第２のマイクロレンズとが混在して配設されている。

　本発明に係る撮像デバイスは、１つの光電変換素子（１画素）に対して１つのマイクロレンズが配設された１画素１マイクロレンズ部と、上下左右に隣接するｎ×ｎ個の光電変換素子（ｎ×ｎ画素）に対して１つのマイクロレンズが配設されたｎ×ｎ画素１マイクロレンズ部とが混在して配設されて構成され、画素ピッチの小さい１画素１マイクロレンズ部から出力される第１の出力信号から高解像度の２次元画像が生成でき、一方、ｎ×ｎ視点の視差画像が得られるｎ×ｎ画素１マイクロレンズ部から出力される第２の出力信号から３次元画像を生成することができる。

　この撮像デバイスにおいて、前記複数の光電変換素子の上方には複数色のカラーフィルタのうちのいずれかの色のカラーフィルタが配設され、前記第２のマイクロレンズに対応するｎ×ｎ個の光電変換素子には、同色のカラーフィルタが配設されている。即ち、ｎ×ｎ画素１マイクロレンズ部単位でカラーフィルタの色を同じにすることにより、必要に応じて画素加算できるようにしている。

　この撮像デバイスにおいて、前記第１のマイクロレンズが配設される光電変換素子の数と、第２のマイクロレンズが配設される光電変換素子の数とは同数である。

　この撮像デバイスにおいて、４×４の光電変換素子を１ブロックとし、１ブロックに１６個の第１のマイクロレンズが配設される第１の領域と、１ブロックに４個の第２のマイクロレンズが配設される第２の領域とが市松状に配置されている。これにより、カラーフィルタの配列をベイヤー配列にすることができる。

　この撮像デバイスにおいて、２×２の光電変換素子を１ブロックとし、１ブロックに４個の第１のマイクロレンズが配設される第１の領域と、１ブロックに１個の第２のマイクロレンズが配設される第２の領域とが市松状に配置されている。

　本発明に係る撮像装置は、単一の撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像デバイスと、２次元画像を撮影する２Ｄ撮影モードと３次元画像を撮影する３Ｄ撮影モードとを切り替える撮影モード選択部と、前記撮影モード選択部により２Ｄ撮影モードが選択されると、前記撮像デバイスの第１のマイクロレンズに対応する光電変換素子から出力される第１の出力信号に基づいて２次元画像を生成する第１の画像生成部と、前記撮影モード選択部により３Ｄ撮影モードが選択されると、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて３次元画像を生成する第２の画像生成部と、前記第１の画像生成部又は第２の画像生成部により生成された２次元画像又は３次元画像を記録媒体に記録する記録部と、を備えた。

　本発明によれば、２Ｄ撮影モードか３Ｄ撮影モードかに応じて１画素１マイクロレンズ部から出力される第１の出力信号と、４画素１マイクロレンズ部から出力される第２の出力信号とが切り替えられ、２Ｄ撮影モードが選択されると、前記第１の出力信号に基づいて高解像度の２次元画像を生成し、３Ｄ撮影モードが選択されると、前記第２の出力信号に基づいて３次元画像（複数の視差画像）を生成することができる。

　本発明に係る撮像装置は、単一の撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像デバイスと、２次元画像を撮影する２Ｄ撮影モードと３次元画像を撮影する３Ｄ撮影モードとを切り替える撮影モード選択部と、前記撮影光学系及び撮像デバイスを介して撮影される画像が高周波成分を多く含むものか否かを判別する判別部と、前記撮影モード選択部により２Ｄ撮影モードが選択され、前記判別部により高周波成分を多く含む画像と判別されると、前記撮像デバイスの第１のマイクロレンズに対応する光電変換素子から出力される第１の出力信号に基づいて２次元画像を生成し、前記判別部により高周波成分を多く含まない画像と判別されると、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて２次元画像を生成する第１の画像生成部と、前記撮影モード選択部により３Ｄ撮影モードが選択されると、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて３次元画像を生成する第２の画像生成部と、前記第１の画像生成部又は第２の画像生成部により生成された２次元画像又は３次元画像を記録媒体に記録する記録部と、を備えた。

　この発明によれば、特に２Ｄ撮影モードが選択されている時に高解像度の撮影が必要な場合（高周波成分を多く含む画像の場合）には、前記第１の出力信号に基づいて高解像度の２次元画像を生成し、高解像度の撮影が不要な場合（高周波成分を多く含まない画像の場合）には、前記第２の出力信号に基づいて２次元画像を生成するようにしている。尚、前記第２の出力信号に基づいて２次元画像を生成する場合には、１マイクロレンズに対応する４画素の加算を行って１画素にする。

　この撮像装置において、被写体の明るさを検出する明るさ検出部を更に備え、前記第１の画像生成部は、前記撮影モード選択部により２Ｄ撮影モードが選択され、前記判別部により高周波成分を多く含む画像と判別され、かつ前記検出された被写体の明るさが所定の閾値を越える場合には、前記撮像デバイスの第１のマイクロレンズに対応する光電変換素子から出力される第１の出力信号に基づいて２次元画像を生成し、前記判別部により高周波成分を多く含まない画像と判別され、又は前記検出された被写体の明るさが所定の閾値以下の場合には、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて２次元画像を生成する。

　この発明によれば、特に２Ｄ撮影モードが選択されている時に高解像度の撮影が必要な場合（高周波成分を多く含む画像の場合）、かつ被写体の明るさが所定の明るさを越える場合には、前記第１の出力信号に基づいて高解像度の２次元画像を生成し、それ以外の撮影条件では、前記第２の出力信号に基づいて２次元画像を生成するようにしている。

　十分な明るさが得られない撮影環境の場合、高解像度の画像より低解像度ではあるがノイズの少ない画像が要求される場合が多く、この発明によれば、被写体の明るさが所定の明るさ以下の場合には、高周波成分を多く含む画像であっても前記第２の出力信号に基づいて２次元画像を生成するようにしている。

　本発明は、単一の撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像デバイスと、２次元画像を撮影する２Ｄ撮影モードと３次元画像を撮影する３Ｄ撮影モードとを切り替える撮影モード選択部と、被写体の明るさを検出する明るさ検出部と、前記撮影モード選択部により２Ｄ撮影モードが選択され、前記検出された被写体の明るさが所定の閾値を越える場合には、前記撮像デバイスの第１のマイクロレンズに対応する光電変換素子から出力される第１の出力信号に基づいて２次元画像を生成し、前記検出された被写体の明るさが所定の閾値以下の場合には、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて２次元画像を生成する第１の画像生成部と、前記撮影モード選択部により３Ｄ撮影モードが選択されると、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて３次元画像を生成する第２の画像生成部と、前記第１の画像生成部又は第２の画像生成部により生成された２次元画像又は３次元画像を記録媒体に記録する記録部と、を備えた。

　この発明によれば、特に２Ｄ撮影モードが選択されている時に被写体の明るさが所定の明るさを越える場合には、前記第１の出力信号に基づいて高解像度の２次元画像を生成し、被写体の明るさが所定の明るさ以下の場合には、前記第２の出力信号に基づいて２次元画像を生成するようにしている。前記第２の出力信号に基づいて２次元画像を生成する場合には、ｎ×ｎ画素の画素加算を行うため、被写体が暗い場合でも所望の出力信号が得られる。

　本発明に係る撮像装置は、単一の撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像デバイスと、２次元画像を撮影する２Ｄ撮影モードと３次元画像を撮影する３Ｄ撮影モードとを切り替える撮影モード選択部と、前記撮影光学系及び撮像デバイスを介して撮影される画像が高周波成分を多く含むものか否かを判別する判別部であって、１画面をＮ×Ｍ分割された分割エリア毎に高周波成分を多く含むものか否かを判別する判別部と、前記撮影モード選択部により２Ｄ撮影モードが選択され、前記判別部により高周波成分を多く含む分割エリアと判別されると、該分割エリアについては前記撮像デバイスの第１のマイクロレンズに対応する光電変換素子から出力される第１の出力信号を取得し、高周波成分を多く含まない分割エリアと判別されると、該分割エリアについては前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号を取得し、これらの取得した第１の出力信号及び第２の出力信号に基づいて２次元画像を生成する第１の画像生成部と、前記撮影モード選択部により３Ｄ撮影モードが選択されると、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて３次元画像を生成する第２の画像生成部と、前記第１の画像生成部又は第２の画像生成部により生成された２次元画像又は３次元画像を記録媒体に記録する記録部と、を備えた。

　この発明によれば、特に２Ｄ撮影モードが選択されている時に１画面をＮ×Ｍ分割された分割エリア毎に判別された高周波成分を多く含む分割エリアか否かに応じて、各分割エリアから第１の出力信号及び第２の出力信号のうちの適切な出力信号を選択取得するようにしている。

　この撮像装置において、前記第２の画像生成部は、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて上下左右の４視点の視差画像、若しくは上下又は左右の２視点の視差画像を生成する。

　本発明によれば、１画素１マイクロレンズ部と４画素１マイクロレンズ部とが混在する新規な撮像デバイスにより高解像度の２Ｄ画像の撮影及び３Ｄ画像の撮影が可能となり、また、装置の低コスト化及び小型化を図ることができる。

本発明に係る撮像デバイスの第１の実施の形態を示す要部平面図 撮像デバイス内の１画素１マイクロレンズ部を示す図 撮像デバイス内の４画素１マイクロレンズ部を示す図 本発明に係る撮像デバイスの第２の実施の形態を示す要部平面図 本発明に係る撮像装置の実施の形態を示すブロック図 ４画素１マイクロレンズ部の画素を示す図 ４画素１マイクロレンズ部の画素の加算方法を説明する図 本発明に係る撮像装置のデジタル信号処理部の内部構成を示すブロック図 本発明の第１の実施の形態の撮像装置の作用を示すフローチャート 本発明の第２の実施の形態の撮像装置の作用を示すフローチャート 本発明の第３の実施の形態の撮像装置の作用を示すフローチャート 本発明の第４実施の形態の撮像装置の作用を示すフローチャート 本発明の第５の実施の形態の撮像装置の作用を示すフローチャート

　以下、添付図面に従って本発明に係る撮像デバイス及び撮像装置の実施の形態について説明する。

　［撮像デバイス］
　図１は本発明に係る撮像デバイスの第１の実施の形態を示す要部平面図である。

　図１に示すように、この撮像デバイス１は、ＣＣＤ又はＣＭＯＳのカラーイメージセンサであり、主として半導体基板上の行方向及び列方向に配列された複数の光電変換素子（フォトダイオード）ＰＤ（図２Ａおよび図２Ｂ参照）と、大小２種類のマイクロレンズＬ１，Ｌ２と、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の複数色（３原色）のカラーフィルタとから構成されている。

　小さいマイクロレンズＬ１は、１つのフォトダイオードＰＤに対して１つ配設され、大きいマイクロレンズＬ２は、上下左右の４つのフォトダイオードＰＤに対して１つ配設されている。

　以下、１つのフォトダイオードＰＤ（１画素）に対して１つのマイクロレンズＬ１が配設された部分を、１画素１マイクロレンズ部１Ａといい、４つのフォトダイオードＰＤ（４画素）に対して１つのマイクロレンズＬ２が配設された部分を、４画素１マイクロレンズ部１Ｂという。

　図１に示すように撮像デバイス１は、１画素１マイクロレンズ部１Ａと、４画素１マイクロレンズ部１Ｂとが混在した配設されている。

　また、１画素１マイクロレンズ部１Ａには、Ｒ、Ｇ、Ｂのうちのいずれか１色のカラーフィルタが配設されている。同様に、４画素１マイクロレンズ部１Ｂには、Ｒ、Ｇ、Ｂのうちのいずれか１色のカラーフィルタが配設されている。即ち、４画素１マイクロレンズ部１Ｂの４つのフォトダイオードＰＤ上には、同一色のカラーフィルタが配設されている。

　図１上で、奇数ラインｌ１、ｌ３、ｌ５、ｌ７…上の１画素１マイクロレンズ部１Ａには、ＲＧＲＧ…の順にカラーフィルタが配設されており、偶数ラインｌ２、ｌ４、ｌ６、ｌ８…上の１画素１マイクロレンズ部１Ａには、ＧＢＧＢ…の順にカラーフィルタが配設されている。

　一方、ラインｌ１、ｌ２、ｌ５、ｌ６…上の４画素１マイクロレンズ部１Ｂには、ＲＧＲＧ…の順にカラーフィルタが配設されており、ラインｌ３、ｌ４、ｌ７、ｌ８…上の４画素１マイクロレンズ部１Ｂには、ＧＢＧＢ…の順にカラーフィルタが配設されている。

　即ち、この撮像デバイス１は、４×４の画素を１ブロックとし、１ブロックに１６個の１画素１マイクロレンズ部１Ａが配設される第１の領域と、１ブロックに４個の４画素１マイクロレンズ部１Ｂが配設される第２の領域とが市松状に配置されており、１画素１マイクロレンズ部１Ａ、及び４画素１マイクロレンズ部１ＢのＲ、Ｇ、Ｂのカラーフィルタ配列は、いずれもベイヤー配列となっている。

　また、図２Ａに示すように１画素１マイクロレンズ部１ＡのマイクロレンズＬ１は、１つのフォトダイオードＰＤの受光面に光束を集光させる。一方、４画素１マイクロレンズ部１ＢのマイクロレンズＬ２は、４つのフォトダイオードＰＤ（図２Ｂ上では２つのみ図示）の受光面に光束を集光させるが、上下左右の４つの方向別に光束が制限された光（瞳分割された光）をそれぞれ４つのフォトダイオードＰＤに入射させる。

　この撮像デバイス１によれば、１画素１マイクロレンズ部１Ａから出力される出力信号に基づいて高解像度の２Ｄ画像が生成可能であり、４画素１マイクロレンズ部１Ｂから出力される出力信号に基づいて３Ｄ画像が生成可能である。尚、２Ｄ画像及び３Ｄ画像の生成方法については後述する。

　図３は本発明に係る撮像デバイスの第２の実施の形態を示す要部平面図である。

　この撮像デバイス１’は、図１に示した撮像デバイス１と比較すると、１画素１マイクロレンズ部１Ａと４画素１マイクロレンズ部１Ｂの配置のみが相違する。

　即ち、撮像デバイス１’の４画素１マイクロレンズ部１Ｂは、市松状に配置され、その間に１画素１マイクロレンズ部１Ａが配置されている。

　また、１画素１マイクロレンズ部１Ａのカラーフィルタは、ベイヤー配列となっており、４画素１マイクロレンズ部１Ｂのカラーフィルタは、Ｇのラインと、ＲＢのラインとが交互に配置されている。

　尚、１画素１マイクロレンズ部１Ａと４画素１マイクロレンズ部１Ｂとの配置は、図１及び図３に示した実施の形態に限らず、例えば、ストライプ状に交互に配置してもよい。また、図１及び図３に示した実施の形態では、１画素１マイクロレンズ部１Ａと４画素１マイクロレンズ部１ＢのフォトダイオードＰＤの数は同数になっているが、これに限らず、要は高解像度の２Ｄ画像の取得と３Ｄ画像の取得が可能であればよい。

　また、カラーフィルタは、Ｒ、Ｇ、Ｂのカラーフィルタに限らず、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）等のカラーフィルタでもよい。

　［撮像装置］
　図４は本発明に係る撮像装置１０の実施の形態を示すブロック図である。

　この撮像装置１０は、図１に示した撮像デバイス１が配設され、２Ｄ画像及び３Ｄ画像の撮影が可能なもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

　撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択部である。

　再生ボタンは、撮影記録した複数の視差画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

　撮影モード時において、被写体を示す画像光は、単一の撮影光学系（ズームレンズ）１２、絞り１４を介して撮像デバイス１の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4～Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。

　また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、デバイス制御部３２を介して撮像デバイス１での電荷蓄積時間（シャッタ速度）や、撮像デバイス１からの画像信号の読み出し制御等を行う。

　撮像デバイス１に蓄積された信号電荷は、デバイス制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像デバイス１から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。

　尚、図４において、４６は、カメラ制御プログラム、撮像デバイス１の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、及び絞り優先プログラム線図、シャッタ速度優先プログラム線図、あるいは被写体の明るさに応じて絞りとシャッタ速度を交互に又は同時に変化させるプログラム線図（通常のプログラム線図）の他に、視差優先用のプログラム線図等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。

　視差優先用のプログラム線図は、例えば、Ｆ値が5.6(ＡＶ＝５)の一定の値をとり、撮影ＥＶ値が１１から１６までは撮影ＥＶ値に応じてシャッタ速度のみを1/60秒（ＴＶ＝６）から1/2000（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が１１よりも小さくなると（暗くなると）、Ｆ値＝5.6、シャッタ速度＝1/60秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩＳＯ感度を100から200,400,800,1600,3200になるように設計されている。尚、上記視差優先用のプログラム線図に限らず、撮像デバイス１の４画素１マイクロレンズ部１Ｂの出力信号から得られる４視点の視差画像は、絞り開口の大小によりその視差が変化するため、３Ｄ撮影モード時には一定の絞り開口よりも小さくならないように制御するようにしてもよい。

　デジタル信号処理部２４は、２Ｄ撮影モードか３Ｄ撮影モードかに応じてその撮影モードに応じた画像処理を行うとともに、２Ｄ撮影モード時には被写体や撮影条件に応じた画像処理を行う。尚、このデジタル信号処理部２４での画像処理の詳細については後述する。

　２Ｄ撮影モードが選択されている場合には、デジタル信号処理部２４で処理された２Ｄ画像データがＶＲＡＭ５０に出力され、一方、３Ｄ撮影モードが選択されている場合には、デジタル信号処理部２４で処理された３Ｄ画像データがＶＲＡＭ５０に出力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力され、これにより２Ｄ／３Ｄの被写体像（ライブビュー画像）が液晶モニタ３０の表示画面上に表示される。

　この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

　また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像デバイス１は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

　ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び撮像デバイス１の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定する。

　ここで、プログラム線図とは、被写体の明るさに対応して、絞りの絞り値とシャッタ速度の組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものであり、プログラム線図にしたがって決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、適正な明るさの画像を撮影することができる。

　ＣＰＵ４０は、上記プログラム線図にしたがって決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてデバイス制御部３２を介して撮像デバイス１での電荷蓄積時間を制御する。

　ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、例えば、１画素１マイクロレンズ部１Ａに対応する画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、４画素１マイクロレンズ部１Ｂに対応する複数の視差画像データのうちの所定のフォーカス領域内の画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

　ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

　メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出される。

　いま、２Ｄ撮影モード時に１画素１マイクロレンズ部１Ａに対応する画像データから２Ｄ画像を生成する場合には、４画素１マイクロレンズ部１Ｂの画素位置に対応する画像データが不足しているため、１画素１マイクロレンズ部１Ａに対応する画像データを線形補間することにより不足分の画像データを生成する。その後、１画素１マイクロレンズ部１Ａに対応する画像データ及び補間により生成された画像データの全ての画像データについて、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。

　また、４画素１マイクロレンズ部１Ｂに対応する画像データから２Ｄ画像を生成する場合には、まず、４画素１マイクロレンズ部１Ｂ毎の４つの画像データを加算し、４つの画像データを１画素分の画像データを生成する。また、１画素１マイクロレンズ部１Ａの画素位置に対応する画像データが不足しているため、前記生成した画像データを線形補間することにより不足分の画像データを生成する。その後、４画素１マイクロレンズ部１Ｂに対応する画像データから生成された画像データ及びその補間により生成された画像データの全ての画像データについて、同時化処理及びＹＣ処理を含む所定の信号処理が行われる。ＹＣ処理されたＹＣデータは、再びメモリ４８に記憶される。

　一方、３Ｄ撮影モード時に４画素１マイクロレンズ部１Ｂに対応する４視点分の画像データから３Ｄ画像を生成する場合には、まず、１画素１マイクロレンズ部１Ａの画素位置に対応する４視点分の画像データが不足しているため、４画素１マイクロレンズ部１Ｂに対応する４視点分の画像データを線形補間することにより不足分の画像データを生成する。これにより、４視点分（４枚分）の画像データを生成する。

　いま、図５Ａに示すように４画素１マイクロレンズ部１Ｂの各画素をＡ、Ｂ、Ｃ、Ｄとすると、Ａ、Ｂ、Ｃ、Ｄ毎の４枚分の画像データを生成する。次に、撮像装置１０を水平に構えて撮影した場合には、ＡとＣの画像データを加算して左眼表示用画像（左視差画像）を生成するとともに、ＢとＤの画像データを加算して右眼表示用画像（右視差画像）を生成する。尚、図１上で、４画素１マイクロレンズ部１Ｂの４画素に対して付されているＬ、及びＲの符号は、撮像装置１０を水平に構えて撮影する場合の左眼表示用の画素、及び右眼表示用の画素を表している。

　一方、撮像装置１０を縦に構えて撮影した場合には、ＡとＢの画像データを加算して左眼表示用画像（左視差画像）を生成するとともに、ＣとＤの画像データを加算して右眼表示用画像（右視差画像）を生成する。尚、撮像装置１０には、撮像装置１０の姿勢（縦横）を検出するセンサが設けられており、３Ｄ撮影時の撮像装置１０の姿勢に基づいて上記の画素の加算を選択的に行う。また、後述するようにＡ、Ｂ、Ｃ及びＤの画像データを加算することにより２Ｄ画像を生成することもできる。

　上記のようにして２Ｄ撮影モード時に生成され、メモリ４８に記憶された１枚分のＹＣデータは、圧縮伸長処理部２６に出力され、ここでJPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、メディア・コントローラ５２を介してメモリカード５４に記録される。また、３Ｄ撮影モード時に生成され、メモリ４８に記憶された２枚分（左右視点分）のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ここでJPEG (joint photographic experts group)などの所定の圧縮処理が実行され、更にマルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルがメディア・コントローラ５２を介してメモリカード５４に記録される。

　尚、３Ｄ撮影モード時には、図５Ｂに示したように左右２枚分の視差画像を生成するようにしたが、これに限らず、上下左右の４枚分の視差画像をそのまま記録し、３Ｄ再生時に図５Ｂに示したように画像を加算して視差画像を出力するようにしてもよい。

　図６は上記デジタル信号処理部２４の内部構成を示すブロック図である。同図に示すように、デジタル信号処理部２４は、入出力処理回路２４１、画像判断部２４２、画像処理部２４３及び制御部２４４から構成されている。

　入出力処理回路２４１は、一旦、画像入力コントローラ２２を介してメモリ４８に格納された画像データの入出力を行う。画像判断部２４２は、入出力処理回路２４１を介して取得した画像データ（１画素１マイクロレンズ部１Ａに対応する画像データと、４画素１マイクロレンズ部１Ｂに対応する画像データとが混在している画像データ）のうちから１画素１マイクロレンズ部１Ａに対応する画像データを使用するか、４画素１マイクロレンズ部１Ｂに対応する画像データを使用するかを判断する。

　画像処理部２４３は、画像判断部２４２の判断結果に応じて取得した画像データから記録用の画像データを生成する後処理を行う。制御部２４４は、上記入出力処理回路２４１、画像判断部２４２及び画像処理部２４３を統括制御する部分である。

　［第１の実施の形態］
　図７は本発明の第１の実施の形態の撮像装置１０の作用を示すフローチャートである。

　まず、撮影者は、操作部３８のモードダイヤルを操作し、２Ｄ撮影モード又は３Ｄ撮影モードを選択し、その後、液晶モニタ３０に出力されるライブビュー画像（スルー画）を見ながら構図を決定し、シャッタボタンを半押し及び全押し行うことにより撮像を行う（ステップＳ１０）。

　次に、ＣＰＵ４０は、モードダイヤルにより２Ｄ撮影モードが選択されているか、又は３Ｄ撮影モードが選択されているかを判別し（ステップＳ１２）、２Ｄ撮影モードが選択されている場合には、ステップＳ１４に遷移させ、３Ｄ撮影モードが選択されている場合には、ステップＳ１８に遷移させる。

　ステップＳ１４において、図６に示した画像判断部２４２は、入出力処理回路２４１を介して取得した１画素１マイクロレンズ部１Ａに対応する画像データと、４画素１マイクロレンズ部１Ｂに対応する画像データとが混在している画像データのうちから１画素１マイクロレンズ部１Ａに対応する画像データを使用すると判断し、１画素１マイクロレンズ部１Ａに対応する画像データを選択して画像処理部２４３に出力する。

　画像処理部２４３は、４画素１マイクロレンズ部１Ｂの画素位置に対応する画像データを、１画素１マイクロレンズ部１Ａに対応する画像データを線形補間で生成することにより、１画面分の高解像度の画像データを生成するとともに、ホワイトバランス補正、ガンマ補正、同時化処理、ＹＣ処理等の所定の信号処理を行う。画像処理部２４３によりＹＣ処理された画像データ（ＹＣデータ）は、入出力処理回路２４１を介してメモリ４８に格納され、その後、圧縮伸長処理部２６により圧縮処理されたのち、メディア・コントローラ５２を介してメモリカード５４に２Ｄ画像として記録される（ステップＳ１６）。

　一方、３Ｄ撮影モードでの撮像によりステップＳ１８に遷移すると、図６に示した画像判断部２４２は、入出力処理回路２４１を介して取得した１画素１マイクロレンズ部１Ａに対応する画像データと、４画素１マイクロレンズ部１Ｂに対応する画像データとが混在している画像データのうちから４画素１マイクロレンズ部１Ｂに対応する画像データを使用すると判断し、４画素１マイクロレンズ部１Ｂに対応する画像データを選択して画像処理部２４３に出力する。

　画像処理部２４３は、１画素１マイクロレンズ部１Ａの画素位置に対応する画像データを、４画素１マイクロレンズ部１Ｂに対応する画像データを線形補間で生成することにより、図５Ｂに示すように４視点分（４枚分）の画像データを生成し、更に撮影時の撮像装置１０の姿勢に応じて２枚の画像を加算することにより、左眼表示用画像（左視差画像）と、右眼表示用画像（右視差画像）を生成する。そして、これらの左右の視点画像に対してホワイトバランス補正、ガンマ補正、同時化処理、ＹＣ処理等の所定の信号処理を行う。画像処理部２４３によりＹＣ処理された画像データ（ＹＣデータ）は、入出力処理回路２４１を介してメモリ４８に格納され、その後、圧縮伸長処理部２６により圧縮処理されたのち、メディア・コントローラ５２を介してメモリカード５４に３Ｄ画像として記録される（ステップＳ２０）。

　［第２の実施の形態］
　図８は本発明の第２の実施の形態の撮像装置１０の作用を示すフローチャートである。

　尚、図７に示した第１の実施の形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

　図８に示す第２の実施の形態は、第１の実施の形態と比較すると、一点鎖線で囲んだステップＳ３０、Ｓ３２、Ｓ３４、及びＳ３６の処理が追加されている点で相違する。

　ステップＳ３０では、ステップＳ１０で撮影した画像の代表空間周波数を算出する。この実施の形態では、１画素１マイクロレンズ部１Ａから得られる画像を空間周波数領域に変換し、その変換された空間周波数領域のうちの画面全体の平均の空間周波数等の空間周波数（以下、「代表空間周波数」という）（第１の代表空間周波数）と、４画素１マイクロレンズ部１Ｂから得られる画像の代表空間周波数（第２の代表空間周波数）を算出する。尚、代表空間周波数の算出に使用する画素としては、輝度信号に近いＧ画素の信号を使用することができる。

　続いて、第１の代表空間周波数が所定の閾値を越えているか否かを判別する（ステップＳ３２）。この判別は、第１の代表空間周波数と第２の代表空間周波数との差を算出し、その差が所定値（例えば、両者の代表空間周波数に明らかな違いがあるか否かを判別する値）を越えているか否かで行う。尚、第１の代表空間周波数が所定の閾値を越えているかの判別は、上記の例に限らず、予め設定した閾値（例えば、第２の代表空間周波数のとり得る最大値等）と比較して行うようにしてもよい。

　そして、第１の代表空間周波数が所定の閾値を越えていると判別されると、ステップＳ１４に遷移させ、第１の代表空間周波数が所定の閾値以下と判別されると、ステップＳ３４に遷移させる。即ち、第１の代表空間周波数が所定の閾値を越えている場合には、被写体画像に高周波成分が多く含まれており、高解像度の２Ｄ画像として記録することが好ましいため、ステップＳ１４に遷移させ、一方、第１の代表空間周波数が所定の閾値以下の場合には、被写体画像に高周波成分が少ないため、解像度よりも感度を優先させるためにステップＳ３４に遷移させる。

　ステップＳ３４において、画像判断部２４２（図６）は、入出力処理回路２４１を介して取得した１画素１マイクロレンズ部１Ａに対応する画像データと、４画素１マイクロレンズ部１Ｂに対応する画像データとが混在している画像データのうちから４画素１マイクロレンズ部１Ｂに対応する画像データを使用すると判断し、４画素１マイクロレンズ部１Ｂに対応する画像データを選択して画像処理部２４３に出力する。尚、２Ｄ撮影モード時には、４画素１マイクロレンズ部１Ｂから出力される画像信号（アナログ信号）に対しては、４画素の画素加算分を考慮してアナログゲインを低くする（感度を低くする）。

　画像処理部２４３は、４画素１マイクロレンズ部１Ｂに対応する画像データから２Ｄ画像を生成する。即ち、４画素１マイクロレンズ部１Ｂ毎の４つの画像データを加算し、４つの画像データを１画素分の画像データを生成するとともに、生成した画像データを線形補間することにより１画素１マイクロレンズ部１Ａの画素位置の画像データを生成する。その後、４画素１マイクロレンズ部１Ｂに対応する画像データから生成された画像データ及びその補間により生成された画像データの全ての画像データに基づいてホワイトバランス補正、ガンマ補正、同時化処理、ＹＣ処理等の所定の信号処理を行う。画像処理部２４３によりＹＣ処理された画像データ（ＹＣデータ）は、入出力処理回路２４１を介してメモリ４８に格納され、その後、圧縮伸長処理部２６により圧縮処理されたのち、メディア・コントローラ５２を介してメモリカード５４に２Ｄ画像として記録される（ステップＳ３６）。

　［第３の実施の形態］
　図９は本発明の第３の実施の形態の撮像装置１０の作用を示すフローチャートである。

　尚、図７に示した第１の実施の形態及び図８に示した第２の実施の形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

　図９に示す第３の実施の形態は、第１の実施の形態と比較すると、一点鎖線で囲んだステップＳ４０、Ｓ４２、Ｓ３４、及びＳ３６の処理が追加されている点で相違する。

　ステップＳ４０では、ステップＳ１０での撮像時の平均輝度を取得する。この平均輝度は、ＡＥ検出部４４（図４）で測定される被写体の明るさ（撮影ＥＶ値）を使用することができる。

　続いて、平均輝度が所定の閾値を越えているか否かを判別する（ステップＳ４２）。この閾値としては、例えば、平均輝度（撮影ＥＶ値）が低く、撮影感度を上げる必要がある場合の値とする。

　平均輝度が所定の閾値を越えている場合（撮影感度を上げる必要がない場合）には、ステップＳ１４に遷移させ、平均輝度が所定の閾値以下の場合（撮影感度を上げる必要がある場合）には、ステップＳ３４に遷移させる。

　ステップＳ３４、Ｓ３６では、図８に示した第２の実施の形態と同様に４画素１マイクロレンズ部１Ｂに対応する画像データを選択し、その選択した画像データに基づいて２Ｄ画像を生成記録する。尚、前述したように２Ｄ撮影モード時には、４画素１マイクロレンズ部１Ｂから出力される画像信号（アナログ信号）に対しては、４画素の画素加算分を考慮してアナログゲインが低く（感度を低く）設定されているため、１画素１マイクロレンズ部１Ａから得られる画像信号よりもノイズの少ない２Ｄ画像にすることができる。

　［第４の実施の形態］
　図１０は本発明の第４の実施の形態の撮像装置１０の作用を示すフローチャートである。

　尚、図７に示した第１の実施の形態、図８に示した第２の実施の形態、及び図９に示した第３の実施の形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

　図１０に示す第４の実施の形態は、第１の実施の形態と比較すると、一点鎖線で囲んだステップＳ３０、Ｓ３２、Ｓ３４、Ｓ３６、Ｓ４０、及びＳ４２の処理が追加されている点で相違する。

　即ち、ステップＳ３２で第一の代表空間周波数が所定の閾値を越えていると判別され、かつステップＳ４２で平均輝度が所定の閾値を越えていると判別されている場合のみ、１画素１マイクロレンズ部１Ａから出力される画像データに基づいて２Ｄ画像を生成記録し、それ以外の場合には、４画素１マイクロレンズ部１Ｂから出力される画像データに基づいて２Ｄ画像を生成記録するようにしている。

　十分な明るさが得られない撮影環境の場合、高解像度の画像より低解像度ではあるがノイズの少ない画像が要求される場合が多い。第４の実施の形態によれば、平均輝度が所定の閾値以下の場合には、第１の代表空間周波数が所定の閾値を越えている場合（高周波成分を多く含む画像）であっても、４画素１マイクロレンズ部１Ｂから出力される第２の出力信号に基づいて２次元画像を生成するようにしている。

　［第５の実施の形態］
　図１１は本発明の第５の実施の形態の撮像装置１０の作用を示すフローチャートである。

　尚、図７に示した第１の実施の形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

　図１１に示す第５の実施の形態は、第１の実施の形態と比較すると、一点鎖線で囲んだステップＳ５０～Ｓ６４の処理が追加されている点で相違する。

　第５の実施の形態では、撮像した１画面をＮ×Ｍに分割し、Ｎ×Ｍ分割された分割エリア毎に代表空間周波数を算出する。分割エリアの大きさは、代表空間周波数の算出が可能な範囲で出来るだけ小さいことが好ましい。そして、分割エリア毎に１画素１マイクロレンズ部１Ａの画像データを選択するか、４画素１マイクロレンズ部１Ｂの画像データを選択するかを判別する。

　ステップＳ５０は、変数Ｘの初期値を１、終値をＮ、増分を１とし、ステップＳ６４との間で変数Ｘを変化させながら繰り返しを行わせる前判定部であり、ステップＳ５２は、変数Ｙの初期値を１、終値をＭ、増分を１とし、ステップＳ６２との間で変数Ｙを変化させながら繰り返しを行わせる前判定部であり、これらにより二重ループの繰り返し処理が行われる。

　ステップＳ５４では、撮影した画像の分割エリアZONE(X,Y)の代表空間周波数を算出する。ステップＳ５６では、上記算出した分割エリアZONE(X,Y)の代表空間周波数が閾値を越えているか否かを判別する。この判別は、第２の実施の形態（図８のステップＳ３２）と同様に行われる。

　そして、分割エリアZONE(X,Y)の代表空間周波数が閾値を越えていると判別されると、その分割エリアZONE(X,Y)における１画素１マイクロレンズ部１Ａの画像データを選択して一時保存し（ステップＳ５８）、一方、分割エリアZONE(X,Y)の代表空間周波数が閾値以下と判別されると、その分割エリアZONE(X,Y)における４画素１マイクロレンズ部１Ｂの画像データを選択して一時保存する。

　上記二重ループ内の繰り返し処理を実行することにより、Ｎ×Ｍの全ての分割エリアZONE(X,Y)について、１画素１マイクロレンズ部１Ａの画像データ又は４画素１マイクロレンズ部１Ｂの画像データが選択される。

　ステップＳ１６’は、上記のようにして選択された１画素１マイクロレンズ部１Ａの画像データと４画素１マイクロレンズ部１Ｂの画像データとが混在する１画面分の画像データに基づいて２Ｄ画像を生成する。この場合、４画素１マイクロレンズ部１Ｂの画像データに基づいて生成される分割エリアの２Ｄ画像と、１画素１マイクロレンズ部１Ａの画像データに基づいて生成される分割エリアの２Ｄ画像とは画素数が異なるため、４画素１マイクロレンズ部１Ｂに基づいて生成される分割エリアの２Ｄ画像の１画素を補間等により４画素にし、各分割エリアの画素数を揃える。即ち、ステップＳ１６’は、各分割エリアの画素数を揃える処理が追加されている点で、第１の実施の形態の図７のステップＳ１６と相違するが、その他はステップＳ１６と同様の処理を行い、２Ｄ画像を生成保存する。

　第５の実施の形態によれば、１枚の画像内において、撮影対象（高周波成分を含む被写体か否か）に応じて最適な画像データを使用した２Ｄ画像の生成が可能になる。

　［その他］
　２Ｄ撮影モード時に１画素１マイクロレンズ部１Ａの画像データを使用するか、又は４画素１マイクロレンズ部１Ｂの画像データを使用するかの選択方法は、この実施の形態に限定されず、例えば、記録する画像サイズが最大画像サイズの４分の１以下に設定されている場合には、４画素１マイクロレンズ部１Ｂの画像データを使用するようにしてもよい。

　また、この実施の形態では、画像の代表空間周波数が閾値を越えているか否かに応じて１画素１マイクロレンズ部１Ａの画像データを使用するか４画素１マイクロレンズ部１Ｂの画像データを使用するかを選択するようにしているが、これに限らず、例えば、画像に含まれる高周波成分をハイパスフィルタにより抽出し、その抽出した高周波成分の積算値の大きさに基づいて１画素１マイクロレンズ部１Ａの画像データを使用するか４画素１マイクロレンズ部１Ｂの画像データを使用するかを選択するようにしてもよく、要は、高周波成分を多く含む画像か否かを判別し、その判別結果に基づいて１画素１マイクロレンズ部１Ａの画像データを使用するか４画素１マイクロレンズ部１Ｂの画像データを使用するかを選択するようにすればよい。

　また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。例えば、１つのマイクロレンズ部１Ｂに割り当てられる画素数は、２×２＝４画素の他、３×３＝９画素、４×４＝１６画素、ｎ×ｎ（ｎ：２以上の整数）画素などでもよい。これに合わせ、１画素１マイクロレンズ部１Ａの画素単位は、２×２＝４画素、３×３＝９画素、４×４＝１６画素、ｎ×ｎ（ｎ：２以上の整数）などでもよい。

　１、１’…撮像デバイス、１Ａ…１画素１マイクロレンズ部、１Ｂ…４画素１マイクロレンズ部１Ｂ、１０…撮像装置、１２…撮影光学系、１４…絞り、２４…デジタル信号処理部、３０…液晶モニタ、３８…操作部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ処理部、４４…ＡＥ検出部、４６…ＲＯＭ、４８…メモリ、５４…メモリカード、２４１…入出力処理回路、２４２…画像判断部、２４３…画像処理部、２４４…制御部、Ｌ１，Ｌ２…マイクロレンズ、ＰＤ…フォトダイオード

Claims (11)

1. 　半導体基板上の行方向及び列方向に配列された複数の光電変換素子と、
   　１つの光電変換素子の上方に配設される１つのマイクロレンズであって、該マイクロレンズに入射する光を前記１つの光電変換素子の受光面に導く第１のマイクロレンズと、
   　上下左右に隣接するｎ×ｎ（ｎ：２以上の整数）個の光電変換素子の上方に配設される１つのマイクロレンズであって、該マイクロレンズに入射する光を瞳分割してそれぞれ前記ｎ×ｎ個の光電変換素子の受光面に導く第２のマイクロレンズと、を有し、
   　少なくとも前記第１のマイクロレンズに対応する光電変換素子の第１の出力信号及び前記第２のマイクロレンズに対応する光電変換素子の第２の出力信号に基づいてそれぞれ２次元画像及び３次元画像が生成可能なように前記第１のマイクロレンズと第２のマイクロレンズとが混在して配設されている撮像デバイス。
2. 　前記複数の光電変換素子の上方には複数色のカラーフィルタのうちのいずれかの色のカラーフィルタが配設され、
   　前記第２のマイクロレンズに対応するｎ×ｎ個の光電変換素子には、同色のカラーフィルタが配設されている請求項１に記載の撮像デバイス。
3. 　前記第１のマイクロレンズが配設される光電変換素子の数と、第２のマイクロレンズが配設される光電変換素子の数とは同数である請求項１又は２に記載の撮像デバイス。
4. 　４×４の光電変換素子を１ブロックとし、１ブロックに１６個の第１のマイクロレンズが配設される第１の領域と、１ブロックに４個の第２のマイクロレンズが配設される第２の領域とが市松状に配置されている請求項１から３のいずれかに記載の撮像デバイス。
5. 　２×２の光電変換素子を１ブロックとし、１ブロックに４個の第１のマイクロレンズが配設される第１の領域と、１ブロックに１個の第２のマイクロレンズが配設される第２の領域とが市松状に配置されている請求項１から３のいずれかに記載の撮像デバイス。
6. 　単一の撮影光学系と、
   　前記撮影光学系を介して被写体像が結像される請求項１から５のいずれかに記載の撮像デバイスと、
   　２次元画像を撮影する２Ｄ撮影モードと３次元画像を撮影する３Ｄ撮影モードとを切り替える撮影モード選択部と、
   　前記撮影モード選択部により２Ｄ撮影モードが選択されると、前記撮像デバイスの第１のマイクロレンズに対応する光電変換素子から出力される第１の出力信号に基づいて２次元画像を生成する第１の画像生成部と、
   　前記撮影モード選択部により３Ｄ撮影モードが選択されると、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて３次元画像を生成する第２の画像生成部と、
   　前記第１の画像生成部又は第２の画像生成部により生成された２次元画像又は３次元画像を記録媒体に記録する記録部と、
   　を備えた撮像装置。
7. 　単一の撮影光学系と、
   　前記撮影光学系を介して被写体像が結像される請求項１から５のいずれかに記載の撮像デバイスと、
   　２次元画像を撮影する２Ｄ撮影モードと３次元画像を撮影する３Ｄ撮影モードとを切り替える撮影モード選択部と、
   　前記撮影光学系及び撮像デバイスを介して撮影される画像が高周波成分を多く含むものか否かを判別する判別部と、
   　前記撮影モード選択部により２Ｄ撮影モードが選択され、前記判別部により高周波成分を多く含む画像と判別されると、前記撮像デバイスの第１のマイクロレンズに対応する光電変換素子から出力される第１の出力信号に基づいて２次元画像を生成し、前記判別部により高周波成分を多く含まない画像と判別されると、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて２次元画像を生成する第１の画像生成部と、
   　前記撮影モード選択部により３Ｄ撮影モードが選択されると、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて３次元画像を生成する第２の画像生成部と、
   　前記第１の画像生成部又は第２の画像生成部により生成された２次元画像又は３次元画像を記録媒体に記録する記録部と、
   　を備えた撮像装置。
8. 　被写体の明るさを検出する明るさ検出部を更に備え、
   　前記第１の画像生成部は、前記撮影モード選択部により２Ｄ撮影モードが選択され、前記判別部により高周波成分を多く含む画像と判別され、かつ前記検出された被写体の明るさが所定の閾値を越える場合には、前記撮像デバイスの第１のマイクロレンズに対応する光電変換素子から出力される第１の出力信号に基づいて２次元画像を生成し、前記判別部により高周波成分を多く含まない画像と判別され、又は前記検出された被写体の明るさが所定の閾値以下の場合には、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて２次元画像を生成する請求項７に記載の撮像装置。
9. 　単一の撮影光学系と、
   　前記撮影光学系を介して被写体像が結像される請求項１から５のいずれかに記載の撮像デバイスと、
   　２次元画像を撮影する２Ｄ撮影モードと３次元画像を撮影する３Ｄ撮影モードとを切り替える撮影モード選択部と、
   　被写体の明るさを検出する明るさ検出部と、
   　前記撮影モード選択部により２Ｄ撮影モードが選択され、前記検出された被写体の明るさが所定の閾値を越える場合には、前記撮像デバイスの第１のマイクロレンズに対応する光電変換素子から出力される第１の出力信号に基づいて２次元画像を生成し、前記検出された被写体の明るさが所定の閾値以下の場合には、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて２次元画像を生成する第１の画像生成部と、
   　前記撮影モード選択部により３Ｄ撮影モードが選択されると、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて３次元画像を生成する第２の画像生成部と、
   　前記第１の画像生成部又は第２の画像生成部により生成された２次元画像又は３次元画像を記録媒体に記録する記録部と、
   　を備えた撮像装置。
10. 　単一の撮影光学系と、
    　前記撮影光学系を介して被写体像が結像される請求項１から５のいずれかに記載の撮像デバイスと、
    　２次元画像を撮影する２Ｄ撮影モードと３次元画像を撮影する３Ｄ撮影モードとを切り替える撮影モード選択部と、
    　前記撮影光学系及び撮像デバイスを介して撮影される画像が高周波成分を多く含むか否かを判別する判別部であって、１画面をＮ×Ｍ分割された分割エリア毎に高周波成分を多く含むか否かを判別する判別部と、
    　前記撮影モード選択部により２Ｄ撮影モードが選択され、前記判別部により高周波成分を多く含む分割エリアと判別されると、該分割エリアについては前記撮像デバイスの第１のマイクロレンズに対応する光電変換素子から出力される第１の出力信号を取得し、
    高周波成分を多く含まない分割エリアと判別されると、該分割エリアについては前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号を取得し、これらの取得した第１の出力信号及び第２の出力信号に基づいて２次元画像を生成する第１の画像生成部と、
    　前記撮影モード選択部により３Ｄ撮影モードが選択されると、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて３次元画像を生成する第２の画像生成部と、
    　前記第１の画像生成部又は第２の画像生成部により生成された２次元画像又は３次元画像を記録媒体に記録する記録部と、
    　を備えた撮像装置。
11. 　前記第２の画像生成部は、前記撮像デバイスの第２のマイクロレンズに対応する光電変換素子から出力される第２の出力信号に基づいて上下左右の４視点の視差画像、若しくは上下又は左右の２視点の視差画像を生成する請求項６から１０のいずれかに記載の撮像装置。

Images