JP2024530080A - 撮像装置、及び、制御方法 - Google Patents

Abstract

撮像装置（１００）は、複数のマイクロレンズ（７）と、複数のマイクロレンズ（７）ごとに配置され、複数のマイクロレンズ（７）からの光を受光する複数の画素（２）を備える撮像素子と、複数の画素（２）で受光した光に基づいて画像を生成する画像生成部（３６）と、を備え、複数の画素（２）のそれぞれは、中央部分を含む第１部分と、中央部分を囲む第２部分とを有し、画像生成部（３６）は、所定の条件に基づいて、第１部分で受光された光に基づく第１画像と第２部分で受光された光に基づく第２画像とを合成するか否かを判定する。これにより、一の撮影において画素の異なる部分で受光した光に基づく複数の画像を合成するか否かを判定可能である。【選択図】図１

Description

本開示は、撮像装置、及び、制御方法に関する。

従来、固体撮像素子を内蔵したビデオカメラ、デジタルカメラ等には、固体撮像素子やフイルムに結像される被写体の光量調節のために、開口径を制御する機械的な絞り機構が設けられている。

例えば、特許文献１には、ステップモータによって回転される駆動リングが、複数枚の羽根を同じ方向へ同時に回転させて絞り口径を制御するようにした絞り機構が開示されている。

特許第４６１８８６０号

しかしながら、特許文献１に記載されているような機械的な絞り機構を備える撮像装置では、そもそも、一の撮影において異なる絞りの複数の画像を生成することはできない。したがって、一の撮影において異なる絞りの画像を合成するか否かを判定することは想定されていない。

そこで、本開示は、一の撮影において画素の異なる部分で受光した光に基づく複数の画像を合成するか否かを判定可能な撮像技術を提供することを目的とする。

本開示の一態様に係る撮像装置は、複数のマイクロレンズと、複数のマイクロレンズごとに配置され、複数のマイクロレンズからの光を受光する複数の画素を備える撮像素子と、複数の画素で受光した光に基づいて画像を生成する画像生成部と、を備え、複数の画素のそれぞれは、中央部分を含む第１部分と、中央部分を囲む第２部分とを有し、画像生成部は、所定の条件に基づいて、第１部分で受光された光に基づく第１画像と第２部分で受光された光に基づく第２画像とを合成するか否かを判定する。

本開示の一態様に係る制御方法は、撮像装置に含まれるプロセッサが実行する制御方法であって、撮像装置が備える複数のマイクロレンズごとに配置された複数の画素で受光された、複数のマイクロレンズからの光に基づいて画像を生成するステップを含み、複数の画素のそれぞれは、中央部分を含む第１部分と、中央部分を囲む第２部分とを有し、生成するステップは、所定の条件に基づいて、第１部分で受光された光に基づく第１画像と第２部分で受光された光に基づく第２画像とを合成するか否かを判定する。

本開示によれば、一の撮影において画素の異なる部分で受光した光に基づく複数の画像を合成するか否かを判定可能である。

図１は、本開示の実施形態に係る撮像装置の構成の一例を示す図である。 図２は、本開示の実施形態に係る、図１のＩＩ方向から見た主レンズにおける受光の状況を説明する図である。 図３は、本開示の実施形態に係る、図１のＩＩＩ方向から見た画素における受光の状況を説明する図である。 図４は、本開示の実施形態に係るイメージセンサの構成の一例を示す図である。 図５は、本開示の実施形態に係る制御部の機能構成の一例を示す図である。 図６は、本開示の実施形態に係る画像生成処理の一例を示すフローチャートである。 図７は、本開示の実施形態に係る、背景ボケを電子的に調整する処理の一例を説明する図である。 図８は、本開示の実施形態に係る、光の波動性による光の進行状況の一例を示す図である。 図９は、本開示の実施形態に係る、マイクロレンズの光の射出面から画素の第１部分の光の入射面までの光路長と、射出面から画素の第２部分の光の入射面までの光路長とが異なる場合の一例を示す図である。 図１０は、本開示の実施形態に係る、マイクロレンズの光の射出面から画素の第１部分の光の入射面までの光路長と、射出面から画素の第２部分の光の入射面までの光路長とが異なる場合の他の例を示す図である。 図１１（Ａ）は、本開示の実施形態に係る副画素の構成の一例を示す図である。 図１１（Ｂ）は、本開示の実施形態に係る副画素の構成の他の例を示す図である。

以下、本開示の好適な実施形態について、添付図面を参照しながら具体的に説明する。なお、以下で説明する各実施形態は、あくまで、本開示を実施するための具体的な一例を挙げるものであって、本開示を限定的に解釈させるものではない。また、説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する場合がある。

図１は、本開示の実施形態に係る撮像装置の構成の一例を示す図である。撮像装置１００は、例示的に、イメージセンサ１０（撮像素子）と光学系２０と制御部３０とを備える。

イメージセンサ１０は、被写体Ｓから発した光を受光し、光の明暗等を電気情報に変換する装置である。イメージセンサ１０は、例示的に、複数の画素２からなる画素群と、画素群を駆動し、画素群に蓄積された光信号に基づくデータを読み出して、イメージセンサ１０の外部に当該データを出力するように制御している制御回路１と、を少なくとも備える。

画素群における複数の画素２は、後述する複数のマイクロレンズ７ごとに配置され、複数のマイクロレンズ７からの光を受光する。イメージセンサ１０の具体的な構成については、図４を参照して説明する。なお、画素群は、上記のとおりイメージセンサ１０が備えてもよいし、光学系２０が備えてもよい。

制御部３０は、イメージセンサ１０から出力されるデータに基づいてデータを解析する等して画像を生成する。制御部３０の具体的な構成については、図５を参照して説明する。

光学系２０は、被写体Ｓから発した光の集光等を実行する一又は複数の装置を備える。光学系２０は、例示的に、主レンズ６と、マイクロレンズ７と、カラーフィルタ８と、を備える。

主レンズ６は、例えば撮影レンズとしての機能を有する。主レンズ６は、中央領域ＬＩＡと周辺領域ＬＯＡと有する。主レンズ６における中央領域ＬＩＡと周辺領域ＬＯＡの設定手法は任意であり、撮像装置１００の各構成の性質及び配置等を踏まえて適宜設定可能である。

マイクロレンズ７は、例えば集光レンズである。一又は複数のマイクロレンズ７は、画素群２の上部又は前段に配置され、画素群２が含む複数の画素のそれぞれに所望の光を集める機能を有する。各マイクロレンズ７は、後述するカラーフィルタ８の画素（例えば、画素群２に含まれる複数の画素のそれぞれ）に対応している。

カラーフィルタ８は、例えば原色である赤、緑、及び、青のいずれかの色に対応付けらえている。カラーフィルタ８は、補色（例えば黄色、水色、及び赤紫色）のフィルタでもよく、用途によって使い分けられる。カラーフィルタ８は、例えばオンチップ型であるが、これに限られず、貼り付け型等の他の形態でもよい。また、カラーフィルタ８は、マイクロレンズ７と別個の構成でもよいし、マイクロレンズ７の一部の構成でもよい。

図２は、本開示の実施形態に係る、図１のＩＩ方向から見た主レンズ６における受光の状況を説明する図である。図１及び図２に示すように、撮像装置１００において、被写体Ｓから発した光は、例えば、主レンズ６の中央領域ＬＩＡ、及び、周辺領域ＬＯＡのそれぞれを通過して、マイクロレンズ７に入射する。

図３は、本開示の実施形態に係る、図１のＩＩＩ方向から見た画素における受光の状況を説明する図である。図１及び図３に示すように、例えば、複数の画素２のそれぞれは、中央部分を含む中央副画素２ａ（第１部分）と、中央部分を囲む周辺副画素２ｂ（第２部分）とを有する。中央副画素２ａは、主レンズ６の中央領域ＬＩＡを通過する光の光信号（主信号ＰＳ）を受信する。周辺副画素２ｂは、主レンズ６の周辺領域ＬＯＡを通過する光の光信号（副信号ＳＳ）を受信する。

図４は、本開示の実施形態に係るイメージセンサの構成の一例を示す図である。イメージセンサ１０は、例えばＣＭＯＳイメージセンサ等である。イメージセンサ１０は、例示的に、図１に示す制御回路１と、２次元配列された複数の画素２の画素群と、信号線３と、読み出し回路４と、デジタル信号処理部（ＤＳＰ）５とを備える。

複数の画素２の構成は任意である。例えば、複数の画素２は、単一の画素を複数集めてグループ化することによって１つの画素群（単位画素群）としてもよい。また、図４に示すように、複数の画素２は、例えば４（２×２）画素をグループ化することにより、１つの画素群としてもよい。さらに、複数の画素２は、例えば３（３×１）画素、８（４×２）画素、９（３×３）画素、および１６（４×４）画素等を単位画素群としてもよい。

複数の画素２は、２次元配列されており、制御回路１からの制御信号および当該複数の画素２自身が生成する制御信号に基づいて、イメージセンサ１０にもたらされる光信号を蓄積し、当該光信号に基づくデータ（電気信号）として読み出される。

読み出し回路４には、信号線３（典型的には、列方向と平行な列信号線）を介して、複数の画素２から読み出された電気信号が伝送され、当該電気信号は、アナログデジタル変換される。

デジタル信号処理部（ＤＳＰ）５は、読み出し回路４によってアナログデジタル変換されたデジタル信号を処理する。そして、処理されたデジタル信号は、データバスを介して撮像装置が有するプロセッサやメモリなどに伝送される。

なお、ＤＳＰ５は、このような配置構成に限定されるものではなく、例えば、イメージセンサ１０がＤＳＰ５を含まず、後段のプロセッサ（例えば制御部３０）がＤＳＰを有する構成であってもよい。また、画像処理におけるデジタル信号処理の一部を、それぞれイメージセンサ１０のＤＳＰ５および後段のプロセッサなどに含まれるＤＳＰにて処理するような構成であってもよい。換言すれば、本開示におけるＤＳＰの位置は、特定の位置に限定されるものではない。

図５は、本開示の実施形態に係る制御部の機能構成の一例を示す図である。図５に示すように、制御部３０（例えばプロセッサ）は、機能的に、解析部３２と、フィルタ処理部３４と、画像生成部３６と、を備える。なお、制御部３０の上記各部は、例えば、撮像装置１００が備えるメモリやハードディスク等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが実行したりすることにより実現することができる。

解析部３２は、イメージセンサ１０から出力されるデータに基づいてデータを解析する。例えば、解析部３２は、主信号ＰＳ、又は、第１画像（例えば、主信号ＰＳに基づいて生成される主画像）を解析して、被写界深度、及び、光に対する感度に関する情報等を取得する。解析部３２は、副信号ＳＳ、又は、第２画像（例えば、副信号ＳＳに基づいて生成される副画像）を解析して、副信号ＳＳがフレア成分を含むか、及び、シャープネスが喪失しているか等の情報を取得する。

例えば、解析部３２は、一又は複数の画像が生成される場合は、各画像の位置情報、及び、各画像に対応する画素の位置情報等を取得して解析してもよい。解析部３２は、複数の画像の相互関係を計算して、相関が大きい部分（例えば焦点が合っている部分）、又は、小さい部分（例えば焦点が合っていない部分）を特定してもよい。

フィルタ処理部３４は、解析部３２による解析結果に基づいて、生成される画像に対してフィルタ処理を実行する。例えば、フィルタ処理部３４は、解析部３２が取得した画像の位置情報等に基づいて生成される第２画像に対して所定の空間フィルタ処理を実行してもよい。

フィルタ処理部３４は、解析部３２が解析した複数の画像の相互関係に基づいて、相関が小さい部分に対して所定のローパスフィルタ処理を実行してもよい。

画像生成部３６は、複数の画素２で受光した光に基づいて一又は複数の画像を生成可能である。例えば、画像生成部３６は、所定の条件に基づいて、図１及び図３に示す中央副画素２ａで受光された光（主信号ＰＳ）に基づく主画像（第１画像）と、周辺副画素２ｂで受光された光（副信号ＳＳ）に基づく副画像（第２画像）とを合成するか否かを判定する。なお、「第２画像」は、上記のとおり、副信号ＳＳのみに基づいて生成される副画像を含むがこれに限られず、主信号ＰＳと副信号ＳＳとに基づいて生成される副画像を含んでもよい。

ここで、「所定の条件」については主画像（第１画像）に関する条件を含むがこれに限られない。例えば、複数の画像の合成判定の際に、「所定の条件」として、副画像（第２画像）に関する条件を、主画像に関する条件に代えて、又は、加えて参照してもよい。さらに、「所定の条件」として、撮像装置１００に対して、予め、主画像（第１画像）と副画像（第２画像）とを合成するか、合成しないかを設定してもよい。なお、「所定の条件」は、固定でもよいし、ユーザの使用状況等に基づいて適宜変更可能でもよい。

ここで、本実施形態における、主信号ＰＳ（主画像）、副信号ＳＳ（副画像）、及び、主信号ＰＳ及び副信号ＳＳの使用形態を分類すると以下（１）から（３）のとおりである。
＜（１）副信号ＳＳ（副画像）が不要な場合＞
この使用形態（１）に関して、画像生成部３６は、主信号ＰＳのみに基づいて主画像を生成して、生成された主画像を最終画像とする。解析部３２によって、主信号ＰＳに関して被写界深度、及び、光に対する感度の少なくとも一方が解析され、例えば所定の閾値以上の深度、及び、所定の閾値以下の感度の少なくとも一方が検出される場合が想定される。被写界深度に関する所定の閾値、及び、感度に関する所定の閾値は任意の値であり、固定の値でもよいし、撮像装置１００の設計等に応じて適宜変更可能な値でもよい。

ここで、主画像（第１画像）に関する所定の条件は、例えば、主信号ＰＳ（主画像）の被写界深度が所定の閾値以上であるか否か、及び、主信号ＰＳ（主画像）の光に対する感度が所定の閾値以下であるか否かの少なくとも一方を含む。例えば、ある主信号ＰＳ（主画像）の被写界深度が所定の閾値以上である場合は、この条件を満たすため、副信号ＳＳに基づく副画像は使用されず、主信号ＰＳに基づく主画像のみが使用される（後述する図６におけるステップＳ３及びＳ４を参照）。

この使用形態（１）において、撮像装置１００は、主信号ＰＳ（主画像）のみを用いて、被写界深度が高く、光に対する感度が低い撮影が実行可能である。また、撮像装置１００は、いわゆる電子的な絞り処理が可能となり、従来のような機械的な絞り機構が不要である。

＜（２）副信号ＳＳが使用される場合であって、副信号ＳＳが例えば光学的に好ましくない劣化等を含んだものである場合＞
上記使用形態（１）の場合、被写界深度は増加する一方で、最終画像に使用される光信号が減少することから、信号対ノイズ比（ＳＮＲ）（Signal to Noise Ratio）が悪化するというトレードオフが生じる。特に被写体の輝度が低いときにそのトレードオフの悪影響は顕著となるため、副信号ＳＳを利用して後述のとおりトレードオフの悪影響を解消・低減しながら最終画像の画質等を改善したいという要望がある。なお、画質等の改善は、例えば、被写界深度、ＳＮＲ、ＭＴＦ、及び、色再現性の少なくとも一つの改善を含む。

例えば、使用形態（２）は、さらに以下の小分類（ｉ）、（ｉｉ）及び（ｉｉｉ）を含んでもよい。使用形態（２）において、画像生成部３４は、副画像に関する情報（例えば、副信号ＳＳのフレア成分又は主レンズ６等の非理想的な光学特性に関する成分）に基づいて主画像と副画像とを合成する。

＜＜（ｉ）副信号ＳＳがフレア成分を含んでいる場合＞＞
副信号ＳＳが、カメラ光学系内部での望ましくない反射などによるフレア成分を含んでいるとき、解析部３２は当該フレア成分を検出する。画像生成部３４は、フレア成分の解析結果に基づいて副画像を再構築する。画像生成部３４は、再構築された副画像を主画像に加算することによって最終画像を生成して最終画像の画質等を改善可能である。

＜＜（ｉｉ）副信号ＳＳにシャープネスの喪失が発生している場合＞＞
副信号ＳＳが図１に示す主レンズ６等の非理想的な光学特性（例えば、製造上の制約、及び、製造上のばらつき）に関する成分を含んでいる（例えばシャープネスの喪失が発生している）とき、解析部３２は、当該成分を検出する。画像生成部３４は、非理想的な光学特性に関する成分の解析結果に基づいて副画像を再構築する。画像生成部３４は、再構築された副画像を主画像に加算することによって最終画像を生成して最終画像の画質等を改善可能である。

＜＜（ｉｉｉ）被写界深度をＳＮＲ低下のトレードオフを軽減して増加させること＞＞
主信号ＰＳのＳＮＲの低下が懸念されるような撮影条件の際には、副信号ＳＳをシャープネス処理したのちに主信号ＰＳに加えることで、ＳＮＲの回復を図ることが可能である。なお、例えば、シャープネス処理とは、アンシャープマスク、逆畳み込み処理、主信号ＰＳやデフォーカス量を参考情報とした最適化処理、及び、ニューラルネットワークによる処理などを含んでもよい。

画像の再構築の手法は任意である。例えば、画像の再構築の手法は、光学的な特性をモデル化し、解析的な逆関数、又は、ルックアップテーブルとして準備された逆関数を用いる手法を含む。画像の再構築の手法は、光学的な特性をモデル化し、点拡がり関数（ＰＳＦ）（Point Spread Function）を別途算出して、逆畳み込み処理する手法を含んでもよい。画像の再構築の手法は、物理的な光学特性を一定程度簡略化した上でモデル化して、正則化、正規化、もしくは最適化を実行し、又は、ＡＩ技術（例えばDeep Learning）を用いて、最終画像を生成する手法を含んでもよい。

＜（３）主信号ＰＳ及び副信号ＳＳの少なくとも一方を付加情報として用いて主信号ＰＳ及び副信号ＳＳに変更を加える場合＞
例えば、使用形態（３）には、図７を参照して説明する画像の背景ボケを制御する手法等が含まれる。

本実施形態によれば、撮像装置１００は、複数のマイクロレンズ７と、複数のマイクロレンズ７ごとに配置され、複数のマイクロレンズ７からの光を受光する複数の画素２を備える撮像素子と、複数の画素２で受光した光に基づいて画像を生成する画像生成部３６と、を備える。撮像装置１００において、複数の画素２のそれぞれは、中央部分を含む中央副画素２ａと、中央部分を囲む周辺副画素２ｂとを有する。撮像装置１００において、画像生成部３６は、中央副画素２ａで受光された光に基づく主画像に関する所定の条件に基づいて、主画像と周辺副画素２ｂで受光された光に基づく副画像とを合成するか否かを判定する。

したがって、一の撮影において画素の異なる部分で受光した光に基づく複数の画像を合成するか否かを判定可能である。また、撮像装置１００は、従来の撮像装置とは異なり、機械的なレンズの絞り機能を必要とすることなく、例えば、同時刻の一の撮影で、電子的な処理によって、複数の異なる絞り値の画像を得ることが可能である。さらに、撮像装置１００は、例えば撮影後に、取得した複数の異なる絞り値の画像を用いて画像処理を行うことが可能であり、電子的に、被写界深度の変更（例えば深い又は浅いの変更）、及び、入射光量の変更の少なくとも一方を別途行うことが可能である。

図６は、本開示の実施形態に係る画像生成処理の一例を示すフローチャートである。図６に示すように、撮像装置１００は、図１及び図３に示す中央副画素２ａで主信号ＰＳを受信し、周辺副画素２ｂで副信号ＳＳを受信する（ステップＳ１）。撮像装置１００は、主信号ＰＳに基づいて主画像（第１画像）を生成する（ステップＳ２）。撮像装置１００は、主画像が所定の条件を満たすか否かを判定する（ステップＳ３）。主画像に関する所定の条件を満たす場合（Ｎｏの場合）は、ステップＳ４に進む。撮像装置１００は、生成した主画像を最終画像とする（ステップＳ４）。

他方、主画像が所定の条件を満さない場合（ステップＳ３においてＹｅｓの場合）は、ステップＳ５に進む。撮像装置１００は、副信号ＳＳに基づいて副画像（第２画像）を生成する（ステップＳ５）。撮像装置１００は、生成した主画像と副画像とに基づいて最終画像（第３画像）を生成する（ステップＳ６）。

なお、実施形態に係る画像生成処理の各ステップの順序は上記に限られず、適宜変更可能である。例えば、副信号ＳＳに基づく副画像の生成（ステップＳ５）は、ステップＳ２において、主信号ＰＳに基づく主画像の生成とともに実行されてもよい。この場合、ステップＳ３において「Ｙｅｓ」である場合は、ステップＳ５は省略され、ステップＳ６が実行される。他方、ステップＳ３において「Ｎｏ」である場合は、生成済の副信号ＳＳに基づく副画像は利用されずに、主画像のみを用いて最終画像とする。

図７は、本開示の実施形態に係る、背景ボケを電子的に調整する処理の一例を説明する図である。図５に示す解析部３２は、例えば、主信号ＰＳに基づく主画像（Primary image）と、主信号ＰＳ及び副信号ＳＳに基づく副画像（Primary imageとSecondary imageとに基づく副画像）と、を解析する。解析部３２は、主画像、及び、副画像に空間周波数分析を実行する。例えば、解析部３２は、主画像と副画像との相互関係を計算して、相関が大きい部分（例えば焦点が合っている部分）、又は、小さい部分（例えば焦点が合っていない部分）を特定する。

解析部３２は、解析部３２による主画像及び副画像の解析結果に基づいて、デフォーカスマップを生成する。そして、フィルタ処理部３４は、解析部３２によって生成されたデフォーカスマップに基づいて、例えば副画像において相関が小さい部分に対して、ローパスフィルタ処理を実行する。このように撮像装置１００は、主画像及び副画像の合成によって被写界深度の浅い最終画像を生成可能である。

図８は、本開示の実施形態に係る、光の波動性による光の進行状況の一例を示す図である。例えば、中央副画素２ａ及び周辺副画素２ｂのサイズが小さいような場合に、光の波動性により、中央副画素２ａと周辺副画素２ｂでの光の分離能力が悪化してしまい、副画素における集光の効率が低下するおそれがある。

具体的には、図８に示すように、例えば、中央副画素２ａと周辺副画素２ｂとの間の境目Ｂに入射するすべての光は、通常、中央副画素２ａ又は周辺副画素２ｂのいずれかに集光することはない。実際には、光の波動性により分割され、中央副画素２ａと周辺副画素２ｂの両方で集光される。

そこで、本実施形態においては、図９及び図１０に示すように、撮像装置１００は、複数のマイクロレンズ７の光の射出面Ｓ１から中央副画素２ａの光の光電変換面Ｓ３（第１入射面）までの光線ＬＲに関する実効光路長（第１光路長）と、射出面Ｓ１から周辺副画素２ｂの光の光電変換面Ｓ５（第２入射面）までの光線ＬＲに関する実効光路長（第２光路長）とが異なるように構成される。この構成によれば、中央副画素２ａと周辺副画素２ｂとの間の境界部における光線分離能力を向上させることができる。したがって、副画素における集光の効率を向上させることができる。

図９に示すように、撮像装置１００において、射出面Ｓ１と、中央副画素２ａの光の光電変換面Ｓ３及び周辺副画素２ｂの光の光電変換面Ｓ５との間（例えばカラーフィルタ８の画素２側の面）に凸レンズ９が配置される。凸レンズ９の性質（例えば、形状及び屈折率）に応じて、乙レンズ９における光の進行状況（例えば進行方向）が調整可能である。よって、この凸レンズ９を用いることで、射出面Ｓ１から光電変換面Ｓ３までの実効光路長と、射出面Ｓ１から光電変換面Ｓ５までの実効光路長とを異ならせることが可能である。中央副画素２ａと周辺副画素２ｂとの間の境界部における光線分離能力を向上させることができる程度に、光の進行状況を調整可能であれば、凸レンズ９の性質は、任意である。

なお、凸レンズ９の配置位置は、射出面Ｓ１と、中央副画素２ａの光の光電変換面Ｓ３及び周辺副画素２ｂの光の光電変換面Ｓ５との間であれば任意である。凸レンズ９の配置位置は、マイクロレンズ７における射出面Ｓ１上に配置されてもよいし、カラーフィルタ８と画素２との間に配置されてもよい。

図１０に示すように、撮像装置１００において、射出面Ｓ１から光電変換面Ｓ３までの第１距離と、射出面Ｓ１から光電変換面Ｓ５，Ｓ７までの第２距離とが異なるように、画素２（中央副画素２ａ及び周辺副画素２ｂ）を配置する。例えば、撮像装置１００において、光電変換面Ｓ３と、光電変換面Ｓ５，Ｓ７とが異なる高さとなるように、画素２（中央副画素２ａ及び周辺副画素２ｂ）を配置する。

より具体的には、光電変換面Ｓ３が光電変換面Ｓ５，Ｓ７よりもマイクロレンズ７の射出面Ｓ１に近くなるように画素２を配置する。なお、光電変換面Ｓ５と光電変換面Ｓ７とは同一の高さでもよいし、異なる高さでもよい。

図１１は、本開示の実施形態に係る副画素の構成の一例を示す図である。例えば、本実施形態における単位画素ＵＰにおける複数の画素２のそれぞれは、各色（例えば赤、青、及び緑）に対応する副画素から構成される。副画素の構成は任意であるが、例えば、図１１（Ａ）に示すように、複数の画素２のそれぞれは、中央副画素２ａと周辺副画素２ｂを備える。

図１１（Ｂ）に示すように、複数の画素２のそれぞれは、中央副画素２ａと、周辺副画素２ｂと、周辺副画素２ｃと、を備えてもよい。この構成によれば、中央副画素２ａで図１に示す主レンズ６の中央領域ＬＩＡを通過する光を集光しつつ、左側の周辺副画素２ｂと右側の周辺副画素２ｃとで焦点ずれ情報を検知することが可能である。

なお、複数の画素２のそれぞれにおいて、周辺副画素は、三つ以上の周辺副画素を備えてもよい。また、複数の画素２のそれぞれは、一又は複数の周辺副画素に加えて、複数の中央副画素を備えてもよい。

なお、上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するものではない。本発明はその趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。また、本発明は、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよい。さらに、異なる実施形態に構成要素を適宜組み合わせてもよい。

本開示の撮像装置１００は、デジタルカメラ、並びに、カメラ機能を有するスマートフォン、タブレット端末、及び、ラップトップ型のパーソナルコンピュータ等の端末装置に適用可能である。

１…制御回路、２…画素、３…信号線、４…読み出し回路、５…デジタル信号処理部（ＤＳＰ）、６…主レンズ、７…マイクロレンズ、８…カラーフィルタ、１０…イメージセンサ、２０…光学系、３０…制御部、３２…解析部、３４…フィルタ処理部、３６…画像生成部、１００…撮像装置、Ｓ…被写体

Claims (8)

1. 複数のマイクロレンズと、
   前記複数のマイクロレンズごとに配置され、前記複数のマイクロレンズからの光を受光する複数の画素を備える撮像素子と、
   前記複数の画素で受光した光に基づいて画像を生成する画像生成部と、を備え、
   前記複数の画素のそれぞれは、中央部分を含む第１部分と、前記中央部分を囲む第２部分とを有し、
   前記画像生成部は、所定の条件に基づいて、前記第１部分で受光された光に基づく第１画像と前記第２部分で受光された光に基づく第２画像とを合成するか否かを判定する、
   撮像装置。
2. 前記画像生成部は、前記所定の条件に基づいて、前記第２画像に関する情報を用いて前記第１画像と前記第２画像とを合成する、
   請求項１に記載の撮像装置。
3. 前記所定の条件は、前記第１画像に関する被写界深度、及び、光に対する感度の少なくとも一方に関する条件を含む、
   請求項１に記載の撮像装置。
4. 前記複数のマイクロレンズの光の射出面から前記第１部分の光の第１入射面までの第１光路長と、前記射出面から前記第２部分の光の第２入射面までの第２光路長とが異なる、
   請求項１に記載の撮像装置。
5. 前記射出面と前記第１入射面及び前記第２入射面との間に凸レンズが配置される、
   請求項４に記載の撮像装置。
6. 前記射出面から前記第１入射面までの第１距離と、前記射出面から前記第２入射面までの第２距離とが異なる、
   請求項４に記載の撮像装置。
7. 撮像装置に含まれるプロセッサが実行する制御方法であって、
   前記撮像装置が備える複数のマイクロレンズごとに配置された複数の画素で受光された、前記複数のマイクロレンズからの光に基づいて画像を生成するステップを含み、
   前記複数の画素のそれぞれは、中央部分を含む第１部分と、前記中央部分を囲む第２部分とを有し、
   前記生成するステップは、所定の条件に基づいて、前記第１部分で受光された光に基づく第１画像と前記第２部分で受光された光に基づく第２画像とを合成するか否かを判定する、
   制御方法。
8. 請求項１～６のいずれか一項に記載の撮像装置を備える、
   端末。