JP5584270B2

JP5584270B2 - 撮像装置

Info

Publication number: JP5584270B2
Application number: JP2012246651A
Authority: JP
Inventors: 和章村山
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-11-08
Filing date: 2012-11-08
Publication date: 2014-09-03
Anticipated expiration: 2032-11-08
Also published as: US9419037B2; US20160181300A1; US9190436B2; US20150061066A1; JP2014096683A; WO2014073172A1; US20160043124A1; US9305957B2

Description

本発明は、光学系の瞳を分割し視差情報を含む画像情報を取得する撮像装置に関するものである。

二次元状に規則的に配列された複数のマイクロレンズ、および、マイクロレンズごとにそれぞれ複数設けられた受光部を有する撮像素子を用いて、撮像レンズによりマイクロレンズに結像される光の瞳を分割し、分割された瞳ごとに異なる受光部により受光するようにすることにより、視差情報を得る撮像装置が知られている。例えば、引用文献１および２によれば、２次元的に配列されたマイクロシリンドリカルレンズの下部に、各シリンドリカルレンズの鉛直方向に延びる中心線に沿って左右に対称的に受光素子を配置することによって、それぞれの受光部で右側視野の画素（右画素）の信号と左側視野の画素（左画素）の信号とを検出している。

特表２０１１−５１５０４５号公報特表２００３−５２３６４６号公報

このような撮像装置の出力信号から右側視野の画像および左側視野の画像（視差画像）を生成し、専用のモニターで立体画像として表示することができる。また、右側視野の画素信号と左側視野の画素信号とを加算することにより２次元画像として表示することも可能になる。このように、一つのマイクロレンズに複数の受光部を組み合わせた撮像素子と撮像レンズとを有する撮像装置では、撮像レンズの瞳と受光部の受光面とは共役関係に位置付けられる。そうすることによって、右側視野の画像と左側視野の画像とが、受光素子の受光面上でより明確に分離されるからである。

しかし、右側画素と左側画素との間には、通常光が検出されない不感帯が存在する。このため、マイクロレンズの光軸方向（０度方向）を中心に光が検出されない領域が存在する。受光部の受光面と撮像レンズの瞳面とは共役であるから、このことは、撮像レンズの瞳位置に、光軸付近で鉛直方向に延びる光を遮光する領域があるのと等価である。

したがって、撮像レンズに光軸方向に近い角度で入射する背景からの光は、受光素子により検出されない。このため、右側視野の画素信号と左側視野の画素信号とを加算して、２次元画像を生成する場合、画像の一部の光量が低下し、情報が欠落するため背景などのボケがきれいなボケにならず、二重線が発生するという問題点がある。

したがって、これらの点に着目してなされた本発明の目的は、３次元画像を生成するための視差画像を撮像できるとともに、２次元画像を作成する場合にはより自然な画像が得られる撮像装置を提供することにある。

上記目的を達成する撮像装置の発明は、
二次元状に規則的に配列した複数のマイクロレンズを有するマイクロレンズアレイと、
被写体からの光を前記マイクロレンズアレイに結像させる撮像レンズと、
前記マイクロレンズごとにそれぞれ複数ずつ配置された受光部であって、各マイクロレンズに対応する複数の前記受光部の少なくとも２つは、前記マイクロレンズに結像された前記被写体からの光を受光し光電変換するそれぞれ前記撮像レンズの瞳の一部の領域を透過し且つ対応する前記マイクロレンズを透過した前記被写体からの光を光電変換する前記受光部と
を備え、
前記撮像レンズの前記瞳と前記受光部の受光面とは、共役関係から外れるように配置されることを特徴とするものである。

前記マイクロレンズの焦点距離をｆ_Ｌ、前記マイクロレンズのピッチをｐ、同一の前記マイクロレンズに対応する前記受光素子の間に位置する不感帯の幅をＳ、前記受光素子の前記受光面の前記撮像レンズの前記瞳の共役位置からのずれ量をＺ_ｄとするとき、

が成り立つことが好ましい。

一実施の形態において、それぞれの前記マイクロレンズに対応して、前記受光部が前記被写体の像の水平方向に２つずつ配置される。

他の実施の形態において、前記マイクロレンズは、シリンドリカルレンズとしても良い。

さらに他の実施形態において、それぞれの前記マイクロレンズに対応する複数の前記受光部は、前記被写体の像の水平方向に２つずつ配置されているものと、前記被写体の像の垂直方向に２つずつ配置されているものとを含むように構成される。

さらに他の実施形態において、それぞれの前記マイクロレンズに対応して、前記受光部が前記被写体の像の水平方向および垂直方向に各２列ずつ配置される。

さらに、それぞれ水平方向および垂直方向に配置された複数の前記受光素子から得られる画素信号に基づいて、水平方向および垂直方向の視差画像を生成し、該視差画像から立体画像を生成するようにしても良い。

本発明によれば、撮像レンズの瞳と受光部の受光面とは、共役関係から外れるように配置したので、３次元画像を生成するために視差画像を撮像できるとともに、２次元画像を生成する場合にはより自然な画像が得られる。

第１実施の形態に係る撮像装置の概略構成を示すブロック図である。撮像素子の要部の構成を説明する図である。撮像素子の水平方向の断面図である。撮像レンズ、マイクロレンズおよび受光部の配置を説明する図である。撮像レンズ、マイクロレンズおよび受光部の配置を説明する図である。受光部への入射角度と信号光強度との関係を示す図であり、図６（ａ）は、第一実施の形態の場合、図６（ｂ）は撮像レンズの瞳面と受光部の受光面とが共役関係にある場合を示す。撮像素子の各パラメータを説明する図である。クロストークが発生する場合の光軸における光強度を説明する図である。第２実施の形態に係る撮像素子の構成を説明する平面図である。第２実施の形態に係る撮像素子の構成を説明する斜視図である。第３実施の形態に係る撮像素子の構成を説明する図である。第４実施の形態に係る撮像素子の構成を説明する図である。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１実施の形態）
図１は、本実施形態における撮像装置の概略構成を示すブロック図である。この撮像装置１は、被写体からの被写体光１００に基づき、立体撮像画像を表示するための視差画像を撮像する。撮像装置１は、撮像レンズ１１、撮像素子１０、画像処理部１２、制御部１４、記憶部１６、及び表示部１８を有する。撮像素子１０、画像処理部１２、制御部１４、記憶部１６、及び表示部１８は、バス１９に接続され、各種信号を互いに送受信可能に構成される。

撮像素子１０は、被写体光１００が撮像レンズ１１を介して入射されると、被写体光１００に基づき視差を有する左側視野の撮像画像と右側視野の撮像画像とを撮像し、各撮像画像を構成する画素信号を出力する。各撮像画像は、２次元状に配列された画素からなる。１フレームの撮像画像を構成する画素数は、たとえば、６４０×４８０画素〜４０００×３０００画素であるが、この範囲に限られなくてもよい。撮像素子１０は、各画素に対応して配設置された受光素子を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）であり、受光素子により画素信号を生成して出力する。画素信号は、たとえば、１フレームごとに生成して出力される。画素信号は、画素ごとのたとえばＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色の階調値を示す信号である。また、画素信号は、受光素子からの出力信号がたとえばＡ／Ｄ変換されたデジタル信号である。

画像処理部１２は、１フレーム分の画素信号を含む撮像画像データに対し、色や輝度補正、歪み補正等の所定の画像処理や、データの圧縮・伸張を行う。画像処理部１２は、たとえば、１フレームごとの撮像画像データに対し画像処理を行う。画像処理部１２は、たとえばＤＳＰ（Digital Signal Processor）やＡＳＩＣ（Application Specific Integrated Circuit）等のプロセッサである。

記憶部１６は、画像処理前及び／または画像処理後の撮像画像データを記憶するフレームメモリである。記憶部１６は、たとえば、ＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic RAM）である。または、記憶部１６は、ハードディスクや可搬型フラッシュメモリを含む各種記憶メディアへのデータ読込み・書込み装置を含んでもよい。

表示部１８は、左側視野および右側視野の撮像画像データに基づき立体撮像画像を表示する。表示部１８は、たとえば左右の眼の視差に対応する偏光フィルタを備えたＬＣＤ（Liquid Crystal Display）とその制御回路を有する。表示部１８は、視差を有する左右の撮像画像データを表示して、ユーザが立体感を知覚できるような立体撮像画像を表示する。

制御部１４は、撮像素子１０、画像処理部１２、記憶部１６、及び表示部１８に制御信号を送り、撮像装置１の動作を統合的に制御する。制御部１４は、たとえばマイクロコンピュータである。

図２は、撮像素子１０の要部の構成を説明するための図である。

図２に示すように、撮像素子１０は、二次元状に配列された球面状のマイクロレンズ２０からなるマイクロレンズアレイ２を有する。マイクロレンズ２０は、視差画像を撮像する際の右側視野および左側視野のそれぞれの画像の一画素に対応して配設される。ここでは、Ｘ軸方向が撮像画像の左右方向に、Ｙ軸方向が撮像画像の上下方向に対応する。また、Ｚ軸方向が光軸方向に対応する。

また、撮像素子１０は、マイクロレンズ２０ごとに配置された２つの受光部対２２を有する。受光部対２２の受光部２２Ｌ、２２Ｒは、たとえば、ＣＭＯＳやＣＣＤに含まれるフォトダイオードである。各受光部２２Ｌ、２２Ｒは、左側視野の撮像画像を構成する画素（左画素）の信号を生成して出力する左側受光素子２２Ｌと、右側視野の撮像画像を構成する画素（右画素）の信号を生成して出力する右側受光素子２２Ｒとからなる。受光部２２Ｌ、２２Ｒは、Ｘ軸方向に、すなわち左右方向に隣接して配置される。各受光部２２Ｌ、２２Ｒは立体撮像画像を表示するための撮像画像対それぞれの画素に対応する。

図３は撮像素子のＸＺ平面（水平断面）による断面図である。図３に示すように、各マイクロレンズ２０は、一組の左右の受光部２２Ｌおよび２２Ｒの前面に配置されたオンチップレンズとして形成されている。また、一つのマイクロレンズ２０に対応する一組の受光部２２Ｌ、２２Ｒと他のマイクロレンズ２０に対応する一組の受光部２２Ｌ、２２Ｒとの間には、各受光部２２Ｌ、２２Ｒを駆動および制御し、または信号を伝達するための配線層２３が設けられている。配線層２３は、例えば銅やアルミニウムなどの金属製で、光を反射または散乱するが透過はせず遮光層として機能する。さらに、一つのマイクロレンズ２０に対応する２つの受光部２２Ｌおよび２２Ｒの間には、幅Ｓの不感帯がある。

図４は、撮像レンズ並びに撮像素子のマイクロレンズおよび受光部の配置を説明する図である。撮像レンズ１１は一つのレンズにより、または、複数のレンズを組み合わせて構成され、絞り３２を有する。撮像レンズ１１の光軸３０は、各マイクロレンズ２０の光軸と平行に配置される。受光素子２２Ｌおよび２２Ｒは、受光面３４がマイクロレンズ２０の後側焦点から所定の距離ずれた後側焦点近傍に配置される。近年のデジタルカメラ向けの撮像レンズの多くは、射出瞳の位置が無限遠付近となるように設計されている。したがって、撮像レンズの射出瞳の像はマイクロレンズ２０を通して受光部２２Ｌ、２２Ｒの受光面３４の近傍の瞳共役面３６に結像する。

図４では、受光部２２Ｌ、２２Ｒの受光面３４は、撮像レンズ１１の瞳と共役に位置する像側の瞳共役面３６よりも物体側に位置する。また、図５は、撮像レンズ並びに撮像素子のマイクロレンズおよび受光部の他の配置を説明する図である。受光部２２Ｌ、２２Ｒの受光面３４は、撮像レンズ１１の瞳と共役位置に位置する像側の瞳共役面３６よりも像側に位置する。

図４および図５に示した何れの配置の場合も、被写体光１００は、絞り３２により絞られ、マイクロレンズアレイ２０上に集光され、マイクロレンズ２０と受光部２２Ｌ、２２Ｒとの間に配置されたＲ、Ｇ、Ｂのカラーフィルタ（図示せず）を介して、受光部２２Ｌ、２２Ｒによって検出される。受光部２２Ｌ、２２Ｒ上には、Ｒ、Ｇ、Ｂいずれかの色の光が入射されて被写体像が結像される。

左側受光部２２Ｌには、主に瞳の左側領域を透過した光（左側光束）が入射し、左側視野の撮像画像を構成する左画素信号を生成する。また、受光部２２Ｒには、主に瞳の右側領域を透過した光（右側光束）が入射し、右側視野の撮像画像を構成する右画素信号を生成する。しかし、撮像レンズ１１の瞳と受光部２２Ｌ，２２Ｒの受光面３４とは共役関係から外れているため、左眼用の受光部２２Ｌと右眼用の受光部２２Ｒとに入射する被写体光１００の間にクロストークが発生する。

図６は、撮像素子への被写体光の入射角度と左画素信号および右画素信号の信号光強度との関係を示す図であり、図６（ａ）は、本実施の形態の場合、図６（ｂ）は撮像レンズの瞳面と受光素子の受光面とを共役関係にした場合を示す。本実施の形態では、図６（ａ）に示すように、左側受光部２２Ｌと右側受光部２２Ｒとの間のクロストークによって、入射角度が０度であっても、受光素子２２Ｌ、２２Ｒにある程度の強度の光が検出される。これに対して、撮像レンズ１１の瞳面と受光部２２Ｌ、２２Ｒの受光面３４とが共役関係にある場合は、図６（ｂ）に示すように、左側受光部２２Ｌと右側受光部２２Ｒとの分離がなされているものの、角度が０度付近で左側受光部２２Ｌおよび右側受光部２２Ｒのいずれも、ほぼ光を検出しない角度範囲が存在する。図６（ａ）のように撮像レンズ１１の瞳と受光部２２Ｌ、２２Ｒの受光面３４とが共役関係から外れた場合、左画素と右画素とで異なる視野の信号が得られ、３次元画像情報の取得に適用でき、各マイクロレンズ２０に対応した左画素信号および右画素信号をそれぞれ加算して２次元画像を生成する場合、二重線が現れない自然な画像を生成することができる。

次に、左側受光部２２Ｌおよび右側受光部２２Ｒを用い、３次元画像生成のための視差画像が得られるとともに、これらの出力信号を加算して自然な２次元画像が生成できるための条件について、図７を参照して説明する。

まず、マイクロレンズ２０の曲率半径をｒ、マイクロレンズ２０から受光部２２Ｌ、２２Ｒの受光面３４までの媒質の平均屈折率をｎ_ａｖとすると、マイクロレンズ２０の焦点距離ｆ_Ｌは、

で表される。

左側受光部２２Ｌには左側光束の大部分に加え右側光束の一部が入射し、右側受光部２２Ｒには右側光束の大部分に加え左側光束の一部が入射する。それぞれの受光部２２Ｌ，２２Ｒに入射する反対側の光束の光量は、それぞれの光束の光量の２％から１０％までが望ましい。つまり、マイクロレンズ２０のピッチをｐとすると、受光部２２Ｌ、２２Ｒの受光面３４上でのボケの幅ｓｂは、
０．０２ｐ＜ｓｂ＜０．１ｐ（２）
であることが望ましい。

また、左右の受光部２２Ｌ，２２Ｒの間に不感帯がある場合、その幅をＳとすると、受光面３４上でのボケの幅ｓｂは、
０．０２ｐ＋Ｓ＜ｓｂ＜０．１ｐ＋Ｓ（３）
が望ましい。

式（３）が充足される条件を以下に検討する。

まず、図７に示すように受光部２２Ｌ、２２Ｒの一方のボケの幅をｈとする。このとき、
ｓｂ＝２ｈ（４）
となる。
式（４）に式（３）を代入すると、
０．０２ｐ＋Ｓ＜２ｈ＜０．１ｐ＋Ｓ（５）
となる。

ここで、前述のように、マイクロレンズ２０の焦点受光面３４とのずれ量をｚ_ｄとする。ｈとずれ量ｚ_ｄの関係は、図７から、

となる。これを変形すると、

となる。

さらに、式（５）に式（７）を代入して、変形すると、

が得られる。

図４に示した後ろ側の焦点ずれと、図５に示した前側の焦点ずれとでは、対称的であるため、絶対値を付して

となる。これが望ましい条件である。

ここで、受光素子２２Ｌ、２２Ｒに入射する反対側の光束の光量が、それぞれの光束の光量の２％から１０％までが望ましいことの根拠を説明する。

図８は、クロストークが発生する場合の光軸における光強度を説明する図である。図８の破線は、ずれ量がほぼ０の場合の被写体光１００の入射角度に対する右側受光部２２Ｒおよび左側受光部２２Ｌで受光される光の強度（すなわち、右画素信号および左画素信号）を示している。光強度は、光束の光強度の最大値を１００％としてこれに対する比率で示している。ずれ量が０の場合、右側光束および左側光束はともに入射角度０度付近で０に近い値となる。

一方、図８の実線は、受光面３４をマイクロレンズ２０の焦点からずらした場合を示している。この場合、左側光束が右側受光素子２２Ｌによって受光されるクロストークの部分を網掛けで示している。本願発明者らによるシミュレーションの結果、クロストークの量が片側の光束の全体の光量の２％であっても、入射角度０度における光強度は、２０〜３０％程度にもなる。したがって、２次元画像を生成するため、右側受光部２２Ｒと左側受光部２２Ｌとの信号を加算した場合、入射角度０度から入射した光による信号も他の入射角度からの信号と比べ４０〜６０％の強度の信号が得られる。このため、この程度の強度の信号が得られるのであれば、入射角度０度付近の信号を得ることができないことによる、二重線の発生などを抑制し自然な画像を得ることができる。よって、左右一方の側の光束が他方の受光部２２Ｌ、２２Ｒに入射する光の量は２％以上であることが好ましい。

一方、３次元画像の奥行き精度の面では、クロストークは少ない方が好ましい。奥行き精度は、視差量、画素ピッチなどで決定される。そして、瞳分割方式で３次元画像情報（奥行き情報）を取得する場合の視差量は、瞳径／２により定義される。仮にクロストークの量が１０％とすると、瞳径は２０％減少するので奥行き分解能は２０％減少する。

例えば、焦点距離を３５ｍｍ、Ｆ値を３．５とするとき、瞳径は１０ｍｍである。また、クロストークや光量ロスが無い場合、計算上の視差量は５ｍｍである。撮像素子１０のピッチを５μｍとすると、光学系から物体までの距離（物体距離）が５ｍの位置で奥行き分解能は６２０ｍｍとなる。これに対して、同じ条件で片側の受光部２２Ｌまたは２２Ｒへのクロストークが１０％ある場合、瞳径が２０％減少するので、視差量は４ｍｍとなり、奥行き分解能は７４５ｍｍとなる。分解能が２割以上減少することは好ましくないので、左右一方の側の光束が他方の受光素子２２Ｌ、２２Ｒに入射する光の量は１０％以下であることが好ましい。

（実施例）
マイクロレンズ２０のピッチを１０μｍ、焦点距離を１２．５μｍ、不感帯の幅を０．２μｍ、ずれ量を１μｍとする場合、

となり、式（９）の条件が満たされ、適切な奥行き分解能で３次元画像生成のための視差画像が検出できるとともに、左側および右側受光部２２Ｌ，２２Ｒからの信号を加算して、自然な２次元画像が得られる。

以上説明したように、本実施の形態によれば、撮像レンズ１１の瞳と受光部２２Ｌ、２２Ｒの受光面３４とを共役関係から外れるように配置したので、３次元画像を生成するための視差画像が得られるとともに、２次元画像を作成する場合には左眼用および右眼用の受光素子２２Ｌ、２２Ｒからの検出信号を加算してより自然な画像が得られる。

さらに、式（９）に示す条件を満たすことにより、奥行き分解能を確保した３次元画像が生成できると共に、２次元画像を表示する際には入射角度０度近傍の信号を含む二重線の現れないより自然な画像が得られる。

（第２実施の形態）
図９は、第２実施の形態に係る撮像素子の構成を説明する平面図であり、図１０は、第２実施の形態に係る撮像素子の構成を説明する斜視図である。本実施の形態では、第１実施の形態と同様に、左側および右側受光部２２Ｌ、２２Ｒが交互に並んで配列されている。各受光部２２Ｌ，２２Ｒの間には配線層２３が設けられている。さらに、受光部の上方（Ｚ軸方向）にはＹ軸方向に軸を有するシリンドリカルレンズ４１がＸ軸方向に並べられて配置され、各左側および右側受光部２２Ｌ、２２Ｒの組は同一のシリンドリカルレンズ４１の下方に配置されている。また、一つのシリンドリカルレンズ４１の下方には、左側および右側受光部２２Ｌ、２２Ｒの組から成る複数の受光部対２２が配置されている。シリンドリカルレンズ４１は、Ｘ軸方向にのみ集光作用を有し、受光素子２２Ｌ、２２Ｒの受光面３４と撮像レンズ１１の瞳とは共役関係から外れて配置される。その他の構成は、第１実施の形態と同様であるので、同一または対応する構成要素には同一参照符号を付して説明を省略する。

本実施の形態によれば、第１実施の形態と同様に、被写体光１００の、撮像レンズ１１の瞳の左側を通る左側光束と右側を通る右側光束とを、シリンドリカルレンズ４１を透過させ、それぞれ異なる左側受光部２２Ｌおよび右側受光部２２Ｒに入射させて検出することができる。さらに、受光部２２Ｌ、２２Ｒの受光面３４は、撮像レンズ１１の瞳と共役な位置からずらして配置されているので、左側光束と右側光束とがそれぞれ部分的に右側受光素子２２Ｒおよび左側受光部２２Ｌに入射する。これによって、３次元画像を生成するための視差情報を含む左画素および右画素の画素信号が得られるとともに、左画素と右画素の画素信号を加算することにより、二重線の現れない自然な２次元画像を生成することができる。

（第３実施の形態）
図１１は、第３実施の形態に係る撮像素子の構成を説明する図である。本実施の形態では、１つのマイクロレンズ２０に対して、各２つの受光素子が配置されている。受光部としては、被写体像の結像される水平方向に左側受光部５１Ｌおよび右側受光部５１Ｒが配置されるものと、垂直方向に上側受光部５１Ｕおよび下側受光部５１Ｄが配置されるものの２種類がある。これら受光素子５１Ｌ、５１Ｒ、５１Ｕ、５１Ｄの受光面３４は、撮像レンズ１１の瞳と共役関係から外れた位置に配置される。その他の構成は、第１実施の形態と同様であるので、同一または対応する構成要素には同一参照符号を付して説明を省略する。

本実施の形態によれば、水平方向に配置された受光部５１Ｌ、５１Ｒを用いて、第１実施の形態と同様に３次元画像を生成するための視差画像を撮像することができるとともに、２次元画像を作成する場合には左右の受光部５１Ｌ、５１Ｒからの画素信号を加算してより自然な画像が得られる。さらに、垂直方向に配置された受光部５１Ｕおよび５１Ｄからの信号に基づいて、垂直方向の視差情報から奥行き情報を得ることもできる。また、垂直方向に配置された受光部５１Ｕおよび５１Ｄの信号を加算して、水平方向に配置された受光部５１Ｌおよび５１Ｒを加算した信号とともに、２次元画像の作成に用いることができる。

（第４実施の形態）
図１２は、第３実施の形態に係る撮像素子１０の構成を説明する図である。本実施の形態では、１つのマイクロレンズ２０に対して、水平方向および垂直方向に各２列の合計４つの受光部６１ＤＬ、６１ＤＲ、６１ＵＬ，６１ＵＲが配置されている。ここで、各受光部６１ＤＬ、６１ＤＲ、６１ＵＬ，６１ＵＲは、撮像レンズ１１の瞳を水平な直線および鉛直な直線で４分割した場合の順に左下側、右下側、左上側、右上側の分割された瞳に対応するものである。これら受光部６１ＤＬ、６１ＤＲ、６１ＵＬ、６１ＵＲの受光面３４は、撮像レンズ１１の瞳と共役関係から外れた位置に配置される。その他の構成は、第１実施の形態と同様であるので、同一または対応する構成要素には同一参照符号を付して説明を省略する。

本実施の形態によれば、撮像素子１０の左右の画素対、すなわち受光部６１ＤＬと６１ＤＲおよび／または６１ＵＬと６１ＵＲから出力される画素信号に基づいて、第１実施の形態と同様に立体画像を生成でき、１つのマイクロレンズ２０に対応する受光部６１ＤＬ、６１ＤＲ、６１ＵＬおよび６１ＵＲの信号を加算することによって２次元画像の画素信号とし、２次元画像を生成することができる。これによって、第１実施の形態と同様の効果が得られる。さらに、撮像素子１０の上下の画素対、すなわち受光部６１ＤＬと６１ＵＬおよび／または６１ＵＲと６１ＵＲから出力される画素信号に基づいて、垂直方向の視差情報も得ることができる。したがって、同じ撮像素子を用いながら、上下および左右の視差情報を得ることができる。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、１つのマイクロレンズに対する受光部の数は、２個または４個に限られない。また、受光素子の配列の方向も左右および上下に限られない。例えば、斜め方向に配列された受光素子対を有していても良い。また、表示部は必ずしも撮像装置と一体である必要は無く、３次元画像を表示するために別体のハードウェアとして設けられていても良い。

１撮像装置
２マイクロレンズアレイ
１０撮像部
１１撮像レンズ
１２画像処理部
１４制御部
１６記憶部
１８表示部
１９バス
２０マイクロレンズ
２２受光素子対
２２Ｌ、２２Ｒ受光部
２３配線層
３０光軸
３２絞り
３４受光面
３６瞳共役面
４１シリンドリカルレンズ
５１Ｌ，５１Ｒ，５１Ｕ，５１Ｄ受光部
６１ＤＬ，６１ＤＲ，６１ＵＬ，６１ＵＲ受光部
１００被写体光

Claims

二次元状に規則的に配列した複数のマイクロレンズを有するマイクロレンズアレイと、
被写体からの光を前記マイクロレンズアレイに結像させる撮像レンズと、
前記マイクロレンズごとにそれぞれ複数ずつ配置された受光部であって、各マイクロレンズに対応する複数の前記受光部の少なくとも２つは、前記マイクロレンズに結像された前記被写体からの光を受光し光電変換する前記受光部と
を備え、
前記撮像レンズの瞳と前記受光部の受光面とは、共役関係から外れるように配置されることを特徴とする撮像装置。
前記マイクロレンズの焦点距離をｆ_Ｌ、前記マイクロレンズのピッチをｐ、同一の前記マイクロレンズに対応する前記受光部の間に位置する不感帯の幅をＳ、前記受光部の前記受光面と前記撮像レンズの瞳の共役位置とのずれ量をＺ_ｄとするとき、

（Ｚ_ｄ≠0）
が成り立つことを特徴とする請求項１に記載の撮像装置。
それぞれの前記マイクロレンズに対応して、前記受光部が前記被写体の像の水平方向に２つずつ配置されていることを特徴とする請求項１または２に記載の撮像装置。
前記マイクロレンズは、シリンドリカルレンズであることを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
それぞれの前記マイクロレンズに対応する複数の前記受光部は、前記被写体の像の水平方向に２つずつ配置されているものと、前記被写体の像の垂直方向に２つずつ配置されているものとを含むことを特徴とする請求項１または２に記載の撮像装置。
それぞれの前記マイクロレンズに対応して、前記受光部が前記被写体の像の水平方向および垂直方向に各２列ずつ配置されていることを特徴とする請求項１または２に記載の撮像装置。
それぞれ水平方向および垂直方向に配置された複数の前記受光部から得られる画素信号に基づいて、水平方向および垂直方向の視差画像を生成し、該視差画像から立体画像を生成する請求項５または６の何れか一項に記載の撮像装置。
前記複数の受光部から得られる画素信号に基づき互いに視差をもつ複数の視差画像と、前記複数の受光部から得られる画素信号の対応するものを加算した２次元画像の、少なくとも一方を生成する請求項１に記載の撮像装置。