[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5218611B2 - 画像合成方法及び撮像装置 - Google Patents

画像合成方法及び撮像装置 Download PDF

Info

Publication number
JP5218611B2
JP5218611B2 JP2011157960A JP2011157960A JP5218611B2 JP 5218611 B2 JP5218611 B2 JP 5218611B2 JP 2011157960 A JP2011157960 A JP 2011157960A JP 2011157960 A JP2011157960 A JP 2011157960A JP 5218611 B2 JP5218611 B2 JP 5218611B2
Authority
JP
Japan
Prior art keywords
image
light receiving
light
optical system
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011157960A
Other languages
English (en)
Other versions
JP2011217411A (ja
Inventor
健 歌川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011157960A priority Critical patent/JP5218611B2/ja
Publication of JP2011217411A publication Critical patent/JP2011217411A/ja
Application granted granted Critical
Publication of JP5218611B2 publication Critical patent/JP5218611B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、同一被写界の任意の距離にピントの合った画像を得るための画像合成方法及び撮像装置に関する。
一般のカメラ(特許文献1)による撮影後に、同一被写界の任意の距離にピントの合った画像を得るためには、カメラの撮影レンズの焦点をずらしながら繰り返し撮影を行い、撮影距離の異なる複数枚の画像データを取得しておく必要がある。
特開2001−211418号公報
しかし、カメラの被写界中の物体は静止しているとは限らず、同一被写界の任意の距離にピントの合った画像を得ることができるのは、或る限られた撮影条件の下のみである。
そこで本発明は、1回の撮影で得られたデータから撮影後に任意の距離の面、又は任意の距離の物体にピントの合った画像を合成することのできる画像合成方法を提供することを目的とする。
また、本発明は、この画像合成方法を実現するために好適な撮像装置を提供することを目的とする。
(1)本発明の画像合成方法は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置において1回の撮影で得られたデータに適用される画像合成方法であって、前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成し、前記加算の際に、前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算する。
(2)また、本発明の撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、前記撮像装置において1回の撮影で得られたデータに適用される合成手段を備え、前記合成手段は、前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成し、前記加算の際に、前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算する。
(3)結像光学系と、前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、前記演算部は、前記任意の位置と、前記任意の位置に任意に設定された領域の大きさと、所望の絞りに対応する前記任意に設定された大きさの領域に入射する光束の立体角度と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求めることにより、前記結像光学系の光路中の任意の位置を像面とする画像を合成する。
)なお、前記合成する画像の画素は、前記任意に設定された大きさの領域に対応するものであってもよい。
)また、前記演算部は、前記任意の位置と、前記任意に設定された領域の大きさと、前記立体角度をパラメータとする窓関数と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求めてもよい。
)また、前記演算部は、前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を求め、前記求めた前記複数の受光部からの受光信号より数の多い受光信号に基づき、前記任意に設定された大きさの領域に入射する光束の光量を求めてもよい。
)本発明の撮像装置は、結像光学系と、前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、前記演算部は、前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を得る。
(8)本発明の撮像装置は、結像光学系と、前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、前記受光部アレイには、1つの受光部に1つの色成分が対応する複数の色成分からなるカラーフィルターが設けられ、前記演算部は、前記複数の色成分のうち最も分布密度の高い第1の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第1の色成分の画像を合成し、前記合成した画像において、前記第1の色成分の合成後の受光信号を使用して前記第1色成分とは異なる第2の色成分の受光部に対応する位置における前記第1色成分の信号を補間する。
)なお、前記演算部は、前記第2の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第2の色成分の画像を合成し、前記合成された第2の色成分の画像において、前記補間された第1の色成分の受光信号を使用して、前記第2の色成分の受光信号と前記第1の色成分の受光信号との差分信号を生成し、前記生成した差分信号を使用して、前記差分信号が生成されていない位置における前記差分信号を補間し、前記補間された差分信号と前記第1の色成分の受光信号に基づき、補間された前記第2の色の成分の受光信号を求めてもよい。
10)また、前記複数の色成分からなるカラーフィルターは、赤色成分、緑色成分、青色成分からなるベイヤ配列のカラーフィルターであり、前記第1の色成分は緑色成分であり、前記第2の色成分は赤色成分又は青色成分であってもよい。
本発明によれば、1回の撮影で得られたデータから撮影後に任意の距離にピントの合った画像を合成することのできる画像合成方法が実現する。
また、本発明によれば、この画像合成方法を実現するために好適な撮像装置が実現する。
本撮像装置の構成図である。 クロストーク防止用の仕切部材を示す図である。 絞り部材11Aを示す図である。 本撮像装置の光学系部分を光軸を含む面で切断してできる断面図である。 画素cに入射する光束の詳細を拡大して車す図である。 画素cに入射する光束の回折による広がりを説明する図である。 画素cに投影される領域E0の縁のぼけの様子を示す概念図である。 マイクロレンズMLによる画素cの共役面の位置のバリエーションを示す図である。 画像合成の原理を説明する図である(Z=0の例)。 画像合成の原理を説明する図である(Z≠0の例)。 指定像面が合成範囲内の特定の面(Z=0)であるときの合成方法を説明する図である。 指定像面が合成範囲内の特定の面(Z=h1)であるときの合成方法を説明する図である。 指定像面が合成範囲内の一般の面(Z=h2)であるときの合成方法を説明する図である。 指定像面が合成範囲内の特定の面(Z=0)であるときの重み係数の例を示す図である。 指定像面が合成範囲内の別の特定の面(Z=h1)であるときの重み係数の例を示す図である。 指定像面が合成範囲内の一般の面(Z=h2)であるときの重み係数の例を示す図である。 第2実施形態の画像合成方法を説明する図である。 第3実施形態の撮像装置及び画像合成方法を説明する図である。 マイクロレンズML’を設けた画素配列130を示す図である。 フィールドレンズFLを配置した撮像装置を示す図である。
[第1実施形態]
以下、第1実施形態を説明する。本実施形態は、撮像装置及びそれを用いた画像合成方法の実施形態である。
先ず、本撮像装置の構成を説明する。
図1は、本撮像装置の構成図である。図1に示すように、本撮像装置には、撮影レンズ(結像光学系に対応)11、マイクロレンズアレイ(複数の正レンズに対応)12、撮像素子13、駆動回路14、演算処理回路(合成手段に対応)15、メモリ16、制御回路17、ユーザインタフェース18などが備えられる。
撮影レンズ11は、被写界からの光束をその焦点面近傍に結像する。その焦点面近傍に、マイクロレンズアレイ12と撮像素子13とが順に配置される。なお、図1では、マイクロレンズアレイ12と撮像素子13との間隔が広く描かれているが、実際は狭い。
撮影レンズ11の焦点面近傍に入射した結像光束は、撮像素子13において電気信号に変換される。この撮像素子13は駆動回路14によって駆動され、撮像素子13からの出力信号は、この駆動回路14を介して演算処理回路15に取り込まれる。演算処理回路15は、その出力信号に基づき被写界の画像データを合成する。合成された画像データは、メモリ16に格納される。
また、以上の駆動回路14、演算処理回路15、メモリ16は、制御回路17によって制御される。制御回路17は、ユーザインタフェース18を介してユーザから入力された指示に従ってその制御を行う。
ユーザは、ユーザインタフェース18を介して本撮像装置に対し撮影のタイミングを指定することができる。本実施形態では、どの被写体位置(距離)にピントの合った画像を合成するのか、また、どの絞り値に対応した画像を合成するのかを、撮影後にユーザが指定することができる(勿論、撮影前や撮影中に指定してもよい)。以下、指定された被写体位置を「指定像面」と称し、指定された絞り値を「指定絞り値」と称す。
次に、本撮像装置の光学系部分を簡単に説明する。
マイクロレンズアレイ12は、正のパワーを有した複数のマイクロレンズMLを二次元状に並べてなる。図1では、マイクロレンズMLの縦方向の数及び横方向の数(配置密度)は、それぞれ5個となっているが、これらの数は、本撮像装置の画像データに必要な分解能に応じて適宜設定される。
撮像素子13は、各マイクロレンズMLを通過した光を受光する画素配列130を、マイクロレンズMLに対応した配置パターンで配置してなる。
ここで、画素配列130は、光電変換素子受光部の開口がそのまま「画素」を形成する場合は勿論、各光電変換素子上に集光用マイクロレンズを設け、このマイクロレンズの開口が「画素」を形成する場合がある。これ以降は、光電変換素子を「画素」と表現し、マイクロレンズMLを通過した光を受光する複数の光電変換素子を「画素配列」と呼ぶことにする。
個々の画素配列130の縦方向の画素数及び横方向の画素数はそれぞれ3個以上である。図1では、画素配列130の縦方向の画素数及び横方向の画素数(画素密度)は、それぞれ5個となっているが、これらの数は、本撮像装置のユーザが指定可能な像面(撮影距離)の必要数に応じて適宜設定される(例えば、7×7=49個でもよい)。
ここで、これらの画素配列130は、個々のマイクロレンズMLを個別に透過した部分光束を個別に受ける必要がある。つまり、互いに隣接する画素配列130の間のクロストークは抑えられる必要がある。
そこで、マイクロレンズアレイ12と撮像素子13との間には、図2に示すような仕切部材22が設けられることが望ましい。
或いは、仕切部材22の代わりに、撮影レンズ11の後側に、図3に示すように、適当な大きさの円形開口を有した絞り部材11Aが配置されてもよい。
本撮像装置においては、この絞り部材11Aの開口のサイズは、可変である必要は無い。なぜなら、本撮像装置の撮影レンズ11の絞り値の変更は、演算処理回路15における演算によって行われるからである。
なお、以下の説明では、これら仕切部材22や絞り部材11Aについては言及せず、図示も省略する。
次に、本撮像装置の光学系部分を詳細に説明する。
図4は、本撮像装置の光学系部分を光軸(撮影レンズ11の光軸)を含む面で切断してできる断面図である。図4において斜線で示す光束は、光軸近傍に配置された画素配列130の中央の画素cに入射する光束である。
図4に示すように、画素cに入射する光束は、撮影レンズ11の瞳上の中心近傍の部分領域Cを透過した光束である。この画素cの隣接画素bに入射する光束は、撮影レンズ11の瞳上の部分領域Cの隣接領域Bを透過した光束である。
このように、同一画素配列130内の画素a,b,c,d,eに入射する各光束は、撮影レンズ11の瞳上の互いに異なる部分領域A,B,C,D,Eを個別に透過した各光束である。
なお、図4では、マイクロレンズMLの前側の距離Lの位置において、マイクロレンズMLの配置ピッチPと同等の幅を持つ領域E0を通過した光が、マイクロレンズMLの後
側の画素c上に導かれることを示した。
このとき、画素cに入射する光束は、深度L内で径が略Pの柱状の光束となる。同様に、画素cの周囲の画素a,b,c,d,eに入射する各光束も、深度L内で径が略Pの柱状の光束となる。
このとき、本撮像装置は、深度L内の任意の面に形成された像の画像データを、少なくとも分解能Pで合成することができる。つまり、深度Lは、本撮像装置が少なくとも分解能Pで画像データを合成可能な範囲である。よって、以下では深度Lを、「合成範囲」という。
次に、個々のマイクロレンズMLの設計例を説明する。
図5は、マイクロレンズMLを介して画素cに入射する光束の詳細を拡大して示す図である。図5において、符号Dは、マイクロレンズMLの有効径(マイクロレンズMLの配置ピッチPより若干小さい値)であり、符号Pdは、画素配列130の画素ピッチである。図5に明らかなように、合成範囲Lの前端における幅Pの領域E0は、マイクロレンズ
MLのパワーによって、マイクロレンズMLの後側の画素cに投影される。
図5において、符号Fdで示す光束の広がりは、撮影レンズ11の瞳上の部分領域Cを透過した光束の広がりに対応する。よって、この光束の広がりFdは、撮影レンズ11の開放F値(F0)と瞳の1方向の分割数(瞳上の1方向の部分領域の数)とに応じた値に設定されている。例えば、
・撮影レンズ11の開放F値F0=4,
・画素配列130の1方向の画素数n=5,
であるときには、
・瞳の1方向の分割数=n=5,
であるので、
・光束の広がりFd=F0×n=4×5=20,
に設定される(なお、光束の広がりの単位はF値)。
以上の説明では、光束の幾何学的な広がりしか考慮しなかったが、実際には、回折による広がりも持っている。以下では、回折による広がりを考慮する。
図6は、マイクロレンズMLを介して画素cに入射する光束の回折による広がりを説明する図である。
図6中に曲線で示すように、仮に画素c上の1点から発した光はLの距離位置で図示の回折による広がりを持つ。逆に、Lの位置で図示の広がりを持つ領域が、回折によるボケの広がりを意味することになる。
このため、画素cに投影される領域E0の縁部は、図7に示すように、明確にはならず
にぼける。同様に、撮影レンズ11の瞳上の部分領域A,B,C,D,E,・・の境界も、ぼける。この境界を或る程度明確にするためには、回折による光束の広がりを或る程度抑える必要がある。以下、具体的に示す。
先ず、この回折による光束の広がり(ぼけ)Aは、マイクロレンズMLの有効径Dが小さいほど顕著になり、例えば、光の波長を約0.5μmとすると、式(1)で表される。
A≒L/D ・・・(1)
一方、回折による光束の広がりAをF値の単位で表したものをFaとおくと、それは式(2)で表される。
Fa≒L/A≒D ・・・(2)
式(1),(2)より、回折による光束の広がりFaは、式(3)のとおり、殆どマイクロレンズMLの有効径Dのみによって表されることがわかる。
Fa≒D ・・・(3)
そして、上述した境界を明確にするためには、この回折による光束の広がりFaは、撮影レンズ11の開放F値F0(例えばF0=4)と比較して十分に小さく、例えば2/5以下、つまり式(4)を満たすことが望ましい。
Fa>10・・・(4)
したがって、マイクロレンズMLの有効径Dは、式(5)を満たすことが望ましい。
D>10μm・・・(5)
なお、上述した境界をさらに明確にするためには、マイクロレンズMLの有効径Dは、式(6)を満たすことが望ましい。
D>20μm ・・・(6)
以上の条件(マイクロレンズMLに対する条件)を考慮した本撮像装置の仕様の例を、以下に示す。
・撮影レンズ11の焦点距離f=9mm,
・撮影レンズ11の開放F値F0=4,
・画素配列130の1方向の画素数n=5,
・マイクロレンズMLの配置ピッチP=15μm,
・マイクロレンズMLの有効径D=配置ピッチPと略同じ≒15μm,
・マイクロレンズアレイ12のサイズ=8.8×6.6mm,
・マイクロレンズMLの配置数=586×440,
・合成範囲L=n×F=300μm,
・撮影距離に換算した合成範囲=無限遠方〜270mm
なお、以上の説明では、図8(a)に示すように、画素cの共役面がマイクロレンズMLの前側の有限位置に設定されていたが、画素cの共役面は、図8(b)に示すように、マイクロレンズMLの前側の無限遠方であってもよいし、図8(c)に示すように、マイクロレンズMLの後側であってもよい。
図8(a)の場合、合成範囲Lは、マイクロレンズMLの前側の有限範囲となったが、図8(b)の場合、合成範囲Lは、マイクロレンズMLの両側にまたがる有限範囲となり、図8(c)の場合、合成範囲Lは、マイクロレンズMLの後側の有限範囲となる。
以下、合成範囲LがマイクロレンズMLの前側の有限範囲である(図8(a))として説明する。
次に、画像合成方法を説明する。この合成に必要な各処理は、演算処理回路15(図1参照)によって行われる。
図9、図10は、画像合成の原理を説明する図である。これらの図9,図10において、符号Ia,Ib,Ic,Id,Ieで示すのは、画素配列130内に1方向に並ぶ5つの画素a,b,c,d,eが個別に形成する画像データの概念である。
先ず、図9に示すように、指定像面の高さ(マイクロレンズアレイ12からの距離)Zが0である場合を考える。
Z=0の面にピントの合った像が形成されている場合は、像I0において、あるマイクロレンズの直上部分から射出した光束は、直ぐにマイクロレンズアレイ12に入射して、同一画素配列130内の画素a,b,c,d,eには、像I0上の同一箇所の光が入射する。
このとき、画像データIa,Ib,Ic,Id,Ieの間では、互いに同じ位置に像I0が現れる。よって、これらの画像データIa,Ib,Ic,Id,Ieを重ね合わせれば、指定像面(Z=0)の画像データを得ることができる。
なお、ここでは、或る1方向に並ぶ5つの画素a,b,c,d,eのみに着目し、それら5つの画素による5つの画像データIa,Ib,Ic,Id,Ieを重ね合わせるとしたが、実際は、各方向に並ぶ25個の画素による25個の画像データを重ね合わせる必要がある。
次に、図10に示すように、指定像面の高さZが0ではない場合を考える。
この面に形成される像I’の各位置から射出した光束は、発散した後にマイクロレンズアレイ12に入射するので、像I’上の同一箇所から射出した各角度の光線は、角度により互いに異なるマイクロレンズMLに入射する。よって、同一のマイクロレンズMLに対応する画素配列130内の画素a,b,c,d,eは、像I’上の少しずつ異なった箇所の光を受ける。
このとき、画像データIa,Ib,Ic,Id,Ieの間では、互いにずれた位置に像I’が現れる。このずれ量は、指定像面の高さZに依存する。よって、これらの画像データIa,Ib,Ic,Id,Ieを、高さZに応じた画像サイズに変更してマイクロレンズピッチずつずらして重ね合わせれば、指定像面(Z≠0)の画像データを得ることができる。
なお、ここでは、或る1方向に並ぶ5つの画素a,b,c,d,eのみに着目し、それら5つの画素による5つの画像データIa,Ib,Ic,Id,Ieを重ね合わせるとしたが、実際は、各方向に並ぶ25個の画素による25個の画像データを重ね合わせる必要がある。
以上のことから、本撮像装置では、25個の画素による25個の画像データを、指定像面の高さZに応じた量だけ画像のサイズを変更してから、画像を縦横反転し、隣接するマイクロレンズに関するこれらの画像を所定量ずつずらして重ね合わせ、同じ位置に来た画素又は画素補間値を、重みを付けて加算合成すれば、その指定像面の全体の画像が得られる。
次に、画像合成の方法を詳しく説明する。
図11は、指定像面が合成範囲内の特定の面(Z=0)であるときの合成方法を説明する図であり、図12は、指定像面が合成範囲内の特定の面(Z=h1)であるときの合成
方法を説明する図であり、図13は、指定像面が合成範囲内の上記以外の或る面(Z=h2)であるときの合成方法を説明する図である。
これらの図11、図12、図13には、撮像素子13の5つの画素a,b,c,d,eに入射する各光線(マイクロレンズMLの中心を通る主光線のみ)を示した。また、各図中の各要素には、光軸と垂直な面内における座標を示すための添え字(1,2,3,・・・)を付した。
図11、図12、図13において点線で示すのは、合成後の画像データの最小単位(仮想画素)であり、仮想画素の幅は、マイクロレンズMLの配置ピッチPと同じである。
先ず、図11に示すように、指定像面が合成範囲内の特定の面(Z=0)である場合について説明する。
この面の座標x5(マイクロレンズML5に対向する幅Pの領域)からの射出光束(光線r1,r2,r3,r4,r5)は、画素a5,b5,c5,d5,e5に個別に入射する。よって、画素a5の出力値Out(a5)、画素b5の出力値Out(b5)、画素c5の出力値Out(c5)、画素d5の出力値Out(d5)、画素e5の出力値Out(e5)の和をとれば、その座標x5における仮想画素の画素値L(5)が求まる(式(1))。
L(5)=Out(a5)+Out(b5)+Out(c5)+Out(d5)+Out(e5) ・・・(1)
同様に、座標x5に隣接する座標x6における仮想画素の画素値L(6)は、式(1’)により求めることができる。
L(6)=Out(a6)+Out(b6)+Out(c6)+Out(d6)+Out(e6) ・・・(1’)
したがって、各座標x1,x2,x3,・・・における各仮想画素の画素値L(1),L(2),L(3),・・・は、式(1”)によりそれぞれ求めることができる。
L(i)=Out(ai)+Out(bi)+Out(ci)+Out(di)+Out(ei) ・・・(1”)
この式(1”)は、図9に示した画像データIa,Ib,Ic,Id,Ieをそのまま重ね合わせることを示している。この式(1”)よって、指定像面(Z=0)の画像データが合成される。
なお、式(1”)は、ユーザによる指定絞り値が開放(開口サイズ最大)であったときに採用される式である。
仮に、ユーザによる指定絞り値が最大(開口サイズ最小)であったときには、光線r1,r2,r3,r4,r5からなる光束を、光線r3のみからなる光束に制限すればよいので、式(1”)に代えて式(2)を採用すればよい。
L(i)=Out(ci)・・・(2)
また、ユーザによる指定絞り値が中間値(開口サイズ中間)であったときには、光線r1,r2,r3,r4,r5からなる光束を、光線r2,r3,r4のみからなる光束に制限すればよいので、式(1”)に代えて式(3)を採用すればよい。
L(i)=Out(bi)+Out(ci)+Out(di) ・・・(3)
なお、ここでは、或る1方向に並ぶ5つの画素a,b,c,d,eのみに着目し、それら5つの画素の出力値の和をとったが、実際は、2方向に並ぶ25個の画素の出力値の和をとる必要がある(但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。)。
次に、図12に示すように、指定像面が、合成範囲内の上記以外の或る面(Z=h1)である場合について説明する。
この面の座標x5(マイクロレンズML5に対向する領域)からの射出光束(光線r1,r2,r3,r4,r5)は、画素a3,b4,c5,d6,e7に個別に入射する。よって、画素a3の出力値Out(a3)、画素b4の出力値Out(b4)、画素c5の出力値Out(c5)、画素d6の出力値Out(d6)、画素e7の出力値Out(e7)の和(より正確には入射角に依存した重み付け和)をとれば、その座標x5における仮想画素の画素値L(5)が求まる(式(4))。
L(5)=Out(a3)+Out(b4)十Out(c5)+Out(d6)+Out(e7)・・・(4)
同様に、座標x5に隣接する座標x6における仮想画素の画素値L(6)は、式(4’)により求めることができる。
L(6)=Out(a4)+Out(b5)+Out(c6)+Out(d7)+Out(e8) ・・・(4’)
したがって、各座標x1,x2,x3,・・・における各仮想画素の画素値L(1),L(2),L(3),・・・は、式(4”)によりそれぞれ求めることができる。
L(i)=Out(ai-2)+Out(bi-1)+Out(ci)+Out(di+1)+Out(ei+2) ・・・(4”)
この式(4”)は、図10に示した画像データIa,Ib,Ic,Id,Ieを指定像面の高さZに応じた量(ここでは仮想画素1つ分)だけずらして重ね合わせることを示している。これによって、指定像面(Z=h1)の画像データが合成される。
なお、この式(4”)は、ユーザによる指定絞り値が開放(開口サイズ最大)であったときに採用される式である。
仮に、ユーザによる指定絞り値が最大(開口サイズ最小)であったときには、光線r1,r2,r3,r4,r5からなる光束を、光線r3のみからなる光束に制限すればよいので、式(4”)に代えて式(5)を採用すればよい。
L(i)=Out(ci)・・・(5)
また、ユーザによる指定絞り値が中間値(開口サイズ中間)であったときには、光線r1,r2,r3,r4,r5からなる光束を、光線r2,r3,r4のみからなる光束に制限すればよいので、式(4”)に代えて式(6)を採用すればよい。
L(i)=Out(bi-1)+Out(ci)+Out(di+1) ・・・(6)
なお、ここでは、或る1方向に並ぶ5つの画素a,b,c,d,eのみに着目し、それら5つの画素の出力値の和をとったが、実際は、2方向に並ぶ25個の画素の出力値の和をとる必要がある(但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。)。
次に、図13に示すように、指定像面が、合成範囲内の上記以外の或る面(Z=h2)である場合について説明する。
この面の座標x5(マイクロレンズML5に対向する領域)からの射出光束(光線r1,r2,r3,r4,r5)は、複数の画素にまたがって入射する。
例えば、光線r1に着目すると、画素a3,b3にまたがって入射する。このとき、光線r1の光量は、画素a3の出力値Out(a3)と画素b3の出力値Out(b3)との重み付け和によって求まる(式(7))。
Out(a3)×q1+Out(b3)×q2 ・・・(7)
ここで、重み係数q1,q2の和は、指定像面の高さZに依存して決まる定数である。
したがって、各座標x1,x2,x3,・・・における各仮想画素の画素値L(1),L(2),L(3),・・・は、複数の出力値の重み付け和、しかも、指定像面の高さZに依存して決まる重み係数による重み付け和によって求める必要がある(但し、和に加えるべき画素の数は、指定絞り値に応じて増減する)。
以上のことから、本撮像装置では、指定像面の画像データを合成するに当たり、指定像面が特定の限られた面でなくとも、複数の出力値の重み付け和をとることで、画像の合成ができる。
因みに、指定像面が図11、図12に示した特定の面(Z=0,Z=h1)である場合にも、主光線以外の光線まで考慮し、それに関係する全ての出力値の重み付け和をとれば、より高い精度で合成を行うことができる。
次に、重み係数の具体例を説明する。
図14、図15、図16には、座標x5に位置する仮想画素の画素値L(5)を求めるときの重み係数の例を示した。ここでは、ユーザによる指定絞り値が開放である場合の例を説明する。また、簡単のため、1方向に並ぶ5つの画素a,b,c,dのみに着目する。
図14は、指定像面が合成範囲内の特定の面(Z=0)であるときの例であり、図15は、指定像面が合成範囲内の別の特定の面(Z=h1)であるときの例であり、図16は、指定像面が合成範囲内の一般の面(Z=h2)であるときの例である。
図14、図15、図16において、各画素に対応付けられたバーの長さが、各画素の出力値にかかる重み係数の値(相対値)を示している。重みの最適な値は、実験的に求めることができる。
因みに、図14の例に倣って指定像面の画像データを一括で求めるときには、以下の演算式を採用すればよい。
Figure 0005218611
また、図15の例に倣って指定像面の画像データを一括で求めるときには、以下の演算式を採用すればよい。
Figure 0005218611
因みに、これらの演算式において、重み係数w1,w2,w3,w4,w5の値は、図14、図15の各バーの長さに相当する。但し、図14、図15に示した例は、ユーザによる指定絞り値を開放(開口サイズ最大)としたときの例であるので、仮に、ユーザによる設定絞り値が中間値(開口サイズ中間)であるときには、重み係数w1,w2,w3,w4,w5のうち係数w1,w5の値は、極めて小さい値に設定される。また、ユーザによる指定絞り値が最大(開口サイズ最小)であるときには、重み係数w1,w2,w3,w4,w5のうち係数w1,w2,w4,w5の値は、極めて小さい値に設定される。
以上のことから、本撮像装置では、撮像素子13の全画素の出力値からなる出力値ベクトルに対し、重み係数マトリクスを乗算することにより、指定像面の画像データを合成する。
この出力値ベクトルの縦方向のサイズは、撮像素子13の全画素数に一致する。また、重み係数マトリクスの横方向のサイズは、出力値ベクトルの縦方向のサイズに一致する。また、重み係数マトリクスの縦方向のサイズは、合成すべき画像データの仮想画素の画素数に一致する。
そして、この重み係数マトリクスの内容は、ユーザによる指定像面の高さZと、ユーザによる指定絞り値とに応じて決定される。この決定は、演算処理回路15によって適宜行われる。
なお、この決定にかかる処理を簡単にするために、予め複数種類の重み係数マトリクスがメモリ16(図1参照)に格納されてもよい。その場合、演算処理回路15は、それら重み係数マトリクスのうち1つを、ユーザによる指定像面及び指定絞り値に応じて選択使用すればよい。
また、本撮像装置においては、画像データの分解能をユーザが指定できるように構成されていてもよい。分解能の指定は、像面の指定や、絞り値の指定と同様、ユーザインタフェース18を介して行われる。また、画像データの分解能の設定は、画素配列130の出力値(及び/又は画像データの仮想画素の画素値)を、演算処理回路15が必要に応じて補間処理又は間引き処理をすることによって行われる。
実際的には、指定像面の位置(マイクロレンズアレイ面からの距離)が決まると、それに応じて各マイクロレンズ下の画素配列の画像サイズを変更(距離が離れる程拡大)し、隣接するマイクロレンズに関するこれらの画像データを反転した後に相互に所定量ずつずらして加算合成して全体画像を作成するのが効率的である。この場合、指定絞り値(絞り条件)に応じて加算合成の重みを変更する。
[第2実施形態]
以下、第2実施形態を説明する。本実施形態は、画像データの分解能を高めるときの画像合成方法の一例である。但し、本合成方法が適用できるのは、指定像面が合成範囲Lの前端近傍であるとき(Z≒Lのとき)のみである。
本合成方法では、図17に示すとおり、仮想画素の幅を、マイクロレンズMLの配置ピッチPよりも狭い幅ω(例えばω=P/2)に設定する。この幅ωの仮想画素の画素値を求めるために、先ず、画素配列130内の画素補間が行われる。
図17(a)の右方に示した棒状のグラフは、画素配列130内に並ぶ5つの画素の出力値の分布を示している。これら5つの画素の出力値に補間処理を施すと、曲線で示すような滑らかな分布が得られる。よって、例えば、図17(b)に実線で示すように、画素配列130内に5つ以上(以下、9つとする)の画素が並べられたときと同等の9個の画素値が得られる。
一方、幅ωの仮想画素からの射出光束は、図17(b)に点線で示すような光量分布で9つの画素上に入射する。
この光量分布の分布曲線Wは、仮想画素と画素配列130との間の結像関係から、仮想画素の座標(X,Y,Z)と、仮想画素の幅ωと、射出光束の立体角度Ωとに依存する。
したがって、この分布曲線W(X,Y,Z,ω,Ω)に応じた重み係数を、前述の9つの画素値に乗算して和をとれば、仮想画素からの射出光束の光量を高精度に求めることができる。
そして、このような重み付け和を、仮想画素から各角度で射出する各光束についてそれぞれ行い、さらにそれらの和(又は重み付け和)をとれば、仮想画素の画素値が求まる。
さらに、この演算を指定像面の全ての仮想画素についてそれぞれ行えば、分解能ωで指定像面の画像データを合成することができる。
ここで、以上の本合成方法においても、演算の基礎となるデータは第1実施形態のそれと同じ(つまり撮像素子13の全画素の画素出力)である。したがって、本合成方法に基づき重み係数マトリクスを決定しておけば、第1実施形態と同様に、出力値ベクトルに重み係数マトリクスを乗算するだけで、指定像面の画像データを一括で求めることができる。
但し、本合成方法では、分解能を高めた分だけ(仮想画素の数が増えた分だけ)、重み係数マトリクスの縦方向のサイズも増大する。
[第3実施形態]
以下、第3実施形態を説明する。本実施形態は、第1実施形態の撮像装置及び画像合成方法を1部変更したものである。ここでは、変更点のみ説明する。
本撮像装置の撮像素子13の個々の画素配列130には、図18(a)に示すようなカラーフィルタアレイが設けられている。
カラーフィルタアレイは、画素配列130の画素に入射する可視光を赤色成分のみに制限するフィルタR、緑色成分のみに制限するフィルタG、青色成分のみに制限するフィルタBをベイヤ配列してなる。ベイヤ配列は、画素配列130上に市松状に並ぶ各画素にフィルタGを設け、その間隙の各画素に、フィルタR,Bを交互に設ける配列である。
以下、フィルタGの設けられた画素を「G画素」、フィルタRの設けられた画素を「R画素」、フィルタBの設けられた画素を「B画素」という。
本合成方法では、このベイヤ配列に応じて、図18(b),(c)に示すように、公知の補間方法で画素補間を行う。
すなわち、12個のG画素の画素出力を補間して画素配列130の全体の25個のG画素の画素値を得る。また、6個のR画素の画素出力を補間して画素配列130の全体の25個のR画素の画素値を得る。また、6個のB画素の画素出力を補間して画素配列130の全体の25個のB画素の画素値を得る。この各面に、前の実施形態で説明した処理を行えば、カラー画像が得られる。
なお、本合成方法の手順では、画素補間を色成分毎に独立して行ったので、配置密度の低いR画素の補間誤差と、B画素の補間誤差とが、配置密度の高いG画素の補間誤差よりも大きくなる傾向にある。それを改善し、更に画質を向上させるには、先ず、密度の高い緑色(G色)に関して、指定像面に関する全画像データの合成を行っておき、ついで赤色(R面)のデータは補間せずに前記指定像面へ投影し、投影された位置にあるGの値(若しくはGの補間値)との差分Cr=R−Gを作成し、しかる後に、Crとして補間を行うことが好ましい。こうしてCrの全画像データが得られたら、R=Cr+Gにより、赤色(R色)の全画像データが得られる。青色の画像データ(B面)も同様にして形成される。
なお、本撮像装置のカラーフィルタアレイには、ベイヤ配列を適用したが、他の配列、例えば、ストライプ状にフィルタGを配置すると共にフィルタCの列の間の列にフィルタR,Bを交互に配置するものなどが適用されてもよい。
[その他]
なお、画素配列130の各画素を構成する光電変換素子受光部の間隙には、転送部などが配置されることが多いので、その間隙はあまり小さくならない。よって、そのままでは、間隙に入射する光線がロスになってしまう。
そこで、本撮像装置においては、図19(a)に示すように、各画素への集光率を高めるために、画素ピッチと同等の径を持つマイクロレンズML’を光電変換素子受光部上に設けてもよい。
なお、画素配列130の縁部の画素への集光率は、他の画素への集光率よりも低くなりがちなので、図19(b)に矢印で示すように、画素配列130の縁部では、画素を構成するこの2層目のマイクロレンズの光軸を光電変換素子受光部中心から若干内側にずらしておくと、その画素への集光率を、中心の画素への集光率に近づけることができるので好ましい。
また、本撮像装置においては、図20に示すように、マイクロレンズアレイ12の直前にフィールドレンズFLを配置してもよい。フィールドレンズFLを配置すれば、像高の高い位置に配置されたマイクロレンズMLに入射する光束の角度が抑えられるので好ましい。
また、本撮像装置においては、複数の区分的な画素配列130を二次元状に配置した撮像素子13が用いられたが(図1参照)が、全体に一様に画素を配列した通常の撮像素子を用意し、その必要な部分を選択的に使うようにしてもよい。
また、本撮像装置には、モニタなどの表示部が備えられてもよい。その場合、合成した画像データや、その画像データに付随する情報などを表示部に表示させてもよい。
また、本撮像装置は、像面及び絞り値をユーザに指定させるタイミングは、撮影後、意図によって自由に変更できることが大きな利点であったが、勿論、撮影前の指定を反映するようにしてもよい。
また、上記説明では、指定像面が1つの場合であったが、複数であってもよい。撮影後、任意のピント面を多数自在に再現できる点が、本発明の特徴である。因みに、複数の指定像面の画像データは、三次元の画像を表すので、本発明は、三次元撮像装置として使うことができる。
また、本撮像装置は、像面の代わりに撮影ポイントを指定させてもよい。その場合、本撮像装置は、撮影ポイント(指定点)の輝度データのみを合成すればよい。
その他、ユーザが指定可能な項目に、「撮影範囲」が加えられてもよい。その場合、本撮像装置は、指定された撮像範囲内の画像データのみを合成すればよい。
また、本撮像装置では、画像合成に関わる全ての処理を演算処理回路15が実行しているが、その処理の一部又は全部は、撮像装置の外部のコンピュータが実行してもよい。その場合、コンピュータには、予め、画像合成のためのプログラムがインストールされる。
11 撮影レンズ
12 マイクロレンズアレイ
13 撮像素子アレイ
ML マイクロレンズ
130 撮像素子
14 駆動回路
15 演算処理回路
16 メモリ
17 制御回路
18 ユーザインタフェース
22 仕切り部材
11A 絞り部材
a,b,c,d,e 画素

Claims (10)

  1. 結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
    前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、
    前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置において1回の撮影で得られたデータに適用される画像合成方法であって、
    前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、
    前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成し、
    前記加算の際に、前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算する
    ことを特徴とする画像合成方法。
  2. 結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
    前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、
    前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、
    前記撮像装置において1回の撮影で得られたデータに適用される合成手段を備え、
    前記合成手段は、
    前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、
    前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成し、
    前記加算の際に、前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算する
    ことを特徴とする撮像装置。
  3. 結像光学系と、
    前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、
    前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、
    前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、
    前記演算部は、
    前記任意の位置と、前記任意の位置に任意に設定された領域の大きさと、所望の絞りに対応する前記任意に設定された大きさの領域に入射する光束の立体角度と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求めることにより、前記結像光学系の光路中の任意の位置を像面とする画像を合成する
    ことを特徴とする撮像装置。
  4. 請求項3に記載の撮像装置において、
    前記合成する画像の画素は、前記任意に設定された大きさの領域に対応する
    ことを特徴とする撮像装置。
  5. 請求項3に記載の撮像装置において、
    前記演算部は、
    前記任意の位置と、前記任意に設定された領域の大きさと、前記立体角度をパラメータとする窓関数と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求める
    ことを特徴とする撮像装置。
  6. 請求項3に記載の撮像装置において、
    前記演算部は、
    前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を求め、前記求めた前記複数の受光部からの受光信号より数の多い受光信号に基づき、前記任意に設定された大きさの領域に入射する光束の光量を求める
    ことを特徴とする撮像装置。
  7. 結像光学系と、
    前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、
    前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、
    前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、
    前記演算部は、
    前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を得る
    ことを特徴とする撮像装置。
  8. 結像光学系と、
    前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、
    前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、
    前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、
    前記受光部アレイには、1つの受光部に1つの色成分が対応する複数の色成分からなるカラーフィルターが設けられ、
    前記演算部は、
    前記複数の色成分のうち最も分布密度の高い第1の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第1の色成分の画像を合成し、前記合成した画像において、前記第1の色成分の合成後の受光信号を使用して前記第1色成分とは異なる第2の色成分の受光部に対応する位置における前記第1色成分の信号を補間する
    ことを特徴とする撮像装置。
  9. 請求項8に記載の撮像装置において、
    前記演算部は、
    前記第2の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第2の色成分の画像を合成し、
    前記合成された第2の色成分の画像において、前記補間された第1の色成分の受光信号を使用して、前記第2の色成分の受光信号と前記第1の色成分の受光信号との差分信号を生成し、
    前記生成した差分信号を使用して、前記差分信号が生成されていない位置における前記差分信号を補間し、
    前記補間された差分信号と前記第1の色成分の受光信号に基づき、補間された前記第2の色の成分の受光信号を求める
    ことを特徴とする撮像装置。
  10. 請求項9に記載の撮像装置において、
    前記複数の色成分からなるカラーフィルターは、赤色成分、緑色成分、青色成分からなるベイヤ配列のカラーフィルターであり、
    前記第1の色成分は緑色成分であり、
    前記第2の色成分は赤色成分又は青色成分である
    ことを特徴とする撮像装置。
JP2011157960A 2011-07-19 2011-07-19 画像合成方法及び撮像装置 Expired - Fee Related JP5218611B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011157960A JP5218611B2 (ja) 2011-07-19 2011-07-19 画像合成方法及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011157960A JP5218611B2 (ja) 2011-07-19 2011-07-19 画像合成方法及び撮像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005183729A Division JP4826152B2 (ja) 2005-06-23 2005-06-23 画像合成方法及び撮像装置

Publications (2)

Publication Number Publication Date
JP2011217411A JP2011217411A (ja) 2011-10-27
JP5218611B2 true JP5218611B2 (ja) 2013-06-26

Family

ID=44946598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011157960A Expired - Fee Related JP5218611B2 (ja) 2011-07-19 2011-07-19 画像合成方法及び撮像装置

Country Status (1)

Country Link
JP (1) JP5218611B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5917158B2 (ja) * 2012-01-13 2016-05-11 キヤノン株式会社 撮像装置、その制御方法及び撮像システム
JP5893412B2 (ja) * 2012-01-13 2016-03-23 キヤノン株式会社 撮像装置およびその制御方法
JP5783929B2 (ja) * 2012-02-20 2015-09-24 キヤノン株式会社 撮像装置
JP5910739B2 (ja) * 2012-05-28 2016-04-27 株式会社ニコン 撮像装置
JP6016516B2 (ja) * 2012-08-13 2016-10-26 キヤノン株式会社 画像処理装置およびその制御方法、画像処理プログラム、並びに撮像装置
JP6012396B2 (ja) * 2012-10-24 2016-10-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
JP6286678B2 (ja) * 2013-07-12 2018-03-07 パナソニックIpマネジメント株式会社 撮像装置
JPWO2016158957A1 (ja) * 2015-03-30 2018-02-01 株式会社ニコン 撮像装置、マルチレンズカメラおよび撮像装置の製造方法
EP3264755A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling for a richer color sampling
CN106791331B (zh) * 2017-01-13 2019-07-12 成都微晶景泰科技有限公司 基于透镜阵列成像的图像处理方法、装置及成像系统

Also Published As

Publication number Publication date
JP2011217411A (ja) 2011-10-27

Similar Documents

Publication Publication Date Title
JP4826152B2 (ja) 画像合成方法及び撮像装置
JP5218611B2 (ja) 画像合成方法及び撮像装置
US9001262B2 (en) Image sensor and image capturing apparatus
JP5219865B2 (ja) 撮像装置及び焦点制御方法
JP5361535B2 (ja) 撮像装置
JP5618943B2 (ja) 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP5818697B2 (ja) 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体
JP5633181B2 (ja) デプスマップ出力装置
JP6397281B2 (ja) 撮像装置、その制御方法およびプログラム
WO2013183561A1 (ja) 撮像素子および撮像装置
US10171732B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on plurality of parallax images
JP6952222B2 (ja) 撮像装置
JP7352359B2 (ja) 撮像素子および撮像装置
JP5251323B2 (ja) 撮像装置
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JP2015087543A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6600217B2 (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法
JP5907668B2 (ja) 撮像装置及び撮像素子
JP2017207695A (ja) 光学装置
JP5589799B2 (ja) 撮像装置
JP6802633B2 (ja) 撮像素子、撮像装置、画像生成方法、及びプログラム
JP5691440B2 (ja) 撮像装置
JP2023093855A (ja) 撮像装置及び撮像装置の制御方法、プログラム
JP6476630B2 (ja) 撮像装置
JP7397626B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5218611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees