JP4826152B2 - 画像合成方法及び撮像装置 - Google Patents

Description

本発明は、同一被写界の任意の距離にピントの合った画像を得るための画像合成方法及び撮像装置に関する。

一般のカメラ（特許文献１）による撮影後に、同一被写界の任意の距離にピントの合った画像を得るためには、カメラの撮影レンズの焦点をずらしながら繰り返し撮影を行い、撮影距離の異なる複数枚の画像データを取得しておく必要がある。
特開２００１−２１１４１８号公報

しかし、カメラの被写界中の物体は静止しているとは限らず、同一被写界の任意の距離にピントの合った画像を得ることができるのは、或る限られた撮影条件の下のみである。
そこで本発明は、１回の撮影で得られたデータから撮影後に任意の距離の面、又は任意の距離の物体にピントの合った画像を合成することのできる画像合成方法を提供することを目的とする。

また、本発明は、この画像合成方法を実現するために好適な撮像装置を提供することを目的とする。

本発明の画像合成方法は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置に適用される画像合成方法であって、前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する合成手順を含み、前記合成手順では、前記画素出力と、前記任意の像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成する。
また、本発明の別の画像合成方法は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置に適用される画像合成方法であって、前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する合成手順を含み、前記合成手順では、任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記像の画像データを合成する。

なお、前記複数個の画素は、互いに異なる分光感度特性を有し、かつモザイク状に配置された複数種類の画素を含み、前記合成手順では、前記複数種類の画素のうち最も配置密度の高い第１色成分の画素出力に基づいて前記任意の像面に関する第１色成分の画像データを合成するとともに、第２色成分の画素出力に基づいて前記任意の像面に関する第２色成分の画像データを合成し、合成された前記画像データの同じ位置における第１色成分に関する値と第２色成分との差を求め、この差に基づいて画像データを合成するものであってもよい。

また、本発明の別の画像合成方法は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置に適用される画像合成方法であって、前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する合成手順を含み、前記合成手順では、前記画素出力に基づいて、前記正レンズ毎に前記任意の像面の位置に応じた拡大率の個別画像データを作成し、隣接する前記正レンズに関する前記個別画像データどうしを所定量ずつずらして重ね合わせるとともに、対応する位置の個別画像データに関しては所定の重みで加重加算して前記画像データを作成する。

また、本発明の撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、前記結像光学系の任意の像面を指定像面として指定する像面位置指定手段と、前記撮像素子の画素出力に基づき、前記結像光学系の前記指定像面における像の画像データを合成する合成手段とを備え、前記合成手段は、前記画素出力と、前記指定像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成する。
また、本発明の別の撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、前記結像光学系の任意の像面を指定像面として指定する像面位置指定手段と、前記撮像素子の画素出力に基づき、前記結像光学系の前記指定像面における像の画像データを合成する合成手段とを備え、前記合成手段は、要求される任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記指定像面の像の画像データを合成する。

また、本発明の何れかの撮像装置において、前記複数個の画素は、互いに異なる分光感度特性を有し、かつモザイク状に配置された複数種類の画素を含み、前記合成手段は、前記複数種類の画素のうち最も配置密度の高い第１色成分の画素出力に基づいて前記指定像面に関する第１色成分の画像データを合成するとともに、第２色成分の画素出力に基づいて前記指定像面に関する第２色成分の画像データを合成し、合成された前記画像データの同じ位置における第１色成分に関する値と第２色成分との差を求め、この差に基づいて画像データを合成するものであってもよい。

また、前記合成手段は、要求される分解能に応じて間引き処理又は補間処理を行うものであってもよい。
また、前記合成手段は、前記指定像面の位置が前記撮像素子の共役面近傍であるときの前記補間処理に、前記指定像面と前記撮像素子との間の結像関係に応じた重み係数を使用するものであってもよい。

また、前記正レンズの後側に設けられた画素配列を構成する画素は、光電変換素子と、その上に設けられたマイクロレンズとからなってもよい。
また、前記マイクロレンズの光軸は、前記正レンズの光軸に対する前記マイクロレンズの光軸の位置に応じて偏移していてもよい。

本発明によれば、１回の撮影で得られたデータから撮影後に任意の距離にピントの合った画像を合成することのできる画像合成方法が実現する。
また、本発明によれば、この画像合成方法を実現するために好適な撮像装置が実現する。

［第１実施形態］
以下、第１実施形態を説明する。本実施形態は、撮像装置及びそれを用いた画像合成方法の実施形態である。
先ず、本撮像装置の構成を説明する。
図１は、本撮像装置の構成図である。図１に示すように、本撮像装置には、撮影レンズ（結像光学系に対応）１１、マイクロレンズアレイ（複数の正レンズに対応）１２、撮像素子１３、駆動回路１４、演算処理回路（合成手段に対応）１５、メモリ１６、制御回路１７、ユーザインタフェース１８などが備えられる。

撮影レンズ１１は、被写界からの光束をその焦点面近傍に結像する。その焦点面近傍に、マイクロレンズアレイ１２と撮像素子１３とが順に配置される。なお、図１では、マイクロレンズアレイ１２と撮像素子１３との間隔が広く描かれているが、実際は狭い。
撮影レンズ１１の焦点面近傍に入射した結像光束は、撮像素子１３において電気信号に変換される。この撮像素子１３は駆動回路１４によって駆動され、撮像素子１３からの出力信号は、この駆動回路１４を介して演算処理回路１５に取り込まれる。演算処理回路１５は、その出力信号に基づき被写界の画像データを合成する。合成された画像データは、メモリ１６に格納される。

また、以上の駆動回路１４、演算処理回路１５、メモリ１６は、制御回路１７によって制御される。制御回路１７は、ユーザインタフェース１８を介してユーザから入力された指示に従ってその制御を行う。
ユーザは、ユーザインタフェース１８を介して本撮像装置に対し撮影のタイミングを指定することができる。本実施形態では、どの被写体位置（距離）にピントの合った画像を合成するのか、また、どの絞り値に対応した画像を合成するのかを、撮影後にユーザが指定することができる（勿論、撮影前や撮影中に指定してもよい）。以下、指定された被写体位置を「指定像面」と称し、指定された絞り値を「指定絞り値」と称す。

次に、本撮像装置の光学系部分を簡単に説明する。
マイクロレンズアレイ１２は、正のパワーを有した複数のマイクロレンズＭＬを二次元状に並べてなる。図１では、マイクロレンズＭＬの縦方向の数及び横方向の数（配置密度）は、それぞれ５個となっているが、これらの数は、本撮像装置の画像データに必要な分解能に応じて適宜設定される。

撮像素子１３は、各マイクロレンズＭＬを通過した光を受光する画素配列１３０を、マイクロレンズＭＬに対応した配置パターンで配置してなる。
ここで、画素配列１３０は、光電変換素子受光部の開口がそのまま「画素」を形成する場合は勿論、各光電変換素子上に集光用マイクロレンズを設け、このマイクロレンズの開口が「画素」を形成する場合がある。これ以降は、光電変換素子を「画素」と表現し、マイクロレンズＭＬを通過した光を受光する複数の光電変換素子を「画素配列」と呼ぶことにする。

個々の画素配列１３０の縦方向の画素数及び横方向の画素数はそれぞれ３個以上である。図１では、画素配列１３０の縦方向の画素数及び横方向の画素数（画素密度）は、それぞれ５個となっているが、これらの数は、本撮像装置のユーザが指定可能な像面（撮影距離）の必要数に応じて適宜設定される（例えば、７×７＝４９個でもよい）。
ここで、これらの画素配列１３０は、個々のマイクロレンズＭＬを個別に透過した部分光束を個別に受ける必要がある。つまり、互いに隣接する画素配列１３０の間のクロストークは抑えられる必要がある。

そこで、マイクロレンズアレイ１２と撮像素子１３との間には、図２に示すような仕切部材２２が設けられることが望ましい。
或いは、仕切部材２２の代わりに、撮影レンズ１１の後側に、図３に示すように、適当な大きさの円形開口を有した絞り部材１１Ａが配置されてもよい。
本撮像装置においては、この絞り部材１１Ａの開口のサイズは、可変である必要は無い。なぜなら、本撮像装置の撮影レンズ１１の絞り値の変更は、演算処理回路１５における演算によって行われるからである。

なお、以下の説明では、これら仕切部材２２や絞り部材１１Ａについては言及せず、図示も省略する。
次に、本撮像装置の光学系部分を詳細に説明する。
図４は、本撮像装置の光学系部分を光軸（撮影レンズ１１の光軸）を含む面で切断してできる断面図である。図４において斜線で示す光束は、光軸近傍に配置された画素配列１３０の中央の画素ｃに入射する光束である。

図４に示すように、画素ｃに入射する光束は、撮影レンズ１１の瞳上の中心近傍の部分領域Ｃを透過した光束である。この画素ｃの隣接画素ｂに入射する光束は、撮影レンズ１１の瞳上の部分領域Ｃの隣接領域Ｂを透過した光束である。
このように、同一画素配列１３０内の画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光束は、撮影レンズ１１の瞳上の互いに異なる部分領域Ａ，Ｂ，Ｃ，Ｄ，Ｅを個別に透過した各光束である。

なお、図４では、マイクロレンズＭＬの前側の距離Ｌの位置において、マイクロレンズＭＬの配置ピッチＰと同等の幅を持つ領域Ｅ₀を通過した光が、マイクロレンズＭＬの後側の画素ｃ上に導かれることを示した。
このとき、画素ｃに入射する光束は、深度Ｌ内で径が略Ｐの柱状の光束となる。同様に、画素ｃの周囲の画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光束も、深度Ｌ内で径が略Ｐの柱状の光束となる。

このとき、本撮像装置は、深度Ｌ内の任意の面に形成された像の画像データを、少なくとも分解能Ｐで合成することができる。つまり、深度Ｌは、本撮像装置が少なくとも分解能Ｐで画像データを合成可能な範囲である。よって、以下では深度Ｌを、「合成範囲」という。
次に、個々のマイクロレンズＭＬの設計例を説明する。

図５は、マイクロレンズＭＬを介して画素ｃに入射する光束の詳細を拡大して示す図である。図５において、符号Ｄは、マイクロレンズＭＬの有効径（マイクロレンズＭＬの配置ピッチＰより若干小さい値）であり、符号Ｐｄは、画素配列１３０の画素ピッチである。図５に明らかなように、合成範囲Ｌの前端における幅Ｐの領域Ｅ₀は、マイクロレンズＭＬのパワーによって、マイクロレンズＭＬの後側の画素ｃに投影される。

図５において、符号Ｆｄで示す光束の広がりは、撮影レンズ１１の瞳上の部分領域Ｃを透過した光束の広がりに対応する。よって、この光束の広がりＦｄは、撮影レンズ１１の開放Ｆ値（Ｆ０）と瞳の１方向の分割数（瞳上の１方向の部分領域の数）とに応じた値に設定されている。例えば、
・撮影レンズ１１の開放Ｆ値Ｆ０＝４，
・画素配列１３０の１方向の画素数ｎ＝５，
であるときには、
・瞳の１方向の分割数＝ｎ＝５，
であるので、
・光束の広がりＦｄ＝Ｆ０×ｎ＝４×５＝２０，
に設定される（なお、光束の広がりの単位はＦ値）。

以上の説明では、光束の幾何学的な広がりしか考慮しなかったが、実際には、回折による広がりも持っている。以下では、回折による広がりを考慮する。
図６は、マイクロレンズＭＬを介して画素ｃに入射する光束の回折による広がりを説明する図である。
図６中に曲線で示すように、仮に画素ｃ上の１点から発した光はＬの距離位置で図示の回折による広がりを持つ。逆に、Ｌの位置で図示の広がりを持つ領域が、回折によるボケの広がりを意味することになる。

このため、画素ｃに投影される領域Ｅ₀の縁部は、図７に示すように、明確にはならずにぼける。同様に、撮影レンズ１１の瞳上の部分領域Ａ，Ｂ，Ｃ，Ｄ，Ｅ，・・の境界も、ぼける。この境界を或る程度明確にするためには、回折による光束の広がりを或る程度抑える必要がある。以下、具体的に示す。
先ず、この回折による光束の広がり（ぼけ）Ａは、マイクロレンズＭＬの有効径Ｄが小さいほど顕著になり、例えば、光の波長を約０．５μｍとすると、式（１）で表される。

Ａ≒Ｌ／Ｄ ・・・（１）
一方、回折による光束の広がりＡをＦ値の単位で表したものをＦａとおくと、それは式（２）で表される。
Ｆａ≒Ｌ／Ａ≒Ｄ ・・・（２）
式（１），（２）より、回折による光束の広がりＦａは、式（３）のとおり、殆どマイクロレンズＭＬの有効径Ｄのみによって表されることがわかる。

Ｆａ≒Ｄ ・・・（３）
そして、上述した境界を明確にするためには、この回折による光束の広がりＦａは、撮影レンズ１１の開放Ｆ値Ｆ０（例えばＦ０＝４）と比較して十分に小さく、例えば２／５以下、つまり式（４）を満たすことが望ましい。
Ｆａ＞１０・・・（４）
したがって、マイクロレンズＭＬの有効径Ｄは、式（５）を満たすことが望ましい。

Ｄ＞１０μｍ・・・（５）
なお、上述した境界をさらに明確にするためには、マイクロレンズＭＬの有効径Ｄは、式（６）を満たすことが望ましい。
Ｄ＞２０μｍ ・・・（６）
以上の条件（マイクロレンズＭＬに対する条件）を考慮した本撮像装置の仕様の例を、以下に示す。
・撮影レンズ１１の焦点距離ｆ＝９ｍｍ，
・撮影レンズ１１の開放Ｆ値Ｆ０＝４，
・画素配列１３０の１方向の画素数ｎ＝５，
・マイクロレンズＭＬの配置ピッチＰ＝１５μｍ，
・マイクロレンズＭＬの有効径Ｄ＝配置ピッチＰと略同じ≒１５μｍ，
・マイクロレンズアレイ１２のサイズ＝８．８×６．６ｍｍ，
・マイクロレンズＭＬの配置数＝５８６×４４０，
・合成範囲Ｌ＝ｎ×Ｆ＝３００μｍ，
・撮影距離に換算した合成範囲＝無限遠方〜２７０ｍｍ
なお、以上の説明では、図８（ａ）に示すように、画素ｃの共役面がマイクロレンズＭＬの前側の有限位置に設定されていたが、画素ｃの共役面は、図８（ｂ）に示すように、マイクロレンズＭＬの前側の無限遠方であってもよいし、図８（ｃ）に示すように、マイクロレンズＭＬの後側であってもよい。

図８（ａ）の場合、合成範囲Ｌは、マイクロレンズＭＬの前側の有限範囲となったが、図８（ｂ）の場合、合成範囲Ｌは、マイクロレンズＭＬの両側にまたがる有限範囲となり、図８（ｃ）の場合、合成範囲Ｌは、マイクロレンズＭＬの後側の有限範囲となる。
以下、合成範囲ＬがマイクロレンズＭＬの前側の有限範囲である（図８（ａ））として説明する。

次に、画像合成方法を説明する。この合成に必要な各処理は、演算処理回路１５（図１参照）によって行われる。
図９、図１０は、画像合成の原理を説明する図である。これらの図９，図１０において、符号Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅで示すのは、画素配列１３０内に１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅが個別に形成する画像データの概念である。

先ず、図９に示すように、指定像面の高さ（マイクロレンズアレイ１２からの距離）Ｚが０である場合を考える。
Ｚ＝０の面にピントの合った像が形成されている場合は、像Ｉ₀において、あるマイクロレンズの直上部分から射出した光束は、直ぐにマイクロレンズアレイ１２に入射して、同一画素配列１３０内の画素ａ，ｂ，ｃ，ｄ，ｅには、像Ｉ₀上の同一箇所の光が入射する。

このとき、画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅの間では、互いに同じ位置に像Ｉ₀が現れる。よって、これらの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを重ね合わせれば、指定像面（Ｚ＝０）の画像データを得ることができる。
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素による５つの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを重ね合わせるとしたが、実際は、各方向に並ぶ２５個の画素による２５個の画像データを重ね合わせる必要がある。

次に、図１０に示すように、指定像面の高さＺが０ではない場合を考える。
この面に形成される像Ｉ’の各位置から射出した光束は、発散した後にマイクロレンズアレイ１２に入射するので、像Ｉ’上の同一箇所から射出した各角度の光線は、角度により互いに異なるマイクロレンズＭＬに入射する。よって、同一のマイクロレンズＭＬに対応する画素配列１３０内の画素ａ，ｂ，ｃ，ｄ，ｅは、像Ｉ’上の少しずつ異なった箇所の光を受ける。

このとき、画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅの間では、互いにずれた位置に像Ｉ’が現れる。このずれ量は、指定像面の高さＺに依存する。よって、これらの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを、高さＺに応じた画像サイズに変更してマイクロレンズピッチずつずらして重ね合わせれば、指定像面（Ｚ≠０）の画像データを得ることができる。

なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素による５つの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを重ね合わせるとしたが、実際は、各方向に並ぶ２５個の画素による２５個の画像データを重ね合わせる必要がある。
以上のことから、本撮像装置では、２５個の画素による２５個の画像データを、指定像面の高さＺに応じた量だけ画像のサイズを変更してから、画像を縦横反転し、隣接するマイクロレンズに関するこれらの画像を所定量ずつずらして重ね合わせ、同じ位置に来た画素又は画素補間値を、重みを付けて加算合成すれば、その指定像面の全体の画像が得られる。

次に、画像合成の方法を詳しく説明する。
図１１は、指定像面が合成範囲内の特定の面（Ｚ＝０）であるときの合成方法を説明する図であり、図１２は、指定像面が合成範囲内の特定の面（Ｚ＝ｈ₁）であるときの合成方法を説明する図であり、図１３は、指定像面が合成範囲内の上記以外の或る面（Ｚ＝ｈ₂）であるときの合成方法を説明する図である。

これらの図１１、図１２、図１３には、撮像素子１３の５つの画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光線（マイクロレンズＭＬの中心を通る主光線のみ）を示した。また、各図中の各要素には、光軸と垂直な面内における座標を示すための添え字（１，２，３，・・・）を付した。
図１１、図１２、図１３において点線で示すのは、合成後の画像データの最小単位（仮想画素）であり、仮想画素の幅は、マイクロレンズＭＬの配置ピッチＰと同じである。

先ず、図１１に示すように、指定像面が合成範囲内の特定の面（Ｚ＝０）である場合について説明する。
この面の座標ｘ₅（マイクロレンズＭＬ₅に対向する幅Ｐの領域）からの射出光束（光線ｒ₁，ｒ₂，ｒ₃，ｒ₄，ｒ₅）は、画素ａ₅，ｂ₅，ｃ₅，ｄ₅，ｅ₅に個別に入射する。よって、画素ａ₅の出力値Ｏｕｔ（ａ₅）、画素ｂ₅の出力値Ｏｕｔ（ｂ₅）、画素ｃ₅の出力値Ｏｕｔ（ｃ₅）、画素ｄ₅の出力値Ｏｕｔ（ｄ₅）、画素ｅ₅の出力値Ｏｕｔ（ｅ₅）の和をとれば、その座標ｘ₅における仮想画素の画素値Ｌ（５）が求まる（式（１））。

Ｌ（５）＝Ｏｕｔ（ａ₅）＋Ｏｕｔ（ｂ₅）＋Ｏｕｔ（ｃ₅）＋Ｏｕｔ（ｄ₅）＋Ｏｕｔ
（ｅ₅） ・・・（１）
同様に、座標ｘ₅に隣接する座標ｘ₆における仮想画素の画素値Ｌ（６）は、式（１’）
により求めることができる。
Ｌ（６）＝Ｏｕｔ（ａ₆）＋Ｏｕｔ（ｂ₆）＋Ｏｕｔ（ｃ₆）＋Ｏｕｔ（ｄ₆）＋Ｏｕｔ（ｅ₆） ・・・（１’）
したがって、各座標ｘ₁，ｘ₂，ｘ₃，・・・における各仮想画素の画素値Ｌ（１），Ｌ
（２），Ｌ（３），・・・は、式（１”）によりそれぞれ求めることができる。

Ｌ（ｉ）＝Ｏｕｔ（ａ_i）＋Ｏｕｔ（ｂ_i）＋Ｏｕｔ（ｃ_i）＋Ｏｕｔ（ｄ_i）＋Ｏｕｔ（ｅ_i） ・・・（１”）
この式（１”）は、図９に示した画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅをそのまま重ね合わせることを示している。この式（１”）よって、指定像面（Ｚ＝０）の画像データが合成される。

なお、式（１”）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。
仮に、ユーザによる指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ₁，ｒ₂，ｒ₃，ｒ₄，ｒ₅からなる光束を、光線ｒ₃のみからなる光束に制限すればよいので、式（１”）に代えて式（２）を採用すればよい。

Ｌ（ｉ）＝Ｏｕｔ（ｃ_i）・・・（２）
また、ユーザによる指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ₁，ｒ₂，ｒ₃，ｒ₄，ｒ₅からなる光束を、光線ｒ₂，ｒ₃，ｒ₄のみからなる光束に制限すればよいので、式（１”）に代えて式（３）を採用すればよい。
Ｌ（ｉ）＝Ｏｕｔ（ｂ_i）＋Ｏｕｔ（ｃ_i）＋Ｏｕｔ（ｄ_i） ・・・（３）
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素の出力値の和をとったが、実際は、２方向に並ぶ２５個の画素の出力値の和をとる必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。）。

次に、図１２に示すように、指定像面が、合成範囲内の上記以外の或る面（Ｚ＝ｈ₁）である場合について説明する。
この面の座標ｘ₅（マイクロレンズＭＬ₅に対向する領域）からの射出光束（光線ｒ₁，ｒ₂，ｒ₃，ｒ₄，ｒ₅）は、画素ａ₃，ｂ₄，ｃ₅，ｄ₆，ｅ₇に個別に入射する。よって、画素ａ₃の出力値Ｏｕｔ（ａ₃）、画素ｂ₄の出力値Ｏｕｔ（ｂ₄）、画素ｃ₅の出力値Ｏｕｔ（ｃ₅）、画素ｄ₆の出力値Ｏｕｔ（ｄ₆）、画素ｅ₇の出力値Ｏｕｔ（ｅ₇）の和（より正確には入射角に依存した重み付け和）をとれば、その座標ｘ₅における仮想画素の画素値Ｌ（５）が求まる（式（４））。

Ｌ（５）＝Ｏｕｔ（ａ₃）＋Ｏｕｔ（ｂ₄）十Ｏｕｔ（ｃ₅）＋Ｏｕｔ（ｄ₆）＋Ｏｕｔ（ｅ₇）・・・（４）
同様に、座標ｘ₅に隣接する座標ｘ₆における仮想画素の画素値Ｌ（６）は、式（４’）により求めることができる。
Ｌ（６）＝Ｏｕｔ（ａ₄）＋Ｏｕｔ（ｂ₅）＋Ｏｕｔ（ｃ₆）＋Ｏｕｔ（ｄ₇）＋Ｏｕｔ（ｅ₈） ・・・（４’）
したがって、各座標ｘ₁，ｘ₂，ｘ₃，・・・における各仮想画素の画素値Ｌ（１），Ｌ
（２），Ｌ（３），・・・は、式（４”）によりそれぞれ求めることができる。

Ｌ（ｉ）＝Ｏｕｔ（ａ_i-2）＋Ｏｕｔ（ｂ_i-1）＋Ｏｕｔ（ｃ_i）＋Ｏｕｔ（ｄ_i+1）＋Ｏｕｔ（ｅ_i+2） ・・・（４”）
この式（４”）は、図１０に示した画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを指定像面の高さＺに応じた量（ここでは仮想画素１つ分）だけずらして重ね合わせることを示している。これによって、指定像面（Ｚ＝ｈ₁）の画像データが合成される。

なお、この式（４”）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。
仮に、ユーザによる指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ₁，ｒ₂，ｒ₃，ｒ₄，ｒ₅からなる光束を、光線ｒ₃のみからなる光束に制限すればよいので、式（４”）に代えて式（５）を採用すればよい。

Ｌ（ｉ）＝Ｏｕｔ（ｃ_i）・・・（５）
また、ユーザによる指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ₁，ｒ₂，ｒ₃，ｒ₄，ｒ₅からなる光束を、光線ｒ₂，ｒ₃，ｒ₄のみからなる光束に制限すればよいので、式（４”）に代えて式（６）を採用すればよい。
Ｌ（ｉ）＝Ｏｕｔ（ｂ_i-1）＋Ｏｕｔ（ｃ_i）＋Ｏｕｔ（ｄ_i+1） ・・・（６）
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素の出力値の和をとったが、実際は、２方向に並ぶ２５個の画素の出力値の和をとる必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。）。

次に、図１３に示すように、指定像面が、合成範囲内の上記以外の或る面（Ｚ＝ｈ₂）である場合について説明する。
この面の座標ｘ₅（マイクロレンズＭＬ₅に対向する領域）からの射出光束（光線ｒ₁，ｒ₂，ｒ₃，ｒ₄，ｒ₅）は、複数の画素にまたがって入射する。
例えば、光線ｒ₁に着目すると、画素ａ₃，ｂ₃にまたがって入射する。このとき、光線ｒ₁の光量は、画素ａ₃の出力値Ｏｕｔ（ａ₃）と画素ｂ₃の出力値Ｏｕｔ（ｂ₃）との重み付け和によって求まる（式（７））。

Ｏｕｔ（ａ₃）×ｑ₁＋Ｏｕｔ（ｂ₃）×ｑ₂ ・・・（７）
ここで、重み係数ｑ₁，ｑ₂の和は、指定像面の高さＺに依存して決まる定数である。
したがって、各座標ｘ₁，ｘ₂，ｘ₃，・・・における各仮想画素の画素値Ｌ（１），Ｌ（２），Ｌ（３），・・・は、複数の出力値の重み付け和、しかも、指定像面の高さＺに依存して決まる重み係数による重み付け和によって求める必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減する）。

以上のことから、本撮像装置では、指定像面の画像データを合成するに当たり、指定像面が特定の限られた面でなくとも、複数の出力値の重み付け和をとることで、画像の合成ができる。
因みに、指定像面が図１１、図１２に示した特定の面（Ｚ＝０，Ｚ＝ｈ₁）である場合にも、主光線以外の光線まで考慮し、それに関係する全ての出力値の重み付け和をとれば、より高い精度で合成を行うことができる。

次に、重み係数の具体例を説明する。
図１４、図１５、図１６には、座標ｘ₅に位置する仮想画素の画素値Ｌ（５）を求めるときの重み係数の例を示した。ここでは、ユーザによる指定絞り値が開放である場合の例を説明する。また、簡単のため、１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄのみに着目する。

図１４は、指定像面が合成範囲内の特定の面（Ｚ＝０）であるときの例であり、図１５は、指定像面が合成範囲内の別の特定の面（Ｚ＝ｈ₁）であるときの例であり、図１６は、指定像面が合成範囲内の一般の面（Ｚ＝ｈ₂）であるときの例である。
図１４、図１５、図１６において、各画素に対応付けられたバーの長さが、各画素の出力値にかかる重み係数の値（相対値）を示している。重みの最適な値は、実験的に求めることができる。

因みに、図１４の例に倣って指定像面の画像データを一括で求めるときには、以下の演算式を採用すればよい。

また、図１５の例に倣って指定像面の画像データを一括で求めるときには、以下の演算式を採用すればよい。

因みに、これらの演算式において、重み係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５の値は、図１４、図１５の各バーの長さに相当する。但し、図１４、図１５に示した例は、ユーザによる指定絞り値を開放（開口サイズ最大）としたときの例であるので、仮に、ユーザによる設定絞り値が中間値（開口サイズ中間）であるときには、重み係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５のうち係数ｗ１，ｗ５の値は、極めて小さい値に設定される。また、ユーザによる指定絞り値が最大（開口サイズ最小）であるときには、重み係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５のうち係数ｗ１，ｗ２，ｗ４，ｗ５の値は、極めて小さい値に設定される。

以上のことから、本撮像装置では、撮像素子１３の全画素の出力値からなる出力値ベクトルに対し、重み係数マトリクスを乗算することにより、指定像面の画像データを合成する。
この出力値ベクトルの縦方向のサイズは、撮像素子１３の全画素数に一致する。また、重み係数マトリクスの横方向のサイズは、出力値ベクトルの縦方向のサイズに一致する。また、重み係数マトリクスの縦方向のサイズは、合成すべき画像データの仮想画素の画素数に一致する。

そして、この重み係数マトリクスの内容は、ユーザによる指定像面の高さＺと、ユーザによる指定絞り値とに応じて決定される。この決定は、演算処理回路１５によって適宜行われる。
なお、この決定にかかる処理を簡単にするために、予め複数種類の重み係数マトリクスがメモリ１６（図１参照）に格納されてもよい。その場合、演算処理回路１５は、それら重み係数マトリクスのうち１つを、ユーザによる指定像面及び指定絞り値に応じて選択使用すればよい。

また、本撮像装置においては、画像データの分解能をユーザが指定できるように構成されていてもよい。分解能の指定は、像面の指定や、絞り値の指定と同様、ユーザインタフェース１８を介して行われる。また、画像データの分解能の設定は、画素配列１３０の出力値（及び／又は画像データの仮想画素の画素値）を、演算処理回路１５が必要に応じて補間処理又は間引き処理をすることによって行われる。

実際的には、指定像面の位置（マイクロレンズアレイ面からの距離）が決まると、それに応じて各マイクロレンズ下の画素配列の画像サイズを変更（距離が離れる程拡大）し、隣接するマイクロレンズに関するこれらの画像データを反転した後に相互に所定量ずつずらして加算合成して全体画像を作成するのが効率的である。この場合、指定絞り値（絞り条件）に応じて加算合成の重みを変更する。

［第２実施形態］
以下、第２実施形態を説明する。本実施形態は、画像データの分解能を高めるときの画像合成方法の一例である。但し、本合成方法が適用できるのは、指定像面が合成範囲Ｌの前端近傍であるとき（Ｚ≒Ｌのとき）のみである。
本合成方法では、図１７に示すとおり、仮想画素の幅を、マイクロレンズＭＬの配置ピッチＰよりも狭い幅ω（例えばω＝Ｐ／２）に設定する。この幅ωの仮想画素の画素値を求めるために、先ず、画素配列１３０内の画素補間が行われる。

図１７（ａ）の右方に示した棒状のグラフは、画素配列１３０内に並ぶ５つの画素の出力値の分布を示している。これら５つの画素の出力値に補間処理を施すと、曲線で示すような滑らかな分布が得られる。よって、例えば、図１７（ｂ）に実線で示すように、画素配列１３０内に５つ以上（以下、９つとする）の画素が並べられたときと同等の９個の画素値が得られる。

一方、幅ωの仮想画素からの射出光束は、図１７（ｂ）に点線で示すような光量分布で９つの画素上に入射する。
この光量分布の分布曲線Ｗは、仮想画素と画素配列１３０との間の結像関係から、仮想画素の座標（Ｘ，Ｙ，Ｚ）と、仮想画素の幅ωと、射出光束の立体角度Ωとに依存する。
したがって、この分布曲線Ｗ（Ｘ，Ｙ，Ｚ，ω，Ω）に応じた重み係数を、前述の９つの画素値に乗算して和をとれば、仮想画素からの射出光束の光量を高精度に求めることができる。

そして、このような重み付け和を、仮想画素から各角度で射出する各光束についてそれぞれ行い、さらにそれらの和（又は重み付け和）をとれば、仮想画素の画素値が求まる。
さらに、この演算を指定像面の全ての仮想画素についてそれぞれ行えば、分解能ωで指定像面の画像データを合成することができる。
ここで、以上の本合成方法においても、演算の基礎となるデータは第１実施形態のそれと同じ（つまり撮像素子１３の全画素の画素出力）である。したがって、本合成方法に基づき重み係数マトリクスを決定しておけば、第１実施形態と同様に、出力値ベクトルに重み係数マトリクスを乗算するだけで、指定像面の画像データを一括で求めることができる。

但し、本合成方法では、分解能を高めた分だけ（仮想画素の数が増えた分だけ）、重み係数マトリクスの縦方向のサイズも増大する。
［第３実施形態］
以下、第３実施形態を説明する。本実施形態は、第１実施形態の撮像装置及び画像合成方法を１部変更したものである。ここでは、変更点のみ説明する。

本撮像装置の撮像素子１３の個々の画素配列１３０には、図１８（ａ）に示すようなカラーフィルタアレイが設けられている。
カラーフィルタアレイは、画素配列１３０の画素に入射する可視光を赤色成分のみに制限するフィルタＲ、緑色成分のみに制限するフィルタＧ、青色成分のみに制限するフィルタＢをベイヤ配列してなる。ベイヤ配列は、画素配列１３０上に市松状に並ぶ各画素にフィルタＧを設け、その間隙の各画素に、フィルタＲ，Ｂを交互に設ける配列である。

以下、フィルタＧの設けられた画素を「Ｇ画素」、フィルタＲの設けられた画素を「Ｒ画素」、フィルタＢの設けられた画素を「Ｂ画素」という。
本合成方法では、このベイヤ配列に応じて、図１８（ｂ），（ｃ）に示すように、公知の補間方法で画素補間を行う。
すなわち、１２個のＧ画素の画素出力を補間して画素配列１３０の全体の２５個のＧ画素の画素値を得る。また、６個のＲ画素の画素出力を補間して画素配列１３０の全体の２５個のＲ画素の画素値を得る。また、６個のＢ画素の画素出力を補間して画素配列１３０の全体の２５個のＢ画素の画素値を得る。この各面に、前の実施形態で説明した処理を行えば、カラー画像が得られる。

なお、本合成方法の手順では、画素補間を色成分毎に独立して行ったので、配置密度の低いＲ画素の補間誤差と、Ｂ画素の補間誤差とが、配置密度の高いＧ画素の補間誤差よりも大きくなる傾向にある。それを改善し、更に画質を向上させるには、先ず、密度の高い緑色（Ｇ色）に関して、指定像面に関する全画像データの合成を行っておき、ついで赤色（Ｒ面）のデータは補間せずに前記指定像面へ投影し、投影された位置にあるＧの値（若しくはＧの補間値）との差分Ｃｒ＝Ｒ−Ｇを作成し、しかる後に、Ｃｒとして補間を行うことが好ましい。こうしてＣｒの全画像データが得られたら、Ｒ＝Ｃｒ＋Ｇにより、赤色（Ｒ色）の全画像データが得られる。青色の画像データ（Ｂ面）も同様にして形成される。

なお、本撮像装置のカラーフィルタアレイには、ベイヤ配列を適用したが、他の配列、例えば、ストライプ状にフィルタＧを配置すると共にフィルタＣの列の間の列にフィルタＲ，Ｂを交互に配置するものなどが適用されてもよい。
［その他］
なお、画素配列１３０の各画素を構成する光電変換素子受光部の間隙には、転送部などが配置されることが多いので、その間隙はあまり小さくならない。よって、そのままでは、間隙に入射する光線がロスになってしまう。

そこで、本撮像装置においては、図１９（ａ）に示すように、各画素への集光率を高めるために、画素ピッチと同等の径を持つマイクロレンズＭＬ’を光電変換素子受光部上に設けてもよい。
なお、画素配列１３０の縁部の画素への集光率は、他の画素への集光率よりも低くなりがちなので、図１９（ｂ）に矢印で示すように、画素配列１３０の縁部では、画素を構成するこの２層目のマイクロレンズの光軸を光電変換素子受光部中心から若干内側にずらしておくと、その画素への集光率を、中心の画素への集光率に近づけることができるので好ましい。

また、本撮像装置においては、図２０に示すように、マイクロレンズアレイ１２の直前にフィールドレンズＦＬを配置してもよい。フィールドレンズＦＬを配置すれば、像高の高い位置に配置されたマイクロレンズＭＬに入射する光束の角度が抑えられるので好ましい。
また、本撮像装置においては、複数の区分的な画素配列１３０を二次元状に配置した撮像素子１３が用いられたが（図１参照）が、全体に一様に画素を配列した通常の撮像素子を用意し、その必要な部分を選択的に使うようにしてもよい。

また、本撮像装置には、モニタなどの表示部が備えられてもよい。その場合、合成した画像データや、その画像データに付随する情報などを表示部に表示させてもよい。
また、本撮像装置は、像面及び絞り値をユーザに指定させるタイミングは、撮影後、意図によって自由に変更できることが大きな利点であったが、勿論、撮影前の指定を反映するようにしてもよい。

また、上記説明では、指定像面が１つの場合であったが、複数であってもよい。撮影後、任意のピント面を多数自在に再現できる点が、本発明の特徴である。因みに、複数の指定像面の画像データは、三次元の画像を表すので、本発明は、三次元撮像装置として使うことができる。
また、本撮像装置は、像面の代わりに撮影ポイントを指定させてもよい。その場合、本撮像装置は、撮影ポイント（指定点）の輝度データのみを合成すればよい。

その他、ユーザが指定可能な項目に、「撮影範囲」が加えられてもよい。その場合、本撮像装置は、指定された撮像範囲内の画像データのみを合成すればよい。
また、本撮像装置では、画像合成に関わる全ての処理を演算処理回路１５が実行しているが、その処理の一部又は全部は、撮像装置の外部のコンピュータが実行してもよい。その場合、コンピュータには、予め、画像合成のためのプログラムがインストールされる。

本撮像装置の構成図である。 クロストーク防止用の仕切部材を示す図である。 絞り部材１１Ａを示す図である。 本撮像装置の光学系部分を光軸を含む面で切断してできる断面図である。 画素ｃに入射する光束の詳細を拡大して車す図である。 画素ｃに入射する光束の回折による広がりを説明する図である。 画素ｃに投影される領域Ｅ₀の縁のぼけの様子を示す概念図である。 マイクロレンズＭＬによる画素ｃの共役面の位置のバリエーションを示す図である。 画像合成の原理を説明する図である（Ｚ＝０の例）。 画像合成の原理を説明する図である（Ｚ≠０の例）。 指定像面が合成範囲内の特定の面（Ｚ＝０）であるときの合成方法を説明する図である。 指定像面が合成範囲内の特定の面（Ｚ＝ｈ₁）であるときの合成方法を説明する図である。 指定像面が合成範囲内の一般の面（Ｚ＝ｈ₂）であるときの合成方法を説明する図である。 指定像面が合成範囲内の特定の面（Ｚ＝０）であるときの重み係数の例を示す図である。 指定像面が合成範囲内の別の特定の面（Ｚ＝ｈ₁）であるときの重み係数の例を示す図である。 指定像面が合成範囲内の一般の面（Ｚ＝ｈ₂）であるときの重み係数の例を示す図である。 第２実施形態の画像合成方法を説明する図である。 第３実施形態の撮像装置及び画像合成方法を説明する図である。 マイクロレンズＭＬ’を設けた画素配列１３０を示す図である。 フィールドレンズＦＬを配置した撮像装置を示す図である。

符号の説明

１１ 撮影レンズ
１２ マイクロレンズアレイ
１３ 撮像素子アレイ
ＭＬ マイクロレンズ
１３０ 撮像素子
１４ 駆動回路
１５ 演算処理回路
１６ メモリ
１７ 制御回路
１８ ユーザインタフェース
２２ 仕切り部材
１１Ａ 絞り部材
ａ，ｂ，ｃ，ｄ，ｅ 画素

Claims (11)

1. 結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
   前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、
   前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置に適用される画像合成方法であって、
   前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する合成手順を含み、
   前記合成手順では、
   前記画素出力と、前記任意の像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成する
   ことを特徴とする画像合成方法。
2. 結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
   前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、
   前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置に適用される画像合成方法であって、
   前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する合成手順を含み、
   前記合成手順では、
   任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記像の画像データを合成する
   ことを特徴とする画像合成方法。
3. 請求項１又は請求項２に記載の画像合成方法において、
   前記複数個の画素は、
   互いに異なる分光感度特性を有し、かつモザイク状に配置された複数種類の画素を含み、
   前記合成手順では、
   前記複数種類の画素のうち最も配置密度の高い第１色成分の画素出力に基づいて前記任意の像面に関する第１色成分の画像データを合成するとともに、第２色成分の画素出力に基づいて前記任意の像面に関する第２色成分の画像データを合成し、合成された前記画像データの同じ位置における第１色成分に関する値と第２色成分との差を求め、この差に基づいて画像データを合成する
   ことを特徴とする画像合成方法。
4. 結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
   前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、
   前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置に適用される画像合成方法であって、
   前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する合成手順を含み、
   前記合成手順では、
   前記画素出力に基づいて、前記正レンズ毎に前記任意の像面の位置に応じた拡大率の個別画像データを作成し、隣接する前記正レンズに関する前記個別画像データどうしを所定量ずつずらして重ね合わせるとともに、対応する位置の個別画像データに関しては所定の重みで加重加算して前記画像データを作成する
   ことを特徴とする画像合成方法。
5. 結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
   前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、
   前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、
   前記結像光学系の任意の像面を指定像面として指定する像面位置指定手段と、
   前記撮像素子の画素出力に基づき、前記結像光学系の前記指定像面における像の画像データを合成する合成手段とを備え、
   前記合成手段は、
   前記画素出力と、前記指定像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成する
   ことを特徴とする撮像装置。
6. 結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
   前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、
   前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、
   前記結像光学系の任意の像面を指定像面として指定する像面位置指定手段と、
   前記撮像素子の画素出力に基づき、前記結像光学系の前記指定像面における像の画像データを合成する合成手段とを備え、
   前記合成手段は、
   要求される任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記指定像面の像の画像データを合成する
   ことを特徴とする撮像装置。
7. 請求項５又は請求項６に記載の撮像装置において、
   前記複数個の画素は、
   互いに異なる分光感度特性を有し、かつモザイク状に配置された複数種類の画素を含み、
   前記合成手段は、
   前記複数種類の画素のうち最も配置密度の高い第１色成分の画素出力に基づいて前記指定像面に関する第１色成分の画像データを合成するとともに、第２色成分の画素出力に基づいて前記指定像面に関する第２色成分の画像データを合成し、合成された前記画像データの同じ位置における第１色成分に関する値と第２色成分との差を求め、この差に基づいて画像データを合成する
   ことを特徴とする撮像装置。
8. 請求項５〜請求項７の何れか一項に記載の撮像装置において、
   前記合成手段は、
   要求される分解能に応じて間引き処理又は補間処理を行う
   ことを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記合成手段は、
   前記指定像面の位置が前記撮像素子の共役面近傍であるときの前記補間処理に、前記指定像面と前記撮像素子との間の結像関係に応じた重み係数を使用する
   ことを特徴とする撮像装置。
10. 請求項５〜請求項９の何れか一項に記載の撮像装置において、
    前記正レンズの後側に設けられた画素配列を構成する画素は、
    光電変換素子と、その上に設けられたマイクロレンズとからなる
    ことを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置において、
    前記マイクロレンズの光軸は、
    前記正レンズの光軸に対する前記マイクロレンズの光軸の位置に応じて偏移している
    ことを特徴とする撮像装置。

Images