JP2023016864A - 撮像装置および方法 - Google Patents

Abstract

【課題】レンズレス撮像装置に関して、撮像に適した画像センサの特性や構造等を提供する。【解決手段】撮像装置は、撮影用パターンに基づいて光の強度を変調する変調器と、変調後の光に基づいてセンサ画像を生成する画像センサと、画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、を備える。撮像装置は、画像センサの面内において、複数の画素の各画素の受光部の中心位置と、複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有する。この特性は、隣接する各画素間でのずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも１つ以上持つ特性である。【選択図】図３０

Description

本発明は、撮像装置の技術に関する。

撮像装置に関する先行技術例として、国際公開第２０１７／１４９６８７号（特許文献１）がある。特許文献１には、「格子基板を透過する光線の入射角度の検出を容易化することにより、撮像装置の高機能化が可能な撮像装置を得る。撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第１の格子パターンを有し、前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の同心円から構成される仮想的な第２の格子パターンで変調することでモアレ縞画像を生成し、フォーカス位置に応じて前記第２の格子パターンの同心円の大きさを変更することを特徴とする撮像装置で解決できる。」（要約）と記載されている。

国際公開第２０１７／１４９６８７号

先行技術例のように、カメラを含む撮像装置として、レンズを使用しないレンズレスカメラを含むレンズレス撮像装置が提案されており、小型・低コストを実現できる撮像装置として期待されている。また、撮像装置のネットワーク接続は、画像解析等の撮像装置の適用範囲拡大に必須となってきている。

しかしながら、先行技術例のレンズレス撮像装置は、撮像に適した画像センサの特性に関して検討の余地がある。特許文献１では、レンズレス撮像装置で撮像する際の好適な画像センサの特性については述べられていない。

本発明の目的は、レンズレス撮像装置の技術に関して、撮像に適した画像センサの特性や構造および処理方法等の技術を提供することである。

本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の撮像装置は、撮影用パターンに基づいて、入射される光の強度を変調する変調器と、前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、を備え、前記画像センサの面内において、前記複数の画素の各画素における受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、前記特性は、隣接する前記各画素間での前記ずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも１つ以上持つ特性である。

本発明のうち代表的な実施の形態によれば、レンズレス撮像装置に関して、撮像に適した画像センサの特性や構造および処理方法等を提供できる。

本発明の実施の形態１の撮像装置の構成例を示す図。 実施の形態１で、撮像部の構成例を示す図。 実施の形態１の変形例で、撮像部の構成例を示す図。 実施の形態１で、撮影用パターンまたは現像用パターンの構成例を示す図。 実施の形態１で、撮影用パターンまたは現像用パターンの構成例を示す図。 実施の形態１で、パターン基板への光入射に関する説明図。 実施の形態１で、撮影用パターンの投影像の構成例を示す図。 実施の形態１で、現像用パターンの構成例を示す図。 実施の形態１で、相関現像方式による現像画像の構成例を示す図。 実施の形態１で、モアレ現像方式によるモアレ縞の構成例を示す図。 実施の形態１で、モアレ現像方式による現像画像の構成例を示す図。 実施の形態１で、初期位相の異なる複数のパターンの組合せの構成例を示す図。 実施の形態１で、空間分割方式の撮影用パターンの構成例を示す図。 実施の形態１で、フリンジスキャン演算処理のフロー図。 実施の形態１で、相関現像方式による画像処理のフロー図。 実施の形態１で、モアレ現像方式による画像処理のフロー図。 実施の形態１で、無限距離物体の場合に撮影用パターンが投影されることを示す図。 実施の形態１で、有限距離物体の場合に撮影用パターンが拡大されることを示す図。 実施の形態１に関する比較例で、画像センサにおける画素とマイクロレンズの配置の構成例を示す図。 実施の形態１に関する比較例で、１個の画素に関する光入射を示す説明図。 一般的な画像センサに関するＣＲＡ特性の例を示す図。 一般的な画像センサに関するＣＲＡ特性の実測の例を示す図。 実施の形態１に関する比較例で、像側テレセントリック光学系の例を示す図。 実施の形態１に関する比較例で、非テレセントリック光学系の例を示す図。 実施の形態１に関する比較例で、画像センサにおける画素とマイクロレンズの配置の構成例を示す図。 実施の形態１に関する比較例で、センサ画像のシェーディングの例を示す図。 画素とマイクロレンズとの相対位置ずれの例を示す図。 画素とマイクロレンズとの相対位置ずれに関する画像センサ面内での変化の例を示す図。 画素間のピッチおよびマイクロレンズ間のピッチ等の例を示す図。 実施の形態１で、画素センサにおける画素とマイクロレンズとの配置の構成例を示す図。 実施の形態１で、画像センサ面内での画素とマイクロレンズとの相対位置ずれの変化の構成例を示す図。 実施の形態１で、画像センサ全体でのＣＲＡ特性の例を示す図。 実施の形態１の変形例における、画素とマイクロレンズの配置の構成例を示す図。 本発明の実施の形態２の撮像装置における、画像センサの面内での画素とマイクロレンズとの相対位置ずれの変化の構成例を示す図。 実施の形態２で、センサ画像のシェーディングの例を示す図。 実施の形態２で、画素とマイクロレンズとの相対位置ずれに関する処理分割方法の例を示す図。 実施の形態２で、ユニット内の分割の例を示す図。 実施の形態２に関する、現像画像のＰＳＦの例を示す図。 実施の形態２の変形例における相対位置ずれおよび処理分割方法を示す図。 各実施の形態の補足として、相互相関演算の例を示す図。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。以下、必要に応じて、複数のセクションや実施の形態に分けて説明する。それらは互いに変形例、詳細、補足説明等の関係を持つ。また、以下、構成要素の数、量、範囲、寸法、形状、位置関係等に言及する場合、特定の数等には限定されない。構成要素の形状等は、近似または類似の形状等を含む。

（実施の形態１）
図１～図３３等を用いて、本発明の実施の形態１の撮像装置および撮像方法について説明する。実施の形態１の撮像方法は、実施の形態１の撮像装置で実行されるステップを有する方法である。実施の形態１の撮像装置は、実施の形態１の撮像方法を実装した撮像装置である。

＜無限遠物体の撮像原理＞
以下では、主に無限遠物体の撮像原理等について説明する。

［撮像装置］
図１は、実施の形態１の撮像装置の構成例を示す。図１の撮像装置１は、結像させるレンズを用いることなく、外界の物体の画像を取得するレンズレスカメラである。撮像装置１は、撮像部１０２、フリンジスキャン処理部１０６、画像処理部１０７、およびコントローラ１０８を有する。撮像部１０２は、画像センサ１０３、マイクロレンズアレイ１４０、および変調器１１０を有する。変調器１１０は、パターン基板１０４および撮影用パターン１０５を有する。画像センサ１０３は、光を電気信号に変換し、センサ画像を生成するデバイスである。変調器１１０は、パターン基板１０４と撮影用パターン１０５とを合わせた部分であり、撮影用パターン１０５に基づいて、画像センサ１０３に入射され検出される光の強度を変調するデバイスである。

図２は、撮像部１０２の構成例における構成要素の分解図を示す。なお、説明上の方向として、ｘ軸方向，ｙ軸方向，ｚ軸方向を用いる。ｘ軸方向およびｙ軸方向は、画像センサ１０３等の主面を構成する直交する２つの方向であり、ｚ軸方向は、その主面に対して垂直な、光軸や厚さ等に対応する方向であり、図示での上下方向である。画像センサ１０３の受光面（図示の上側の面）には、複数の画素３０がアレイとして配列されている。画像センサ１０３の受光面の上側には、後述のマイクロレンズアレイ１４０が配置されている。画像センサ１０３の受光面の上側には、マイクロレンズアレイ１４０を介して、パターン基板１０４が配置されている。パターン基板１０４は、例えばマイクロレンズアレイ１４０に密着して固定されるが、それに限らず、間隔を置いて配置されてもよい。

パターン基板１０４は、図示の上側の面に、撮影用パターン１０５が形成されている。パターン基板１０４は、例えばガラスやプラスティック等の可視光に対して透明な材料から構成される。撮影用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法等を用いてアルミニウムやクロム等の金属を蒸着することによって形成されてもよい。撮影用パターン１０５は、例えばアルミニウムが蒸着されたパターンと蒸着されていないパターンとによって、透過率変調のための濃淡がつけられる。なお、撮影用パターン１０５の形成の方式や手段は、これに限定されず、例えばインクジェットプリンタによる印刷等によって濃淡をつける方式等、透過率変調を実現できる手段であればよい。また、ここでは、可視光を例に説明するが、これに限らず、パターン基板１０４は、撮影対象となる波長に対して透過性を持つ材料を用い、撮影用パターン１０５は、透過および遮断が可能な材料を用いればよい。例えば、遠赤外線の撮影を行う撮像装置１とする場合、パターン基板１０４は、例えばゲルマニウム、シリコン、カルコゲナイド等の遠赤外線に対して透過性を持つ材料を用い、撮影用パターン１０５は、遠赤外線に対して透過および遮断が可能な材料を用いればよい。なお、ここでは、撮影用パターン１０５をパターン基板１０４に形成する方式の場合を述べたが、これに限らず、表示素子を用いる等、他の方式としてもよい。

図３は、変形例として、他の方式における撮像部１０２の構成を示す。図３の撮像部１０２は、撮影用パターン１０５が薄膜に形成されており、この撮影用パターン１０５が、支持部材３０１によって、画像センサ１０３等に対し保持される構成である。

なお、図１および図２の方式の撮像装置１では、撮影画角は、パターン基板１０４の厚さによって変更可能である。よって、例えばパターン基板１０４が、図３の構成を有し、支持部材３０１の図示のｚ軸方向での長さを変更可能な機能を有する構成とすれば、撮影時に画角を変更できる機能が実現できる。

図２で、画像センサ１０３の図示の上側の表面には、受光素子である画素３０が、例えば格子状に規則的に配置されている。この画像センサ１０３は、画素３０が受光した光画像を、電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号は、図１のように、フリンジスキャン処理部１０６を経由して、画像処理部１０７によって画像処理され、コントローラ１０８を経由して出力される。

上記撮像装置１の構成において、撮影する場合に、撮影用パターン１０５を透過する光は、撮影用パターン１０５によって光強度が変調される。変調器１１０を透過した変調後の光は、マイクロレンズアレイ１４０を透過して画像センサ１０３にて受光される。画像センサ１０３から出力された画像信号は、フリンジスキャン処理部１０６によってノイズキャンセルされる。ノイズキャンセル後の信号は、画像処理部１０７によって画像処理されて像が復元される。画像処理後の画像データは、コントローラ１０８に対して出力される。コントローラ１０８は、画像処理部１０７の出力の画像データを、ホストコンピュータや外部記録媒体等に出力する場合には、ＵＳＢ等のインターフェイスに適合するようにデータ形式を変換して出力する。なお、撮像装置１内のメモリに画像信号や画像データ等を記憶してもよい。

［撮影原理］
続いて、撮像装置１における撮影原理について説明する。まず、撮影用パターン１０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンである。撮影用パターン１０５は、同心円の中心である基準座標からの半径ｒ、係数βを用いて、下記の式１で定義する。撮影用パターン１０５は、式１のＩ（ｒ）に比例して透過率変調されているものとする。

このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図４は、撮影用パターン１０５の構成例として、式１のガボールゾーンプレートの例を示す。このガボールゾーンプレートは、多値の濃淡を持つ透過率変調パターンである。図５は、撮影用パターン１０５の他の構成例として、式１を閾値１で２値化した、フレネルゾーンプレートの例を示す。このフレネルゾーンプレートは、２値の濃淡を持つ透過率変調パターンである。白部分は透過、黒部分は非透過に対応付けられる。撮影用パターン１０５に対応して存在する現像用パターンも、同様に模様を持つ。なお、以降では簡単化のために、主に図２のｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで、２次元に展開して考えることができる。

図６は、パターン基板１０４に関する説明図である。図６を用いて、斜め入射平行光によるパターン基板１０４の表面の撮影用パターン１０５から画像センサ１０３への射影像が面内ずれを生じることについて説明する。図６のように、撮影用パターン１０５が形成された厚さｄを持つパターン基板１０４に、ｘ軸方向に角度θ０で平行光が入射したとする。パターン基板１０４中の屈折角をθとして、幾何光学的には、パターン基板１０４の表面の撮影用パターン１０５の模様の透過率が乗じられた光が、図示のｋ＝ｄ・ｔａｎθの量に対応する分だけ屈折して、画像センサ１０３に入射する。このとき、下記の式２のような強度分布を持つ投影像が、画像センサ１０３上で検出される。なお、式２のΦは、式１の透過率分布の初期位相を示す。

図７は、この撮影用パターン１０５の投影像７０１の例を示す。この投影像７０１は、式２のように、ｋシフト（＝シフト量ｋでのシフト）して投影される。この投影像７０１が、撮像部１０２の出力となる。

図８は、現像用パターン８０１を示す。図８の現像用パターン８０１は、図５の撮影用パターン１０５に対応した例である。画像処理部１０７は、このような現像用パターン８０１を用いて現像処理を行う。

［現像処理（１）］
次に、画像処理部１０７における処理に関して、相関現像方式とモアレ現像方式による現像処理について説明する。相関現像方式による現像処理と、モアレ現像方式による現像処理とは、いずれを用いてもよい。また、両方の方式を実装し、必要に応じて方式を切り替えて使用できる形態としてもよい。

相関現像方式では、画像処理部１０７は、図７の撮影用パターン１０５の投影像７０１と図８の現像用パターン８０１との相互相関関数を演算する。これにより、図９のようなシフト量ｋの輝点９０２が得られる。図９は、相関現像方式による現像画像９０１の構成例を示す。

なお、一般的に相互相関演算を２次元畳込演算で行う場合には演算量が大きくなることから、フーリエ変換を用いて演算を行う例について、数式を用いて原理を説明する。まず、図８の現像用パターン８０１は、撮影用パターン１０５と同様に、ガボールゾーンプレートやフレネルゾーンプレートを用いる。そのため、現像用パターン８０１は、初期位相Φを用いて、下記の式３で表せる。

現像用パターン８０１は、画像処理内で使用されるため、式１のように、１でオフセットさせる必要は無く、負の値を有していても問題無い。式１および式３のフーリエ変換は、それぞれ、下記の式４および式５のようになる。

ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ軸方向の周波数座標を表し、括弧を伴うδはデルタ関数である。これらの式で重要なことは、フーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、撮像装置１は、上記式に基づいて、フーリエ変換後の現像用パターンを直接的に生成し保存しておいて利用してもよい。これにより、演算量を低減可能である。次に、式４および式５を乗算すると、下記の式６となる。

式６の指数関数で表された項ｅ^－ｉｋｕが信号成分である。この項ｅ^－ｉｋｕをフーリエ変換すると、下記の式７のように変換され、元のｘ軸においてシフト量ｋの位置に輝点を得ることができる。

この輝点が無限遠の光束を示しており、図１の撮像装置１による撮影像に相当する。なお、相関現像方式では、パターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。

［現像処理（２）］
次に、モアレ現像方式の場合、画像処理部１０７は、図７の撮影用パターン１０５の投影像７０１と図８の現像用パターン８０１とを乗算することにより、図１０のようなモアレ縞１０００を生成する。そして、画像処理部１０７は、このモアレ縞１０００をフーリエ変換することにより、図１１の現像画像１１０１におけるシフト量ｋβ／πの輝点１１０２，１１０３を得る。輝点１１０２は－ｋβ／πの輝点、輝点１１０３は＋ｋβ／πの輝点である。このモアレ縞を数式で示すと、下記の式８となる。

式８の展開式の第３項が信号成分である。この信号成分が、図１０のモアレ縞１０００のような縞模様を、２つのパターンが重なり合った領域一面に作ることがわかる。図１０のモアレ縞１０００では、２つのパターンのずれの方向（ｘ軸方向）に等間隔（間隔１００１）で、その方向に対し直交する方向（ｙ軸方向）にまっすぐな縞模様が作られている。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。実施の形態１の例では、撮影用パターン５０１と現像用パターン８０１との重ね合わせによってモアレ縞が生じる。式８の第３項の２次元フーリエ変換は、下記の式９のようになる。

ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ軸方向の周波数座標を表し、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークが、ｕ＝±ｋβ／πの位置に生じることがわかる。このピークに対応する輝点が、無限遠の光束を示しており、図１の撮像装置１による撮影像に相当する。

なお、モアレ現像方式では、パターンのシフトによって得られるモアレ縞が単一の周波数を有するものであればよく、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えば楕円状のパターンで実現してもよい。

＜ノイズキャンセル＞
以下、フリンジスキャンに基づいたノイズキャンセル等について説明する。

［フリンジスキャン処理］
上記式６から式７への変換、および式８から式９への変換において、信号成分に着目して説明したが、実際には信号成分以外の項が現像を阻害する。そこで、撮像装置１のフリンジスキャン処理部１０６は、フリンジスキャンに基づいたノイズキャンセルを行う。フリンジスキャンのためには、撮影用パターン１０５として、初期位相Φの異なる複数のパターンを使用する必要がある。

図１２は、フリンジスキャンにおける撮影用パターン１０５として、初期位相Φの異なる複数のパターンの組合せの構成例を示す。図１２の（ａ）～（ｄ）は、Φ＝０，π／２，π，３π／２となる４位相のパターン１２０１～１２０４を示す。ここでは、フリンジスキャン処理部１０６は、それらの４位相を用いて撮影したセンサ画像を、以下の式１０に従って演算する。すると、複素数のセンサ画像（複素センサ画像と記載する場合がある）が得られる。

ここで、複素数の現像用パターン８０１は、下記の式１１で表せる。現像用パターン８０１は、フリンジスキャン処理部１０６によるフリンジスキャン処理内で使用されるため、複素数であっても問題無い。

モアレ現像方式の場合、式１０と式１１を乗算すると、下記の式１２となる。式１２の指数関数で表された項ｅｘｐ（２ｉβｋｘ）が信号成分である。この信号成分から、式８のような不要な項が発生せず、ノイズキャンセルされていることがわかる。

同様に、相関現像方式についても確認すると、式１０および式１１のフーリエ変換は、それぞれ、下記の式１３および式１４のようになる。

次に、式１３および１４を乗算すると、下記の式１５となる。式１５の指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分である。この信号成分から、式８のような不要な項が発生せず、ノイズキャンセルされていることがわかる。

なお、以上の例では、４位相の複数のパターンを使用して説明したが、初期位相Φは、０～２πの間の角度を等分するように設定すればよく、上記４位相に限定されない。

以上の複数のパターンによる撮影を実現するための方式としては、大別すると、時分割でパターンを切り替える方式と、空間分割でパターンを切り替える方式とが挙げられる。時分割でパターンを切り替える方式と、空間分割でパターンを切り替える方式とのいずれを適用してもよいし、両方の方式を実装して選択した方式を使用できる形態としてもよい。

上記時分割でパターンを切り替える方式に対応した時分割フリンジスキャンを実現するには、例えば、図１２の複数の初期位相を電気的に切り替えて表示可能な液晶表示素子等の表示素子を、図１の撮影用パターン１０５として使用すればよい。例えば、図１のフリンジスキャン処理部１０６は、この撮影用パターン１０５である液晶表示素子の切り替えタイミングと、画像センサ１０３のシャッタタイミングとを同期して制御する。これにより、撮像装置１は、画像センサ１０３から対応する４枚の画像を取得した後に、フリンジスキャン処理部１０６においてフリンジスキャン演算を実行する。

これに対し、上記空間分割でパターンを切り替える方式に対応した空間分割フリンジスキャンを実現するには、例えば、図１３に示すように、撮影用パターン１０５として、空間分割で複数の初期位相を有する撮影用パターン１３００を使用する。図１３の撮影用パターン１３００は、矩形領域全体をｘ軸方向およびｙ軸方向を合わせて４分割した領域１３０１～１３０４において、上記４位相のパターンを有する。

撮像装置１は、画像センサ１０３から１枚の画像を取得した後、その画像を、フリンジスキャン処理部１０６において、それぞれの初期位相のパターンに対応して４枚に分割し、フリンジスキャン演算を実行する。

［フリンジスキャン演算］
続いて、フリンジスキャン処理部１０６でのフリンジスキャン演算について説明する。図１４は、フリンジスキャン処理部１０６のフリンジスキャン演算を含む処理概略を示すフロー図である。図１４は、ステップＳ１～Ｓ７を有し、以下、ステップの順に説明する。まず、ステップＳ１で、フリンジスキャン処理部１０６は、画像センサ１０３から出力される複数のパターンによるセンサ画像を取得する。この際、フリンジスキャン処理部１０６は、空間分割フリンジスキャンを使用する場合には、そのセンサ画像を分割し、時分割フリンジスキャンを使用する場合には、このステップＳ１の分割を行わない。

次に、ステップＳ２で、フリンジスキャン処理部１０６は、出力用の複素センサ画像を初期化する。ステップＳ３で、フリンジスキャン処理部１０６は、ループにおける１つ目の初期位相Φのセンサ画像を取得し、ステップＳ４で、そのセンサ画像に、その初期位相Φに応じた指数関数であるｅｘｐ（ｉΦ）を乗算し、ステップＳ５で、乗算結果を出力用の複素センサ画像に加算する。

フリンジスキャン処理部１０６は、ステップＳ６で、使用する全初期位相Φについて処理を終了したかを確認し、ステップＳ３からステップＳ５までの処理を、使用する初期位相Φの数だけ同様に繰り返す。例えば、図１２や図１３の４位相を用いたフリンジスキャンでは、初期位相Φ＝０，π／２，π，３π／２に対応して４回の処理が繰り返される。

最後に、ステップＳ７で、フリンジスキャン処理部１０６は、処理後の複素センサ画像を出力する。以上のフリンジスキャン処理部１０６での主な処理は、前述の式１０に相当する。

［画像処理］
次に、画像処理部１０７での画像処理について説明する。図１５は、画像処理部１０７において相関現像方式を使用した場合の処理概略を示すフロー図である。図１５はステップＳ２１～Ｓ２６を有する。まず、ステップＳ２１で、画像処理部１０７は、フリンジスキャン処理部１０６から出力される複素センサ画像を取得し、その複素センサ画像に２次元高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）演算を実行する。

次に、ステップＳ２２で、画像処理部１０７は、現像処理に使用する現像用パターン８０１を生成する。あるいは、画像処理部１０７は、予めメモリ等に設定および記憶されている現像用パターン８０１を参照してもよい。そして、画像処理部１０７は、２次元ＦＦＴ演算後の複素センサ画像にその現像用パターン８０１を乗算する。ステップＳ２４で、画像処理部１０７は、その乗算後の画像に、逆２次元ＦＦＴ演算を行う。

この演算結果は複素数となる。そのため、ステップＳ２４で、画像処理部１０７は、その演算結果の複素数に対し、実数化処理を行う。実数化処理は、絶対値化する処理、または、実部を取り出す処理である。複素数をＣ＝Ａ＋Ｂｉで表すと、絶対値化する処理は、｜Ａ＋Ｂｉ｜＝√（Ａ^２＋Ｂ^２）で表せる。実部を取り出す処理は、Ｒｅ［Ａ＋Ｂｉ］＝Ａで表せる。これにより、画像処理部１０７は、撮影対象の像を実数化して現像する。

その後、画像処理部１０７は、得られた画像に対し、ステップＳ１５でコントラスト強調処理を行い、ステップＳ２６でカラーバランス調整等を行う。画像処理部１０７は、それらの処理結果のデータを撮影画像として出力する。以上で画像処理部１０７の画像処理が終了となり、ユーザが視認できる撮影画像が得られる。

上記に対し、図１６は、モアレ現像方式を使用した場合の処理概略を示す。図１６は、ステップＳ３１～Ｓ３６を有する。まず、ステップＳ３１で、画像処理部１０７は、フリンジスキャン処理部１０６から出力される複素センサ画像を取得し、現像処理に使用する現像用パターン８０１を生成し、その複素センサ画像に乗算する。ステップＳ３２で、画像処理部１０７は、その乗算後の画像に対し、２次元ＦＦＴ演算により周波数スペクトルを求め、ステップＳ３３で、この周波数スペクトルのうち必要な周波数領域のデータを切り出す。以降のステップＳ３４～３６の処理は、図１５のステップＳ２４～Ｓ２６の処理と同様である。

なお、撮像装置１は、可視光による画像を撮像するカメラに限らず、同様の原理に基づいて、赤外線等の周波数帯域を対象として撮像する装置や、被写体との距離画像（３次元での奥行き方向の距離情報を持つ画像）を撮像する装置（距離画像センサ等と呼ばれる場合がある）とすることも可能である。

＜有限距離物体の撮影原理＞
以下では、主に有限距離物体の撮像原理等について説明する。

［無限遠物体の撮像と有限距離物体の撮像］
次に、図１７には、これまで述べた被写体が遠い場合（言い換えると無限遠物体の場合）における撮影用パターン１０５の画像センサ１０３への射影の様子を示す。遠方の物体を構成する点１７０１からの球面波は、十分に長い距離を伝搬する間に平面波となり、撮影用パターン１０５を照射する。その照射による投影像１７０２が画像センサ１０３に投影される場合、投影像は、撮影用パターン１０５とほぼ同じ形状を持つ。結果、投影像１７０２に対して、前述の現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。

一方、被写体が近い場合に対応する有限距離物体に対する撮像について説明する。図１８は、撮像する物体が有限距離にある場合に、撮影用パターン１０５の画像センサ１０３への射影が、撮影用パターン１０５よりも拡大されることを示す説明図である。物体を構成する点１８０１からの球面波が撮影用パターン１０５を照射し、その照射による投影像１８０２が画像センサ１０３に投影される。この場合、投影像は、ほぼ一様に拡大される。なお、この際の拡大率αは、ｚ軸方向における撮影用パターン１０５から点１８０１までの距離ｆを用いて、下記の式１６のように算出できる。

そのため、平行光に対して設計された現像用パターンをそのまま使用して現像処理を行うのでは、単一の輝点を得ることができない。そこで、図１８のように一様に拡大される撮影用パターン１０５の投影像に合わせて現像用パターン８０１を拡大させる場合、拡大された投影像１８０２に対して、再び、単一の輝点を得ることができる。このためには、現像用パターン８０１の係数βをβ／α^２とすることで、補正が可能である。これにより、撮像装置１は、必ずしも無限遠でない距離の点１８０１からの光を選択的に再生することができる。これによって、撮像装置１は、任意の位置に焦点を合わせて撮影を行うことができる。

＜画像センサ構成＞
次に、図１９等を用いて、画像センサ１０３の構成について説明する。

［画像センサ（１）］
図１９は、実施の形態１に関する比較例における、画像センサ１０３ａ（１０３）のｘ軸方向における中央部の画素１９０１や端部の画素１９０２における断面構造を示す。ここでは、一般的なＣＭＯＳやＣＣＤ等の撮像素子を用いて構成される画像センサを考える。この画像センサ１０３ａにおける画素３０は、配線やマスクの構造に基づいて、全面で光を受光できる訳ではなく、一部である受光部１９０３でのみ光を受光できる。受光部１９０３の幅１９１２は、画素３０の幅１９１１よりも小さい。

そのため、一般的な画像センサは、この画像センサ１０３ａのように、光利用効率向上のために、ｚ軸方向で受光部１９０３の前にマイクロレンズ１９０４がマイクロレンズアレイとして配置されている。これにより、一点鎖線で示す入射光１９０５が、マイクロレンズ１９０４によって、点線で示す光１９０６のように集光されて、受光部１９０３に効率的に取り込まれる。個々のマイクロレンズ１９０４は、入射側に凸の曲面を持つレンズである。

図２０は、図１９の１個の画素３０に関する光入射の様子を示す。図１９の画像センサ１０３ａは、このように受光部１９０３が画素３０よりも小さいことから、図２０の光線２００１に示すように、受光部１９０３の範囲に光が集光されている角度範囲でのみ、撮影が可能である。この角度範囲以外の角度からの光は、急速に感度が低下することになる。

図２１には、上記感度の角度依存性の例を示し、図２２には、実測した例を示す。このような感度は、主光線角度（Chief Ray Angle：ＣＲＡ）特性と呼ばれる。図２１のグラフで横軸は上記角度θ、縦軸は感度である。感度は受光光量、光強度と対応している。図２２で横軸は角度θに対応する入射角、縦軸は規格化光強度である。画像センサの構造が問題とならない場合には、一般的に、ＣＲＡ特性は、ｃｏｓθの４乗で低下するとされる。しかし、このような画像センサの構造が阻害要因となる場合、図２２のように、ｃｏｓθの４乗よりも急速に光量が低下することになる。

よって、比較例として、レンズレスではない一般的なカメラでは、図２３に示すように、像側テレセントリックとなる系を用いている。これにより、常に画像センサに対して垂直に光線が入射するようにし、画像センサ（対応する画素）への斜入射を避けている。図２３は、比較例として一般的なカメラにおける像側テレセントリック光学系の構成例を示す。図２３では、ｚ軸方向で、画像センサ１０３ａに対して前（図示の上側）の位置に、レンズ２３０１，２３０２が配置されている。レンズ２３０２は、フィールドレンズであり、像の周辺の光の進行方向を変えるレンズである。ｚ軸方向の光軸に対し斜めに入射する光線２３０３は、レンズ２３０１，２３０２によってｚ軸方向の光線、すなわち平行光に変換されている。

しかし、近年のスマートフォン等の機器に見られる小型化・高密度化が進展した結果、図２４のように、非テレセントリック光学系が使用されることも多くなっている。図２４は、比較例として他の一般的なカメラにおける非テレセントリック光学系の構成例を示す。図２４では、ｚ軸方向で、画像センサ１０３ａに対して前の位置に、レンズ２４０１が配置されている。ｚ軸方向の光軸に対し斜めに角度θ１で入射する光線２４０３は、レンズ２４０１経由後も斜めの光線として、受光部に受光する。図２４のように、レンズが有るカメラの場合、画像センサ１０３ａの面内の複数の画素において、光線の入射角度に応じて画素特性が異なる。端にある画素では、斜入射となるので、光量が少なくなり、暗い画素値となる。

現在のカメラは、このような非テレセントリック光学系の特性に適合させるように、図２５に示すような構成が主流となっている。図２５は、実施の形態１に関する比較例で、画像センサ１０３ｂ（１０３）における画素３０とマイクロレンズ１９０４の配置の構成例を示す。図２５の構成は、画像センサ１０３のマイクロレンズ１９０４の光軸と受光部１９０３の光軸とをあえて異ならせるようにシフトさせた構成である。画像センサ１０３の面内の各画素３０の光量を同じにしたい場合、この構成では、端にある画素１９０２に合わるようにして、マイクロレンズ１９０４との相対位置関係によって、光線を補正する。この構成では、ｘ軸方向で画像センサ１０３の中央部の画素１９０１と端部の画素１９０２とでは、マイクロレンズ１９０４と受光部１９０３との関係が異なっている。この画像センサ１０３ｂは、ｘ軸方向およびｙ軸方向を含む面内において、マイクロレンズ１９０４と受光部１９０３との相対位置が変化する構成であり、相対位置のずれ量を単調に増加または減少する構成である。中央部の画素１９０１では、マイクロレンズ１９０４の光軸と受光部１９０３の光軸とが一致している。端部の画素１９０２では、マイクロレンズ１９０４の光軸と受光部１９０３の光軸との間にずれの距離２５０２を持つ。図示しないが反対側の端部の画素についても同様に、反対方向でのずれの距離を持つ。これにより、この画像センサ１０３ｂは、画像の周辺光量減衰が小さい撮像系となっている。図２５のような構成を持つカメラは、既に安価に実現されている。

しかし、レンズレス光学系では、図２４のようなレンズが無く、図１７に示すように、点１７０１からの光は、パターン基板１０４からの出射位置ではほぼ平行光である投影像１７０２となり、一様に画像センサ１０３を照射することになる。画像センサ１０３の面内の各画素に対し、基本的には光線が垂直に入射し、各画素の光量がほぼ同じとなる。この場合、図２５のようなタイプの画像センサ１０３ｂを適用すると、撮像した画像信号に対応するセンサ画像では、図２６に示すように、シェーディングが強く発現する。言い換えると、センサ画像内の周辺部分が暗くなってしまう。図２６は、画像センサ１０３ｂを用いた場合におけるシェーディングを持つセンサ画像２６０１の例を示す。このようなシェーディングが発生すると、後段の現像処理の過程で、低周波のノイズが強く現れるため、現像した画像が劣化する。

よって、レンズレス光学系では、画像の劣化を避けるためには、図２５のような画像センサ１０３ｂの構成ではなく、図１９のようなタイプの画像センサ１０３ａのように受光部１９０３とマイクロレンズ１９０４との関係が一様である構成が望ましい。しかし、その構成を適用した場合、図２１および図２２のように、画素構造に起因するＣＲＡ特性が課題となり、カメラの視野（対応する画角範囲）が狭くなってしまう。

［画像センサ（２）］
そこで、実施の形態１の撮像装置１において、上記シェーディングおよびＣＲＡ特性の課題を改善する方式について説明する。実施の形態１は、画像劣化抑制と広い画角範囲との両立を目指す。図２７の（Ａ）は、図２０の１個の画素３０およびマイクロレンズ１９０４に関する上面図を示す。図２７の（Ａ）の場合、マイクロレンズ１９０４と受光部１９０３との相対位置のずれが無い。一方、図２７の（Ｂ）は、マイクロレンズ１９０４と受光部１９０３との相対位置のずれが有る場合を示す。相対位置のずれを、ベクトルを用いて、ずれ（Δ）２７０１として示す。図２７の（Ｂ）のように、相対位置のずれ２７０１が生じている場合、ｘ軸方向のずれΔｘとｙ軸方向のずれΔｙとに分離して考える。

ここで、図２８は、前述の図２５の画像センサ１０３ｂの構成における、ｘ軸方向での画素３０の位置とずれΔｘとの関係を示す。図２８の（Ａ）は、ずれΔｘの分布の特性を示し、（Ｂ）は、（Ａ）の特性を微分したグラフを示す。図２８の（Ａ）では、ｘ軸方向での各位置の画素３０に関して、中央を位置Ｌ１、正方向に対応する右側の端を位置Ｌ２、負方向に対応する左側の端を位置Ｌ３で示す。このように、画像センサ１０３ｂの中央の位置Ｌ１ではずれΔｘが無く、すなわち０であり、右側の端の位置Ｌ２では正方向にずれΔｘ（＋Δｘ１）を持ち、左側の端の位置Ｌ３では負方向にずれΔｘ（－Δｘ１）を持つ。（Ａ）では、相対位置ずれの変化が単調増加の特性である。（Ｂ）では、ずれΔｘの変化量である隣接画素間での差分値は一定値である。なお、（Ａ）ではずれΔｘが直線で変化する構成であるが、これに限らず、二次関数等の曲線で変化する構成もある。

この画像センサ１０３ｂの構成は、マイクロレンズ１９０４のピッチと、画素３０のピッチとがほぼ同じで、画像センサ１０３ｂの中央部から端部までにかけて１画素分以下の差となるように相対的にピッチをシフトすること、言い換えると変化させることによって実現されている。

図２９は、上記画像センサ１０３ｂの構成に関する説明のために、画素３０間および受光部１９０３間のピッチｐ１、マイクロレンズ１９０４間のピッチｐ２、相対位置のずれ２５０２等を示す。図２９は図２５の左側の端部の画素１９０２での例である。ピッチｐ１とピッチｐ２はほぼ同じである。相対位置のずれ２５０２については、画素３０の中心位置に対するマイクロレンズ１９０４の中心位置、ならびにｘ軸方向の正方向（図示の左から右への方向）を基準として示している。例えば、図２５の中央部の画素１９０１におけるマイクロレンズ１９０４間のピッチｐ２をピッチｐ２１とし、左側の端部の画素１９０２におけるマイクロレンズ１９０４間のピッチｐ２をピッチｐ２２とする。上記構成は、例えば、ｐ２１＞ｐ２２とし、マイクロレンズ１９０４間のピッチｐ２を、中央部から端部までにかけてピッチｐ２１からピッチｐ２２へと減少するようにシフトする構成である。かつ、その構成は、画素３０とマイクロレンズ１９０４との相対位置のずれの変化が、１画素分以下の差となるようにされる。

これに対し、図３０は、実施の形態１の撮像装置１における画像センサ１０３ｃ（１０３）の構成例を示す。図３０は、画像センサ１０３の面内の中央部の位置Ｌ１での画素３０およびマイクロレンズ１４０の構成例を拡大で示す。この構成では、画素３０間のピッチｐ１に対し、マイクロレンズ１４０間のピッチｐ２が大きい（ｐ１＜ｐ２）。中央の画素３０を画素ＰＸ１とし、それに対する両隣りの画素３０を画素ＰＸ２，ＰＸ３で示す。それらに対応する個々のマイクロレンズ１４０をマイクロレンズＭＬ１，ＭＬ２，ＭＬ３で示す。中央の画素ＰＸ１では、マイクロレンズＭＬ１との相対位置のずれΔｘは０である。右隣りの画素ＰＸ２では、マイクロレンズＭＬ２との相対位置のずれΔｘ（３００１）は正方向で０より大きい値である。左隣りの画素ＰＸ３では、マイクロレンズＭＬ３との相対位置のずれΔｘ（３００２）は負方向で０より大きい値である。この相対位置ずれは、面内で中央から外側の端に向かうにつれて大きくなるように変化する。

図３０のように、マイクロレンズ１４０のピッチｐ２と画素３０のピッチｐ１とを大きく異ならせる場合、言い換えるとピッチｐ２とピッチｐ１との差（ｐ２－ｐ１）をある程度以上に大きくする場合、面内で相対位置ずれ（Δｘ，Δｙ）が急峻に変化することになる。差（ｐ２－ｐ１）の設計に応じて、隣接画素３０間では、相対位置ずれが、１画素分の差を越えることで、正から負または負から正へ変化する箇所も生じる。差（ｐ２－ｐ１）が大きいほど、そのような箇所の数は多くなる。このように、実施の形態１では、例えばピッチｐ１とピッチｐ２とを大きく異ならせることで、画像センサ１０３の面内で相対位置ずれを変化させて様々な値を持たせる。これにより、後述するようにカメラ特性の改善の効果が得られる。

また、実施の形態１における画像センサ１０３としては、極端に言えば、図３１のように、画素３０とマイクロレンズ１４０との相対位置を面内でランダムにシフト、変化させる構成としてもよい。図３１の（Ａ）の模式的なグラフは、実施の形態１での画像センサ１０３の相対位置ずれ量の分布の特性を示す。グラフの横軸が例えばｘ軸方向での各位置の画素３０、縦軸が画素３０の中心位置とマイクロレンズ１４０の中心位置との相対位置のずれΔｘを示す。（Ａ）では、ずれΔｘは、－Δｘ１から＋Δｘ１までの範囲内でランダムな値をとっている。図３１の（Ｂ）は、（Ａ）の特性を微分した模式的なグラフであり、相対位置ずれ量の変化量として隣接画素間での差分値をとったグラフである。（Ｂ）のように、実施の形態１では、相対位置ずれ量の差分値についてもランダムな分布となる。この特性では、隣接画素間でのずれ量の変化である差分値が、正から負へ変化する箇所や、負から正へ変化する箇所を持つ。このようなランダムの特性は、例えば面内の位置に応じて画素３０のピッチｐ１およびマイクロレンズ１４０のピッチｐ２の少なくとも一方をランダムにする構成等で実現できる。

図３０や図３１のような構成は、画像センサ１０３の面内で様々な相対位置ずれを含んでいる構成であり、すなわち様々な入射角の光線の受光に対応する画素３０を含む構成である。図３０や図３１のような構成によって、図３２に示すようなＣＲＡ特性を実現できる。図３２は、実施の形態１で、画像センサ１０３の全体でのＣＲＡ特性の例を示す。図３２のＣＲＡ特性３２００は、画像センサ１０３に垂直となる方向（ｚ軸方向）から入射する光線にピークを有するＣＲＡ特性３２０１や、斜入射する光線にピークを有するＣＲＡ特性３２０２，３２０３等の、様々な特性が複合した特性となっている。画像センサ１０３の全体では、ＣＲＡ特性３２００のように、広い入射角に対して感度を有する構成となる。

ただし、例えば画像センサ１０３に垂直となる方向から入射する光線に対しては、感度を有する画素もあれば、感度が無いまたは低い画素もあり、センサ画像としては歯抜けた画像となってしまう。これは、通常のカメラのように画像センサに結像する系の場合では、画素の欠損となるため問題である。一方、実施の形態１のように、レンズレス光学系を含むレンズレス撮像装置の場合では、ある点からの入射光の情報が、画像センサ１０３（対応するセンサ画像）の複数の画素３０の全体に分散している。そのため、たとえセンサ画像内に欠損があったとしても、処理によって情報（対応する像）を復元することができる。このようなレンズレス撮像装置の性質、およびランダムな相対位置ずれの構成に基づいて、実施の形態１の撮像装置１は、画質劣化を抑制しながら現像が可能である。

また、上記のような効果を実現するには、受光部１９０３とマイクロレンズ１４０との相対位置が例えばランダムに変化すればよい。このため、図３１のような構成に限らず、図３３のような構成例によっても、同様の効果が得られる。図３３の構成は、実施の形態１の変形例として、散乱体３３０１のような、光をランダムに散乱させる光学素子を挿入する構成である。図３３の構成では、ｚ軸方向でマイクロレンズ１４０に対する入射側に、散乱体３３０１が配置されている。図３３の構成では、画像センサ１０３における画素３０とマイクロレンズ１４０との相対位置ずれの分布を設けていない。他の構成としては、画像センサ１０３における相対位置ずれの分布を持つ構成に加えて散乱体３３０１を設ける構成としてもよい。

以上のように、実施の形態１の撮像装置１および撮像方法によれば、画像センサ１０３の面内において受光部１９０３とマイクロレンズ１４０との相対位置が例えばランダムに変化する構成、言い換えると様々な相対位置ずれの分布を持つ構成とする。これにより、撮像に適した画像センサ１０３の特性や構造および処理方法等を提供でき、撮影画角が広く、かつシェーディングによるノイズが無く、高画質な、カメラ特性を向上したレンズレス撮像装置を実現できる。さらに、実施の形態１の構成によれば、画像センサ１０３として、既存の安価な画像センサを流用できるため、製造コストの抑制も可能である。

（実施の形態２）
図３４以降を用いて、実施の形態２の撮像装置および撮像方法について説明する。以下では、実施の形態２における実施の形態１とは異なる構成部分について説明する。

［センサ画像の欠損について］
実施の形態１の撮像装置１の構成では、画像センサ１０３における受光部１９０３とマイクロレンズ１４０との相対位置が例えばランダムに変化するように配置した。この構成のために、ある角度から撮影した場合にセンサ画像の欠損がランダムに発生し、ランダムな欠損が現像画像の画質に影響を及ぼす可能性がある。そこで、実施の形態２では、その可能性も考慮して工夫した構成、ならびに処理方法等について説明する。

実施の形態２の撮像装置１でも、画像センサ１０３の面内における受光部とマイクロレンズとの相対位置ずれを変化させる構成とすることで、レンズレス光学系全体でのＣＲＡ特性を改善させる。ただし、実施の形態２は、実施の形態１のようにランダムの配置とするのではなく、周期的な配置等、既知の相対位置ずれ量の配置、分布の特性とする。これにより、実施の形態２では、画像センサ１０３で撮像したセンサ画像を、光線の入射角に対応する角度毎に分解して処理を行う。

［画像センサ］
図３４は、実施の形態２の撮像装置１における、画像センサ１０３の相対位置ずれの周期的な配置の構成例を示す。図３４の（Ａ）は、実施の形態２での画像センサ１０３の相対位置ずれ量の分布の特性を示し、図示のように周期的な分布の特性である。（Ａ）の横軸が例えばｘ軸方向の各位置の画素３０を示し、縦軸が受光部１９０３とマイクロレンズ１４０との相対位置のずれΔｘを示す。ずれΔｘは、－Δｘ１から＋Δｘ１までの範囲内で、ｘ軸方向の画素位置に応じて周期的に変化している。例えば、中央の位置Ｌ１では、ずれΔｘが－Δｘ１であり、その位置Ｌ１から右側に所定の画素距離を置いた位置３４０２では、ずれΔｘが＋Δｘ１である。位置Ｌ１から位置３４０２までの範囲３４０１では、ずれΔｘが－Δｘ１から＋Δｘ１まで直線で増加している。また、位置３４０２から同じ画素距離を置いた右側の範囲３４０３では、範囲３４０１と同様にずれΔｘが直線で増加している。図３４の（Ｂ）は、（Ａ）の特性を微分したグラフであり、相対位置ずれ量の変化量として隣接画素３０間での差分値をとったグラフである。（Ｂ）のように、実施の形態２では、相対位置ずれ量の差分値について、正の一定値の部分と、正から負または負から正へと大きく変化する複数の箇所とを持つ。実施の形態１の図３１の特性や、実施の形態２の図３４の特性は、比較例の図２８のような単調増加または単調減少の特性とは異なり、相対位置ずれ量の差分値が正から負または負から正へと変化する箇所を持つ。撮像装置１は、図３４のような特性を既知であり、画像処理部１０７の処理等に利用する。

このように画素３０とマイクロレンズ１９０４との相対位置が周期的に変化する配置を持つ画像センサ１０３では、画像センサ１０３に垂直となる方向（ｚ軸方向）から入射する光線に対しては、図３５のような画像が得られる。図３５は、画像センサ１０３で撮像した、シェーディングを持つセンサ画像３５００の例を示す。センサ画像３５００（対応する画像センサ１０３）は、ｘ軸－ｙ軸の面において、複数の領域３５０１を有する。１つの領域３５０１は、相対位置ずれの変化の１周期（図３４では範囲３４０１等の部分）に対応する領域であり、この１周期分の領域を１つのユニットと定義する。すると、このユニットにおける相対位置のずれΔｘは、図３６のようになる。

［処理分割方法（１）］
図３６は、ユニットにおける相対位置ずれに関する処理分割方法の例を示す。図３６の（Ａ）のグラフは、横軸がｘ軸方向での１個のユニットにおける画素３０の位置、縦軸は相対位置のずれΔｘである。１個のユニットにおける中央をＭ１、右側の端をＭ２、左側の端をＭ３で示す。実施の形態２の撮像装置１は、センサ画像（対応する画像センサ１０３）の全領域の複数のユニットについて、ある相対位置ずれ量の間隔３６０１毎に、複数の範囲、例えば範囲Ａ１～Ａ５のように分割する。本例では、ずれ量の最小値（－Δｘ１）から最大値（＋Δｘ１）までの範囲内で、５つの範囲（Ａ１～Ａ５）に分割している。この分割数を多くするほど、画像品質が改善することになる。間隔３６０１および分割数は設定値であり、変更可能である。同様に、図３６の（Ｂ）のように、ユニットにおけるｙ軸方向の相対位置ずれΔｙに対しても、間隔３６０２毎に、複数の範囲、例えば範囲Ｂ１～Ｂ５のように分割する。画像処理部１０７は、センサ画像について、このような分割を行う。

図３６の分割について、領域３５０１のような１個のユニット（例えばあるユニットＵ１）においてマッピングすると、図３７のようになる。図３７の（Ａ）は、１個のユニット内での分割の構成例を示す。ｘ軸方向の各範囲とｙ軸方向の各範囲との交差によって、ユニットよりも小さい領域が構成されている。例えば、領域３７０１はＡ１－Ｂ１の領域であり、領域３７０２はＡ５－Ｂ５の領域である。画像処理部１０７は、図３５のセンサ画像３５００の複数のユニットにおいて、同じ種類の領域毎に分類して集めた画像を、分割センサ画像として生成する。例えば、Ａ１－Ｂ１の領域３７０１のみを集めた分割センサ画像（Ｇ１１とする）から、Ａ５－Ｂ５の領域７０２のみを集めた分割センサ画像（Ｇ５５とする）まで、５×５＝２５通りの分割センサ画像が生成される。

画像処理部１０７は、それらの生成した複数の分割センサ画像における分割センサ画像毎に、対応する現像用パターンを用いて、前述の図１５や図１６に示した現像処理を実行する。そして、画像処理部１０７は、それらの分割センサ画像毎の現像処理結果を、１つの画像に合成する。このような処理分割方法によって、分割センサ画像毎では前述の画素欠損が無い状態で処理を行うことができる。そのため、ノイズを増加させることなく画像処理が可能であり、合成後の画像において情報を復元できるとともに、画質劣化を抑制できる。

なお、本例ではユニット毎に５×５の領域に分割して処理する方法を示したが、これに限らず可能である。図３８の（Ｂ）は、ｘ軸方向でのみ分割して処理する例を示し、図３８の（Ｃ）は、ｙ軸方向でのみ分割して処理する例を示す。このように、方向を変えて処理する等、画像センサの特性に応じて最適な設計が可能である。

また、上記では、図３４のように周期的な相対位置のずれΔｘを持つ構成例を説明したが、このような周期的な設計とする場合、設計パラメータ次第では、図３８の（Ａ）のように、現像画像のＰＳＦ（Point Spread Function：点像分布関数）において複数のピークを持ってしまい、現像画像にゴーストが現れる可能性がある。図３８の（Ａ）は、現像画像のＰＳＦの例を示す。例えば、最大のピーク３８００は、元の点を表すが、ピーク３８０１はゴーストとなる。

［処理分割方法（２）］
そこで、実施の形態２の変形例として、以下の構成としてもよい。変形例では、実施の形態１と同様に画像センサ１０３における相対位置ずれをランダムな配置にするものの、そのランダムな配置を既知の設計とする。すなわち、撮像装置１は、画素３０毎にどのような相対位置ずれを持つかが既知である。そして、変形例では、図３９のように、ユニット毎に、相対位置ずれ量に応じて、分割による範囲を割り当てる。図３９は、変形例での相対位置ずれに関する処理分割方法を示す。例えば、ｘ軸方向での相対位置のずれΔｘに関して、ずれ量の大きさに応じた範囲Ａ１～Ａ５が割り当てられる。画像処理部１０７は、実施の形態２と同様に、範囲に応じた分割センサ画像を生成し、分割センサ画像毎に処理を行う。

図３８の（Ｂ）は、変形例による画像処理の結果得られた現像画像に関するＰＳＦの例を示す。変形例の構成によれば、周期性による図３８の（Ａ）のピーク、例えばピーク３８０１が、図３８の（Ｂ）のピーク３８０２のように抑圧されることが分かる。

以上のように、実施の形態２によれば、画像センサ１０３の面内において相対位置ずれが周期的に変化する構成とし、対応してセンサ画像を複数の領域に分割して処理する構成とする。これにより、撮影画角が広く、かつシェーディングによるノイズが無く、高画質なレンズレス撮像装置を実現できる。なお、前述の画像センサ１０３における相対位置ずれの周期的な分布の特性は、前述の例に限らず、他の周期的な関数、例えばサイン関数等で定義されてもよい。

以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。本発明は、実施の形態の全構成要素に対し、要素を追加、削除、置換、併合等した構成も可能である。本発明は、ある実施例と他の実施例との組合せの構成も可能である。本発明における構成要素（例えば図１のコントローラ１０８、画像処理部１０７、フリンジスキャン処理部１０６等）は、集積回路やＦＰＧＡ等のハードウェアで構成されてもよいし、ソフトウェアプログラム処理等で構成されてもよい。プログラム処理を行う形態とする場合、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を用いたプロセッサが、メモリ等を用いながら、プログラムに従った処理を実行することにより、機能を実現する。また、プログラムや関連するデータや情報は、ＨＤＤ、ＤＶＤ、ＳＳＤ、ＳＤカード等の記憶装置または記録媒体に記憶されてもよいし、外部の通信網上に記憶されてもよい。

［相互相関演算］
図４０は、各実施の形態の補足として、前述の相関現像方式での相互相関演算の構成例を示す。画像処理部１０７は、画像センサ１０３からフリンジスキャン処理部１０６を介して入力されるセンサ画像４０１に、ＦＦＴ４０２を行い、ＦＦＴ後画像４０３を得る。一方、画像処理部１０７は、予め生成した現像用パターン４１１（例えば前述の現像用パターン８０１）に、ＦＦＴ４１２を行い、ＦＦＴ後現像用パターン４１３を得る。画像処理部１０７は、ＦＦＴ後画像４０３に、ＦＦＴ後現像用パターン４１３を畳込演算４０４することで、畳込後画像４０５を得る。画像処理部１０７は、畳込後画像４０５に逆ＦＦＴ４０６を行うことで、復元画像４０７を得る。なお、画像処理部１０７は、撮像毎にＦＦＴ等の処理をリアルタイムで実行してもよいが、予めＦＦＴ等の処理済みのデータ（例えばＦＦＴ後現像用パターン４１３）を生成してメモリに保存しておき、撮像の際にそのデータを読み出して上記演算を行うようにしてもよい。これにより高速化が可能である。

１…撮像装置、３０…画素、１０２…撮像部、１０３…画像センサ、１０４…パターン基板、１０５…撮影用パターン、１０６…フリンジスキャン処理部、１０７…画像処理部、１０８…コントローラ、１９０３…受光部、１４０…マイクロレンズ。

Claims (12)

1. 撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
   前記変調後の光を電気信号に変換する画像センサと、
   前記画像センサから出力される電気信号からセンサ画像を生成する信号処理部と、
   前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
   を備え、
   前記マイクロレンズアレイのマイクロレンズのピッチは前記画像センサの画素のピッチとは異なり、
   前記マイクロレンズアレイのマイクロレンズと前記画像センサの画素の相対位置ずれ量の合計は１画素以上であり、
   前記センサ画像の画素値は、前記複数の画素の各画素の受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有する、
   撮像装置。
2. 請求項１記載の撮像装置において、
   前記特性は、前記画像センサの面内の位置に応じて前記ずれ量がランダムである特性である、
   撮像装置。
3. 請求項１記載の撮像装置において、
   前記特性は、前記画像センサの面内の位置に応じて前記ずれ量が周期的に変化する特性である、
   撮像装置。
4. 請求項１記載の撮像装置において、
   前記センサ画像に対する現像用パターンの演算に基づいて像を復元する画像処理部を備える、
   撮像装置。
5. 請求項１記載の撮像装置において、
   前記画像センサおよび前記変調器を制御し、前記センサ画像からノイズをキャンセルするフリンジスキャン処理部を備える、
   撮像装置。
6. 請求項４記載の撮像装置において、
   前記画像処理部は、前記ずれ量の範囲全体を複数の範囲に分割し、前記センサ画像の画素値を、前記複数の範囲に応じて分類し、分類した画素値の画像毎に、対応する現像用パターンとの演算に基づいて現像処理を行い、現像処理後の複数の像を１つの像に合成する、
   撮像装置。
7. 請求項１記載の撮像装置において、
   前記画像センサは、前記画像センサの面内における前記複数の画素のピッチよりも、前記複数のマイクロレンズのピッチの方が大きい、
   撮像装置。
8. 撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
   前記変調後の光を電気信号に変換する画像センサと、
   前記画像センサから出力される電気信号からセンサ画像を生成する信号処理部と、
   前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
   前記マイクロレンズアレイの入射側に配置されている、前記変調後の光を散乱させる散乱体と、
   を備える、撮像装置。
9. 撮像装置における撮像方法であって、
   前記撮像装置は、
   撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
   前記変調後の光を電気信号に変換する画像センサと、
   前記画像センサから出力される電気信号からセンサ画像を生成する信号処理部と、
   前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
   を備え、
   前記マイクロレンズアレイのマイクロレンズのピッチは前記画像センサの画素のピッチとは異なり、
   前記マイクロレンズアレイのマイクロレンズと前記画像センサの画素の相対位置ずれ量の合計は１画素以上であり、
   前記センサ画像の画素値は、前記複数の画素の各画素の受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、
   前記撮像方法は、
   前記変調器によって前記光の強度を変調するステップと、
   前記変調器および前記マイクロレンズアレイを経由した前記変調後の光に基づいて前記画像センサおよび前記信号処理部によって前記センサ画像を生成するステップと、
   を有する、撮像方法。
10. 請求項９記載の撮像方法において、
    前記センサ画像に対する現像用パターンの演算に基づいて像を復元するステップを有する、
    撮像方法。
11. 請求項９記載の撮像方法において、
    前記画像センサおよび前記変調器を制御し、前記センサ画像からノイズをキャンセルするステップを有する、
    撮像方法。
12. 請求項１０記載の撮像方法において、
    前記像を復元するステップは、前記ずれ量の範囲全体を複数の範囲に分割し、前記センサ画像の画素値を、前記複数の範囲に応じて分類し、分類した画素値の画像毎に、対応する現像用パターンとの演算に基づいて現像処理を行い、現像処理後の複数の像を１つの像に合成するステップを含む、
    撮像方法。

Images