JP6721698B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に係り、特に、回折格子基板を用いた撮像装置の解像度を向上させる撮像装置に関する。

スマートフォンなどに搭載するカメラや、３６０°センシングが必要となりつつある車載カメラでは薄型化が必要であり、レンズを用いることなく、回折格子基板を透過した光学像を解析することより、撮像をおこなう装置が提案されている。

例えば、特許文献１には、画像センサに特殊な回折格子基板を貼り付け、レンズを用いることなく、回折格子基板を透過する光がセンサ上で生じる射影パターンから、入射光の入射角を逆問題演算により求めることにより、外界の物体の像を得る方法について記載されている。

また、特許文献２には、回折格子基板として中心から外側に向けてピッチが細かくなる同心円状の格子パターンを用いることが記載されている。

米国特許出願公開第２０１４／０２５３７８１号明細書 米国特許出願公開第２０１５／０２１９８０８号明細書

特許文献１では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンであり、センサで受光される射影パターンから、像を再生するための逆問題を解く演算が複雑になるという問題点があった。

特許文献２では、前記同心円状格子パターンが複数オーバーラップしている回折格子を用いているため、透過率が低下するとともに、相互の同心円格子パターンが干渉し、再生画像のノイズ増大を招く懸念がある。

そこで、両面格子基板の表と裏の回折格子パターンを、原点からの距離に対してピッチが反比例する複数の同心円からなるようにし、モアレ縞を生じさせ、撮像した画像をフーリエ変換して、そのモアレ縞に着目し、空間周波数スペクトルを分析することにより、撮像画像を得る撮像装置が提案されている。

この技術によれば、光線の入射角度の検出が容易になり、回折格子のパターンの干渉ノイズが少ない撮像装置を提供することができる。

しかしながら、この撮像装置によれば、光線の入射角度を検出するために、格子基板に対して表と裏の回折格子パターンをずらして配置し、空間周波数のピークを二箇所作らなければならず（詳細は、後述）、そのため撮像における解像度の低下を招いていた。

本発明は、上記問題点を解決するためになされたもので、その目的は、原点からの距離に対してピッチが反比例する複数の同心円からなる回折格子基板を配置した撮像装置における解像度を向上させることにある。

上記問題点を解決するために、本発明の撮像装置の構成は、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、画像センサの受光面に設けられ、光の強度を変調する変調部と、画像センサより出力された出力画像に対して画像処理を施す画像処理部とを備え、変調部は格子基板と、画像センサの受光面に近接する面に対向する格子基板の第１の面に形成される第１の格子パターンとを有し、格子パターンは、少なくとも一つの基準座標の原点からの距離に対してピッチが反比例する複数の同心円からそれぞれ構成されており、複数の同心円は格子パターン内で互いに重ならず、基準座標は、受光面の中央の法線に対し対称に配置されているようにしたものである。

本発明によれば、原点からの距離に対してピッチが反比例する複数の同心円からなる回折格子基板を配置した撮像装置における解像度を向上させることができる。

格子パターンを利用した撮像装置の構成図である。 撮像装置によりモニタディスプレイに表示している様子を示す図である。 画像処理回路の処理を示すフローチャートである。 斜め入射平行光による格子基板表面から裏面への射影像が、面内ずれを生じることを説明する図である。 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。 表面格子と裏面格子の軸をずらして配置する場合の模式図である。 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。 物体を構成する各点からの光がセンサに対してなす角を説明する図である。 ２枚の格子パターンを横方向にずらす場合の空間周波数スペクトルを示す図である。 ２枚の格子パターンを縦方向にずらす場合の空間周波数スペクトルを示す図である。 裏面側格子パターンをセンサ感度分布で実現する場合の撮像装置の構成図である。 結像する物体が有限距離にある場合に表側格子パターンの裏面への射影が表側格子パターンより拡大されることを示す図である。 裏面側格子パターンをセンサ感度分布で実現する場合の撮像装置の画像処理回路の処理を示すフローチャートである。 表面格子パターンを液晶素子によりサイズ可変で表示させる撮像装置の構成図である。 表面格子パターンを液晶素子によりサイズ可変で表示させる撮像装置の画像処理回路の液晶制御に関する部分のブロック図である。 ３×３分割の格子パターンを示す図である。 ３×３分割の格子パターンの両面の初期位相の配置を示す斜視図である。 ３×３分割の両面格子に単一点光源からの光が入射して生じるモアレ縞の画像を示す図である。 ノイズ低減画像処理を施して得られたモアレ縞の画像を示す図である。 両面格子基板を分割した撮像装置の画像処理回路の処理を示すフローチャートである。 ２×２分割の格子パターンを示す図である。 ノイズ低減画像処理を施して得られたモアレ縞の画像を示す図である。 片面格子基板を分割した撮像装置の画像処理回路の処理を示すフローチャートである。 ２枚の格子パターン位置を一致させる場合の空間周波数スペクトルを示す図である。 表側格子の位相を可変にする場合の格子基板と画像センサの撮像装置の配置を示す図である。 液晶素子の電極パターンの例を示す図である。 液晶素子の電極パターンの初期位相を可変入力した場合の模式図である。 表側格子の初期位相を可変させる場合のゾーンプレートの配置例を示す図である。 片面格子基板を分割した場合の表面格子パターンの一例を示す図である。 表側格子、裏側格子共に時間的にその表示切り替えが可能な撮像装置の構成図である。 画像処理回路のブロック図である。 画像処理回路の処理を示すフローチャートである。

〔両面格子基板を利用した撮像装置の構成〕
先ず、図１および図２を用いて両面格子基板を利用した撮像装置の構成と画像処理の概要について説明する。
図１は、格子パターンを利用した撮像装置の構成図である。
図２は、撮像装置によりモニタディスプレイに表示している様子を示す図である。
図３は、画像処理回路の処理を示すフローチャートである。

撮像装置１０１は、両面格子基板１０２、画像センサ１０３、画像処理回路１０６から構成される。両面格子基板１０２は、画像センサ１０３の受光面に密着して固定されており、両面格子基板１０２の表面には、格子間隔（ピッチ）が中心からの半径に反比例する、すなわち、外に向かうほど中心からの半径に比例して格子間隔（ピッチ）が狭くなる同心円状の表側格子パターン１０４が形成されている。また、裏面の、画像センサ１０３の受光面に接する面にも、同様の裏側格子パターン１０５が形成されている。これらの格子パターンを透過する光は、その格子パターンによってその強度が変調される。透過した光は、画像センサ１０３で受光され、その画像信号は、画像処理回路１０６によって画像処理され、モニタディスプレイ１０７などに出力される。通常の撮像装置は、センサの前に結像のためのレンズが必要であるが、本撮像装置では、レンズを必要とせずに外界の物体の画像を取得することができる。このとき同心円状格子パターン１０４は、同心円を構成する各リングパターンに同じ面内で交差する他の格子パターンがなく、格子パターン間の不要な干渉を生じず、光利用効率の低下を抑えることができる。

撮像装置により表示する様子は、図２に示されるようになり、被写体２０１に対して両面格子基板１０２の格子面を正対させて撮影し、画像センサでの受光を画像出力処理し、その出力をモニタディスプレイ１０７に出力することにより可能となる。

画像処理回路１０６での画像処理の流れは、図３に示されるようになり、入力されたモアレ縞画像に対して、カラーのＲＧＢ各成分ごとに２次元ＦＦＴ演算を行い（Ｓ０１）、周波数スペクトルを求める。その片側周波数のデータを切り出し（Ｓ０２）、強度計算をおこなう（Ｓ０３）。さらに得られた画像に対してノイズ除去（Ｓ０４）、コントラスト強調処理などを行い（Ｓ０５）、カラーバランスを調整し（Ｓ０６）、撮影画像として出力する。

〔両面格子基板を利用した撮像装置の撮影原理〕
次に、図４ないし図８を用いて図１に示した撮像装置の撮影原理について説明する。
図４は、斜め入射平行光による格子基板表面から裏面への射影像が、面内ずれを生じることを説明する図である。
図５は、格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。
図６は、表面格子と裏面格子の軸をずらして配置する場合の模式図である。
図７は、格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。
図８は、物体を構成する各点からの光がセンサに対してなす角を説明する図である。

先ず、格子間隔（ピッチ）が中心からの半径に反比例する、すなわち、外に向かうほど中心からの半径に比例して格子間隔（ピッチ）が狭くなる同心円状の格子パターン１０４の格子パターンを、以下のように定義する。

レーザー干渉計などにおいて、平面波に近い球面波と、参照光として用いる平面波を干渉させる場合を想定する。同心円の中心を基準座標とし、その基準座標からの半径をｒ、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、

と表せる。球面波にも関わらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、

のような干渉縞の強度分布が得られる。これは、

を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、

が得られ、ピッチは半径に対して比例して狭くなっていくことがわかる。このような縞はフレネルゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した格子パターン１０４、１０５として用いる。このような格子が両面に形成された厚さｔの基板に、図４に示すように角度θ₀で平行光が入射したとすると、基板中の屈折角をθとして幾何光学的には表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に二つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、

のような強度分布が得られる。この展開式の第４項が、二つの格子のずれの方向にまっすぐな等間隔の縞模様を、重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。そして、その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは不可能と考えられる。第２項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、二つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。（５）式から鋭いピークを持つ成分のみを、

のように取り出すと、そのフーリエスペクトルは、

のようになる。ただしここで、Ｆは、フーリエ変換の演算を表し、ｕ、ｖは、ｘ、ｙ方向の空間周波数座標、括弧を伴うδは、ディラックのデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。

光線と基板配置、生じるモアレ縞、空間周波数スペクトルの対応の様子を示すと、図５に示されるようになる。図５は、左から光線と基板の配置図、モアレ縞、空間周波数スペクトルの模式図であり、図５（ａ）が、垂直入射、図５（ｂ）が、左側から角度θで光線が入射する場合、図５（ｃ）が、右側から角度θで光線が入射する場合である。両面格子基板１０２上の表側格子パターン１０４と裏側格子パターン１０５は軸がそろっている。図５（ａ）の場合には、表側格子と裏側格子の影が一致するのでモアレ縞は生じない。図５（ｂ）と図５（ｃ）の場合には、表側格子と裏側格子のずれが等しいため、同じモアレが生じ、空間周波数スペクトルのピーク位置も一致し、空間周波数スペクトルからは光線の入射角が図５（ｂ）のときのものなのか図５（ｃ）ときのものなのかを判別することができなくなる。

これを避けるためには、基板に垂直に入射する光線に対しても二つの格子の影がずれて重なるよう、図６に示すように、あらかじめ二つの格子は、光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して二つの格子の影の相対的なずれをδ_０とするとき、入射角θの平面波によって生じるずれδは

のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、

の位置となる。画像センサの大きさをＳ、ｘ、ｙ各方向の画素数を共にＮとすると、高速フーリエ変換（ＦＦＴ）による離散画像の空間周波数スペクトルは、−Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られることから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は原点（ＤＣ）位置と、例えば＋側端の周波数位置との中央位置、すなわち、

の空間周波数位置とするのが妥当である。したがって、二つの格子の相対的な中心位置ずれは、

とするのが妥当である。

このように、表側格子パターン１０４と裏側格子パターン１０５をずらした場合に、光線と基板配置、生じるモアレ縞、空間周波数スペクトルの対応の様子を示すと、図７に示されるようになる。図５と同様、左側に光線と基板の配置図、中央列がモアレ縞、右側が空間周波数スペクトルを示しており、図７（ａ）が、光線が垂直入射の場合、図７（ｂ）が、左側から角度θで入射する場合、図７（ｃ）が、右側から角度θで入射する場合である。表側格子パターン１０４と裏側格子パターン１０５はあらかじめδ_０だけずらして配置されているため、図７（ａ）の場合でも、モアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ_０は上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図７（ｂ）では、ずれδがさらに大きくなる方向、図７（ｃ）では、小さくなる方向となっているため、図５の場合とは、異なり図７（ｂ）と図７（ｃ）の入射角の違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、この撮像装置による撮影像にほかならない。

ここで、受光できる平行光の入射角の最大角度をθmaxとすると、

より、本撮像装置で受光できる最大画角は、

で与えられる。通常のレンズを用いた結像との類推から、画角θmaxの平行光をセンサの端で焦点を結んで受光すると考えると、レンズを用いない本装置の結像光学系の実効的な焦点距離は、

に相当すると考えることができる。

なお（２）式で示したように格子の透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子の基本周波数成分としてそのような成分があれば、格子の透過率を２値化して、透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。

以上の説明では、いずれも入射光線は、同時には一つの入射角度だけであったが、実際に本装置がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側格子に入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もしこれらが相互にモアレ縞を生じると、信号成分である裏面格子とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は表側格子の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは、裏面側格子との重なりだけになる。その理由について以下、説明する。先ず、複数の入射角の光線による表側格子の影どうしの重なりは、それぞれの光強度に関する積ではなく和であることが大きな違いである。一つの入射角の光による表側格子の影と裏側格子の重なりでは、表側の影である光の強度分布に、裏側格子の透過率を乗算することにより、裏側格子を透過したあとの光強度分布が得られる。これに対して、表側格子に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、

のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがってその周波数スペクトルはそれぞれの周波数スペクトルの重なり積分で表されるため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。すなわち、スペクトルに鋭いピークは生じない。したがって複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表側格子と裏側格子の積のモアレだけであり、裏側格子が単一である以上、検出されるスペクトルのピークは一つの入射角に対して一つだけとなる。

ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応を図８を用いて模式的に説明する。被写体２０１を構成する各点からの光は、厳密には点光源からの球面波として、本撮像装置の格子センサ一体基板９０１に入射する。このとき物体に対して格子センサ一体基板９０１が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板９０１を照明する光の入射角が同じとみなすことができる。（９）式から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、

のように表せる。これから、たとえば本実施例の条件においてはΔθ＜０．１８°であり、これは２０ｍｍのセンササイズであれば被写体から６ｍ離れれば実現できる条件である。

以上の結果の類推から、無限遠の物体に対して本撮像装置で結像が可能であることが理解できる。

〔格子パターンをずらす方向〕
次に、図９および図１０を用いて格子パターンをずらす方向について説明する。
図９は、２枚の格子パターンを横方向にずらす場合の空間周波数スペクトルを示す図である。
図１０は、２枚の格子パターンを縦方向にずらす場合の空間周波数スペクトルを示す図である。

前述の例では、図９に示すように表側格子パターン１０４と裏側格子パターン１０５を左右にずらしていた。このときセンサの形状を正方形としており、その画素ピッチもｘ方向とｙ方向で同じとすると、図の右側に示すように、センサ出力の空間周波数スペクトルはｘ、ｙ両方±Ｎ／Ｓの周波数範囲内で、像が左右に分離して再生されていることになる。しかし、このようにすると、像の画像は基本的に縦長のエリアに限定されることになる。一般にカメラで取得される画像は横長の長方形であるので、それに適した配置としては、図１０のようにするのが望ましい。このとき、表側格子パターン１０４と裏側格子パターン１０５は上下にずれており、センサ出力の空間周波数空間に形成される画像は上下に分離することになる。このようにすれば出力画像は横長とすることができる。

〔片面格子基板を利用した撮像装置〕
次に、図１１ないし図１３を用いて上記の両面格子基板を利用した撮像装置において、裏面側格子パターンの機能をセンサの感度分布を変更させることにより、実現する撮像装置について説明する。
図１１は、裏面側格子パターンをセンサ感度分布で実現する場合の撮像装置の構成図である。
図１２は、結像する物体が有限距離にある場合に表側格子パターンの裏面への射影が表側格子パターンより拡大されることを示す図である。
図１３は、裏面側格子パターンをセンサ感度分布で実現する場合の撮像装置の画像処理回路の処理を示すフローチャートである。

上記の両面格子基板を利用した撮像装置の例では、格子基板の表側と裏側に同一の格子を互いにずらして配置することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して、像を構成していた。しかしながら、裏側の格子は、センサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に裏側の格子の透過率を加味して設定することにより、処理画像の中で仮想的にモアレを生じさせることができる。図１１は、格子基板の裏面に裏面格子がない場合の撮像装置の構成を示している。このようにすると、形成する格子を１面減らすことができるので、素子の製造コストを減じることができる。しかしながら、このとき、センサの画素ピッチは、格子ピッチを十分再現できる程度に細かいか、格子ピッチがセンサの画素ピッチで再現できる程度に粗いことが必要である。格子を基板の両面に形成する場合は、必ずしも格子のピッチがセンサの画素で解像できる必要はなく、そのモアレ像だけが解像できればよいので、センサピッチとは独立に格子ピッチを決めることができる。しかしながら、センサで格子の機能を実現する場合は、格子とセンサの解像度は同等である必要がある。画像処理回路１２０１の処理として、図１３に示すように、センサ出力画像に対してモアレを生成するための裏面格子の機能に相当するセンサの強度変調処理Ｓ０Ａが必要となり、そのための強度変調回路も必要となる。

このように格子を可変にすることができると、検出光は必ずしも平行光でなくてもよい。図１２に示すように、物体を構成する点１３０１からの球面波が表側格子パターン１０４を照射し、その影１３０２が下の面に投影される場合、下の面に投影される像は、ほぼ一様に拡大される。そのため、平行光に対して設計された下面格子の透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された上面格子の影に合わせて、下面の格子を拡大するならば、拡大された影１３０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。これにより、必ずしも無限遠でない距離の点１３０１からの光を選択的に再生することができる。したがってこれにより焦点合わせが可能となる。

〔表面格子を可変にした撮像装置〕
次に、図１４および図１５を用いて、表面側格子パターンを液晶素子などにより可変にした撮像装置について説明する。
図１４は、表面格子パターンを液晶素子によりサイズ可変で表示させる撮像装置の構成図である。
図１５は、表面格子パターンを液晶素子によりサイズ可変で表示させる撮像装置の画像処理回路の液晶制御に関する部分のブロック図である。

上記の撮像装置では、裏側格子パターンの機能をセンサの感度分布を可変にすることにより実現したが、表側基板の格子も液晶素子などを用いると可変とすることができる。図１４は、液晶層１４０１を挟み、液晶基板１４０２で封入した液晶素子により、表側基板の可変格子１４０３を表示する撮像装置の構成図である。液晶基板１４０２、および格子基板１０２ａには透明電極が形成されており、図示していない電極を介して、任意の格子像を表示させることができる。基本的に無限遠とはみなせない有限距離の点１３０１からの光は、発散光であるので、裏側格子パターン１０５と裏面で同じ大きさになるためには表面でやや縮小して表示すればよいことになる。画像処理回路１４０４には、図１５に示すように、液晶駆動回路１４１０と裏面格子生成回路１４１１が内蔵され、裏面格子生成回路１４１１が外部からのピント指定入力に応じて裏面格子パターンを生成し、それに応じて液晶駆動回路１４１０を駆動することにより、センサと一体となった液晶素子に任意のピント位置に対応した裏面格子パターンを表示させる。

〔両面格子基板を分割した撮像装置〕
図１６ないし図２０を用いて両面格子基板を分割した撮像装置について説明する。
図１６は、３×３分割の格子パターンを示す図である。
図１７は、３×３分割の格子パターンの両面の初期位相の配置を示す斜視図である。
図１８は、３×３分割の両面格子に単一点光源からの光が入射して生じるモアレ縞の画像を示す図である。
図１９は、ノイズ低減画像処理を施して得られたモアレ縞の画像を示す図である。
図２０は、両面格子基板を分割した撮像装置の画像処理回路の処理を示すフローチャートである。

上記の両面格子基板を用いた撮像装置の原理説明で、（５）式において信号の鋭いピークが得られるのは、第４項のモアレ縞の周波数のみであることを説明したが、光学系や被写体の条件によっては、第２、第３項がノイズとなって再生画像の画質に影響を与える場合がありえる。そこでそれらのノイズを除去する構成について説明する。

ノイズの除去のために、ここでは、表側格子と裏側格子を、図１６に示すように、３×３以上に分割したエリアでそれぞれ独立のゾーンプレートを形成する。ただし、それぞれのゾーンプレートは重なることなく並べる。このとき、表側格子では、上段、中段、下段、裏側格子では左側、左右中間、右側でそれぞれ格子の初期位相をφ１、φ２、φ３に揃える。これらは、図１７に示すように配置されている。このときセンサ面上の光強度Ｉｓは、

のように表すことができる。ここで、Ｉ_ｋはｋ番目の点光源による表側格子の影の光強度分布、Ｉが裏側格子の透過率分布である。表側格子の初期位相φ_Ｆ、裏側格子の初期位相φ_Ｂはそれぞれ、上記したようにφ１、φ２、φ３の三つの値をとる。表側格子を照らすｋ番目の点光源はＡ_ｋの強度で発光し、δ_ｋのずれをもって表側格子の影をセンサ上に形成するものと仮定している。（１７）式の下段の式の｛｝内の第２項は表面側格子の影、第３項は裏面側格子の強度変調、第４項は二つの格子の和周波成分、第５項が差周波成分であり、本装置が利用する信号成分であるモアレ縞の項である。したがって、このφ_Ｆ−_ａの付加位相を持つ成分だけを抽出すればよいことになる。（１７）式をφ_Ｆとφ_Ｂに着目して

のように表すと、三角関数の直交性を用いてcos、sinの係数を、

のように抜き出すことができる。さらにこれから、cos cos、sin sinの項を抜き出すと、

のように表すことができる。これらを辺々加えると、

が得られるが、これは結局、

のように（１７）式におけるモアレ成分のみを抜き出したことに対応する。この演算は、表側格子の位相と裏側格子の位相の両方を２次元に走査して積分することに対応する。この積分を最低限のサンプリング点数である３点で離散化するため、図１６、図１７に説明した３×３の両面フレネルゾーンプレートを用いている。単一の点光源によるこの３×３の両面格子によって得られたモアレ縞は、図１８に示されるようになる。複数のフレネルゾーンプレートが交差しているように見えるが、これは交差のない両面のフレネルゾーンプレートに入射した光によってセンサ状に形成された光強度分布である。さらに、（２４）式を用いてこの３×３の各セルからのモアレ縞を合成して得られたモアレ縞は、図１９に示されるようになる。この図によれば、モアレ縞以外の不要なノイズが大幅に低減されている。これによって撮影画像の品質を向上させることができる。

上記の原理による画像処理回路の処理を示すと、図２０に示されるようになる。このフローチャートでは、図３に加えて、モアレ縞ノイズ除去Ｓ０Ｂのプロセスが加わっている。

〔片面格子基板を分割した撮像装置〕
上記では、両面格子基板を分割した撮像装置について説明したが、ここで、図２１ないし図２３を用いて、片面格子基板を分割の例について説明する。
図２１は、２×２分割の格子パターンを示す図である。
図２２は、ノイズ低減画像処理を施して得られたモアレ縞の画像を示す図である。
図２３は、片面格子基板を分割した撮像装置の画像処理回路の処理を示すフローチャートである。
図２１は、上で示した両面格子基板とは、さらに異なる表側格子のパターンにした場合の格子パターンを示している。これは、裏面側格子を固定格子とせず、センサ感度を仮想的にフレネルゾーンプレート状に与える場合や、液晶素子などを用いる場合を想定している。格子は、２×２のエリアに分かれており、それぞれのフレネルゾーンプレートの初期位相は、９０°ずつずらしてある。上記の両面格子基板分割した撮像装置では、列または行で位相をずらしたが、本装置では、領域すべてで位相を変えている。このようにして、裏面側の仮想ゾーンプレートの位相を全領域で９０°ずつ、４ステップで位相を変えてモアレ縞を生成することにより、両面格子とも４位相での積分演算が可能となる。分割が細かくなることにより、ノイズ低減効果のさらなる向上が期待できる。単一点光源によるモアレ縞の再生像を示すと、図２２に示されるようになる。図１９の場合に比べてさらにノイズが低減している。

上記の原理による画像処理回路の処理を示すと、図２３に示されるようになる。このフローチャートでは、図２０に加えて、裏面格子の機能に相当するセンサの強度変調処理Ｓ０Ａのプロセスが加わっている。

〔解像度を向上させる両面格子基板を利用した撮像装置〕
次に、図２４を用いて解像度を向上させる両面格子基板を利用した撮像装置について説明する。
図２４は、２枚の格子パターン位置を一致させる場合の空間周波数スペクトルを示す図である。

上で説明した両面格子基板を利用した撮像装置では、図９および図１０に示したように表側格子パターン１０４と裏側格子パターン１０５を左右または上下にずらすことにより、空間周波数空間に生じる鏡像関係にある二つの再生画像を分離していた。しかし、そのため再生画像の画素数が通常カメラの半分になる問題点がある。そこで鏡像の発生を回避し、有効画素数を減じない構成について説明する。

一つのモアレ縞の空間周波数スペクトルがプラス側とマイナス側の二つのピークを生じるのは、モアレ縞を正弦波の実関数としているためである。すなわちｃｏｓ（ｘ）＝（ｅｘｐ（ｉｘ）＋ｅｘｐ（−ｉｘ））／２と二つの複素指数関数に分離すると、これらがそれぞれのスペクトルのピークに対応する。ここで、ｉは、虚数単位である。したがって、モアレ縞を最初から一つの複素指数関数で表せばよい。両面格子基板を分割した撮像装置において、ノイズをキャンセルし、モアレ縞の信号成分のみを抽出する方法を説明した。そこで参照した（２１）（２２）式においてcos cos、sin sinの項を抜き出したが、同様にしてcos sin 、sin cosの成分を抜き出すと、

のように表せる。これらの辺々の差をとると、

が得られ、（２４）式のモアレ縞のｃｏｓ波成分と同様にして、

のように、モアレ縞のｓｉｎ波成分を抽出することができる。（２４）式と（２８）式をそれぞれ複素指数関数の実部と虚部として辺々加えると、

を得ることができる。すなわち、センサ画像に対して表側格子と裏側格子の位相差の複素指数関数を乗じて２重積分すると、モアレ縞の信号波形を複素指数関数として抜き出すことができる。これをフーリエ変換することにより、プラス側またはマイナス側のみの空間周波数成分のスペクトル像を得ることができる。

この原理は、光学部品における回折格子との類推から理解することができる。一般に光学素子を透過する光の角度分布は、素子の振幅透過率分布の空間周波数スペクトルに対応し、回折格子のような周期構造からは格子形状を反映した離散的な回折光を生じる。格子の透過率を濃淡で実現する場合などは、透過する光を直進する０次光とその両側に対称に生じる複数の回折光に分離する。しかし、回折レンズなど一つの次数の光だけが必要な場合には、不要次数光を除去して、光利用効率を向上させるためにブレーズ回折格子が用いられる。これは格子断面がのこぎり歯状の形状をした位相格子であり、回折光を一つの次数に集中させることができる。（２９）式はモアレ縞をブレーズ回折格子として表し、回折次数を一つの次数に集中させたことと等価である。これが実現できているのは、表側格子と裏側格子の位相を変化させてモアレ縞の強度のみならず、位相も検出しているからである。

このように一つのモアレ縞成分の空間周波数のピークを１点に集約できる場合には、表側格子パターン１０４と裏側格子パターン１０５の同心円状のゾーンプレートの中心位置を、局所的なセンサ中心から立てたセンサ面に対する法線上に配置すれば、再生画像を、図２４に示すように、空間周波数空間上で中央に表示することが可能となり、センサの画素数と同じ画素数の再生画像を得ることができる。この場合、δ_０＝０であり、信号となるモアレ縞成分を、

のように表すことができる。式（３０）は、（ｕ，ｖ）空間で見ると、一つのディラックのデルタ関数の項で表現することができる。

〔格子基板の位相可変手段〕
次に、図２５ないし図２８を用いて格子基板の初期位相を可変とする撮像装置について説明する。
図２５は、表側格子の位相を可変にする場合の格子基板と画像センサの撮像装置の配置を示す図である。
図２６は、液晶素子の電極パターンの例を示す図である。
図２７は、液晶素子の電極パターンの初期位相を可変入力した場合の模式図である。
図２８は、表側格子の初期位相を可変させる場合のゾーンプレートの配置例を示す図である。

表側格子の初期位相の可変手段を液晶素子でおこなう場合には、図２５に示すように、液晶電極として形成されたゾーンプレート３４０３の同心円電極の中心が、センサ受光部３４０４の中央位置に立てた法線Ｎの上にあるように配置する。しかしながら、必ずしもその精度に関して厳密なものは要請されず、少なくとも中央の円形電極内に法線Ｎがあれば多くの場合問題は生じないと考えられる。上述の表側格子を可変にした撮像装置では液晶素子を、ピント調整のためのゾーンプレートサイズ可変手段として用いたが、本装置では、ゾーンプレートの初期位相を可変する手段として用いている。その電極パターンは、例えば、図２６に示す模式図のように構成すればよい。ゾーンプレートの格子パターンの１周期を４分割するように同心円状電極が構成されており、内側から４本おきに外側の電極と結線されて、最終的に端子部３５０１では電極の駆動端子として４本の電極が出力されている。これらに所定の電圧を印加して実際に初期位相を可変するには、図２７のようにすればよい。初期位相０の状態３６０１、π／２の状態３６０２、πの状態３６０３、３π／２の状態３６０４を、四つの電極に印加する電圧状態を“０”と“１”の二つの状態で時間的に切り替えることにより実現している。ハッチングした電極が光を遮蔽し、白い電極が光を透過させることを意味している。また、裏側格子の初期位相は、センサの実効的な受光感度を仮想的な透過率として設定することによって可変にさせる。本装置では裏側格子の初期位相の変化は、画像処理として行われるため、デバイスの計算能力によっては必ずしも時間的に可変させる必要はなく、並列的に計算してもよい。可変させる表側格子と裏側格子の初期位相のすべての組み合わせによる仮想的なモアレ縞の検出画像から、（３０）式に基づく演算を行い、ノイズが除去された複素数の輝度を持つモアレ縞画像を得る。これを２次元フーリエ変換することにより最終的な検出画像が得られる。

また、図２１に示したような四つのゾーンプレートを面内に並べて配置することにより、表側格子の初期位相を可変させる場合には、図２８に示すように、初期位相を変えた四つのゾーンプレートの中心位置を、センサの中心を通る法線Ｎに対し、対称に配置する。言い換えれば、四つのゾーンプレートの同心円の中心位置が作る四角形は正方形であり、センサ中心の法線Ｎは、その正方形の中心を通るように配置されている。

この方法を用いると、画像再生時の計算によって位相情報を取得することができ、再生画像のノイズ除去に加えて解像度を向上することが可能になる。

〔位相変更処理の削減〕
次に、図２９を用いて片面格子基板を分割した場合の位相変更処理を削減する例について説明する。
図２９は、片面格子基板を分割した場合の表面格子パターンの一例を示す図である。
図２１に示した片面格子基板を分割の例では、裏面側格子を固定格子とせず、センサ感度を仮想的にフレネルゾーンプレート状に与え、裏面側の仮想ゾーンプレートの位相を全領域で９０°ずつ４ステップで位相を変えることでおこなうモアレ縞のノイズ除去に関して説明したが、ここでは、さらにステップの回数を減らし、２ステップの位相変更でノイズ除去を可能とする構成について説明する。
図２９は、本装置における表側格子の一例を示すものであり、φ１とφ２の位相差はπ／２となっている。ここで、裏面側格子を仮想ゾーンプレートとする場合、ゾーンプレートを表現する式においてcosの負成分を扱うことが可能となり、センサ面上の光強度Ｉｓは、

のように表すことができる。（３１）式の下段の式の｛｝内の第２項は裏面側格子の強度変調を示しており、その値は既知のものであるため減算することが可能であり、減算後は、

となる。（３２）式の下段｛｝内の第２項は二つの格子の和周波成分を示しており、この項を除去することができればモアレ縞の項だけを表すことができる。ここで第２項と第３項におけるφ_Ｆ、φ_Ｂにそれぞれ注目すると、φ_Ｆ＋φ_Ｂとφ_Ｆ−_aの差分が０の場合、例えば、φ_Ｆ＝φ_Ｂ＝０のときに、第２項と第３項は、共に正の値となる。一方、φ_Ｆ＋φ_Ｂとφ_Ｆ−_ａの差分がπの場合、例えばφ_Ｆ＝φ_Ｂ＝π／２のときに第２項は負の値に、第３項は正の値となる。φ_Ｆ、φ_Ｂの組み合わせを２通り変えて得られた光強度Ｉ_Ｓを平均化することにより、モアレ縞の項だけを残すことができる。φ_Ｆ＝φ_Ｂ＝０とφ_Ｆ＝φ_Ｂ＝π／２の組み合わせによって得られた結果を平均化し、モアレ縞の項を計算する例を示すと、

になる。ただしここで、Ｉ_{ＭφＦ，φＢ}は初期位相φＦの前面側格子と初期位相φ_Ｂの裏面側格子を掛け合わせた結果から、（３１）式の第２項を減算した結果を表す。
更にここで、三角関数の対象性よりφ_Ｆ−_a＝π／２の場合、例えばφ_Ｆ＝π／２、φ_Ｂ＝０のときに第２項と第３項はそれぞれ負のsin成分に、φ_Ｆ−_a＝−π／２の場合、例えば、φ_Ｆ＝０、φ_Ｂ＝π／２のときには第２項は負のsin成分に、第３項は正のsin成分となる。上記の解像度を向上させる両面格子基板を利用した撮像装置の原理の説明では、sinとcosを足し合わせてモアレ縞を作ることで再生像を空間周波数空間上で中心に表示し、解像度を向上する方法を説明したが、ここでも、sin成分を足し合わせることにより再生像の解像度向上が可能である。φ_Ｆを０とπ／２、φ_Ｂを０とπ／２とした場合の４通りの組み合わせからcos成分とsin成分を用いてモアレ縞の項を計算する例を示すと、

になる。以上より、領域ごとにπ／２位相がずれた表側格子と領域ごとにπ／２位相がずれた裏側格子を用いることにより、モアレ縞のノイズ除去が可能となる。さらに、裏側格子の位相を全領域で９０°ずつ２ステップで位相を変えることで指数関数でのモアレ縞表現を可能とし、解像度の向上が可能となる。

〔表側格子、裏側格子共に時間的にその表示切り替えが可能な撮像装置〕
次に、図３０ないし図３２を用いて表側格子、裏側格子共に時間的にその表示切り替えが可能な撮像装置について説明する。
図３０は、表側格子、裏側格子共に時間的にその表示切り替えが可能な撮像装置の構成図である。
図３１は、画像処理回路のブロック図である。
図３２は、画像処理回路の処理を示すフローチャートである。
図２１に示した片面格子基板を分割の例では、複数の領域に分割された表側格子と、液晶素子などを用いて裏側格子を表示する場合に関して説明したが、ここでは表側格子、裏側格子共に液晶素子などを用いて時間的にその表示切り替えが可能な構成について説明する。

撮像装置３１０１は、画像センサ１０３と、表側格子表示部３１０２と、裏側格子表示部３１０３と、画像処理部３１０４と表示制御部３０１５から構成される。

表側格子表示部３１０２および裏側格子表示部３１０３は、時間的にその濃淡変化の位相が可変なフレネルゾーンプレートを表示可能であり、その表示は表示制御部３１０５によって制御される。画像処理部３１０４における画像取り込みと表示制御部３１０５による表示の切り替えは同期して行われ、画像処理部３１０４では、取り込んだ複数枚の画像からノイズ除去と現像処理を行ったのちにフーリエ変換で基準となる画像を再生し、モニタディスプレイ１０７などに出力する。画像処理部３１０４は、画像取得部３２０１、指数関数演算部３２０２、画像記憶部３２０３、スイッチ３２０４、全記憶画像加算部３２０５、２次元フーリエ変換部３２０６からなる。画像取得部３２０１は、画像センサから画像を取得する部分である。指数関数演算部３２０２は、表側格子パターンと裏側格子パターンの位相の差分を指数関数として掛け合わせる演算をする部分である。画像記憶部３２０３は、指数関数演算部３２０２の演算結果を一時的に保存するメモリである。スイッチ３２０４は、表示制御部３１０５からの指令によりオン・オフされるスイッチである。全記憶画像加算部３２０５は、画像記憶部３２０３の画像データを加算する部分である。２次元フーリエ変換部３２０６は、加算された画像データを２次元フーリエ変換する部分である。

以下では、本装置における画像取得からモアレ縞のノイズ除去を含めた画像再生までの処理を、図３１および図３２を用いて説明する。なお、ここでは表側格子、裏側格子共に基準となる位相を、０とし、ステップ毎に位相がπ／２変化し、ステップ回数はそれぞれ４回ずつの組み合わせで再生処理をおこなう場合を例とする。

表面格子、裏面格子の表示のリセット後（Ｓ３３０１）、画像取得部３２０１でセンサ画像を取得し（Ｓ３３０２）、取得した画像に対し指数関数演算部３２０２で表側格子パターンと裏側格子パターンの位相の差分を指数関数として掛け合わせ（Ｓ３３０３）、その画像を画像記憶部３２０３に記憶する（Ｓ３３０４）。表示制御部３１０５では、表側格子表示部３１０３に位相をπ／２付加したフレネルゾーンプレートを表示するよう指令を送り、さらに、必要に応じて裏側格子表示部３１０４に位相をπ／２付加したフレネルゾーンプレートを表示するよう指令を送る（Ｓ３３０５〜Ｓ３３０８）。ここで、前記表示制御部で再生に必要な位相の全画像を取り込んだと判断した場合には、スイッチ３２０４が閉じられ、画像記憶部３２０３に記憶していた全画像が全記憶画像加算部３２０５に送られ加算される（Ｓ３３０９）。これによってノイズが除去されたモアレ縞が計算されるため、２次元フーリエ変換部３２０６で画像をフーリエ変換し（Ｓ３３１０）、再生画像を前記モニタディスプレイ１０７で画像を表示する（Ｓ３３１１）。

本撮像装置によれば、前面側格子と後面側格子共に領域を分割することなく時間的にゾーンプレートの表示を切り替え、複数枚のセンサ画像を用いてモアレ縞のノイズを除去し、品質の良い再生画像を得られる。格子の表示が固定された場合と比較して表示部を任意の回数切り替えることが可能であり、ノイズの発生状況に応じて表示の切り替え回数を変動し、常に品質の良い再生画像を得ることが可能である。

以上、表側格子と裏側格子共に液晶素子を用いる説明をしたが、位相を変えたフレネルゾーンプレートを表示できればよく、例えば、円環状に電極を配置し、電極間の透過率を変調させて任意の表示を行ってもよい。これによって、液晶素子でフィルファクター等に起因して生じる格子状の非透過部分の影響を排除することが可能である。

１０１…撮像装置
１０２…両面格子基板
１０２ａ…格子基板
１０３…画像センサ
１０４…表側格子パターン
１０５…裏側格子パターン
１０６、１２０１…画像処理回路
１０７…モニタディスプレイ
２０１…被写体
９０１…格子センサ一体基板
１３０１…物体を構成する点
１３０２…表側格子の影
１４０１…液晶層
１４０２…液晶基板
１４０３…表側基板の可変格子
２８０２…撮像装置の視域
３１０１…撮像装置
３１０２…表側格子表示部
３１０３…裏側格子表示部
３１０４…画像処理部
３１０５…表示制御部
３２０１…画像取得部
３２０２…指数関数演算部
３２０３…画像記憶部
３２０４…スイッチ
３２０５…全記憶画像加算部
３２０６…２次元フーリエ変換部

Claims (20)

1. 撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して
   出力する画像センサと、
   前記画像センサの受光面に設けられ、光の強度を変調する変調部と、
   前記画像センサより出力された出力画像に対して画像処理を施す画像処理部とを備え、
   前記変調部は格子基板と、
   前記画像センサの受光面に近接する面に対向する前記格子基板の第１の面に形成される第１の格子パターンとを有し、
   前記第１の格子パターンは、基準座標の原点からの距離に対してそれぞれのピッチが反比例する複数の同心円から構成されており、
   複数の前記同心円は前記第１の格子パターン内で互いに重ならず、
   前記基準座標は、前記受光面の中央の法線に対し対称に配置されていることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記変調部は、前記第１の面に対向する第２の面に形成される第１の格子パターンに対応した第２の格子パターンを有し、
   前記第２の格子パターンは、少なくとも一つの基準座標の原点からの距離に対してそれぞれのピッチが反比例する複数の同心円から構成されており、
   前記第１の格子パターンの基準座標の原点と前記第２の格子パターンの基準座標の原点は、一致しており、
   前記変調部は、前記第１の格子パターンを透過する光を前記第２の格子パターンにおいて強度変調して、前記画像センサに出力することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記第２の格子パターンは、前記格子基板の裏面に設けられたことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記画像処理部は、出力された画像について２次元フーリエ変換演算をおこなうことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置であって、
   前記画像処理部は、前記第１の格子パターンを透過する光を仮想的に強度変調する処理をおこなう強度変調部を有し、
   前記強度変調部は、前記第１の格子パターンを透過した光を前記画像センサに出力し、
   前記画像センサは取り込まれた画像を前記画像処理部に出力し、
   前記強度変調部は、仮想的な第２の格子パターンを用いて前記画像センサより取り込まれた画像に基づいて、前記第１の格子パターンを透過する光を強度変調する処理をおこなうことを特徴とする撮像装置。
6. 請求項１に記載の撮像装置であって、
   前記第１の格子パターンを円環状の透明電極によって表示する液晶素子を有し、
   前記透明電極は、前記格子パターンの各周期を少なくとも３以上の同心円環に分割して選択的に光透過率を可変できることを特徴とする撮像装置。
7. 請求項６に記載の撮像装置であって、
   前記撮像装置により１フレームの画像を撮像するにあたり、前記格子パターンの各周期を分割する少なくとも３以上の同心円環状透明電極に印加する電圧状態を、それぞれ少なくとも１回は変更させることを特徴とする撮像装置。
8. 請求項５記載の撮像装置であって、
   前記強度変調部は、仮想的な第２の格子パターンにより光強度を変調し、
   １フレームの画像を撮像するにあたり、液晶素子により光強度を異ならしめた第１の格子パターンそれぞれに対し、第２の格子パターンの位相を変化させ、すべての組み合わせの画像を合成して演算することで、第１の格子と第２の格子のモアレ縞成分を抽出する演算をおこなうことを特徴とする撮像装置。
9. 請求項１に記載の撮像装置であって、
   前記第１の格子パターンは、複数の領域に分かれており、前記領域ごとに異なる同心円格子パターンが配置され、それぞれの格子パターンの基準座標が、前記受光面の中央の法線に対し対称に配置されていることを特徴とする撮像装置。
10. 請求項９に記載の撮像装置であって、
    前記第１の格子パターンが複数の領域に分割されたそれぞれの同心円格子パターンは、互いに基準座標の原点からの距離に対するピッチの分布が同一であり、格子配置の位相が異なっていることを特徴とする撮像装置。
11. 請求項９に記載の撮像装置であって、
    前記変調部は、前記第１の面に対向する第２の面に形成される第１の格子パターンに対応した第２の格子パターンを有し、
    前記第２の格子パターンは、少なくとも一つの基準座標の原点からの距離に対してそれぞれのピッチが反比例する複数の同心円から構成されており、
    前記第１の格子パターンの基準座標の原点と前記第２の格子パターンの基準座標の原点は、一致しており、
    すべての領域の画像を合成して演算することにより、前記第１の格子と前記第２の格子のモアレ縞成分を抽出する演算をおこなうことを特徴とする撮像装置。
12. 請求項１１に記載の撮像装置であって、
    前記第１の格子パターンと前記第２の格子パターンのいずれか、または、その双方において、分割された領域毎の格子配置の位相がＸ方向もしくはＹ方向のみ同一であることを特徴とする撮像装置。
13. 請求項９に記載の撮像装置であって、
    前記画像処理部は、前記第１の格子パターンを透過する光を仮想的に強度変調する処理をおこなう強度変調部を有し、
    前記強度変調部は、仮想的な第２の格子パターンにより光強度を変調し、
    １フレームの画像を撮像するにあたり、第２の格子パターンの位相を変化させ、すべての領域の画像を合成して演算することにより、第１の格子と第２の格子のモアレ縞成分を抽出する演算をおこなうことを特徴とする撮像装置。
14. 請求項２に記載の撮像装置であって、
    前記第１の格子パターンおよび第２の格子パターンは、複数の領域に分かれており、
    隣接領域間で異なる同心円格子パターンが配置されており、
    前記第１の格子パターン内の前記複数の領域の格子の位相と、前記第２の格子パターン内の前記複数の領域の位相の組み合わせが、複数の組み合わせで重ねあわされるように配置されていることを特徴とする撮像装置。
15. 請求項２に記載の撮像装置であって、
    前記画像処理では、Ｐ（Ｐ≧２，Ｐ：自然数）通りの前記第１の格子パターンとＱ（Ｑ≧２，Ｑ：自然数）通りの前記第２の格子パターン全ての組み合わせによるセンサ出力信号を取得して演算し、両格子パターンを透過する光に生じるモアレ縞成分を強調することを特徴とする撮像装置。
16. 請求項１５に記載の撮像装置であって、
    前記第１の格子パターンの濃淡変化の位相ずれ量が（２π）／Ｐであり、前記第２の格子パターンの濃淡変化の位相ずれ量が（２π）／Ｑであることを特徴とする撮像装置。
17. 請求項８記載の撮像装置であって、
    前記第１の格子パターンと前記第２の格子パターンの濃淡変化の位相が揃っており、
    前期画像処理では、前記濃淡変化の位相がずれていない場合とπ／２ずれた場合の２枚の出力画像を平均することを特徴とする撮像装置。
18. 請求項８記載の撮像装置であって、
    前記第１の格子パターンと前記第２の格子パターンの濃淡変化の位相差が０、または、π／２であり、前期画像処理では、前記位相差が０の演算結果と、π／２の演算結果を、それぞれ実部と虚部または虚部と実部に割り当てて加算することを特徴とする撮像装置。
19. 請求項２に記載の撮像装置であって、
    前記第２の格子パターン、または、第１の格子パターンと第２の格子パターンの双方が液晶素子により実現されることを特徴とする撮像装置。
20. 請求項１９に記載の撮像装置であって、
    前記第２の格子パターン、または、第１の格子パターンと第２の格子パターンの双方が円環状に配置された電極により実現されることを特徴とする撮像装置。

Images