WO2017145348A1

WO2017145348A1 - 撮像装置

Info

Publication number: WO2017145348A1
Application number: PCT/JP2016/055741
Authority: WO
Inventors: 島野　健
Original assignee: 株式会社日立製作所
Priority date: 2016-02-26
Filing date: 2016-02-26
Publication date: 2017-08-31
Also published as: JP6820908B2; CN108702440B; JPWO2017145348A1; CN108702440A; US10911643B2; US20190020789A1

Abstract

レンズを用いずに物体の像を結像し、撮像装置の薄型化を実現する従来特許文献では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンであり、センサで受光される射影パターンから、像を再生するための逆問題を解く演算が複雑になるという問題点があった。そこで本発明では、光線の入射角度の検出の容易な技術を提供することを目的とする。　撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調部と、前記画像センサより出力された出力画像に対して画像処理を施す画像処理部と、を備え、前記変調部は格子基板と、前記画像センサの受光面に近接する前記格子基板の第１の面に形成される第１の格子パターンと、を有し前記格子パターンは、基準座標からの距離に対してピッチが反比例して細かくなる複数の同心円からそれぞれ構成されており、複数の前記同心円は前記格子パターン内で互いに重ならないことを特徴とする撮像装置で解決できる。

Description

撮像装置

　本発明は撮像カメラなどの撮像装置、および特にその薄型化に関する。

　スマートフォンなどに搭載するカメラや、３６０°センシングが必要となりつつある車載カメラでは薄型化が必要であり、米国特許出願US2014/0253781A1（特許文献１）などでは、画像センサに特殊な回折格子基板を貼り付け、レンズを用いることなく、回折格子基板を透過する光がセンサ上で生じる射影パターンから、入射光の入射角を逆問題演算により求めることで、外界の物体の像を得る方法について記載されている。
また米国特許出願US2015/0219808A1（特許文献２）などでは、前記回折格子基板として中心から外側に向けてピッチが細かくなる同心円状の格子パターンを用いることが記載されている。

米国特許出願US2014/0253781A1 米国特許出願US2015/0219808A1

　特許文献１では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンであり、センサで受光される射影パターンから、像を再生するための逆問題を解く演算が複雑になるという問題点があった。
特許文献２では、前記同心円状格子パターンが複数オーバーラップしている回折格子を用いているため、透過率が低下するとともに、相互の同心円格子パターンが干渉し、再生画像のノイズ増大を招く懸念がある。
そこで本発明では、光線の入射角度の検出の容易な技術を提供するとともに、その時の光利用効率の低下を軽減し、相互の同心円格子パターンの干渉ノイズが生じない撮像装置を提供することを目的とする。

　上記課題を解決するための、代表的な本発明の撮像装置の一つは、センサに貼り付ける基板の物体側面に、中心からの距離に対してピッチが反比例して細かくなる単一の同心円状の格子パターンを形成し、それを透過した光に再び、中心からの距離に対してピッチが反比例して細かくなる同心円状の強度変調を生ぜしめ、その変調像の２次元フーリエ変換像から外界の物体の像を得るものである。

　本発明によれば、高速フーリエ変換（FFT）などの簡単な演算で外界の物体像を得ることができる。また光の透過率の低下を軽減し、再生画像に残留する相互にオーバーラップする同心円格子パターンの干渉ノイズをなくすことができる。
レンズを用いないので、レンズの経時的な劣化やずれなどに起因した画質低下が懸念される車載カメラや監視カメラなどのメンテナンスフリー化にも有効である。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の基本的な実施形態を示す図本発明の基本的な実施形態により外界の物体の映像を撮影する様子を示す図斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図表面格子と裏面格子の軸をずらして配置する場合の模式図格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図垂直入射平面波とその他９個の異なる入射角の平面波の計１０個の光で照射したときの空間周波数スペクトル像の計算結果を示す図垂直入射平面波とその他９個の異なる入射角の平面波の計１０個の光で照射したときの空間周波数スペクトル像の計算結果を示す鳥瞰図物体を構成する各点からの光がセンサに対してなす角を説明する図２枚の格子パターンを横方向にずらす場合の空間周波数スペクトルを示す図２枚の格子パターンを縦方向にずらす場合の空間周波数スペクトルを示す図裏面側格子パターンをセンサ感度分布で実現する場合の実施例を示す図結像する物体が有限距離にある場合に表側格子パターンの裏面への射影が表側格子パターンより拡大されることを示す図表面格子パターンを液晶素子によりサイズ可変で表示させる実施例を示す図表側格子をシリンドリカルレンズアレイによって実現する場合の実施例を示す図本発明の撮像装置を搭載したスマートフォンの実施例を示す図実施例１の画像処理回路ブロック図実施例３の画像処理回路ブロック図実施例４の画像処理回路ブロック図実施例７の３×３分割の格子パターンを示す図実施例７の３×３分割の格子パターンの両面の初期位相の配置を示す図実施例７の３×３分割の両面格子に単一点光源からの光が入射して生じるモアレ縞の画像を示す図実施例７によるノイズ低減画像処理を施して得られたモアレ縞の画像を示す図実施例７の画像処理回路ブロック図実施例８の２×２分割の格子パターンを示す図実施例８によるノイズ低減画像処理を施して得られたモアレ縞の画像を示す図実施例８の画像処理回路ブロック図本発明の撮像装置を車載カメラとして搭載した自動車の実施例を示す図

以下、図面を用いて実施例を説明する。

　図１は、本発明の基本的な構成図である。撮像装置１０１は、両面格子基板１０２、画像センサ１０３、画像処理回路１０６から構成される。両面格子基板１０２は画像センサ１０３の受光面に密着して固定されており、両面格子基板１０２の表面には、外に向かうほど中心からの半径に反比例して格子間隔（ピッチ）が狭くなる同心円状の格子パターン１０４が形成されている。また裏面の、画像センサ１０３の受光面に接する面にも、同様の格子パターン１０５が形成されている。これらの格子パターンを透過する光は、その格子パターンによってその強度が変調される。透過した光は画像センサ１０３で受光され、その画像信号は、画像処理回路１０６によって画像処理され、モニタディスプレイ１０７などに出力される。通常の撮像装置はセンサの前に結像のためのレンズが必要であるが、本発明ではレンズを必要とせずに外界の物体の画像を取得することができる。このとき同心円状格子パターン１０４は、同心円を構成する各リングパターンに同じ面内で交差する他の格子パターンがなく、格子パターン間の不要な干渉を生じず、光利用効率の低下を抑えることができる。

　図２は、図１の撮像装置で実際に被写体２０１を撮影してモニタディスプレイ１０７に出力している様子を示している。被写体２０１に対して両面格子基板１０２の格子面を正対させて撮影する。

　図１７は、画像処理回路１０６の処理の内容を示すブロック図である。入力するモアレ縞画像に対して、カラーのＲＧＢ各成分ごとに２次元ＦＦＴ演算を行い、周波数スペクトルを求める。その片側周波数のデータを切り出し、強度計算を行う。さらに得られた画像に対してノイズ除去、コントラスト強調処理などを行い、カラーバランスを調整し、撮影画像として出力する。

　以下、撮影原理について説明する。
まず中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターンを、以下のように定義する。レーザー干渉計などにおいて、平面波に近い球面波と、参照光として用いる平面波を干渉させる場合を想定する。同心円の中心の基準座標からの半径をｒ、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて

と表せる。球面波にも関わらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、

のような干渉縞の強度分布が得られる。これは

を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、

が得られ、ピッチは半径に対して反比例して狭くなっていくことがわかる。このような縞はフレネルゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した格子パターン１０４、１０５として用いる。

　このような格子が両面に形成された厚さｔの基板に、図３に示すように角度θ0で平行光が入射したとすると、基板中の屈折角をθとして幾何光学的には表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、

のような強度分布が得られる。この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を、重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。

　このような縞が得られるのは、格子パターンをフレネルゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは不可能と考えられる。第２項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、２つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。（５）式から鋭いピークを持つ成分のみを

のように取り出すと、そのフーリエスペクトルは、

のようになる。ただしここで、Ｆはフーリエ変換の演算を表し、ｕ、ｖはｘ、ｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。

　その様子を図４に示す。図は左から光線と基板の配置図、モアレ縞、空間周波数スペクトルの模式図であり、上が（ａ）垂直入射、中段が（ｂ）左側から角度θで光線が入射する場合、下段が（ｃ）右側から角度θで光線が入射する場合である。格子基板１０２上の表側格子１０４と裏側格子１０５は軸がそろっている。（ａ）では表側格子１０４と裏側格子の影が一致するのでモアレ縞は生じない。（ｂ）と（ｃ）では表側格子１０４と裏側格子のずれが等しいため、同じモアレが生じ、空間周波数スペクトルのピーク位置も一致し、空間周波数スペクトルからは光線の入射角が（ｂ）なのか（ｃ）なのかを判別することができなくなる。

　これを避けるためには、基板に垂直に入射する光線に対しても２つの格子の影がずれて重なるよう、図５に示すように、あらかじめ２つの格子は光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ０とするとき、入射角θの平面波によって生じるずれδは

のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では

の位置となる。画像センサの大きさをＳ、ｘ、ｙ各方向の画素数を共にＮとすると、高速フーリエ変換（ＦＦＴ）による離散画像の空間周波数スペクトルは、－Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られることから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は原点（ＤＣ）位置と、例えば＋側端の周波数位置との中央位置、すなわち

の空間周波数位置とするのが妥当である。したがって、２つの格子の相対的な中心位置ずれは

とするのが妥当である。

　あらかじめ表側格子１０４と裏側格子１０５をずらした場合の、光線と基板の配置、およびモアレ縞とその空間周波数スペクトルの模式図を図６に示す。図４と同様にして左側に光線と基板の配置図、中央列がモアレ縞、右側が空間周波数スペクトル、上段が光線が（ａ）垂直入射の場合、中段が（ｂ）左側から角度θで入射する場合、下段が（ｃ）右側から角度θで入射する場合である。表側格子１０４と裏側格子１０５はあらかじめδ０だけずらして配置されているため、（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ０は上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき（ｂ）ではずれδがさらに大きくなる方向、（ｃ）では小さくなる方向となっているため、図４と異なり（ｂ）と（ｃ）の違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、本発明の撮像装置による撮影像にほかならない。

　受光できる平行光の入射角の最大角度をθmaxとすると、

より、本発明の撮像装置で受光できる最大画角は

で与えられる。通常のレンズを用いた結像との類推から、画角θmaxの平行光をセンサの端で焦点を結んで受光すると考えると、レンズを用いない本願の結像光学系の実効的な焦点距離は、

に相当すると考えることができる。

　なお（２）式で示したように格子の透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子の基本周波数成分としてそのような成分があれば、格子の透過率を２値化して、透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。

　以上の説明では、いずれも入射光線は同時には１つの入射角度だけであったが、実際に本願発明がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は裏側格子に入射する時点ですでに複数の表側格子１０４の像を重なり合わせることになる。もしこれらが相互にモアレ縞を生じると、信号成分である裏面格子とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし実際は表側格子１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏側格子との重なりだけになる。その理由について以下、説明する。まず、複数の入射角の光線による表側格子１０４の影どうしの重なりは積ではなく和であることが大きな違いである。１つの入射角の光による表側格子１０４の影と裏側格子１０５の重なりでは、表側の影である光の強度分布に、裏側格子１０５の透過率を乗算することで、裏側格子１０５を透過したあとの光強度分布が得られる。これに対して、表側格子１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は

のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがってその周波数スペクトルはそれぞれの周波数スペクトルの重なり積分で表されるため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまりスペクトルに鋭いピークは生じない。したがって複数の入射角の光を入れても検出されるモアレ像のスペクトルは常に表側格子１０４と裏側格子１０５の積のモアレだけであり、裏側格子１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなるのである。
以下、原理を確認するために、行ったシミュレーションの結果を図７、図８に示す。

　いずれもセンササイズ２０ｍｍ□、視野角θmax＝±７０°、入射側および出射側格子係数β＝５０（rad／mm2）、δ０＝０．８ｍｍ、画素数１０２４×１０２４、基板厚さ１ｍｍ、基板屈折率１．５のときに、垂直入射平面波と、θｘ＝５０°、θｙ＝３０°の入射光と、θｘ＝－３０°、θｙ＝７０°の入射光と、θｘ＝１０°、θｙ＝－２０°の入射光と、θｘ＝２０°、θｙ＝３０°の入射光と、θｘ＝３０°、θｙ＝－４０°の入射光と、θｘ＝－１０°、θｙ＝４０°の入射光と、θｘ＝－２０°、θｙ＝－３０°の入射光と、θｘ＝－３０°、θｙ＝０°の入射光と、θｘ＝４０°、θｙ＝５０°の入射光と、の合計１０個の平面波を入射させたときのスペクトルである。図７はスペクトル画像の白黒反転像、図８はスペクトル画像の輝度の鳥瞰図である。元のモアレ像自体は、格子ピッチも細かく、本明細書図面として表示しても視認できないため省略した。図中、中心がＤＣ成分、周辺が±Ｎ／２Ｓの空間周波数スペクトル領域の全域を表示している。ＤＣ成分は値が大きいため、マスキングをして取り除き、検出すべきピーク成分のみを表示している。さらにそのままではスペクトルのピーク幅が狭く、視認しにくいため、コントラストを強調している。また図７では当該信号ピークの位置を○印で囲んで表示している。図８の鳥瞰図はそのままでは描線がピークを通らずに表示できないので、メッシュサイズの平均化フィルタをかけた結果を表示している。いずれも基本的に１０本のピークが原点を挟んで正負両側に計２０本のピークとして検出できていることを示している。本実施例では格子パターンの最外周のピッチが約６μｍ、実効的焦点距離は１２．４ｍｍであった。

　ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応を図９を用いて模式的に説明する。物体２０１を構成する各点からの光は、厳密には点光源からの球面波として、本発明の撮像装置の格子センサ一体基板９０１に入射する。このとき物体に対して格子センサ一体基板９０１が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板９０１を照明する光の入射角が同じとみなすことができる。（９）式から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は

のように表せる。これから、たとえば本実施例の条件においてはΔθ＜０．１８°であり、これは２０ｍｍのセンササイズであれば被写体から６ｍ離れれば実現できる条件である。

　以上の結果の類推から、無限遠の物体に対して本発明の撮像装置で結像が可能であることがわかる。

　本実施例では出力画像を横長とする場合について説明する。前述の実施例では、図１０に示すように表側格子１０４と裏側格子１０５を左右にずらしていた。このときセンサの形状を正方形としており、その画素ピッチもｘ方向とｙ方向で同じとすると、図の右側に示すように、センサ出力の空間周波数スペクトルはｘ、ｙ両方±Ｎ／Ｓの周波数範囲内で、像が左右に分離して再生されていることになる。しかし、これだと、像の画像は基本的に縦長のエリアに限定されることになる。一般にカメラで取得される画像は横長の長方形であるので、それに適した配置としては図１１のようにするのが望ましい。このとき、表側格子１０４と裏側格子１０５は上下にずれており、センサ出力の空間周波数空間に形成される画像は上下に分離することになる。このようにすれば出力画像は横長とすることができる。

　本実施例では処理画像の中で仮想的にモアレを生じさせる場合について説明する。前述の実施例では、格子基板の表側と裏側に同一の格子を互いにずらして配置することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して、像を構成していた。本実施例の違いは構成上裏面格子１０５はなく、裏側格子１０５の役割を画像処理部で行うことである。裏側の格子はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に裏側の格子の透過率を加味して設定することで、処理画像の中で仮想的にモアレを生じさせることができる。図１２は、格子基板の裏面に裏面格子１０５がない場合の実施形態である。このようにすると形成する格子を１面減らすことができるので、素子の製造コストを減じることができる。しかしこのとき、センサの画素ピッチは格子ピッチを十分再現できる程度に細かいか、格子ピッチがセンサの画素ピッチで再現できる程度に粗いことが必要である。格子を基板の両面に形成する場合は、必ずしも格子のピッチがセンサの画素で解像できる必要はなく、そのモアレ像だけが解像できればよいので、センサピッチとは独立に格子ピッチを決めることができる。しかし、センサで格子を再現する場合は、格子とセンサの解像度は同等である必要がある。画像処理回路１２０１には、図１８に示すように、センサ出力画像に対してモアレを生成するための裏面格子に相当する裏面格子強度変調の処理が入るため、この処理を行う強度変調回路も必要となる。

　このように格子を可変にする、すなわち同心円の大きさを可変にすることができると、検出光は必ずしも平行光でなくてもよくすることが可能である。図１３に示すように、物体を構成する点１３０１からの球面波が表側格子１０４を照射し、その影１３０２が下の面に投影される場合、下の面に投影される像はほぼ一様に拡大される。そのため、平行光に対して設計された下面格子の透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された上面格子の影に合わせて、下面の格子を拡大するならば、拡大された影１３０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。これにより、必ずしも無限遠でない距離の物点１３０１からの光を選択的に再生することができる。したがってこれにより焦点合わせが可能となる。

　本実施例では表側基板の格子について液晶素子を用いている。実施例３と同様に表側基板の格子も液晶素子などを用いると可変とすることができる。図１４は液晶層１４０１を挟み、液晶基板１４０２で封入した液晶素子により、表側基板の可変格子１４０３を表示している様子を示す図である。液晶基板１４０２、および格子基板１０２には透明電極が形成されており、図示していない電極を介して、任意の格子像を表示させることができる。基本的に無限遠より近い、有限距離の物点１３０１からの光は発散光であるので、裏面格子１０５と裏面で同じ大きさになるためには表面でやや縮小して表示すればよいことになる。画像処理回路１４０４には図１９に示すように、液晶駆動回路が内蔵され、外部からのピント指定入力に応じて表面格子パターンを生成し、それに応じて液晶駆動回路を駆動することで、センサと一体となった液晶素子に任意のピント位置に対応した表面格子パターンを表示させる。このように表側基板の格子について液晶素子を用いることで、表側基板の格子を可変、すなわち同心円の大きさを可変にすることができる。

　本実施例では図１５の様に入射側格子の各格子をシリンドリカルレンズ１５０１とした場合の実施例である。各格子線がすべてシリンドリカルレンズとして、アレイ状に形成されている。これにより濃淡格子の遮蔽部による光量損失を低減し、本発明の撮像装置の光利用効率を向上させることができる。

　本実施例では図１６の様に本発明の撮像装置をスマートフォンに搭載した場合の実施例を示す。撮像装置を薄くしたままで、開口を大きくできるので、（１４）式にしたがって、実効的な焦点距離を長くできるので、従来のスマートフォン用カメラのように開口が小さくなって焦点距離が短くなるため像がのっぺりとしてぼけ味が出ない、という問題点を解消することができる。側面にはピント調整つまみ１６０２がついており、センサに一体として内蔵している液晶素子に表示する裏面格子パターンを入力するピント指定に応じて可変とし、任意の距離にある物体の像を撮影できる。

　前記実施例１の原理説明で、（５）式において信号の鋭いピークが得られるのは、第４項のモアレ縞の周波数のみであることを説明したが、光学系や被写体の条件によっては、第２、第３項がノイズとなって再生画像の画質に影響を与える場合がありえる。そこでそれらのノイズを除去する構成について説明する。
本実施例における処理フローのブロック図は図２４に本示されており、図１７に加えて、モアレ縞ノイズ除去のプロセスが加わっている。

　ノイズの除去のために、本実施例では、表側格子１０４と裏側格子１０５を図２０に示すように、３×３以上に分割したエリアでそれぞれ独立のゾーンプレートを形成する。ただしそれぞれのゾーンプレートは重なることなく並べる。このとき、表側格子１０４では、上段、中段、下段、裏側格子１０５では左側、左右中間、右側でそれぞれ格子の初期位相をφ１、φ２、φ３に揃える。これらは図２１に示すように、表側格子１０４の位相と裏側格子の位相が、互いに独立にすべての組み合わせで重ねあわされる様に配置されている。このときセンサ面上の光強度Ｉｓは、

のように表すことができる。Ｉｋはｋ番目の点光源による表側格子１０４の影の光強度分布、Ｉが裏側格子１０５の透過率分布である。表側格子１０４の初期位相φＦ、裏側格子１０５の初期位相φＢはそれぞれ、上記したようにφ１、φ２、φ３の３つの値をとる。表側格子１０４を照らすｋ番目の点光源はAｋの強度で発光し、δｋのずれをもって表側格子１０４の影をセンサ上に形成するものと仮定している。（１７）式の下段の式の｛｝内の第２項は表側格子の影、第３項は裏側格子の強度変調、第４項は２つの格子の和周波成分、第５項が差周波成分であり、本発明の信号成分であるモアレ縞の項である。したがってこのφＦ－φＢの付加位相を持つ成分だけを抽出すればよいことになる。

　（１７）式をφＦとφＢに着目して

のように表すと、三角関数の直交性を用いてcosφB、sinφBの係数を

のように抜き出すことができる。さらにこれから、cosφBcosφF、sinφBsinφFの項を抜き出すと

のように表すことができる。これらを辺々加えると、

が得られるが、これは結局、

のように（１７）式におけるモアレ成分のみを抜き出したことに対応する。この演算は表側格子１０４の位相と裏側格子１０５の位相の両方を２次元に走査して積分することに対応する。この積分を最低限のサンプリング点数である３点で離散化するため、図２０、図２１に説明した３×３の両面フレネルゾーンプレートを用いている。単一の点光源によるこの３×３の両面格子によって得られたモアレ縞を図２２に示す。複数のフレネルゾーンプレートが交差しているように見えるが、これは交差のない両面のフレネルゾーンプレートに入射した光によってセンサ状に形成された光強度分布である。さらに（２４）式を用いてこの３×３の各セルからのモアレ縞を合成して得られたモアレ縞を図２３に示す。モアレ縞以外の不要なノイズが大幅に低減されている。これによって撮影画像の品質を向上させることができる。

　図２５にさらに別の表側格子１０４の実施例を示す。本実施例における処理フローのブロック図は図２７に示されており、図１８に比べて、モアレ縞ノイズ除去のプロセスが加わっている。これは裏側格子１０５を固定格子とせず、センサ感度を仮想的にフレネルゾーンプレート状に与える場合や、液晶素子などを用いる場合を想定している。表側格子は２×２のエリアに分かれており、それぞれのフレネルゾーンプレートの初期位相は９０°ずつずらしてある。実施例７では、列または行で位相をずらしたが、本実施例では領域すべてで位相を変えている。図２６に単一点光源によるモアレ縞の再生像を示す。図２３に比べてさらにノイズが低減している。このようにして、裏側の仮想ゾーンプレートの位相を全領域で９０°ずつ４ステップ位相を変えてモアレ縞を生成することにより、両面格子とも４位相での積分演算が可能となる。また分割が細かくなることにより、ノイズ低減効果のさらなる向上が期待できる。

　図２８は本願発明の撮像装置を自動車２８０１の周囲３６０°のセンシングに活用する実施例を示す。本発明の撮像装置１０１はレンズを用いないため、薄く、経時的なずれや劣化などにも強く、価格も安価になることが期待される。そのため、視野２８０２が、自動車の周囲全域をカバーするように、多数配置することができ、運転者の死角をなくし、安心安全社会の実現に寄与できると考える。

　なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

　また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

　また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１・・・撮像装置、１０２・・・両面格子基板、１０３・・・画像センサ、
１０４・・・表側格子、１０５・・・裏側格子、１０６、１２０１・・・画像処理回路、
１０７・・・モニタディスプレイ、２０１・・・被写体、
９０１・・・格子センサ一体基板、１３０１・・・物体を構成する点、
１３０２・・・表側格子の影、１４０１・・・液晶層、１４０２・・・液晶基板、
１４０３・・・可変表側格子、１５０１・・・シリンドリカルレンズ格子
１６０１・・・スマートフォン、１６０２・・・ピント調整つまみ、
２８０１・・・自動車、２８０２・・・撮像装置の視域

Claims

　撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
　前記画像センサの受光面に設けられ、光の強度を変調する変調部と、
　前記画像センサより出力された出力画像に対して画像処理を施す画像処理部と、を備え、
　　前記変調部は格子基板と、
　　前記画像センサの受光面に近接する前記格子基板の第１の面に形成される第１の格子パターンと、を有し
　前記格子パターンは、基準座標からの距離に対してピッチが反比例して細かくなる複数の同心円からそれぞれ構成されており、
　複数の前記同心円は前記格子パターン内で互いに重ならないことを特徴とする撮像装置。
　請求項１に記載の撮像装置であって、
　前記変調部は前記第１の面に対向する第２の面に形成される第２の格子パターンと、を有し、
　前記変調部は、前記第１の格子パターンを透過する光を前記第２の格子パターンにて強度変調して前記画像センサに出力することを特徴とする撮像装置。
　請求項１に記載の撮像装置であって、
　前記画像処理部は、出力された画像について２次元フーリエ変換演算を行うことを特徴とする撮像装置。
　請求項２に記載の撮像装置であって、
前記第２の格子パターンは前記格子基板の裏面に設けられたことを特徴とする撮像装置。
　請求項１に記載の撮像装置であって、
　前記画像処理部は、前記第１の格子パターンを透過する光を仮想的に強度変調する処理を行う強度変調部を有し、
　前記変調部は前記第１の格子パターンを透過した光を前記画像センサに出力し、前記画像センサは取り込まれた画像を前記画像処理部に出力し、
　前記強度変調部は、仮想的な第２の格子パターンを用いて前記画像センサより取り込まれた画像より前記第１の格子パターンを透過する光を強度変調する処理を行うことを特徴とする撮像装置。
　請求項２に記載の撮像装置であって、
　前記画像センサの中央を通り受光面に対して垂直な軸に対して、前記第１の格子パターンの前記基準座標位置と前記第２の格子パターンの前記基準座標位置は互いに逆方向にずれていることを特徴とする撮像装置。
　請求項６に記載の撮像装置であって、
前記第１の格子パターンの前記基準座標位置と前記第２の格子パターンの前記基準座標位置は、前記画像処理部から出力される画像の短辺方向にずれていることを特徴とする撮像装置。
　撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
　前記画像センサの受光面に設けられ、光の強度を変調する変調部と、
　前記画像センサより出力された出力画像に対して画像処理を施す画像処理部と、を備え、
　　前記変調部は格子基板と、
　　第１の格子パターンを表示する液晶素子と、を有し
　前記格子パターンは、基準座標からの距離に対してピッチが反比例して細かくなる複数の同心円からそれぞれ構成されており、複数の前記同心円は前記格子パターン内で互いに重ならず、
　前記液晶素子は前記第１の格子パターンの前記同心円の大きさを変更することができることを特徴とする撮像装置。
　請求項５に記載の撮像装置であって、
　前記強度変調部は、前記第２の格子パターンの前記同心円の大きさを変更する様、前記第１の格子パターンを透過する光を強度変調することを特徴とする撮像装置。
請求項１記載の撮像装置であって、
前記第１の格子パターンは、シリンドリカルレンズによって形成されることを特徴とする撮像装置。
　請求項１記載の撮像装置であって、
　前記第１の格子パターンは複数の領域に分かれており、前記領域ごとに異なる同心円格子パターンが配置されていることを特徴とする記載の撮像装置。
　請求項１１記載の撮像装置であって、
　前記領域毎に位相が独立していることを特徴とする撮像装置。
　請求項２に記載の撮像装置であって、
　前記第１の格子パターン及び第２の格子パターンは複数の領域に分かれており、
　隣接領域間で異なる同心円格子パターンが配置されており、
　前記第１の格子パターン内の前記複数の領域の格子の位相と、前記第２の格子パターン内の前記複数の領域の位相の組み合わせが、複数の組み合わせで重ねあわされるように配置されていることを特徴とする撮像装置。
　請求項１３に記載の撮像装置であって、前記画像処理部は出力された画像についてモアレ縞成分を抽出する演算を行い、
前記演算は前記第１の格子パターン内の前記複数領域の位相と、前記第２の格子パターン内の前記複数領域の位相の組み合わせに基づき行われることを特徴とする撮像装置。