JP7159118B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

スマートフォン等の携帯端末にはカメラモジュールが搭載されており、携帯端末の薄型化に伴ってカメラモジュールにも薄型化が求められている。デジタルカメラの薄型化に関する技術としては、例えば、特許文献１に、レンズを用いないことによって薄型化を実現した撮像装置が記載されている。

特開２０１８－０６１１０９号公報

特許文献１に記載の撮像装置は、所定のパターンを有する変調器を透過した光を画像センサに入射させ、画像センサ上に生じる射影パターンから、入射光の入射角を相互相関演算により求めることで、被写体が写された撮像画像を得ることができる。

しかしながら、該撮像装置では、光が斜入射した場合、射影パターンの全体を画像センサで取得できないため、光が垂直入射した場合に比較して、得られる撮像画像が劣化してしまう。

本発明はこのような状況に鑑みてなされたものであり、光の入射角度に拘わらず、画質が均一な撮像画像を生成できるようにすることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

上記課題を解決すべく、本発明の一態様に係る撮像装置は、撮像用格子パターンを有し、入射光の強度を変調する変調器と、前記変調器を通過して入射した光を電気信号に変換することにより、投影像を生成する画像センサと、前記投影像と、前記撮像用格子パターンに対応する現像用格子パターンとの相互相関関数を用いた現像処理によって現像画像を生成する画像処理部と、注目画角範囲を前記画像処理部に対して設定する注目画角設定部と、を備え、前記画像処理部は、設定された前記注目画角範囲に応じて前記現像処理を変更することを特徴とする。

本発明の一態様によれば、光の入射角度に拘わらず、画質が均一な撮像画像を生成することが可能となる。

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

図１は、本発明の各実施形態の基礎となる撮像装置の構成例を示す図である。 図２は、図１の撮像装置における変調器の第１の構成例を示す図である。 図３は、図１の撮像装置における変調器の第２の構成例を示す図である。 図４は、撮像装置による撮像の様子の一例を示す図である。 図５は、ガボールゾーンプレートの一例を示す図である。 図６は、フレネルゾーンプレートの一例を示す図である。 図７は、変調器に対して斜入射した平行光が画像センサ上でシフトすることを説明するための図である。 図８は、投影像の一例を示す図である。 図９は、現像用格子パターンの一例を示す図である。 図１０は、現像画像の一例を示す図である。 図１１は、撮像装置の画角を説明するための図である。 図１２は、撮像用格子パターンの一例を示す図である。 図１３は、撮像用格子パターンの一例を示す図である。 図１４は、画像処理部が有する機能ブロックの構成例を示す図である。 図１５は、画像処理の一例を説明するフローチャートである。 図１６は、被写体を構成する各点からの光がセンサに対してなす角を説明するための図である。 図１７は、被写体が無限距離にある場合における撮像用格子パターンが画像センサ上に照射された状態の一例を示す図である。 図１８は、被写体が有限距離にある場合における撮像用格子パターンが画像センサ上に照射された状態の一例を示す図である。 図１９は、図１の撮像装置の変形例を示す図である。 図２０は、図１９の変形例による画像処理の一例を説明するフローチャートである。 図２１は、撮像用格子パターンが部分的に画像センサ上に投影されない状態の一例を示す図である。 図２２は、図２１の状態に対応する撮像用格子パターンの投影像の一例を示す図である。 図２３は、現像用格子パターンの一例を示す図である。 図２４は、図２２の投影像に対応する現像画像を示す図である。 図２５は、サイズを拡張した撮像用格子パターンの投影が画像センサの全体を覆うことを示す図である。 図２６は、拡張した撮像用格子パターンに対応する投影像の一例を示す図である。 図２７は、拡張した現像用格子パターンの一例を示す図である。 図２８は、図２６の投影像に対応する現像画像を示す図である。 図２９は、本発明の第１の実施形態に係る撮像装置の構成例を示す図である。 図３０は、図２５は、サイズを縮小した撮像用格子パターンの全体が画像センサ上に全て投影されることを示す図である。 図３１は、サイズを縮小した撮像用格子パターンに対応する投影像の一例を示す図である。 図３２は、サイズを縮小した撮像用格子パターンに対応する投影像の一例を示す図である。 図３３は、撮像用格子パターンの開口から入射光が回折して画像センサに投影された状態を示す図である。 図３４は、撮像用格子パターンの隣接した開口から入射光が回折して画像センサに投影された状態を示す図である。 図３５は、本発明の第２の実施形態に係る撮像装置の構成例を示す図である。

以下、本発明の複数の実施形態を図面に基づいて説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合、及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａより成る」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合、及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似又は類似するもの等を含むものとする。

＜本発明の各実施形態の基礎となる撮像装置１０１の構成例＞
図１は、本発明の各実施形態となる撮像装置１０１の構成例を示している。

撮像装置１０１は、被写体からの光を画像センサに結像させるためのレンズを用いることなく、被写体を撮像し、その結果得られた撮像画像を画像表示部１０７に出力するものである。

撮像装置１０１は、変調器１０２、画像センサ１０３、及び画像処理部１０６を備える。

変調器１０２は、その上面（入射面）に撮像用格子パターン１０４を有しており、撮像用格子パターン１０４により、変調器１０２と通過する光の強度を変調する。画像センサ１０３は、光電変換により、変調器１０２を通過して入射した光に応じた画像信号（以下、センサ画像または投影像と称する）を生成する。

次に、図２は、変調器１０２の第１の構成例を示している。変調器１０２の第１の構成例は、格子基板１０２ａ、及び撮像用格子パターン１０４からなり、格子基板１０２ａが画像センサ１０３の受光面に密着して固定され、撮像用格子パターン１０４が格子基板１０２ａの上面に形成されている。

可視光での撮像を想定している場合、格子基板１０２ａには、例えばガラスやプラスティック等の可視光に対して透明な材料を用いればよい。撮像用格子パターン１０４は、可視光を遮断するアルミニウム、クロム等の金属を、例えば半導体プロセスに用いられるスパッタリング法等によって格子基板１０２ａの上面に蒸着することによって形成される。撮像用格子パターン１０４は、金属が蒸着されている部分と、蒸着されていない部分によって濃淡がつけられる。

なお、撮像用格子パターン１０４の形成方法は、スパッタリング法等による金属の蒸着に限定されるものでなく、例えばインクジェットプリンタ等による印刷等によって濃淡をつける等、光の透過率を変調できれば、どのように形成してもよい。

また、可視光以外の光での撮像を想定している場合、格子基板１０２ａには、撮像対象となる光に対して透明な材料（例えば、遠赤外光の場合、例えばゲルマニウム、シリコン、カルコゲナイド等）を用い、撮像用格子パターン１０４には、撮像対象となる光を遮断する材料を用いればよい。

次に、図３は、変調器１０２の第２の構成例を示している。変調器１０２の第２の構成例は、支持部材１０２ｂ、及び撮像用格子パターン１０４からなり、撮像用格子パターン１０４が薄膜によって形成され、該薄膜（撮像用格子パターン１０４）が、支持部材１０２ｂによって画像センサ１０３から所定の距離を離して保持されている。

図１に戻る。画像センサ１０３は、例えばＣＣＤ(Charge Coupled Device)イメージセンサ、またはＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等からなる。画像センサ１０３の受光面には、受光素子である複数の画素１０３ａが格子状に規則的に配置されている。画像センサ１０３は、各画素１０３ａが変調器１０２を通過して入射した光を電気信号に変換することによってセンサ画像（投影像）を生成する。

撮像用格子パターン１０４は、複数の同心円からなる縞模様であって、外側に向かうほど中心からの半径に反比例して隣接する円どうしの間隔（ピッチまたは開口とも称する）が狭くなるように形成されている。

画像処理部１０６は、投影像に対して現像処理を含む画像処理を行い、その結果得られる撮像画像を画像表示部１０７に出力する。

＜撮像装置１０１による撮像の様子＞
次に、図４は、撮像装置１０１による撮像の様子を示している。同図に示されるように、撮像装置１０１は、被写体４０１を撮像して所定の画像処理を行い、その結果得られる撮像画像を画像表示部１０７に表示させる用途に用いることができる。

＜撮像装置１０１における撮像原理＞
次に、撮像装置１０１における撮像原理について説明する。

はじめに、撮像用格子パターン１０４としての複数の同心円からなる縞模様について定義する。レーザ干渉計等において、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心を基準座標、基準座標からの半径をｒとし、基準座標から半径ｒの位置における球面波の位相をφ（ｒ）とした場合、位相φ（ｒ）は、波面の曲がりの大きさを決める係数βを用いて、次式（１）のように表すことができる。

球面波にも拘わらず、位相φ（ｒ）が半径ｒの２乗で表されているのは、球面波が平面波に近いため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、次式（２）に示される干渉縞の強度分布が得られる。

式（２）は、次式（３）を満たす半径ｒの位置で明るい線を持つ同心円の縞模様となる。

縞模様のピッチをｐとした場合、次式（４）の関係を得ることができる。

式（４）から、ピッチｐは、半径ｒに対して反比例して狭くなっていくことがわかる。このような同心円状の縞模様は、ガボールゾーンプレートまたはフレネルゾーンプレートと称される。

図５は、式（２）に対応するガボールゾーンプレートの一例を示している。図６は、式（２）のＩ（ｒ）を、１を閾値として２値化したフレネルゾーンプレートの一例を示している。

なお、以下においては、説明を簡単化するため、ｘ方向についてのみ数式を用いて説明するが、ｙ方向についてもｘ方向と同様に処理することにより、ｘ方向及びｙ方向の２次元に展開することが可能である。

次に、図７は、変調器１０２に対して斜入射した平行光が画像センサ１０３上でシフトすることを説明するための図である。

同図に示されるように、変調器１０２の厚さがｄ、平行光のｘ方向の入射角度がθ_０である場合、変調器１０２の中の屈折角をθとすれば、幾何光学的には、撮像用格子パターン１０４の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけシフトして画像センサ１０３に入射する。そして、次式（５）によって表される強度分布を有する投影像が画像センサ１０３によって生成される。

なお、式（５）におけるΦ_Ｆは、式（２）の干渉縞強度分布の初期位相を示している。

図８は、画像センサ１０３によって生成される、撮像用格子パターン１０４の投影像の一例を示している。図８からわかるように、撮像用格子パターン１０４は、画像センサ１０３の中心からｋだけシフトして投影される。

図９は、図８の投影像に対する現像処理に用いるための現像用格子パターン１０５の一例を示している。図１０は、図８の投影像に対する現像処理の結果得られる現像画像の一例を示している。現像画像には、シフト量ｋの輝点が出現する。

本実施形態では、投影像に対する現像処理として相関現像方式を採用し、投影像（図８）と現像用格子パターン１０５（図９）との相互相関関数を演算することによって現像画像を得る。

なお、一般的に、相互相関関数の演算は、２次元畳み込み演算によって行うと演算量が大きくなる。そこで、本実施の形態では、相互相関関数の演算における演算量がより少なくなるように、フーリエ変換を用いて演算する。以下、フーリエ変換を用いて相互相関関数の演算を行う原理について説明する。ただし、相互相関関数の演算を、２次元畳み込み演算によって行うようにしてもよい。

現像用格子パターン１０５には、撮像用格子パターン１０４と同一のガボールゾーンプレートまたはフレネルゾーンプレートを用いる。よって、現像用格子パターン１０５は、初期位相Φ_Ｂを用いて、次式（６）のように表すことができる。

現像用格子パターン１０５は、現像処理にて演算に使用するだけであり、撮像用格子パターン１０４のように光を透過させる用途には用いないので、負の値となってもよい。よって、現像用格子パターン１０５を表す式（６）は、撮像用格子パターン１０４を表す式（２）のように１を加算してオフセットさせる必要はない。

式（５），（６）のフーリエ変換の結果は、次式（７），（８）に示すとおりである。

式（７），（８）におけるＦ［］はフーリエ変換演算、ｕはｘ方向の周波数座標を表す。式（７）におけるδ（）は、デルタ関数である。Ｆ［］，ｕ，δ（）については、以降の式においても同様とする。

式（７），（８）で重要なことは、フーリエ変換後においても、フレネルゾーンプレートまたはガボールゾーンプレートを表す成分を含んでいる点である。よって、式（４），（５）に基づいてフーリエ変換後の現像用格子パターンを直接的に生成してもよい。これにより画像処理部１０６における演算量の低減が可能となる。

次に、式（７）と式（８）とを乗算して次式（９）を得る。

式（９）における指数関数で表された項ｅ^{（－ｉｋｕ）}が信号成分であり、この項を逆フーリエ変換すれば、次式（１０）に示す点拡がり関数を得ることができる。

式（１０）は、図１０に示された現像画像のように、元のｘ軸において、基準座標からｋだけずれた位置の輝点を表す。この輝点は、無限遠の光束を示しており、現像画像（図９）は、撮像装置１０１（図１）によって撮像された画像にほかならない。

なお、式（９）の右辺第２項のｓｉｎの中の式から、Φ_Ｆ＝Φ_Ｂ＝π／４である場合、ｓｉｎの初期位相が０となる。さらに、この場合、式（９）の右辺第１項が０となり現像に不要な項を低減できる。この条件で現像処理を行えば、現像時のノイズが少ない現像画像を得ることが可能である。

なお、投影像に対する現像処理は、上述した相関現像方式に限らず、モアレ現像方式を採用してもよい。

＜撮像装置１０１における画角＞
次に、図１１は、撮像装置１０１における画角を説明するための図である。

画像センサ１０３によって検出可能な平行光の入射角の最大角度、すなわち、画角は、撮像用格子パターン１０４の投影像と現像用格子パターン１０５との相互相関関数のピークが画像センサ１０３の端となる場合である。よって、同図に示されるように、撮像用格子パターン１０４の中心と画像センサ１０３の端を結ぶ線が表す角度が画角最大角度となって、次式（１１）として表される。

また、画角θ_ｍａｘの平行光を画像センサ１０３の端で焦点が合うように受光させるには、一般的なレンズによる結像から類推すると、レンズを用いない撮像装置１０１の実効的な焦点距離は、次式（１２）に相当すると考えられる。

ここで、式（１１）より、画角θ_ｍａｘは、変調器１０２の厚さｄによって変更可能であることがわかる。よって、例えば変調器１０２が、図３に示された構成（第２の構成例）を有する場合、支持部材１０２ｂの長さを可変とすれば、撮像時に画角を変更して撮像することが可能になる。

なお、撮像用格子パターン１０４の透過率分布は、式（２）で示されたように基本的には正弦波のように変動する特性があることを想定しているが、これに限らず、基本周波数成分として、正弦波のように変動する成分があればよい。

次に、図１２及び図１３は、基本周波数成分として正弦波のように変動する成分を有する撮像用格子パターン１０４の例を示している。

図１２は、撮像用格子パターン１０４の透過率を３値化したものである。図１３は、撮像用格子パターン１０４を、透過率が高い領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めたものである。図１３に示された撮像用格子パターン１０４の場合、撮像用格子パターン１０４における回折を抑圧する効果が得られ、投影像の劣化を低減させることが可能となる。

＜画像処理部１０６の構成例＞
次に、図１４は、画像処理部１０６が有する機能ブロックの構成例を示している。

画像処理部１０６は、２次元ＦＦＴ演算部１３０１、現像用格子ＦＦＴ画像生成部１３０２、格子間乗算部１３０３、逆２次元ＦＦＴ演算部１３０４、ノイズ除去部１３０５、コントラスト強調部１３０６、及びカラーバランス調整部１３０７の各機能ブロックを備える。

画像処理部１０６は、例えば、ＣＰＵ(Central Processing Unit)、メモリ、ストレージ、及び通信インターフェース等を備えた一般的なコンピュータからなり、ＣＰＵがプログラムを実行することによって上述した機能ブロックが実現される。なお、画像処理部１０６の各機能ブロックは、画像処理回路等のハードウェアによって実現してもよい。

２次元ＦＦＴ演算部１３０１は、画像センサ１０３から入力される投影像に対して２次元ＦＦＴ(高速フーリエ変換)を行い、その結果得られる、投影像のフーリエ変換画像を格子間乗算部１３０３に出力する。現像用格子ＦＦＴ画像生成部１３０２は、現像用格子パターン１０５のフーリエ変換画像を生成して格子間乗算部１３０３に出力する。なお、現像用格子パターン１０５のフーリエ変換画像は、フレーム（画像センサ１０３の出力）毎に演算する必要はなく、メモリ等に格納しておけばよい。これにより、画像処理部１０６としての演算量を低減することが可能である。

また、上述した説明では、フーリエ変換としてＦＦＴを採用したが、ＦＦＴの代わりに、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）等を採用してもよい。これにより、ＦＦＴに比べて演算量を削減することが可能となる。

格子間乗算部１３０３は、投影像のフーリエ変換画像と、現像用格子パターン１０５のフーリエ変換画像とを要素毎に乗算して逆２次元ＦＦＴ演算部１３０４に出力する。逆２次元ＦＦＴ演算部１３０４は、格子間乗算部１３０３からの入力に対し、逆２次元ＦＦＴを行い、その結果得られる現像画像をノイズ除去部１３０５に出力する。ノイズ除去部１３０５は、逆２次元ＦＦＴ演算部１３０４から入力された現像画像にノイズ除去処理を行ってコントラスト強調部１３０６に出力する。コントラスト強調部１３０６は、ノイズが除去された現像画像に対してコントラスト強調処理を行ってカラーバランス調整部１３０７に出力する。カラーバランス調整部１３０７は、コントラストが強調された現像画像に対してカラーバランス調整処理を行い、その結果得られた撮像画像を画像表示部１０７に出力する。

＜画像処理部１０６による画像処理＞
次に、図１５は、画像処理部１０６による画像処理の一例を説明するフローチャートである。

該画像処理は、例えば、画像センサ１０３から画像処理部１０６に対して投影像が入力されたことに応じて開始される。

はじめに、２次元ＦＦＴ演算部１３０１が、画像センサ１０３から入力された投影像に対して２次元ＦＦＴを行い、その結果得られる、投影像のフーリエ変換画像を格子間乗算部１３０３に出力する（ステップＳ１）。次に、現像用格子ＦＦＴ画像生成部１３０２が、式（８）を演算することにより、現像用格子パターン１０５のフーリエ変換画像を生成して格子間乗算部１３０３に出力する（ステップＳ２）。

次に、格子間乗算部１３０３が、投影像のフーリエ変換画像と、現像用格子パターン１０５のフーリエ変換画像とを要素毎に乗算して逆２次元ＦＦＴ演算部１３０４に出力する（ステップＳ３）。次に、逆２次元ＦＦＴ演算部１３０４が、格子間乗算部１３０３からの入力に対し、逆２次元ＦＦＴを行い、その結果得られる現像画像をノイズ除去部１３０５に出力する（ステップＳ４）。

次に、ノイズ除去部１３０５が、逆２次元ＦＦＴ演算部１３０４から入力された現像画像に対し、ノイズ除去処理を行ってコントラスト強調部１３０６に出力する（ステップＳ５）。次に、コントラスト強調部１３０６が、ノイズが除去された現像画像に対し、コントラスト強調処理を行ってカラーバランス調整部１３０７に出力する（ステップＳ６）。次に、カラーバランス調整部１３０７が、コントラストが強調された現像画像に対し、カラーバランス調整処理を行い、その結果得られた撮像画像を画像表示部１０７に出力する（ステップＳ７）。以上で、画像処理部１０６による画像処理は終了される。

なお、上述した画像処理は、相互相関関数の演算に２次元ＦＦＴを用いたが、２次元ＦＦＴの代わりに、２次元畳込み演算を用いてもよい。

＜被写体からの光の入射角度＞
以上の説明では、撮像装置１０１に対して同時に一方向からのみ光が入射することを仮定して説明した。しかしながら、撮像装置１０１が実際に被写体を撮像する場合には、画像センサ１０３に対して同時に複数の角度から光が入射することになる。このように、異なる入射角で撮像装置１０１に同時に入射した光は、画像センサ１０３に入射する時点で既に複数の撮像用格子パターン１０４の投影像が重なり合わされたものとなる。

しかしながら、一般的な光源による照明下において同時に入射する入射光はインコヒーレントであり、相互には干渉しないため、それぞれの入射光を独立して考えることが可能である。

次に、これまで検出することを説明してきた平行光と、実際の被写体からの光との対応について、図１６を参照して説明する。図１６は、被写体を構成する各点からの光が画像センサ１０３に対してなす角を説明するための図である。

被写体４０１を構成する各点からの光は、厳密には点光源からの球面波として、撮像装置１０１の変調器１０２を通過し、画像センサ１０３に入射する。以下、変調器１０２及び画像センサ１０３を一括して格子センサ一体基板１４０１と称する。

被写体４０１に対して格子センサ一体基板１４０１が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板１４０１に入射する光の入射角は同一とみなすことができる。この条件下であれば、撮像装置１０１は、無限遠の被写体を撮像することができる。

図１７は、撮像する被写体が無限距離にある場合における、被写体を構成する点１５０１からの球面波の光によって、撮像用格子パターン１０４が画像センサ１０３に投影された状態を示している。

同図に示されるように、無限遠の被写体を構成する点１５０１からの球面波の光は、十分に長い距離を伝搬する間に平面波となる。よって、画像センサ１０３によって得られる投影像１５０２は、撮像用格子パターン１０４とほぼ同じ形状となる。したがって、投影像１５０２に対して、現像用格子パターン１０５との相互相関演算を行うことにより、単一の輝点を表す現像画像を得ることができる。

＜有限距離被写体の撮像原理＞
次に、図１８は、撮像する被写体が有限距離にある場合における、被写体を構成する点１６０１からの球面波による、撮像用格子パターン１０４が画像センサ１０３に投影された状態を示している。

同図に示されるように、被写体を構成する点１６０１からの球面波が撮像用格子パターン１０４を通過して画像センサ１０３上に投影される場合、画像センサ１０３によって得られる投影像１６０２はほぼ一様に拡大されたものとなる。なお、この拡大率αは、撮像用格子パターン１０４から点１６０１までの距離ｆを用いて、次式（１３）のように算出できる。

このため、入射光が平行光であることを前提として計算された、撮像用格子パターン１０４と同じサイズの現像用格子パターン１０５を用いて相互相関関数の演算を行っても、単一の輝点を表す現像画像を得ることができない。

単一の輝点を表す現像画像を得るためには、撮像用格子パターン１０４が一様に拡大されている投影像１６０２に合わせ、現像用格子パターン１０５も拡大させてから相互相関関数を演算すればよい。具体的には、現像用格子パターン１０５のフーリエ変換画像を表す式（８）における係数βを、β／α^２に置換すればよい。

これにより、必ずしも無限遠でない距離に位置する被写体の点１６０１からの光を選択的に現像することができる。換言すれば、撮像装置１０１は、任意の位置にフォーカスを合わせて撮像を行うことが可能となる。

さらに、撮像装置１０１（図１）を変形し、撮像後において任意の距離にフォーカスを合わせられるようにしてもよい。

図１９は、撮像装置１０１の変形例を示している。該変形例は、撮像装置１０１（図１）に対して、画像記憶部１７０１、及びフォーカス設定部１７０３を追加したものであり、撮像後において任意の距離にフォーカスを合わせることができる。

画像記憶部１７０１は、画像センサ１０３と画像処理部１０６との間に配置される。画像記憶部１７０１は、画像処理部１０６から出力される投影像を一時的に保持して画像処理部１０６に出力する。

フォーカス設定部１７０３は、ユーザから入力されるフォーカスを合わせる距離を受け付けるためのボタン、ダイアル、ＧＵＩ(Graphical User Interface)等のユーザインターフェースからなり、受け付けたフォーカスを合わせる距離を表すフォーカス距離情報を画像処理部１０６に出力する。画像処理部１０６は、投影像との相互相関関数の演算に用いる現像用格子パターン１０５のサイズを、入力されたフォーカス距離情報に応じて変更する。

次に、図２０は、撮像装置１０１の変形例(図１９)による、画像処理の一例を説明するためのフローチャートである。

該画像処理は、例えば、画像センサ１０３から画像処理部１０６に対して投影像が入力されたことに応じて開始される。

はじめに、２次元ＦＦＴ演算部１３０１が、画像センサ１０３から入力された投影像に対して２次元ＦＦＴを行い、その結果得られる、投影像のフーリエ変換画像を格子間乗算部１３０３に出力する（ステップＳ１１）。次に、現像用格子ＦＦＴ画像生成部１３０２が、フォーカス設定部１７０３から入力されるフォーカス距離情報に基づき、式（１３）に従って拡大率αを算出する（ステップＳ１２）。次に、現像用格子ＦＦＴ画像生成部１３０２が、式（８）における係数βを、β／α^２に置換して演算することにより、現像用格子パターン１０５のフーリエ変換画像を生成して格子間乗算部１３０３に出力する（ステップＳ１３）。

ステップＳ１４～Ｓ１８の処理については、図１５のステップＳ３～Ｓ７と同様なので、その説明を省略する。以上で、撮像装置１０１の変形例による画像処理は終了される。

該画像処理によれば、撮像後の投影像に基づき、任意の距離にフォーカスを合わせた撮像画像を生成し、画像表示部１０７に出力することができる。

＜撮像用格子パターン１０４の投影像の欠けと補正説明＞
ここまでの説明では、撮像用格子パターン１０４の全体が画像センサ１０３上に投影されることを前提としていたが、光の入射角度によっては、撮像用格子パターン１０４が部分的に画像センサ１０３上に投影されないことが起こり得る。

図２１は、画像センサ１０３と撮像用格子パターン１０４とのサイズが等しい場合における、撮像用格子パターン１０４が部分的に画像センサ１０３上に投影されない状態の一例を示している。

例えば、画像センサ１０３の直上に被写体を構成する点（不図示）が存在する場合、その点からの光により、撮像用格子パターン１０４は画像センサ１０３上に欠けることなく投影される。しかしながら、同図に示されるように、画像センサ１０３の直上に存在しない点１９０１からの光による撮像用格子パターン１０４の投影１９０２は、その一部が画像センサ１０３からはみ出してしまい、画像センサ１０３によって得られる投影像は撮像用格子パターン１０４の一部が欠けたものとなる。

図２２は、図２１の状態において画像センサ１０３によって得られる撮像用格子パターン１０４の投影像２００１の一例を示している。同図に示されるように、投影像２００１は、撮像用格子パターン１０４の一部が欠けたものとなる。

図２３は、図２１に示された撮像用格子パターン１０４に対応する現像用格子パターン１０５の一例を示している。図２４は、図２２に示された投影像２００１に対し、図２３に示された現像用格子パターン１０５を用いて現像処理を行うことによって得られた現像画像２００２を示している。

図２４に示されるように、現像画像２００２において、被写体を構成する点１９０１（図２１）に対応する輝点２００３はｘ方向に伸びたものとなる。この原因は、投影像２００１におけるｘ方向の情報量がｙ方向の情報量に比べて減少し、ｘ方向の点広がり関数（ＰＳＦ：Point Spread Function）が鈍るためである。

そこで、投影像２００１に欠けが生じることによる情報の減少を防ぐためには、撮像用格子パターン１０４のサイズを拡張する方法と、反対に、撮像用格子パターン１０４のサイズを縮小する方法が考えられる。

＜撮像用格子パターン１０４を拡張する方法＞
図２５は、サイズを拡張した撮像用格子パターン１０４の投影が画像センサ１０３の全体を覆うことを示している。

式（１１）に示されたように、撮像装置１０１の画角は、画像センサ１０３のサイズＳ、及び画像センサ１０３と撮像用格子パターン１０４との距離ｄを用いて計算できる。また、撮像装置１０１の視野（ＦＯＶ：Field Of View）は、撮像用格子パターン１０４と被写体を構成する点２１０２との距離ｆをさらに用い、次式（１４）により計算できる。

視野ＦＯＶの最も端に存在する点２１０２の位置と画像センサ１０３のサイズ及び位置と関係から、全画角において投影像に欠けを生じさせない撮像用格子パターン１０４のサイズｌは、次式（１５）により計算できる。

以下、サイズｌに拡張した撮像用格子パターン１０４を、撮像用格子パターン２１０１と称する。

図２６は、撮像用格子パターン２１０１を用いた場合の投影像２２０１の一例を示している。同図に示されるように、撮像用格子パターン２１０１を用いた場合、その投影は画像センサ１０３の全体を覆うので、欠けがない投影像２２０１を得られることがわかる。

図２７は、撮像用格子パターン２１０１に対応する現像用格子パターン２２０２の一例を示している。同図に示されるように、現像用格子パターン２２０２は、撮像用格子パターン２１０１と同様、サイがｌに拡張されたものとなる。

図２８は、図２６に示された投影像２２０１に対し、図２７に示された現像用格子パターン２２０２を用いた現像処理によって得られた現像画像２２０３を示している。

図２８に示されるように、現像画像２２０３は、図２４に示された現像画像２００２に比較して、被写体を構成する点１９０１（図２１）に対応する輝点２２０４のｘ方向への伸びが無く高画質であることが分かる。これは、投影像２２０１におけるｘ方向の情報量とｙ方向の情報量とに差がなく、点広がり関数の鈍りが解消されたことによる。

以上説明したように、撮像装置１０１の画角全体を覆うように撮像用格子パターン１０４のサイズを拡張すれば、投影像の欠けに起因する現像画像の劣化を抑止することができる。

ただし、上述したように、拡張した撮像用格子パターン２１０１のサイズに応じて現像用格子パターン２２０２のサイズを拡張した場合、それぞれのサイズが大きくなるほど、画像処理部１０６における演算負荷は大きくなり現像処理に時間を要することになる。

そこで、次に、画像処理部１０６における演算負荷の増大を抑止できる撮像装置の構成について説明する。

＜本発明の第１の実施形態に係る撮像装置１０１_１の構成例＞
図２９は、本発明の第１の実施形態に係る撮像装置１０１_１の構成例を示している。撮像装置１０１_１は、画角全体のうち、注目する角度範囲を設定し、注目する角度範囲に応じて現像用格子パターン２２０２のサイズを適応的に変更することにより、現像処理に要する演算量の増加の抑止と、注目する角度範囲における画質の向上を実現できるようになされている。

撮像装置１０１_１は、撮像装置１０１（図１）に対して、注目画角設定部２３０１を追加したものである。注目画角設定部２３０１は、外部からユーザによって入力される、画角全体のうちの注目したい角度範囲を受け付けるためのボタン、ダイアル、ＧＵＩ(Graphical User Interface)等のユーザインターフェースからなり、受け付けた角度範囲を表す注目画角範囲θｐを画像処理部１０６に出力する。なお、注目画角設定部２３０１は、ＰＣ、スマートフォン等と通信する通信インターフェースであってもよく、その場合、ＰＣ等から入力される注目画角範囲θｐを画像処理部１０６に出力する。

撮像装置１０１_１における画像処理部１０６では、注目画角設定部２３０１から入力される注目画角範囲θｐに応じたサイズの現像用格子パターン２２０２を生成し、生成した現像用格子パターン２２０２を用いて現像処理を行う。なお、注目画角範囲θｐに応じた現像用格子パターン２２０２のサイズは、次式（１６）のように算出できる。

撮像装置１０１_１によれば、注目画角範囲θｐに応じて現像用格子パターン２２０２のサイズを適応的に変更して現像処理を行うので、現像処理に要する演算量の増加の抑止と、注目する角度範囲における画質の向上を実現できる。

＜撮像用格子パターン１０４を縮小する方法＞
上述した第１の実施形態では、拡張した撮像用格子パターン２１０１を用いるとともに、現像用格子パターン２２０２のサイズを適応的に変更することにより、現像処理に要する演算量の増加の抑止と、注目する角度範囲における画質の向上を実現した。

次に、本発明の第２の実施形態として、撮像用格子パターン１０４のサイズを縮小することにより、斜め方向から光が入射した場合における現像画像の画質向上を実現する方法について説明する。以下、サイズを縮小した撮像用格子パターン１０４を撮像用格子パターン２４０１と称する。

図３０は、撮像用格子パターン２４０１の全体が画像センサ１０３上に投影されることを示している。

同図に示されるように、画像センサ１０３に対して撮像用格子パターン２４０１のサイズが小さい場合、画像センサ１０３の正面に位置する点２４０２、及び画像センサ１０３の画角の端に位置する点２４０３それぞれからの光により、撮像用格子パターン２４０１はその全体が画像センサ１０３上に欠けることなく投影される。

図３１は、点２４０２からの光が撮像用格子パターン２４０１を通過して画像センサ１０３に入射することによって得られた投影像２５０１の一例を示している。図３２は、点２４０３からの光が撮像用格子パターン２４０１を通過して画像センサ１０３に入射することによって得られた投影像２５０２の一例を示している。

図３１及び図３２によれば、投影像２５０１，２５０２には、撮像用格子パターン２４０１が投影されていない領域（黒い領域）が存在するが、撮像用格子パターン２４０１の全体が投影されていることを確認できる。また、投影像２５０１，２５０２を比べた場合、撮像用格子パターン２４０１は同じサイズ及び形状で投影されていることがわかる。したがって、投影像２５０１，２５０２それぞれに対して現像処理を行って得られる現像画像の画質は同等なものとなる。

なお、投影像２５０１，２５０２それぞれに対して現像処理に用いる現像用格子パターン１０５のサイズは、投影像２５０１，２５０２における撮像用格子パターン２４０１の射影と同じサイズであり、撮像用格子パターン２４０１のサイズによっては投影像２５０１より小さくても構わない。これによって現像処理に必要な演算量を低減しつつ、注目画角内の画質を改善することが可能である。

＜最狭ピッチの制約＞
上述した第１及び第２の実施形態では、撮像用格子パターン１０４のサイズを変更している。撮像用格子パターン１０４のサイズを変更する場合、その同心円状の縞模様のピッチには制約がある。

本実施形態における撮像用格子パターン１０４を形成する同心円状の縞模様のピッチ幅は、現像画像の解像度と関係があり、そのピッチが細かいほど現像画像の解像度が向上するという特徴がある。ただし、ピッチが細かすぎる場合には画像センサ１０３上に到達する影が回折で拡がってしまい分離できなくなってしまう。

そのため、撮像用格子パターン１０４を形成する同心円状の縞模様のピッチは、回折が発生した場合でも分離できる程度の幅にする必要がある。

図３３は、撮像用格子パターン１０４の一つの開口から入射光が回折して画像センサ１０３上に投影された状態を示している。同図において、入射光線２６０１は撮像用格子パターン１０４を通過する際、その開口幅ｑに応じた回折角Ｗ_θで拡がり、画像センサ上ではＷ_ｑの幅で投影されることになる。撮像用格子パターン１０４と画像センサ１０３の距離をｄとし、入射光線２６０１の波長をλとすると、幅Ｗ_ｑは、近似を用いて次式のように計算できる。

この幅Ｗ_ｑが大きい領域では画像センサ１０３上に撮像用格子パターン１０４が投影されず、結果的に投影像の情報量が不足してしまい解像度の低下に繋がってしまう。

そこで、回折によって投影されない領域が生じない撮像用格子パターン１０４の幅を考える。

図３４は、撮像用格子パターン１０４の隣接する開口から入射光が開口して画像センサ１０３上に投影された状態を示している。ここで、開口幅ｑは、撮像用格子パターン１０４の中心からの距離ｒ、及び係数βを用い、次式（１８）によって計算できる。

なお、厳密には、隣接する開口は、撮像用格子パターン１０４の中心からの距離ｒが異なるので、その幅ｑも異なるが、隣接する開口では距離ｒの差が十分に小さいので、開口幅ｑも同一とみなすことができる。

同図の場合、画像センサ１０３上には中心間距離が２ｑだけ離れた二つの開口から入射した光が投影されることになる。この二つの開口からの投影が重なった領域は、投影されている撮像用格子パターンが情報として扱えなくなるので、現像画像の解像度の低下の原因となる。

そこで、係数βを調整して、隣接する二つの開口からの投影が重ならないようにする。これには、レイリー限界を用いることができる。

レイリー限界とは、同等の明るさの光源が近くに見えているときにそれを二つの光源であると認識できる限界を示したもので、その定義は第１の光源から回折した第１暗線が、第２の光源の中心に到達した場合に相当する。これを撮像用格子パターン１０４に適用すれば、一つの開口から投影されたパターンの幅が４ｑに到達した場合が解像できる限界となり、開口幅ｑは次式（１９）のように計算できる。

さらに式（１８）を用いると解像限界のピッチを持つ格子パターンの係数βは、次式（２０）のように計算できる。

式（２０）から分かるように、最適な係数βは、画像センサ１０３のサイズＳ、及び画像センサ１０３と撮像用格子パターン１０４との距離ｄに依存する、つまり、式（２０）に基づき、画像センサ１０３のサイズＳ、及び画像センサ１０３と撮像用格子パターン１０４との距離ｄを変更して係数βを調整することにより、画像センサ１０３が有する解像度を有効に活用することが可能となる。

＜本発明の第３の実施形態に係る撮像装置１０１_３の構成例＞
次に、図３５は、本発明の第３の実施形態に係る撮像装置１０１_３の構成例を示している。撮像装置１０１_３は、撮像装置１０１_１と同様、画角全体のうち、注目する角度範囲を設定し、注目する角度範囲に応じて現像用格子パターン２２０２のサイズを適応的に変更することにより、現像処理に要する演算量の増加の抑止と、注目する角度範囲における画質の向上を実現できるようになされている。

撮像装置１０１_３は、撮像装置１０１（図１）に対して、注目画角記憶部２８０１を追加したものである。注目画角記憶部２８０１は、例えば、半導体メモリ等からなり、予め（製造時等）記憶している、画角全体のうちの注目したい角度範囲を表す注目画角範囲θｐを画像処理部１０６に出力する。注目画角記憶部２８０１は、本発明の注目画角設定部に相当する。

撮像装置１０１_３における画像処理部１０６では、撮像装置１０１_１と同様、注目画角記憶部２８０１から入力される注目画角範囲θｐに応じたサイズの現像用格子パターン２２０２を生成し、生成した現像用格子パターン２２０２を用いて現像処理を行う。

撮像装置１０１_３によれば、注目画角範囲θｐに応じて現像用格子パターン２２０２のサイズを適応的に変更して現像処理を行うので、現像処理に要する演算量の増加の抑止と、注目する角度範囲における画質の向上を実現できる。

また、撮像装置１０１_３によれば、撮像装置１０１_１のように外部からユーザによって画角全体のうちの注目したい角度範囲を入力する必要が無いので、その分だけユーザの操作を簡便にすることができる。

ただし、撮像装置１０１_３の場合、注目画角範囲θｐを予め注目画角記憶部２８０１に記憶される必要がある。また、撮像装置１０１_３の場合、外的要因等によって撮像用格子パターン１０４と画像センサ１０３との距離ｄ、撮像用格子パターン１０４の中心位置座標、変調器１０２の屈折率等が変動した場合、注目画角記憶部２８０１に記憶されている注目画角範囲θｐをそれらの変動に対応する値に更新する必要がある。

本発明は、上記した実施形態に限定されるものではなく、さらに様々な変形例が含まれる。また、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１，１０１_１～１０１_３・・・撮像装置、１０２・・・変調器、１０２ａ・・・格子基板、１０２ｂ・・・支持部材、１０３・・・画像センサ、１０３ａ・・・画素、１０４・・・撮像用格子パターン、１０５・・・現像用格子パターン、１０６・・・画像処理部、１０７・・・画像表示部、１３０１・・・２次元ＦＦＴ演算部、１３０２・・・現像用格子ＦＦＴ画像生成部、１３０３・・・格子間乗算部、１３０４・・・逆２次元ＦＦＴ演算部、１３０５・・・ノイズ除去部、１３０６・・・コントラスト強調部、１３０７・・・カラーバランス調整部、１４０１・・・格子センサ一体基板、１５０１・・・点、１５０２・・・投影像、１６０１・・・点、１６０２・・・投影像、１７０１・・・画像記憶部、１７０３・・・フォーカス設定部、１９０１・・・点、１９０２・・・投影、２００１・・・投影像、２００２・・・現像画像、２００３・・・輝点、２１０１・・・撮像用格子パターン、２１０２・・・点、２２０１・・・投影像、２２０２・・・現像用格子パターン、２２０３・・・現像画像、２２０４・・・輝点、２３０１・・・注目画角設定部、２４０１・・・撮像用格子パターン、２４０２，２４０３・・・点、２５０１，２５０２・・・投影像、２６０１・・・入射光線、２８０１・・・注目画角記憶部

Claims (9)

1. 撮像用格子パターンを有し、入射光の強度を変調する変調器と、
   前記変調器を通過して入射した光を電気信号に変換することにより、投影像を生成する画像センサと、
   前記投影像と、前記撮像用格子パターンに対応する現像用格子パターンとの相互相関関数を用いた現像処理によって現像画像を生成する画像処理部と、
   注目画角範囲を前記画像処理部に対して設定する注目画角設定部と、
   を備え、
   前記画像処理部は、設定された前記注目画角範囲に応じて前記現像処理を変更する
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記画像処理部は、設定された前記注目画角範囲に応じて前記現像処理に用いる前記現像用格子パターンのサイズを変更する
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記撮像用格子パターンのサイズは、前記画像センサのサイズよりも大きい
   ことを特徴とする撮像装置。
4. 請求項２に記載の撮像装置であって、
   前記撮像用格子パターンのサイズは、前記画像センサのサイズよりも小さい
   ことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置であって、
   前記撮像用格子パターンは、複数の同心円からなる縞模様であり、
   前記縞模様の開口は、前記同心円の中心からの距離に反比例して細かくなる
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置であって、
   前記撮像用格子パターンをなす前記縞模様の最小開口幅からの１次回折光の幅は、前記最小開口幅の４倍以下である
   ことを特徴とする撮像装置。
7. 請求項１に記載の撮像装置であって、
   前記注目画角設定部は、ユーザから入力された前記注目画角範囲を前記画像処理部に対して設定する
   ことを特徴とする撮像装置。
8. 請求項１に記載の撮像装置であって、
   前記注目画角設定部は、予め記憶している前記注目画角範囲を前記画像処理部に対して設定する
   ことを特徴とする撮像装置。
9. 請求項１に記載の撮像装置であって、
   前記画像処理部は、前記現像画像に対してノイズ除去処理、コントラスト強調処理、及びカラーバランス処理を行うことにより撮像画像を生成する
   ことを特徴とする撮像装置。

Images