JP2018061109A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】レンズを用いることなく物体像を得るデジタルカメラの薄型化技術において、現像処理に係る演算量を低減する。
【解決手段】撮像装置１０は、第１のパターンを有し、光の強度を変調する変調器１１と、変調器を透過した光を画像データに変換して出力する画像センサ１２と、画像データと、第２のパターンを示すパターンデータとの相互相関演算に基づいて像を復元する画像処理部１３とを有する。
【選択図】図２

Description

本発明は、撮像装置および撮像方法に関するものである。

スマートフォンなどに搭載するデジタルカメラは、薄型化が必要である。この種のデジタルカメラの薄型化技術としては、例えば、レンズを用いることなく物体像を得るものがある（例えば、特許文献１参照）。

米国特許出願公開第２０１４／０２５３７８１号明細書

特許文献１では、画像センサ上に貼り付けられる基板の上面に格子のパターンが形成される。この格子のパターンは、渦巻き状などの特殊なパターンとなっている。そして、特許文献１では、像を現像するのに、画像センサにて受光される射影パターンから、逆問題を解く。この逆問題を解く際の演算量は、多いという問題がある。

そこで本発明は、現像処理にかかる演算量を低減する技術を提供することを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。上記課題を解決すべく、本発明の一態様に係る撮像装置は、第１のパターンを有し、光の強度を変調する変調器と、前記変調器を透過した光を画像データに変換して出力する画像センサと、前記画像データと、第２のパターンを示すパターンデータとの相互相関演算に基づいて像を復元する画像処理部と、を有することを特徴とする。

本発明によれば、現像処理に係る演算量を低減することができる。上記した以外の課題、構成、および効果は、以下の実施形態の説明により明らかにされる。

第１の実施の形態に係る撮像装置を適用した携帯端末の例を示した図である。 携帯端末が備える撮像装置の構成例を示した図である。 変調器および画像センサを示した図である。 変調器および画像センサの別の例を示した図である。 ガボールゾーンプレートの例を示した図である。 フレネルゾーンプレートの例を示した図である。 変調器を透過する光の画像センサへの射影像を説明する図である。 画像センサ上に投影される投影像の例を示した図である。 記憶装置に記憶される現像用パターンデータのパターン例を示している。 相互相関演算による現像画像の例を示した図である。 撮像装置の画角を説明する図である。 物体の各点からの光が画像センサに対してなす角を説明する図である。 撮像装置の動作例を示したフローチャートである。 画像処理部の機能ブロック構成例を示した図である。 ３値化されたパターンの例を示した図である。 透過率が高い部分と低い部分とのデューティ比を変えたパターンの例を示した図である。 第２の実施の形態に係る撮像装置の動作例を示したフローチャートである。 画像処理部の機能ブロック構成例を示した図である。 第３の実施の形態に係る撮像装置の構成例を示した図である。 物体が無限遠にある場合の画像センサへの投影を説明する図である。 物体が有限距離にある場合の画像センサへの投影を説明する図である。 撮像装置の動作例を示したフローチャートである。 ノイズを説明する図である。 フリンジスキャンにおける初期位相の組合せ例を示した図のその１である。 フリンジスキャンにおける初期位相の組合せ例を示した図のその２である。 フリンジスキャンにおける初期位相の組合せ例を示した図のその３である。 ノイズをキャンセルした画像データの例を示している。 第４の実施の形態に係る撮像装置の構成例を示した図である。 変調器が表示する複数の初期位相の例を示した図である。 撮像装置の動作例を示したフローチャートである。 第５の実施の形態に係る撮像装置の構成例を示した図である。 変調器に形成されるパターン例を示している。 フレネルゾーンプレートの例を示した図である。 図３３のフレネルゾーンプレートの自己相関関数を示した図である。 第６の実施の形態に係るランダムパターンの例を示した図である。 図３５のランダムパターンの自己相関関数を示した図である。 相関関数の拡がりを説明する図である。 第７の実施の形態に係る撮像装置の動作例を示したフローチャートである。 第８の実施の形態に係るＲＬＬパターンの一部を示した図である。 図３９のＲＬＬパターンの自己相関関数を示した図である。 第９の実施の形態に係るパターン例を示した図である。 図４１のパターンを用いた撮像装置の例を示した図のその１である。 図４１のパターンを用いた撮像装置の例を示した図のその２である。 図４１のパターンを用いた撮像装置の例を示した図のその３である。

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の実施の形態を、図面を参照して説明する。

［第１の実施の形態］
図１は、第１の実施の形態に係る撮像装置を適用した携帯端末の例を示した図である。図１に示す携帯端末１は、例えば、スマートフォンである。図１には、携帯端末１の他に、被写体２が示してある。

携帯端末１は、撮像装置（図示せず）を有している。携帯端末１は、ディスプレイを備え、撮像装置が撮像した被写体をディスプレイに表示する。

携帯端末１が備える撮像装置は、レンズレスカメラである。すなわち、携帯端末１が備える撮像装置は、結像させるレンズを用いることなく、外界の被写体２の画像を取得する。これにより、携帯端末１は、小型化、薄型化、および軽量化を図ることができる。

図２は、携帯端末１が備える撮像装置の構成例を示した図である。図２に示すように、撮像装置１０は、変調器１１と、画像センサ１２と、画像処理部１３とを有している。

変調器１１には、例えば、同心円状のパターンが形成されている。変調器１１を透過する光は、変調器１１に形成されている同心円状のパターンによって強度が変調され、画像センサ１２で受光される。変調器１１は、画像センサ１２の受光面に密着して固定される。

画像センサ１２は、変調器１１を透過した光を画像データに変換し、画像処理部１３に出力する。

画像処理部１３は、画像センサ１２から出力される画像データと、所定のパターンを示すパターンデータとの相互相関演算に基づいて、被写体２の像を復元する。

画像センサ１２の画像データから、被写体２の像を現像するためのパターンデータは、予め記憶装置（図示せず）に記憶されている。パターンデータは、例えば、変調器１１が有するパターンと同様のパターン（図２に示す同心円状のパターン）を有した画像データである。以下では、パターンデータを現像用パターンデータと呼ぶことがある。

画像処理部１３で復元された像の画像は、例えば、携帯端末１が備えるディスプレイ（図示せず）に表示される。

図３は、変調器１１および画像センサ１２を示した図である。図３において、図２と同じものには同じ符号が付してある。図３に示すように、変調器１１は、パターン１１ａと、基板１１ｂとを有している。

パターン１１ａは、同心円状の形状を有している。パターン１１ａは、中心から外側に向かうほど間隔（ピッチ）が狭くなっている。具体的には、パターン１１ａは、中心からの半径に反比例して間隔が狭くなっている。

パターン１１ａは、例えば、アルミニウム、クロムなどの金属を、半導体プロセスに用いられるスパッタリング法などによって基板１１ｂ上に蒸着し、形成される。パターン１１ａは、アルミニウム等が蒸着されたパターンと、蒸着されていないパターンとの濃淡によって形成される。

なお、パターン１１ａは、これに限定されるものでなく、例えば、インクジェットプリンタなどによる印刷などによって濃淡が形成されてもよい。すなわち、パターン１１ａは、透過率の変調を実現できる手段であれば、どのように形成されてもよい。

基板１１ｂは、撮像装置１０が可視光の撮影に用いられる場合、例えば、ガラスやプラスティックなど、可視光に対して透明な材料により形成される。一方、撮像装置１０が遠赤外線の撮影に用いられる場合、基板１１ｂは、例えば、ゲルマニウム、シリコン、カルコゲナイドなど、遠赤外線に対して透明な材料により形成される。すなわち、基板１１ｂは、撮影対象となる波長に対して透明な材料を用いればよい。また、パターン１１ａには、撮影対象となる波長を遮断する材料を用いればよい。

画像センサ１２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。画像センサ１２の表面には、受光素子である画素１２ａが格子状に規則的に配置されている。画像センサ１２は、画素１２ａが受光した光画像を、電気信号である画像信号（画像データ）に変換する。

変調器１１および画像センサ１２の別の例について説明する。

図４は、変調器１１および画像センサ１２の別の例を示した図である。図４において、図３と同じものには同じ符号が付してある。

図４の例では、パターン１１ａは、薄膜に形成されている。パターン１１ａが形成された薄膜は、４つの支持部材１１ｃによって、画像センサ１２に対向するように設けられる。変調器１１と画像センサ１２は、図４に示すように形成されてもよい。なお、以下では、特に断らない限り、変調器１１と画像センサ１２の構造は、図３に示した構造であるとする。

撮像装置１０の撮影原理について説明する。中心からの半径に対し、反比例してピッチが細かくなる同心円状のパターンは、次のように定義する。

まず、レーザ干渉計などにおいて、平面波に近い球面波と、参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径を「ｒ」とし、そこでの球面波の位相を「φ（ｒ）」とすると、位相「φ（ｒ）」は、波面の曲がりの大きさを決める係数βを用いて、次の式（１）で示される。

球面波にもかかわらず、半径「ｒ」の２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に、平面波を干渉させると、次の式（２）で示される干渉縞の強度分布が得られる。

これは、次の式（３）を満たす半径で、明るい線を持つ同心円の縞となる。

縞のピッチを「ｐ」とすると、次の式（４）が得られる。

式（４）より、ピッチは、半径「ｒ」に対して反比例して狭くなっていくことが分かる。このような縞を持つプレート（パターン）は、濃淡が正弦波状に連続的に変化するプレートにおいては、ガボールゾーンプレートと呼ばれ、濃淡が２階調で変化するプレートにおいては、フレネルゾーンプレートと呼ばれる。

図５は、ガボールゾーンプレートの例を示した図である。ガボールゾーンプレートは、縞の濃淡が、正弦波状に連続的に変化する。

図６は、フレネルゾーンプレートの例を示した図である。フレネルゾーンプレートは、縞の濃淡が、２階調で変化する。以下では、ガボールゾーンプレートとフレネルゾーンプレートとを区別しない場合には、単に「ゾーンプレート」と呼ぶことがある。

これより以降、説明を簡単にするために、ｘ軸方向についてのみ数式で説明するが、ｙ軸方向についても同様に考慮することで、２次元に展開して考えることが可能である。

図７は、変調器１１を透過する光の画像センサ１２への射影像を説明する図である。図７には、変調器１１のパターン１１ａと、基板１１ｂとが示してある。

図７に示すように、パターン１１ａが形成された厚さ「ｄ」の基板１１ｂに、角度「θ_０」で平行光が入射したとする。基板１１ｂ中の屈折角を「θ」とすると、幾何光学的には、表面のパターン１１ａの透過率が乗じられた光が、「ｋ＝ｄ・ｔａｎθ」だけずれて画像センサ１２に入射する。このとき、画像センサ１２では、次の式（５）で示される強度分布を持つ投影像が検出される。なお、式（５）の「ΦＦ」は、式（２）の干渉縞強度分布の初期位相を示す。

画像処理部１３は、式（５）で示した投影像（画像センサ１２から出力される画像データ）と、予め記憶装置に記憶されている現像用パターンデータとの相互相関演算によって、現像画像を得る。現像用パターンデータのパターンは、変調器１１に形成されるゾーンプレートと同様のパターンを有し、初期位相を「ΦＢ」とすると、次の式（６）で示される。

現像用パターンデータは、信号処理において用いられるデータである。そのため、現像用パターンデータのパターンは、式（５）のように、「１」でオフセットさせる必要はなく、負の値を有していてもよい。

図８は、画像センサ１２上に投影される投影像の例を示した図である。変調器１１に入射した光は、式（５）に示したように、ｋシフトして画像センサ１２上に投影される。

図９は、記憶装置に記憶される現像用パターンデータのパターン例を示している。画像処理部１３は、例えば、図９に示すパターンを有する現像用パターンデータを記憶装置に記憶している。

図１０は、相互相関演算による現像画像の例を示した図である。画像処理部１３は、上記したように、画像センサ１２から出力される画像データと、予め記憶装置に記憶されている現像用パターンデータとの相互相関演算を行う。例えば、画像処理部１３は、図８に示した投影像の画像データと、図９に示した予め記憶装置に記憶されている現像用パターンデータとの相互相関演算を行って、図１０に示すような現像画像（輝点）を得る。すなわち、画像処理部１３は、式（５）で示される画像センサ１２上の投影像（画像センサ１２から出力される画像データ）と、記憶装置に記憶されている式（６）で示される現像用パターンデータとの相互相関演算により、シフト量「ｋ」の輝点を得る。

相互相関演算としては、畳み込み演算がある。例えば、画像処理部１３は、画像センサ１２から出力される画像データと、予め記憶装置に記憶されている現像用パターンデータとの２次元の畳み込み演算によって、２次元の現像画像を得る。

撮像装置１０の画角について説明する。

図１１は、撮像装置１０の画角を説明する図である。図１１には、変調器１１のパターン１１ａと、基板１１ｂとが示してある。

撮像装置１０が検出できる平行光の入射角の最大角度を「θｍａｘ」とする。最大角度「θｍａｘ」は、図１１に示すように、パターン１１ａの中心と、基板１１ｂの下面の端（画像センサ１２の端）とを結ぶ光線の角度であり、次の式（７）で示される。

なお、最大角度「θｍａｘ」は、画像センサ１２上の投影像と、現像用パターンデータとの相互相関関数のピークが、画像センサ１２の端に現れたときの角度でもある。

一般的なレンズを用いた結像との類推から、画角「θｍａｘ」の平行光を画像センサ１２の端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０の実効的な焦点距離は、次の式（８）で示される。

ここで、式（７）より、画角は、変調器１１の厚さ「ｄ」によって変更可能であることが分かる。従って、撮像装置１０は、変調器１１が、例えば、図４に示したような構成を有し、支持部材１１ｃの長さを変更できる機能を有していれば、撮影時に画角を変更して撮影することもできる。

上記で説明してきた平行光と、実際の物体からの光との対応関係について説明する。

図１２は、物体の各点からの光が画像センサ１２に対してなす角を説明する図である。図１２には、被写体２と、変調器１１と、画像センサ１２とが示してある。図１２では、変調器１１と画像センサ１２とを画像センサ一体基板Ａ１と呼ぶ。

被写体２の各点からの光は、厳密には点光源からの球面波として、画像センサ一体基板Ａ１に入射する。被写体２に対し、画像センサ一体基板Ａ１が十分に小さい場合や、十分に遠い場合には、各点から、画像センサ一体基板Ａ１を照明する光の入射角は、同じとみなすことができる。従って、撮像装置１０は、前述したような条件下であれば、無限遠の物体に対して撮像が可能である。

画像処理部１３の動作について説明する。

図１３は、撮像装置１０の動作例を示したフローチャートである。撮像装置１０は、例えば、携帯端末１のシャッタボタンがユーザによって押下されたときに、図１３に示すフローチャートの処理を開始する。

まず、画像処理部１３は、画像センサ１２が撮影した画像データを取得する（ステップＳ１）。

次に、画像処理部１３は、記憶装置に記憶されている現像用パターンデータを取得する（ステップＳ２）。

次に、画像処理部１３は、ステップＳ１にて取得した画像センサ１２の画像データと、ステップＳ２にて取得した記憶装置に記憶されている現像用パターンデータとの相互相関演算を行う（ステップＳ３）。例えば、画像処理部１３は、相互相関演算として、２次元の畳み込み演算を行う。

次に、画像処理部１３は、ステップＳ３にて算出した画像データ（現像画像の画像データ）のノイズ除去を行う（ステップＳ４）。

次に、画像処理部１３は、ステップＳ４にてノイズ除去した画像データのコントラスト強調を行う（ステップＳ５）。

次に、画像処理部１３は、ステップＳ５にてコントラスト強調処理した画像データのカラーバランス調整を行う（ステップＳ６）。

次に、画像処理部１３は、ステップＳ６にてカラーバランス調整した画像データを携帯端末１のディスプレイに出力する（ステップＳ７）。

以上の処理によって、携帯端末１によって撮影された被写体２は、携帯端末１のディスプレイに表示される。

図１４は、画像処理部１３の機能ブロック構成例を示した図である。図１４に示すように、画像処理部１３は、画像入力部１３ａと、記憶装置１３ｂと、相互相関演算部１３ｃと、ノイズ除去部１３ｄと、コントラスト強調部１３ｅと、カラーバランス調整部１３ｆと、出力部１３ｇとを有している。図１４に示す各機能は、ＣＰＵ（Central Processing Unit）がプログラムを実行することによって実現されてもよいし、論理回路等のハードウェアによって実現されてもよい。

画像入力部１３ａは、画像センサ１２から出力される画像データを入力する。

記憶装置１３ｂには、変調器１１に形成されているパターン１１ａと同様のパターンを有した現像用パターンデータが予め記憶されている。

相互相関演算部１３ｃは、画像入力部１３ａが入力した画像データと、記憶装置１３ｂに記憶されている現像用パターンデータとの相互相関演算を行う。例えば、相互相関演算部１３ｃは、画像入力部１３ａが入力した画像データと、記憶装置１３ｂに記憶されている現像用パターンデータとの２次元の畳み込み演算を行う。

ノイズ除去部１３ｄは、相互相関演算部１３ｃによって演算された画像データのノイズ除去を行う。

コントラスト強調部１３ｅは、ノイズ除去部１３ｄでノイズ除去された画像データのコントラスト強調を行う。

カラーバランス調整部１３ｆは、コントラスト強調部１３ｅでコントラスト強調された画像データのカラーバランス調整を行う。

出力部１３ｇは、カラーバランス調整部１３ｆでカラーバランス調整された画像データをディスプレイに出力する。

以上説明したように、撮像装置１０の変調器１１は、パターン１１ａを有し、光の強度を変調する。画像センサ１２は、変調器１１を透過した光を画像データに変換して出力する。そして、画像処理部１３は、画像センサ１２から出力される画像データと、所定のパターンを示す現像用パターンデータとの相互相関演算に基づいて像を復元する。例えば、画像処理部１３は、画像センサ１２から出力される画像データと、現像用パターンデータとの畳み込み演算に基づいて、像を復元する。

これにより、撮像装置１０は、現像処理に係る演算量を低減することができる。例えば、撮像装置１０は、格子基板を透過する光の画像センサ上で生じる射影パターンから、入射光の入射角を逆問題により算出する撮像装置より、演算量を低減することができる。

また、撮像装置１０は、演算量を低減するので、ディスプレイに画像を表示するまでの時間を短縮することができる。

また、撮像装置１０は、演算量を低減するので、例えば、高性能のＣＰＵを用いる必要がなく、低コスト化および消費電力の低減を図ることができる。

なお、上記では、撮像装置１０を携帯端末１に適用した例について説明したが、デジタルカメラなどのその他の電子機器にも適用することができる。

また、上記では、撮像装置１０に入射する光線は、同時には１つの入射角度だけであった。しかし、実際に撮像装置１０がカメラとして作用するには、複数の入射角度の光が撮像装置１０に同時に入射する場合を想定しなければならない。このような複数の入射角の光は、画像センサ１２に入射する時点で、すでに複数のパターン１１ａの像が重なり合わさることになる。しかし、一般的な光源による照明下では、入射光はインコヒーレントであり、相互には影響を及ぼさないため独立して考えることが可能である。

また、現像用パターンデータは、予め記憶装置１３ｂに記憶されるとしたが、これに限られない。画像処理部１３は、被写体２が撮影されたときに、式（６）に基づいて現像用パターンデータを生成してもよい。

また、式（２）で示される透過率分布は、基本的に正弦波的な特性があることを想定しているが、パターン１１ａの基本周波数成分としてそのような成分が含まれていればよい。

図１５は、３値化されたパターン１１ａの例を示した図である。図１５に示すように、パターン１１ａの透過率は、３値化してもよい。これにより、パターン１１ａは、３種類の透過率によって作製できるため、作製に係る難易度を低下させることができる。

図１６は、透過率が高い部分と低い部分とのデューティ比を変えたパターン１１ａの例を示した図である。図１６に示すように、パターン１１ａは、透過率の高い部分を、透過率の低い部分より広くしてもよい。これにより、撮像装置１０は、パターン１１ａからの回折を抑圧するなどの効果が得られ、撮影像の劣化を低減することができる。

［第２の実施の形態］
第２の実施の形態では、相互相関演算として、フーリエ変換を用いる。これにより、畳み込み演算より、演算量を低減する。第２の実施の形態に係る撮像装置は、図２に示した撮像装置１０と同様の構成を有するが、画像処理部１３の機能が一部異なる。以下では、第１の実施の形態と異なる部分について説明する。

第２の実施の形態では、画像処理部１３は、画像センサ１２から出力される画像データをフーリエ変換する。すなわち、画像処理部１３は、上記の式（５）をフーリエ変換する。式（５）をフーリエ変換した結果は、次の式（９）に示すようになる。

画像処理部１３が有する記憶装置には、フーリエ変換された現像用パターンデータが予め記憶されている。すなわち、記憶装置には、上記の式（６）をフーリエ変換したデータが記憶されている。式（６）をフーリエ変換した結果は、次の式（１０）に示すようになる。

式（９）および式（１０）に示す「Ｆ」は、フーリエ変換の演算を示し、「ｕ」は、ｘ軸方向の周波数座標を示す。式（９）の「δ」は、デルタ関数である。

式（９）および式（１０）で重要なことは、フーリエ変換後の式もまたゾーンプレートとなっている点である。つまり、画像処理部１３は、フーリエ変換した画像データに対し、フーリエ変換した現像用パターンデータを作用させることにより、現像画像を得ることができる。式（９）と式（１０）とを乗算すると、式（１１）に示すようになる。

式（１１）の指数関数で示される項「ｅｘｐ（−ｉｋｕ）」が信号成分であり、この項を逆フーリエ変換すると、式（１２）に示すようになる。

式（１２）より、元のｘ軸において、「ｋ」の位置に輝点を得ることができる（図１０を参照）。この輝点が無限遠の光束を示しており、画像処理部１３から得られる撮影像にほかならない。

このように、画像処理部１３は、画像センサ１２から出力される画像データをフーリエ変換し、フーリエ変換した画像データと、予め記憶装置に記憶したフーリエ変換された現像用パターンデータとを乗算することにより、現像画像を得ることができる。そして、フーリエ変換を利用することにより、現像画像を得る演算が乗算演算となるため、画像処理部１３は、演算量を低減できる。

なお、式（１１）の右辺第２項の「ｓｉｎ」の式において、ΦＦ＝ΦＢ＝π／４となるとき、「ｓｉｎ」の初期位相が「０」となる。さらに、式（１１）の右辺第１項が「０」となり、現像に不要な項を低減できる。この条件で現像処理すれば、画像処理部１３は、ノイズの少ない現像画像を得ることができる。

図１７は、第２の実施の形態に係る撮像装置１０の動作例を示したフローチャートである。撮像装置１０は、例えば、携帯端末１のシャッタボタンがユーザによって押下されたときに、図１７に示すフローチャートの処理を開始する。

まず、画像処理部１３は、画像センサ１２が撮影した画像データを取得する（ステップＳ１１）。

次に、画像処理部１３は、ステップＳ１１にて取得した画像データをフーリエ変換する（ステップＳ１２）。

次に、画像処理部１３は、記憶装置に記憶されている、フーリエ変換された現像用パターンデータを取得する（ステップＳ１３）。

次に、画像処理部１３は、ステップＳ１２にてフーリエ変換した画像データと、ステップＳ１３にて取得したフーリエ変換された現像用パターンデータとを乗算する（ステップＳ１４）。

次に、画像処理部１３は、ステップＳ１４にて乗算したデータを、逆フーリエ変換する（ステップＳ１５）。

ステップＳ１６〜ステップＳ１９の処理は、図１３で説明したステップＳ４〜ステップＳ７と同様であり、その説明を省略する。

以上の処理によって、携帯端末１によって撮影された被写体２は、携帯端末１のディスプレイに表示される。

図１８は、画像処理部１３の機能ブロック構成例を示した図である。図１８に示すように、画像処理部１３は、画像入力部２１ａと、フーリエ変換部２１ｂと、記憶装置２１ｃと、乗算部２１ｄと、逆フーリエ変換部２１ｅと、ノイズ除去部２１ｆと、コントラスト強調部２１ｇと、カラーバランス調整部２１ｈと、出力部２１ｉとを有している。図１８に示す各機能は、ＣＰＵがプログラムを実行することによって実現されてもよいし、論理回路等のハードウェアによって実現されてもよい。

画像入力部２１ａは、画像センサ１２から出力される画像データを入力する。

フーリエ変換部２１ｂは、画像入力部２１ａによって入力された画像データをフーリエ変換する。フーリエ変換部２１ｂは、例えば、ＦＦＴ（Fast Fourier Transform）によって、画像入力部２１ａによって入力された画像データをフーリエ変換する。

記憶装置２１ｃには、予めフーリエ変換された現像用パターンデータが記憶されている。

乗算部２１ｄは、フーリエ変換部２１ｂによってフーリエ変換された画像データと、記憶装置２１ｃに記憶されているフーリエ変換された現像用パターンデータとを乗算する。

逆フーリエ変換部２１ｅは、乗算部２１ｄから得られた乗算結果を、逆フーリエ変換する。逆フーリエ変換部２１ｅは、例えば、ＩＦＦＴ（Inverse Fast Fourier Transform）によって、乗算部２１ｄから得られた乗算結果を、逆フーリエ変換する。

ノイズ除去部２１ｆ、コントラスト強調部２１ｇ、カラーバランス調整部２１ｈ、および出力部２１ｉは、図１４に示したノイズ除去部１３ｄ、コントラスト強調部１３ｅ、カラーバランス調整部１３ｆ、および出力部１３ｇと同様であり、その説明を省略する。

以上説明したように、撮像装置１０の画像処理部１３は、画像データのフーリエ変換と、現像用パターンデータのフーリエ変換との乗算演算に基づいて、現像画像を得る。これにより、撮像装置１０は、更なる演算量の低減を図ることができる。

なお、相互相関演算をフーリエ変換で実施する方法としてＦＦＴを例に説明したが、これに限定されるものではない。例えば、撮像装置１０は、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などを使用してもよく、さらに演算量を削減することもできる。

［第３の実施の形態］
上記の第１の実施の形態および第２の実施の形態では、無限遠での物体の撮影について説明した。第３の実施の形態では、有限距離での物体の撮影について説明する。

図１９は、第３の実施の形態に係る撮像装置３０の構成例を示した図である。図１９において、図２と同じものには同じ符号が付してある。以下では、図２と異なる部分について説明する。

図１９に示すように、撮像装置３０は、画像記憶装置３１と、画像処理部３２と、フォーカス設定部３３とを有している。

画像記憶装置３１は、画像センサ１２から出力される画像データを記憶する。

画像処理部３２は、図２に示した画像処理部１３と同様の機能を有しているが、現像用パターンデータを生成するところが異なる。すなわち、画像処理部３２は、現像用パターンデータを記憶装置に予め記憶していない。

フォーカス設定部３３は、画像記憶装置３１に記憶された画像データのフォーカスを合わせるため、拡大および縮小した現像用パターンデータを生成する。

図２０は、物体が無限遠にある場合の画像センサ１２への投影を説明する図である。図２０には、変調器１１のパターン１１ａと、基板１１ｂとが示してある。なお、基板１１ｂの下面には、画像センサ１２が密着して設けられるが、その図示を省略している。

無限遠の物体を構成する点Ａ１１からの球面波は、十分に長い距離を伝搬する間に平面波となる。平面波の光は、パターン１１ａを照射し、画像センサ１２に投影される。

物体が無限遠にある場合、画像センサ１２に投影される投影像Ａ１２は、パターン１１ａとほぼ同じ形状となる。そのため、投影像Ａ１２と、現像用パターンデータとの相互相関演算を行うことにより、単一の輝点を得ることができる。

図２１は、物体が有限距離にある場合の画像センサ１２への投影を説明する図である。物体を構成する点Ａ２１からの球面波の光は、パターン１１ａを照射し、画像センサ１２に投影される。撮影する物体が有限距離にある場合、点Ａ２１からの球面波の光の投影像Ａ２２は、ほぼ一様に拡大される。

投影像Ａ２２の拡大率「α」は、パターン１１ａから点Ａ２１までの距離「ｆ」を用いて、次の式（１３）で示される。

投影像Ａ２２の拡大率「α」は、距離「ｆ」によって変わる。そのため、平行光に対して設計された現像用パターンデータの透過率分布をそのまま使用し、相互相関演算したのでは、単一の輝点を得ることができない。そこで、一様に拡大された投影像（画像センサ１２から出力される画像データ）に合わせて、現像用パターンデータを拡大させれば、拡大された投影像Ａ２２に対して、単一の輝点を得ることができる。

例えば、画像処理部１３は、画像記憶装置３１に記憶された画像データと、フォーカス設定部３３によって拡大または縮小された現像用パターンデータとを相互相関演算することにより、単一の輝点の現像画像を出力できる。

なお、単一の輝点を得るには、式（６）に示した現像用パターンデータの係数「β」を「β／α^２」とすればよい。すなわち、フォーカス設定部３３は、式（６）の係数「β」を「β／α^２」にし、拡大率「α」に基づいて、拡大または縮小した現像用パターンデータを生成する。

フォーカス設定部３３は、拡大率「α」をユーザからの操作に応じて変更してもよい。例えば、ユーザは、携帯端末１のディスプレイを見ながら、画像のフォーカスが合うようにＧＵＩ（Graphical User Interface）を操作し、フォーカス設定部３３は、その操作に応じて拡大率「α」を変更する。または、フォーカス設定部３３は、画像のフォーカスが合うように、自動で拡大率「α」を変更してもよい。

撮像装置３０の動作例について説明する。以下では、相互相関演算として、フーリエ変換を用いた場合の動作例について説明する。

図２２は、撮像装置３０の動作例を示したフローチャートである。撮像装置３０は、例えば、携帯端末１のシャッタボタンがユーザによって押下されたときに、図２２に示すフローチャートの処理を開始する。

まず、画像記憶装置３１は、画像センサ１２が撮影した画像データを記憶する（ステップＳ２１）。

次に、画像処理部３２は、ステップＳ２１にて記憶された画像データをフーリエ変換する（ステップＳ２２）。

次に、フォーカス設定部３３は、拡大率を決定する（ステップＳ２３）。例えば、フォーカス設定部３３は、ユーザの操作に応じてまたは自動で拡大率を決定する。

次に、画像処理部３２は、ステップＳ２３にて決定した拡大率に応じた現像用パターンデータを生成する（ステップＳ２４）。

次に、画像処理部３２は、ステップＳ２４にて生成した現像用パターンデータをフーリエ変換する（ステップＳ２５）。

次に、画像処理部３２は、ステップＳ２２にてフーリエ変換した画像データと、ステップＳ２５にてフーリエ変換した現像用パターンデータとを乗算する（ステップＳ２６）。

ステップＳ２７〜ステップＳ３１の処理は、図１７で説明したステップＳ１５〜ステップＳ１９と同様であり、その説明を省略する。

以上説明したように、フォーカス設定部３３は、画像データと相互相関演算される現像用パターンデータを拡大および縮小する。これにより、撮像装置３０は、画像のフォーカスを合わせることができる。

また、撮像装置３０は、画像記憶装置３１に画像センサ１２から出力される画像データを記憶する。これにより、撮像装置３０は、撮影後にフォーカスを合わせることができる。

また、従来のカメラでは、フォーカスを変更するためには再撮影が必要であったが、撮像装置３０は、撮影後に（画像記憶装置３１に記憶した画像データに対し）フォーカス合わせができるので、再撮影が不要となる。

［第４の実施の形態］
上記の第２の実施の形態では、式（１１）に含まれる信号成分に着目して話を進めたが、実際には、信号項「ｅｘｐ（−ｉｋｕ）」以外のノイズ項も含まれ、鮮明な現像を阻害する。第４の実施の形態では、ノイズ除去について説明する。

図２３は、ノイズを説明する図である。図２３（ａ）は、撮影対象を示している。図２３（ｂ）は、第２の実施の形態に係る撮像装置１０で、図２３（ａ）の撮影対象を撮影したときの画像を示している。

上記したように、式（１１）には、信号項「ｅｘｐ（−ｉｋｕ）」以外の項が含まれる。そのため、第２の実施の形態に係る撮像装置１０で、図２３（ａ）の撮影対象を撮影すると、図２３（ｂ）に示すように、画像データにノイズが含まれる。

そこで、第４の実施の形態では、フリンジスキャンに基づくノイズキャンセルを行う。以下、フリンジスキャンに基づくノイズキャンセルを説明する。

次の式（１４）に示すように、三角関数の直交性を利用し、格子間の乗算結果を「ΦＦ」および「ΦＢ」に関して積分すると、ノイズ項がキャンセルされ、信号項の定数倍が残る。

式（１４）を逆フーリエ変換すると、次の式（１５）に示すように変換され、元のｘ軸において「ｋ」の位置にノイズのない輝点を得ることができる。

ここで、式（１４）は、積分の形で示しているが、実際には、「ΦＦ」と「ΦＢ」との組合せの総和を計算することによって同様の効果が得られる。

図２４は、フリンジスキャンにおける初期位相の組合せ例を示した図のその１である。図２４の「ΦＦ」は、変調器に形成されるパターンの初期位相を示し、「ΦＢ」は、現像用パターンデータの初期位相を示す。

図２４に示すように、「ΦＦ」と「ΦＢ」は、「０〜２π」の間の角度を等分するように設定する。図２４に示す「ΦＦ」と「ΦＢ」との組合せにおける総和を計算すれば、式（１４）と同様の効果が得られる。

なお、図２４に示す組合せのように、「ΦＦ」と「ΦＢ」は、「０〜２π」の間の角度を等分するように設定すればよく、「０、π／３、２π／３」のように３等分してもよい。

式（１４）は、さらに簡略化できる。例えば、図２４では、「ΦＦ」と「ΦＢ」とを独立して変えられるように計算したが、「ΦＦ＝ΦＢ」、すなわち、変調器が有するパターンの初期位相と、現像用パターンデータの初期位相とに、同じ位相を適用してもノイズ項をキャンセルできる。例えば、式（１４）において「ΦＦ＝ΦＢ＝Φ」とすれば、次の式（１６）が得られる。

式（１６）に示すように、「ΦＦ＝ΦＢ＝Φ」の場合でも、ノイズ項がキャンセルされ、信号光の定数倍が残ることになる。

式（１６）を逆フーリエ変換すると、次の式（１７）に示すように変換され、元のｘ軸において「ｋ」の位置にノイズのない輝点を得ることができる。

図２５は、フリンジスキャンにおける初期位相の組合せ例を示した図のその２である。図２５に示す「ΦＦ」と「ΦＢ」との組合せ（ΦＦ＝ΦＢ＝Φ）における総和を計算すれば、式（１６）と同様の効果が得られる。

なお、図２５に示す組合せのように、「ΦＦ」と「ΦＢ」は、「０〜２π」の間の角度を等分するように設定すればよく、「０，π／３，２π／３」のように３等分してもよい。

また、「ΦＦ」と「ΦＢ」との組合せを「０，π／２」とすると、式（１４）は、さらに簡略化できる。この場合、式（１６）は、次の式（１８）に示すようになる。

式（１８）に示すように、「ΦＦ」と「ΦＢ」との組合せが「０，π／２」の場合でも、ノイズ項がキャンセルされ、信号光の定数倍が残ることになる。

式（１８）を逆フーリエ変換すると、次の式（１９）に示すように変換され、元のｘ軸において「ｋ」の位置にノイズのない輝点を得ることができる。

図２６は、フリンジスキャンにおける初期位相の組合せ例を示した図のその３である。図２６に示す「ΦＦ」と「ΦＢ」との組合せ（ΦＦ＝ΦＢ＝Φ＝０，π／２）における総和を計算すれば、式（１８）と同様の効果が得られる。

なお、２つの位相「Φ」は、互いに直交（位相差＝π／２＋ｎπ：ｎは整数）するように選択する必要がある。

式（１４）では、「ｃｏｓ（ΦＢ−ΦＦ）」を乗算する必要があり、式（１６）と式（１８）は、２つの格子パターンの位相を揃える必要がある。すなわち、上記で説明した計算方法では、変調器に形成されるパターンと、現像用パターンデータとの初期位相を認識している必要がある。この初期位相を認識せずに演算できるようにするには、次の式（２０）のように、格子間の乗算結果を２乗したものを積分してもよい。

式（２０）には、「ΦＦ」および「ΦＢ」が含まれない。つまり、式（２０）による計算によれば、初期位相が不明な場合でもあっても、ノイズキャンセルすることができる。

式（２０）を逆フーリエ変換すると、次の式（２１）に示すように変換され、元のｘ軸において「ｋ」の位置にノイズのない輝点を得ることができる。

式（２１）に示す「π／２β」は、輝点に対して輝度が「π／２β」オフセットすることを示しており、本質的なノイズではない。

図２７は、ノイズをキャンセルした画像データの例を示している。式（１４）〜式（２１）を用いて現像処理すると、図２３（ｂ）で示した画像データは、図２７に示すようにノイズがキャンセルされる。すなわち、式（１４）〜式（２１）で説明したフリンジスキャンによれば、図２７に示すように、撮影対象を適切に現像できる。

上記のノイズキャンセルを行うための撮像装置の構成について説明する。フリンジスキャンでは、変調器は、初期位相の異なる複数のパターンを有する必要がある。初期位相の異なる複数のパターンを実現するのに、時分割で変調器のパターンを切り替える。

図２８は、第４の実施の形態に係る撮像装置の構成例を示した図である。図２８において、図２と同じものには同じ符号が付してある。図２８に示すように、撮像装置４０は、変調器４１と、変調制御部４２と、画像処理部４３とを有している。

変調器４１は、初期位相が異なる複数のパターンを切替えて表示する。例えば、変調器４１は、液晶表示素子を有し、電気的に初期位相が異なる複数のパターンを切替えて表示する。

図２９は、変調器４１が表示する複数の初期位相の例を示した図である。図２９（ａ）には、変調器４１が表示するパターンであって、初期位相「ΦＦ」または「Φ」が「０」のときのパターン例が示してある。図２９（ｂ）には、変調器４１が表示するパターンであって、初期位相「ΦＦ」または「Φ」が「π／２」のときのパターン例が示してある。図２９（ｃ）には、変調器４１が表示するパターンであって、初期位相「ΦＦ」または「Φ」が「π」のときのパターン例が示してある。図２９（ｄ）には、変調器４１が表示するパターンであって、初期位相「ΦＦ」または「Φ」が「３π／２」のときのパターン例が示してある。

図２８の説明に戻る。変調制御部４２は、変調器４１のパターンの切替えタイミングと、画像センサ１２のシャッタタイミングとを同期して制御する。例えば、変調制御部４２は、変調器４１のパターンを、図２９に示した４つのパターンで順次切り替えるとともに、画像センサ１２に対し、被写体を撮影するように制御する。すなわち、画像センサ１２は、１フレームの画像を得るのに、被写体を４回撮影する（図２６の場合は２回撮影する）。

変調制御部４２は、変調器４１のパターンを切替える際、パターンを切替える初期位相の情報を画像処理部４３に送信する。例えば、変調制御部４２は、変調器４１のパターンを、図２９（ａ）に示したパターンから、図２９（ｂ）に示したパターンへ切り替えた場合、初期位相「π／２」の情報を画像処理部４３に送信する。

画像処理部４３は、変調制御部４２から送信された初期位相に基づいて、現像用パターンデータの初期位相を変更する。そして、画像処理部４３は、「ΦＦ」と「ΦＢ」との組合せにおける総和を計算する（図２５、図２６の例の場合は、「ΦＦ＝ΦＢ＝Φ」の組合せにおける総和を計算する）。

例えば、図２４の例を用いて説明すると、画像処理部４３は、変調制御部４２から初期位相「ΦＦ＝０」が送信された場合、現像用パターンデータの初期位相「ΦＢ」を「０，π／２，π，３π／２」と順次切り替える。また、画像処理部４３は、変調制御部４２から初期位相「ΦＦ＝π／２」が送信された場合、現像用パターンデータの初期位相「ΦＢ」を「０，π／２，π，３π／２」と順次切り替える。以下同様にして、画像処理部４３は、現像用パターンデータの初期位相を切り替え、図２４に示す全組合せにおける乗算結果を総和する。

撮像装置４０の動作例について説明する。以下では、相互相関演算として、フーリエ変換を用いた場合の動作例について説明する。

図３０は、撮像装置４０の動作例を示したフローチャートである。撮像装置４０は、例えば、携帯端末１のシャッタボタンがユーザによって押下されたときに、図３０に示すフローチャートの処理を開始する。

まず、画像処理部４３は、変数「加算結果」をクリアする（ステップＳ３１）。

次に、変調制御部４２は、変調器４１のパターンの初期位相を制御する（ステップＳ３２）。例えば、変調制御部４２は、処理がステップＳ３７から当該ステップＳ３２に遷移する度に、図２９に示した変調器４１のパターンを順次切り替える。なお、変調制御部４２は、変調器４１のパターンの情報を画像処理部４３に送信する。

次に、画像処理部４３は、画像センサ１２から出力される画像データをフーリエ変換する（ステップＳ３３）。

次に、画像処理部４３は、初期位相の異なる現像用パターンデータを生成する（ステップＳ３４）。例えば、図２４の例の場合、変調制御部４２は、初期位相「ΦＦ＝０」に対し、初期位相「０，π／２，π，３π／２」の４つの現像用パターンデータを生成する。

なお、初期位相「ΦＦ」は、例えば、「ΦＦ＝０」から、ステップＳ３７のループを回る度に、「π／２，π，３π／２」と切替わる。画像処理部４３は、それぞれの初期位相「ΦＦ＝π／２，π，３π／２」に対し、初期位相「０，π／２，π，３π／２」の４つの現像用パターンデータを生成することになる。

次に、画像処理部４３は、ステップＳ３３にてフーリエ変換した画像データと、ステップＳ３４にて生成した現像用パターンデータとを乗算する（ステップＳ３５）。なお、現像用パターンデータは、４つあるので、乗算結果は、４つ得られる。

次に、画像処理部４３は、ステップＳ３５にて算出した乗算結果を加算し、変数「加算結果」に格納されている加算結果に加算する（ステップＳ３６）。

次に、変調制御部４２は、初期位相の切替え（初期位相シフト）を全て終了したか判定する（ステップＳ３７）。例えば、変調制御部４２は、図２９に示した変調器４１のパターンを全て切替えたか判定する。

変調制御部４２は、ステップＳ３７にて、初期位相の切替えを全て終了していないと判定した場合（Ｓ３７の「Ｎｏ」）、処理をステップＳ３２へ移行する。一方、変調制御部４２は、ステップＳ３７にて、初期位相の切替えを全て終了したと判定した場合（Ｓ３７の「Ｙｅｓ」）、処理をステップＳ３８へ移行する。

画像処理部４３は、ステップＳ３６にて得られた乗算結果（変数「加算結果」に格納されている乗算結果）を、逆フーリエ変換する（ステップＳ３８）。

ステップＳ３９〜ステップＳ４２の処理は、図１７で説明したステップＳ１６〜ステップＳ１９と同様であり、その説明を省略する。

以上説明したように、変調制御部４２は、変調器４１の初期位相が異なる複数のパターンを時分割で切替える。そして、画像処理部４３は、変調器４１の初期位相の切替えに応じて、現像用パターンデータの初期位相を変更する。これにより、撮像装置４０は、簡単な演算により、画像センサ１２から得られる画像のノイズをキャンセルすることができる。

［第５の実施の形態］
上記の第４の実施の形態では、変調器４１の初期位相が異なるパターンを時分割で切り替えた。第５の実施の形態では、変調器の初期位相が異なるパターンを空間分割する。

図３１は、第５の実施の形態に係る撮像装置の構成例を示した図である。図３１において、図２と同じものには同じ符号が付してある。図３１に示すように、撮像装置５０は、変調器５１と、画像分割部５２と、画像処理部５３とを有している。

変調器５１は、複数のパターンを有している。

図３２は、変調器５１に形成されるパターン例を示している。変調器５１には、例えば、図３２に示すように、複数のパターンが２次元的に形成されている。図３２の例では、複数のパターンのそれぞれは、初期位相「ΦＦ」または「Φ」が「０，π／２，π，３π／２」となっている。

なお、図３２の例では、複数のパターンは、２×２で変調器５１に形成されている。式（１８）に基づくフリンジスキャンでは、２位相で実現できるため（図２６参照）、この場合、複数のパターンは、１×２で変調器５１に形成される。

図３１の説明に戻る。画像分割部５２は、画像センサ１２から出力される画像データを、変調器５１のパターン配置に応じた領域に分割し、画像処理部５３に順次出力する。変調器５１のパターン配置が図３２の例の場合、画像分割部５２は、画像データを２×２に分割し、画像処理部５３に順次出力する。

画像処理部５３は、変調器５１の複数のパターンに対応した初期位相の現像用パターンデータを、例えば、記憶装置に予め記憶している。例えば、図３２の例の場合、画像処理部５３は、４つの現像用パターンデータを有している。画像処理部５３は、画像分割部５２から出力される画像データに対し、対応する現像用パターンデータを用いて、現像画像を得る。例えば、画像処理部５３は、画像分割部５２から出力される分割された画像データと、その分割された画像データに対応する現像用パターンデータとの相互相関演算によって、現像画像を得る。

以上説明したように、変調器５１は、初期位相が異なる複数のパターンを有する。そして、画像処理部５３は、複数のパターンに対応する異なる初期位相の現像用パターンデータを有する。これにより、撮像装置５０は、簡単な演算により、画像センサ１２から得られる画像のノイズをキャンセルすることができる。

また、変調器５１は、空間分割して複数のパターンを有するので、パターンを電気的に切替えずに済み、安価に作製されることができる。ただし、撮像装置５０は、画像データを分割するため、解像度が実質的に低下する。従って、解像度を上げる必要がある場合には、第４の実施の形態で説明した時分割方式が適している。

なお、上記では、画像処理部５３は、現像用パターンデータを記憶装置に記憶するとしたが、生成してもよい。

［第６の実施の形態］
第６の実施の形態では、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターンを使用する。第６の実施の形態に係る撮像装置は、図２に示した撮像装置１０と同様の構成を有するが、変調器１１および画像処理部１３の機能が一部異なる。以下では、第１の実施の形態と異なる部分について説明する。

まず、数式の一般化を行う。式（５）は、ガボールゾーンプレートの投影像を表す数式であったが、式（５）を一般化すると、次の式（２２）で示すことができる。

「ｆ」は平均値０、振幅−１〜＋１の関数であることが望ましい。同様に、現像用パターンデータ（式（６））を一般化すると、次の式（２３）で示すことができる。

式（２２）と式（２３）のフーリエ変換は、それぞれ式（２４）および式（２５）に示すようになる。

ここで、Ｆ［］はフーリエ変換の演算、Ｆ（）は関数ｆのフーリエ変換、ｕはｘ方向の周波数座標、δはデルタ関数である。

次に、上記で説明した第２の実施の形態では、フーリエ変換後の式もまたガボールゾーンプレートであり実数であったため、式（１１）のように乗算でよかったが、一般化した場合には、複素共役の乗算となる。よって、式（２４）と式（２５）の乗算は、式（２６）に示すようになる。

ここで、「＊」は複素共役を示す。式（２６）の指数関数で表される項「ｅｘｐ（−ｉｋｕ）」が信号成分である。

第４の実施の形態で説明したフリンジスキャンと同様に「ΦＦ＝ΦＢ＝Φ」とすると、次の式（２７）が得られる。

式（２７）には、δ関数が含まれているが、逆フーリエ変換すれば定数となるため本質的なノイズではない。よって、これを除いた項を逆フーリエ変換すれば、次の式（２８）が得られる。

ここで、「＊」は畳み込み演算を示す。よって、式（２８）が単一の輝点（δ関数）となるためには、パワースペクトル「｜Ｆ（ｕ，Φ）｜^２」が、周波数「ｕ」全域で定数に近い関数ｆをパターンとして使用することが望ましい。

パワースペクトルが定数となる関数ｆとしては、例えば、乱数がある。ランダムなパターンを、変調器１１のパターンおよび画像処理部１３の現像用パターンデータとして用いることにより、ノイズ項の影響を抑えた撮影が可能となる。また、式（２８）より、現像画像の分解能は、関数ｆのパワースペクトルのフーリエ変換の応答によって決定されることが分かる。パワースペクトルのフーリエ変換とは、自己相関関数であり、要するにパターンの自己相関関数が現像画像のＰＳＦ（Point Spread Function）であり、分解能を決定する。

図３３は、フレネルゾーンプレートの例を示した図である。図３３には、フレネルゾーンプレートの一部（例えば、図６に示すフレネルゾーンプレートの左上部分）が示してある。

図３３では、パターンの細かさを示す指標として、「β」をセンササイズで規格化した「Ｚ４」を次の式（２９）に示すように定義する。

図３３（ａ）には「Ｚ４＝５１２」、図３３（ｂ）には「Ｚ４＝２５６」、図３３（ｃ）には「Ｚ４＝１２８」、図３３（ｄ）には「Ｚ４＝６４」のフレネルゾーンプレートの例が示してある。なお、パターンの１ピクセルは、画像センサの画素のサイズとした。

図３４は、図３３のフレネルゾーンプレートの自己相関関数を示した図である。図３４の横軸はＬａｇを示し、縦軸はＡＣＦ（Autocorrelation function）を示している。

図３４に示す「Ｚ４＝５１２」のグラフは、図３３（ａ）のパターンの自己相関関数を示している。図３４に示す「Ｚ４＝２５６」のグラフは、図３３（ｂ）のパターンの自己相関関数を示している。図３４に示す「Ｚ４＝１２８」のグラフは、図３３（ｃ）のパターンの自己相関関数を示している。図３４に示す「Ｚ４＝６４」のグラフは、図３３（ｄ）のパターンの自己相関関数を示している。

図３４に示すように、パターンのピッチが細かいほど（Ｚ４の値が大きいほど）、ＡＣＦメインローブの半値幅が小さくなり、分解能が向上している様子が分かる。

図３５は、第６の実施の形態に係るランダムパターンの例を示した図である。図３５には、ランダムパターンの一部が示してある。図３５（ａ）には最小パターン幅が「１ピクセル」、図３５（ｂ）には最小パターン幅が「２ピクセル」、図３５（ｃ）には最小パターン幅が「４ピクセル」、図３５（ｄ）には最小パターン幅が「８ピクセル」のランダムパターンの例が示してある。

図３６は、図３５のランダムパターンの自己相関関数を示した図である。図３６の横軸はＬａｇを示し、縦軸はＡＣＦを示している。

図３６に示す「Ｍｉｎ＝１」のグラフは、図３５（ａ）のランダムパターンの自己相関関数を示している。図３６に示す「Ｍｉｎ＝２」のグラフは、図３５（ｂ）のパターンの自己相関関数を示している。図３６に示す「Ｍｉｎ＝４」のグラフは、図３５（ｃ）のパターンの自己相関関数を示している。図３６に示す「Ｍｉｎ＝８」のグラフは、図３５（ｄ）のパターンの自己相関関数を示している。

図３６に示すように、ランダムパターンの方が、フレネルゾーンプレートよりも周辺のノイズが抑圧されていることが分かる。

以上説明したように、変調器１１に形成されるパターンおよび画像処理部１３の現像用パターンデータのパターンに、ランダムパターンを適用する。これによっても、現像画像のノイズを抑圧できる。

また、ランダムパターンの自己相関関数が単一のピークを有すれば、より現像画像のノイズを抑圧できる。

また、撮像装置１０は、フレネルゾーンプレート以外の任意のパターンを使用することにより、設計自由度を向上させることができる。

なお、ランダムパターン以外にも任意のパターンを使用することができる。例えば、図３４または図３６のように、パターンの自己相関関数が単一のメインローブを持ち、メインローブ周辺に存在するサイドローブが少なくともメインローブを超えない関数であれば、ランダムパターン以外にも任意のパターンを使用することができる。また、図３４、図３６のように、メインローブから離れるに従ってサイドローブのピークが単調に減少する関数である方が好ましい。例えば、コヒーレントな光が散乱体に照射された際に発生するスペックルパターンなどもパターンとして使用できる。

また、上記では、式（２７）のパワースペクトル「｜Ｆ（ｕ，Φ）｜^２」が周波数「ｕ」全域で定数に近い関数ｆを選ぶように説明したが、式（２７）の結果をパワースペクトル「｜Ｆ（ｕ，Φ）｜^２」で除算すれば、ノイズ成分がキャンセルされることが分かる。ただし、パワースペクトルに「０」が含まれている場合、「０」割りが発生するため、この場合には、パワースペクトルに「０」を有さないパターンを選択する必要がある。

また、式（２２）〜式（２８）の展開では、関数ｆが実数という制約を設けておらず複素関数でも成立する。すなわち、透過率変調でなく、位相変調も加えたパターンにしても実現可能である。

また、変調器に形成されるパターンを開示せず秘匿しておけば、画像センサ出力は光学的に暗号化されることになる。この現像処理には撮影時のパターンを知っている必要があり、セキュリティを向上することが可能となる。この暗号化効果による秘匿性をより強化するためには、撮影用パターンを電気的に切り替えて表示できるようにしておき、撮影者、現像者でパターンを共有すれば、パターン解析される心配もなく、秘匿性がさらに向上する。

［第７の実施の形態］
第７の実施の形態では、変調器を透過する光の回折による影響を低減する。第７の実施の形態に係る撮像装置は、図２に示した撮像装置１０と同様の構成を有するが、画像処理部１３の機能が一部異なる。以下では、第１の実施の形態と異なる部分について説明する。

フレネルゾーンプレートは、端にいくほどパターンのピッチ「ｐ（ｒ）」が狭くなっており、回折の影響が大きくなる。この影響により、変調器１１を透過する投影像は、ボケて画像センサに投影されることになる。このボケた画像データを、例えば、第１の実施の形態で説明した方法により現像した場合、相関関数が拡がり、分解能が低下することになる。

図３７は、相関関数の拡がりを説明する図である。図３７の横軸はＬａｇを示し、縦軸はＡＣＦを示している。図３７の点線で示すグラフは、図３３（ｄ）の「Ｚ４＝６４」の場合の相関関数の結果を示している。

ここで、この回折によって広がったピッチは、次の式（３０）で示される。

「ｄ」は、例えば、図３に示した基板１１ｂの厚さ、「ｎ」は基板１１ｂの屈折率、「λ」は入射光波長を表す。このように回折される量は「ｄ，ｎ，λ」といったパラメータに基づいて予め推定することが可能である。従って、画像処理部１３は、この回折を考慮した現像用パターンデータを生成すれば回折による影響を補償することができる。例えば、画像処理部１３は、変調器１１の厚さと、変調器１１の屈折率と、撮影対象の波長とに基づいて、変調器１１が有するパターンが画像センサ１２に投影される際の回析像を推定し、推定した回析像から、現像用パターンデータを生成する。

図３７の一点鎖線は、回折を考慮した現像用パターンデータによる相関関数を示している。図３７の一点鎖線に示すように、分解能が向上していることが分かる。

撮像装置１０の動作例について説明する。以下では、相互相関演算として、フーリエ変換を用いた場合の動作例について説明する。

図３８は、第７の実施の形態に係る撮像装置１０の動作例を示したフローチャートである。撮像装置１０は、例えば、携帯端末１のシャッタボタンがユーザによって押下されたときに、図３８に示すフローチャートの処理を開始する。

まず、画像処理部１３は、画像センサ１２が撮影した画像データを取得する（ステップＳ４１）。

次に、画像処理部１３は、ステップＳ４１にて取得した画像データをフーリエ変換する（ステップＳ４２）。

次に、画像処理部１３は、画像センサ１２に投影された投影像の回析量を推定する（ステップＳ４３）。例えば、画像処理部１３は、変調器１１の厚さと、変調器１１の屈折率と、撮影対象の波長とに基づいて、回折量を推定する。

次に、画像処理部１３は、ステップＳ４３にて推定した回折量に基づいて、現像用パターンデータを生成する（ステップＳ４４）。すなわち、画像処理部４３は、画像センサ１２に投影された投影像の回折を補償するための現像用パターンデータを生成する。

次に、画像処理部１３は、ステップＳ４４にて生成した現像用パターンデータをフーリエ変換する（ステップＳ４５）。

ステップＳ４６〜ステップＳ５１の処理は、図１７で説明したステップＳ１４〜ステップＳ１９と同様であり、その説明を省略する。

上記では、画像処理部４３は、現像用パターンデータを生成するとしたが、予め現像用パターンデータを生成し、その現像用パターンデータをフーリエ変換したデータを記憶装置に記憶してもよい。この場合、図３８のステップＳ４３〜Ｓ４５の処理は不要となる。そして、画像処理部４３は、記憶装置に記憶されているフーリエ変換された現像用パターンデータを読み出せばよい。

以上説明したように、現像用パターンデータは、変調器１１の厚さと、変調器１１の屈折率と、撮影対象の波長とに基づいて、変調器１１が有するパターン１１ａが画像センサ１２に投影される際の回析像を推定し、推定した回析像から作成される。これにより、撮像装置１０は、回折による画質低下を抑制することができる。

なお、上記では、回折したパターンを算出するのに式（３０）を例に説明したが、より厳密に行うには、フレネル回折の式による回折像算出、平面波展開法による波面推定、ＦＤＴＤ（Finite-difference Time-Domain）法による電磁波解析などを用いることが可能である。なお、これらの演算は一般的に時間がかかるため事前に計算しておき、計算した結果をフーリエ変換して記憶装置に格納しておいて、適宜読み出すなどすることで高速化、回路規模低減が可能となる。

また、式（３０）からも分かるように、回折量はその波長に依存する。よって、画像センサ１２がカラーセンサである場合には、ＲＧＢ毎に処理を分け、各色の波長毎に回折したパターンを算出し、ＲＧＢ毎の現像用パターンデータを生成してもよい。これにより、色収差のない現像画像を得ることができる。

また、以上の説明は、フレネルゾーンプレートやガボールゾーンプレートを例に説明したが、ランダムパターンなどについても同様に適用することができる。

［第８の実施の形態］
上記の第７の実施の形態では、現像用パターンデータのパターンにより、変調器を透過する光の回折の影響を低減した。第８の実施の形態では、変調器に形成されるパターンおよび現像用パターンデータのパターンによって、光の回折の影響を低減する。第８の実施の形態に係る撮像装置は、図２に示した撮像装置１０と同様の構成を有するが、変調器１１および画像処理部１３の機能が一部異なる。以下では、第１の実施の形態と異なる部分について説明する。

図３５に示したランダムパターンは、図３５（ａ）よりも図３５（ｄ）の方のピッチが大きく、回折の影響を受けにくい。しかし、図３６に示したように、ピッチの大きなパターンの相関関数は拡がり、現像画像の分解能が低下する。そこで、これらを両立させるため、２次元ＲＬＬ（Run-Length Limited）変調を適用したパターンを、変調器１１のパターン１１ａおよび現像用パターンデータに用いる方法について述べる。

２次元ＲＬＬ変調は、１方向に対する透過／非透過ピクセルの最小連続数をＫ（Ｋ≧２、Ｋ：自然数）、それと直交する方向に対する透過／非透過ピクセルの最小連続数をＬ（Ｌ≧２、Ｌ：自然数）と制約をかける変調方式である。

図３９は、第８の実施の形態に係るＲＬＬパターンの一部を示した図である。図３９（ａ）は最小連続数が１ピクセル、図３９（ｂ）は２ピクセル、図３９（ｃ）は４ピクセル、図３９（ｄ）は８ピクセルのＲＬＬパターンが示してある。図３５に示したランダムパターンとの違いは、例えば、図３５（ｂ）のランダムパターンは、「２，４，６，８，…」と偶数パターンしか存在していないのに対し、図３９（ｂ）のＲＬＬパターンは、「２，３，４，５，６，７，８，…」と１以外のパターンが存在し得る。従って、相関関数に違いが出る。

図４０は、図３９のＲＬＬパターンの自己相関関数を示した図である。図３６の横軸はＬａｇを示し、縦軸はＡＣＦを示している。

図４０に示す実線のグラフは、図３５（ｄ）に示したランダムパターンのＡＦＣを示している。図４０に示す点線のグラフは、図３９（ｄ）に示したＲＬＬパターンのＡＦＣを示している。図４０に示すように、２次元ＲＬＬパターンのＡＣＦメインローブの半値幅が僅かながら小さくなっており、回折の影響を低減できていることが確認できる。

以上説明したように、変調器１１が有するパターン１１ａおよび現像用パターンデータのパターンに、２次元ＲＬＬ変調を適用する。これにより、撮像装置１０は、回折による画質低下を抑制することができる。

［第９の実施の形態］
第９の実施の形態では、２次元方向の撮像ではなく、１次元方向に限定した撮像について説明する。

図４１は、第９の実施の形態に係るパターン例を示した図である。変調器に形成されるパターンおよび現像用パターンデータのパターンは、図４１に示すように、１次元方向のパターンとする。このように、垂直方向に同一パターンが連続するパターンを使用することによって、撮像装置は、水平方向のみの画像の復元を行う。

図４２は、図４１のパターンを用いた撮像装置の例を示した図のその１である。図４２に示すように、撮像装置６０は、変調器６１と、ラインセンサ６２とを有している。

変調器６１の表面には、図４１で説明した１次元方向のパターン６１ａが形成されている。光は、変調器６１により変調される。

ラインセンサ６２は、撮影した画像データを画像処理部（図示せず）に出力する。画像処理部は、例えば、第１の実施の形態における画像処理部１３と同様の機能を有するが、１次元において現像するところが異なる。

１次元のラインセンサ６２を用いることでセンサコストを抑制し、さらにフーリエ変換を１次元のみで実施することにより高速化、回路規模の低減が可能となる。

図４３は、図４１のパターンを用いた撮像装置の例を示した図のその２である。図４３に示すように、撮像装置７０は、変調器７１と、シリンドリカルレンズ７２と、ラインセンサ７３とを有している。

変調器７１の表面には、図４１で説明した１次元方向のパターン７１ａが形成されている。光は、変調器７１により変調される。

シリンドリカルレンズ７２は、その焦点位置がラインセンサ７３上となるように配置されている。

ラインセンサ７３は、図４２のラインセンサ６２と同様であり、その説明を省略する。

図４３の構成によれば、図４２よりも多くの光を検出することができるため、現像画像のＳＮＲを向上することができる。

図４４は、図４１のパターンを用いた撮像装置の例を示した図のその３である。図４４に示すように、撮像装置８０は、変調器８１と、画像センサ８２と、垂直方向加算部８３とを有している。

変調器８１の表面には、図４１で説明した１次元方向のパターン８１ａが形成されている。光は、変調器８１により変調される。

垂直方向加算部８３は、２次元の画像センサ８２から出力される画像データの、垂直方向の輝度を加算する。輝度が加算された画像データは、画像処理部（図示せず）に出力される。

図４４の構成によれば、図４３のようにシリンドリカルレンズ７２を用いなくても、多くの光を検出することができるため、現像画像のＳＮＲを向上することができる。

以上説明したように、変調器が有するパターンおよび現像用パターンデータのパターンに、１方向に同じ透過率が連続したパターンを適用してもよい。これにより、撮像装置は、１次元の撮像ができる。

また、撮像装置は、１次元の撮像に限定することにより、処理の高速化や回路規模の低減を図ることができる。

なお、上記では、水平方向に特化した構成について説明したが、水平方向に同一パターンが連続する格子パターンを使用することによって、垂直方向のみの検出を可能としたり、任意の角度方向の検出を行ったりすることもできる。

また、例えば、図４２の構成を回転させるなどして、パターンの角度を時間的に変化させることにより、１次元センサで２次元の像を得ることも可能である。

また、図４１では、フレネルゾーンプレートの例を示したが、ランダムパターンやＲＬＬパターンなどのパターンも適用することができる。

以上で説明した本発明は、上記の実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施の形態の構成の一部を、他の実施の形態の構成に置き換えることが可能である。また、ある実施の形態の構成に、他の実施の形態の構成を加えることも可能である。

また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…携帯端末、２…被写体、１０…撮像装置、１１…変調器、１２…画像センサ、１３…画像処理部、１１ａ…パターン、１１ｂ…基板、１２ａ…画素、３０…撮像装置、３１…画像記憶装置、３２…画像処理部、３３…フォーカス設定部、４０…撮像装置、４１…変調器、４２…変調制御部、４３…画像処理部、５０…撮像装置、５１…変調器、５２…画像分割部、５３…画像処理部、６０，７０，８０…撮像装置。

Claims (16)

1. 第１のパターンを有し、光の強度を変調する変調器と、
   前記変調器を透過した光を画像データに変換して出力する画像センサと、
   前記画像データと、第２のパターンを示すパターンデータとの相互相関演算に基づいて像を復元する画像処理部と、
   を有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記第２のパターンは、前記第１のパターンと同様のパターンを有する、
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記相互相関演算は、前記画像データと、前記パターンデータとの畳み込み演算に基づく、
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記相互相関演算は、前記画像データのフーリエ変換と、前記パターンデータのフーリエ変換との乗算演算に基づく、
   ことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置であって、
   前記パターンデータを拡大および縮小するフォーカス設定部、
   をさらに有することを特徴とする撮像装置。
6. 請求項１に記載の撮像装置であって、
   前記変調器の初期位相が異なる複数のパターンを時分割で切替える変調制御部、をさらに有し、
   前記画像処理部は、前記変調制御部の初期位相の切替えに応じて、前記パターンデータの初期位相を変更する、
   ことを特徴とする撮像装置。
7. 請求項１に記載の撮像装置であって、
   前記変調器は、初期位相が異なる複数のパターンを有し、
   前記画像処理部は、前記複数のパターンに対応する異なる初期位相の前記パターンデータを有する、
   ことを特徴とする撮像装置。
8. 請求項１に記載の撮像装置であって、
   前記第１のパターンおよび前記第２のパターンは、ランダムなパターンである、
   ことを特徴とする撮像装置。
9. 請求項１に記載の撮像装置であって、
   前記第１のパターンおよび前記第２のパターンは、自己相関関数が単一のピークを有する、
   ことを特徴とする撮像装置。
10. 請求項１に記載の撮像装置であって、
    前記第１のパターンおよび前記第２のパターンは、スペックルに基づいたパターンである、
    ことを特徴とする撮像装置。
11. 請求項１に記載の撮像装置であって、
    前記パターンデータは、前記変調器の厚さと、前記変調器の屈折率と、撮影対象の波長とに基づいて、前記変調器が有するパターンが前記画像センサに投影される際の回析像を推定し、推定した回析像から作成される、
    ことを特徴とする撮像装置。
12. 請求項１に記載の撮像装置であって、
    前記第１のパターンおよび前記第２のパターンは、２次元ＲＬＬ（Run-Length Limited）変調を適用したパターンである、
    ことを特徴とする撮像装置。
13. 請求項１に記載の撮像装置であって、
    前記第１のパターンおよび前記第２のパターンは、１方向に同じ透過率が連続したパターンである、
    ことを特徴とする撮像装置。
14. 請求項１に記載の撮像装置であって、
    前記第１のパターンおよび前記第２のパターンは、同心円状のパターンである、
    ことを特徴とする撮像装置。
15. 請求項１４に記載の撮像装置であって、
    前記同心円状のパターンは、中心から離れるほど間隔が狭くなる、
    ことを特徴とする撮像装置。
16. 第１のパターンを有し、光の強度を変調する変調器を透過した光を画像データに変換して出力するステップと、
    前記画像データと、第２のパターンを示すパターンデータとの相互相関演算に基づいて像を復元するステップと、
    を有することを特徴とする撮像方法。

Images