JP7065761B2 - 距離計測装置および距離計測方法 - Google Patents

Description

本発明は、距離計測装置および距離計測方法に関する。

特許文献１には、撮影後のフォーカス調整（リフォーカス）、オートフォーカス、測距等を行う高機能な撮像装置を実現するための構成として、「撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第１の格子パターンを有し、前記信号処理部は、前記画像センサから出力される画像信号を、複数の同心円から構成される第２の格子パターンで変調することでモアレ縞画像を生成する」ことを特徴とする撮像装置が開示されている。

国際公開第２０１７／１４９６８７号

特許文献１に記載の撮像装置では、距離計測を行うため、撮像結果のコントラストの高低を基に距離情報を抽出している。しかし、当該発明の撮像装置の構成では、正確な距離情報を生成することが困難である。

本発明は、このような状況に鑑みてなされたものであり、撮像装置等の距離計測演算において、正確な距離情報を生成できるようにすることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る距離計測装置は、光を電気信号に変換し、センサ画像を生成する画像センサと、撮影用パターンに基づいて上記画像センサ上に投影される光の強度を変調する変調器と、上記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像生成部と、上記複素センサ画像の位相情報を基に評価指標配列を生成する評価指標配列生成部と、上記評価指標配列を用いて距離情報を生成する距離情報生成部と、を有し、上記評価指標配列生成部は、ピント距離に応じた複数の互いに異なる現像用パターンを含む評価用パターンを生成し、上記複素センサ画像と複数の上記現像用パターンとの相互相関演算を行って複数の現像画像を生成し、上記複数の現像画像をピント距離が近い順に積層させることで平面および奥行き方向を有する三次元の複素情報配列を生成し、上記複素情報配列について上記三次元の少なくとも一つの方向に所定の範囲で平滑化して二次元配列を複数生成し、該二次元配列を上記積層方向に積層させた三次元配列を上記評価指標配列とすることを特徴とする。

本発明によれば、正確な距離情報を生成することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る第１の実施形態である距離計測装置の構成例を示すブロック図である。 撮像部の構成例を示す図である。 撮像部の他の構成例を示す図である。 撮影用パターンまたは現像用パターンの一例を示す図である。 撮影用パターンまたは現像用パターンの一例を示す図である。 斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じさせることを説明するための図である。 撮影用パターンの一例の投影像を示す図である。 現像用パターンの一例を示す図である。 相関現像方式による現像画像の一例を示す図である。 フリンジスキャンにおける初期位相の組合せの例を示す図である。 撮影用パターンの一例を示す図である。 時分割フリンジスキャンの場合の距離計測装置の構成例を示す図である。 空間分割フリンジスキャンの場合の距離計測装置の構成例を示す図である。 物体が無限距離にある場合に撮影用パターンが投影されることを示す図である。 物体が有限距離にある場合に撮影用パターンが拡大されることを示す図である。 複素センサ画像の生成方法を示す図である。 複素センサ画像の例を示す図である。 評価用パターンの例を示す図である。 距離計測の一例を示す図である。 評価指標配列の例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。 距離計測処理の一例を説明するフローチャートである。 評価指標配列をサンプリングする様子の一例を示す図である。 距離情報をデータ変換した距離画像の一例を示す図である。 複素センサ画像生成方法の一例を示す図である。 本発明に係る第２の実施形態である距離計測装置の構成例を示すブロック図である。 複素情報配列の虚部絶対値とサンプリング点の様子の一例を示す図である。 複素情報配列の虚部絶対値とサンプリング点の様子の一例を示す図である。 複素情報配列の虚部絶対値とサンプリング点の様子の一例を示す図である。 複素センサ画像と評価用パターンの相互相関演算結果の位相角をピッチ係数β’に対してプロットした結果の一例を示す図である。 評価指標配列生成部の構成の一例を示すブロック図である。 複素情報配列の生成方法の一例を示す図である。 評価指標配列変換部の構成の一例を示す図である。 モアレ現像方式によるモアレ縞の一例を示す図である。 撮影用パターンおよび評価指標配列生成用パターンの一例を示す図である。 撮影用パターンおよび評価指標配列生成用パターンの一例を示す図である。 液晶表示素子における透明電極の一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。 評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。 平滑化パターン生成の様子の一例を示す図である。 平滑化されていない評価用パターンを用いた場合の複素情報配列の一例を示す図である。 平滑化パターンを用いた場合の複素情報配列の一例を示す図である。 加重平滑化パターン生成の様子の一例を示す図である。 加重平滑化パターン生成の重み付けの一例を示す図である。 距離計測ソフトウェアのユーザーインターフェースの一例を示す図である。 奥行き方向の平滑化パターン生成の一例を示す図である。 奥行き方向の平滑化パターン生成の一例を示す図である。 奥行き方向の平滑化パターン生成の一例を示す図である。 奥行き方向の平滑化パターン生成の一例を示す図である。 奥行き方向の平滑化パターン生成の一例を示す図である。 複素現像画像のプロファイルを示す図である。 平滑化カーネルの一例を示す図である。 平滑化カーネルのカーネル幅の一例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 複素現像画像のプロファイルを微分した一例を示す図である。 複素微分パターン生成の一例を示す図である。 面内平滑化による距離計測処理の一例を説明するフローチャートである。 微分平滑化パターン生成の一例を示す図である。 距離計測処理の一例を説明するフローチャートである。 微分パターンの他の例を示す図である。

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、各実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。また、各実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

以下、本発明の実施例について図面を用いて説明する。

＜第一の実施の形態＞
＜無限遠物体の撮影原理＞
図１は、本発明に係る第一の実施の形態である距離計測装置１０１の構成例を示している。

距離計測装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図１に示すように、撮像部１０２、画像処理部１０６、コントローラ１０７、および距離計測変数設定部１１１から構成されている。

画像処理部１０６は、複素センサ画像生成部１０８、評価指標配列生成部１０９、及び距離情報生成部１１０を有する。

図２は、撮像部の構成例を示す図である。撮像部１０２は、画像センサ１０３、パターン基板１０４、撮影用パターン１０５から構成されている。

パターン基板１０４は、その一方の平面が画像センサ１０３の受光面に密着して固定されており、他方の平面には撮影用パターン１０５が形成されている。パターン基板１０４は、例えばガラスやプラスティックなどの可視光に対して透明な材料からなる。

撮影用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。

なお、撮影用パターン１０５の形成はこれに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。また、ここでは可視光を例に説明したが、例えば遠赤外線の撮影を行う際には、パターン基板１０４は例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料を用い、撮影用パターン１０５は遮断する材料を用いればよい。

なお、ここでは撮影用パターン１０５をパターン基板１０４に形成する方法について述べたが、図３に示すように形成してもよい。

図３は、撮像部の他の構成例を示す図である。撮像部１０２は、撮影用パターン１０５を薄膜に形成し、支持部材３０１により保持されている。なお、距離計測装置１０１において、撮影画角はパターン基板１０４の厚さによって変更可能である。よって、例えばパターン基板１０４が図３の構成であり支持部材３０１の長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。

画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。この画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号は、画像処理部である画像処理部１０６によって画像処理されて出力される。

以上の構成において、撮影する場合には、撮影用パターン１０５を透過する光は、そのパターンによって光強度が変調され、透過した光は画像センサ１０３にて受光される。画像センサ１０３から出力された画像信号は、画像処理部１０６によって画像処理されたデータがコントローラ１０７に出力される。コントローラ１０７は、画像処理部１０６の出力をホストコンピュータや外部記録媒体に出力する場合には、ＵＳＢ等のインターフェイスに適合するようデータ形式を変換し出力する。

続いて、距離計測装置１０１における画像撮影原理について説明する。まず、撮影用パターン１０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンである。ここで、撮影用パターン１０５を、同心円の中心である基準座標からの半径ｒ、ピッチ係数βを用いて、次式（１）のように定義する。

撮影用パターン１０５は、式（１）に比例して透過率変調されているものとする。

撮影用パターン１０５のような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図４に式（１）のガボールゾーンプレート、図５に式（１）を閾値１で２値化したフレネルゾーンプレートの例を示す。

なお、ここより以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。

撮影用パターン１０５が形成された厚さｄのパターン基板１０４に、図６に示すようにｘ軸方向に角度θ_０で平行光が入射したとする。パターン基板１０４中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ１０３に入射する。このとき、次式（２）に示されるような強度分布を持つ当映像が画像センサ１０３上で検出される。

なお、Φは式（１）の透過率分布の初期位相を示す。この撮影用パターン１０５の投影像は式（２）のようにｋシフトして投影される。これが撮像部１０２の出力となる。

撮影した画像の現像では、撮影用パターン１０５の投影像（図７）と現像用パターン８０１（図８）との相互相関関数を演算することにより、シフト量ｋの輝点（図９）を得る。

なお、一般的に相互相関演算を２次元畳込み演算で行うと演算量が大きくなってしまうので、演算量が少ないフーリエ変換を用いて演算する例について、数式を用いて原理を説明する。

まず、現像用パターン８０１は、撮影用パターン１０５と同様にガボールゾーンプレートやフレネルゾーンプレートを用いるため、現像用パターン８０１は、初期位相Φを用いて、次式（３）のように表すことができる。

現像用パターン８０１は、画像処理部１０６による画像処理で使用されるため、式（１）のように１でオフセットさせる必要はなく、負の値を有していても問題ない。

式（２）、（３）のフーリエ変換は、それぞれ次式（４）、（５）のようになる。

ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。式（４）、（５）で重要なことは、フーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、式（４）、（５）に基づいてフーリエ変換後の現像用パターンを直接的に生成してもよい。これにより演算量を低減することが可能である。

次に、式（４）と式（５）を乗算して次式（６）を得る。

式（６）における指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、次式（７）のように変換され、元のｘ軸においてｋの位置に輝点を得ることができる。

この輝点が無限遠の光束を示しており、距離計測装置１０１による撮影像となる。

なお、相関現像方式では、パターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。

〈ノイズキャンセル〉
ところで、上述した式（６）から式（７）への変換については、信号成分に着目して説明したが、実際には信号成分以外の項が現像を阻害してノイズを生じさせてしまう。そこで、フリンジスキャンに基づくノイズキャンセルを行う。具体的には、三角関数の直交性を利用して、次式（８）に示されるように、式（６）の乗算結果を初期位相Φに関して積分すると、ノイズ項がキャンセルされて、信号項の定数倍だけを残すことができる。

なお、式（８）は積分の形で示しているが、実際には、図１０に示す複数種類（同図の場合４種類）の初期位相Φ（Φ＝０，Φ＝π／２，Φ＝π，Φ＝３π／２）の組合せの総和を計算することによっても同様の効果が得られる。この組合せのように、位相Φは、０～２πの間の角度を等分するように設定すればよい。

以上で説明したフリンジスキャンでは、撮影用パターン１０５として初期位相Φが異なる複数のパターンを使用する必要がある。これを実現するには時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。

時分割でパターンを切り替えてフリンジスキャンを実現する場合の距離計測装置１０１の構成を図１２に示す。撮影用パターン１２０１としては、図１０に示された複数の初期位相Φを電気的に切り替えて表示することが可能な液晶表示素子などを用いればよい。この液晶表示素子の切替タイミングと画像センサ１０３のシャッタタイミングを変調器制御部１２０２で同期して制御し、４枚の画像を取得後、フリンジスキャン演算を実施する。

なお、液晶表示素子を用いてフリンジスキャンを行う場合、液晶表示素子を駆動する電極は、例えば図４２に示すように構成すればよい。該電極は、撮影用パターン１０５の１周期を４分割するように同心円状透明電極が構成されており、内側から４本おきに外側の電極と結線されて、最終的に端子部４２０１では電極の駆動端子として４本の電極が出力されている。なお、撮影用パターン１０５の１周期は図４で示した撮影用パターンの白い円環と隣り合う黒い円環（もしくは黒い円）の一セット分にあたる。これらに所定の電圧を印加して実際に初期位相を可変するには、４つの電極に印加する電圧状態を“０”と“１”の２つの状態で時間的に切り替え、図４３に示す初期位相Φ＝０の状態、図４４に示す初期位相Φ＝π／２の状態、図４５に示す初期位相Φ＝πの状態、図４６に示す初期位相Φ＝３π／２の状態を表示し、液晶表示素子における光透過率を変化させることで実現している。

対して、空間分割でパターンを切り替えてフリンジスキャンを実現する場合の距離計測装置１０１の構成を図１３に示す。撮影用パターン１３０１としては、図１１に示す複数の初期位相を有する撮影用パターン１３０１を使用すればよい。そして、１枚の画像を取得後、画像分割部１３０２においてそれぞれの初期位相のパターンに対応して４枚に分割した後、フリンジスキャン演算を実施する。

＜距離計測原理＞
図１４は、これまで述べた被写体が遠い場合（物体が無限距離にある場合）における撮影用パターン１０５の画像センサ１０３への射影の様子を示している。遠方の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン１０５を照射し、その投影像１４０２が画像センサ１０３に投影される場合、投影像は撮影用パターン１０５とほぼ同じ形状となる。よって、投影像１４０２に対して、現像用パターン８０１を用いて現像処理を行うことにより、単一の輝点を得ることが可能である。続けて、有限距離の物体に対する撮像について説明する。

図１５は、撮像する物体が有限距離にある場合に、撮影用パターン１０５の画像センサ１０３への射影が撮影用パターン１０５より拡大されることを示す図である。物体を構成する点１５０１からの球面波が撮影用パターン１０５を照射し、その投影像１５０２が画像センサ１０３に投影される場合、投影像はほぼ一様に拡大される。なお、投影像と撮影用パターンのサイズ比αは、撮影用パターン１０５から点１５０１までの距離ｆを用いて、次式（９）のように算出できる。

そのため、平行光に対して設計された現像用パターン８０１をそのまま用いて現像処理したのでは、ピントの合った画像が現像できない。そこで、一様に拡大された撮影用パターン１０５の投影像に合わせて、現像用パターン８０１に次式（１０）に示すピッチ係数β’を乗算して拡大させれば、ピントの合った画像の現像が可能となる。

したがって、現像時にピントの合った画像が再生できる現像用パターン８０１の拡大率α^２を求めることで、撮影対象までの距離を計測することが可能となる。

通常のカメラで撮影した画像のピントのボケを基に距離計測を行うレンズ焦点法では、主に画像のコントラストが高くなるピント位置を算出することで距離情報を抽出するが、距離計測装置１０１では、点広がり関数が通常のカメラのようなガウス関数型形状でなく、正負に振動するＳｉｎｃ関数型の形状をしている。このため、単純に画像のコントラストを基に距離情報を抽出する方法では、抽出した距離情報に含まれる誤差が大きくなり、高精度な距離計測が出来ない。

そこで、距離計測装置１０１では、現像画像のコントラストとは異なる評価指標を用いてピントの合う現像用パターン８０１の拡大率α^２を求め、その拡大率α^２を基に距離情報を抽出するようにする。

以上のように構成される距離計測装置１０１による距離計測方法を説明する。距離計測装置１０１では、画像センサ１０３で生成したセンサ画像（画像信号）を画像処理部１０６に供給し、所定の画像処理によって距離情報を生成する。なお、図１２に示した時分割フリンジスキャンを行う場合の構成では、変調器制御部１２０２で撮影用パターン１２０１に、図１０に示された複数の初期位相Φを切り替えて表示して４枚の画像を撮影し、画像処理部１０６に４枚のセンサ画像を供給する。

一方、図１３に示した空間分割フリンジスキャンを行う場合の構成では、画像分割部１３０２で、１枚のセンサ画像を４つの領域に分割して、図１０に示された複数の初期位相Φで撮影したセンサ画像を生成した後に画像処理部１０６へとセンサ画像を供給する。

画像処理部１０６は、複素センサ画像生成部１０８、評価指標配列生成部１０９、及び距離情報生成部１１０が順次、所定の処理を実施する。すなわち、複素センサ画像生成部１０８は、画像センサ１０３の出力であるセンサ画像１６０１に基づいて、複素センサ画像１６０２を生成する。

図１６は、複素センサ画像の生成方法を示す図である。ここで、４つのセンサ画像をＩ_Ｓ１、Ｉ_Ｓ２、Ｉ_Ｓ３、Ｉ_Ｓ４、各センサ画像に対応した撮影用パターン１０５の初期位相をΦ_１、Φ_２、Φ_３、Φ_４、とする。たとえば、図１０や図１１に示した撮影用パターンを使用する場合は、Φ_１＝０、Φ_２＝π／２、Φ_３＝π、Φ_４＝３π／２としうる。複素センサ画像生成部１０８は、画像センサ１０３の出力である４つのセンサ画像１６０１に基づいて、複素センサ画像１６０２を生成する。そして、次式（１１）に示すように、各センサ画像にそれぞれｅｘｐ（ｉΦ_１）、ｅｘｐ（ｉΦ_２）、ｅｘｐ（ｉΦ_３）、ｅｘｐ（ｉΦ_４）を乗算した結果を加算することで複素センサ画像１６０２を生成する。

次に、評価指標配列生成部１０９は、複素センサ画像生成部１０８の出力である複素センサ画像１６０２に基づいて、評価指標配列１６０３を生成する。評価指標配列１６０３の生成方法について、図１７、図１８、図２０～２５、図３６、図３７を参照して説明する。

図１７は、複素センサ画像の例を示す図である。被写体が点光源であった場合、複素センサ画像１６０２は、実部と虚部からなる情報となる。

拡大率α^２で撮影用パターン１０５を拡大した場合のピッチ係数をβ’とした場合、評価指標配列生成部１０９では、図１８に示すようにβ’を変化させながら（β’＞β０，β’＝β０，β’＜β０）評価指標配列生成用パターン１８０１と、複素センサ画像１６０２との相互相関演算を行う。図２１乃至図２５は、その相互相関演算結果の例を示している。

図３６は、評価指標配列生成部の構成の一例を示すブロック図である。評価指標配列生成部１０９は、評価用パターン生成部３６０１と、評価用パターン格納部３６０２と、相互相関演算部３６０３と、評価指標配列変換部３６０４と、を含む。

評価用パターン生成部３６０１は、評価用に、異なるピッチ係数β’の現像用パターン８０１を複数枚生成する。この評価用の複数の現像用パターンは、評価指標配列生成用パターン（以後、評価用パターンと称呼することもある）１８０１である。なお、評価用パターン生成部３６０１は、距離計測変数設定部１１１からの入力を用いて、現像用パターン８０１のピッチ係数β’を決定する。

評価用パターン生成部３６０１は、生成された評価用パターン１８０１を評価用パターン格納部３６０２に格納する。評価用パターン格納部３６０２は、読み書き可能な記憶領域であり、例えば不揮発性記憶素子により実現されうる。

相互相関演算部３６０３は、複素センサ画像生成部１０８から入力された複素センサ画像１６０２が入力される都度、評価用パターン格納部３６０２から評価用パターン１８０１を読み込む。

図３７は、複素情報配列の生成方法の一例を示す図である。相互相関演算部３６０３は、図３７に示すように、複素センサ画像１６０２ごとに、評価用パターン１８０１内のすべてのパターンとの相互相関演算を行い、複素現像画像を生成し、複素現像画像の配列である複素情報配列３７０１を生成する。

たとえば、評価用パターン１８０１がＮ（Ｎは自然数）枚のパターン（ピッチ係数がそれぞれβ’_１、β’_２、・・・、β’_Ｎ）からなる場合、相互相関演算部３６０３は一つの複素センサ画像１６０２に対してＮ枚の評価用パターン１８０１との相互相関演算を都合Ｎ回行い、Ｎ枚の複素現像画像を生成する。相互相関演算部３６０３は、Ｎ枚の複素現像画像を奥行き方向（距離計測装置１０１からみた被写体１９０１の方向の延長上にて距離計測装置１０１からのピント距離が近い順に積層させた積層方向）にスタック（積層）した３次元の複素情報配列３７０１として出力する。

評価指標配列変換部３６０４は、複素情報配列３７０１を用いて、距離計測の評価指標として使用される評価指標配列１６０３を生成し出力する。評価指標配列１６０３は、図２０にその例が示されている。

図２０は、評価指標配列の例を示す図である。評価指標配列１６０３は、奥行き方向の情報に応じて２次元の画像情報の評価配列を有する、３次元配列である。

図１８に示すように、評価用パターン生成部３６０１が生成する異なるピッチ係数β’の現像用パターン８０１に関して、ピッチ係数β_０は、センサ画像１６０１に投影された撮影用パターン投影像の係数である。図２１乃至図２５に示された相互相関演算の結果で注目すべきは、ピッチ係数β’がピッチ係数β_０と一致する場合には、破線で示した相互相関演算結果の虚数成分がゼロになり、ピッチ係数の差が増加するにつれて虚数成分の振幅が増加する点である。よって、この虚数成分がゼロとなるピッチ係数β’を探索することが、後述する距離情報生成部１１０における処理となる。

そこで、評価指標配列変換部３６０４では、複素情報配列３７０１の虚部絶対値を評価指標配列１６０３に格納、出力する。なお、複素情報配列３７０１内の各複素現像画像の画素数がＬ×Ｍであるとすると、図２０に示す通り、評価指標配列１６０３はＮ枚のＬ×Ｍの２次元配列から構成される３次元配列となる。

最後に、距離情報生成部１１０は、評価指標配列変換部３６０４の出力である評価指標配列１６０３に基づいて距離情報２９０１を生成する。前述したように評価指標配列１６０３はピッチ係数β’がピッチ係数β_０と一致する場合にゼロとなるが、一般の被写体の場合にはゼロにはならないことがある。

図２６は、評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。いいかえると、図２６は、評価指標配列１６０３のある要素における、ピッチ係数β’依存性を示している。

図２６は、図２０に示されたＮ枚のＬ×Ｍ配列の中から、それぞれ(ｌ、ｍ)番目の配列要素２００１、２００２、２００３を抜き出し、これらＮ個の配列要素をプロットすることで作成する。

図２６から、周囲の要素の影響により、評価指標配列１６０３の配列要素はゼロにならないが、β’＝β_０となる条件で最小値を示すことを読み取ることができる。このように、評価指標配列１６０３の配列要素が最小値となる点のβ’から、式（１０）を満たす拡大率α^２が求まり、式（９）から被写体１９０１までの距離ｆを算出することが出来る。

コントローラ１０７は、距離情報生成部１１０の出力である距離情報２９０１を用途に応じたデータ変換を行なって出力する。例えば、図１９に示すように、被写体１９０１を撮影したセンサ画像を基に距離情報２９０１を生成し、ディスプレイに距離画像を表示する場合、図２９のような距離画像にデータ変換して出力する。この場合、図２９の距離画像のうち、被写体１９０１に対応する領域２９０２の距離情報は被写体までの距離ｆとして出力される。なお、図２９に示したように、コントローラ１０７は出力する距離画像として、距離情報２９０１と撮影対象を撮影した通常画像をオーバーラップしたものを出力してもよい。また、距離情報２９０１を機械装置の制御に用いる場合は、距離情報２９０１から目的とする制御量を達成するための操作量を算出し、算出した操作量を出力してもよい。また、ユーザーインターフェースを介して距離計測変数を距離計測変数設定部１１１に入力し、その入力変数に応じてコントローラ１０７から出力されるデータのデータ形式を変更しても良い。

図２７は、距離計測処理の一例を説明するフローチャートである。距離計測処理が開始されると、はじめに、ステップ２７０１において、評価用パターン生成部３６０１は、β’の異なるＮ個の現像用パターン８０１からなる評価用パターン１８０１を生成する。

次に、ステップ２７０２において、画像センサ１０３がセンサ画像１６０１を取得する。そして、ステップ２７０３において、複素センサ画像生成部１０８は、ステップ２７０２で取得したセンサ画像１６０１を基に複素センサ画像１６０２を生成する。

そして、ステップ２７０４において、相互相関演算部３６０３は、ステップ２７０３で生成された複素センサ画像１６０２と、ステップ２７０１で生成された評価用パターン１８０１と、の間で図３７のように相互相関演算を行い、複素現像画像を複数含む複素情報配列３７０１を生成する。

そして、ステップ２７０５において、評価指標配列変換部３６０４は、複素情報配列３７０１を基に評価指標配列１６０３を生成する。評価指標配列１６０３は図２０に示すような３次元配列として生成される。

そして、ステップ２７０６において、距離情報生成部１１０は、ステップ２７０５で生成された評価指標配列１６０３を基に距離情報２９０１を生成し、距離情報２９０１をコントローラ１０７に出力して、距離計測処理を終了する。

なお、図２６に曲線で示した評価指標配列１６０３の配列要素の値は、ステップ２７０１で生成した評価用パターン１８０１に含まれる現像用パターン８０１の枚数Ｎと、同数のＮ点のサンプリング点でサンプリングされるため、図２８に黒い点で示すように、β’に対して離散的に評価指標の値が求まる。ステップ２７０６では、サンプリングを行ったＮ個のβ’の中で評価指標が最小となるβ’を探索しても良い。また、図２８のデータ点数に対してカーブフィッティングや補間処理を行うことで、距離情報２９０１の精度を高めてもよい。

なお、後述の説明では、センサ画像１６０１として４枚の画像を用いたが、図３０に示すように、少なくとも２枚の画像があれば、距離計測ができる。この場合、例えば、複素センサ画像生成部１０８は、センサ画像１６０１の２枚の画像からそれぞれの画像の低周波成分３００１、３００２を除去したセンサ画像３００３を生成した後に、複素センサ画像１６０２を生成する。低周波成分３００１、低周波成分３００２の除去は、例えばセンサ画像１６０１の平均輝度をオフセット除去することで行っても良いし、センサ画像１６０１にハイパスフィルター処理を行い、低周波成分を除去することで行っても良い。

２枚のセンサ画像１６０１から距離計測を行うようにすれば、時分割フリンジスキャンの場合は、センサ画像の取得時間を短縮することが可能となり、空間分割フリンジスキャンの場合は、センサ画像の分割数を少なくすることで分割後のセンサ画像の解像度が向上し、距離情報２９０１の解像度を高めることが可能となる。

なお、３枚のセンサ画像１６０１から距離計測を行っても良いし、５枚以上の画像を用いることでノイズをより低減させるようにしても良い。

なお、低周波成分とは、センサ画像中に含まれる信号成分の空間周波数よりも低い周波数成分を指す。

また、上述した説明では、複素情報配列３７０１の虚部絶対値を最小とするピッチ係数β’を求めたが、このほかにも、例えば、評価指標配列１６０３に、複素情報配列３７０１の虚部絶対値と実部絶対値の比を距離情報２９０１生成時の指標として用いても良い。この場合、評価指標配列１６０３の配列要素が最大もしくは最小となるピッチ係数β’をもとに距離情報２９０１が生成できる。

また、複素情報配列３７０１の虚部絶対値の代わりに、複素情報配列３７０１の虚部を評価指標配列１６０３に格納しても良い。このようにすることで、評価指標配列１６０３の配列要素は正負の符号を有する値となり、一枚のＬ×Ｍ配列から、撮影対象の位置がピント位置に対して手前もしくは奥にあるなどの位置関係を判定することが可能となる。

また、評価用パターン１８０１内の現像用パターン８０１生成に用いる複数のβ’の決定方法は、ユーザーインターフェースを介して距離計測変数設定部１１１に入力された距離計測レンジと距離計測分解能を基に、評価指標配列生成部１０９がβ’を選択し、図２８で示したサンプリング点の個数、間隔を決定しても良い。

また、評価指標配列１６０３の生成では、複素センサ画像１６０２と現像用パターン８０１の相互相関演算を用いたが、複素センサ画像１６０２に対して、現像用パターン８０１を掛け合わせて図３９に示すようなモアレ縞を生成した後にモアレ縞のフーリエ変換を行うことで、評価指標配列１６０３を生成しても良い。

また、撮影用パターン１０５や現像用パターン８０１として、図４や図５に示したガボールゾーンプレートやフレネルゾーンプレートを用いる構成で説明したが、図４０に示した楕円状のパターンを、撮影用パターン１０５や現像用パターン８０１として用いても良い。このような構成とすることで、画像センサ１０３として長方形のセンサを用いた場合でも、センサの縦横方向のサイズ、解像度に対して最適なピッチのパターンで撮影できるようになり、距離情報２９０１の解像度を最適化することが出来る。なお、楕円状のパターンで時分割フリンジスキャンを行う場合は、図４２で示した同心円状の透明電極パターンを楕円状のものに置き換えればよい。

また、図４１に示すランダムパターンを撮影用パターン１０５や評価用パターン１８０１として用いても良い。このような構成とすることで、距離計測を行うための評価用パターン１８０１を秘匿化し、セキュリティを高めることが可能になる。

以上に説明した構成・方法によれば、図１に示した簡単な構成の距離計測装置１０１において、被写体の距離情報を計測することができる。

＜第二の実施の形態＞
＜非探索型測距 最小値算出型＞
図３１は、本発明に係る第二の実施形態である距離計測装置の構成例を示すブロック図である。第二の実施形態に係る距離計測装置１０１では、第一の実施形態に係る距離計測装置１０１と基本的に同一であるが、一部相違がある。具体的には、その相違は、第二の実施形態に係る距離計測装置１０１には、距離計測レンジ入力部３１０１が追加されており、評価指標配列が所定の条件を満たす評価指標配列生成用パターン１８０１のピッチ係数β’を非探索的に算出する。これにより高速に距離情報２９０１を生成するため、非探索型の距離計測を行うことができる。

第二の実施の形態に係る距離計測装置１０１では、距離計測レンジ入力部３１０１は、ユーザーが入力する距離計測レンジを受け付けて距離計測変数設定部１１１に供給する。ユーザーは、例えば距離計測レンジのうち、最近距離Ｌ_Ｎと、最遠距離Ｌ_Ｆとを指定することにより距離計測レンジを入力する。

距離計測変数設定部１１１は、最近距離Ｌ_Ｎと最遠距離Ｌ_Ｆに基づいて評価用パターン生成部３６０１で生成する評価用パターン１８０１に含まれる複数の現像用パターン８０１のピッチ係数を決定し、評価指標配列生成部１０９に出力する。

評価指標配列生成部１０９では、決定されたピッチ係数に応じて評価用パターン生成部３６０１で評価用パターン１８０１を生成し、評価用パターン格納部３６０２に格納する。相互相関演算部３６０３は入力された複素センサ画像と評価用パターン１８０１内の各現像用パターン８０１の相互相関演算により、複素情報配列３７０１を生成し出力する。評価指標配列変換部３６０４は複素情報配列３７０１を基に評価指標配列１６０３を生成し出力する。

距離情報生成部１１０は、評価指標配列生成部１０９の出力である評価指標配列１６０３を基に距離情報２９０１を生成する。

図３２は、複素情報配列３７０１の虚部絶対値とサンプリング点の様子の一例を示す図である。

距離情報生成部１１０は、サンプリング点３２０１～３２０４のみから距離情報２９０１を算出する。サンプリング点３２０１，３２０２における値は、ｆ＜Ｌ_Ｎとなるようなβ’の現像用パターン８０１と複素センサ画像１６０２の相互相関演算で生成した複素現像画像の虚部絶対値であり、サンプリング点３２０３，３２０４の値は、ｆ＞Ｌ_Ｆとなるようなβ’の現像用パターン８０１と複素センサ画像１６０２の相互相関演算で生成した複素現像画像の虚部絶対値である。

距離情報生成部１１０は、これら４点の値を基に複素現像画像の虚部絶対値が最小になるβ’を算出する。例えば、サンプリング点３２０１，３２０２を通る直線３２０５を算出するとともに、サンプリング点３２０３，３２０４を通過する直線３２０６を算出し、直線３２０５と直線３２０６の交点を算出することで、複素現像画像の虚部絶対値が最小になるβ’を導出し、距離情報２９０１を生成してもよい。

図３３は、複素情報配列の虚部絶対値とサンプリング点の様子の一例を示す図である。図３３に示すようにサンプリング点を３点に減らし、サンプリング点３３０１，３３０２を通過する直線３３０４を算出した後、直線３３０４の傾きの符号を反転させた傾きを持ち、点３３０３を通過する直線３３０５を算出し、直線３３０４と直線３３０５の交点から距離情報２９０１を生成してもよい。

図３４は、複素情報配列の虚部絶対値とサンプリング点の様子の一例を示す図である。図３４に示すように、距離計測変数設定部１１１で、Ｌ_Ｎ＜ｆ＜Ｌ_Ｆとなるような３つのβ’を選んだのち、距離情報生成部１１０で、３点の評価指標であるサンプリング点３４０１～３４０３に対して放物線３４０４でカーブフィッティングを行うことで、距離情報２９０１を生成してもよい。

以上説明したように、距離計測装置１０１は、図３２、図３３、図３４のようにサンプリング点を減らすことにより、図２８に示すような５点以上のサンプリング点による距離計測よりも精度は低下するものの、より高速に距離情報を生成することが可能となる。

なお、非探索型測距により粗い精度の距離情報を生成した後に、高精度な探索型の距離情報生成を、非探索型測距により得られた狭い距離計測レンジ内で行うことで、距離情報生成速度と精度の向上を両立させてもよい。

＜第三の実施の形態＞
＜非探索型測距 ゼロ交差算出型＞
本発明に係る第三の実施の形態である距離計測装置について説明する。第三の実施の形態である距離計測装置は、距離計測装置１０１（図１）と同様に構成されるが、評価指標配列の位相角を基に距離情報を生成する点が異なる。

非探索型測距よりもさらに少ないサンプリング点で距離情報２９０１を生成するためには、図３５に示すようなピッチ係数β’に対して線形に変化する評価指標配列を使用することが考えられる。

図３５は、複素センサ画像１６０２と評価用パターン１８０１の相互相関演算結果の位相角を、評価用パターン１８０１のピッチ係数β’に対してプロットした結果を示す図である。

たとえば、複素センサ画像１６０２と現像用パターン８０１の相互相関演算による複素現像画像の虚数成分および位相角は、β’＝β_０を中心とした一定の領域でピッチ係数β’に対して線形に変化する。

このため、評価指標配列生成部１０９において、複素センサ画像１６０２と任意の２つのβ’の現像用パターン８０１からなる評価用パターン１８０１の相互相関演算で得た複素情報配列３７０１の虚数成分もしくは位相角を評価指標配列１６０３とし、図３５に示すようにサンプリング点３５０１，３５０２の２点間を通過する直線３５０３を算出する。その後、直線３５０３がゼロと交差するβ’を算出し、距離情報２９０１を生成する。

以上のように距離情報を生成すれば、評価指標配列１６０３生成に用いるピッチ係数β’を２つにまで低減することができ、高速な距離情報生成が可能となる。

なお、距離情報生成部１１０は、評価指標配列要素の値を、ピッチ係数β’の代わりに、拡大率α^２や距離ｆに対して線形に変化する値に変換し、拡大率α^２を基に距離情報２９０１を生成して演算量を減らしてもよい。

＜第四の実施の形態＞
＜奥行き方向平滑化パターン＞
本発明に係る第四の実施の形態である距離計測装置について説明する。第四の実施の形態である距離計測装置は、距離計測装置１０１（図１）と同様に構成されるが、奥行き方向（被写体方向）の現像用パターンを重ねた平滑化パターンを用いることで、ピント位置の範囲を拡大する点において異なる。

図４７は、評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。このように、評価指標配列１６０３の配列要素の値は、ピッチ係数β’、すなわちピント位置を変更すると所定の関数を描くように変化する。なお、当該グラフでは、実線は評価指標配列１６０３として複素情報配列３７０１の虚部を用いた場合を示し、破線は複素情報配列３７０１の虚部の絶対値を用いた場合を示している。

最小値の探索を行う場合において、複素情報配列３７０１の中に、ｆ_１以下（ｆ_１より近接）もしくはｆ₂以上（ｆ_２より遠隔）の位置にピントを合わせた複素現像画像が含まれている場合は、評価指標配列１６０３の配列要素の値はｆ_１以下もしくはｆ_２以上の領域でほぼゼロになる。そのため、最小値がｆ_１以下もしくはｆ_２以上の領域で発見されると、誤った距離情報２９０１を出力してしまう可能性がある。

また、上述のゼロ交差算出型の場合には、複素情報配列３７０１に含まれる２つの複素現像画像のピント位置がｆ_３とｆ_４の間の範囲外にあると、本来の合焦位置と無関係の位置でゼロ交差してしまう。そのため、本来の被写体距離と異なる距離情報２９０１が生成されてしまう可能性がある。

これらの可能性を考慮して、本実施形態では、測距演算に使用可能なピント位置の範囲を拡大することで、より高精度な距離計測を実現する。

第四の実施形態では、評価用パターン１８０１を構成する複数の現像用パターンとして、撮影用パターンと相似形で、ピッチ係数β’が異なる複数のパターンを加算して生成した平滑化パターンを用いる。これについて、図４９を用いて説明する。

図４９は、平滑化パターン生成の様子の一例を示す図である。評価用パターン１８０１の現像用パターン８０１の実部として、撮影用パターン１０５と相似形であって、ピッチ係数β’が互いに異なる複数のパターン４９０１～４９０４を足し合わせた平滑化パターン４９０５を用いる。

また、評価用パターン１８０１の現像用パターン８０１の虚部として、撮影用パターン１０５と相似形であって、ピッチ係数β’が互いに異なる複数のパターン４９０６～４９０９を足し合わせた平滑化パターン４９１０を用いる。

なお、ここでは実部、虚部ともにそれぞれ４枚のパターンを加算して平滑化パターンを作成する例を示したが、加算するパターンの数は４に限らず、２以上であれば何枚でもよい。また、複数のパターンの加算ではなく、式（３）をβについて積分した式から直接、平滑化パターンを生成して演算効率を高めてもよい。

このような平滑化パターン４９０５、４９１０のそれぞれと、複素センサ画像１６０２との相互相関演算によって生成される複素現像画像は、図１８で示した評価用パターン１８０１を用いて生成した複素情報配列３７０１を奥行き方向に平滑化したものと同一となる。

なお、距離計測変数設定部１１１における、平滑化パターン作成に用いるβ’の決定方法としては、複数の方法が考えられ、いずれも効果を奏する。

図５５は、奥行き方向の平滑化パターン生成の一例を示す図である。図５５では、評価用パターンがＮ枚の平滑化パターンで構成される場合のβ’の選択方法の一例が示されている。図５５は、縦軸にサンプリング番号（１～Ｎ）、横軸に被写体までのフォーカス距離をとり、各サンプリング番号に一つのフォーカス距離の範囲を示す領域が設定されていることを示す。第一の領域５５０１、第二の領域５５０２、第三の領域５５０３、第四の領域５５０４は、それぞれ１、２、３、Ｎ番目のサンプリング番号に対応している。

つまり、第一の領域５５０１、第二の領域５５０２、第三の領域５５０３、第四の領域５５０４は、それぞれが、奥行き方向の平滑化パターンに含まれるフォーカス距離ｆの範囲を示す。撮影用パターンと相似形であって、ピッチ係数β’が互いに異なる複数のパターンが各領域において加算され、平滑化パターンが作成される。すなわち、各範囲は、ピント位置の範囲を示す。

図４８は、評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。以上のように奥行き方向に平滑化した評価用パターンを用いることで、最小値探索による距離計測で使用可能なピント範囲はｆ_１’～ｆ_２’に拡大され、ゼロ交差点算出による距離計測で使用可能なピント範囲もｆ_３’～ｆ_４’に拡大させることができる。また、以上のような平滑化パターンを使用することで、相互相関演算と同時に奥行き方向の平滑化が実行できるため、複素現像画像生成後に奥行き方向で平滑化する場合に比べ１フレームあたりの演算処理の負荷・時間を低減することが可能である。

ここで、点光源を撮影した場合の複素情報配列を図３７の奥行き方向に広がる面３７０２に沿って切出した場合の等高線プロットを、図５０と図５１に示す。

図５０は、平滑化されていない評価用パターンを用いた場合の複素情報配列の一例を示す図である。図５０が示すように、撮影用パターンと相似形の単一のパターンを現像用パターンとして使用すると、デフォーカスに応じた点光源の広がりは図５０のように急峻なものとなる。

図５１は、平滑化パターンを用いた場合の複素情報配列の一例を示す図である。図５１に示すように、平滑化パターンを現像用パターンとして使用すると、デフォーカスに応じた点光源の広がりは緩慢になる。このため、平滑化パターンの使用によって、距離計測に使用可能なピント範囲が広がるだけでなく、面内の他ピクセルからのボケの伝搬の影響も抑制することができ、距離計測結果の外乱を抑制することが可能となる効果がある。

＜奥行き方向の平滑化パターン作成時の重み付け＞
図４９では、平滑化パターン生成の際に、複数のパターン４９０１～４９０４および複数のパターン４９０６～４９０９をそれぞれ同じ重みで加算した。しかし、これに限られるものではなく、図５２に示した通り、それぞれのパターンに異なる重みづけ係数Ｗ１（５２０１）～Ｗ４（５２０４）を乗算するようにしてもよい。

図５３は、加重平滑化パターン生成の重み付けの一例を示す図である。重みづけ係数Ｗ１（５２０１）～Ｗ４（５２０４）のそれぞれは、例えば、図５３に示すようにガウス関数型の重み５３０１に沿った値を取ることにより、平滑化範囲を広くとった場合でも、評価指標配列の配列要素の値がピント位置に対して単調増加でなくなることを防ぐことができる。また、非対称な重み５３０２に沿った重みづけ係数Ｗ１（５２０１）～Ｗ４（５２０４）を付加すれば、評価指標配列の要素の値がゼロと交差する位置がずれることを抑制できる。

＜奥行き方向の平滑化パターンの担当範囲の多様化＞
平滑化パターンの平滑化レンジの取り方は図５５に示したように第一の領域５５０１、第二の領域５５０２、第三の領域５５０３、第四の領域５５０４のそれぞれは等距離を等間隔で範囲とするものに限らない。

図５６は、奥行き方向の平滑化パターン生成の一例を示す図である。図５６に示すように、平滑化パターンの領域同士で平滑化レンジが重なっていてもよい。つまり、図５６では、第一の領域５５０１と第二の領域５５０２、第二の領域５５０２と第三の領域５５０３、のそれぞれの間で、重複するフォーカス位置の現像用パターンが含まれることになるが、その場合であっても問題なく採用できる。

図５７は、奥行き方向の平滑化パターン生成の一例を示す図である。図５７に示すように、フォーカス位置の遠隔化に応じて徐々に平滑化範囲を広げてもよい。すなわち、フォーカス位置が手前にあるほど、平滑化の範囲を狭くするようにしてもよい。一般的にフォーカス位置が遠くにあるほど、現像画像の被写界深度は深くなるため、このような平滑化範囲の取り方によって、近距離の物体、遠距離の物体ともに同程度の平滑化効果をもたらすことが可能となる。

また、フォーカス位置の近接化に応じて徐々に平滑化範囲を広げてもよい。一般的にフォーカス位置が近くにあるほど、より細かなフォーカス位置の検出が必要となることが多いためである。

図５８は、奥行き方向の平滑化パターン生成の一例を示す図である。図５８に示すように、平滑化パターン同士の間隔を対数スケールで等間隔な場合、平滑化範囲も対数スケールで等しい長さになるように選択してもよい。

図５９は、奥行き方向の平滑化パターン生成の一例を示す図である。図５９に示すように、平滑化範囲内に負のピント位置が含まれる場合、すなわちピント位置が撮影用パターン１０５よりもセンサ面側にある場合（距離ｆ－ａｖｅｒａｇｉｎｇ ｒａｎｇｅ＜０の場合）には、ピッチ係数が無限に発散してしまいエラーとなる可能性がある。この場合でも、第一の領域５５０１のうち、破線で囲んだ部分（負のｆの値となる場合）については平滑化パターンに含まないようにすることでエラーを回避することができる。

図５４は、距離計測ソフトウェアのユーザーインターフェースの一例を示す図である。このユーザーインターフェースは、距離計測装置１０１のディスプレイまたはこれに付随するコンピュータのディスプレイに表示される画面である。距離計測装置１０１は、この画面を介して距離計測範囲の最小値（Ｄｅｐｔｈ Ｍｉｎ）、最大値（Ｄｅｐｔｈ Ｍａｘ）、平滑化パターンの平滑化レンジ（Ｄｅｐｔｈ Ａｖｅｒａｇｉｎｇ Ｒａｎｇｅ）および平滑化解像度（Ｄｅｐｔｈ Ｒｅｓｏｌｕｔｉｏｎ）の入力を受け付ける。なお、距離計測範囲（距離計測レンジ）は、距離計測範囲の最小値（Ｄｅｐｔｈ Ｍｉｎ）から最大値（Ｄｅｐｔｈ Ｍａｘ）までの距離である。

入力された最小値、最大値、平滑化レンジおよび平滑化解像度は、距離計測変数設定部１１１が評価指標配列生成部１０９に受け渡す。評価指標配列生成部１０９は、入力された値を基に評価用パターン１８０１の現像用画像生成に使用するピッチ係数β’を選択する。たとえば、最小値探索を行う場合は、評価指標配列生成部１０９は、Ｎ枚の現像用パターンのうち１枚目は最小値以下のピント位置に対応するように選択し、Ｎ枚目は最大値以上のピント位置に対応するように任意のあるいは所定の値を選択する。なお、入力された距離計測範囲の最小値（Ｄｅｐｔｈ Ｍｉｎ）は、ピント距離が最短となる平滑化範囲の中央値であり、距離計測範囲の最大値（Ｄｅｐｔｈ Ｍａｘ）は、ピント距離が最長となる平滑化範囲の中央値である。

また、ゼロ交差算出処理を行う場合は、評価指標配列生成部１０９は、２枚の現像用パターンのうち１枚目は最小値以下のピント位置に対応するように選択し、２枚目は最大値以上のピント位置に対応するように選択する。また、平滑化範囲（各領域が担当するフォーカス幅）については、評価指標配列生成部１０９は、入力された平滑化レンジ（Ｄｅｐｔｈ Ａｖｅｒａｇｉｎｇ Ｒａｎｇｅ）を使用する。また、平滑化範囲の重なり具合、つまり各平滑化範囲の中央値間の距離については、評価指標配列生成部１０９は、入力された平滑化解像度（Ｄｅｐｔｈ Ｒｅｓｏｌｕｔｉｏｎ）を使用する。

なお、評価指標配列生成部１０９は、入力する平滑化レンジはピント範囲そのものの値以外にも、ピント位置に対する割合等のピント範囲を特定する値を受け付けることで、図５７や図５８に示したような平滑化範囲で平滑化パターンを作成してもよい。

このように、平滑化を積層方向についての平滑化として、評価指標配列を構成する二次元配列は、奥行き方向（積層方向）の平滑化範囲が互いに異なるようにしても良いし、積層方向の平滑化範囲が、ピント距離が近いほど狭いものとしても良いし、ピント距離が近いほど広いものとしてもよい。

上述のように、第四の実施の形態によれば、奥行き方向（被写体方向）の現像用パターンを重ねた平滑化パターンを用いることで、ピント位置の範囲を拡大することが可能となり、より高精度な距離計測を実現することができる。

＜第五の実施の形態＞
＜面内平滑化＞
本発明に係る第五の実施の形態である距離計測装置について説明する。第五の実施の形態である距離計測装置は、距離計測装置１０１（図１）と同様に構成されるが、複素情報配列の平面内での平滑化を行う点が異なる。

図６０は、複素現像画像のプロファイルを示す図である。図６０では、線６００１により、点光源撮影時のβ’＞β_０となる現像用パターンで現像した複素現像画像の虚部の断面プロットを示す。

複素現像画像の虚部は、中心部から離れるにつれ振動し、符号が反転する特性があるため、ピントが合っていない状態でも値がゼロになる画素（以下、ゼロ点）が面内に存在する。これらのゼロ点に相当する画素は、距離計測結果に誤差をもたらすおそれがあるため、ゼロ点の影響を抑制するのが望ましい。

図３８は、評価指標配列変換部内の構成の一例を示す。評価指標配列生成部１０９の評価指標配列変換部３６０４は、平滑化カーネル生成部３８０１と、平滑化カーネル格納部３８０２と、虚部絶対値変換部３８０３と、面内平滑化演算部３８０４と、を含む。

相互相関演算部３６０３から入力された複素情報配列３７０１は、虚部絶対値変換部３８０３へと入力される。虚部絶対値変換部３８０３は、複素情報配列３７０１内の各複素現像画像の虚部の絶対値を出力する。

このことを図６０のグラフを用いて説明する。図６０の線６００１に示した複素現像画像が、虚部絶対値変換部３８０３に入力されると、虚部絶対値変換部３８０３は、図６０に示した線６００２に示す虚部絶対値配列を出力する。線６００２の出力には依然、ゼロ点が存在しうる。そのため、面内平滑化演算部３８０４が平滑化カーネル格納部３８０２に格納されている平滑化カーネルを用いて演算により面内の平滑化を行い、図６０の線６００３に示す、ゼロ点を除去した虚部絶対値平滑化配列を評価指標配列１６０３として出力する。

以上のように複素情報配列について、平面内で絶対値変換後に平滑化を行う構成により、ゼロ点を除去して、距離情報の誤差を抑制することができる。

なお、面内平滑化演算部３８０４での平滑化に使用する平滑化カーネルは、距離計測変数設定部１１１から入力された平滑化カーネル幅に応じて平滑化カーネル生成部３８０１で生成されたのち、平滑化カーネル格納部３８０２に格納され、面内平滑化演算部３８０４での平滑化処理に合わせて面内平滑化演算部３８０４へと受け渡される。

また、平滑化カーネル生成部３８０１で生成されるカーネル関数の形状は距離計測変数設定部１１１からの入力に基づいて決定しうる。たとえば、平滑化カーネル生成部３８０１は、図６１の例のように平滑化カーネルを決定する。

図６１は、平滑化カーネルの一例を示す図である。平滑化カーネル生成部３８０１は、断面プロット６１０１に示すような矩形型もしくは円柱型カーネル関数を決定するようにしてもよいし、断面プロット６１０２に示すような錐型のカーネル関数を決定するようにしてもよいし、断面プロット６１０３に示すようなガウス関数型のカーネル関数を決定するようにしてもよい。

また、平滑化カーネルのカーネル幅についても、平滑化カーネル生成部３８０１は、図６２の例のように距離計測変数設定部１１１からの入力に基づいて決定する。

図６２は、平滑化カーネルのカーネル幅の一例を示す図である。図６０に示した複素現像画像の線６００１の幅は、一般的に現像用パターンのピッチ係数β’に対して反比例の関係にある。そのため、評価用パターン生成部３６０１で生成される複数の現像用パターンのβ’に対して、それぞれ図６２に示すカーネル幅の平滑化カーネルを作成すればよい。

なお、現像用パターンとして第四の実施形態における平滑化パターン（奥行き方向の平滑化パターン）を使用する場合には、平滑化カーネル生成部３８０１は、平滑化範囲中の代表的なβ’を基にカーネル幅を決定すればよい。なお、すべての複素現像画像の虚部絶対値に対して同一の平滑化カーネルパターンによる平滑化を行ってもよい。

図６６は、面内平滑化による距離計測処理の一例を説明するフローチャートである。ステップ６６０１では、評価用パターン生成部３６０１が、評価用パターン１８０１を生成する。

そして、ステップ６６０２では、平滑化カーネル生成部３８０１が、平滑化カーネルを生成し、平滑化カーネル格納部３８０２に格納する。そして、ステップ６６０３では、画像センサ１０３が、センサ画像を取得する。画像センサ１０３により取得されたセンサ画像を用いて、ステップ６６０４において複素センサ画像生成部１０８が複素センサ画像１６０２を生成する。

ステップ６６０５では、複素センサ画像１６０２と評価用パターン１８０１の相互相関演算を相互相関演算部３６０３で行い、複素情報配列３７０１を生成する。

ステップ６６０６では、虚部絶対値変換部３８０３が、複素情報配列３７０１の虚部絶対値を抽出し、面内平滑化演算部３８０４が、複素情報配列３７０１の虚部絶対値をステップ６６０２で生成した平滑化カーネルを用いて平滑化し、評価指標配列１６０３を生成する。

ステップ６６０７では、距離情報生成部１１０が、評価指標配列１６０３を用いて距離情報を生成し出力する。

以上が、平滑化カーネルを用いて面内平滑化を行う場合の距離計測処理の一例である。面内平滑化を行うことにより、エッジ内外での測距誤差を小さくすることができる。なお、ステップ６６０１で生成する評価用パターン１８０１を構成する現像用パターンは、撮影用パターンと相似形のパターンであってもよいし、第四の実施形態において説明した、撮影用パターンと相似形のパターンを複数枚足し合わせた平滑化パターンであってもよい。

平滑化パターンを現像用パターンとして生成することにより、第四の実施形態において説明した奥行き方向の平滑化による測距レンジ拡大効果と、第五の実施形態において説明した面内方向の平滑化による測距精度向上効果と、の両方を得られる。

また、ステップ６６０２の平滑化カーネル生成のタイミングは、ステップ６６０１の直後に実施するに限られず、ステップ６６０６の実施前であれば、いつ行っても構わない。

＜第六の実施の形態 微分＞
本発明に係る第六の実施の形態である距離計測装置について説明する。第六の実施の形態である距離計測装置は、距離計測装置１０１（図１）と同様に構成されるが、複素現像画像に対して面内の微分演算を行う点において異なる。

図６３は、複素現像画像のプロファイルの一例を示す図である。このプロファイルは、一般的な被写体（風景等）を撮影した場合の複素現像画像虚部の様子を示す。被写体中にステップ応答６３０１のような輝度変化がある場合、β’＜β_０における複素現像画像の虚部は、プロット６３０２に示すように、左右非対称な形状になる。一方、β’＞β_０における複素現像画像の虚部は、プロット６３０３に示す通り、プロット６３０２と左右が反転した非対称な形状になる。なお、一般被写体の場合、ステップ応答６３０１の左側領域は必ずしもゼロではないため、複素現像画像虚部にはフロアとしてオフセット成分６３０４が加算される。

その結果、そのままではステップ応答６３０１のエッジ部分（図の縦の破線）では複素現像画像の値がβ’に対して変化しないため、前述の最小値探索およびゼロ交差点の算出による距離情報生成は行えない。また、エッジの外側（左側）では、オフセット成分６３０４の影響を受け、最小値探索およびゼロ交差点の算出のいずれを用いた場合も、距離情報の値が実際の距離よりも大きくなる。一方で、エッジの内側（右側）では、オフセット成分６３０４の影響を受け、最小値探索およびゼロ交差点の算出のいずれを用いた場合も、距離情報の値が実際の距離よりも小さくなる。

以上をまとめると、一般被写体の場合、エッジ部分そのものでは距離情報の生成が行えず、エッジの外側では実際よりも遠方に被写体があり、エッジの内側では実際よりも近くに被写体があることを示す距離情報が生成されてしまう。つまり、異なる二色で構成された被写体は、等距離にあるにも関わらず、色の部分により異なる距離が算出されることがある。

図６４は、複素現像画像のプロファイルを微分した一例を示す図である。図６４に示すように、図６３に示した一般被写体のプロファイルであっても、複素現像画像を微分することで、複素現像画像のエッジ部分の非対称性とオフセット成分を除去することができる。そのため、エッジ部分での距離情報の生成とエッジ内外での距離情報の誤差を同時に解決することができる。

このような微分処理を適用するために、相互相関演算部３６０３において、複素微分パターンと複素センサ画像とを用いて相互相関演算を行うことが考えられる。このような複素微分パターンの生成方法について、図６５を用いて説明する。

図６５は、複素微分パターン生成の一例を示す図である。複素微分パターンは評価用パターン１８０１の現像用パターン８０１の一例ともいえる。評価用パターン生成部３６０１は、現像用パターンの実部として、撮影用パターン１０５と相似形のピッチ係数β’のパターン６５０１と、パターン６５０１と同ピッチ係数のパターン６５０２との差を用いて、複素微分パターン６５０３を生成する。ただし、パターン６５０１とパターン６５０２のパターン中心は、いずれかの方向に少なくとも１ピクセル以上ずれている。

評価用パターン生成部３６０１は、現像用パターンの虚部として、撮影用パターン１０５と相似形のピッチ係数β’のパターン６５０４と、パターン６５０４と同ピッチ係数のパターン６５０５との差を用いて、複素微分パターン６５０６を生成する。ただし、虚部のパターン６５０４のパターン中心は、実部のパターン６５０１のパターン中心と一致し、虚部のパターン６５０５のパターン中心は、実部のパターン６５０２のパターン中心と一致するものとする。

以上のようにして生成された複素微分パターン６５０３、６５０６からなる複素微分パターンを用いて、複素センサ画像１６０２との相互相関演算を相互相関演算部３６０３が行うことで、図６４で示すようなプロファイルを有する複素現像画像を生成できる。そして、微分された複素現像画像を用いて評価指標配列１６０３を生成させることで、距離情報生成部１１０において生成される距離情報の精度、とくにエッジ部の距離情報の精度を向上させることが可能となる。なお、以上のように複素微分パターンを用いて相互相関演算を行うことにより、複素現像画像を生成後に微分フィルタをかける処理を省略することができる。つまり、１フレームごとの処理の負荷・時間を低減することができる。

上記の複素微分パターンを用いる距離計測フローは、図２７に示したフローと基本的に同様である。一部相違する点は、ステップ２７０１において生成する評価用パターン１８０１が、複素微分パターンである点である。なお、複素微分パターンを用いて相互相関演算を行う処理においては、平滑化パターンを用いた相互相関演算による奥行き方向の平滑化と、平滑化カーネルを用いた面内方向平滑化とのいずれかまたは両方を組み合わせて適用してもよい。

＜第七の実施の形態 奥行き方向平滑化と微分＞
第七の実施の形態は、第四の実施の形態における平滑化パターンによる奥行き方向の平滑化と、第六の実施の形態における複素微分パターンによる演算と、を組み合わせる距離計測装置に係る実施の形態である。第七の実施の形態に係る距離計測装置が実施する評価用パターンの生成方法について、以下に説明する。

第七の実施の形態に係る評価用パターンは、図２７に示したステップ２７０１において、評価用パターン生成部３６０１により生成される。具体的には、評価用パターン生成部３６０１は、図６７に示すように、評価用パターン１８０１の実部および虚部ともに、異なるピッチ係数β´を有するパターンから生成された複素微分パターンを複数加算して、微分平滑化パターンを生成する。

図６７は、微分平滑化パターン生成の一例を示す図である。微分平滑化パターン生成においては、評価用パターン生成部３６０１は、評価用パターン１８０１の現像用パターンの実部として、複素微分パターンの実部６７０１～６７０４を加算して生成した微分平滑化パターン６７０５を生成する。同様に、評価用パターン生成部３６０１は、評価用パターン１８０１の現像用パターンの虚部として、複素微分パターンの虚部６７０６～６７０９を加算して生成した微分平滑化パターン６７１０を生成する。

なお、複素微分パターン６７０１～６７０４のそれぞれの作成に用いる２つのパターンのピッチ係数は、複素微分パターン６７０１～６７０４のそれぞれで互いに異なる。また、実部の複素微分パターン６７０１と対応する虚部の複素微分パターン６７０６は、同じピッチ係数のパターンから生成されている。複素微分パターン６７０２～６７０４と、複素微分パターン６７０７～６７０９についても、同様である。

なお、第四の実施形態においても説明した通り、微分平滑化パターン６７０５と、微分平滑化パターン６７１０との生成に用いる微分パターンはそれぞれ４枚に限られず、２枚以上であれば何枚使用しても構わない。また、式（３）をβについて積分し、微分処理することで直接的に微分平滑化パターンを生成してもよい。このようにすることで、演算量を抑制することができる。

以上が、第七の実施の形態に係る距離計測装置である。第七の実施の形態に係る距離計測装置によれば、ピント位置の範囲を拡大するとともに、エッジがある場合でも精度の高い距離を計測することができる。

＜第八の実施の形態 奥行き方向平滑化、面内平滑化および微分＞
第八の実施の形態は、第四の実施の形態における奥行き方向の平滑化と、第五の実施の形態における平滑化カーソルを用いた平滑化フィルタによる面内平滑化と、第六の実施の形態における複素微分パターンによる演算と、を組み合わせる距離計測装置に係る実施の形態である。第八の実施の形態に係る距離計測装置が実施する評価用パターンの生成方法について、図６６を用いて以下に説明する。

第八の実施の形態に係る距離計測方法では、基本的には図６６に示した第五の実施の形態に係る距離計測装置と同様の処理を行う。ただし、第八の実施の形態に係る評価用パターンは、図６６に示したステップ６６０１において、評価用パターン生成部３６０１により、複素微分パターンまたは微分平滑化パターンとして生成される。具体的には、評価用パターン生成部３６０１は、評価用パターン１８０１の実部および虚部ともに、同じピッチ係数β´を有するパターンの中心を一ピクセル以上所定の方向にずらして差分を取った複素微分パターンを生成する。もしくは、評価用パターン生成部３６０１は、評価用パターン１８０１の実部および虚部ともに、異なるピッチ係数β´を有するパターンから生成された複素微分パターンを複数加算して、微分平滑化パターンを生成する。

また、複素微分パターンは、図６５に示した方法以外にも、たとえば図６９に示すような方法を採用できる。図６９は、微分パターンの他の例を示す図である。評価用パターン生成部３６０１は、縦方向に一ピクセル以上ずらして２枚のパターンの差分を取るように生成してもよいし、斜め方向に一ピクセル以上ずらして２枚のパターンの差分を取るように生成してもよい。あるいは、評価用パターン生成部３６０１は、下式（１２），（１３）に示したラプラシアンカーネルとの畳み込み演算によって生成するようにしてもよい。

このように、第八の実施の形態に係る距離計測装置によれば、演算量を抑制しつつ、高速かつ正確に距離を計測することができる。

＜第九の実施の形態 複数の評価用パターンの統合＞
第九の実施の形態は、第一の実施の形態～第八の実施の形態に示した各実施の形態に係る距離計億装置において、複数の評価用パターンによる演算の結果得られる距離情報を統合して距離情報を得る距離計測装置に係る実施の形態である。第九の実施の形態に係る距離計測装置が実施する距離計測方法について、図６８を用いて以下に説明する。

第九の実施の形態に係る距離計測装置の距離計測方法は、基本的に第一の実施形態に係る距離計測装置の距離計測方法と同様であるが、一部に相違がある。以下、相違点を中心に説明する。

図６８は、距離計測処理の一例を説明するフローチャートである。まず、評価用パターン生成部３６０１は、ステップ６８０１において、評価用パターンを２つ以上（例えば、２種類）生成し、ステップ６８０３～ステップ６８０６においてそのうちの一つと、複素センサ画像１６０２と、を用いて相互相関演算を行って距離情報１を算出する。同様に、ステップ６８０７～ステップ６８０９において残る一つと、複素センサ画像１６０２と、を用いて相互相関演算を行って距離情報２を算出する。それ以上の評価用パターンがある場合には、その残りの評価用パターンについても同様に距離情報を算出する。

ステップ６８１０において、距離情報１と距離情報２とを統合し、一つの距離情報として出力する。その統合方法は、例えば、距離情報１と距離情報２の同一画素における平均値を計算する方法が考えられる。距離情報が複数得られた場合には、同様に平均値、最頻値、中央値等の各種統計的な値を用いて統合することができる。

なお、評価用パターン生成部３６０１は、ステップ６８０１において、面内方向の互いに異なる方向について微分した複数の評価用パターンを生成するようにしてもよい。

以上が、第九の実施の形態に係る距離計測装置の例である。第九の実施の形態に係る距離計測装置によれば、より精度の高い距離情報を得ることができる。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形が可能である。例えば、上記した各実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えたり、追加したりすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１・・・距離計測装置、１０２・・・撮像部、１０３・・・画像センサ、１０３ａ・・・画素、１０４・・・パターン基板、１０５・・・撮影用パターン、１０６・・・画像処理部、１０７・・・コントローラ、１０８・・・複素センサ画像生成部、１０９・・・評価指標配列生成部、１１０・・・距離情報生成部、１１１・・・距離計測変数設定部、８０１・・・現像用パターン、１２０１・・・撮影用パターン、１２０２・・・変調器制御部、１３０１・・・撮影用パターン、１３０２・・・画像分割部、１４０１・・・点、１４０２・・・投影像、１５０１・・・点、１５０２・・・投影像、１６０１・・・センサ画像、１６０２・・・複素センサ画像、１６０３・・・評価指標配列、１８０１・・・評価用パターン、１９０１・・・被写体、２９０１・・・距離情報、３１０１・・・距離計測レンジ入力部、３６０１・・・評価用パターン生成部、３６０２・・・評価用パターン格納部、３６０３・・・相互相関演算部、３６０４・・・評価指標配列変換部、３７０１・・・複素情報配列、３８０１・・・平滑化カーネル生成部、３８０２・・・平滑化カーネル格納部、３８０３・・・虚部絶対値変換部、３８０４・・・面内平滑化演算部

Claims (15)

1. 光を電気信号に変換し、センサ画像を生成する画像センサと、
   撮影用パターンに基づいて前記画像センサ上に投影される光の強度を変調する変調器と、
   前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像生成部と、
   前記複素センサ画像の位相情報を基に評価指標配列を生成する評価指標配列生成部と、
   前記評価指標配列を用いて距離情報を生成する距離情報生成部と、を有し、
   前記評価指標配列生成部は、
   ピント距離に応じた複数の互いに異なる現像用パターンを含む評価用パターンを生成し、
   前記複素センサ画像と複数の前記現像用パターンとの相互相関演算を行って複数の現像画像を生成し、
   前記複数の現像画像をピント距離が近い順に積層させることで平面および奥行き方向を有する三次元の複素情報配列を生成し、
   前記複素情報配列について前記三次元の少なくとも一つの方向に所定の範囲で平滑化して二次元配列を複数生成し、該二次元配列を前記積層方向に積層させた三次元配列を前記評価指標配列とする、
   ことを特徴とする距離計測装置。
2. 請求項１に記載の距離計測装置であって、
   前記現像用パターンは、前記撮影用パターンと相似形であり、
   前記距離情報生成部は、前記現像用パターンの前記撮影用パターンからの拡大率を用いて前記距離情報を生成する、
   ことを特徴とする距離計測装置。
3. 請求項１に記載の距離計測装置であって、
   前記現像用パターンは、前記撮影用パターンと相似形であって拡大率が互いに異なる複数のパターンを足し合わせて生成されたものであり、
   前記評価指標配列生成部は、
   前記現像用パターンと相互相関演算を行うことで、前記複素情報配列の前記積層方向の平滑化を行う、
   ことを特徴とする距離計測装置。
4. 請求項３に記載の距離計測装置であって、
   前記評価指標配列生成部は、前記拡大率が互いに異なる複数のパターンをそれぞれ異なる重みづけにより前記現像用パターンを生成する、
   ことを特徴とする距離計測装置。
5. 請求項１に記載の距離計測装置であって、
   前記平滑化は積層方向についての平滑化であり、
   前記評価指標配列を構成する前記二次元配列は、前記積層方向の平滑化範囲が互いに異なる、
   ことを特徴とする距離計測装置。
6. 請求項５に記載の距離計測装置であって、
   前記現像用パターンは、前記撮影用パターンと相似形であって拡大率が互いに異なる複数のパターンを足し合わせて生成されたものであり、
   前記評価指標配列生成部は、
   前記現像用パターンと相互相関演算を行うことで、前記複素情報配列の前記積層方向の平滑化を行う、
   ことを特徴とする距離計測装置。
7. 請求項１に記載の距離計測装置であって、
   前記現像用パターンは、前記撮影用パターンと相似形であって、
   前記評価指標配列生成部は、
   前記複素情報配列の虚部絶対値について、前記平面の面内方向に平滑化を行う、
   ことを特徴とする距離計測装置。
8. 請求項１に記載の距離計測装置であって、
   前記現像用パターンは、前記撮影用パターンと相似形であって、
   前記評価指標配列生成部は、
   前記複素情報配列の虚部絶対値について、前記平面の面内方向に平滑化を行い、
   前記平滑化に用いる平滑化カーネルのカーネル幅を、前記現像用パターンの前記撮影用パターンからの拡大率を用いて特定する、
   ことを特徴とする距離計測装置。
9. 請求項１に記載の距離計測装置であって、
   前記評価指標配列生成部は、
   前記複素情報配列について前記平面内の少なくとも一方向について微分演算を行った結果を用いて、前記評価指標配列を生成する、
   ことを特徴とする距離計測装置。
10. 請求項１に記載の距離計測装置であって、
    前記評価指標配列生成部は、
    前記複素情報配列について前記平面内の少なくとも一方向について微分演算を行った結果を用いて、前記評価指標配列を生成するものであり、
    前記撮影用パターンと相似形のパターンであって互いに少なくとも１画素以上平行移動した位置ずれを有する少なくとも二つのパターンの差を、前記現像用パターンとして生成し、
    前記現像用パターンを用いて前記複素センサ画像と相互相関演算を行うことで、前記微分演算を行う、
    ことを特徴とする距離計測装置。
11. 請求項１に記載の距離計測装置であって、
    前記評価指標配列生成部は、
    面内方向の互いに異なる方向について微分する複数の前記評価用パターンを生成することで複数の前記評価指標配列を生成し、
    前記距離情報生成部は、
    複数の前記評価指標配列を用いて複数の前記距離情報を生成し、
    前記複数の距離情報を統合することで前記距離情報を生成する、
    ことを特徴とする距離計測装置。
12. 請求項１に記載の距離計測装置であって、
    前記評価指標配列の各配列要素は正負の値を取りうる数値の集合であり、
    前記現像用パターンは、前記撮影用パターンを所定の拡大率で拡大した相似形であり、
    前記距離情報生成部は、前記各配列要素がゼロになる前記拡大率を特定して該拡大率に応じて前記距離情報を生成する、
    ことを特徴とする距離計測装置。
13. 請求項１に記載の距離計測装置であって、
    前記現像用パターンは、前記撮影用パターンを所定の拡大率で拡大した相似形であり、
    前記評価指標配列の各配列要素は、前記拡大率に比例して変化する、
    ことを特徴とする距離計測装置。
14. 請求項１に記載の距離計測装置であって、
    前記現像用パターンは、前記撮影用パターンを所定の拡大率で拡大した相似形であり、
    距離計測対象までの距離に応じて、距離計測範囲と距離計測分解能とを設定する距離計測変数設定部を有し、
    前記評価指標配列生成部は、前記距離計測範囲と前記距離計測分解能とに応じて前記現像用パターンの前記撮影用パターンからの拡大率を選択して前記評価用パターンを生成する、
    ことを特徴とする距離計測装置。
15. 光を電気信号に変換し、センサ画像を生成するセンサ画像生成ステップと、
    撮影用パターンに基づいて前記画像センサ上に投影される光の強度を変調する変調ステップと、
    前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像生成ステップと、
    前記複素センサ画像の位相情報を基に評価指標配列を生成する評価指標配列ステップと、
    前記評価指標配列を用いて距離情報を生成する距離情報生成ステップを有し、
    前記評価指標配列生成ステップでは、ピント距離に応じた複数の互いに異なる現像用パターンを含む評価用パターンを生成し、
    前記複素センサ画像と複数の前記現像用パターンとの相互相関演算を行って複数の現像画像を生成し、
    前記複数の現像画像をピント距離が近い順に積層させることで平面および奥行き方向を有する三次元の複素情報配列を生成し、
    前記複素情報配列について前記三次元の少なくとも一つの方向に所定の範囲で平滑化して二次元配列を複数生成し、該二次元配列を前記積層方向に積層させた三次元配列を前記評価指標配列とする、
    ことを特徴とする距離計測方法。

Images