JP5110235B1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

画像の状態に拘わらず、対応点の探索速度を向上させ得る技術を提供することを図る。この目的を達成するために、第１画像から生成された第１変換後基準画像の第１基準点を含む第１基準領域に係る各周波数成分の第１位相情報と、第２画像から生成された第１変換後参照画像の第１探索基準点を含む第１参照領域に係る各周波数成分の第２位相情報とに基づき第１基準点に対応する第１対応点が第１変換後参照画像で探索される。また、第１変換後参照画像における第１対応点の位置に基づき、第２画像上で第２探索基準点が決定される。更に、第１画像の第１基準点に対応する第２基準点を含む第２基準領域に係る各周波数成分の第３位相情報と、第２画像の第２探索基準点を含む第２参照領域に係る各周波数成分の第４位相情報とに基づき第２基準点に対応する第２対応点が第２画像で探索される。該２段の探索では他段の演算で得られた周波数成分に係る情報が再利用される。
【選択図】図２

Description

本発明は、画像処理技術に関する。

２つの撮像装置によって同一対象物（被写体）を異なる視点から撮像することで得られた基準画像と参照画像とについて、両画像間における対応点を探索する技術が知られている。この技術では、例えば、ＳＡＤ（Sum of Absolute Difference）演算法およびＰＯＣ（Phase-Only Correlation）演算法等といった相関演算によって得られる相関度に基づき、基準画像の基準点と同一対象物が捉えられた対応点が参照画像において探索される。

また、例えば、基準画像と参照画像とについて、解像度の異なる複数の画像がそれぞれ生成されて解像度別に階層化され、低解像度の上位層から高解像度の下位層に向かって相関演算を用いた対応点の探索が順次に繰り返される処理が知られている。この処理では、低解像度の上位層で得られた視差に基づいて次の階層における探索領域が設定されるため、最高解像度の最下層までの演算処理に要する時間が短縮され得る。

更に、各画素の対応点が探索される際、低解像度の上位層について相関演算で得られるＳＡＤ値およびＰＯＣ値等といった相関度を示す値が信頼度とされ、該信頼度に応じて、次に対応点の探索処理が行われる解像度の階層が決定される技術が提案されている（例えば、特許文献１等）。

特開２００９−２９４７３３号公報

しかしながら、上記特許文献１の技術では、基準画像と参照画像の状態に応じて対応点の探索に要する演算量ならびに演算時間が左右される。このため、対応点の探索結果が利用される各種アプリケーションでは、対応点の探索に要する演算時間が最も長くなる場合が基準とされ、対応点の探索結果を利用した演算が行われるように設計される必要がある。また、対応点の探索に係る演算が、画一的ではなく、基準画像と参照画像の状態に応じて変化するため、該処理フローがパイプライン処理等で実現されるハードウェアを構成することは容易でない。

本発明は、上記課題に鑑みてなされたものであり、画像の状態に拘わらず、対応点の探索速度を向上させ得る技術を提供することを目的とする。

上記課題を解決するために、第１の態様に係る画像処理装置は、第１画像および第２画像を取得する取得部と、所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成する生成部と、前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理、および前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行う探索部と、前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において前記第２探索基準点の位置を決定する決定部と、前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、前記探索部が、前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該前記演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行う。

第２の態様に係る画像処理装置は、第１画像および第２画像を取得する取得部と、所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成する生成部と、前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理、および前記第１変換後基準画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行う探索部と、前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において前記第２探索基準点の位置を決定する決定部と、前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、前記探索部が、前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第２変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行う。

第３の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記探索部が、前記第１および第２探索処理において、位相限定相関演算を用いる。

第４の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記既演算情報が、前記第１から第３周波数情報のうちの少なくとも一部の情報を含む。

第５の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、前記既演算情報が、前記第１から第３位相情報のうちの少なくとも一部の情報を含む。

第６の態様に係る画像処理装置は、第１から第５の何れか１つの態様に係る画像処理装置であって、前記既演算情報が、前記第１位相情報と前記第２位相情報とに基づいて算出される位相差を示す情報を含む。

第７の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記探索部が、前記第１探索処理において、各周波数成分について、前記第１位相情報と前記第２位相情報とに基づいて第１位相差を算出して該第１位相差を空間的なずれ量に変換し、該空間的なずれ量を第１投票空間に投票することで第１投票結果を得て、該第１投票結果に応じて前記第１対応点を探索し、前記第２探索処理において、各周波数成分について、前記第３位相情報と前記第４位相情報とに基づいて第２位相差を算出して該第２位相差を空間的なずれ量に変換し、該空間的なずれ量を第２投票空間に投票することで第２投票結果を得て、該第２投票結果に応じて前記第２対応点を探索し、前記既演算情報が、前記第１探索処理において、１以上の周波数成分について前記第１位相差が空間的なずれ量に変換された後に、該空間的なずれ量が前記第１投票空間に投票されることで得られる投票結果を示す情報を含む。

第８の態様に係る画像処理装置は、第１から第５の何れか１つの態様に係る画像処理装置であって、前記探索部が、前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第１位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用い、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第２位相情報を補正して演算に用い、前記第１探索処理において、前記第３探索処理で算出される前記既演算情報から前記第３位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用いる。

第９の態様に係る画像処理装置は、第１から第８の何れか１つの態様に係る画像処理装置であって、前記所定の変換倍率が、１／ｎ（ｎは１よりも大きな任意の数）であり、前記探索部が、前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から第１周波数に係る前記第１周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第１周波数情報を、前記第１周波数に１／ｎを乗じて得られる第２周波数に係る前記第３周波数情報として用い、前記第１探索処理で算出される前記既演算情報から前記第１周波数に係る前記第２周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第２周波数情報を、前記第２周波数に係る前記第４周波数情報として用い、前記第１探索処理において、前記第２探索処理で算出される前記既演算情報から前記第２周波数に係る前記第３周波数情報を得て演算に用いる場合に、前記第２周波数に係る前記第３周波数情報を、前記第２周波数にｎを乗じて得られる前記第１周波数に係る前記第１周波数情報として用いる。

第１０の態様に係る画像処理装置は、第１から第９の何れか１つの態様に係る画像処理装置であって、前記探索部が、前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記第１探索基準点と前記第１対応点との間の空間的なずれ量に応じて、前記第２位相情報に係る位相のずれを補正して演算に用いる。

第１１の態様に係る画像処理装置は、第１から第１０の何れか１つの態様に係る画像処理装置であって、前記探索部が、前記第２探索処理において、前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として演算に用いられる前記既演算情報よりも、該演算用の情報のうちの前記残余の情報の方が、前記第２対応点の探索結果に与える影響が大きくなるように、情報の重み付けを行う。

第１２の態様に係る画像処理方法は、（a）取得部によって、第１画像を取得するステップと、（b）前記取得部によって、第２画像を取得するステップと、（c）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成するステップと、（d）探索部によって、前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、（e）決定部によって、前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において第２探索基準点の位置を決定するステップと、（f）前記探索部によって、前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行うステップと、を備え、前記ステップ（f）において、前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出する。

第１３の態様に係る画像処理方法は、（A）取得部によって、第１画像を取得するステップと、（B）前記取得部によって、第２画像を取得するステップと、（C）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成するステップと、（D）探索部によって、前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、（E）決定部によって、前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において第２探索基準点の位置を決定するステップと、（F）前記探索部によって、前記第１変換後基準画像における前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像における前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行うステップと、を備え、前記ステップ（F）において、前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出する。

第１４の態様に係るプログラムは、画像処理装置に含まれる制御部において実行されることにより、前記画像処理装置を、第１から第１１の何れか１つの態様に係る画像処理装置として機能させる。

第１から第１１の何れの態様に係る画像処理装置によっても、２つの画像間における対応点の探索処理の演算で得られた周波数成分に係る情報が、解像度の異なる２つの画像間における対応点の探索処理の演算で再利用されることで、演算量が低減され得る。その結果、対応点の探索に用いられる画像の状態に拘わらず、対応点の探索速度が向上し得る。また、例えば、演算の画一化が図られるため、対応点の探索処理を行う部分を専用の電子回路等によってハードウェア化することも可能となる。

第３の態様に係る画像処理装置によれば、高精度の対応点探索における探索速度が向上し得る。

第５から第７の何れの態様に係る画像処理装置によっても、演算量の更なる低減によって、対応点の探索速度が更に向上し得る。また、再利用される情報における情報量の低減によって、記憶部の記憶容量の低減が可能となる。その結果、画像処理装置の小型化ならびに製造コストの低減が図られ得る。

第８の態様に係る画像処理装置によれば、解像度の低減に応じた位相のずれ量によって再利用される情報が補正されるため、対応点探索の精度が向上し得る。

第９の態様に係る画像処理装置によれば、解像度の低減に係る変換倍率に応じて再利用される情報の周波数の対応関係が決まるため、対応点の探索処理における演算の設計が容易となり得る。

第１０の態様に係る画像処理装置によれば、相対的に低解像度の２つの画像についての対応点の探索処理における探索基準点と対応点との間における空間的なずれ量に応じて再利用される情報が補正されるため、対応点探索の精度が向上し得る。

第１１の態様に係る画像処理装置によれば、相対的に高解像度の２つの画像についての対応点の探索処理において、再利用される情報よりもその他の情報の方が対応点の探索結果に与える影響が大きくなるように、情報の重み付けが行われることで、対応点探索の精度が向上し得る。

第１２の態様に係る画像処理方法によれば、第１の態様に係る画像処理装置と同様な効果が得られる。

第１３の態様に係るプログラムによれば、第１から第１１の態様に係る画像処理装置と同様な効果が得られる。

図１は、一実施形態に係る情報処理システムの構成例を示す図である。 図２は、一実施形態に係る情報処理システムの機能的な構成を示すブロック図である。 図３は、第１および第２画像に係る複数段階の解像度を有する画像群を示す図である。 図４は、対応点探索動作の概要を例示する図である。 図５は、探索基準点の決定方法を説明するための図である。 図６は、第１階層の基準点の設定態様を例示する図である。 図７は、第２階層の基準点の設定態様を例示する図である。 図８は、第３階層の基準点の設定態様を例示する図である。 図９は、第４階層の基準点の設定態様を例示する図である。 図１０は、第４階層の基準領域の設定態様を例示する図である。 図１１は、第４階層の参照領域の設定態様を例示する図である。 図１２は、ＰＯＣ演算法による対応点の探索処理を説明するための図である。 図１３は、ＰＯＣ値の分布を例示する図である。 図１４は、第３階層の基準領域の設定態様を例示する図である。 図１５は、第３階層の参照領域の設定態様を例示する図である。 図１６は、第２階層の基準領域の設定態様を例示する図である。 図１７は、第２階層の参照領域の設定態様を例示する図である。 図１８は、第１階層の基準領域の設定態様を例示する図である。 図１９は、第１階層の参照領域の設定態様を例示する図である。 図２０は、既演算情報の再利用方法について説明するための図である。 図２１は、既演算情報の再利用方法について説明するための図である。 図２２は、三角測量の原理を用いた測距方法を説明するための図である。 図２３は、対応点探索動作に係る動作フローを例示するフローチャートである。 図２４は、対応点探索動作に係る動作フローを例示するフローチャートである。 図２５は、ＰＳＡ法による対応点の探索処理を説明するための図である。 図２６は、ＰＳＡ法による対応点の探索処理を説明するための図である。 図２７は、ＰＳＡ法による対応点の探索処理を説明するための図である。 図２８は、参照画像側における位相のずれの補正方法を説明するための図である。 図２９は、参照画像側における位相のずれの補正方法を説明するための図である。 図３０は、情報処理システムの一適用例を示す図である。 図３１は、情報処理システムの一適用例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構造のサイズおよび位置関係等は正確に図示されたものではない。

＜（１）情報処理システムの概略構成＞
図１は、一実施形態に係る情報処理システム１００の概略構成を示す図である。情報処理システム１００は、第１カメラ１と第２カメラ２と画像処理装置３とを備えている。第１カメラ１は通信回線Ｌ１を介して画像処理装置３に対してデータ伝送可能に接続され、第２カメラ２は通信回線Ｌ２を介して画像処理装置３に対してデータ伝送可能に接続されている。通信回線Ｌ１，Ｌ２は、有線回線および無線回線の何れであっても良い。

第１および第２カメラ１，２は、被写体を撮像することで画像をそれぞれ取得する撮像装置である。これらの第１および第２カメラ１，２は、一方向に並んで配置されている。一方向は、例えば、水平方向であれば良い。一方向が水平方向である場合、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが水平方向に離隔されている。そして、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸との離隔距離が、第１および第２カメラ１，２に係る基線長である。

また、第１および第２カメラ１，２は、例えば、撮像素子によって、カメラの正面に位置する被写体を、同じタイミングで相互に異なる視点から撮像することで、いわゆるステレオ画像を取得する。つまり、ステレオ画像は、第１カメラ１の撮像によって取得される画像（第１画像とも言う）と、第２カメラ２の撮像によって取得される画像（第２画像とも言う）とを含む。第１画像に係るデータＭ１と第２画像に係るデータＭ２は、第１および第２カメラ１，２から通信回線Ｌ１，Ｌ２を介して画像処理装置３に送信され得る。

画像処理装置３は、例えば、パーソナルコンピュータ（パソコン）であれば良く、操作部３１、表示部３２、インターフェース（Ｉ／Ｆ）部３３、記憶部３４、入出力（Ｉ／Ｏ）部３５、および制御部３６を備えている。

操作部３１は、例えば、マウスおよびキーボードを含む。表示部３２は、例えば、液晶ディスプレイを含む。Ｉ／Ｆ部３３は、例えば、第１および第２カメラ１，２と画像処理装置３との間におけるデータの授受を行う。記憶部３４は、例えば、ハードディスク等を含み、プログラムＰＧおよび各種データを格納する。Ｉ／Ｏ部３５は、例えば、ディスクドライブを備え、光ディスク等の記憶媒体４を受け付けて該記憶媒体４と制御部３６との間におけるデータの授受を行う。制御部３６は、例えば、プロセッサーとして働くＣＰＵ３６ａ、および情報を一時的に記憶するメモリー３６ｂ等を含む。なお、制御部３６は、記憶部３４内のプログラムＰＧを読み込んで実行することで、各種機能および情報処理等を実現する。そして、制御部３６における各種情報処理によって一時的に得られる各種情報は、メモリー３６ｂ等に記憶される。

なお、本実施形態では、説明を簡素化するために、第１および第２カメラ１，２における収差が良好に補正されており、且つ第１および第２カメラ１，２は、略平行に設定されている。つまり、第１および第２カメラ１，２の光軸が略平行に設定され、第１および第２画像で捉えられた被写体は、第１および第２画像の外縁に対して略同一の角度関係を有する。但し、実際の第１および第２カメラ１，２が、このような条件にない場合は、画像処理によって同等の条件で撮像されたものと同視されるステレオ画像が得られれば良い。

＜（２）情報処理システムの機能的な構成＞
図２は、本実施形態に係る情報処理システム１００の主要部の機能的な構成を示すブロック図である。図２では、対応点探索動作および該対応点探索処理における探索結果を用いた距離測定動作に係る機能的な構成が示されている。ここで、対応点探索処理は、第１および第２カメラ１，２で得られる第１画像と第２画像との間で同じ被写体の部分を捉えた画素の対応関係を探索する処理である。また、距離測定動作は、第１および第２カメラ１，２から被写体までの距離を測定する動作である。なお、対応点探索動作では、第１画像が基準となる画像（基準画像とも言う）Ｇａ１として用いられ、第２画像が参照される画像（参照画像とも言う）Ｇａ２として用いられる。

制御部３６は、機能的な構成として、画像取得部３６１、画像生成部３６２、対応点探索部３６３、対応点探索制御部３６４、位置決定部３６５、既演算情報記憶部３６６、および距離算出部３６７を備えている。

画像取得部３６１は、第１カメラ１から第１画像に係るデータＭ１を取得し、第２カメラ２から第２画像に係るデータＭ２を取得する。第１画像と第２画像については、解像度が同一であることが好ましい。ここで、解像度は、画像において描かれている対象物がどこまで詳しく描写されているかを意味する。そして、ここでは、解像度が同一とは、画像における横方向の画素数が同じであり、縦方向の画素数が同じであることを意味する。

画像生成部３６２は、所定の変換倍率にしたがって、基準画像Ｇａ１としての第１画像の解像度を順次に低減して第１変換後基準画像Ｇｂ１、第２変換後基準画像Ｇｃ１、および第３変換後基準画像Ｇｄ１を生成する。また、画像生成部３６２は、所定の変換倍率にしたがって、参照画像Ｇａ２としての第２画像の解像度を順次に低減して第１変換後参照画像Ｇｂ２、第２変換後参照画像Ｇｃ２、および第３変換後参照画像Ｇｄ２を生成する。ここで、第１変換後基準画像Ｇｂ１は、基準画像Ｇａ１よりも解像度が低く、第２変換後基準画像Ｇｃ１は、第１変換後基準画像Ｇｂ１よりも解像度が低く、第３変換後基準画像Ｇｄ１は、第２変換後基準画像Ｇｃ１よりも解像度が低い。一方、第１変換後参照画像Ｇｂ２は、参照画像Ｇａ２よりも解像度が低く、第２変換後参照画像Ｇｃ２は、第１変換後参照画像Ｇｂ２よりも解像度が低く、第３変換後参照画像Ｇｄ２は、第２変換後参照画像Ｇｃ２よりも解像度が低い。

これにより、図３で示されるように、基準画像Ｇａ１について、基準画像Ｇａ１と第１〜３変換後基準画像Ｇｂ１〜Ｇｄ１とを含むＭ段階（Ｍは２以上の整数）の解像度の画像群ＧＲ１が生成される。また、参照画像Ｇａ２について、参照画像Ｇａ２と第１〜３変換後参照画像Ｇｂ２〜Ｇｄ２とを含むＭ段階（Ｍは２以上の整数）の解像度の画像群ＧＲ２が生成される。本実施形態では、Ｍが４であるものとして説明する。

別の観点から言えば、基準画像Ｇａ１と参照画像Ｇａ２とを含む第１階層の画像群１Ｈｙから、第２階層の画像群２Ｈｙ、第３階層の画像群３Ｈｙ、および第４階層の画像群４Ｈｙが生成される。そして、第２階層の画像群２Ｈｙは、第１変換後基準画像Ｇｂ１と第１変換後参照画像Ｇｂ２とを含み、第３階層の画像群３Ｈｙは、第２変換後基準画像Ｇｃ１と第２変換後参照画像Ｇｃ２とを含み、第４階層の画像群４Ｈｙは、第３変換後基準画像Ｇｄ１と第３変換後参照画像Ｇｄ２とを含む。

対応点探索部３６３は、位相限定相関（Phase-Only Correlation：ＰＯＣ）演算法等といった相関演算によって、複数の画像の間において対応点を探索する。

具体的には、対応点探索部３６３では、第４階層の画像群４Ｈｙに含まれる第３変換後基準画像Ｇｄ１と第３変換後参照画像Ｇｄ２との間で対応点が探索される処理（第４階層の探索処理とも言う）が行われる。また、第３階層の画像群３Ｈｙに含まれる第２変換後基準画像Ｇｃ１と第２変換後参照画像Ｇｃ２との間で対応点が探索される処理（第３階層の探索処理とも言う）が行われる。また、第２階層の画像群２Ｈｙに含まれる第１変換後基準画像Ｇｂ１と第１変換後参照画像Ｇｂ２との間で対応点が探索される処理（第２階層の探索処理とも言う）が行われる。また、第１階層の画像群１Ｈｙに含まれる基準画像Ｇａ１と参照画像Ｇａ２との間で対応点が探索される処理（第１階層の探索処理とも言う）が行われる。

対応点探索制御部３６４は、画像生成部３６２および対応点探索部３６３の動作を制御する。これにより、対応点探索部３６３において、第４階層の探索処理、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理がこの順で実行される。そして、第４階層の探索処理における演算で得られた情報（第４階層の既演算情報とも言う）と第４階層の探索処理における探索結果とが、第３階層の探索処理において利用される。また、第３階層の探索処理における演算で得られた情報（第３階層の既演算情報とも言う）と第３階層の探索処理における探索結果とが、第２階層の探索処理において利用される。また、第２階層の探索処理における演算で得られた情報（第２階層の既演算情報とも言う）と第２階層の探索処理における探索結果とが、第１階層の探索処理において利用される。

例えば、基準画像Ｇａ１の探索処理の基準となる画素（第１階層の基準点とも言う）Ｓａ１に対応する参照画像Ｇａ２における画素（第１階層の第１対応点とも言う）Ｃａ２が探索される対応点の探索処理では、図４で示されるような４段階の探索処理が行われる。

具体的には、まず、対応点探索部３６３によって、基準画像Ｇａ１において第１階層の基準点Ｓａ１が設定される。また、第１変換後基準画像Ｇｂ１において第１階層の基準点Ｓａ１と被写体の同一部分が捉えられている画素（第２階層の基準点とも言う）Ｓｂ１が設定される。また、第２変換後基準画像Ｇｃ１において第１および第２階層の基準点Ｓａ１，Ｓｂ１と被写体の同一部分が捉えられている画素（第３階層の基準点とも言う）Ｓｃ１が設定される。更に、第３変換後基準画像Ｇｄ１において第１〜３階層の基準点Ｓａ１〜Ｓｃ１と被写体の同一部分が捉えられている画素（第４階層の基準点とも言う）Ｓｄ１が設定される。

換言すれば、第１変換後基準画像Ｇｂ１において、基準画像Ｇａ１における第１階層の基準点Ｓａ１の位置に対応する位置に第２階層の基準点Ｓｂ１が設定される。また、第２変換後基準画像Ｇｃ１において、第１変換後基準画像Ｇｂ１における第２階層の基準点Ｓｂ１の位置に対応する位置に第３階層の基準点Ｓｃ１が設定される。更に、第３変換後基準画像Ｇｄ１において、第２変換後基準画像Ｇｃ１における第３階層の基準点Ｓｃ１の位置に対応する位置に第４階層の基準点Ｓｄ１が設定される。

そして、第４階層の探索処理では、第４階層の基準点Ｓｄ１に対応する画素（第４階層の対応点とも言う）Ｃｄ２が第３変換後参照画像Ｇｄ２において探索される。この探索では、第３変換後参照画像Ｇｄ２のうちの探索の基準となる画素（第４階層の探索基準点とも言う）を含む領域において第４階層の対応点Ｃｄ２が探索される。次に、第３階層の探索処理では、第３階層の基準点Ｓｃ１に対応する画素（第３階層の対応点とも言う）Ｃｃ２が第２変換後参照画像Ｇｃ２において探索される。この探索では、第２変換後参照画像Ｇｃ２のうちの探索の基準となる画素（第３階層の探索基準点とも言う）を含む領域において第３階層の対応点Ｃｃ２が探索される。

また、第２階層の探索処理では、第２階層の基準点Ｓｂ１に対応する画素（第２階層の対応点とも言う）Ｃｂ２が第１変換後参照画像Ｇｂ２において探索される。この探索では、第１変換後参照画像Ｇｂ２のうちの探索の基準となる画素（第２階層の探索基準点とも言う）を含む領域において第２階層の対応点Ｃｂ２が探索される。次に、第１階層の探索処理では、第１階層の基準点Ｓａ１に対応する画素（第１階層の対応点とも言う）Ｃａ２が参照画像Ｇａ２において探索される。この探索では、参照画像Ｇａ２のうちの探索の基準となる画素（第１階層の探索基準点とも言う）を含む領域において第１階層の対応点Ｃａ２が探索される。

位置決定部３６５は、第４階層の探索基準点、第３階層の探索基準点、第２階層の探索基準点、および第１階層の探索基準点の位置を決定する。なお、基準画像Ｇａ１、第１〜３変換後基準画像Ｇｂ１〜Ｇｄ１、参照画像Ｇａ２、および第１〜３変換後参照画像Ｇｂ２〜Ｇｄ２では、左上の画素が原点とされ、右方がＸ方向とされ、下方がＹ方向とされる。つまり、各画像Ｇａ１〜Ｇｄ１，Ｇａ２〜Ｇｄ２における各画素は、ＸおよびＹの座標によって表現され得る。

ここで、第４階層の探索基準点は、第３変換後基準画像Ｇｄ１における第４階層の基準点Ｓｄ１と所定の位置関係を有する。所定の位置関係は、例えば、第３変換後基準画像Ｇｄ１における第４階層の基準点Ｓｄ１の位置と、第３変換後参照画像Ｇｄ２における第４階層の探索基準点の位置とが同一である関係等であれば良い。換言すれば、所定の位置関係は、例えば、第３変換後基準画像Ｇｄ１における第４階層の基準点Ｓｄ１の座標と、第３変換後参照画像Ｇｄ２における第４階層の探索基準点の座標とが同一である関係等であれば良い。また、所定の位置関係は、例えば、第２カメラ２から第１カメラ１に至る基線長の延伸方向に対応する画像上の一方向において、所定数の画素ずれた関係等であっても良い。この一方向は、例えば、−Ｘ方向であれば良い。

また、第２変換後参照画像Ｇｃ２における第３階層の探索基準点の位置は、第３変換後参照画像Ｇｄ２における第４階層の対応点Ｃｄ２の位置に基づいて決定される。また、第１変換後参照画像Ｇｂ２における第２階層の探索基準点の位置は、第２変換後参照画像Ｇｃ２における第３階層の対応点Ｃｃ２の位置に基づいて決定される。更に、参照画像Ｇａ２における第１階層の探索基準点の位置は、第１変換後参照画像Ｇｂ２における第２階層の対応点Ｃｂ２の位置に基づいて決定される。

図５は、第３階層の探索基準点、第２階層の探索基準点、および第１階層の探索基準点の決定方法を説明するための図である。第３階層の探索基準点、第２階層の探索基準点、および第１階層の探索基準点の決定方法は同様である。このため、図５では、一例として第３階層の探索基準点の決定方法が模式的に示されている。なお、ここでは、画像生成部３６２における所定の変換倍率が１／２である一例について説明する。

例えば、第４階層の第３変換後基準画像Ｇｄ１における座標(ｘ_ｄ１，ｙ_ｄ１)の画素の画素値は、第３階層の第２変換後基準画像Ｇｃ１における座標(ｘ_ｃ１，ｙ_ｃ１)、(ｘ_ｃ１＋１，ｙ_ｃ１)、(ｘ_ｃ１，ｙ_ｃ１＋１)、(ｘ_ｃ１＋１，ｙ_ｃ１＋１)の４画素の画素値の平均値とされる。ここで、第４階層の探索処理において、座標(ｘ_ｄ１，ｙ_ｄ１)の画素が第４階層の基準点Ｓｄ１に設定され、該第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２の座標が(ｘ_ｄ２，ｙ_ｄ２)である場合、第３階層の探索基準点の座標(ｘ_ｃ２，ｙ_ｃ２)は、例えば、次式(１)で示される。

(ｘ_ｃ２，ｙ_ｃ２)＝(ｘ_ｄ２×２，ｙ_ｄ２×２) ・・・(１)。

また、第３階層の探索基準点が座標(ｘ_ｃ２，ｙ_ｃ２)、(ｘ_ｃ２＋１，ｙ_ｃ２)、(ｘ_ｃ２，ｙ_ｃ２＋１)、(ｘ_ｃ２＋１，ｙ_ｃ２＋１)の４画素からなる場合は、例えば、該４画素の座標は、例えば、次式(２)，(３)，(４)，(５)で示される。

(ｘ_ｃ２，ｙ_ｃ２)＝(ｘ_ｄ２×２，ｙ_ｄ２×２) ・・・(２)
(ｘ_ｃ２＋１，ｙ_ｃ２)＝(ｘ_ｄ２×２＋１，ｙ_ｄ２×２) ・・・(３)
(ｘ_ｃ２，ｙ_ｃ２＋１)＝(ｘ_ｄ２×２，ｙ_ｄ２×２＋１) ・・・(４)
(ｘ_ｃ２＋１，ｙ_ｃ２＋１)＝(ｘ_ｄ２×２＋１，ｙ_ｄ２×２＋１) ・・・(５)。

既演算情報記憶部３６６は、第４階層の探索処理における演算で得られる第４階層の既演算情報、第３階層の探索処理における演算で得られる第３階層の既演算情報、および第２階層の探索処理における演算で得られる第２階層の既演算情報を記憶する。この既演算情報記憶部３６６は、主にメモリー３６ｂで実現され得るが、記憶部３４で実現されても良い。

距離算出部３６７は、対応点探索部３６３による探索結果に基づいて、第１および第２カメラ１，２から被写体のうちの基準点Ｓａ１で捉えられている部分までの距離を算出する。具体的には、該距離は、基準画像Ｇａ１における基準点Ｓａ１の位置と、参照画像Ｇａ２における対応点Ｃａ２の位置とのズレ量と、第１および第２カメラ１，２の内部パラメータおよび外部パラメータとに基づいて、三角測量の技術が用いられて算出される。ここで、内部パラメータには、例えば、第１および第２カメラ１，２に内蔵される光学系の焦点距離、画像中心、および撮像素子の傾き等を示すパラメータが含まれる。また、外部パラメータには、例えば、第１カメラ１と第２カメラ２との位置関係および姿勢の関係等を示すパラメータが含まれる。

＜（３）画像生成部における第１〜４階層の画像群の生成＞
画像生成部３６２では、例えば、基準画像Ｇａ１の解像度が第１の所定の変換倍率で低減されることで第１変換後基準画像Ｇｂ１が生成され得る。また、第１変換後基準画像Ｇｂ１の解像度が第２の所定の変換倍率で低減されることで第２変換後基準画像Ｇｃ１が生成され得る。更に、第２変換後基準画像Ｇｃ１の解像度が第３の所定の変換倍率で低減されることで第３変換後基準画像Ｇｄ１が生成され得る。なお、基準画像Ｇａ１の解像度が第２の所定の変換倍率で低減されることで第２変換後基準画像Ｇｃ１が生成され、基準画像Ｇａ１の解像度が第３の所定の変換倍率で低減されることで第３変換後基準画像Ｇｄ１が生成されても良い。

また、画像生成部３６２では、例えば、参照画像Ｇａ２の解像度が第４の所定の変換倍率で低減されることで第１変換後参照画像Ｇｂ２が生成され得る。また、第１変換後参照画像Ｇｂ２の解像度が第５の所定の変換倍率で低減されることで第２変換後参照画像Ｇｃ２が生成され得る。更に、第２変換後参照画像Ｇｃ２の解像度が第６の所定の変換倍率で低減されることで第３変換後参照画像Ｇｄ２が生成され得る。なお、参照画像Ｇａ２の解像度が第５の所定の変換倍率で低減されることで第２変換後参照画像Ｇｃ２が生成され、参照画像Ｇａ２の解像度が第６の所定の変換倍率で低減されることで第３変換後参照画像Ｇｄ２が生成されても良い。

ここで、解像度を低減することは、例えば、画像の横方向および縦方向の画素数を低減して、同一対象物を表す粗い画質の画像に変換することを意味する。また、第１〜６の所定の変換倍率は、変換後の画像の横方向における画素数を変換前の画像の横方向における画素数で除した数値、および変換後の画像の縦方向における画素数を変換前の画像の縦方向における画素数で除した数値を示す。例えば、この所定の変換倍率は、１／ｎ（ｎは１よりも大きな任意の数）で表される。１／ｎは、例えば、１／２等であれば良い。なお、所定の変換倍率は、画像の横方向と縦方向との間で、同一であっても異なっていても良い。そして、第１の所定の変換倍率と第４の所定の変換倍率とが同一であり、第２の所定の変換倍率と第５の所定の変換倍率とが同一であり、第３の所定の変換倍率と第６の所定の変換倍率とが同一であることが好ましい。

第１〜６の所定の変換倍率が１／２である場合、基準画像Ｇａ１、第１〜３変換後基準画像Ｇｂ１〜Ｇｄ１、参照画像Ｇａ２、および第１〜３変換後参照画像Ｇｂ２〜Ｇｄ２は、例えば、次のような画像となり得る。

第１階層の基準画像Ｇａ１および参照画像Ｇａ２が、Ｘ方向に６４０個およびＹ方向に４８０個の画素が格子状に配列されている画像である。第２階層の第１変換後基準画像Ｇｂ１および第１変換後参照画像Ｇｂ２が、Ｘ方向に３２０個およびＹ方向に２４０個の画素が格子状に配列されている画像である。第３階層の第２変換後基準画像Ｇｃ１および第２変換後参照画像Ｇｃ２が、Ｘ方向に１６０個およびＹ方向に１２０個の画素が格子状に配列されている画像である。第４階層の第３変換後基準画像Ｇｄ１および第３変換後参照画像Ｇｄ２が、Ｘ方向に８０個およびＹ方向に６０個の画素が格子状に配列されている画像である。

この場合、第２階層の各画像Ｇｂ１，Ｇｂ２における座標（ｘ，ｙ）の画素の画素値は、例えば、第１階層の各画像Ｇａ１，Ｇａ２における座標（２ｘ，２ｙ），（２ｘ＋１，２ｙ），（２ｘ，２ｙ＋１），（２ｘ＋１，２ｙ＋１）の４画素の画素値の平均値とされ得る。また、第３階層の各画像Ｇｃ１，Ｇｃ２における座標（ｘ，ｙ）の画素の画素値は、例えば、第２階層の各画像Ｇｂ１，Ｇｂ２における座標（２ｘ，２ｙ），（２ｘ＋１，２ｙ），（２ｘ，２ｙ＋１），（２ｘ＋１，２ｙ＋１）の４画素の画素値の平均値とされ得る。なお、ｘは任意のＸ座標を示し、ｙは任意のＹ座標を示している。

なお、第１〜６の所定の変換倍率は、１／２に限られず、１／３等と小さい値に設定されても良い。この場合、画像生成部３６２で生成される画像群ＧＲ１，ＧＲ２に係るＭ段階（Ｍは２以上の整数）の低減が可能となり得る。これにより、探索処理の演算量の低減が可能となり、対応点探索動作の高速化が図られ得る。

また、第１〜６の所定の変換倍率は、１／１．５等のように、１／２よりも大きい値に設定されても良い。この場合、画像生成部３６２で生成される画像群ＧＲ１，ＧＲ２に係るＭ段階（Ｍは２以上の整数）が増大するが、対応点探索動作における対応点の探索精度が向上するため、対応点探索動作におけるロバスト性が向上し得る。

また、第１〜３の所定の変換倍率が異なり、第４〜６の所定の変換倍率が異なっていても良い。例えば、基準画像Ｇａ１および参照画像Ｇａ２の第１解像度が基準とされて、生成される画像の解像度が低くなれば低くなる程、変換倍率が増大するように設定されても良い。この場合、基準画像Ｇａ１および参照画像Ｇａ２で捉えられている被写体に遠景と近景とが含まれていても、低解像度の画像間については細かく対応点が探索されることでロバスト性が担保され、高解像度の画像間については高速で対応点が探索され得る。これにより、ロバスト性の担保と高速化との両立といったバランスの取れた対応点探索動作が実現され得る。

＜（４）対応点の探索処理の内容＞
ここで、対応点探索部３６３、対応点探索制御部３６４、および位置決定部３６５によって実現される対応点の探索処理における詳細な内容について説明する。

まず、図６で示されるように、基準画像Ｇａ１において第１階層の基準点Ｓａ１が設定される。また、図７で示されるように、第１変換後基準画像Ｇｂ１において第２階層の基準点Ｓｂ１が設定される。また、図８で示されるように、第２変換後基準画像Ｇｃ１において第３階層の基準点Ｓｃ１が設定される。更に、図９で示されるように、第３変換後基準画像Ｇｄ１において第４階層の基準点Ｓｄ１が設定される。そして、第４階層の探索処理、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理が順次に行われる。以下、第４階層の探索処理、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理の内容について順次に説明する。

＜（４−１）第４階層の探索処理の内容＞
第４階層の探索処理では、まず、図１０で示されるように、第３変換後基準画像Ｇｄ１において、第４階層の基準点Ｓｄ１を基準として包含する探索ウインドウ（第４階層の基準領域とも言う）Ｗｄ１が設定される。第４階層の基準領域Ｗｄ１は、例えば、第４階層の基準点Ｓｄ１が中心または重心とされて設定されれば良い。また、位置決定部３６５により、図１１で示されるように、第３変換後参照画像Ｇｄ２において、第４階層の探索基準点Ｓｄ２が設定される。そして、図１１で示されるように、第３変換後参照画像Ｇｄ２において、第４階層の探索基準点Ｓｄ２を基準として包含する探索ウインドウ（第４階層の参照領域とも言う）Ｗｄ２が設定される。第４階層の参照領域Ｗｄ２は、例えば、第４階層の探索基準点Ｓｄ２が中心または重心とされて設定されれば良い。

次に、対応点探索部３６３によって、第３変換後参照画像Ｇｄ２のうちの第４階層の参照領域Ｗｄ２において第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２が探索される。このとき、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。

ここでは、第４階層の基準領域Ｗｄ１および第４階層の参照領域Ｗｄ２は、それぞれＸ方向に沿って所定数Ｎ_１の画素が配列され、Ｙ方向に沿って所定数Ｎ_２の画素が配列される画像領域として取り扱われる。そして、これらの画像領域は、次の数１で表され得る。

ここで、上記数１におけるｆ(ｘ,ｙ)は、第４階層の基準領域Ｗｄ１に含まれる領域画像（第４階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第４階層の参照領域Ｗｄ２に含まれる領域画像（第４階層の参照領域画像とも言う）を示す。また、Ｎ_１およびＮ_２は、例えば、Ｎ_１＝２Ｍ_１＋１、Ｎ_２＝２Ｍ_２＋１と設定され得る。

そして、まず、第４階層の基準領域画像と第４階層の参照領域画像とに対し、下記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。

上記数２の但し書におけるＷの添字Ｎには、Ｎ_１，Ｎ_２が代入され、ｕはＸ方向の周波数を示し、ｖはＹ方向の周波数を示す。このため、（ｕ，ｖ）は、２次元の空間周波数を示す。ここでは、２次元のフーリエ変換処理Ｃ１１によって、第４階層の基準領域画像が周波数成分に分解され、２次元のフーリエ変換処理Ｃ２１によって、第４階層の参照領域画像が周波数成分に分解される。これにより、第４階層の基準領域画像に係る複数の周波数成分の情報を含む周波数情報（第４階層の基準周波数情報とも言う）が得られ、第４階層の参照領域画像に係る複数の周波数成分の情報を含む周波数情報（第４階層の参照周波数情報とも言う）が得られる。

ここで、例えば、探索ウインドウがＸ方向に３３個およびＹ方向に１７個の画素がマトリックス状に配列される寸法を有する場合、Ｘ方向に係る周波数ｕの周波数成分の全域は、直流成分と、周波数が１〜１６の１６個の交流成分とで表される。また、この場合、Ｙ方向に係る周波数ｖの周波数成分の全域は、直流成分と、周波数が１〜８の８個の交流成分とで表される。また、交流成分は、正弦波によって示され得る。

なお、第４階層の基準領域画像と第４階層の参照領域画像が、Ｘ方向およびＹ方向において２のべき乗の画素数からなる矩形状の寸法を有する場合、２次元のフーリエ変換処理Ｃ１１，Ｃ２１に、ＦＦＴが採用され得る。ＦＦＴは、バタフライ演算を特徴とする高速フーリエ変換（Fast Fourier Transform）である。そして、例えば、探索ウインドウがＸ方向に３２画素およびＹ方向に１６画素の寸法を有する場合、Ｘ方向に係る周波数ｕの周波数成分の全域は、直流成分と、周波数が１〜１５の１５個の交流成分とで表される。また、この場合、Ｙ方向に係る周波数ｖの周波数成分の全域は、直流成分と、周波数が１〜７の７個の交流成分とで表される。なお、２次元のフーリエ変換処理Ｃ１１，Ｃ２１による演算結果は、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とを有する複素数の形式で出力され得る。

また、フーリエ変換処理Ｃ１１，Ｃ２１によって得られる第４階層の基準周波数情報と第４階層の参照周波数情報とに係る既演算情報が、既演算情報記憶部３６６に記憶される。この既演算情報には、第４階層の基準周波数情報および第４階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。

上記フーリエ変換処理Ｃ１１，Ｃ２１で得られた第４階層の基準周波数情報と第４階層の参照周波数情報とに対しては、下記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第４階層の基準周波数情報から各空間周波数に係る位相情報（第４階層の基準位相情報とも言う）が抽出され、第４階層の参照周波数情報から各空間周波数に係る位相情報（第４階層の参照位相情報とも言う）が抽出される。

規格化処理Ｃ１２，Ｃ２２が完了すると、下記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数について、第４階層の基準位相情報と第４階層の参照位相情報とに基づいて位相差（第４階層の位相差とも言う）が算出される。ここで、数４で示されるＷｔ（ｕ，ｖ）は、必要に応じて乗ぜられる重み付け係数を示す。なお、本実施形態では、重み付け係数Ｗｔ（ｕ，ｖ）は、空間周波数（ｕ，ｖ）に拘わらず、１に設定されれば良い。

その後、下記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。

以上の処理により、第４階層の基準領域画像と第４階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。

図１３では、Ｘ方向に沿って所定数Ｎ_１の画素が配列され、Ｙ方向に沿って所定数Ｎ_２の画素が配列される矩形の画像領域において相関が高い箇所のＰＯＣ値が大きくなる。そして、第４階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、第３変換後参照画像Ｇｄ２において第４階層の基準点Ｓｄ１に対応する対応点Ｃｄ２である。

このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第４階層の探索処理により、第３変換後参照画像Ｇｄ２において第４階層の対応点Ｃｄ２の位置が検出され得る。つまり、各周波数成分に係る第４階層の基準位相情報と、各周波数成分に係る第４階層の参照位相情報とに基づき、第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２が検出され得る。

＜（４−２）第３階層の探索処理の内容＞
第３階層の探索処理では、まず、図１４で示されるように、第２変換後基準画像Ｇｃ１において、第３階層の基準点Ｓｃ１を基準として包含する探索ウインドウ（第３階層の基準領域とも言う）Ｗｃ１が設定される。第３階層の基準領域Ｗｃ１は、例えば、第３階層の基準点Ｓｃ１が中心または重心とされて設定されれば良い。一方、位置決定部３６５により、図１５で示されるように、第２変換後参照画像Ｇｃ２において、第３階層の探索基準点Ｓｃ２が設定される。そして、図１５で示されるように、第２変換後参照画像Ｇｃ２において、第３階層の探索基準点Ｓｃ２を基準として包含する探索ウインドウ（第３階層の参照領域とも言う）Ｗｃ２が設定される。第３階層の参照領域Ｗｃ２は、例えば、第３階層の探索基準点Ｓｃ２が中心または重心とされて設定されれば良い。

次に、対応点探索部３６３によって、第２変換後参照画像Ｇｃ２のうちの第３階層の参照領域Ｗｃ２において第３階層の基準点Ｓｃ１に対応する第３階層の対応点Ｃｃ２が探索される。このとき、第４階層の探索処理と同様に、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。なお、第３階層における対応点の探索処理では、第４階層における対応点の探索処理のうちの第４階層の基準領域Ｗｄ１および第４階層の参照領域Ｗｄ２の代わりに、第３階層の基準領域Ｗｃ１および第３階層の参照領域Ｗｃ２が採用される。以下、第３階層における対応点の探索処理のうち、第４階層における対応点の探索処理と異なる点について主に説明する。

ここでは、上記数１におけるｆ(ｘ,ｙ)は、第３階層の基準領域Ｗｃ１に含まれる領域画像（第３階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第３階層の参照領域Ｗｃ２に含まれる領域画像（第３階層の参照領域画像とも言う）を示す。

そして、まず、第３階層の基準領域画像と第３階層の参照領域画像とに対し、上記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。ここでは、第３階層の基準領域画像が周波数成分に分解され、第３階層の参照領域画像が周波数成分に分解される。これにより、第３階層の基準領域画像に係る複数の周波数成分の情報を含む周波数情報（第３階層の基準周波数情報とも言う）が得られ、第３階層の参照領域画像に係る複数の周波数成分の情報を含む周波数情報（第３階層の参照周波数情報とも言う）が得られる。

但し、２次元のフーリエ変換処理Ｃ１１，Ｃ２１では、既演算情報記憶部３６６に記憶されている第４階層の既演算情報が再利用されることで、一部の演算が省略される。これにより、演算量が低減され得る。

詳細には、第４階層の既演算情報に含まれる第４階層の基準周波数情報および第４階層の参照周波数情報のうちの少なくとも一部の情報が、規格化処理Ｃ１２，Ｃ２２以降の演算処理に用いられる第３階層の周波数情報に係る一部の情報として用いられる。なお、第３階層の周波数情報には、第３階層の基準周波数情報および第３階層の参照周波数情報が含まれる。つまり、第３階層の演算用の情報のうちの一部の情報は、第４階層の既演算情報から得られる。

一方、第３階層の演算用の情報のうちの残余の情報は、２次元のフーリエ変換処理Ｃ１１，Ｃ２１により、第３階層の基準領域画像と、第３階層の参照領域画像とに基づいて算出される。

また、再利用された既演算情報、ならびにフーリエ変換処理Ｃ１１，Ｃ２１によって得られた第３階層の基準周波数情報および第３階層の参照周波数情報についての既演算情報が、既演算情報記憶部３６６に記憶される。この既演算情報には、第３階層の基準周波数情報および第３階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。

次に、第３階層の基準周波数情報と第３階層の参照周波数情報とに対しては、上記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第３階層の基準周波数情報から各空間周波数に係る位相情報（第３階層の基準位相情報とも言う）が抽出され、第３階層の参照周波数情報から各空間周波数に係る位相情報（第３階層の参照位相情報とも言う）が抽出される。

規格化処理Ｃ１２，Ｃ２２が完了すると、上記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、第３階層の基準位相情報と第３階層の参照位相情報とに基づいて各空間周波数に係る位相差（第３階層の位相差とも言う）が算出される。

その後、上記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。

以上の処理により、第３階層の基準領域画像と第３階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。そして、第３階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、第２変換後参照画像Ｇｃ２において第３階層の基準点Ｓｃ１に対応する対応点Ｃｃ２である。

このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第３階層の探索処理により、第２変換後参照画像Ｇｃ２において第３階層の対応点Ｃｃ２の位置が検出され得る。つまり、各周波数成分に係る第３階層の基準位相情報と、各周波数成分に係る第３階層の参照位相情報とに基づき、第３階層の基準点Ｓｃ１に対応する第３階層の対応点Ｃｃ２が検出され得る。

＜（４−３）第２階層の探索処理の内容＞
第２階層の探索処理では、まず、図１６で示されるように、第１変換後基準画像Ｇｂ１において、第２階層の基準点Ｓｂ１を基準として包含する探索ウインドウ（第２階層の基準領域とも言う）Ｗｂ１が設定される。第２階層の基準領域Ｗｂ１は、例えば、第２階層の基準点Ｓｂ１が中心または重心とされて設定されれば良い。一方、位置決定部３６５により、図１７で示されるように、第１変換後参照画像Ｇｂ２において、第２階層の探索基準点Ｓｂ２が設定される。そして、図１７で示されるように、第１変換後参照画像Ｇｂ２において、第２階層の探索基準点Ｓｂ２を基準として包含する探索ウインドウ（第２階層の参照領域とも言う）Ｗｂ２が設定される。第２階層の参照領域Ｗｂ２は、例えば、第２階層の探索基準点Ｓｂ２が中心または重心とされて設定されれば良い。

次に、対応点探索部３６３によって、第１変換後参照画像Ｇｂ２のうちの第２階層の参照領域Ｗｂ２において第２階層の基準点Ｓｂ１に対応する第２階層の対応点Ｃｂ２が探索される。このとき、第３階層の探索処理と同様に、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。なお、第２階層における対応点の探索処理では、第３階層における対応点の探索処理のうちの第３階層の基準領域Ｗｃ１および第３階層の参照領域Ｗｃ２の代わりに、第２階層の基準領域Ｗｂ１および第２階層の参照領域Ｗｂ２が採用される。以下、第２階層における対応点の探索処理のうち、第３階層における対応点の探索処理と異なる点について主に説明する。

ここでは、上記数１におけるｆ(ｘ,ｙ)は、第２階層の基準領域Ｗｂ１に含まれる領域画像（第２階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第２階層の参照領域Ｗｂ２に含まれる領域画像（第２階層の参照領域画像とも言う）を示す。

そして、まず、第２階層の基準領域画像と第２階層の参照領域画像とに対し、上記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。ここでは、第２階層の基準領域画像が周波数成分に分解され、第２階層の参照領域画像が周波数成分に分解される。これにより、第２階層の基準領域画像に係る複数の周波数成分を含む周波数情報（第２階層の基準周波数情報とも言う）が得られ、第２階層の参照領域画像に係る複数の周波数成分を含む周波数情報（第２階層の参照周波数情報とも言う）が得られる。

但し、２次元のフーリエ変換処理Ｃ１１，Ｃ２１では、既演算情報記憶部３６６に記憶されている第３階層の既演算情報が再利用されることで、一部の演算が省略される。これにより、演算量が低減され得る。

詳細には、第３階層の既演算情報に含まれる第３階層の基準周波数情報および第３階層の参照周波数情報のうちの少なくとも一部の情報が、規格化処理Ｃ１２，Ｃ２２以降の演算処理に用いられる第２階層の周波数情報に係る一部の情報として用いられる。第２階層の周波数情報には、第２階層の基準周波数情報および第２階層の参照周波数情報が含まれる。つまり、第２階層の演算用の情報のうちの一部の情報は、第３階層の既演算情報から得られる。

一方、第２階層の演算用の情報のうちの残余の情報は、２次元のフーリエ変換処理Ｃ１１，Ｃ２１により、第２階層の基準領域画像と、第２階層の参照領域画像とに基づいて算出される。

また、再利用された既演算情報、ならびにフーリエ変換処理Ｃ１１，Ｃ２１によって得られた第２階層の基準周波数情報および第２階層の参照周波数情報についての既演算情報が、既演算情報記憶部３６６に記憶される。この既演算情報には、第２階層の基準周波数情報および第２階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。

次に、第２階層の基準周波数情報と第２階層の参照周波数情報とに対しては、上記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第２階層の基準周波数情報から各空間周波数に係る位相情報（第２階層の基準位相情報とも言う）が抽出され、第２階層の参照周波数情報から各空間周波数に係る位相情報（第２階層の参照位相情報とも言う）が抽出される。

規格化処理Ｃ１２，Ｃ２２が完了すると、上記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数に係る第２階層の基準位相情報と各空間周波数に係る第２階層の参照位相情報とに基づいて各空間周波数に係る位相差（第２階層の位相差とも言う）が算出される。

その後、上記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。

以上の処理により、第２階層の基準領域画像と第２階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。そして、第２階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、第１変換後参照画像Ｇｂ２において第２階層の基準点Ｓｂ１に対応する対応点Ｃｂ２である。

このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第２階層の探索処理により、第１変換後参照画像Ｇｂ２において第２階層の対応点Ｃｂ２の位置が検出され得る。つまり、各周波数成分に係る第２階層の基準位相情報と、各周波数成分に係る第２階層の参照位相情報とに基づき、第２階層の基準点Ｓｂ１に対応する第２階層の対応点Ｃｂ２が検出され得る。

＜（４−４）第１階層の探索処理の内容＞
第１階層の探索処理では、まず、図１８で示されるように、基準画像Ｇａ１において、第１階層の基準点Ｓａ１を基準として包含する探索ウインドウ（第１階層の基準領域とも言う）Ｗａ１が設定される。第１階層の基準領域Ｗａ１は、例えば、第１階層の基準点Ｓａ１が中心または重心とされて設定されれば良い。一方、位置決定部３６５により、図１９で示されるように、参照画像Ｇａ２において、第１階層の探索基準点Ｓａ２が設定される。そして、図１９で示されるように、参照画像Ｇａ２において、第１階層の探索基準点Ｓａ２を基準として包含する探索ウインドウ（第１階層の参照領域とも言う）Ｗａ２が設定される。第１階層の参照領域Ｗａ２は、例えば、第１階層の探索基準点Ｓａ２が中心または重心とされて設定されれば良い。

次に、対応点探索部３６３によって、参照画像Ｇａ２のうちの第１階層の参照領域Ｗａ２において第１階層の基準点Ｓａ１に対応する第１階層の対応点Ｃａ２が探索される。このとき、第２階層の探索処理と同様に、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。なお、第１階層における対応点の探索処理では、第２階層における対応点の探索処理のうちの第２階層の基準領域Ｗｂ１および第２階層の参照領域Ｗｂ２の代わりに、第１階層の基準領域Ｗａ１および第１階層の参照領域Ｗａ２が採用される。以下、第１階層における対応点の探索処理のうち、第２階層における対応点の探索処理と異なる点について主に説明する。

ここでは、上記数１におけるｆ(ｘ,ｙ)は、第１階層の基準領域Ｗａ１に含まれる領域画像（第１階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第１階層の参照領域Ｗａ２に含まれる領域画像（第１階層の参照領域画像とも言う）を示す。

そして、まず、第１階層の基準領域画像と第１階層の参照領域画像とに対し、上記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。ここでは、第１階層の基準領域画像が周波数成分に分解され、第１階層の参照領域画像が周波数成分に分解される。これにより、第１階層の基準領域画像に係る複数の周波数成分を含む周波数情報（第１階層の基準周波数情報とも言う）が得られ、第１階層の参照領域画像に係る複数の周波数成分を含む周波数情報（第１階層の参照周波数情報とも言う）が得られる。

但し、２次元のフーリエ変換処理Ｃ１１，Ｃ２１では、既演算情報記憶部３６６に記憶されている第２階層の既演算情報が再利用されることで、一部の演算が省略される。これにより、演算量が低減され得る。

詳細には、既演算情報に含まれる第２階層の基準周波数情報および第２階層の参照周波数情報のうちの少なくとも一部の情報が、規格化処理Ｃ１２，Ｃ２２以降の演算処理に用いられる第１階層の周波数情報に係る一部の情報として用いられる。第１階層の周波数情報には、第１階層の基準周波数情報および第１階層の参照周波数情報が含まれ得る。つまり、第１階層の演算用の情報のうちの一部の情報は、第２階層の既演算情報から得られる。

一方、第１階層の演算用の情報のうちの残余の情報は、２次元のフーリエ変換処理Ｃ１１，Ｃ２１により、第１階層の基準領域画像と、第１階層の参照領域画像とに基づいて算出される。

次に、第１階層の基準周波数情報と第１階層の参照周波数情報とに対しては、上記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第１階層の基準周波数情報から各空間周波数に係る位相情報（第１階層の基準位相情報とも言う）が抽出され、第１階層の参照周波数情報から各空間周波数に係る位相情報（第１階層の参照位相情報とも言う）が抽出される。

規格化処理Ｃ１２，Ｃ２２が完了すると、上記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数に係る第１階層の基準位相情報と各空間周波数に係る第１階層の参照位相情報とに基づいて各空間周波数に係る位相差（第１階層の位相差とも言う）が算出される。

その後、上記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。

以上の処理により、第１階層の基準領域画像と第１階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。そして、第１階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、参照画像Ｇａ２において第１階層の基準点Ｓａ１に対応する対応点Ｃａ２である。

このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第１階層の探索処理により、参照画像Ｇａ２において第１階層の対応点Ｃａ２の位置が検出され得る。つまり、各周波数成分に係る第１階層の基準位相情報と、各周波数成分に係る第１階層の参照位相情報とに基づき、第１階層の基準点Ｓａ１に対応する第１階層の対応点Ｃａ２が検出され得る。また、基準画像Ｇａ１における第１階層の基準点Ｓａ１の位置と参照画像Ｇａ２における第１階層の対応点Ｃａ２の位置とのズレ量（視差とも言う）が検出され得る。

＜（５）探索処理における既演算情報の再利用方法＞
第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理における既演算情報の再利用方法は、同様なものとなる。このため、ここでは、第３階層の探索処理における既演算情報の再利用方法を例に挙げて説明する。

また、第３階層の探索処理における既演算情報の再利用方法には、第３階層の基準周波数情報の一部の再利用方法（第３階層の基準再利用方法とも言う）と、第３階層の参照周波数情報の一部の再利用方法（第３階層の参照再利用方法とも言う）とが含まれる。そして、第３階層の基準再利用方法と第３階層の参照再利用方法とは、同様なものとなる。このため、ここでは、第３階層の基準再利用方法を例に挙げて説明する。つまり、第４階層の基準周波数情報の一部が第３階層の基準周波数情報の一部として再利用される方法を例に挙げて説明する。また、ここでは、所定の変換倍率が１／２であるものとする。

図２０および図２１は、第３階層の基準再利用方法について説明するための図である。第３階層の基準周波数情報には、２次元の空間周波数（ｕ，ｖ）に係る第３階層の振幅情報と第３階層の基準位相情報とが含まれる。但し、まずは、説明の簡略化を図るために、Ｘ方向の一次元の周波数情報に着目して説明する。

図２０には、第４階層の基準周波数情報が模式的に示されている。ここでは、例えば、第４階層の基準領域Ｗｄ１および第３階層の基準領域Ｗｃ１が、Ｘ方向に３３個およびＹ方向に１７個の画素がマトリックス状に配列される寸法を有しているものとする。この場合、Ｘ方向に係る周波数ｕは、周波数が１〜１６の１６個の交流成分で表され得る。但し、図２０では、図面の複雑化を回避する目的で、周波数が１〜４の４個の交流成分が示されている。なお、図２０の矩形状の太枠の横幅は、第４階層の基準領域Ｗｄ１のＸ方向の幅Ｗｏ１を示し、該矩形状の太枠の縦方向は、周波数が１〜４の４個の交流成分の振幅を示す。

具体的には、図２０では、周波数が１の交流成分が実線の曲線Ｌｄ１で描かれ、周波数が２の交流成分が一点鎖線の曲線Ｌｄ２で描かれ、周波数が３の交流成分が二点鎖線の曲線Ｌｄ３で描かれ、周波数が４の交流成分が破線の曲線Ｌｄ４で描かれている。

図２１には、第４階層の基準周波数情報と、第３階層の基準周波数情報との関係が示されている。図２１の上部には、図２０で示された第４階層の基準周波数情報のうちの周波数が１〜４の４個の交流成分が示されている。また、図２１の下部には、第３階層の基準周波数情報のうちの周波数が１，２の２つの交流成分が示されている。具体的には、図２１の下部では、周波数が１の交流成分が一点鎖線の曲線Ｌｃ１で描かれ、周波数が２の交流成分が破線の曲線Ｌｃ２で描かれている。

ここで、第４階層の基準領域画像は、第３階層の第２変換後基準画像Ｇｃ１上においては、Ｘ方向およびＹ方向にそれぞれ２倍の画素数を有する領域画像に拡大される。このため、第３階層の基準周波数情報のうちの交流成分は、第４階層の基準周波数情報のうちの交流成分が、Ｘ方向に２倍拡大されたものとなる。

図２１では、太い破線および太い一点鎖線が、第４階層の基準領域画像におけるＸ方向の範囲と、第３階層の基準領域画像におけるＸ方向の範囲との対応関係を示している。そして、図２１の下部における矩形状の太枠の横幅は、第３階層の基準領域Ｗｃ１のＸ方向の幅Ｗｏ１を示し、該矩形状の太枠の縦方向は、周波数が１，２の２個の交流成分の振幅を示す。

図２１で示されるように、第４階層の周波数が４の交流成分は、第３階層の周波数が２の交流成分に対応し、第４階層の周波数が２の交流成分は、第３階層の周波数が１の交流成分に対応し得る。

このように、第４階層の周波数が４の交流成分と、第３階層の周波数が２の交流成分とは完全には一致せず、第４階層の周波数が２の交流成分と、第３階層の周波数が１の交流成分とは完全には一致しなくても、それぞれ類似の関係にある。このため、第４階層の探索処理における演算で算出された第４階層の基準周波数情報の一部を、第３階層の探索処理において再利用することが可能となる。

具体的には、所定の変換倍率が１／ｎであれば、第４階層の周波数ｕ_４と第３階層の周波数ｕ_３との間には、次の式(６)の関係が成立し得る。

ｕ_３＝ｕ_４／ｎ ・・・(６)。

例えば、所定の変換倍率１／ｎが１／２であれば、第４階層の周波数ｕ_４が２，４，６，８，１０，１２，１４，１６である場合についての交流成分の情報は、それぞれ第３階層の周波数ｕ_３が１〜８である場合についての交流成分の情報として再利用され得る。換言すれば、第４階層の周波数ｕ_４が偶数である場合についての交流成分の情報が、それぞれ１／２の周波数ｕ_３に係る第３階層の交流成分の情報として再利用され得る。これに対し、第３階層の周波数ｕ_３が９〜１６である場合における交流成分の情報については、第４階層の基準周波数情報に、対応する交流成分の情報が存在していない。このため、第３階層の周波数ｕ_３が９〜１６である場合についての交流成分の情報については、第３階層の基準領域画像を対象としたフーリエ変換処理によって、新たに算出されれば良い。したがって、Ｘ方向については、第３階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約１／２に低減され得る。

但し、図２１で示されるように、第４階層の基準領域画像に係る偶数の周波数の交流成分と、第３階層の基準領域画像に係るその１／２の周波数の交流成分との間では、位相がｕ_３×πずれる。このため、例えば、第４階層の周波数ｕ_４の交流成分の情報が、その１／２の周波数ｕ_３の交流成分の情報として再利用される際には、第４階層の周波数ｕ_４の交流成分の位相ｕ_４θがずれ量ｕ_３×πで補正されれば良い。そして、その結果、第３階層の周波数ｕ_３についての交流成分の位相が２×ｕ_４θ−ｕ_３×πとされれば良い。つまり、第３階層の探索処理では、第４階層の既演算情報から第４階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量ｕ_３×πによって第４階層の基準位相情報が補正されて得られる情報が演算に用いられる。これにより、探索処理における対応点探索の精度が向上し得る。

上述したＸ方向についての説明と同様に、Ｙ方向の一次元の周波数情報に着目すると、Ｙ方向に係る周波数ｖは、周波数が１〜８の８個の交流成分で表され得る。そして、第４階層の周波数ｖ_４が２，４，６，８である場合についての交流成分の情報は、それぞれ第３階層の周波数ｖ_３が１〜４である場合についての交流成分の情報として再利用され得る。換言すれば、第４階層の周波数ｖ_４が偶数である場合についての交流成分の情報が、それぞれ１／２の周波数ｖ_３に係る第３階層の交流成分の情報として再利用され得る。これに対し、第３階層の周波数ｖ_３が５〜８である場合における交流成分の情報については、第４階層の基準周波数情報に、対応する交流成分の情報が存在していない。このため、第３階層の周波数ｖ_３が５〜８である場合についての交流成分の情報については、第３階層の基準領域画像を対象としたフーリエ変換処理によって、新たに算出されれば良い。したがって、Ｙ方向については、第３階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約１／２に低減され得る。

また、Ｙ方向についても、第４階層の偶数の周波数の交流成分の情報が、その１／２の周波数の交流成分の情報として再利用される際には、第４階層の周波数ｖ_４の交流成分の位相ｖ_４θがずれ量ｖ_３×πで補正されれば良い。この場合、第３階層の周波数ｖ_３についての交流成分の位相が２×ｖ_４θ−ｖ_３×πとされれば良い。これにより、探索処理における対応点探索の精度が向上し得る。

ところで、Ｘ方向とＹ方向とを含む２次元の空間周波数（ｕ，ｖ）に係る周波数成分の情報は、Ｘ方向に係る周波数ｕの周波数成分と、Ｙ方向に係る周波数ｖの周波数成分とが合成されたものに相当する。

このため、第３階層の探索処理では、第４階層の既演算情報から得られる空間周波数（ｕ_４，ｖ_４）に係る第４階層の基準周波数情報が、空間周波数（ｕ_４，ｖ_４）に所定の変換倍率が乗じられて得られる空間周波数（ｕ_３，ｖ_３）に係る基準周波数情報として用いられる。具体的には、所定の変換倍率が１／２であれば、周波数ｕ_４，ｖ_４が共に偶数である空間周波数（ｕ_４，ｖ_４）についての第４階層の基準領域画像に係る周波数成分の情報が、半分の空間周波数（ｕ_３，ｖ_３）についての第３階層の基準領域画像に係る周波数成分の情報として再利用され得る。このような情報の再利用により、第３階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約｛１−（１／２）^２｝に低減され得る。

但し、この再利用の際には、上述したように、Ｘ方向について、第４階層の周波数ｕ_４の交流成分の位相ｕ_４θがずれ量ｕ_３×πで補正され、第３階層の周波数ｕ_３についての交流成分の位相が２×ｕ_４θ−ｕ_３×πとされれば良い。また、Ｙ方向について、第４階層の周波数ｖ_４の交流成分の位相ｖ_４θがずれ量ｖ_３×πで補正され、第３階層の周波数ｖ_３についての交流成分の位相が２×ｖ_４θ−ｖ_３×πとされれば良い。

つまり、第３階層の探索処理では、第４階層の既演算情報から第４階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量（ｕ_３×π，ｖ_３×π）によって第４階層の基準位相情報が補正されて演算用の情報が得られる。このとき、第３階層の探索処理では、第４階層の既演算情報から得られる空間周波数（ｕ_４，ｖ_４）に係る第４階層の基準周波数情報が、周波数（ｕ_４，ｖ_４）に所定の変換倍率が乗じられて得られる周波数（ｕ_３，ｖ_３）に係る基準周波数情報として用いられる。これによって、解像度の低減に係る所定の変換倍率に応じて再利用される情報の周波数の対応関係が決まり、対応点の探索処理における演算の設計が容易となり得る。

なお、第４階層の探索処理において既演算情報記憶部３６６に記憶される第４階層の既演算情報には、第３階層の探索処理において再利用される情報が記憶されていれば良い。そして、既演算情報記憶部３６６に必要である記憶容量が極力低減される観点から言えば、第４階層の既演算情報には、第３階層の探索処理において再利用されない情報が含まれない方が好ましい。

＜（６）三角測定の原理を用いた距離の測定＞
図２２は、基準画像Ｇａ１と参照画像Ｇａ２との間における画素の対応関係から三角測量の原理に基づいて、第１および第２カメラ１，２から被写体ＯＢ１までの距離を算出する方法を模式的に示す図である。

基準画像Ｇａ１と参照画像Ｇａ２との間で、第１階層の基準点Ｓａ１と第１階層の対応点Ｃａ２とのズレ量（視差）がΔｄであった場合に、第１および第２カメラ１，２から被写体ＯＢ１までの距離Ｄは、次の式(７)から算出され得る。

Ｄ＝ｆＢ／Δｄ ・・・(７)。

式(７)では、カメラの基線長がＢ、第１および第２カメラ１，２のレンズにおける焦点距離がｆとされている。

＜（７）対応点探索動作のフロー＞
図２３および図２４は、本実施形態に係る対応点探索動作に係る動作フローを例示するフローチャートである。本フローは、例えば、制御部３６の制御によって実現され得る。

まず、図２３のステップＳｔ１では、画像取得部３６１によって、第１カメラ１から第１画像に係るデータＭ１が取得される。

ステップＳｔ２では、画像取得部３６１によって、第２カメラ２から第２画像に係るデータＭ２が取得される。

ステップＳｔ３では、画像生成部３６２によって、所定の変換倍率に従い、基準画像Ｇａ１としての第１画像の解像度が順次に低減されて第１変換後基準画像Ｇｂ１、第２変換後基準画像Ｇｃ１、および第３変換後基準画像Ｇｄ１が生成される。また、画像生成部３６２によって、所定の変換倍率に従い、参照画像Ｇａ２としての第２画像の解像度が順次に低減されて第１変換後参照画像Ｇｂ２、第２変換後参照画像Ｇｃ２、および第３変換後参照画像Ｇｄ２が生成される。

ステップＳｔ４では、対応点探索部３６３によって、基準画像Ｇａ１に第１階層の基準点Ｓａ１が設定される。また、対応点探索部３６３によって、第１変換後基準画像Ｇｂ１に第２階層の基準点Ｓｂ１が設定され、第２変換後基準画像Ｇｃ１に第３階層の基準点Ｓｃ１が設定され、第３変換後基準画像Ｇｄ１に第４階層の基準点Ｓｄ１が設定される。なお、上述したように、第２階層の基準点Ｓｂ１、第３階層の基準点Ｓｃ１、および第４階層の基準点Ｓｄ１では、第１階層の基準点Ｓａ１と被写体の同一部分が捉えられている。なお、ステップＳｔ４の処理が１回目の場合には、例えば、基準画像Ｇａ１の左上の画素が第１階層の基準点Ｓａ１として設定され得る。そして、例えば、ステップＳｔ１１からステップＳｔ４に戻ってくる度に、基準画像Ｇａ１に含まれる次の画素が第１階層の基準点Ｓａ１として設定されば良い。これにより、基準画像Ｇａ１に含まれる全画素が順次に第１階層の基準点Ｓａ１として設定され得る。

ステップＳｔ５では、対応点探索部３６３によって、第１〜４階層の画像群１Ｈｙ〜４Ｈｙのうち、対応点の探索処理の対象となる階層の画像群を指定するための数値Ｎ_ｈ（Ｎ_ｈは１〜４の整数）が４に設定される。

ステップＳｔ６では、対応点探索部３６３によって、第１〜４階層の画像群１Ｈｙ〜４Ｈｙのうち、対応点の探索処理の対象となる第Ｎ_ｈ階層の画像群Ｎ_ｈＨｙが指定される。

ステップＳｔ７では、位置決定部３６５によって、第Ｎ_ｈ階層の探索基準点が決定される。このステップＳｔ７では、例えば、Ｎ_ｈ＝４であれば、第３変換後参照画像Ｇｄ２において第４階層の探索基準点Ｓｄ２が決定される。また、例えば、Ｎ_ｈ＝３であれば、第３変換後参照画像Ｇｄ２における第４階層の対応点Ｃｄ２の位置に基づき、第２変換後参照画像Ｇｃ２において第３階層の探索基準点Ｓｃ２が決定される。また、例えば、Ｎ_ｈ＝２であれば、第２変換後参照画像Ｇｃ２における第３階層の対応点Ｃｃ２の位置に基づき、第１変換後参照画像Ｇｂ２において第２階層の探索基準点Ｓｂ２が決定される。また、例えば、Ｎ_ｈ＝１であれば、第１変換後参照画像Ｇｂ２における第２階層の対応点Ｃｂ２の位置に基づき、参照画像Ｇａ２において第１階層の探索基準点Ｓａ２が決定される。

ステップＳｔ８では、対応点探索部３６３によって、図２４で示される対応点の探索処理の動作フローが実行され得る。ここで、図２４で示される動作フローについて説明する。

図２４のステップＳｔ８１では、ステップＳｔ４で設定された第Ｎ_ｈ階層の基準点が基準とされて第Ｎ_ｈ階層の基準領域が設定される。例えば、Ｎ_ｈ＝４であれば、第３変換後基準画像Ｇｄ１において第４階層の基準点Ｓｄ１を基準として包含する第４階層の基準領域Ｗｄ１が設定される。また、Ｎ_ｈ＝３であれば、第２変換後基準画像Ｇｃ１において第３階層の基準点Ｓｃ１を基準として包含する第３階層の基準領域Ｗｃ１が設定される。また、Ｎ_ｈ＝２であれば、第１変換後基準画像Ｇｂ１において第２階層の基準点Ｓｂ１を基準として包含する第２階層の基準領域Ｗｂ１が設定される。また、Ｎ_ｈ＝１であれば、基準画像Ｇａ１において第１階層の基準点Ｓａ１を基準として包含する第１階層の基準領域Ｗａ１が設定される。

ステップＳｔ８２では、ステップＳｔ７で決定された第Ｎ_ｈ階層の探索基準点が基準とされて第Ｎ_ｈ階層の参照領域が設定される。例えば、Ｎ_ｈ＝４であれば、第３変換後参照画像Ｇｄ２において第４階層の探索基準点Ｓｄ２を基準として包含する第４階層の参照領域Ｗｄ２が設定される。また、Ｎ_ｈ＝３であれば、第２変換後参照画像Ｇｃ２において第３階層の探索基準点Ｓｃ２を基準として包含する第３階層の参照領域Ｗｃ２が設定される。また、Ｎ_ｈ＝２であれば、第１変換後参照画像Ｇｂ２において第２階層の探索基準点Ｓｂ２を基準として包含する第２階層の参照領域Ｗｂ２が設定される。また、Ｎ_ｈ＝１であれば、参照画像Ｇａ２において第１階層の探索基準点Ｓａ２を基準として包含する第１階層の参照領域Ｗａ２が設定される。

ステップＳｔ８３では、数値Ｎ_ｈが４であるか否かが判定される。ここで、数値Ｎ_ｈが４であれば、ステップＳｔ８４に進み、数値Ｎ_ｈが４でなければ、ステップＳｔ８６に進む。

ステップＳｔ８４では、第４階層の基準領域画像と第４階層の参照領域画像とに対して、２次元のフーリエ変換処理がそれぞれ行われる。これにより、第４階層の基準周波数情報と第４階層の参照周波数情報とが得られる。

ステップＳｔ８５では、第４階層の既演算情報が、既演算情報記憶部３６６に記憶される。

ステップＳｔ８６では、既演算情報記憶部３６６に記憶されている第Ｎ_ｈ＋１階層の既演算情報が、第Ｎ_ｈ階層の演算用の情報の一部として再利用される。

ステップＳｔ８７では、第Ｎ_ｈ階層の演算用の情報のうちの残余の情報が、第Ｎ_ｈ階層の基準領域画像と第Ｎ_ｈ階層の参照領域画像とに対する部分的な２次元のフーリエ変換処理によって算出される。これにより、第Ｎ_ｈ階層の基準周波数情報と第Ｎ_ｈ階層の参照周波数情報とが得られる。

ステップＳｔ８８では、第Ｎ_ｈ階層の既演算情報が、既演算情報記憶部３６６に記憶される。

ステップＳｔ８９では、ステップＳｔ８４またはステップＳｔ８７で得られた第Ｎ_ｈ階層の基準周波数情報と第Ｎ_ｈ階層の参照周波数情報とに対して、画像の振幅成分を除去するための規格化処理が行われる。これにより、第Ｎ_ｈ階層の基準位相情報と第Ｎ_ｈ階層の参照位相情報が得られる。

ステップＳｔ９０では、ステップＳｔ８９で得られた第Ｎ_ｈ階層の基準位相情報と第Ｎ_ｈ階層の参照位相情報に対する合成処理が行われる。これにより、各空間周波数に係る第Ｎ_ｈ階層の位相差が算出される。

ステップＳｔ９１では、ステップＳｔ９０で得られた各空間周波数に係る第Ｎ_ｈ階層の位相差に対する２次元の逆フーリエ変換処理が行われる。これにより、第Ｎ_ｈ階層の画像群Ｎ_ｈＨｙに含まれる各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。

ステップＳｔ９２では、ステップＳｔ９１で得られたＰＯＣ値のピークの位置が検出される。これにより、第Ｎ_ｈ階層の対応点の位置が検出される。例えば、Ｎ_ｈ＝４であれば、第４階層の対応点Ｃｄ２の位置が検出され、Ｎ_ｈ＝３であれば、第３階層の対応点Ｃｃ２の位置が検出され、Ｎ_ｈ＝２であれば、第２階層の対応点Ｃｂ２の位置が検出され、Ｎ_ｈ＝１であれば、第１階層の対応点Ｃａ２の位置が検出される。検出後、図２３のステップＳｔ８に戻り、ステップＳｔ９に進む。

次に、図２３のステップＳｔ９では、対応点探索部３６３によって、数値Ｎ_ｈが１であるか否かが判定される。ここで、数値Ｎ_ｈが１でなければ、ステップＳｔ１０に進み、数値Ｎ_ｈが１であれば、ステップＳｔ１１に進む。

ステップＳｔ１０では、対応点探索部３６３によって、数値Ｎ_ｈが１だけ減され、ステップＳｔ６に進む。

ステップＳｔ１１では、対応点探索部３６３によって、基準画像Ｇａ１において、対応点の探索処理の対象となる画素（被処理画素とも言う）が残っているか否か判定される。ここで、被処理画素が残っていれば、ステップＳｔ４に戻る。そして、被処理画素がなくなるまで、ステップＳｔ４〜Ｓｔ１１の処理が繰り返される。一方、被処理画素が残っていなければ、本動作フローが終了される。

＜（８）一実施形態のまとめ＞
以上のように、一実施形態に係る画像処理装置３では、相対的に低解像度の画像群の画像間における対応点の探索処理の演算で得られた周波数成分に係る情報が、相対的に高解像度の画像群の画像間における対応点の探索処理の演算で再利用される。これにより、対応点の探索処理における演算量が低減され得る。その結果、対応点の探索処理に用いられる画像の状態に拘わらず、対応点の探索速度が向上し得る。また、例えば、画一的な演算によって対応点の探索速度が向上し得るため、対応点の探索処理を行う部分を専用の電子回路等によってハードウェア化することも可能となる。そして、例えば、ＰＯＣ演算法を用いた高精度の対応点の探索処理において、探索速度が向上し得る。

＜（９）変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。

＜（９−１）第１変形例＞
上記一実施形態では、第２〜４階層の既演算情報に、第２〜４階層の基準周波数情報および第２〜４階層の参照周波数情報のうちの少なくとも一部の情報が含まれたが、これに限られない。例えば、第２〜４階層の既演算情報に、規格化処理によって得られる第２〜４階層の基準位相情報および第２〜４階層の参照位相情報のうちの少なくとも一部の情報が含まれても良い。

この場合、例えば、第４階層の探索処理において既演算情報記憶部３６６に記憶された第４既演算情報としての第４階層の基準位相情報と第４階層の参照位相情報が、第３階層の探索処理において再利用され得る。なお、第４階層の既演算情報から第４階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第４階層の基準位相情報が補正されて得られる情報が演算に用いられれば良い。また、第４階層の既演算情報から第４階層の参照位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第４階層の参照位相情報が補正されて得られる情報が演算に用いられれば良い。ここで、第３階層の空間周波数が（ｕ_３，ｖ_３）であれば、位相のずれ量が（ｕ_３×π，ｖ_３×π）になる。

また、第３階層の探索処理において既演算情報記憶部３６６に記憶された第３既演算情報としての第３階層の基準位相情報と第３階層の参照位相情報が、第２階層の探索処理において再利用され得る。なお、第３階層の既演算情報から第３階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第３階層の基準位相情報が補正されて得られる情報が演算に用いられれば良い。また、第３階層の既演算情報から第３階層の参照位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第３階層の参照位相情報が補正されて得られる情報が演算に用いられれば良い。ここで、第２階層の空間周波数が（ｕ_２，ｖ_２）であれば、位相のずれ量が（ｕ_２×π，ｖ_２×π）になる。

また、第２階層の探索処理において既演算情報記憶部３６６に記憶された第２既演算情報としての第２階層の基準位相情報と第２階層の参照位相情報が、第１階層の探索処理において再利用され得る。なお、第２階層の既演算情報から第２階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第２階層の基準位相情報が補正されて得られる情報が演算に用いられれば良い。また、第２階層の既演算情報から第２階層の参照位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第２階層の参照位相情報が補正されて得られる情報が演算に用いられれば良い。ここで、第１階層の空間周波数が（ｕ_１，ｖ_１）であれば、位相のずれ量が（ｕ_１×π，ｖ_１×π）になる。

このような構成が採用されることで、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理における２次元のフーリエ変換処理および規格化処理の一部が省略され得る。これにより、演算量の更なる低減によって、対応点の探索速度が更に向上し得る。また、再利用される情報における情報量の低減により、既演算情報記憶部３６６の記憶容量の低減が図られ得る。その結果、画像処理装置３の小型化ならびに製造コストの低減が図られ得る。

＜（９−２）第２変形例＞
例えば、第２〜４階層の既演算情報に、合成処理によって得られる各空間周波数に係る第２〜４階層の位相差を示す情報が含まれても良い。

この場合、例えば、第４階層の探索処理において既演算情報記憶部３６６に記憶された第４既演算情報としての各空間周波数に係る第４階層の位相差を示す情報が、第３階層の探索処理において再利用され得る。また、第３階層の探索処理において既演算情報記憶部３６６に記憶された第３既演算情報としての第３階層の各空間周波数に係る位相差を示す情報が、第２階層の探索処理において再利用され得る。また、第２階層の探索処理において既演算情報記憶部３６６に記憶された第２既演算情報としての第２階層の各空間周波数に係る位相差を示す情報が、第１階層の探索処理において再利用され得る。但し、位相差が再利用される際には、位相差に所定の変換倍率が乗ぜられた上で再利用されれば良い。

このような構成が採用されることで、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理における２次元のフーリエ変換処理および規格化処理の一部が省略され得る。これにより、演算量の更なる低減によって、対応点の探索速度が更に向上し得る。また、再利用される情報における情報量の低減により、既演算情報記憶部３６６の記憶容量の低減が図られ得る。その結果、画像処理装置３の小型化ならびに製造コストの低減が図られ得る。

＜（９−３）第３変形例＞
上記一実施形態に係る対応点探索部３６３では、対応点の探索処理においてＰＯＣ演算法を用いた相関演算が行われたが、これに限られない。対応点探索部３６３における相関演算の方法として、例えば、ＰＳＡ（Phase-Difference Spectrum Analysis）法が採用されても良い。

以下、ＰＳＡ法を用いた相関演算の方法のうち、上記一実施形態に係るＰＯＣ演算法を用いた相関演算の方法と異なる点について主に説明する。なお、第１〜４階層の探索処理は、相互に同様な方法が採用され得る。このため、第４階層の探索処理を例にとって説明する。

ここでは、上記一実施形態と同様に、第４階層の基準領域画像および第４階層の参照領域画像に対してフーリエ変換処理Ｃ１１，Ｃ２１と規格化処理Ｃ１２，Ｃ２２とが順次に行われ、更に合成処理Ｃ３が行われる。これにより、各空間周波数（ｕ，ｖ）に係る第４階層の位相差Δθ（ｕ，ｖ）が得られる。つまり、各空間周波数（ｕ，ｖ）について、第４階層の基準位相情報と第４階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られる。

ここで、第４階層の基準領域Ｗｄ１における基準点Ｓｄ１の位置と第４階層の参照領域Ｗｄ２における対応点Ｃｄ２の位置との間におけるＸ方向およびＹ方向におけるズレ量（視差）がｄｘおよびｄｙとされる。そして、相関演算の対象となっている矩形状の基準領域Ｗｄ１と参照領域Ｗｄ２を構成するＸ方向およびＹ方向の画素数がそれぞれＮ_１およびＮ_２とされると、次の式(８)の関係が成立する。

ｄｙ＝−（Ｎ_２／Ｎ_１）×（ｕ／ｖ）×ｄｘ＋（Ｎ_２／２π）×Δθ（ｕ，ｖ）／ｖ ・・・(８)。

式(８)のうち、基準領域と参照領域のサイズを示す値Ｎ_１，Ｎ_２は設計によって定まる。このため、式(８)に対して、設計値である値Ｎ_１，Ｎ_２が代入され、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が代入されることで、各空間周波数（ｕ，ｖ）についての視差ｄｘと視差ｄｙとの関係を示す一次関数（視差一次関数とも言う）が得られる。

したがって、ＰＳＡ法を用いた相関演算では、次の工程（Ｉ），（II）がこの順番で順次に行われることで、第４階層の基準領域Ｗｄ１と第４階層の参照領域Ｗｄ２との間における相関値の最大値（最大相関値とも言う）Ｃ_ｍａｘが得られる。

（Ｉ）上式(８)に従って、空間周波数（ｕ，ｖ）毎に、位相差Δθ（ｕ，ｖ）が、第４階層の基準点Ｓｄ１と第４階層の対応点Ｃｄ２とに係る視差（ｄｘ，ｄｙ）に変換されて、視差一次関数が得られる。

（II）工程（Ｉ）で得られる各空間周波数（ｕ，ｖ）の視差一次関数に基づき、視差ｄｘを横軸、視差ｄｙを縦軸とする所定サイズの空間（投票空間とも言う）の各座標に対する投票が行われる。これにより、投票空間の各座標に対する投票数の積算値の分布が得られる。このとき、投票数の積算値の最大値が最大相関値Ｃ_ｍａｘとして得られる。

ここで、投票空間の各座標に対する投票方法について説明する。

図２５は、投票空間Ｄｄ１を例示する模式図である。

図２５で示されるように、投票空間Ｄｄ１は、縦軸と横軸とが直交する２次元の空間座標系によって構成され、その横軸は視差ｄｘを示し、縦軸は視差ｄｙを示す。投票空間Ｄｄ１のサイズは、扱われる空間周波数（ｕ，ｖ）の数や対応点が探索される領域の大きさに応じて決められれば良い。

また、例えば、視差（ｄｘ，ｄｙ）を±１画素の範囲において０．１画素刻みで探索する場合、投票空間Ｄｄ１には、原点（０，０）を含む０．１画素刻みの投票が可能な座標のポイント（投票可能座標ポイントとも称する）が設定される。例えば、図２５で示されるように、ｄｙ方向にあたる縦方向に２１箇所およびｄｘ方向であたる横方向に２１箇所の投票可能座標ポイントがマトリックス状に設けられる。なお、図２５では、各投票可能座標ポイントが、模式的に正方形の領域で示されている。

図２６および図２７は、投票空間Ｄｄ１への投票方法を説明するための図である。

図２６で示されるように、各空間周波数（ｕ，ｖ）について、投票空間Ｄｄ１に、視差一次関数で示される直線（図中太線）が引かれる。そして、各空間周波数（ｕ，ｖ）について、投票空間Ｄｄ１を構成する多数の投票可能座標ポイントのうち、視差一次関数に係る直線が通る全ての投票可能座標ポイントに投票値が与えられる。例えば、図２６で示される視差一次関数に係る直線に対しては、図２７で示されるような複数の投票可能座標ポイントに対して投票値が与えられる。

各空間周波数（ｕ，ｖ）について、投票可能座標ポイントに投票値が与えられる際には、振幅の大小に応じた投票値が与えられれば良い。例えば、振幅の増大に応じて、投票値が大きくなれば良い。具体的には、各空間周波数（ｕ，ｖ）についての振幅成分が増大すれば増大するほど、投票値が大きくなっても良いし、振幅に対して１以上の閾値が設けられ、振幅が増大して閾値を超える度に、投票値が１、２、３、・・・と段階的に増加しても良い。

このような投票値の付与によって、投票空間Ｄｄ１における投票値の積算値（投票積算値とも言う）の分布が得られる。このようにして、各空間周波数（ｕ，ｖ）についての位相差が空間的なずれ量に変換された後に、投票空間Ｄｄ１に投票されることで、投票結果としての投票空間Ｄｄ１における投票積算値の分布が得られる。

ここで得られる投票積算値の分布が、第４階層の第３変換後基準画像Ｇｄ１と第４階層の第３変換後参照画像Ｇｄ２との間における相関を示しており、投票積算値の最大値が最大相関値Ｃ_ｍａｘとなる。なお、ここでは、視差一次関数に係る直線が頻繁に交わる点の近傍に係る投票積算値が、最大相関値Ｃ_ｍａｘとなり得る。

そして、投票空間Ｄｄ１において最大相関値Ｃ_ｍａｘが付与されている投票可能座標ポイントに対応する視差(ｄｘ，ｄｙ)が検出される。これにより、第４階層の基準領域Ｗｄ１と第４階層の参照領域Ｗｄ２との間における視差(ｄｘ，ｄｙ)に基づき、第３変換後参照画像Ｇｄ２において第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２が検出される。つまり、第４階層の探索処理では、投票空間Ｄｄ１における投票積算値の分布に基づき、第４階層の対応点Ｃｄ２が検索される。

また、第４階層の探索処理と同様な方法によって、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理がそれぞれ順次に行われることで、参照画像Ｇａ２における第１階層の基準点Ｓａ１に対応する第１階層の対応点Ｃａ２が検出される。

例えば、第３階層の探索処理では、各空間周波数（ｕ，ｖ）について、第３階層の基準位相情報と第３階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られ、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換される。そして、この空間的なずれ量が、投票空間Ｄｃ１に投票されることで、投票結果としての投票空間Ｄｃ１における投票積算値の分布が得られ、この投票積算値の分布に基づき、第３階層の対応点Ｃｃ２が検索される。

また、第２階層の探索処理では、各空間周波数（ｕ，ｖ）について、第２階層の基準位相情報と第２階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られ、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換される。そして、この空間的なずれ量が、投票空間Ｄｂ１に投票されることで、投票結果としての投票空間Ｄｂ１における投票積算値の分布が得られ、この投票積算値の分布に基づき、第２階層の対応点Ｃｂ２が検索される。

更に、第１階層の探索処理では、各空間周波数（ｕ，ｖ）について、第１階層の基準位相情報と第１階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られ、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換される。そして、この空間的なずれ量が、投票空間Ｄａ１に投票されることで、投票結果としての投票空間Ｄａ１における投票積算値の分布が得られ、この投票積算値の分布に基づき、第１階層の対応点Ｃａ２が検索される。

そして、このようなＰＳＡ法を用いた相関演算が採用される場合にも、上記一実施形態と同様に、第４階層の探索処理において第４階層の既演算情報が既演算情報記憶部３６６に記憶され、第３階層の探索処理において再利用されても良い。また、第３階層の探索処理において第３階層の既演算情報が既演算情報記憶部３６６に記憶され、第２階層の探索処理において再利用されても良い。第２階層の探索処理において第２階層の既演算情報が既演算情報記憶部３６６に記憶され、第１階層の探索処理において再利用されても良い。

ここで再利用される第２〜４階層の既演算情報には、上記一実施形態と同様に、第２〜４階層の基準周波数情報および第２〜４階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。

また、上記第１変形例と同様に、再利用される第２〜４階層の既演算情報には、規格化処理によって得られる第２〜４階層の基準位相情報および第２〜４階層の参照位相情報のうちの少なくとも一部の情報が含まれても良い。更に、投票空間Ｄａ１〜Ｄｄ１における投票値が振幅成分に応じて変更される態様であれば、再利用される第２〜４階層の既演算情報に、第２〜４階層の振幅情報のうちの少なくとも一部の情報が含まれても良い。

なお、上述したように、第２〜４階層の探索処理における２次元のフーリエ変換処理による演算結果は、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とを有する複素数の形式で出力され得る。そして、２次元のフーリエ変換処理で得られる振幅情報Ａ（ｕ，ｖ）は、数６で示されるように、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とから求められ得る。

また、第２〜４階層の基準位相情報θ（ｕ，ｖ）および第２〜４階層の参照位相情報θ（ｕ，ｖ）は、数７で示されるように、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とから求められ得る。

このため、第２〜４階層の既演算情報は、振幅情報と位相情報の形式で記憶されても良いし、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）の形式で記憶されても良い。

また、上記第２変形例と同様に、第２〜４階層の既演算情報には、合成処理によって得られる各空間周波数に係る第２〜４階層の位相差Δθ（ｕ，ｖ）を示す情報が含まれても良い。

更に、第４階層の既演算情報には、１以上の空間周波数（ｕ，ｖ）について、第４階層の基準位相情報と第４階層の参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｄ１に投票されることで得られる結果を示す情報が含まれても良い。

ここで、例えば、所定の変換倍率が１／ｎであれば、同サイズの探索ウインドウについて、第４階層の空間周波数（ｕ_４，ｖ_４）と第３階層の空間周波数（ｕ_３，ｖ_３）との間には、次の式(９)の関係が成立し得る。

ｕ_３＝ｕ_４／ｎ，ｖ_３＝ｖ_４／ｎ ・・・(９)。

例えば、所定の変換倍率１／ｎが１／２であれば、第４階層の空間周波数（ｕ_４，ｖ_４）が（２，２）、（４，４）、（６，６）、（８，８）、（１０，１０）、（１２，１２）、（１４，１４）、（１６，１６）である場合の交流成分の情報は、それぞれ第３階層の空間周波数（ｕ_３，ｖ_３）が（１，１）、（２，２）、（３，３）、（４，４）、（５，５）、（６，６）、（７，７）、（８，８）である場合の交流成分の情報と類似する。換言すれば、第４階層の空間周波数（ｕ_４，ｖ_４）がともに偶数である場合についての交流成分の情報が、それぞれ半分の空間周波数（ｕ_３，ｖ_３）に係る第３階層についての交流成分の情報と類似する。

このため、例えば、まず、第４階層の探索処理において、第４階層の偶数の空間周波数（ｕ_４，ｖ_４）についての基準位相情報と参照位相情報が、１／２倍の空間周波数（ｕ_３，ｖ_３）についての基準位相情報と参照位相情報に変換される。次に、該基準位相情報と参照位相情報がずれ量（ｕ_３×π，ｖ_３×π）で補正される。次に、補正後の基準位相情報と参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が、空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｄ１に投票される。そして、この投票結果を示す情報が第４階層の既演算情報とされれば良い。

また、第３階層の既演算情報には、１以上の空間周波数（ｕ，ｖ）について、第３階層の基準位相情報と第３階層の参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｃ１に投票されることで得られる結果を示す情報が含まれても良い。更に、第２階層の既演算情報には、１以上の空間周波数（ｕ，ｖ）について、第２階層の基準位相情報と第２階層の参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｂ１に投票されることで得られる結果を示す情報が含まれても良い。

すなわち、第１〜３階層のうちの各階層の探索処理では、１階層前の探索処理において得られた１以上の空間周波数（ｕ，ｖ）についての投票空間Ｄｄ１〜Ｄｂ１に対する投票結果を示す情報が再利用されても良い。なお、この場合、第３階層の既演算情報および第２階層の既演算情報は、第４階層の既演算情報と同様な方法で算出され得る。このような構成が採用されれば、再利用される情報における情報量の低減によって、既演算情報記憶部３６６の記憶容量の低減が図られ得る。その結果、画像処理装置３の小型化ならびに製造コストの低減が図られ得る。

＜（９−４）第４変形例＞
上記一実施形態では、第３階層の探索処理では、第４階層の既演算情報から第４階層の参照位相情報が得られて用いられる場合、解像度の低減に応じた位相のずれ量（ｕ_３×π，ｖ_３×π）によって第４階層の参照位相情報が補正されたが、これに限られない。

例えば、図２８で示されるように、第４階層の探索処理において、探索基準点Ｓｄ２と対応点Ｃｄ２とが一致する場合、第３階層の探索基準点Ｓｃ２は、第４階層の探索基準点Ｓｄ２に対応する位置に設定される。このとき、上述したように、第４階層の周波数ｕ_４の交流成分の情報が、１／２倍の周波数ｕ_３の交流成分の情報として再利用される際には、第４階層の周波数ｕ_４の交流成分の位相ｕ_４θがずれ量ｕ_３×πで補正されれば良い。

一方、例えば、図２９で示されるように、第４階層の探索処理において、探索基準点Ｓｄ２と対応点Ｃｄ２とがＸ方向にｍ画素（ｍは自然数）ずれた場合、第３階層の探索処理において、探索基準点Ｓｃ２は探索基準点Ｓｄ２に対応する画素からＸ方向に２ｍ画素ずれた位置に設定される。

この場合、探索ウインドウのＸ方向の画素数が３３であれば、第４階層の参照領域画像に係る周波数ｕ_４の交流成分と、第３階層の参照領域画像に係るその１／２の周波数ｕ_３の交流成分との間では、周波数ｕ_３に係る交流成分の位相が、２ｍ×ｕ_３×２π／３３ずれる。ここでは、周波数１が２πに相当する。

このため、例えば、第４階層の周波数ｕ_４の交流成分の情報がその１／２の周波数ｕ_３の交流成分の情報として再利用される際、第４階層の周波数ｕ_４の交流成分の位相ｕ_４θが、ずれ量ｕ_３×πとずれ量２ｍ×ｕ_３×２π／３３とで補正されれば良い。したがって、この場合、第３階層の周波数ｕ_３についての交流成分の位相が２×ｕ_４θ−ｕ_３×π−２ｍ×ｕ_３×２π／３３とされれば良い。

つまり、第３階層の探索処理では、第４階層の既演算情報から第４階層の参照位相情報が得られて演算に用いられる場合、探索基準点Ｓｄ２と対応点Ｃｄ２との間の空間的なずれ量２ｍ×ｕ_３×２π／３３に応じて、第４階層の参照位相情報に係る位相のずれが補正された上で演算に用いられることが好ましい。なお、第２階層の探索処理および第１階層の探索処理についても、同様な補正が行われることが好ましい。

これにより、探索処理における対応点探索の精度が向上し得る。また、このような位相のずれが生じる場合であっても、画一的な演算によって対処することが可能であるため、対応点の探索処理を行う部分を専用の電子回路等によってハードウェア化することも可能である。

＜（９−５）第５変形例＞
上記一実施形態では、上記数４で示される重み付け係数Ｗｔ（ｕ，ｖ）が、空間周波数（ｕ，ｖ）に拘わらず、１に設定されたが、これに限られない。例えば、第１〜３階層の探索処理において、既演算情報から１以上の空間周波数（ｕ，ｖ）に係る情報が再利用される場合には、該１以上の空間周波数（ｕ，ｖ）についての重み付け係数Ｗｔ（ｕ，ｖ）は、１未満の所定値に設定されても良い。所定値は、例えば、所定の変換倍率に応じた数値である１／ｎ等に設定されれば良い。すなわち、再利用に係る１以上の空間周波数（ｕ，ｖ）についての重み付け係数Ｗｔ（ｕ，ｖ）が、残余の１以上の空間周波数（ｕ，ｖ）についての重み付け係数Ｗｔ（ｕ，ｖ）よりも相対的に小さくなれば良い。更に換言すれば、第１〜３階層の探索処理において、既演算情報に係る一部の情報よりも、残余の情報の方が、対応点の探索結果に与える影響が大きくなるように、情報の重み付けが行われても良い。これにより、対応点探索の精度が向上し得る。

この場合、例えば、第３階層の探索処理では、第４階層の既演算情報から得られる第３階層の演算用の情報における一部の情報よりも、第３階層の演算用の情報のうちの残余の情報の方が、第３対応点Ｃｃ２の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。また、例えば、第２階層の探索処理では、第３階層の既演算情報から得られる第２階層の演算用の情報における一部の情報よりも、第２階層の演算用の情報のうちの残余の情報の方が、第２対応点Ｃｂ２の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。更に、例えば、第１階層の探索処理では、第２階層の既演算情報から得られる第１階層の演算用の情報における一部の情報よりも、第１階層の演算用の情報のうちの残余の情報の方が、第１対応点Ｃａ２の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。

なお、例えば、所定の変換倍率が１／２である場合、第４階層で周波数が４である周波数成分については、第３階層の探索処理で周波数が２である周波数成分に対して再利用され、第２階層の探索処理で周波数が１である周波数成分に対して再利用され得る。このように、既演算情報のうちの２回以上再利用される情報については、例えば、再利用の回数に応じて、重み付け係数Ｗｔ（ｕ，ｖ）が順次に低減されても良い。具体的には、再利用の回数が１回目であれば、重み付け係数Ｗｔ（ｕ，ｖ）が０．８とされ、再利用の回数が２回目であれば、重み付け係数Ｗｔ（ｕ，ｖ）が０．６とされ、再利用の回数が３回目であれば、重み付け係数Ｗｔ（ｕ，ｖ）が０．４とされるような態様が考えられ得る。

なお、ある階層の探索処理では、ある情報が再利用される回数が多ければ多い程、その情報が探索処理の演算で用いられる情報を占める割合が低下する。この観点からも、再利用される回数が多い情報が探索処理の演算に与える影響が低減される。その結果、探索処理の高速化が図られつつ、探索精度が担保される。

また、例えば、第１〜４階層の探索処理にＰＳＡ法が採用され、第１〜３階層の探索処理において、１以上の空間周波数（ｕ，ｖ）に係る情報が再利用される場合、該１以上の空間周波数（ｕ，ｖ）についての投票値が振幅に応じた値よりも低減されても良い。つまり、１以上の空間周波数（ｕ，ｖ）に係る情報が再利用されて導出される視差一次関数に応じて、投票空間Ｄａ１〜Ｄｃ１に投票値が与えられる場合には、投票値が振幅に応じた値よりも低減されても良い。これにより、第１〜３階層の探索処理において、既演算情報から得られる演算用の情報における一部の情報よりも、残余の情報の方が、対応点の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。

＜（９−６）その他の変形例＞
◎また、上記一実施形態および上記第１〜５変形例では、探索ウインドウ内の画像パターンの周波数情報を得て、各周波数成分の位相情報に基づいて対応点の探索処理を行う方法として、ＰＯＣ演算法およびＰＳＡ法が採用されたが、これに限られない。例えば、対応点の探索処理に、ＤＣＴ符号相関（Discrete Cosine Transform Sign Correlation：ＤＳＣ）演算等といったその他の演算が採用されても良い。なお、ＤＣＴ符号相関演算は、画像の離散コサイン変換係数の正負符号が用いられて、鏡像拡張した画像のＰＯＣ演算が行われるものである。つまり、ＤＣＴ符号相関は、対象拡張した信号の位相限定相関に相当する。

◎また、上記一実施形態および上記第１〜５変形例では、相対的に低解像度の画像から得られた情報が、相対的に高解像度の画像を対象とする演算に再利用されたが、これに限られない。例えば、相対的に高解像度の画像から得られた情報が、相対的に低解像度の画像を対象とする演算に再利用されても良い。

具体的には、第１〜４階層の探索処理では、まず、第１〜４階層の基準点Ｓａ１〜Ｓｄ１が設定された時点で、第１〜４階層の基準領域Ｗａ１〜Ｗｄ１の位置が一義的に決定され得る。このため、例えば、第１階層の基準領域画像について周波数情報が得られた後に、その周波数情報が再利用されて、第２〜４階層の基準領域画像についての周波数情報が得られるような態様が考えられる。

詳細には、例えば、第１階層の探索処理の演算で得られる第１階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第２階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第２の階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第１変換後基準画像Ｇｂ１に基づいて算出されれば良い。ここで再利用される情報には、周波数情報の一部の情報である位相情報等が含まれれば良い。

この場合、所定の変換倍率が１／２であれば、例えば、第１階層の基準領域画像に係る空間周波数（ｕ_１，ｖ_１）の交流成分は、ｕ_１＝２×ｕ_２，ｖ_１＝２×ｖ_２の関係を満たす第２階層の基準領域画像に係る空間周波数（ｕ_２，ｖ_２）の交流成分と類似する。例えば、第１階層の空間周波数（ｕ_１，ｖ_１）が（１，１）、（２，２）、（３，３）、（４，４）、（５，５）、（６，６）、（７，７）、（８，８）である交流成分の情報は、第２階層の空間周波数（ｕ_２，ｖ_２）が（２，２）、（４，４）、（６，６）、（８，８）、（１０，１０）、（１２，１２）、（１４，１４）、（１６，１６）である場合の交流成分の情報と類似する。このため、第２階層の探索処理では、第１階層の空間周波数（ｕ_１，ｖ_１）についての基準位相情報が、第２階層の所定の変換倍率に応じた２倍の空間周波数（ｕ_２，ｖ_２）についての基準位相情報に変換された後に再利用され得る。但し、第１階層の周波数ｕ_１の交流成分の情報が、その２倍の第２階層の周波数ｕ_２の交流成分の情報として再利用される際には、第１階層の周波数ｕ_１の交流成分の位相ｕ_１θが解像度の低減に応じたずれ量ｕ_２×πで補正されることが好ましい。このような情報の再利用によっても、第２階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約｛１−（１／２）^２｝に低減され得る。

また、第１階層の探索処理の演算で得られる第１階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第３および第４階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第３および第４階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第２および第３変換後基準画像Ｇｃ１，Ｇｄ１に基づいて算出されれば良い。但し、例えば、第１階層の周波数ｕ_１の交流成分の情報が、その４倍および８倍の第３および第４階層の周波数ｕ_３，ｕ_４に係る交流成分の情報として再利用される際には、第１階層の周波数ｕ_１の交流成分の位相ｕ_１θが解像度の低減に応じたずれ量ｕ_３×π，ｕ_４×πで補正されることが好ましい。

また、第２階層の探索処理の演算で得られる第２階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第３および第４階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第３および第４階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第２および第３変換後基準画像Ｇｃ１，Ｇｄ１に基づいて算出されれば良い。但し、例えば、第２階層の周波数ｕ_２の交流成分の情報が、その２倍および４倍の第３および第４階層の周波数ｕ_３，ｕ_４に係る交流成分の情報として再利用される際には、第２階層の周波数ｕ_２の交流成分の位相ｕ_２θが解像度の低減に応じたずれ量ｕ_３×π，ｕ_４×πで補正されることが好ましい。

更に、第３階層の探索処理の演算で得られる第３階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第４階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第４階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第３変換後基準画像Ｇｄ１に基づいて算出されれば良い。但し、例えば、第３階層の周波数ｕ_３の交流成分の情報が、その２倍の第４階層の周波数ｕ_４に係る交流成分の情報として再利用される際には、第３階層の周波数ｕ_３の交流成分の位相ｕ_３θが解像度の低減に応じたずれ量ｕ_４×πで補正されることが好ましい。

◎また、上記一実施形態および上記第１〜５変形例では、距離算出部３６７において、基準画像Ｇａ１と参照画像Ｇａ２との間における画素の対応関係から、第１および第２カメラ１，２から被写体ＯＢ１までの距離が算出されたが、これに限られない。例えば、被写体ＯＢ１の３次元位置（Ｘ_１,Ｙ_１,Ｚ_１）が、Ｘ_１＝ｘ_１×Ｄ／ｆ、Ｙ_１＝ｙ_１×Ｄ／ｆ、Ｚ_１＝Ｄの３式によって算出されても良い。ここでは、ｘ_１、ｙ_１は、基準画像Ｇａ１上の注目画素の座標を示す。

図３０は、情報処理システム１００の制御部３６に、被写体ＯＢ１の３次元位置（Ｘ_１,Ｙ_１,Ｚ_１）を算出する３次元位置算出部３６８が付加された情報処理システム１００Ａの概略構成を例示する図である。この情報処理システム１００Ａでは、例えば、被写体ＯＢ１の３次元位置（Ｘ_１,Ｙ_１,Ｚ_１）に基づいて、表示部３２において被写体ＯＢ１を３次元的に表す画像（３次元画像とも言う）が可視的に出力されても良い。

◎また、上記一実施形態および上記第１〜５変形例では、第１および第２カメラ１，２によって同じタイミングで撮像される２つの画像の間における画素の対応関係が探索されたが、これに限られない。例えば、１つのカメラＣ１によって被写体が時間順次に撮像され、画像処理装置３によって複数の画像のデータが通信回線Ｌｎ１を介して取得されて、複数の画像の間における画素の対応関係が探索され、該画素の対応関係から被写体の動きベクトルが算出されても良い。

図３１は、情報処理システム１００の制御部３６に、被写体の動きベクトルを算出する動き情報算出部３６９が付加された情報処理システム１００Ｂの概略構成を例示する図である。また、情報処理システム１００Ｂでは、情報処理システム１００のうちの第１および第２カメラ１，２がカメラＣ１に置換され、通信回線Ｌ１，Ｌ２が通信回線Ｌｎ１に置換されている。この情報処理システム１００Ｂでは、例えば、被写体の動きベクトルに基づいて、表示部３２において被写体の動きベクトルを示す矢印等といった表示要素が、被写体を捉えた画像とともに可視的に出力されても良い。

◎また、上記一実施形態および上記第１〜５変形例では、第１〜４階層の探索処理が行われたが、２階層以上の探索処理が行われれば良い。

◎また、上記一実施形態および上記第１〜５変形例では、第１〜３階層の探索処理において、前の階層の探索処理における既演算情報が再利用されたが、これに限られない。例えば、第４階層の探索処理で得られた既演算情報の第３階層の探索処理における再利用、第３階層の探索処理で得られた既演算情報の第２階層の探索処理における再利用、および第２階層の探索処理で得られた既演算情報の第１階層の探索処理における再利用のうちの何れか１つが実行されれば良い。すなわち、２階層以上の探索処理の間で、一方の探索処理において、他方の探索処理で得られた既演算情報が再利用されれば良い。

◎また、上記一実施形態および上記第１〜５変形例では、基準画像Ｇａ１側および参照画像Ｇａ２側の双方の演算において、既演算情報が再利用されたが、これに限られない。例えば、基準画像Ｇａ１側および参照画像Ｇａ２側の演算のうちの少なくとも一方の演算において、既演算情報が再利用されれば良い。

◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。

１ 第１カメラ
２ 第２カメラ
３ 画像処理装置
４ 記憶媒体
３４ 記憶部
３６ 制御部
３６ａ ＣＰＵ
３６ｂ メモリー
１００，１００Ａ，１００Ｂ 情報処理システム
３６１ 画像取得部
３６２ 画像生成部
３６３ 対応点探索部
３６４ 対応点探索制御部
３６５ 位置決定部
３６６ 既演算情報記憶部
３６７ 距離算出部
３６８ ３次元位置算出部
３６９ 動き情報算出部
Ｃ１ カメラ
ＰＧ プログラム

Claims (14)

1. 第１画像および第２画像を取得する取得部と、
   所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成する生成部と、
   前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理、および前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行う探索部と、
   前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において前記第２探索基準点の位置を決定する決定部と、
   前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、
   前記探索部が、
   前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行うことを特徴とする画像処理装置。
2. 第１画像および第２画像を取得する取得部と、
   所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成する生成部と、
   前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理、および前記第１変換後基準画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行う探索部と、
   前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において前記第２探索基準点の位置を決定する決定部と、
   前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、
   前記探索部が、
   前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第２変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行うことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記探索部が、
   前記第１および第２探索処理において、位相限定相関演算を用いることを特徴とする画像処理装置。
4. 請求項１から請求項３の何れか１つの請求項に記載の画像処理装置であって、
   前記既演算情報が、
   前記第１から第３周波数情報のうちの少なくとも一部の情報を含むことを特徴とする画像処理装置。
5. 請求項１から請求項４の何れか１つの請求項に記載の画像処理装置であって、
   前記既演算情報が、
   前記第１から第３位相情報のうちの少なくとも一部の情報を含むことを特徴とする画像処理装置。
6. 請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
   前記既演算情報が、
   前記第１位相情報と前記第２位相情報とに基づいて算出される位相差を示す情報を含むことを特徴とする画像処理装置。
7. 請求項１または請求項２に記載の画像処理装置であって、
   前記探索部が、
   前記第１探索処理において、各周波数成分について、前記第１位相情報と前記第２位相情報とに基づいて第１位相差を算出して該第１位相差を空間的なずれ量に変換し、該空間的なずれ量を第１投票空間に投票することで第１投票結果を得て、該第１投票結果に応じて前記第１対応点を探索し、前記第２探索処理において、各周波数成分について、前記第３位相情報と前記第４位相情報とに基づいて第２位相差を算出して該第２位相差を空間的なずれ量に変換し、該空間的なずれ量を第２投票空間に投票することで第２投票結果を得て、該第２投票結果に応じて前記第２対応点を探索し、
   前記既演算情報が、
   前記第１探索処理において、１以上の周波数成分について前記第１位相差が空間的なずれ量に変換された後に、該空間的なずれ量が前記第１投票空間に投票されることで得られる投票結果を示す情報を含むことを特徴とする画像処理装置。
8. 請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
   前記探索部が、
   前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第１位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用い、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第２位相情報を補正して演算に用い、前記第１探索処理において、前記第３探索処理で算出される前記既演算情報から前記第３位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用いることを特徴とする画像処理装置。
9. 請求項１から請求項８の何れか１つの請求項に記載の画像処理装置であって、
   前記所定の変換倍率が、
   １／ｎ（ｎは１よりも大きな任意の数）であり、
   前記探索部が、
   前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から第１周波数に係る前記第１周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第１周波数情報を、前記第１周波数に１／ｎを乗じて得られる第２周波数に係る前記第３周波数情報として用い、前記第１探索処理で算出される前記既演算情報から前記第１周波数に係る前記第２周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第２周波数情報を、前記第２周波数に係る前記第４周波数情報として用い、前記第１探索処理において、前記第２探索処理で算出される前記既演算情報から前記第２周波数に係る前記第３周波数情報を得て演算に用いる場合に、前記第２周波数に係る前記第３周波数情報を、前記第２周波数にｎを乗じて得られる前記第１周波数に係る前記第１周波数情報として用いることを特徴とする画像処理装置。
10. 請求項１から請求項９の何れか１つの請求項に記載の画像処理装置であって、
    前記探索部が、
    前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記第１探索基準点と前記第１対応点との間の空間的なずれ量に応じて、前記第２位相情報に係る位相のずれを補正して演算に用いることを特徴とする画像処理装置。
11. 請求項１から請求項１０の何れか１つの請求項に記載の画像処理装置であって、
    前記探索部が、
    前記第２探索処理において、前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として演算に用いられる前記既演算情報よりも、該演算用の情報のうちの残余の情報の方が、前記第２対応点の探索結果に与える影響が大きくなるように、情報の重み付けを行うことを特徴とする画像処理装置。
12. （a）取得部によって、第１画像を取得するステップと、
    （b）前記取得部によって、第２画像を取得するステップと、
    （c）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成するステップと、
    （d）探索部によって、前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、
    （e）決定部によって、前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において第２探索基準点の位置を決定するステップと、
    （f）前記探索部によって、前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行うステップと、を備え、
    前記ステップ（f）において、
    前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出することを特徴とする画像処理方法。
13. （A）取得部によって、第１画像を取得するステップと、
    （B）前記取得部によって、第２画像を取得するステップと、
    （C）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成するステップと、
    （D）探索部によって、前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、
    （E）決定部によって、前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において第２探索基準点の位置を決定するステップと、
    （F）前記探索部によって、前記第１変換後基準画像における前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像における前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行うステップと、を備え、
    前記ステップ（F）において、
    前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出することを特徴とする画像処理方法。
14. 画像処理装置に含まれる制御部において実行されることにより、前記画像処理装置を、請求項１から請求項１１の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。

Images