JP5170005B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理技術に関する。

ステレオカメラを用いて異なる視点から撮影された２つの画像（基準画像と参照画像）の間で、各画素を相互に対応付ける技術（対応点探索技術）が知られている。この対応点探索技術では、一般的に、基準画像上における或る点に対応する参照画像上の点（対応点）が、参照画像上の何れの位置にあるのか事前には不明であるため、参照画像の全域を対象とした対応点の探索が行われる。しかし、参照画像の全域を対象とした対応点の探索には、膨大な演算処理が必要となり、対応点の探索に長時間を要してしまう。

そこで、参照画像の全域を対象とした探索の代わりに、基準画像と参照画像とから、複数段階の解像度の画像がそれぞれ生成され、解像度が低い画像から順に対応点の探索が行われることで、対応点の探索領域の絞り込みが行われつつ、対応点の探索が行われる技術（多重解像度探索技術）が提案されている。この技術では、各解像度の画像に対して検出された対応点を示す値が、次の解像度の画像について対応点の探索が開始される際の初期値として用いられる。

そして、この多重解像度探索技術については、例えば、検出された対応点に関する信頼度が低い場合には、周囲の対応点に関する情報を用いた補正が行われることで、対応点の探索における高精度化が図られる技術が提案されている（例えば、特許文献１）。また、検出された対応点に関する信頼度が低い場合には、その対応点の周囲に係る視差に基づく補間によって対応点の探索における初期位置が決定され、参照画像のうちの該初期位置の周辺について対応点の探索が再度行われることで、対応点の探索における高精度化が図られる技術が提案されている（例えば、非特許文献１）。

特開２００１−１４８０１２号公報

Mohammad Abdul MUQUIT,Takuma SHIBAHARA,and Takafumi AOKI「A-High-Accuracy Passive 3D Measurement System Using Phase-Based Image Matching」,IEICE TRANS. FUNDAMENTALS,VOL.E89-A,NO.3 MARCH 2006,p686-697.

ところで、上記特許文献１および非特許文献１の技術において、対応点の探索の更なる高速化を図るために、基準画像上の一部の画素について参照画像から対応点を検出し、該基準画像上のその他の画素に対応する参照画像上の対応点については、周囲の対応点を基準とした線形補間によって求めることが考えられる。このような一部の画素に係る対応点の探索と線形補間とを組み合わせた対応点探索を、多重解像度探索技術における各解像度の対応点探索に適用することで、対応点の探索の更なる高速化を図ることが考えられる。

しかしながら、基準画像および参照画像においてとらえられた被写体に、遠距離に位置する被写体と近距離に位置する被写体とが含まれる場合には、周囲の対応点を基準とした単なる線形補間では、適切な対応点が求められない虞がある。すなわち、対応点の探索精度が低下する虞がある。そして、このような問題は、２以上の画像の間において対応点を探索する技術一般に共通する。

本発明は、上記課題を鑑みてなされたものであり、２以上の画像の間において対応点を迅速且つ精度良く探索することが可能な技術を提供することを目的とする。

上記課題を解決するために、第１の態様に係る画像処理装置は、同一の被写体をそれぞれとらえた第１画像と第２画像とを含む複数の画像を取得する取得手段と、前記第１画像に対して第１探索基準点と第２探索基準点とを含む複数の探索基準点を設定する設定手段とを備える。また、該画像処理装置は、前記第２画像について前記第１探索基準点に対応する第１対応点と前記第２探索基準点に対応する第２対応点とを探索することで、前記第１画像と前記第２画像との間における前記第１探索基準点に係る第１視差および該第１視差に係る第１信頼度と前記第２探索基準点に係る第２視差および該第２視差に係る第２信頼度とを導出する導出手段を備える。更に、該画像処理装置は、前記第１視差、前記第１信頼度、前記第２視差、および前記第２信頼度に基づき、前記第１画像において前記第１探索基準点と前記第２探索基準点とによって挟まれる演算基準点について、前記第１画像と前記第２画像との間における推定視差を決定する決定手段を備える。

第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第２画像について前記演算基準点に対応する対応点の探索を前記推定視差を基準として実行することで、前記第１画像と前記第２画像との間における前記演算基準点に係る視差を求める演算手段を更に備える。

第３の態様に係る画像処理装置は、同一の被写体をそれぞれとらえた第１画像と第２画像とから、画素ラインをそれぞれ間引いた第１間引き画像と第２間引き画像とを生成する生成手段と、前記第１間引き画像に対して第１探索基準点と第２探索基準点とを含む複数の探索基準点を設定する設定手段とを備える。また、該画像処理装置は、前記第２間引き画像について前記第１探索基準点に対応する第１対応点と前記第２探索基準点に対応する第２対応点とを探索することで、前記第１間引き画像と前記第２間引き画像との間における前記第１探索基準点に係る第１視差および該第１視差に係る第１信頼度と前記第２探索基準点に係る第２視差および該第２視差に係る第２信頼度とを導出する導出手段を備える。更に、該画像処理装置は、前記第１視差、前記第１信頼度、前記第２視差、および前記第２信頼度に基づき、前記第１間引き画像において前記第１探索基準点と前記第２探索基準点とによって挟まれる演算基準点について、前記第１間引き画像と前記第２間引き画像との間における推定視差を決定する決定手段を備える。そして、該画像処理装置は、前記第１画像のうちの前記演算基準点に対応する点を次段の探索基準点として、前記第２画像について前記次段の探索基準点に対応する対応点の探索を前記推定視差を基準として実行することで、前記第１画像と前記第２画像との間における前記次段の探索基準点に係る視差を求める演算手段を備える。

第４の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記決定手段が、前記第１探索基準点と前記演算基準点との間の第１距離と、前記第２探索基準点と前記演算基準点との間の第２距離と、前記第１および第２信頼度とに基づいて、前記第１探索基準点に係る第１係数と、前記第２探索基準点に係る第２係数とを算出するとともに、該第１および第２係数と、前記第１および第２視差とに基づき、前記推定視差を決定する。

第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置であって、前記決定手段が、前記第１係数が前記第２係数よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２係数が前記第１係数よりも大きな場合には、前記第２視差を前記推定視差として決定する。

第６の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記決定手段が、前記第１信頼度が前記第２信頼度よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２信頼度が前記第１信頼度よりも大きな場合には、前記第２視差を前記推定視差として決定する。

第７の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記決定手段が、前記第１視差と前記第２視差との差分が閾値以下の場合には、前記第１および第２視差と、前記第１探索基準点と前記演算基準点との間の第１距離と、前記第２探索基準点と前記演算基準点との間の第２距離とを用いた線形補間によって前記推定視差を決定し、前記第１視差と前記第２視差との差分が前記閾値を超える場合には、前記第１信頼度が前記第２信頼度よりも大きければ前記第１視差を前記推定視差として決定し、前記第２信頼度が前記第１信頼度よりも大きければ前記第２視差を前記推定視差として決定する。

第８の態様に係る画像処理装置は、第２または第３の態様に係る画像処理装置であって、前記決定手段が、前記第１視差と前記第２視差との差分が閾値以下の場合には、前記第１および第２視差と、前記第１探索基準点と前記演算基準点との間の第１距離と、前記第２探索基準点と前記演算基準点との間の第２距離とを用いた線形補間によって前記推定視差を決定し、前記第１視差と前記第２視差との差分が前記閾値を超える場合には、前記第１信頼度が前記第２信頼度よりも大きければ前記第１視差を前記推定視差として決定し、前記第２信頼度が前記第１信頼度よりも大きければ前記第２視差を前記推定視差として決定する。そして、該画像処理装置では、前記閾値が、前記演算手段による前記推定視差を基準とした対応点の探索可能範囲に応じた値である。

第９の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記決定手段が、前記第１探索基準点と前記演算基準点との間の第１距離と、前記第２探索基準点と前記演算基準点との間の第２距離と、前記第１および第２信頼度とに基づいて、前記第１探索基準点に係る第１係数と、前記第２探索基準点に係る第２係数とを算出するとともに、前記第１係数が前記第２係数よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２係数が前記第１係数よりも大きな場合には、前記第２視差を前記推定視差として決定する。そして、該画像処理装置では、前記演算手段が、前記演算基準点に係る視差の信頼度を算出し、該信頼度が所定値未満であれば、前記第１および第２視差のうちの前記決定手段によって前記推定視差として決定された一方の視差とは異なる他方の視差を基準として、前記第２画像について前記演算基準点に対応する対応点の探索を実行することで、前記第１画像と前記第２画像との間における前記演算基準点に係る視差を求める。

第１０の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記決定手段が、前記第１信頼度が前記第２信頼度よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２信頼度が前記第１信頼度よりも大きな場合には、前記第２視差を前記推定視差として決定する。そして、該画像処理装置では、前記演算手段が、前記演算基準点に係る視差の信頼度を算出し、該信頼度が所定値未満であれば、前記第１および第２視差のうちの前記決定手段によって前記推定視差として決定された一方の視差とは異なる他方の視差を基準として、前記第２画像について前記演算基準点に対応する対応点の探索を実行することで、前記第１画像と前記第２画像との間における前記演算基準点に係る視差を求める。

第１１の態様に係る画像処理装置は、第３の態様に係る画像処理装置であって、前記決定手段が、前記第１探索基準点と前記演算基準点との間の第１距離と、前記第２探索基準点と前記演算基準点との間の第２距離と、前記第１および第２信頼度とに基づいて、前記第１探索基準点に係る第１係数と、前記第２探索基準点に係る第２係数とを算出するとともに、前記第１係数が前記第２係数よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２係数が前記第１係数よりも大きな場合には、前記第２視差を前記推定視差として決定する。そして、該画像処理装置では、前記演算手段が、前記次段の探索基準点に係る視差の信頼度を算出し、該信頼度が所定値未満であれば、前記第１および第２視差のうちの前記決定手段によって前記推定視差として決定された一方の視差とは異なる他方の視差を基準として、前記第２画像について前記次段の探索基準点に対応する対応点の探索を実行することで、前記第１画像と前記第２画像との間における前記次段の探索基準点に係る視差を求める。

第１２の態様に係る画像処理装置は、第３の態様に係る画像処理装置であって、前記決定手段が、前記第１信頼度が前記第２信頼度よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２信頼度が前記第１信頼度よりも大きな場合には、前記第２視差を前記推定視差として決定する。そして、該画像処理装置では、前記演算手段が、前記次段の探索基準点に係る視差の信頼度を算出し、該信頼度が所定値未満であれば、前記第１および第２視差のうちの前記決定手段によって前記推定視差として決定された一方の視差とは異なる他方の視差を基準として、前記第２画像について前記次段の探索基準点に対応する対応点の探索を実行することで、前記第１画像と前記第２画像との間における前記次段の探索基準点に係る視差を求める。

第１３の態様に係る画像処理方法は、同一の被写体をそれぞれとらえた第１画像と第２画像とを含む複数の画像を取得する取得ステップと、前記第１画像に対して第１探索基準点と第２探索基準点とを含む複数の探索基準点を設定する設定ステップとを備える。また、該画像処理方法は、前記第２画像について前記第１探索基準点に対応する第１対応点と前記第２探索基準点に対応する第２対応点とを探索することで、前記第１画像と前記第２画像との間における前記第１探索基準点に係る第１視差および該第１視差に係る第１信頼度と前記第２探索基準点に係る第２視差および該第２視差に係る第２信頼度とを導出する導出ステップを備える。更に、該画像処理方法は、前記第１視差、前記第１信頼度、前記第２視差、および前記第２信頼度に基づき、前記第１画像において前記第１探索基準点と前記第２探索基準点とによって挟まれる演算基準点について、前記第１画像と前記第２画像との間における推定視差を決定する決定ステップを備える。

第１４の態様に係る画像処理方法は、同一の被写体をそれぞれとらえた第１画像と第２画像とから、画素ラインをそれぞれ間引いた第１間引き画像と第２間引き画像とを生成する生成ステップと、前記第１間引き画像に対して第１探索基準点と第２探索基準点とを含む複数の探索基準点を設定する設定ステップとを備える。また、該画像処理方法は、前記第２間引き画像について前記第１探索基準点に対応する第１対応点と前記第２探索基準点に対応する第２対応点とを探索することで、前記第１間引き画像と前記第２間引き画像との間における前記第１探索基準点に係る第１視差および該第１視差に係る第１信頼度と前記第２探索基準点に係る第２視差および該第２視差に係る第２信頼度とを導出する導出ステップを備える。更に、該画像処理方法は、前記第１視差、前記第１信頼度、前記第２視差、および前記第２信頼度に基づき、前記第１間引き画像において前記第１探索基準点と前記第２探索基準点とによって挟まれる演算基準点について、前記第１間引き画像と前記第２間引き画像との間における推定視差を決定する決定ステップを備える。そして、該画像処理方法は、前記第１画像のうちの前記演算基準点に対応する点を次段の探索基準点として、前記第２画像について前記次段の探索基準点に対応する対応点の探索を前記推定視差を基準として実行することで、前記第１画像と前記第２画像との間における前記次段の探索基準点に係る視差を求める演算ステップを備える。

第１５の態様に係るプログラムは、画像処理装置に含まれる制御部において実行されることにより、前記画像処理装置を、第１から第１２の何れか１つの態様に係る画像処理装置として機能させる。

第１の態様に係る画像処理装置によれば、演算基準点を挟む２点の視差とその信頼度とに基づいて該演算基準点に係る視差が求められるため、２以上の画像の間において対応点を迅速且つ精度良く探索することが可能となる。

第２の態様に係る画像処理装置によれば、実際の視差に近い推定視差を基準として、演算基準点に対応する対応点の探索が行われるため、２以上の画像の間において対応点を迅速且つ精度良く探索することが可能となる。

第３の態様に係る画像処理装置によれば、実際の視差に近い推定視差を基準として、演算基準点に対応する対応点の探索が行われるため、２以上の画像の間において対応点を迅速且つ精度良く探索することが可能となる。

第４の態様に係る画像処理装置によれば、周囲の探索基準点と演算基準点との間の距離と、該周囲の探索基準点の視差に係る信頼度とを加味した係数に基づいて、確度の低い情報の影響が低減された視差が求められる。

第５および第６の何れの態様に係る画像処理装置によっても、減り張りを付けた視差の導出が可能となる。

第７の態様に係る画像処理装置によれば、周辺の視差の状況に応じて、２以上の画像の間において対応点を迅速且つ精度良く探索することが可能となる。

第８の態様に係る画像処理装置によれば、周辺の視差の差分が大きいか否かが、次の段階の対応点の探索が可能な範囲に応じて決められるため、次の段階における視差の算出精度が高められる。

第９から第１２の何れの態様に係る画像処理装置によっても、次の段階の対応点の探索において基準となる推定視差の決定に誤りがあった場合でも、次の段階における視差の算出精度を確保することができる。

第１３の態様に係る画像処理方法によれば、第１の態様に係る画像処理装置と同様な効果が得られる。

第１４の態様に係る画像処理方法によれば、第３の態様に係る画像処理装置と同様な効果が得られる。

第１５の態様に係るプログラムによれば、第１から第１２の態様に係る画像処理装置と同様な効果が得られる。

第１〜４実施形態および変形例に係る情報処理システムの概略構成を示す図である。 第１〜４実施形態および変形例に係る情報処理システムの要部構成を示すブロック図である。 基準画像に対して設定されるウィンドウの設定態様を例示する図である。 参照画像に対して設定されるウィンドウの設定態様を例示する図である。 基準画像に対する基準領域の設定態様を例示する図である。 位相限定相関法を用いた対応点探索処理を説明するための図である。 基準領域と比較領域との相関を示すＰＯＣ値の分布を例示する図である。 第１〜４実施形態に係る制御部の機能的な構成を示す図である。 基準画像および参照画像を例示する図である。 基準画像に対して設定される複数の探索基準点を例示する図である。 推定視差の決定処理を説明するための図である。 第１〜３の演算基準点の推定視差の決定処理を説明するための図である。 第１〜３の演算基準点の各視差を線形補間によって導出する処理を説明するための図である。 初期位置を内包する比較領域が参照画像に設定される様子を示す図である。 第１実施形態に係る対応点探索処理のフローを示すフローチャートである。 第１実施形態に係る対応点探索処理のフローを示すフローチャートである。 第１実施形態に係る対応点探索処理のフローを示すフローチャートである。 第２および第３実施形態に係る視差の決定処理を説明するための図である。 第２実施形態に係る対応点探索処理のフローを示すフローチャートである。 第２実施形態に係る対応点探索処理のフローを示すフローチャートである。 第３実施形態に係る対応点探索処理のフローを示すフローチャートである。 第１〜３の演算基準点に係る視差の推定処理を説明するための図である。 第１〜３の演算基準点に係る視差の推定処理を説明するための図である。 第１〜３の演算基準点に係る視差の推定処理を説明するための図である。 第４実施形態に係る対応点探索処理のフローを示すフローチャートである。 変形例に係る制御部の機能的な構成を示す図である。 間引き基準画像および間引き参照画像を例示する図である。 間引き基準画像および間引き参照画像に係る対応点探索処理を説明するための図である。 従来技術に係る対応点探索処理を説明するための図である。 変形例に係る対応点探索処理のフローを示すフローチャートである。 変形例に係る対応点探索処理のフローを示すフローチャートである。 変形例に係る対応点探索処理のフローを示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

＜(1)第１実施形態＞
＜(1-1)情報処理システムの構成＞
図１は、本発明の第１実施形態に係る情報処理システム１Ａの概略構成を示す図であり、図２は、情報処理システム１Ａの要部構成を示すブロック図である。

情報処理システム１Ａは、２眼のステレオカメラ２と、ステレオカメラ２に対してデータ伝送可能に接続する情報処理装置３Ａとを備える。

２眼のステレオカメラ２には、それぞれ撮像素子を有する２つの撮像系２１，２２が設けられる。撮像系２１，２２は、所定方向に沿って離隔配置され、カメラ正面の被写体ＯＢを、同じタイミングで異なる視点から撮像するように構成される。撮像系２１，２２によって同じタイミングで撮像される２つの画像は、いわゆるステレオ画像であり、データ線ＣＢを介して情報処理装置３Ａに送信される。

なお、ステレオ画像を構成する２画像のうち、撮像系２１によって撮像されて取得される画像を、適宜「第１撮像画像」Ｇ１と称し、撮像系２２によって撮影されて取得される画像を、適宜「第２撮像画像」Ｇ２と称する。従って、２眼のステレオカメラ２によって、同一の被写体ＯＢがそれぞれとらえられた第１撮像画像Ｇ１と第２撮像画像Ｇ２とを含む複数の画像が取得される。

情報処理装置３Ａは、例えばパーソナルコンピュータ（パソコン）で構成され、マウスやキーボードを含む操作部３１と、例えば液晶ディスプレイ等で構成される表示部３２と、ステレオカメラ２からのデータを受信するインターフェース(Ｉ／Ｆ)部３３とを備える。また、情報処理装置３Ａは、記憶部３４と入出力部３５と制御部３６Ａとを有する。

記憶部３４は、例えばハードディスク等で構成され、後述する対応点探索処理を行うためのプログラムＰＧａ等が格納される。

入出力部３５は、例えばディスクドライブを備えて構成され、光ディスク等の記憶媒体９を受け付け、制御部３６Ａとの間でデータの授受を行う。

制御部３６Ａは、プロセッサーとして働くＣＰＵ３６ａ、および情報を一時的に記憶するメモリ３６ｂを有し、情報処理装置３Ａの各部を統括的に制御する。制御部３６Ａでは、記憶部３４内のプログラムＰＧａが読み込まれて実行されることで、各種機能や情報処理等が実現される。

制御部３６Ａのメモリ３６ｂには、記憶媒体９に記憶されているプログラムデータを入出力部３５を介して格納させることができる。これにより、この格納したプログラムを情報処理装置３Ａの動作に反映させることができる。

また、制御部３６Ａは、ステレオカメラ２で取得されたステレオ画像を構成する２画像（具体的には、第１および第２撮像画像Ｇ１，Ｇ２）間において対応点を探索する処理（対応点探索処理）を行う。この対応点探索処理については後述する。更に、制御部３６Ａは、画像間の対応点から三角測量の原理に基づき、被写体ＯＢの３次元位置を算出する。

表示部３２では、制御部３６Ａで算出された被写体ＯＢの３次元位置に基づく被写体ＯＢの３次元画像が可視的に出力される。

なお、本実施形態では、説明を簡素化するために、ステレオカメラ２の収差は良好に補正されており、且つ撮像系２１，２２は、略平行（好ましくは完全に平行）に設定されている。つまり、撮像系２１，２２の光軸が略平行（好ましくは完全に平行）に設定され、第１および第２撮像画像Ｇ１，Ｇ２で捉えられた被写体は、第１および第２撮像画像Ｇ１，Ｇ２の外縁に対して略同一の角度関係（好ましくは完全に同一の角度関係）を有する。また、実際のステレオカメラ２の構成が、このような条件にない場合は、画像処理によって同等の条件下で撮像されたステレオ画像に変換されても良い。

＜(1-2)対応点探索処理＞
情報処理装置３Ａでは、制御部３６Ａにおいて、ステレオ画像を構成する２画像間の対応点探索処理が行われる。この対応点探索処理では、簡単には、下記ステップ(Ｉ)〜(III)の処理が順次に行われる。

(Ｉ)基準画像としての第１撮像画像Ｇ１を構成する全画素のうちの一部の複数の画素が、対応点の探索における基準画素（探索基準点）として設定される。

(II)各探索基準点について、参照画像としての第２撮像画像Ｇ２を対象として探索基準点と同じ被写体の部分をとらえた該探索基準点に対応する点（対応点）が探索される。これにより、各探索基準点について、第１撮像画像Ｇ１と第２撮像画像Ｇ２との間における探索基準点の座標とその対応点の座標との間の距離が、視差として導出される。このとき、各視差の信頼性を示す値（信頼度）が導出される。

(III)第１撮像画像Ｇ１のうちの基準画素（探索基準点）以外の画素が、対応点が演算によって推定される画素（演算基準点）として順次に設定され、演算基準点を挟む２点の探索基準点に係る視差および該視差の信頼度に基づいて、各演算基準点に係る視差の推定値（推定視差）が決定される。

ここで、ステップ(II)における対応点探索手法としては、振幅成分を抑制した相関法が知られており、位相限定相関法（ＰＯＣ；Phase Only Correlation）やＤＣＴ符号限定相関法（参考論文：「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」貴塚仁志）等がある。これらの相関法では、パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算が行われる。このため、画像を取得するためのステレオカメラ２における撮影条件の差（ここでは、撮像系２１，２２における撮影条件の差）や、ノイズ等の影響を受け難く、欠陥が生じ難い対応点探索が可能である。

なお、本実施形態では、位相限定相関法を用いた対応点探索処理が行われるものとする。ここで、位相限定相関法を用いた対応点探索の基本原理について説明する。

＜(1-2-1)位相限定相関法を用いた対応点探索の基本原理＞
ステレオカメラ２の撮像系２１，２２によって同期して取得された第１および第２撮像画像Ｇ１，Ｇ２のうち、第１撮像画像Ｇ１が基準画像として設定され、第２撮像画像Ｇ２が参照画像として設定される。以下、基準画像Ｇ１および参照画像Ｇ２とも称する。

なお、ここでは、基準画像Ｇ１および参照画像Ｇ２は、それぞれ相互に直交するＸ方向およびＹ方向に沿って多数の画素がマトリックス状に配置されて形成されているものとする。また、基準画像Ｇ１および参照画像Ｇ２では、Ｘ方向に沿って所定数（Ｎ個）の画素が配列されることで長辺が形成され、Ｘ方向とは異なるＹ方向に沿って所定数（Ｍ個）の画素が配列されることで短辺が形成されているものとする。

図３は、基準画像Ｇ１と参照画像Ｇ２との間において対応点探索を行う際に、基準画像Ｇ１に対して設定されるウィンドウの設定態様を例示する図である。また、図４は、基準画像Ｇ１と参照画像Ｇ２との間において対応点探索を行う際に、参照画像Ｇ２に対して設定されるウィンドウの設定態様を例示する図である。なお、図３および図３以降の図では、基準画像Ｇ１および参照画像Ｇ２の長辺に沿ったＸ方向と、短辺に沿ったＹ方向とを明示するために、ＸＹの直交する２軸が付されている。

また、基準画像Ｇ１および参照画像Ｇ２では、左下の画素が基準（例えば原点）とされるとともに、各画素の位置がＸＹの座標（Ｘ，Ｙ）で示され、例えば、Ｘ方向に１画素ずれるとＸ座標の値が１増加し、Ｙ方向に１画素ずれるとＹ座標の値が１増加するものとする。

更に、ここでは、撮像系２１で取得される基準画像Ｇ１で被写体のある部分をとらえた画素の座標と、撮像系２２で取得される参照画像Ｇ２で同じ被写体のある部分をとらえた画素の座標とが、Ｙ方向にはほとんどずれず、Ｘ方向にずれるように、撮像系２１と撮像系２２とが設置されているものとする。

まず、図３で示されるように、基準画像Ｇ１上で指定される点（以下「指定点」と称する）Ｐを中心点として内包するウィンドウ（基準領域）Ｗ１が基準画像Ｇ１上に設定される。その一方で、図４で示されるように、ウィンドウＷ１のサイズと同じサイズを有するウィンドウ（比較領域）Ｗ２が参照画像Ｇ２における複数の位置に設定される。

ここでは、基準領域Ｗ１および比較領域Ｗ２では、それぞれＸ方向およびＹ方向に沿って複数の画素がマトリックス状に配列される。具体的には、Ｘ方向に沿って所定数Ｎ₁の画素が配列され、Ｙ方向に沿って所定数Ｎ₂の画素が配列される。

次に、基準領域Ｗ１および各比較領域Ｗ２が演算処理の対象となる領域（処理対象領域）とされて、基準領域Ｗ１と各比較領域Ｗ２との相関を示す値（以下「相関値」と称する）が算出される。そして、各比較領域Ｗ２に係る相関値（ここでは、後述するＰＯＣ値）に基づき、参照画像Ｇ２上で指定点Ｐに対応する点（対応点）が検出される。

更に、基準画像Ｇ１に対して、図５の矢印で示されるように、指定点Ｐを中心として内包する基準領域Ｗ１が、上方向（＋Ｙ方向）から順に、左から右方向（Ｘ方向）に沿って所定画素ずつずらされながら時間順次に設定され、各指定点Ｐに対応する対応点が、参照画像Ｇ２上で検出される。

具体的には、基準画像Ｇ１については、＋Ｙ方向から−Ｙ方向に向けて並んだＸ方向に平行な各画素列に沿って、指定点Ｐが時間順次に設定される。そして、Ｘ方向に平行な１つの画素列に沿った指定点Ｐの設定が完了すると、１画素だけ−Ｙ方向に位置するＸ方向に平行な次の画素列に沿って指定点Ｐが時間順次に設定される。すなわち、指定点を内包する基準領域Ｗ１によって基準画像Ｇ１の走査（スキャン）が行われる。このスキャンの方向（スキャン方向）は、Ｘ方向に沿った方向、すなわちＸ方向に平行な方向となる。

各対応点が検出される際には、図４で示されるように、参照画像Ｇ２に対して、基準画像Ｇ１の指定点ＰのＹ座標と同じＹ座標の点を中心とした比較領域Ｗ２が、左から右方向（Ｘ方向）に沿って１画素ずつずらされながら時間順次に設定される。すなわち、参照画像Ｇ２が比較領域Ｗ２によってＸ方向に沿って走査（スキャン）される。このように、指定点Ｐに対応する対応点が存在し得る領域が比較領域Ｗ２が設定される対象となる領域（設定対象領域）とされ、その限定された領域に比較領域Ｗ２が設定されるようにスキャンが行われることが、効率良く対応点が検出される上で好ましい。

この設定対象領域については、撮像系２１，２２の配置、撮像系２１，２２の撮影方向（具体的には光軸の設定）、および撮像系２１，２２の撮影範囲（具体的には画角）などといった撮像系２１，２２に係る各種設定に従って適宜設定可能である。なお、例えば、図５で示された基準領域Ｗ１と同様に、参照画像Ｇ２のほぼ全体が比較領域Ｗ２によってスキャンされるように、設定対象領域が設定されても構わない。

図６は、位相限定相関法を用いた対応点探索処理を説明するための図である。

位相限定相関法を用いた対応点探索処理では、まず、基準画像Ｇ１に対するウィンドウＷ１の設定処理Ｔ０ａと、参照画像Ｇ２に対するウィンドウＷ２の設定処理Ｔ０ｂとが行われる。このとき、基準画像Ｇ１上のウィンドウＷ１内の画像領域（基準領域）と、参照画像Ｇ２上のウィンドウ内の画像領域（比較領域）とがそれぞれ抽出される。これらの画像領域については、次の数１で表されるものとする。

ここで、上記の数１におけるｆ(ｎ₁,ｎ₂)は、基準画像Ｇ１上のウィンドウＷ１内の基準領域を示し、上記の数１におけるｇ(ｎ₁,ｎ₂)は、参照画像Ｇ２上のウィンドウＷ２内の比較領域を示す。また、Ｎ₁およびＮ₂は、例えばＮ₁＝２Ｍ₁＋１、Ｎ₂＝２Ｍ₂＋１と設定されている。

次に、基準画像Ｇ１および参照画像Ｇ２のウィンドウＷ１，Ｗ２内の各画像領域に対し、次の数２で示される演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂが行われる。

なお、上記の数２のただし書におけるＷの添字Ｐには、Ｎ₁、Ｎ₂が代入され、またｋの添字ｓには、１、２が代入される。

このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像領域に対しては、次の数３で示される演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。

規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数４で示される演算式を用いた合成処理Ｔ３が行われるとともに、数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。

以上の処理により、基準領域Ｗ１と比較領域Ｗ２との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図７で示されるような結果（ＰＯＣ値）が得られる。

図７においては、ウィンドウ(Ｎ₁×Ｎ₂)内で相関が高い箇所のＰＯＣ値が大きくなっており、参照画像Ｇ２上のウィンドウＷ２内のうち、ＰＯＣ値のピークＪｃに対応する位置が、基準画像Ｇ１上の基準領域Ｗ１の中心点(指定点)Ｐに対応した参照画像Ｇ２上の対応点に相当する。

ここでは、１つの基準領域Ｗ１と、参照画像Ｇ２上に設定された複数の比較領域Ｗ２との間で相関演算が行われ、ＰＯＣ値のピークＪｃが検出される。その結果、基準画像Ｇ１上の指定点Ｐに対応した参照画像Ｇ２上の対応点が検出される。

更に、同様な手法により、基準画像Ｇ１に対して、指定点Ｐを中心点として内包する複数の基準領域Ｗ１が設定され、各指定点Ｐに対応した参照画像Ｇ２上の対応点が検出される。

以上のような位相限定相関法を用いた対応点探索処理によれば、画像の振幅成分が除去され、画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響が抑制されて対応点が精度良く検出される。

なお、ＰＯＣ値は、離散的に求められるため、隣接画素間で補間演算を行い、ピークＪｃの位置を１画素のサイズよりも細かいサブピクセルのサイズで推定することで、更に細かく対応点の検出を行うこともできる。補間演算の手法としては、離散的に求められたＰＯＣ値の分布から放物線の関数を求める手法等が考えられる。

ここまで、位相限定相関法による対応点探索の基本原理について説明したが、基準画像Ｇ１と参照画像Ｇ２との間で、各座標点の対応付けを行うためには、多数回の２次元フーリエ変換を含む２次元演算を行う必要性がある。従って、２次元演算を単に繰り返し行ったのでは、演算処理に多大な時間を要してしまい、画像間の各座標点の対応付けを高速で行うことができない。

そこで、本願の発明者らは、基準画像Ｇ１の一部の画素（指定点）に対応する参照画像Ｇ２上での対応点の探索を行い、その際に得られる指定点と対応点との間の座標間距離（視差）および該視差の信頼度を用いて、基準画像Ｇ１の全画素について基準画像Ｇ１と参照画像Ｇ２との間における視差を求めることで、演算量の低減を図りつつ、画像間における座標点の対応付けを高速かつ高精度で行う技術を創出した。

以下、本実施形態に係る対応点探索処理の具体的な処理内容について説明する。

＜(1-2-2)対応点探索処理の具体的な処理内容＞
図８は、対応点探索処理を実行するための制御部３６Ａの機能的な構成を示す図である。制御部３６Ａでは、例えば、記憶部３４に格納されるプログラムＰＧａを読み込んで実行することで、図８で示されるような機能的な構成を実現する。

図８で示されるように、制御部３６Ａは、機能的な構成として、画像取得部３６１、実探索基準点設定部３６２、視差導出部３６３、演算基準点設定部３６４、推定視差決定部３６５Ａ、視差演算部３６６Ａ、および記憶制御部３６７を有する。

画像取得部３６１は、記憶部３４から同一の被写体を同じタイミングでとらえた基準画像Ｇ１および参照画像Ｇ２を取得する。ここでは、厳密には、基準画像Ｇ１および参照画像Ｇ２を示すデータが取得されるが、以下では、基準画像Ｇ１を示すデータおよび基準画像Ｇ１そのものを基準画像Ｇ１と総称し、参照画像Ｇ２を示すデータおよび参照画像Ｇ２そのものを参照画像Ｇ２と総称する。

図９は、基準画像Ｇ１および参照画像Ｇ２を例示する図である。図９では、基準画像Ｇ１および参照画像Ｇ２として、縦方向（Ｙ方向）に１９画素が配列され且つ横方向（Ｘ方向）に２５画素が配列される格子状の画素配列をそれぞれ有する簡略化された例が示されている。但し、実際には、基準画像Ｇ１および参照画像Ｇ２は、例えば、縦方向（Ｙ方向）に９６０画素が配列され且つ横方向（Ｘ方向）に１２８０画素が配列される格子状の画素配列をそれぞれ有する。

実探索基準点設定部３６２は、画像取得部３６１によって取得された基準画像Ｇ１に対して、位相限定相関法を用いた対応点探索処理が実際に行われる複数の対象画素を、複数の探索基準点Ｐ_stとして設定する。

図１０は、基準画像Ｇ１に対して設定される複数の探索基準点Ｐ_stを例示する図である。図１０では、基準画像Ｇ１のうちの横方向について、４画素毎に１つの探索基準点Ｐ_st（図中の斜線ハッチングが付された画素）が設定される様子が示されている。より詳細には、基準画像Ｇ１を構成する縦方向に沿った複数の画素列（垂直ライン）のうち、両端の垂直ライン、および４本の垂直ライン毎の１本の垂直ラインを構成する複数の画素が、複数の探索基準点Ｐ_stとして設定される。なお、ここでは、基準画像Ｇ１の両端の垂直ラインが複数の探索基準点Ｐ_stによって構成されるため、実際には、基準画像Ｇ１の垂直ラインの本数に応じて、複数の探索基準点Ｐ_stによって構成される垂直ラインの間隔が適宜調整される。

視差導出部３６３は、対応点探索部３６３ａ、信頼度認識部３６３ｂ、および視差算出部３６３ｃを有する。

対応点探索部３６３ａは、上述された位相限定相関法による対応点探索の基本原理に従って、実探索基準点設定部３６２で設定された各探索基準点Ｐ_stについて、順次に参照画像Ｇ２上の対応点を探索する。

信頼度認識部３６３ｂは、各探索基準点Ｐ_stについて、対応点探索部３６３ａにおいて対応点が検出される際に該対応点に対して算出されたＰＯＣ値を信頼度として認識する。

視差算出部３６３ｃは、各探索基準点Ｐ_stについて、基準画像Ｇ１における探索基準点Ｐ_stの座標と参照画像Ｇ２における対応点の座標とのずれ量、すなわち座標間距離が、視差として算出される。

このような処理により、視差導出部３６３では、各探索基準点Ｐ_stについて参照画像Ｇ２から対応点を探索することで、基準画像Ｇ１と参照画像Ｇ２との間における各探索基準点Ｐ_stに係る視差と該視差の信頼度とが導出される。ここで導出される信頼度は、導出された視差が、どの程度正確であるかのを表す指標となる。

演算基準点設定部３６４は、基準画像Ｇ１のうち、探索基準点Ｐ_stとして設定されなかった各画素を、該画素の近傍に位置する探索基準点Ｐ_stに係る視差と該視差に係る信頼度とを用いて対応点が演算によって推定される画素（演算基準点）として設定する。

推定視差決定部３６５Ａは、各演算基準点について、基準画像Ｇ１と参照画像Ｇ２との間における視差の推定値（推定視差）を決定する。

図１１は、推定視差決定部３６５Ａにおける推定視差の決定処理を説明するための図である。図１１では、基準画像Ｇ１のうち、最も上の水平方向に並ぶ画素列（画素ライン）の右から２番目の探索基準点Ｐ_stが第１の探索基準点Ｐ_Aとして示されるとともに、該画素ラインの最も右の探索基準点Ｐ_stが第２の探索基準点Ｐ_Eとして示される。また、図１１では、基準画像Ｇ１に設定される多数の演算基準点のうち、隣り合う第１の探索基準点Ｐ_Aと第２の探索基準点Ｐ_Eとによって挟まれる３つの画素が、左から順に第１の演算基準点Ｐ_B、第２の演算基準点Ｐ_C、および第３の演算基準点Ｐ_Dとして示される。

図１２は、本実施形態に係る第１〜３の演算基準点Ｐ_B〜Ｐ_Dの各推定視差の決定処理を説明するための図である。図１２では、横軸がＸ座標を示し、縦軸が視差を示すとともに、第１の探索基準点Ｐ_AのＸ座標がＸ_A、第１の演算基準点Ｐ_BのＸ座標がＸ_B、第２の演算基準点Ｐ_CのＸ座標がＸ_C、第３の演算基準点Ｐ_DのＸ座標がＸ_D、第２の探索基準点Ｐ_EのＸ座標がＸ_Eとして示される。ここでは、図１２で示されるように、視差導出部３６３によって、第１の探索基準点Ｐ_Aに係る視差Δａ_calおよび該視差Δａ_calの信頼度ＲＥ_aと、第２の探索基準点Ｐ_Eに係る視差Δｅ_calおよび該視差Δｅ_calの信頼度ＲＥ_eとが導出されるものとする。

また、図１３は、第１〜３の演算基準点Ｐ_B〜Ｐ_Dの各視差を線形補間によって導出する処理を説明するための図である。図１３において実線の白抜きの丸印で示されるように、第１の探索基準点Ｐ_Aと第２の探索基準点Ｐ_Eの間に順次に配置される第１〜３の演算基準点Ｐ_B〜Ｐ_Dの視差が、Ｘ座標の変化に対して単純に比例するものと考えることができる。このような場合には、第１の探索基準点Ｐ_Aに係る視差Δａ_calと第２の探索基準点Ｐ_Eに係る視差Δｅ_calと距離とを用いた線形補間の演算によって、第１の演算基準点Ｐ_Bに係る視差の推定値（推定視差）Δｂ_est、第２の演算基準点Ｐ_Cに係る視差の推定値（推定視差）Δｃ_est、および第３の演算基準点Ｐ_Dに係る視差の推定値（推定視差）Δｄ_estが求められる。

例えば、第１の探索基準点Ｐ_AのＸ座標と第１の演算基準点Ｐ_BのＸ座標との差分、すなわちＸ方向に沿った第１の探索基準点Ｐ_Aと第１の演算基準点Ｐ_Bとの間の距離をΔｍ（＝Ｘ_B−Ｘ_A）、第２の探索基準点Ｐ_EのＸ座標と第１の演算基準点Ｐ_BのＸ座標との差分、すなわちＸ方向に沿った第２の探索基準点Ｐ_Eと第１の演算基準点Ｐ_Bとの間の距離をΔｎ（＝Ｘ_E−Ｘ_B）とすると、第１の演算基準点Ｐ_Bの推定視差Δｂ_estは、一般式としての下式(１)で示される。

Δｂ_est＝(Δｎ×Δａ_cal＋Δｍ×Δｅ_cal)／(Δｍ＋Δｎ) ・・・(１)。

具体的には、第１の演算基準点Ｐ_Bに係る推定視差Δｂ_estは、下式(２)で示されるとともに、第２，３の演算基準点Ｐ_C，Ｐ_Dに係る推定視差Δｃ_est，Δｄ_estは、下式(３)および(４)で示される。

Δｂ_est＝０．７５×Δａ_cal＋０．２５×Δｅ_cal ・・・(２)
Δｃ_est＝０．５０×Δａ_cal＋０．５０×Δｅ_cal ・・・(３)
Δｄ_est＝０．２５×Δａ_cal＋０．７５×Δｅ_cal ・・・(４)。

しかしながら、図１３において破線の丸印で示されるように、実際には、第１の探索基準点Ｐ_Aと第１の演算基準点Ｐ_Bとの間で急激に視差が変化している場合も有り得る。つまり、基準画像Ｇ１と参照画像Ｇ２とでとらえられた被写体が、遠距離に存在するものと近距離に存在するものとが混在している状態（遠近競合状態）にある場合も有り得る。このような場合には、線形補間によって求められる第１〜３の演算基準点Ｐ_B〜Ｐ_Dの推定視差（白抜きの丸印で示された視差）は、実際の第１〜３の演算基準点Ｐ_B〜Ｐ_Dの視差（破線の丸印で示された視差）とは大きく異なる。

すなわち、被写体が遠近競合状態にある場合には、演算基準点を挟む２つの探索基準点に係る視差と距離とを用いた線形補間の演算によって求められる該演算基準点に係る推定視差が、該演算基準点に係る実際の視差（実視差）とは大きく異なる頻度が高まる。

そこで、本実施形態に係る推定視差決定部３６５Ａでは、各演算基準点について、該演算基準点を挟む２つの探索基準点に係る視差と距離とに加えて、該２つの探索基準点に係る視差の信頼度を用いた演算により、該演算基準点に係る推定視差が求められる。つまり、推定視差決定部３６５Ａでは、各演算基準点に係る推定視差が、該演算基準点を挟む２つの探索基準点に係る視差および該視差の信頼度に基づいて決定される。

具体的には、例えば、第１の演算基準点Ｐ_Bの推定視差Δｂ_estは、第１の探索基準点Ｐ_Aに係る視差Δａ_calの信頼度ＲＥ_aと、第２の探索基準点Ｐ_Eに係る視差Δｅ_calの信頼度ＲＥ_eとを用いて、一般式としての下式(５)で示される。

Δｂ_est＝(ＲＥ_a×Δｎ×Δａ_cal＋ＲＥ_e×Δｍ×Δｅ_cal)／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ) ・・・(５)。

具体的には、第１の演算基準点Ｐ_Bに係る推定視差Δｂ_estは、下式(６)で示されるとともに、第２，３の演算基準点Ｐ_C，Ｐ_Dに係る推定視差Δｃ_est，Δｄ_estは、下式(７)および(８)で示される。

Δｂ_est＝(ＲＥ_a×０．７５×Δａ_cal＋ＲＥ_e×０．２５×Δｅ_cal)／(ＲＥ_a×０．７５＋ＲＥ_e×０．２５) ・・・(６)
Δｃ_est＝(ＲＥ_a×０．５０×Δａ_cal＋ＲＥ_e×０．５０×Δｅ_cal)／(ＲＥ_a×０．５０＋ＲＥ_e×０．５０) ・・・(７)
Δｄ_est＝(ＲＥ_a×０．２５×Δａ_cal＋ＲＥ_e×０．７５×Δｅ_cal)／(ＲＥ_a×０．２５＋ＲＥ_e×０．７５) ・・・(８)。

推定視差決定部３６５Ａでは、上式(５)，(６)で示されるように、距離Δｍ，Δｎと、信頼度ＲＥ_a，ＲＥ_eとに基づいて、第１の探索基準点Ｐ_Aの視差Δａ_calに係る係数ＲＥ_a／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)と、第２の探索基準点Ｐ_Eの視差Δｅ_calに係る係数ＲＥ_e／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)とが算出される。そして、該係数ＲＥ_a／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)，ＲＥ_e／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)と、距離Δｍ，Δｎと、視差Δａ_cal，Δｅ_calとに基づき、第１の演算基準点Ｐ_Bに係る推定視差Δｂ_estが決定される。なお、推定視差Δｂ_estが決定されるに際して、係数ＲＥ_a／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)，ＲＥ_e／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)は、視差Δａ_cal，Δｅ_calの何れを重要視するのかを示す重み付け係数の役割を果たす。

また、第２，３の演算基準点Ｐ_C，Ｐ_Dに係る推定視差Δｃ_est，Δｄ_estについても、第１の演算基準点Ｐ_Bに係る推定視差Δｂ_estの決定処理と同様に、重み付け係数を利用した演算によって決定される。

図１２では、上式(６)〜(８)によって導出される推定視差Δｂ_est，Δｃ_est，Δｄ_estが、黒丸で示される。

また、推定視差決定部３６５Ａでは、同様な演算によって、基準画像Ｇ１のうちの全ての演算基準点に係る推定視差が順次に求められる。

なお、ここで説明された推定視差決定部３６５Ａにおける推定視差の決定では、対応点の探索対象となる被写体の部分の近傍において遠距離に存在するものと近距離に存在するものとが混在している程度（すなわち遠近競合の程度）が大きければ大きいほど、信頼度（ここではＰＯＣ値の最大値）が低くなることが利用されている。

ここで、遠近競合の程度が大きい場合に信頼度が低下することについて説明する。図１２において実線の白抜きの丸印で示されるように、第１の探索基準点Ｐ_Aと第１の演算基準点Ｐ_Bとの間で、視差が大きく変化している場合を想定する。この場合、第１の探索基準点Ｐ_Aを中心点として内包する基準領域Ｗ１には、第１の探索基準点Ｐ_Aの周囲の第１および第２の演算基準点Ｐ_B，Ｐ_C等も含まれる。このため、第１の探索基準点Ｐ_Aに係るＰＯＣ値の最大値が低下する。

これに対して、図１２で示されるように、第２の探索基準点Ｐ_Eと第３の演算基準点Ｐ_Dとの間で、視差がほとんど変化していない場合を想定する。この場合、第２の探索基準点Ｐ_Eを中心点として内包する基準領域Ｗ１には、第２の探索基準点Ｐ_Eの周囲の第２および第３の演算基準点Ｐ_C，Ｐ_D等も含まれる。このため、第２の探索基準点Ｐ_Eに係るＰＯＣ値が上昇する。

図８に戻って説明を続ける。

視差演算部３６６Ａは、初期位置設定部３６６ａＡ、対応点探索部３６６ｂＡ、および視差算出部３６６ｃＡを有する。

初期位置設定部３６６ａＡは、各演算基準点について視差を求める際に、推定視差決定部３６５Ａで決定された該演算基準点に係る推定視差を基準となる初期視差とし、該初期視差に応じて、参照画像Ｇ２において比較領域Ｗ２を設定する際に基準となる位置（初期位置）を設定する。具体的には、参照画像Ｇ２のうち、基準画像Ｇ１における演算基準点のＸ座標から推定視差の分ずれたＸ座標の位置が初期位置として設定される。

対応点探索部３６６ｂＡは、各演算基準点について、位相限定相関法による対応点探索の基本原理に従って、順次に参照画像Ｇ２上の対応点を探索する。対応点探索部３６６ｂＡでは、基準画像Ｇ１に対して、演算基準点を中心点として内包する基準領域Ｗ１が設定されるとともに、図１４で示されるように、参照画像Ｇ２に対して、該演算基準点に係る初期位置Ｐ_prを中心点として内包する比較領域Ｗ２が設定される。そして、対応点探索部３６６ｂＡでは、基準領域Ｗ１と比較領域Ｗ２との相関を示す相関値（ここではＰＯＣ値）が算出され、ＰＯＣ値のピークＪｃに対応する位置が、該演算基準点に係る対応点として検出される。

ここでは、参照画像Ｇ２のうち、演算基準点に対応する対応点の近傍に位置すると推定される初期位置Ｐ_prを中心点として内包する比較領域Ｗ２が設定される。このため、１つの演算基準点に係る対応点を探索する際に、参照画像Ｇ２に対して比較領域Ｗ２を１回設定すれば、精度良く対応点が検出される。つまり、対応点探索における演算量を低減することが可能であり、対応点探索の精度が維持されつつ該対応点探索の迅速化が図られる。

視差算出部３６６ｃＡは、各演算基準点について、演算基準点と対応点探索部３６６ｂＡによって検出される対応点との間の座標間距離（視差）を算出する。

このようにして、視差演算部３６６Ａでは、参照画像Ｇ２について演算基準点に対応する対応点の探索が推定視差決定部３６５Ａによって決定された推定視差が基準とされて実行される。その結果、基準画像Ｇ１と参照画像Ｇ２との間における演算基準点に係る視差が求められる。

記憶制御部３６７は、視差導出部３６３によって各探索基準点に係る視差が導出される度に、探索基準点と該探索基準点に係る視差とが関連付けられたデータを記憶部３４に記憶する。また、記憶制御部３６７は、視差演算部３６６Ａによって各演算基準点に係る視差が導出される度に、演算基準点と該演算基準点に係る視差とが関連付けられたデータを記憶部３４に記憶する。

なお、基準画像Ｇ１と参照画像Ｇ２との間で視差が求められれば、該視差と、ステレオカメラ２における撮像系２１の光軸と撮像系２２の光軸との距離（基線長）を含むカメラパラメータとに基づいて、被写体の各部分までの距離を求めることが可能となる。

＜(1-2-3)対応点探索処理の動作フロー＞
図１５から図１７は、本実施形態に係る制御部３６Ａにおいて実行される対応点探索処理の動作フローを示すフローチャートである。本動作フローは、制御部３６ＡがプログラムＰＧａを読み込んで実行することで実現される。なお、本動作フローは、例えば、操作部３１からの指示に応じて開始されて、図１５のステップＳａ１に進む。

ステップＳａ１では、画像取得部３６１によって、記憶部３４から基準画像Ｇ１と参照画像Ｇ２とが取得される。

ステップＳａ２では、実探索基準点設定部３６２によって、基準画像Ｇ１を構成する全画素のうち、位相限定相関法を用いた対応点探索処理が実際に行われる複数の画素が、複数の探索基準点として設定される。

ステップＳａ３では、視差導出部３６３によって、各探索基準点に係る視差が導出される処理が行われる。具体的には、図１６で示される動作フローが実行される。

図１６のステップＳａ３１では、視差導出部３６３によって、ステップＳａ２で設定された複数の探索基準点から、対応点探索処理の対象となる１つの探索基準点が指定される。なお、ステップＳａ３１では、ステップＳａ３４から戻ってくる度に、ステップＳａ２で設定された複数の探索基準点のうちで、対応点探索処理の対象として未だに指定されていない探索基準点が指定される。

ステップＳａ３２では、対応点探索部３６３ａによって、参照画像Ｇ２を対象として、ステップＳａ３１で指定された探索基準点に対応する対応点の探索が行われる。ここでは、位相限定相関法を用いた対応点探索処理が行われ、ＰＯＣ値が最も大きくなる位置が対応点として検出される。また、このＰＯＣ値の最大値が、信頼度認識部３６３ｂによって、検出された対応点の信頼度として認識される。

ステップＳａ３３では、視差算出部３６３ｃによって、ステップＳａ３１において基準画像Ｇ１上で指定された探索基準点の座標と、ステップＳａ３２において検出された対応点の座標との間の距離（座標間距離）が、該探索基準点に係る視差として導出される。また、このステップＳａ３３では、探索基準点に係る視差が導出される度に、記憶制御部３６７によって、探索基準点と該探索基準点に係る視差とが関連付けられたデータが記憶部３４に記憶される。

ステップＳａ３４では、視差導出部３６３によって、ステップＳａ２で設定された全ての探索基準点について、ステップＳａ３１〜Ｓａ３３の処理によって視差が導出されたか否か判定される。ここで、全ての探索基準点に係る視差の導出が完了していなければ、ステップＳａ３１に戻り、全ての探索基準点に係る視差の導出が完了していれば、図１５のステップＳａ４に進む。

図１５のステップＳａ４では、演算基準点設定部３６４、推定視差決定部３６５Ａ、および視差演算部３６６Ａによって、各演算基準点に係る視差が導出される処理が行われる。具体的には、図１７で示される動作フローが実行される。

図１７のステップＳａ４１では、演算基準点設定部３６４によって、基準画像Ｇ１のうち、ステップＳａ２で探索基準点として設定されなかった全画素が、演算基準点として設定される。

ステップＳａ４２では、推定視差決定部３６５Ａによって、ステップＳａ４１で設定された複数の演算基準点から、視差の導出対象となる１つの演算基準点が指定される。なお、ステップＳａ４２では、ステップＳａ４８から戻ってくる度に、ステップＳａ４１で設定された複数の演算基準点のうちで、視差の導出対象として未だに指定されていない演算基準点が指定される。

ステップＳａ４３では、推定視差決定部３６５Ａによって、ステップＳａ４２で指定された演算基準点と該演算基準点を挟む２つの探索基準点との間の距離と、ステップＳａ３２で導出された該２つの探索基準点に係る視差の信頼度とに基づき、該２つの探索基準点の視差に係る係数（ここでは重み付け係数）が算出される。

ステップＳａ４４では、推定視差決定部３６５Ａによって、ステップＳａ４３で算出された２つの探索基準点の視差に係る係数と、ステップＳａ３２で導出された該２つの探索基準点の視差とに基づき、ステップＳａ４２で指定された演算基準点に係る推定視差が決定される。

ステップＳａ４５では、初期位置設定部３６６ａＡによって、ステップＳａ４４で決定された演算基準点に係る推定視差が初期視差として設定され、参照画像Ｇ２のうち、ステップＳａ４２で指定された演算基準点のＸ座標から該初期視差の分ずれたＸ座標の位置が、初期位置として設定される。

ステップＳａ４６では、対応点探索部３６６ｂＡによって、ステップＳａ４２で指定された演算基準点について、参照画像Ｇ２上の対応点が探索される。ここでは、基準画像Ｇ１に対して、ステップＳａ４２で指定された演算基準点を中心点として内包する基準領域Ｗ１が設定されるとともに、参照画像Ｇ２に対して、ステップＳａ４５で設定された初期位置を中心点として内包する比較領域Ｗ２が設定される。そして、基準領域Ｗ１と比較領域Ｗ２との相関を示す相関値（ここではＰＯＣ値）が算出され、ＰＯＣ値のピークＪｃに対応する位置が、該演算基準点に係る対応点として検出される。

ステップＳａ４７では、視差算出部３６６ｃＡによって、ステップＳａ４２で指定された演算基準点について、該演算基準点とステップＳａ４６で検出された対応点との間の座標間距離（視差）が導出される。また、このステップＳａ４７では、演算基準点に係る視差が導出される度に、記憶制御部３６７によって、演算基準点と該演算基準点に係る視差とが関連付けられたデータが記憶部３４に記憶される。

ステップＳａ４８では、視差演算部３６６Ａによって、ステップＳａ４１で設定された全ての演算基準点について、ステップＳａ４２〜Ｓａ４７の処理によって視差が導出されたか否か判定される。ここで、全ての演算基準点に係る視差の導出が完了していなければ、ステップＳａ４２に戻り、全ての演算基準点に係る視差の導出が完了していれば、本動作フローが終了する。

以上のように、第１実施形態に係る情報処理システム１Ａでは、基準画像Ｇ１と参照画像Ｇ２との間において、演算基準点を挟む２点の視差とその信頼度とに基づいて該演算基準点に係る推定視差が求められる。このため、基準画像Ｇ１と参照画像Ｇ２との間において対応点を迅速且つ精度良く探索することが可能となる。

また、実際の視差に近い推定視差を基準として、演算基準点に対応する対応点の探索が行われる。このため、２つの画像の間において対応点を迅速且つ精度良く探索することが可能となる。

また、演算基準点と該演算基準点を挟む２つの探索基準点との間の距離と、該２つの探索基準点の視差に係る信頼度とを加味した重み付け係数に基づいて、確度の低い情報の影響が低減された演算基準点に係る推定視差が求められる。

＜(2)第２実施形態＞
上記第１実施形態では、演算基準点と該演算基準点を挟む２つの探索基準点との間の距離と、該２つの探索基準点の視差に係る信頼度とを加味した重み付け係数を用いて、演算基準点に係る推定視差が決定された。これに対して、第２実施形態では、演算基準点と該演算基準点を挟む２つの探索基準点との間の距離と、該２つの探索基準点の視差に係る信頼度とに基づいて算出される該２つの探索基準点に係る係数のうち、相対的に大きな係数に対応する探索基準点に係る視差が、演算基準点に係る推定視差として決定される。

第２実施形態に係る情報処理システム１Ｂは、上記第１実施形態に係る情報処理システム１Ａと比較して、推定視差決定部３６５Ａおよび視差演算部３６６Ａが、処理動作が異なる推定視差決定部３６５Ｂおよび視差演算部３６６Ｂに変更され、該変更に伴って、制御部３６Ａが制御部３６Ｂに変更されるとともに、情報処理装置３Ａが情報処理装置３Ｂに変更されたものとなっている。従って、第２実施形態に係る情報処理システム１Ｂのうち、第１実施形態に係る情報処理システム１Ａと同様な構成については同じ符号を付して説明を省略する。

以下、第２実施形態に係る情報処理システム１Ｂのうち、第１実施形態に係る情報処理システム１Ａと異なる部分、具体的には推定視差決定部３６５Ｂおよび視差演算部３６６Ｂについて説明する。

＜(2-1)対応点探索処理の具体的な処理内容＞
図１８は、推定視差決定部３６５Ｂにおける第１〜３の演算基準点Ｐ_B〜Ｐ_D（図１１）に係る推定視差の決定処理を説明するための図である。図１８では、図１２と同様に、横軸がＸ座標を示し、縦軸が視差を示すとともに、第１の探索基準点Ｐ_AのＸ座標Ｘ_A、第１〜３の演算基準点Ｐ_B，Ｐ_C，Ｐ_DのＸ座標Ｘ_B，Ｘ_C，Ｘ_D、第２の探索基準点Ｐ_EのＸ座標Ｘ_E、第１の探索基準点Ｐ_Aに係る視差Δａ_cal、第２の探索基準点Ｐ_Eに係る視差Δｅ_cal、Ｘ方向に沿った第１の探索基準点Ｐ_Aと第１の演算基準点Ｐ_Bとの間の距離Δｍ、およびＸ方向に沿った第２の探索基準点Ｐ_Eと第１の演算基準点Ｐ_Bとの間の距離Δｎがそれぞれ示される。

推定視差決定部３６５Ｂは、上記第１実施形態に係る推定視差決定部３６５Ａと同様に、距離Δｍ，Δｎと、信頼度ＲＥ_a，ＲＥ_eとに基づいて、第１の探索基準点Ｐ_Aの視差Δａ_calに係る係数ＲＥ_a／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)と、第２の探索基準点Ｐ_Eの視差Δｅ_calに係る係数ＲＥ_e／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)とを算出する。そして、推定視差決定部３６５Ｂは、該２つの係数ＲＥ_a／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)，ＲＥ_e／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)のうち、相対的に大きな係数に対応する探索基準点の視差を、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る推定視差として決定する。

例えば、第１の探索基準点Ｐ_Aの視差Δａ_calに係る係数ＲＥ_a／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)が、第２の探索基準点Ｐ_Eの視差Δｅ_calに係る係数ＲＥ_e／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)よりも大きな場合には、第１の探索基準点Ｐ_Aに係る視差Δａ_calが、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る推定視差Δｂ_est，Δｃ_est，Δｄ_estとして決定される。つまり、Δｂ_est＝Δｃ_est＝Δｄ_est＝Δａ_calの等式が成立する。

一方、第２の探索基準点Ｐ_Eの視差Δｅ_calに係る係数ＲＥ_e／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)が、第１の探索基準点Ｐ_Aの視差Δａ_calに係る係数ＲＥ_a／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)よりも大きな場合には、第２の探索基準点Ｐ_Eに係る視差Δｅ_calが、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る推定視差Δｂ_est，Δｃ_est，Δｄ_estとして決定される。つまり、Δｂ_est＝Δｃ_est＝Δｄ_est＝Δｅ_calの等式が成立する。図１８では、Δｂ_est＝Δｃ_est＝Δｄ_est＝Δｅ_calの等式が成立する場合における推定視差Δｂ_est，Δｃ_est，Δｄ_estが、黒丸で示されている。

このように、推定視差決定部３６５Ｂでは、第１の探索基準点Ｐ_Aの視差Δａ_calおよび該視差Δａ_calに係る信頼度ＲＥ_aと、第２の探索基準点Ｐ_Eの視差Δｅ_calおよび該視差Δｅ_calに係る信頼度ＲＥ_eとに基づき、基準画像Ｇ１において第１の探索基準点Ｐ_Aと第２の探索基準点Ｐ_Eとによって挟まれる第１〜３演算基準点Ｐ_B〜Ｐ_Dについて、基準画像Ｇ１と参照画像Ｇ２との間における推定視差Δｂ_est，Δｃ_est，Δｄ_estが決定される。

また、推定視差決定部３６５Ｂでは、同様な演算によって、基準画像Ｇ１のうちの全ての演算基準点に係る推定視差が順次に求められる。このような各演算基準点に係る推定視差の決定により、減り張りを付けた、推定視差の決定が可能となる。

推定視差決定部３６５Ｂにおける推定視差の決定では、基準画像Ｇ１のうちの探索基準点の近傍でとらえられた被写体の部分における遠近競合の程度が大きければ大きいほど、該探索基準点に係る視差の信頼度（ここではＰＯＣ値）が低くなることが利用されている。

但し、推定視差決定部３６５Ｂにおいて、演算基準点を挟む２つの探索基準点に係る視差のうち、一方の視差を該演算基準点に係る推定視差として決定した場合には、決定された演算基準点に係る推定視差が実際の視差から大きく外れる可能性もある。このような問題に対して、本実施形態では、視差演算部３６６Ｂにおける演算基準点に係る視差の演算処理に工夫が施されている。以下、視差演算部３６６Ｂにおける処理について説明する。

視差演算部３６６Ｂは、初期位置設定部３６６ａＢ、対応点探索部３６６ｂＢ、および視差算出部３６６ｃＢを有する。

この初期位置設定部３６６ａＢは、各演算基準点について視差を求める際に、推定視差決定部３６５Ｂで決定された該演算基準点に係る推定視差を基準となる初期視差とする。このとき、初期位置設定部３６６ａＢは、該初期視差に応じて、参照画像Ｇ２において比較領域Ｗ２を設定する際に基準となる位置（初期位置）を設定する。具体的には、参照画像Ｇ２のうち、基準画像Ｇ１における演算基準点のＸ座標から推定視差の分ずれたＸ座標の位置が初期位置として設定される。

対応点探索部３６６ｂＢは、各演算基準点について、位相限定相関法による対応点探索の基本原理に従って、順次に参照画像Ｇ２上の対応点を探索する。対応点探索部３６６ｂＢでは、基準画像Ｇ１に対して、演算基準点を中心点として内包する基準領域Ｗ１が設定されるとともに、図１４で示されたように、参照画像Ｇ２に対して、該演算基準点に係る初期位置Ｐ_prを中心点として内包する比較領域Ｗ２が設定される。そして、対応点探索部３６６ｂＢでは、基準領域Ｗ１と比較領域Ｗ２との相関を示す相関値（ここではＰＯＣ値）が算出され、ＰＯＣ値のピークＪｃに対応する位置が、該演算基準点に係る対応点として検出される。

但し、ある演算基準点について、参照画像Ｇ２に対して上記初期位置を中心点として内包するように設定される比較領域Ｗ２と、基準画像Ｇ１に設定される基準領域Ｗ１との相関値（ここでは、ＰＯＣ値）の最大値が所定値未満となれば、初期位置設定部３６６ａＢは、推定視差決定部３６５Ｂにおいて算出された相対的に小さな係数に係る探索基準点の視差を、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る初期視差として設定し直す。このとき、初期位置設定部３６６ａＢは、該初期視差に応じて、参照画像Ｇ２において比較領域Ｗ２を設定する際に基準となる初期位置を再設定する。そして、対応点探索部３６６ｂＢでは、参照画像Ｇ２に対して再設定された初期位置を中心点として内包するように設定される比較領域Ｗ２と、基準画像Ｇ１に設定される基準領域Ｗ１との相関値（ここでは、ＰＯＣ値）が算出され、ＰＯＣ値のピークＪｃに対応する位置が、該演算基準点に係る対応点として検出される。

視差算出部３６６ｃＢは、各演算基準点について、演算基準点と対応点探索部３６６ｂＢによって検出される対応点との間の座標間距離（視差）を算出する。

このようにして、視差演算部３６６Ｂでは、参照画像Ｇ２について演算基準点に対応する対応点の探索が推定視差決定部３６５Ｂによって決定された推定視差が基準とされて実行される。但し、検出された対応点に係る視差の信頼度（ここでは、ＰＯＣ値）が所定値未満であれば、視差演算部３６６Ｂでは、演算基準点を挟む２つの探索基準点に係る視差のうち、推定視差決定部３６５Ｂによって決定された一方の視差とは異なる他方の視差が基準とされて、参照画像Ｇ２について演算基準点に対応する対応点の探索が実行される。その結果、基準画像Ｇ１と参照画像Ｇ２との間における演算基準点に係る視差が求められる。

＜(2-2)対応点探索処理の動作フロー＞
図１５、図１６、図１９、および図２０は、本実施形態に係る制御部３６Ｂにおいて実行される対応点探索処理の動作フローを示すフローチャートである。本動作フローは、制御部３６ＢがプログラムＰＧｂを読み込んで実行することで実現される。また、本動作フローは、上記第１実施形態に係る対応点探索処理の動作フローと比較して、ステップＳａ４の第２の視差の導出処理（図１７）が、ステップＳｂ４の第２の視差の導出処理（図１９および図２０）に変更されたものとなっている。従って、以下では、異なる処理内容である図１９および図２０で示される動作フローについて説明する。

図１９のステップＳｂ４１では、図１７のステップＳａ４１と同様な処理が行われる。

ステップＳｂ４２では、図１７のステップＳａ４２と同様に、推定視差決定部３６５Ｂによって、ステップＳｂ４１で設定された複数の演算基準点から、視差の導出対象となる１つの演算基準点が指定される。なお、ステップＳｂ４２では、ステップＳｂ４９から戻ってくる度に、ステップＳｂ４１で設定された複数の演算基準点のうちで、視差の導出対象として未だに指定されていない演算基準点が指定される。

ステップＳｂ４３では、推定視差決定部３６５Ｂによって、各演算基準点に係る初期視差の選択および初期位置の設定が行われる。具体的には、図２０で示される動作フローが実行される。

図２０のステップＳｂ４３１では、推定視差決定部３６５Ｂによって、第１の探索基準点Ｐ_Aと演算基準点との距離（例えば、Δｍ）と、第２の探索基準点Ｐ_Eと演算基準点との距離（例えば、Δｎ）と、第１の探索基準点Ｐ_Aの視差Δａ_calに係る信頼度ＲＥ_aと、第２の探索基準点Ｐ_Eの視差Δｅ_calに係る信頼度ＲＥ_eとに基づいて、第１の探索基準点Ｐ_Aの視差Δａ_calに係る係数（例えば、ＲＥ_a／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)）と、第２の探索基準点Ｐ_Eの視差Δｅ_calに係る係数（例えば、ＲＥ_e／(ＲＥ_a×Δｎ＋ＲＥ_e×Δｍ)）とが算出される。

ステップＳｂ４３２では、推定視差決定部３６５Ｂによって、ステップＳｂ４３１で算出された２つの係数の比較が行われる。

ステップＳｂ４３３では、推定視差決定部３６５Ｂによって、ステップＳｂ４３２における比較結果に基づいて、２つの係数のうち、相対的に大きな係数に対応する探索基準点の視差が、演算基準点に係る推定視差として選択される。

ステップＳｂ４３４では、初期位置設定部３６６ａＢによって、ステップＳｂ４３３で選択された演算基準点に係る推定視差が初期視差として設定され、参照画像Ｇ２のうち、ステップＳｂ４２で指定された演算基準点のＸ座標から該初期視差の分ずれたＸ座標の位置が、初期位置として設定される。

ステップＳｂ４４では、対応点探索部３６６ｂＢによって、ステップＳｂ４２で指定された演算基準点について、参照画像Ｇ２上の対応点が探索される。ここでは、基準画像Ｇ１に対して、ステップＳｂ４２で指定された演算基準点を中心点として内包する基準領域Ｗ１が設定されるとともに、参照画像Ｇ２に対して、ステップＳｂ４３４で設定された初期位置を中心点として内包する比較領域Ｗ２が設定される。そして、基準領域Ｗ１と比較領域Ｗ２との相関を示す相関値（ここではＰＯＣ値）が算出され、ＰＯＣ値のピークＪｃに対応する位置が、該演算基準点に係る対応点として検出される。また、このとき、ＰＯＣ値の最大値が信頼度として認識される。

ステップＳｂ４５では、対応点探索部３６６ｂＢによって、ステップＳｂ４４で認識された信頼度（ここでは、ＰＯＣ値の最大値）が、所定値未満であるか否か判定される。ここで、ＰＯＣ値の最大値が所定値未満であれば、ステップＳｂ４６に進み、ＰＯＣ値の最大値が所定値未満でなければ、ステップＳｂ４８に進む。

ステップＳｂ４６では、初期位置設定部３６６ａＢによって、ステップＳｂ４３３で選択されなかった他方の探索基準点に係る推定視差が初期視差として選択され、参照画像Ｇ２のうち、ステップＳｂ４２で指定された演算基準点のＸ座標から該初期視差の分ずれたＸ座標の位置が、初期位置として再設定される。

ステップＳｂ４７では、対応点探索部３６６ｂＢによって、ステップＳｂ４２で指定された演算基準点について、参照画像Ｇ２上の対応点が探索される。ここでは、基準画像Ｇ１に対して、ステップＳｂ４２で指定された演算基準点を中心点として内包する基準領域Ｗ１が設定されるとともに、参照画像Ｇ２に対して、ステップＳｂ４６で再設定された初期位置を中心点として内包する比較領域Ｗ２が設定される。そして、基準領域Ｗ１と比較領域Ｗ２との相関を示す相関値（ここではＰＯＣ値）が算出され、ＰＯＣ値のピークＪｃに対応する位置が、該演算基準点に係る対応点として検出される。

ステップＳｂ４８では、視差算出部３６６ｃＢによって、ステップＳｂ４２で指定された演算基準点について、視差が導出される。ここでは、ステップＳｂ４５から進んで来た場合には、演算基準点とステップＳｂ４４で検出された対応点との間の座標間距離（視差）が導出される。一方、ステップＳｂ４７から進んで来た場合には、演算基準点とステップＳｂ４７で検出された対応点との間の座標間距離（視差）が導出される。なお、このステップＳａ４８では、演算基準点に係る視差が導出される度に、記憶制御部３６７によって、演算基準点と該演算基準点に係る視差とが関連付けられたデータが記憶部３４に記憶される。

ステップＳｂ４９では、視差演算部３６６Ｂによって、ステップＳｂ４１で設定された全ての演算基準点について、ステップＳｂ４２〜Ｓｂ４８の処理によって視差が導出されたか否か判定される。ここで、全ての演算基準点に係る視差の導出が完了していなければ、ステップＳｂ４２に戻り、全ての演算基準点に係る視差の導出が完了していれば、本動作フローが終了する。

以上のように、第２実施形態に係る情報処理システム１Ｂでは、演算基準点を挟む２つの探索基準点に係る視差のうち、該演算基準点と該２つの探索基準点との距離と、視差に係る信頼度とに基づいて算出される係数が大きな方の探索基準点に係る視差が、演算基準点に係る初期視差として選択される。そして、該初期視差を基準とした対応点探索処理が行われる。このため、減り張りを付けた視差の導出が可能となる。

また、一旦選択された初期視差を基準とした対応点探索処理によって導出される視差に係る信頼度が所定値未満である場合には、選択されなかった他方の探索基準点に係る視差が、演算基準点に係る初期視差として再選択される。このため、次の段階の対応点の探索において基準となる視差の選択に誤りがあった場合でも、次の段階における視差の算出精度が確保される。

なお、演算基準点に係る初期視差が再選択され、該初期視差を基準とした対応点探索処理によっても、所定値以上の信頼度が得られない場合には、第１〜３の演算基準点Ｐ_B〜Ｐ_Dの各視差が上述した線形補間によって導出されても良い。

＜(3)第３実施形態＞
上記第２実施形態では、演算基準点を挟む２つの探索基準点に係る視差のうち、演算基準点と該演算基準点を挟む２つの探索基準点との距離と、視差に係る信頼度とに基づいて算出される係数が大きな方の探索基準点に係る視差が、演算基準点に係る初期視差として選択された。これに対して、第３実施形態では、演算基準点を挟む２つの探索基準点に係る視差のうち、信頼度が大きな方の探索基準点に係る視差が、演算基準点に係る初期視差として選択される。

第３実施形態に係る情報処理システム１Ｃは、上記第２実施形態に係る情報処理システム１Ｂと比較して、推定視差決定部３６５Ｂおよび視差演算部３６６Ｂが、処理動作が異なる推定視差決定部３６５Ｃおよび視差演算部３６６Ｃに変更され、該変更に伴って、制御部３６Ｂが制御部３６Ｃに変更されるとともに、情報処理装置３Ｂが情報処理装置３Ｃに変更されたものとなっている。

以下、第３実施形態に係る情報処理システム１Ｃのうち、第２実施形態に係る情報処理システム１Ｂと異なる部分、具体的には推定視差決定部３６５Ｃおよび視差演算部３６６Ｃについて説明する。なお、第３実施形態に係る情報処理システム１Ｃのうち、第２実施形態に係る情報処理システム１Ｂと同様な構成については同じ符号を付して説明を省略する。

＜(3-1)対応点探索処理の具体的な処理内容＞
推定視差決定部３６５Ｃは、演算基準点を挟む２つの探索基準点に係る視差のうち、視差導出部３６３で導出された信頼度（ここでは、ＰＯＣ値）が大きな方の探索基準点に係る視差を、演算基準点に係る初期視差として選択する。

例えば、第１の探索基準点Ｐ_Aの視差Δａ_calに係るＰＯＣ値が、第２の探索基準点Ｐ_Eの視差Δｅ_calに係るＰＯＣ値よりも大きな場合には、第１の探索基準点Ｐ_Aに係る視差Δａ_calが、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る推定視差Δｂ_est，Δｃ_est，Δｄ_estとして決定される。つまり、Δｂ_est＝Δｃ_est＝Δｄ_est＝Δａ_calの等式が成立する。

一方、第２の探索基準点Ｐ_Eの視差Δｅ_calに係るＰＯＣ値が、第１の探索基準点Ｐ_Aの視差Δａ_calに係るＰＯＣ値よりも大きな場合には、第２の探索基準点Ｐ_Eに係る視差Δｅ_calが、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る推定視差Δｂ_est，Δｃ_est，Δｄ_estとして決定される。つまり、Δｂ_est＝Δｃ_est＝Δｄ_est＝Δｅ_calの等式が成立する。図１８では、Δｂ_est＝Δｃ_est＝Δｄ_est＝Δｅ_calの等式が成立する場合における推定視差Δｂ_est，Δｃ_est，Δｄ_estが、黒丸で示されている。

このように、推定視差決定部３６５Ｃでは、第１の探索基準点Ｐ_Aの視差Δａ_calおよび該視差Δａ_calに係る信頼度と、第２の探索基準点Ｐ_Eの視差Δｅ_calおよび該視差Δｅ_calに係る信頼度とに基づき、基準画像Ｇ１において第１の探索基準点Ｐ_Aと第２の探索基準点Ｐ_Eとによって挟まれる第１〜３演算基準点Ｐ_B〜Ｐ_Dについて、基準画像Ｇ１と参照画像Ｇ２との間における推定視差Δｂ_est，Δｃ_est，Δｄ_estが決定される。

また、推定視差決定部３６５Ｃでは、同様な演算によって、基準画像Ｇ１のうちの全ての演算基準点に係る推定視差が順次に求められる。このような各演算基準点に係る推定視差の決定により、減り張りを付けた、推定視差の決定が可能となる。

推定視差決定部３６５Ｃにおける推定視差の決定では、基準画像Ｇ１のうちの探索基準点の近傍でとらえられた被写体の遠近競合の程度が大きければ大きいほど、該探索基準点に係る視差の信頼度（ここではＰＯＣ値）が低くなることが利用されている。

但し、推定視差決定部３６５Ｃにおいて、演算基準点を挟む２つの探索基準点に係る視差のうち、一方の視差を該演算基準点に係る推定視差として決定した場合には、決定された演算基準点に係る推定視差が実際の視差から大きく外れる可能性もある。このような問題に対して、本実施形態では、上記第２実施形態と同様に、視差演算部３６６Ｃにおける演算基準点に係る視差の演算処理に工夫が施されている。以下、視差演算部３６６Ｃにおける処理について説明する。

視差演算部３６６Ｃは、初期位置設定部３６６ａＣ、対応点探索部３６６ｂＣ、および視差算出部３６６ｃＣを有する。

この初期位置設定部３６６ａＣは、各演算基準点について視差を求める際に、推定視差決定部３６５Ｃで決定された該演算基準点に係る推定視差を基準となる初期視差とする。このとき、初期位置設定部３６６ａＣは、該初期視差に応じて、参照画像Ｇ２において比較領域Ｗ２を設定する際に基準となる位置（初期位置）を設定する。具体的には、参照画像Ｇ２のうち、基準画像Ｇ１における演算基準点のＸ座標から推定視差の分ずれたＸ座標の位置が初期位置として設定される。

対応点探索部３６６ｂＣは、各演算基準点について、位相限定相関法による対応点探索の基本原理に従って、順次に参照画像Ｇ２上の対応点を探索する。対応点探索部３６６ｂＣでは、基準画像Ｇ１に対して、演算基準点を中心点として内包する基準領域Ｗ１が設定されるとともに、参照画像Ｇ２に対して、図１４で示されるように、該演算基準点に係る初期位置Ｐ_prを中心点として内包する比較領域Ｗ２が設定される。そして、対応点探索部３６６ｂＣでは、基準領域Ｗ１と比較領域Ｗ２との相関を示す相関値（ここではＰＯＣ値）が算出され、ＰＯＣ値のピークＪｃに対応する位置が、該演算基準点に係る対応点として検出される。

但し、ある演算基準点について、上記初期位置を中心点として内包する様に参照画像Ｇ２に設定される比較領域Ｗ２と、基準画像Ｇ１に設定される基準領域Ｗ１との相関値（ここでは、ＰＯＣ値）の最大値が所定値未満となれば、初期位置設定部３６６ａＣは、推定視差決定部３６５Ｂにおいて選択されなかった相対的に小さな信頼度に係る探索基準点の視差を、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る初期視差として設定し直す。このとき、初期位置設定部３６６ａＣは、該初期視差に応じて、参照画像Ｇ２において比較領域Ｗ２を設定する際に基準となる初期位置を再設定する。そして、対応点探索部３６６ｂＣでは、再設定された初期位置を中心点として内包するように設定される比較領域Ｗ２と、基準画像Ｇ１に設定される基準領域Ｗ１との相関値（ここでは、ＰＯＣ値）が算出され、ＰＯＣ値のピークＪｃに対応する位置が、該演算基準点に係る対応点として検出される。

視差算出部３６６ｃＣは、各演算基準点について、演算基準点と対応点探索部３６６ｂＣによって検出される対応点との間の座標間距離（視差）を算出する。

このようにして、視差演算部３６６Ｃでは、参照画像Ｇ２について演算基準点に対応する対応点の探索が推定視差決定部３６５Ｃによって決定された推定視差が基準とされて実行される。但し、検出された対応点に係る視差の信頼度（ここでは、ＰＯＣ値）が所定値未満であれば、視差演算部３６６Ｃでは、演算基準点を挟む２つの探索基準点に係る視差のうち、推定視差決定部３６５Ｃによって決定された一方の視差とは異なる他方の視差が基準とされて、参照画像Ｇ２について演算基準点に対応する対応点の探索が実行される。その結果、基準画像Ｇ１と参照画像Ｇ２との間における演算基準点に係る視差が求められる。

＜(3-2)対応点探索処理の動作フロー＞
図１５、図１６、図１９、および図２１は、本実施形態に係る制御部３６Ｃにおいて実行される対応点探索処理の動作フローを示すフローチャートである。本動作フローは、制御部３６ＣがプログラムＰＧｃを読み込んで実行することで実現される。また、本動作フローは、第２実施形態に係る対応点探索処理の動作フローと比較して、ステップＳｂ４３の初期視差の選択処理（図２０）が、ステップＳｃ４３の初期視差の選択処理（図２１）に変更され、その他の処理については同様な処理を行うものとなっている。従って、以下では、異なる処理内容である図２１で示される動作フローについて説明する。

図２１のステップＳｃ４３１では、推定視差決定部３６５Ｃによって、第１の探索基準点Ｐ_Aの視差Δａ_calに係る信頼度ＲＥ_aと、第２の探索基準点Ｐ_Eの視差Δｅ_calに係る信頼度ＲＥ_eとの比較が行われる。

ステップＳｃ４３２では、推定視差決定部３６５Ｃによって、ステップＳｃ４３１における比較結果に基づいて、２つの信頼度ＲＥ_a，ＲＥ_eのうち、相対的に大きな信頼度に対応する探索基準点の視差が、演算基準点に係る推定視差として選択される。

ステップＳｃ４３３では、初期位置設定部３６６ａＣによって、ステップＳｃ４３２で選択された演算基準点に係る推定視差が初期視差として設定され、参照画像Ｇ２のうち、ステップＳｂ４２で指定された演算基準点のＸ座標から該初期視差の分ずれたＸ座標の位置が、初期位置として設定される。

以上のように、第３実施形態に係る情報処理システム１Ｃでは、演算基準点を挟む２つの探索基準点に係る視差のうち、信頼度が大きな方の探索基準点に係る視差が、演算基準点に係る初期視差として選択される。そして、該初期視差を基準とした対応点探索処理が行われる。このため、減り張りを付けた視差の導出が可能となる。

また、一旦選択された初期視差を基準とした対応点探索処理によって導出される視差に係る信頼度が所定値未満である場合には、選択されなかった他方の探索基準点に係る視差が、演算基準点に係る初期視差として再選択される。このため、次の段階の対応点の探索において基準となる視差の選択に誤りがあった場合でも、次の段階における視差の算出精度が確保される。

なお、演算基準点に係る初期視差が再選択され、該初期視差を基準とした対応点探索処理によっても、所定値以上の信頼度が得られない場合には、第１〜３の演算基準点Ｐ_B〜Ｐ_Dの各視差が上述した線形補間によって導出されても良い。

＜(4)第４実施形態＞
上記第３実施形態では、演算基準点を挟む２つの探索基準点に係る視差のうち、信頼度が大きな方の探索基準点に係る視差が、演算基準点に係る初期視差として選択された。これに対して、第４実施形態では、演算基準点を挟む２つの探索基準点に係る視差の差分が閾値以下の場合には、演算基準点と該演算基準点を挟む２つの探索基準点との距離と、演算基準点を挟む２つの探索基準点に係る視差とを用いた線形補間によって、該演算基準点に係る初期視差が決定される。また、第４実施形態では、演算基準点を挟む２つの探索基準点に係る視差の差分が閾値を超える場合には、演算基準点を挟む２つの探索基準点に係る視差のうち、信頼度が大きな方の探索基準点に係る視差が、演算基準点に係る初期視差として選択される。

第４実施形態に係る情報処理システム１Ｄは、上記第１〜３実施形態に係る情報処理システム１Ａ〜１Ｃと比較して、推定視差決定部３６５Ａ〜３６５Ｃおよび視差演算部３６６Ａ〜３６６Ｃが、処理動作が異なる推定視差決定部３６５Ｄおよび視差演算部３６６Ｄに変更され、該変更に伴って、制御部３６Ａ〜３６Ｃが制御部３６Ｄに変更されるとともに、情報処理装置３Ａ〜３Ｃが情報処理装置３Ｄに変更されたものとなっている。

以下、第４実施形態に係る情報処理システム１Ｄのうち、第１〜３実施形態に係る情報処理システム１Ａ〜１Ｃと異なる部分、具体的には推定視差決定部３６５Ｄおよび視差演算部３６６Ｄについて説明する。なお、第４実施形態に係る情報処理システム１Ｄのうち、第１〜３実施形態に係る情報処理システム１Ａ〜１Ｃと同様な構成については同じ符号を付して説明を省略する。

＜(4-1)対応点探索処理の具体的な処理内容＞
図２２および図２３は、推定視差決定部３６５Ｄにおける第１〜３の演算基準点Ｐ_B〜Ｐ_D（図１１）に係る推定視差の決定処理を説明するための図である。図２２および図２３では、図１２と同様に、横軸がＸ座標を示し、縦軸が視差を示すとともに、第１の探索基準点Ｐ_AのＸ座標Ｘ_A、第１〜３の演算基準点Ｐ_B，Ｐ_C，Ｐ_DのＸ座標Ｘ_B，Ｘ_C，Ｘ_D、第２の探索基準点Ｐ_EのＸ座標Ｘ_E、第１の探索基準点Ｐ_Aに係る視差Δａ_cal、第２の探索基準点Ｐ_Eに係る視差Δｅ_cal、Ｘ方向に沿った第１の探索基準点Ｐ_Aと第１の演算基準点Ｐ_Bとの間の距離Δｍ、およびＸ方向に沿った第２の探索基準点Ｐ_Eと第１の演算基準点Ｐ_Bとの間の距離Δｎがそれぞれ示される。

推定視差決定部３６５Ｄは、演算基準点を挟む２つの探索基準点に係る視差の差分が閾値以下の場合には、演算基準点と該演算基準点を挟む２つの探索基準点との間の距離と、該２つの探索基準点に係る視差とを用いた線形補間によって推定視差を決定する。また、推定視差決定部３６５Ｄは、演算基準点を挟む２つの探索基準点に係る視差の差分が閾値を超える場合には、第３実施形態に係る推定視差決定部３６５Ｃと同様に、演算基準点を挟む２つの探索基準点に係る視差のうち、信頼度が大きな方の視差を、演算基準点に係る推定視差として決定する。

なお、ここで言う「閾値」は、視差演算部３６６Ｄによる推定視差を基準とした対応点の探索可能範囲に応じた値となっている。例えば、図２４で示されるように、比較領域Ｗ２が、初期位置Ｐ_prを中心とした一辺の長さがＬ₂₁である正方形の領域である場合には、対応点の探索を精度良く行うことが可能な領域は、初期位置Ｐ_prを中心とした一辺の長さがＬ₂₁の略半分（Ｌ₂₂＝Ｌ₂₁／２）の正方形の領域となる。このとき、閾値は、比較領域Ｗ２の一辺の長さＬ₂₁の１／４の値（Ｌ₂₁／４）となる。図２２および図２３では、対応点の探索可能範囲が太線の矢印（双方向矢印）で示されている。なお、ここでは、参照画像Ｇ２において、初期位置Ｐ_prを中心として比較領域Ｗ２が設定される場合について説明したが、初期位置Ｐ_pr以外の点も中心として比較領域Ｗ２が設定される場合には、複数箇所に順次に設定される比較領域Ｗ２のずれ量も考慮して、閾値が設定されれば良い。

具体的には、図２２で示されるように、第１の探索基準点Ｐ_Aに係る視差Δａ_calと第２の探索基準点Ｐ_Eに係る視差Δｅ_calとの差分が、閾値（ここでは、Ｌ₂₁／４）以下の場合には、例えば、視差Δａ_cal，Δｅ_calと、第１〜３の演算基準点Ｐ_B，Ｐ_C，Ｐ_Dと第１および第２の探索基準点Ｐ_A，Ｐ_Eとの間の距離を用いた線形補間によって、第１〜３の演算基準点Ｐ_B，Ｐ_C，Ｐ_Dに係る推定視差（図２２の実線で描かれた白抜きの丸印）が決定される。そして、視差演算部３６６Ｄにおいては、各演算基準点Ｐ_B，Ｐ_C，Ｐ_Dに係る推定視差を初期視差として各演算基準点Ｐ_B，Ｐ_C，Ｐ_Dに対応する対応点の探索処理が行われる。このとき、図２２で示されるように、初期視差を基準として、視差Δａ_calと視差Δｅ_calとの間の全ての値域範囲を含む視差に対応する対応点の探索が可能となる。従って、対応点の探索を精度良く行うことが可能となる。

これに対して、図２３で示されるように、第１の探索基準点Ｐ_Aに係る視差Δａ_calと第２の探索基準点Ｐ_Eに係る視差Δｅ_calとの差分が、閾値（ここでは、Ｌ₂₁／４）以上の場合には、例えば、第１の探索基準点Ｐ_Aの視差Δａ_calに係るＰＯＣ値が、第２の探索基準点Ｐ_Eの視差Δｅ_calに係るＰＯＣ値よりも大きければ、第１の探索基準点Ｐ_Aに係る視差Δａ_calが、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る推定視差Δｂ_est，Δｃ_est，Δｄ_estとして決定される。つまり、Δｂ_est＝Δｃ_est＝Δｄ_est＝Δａ_calの等式が成立する。

一方、第２の探索基準点Ｐ_Eの視差Δｅ_calに係るＰＯＣ値が、第１の探索基準点Ｐ_Aの視差Δａ_calに係るＰＯＣ値よりも大きければ、第２の探索基準点Ｐ_Eに係る視差Δｅ_calが、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る推定視差Δｂ_est，Δｃ_est，Δｄ_estとして決定される。つまり、Δｂ_est＝Δｃ_est＝Δｄ_est＝Δｅ_calの等式が成立する。図２３では、Δｂ_est＝Δｃ_est＝Δｄ_est＝Δｅ_calの等式が成立する場合における推定視差Δｂ_est，Δｃ_est，Δｄ_estが、実線の白抜きの丸印で示されている。

ここで、仮に、視差Δａ_cal，Δｅ_calと、第１〜３の演算基準点と第１および第２の探索基準点Ｐ_A，Ｐ_Eとの間の距離を用いた線形補間によって、第１〜３の演算基準点Ｐ_B，Ｐ_C，Ｐ_Dに係る推定視差（図２３の破線で描かれた白抜きの丸印）が決定される場合を想定する。このような場合には、各演算基準点Ｐ_B，Ｐ_C，Ｐ_Dに係る実際の視差が、第２の探索基準点Ｐ_Eの視差Δｅ_calと近い値を示すものとすると、各演算基準点Ｐ_B，Ｐ_C，Ｐ_Dに係る推定視差を初期視差として各演算基準点Ｐ_B，Ｐ_C，Ｐ_Dに対応する対応点の探索処理が行われれば、図２３で示されるように、第１〜３の演算基準点Ｐ_B，Ｐ_C，Ｐ_Dに係る実際の視差が、探索可能範囲には含まれない。従って、対応点の探索を精度良く行うことが出来ない。

また、推定視差決定部３６５Ｄでは、同様な演算によって、基準画像Ｇ１のうちの全ての演算基準点に係る推定視差が順次に求められる。

但し、推定視差決定部３６５Ｄにおいて、演算基準点を挟む２つの探索基準点に係る視差のうち、一方の視差を該演算基準点に係る推定視差として決定した場合には、決定された演算基準点に係る推定視差が実際の視差から大きく外れる可能性もある。このような問題に対して、本実施形態では、上記第２および第３実施形態と同様に、視差演算部３６６Ｄにおける演算基準点に係る視差の演算処理に工夫が施されている。以下、視差演算部３６６Ｄにおける処理について説明する。

視差演算部３６６Ｄは、初期位置設定部３６６ａＤ、対応点探索部３６６ｂＤ、および視差算出部３６６ｃＤを有する。

この初期位置設定部３６６ａＤは、各演算基準点について視差を求める際に、推定視差決定部３６５Ｄで決定された該演算基準点に係る推定視差を基準となる初期視差とする。このとき、初期位置設定部３６６ａＤは、該初期視差に応じて、参照画像Ｇ２において比較領域Ｗ２を設定する際に基準となる位置（初期位置）を設定する。具体的には、参照画像Ｇ２のうち、基準画像Ｇ１における演算基準点のＸ座標から推定視差の分ずれたＸ座標の位置が初期位置として設定される。

対応点探索部３６６ｂＤは、各演算基準点について、位相限定相関法による対応点探索の基本原理に従って、順次に参照画像Ｇ２上の対応点を探索する。対応点探索部３６６ｂＤでは、基準画像Ｇ１に対して、演算基準点を中心点として内包する基準領域Ｗ１が設定されるとともに、参照画像Ｇ２に対して、図１４で示されるように、該演算基準点に係る初期位置Ｐ_prを中心点として内包する比較領域Ｗ２が設定される。そして、対応点探索部３６６ｂＤでは、基準領域Ｗ１と比較領域Ｗ２との相関を示す相関値（ここではＰＯＣ値）が算出され、ＰＯＣ値のピークＪｃに対応する位置が、該演算基準点に係る対応点として検出される。

但し、第１の探索基準点Ｐ_Aに係る視差Δａ_calと第２の探索基準点Ｐ_Eに係る視差Δｅ_calとの差分が、閾値（ここでは、Ｌ₂₁／４）以下の場合には、ある演算基準点について、上記初期位置を中心点として内包する様に参照画像Ｇ２に設定される比較領域Ｗ２と、基準画像Ｇ１に設定される基準領域Ｗ１との相関値（ここでは、ＰＯＣ値）の最大値が所定値未満となれば、初期位置設定部３６６ａＤは、推定視差決定部３６５Ｄにおいて選択されなかった相対的に小さな信頼度に係る探索基準点の視差を、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る初期視差として設定し直す。このとき、初期位置設定部３６６ａＤは、該初期視差に応じて、参照画像Ｇ２において比較領域Ｗ２を設定する際に基準となる初期位置を再設定する。そして、対応点探索部３６６ｂＤでは、参照画像Ｇ２において再設定された初期位置を中心点として内包するように設定される比較領域Ｗ２と、基準画像Ｇ１に設定される基準領域Ｗ１との相関値（ここでは、ＰＯＣ値）が算出され、ＰＯＣ値のピークＪｃに対応する位置が、該演算基準点に係る対応点として検出される。

視差算出部３６６ｃＤは、各演算基準点について、演算基準点と対応点探索部３６６ｂＤによって検出される対応点との間の座標間距離（視差）を算出する。

このようにして、視差演算部３６６Ｄでは、参照画像Ｇ２について演算基準点に対応する対応点の探索が推定視差決定部３６５Ｄによって決定された推定視差が基準とされて実行される。但し、検出された対応点に係る視差の信頼度（ここでは、ＰＯＣ値）が所定値未満であれば、視差演算部３６６Ｄでは、演算基準点を挟む２つの探索基準点に係る視差のうち、推定視差決定部３６５Ｄによって決定された一方の視差とは異なる他方の視差が基準とされて、参照画像Ｇ２について演算基準点に対応する対応点の探索が実行される。その結果、基準画像Ｇ１と参照画像Ｇ２との間における演算基準点に係る視差が求められる。

＜(4-2)対応点探索処理の動作フロー＞
図１５、図１６、図２０、および図２５は、本実施形態に係る制御部３６Ｄにおいて実行される対応点探索処理の動作フローを示すフローチャートである。本動作フローは、制御部３６ＤがプログラムＰＧｄを読み込んで実行することで実現される。また、本動作フローは、第１実施形態に係る対応点探索処理の動作フローと比較して、ステップＳａ４の第２の視差の導出処理（図１７）が、ステップＳｄ４の第２の視差の導出処理（図２５）に変更されたものとなっている。従って、以下では、異なる処理内容である図２５で示される動作フローについて説明する。

図２５のステップＳｄ４１では、図１７のステップＳａ４１と同様な処理が行われる。

ステップＳｄ４２では、図１７のステップＳａ４２と同様に、推定視差決定部３６５Ｄによって、ステップＳｄ４１で設定された複数の演算基準点から、視差の導出対象となる１つの演算基準点が指定される。なお、ステップＳｄ４２では、ステップＳｄ５５から戻ってくる度に、ステップＳｄ４１で設定された複数の演算基準点のうちで、視差の導出対象として未だに指定されていない演算基準点が指定される。

ステップＳｄ４３では、推定視差決定部３６５Ｄによって、ステップＳｄ４２で指定された演算基準点を挟む２つの探索基準点に係る視差の差分が算出される。

ステップＳｄ４４では、推定視差決定部３６５Ｄによって、ステップＳｄ４３で算出された視差の差分が、閾値以下であるか否か判定される。ここで、視差の差分が閾値を超えているのであれば、ステップＳｄ４５に進み、視差の差分が閾値以下であれば、ステップＳｄ５１に進む。

ステップＳｄ４５〜Ｓｄ５０では、図１９のステップＳｂ４３〜Ｓｂ４８と同様な処理が行われて、ステップＳｄ５５に進む。但し、ステップＳｄ４５〜Ｓｄ５０では、図１９のステップＳｂ４３〜Ｓｂ４８と比較して、処理を行う推定視差決定部３６５Ｂ、視差演算部３６６Ｂ、初期位置設定部３６６ａＢ、対応点探索部３６６ｂＢ、および視差算出部３６６ｃＢが、推定視差決定部３６５Ｄ、視差演算部３６６Ｄ、初期位置設定部３６６ａＤ、対応点探索部３６６ｂＤ、および視差算出部３６６ｃＤに変更され、ステップＳｂ４２で指定された演算基準点が、ステップＳｄ４２で指定された演算基準点に変更されたものとなっている。

ステップＳｄ５１では、推定視差決定部３６５Ｄによって、ステップＳｄ４２で指定された演算基準点を挟む２つの探索基準点に係る視差と、該演算基準点と該２つの探索基準点との間の距離とを用いた線形補間の演算により、該演算基準点に係る推定視差が決定される。

ステップＳｄ５２〜Ｓｄ５４では、図１７のステップＳａ４５〜Ｓａ４７と同様な処理が行われて、ステップＳｄ５５に進む。但し、ステップＳｄ５２〜Ｓｄ５４では、図１７のステップＳａ４５〜Ｓａ４７と比較して、処理を行う推定視差決定部３６５Ａ、視差演算部３６６Ａ、初期位置設定部３６６ａＡ、対応点探索部３６６ｂＡ、および視差算出部３６６ｃＡが、推定視差決定部３６５Ｄ、視差演算部３６６Ｄ、初期位置設定部３６６ａＤ、対応点探索部３６６ｂＤ、および視差算出部３６６ｃＤに変更され、ステップＳａ４２で指定された演算基準点が、ステップＳｄ４２で指定された演算基準点に変更されたものとなっている。

ステップＳｄ５５では、図１７のステップＳａ４８と同様に、視差演算部３６６Ｄによって、ステップＳｄ４１で設定された全ての演算基準点について、ステップＳｄ４２〜Ｓｄ５４の処理によって視差が導出されたか否か判定される。ここで、全ての演算基準点に係る視差の導出が完了していなければ、ステップＳｄ４２に戻り、全ての演算基準点に係る視差の導出が完了していれば、本動作フローが終了する。

以上のように、本発明の第４実施形態に係る情報処理システム１Ｄでは、演算基準点を挟む２つの探索基準点に係る視差の差分が閾値以下であれば、線形補間を用いて演算基準点に係る推定視差が決定され、該差分が閾値を超えているのであれば、２つの探索基準点に係る視差のうち、信頼度が大きな方の探索基準点に係る視差が、演算基準点に係る初期視差として選択される。このため、演算基準点の周辺の視差の状況に応じて、２以上の画像の間において対応点を迅速且つ精度良く探索することが可能となる。

また、演算基準点の周辺の視差の差分が大きいか否かが、次の段階の対応点の探索が可能な範囲に応じて決められる。このため、次の段階における視差の算出精度が高められる。

なお、演算基準点に係る初期視差が再選択され、該初期視差を基準とした対応点探索処理によっても、所定値以上の信頼度が得られない場合には、第１〜３の演算基準点Ｐ_B〜Ｐ_Dの各視差が線形補間によって導出されても良い。

＜変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。

◎例えば、上記第１〜４実施形態では、演算基準点について推定視差が決定された後に、該推定視差を初期視差として、該演算基準点に係る対応点探索処理が行われることで、該演算基準点に係る視差が導出されたが、これに限られない。例えば、演算基準点について決定される推定視差を、該演算基準点に係る視差としても良い。

◎また、上記第４実施形態では、演算基準点を挟む２つの探索基準点に係る視差の差分が閾値を超えているのであれば、２つの探索基準点に係る視差のうち、信頼度が大きな方の探索基準点に係る視差が、演算基準点に係る初期視差として選択されたが、これに限られない。例えば、演算基準点を挟む２つの探索基準点に係る視差の差分が閾値を超えているのであれば、上記第３実施形態と同様に、演算基準点と該演算基準点を挟む２つの探索基準点との距離と、視差に係る信頼度とに基づいて算出される係数が大きな方の探索基準点に係る視差が、演算基準点に係る初期視差として選択されても良い。

◎また、上記第１〜４実施形態では、基準画像Ｇ１と参照画像Ｇ２との間で対応点探索が行われる際に、基準画像Ｇ１と参照画像Ｇ２とがそのまま採用されたが、これに限られない。例えば、基準画像Ｇ１および参照画像Ｇ２から、同様なルールに従って画素が間引かれた間引き基準画像Ｇｅ１と間引き参照画像Ｇｅ２とが生成され、間引き基準画像Ｇｅ１と間引き参照画像Ｇｅ２との間で対応点探索が行われた結果が用いられて、基準画像Ｇ１と参照画像Ｇ２との間で対応点探索が行われても良い。このような構成が採用されても、実際の視差に近い推定視差を基準として、演算基準点に対応する対応点の探索が行われるため、基準画像Ｇ１と参照画像Ｇ２との間において対応点を迅速且つ精度良く探索することが可能となる。

ここで、本変形例に係る情報処理システム１Ｅを構成する情報処理装置３Ｅについて具体的に説明する。

図２６は、変形例の対応点探索処理に係る制御部３６Ｅの機能的な構成を示す図である。変形例に係る制御部３６Ｅの機能的な構成は、記憶部３４に格納されるプログラムＰＧｅが読み込まれて実行されることで実現される。なお、本変形例に係る情報処理システム１Ｅのうち、第１〜４実施形態に係る情報処理システム１Ａ〜１Ｄと同様な構成については、同じ符号を付して説明を省略する。

図２６で示されるように、変形例に係る制御部３６Ｅは、機能的な構成として、画像取得部３６１Ｅ、間引き画像生成部３６２Ｅ、第１実探索基準点設定部３６３Ｅ、第１視差導出部３６４Ｅ、第１演算基準点設定部３６５Ｅ、第１推定視差決定部３６６Ｅ、第２実探索基準点設定部３６７Ｅ、第２視差導出部３６８Ｅ、第２演算基準点設定部３６９Ｅ、第２推定視差決定部３７０Ｅ、視差演算部３７１Ｅ、および記憶制御部３７２Ｅを有する。

画像取得部３６１Ｅは、上記第１〜４実施形態に係る画像取得部３６１と同様に、記憶部３４から同一の被写体を同じタイミングでとらえた基準画像Ｇ１および参照画像Ｇ２を取得する。

間引き画像生成部３６２Ｅは、画像取得部３６１Ｅによって取得された基準画像Ｇ１から所定のルールに従って画素ラインが間引かれた画像（間引き基準画像）Ｇｅ１を生成するとともに、画像取得部３６１Ｅによって取得された参照画像Ｇ２から所定のルールに従って画素ラインが間引かれた画像（間引き参照画像）Ｇｅ２を生成する。なお、ここでは、「所定のルール」が、例えば、縦方向（Ｙ方向）に沿った隣接する２本の画素ラインのうちの一方の画素ラインが間引かれる、すなわち縦方向の画素ラインが、２本の画素ライン毎に１本の画素ラインが間引かれるようなルールであるものとする。

図２７は、間引き基準画像Ｇｅ１および間引き参照画像Ｇｅ２を例示する図である。図２７では、縦方向（Ｙ方向）に１９画素が配列され且つ横方向（Ｘ方向）に１３画素が配列される格子状の画素配列をそれぞれ有する簡略化された例が示されているが、実際には、例えば、縦方向（Ｙ方向）に９６０画素が配列され且つ横方向（Ｘ方向）に６４０画素が配列される格子状の画素配列をそれぞれ有する。

第１実探索基準点設定部３６３Ｅは、間引き画像生成部３６２Ｅによって生成された間引き基準画像Ｇｅ１に対して、位相限定相関法を用いた対応点探索処理が実際に行われる複数の対象画素を、複数の探索基準点Ｐｅ_stとして設定する。

図２８は、間引き基準画像Ｇｅ１および間引き参照画像Ｇｅ２に係る対応点探索処理を説明するための図である。図２８で示されるように、間引き基準画像Ｇｅ１のうちの横方向について、４画素おきに探索基準点Ｐｅ_st（図中の斜線ハッチングが付された画素）が設定される。より詳細には、間引き基準画像Ｇｅ１を構成する縦方向に沿った複数の画素列（垂直ライン）のうち、両端の垂直ライン、および４本の垂直ライン毎の１本の垂直ラインを構成する複数の画素が、複数の探索基準点Ｐｅ_stとして設定される。なお、ここでは、間引き基準画像Ｇｅ１の両端の垂直ラインが複数の探索基準点Ｐｅ_stによって構成されるため、実際には、間引き基準画像Ｇｅ１の垂直ラインの本数に応じて、複数の探索基準点Ｐｅ_stによって構成される垂直ラインの間隔が適宜調整される。

第１視差導出部３６４Ｅは、上記第１〜４実施形態に係る視差導出部３６３と同様な機能を有し、第１実探索基準点設定部３６３Ｅによって設定された複数の探索基準点Ｐｅ_stについて、間引き基準画像Ｇｅ１と間引き参照画像Ｇｅ２との間における視差および該視差の信頼度を導出する。

第１演算基準点設定部３６５Ｅは、間引き基準画像Ｇｅ１のうち、探索基準点Ｐｅ_stとして設定されなかった画素を、該画素の近傍に位置する探索基準点Ｐｅ_stに係る視差と該視差に係る信頼度とを用いて対応点が演算によって推定される画素（演算基準点）として設定する。ここでは、図２８で示されるように、探索基準点Ｐｅ_stからなる縦方向に沿って伸びる２本の画素ラインの中間に位置する縦方向に沿って伸びる画素ラインを構成する画素が演算基準点Ｐ_calとして設定されるものとして説明する。

第１推定視差決定部３６６Ｅは、第１演算基準点設定部３６５Ｅによって設定された各演算基準点Ｐ_calについて、間引き基準画像Ｇｅ１と間引き参照画像Ｇｅ２との間における推定視差を決定する。第１推定視差決定部３６６Ｅでは、上記第１〜４実施形態に係る推定視差決定部３６５Ａ〜３６５Ｄと同様な処理により、演算基準点Ｐ_calを挟む第１および第２の探索基準点Ｐｅ_stの視差および該視差の信頼度に基づき、該演算基準点Ｐ_calについて、間引き基準画像Ｇｅ１と間引き参照画像Ｇｅ２との間における推定視差が決定される。ここでは、図２８で示されるように、演算基準点Ｐ_calを挟む２つの探索基準点Ｐｅ_stの視差および該視差の信頼度に基づき、該演算基準点Ｐ_calに係る推定視差が決定される。

第２実探索基準点設定部３６７Ｅは、基準画像Ｇ１に対して、位相限定相関法を用いた対応点探索処理が実際に行われる複数の対象画素を、次の段階（次段）の複数の探索基準点Ｐ_stとして設定する。ここでは、図１０で示されるように、基準画像Ｇ１のうち、全ての探索基準点Ｐｅ_stおよび全ての演算基準点Ｐ_calに対応する複数の画素が、次段の探索基準点Ｐ_stとして設定される。

第２視差導出部３６８Ｅは、上記第１〜４実施形態に係る視差演算部３６６Ａ〜３６６Ｄと同様な処理により、第２実探索基準点設定部３６７Ｅによって設定された複数の探索基準点Ｐ_stについて、基準画像Ｇ１と参照画像Ｇ２との間における視差および該視差の信頼度を導出する。但し、第２視差導出部３６８Ｅでは、各探索基準点Ｐ_stについて、対応する探索基準点Ｐｅ_stまたは演算基準点Ｐ_calに係る視差が基準の視差（初期視差）とされて、参照画像Ｇ２について探索基準点Ｐ_stに対応する対応点の探索が実行される。つまり、参照画像Ｇ２では、初期視差に応じた初期位置を中心とした比較領域Ｗ２が設定されることで、対応点の探索が行われる。その結果、基準画像Ｇ１と参照画像Ｇ２との間における次段の探索基準点Ｐ_stに係る視差が求められる。

第２演算基準点設定部３６９Ｅは、基準画像Ｇ１のうち、探索基準点Ｐ_stとして設定されなかった全ての画素を、該画素の近傍に位置する探索基準点Ｐ_stに係る視差と該視差に係る信頼度とを用いて対応点が演算によって推定される画素（演算基準点）として設定する。

第２推定視差決定部３７０Ｅは、第２演算基準点設定部３６９Ｅによって設定された各演算基準点について、基準画像Ｇ１と参照画像Ｇ２との間における推定視差を決定する。第２推定視差決定部３７０Ｅでは、上記第１〜４実施形態に係る推定視差決定部３６５Ａ〜３６５Ｄと同様な処理により、演算基準点を挟む第１および第２の探索基準点Ｐ_stの視差および該視差の信頼度に基づき、該演算基準点について、基準画像Ｇ１と参照画像Ｇ２との間における推定視差が決定される。ここでは、例えば、図１１で示されるように、第１〜３演算基準点Ｐ_B〜Ｐ_Dを挟む第１および第２探索基準点Ｐ_A，Ｐ_Eの視差および該視差の信頼度に基づき、第１〜３演算基準点Ｐ_B〜Ｐ_Dに係る推定視差が決定される。

視差演算部３７１Ｅは、上記第１〜４実施形態に係る視差演算部３６６Ａ〜３６６Ｄと同様な処理により、参照画像Ｇ２について演算基準点に対応する対応点の探索が推定視差決定部３７０Ｅによって決定された推定視差が基準とされて実行される。その結果、基準画像Ｇ１と参照画像Ｇ２との間における演算基準点に係る視差が求められる。

記憶制御部３７２Ｅは、第２視差導出部３６８Ｅによって各探索基準点に係る視差が導出される度に、探索基準点と該探索基準点に係る視差とが関連付けられたデータを記憶部３４に記憶する。また、記憶制御部３７２Ｅは、視差演算部３７１Ｅによって各演算基準点に係る視差が導出される度に、演算基準点と該演算基準点に係る視差とが関連付けられたデータを記憶部３４に記憶する。

なお、本変形例に係る情報処理システム１Ｅでは、図２８で示されたように、演算基準点Ｐ_calを挟む第１および第２の探索基準点Ｐｅ_stの視差および該視差の信頼度に基づき、該演算基準点Ｐ_calについて、間引き基準画像Ｇｅ１と間引き参照画像Ｇｅ２との間における推定視差が決定される。これに対して、従来では、図２９で示されるように、間引き基準画像Ｇｅ１において、全ての探索基準点Ｐｅ_stと全ての演算基準点Ｐ_calとに対応する画素を探索基準点Ｐｆ_stとし、各探索基準点Ｐｆ_stについて位相限定相関法等を用いた対応点探索処理が行われる。従って、本変形例に係る情報処理システム１Ｅでは、図２９で示される従来技術と比較して、間引き基準画像Ｇｅ１と間引き参照画像Ｇｅ２との間における対応点探索処理に係る探索基準点の数が半減する。このため、演算量の大幅な削減が図られる。

図３０〜図３２は、本変形例に係る対応点探索処理のフローを示すフローチャートである。本動作フローは、制御部３６ＥがプログラムＰＧｅを読み込んで実行することで実現される。なお、本動作フローは、例えば、操作部３１からの指示に応じて開始されて、図３０のステップＳｅ１に進む。

ステップＳｅ１では、画像取得部３６１Ｅによって、図１５のステップＳａ１と同様に、記憶部３４から基準画像Ｇ１と参照画像Ｇ２とが取得される。

ステップＳｅ２では、間引き画像生成部３６２Ｅによって、基準画像Ｇ１および参照画像Ｇ２から、間引き基準画像Ｇｅ１および間引き参照画像Ｇｅ２が生成される。

ステップＳｅ３では、第１実探索基準点設定部３６３Ｅによって、対応点の探索対象として、間引き基準画像Ｇｅ１および間引き参照画像Ｇｅ２が採用される。

ステップＳｅ４では、第１実探索基準点設定部３６３Ｅによって、図２８で示されるように、間引き基準画像Ｇｅ１に対して複数の探索基準点Ｐｅ_stが設定される。

ステップＳｅ５では、第１視差導出部３６４Ｅによって、第１の視差の導出処理が行われる。ここでは、第１視差導出部３６４Ｅによって、図１６で示されたものと同様な処理が行われる。

ステップＳｅ６では、第１演算基準点設定部３６５Ｅおよび第１推定視差決定部３６６Ｅによって、第２の視差の導出処理が行われる。このステップＳｅ６では、図３１で示される動作フローが実行される。

ステップＳｅ６１では、第１演算基準点設定部３６５Ｅによって、間引き基準画像Ｇｅ１のうち、探索基準点Ｐｅ_stとして設定されなかった複数の画素が、演算基準点として設定される。

ステップＳｅ６２では、第１推定視差決定部３６６Ｅによって、ステップＳｅ６１で設定された複数の演算基準点から、視差の導出対象となる１つの演算基準点が指定される。なお、ステップＳｅ６２では、ステップＳｅ６５から戻ってくる度に、ステップＳｅ６１で設定された複数の演算基準点のうちで、視差の導出対象として未だに指定されていない演算基準点が指定される。

ステップＳｅ６３では、第１推定視差決定部３６６Ｅによって、ステップＳｅ６２で指定された演算基準点と該演算基準点を挟む２つの探索基準点との間の距離と、ステップＳｅ５で導出された該２つの探索基準点に係る視差の信頼度とに基づき、該２つの探索基準点の視差に係る係数（ここでは重み付け係数）が算出される。

ステップＳｅ６４では、第１推定視差決定部３６６Ｅによって、ステップＳｅ６３で算出された２つの探索基準点の視差に係る係数と、該２つの探索基準点の視差とに基づき、ステップＳｅ６２で指定された演算基準点に係る推定視差が決定される。この推定視差の決定方法としては、例えば、上記第１実施形態の方法等が挙げられる。

ステップＳｅ６５では、第１推定視差決定部３６６Ｅによって、ステップＳｅ６１で設定された全ての演算基準点について、ステップＳｅ６２〜Ｓｅ６４の処理によって推定視差が決定されたか否か判定される。ここで、全ての演算基準点に係る推定視差の決定が完了していなければ、ステップＳｅ６２に戻り、全ての演算基準点に係る推定視差の決定が完了していれば、図３０のステップＳｅ７に進む。

ステップＳｅ７では、第２実探索基準点設定部３６７Ｅによって、対応点の探索対象として、基準画像Ｇ１および参照画像Ｇ２が採用される。

ステップＳｅ８では、第２実探索基準点設定部３６７Ｅによって、基準画像Ｇ１のうち、間引き基準画像Ｇｅ１で設定された探索基準点Ｐｅ_stと演算基準点Ｐｅ_calとに対応する画素が、次段の探索基準点Ｐ_stとして設定される。

ステップＳｅ９では、第２視差導出部３６８Ｅによって、ステップＳｅ８で設定された全ての探索基準点Ｐ_stについて、初期視差が設定される。ここでは、各探索基準点Ｐ_stに対して、対応する探索基準点Ｐｅ_st（または演算基準点Ｐｅ_cal）に係る視差（または推定視差）が、初期視差として設定される。また、各探索基準点Ｐ_stについて、参照画像Ｇ２のうち、探索基準点Ｐ_stのＸ座標から初期視差の分ずれたＸ座標の位置が、初期位置として設定される。

ステップＳｅ１０では、第２視差導出部３６８Ｅによって、第３の視差の導出処理が行われる。このステップＳｅ１０では、図３２で示される動作フローが実行される。

ステップＳｅ１０１では、第２視差導出部３６８Ｅによって、ステップＳｅ８で設定された複数の探索基準点Ｐ_stから、対応点探索処理の対象となる１つの探索基準点が指定される。なお、ステップＳｅ１０１では、ステップＳｅ１０４から戻ってくる度に、ステップＳｅ８で設定された複数の探索基準点のうちで、対応点探索処理の対象として未だに指定されていない探索基準点が指定される。

ステップＳｅ１０２では、第２視差導出部３６８Ｅによって、参照画像Ｇ２を対象として、ステップＳｅ１０１で指定された探索基準点に対応する対応点の探索が行われる。ここでは、参照画像Ｇ２においてステップＳｅ９で設定された初期位置を中心点として包含する比較領域Ｗ２と、基準画像Ｇ１においてステップＳｅ１０１で指定された探索基準点を中心として包含する基準領域Ｗ１との間の相関を取る位相限定相関法を用いた対応点探索処理が行われる。なお、ＰＯＣ値が最も大きくなる位置が対応点として検出され、このＰＯＣ値の最大値が信頼度として認識される。

ステップＳｅ１０３では、第２視差導出部３６８Ｅによって、ステップＳｅ１０１において基準画像Ｇ１上で指定された探索基準点の座標と、ステップＳｅ１０２において検出された対応点の座標との間の距離（座標間距離）が、該探索基準点に係る視差として導出される。また、このステップＳｅ１０３では、探索基準点に係る視差が導出される度に、記憶制御部３７２Ｅによって、探索基準点と該探索基準点に係る視差とが関連付けられたデータが記憶部３４に記憶される。

ステップＳｅ１０４では、第２視差導出部３６８Ｅによって、ステップＳｅ８で設定された全ての探索基準点について、ステップＳｅ１０１〜Ｓｅ１０３の処理によって視差が導出されたか否か判定される。ここで、全ての探索基準点に係る視差の導出が完了していなければ、ステップＳｅ１０１に戻り、全ての探索基準点に係る視差の導出が完了していれば、図３０のステップＳｅ１１に進む。

ステップＳｅ１１では、第２演算基準点設定部３６９Ｅ、第２推定視差決定部３７０Ｅ、視差演算部３７１Ｅ、および記憶制御部３７２Ｅによって、第４の視差の導出処理が行われる。このステップＳｅ１１では、第１実施形態に係るステップＳａ４（図１７）、第２実施形態に係るステップＳｂ４（図１９）、第３実施形態に係るステップＳｃ４（図１９）、および第４実施形態に係るステップＳｄ４（図２５）のうちの何れか１つの動作フローと同様な処理が実行される。このステップＳｅ１１では、基準画像Ｇ１のうち、探索基準点として設定されなかった全ての画素が演算基準点として設定され、各演算基準点に係る視差が順次に導出される。また、演算基準点に係る視差が導出される度に、記憶制御部３７２Ｅによって、演算基準点と該演算基準点に係る視差とが関連付けられたデータが記憶部３４に記憶される。

なお、上記ステップＳｅ６では、第１実施形態における推定視差の決定方法と同様な方法によって、間引き基準画像Ｇｅ１の各演算基準点Ｐ_calに係る推定視差が決定されたが、これに限られない。例えば、第２〜４実施形態のうちの何れか１つの実施形態における推定視差の決定方法と同様な方法によって、間引き基準画像Ｇｅ１の各演算基準点Ｐ_calに係る推定視差が決定されても良い。

また、ここでは、基準画像Ｇ１および参照画像Ｇ２から、解像度が低減された間引き基準画像Ｇｅ１および間引き参照画像Ｇｅ２が生成され、解像度が低い間引き基準画像Ｇｅ１と間引き参照画像Ｇｅ２との間における対応点探索処理の結果が、基準画像Ｇ１と参照画像Ｇ２との間における対応点探索処理に用いられたが、これに限られない。例えば、基準画像Ｇ１および参照画像Ｇ２から、解像度が多段階で低減された間引き基準画像および間引き参照画像が生成され、最も解像度が低い間引き基準画像と間引き参照画像との間における対応点探索処理から開始され、対応点探索処理の結果が、解像度が１段階高い画像を対象とした次段の対応点探索処理に用いられる処理が繰り返されても良い。

また、解像度を多段階で低減させる態様としては、例えば、横方向に６４０個の画素および縦方向に４８０個の画素が並ぶ基準画像および参照画像から、横方向に１６０個の画素および縦方向に４８０個の画素が並ぶ間引き基準画像および間引き参照画像、横方向に４０個の画素および縦方向に４８０個の画素が並ぶ間引き基準画像および間引き参照画像、横方向に１０個の画素および縦方向に４８０個の画素が並ぶ間引き基準画像および間引き参照画像が生成されるような態様が考えられる。

なお、ステップＳｅ６に第４実施形態に係るステップＳｄ４（図２５）が採用される場合には、第４実施形態で言う「閾値」は、間引き度合いに応じて設定される。例えば、１段階の解像度の低減において横方向の画素数が１／４となるように画素が間引かれる場合には、閾値も１／４となる。例えば、比較領域Ｗ２の一辺の長さがＬ₂₁である場合には、閾値は、Ｌ₂₁／４の更に１／４であるＬ₂₁／１６となる。

◎また、上記第１〜４実施形態では、対応点探索手法として、位相限定相関法（ＰＯＣ；Phase Only Correlation）が採用されたが、これに限られない。例えば、対応点探索手法として、ＳＡＤ（Sum of Absolute Differences；差分絶対値和）法等が採用されても良い。

◎また、上記第１〜４実施形態では、同一の被写体を同じタイミングでとらえた基準画像Ｇ１および参照画像Ｇ２について、各画素の視差が求められたが、これに限られない。例えば、同一の被写体を同じタイミングでとらえた基準画像Ｇ１と参照画像Ｇ２とを含む３以上の画像について、各画素の視差が求められても良い。このような構成によれば、２以上の画像の間において対応点を迅速且つ精度良く探索することが可能となる。

１Ａ〜１Ｅ 情報処理システム
２ ステレオカメラ
３Ａ〜３Ｅ 情報処理装置
３６〜３６Ｅ 制御部
３６１，３６１Ｅ 画像取得部
３６２ 実探索基準点設定部
３６２Ｅ 間引き画像生成部
３６３ 視差導出部
３６３Ｅ 第１実探索基準点設定部
３６４ 演算基準点設定部
３６４Ｅ 第１視差導出部
３６５Ａ〜３６５Ｄ 推定視差決定部
３６５Ｅ 第１演算基準点設定部
３６６Ａ〜３６６Ｄ 視差演算部
３６６Ｅ 第１推定視差決定部
３６７Ｅ 第２実探索基準点設定部
３６８Ｅ 第２視差導出部
３６９Ｅ 第２演算基準点設定部
３７０Ｅ 第２推定視差決定部
３７１Ｅ 視差演算部
３６７，３７２Ｅ 記憶制御部
Ｇ１ 基準画像（第１撮像画像）
Ｇ２ 参照画像（第２撮像画像）
Ｇｅ１ 間引き基準画像
Ｇｅ２ 間引き参照画像
ＰＧａ〜ＰＧｅ プログラム

Claims (15)

1. 同一の被写体をそれぞれとらえた第１画像と第２画像とを含む複数の画像を取得する取得手段と、
   前記第１画像に対して第１探索基準点と第２探索基準点とを含む複数の探索基準点を設定する設定手段と、
   前記第２画像について前記第１探索基準点に対応する第１対応点と前記第２探索基準点に対応する第２対応点とを探索することで、前記第１画像と前記第２画像との間における前記第１探索基準点に係る第１視差および該第１視差に係る第１信頼度と前記第２探索基準点に係る第２視差および該第２視差に係る第２信頼度とを導出する導出手段と、
   前記第１視差、前記第１信頼度、前記第２視差、および前記第２信頼度に基づき、前記第１画像において前記第１探索基準点と前記第２探索基準点とによって挟まれる演算基準点について、前記第１画像と前記第２画像との間における推定視差を決定する決定手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第２画像について前記演算基準点に対応する対応点の探索を前記推定視差を基準として実行することで、前記第１画像と前記第２画像との間における前記演算基準点に係る視差を求める演算手段、
   を更に備えることを特徴とする画像処理装置。
3. 同一の被写体をそれぞれとらえた第１画像と第２画像とから、画素ラインをそれぞれ間引いた第１間引き画像と第２間引き画像とを生成する生成手段と、
   前記第１間引き画像に対して第１探索基準点と第２探索基準点とを含む複数の探索基準点を設定する設定手段と、
   前記第２間引き画像について前記第１探索基準点に対応する第１対応点と前記第２探索基準点に対応する第２対応点とを探索することで、前記第１間引き画像と前記第２間引き画像との間における前記第１探索基準点に係る第１視差および該第１視差に係る第１信頼度と前記第２探索基準点に係る第２視差および該第２視差に係る第２信頼度とを導出する導出手段と、
   前記第１視差、前記第１信頼度、前記第２視差、および前記第２信頼度に基づき、前記第１間引き画像において前記第１探索基準点と前記第２探索基準点とによって挟まれる演算基準点について、前記第１間引き画像と前記第２間引き画像との間における推定視差を決定する決定手段と、
   前記第１画像のうちの前記演算基準点に対応する点を次段の探索基準点として、前記第２画像について前記次段の探索基準点に対応する対応点の探索を前記推定視差を基準として実行することで、前記第１画像と前記第２画像との間における前記次段の探索基準点に係る視差を求める演算手段と、
   を備えることを特徴とする画像処理装置。
4. 請求項１から請求項３の何れか１つの請求項に記載の画像処理装置であって、
   前記決定手段が、
   前記第１探索基準点と前記演算基準点との間の第１距離と、前記第２探索基準点と前記演算基準点との間の第２距離と、前記第１および第２信頼度とに基づいて、前記第１探索基準点に係る第１係数と、前記第２探索基準点に係る第２係数とを算出するとともに、該第１および第２係数と、前記第１および第２視差とに基づき、前記推定視差を決定することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記決定手段が、
   前記第１係数が前記第２係数よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２係数が前記第１係数よりも大きな場合には、前記第２視差を前記推定視差として決定することを特徴とする画像処理装置。
6. 請求項１から請求項３の何れか１つの請求項に記載の画像処理装置であって、
   前記決定手段が、
   前記第１信頼度が前記第２信頼度よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２信頼度が前記第１信頼度よりも大きな場合には、前記第２視差を前記推定視差として決定することを特徴とする画像処理装置。
7. 請求項１から請求項３の何れか１つの請求項に記載の画像処理装置であって、
   前記決定手段が、
   前記第１視差と前記第２視差との差分が閾値以下の場合には、前記第１および第２視差と、前記第１探索基準点と前記演算基準点との間の第１距離と、前記第２探索基準点と前記演算基準点との間の第２距離とを用いた線形補間によって前記推定視差を決定し、前記第１視差と前記第２視差との差分が前記閾値を超える場合には、前記第１信頼度が前記第２信頼度よりも大きければ前記第１視差を前記推定視差として決定し、前記第２信頼度が前記第１信頼度よりも大きければ前記第２視差を前記推定視差として決定することを特徴とする画像処理装置。
8. 請求項２または請求項３に記載の画像処理装置であって、
   前記決定手段が、
   前記第１視差と前記第２視差との差分が閾値以下の場合には、前記第１および第２視差と、前記第１探索基準点と前記演算基準点との間の第１距離と、前記第２探索基準点と前記演算基準点との間の第２距離とを用いた線形補間によって前記推定視差を決定し、前記第１視差と前記第２視差との差分が前記閾値を超える場合には、前記第１信頼度が前記第２信頼度よりも大きければ前記第１視差を前記推定視差として決定し、前記第２信頼度が前記第１信頼度よりも大きければ前記第２視差を前記推定視差として決定し、
   前記閾値が、
   前記演算手段による前記推定視差を基準とした対応点の探索可能範囲に応じた値であることを特徴とする画像処理装置。
9. 請求項２に記載の画像処理装置であって、
   前記決定手段が、
   前記第１探索基準点と前記演算基準点との間の第１距離と、前記第２探索基準点と前記演算基準点との間の第２距離と、前記第１および第２信頼度とに基づいて、前記第１探索基準点に係る第１係数と、前記第２探索基準点に係る第２係数とを算出するとともに、前記第１係数が前記第２係数よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２係数が前記第１係数よりも大きな場合には、前記第２視差を前記推定視差として決定し、
   前記演算手段が、
   前記演算基準点に係る視差の信頼度を算出し、該信頼度が所定値未満であれば、前記第１および第２視差のうちの前記決定手段によって前記推定視差として決定された一方の視差とは異なる他方の視差を基準として、前記第２画像について前記演算基準点に対応する対応点の探索を実行することで、前記第１画像と前記第２画像との間における前記演算基準点に係る視差を求めることを特徴とする画像処理装置。
10. 請求項２に記載の画像処理装置であって、
    前記決定手段が、
    前記第１信頼度が前記第２信頼度よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２信頼度が前記第１信頼度よりも大きな場合には、前記第２視差を前記推定視差として決定し、
    前記演算手段が、
    前記演算基準点に係る視差の信頼度を算出し、該信頼度が所定値未満であれば、前記第１および第２視差のうちの前記決定手段によって前記推定視差として決定された一方の視差とは異なる他方の視差を基準として、前記第２画像について前記演算基準点に対応する対応点の探索を実行することで、前記第１画像と前記第２画像との間における前記演算基準点に係る視差を求めることを特徴とする画像処理装置。
11. 請求項３に記載の画像処理装置であって、
    前記決定手段が、
    前記第１探索基準点と前記演算基準点との間の第１距離と、前記第２探索基準点と前記演算基準点との間の第２距離と、前記第１および第２信頼度とに基づいて、前記第１探索基準点に係る第１係数と、前記第２探索基準点に係る第２係数とを算出するとともに、前記第１係数が前記第２係数よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２係数が前記第１係数よりも大きな場合には、前記第２視差を前記推定視差として決定し、
    前記演算手段が、
    前記次段の探索基準点に係る視差の信頼度を算出し、該信頼度が所定値未満であれば、前記第１および第２視差のうちの前記決定手段によって前記推定視差として決定された一方の視差とは異なる他方の視差を基準として、前記第２画像について前記次段の探索基準点に対応する対応点の探索を実行することで、前記第１画像と前記第２画像との間における前記次段の探索基準点に係る視差を求めることを特徴とする画像処理装置。
12. 請求項３に記載の画像処理装置であって、
    前記決定手段が、
    前記第１信頼度が前記第２信頼度よりも大きな場合には、前記第１視差を前記推定視差として決定し、前記第２信頼度が前記第１信頼度よりも大きな場合には、前記第２視差を前記推定視差として決定し、
    前記演算手段が、
    前記次段の探索基準点に係る視差の信頼度を算出し、該信頼度が所定値未満であれば、前記第１および第２視差のうちの前記決定手段によって前記推定視差として決定された一方の視差とは異なる他方の視差を基準として、前記第２画像について前記次段の探索基準点に対応する対応点の探索を実行することで、前記第１画像と前記第２画像との間における前記次段の探索基準点に係る視差を求めることを特徴とする画像処理装置。
13. 同一の被写体をそれぞれとらえた第１画像と第２画像とを含む複数の画像を取得する取得ステップと、
    前記第１画像に対して第１探索基準点と第２探索基準点とを含む複数の探索基準点を設定する設定ステップと、
    前記第２画像について前記第１探索基準点に対応する第１対応点と前記第２探索基準点に対応する第２対応点とを探索することで、前記第１画像と前記第２画像との間における前記第１探索基準点に係る第１視差および該第１視差に係る第１信頼度と前記第２探索基準点に係る第２視差および該第２視差に係る第２信頼度とを導出する導出ステップと、
    前記第１視差、前記第１信頼度、前記第２視差、および前記第２信頼度に基づき、前記第１画像において前記第１探索基準点と前記第２探索基準点とによって挟まれる演算基準点について、前記第１画像と前記第２画像との間における推定視差を決定する決定ステップと、
    を備えることを特徴とする画像処理方法。
14. 同一の被写体をそれぞれとらえた第１画像と第２画像とから、画素ラインをそれぞれ間引いた第１間引き画像と第２間引き画像とを生成する生成ステップと、
    前記第１間引き画像に対して第１探索基準点と第２探索基準点とを含む複数の探索基準点を設定する設定ステップと、
    前記第２間引き画像について前記第１探索基準点に対応する第１対応点と前記第２探索基準点に対応する第２対応点とを探索することで、前記第１間引き画像と前記第２間引き画像との間における前記第１探索基準点に係る第１視差および該第１視差に係る第１信頼度と前記第２探索基準点に係る第２視差および該第２視差に係る第２信頼度とを導出する導出ステップと、
    前記第１視差、前記第１信頼度、前記第２視差、および前記第２信頼度に基づき、前記第１間引き画像において前記第１探索基準点と前記第２探索基準点とによって挟まれる演算基準点について、前記第１間引き画像と前記第２間引き画像との間における推定視差を決定する決定ステップと、
    前記第１画像のうちの前記演算基準点に対応する点を次段の探索基準点として、前記第２画像について前記次段の探索基準点に対応する対応点の探索を前記推定視差を基準として実行することで、前記第１画像と前記第２画像との間における前記次段の探索基準点に係る視差を求める演算ステップと、
    を備えることを特徴とする画像処理方法。
15. 画像処理装置に含まれる制御部において実行されることにより、前記画像処理装置を、請求項１から請求項１２の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。

Images