JP4694993B2 - 相関評価システムおよび相関評価方法 - Google Patents

Description

本発明は、相関元領域の相関先として特定された相関先領域の相関性を評価する技術に係り、特に、この相関評価で用いられる判定しきい値の設定に関する。

従来より、互いに関連性を有する一対のデータ領域間における部分的な領域の相関性を判定しきい値を用いて評価する技術が知られている。例えば、特許文献１には、ステレオ画像より算出された距離データに関して信頼度を算出し、この信頼度と判定しきい値とを比較することによって、距離データの信頼性を評価する手法が開示されている。判定しきい値は、状況に応じて可変に設定される。例えば、カメラのゲインを上げた場合、画面に含まれるノイズが増大する点に鑑み、判定しきい値を大きくするといった如くである。この設定された判定しきい値は、１フレームを構成するフレーム画像全体に対して一律に適用される。
特開２００３−２６９９１７号公報

しかしながら、従来の技術では、フレーム画像（データ領域）全体に対して１つの判定しきい値が一律に適用されるので、フレーム画像の一部を構成する部分領域毎に相関性を評価する際、外乱としてのノイズの影響を十分に排除することが困難であった。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、相関元領域と相関先領域との相関性の評価において、評価精度の向上を図ることである。

また、本発明の別の目的は、耐ノイズ性に優れた相関性の評価を可能にすることである。

かかる課題を解決するために、第１の発明は、相関元領域の相関先として特定された相関先領域の相関性を評価する相関評価システムを提供する。この評価システムは、撮像部と、マッチング処理部と、代表値算出部と、しきい値設定部と、判定部とを有する。撮像部は、相関元領域を一部に含むフレーム画像を撮像する。マッチング処理部は、相関元領域の相関先の候補となる複数の相関先候補を相関元領域毎に設定し、相関元領域との相関の程度を示す相関値を相関先候補毎に算出する。また、マッチング処理部は、相関先候補毎に算出された相関値同士を比較することによって、複数の相関先候補のいずれかを相関先領域として特定する。代表値算出部は、相関元領域を含むサブ領域内のデータに基づいて、当該サブ領域内の全部の画素の輝度値の平均値または中間値を代表値としてサブ領域毎に算出する。しきい値設定部は、 フレーム画像の明るさを調整するための増幅率と、相関評価システムの周囲温度との少なくとも一つに基づいてフレーム画像毎に設定される基礎値と、サブ領域毎に代表値に基づいて設定される補正値との和を当該相関元領域に適用される判定しきい値として相関元領域毎に個別に設定する。判定部は、マッチング処理部によって特定された相関先領域の相関値と、当該相関先領域の相関元となる相関元領域に適用される判定しきい値とを比較することによって、当該相関値の信頼性を評価する。

第１の発明においては、しきい値設定部は、代表値によって示されるサブ領域内の輝度状態が高輝度になるほど、当該サブ領域の判定しきい値を大きく設定することが望ましい。

第２の発明は、相関元領域の相関先として特定された相関先領域の相関性を評価する相関評価システムを提供する。この評価システムは、撮像部と、マッチング処理部と、代表値算出部と、しきい値設定部と、判定部とを有する。撮像部は、相関元領域を一部に含むフレーム画像を撮像する。マッチング処理部は、相関元領域の相関先の候補となる複数の相関先候補を含む探索範囲を相関元領域毎に設定し、相関元領域との相関の程度を示す相関値を相関先候補毎に算出する。また、マッチング処理部は、相関先候補毎に算出された相関値同士を比較することによって、複数の相関先候補のいずれかを相関先領域として特定する。代表値算出部は、探索範囲内に含まれるデータに基づいて、当該探索範囲内の全部の画素の輝度値の平均値または中間値を代表値として探索範囲毎に算出する。しきい値設定部は、 フレーム画像の明るさを調整するための増幅率と、相関評価システムの周囲温度との少なくとも一つに基づいてフレーム画像毎に設定される基礎値と、探索範囲毎に代表値に基づいて設定される補正値との和を探索範囲に適用される判定しきい値として探索範囲毎に個別に設定する。判定部は、マッチング処理部によって特定された相関先領域の相関値と、当該相関先領域を含む探索範囲に適用される判定しきい値とを比較することによって、当該相関値の信頼性を評価する。

第２の発明においては、しきい値設定部は、代表値によって示される探索範囲内の輝度状態が高輝度になるほど、当該探索範囲の判定しきい値を大きく設定することが望ましい。

第１の発明または第２の発明において、マッチング処理部の前段に、フレーム画像に対して所定の輝度補正を施す輝度補正部をさらに設けてもよい。この場合、しきい値設定部は、輝度補正の度合いに基づいて、判定しきい値を可変に設定することが好ましい。

第３の発明は、相関元領域の相関先として特定された相関先領域の相関性を評価する相関評価方法を提供する。この評価方法は、相関元領域を一部に含むフレーム画像を撮像するステップと、相関元領域の相関先の候補となる複数の相関先候補を相関元領域毎に設定し、相関元領域との相関の程度を示す相関値を相関先候補毎に算出するとともに、相関先候補毎に算出された相関値同士を比較することによって、複数の相関先候補のいずれかを相関先領域として特定するステップと、相関元領域を含むサブ領域内のデータに基づいて、当該サブ領域内の全部の画素の輝度値の平均値または中間値を代表値としてサブ領域毎に算出するステップと、フレーム画像の明るさを調整するための増幅率と、相関評価システムの周囲温度との少なくとも一つに基づいてフレーム画像毎に設定される基礎値と、サブ領域毎に代表値に基づいて設定される補正値との和を当該相関元領域に適用される判定しきい値として相関元領域毎に個別に設定するステップと、相関先領域の相関値と、当該相関先領域の相関元となる相関元領域に適用される判定しきい値とを比較することによって、当該相関値の信頼性を評価するステップとを有する。

第４の発明は、相関元領域の相関先として特定された相関先領域の相関性を評価する相関評価方法を提供する。この評価方法は、相関元領域を一部に含むフレーム画像を撮像するステップと、相関元領域の相関先の候補となる複数の相関先候補を含む探索範囲を相関元領域毎に設定し、相関元領域との相関の程度を示す相関値を相関先候補毎に算出するとともに、相関先候補毎に算出された相関値同士を比較することによって、複数の相関先候補のいずれかを相関先領域として特定するステップと、探索範囲内に含まれるデータに基づいて、当該探索範囲内の全部の画素の輝度値の平均値または中間値を代表値として探索範囲毎に算出するステップと、フレーム画像の明るさを調整するための増幅率と、相関評価システムの周囲温度との少なくとも一つに基づいてフレーム画像毎に設定される基礎値と、探索範囲毎に代表値に基づいて設定される補正値との和を探索範囲に適用される判定しきい値として探索範囲毎に個別に設定するステップと、相関先領域の相関値と、当該相関先領域を含む探索範囲に適用される判定しきい値とを比較することによって、当該相関値の信頼性を評価するステップとを有する。

本発明において、相関元領域と相関先領域との間における相関性の評価に用いられる判定しきい値は、相関元領域または相関先領域を含むデータ領域全体ではなく、その一部を構成する部分的なサブ領域単位で個別に設定される。このように、判定しきい値をサブ領域毎にきめ細かに設定することで、相関性の評価精度の向上を図ることができる。特に、サブ領域毎の判定しきい値を、その部分に生じるノイズの傾向を考慮した上で、これを排除するように個別に設定すれば、耐ノイズ性に優れた相関性の評価が可能になる。

（第１の実施形態）
図１は、本実施形態に係る相関評価システムのブロック構成図である。この評価システム１は、相関元領域と相関先領域との間における相関性を評価する。第１のデータ領域を規定するデータが、記憶部２ａに格納されており、第２のデータ領域を規定するデータが、記憶部２ｂに格納されている。相関元領域は、第１のデータ領域の一部を構成し、相関先領域（および相関先候補）は、第２のデータ領域の一部を構成する。所定の入力部は、これら一対のデータ群を記憶部２ａ，２ｂに出力する。この一対のデータ群の一例として、同時に撮像された一対のフレーム画像データ（ステレオ画像データ）が挙げられる。この場合、入力部には、ステレオカメラが用いられる。

マッチング処理部３は、相関元領域の相関先の候補となる複数の相関先候補を、第２のデータ領域上の所定の探索範囲内に設定し、相関値ＣＢを相関先候補毎に算出する。相関値ＣＢは、相関元領域と相関先領域との相関の程度を示す。また、マッチング処理部３は、相関先候補毎の相関値ＣＢ同士を比較し、これによって、複数の相関先候補のいずれかを相関先領域として特定する。相関値ＣＢには、一例として、絶対差分和を用いることができる。この絶対差分和を用いた相関値ＣＢは、評価対象となる一対のデータ領域において、位置的に対応する要素同士のデータの差（絶対値）を算出し、この値を全要素分加算した総和値として表される。また、相関値ＣＢとして、差分自乗和等の他の周知の評価関数を使用することも可能である。差分自乗和を用いた相関値ＣＢは、評価対象となる一対のデータ領域において、位置的に対応する要素同士のデータの差の自乗を算出し、この値を全要素分加算した総和値として表される。これらの相関評価手法を用いた場合、一対のデータ領域の相関が高くなるほど、換言すれば、両者のデータ特性が類似するほど、相関値ＣＢが小さくなり、完全に一致するデータ領域に関しては、理論的には相関値ＣＢが０になる。ただし、実際には、各種のノイズが外乱として作用するため、本来完全に一致するはずのデータ領域であっても、その相関値ＣＢが０になることは殆どない。マッチング処理部３は、この相関値ＣＢを判定部４に出力する。

判定部４は、相関先領域の相関値ＣＢと、判定しきい値ＣＢthとを比較することによって、相関値ＣＢの信頼性を評価する。特に、この判定しきい値ＣＢthを、相関元領域を含むサブ領域に対して設定することが可能である。このサブ領域は、一例として、第１のデータ領域を分割することによって得られる領域とすることができる。複数のサブ領域のうち処理対象とするものに対して、順次、判定しきい値ＣＢthが設定される。例えば、このサブ領域は、相関元領域と同一のサイズを有する領域としてよく、また、相関元領域の全部または特定の部分を包含する領域としてもよい。また、サブ領域に代えて、探索領域等に対して、判定しきい値ＣＢthを設定してもよい。さらに、判定部４は、相関値ＣＢの信頼性の評価結果に応じて、相関値ＣＢに基づいて算出したデータの有効性を判定してもよい。

判定しきい値設定部５は、判定部４において相関値ＣＢの信頼性（相関性）を評価するための判定しきい値ＣＢthを設定する。判定しきい値設定部５は、この設定を、当該サブ領域内のデータＤの代表値Ｄrep等に基づいて、サブ領域毎に個別に行う。具体的には、この設定は、基礎値設定部６（後述）で第１のデータ領域毎に設定された基礎値ＣＢbaseと、補正値設定部７（後述）でサブ領域毎に設定された補正値ＣＢamdとに基づいて行われる。つまり、判定しきい値設定部５は、基礎値ＣＢbaseを補正値ＣＢamdによって補正し、これによって得られる判定しきい値ＣＢthをサブ領域毎に設定する。

基礎値ＣＢbaseおよび補正値ＣＢamdは、例えば、次に示すようなノイズ要因を考慮して設定することができる。すなわち、ここでは、データＤに乗るノイズの大きさを決める要因が、データＤ自体、増幅率Ｇ、データ補正の度合いγ、および、周囲温度Ｔであることを前提とする。増幅率Ｇは、データを表す入力信号に対する出力信号の比率である。この増幅率Ｇは、記憶部２ａ，２ｂの前段に設けられる所定のアンプにおいて適宜調整されている。また、記憶部２ａ，２ｂの前段には、所定のデータ補正部が設けられており、データ補正の度合いγは、この補正部における入力データに対する出力データの変化率に相当する値である。例えば、入力データと出力データとの関係が記述されたテーブルを参照することによって、データ補正が行われる。このデータ補正は、後段での処理に適した適宜の特性に設定すればよく、その特性が非線形的であるか否か、或いは、連続的であるか否かを問わない。さらに、周囲温度Ｔは、所定の温度センサによって検出される本相関評価システム１の周囲の温度である。

図２〜５は、一例として、上述した各ノイズ要因の状態を表す各値と、ノイズのばらつき（ノイズ分布における標準偏差）との対応関係の傾向を示す図である。一般に、記憶部２ａ，２ｂに格納されるデータにはノイズが重畳している。データを処理する個々の装置の特性は微妙に異なるが、ノイズのばらつきについての全体的な傾向に大きな相違はない。例えば、本相関評価システム１を、ステレオ画像を処理するステレオ式監視装置に適用する場合、そのステレオカメラによって撮像された画像のすべてにノイズが乗っている。個々のカメラの特性は異なるが、ノイズのばらつきについての傾向は異ならない。

図２は、一例としてのデータＤとノイズのばらつきとの対応関係の傾向を示す図である。ここに示すように、データＤの値が大きくなるに従って、そのデータＤに乗るノイズのばらつきが増大する傾向がある。これは、例えば、ステレオ式監視装置への適用の場合、データＤは輝度に対応するが、ステレオカメラの撮像素子の各セルに入る光の量が増加すると、これに伴ってノイズも増大することによる。図３は、一例としての増幅率Ｇとノイズのばらつきとの対応関係の傾向を示す図である。増幅率Ｇが大きくなるに従って、ノイズのばらつきが増加する傾向がある。これは、データ信号をより大きく増幅すると、これに伴いノイズもより増大するからである。図４は、一例としてのデータ補正後の輝度値とノイズのばらつきとの対応関係を示す図である。データ補正部においては、上述のように任意の補正を行うことができるが、データＤの値の小さな部分を、その値が大きな部分より大きな増加率（変化率）で補正をした場合、データＤの小さな部分でのノイズの増幅が顕著となる。増加率に応じてノイズが増大するからである。また、図５は、一例としての周囲温度Ｔとノイズのばらつきとの対応関係の傾向を示す図である。周囲温度Ｔが上昇していくに従って、ノイズのばらつきが増加する傾向がある。これは、例えば、ステレオ式監視装置への適用の場合、撮像素子に発生する暗電流（ノイズ）が、温度上昇に伴って増大することによる。

再び図１を参照して、基礎値設定部６は、第１のデータ領域毎に基礎値ＣＢbaseを設定する。この設定に関して、増幅率Ｇとデータ補正の度合いγとの現在の設定値が、基礎値設定部６に随時出力されている。また、周囲温度Ｔの現在の検出値が、基礎値設定部６に随時出力されている。基礎値設定部６は、増幅率Ｇ、データ補正の度合いγおよび周囲温度Ｔに基づいて所定の基礎値テーブルを参照して、第１のデータ領域全体に適用される基礎値ＣＢbaseを設定する。つまり、この基礎値テーブルには、増幅率Ｇ、データ補正の度合いγおよび周囲温度Ｔの各値の組み合わせと、判定しきい値の基礎値ＣＢbaseとの対応関係が記述されており、この対応関係に基づいて基礎値ＣＢbaseが設定される。対応関係は、予め行った実験やシミュレーション等を通じて適切に設定されている。この実験等においては、図３〜５に示したノイズのばらつきとノイズ要因の状態との関係を考慮しつつ、データＤのノイズ成分を推定する。なお、この基礎値テーブルの全部または一部に代えて所定の計算式を用い、この計算式によって基礎値ＣＢbaseを算出してもよい。

補正値設定部７は、サブ領域毎に、データＤの代表値Ｄrepに基づいて、当該サブ領域の補正値ＣＢamdを設定する。すなわち、サブ領域内にはｎ個のデータが含まれており、代表値算出部８は、記憶部２ａからこのデータの値Ｄ1〜Ｄnを読み出し、当該サブ領域内のデータＤ1〜Ｄnを代表する代表値Ｄrepを算出する。補正値設定部７は、この代表値Ｄrepに基づいて所定の補正値テーブルを参照して、サブ領域の補正値ＣＢamdを設定する。この補正値テーブルには、輝度の代表値Ｄrepと、判定しきい値の補正値ＣＢamdとの対応関係が記述されている。上述の基礎値テーブルと同様に、これらの対応関係は、図２の関係を考慮しつつ、予め行った実験やシミュレーション等を通じて適切に設定されている。また、上述と同様に、この補正値テーブルの全部または一部に代えて所定の計算式を用い、この計算式により補正値ＣＢamdを算出してもよい。

このように、ここでは、相関性の評価に影響を及ぼすノイズ要因として、（１）データＤの値の大小、（２）増幅率Ｇ、（３）データ補正の度合いγ、（４）周囲温度Ｔを考慮している。これにより、どのようなノイズであってもきめ細かな対応が可能になり、ノイズ要因に依存しない最適な相関性の評価が可能になる。なお、これらのノイズ要因（１）〜（４）のうち、ノイズ要因（１）については考慮することが好ましいが、それ以外のノイズ要因（２）〜（４）については考慮しなくてもよい。また、ノイズ要因（２）〜（４）を考慮する場合であっても、これらのすべてを含める必要はなく、少なくとも一つであればよく、これら以外の要因を含めることも可能である。すなわち、一つのノイズ要因の状態を表す値に対して可変に判定しきい値ＣＢthを設定し、また、複数のノイズ要因のそれぞれの状態を表す各値の組み合わせに対して可変に判定しきい値ＣＢthを設定してもよい。

（第２の実施形態）
上述した相関評価システムの概念説明に続き、以下、より具体的な処理について詳述する。本実施形態および次に示す第３〜５の実施形態は、上述の相関評価システムのステレオ式監視装置への適用例である。以下の各実施形態においては、判定しきい値ＣＢthを適用する領域と、相関元領域との位置関係が異なっている。

図６は、本ステレオ式監視装置１０のブロック構成図である。上述の相関評価システムと同一の機能を有する部分には同一の符号を付している。本監視装置１０は、例えば車両に搭載されており、自車両前方に向けられたステレオカメラ１１からのセンサ情報に基づいて、自車両前方の道路や監視対象物（先行車や歩行者等）を監視する。このカメラ１１は、メインカメラ１１ａおよびサブカメラ１１ｂによって構成されており、各カメラ１１ａ，１１ｂは、ＣＣＤやＣＭＯＳセンサといったイメージセンサを内蔵している。カメラ１１は、一対のフレーム画像（ステレオ画像）を撮像する。一方のフレーム画像である基準画像は、上述の第１のデータ領域に対応し、記憶部２ａに格納される。また、他方のフレーム画像である比較画像は、第２のデータ領域に対応し、記憶部２ｂに格納される。各フレーム画像には、記憶部２ａ，２ｂへ出力される前段において、ゲインコントロールアンプ（ＧＣＡ）１２ａ，１２ｂ、Ａ／Ｄコンバータ（不図示）、および、輝度補正部１３等での処理が施されている。これらの処理によって、アナログのフレーム画像信号が、所定の輝度階調のデジタルデータに変換され、また、必要となる補正が行われる。

上述した相関評価システムの増幅器における増幅率Ｇは、ＧＣＡ１１ａにおいてフレーム画像の明るさを調整するためのゲインＧに対応する。データ補正部におけるデータ補正の度合いγは、輝度補正部１３においてフレーム画像に対して施された輝度補正の度合いγに対応する。また、温度センサ１４によって周囲温度Ｔも検出されている。ゲインＧ、輝度補正の度合いγ、および、周囲温度Ｔの各値は、基礎値設定部６に随時出力されている。基礎値設定部６は、これら各値に基づいて、基礎値ＣＢbaseを可変に設定する。データ領域上のデータＤは、輝度値に対応し、代表値算出部８は、サブ領域内の輝度値Ｄ1〜Ｄnに基づいて代表値Ｄrep算出する。補正値設定部７は、この代表値Ｄrepに基づいて補正値ＣＢamdを設定する。判定しきい値設定部５は、基礎値ＣＢbaseと補正値ＣＢamdとに基づいて、判定しきい値ＣＢthを設定する。マッチング処理部３は、周知のステレオマッチング処理によって、相関先領域の相関値ＣＢおよび視差ｄを算出する。この相関値ＣＢと、この相関値ＣＢに対応する視差ｄとは、互いに対応付けられて判定部４に出力される。判定部４は、この相関値ＣＢの信頼性を判定しきい値ＣＢthに基づいて評価し、視差ｄと、視差ｄに対応する評価結果とを、所定の対象物認識部に出力する。対象物認識部は、この視差ｄと、対応する評価結果に基づいて、監視対象物等の認識を行うことが可能である。

図７は、判定しきい値の設定手順を示すフローチャートである。ここに示す手順によって、一対の１フレーム相当のフレーム画像が順次処理されていく。ステップ１，２では、判定部４における判定しきい値の基礎値ＣＢbaseが、基準画像に対して設定される。まず、ステップ１において、基礎値設定部６は、基礎値ＣＢbaseを設定するために、ゲインＧ、輝度補正の度合いγ、および、周囲温度Ｔを検出する。ステップ２において、基礎値設定部６は、基礎値テーブルを参照し、ステップ１で検出された各値に基づいて基礎値ＣＢbaseを設定する。ここでは、基準画像１フレーム毎に基礎値ＣＢbaseが設定されることを前提とするが、同一の基礎値ＣＢbaseを、連続する複数の基準画像に設定することも可能である。

ステップ３，４では、判定しきい値の補正値ＣＢamdが、基準画像のサブ領域に対して設定される。図８は、サブ領域（判定しきい値ＣＢthの適用領域）についての説明図である。フレーム画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ軸、垂直方向をｊ軸とする。ここでは、基準画像２１ａ上、サブ領域を、相関元領域３１ａと同じサイズ（例えば４×４画素）で同じ位置の領域として設定する。すなわち、判定しきい値ＣＢthの適用領域は、相関元領域３１ａに一致する。ステップ３において、代表値算出部８は、相関元領域３１ａにおける輝度の代表値Ｄrepを算出する。例えば、この代表値Ｄrepは、サブ領域内の全部もしくは特定の一部の画素の輝度値の平均値としてよく、また、これらの輝度値の中間値としてもよい。ステップ４において、補正値設定部７は、補正値テーブルを参照し、ステップ３で算出された代表値Ｄrepに基づいて補正値ＣＢamdを設定する。

ステップ５において、判定しきい値設定部５は、ステップ２で設定された基礎値ＣＢbaseと、ステップ４で設定された補正値ＣＢamdとに基づいて判定しきい値ＣＢthを設定する。例えば、この判定しきい値ＣＢthを、基礎値ＣＢbaseと補正値ＣＢamdとの和とすることができる。これに代えて、所定の計算式を設定し、この計算式に基礎値ＣＢbaseと補正値ＣＢamdとを代入することによって、判定しきい値ＣＢthを算出してもよい。特に、補正値設定部７（また判定しきい値設定部５）において、ノイズ要因とノイズのばらつきとの関係（図２〜５）に基づいて、サブ領域内の輝度状態が高輝度になるほど、補正値ＣＢamd（判定しきい値ＣＢth）を大きく設定することが好ましい。これによって、相関性の評価における耐ノイズ性を有効に向上させることができる。

ステップ６において、マッチング処理部３は、相関元領域に対してマッチング処理を行い、相関先領域の相関値ＣＢと視差ｄとを算出する。続くステップ７において、判定部４は、ステップ６で算出された相関値ＣＢと、ステップ５で相関元領域毎に設定された判定しきい値ＣＢthとを比較することによって、相関性を評価する。

図９は、ステレオマッチング処理における相関性の評価についての説明図である。図８において、マッチング処理部３は、比較画像２１ｂ上の所定の探索範囲３１ｂ内で相関先領域の候補を設定している。ここでは、基準画像２１ａ上で（ｉ1，ｊ1）の位置にある相関元領域３１ａに対して、比較画像２１ｂ上で（ｉ1−α，ｊ1）の位置から所定の長さを有する探索範囲３１ｂが設定されている。相関元領域３１ａと探索範囲３１ｂとは同一の水平線（エピポーラライン）上にある。このαは、左へ向かっての所定の探索マージンである。探索範囲３１ｂ内において、相関先領域の候補を、探索範囲３１ｂ内の左端から右端へと１画素ずつずらして更新しながら、輝度の相関値ＣＢを算出する。図９においては、相関先候補ＰＢnの相関値ＣＢnが、直前に隣接する相関先候補ＰＢn-1の相関値ＣＢn-1、および、直後に隣接する相関先候補ＰＢn+1の相関値ＣＢn+1のいずれよりも小さく、相関値ＣＢの最小値となっている。この相関先候補ＰＢnが、相関先領域として特定される。さらに、マッチング処理部３は、基準画像における相関元領域の位置と、比較画像においてこのように特定された相関先領域の位置とのズレ量である視差ｄを算出する。視差ｄとこの視差ｄに対応する相関値ＣＢとが、判定部４に出力される。

判定部４は、相関値ＣＢに係る相関性（相関値ＣＢの信頼性）を評価するが、例えば、この相関性として、相関値ＣＢに基づく視差ｄの信頼度を判定することが可能である。つまり、相関値ＣＢが、判定しきい値ＣＢthよりも小さい場合には、相関元領域と相関先領域との間の輝度の相関が十分高いものとして、視差ｄについての信頼度を高に設定する。また、この相関値ＣＢが、判定しきい値ＣＢthよりも大きい場合には、輝度の相関が十分には高くないものとして、信頼度を低に設定する。ここでの判定しきい値ＣＢthは、ステップ１〜５によって、推定される輝度（相関値）のノイズ成分の大きさに応じて可変に設定されている。例えば、相関元領域の輝度が大きい場合には、ノイズのばらつきが大きい（図２）。ノイズのばらつきが大きいときには、平均から大きく隔たった大きさのノイズが生じていることが推定される。そこで、ノイズによる誤判定を防ぐために、判定しきい値ＣＢthを上昇させる。また、周囲温度Ｔが低い場合には、ノイズのばらつきが小さい（図５）。この場合には、ノイズの大きさは比較的小さいことが推定され、判定しきい値ＣＢthを低下させる。

このような幅を有する判定しきい値ＣＢthを用いて相関性が評価される。そして、評価結果としての信頼度情報によって、視差ｄが有効であるか無効であるかが判断される。つまり、判定部４は、無効データをフィルタリングして、有効視差のみを、距離データとして、所定の距離データメモリに出力することができる。これに代えて、信頼度情報を、その相関値ＣＢに対応する視差ｄと合成して距離データを構成して、距離データメモリに格納してもよい。また、信頼度情報を、視差ｄに関連付けて距離データメモリに格納してもよい。さらに、信頼度は、高と低との２段階としたが、当然ながら、３段階以上とすることもできる。この場合、これに応じて、上記同様に、相関元領域（サブ領域）毎の判定しきい値を２以上設定する。

図７に示すステップ８において肯定判定の場合、すなわち、指定されたすべての相関元領域が処理対象とされた場合には、本処理が終了する。また、ステップ８において否定判定の場合、すなわち、すべての相関元領域が処理対象とはされていない場合には、ステップ９において、相関元領域が更新されて、ステップ３に戻る。

このように、本実施形態においては、相関元領域と相関先領域との間における相関性の評価に用いられる判定しきい値を、データ領域（本実施形態ではフレーム画像）全体ではなく、その一部を構成する部分的なサブ領域（本実施形態では相関元領域）単位で個別に設定している。このように、判定しきい値を相関元領域毎にきめ細かに設定することで、相関性の評価精度の向上を図ることができる。特に、サブ領域毎の判定しきい値を、その部分に生じるノイズの傾向を考慮した上で、これを排除するように個別に設定すれば、耐ノイズ性に優れた相関性の評価が可能になる。また、ここでは、判定しきい値の設定単位となるサブ領域を、視差の算出単位（換言すれば相関値の算出単位）となる相関元領域と同一のサイズに設定している。これにより、両者が一対一に対応づけられるので、それぞれの相関元領域に適用される判定しきい値を最適に設定することができる。

（第３の実施形態）
図１０は、本実施形態における、判定しきい値ＣＢthの設定を説明するための図である。以下の各実施形態に係るステレオ式監視装置は、図６のステレオ式監視装置１０に準ずる構成を有している。また、同様に、主なノイズ要因として、輝度Ｄ、ゲインＧ、輝度補正の度合いγおよび周囲温度Ｔ等を想定している。図１０において、第２の実施形態と同様に、相関元領域３２ａに対して探索範囲３２ｂが設定されている。特に、ここでは、相関元領域よりも大きなサブ領域３３が設定され、あるサブ領域３３について算出された判定しきい値ＣＢthが、そのサブ領域に含まれる相関元領域に適用される。例えば、サブ領域３３を、基準画像２２ａを分割することによって得られる縦短冊状の領域とする。さらに、このサブ領域３３を分割することによって、その一部を構成する相関元領域３２ａが得られる。複数のサブ領域３３のそれぞれには、複数の相関元領域３２ａが設定され、例えば、左から２番目のサブ領域３３に属する個々の相関元領域３２ａについては、左から２番目のサブ領域３３について設定された判定しきい値ＣＢthを用いる。

このように、本実施形態では、相関元領域と相関先領域との間における相関性の評価に用いられる判定しきい値を、フレーム画像全体ではなく、サブ領域単位で個別に設定している。従来のようにフレーム画像全体に対して判定しきい値を設定することに比較して、相関性の評価精度の向上を図ることができる。また、耐ノイズ性に優れた相関性の評価も可能である。

なお、サブ領域単位は図１０に開示されるものには限定されず、例えば、横短冊状の領域とすることも可能である。更には撮像画像の傾向によって設定することもできる。即ち、ステレオ監視装置が車両に搭載されている場合には、画像下部には道路面、中央部は先行車、上部には空、側方には立体物が写し出されることを想定して、それぞれの画像領域を定め、設定された領域毎に判定しきい値を設定する構成とすることも可能である。

（第４の実施形態）
図１１は、本実施形態における、判定しきい値ＣＢthの設定についての説明図である。ここでは、判定しきい値ＣＢthは、比較画像２３ｂの一部を構成する領域に対して設定される。すなわち、図８，９を用いて説明したように、マッチング処理においては、基準画像２３ａ中の相関元領域３４ａに対して、所定の探索範囲３４ｂが設定される。本実施形態では、この探索範囲３４ｂの輝度の代表値Ｄrep（探索範囲内のデータの代表値）が算出され、この代表値Ｄrepに基づいて、判定しきい値ＣＢthが探索範囲３４ｂ毎に個別に設定される。

本実施形態においても、上述と同様に、相関性の評価精度の向上、耐ノイズ性の改善等を図ることができる。特に、探索領域３４ｂ内の輝度状態が高輝度になるほど、判定しきい値ＣＢthを大きく設定する。これによって、相関性の評価における耐ノイズ性を有効に向上させることができる。
（第５の実施形態）
図１２は、本実施形態における、判定しきい値ＣＢthの設定についての説明図である。第２〜第４の実施形態においては、マッチング処理部３は、ステレオマッチング処理を行い、判定部４は、その出力された視差ｄについての信頼度を判定した。つまり、特に、距離計測のためのステレオマッチング処理が行われることを前提とした。これに代えて、上述の相関評価システムを、パターンマッチングを行う装置に適用することができる。このパターンマッチングにおいては、所定のテンプレート３５と、フレーム画像２４の一部または全部を構成する所定の探索範囲３６中の画素領域との一致度の判定（相関値の信頼性の評価）が行われる。この判定のためのしきい値ＣＢthが、探索範囲３６の輝度の代表値Ｄrep等に基づいて個別に設定される。例えば、車線に関する道路標示の画像をテンプレートとすることができる。このテンプレートを移動・拡大させながらフレーム画像上の画素領域との相関を評価して対応画素領域を特定する。そして、テンプレートの輝度特性と、対応画素領域の輝度特性とが一致するか否かが判定され、また、どの程度一致するかが評価される。このパターンマッチングについては、単眼カメラにより撮像したフレーム画像を用いてよい。

本実施形態では、パターンマッチングについて、フレーム画像の一部または全部である探索範囲毎に、相関性評価のための判定しきい値を設定している。この探索範囲に対する判定しきい値の設定によって、上述と同様の相関性の評価精度の向上、耐ノイズ性の改善等を図ることができる。

なお、上述した各実施形態においては、一対のデータ領域がステレオ画像であることを前提としたが、本発明はこれに限定されない。データ領域についての別の例として、いわゆるオプティカルフローの処理対象となる、異なる時刻に撮像された一対のフレーム画像が挙げられる。この場合には、上述したステレオカメラの代わりに単眼カメラが撮像部として用いられ、フレーム画像が時系列的に出力される。さらに、これらのデータ領域については、輝度情報によって規定される画像（輝度分布）に限らず、互いに関連性を有する一対のデータ領域を広く用いることができる。すなわち、データ領域は、輝度以外の情報（例えば、遠赤外線カメラより得られる熱分布、レーザレーダやミリ波レーダより得られる反射強度の分布等）によって規定されるものであってもよい。

第１の実施形態に係る相関評価システムのブロック構成図 データの値とノイズのばらつきとの対応関係の傾向を示す図 増幅率とノイズのばらつきとの対応関係の傾向を示す図 データ補正後のデータの値とノイズのばらつきとの対応関係を示す図 周囲温度とノイズのばらつきとの対応関係の傾向を示す図 第２の実施形態に係るステレオ式監視装置のブロック構成図 判定しきい値の設定手順を示すフローチャート 判定しきい値設定の説明図 ステレオマッチング処理における相関性評価の説明図 第３の実施形態に係る判定しきい値設定の説明図 第４の実施形態に係る判定しきい値設定の説明図 第５の実施形態に係る判定しきい値設定の説明図

符号の説明

１ 相関評価システム
２ａ，２ｂ 記憶部
３ マッチング処理部
４ 判定部
５ 判定しきい値設定部
６ 基礎値設定部
７ 補正値設定部
８ 代表値算出部
１０ ステレオ式監視装置
１１ ステレオカメラ
１２ａ，１２ｂ ゲインコントロールアンプ
１３ 輝度補正部

Claims (7)

1. 相関元領域の相関先として特定された相関先領域の相関性を評価する相関評価システムにおいて、
   前記相関元領域を一部に含むフレーム画像を撮像する撮像部と、
   前記相関元領域の相関先の候補となる複数の相関先候補を前記相関元領域毎に設定し、前記相関元領域との相関の程度を示す相関値を前記相関先候補毎に算出するとともに、前記相関先候補毎に算出された前記相関値同士を比較することによって、前記複数の相関先候補のいずれかを前記相関先領域として特定するマッチング処理部と、
   前記相関元領域を含むサブ領域内のデータに基づいて、当該サブ領域内の全部の画素の輝度値の平均値または中間値を代表値として前記サブ領域毎に算出する代表値算出部と、
   前記フレーム画像の明るさを調整するための増幅率と、前記相関評価システムの周囲温度との少なくとも一つに基づいて前記フレーム画像毎に設定される基礎値と、前記サブ領域毎に前記代表値に基づいて設定される補正値との和を前記相関元領域に適用される判定しきい値として前記相関元領域毎に個別に設定するしきい値設定部と、
   前記マッチング処理部によって特定された前記相関先領域の相関値と、当該相関先領域の相関元となる前記相関元領域に適用される前記判定しきい値とを比較することによって、当該相関値の信頼性を評価する判定部と
   を有することを特徴とする相関評価システム。
2. 前記しきい値設定部は、前記代表値によって示される前記サブ領域内の輝度状態が高輝度になるほど、当該サブ領域の前記判定しきい値を大きく設定することを特徴とする請求項１に記載された相関評価システム。
3. 相関元領域の相関先として特定された相関先領域の相関性を評価する相関評価システムにおいて、
   前記相関元領域を一部に含むフレーム画像を撮像する撮像部と、
   前記相関元領域の相関先の候補となる複数の相関先候補を含む探索範囲を前記相関元領域毎に設定し、前記相関元領域との相関の程度を示す相関値を前記相関先候補毎に算出するとともに、前記相関先候補毎に算出された前記相関値同士を比較することによって、前記複数の相関先候補のいずれかを前記相関先領域として特定するマッチング処理部と、
   前記探索範囲内に含まれるデータに基づいて、当該探索範囲内の全部の画素の輝度値の平均値または中間値を代表値として前記探索範囲毎に算出する代表値算出部と、
   前記フレーム画像の明るさを調整するための増幅率と、前記相関評価システムの周囲温度との少なくとも一つに基づいて前記フレーム画像毎に設定される基礎値と、前記探索範囲毎に前記代表値に基づいて設定される補正値との和を前記探索範囲に適用される判定しきい値として前記探索範囲毎に個別に設定するしきい値設定部と、
   前記マッチング処理部によって特定された前記相関先領域の相関値と、当該相関先領域を含む前記探索範囲に適用される前記判定しきい値とを比較することによって、当該相関値の信頼性を評価する判定部と
   を有することを特徴とする相関評価システム。
4. 前記しきい値設定部は、前記代表値によって示される前記探索範囲内の輝度状態が高輝度になるほど、当該探索範囲の前記判定しきい値を大きく設定することを特徴とする請求項３に記載された相関評価システム。
5. 前記マッチング処理部の前段に設けられており、前記フレーム画像に対して所定の輝度補正を施す輝度補正部をさらに有し、
   前記しきい値設定部は、前記輝度補正の度合いに基づいて、前記判定しきい値を可変に設定することを特徴とする請求項１から４のいずれかに記載された相関評価システム。
6. 相関元領域の相関先として特定された相関先領域の相関性を評価する相関評価方法において、
   前記相関元領域を一部に含むフレーム画像を撮像するステップと、
   前記相関元領域の相関先の候補となる複数の相関先候補を前記相関元領域毎に設定し、前記相関元領域との相関の程度を示す相関値を前記相関先候補毎に算出するとともに、前記相関先候補毎に算出された前記相関値同士を比較することによって、前記複数の相関先候補のいずれかを前記相関先領域として特定するステップと、
   前記相関元領域を含むサブ領域内のデータに基づいて、当該サブ領域内の全部の画素の輝度値の平均値または中間値を代表値としてサブ領域毎に算出するステップと、
   前記フレーム画像の明るさを調整するための増幅率と、前記相関評価システムの周囲温度との少なくとも一つに基づいて前記フレーム画像毎に設定される基礎値と、前記サブ領域毎に前記代表値に基づいて設定される補正値との和を前記相関元領域に適用される判定しきい値として前記相関元領域毎に個別に設定するステップと、
   前記相関先領域の相関値と、当該相関先領域の相関元となる前記相関元領域に適用される前記判定しきい値とを比較することによって、当該相関値の信頼性を評価するステップと
   を有することを特徴とする相関評価方法。
7. 相関元領域の相関先として特定された相関先領域の相関性を評価する相関評価方法において、
   前記相関元領域を一部に含むフレーム画像を撮像するステップと、
   前記相関元領域の相関先の候補となる複数の相関先候補を含む探索範囲を前記相関元領域毎に設定し、前記相関元領域との相関の程度を示す相関値を前記相関先候補毎に算出するとともに、前記相関先候補毎に算出された前記相関値同士を比較することによって、前記複数の相関先候補のいずれかを前記相関先領域として特定するステップと、
   前記探索範囲内に含まれるデータに基づいて、当該探索範囲内の全部の画素の輝度値の平均値または中間値を代表値として前記探索範囲毎に算出するステップと、
   前記フレーム画像の明るさを調整するための増幅率と、前記相関評価システムの周囲温度との少なくとも一つに基づいて前記フレーム画像毎に設定される基礎値と、前記探索範囲毎に前記代表値に基づいて設定される補正値との和を前記探索範囲に適用される判定しきい値として前記探索範囲毎に個別に設定するステップと、
   前記相関先領域の相関値と、当該相関先領域を含む前記探索範囲に適用される前記判定しきい値とを比較することによって、当該相関値の信頼性を評価するステップと
   を有することを特徴とする相関評価方法。

Images