JP2005250994A - ステレオ画像処理装置 - Google Patents

Abstract

【課題】分解能の低下を招くことなく精度の高いステレオマッチングを可能とし、データ信頼性の向上及びばらつき低減を達成する。
【解決手段】ステレオカメラ１０で撮像されて画像入力部２０で入力処理され、元画像メモリ２５にストアされたステレオ画像対に対し、解像度拡張部３０でピクセル間の補間を行って解像度を拡張し、この解像度を拡張した画像に対し、ステレオマッチング部３５でＳＡＤ演算によるステレオマッチングを行う。そして、補間処理部４０で、ＳＡＤ演算値の最小値で定義される一致点と、その前後の隣接点との３点による補間処理を行うことにより、サブピクセルレベルの視差を精度良く求めることで、精度の高いステレオマッチングを可能とし、データ信頼性の向上及びばらつき低減を達成することができる。
【選択図】図１

Description

本発明は、互いに相関を有する画像対を用いてステレオマッチングを行うステレオ画像処理装置に関する。

一般に、画像による３次元計測技術として、ステレオカメラで対象物を異なる位置から撮像した一対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。

このステレオ法による画像処理としては、本出願人は、先に、特開平５−１１４０９９号公報において、車両に搭載したステレオカメラで撮像した画像を処理して車外の対象物の３次元位置を測定する技術を提案しており、この技術では、ステレオ撮像した一対の画像に対し、複数の小領域間の相関度を演算して対応位置を探索するステレオマッチングをハードウエア回路によって高速に行い、対応する小領域の画素ズレ量を視差として出力するようにしている。
特開平５−１１４０９９号公報

ところで、ステレオマッチングにより得られた視差は、画像平面座標から実空間座標への変換により実空間における３次元の距離データとして算出され、車両の車外状況認識システム、高度道路交通システム（ＩＴＳ）、ロボットビジョン、侵入物監視システム、飛行体の対地高度計測システム等の各種の認識処理に適用される。

このような認識処理を信頼性高く行うには、視差を算出するステレオマッチングにおけるミスマッチングやデータのばらつきを低減し、マッチング精度を高める必要がある。このミスマッチングを抑制するには、視差の算出単位となるマッチング領域を大きくすること、すなわちマッチングのデータ数を増やすことが有効であるが、従来のステレオマッチングは画像の“画素”を単位としているため、マッチング領域を大きくすると、算出される視差の絶対数が不足し、距離データの空間分解能が低下するという不都合がある。

本発明は上記事情に鑑みてなされたもので、分解能の低下を招くことなく精度の高いステレオマッチングを可能とし、データ信頼性の向上及びばらつき低減を達成することのできるステレオ画像処理装置を提供することを目的としている。

上記目的を達成するため、本発明によるステレオ画像処理装置は、互いに相関を有する画像対を用いてステレオマッチングを行うステレオ画像処理装置であって、上記画像対の各画素間に、周辺画素のデータを用いて生成した仮想的な画素を挿入し、上記画像対の解像度を拡張する解像度拡張手段と、上記解像度拡張手段で解像度を拡張した画像対に対し、拡張した解像度の分解能で互いの対応位置を特定するステレオマッチング手段とを備えたことを特徴とする。

また、本発明によるステレオ画像処理装置は、互いに相関を有する画像対を用いてステレオマッチングを行うステレオ画像処理装置であって、上記画像対の各画素のデータを、周辺画素のデータを用いて置き換える画像変換手段と、上記画像変換手段で画素のデータを置き換えた画像対に対し、互いの対応位置を特定するステレオマッチング手段とを備えたことを特徴とする。

また、本発明によるステレオ画像処理装置は、互いに相関を有する画像対を用いてステレオマッチングを行うステレオ画像処理装置であって、上記画像対のうち、少なくとも一方の画像に対して、各画素のデータを周辺画素のデータを用いて置き換える手段と、置き換えられた画素データを用いて、上記画像対における互いの対応位置を特定するステレオマッチング手段とを備えたことを特徴とする。

本発明のステレオ画像処理装置は、分解能の低下を招くことなく精度の高いステレオマッチングを可能とし、データ信頼性の向上及びばらつき低減を達成することができる。

以下、図面を参照して本発明の実施の形態を説明する。図１〜図９は本発明の実施の第１形態に係り、図１はステレオ画像処理装置の基本構成を示すブロック図、図２はメイン画像とサブ画像とのマッチングを示す説明図、図３はシティブロック距離の分布を示す説明図、図４はピクセル単位のマッチング後の補間を示す説明図、図５はステレオマッチング及びサブピクセル処理のフローチャート、図６はメイン画像の解像度拡張を示す説明図、図７はサブ画像の解像度拡張を示す説明図、図８はサブピクセル単位のマッチング後の補間を示す説明図、図９は視差のばらつきを示すヒストグラムである。

図１において、符号１は、被写体をステレオ撮像した一対の画像を処理して３次元の距離情報を求めるステレオ画像処理装置であり、例えば、車両の車外状況認識システム、高度道路交通システム（ＩＴＳ）、ロボットビジョン、侵入物監視システム、飛行体の対地高度計測システム等の各種システムに適用される。

ステレオ画像処理装置１は、２台１組のカメラから構成されるステレオカメラ１０、このステレオカメラ１０で撮像した一対の画像に対する入力処理を行う画像入力部２０、この画像入力部で処理した画像を元画像としてストアする元画像メモリ２５、一対の元画像の解像度を拡張する解像度拡張部３０、一対の画像間の相関度を評価して互いの対応位置を決定するステレオマッチング部３５、ステレオマッチング部３５で決定した対応位置に基づく補間処理により１画素単位以下の分解能を有するサブピクセルレベルの視差を求める補間処理部４０、視差に基づく距離情報を元画像の画像座標と対応付けて二次元的に配置した画像形態（距離画像）としてストアする距離画像メモリ４５、元画像メモリ２５の元画像情報及び距離画像メモリ４５の距離情報を用いて各種認識処理を行う認識処理部５０を備えて構成される。

ステレオカメラ１０を構成する２台のカメラ１０ａ，１０ｂは、撮像素子としてＣＣＤやＣＭＯＳイメージセンサ等を有し、互いに同期が取れ且つシャッタースピード可変のカメラである。一方のカメラ１０ａは、ステレオ処理の際の基準画像（メイン画像）を撮像するメインカメラ、他方のカメラ１０ｂは、ステレオ処理の際の比較画像（サブ画像）を撮像するサブカメラとして用いられる。本形態においては、２台のカメラ１０ａ，１０ｂは、互いの光軸が平行で水平面上で所定の基線長をもって配置されているものとする。

画像入力部２０は、２系統のアナログ画像信号を処理するための各種回路（例えば、ゲインコントロールアンプ、ルックアップテーブル、シェーディング補正回路等）や、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ等の画像処理の各種機能回路を備え、更に、カメラ１０ａ，１０ｂの機械的な光学位置の僅かなズレを、画像の回転や平行移動等の幾何学的な変換によって補正する画像調整回路を備えて構成される。

すなわち、画像入力部２０に入力されたカメラ１０ａ，１０ｂからの撮像画像は、各カメラ１０ａ，１０ｂの感度差やカメラ光学系の歪みに対する補正がなされた後、所定の輝度階調のデジタル画像データに変換され、更に、画像調整によってカメラ１０ａ，１０ｂの機械的な取り付け位置の誤差が補正され、メイン画像とサブ画像とのステレオ画像対におけるエピポーララインの一致が保証される。このような入力処理を経たステレオ画像対は、元画像メモリ２５にストアされる。

元画像メモリ２５にストアされたステレオ画像対からは、メイン画像とサブ画像との間の相関度を評価しながら対応位置を探索する（ステレオマッチング）ことで視差が得られ、この視差から被写体までの距離情報を求めることができる。メイン画像とサブ画像との相関度は、周知の領域探索法を用い、相関度の評価関数として、メイン画像の小領域とサブ画像の小領域との間のピクセル値の差分（絶対値）の総和（ＳＡＤ；Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を演算する。ピクセル値としては、一般的に、各画素の輝度値を用いることが多い。

ＳＡＤによる評価関数の値は、シティブロック距離と称されるものであり、小領域間の相関が高い程（類似している程）、シティブロック距離の値が小さくなり、シティブロック距離が最小値を取る小領域間の水平方向のシフト量により、視差が与えられる。シティブロック距離Ｃは、画像平面上の位置を、水平方向をｉ座標、垂直方向をｊ座標とする直交座標で定義し、互いの相関度を探索する小領域を、ｉ×ｊ（ｉ＝０〜ｎ，ｊ＝０〜ｎ）の探索ブロックとするとき、以下の（１）式に示すように、メイン画像の探索ブロックｍａｉｎ(i,j)とサブ画像の探索ブロックｓｕｂ(i,j)とのＳＡＤ値を、ｉ軸上を所定のシフト値ずつずらしながら演算することにより得られる。
Ｃ＝Σ│ｍａｉｎ(i,j)−ｓｕｂ(i,j)│…（１）
尚、小領域（探索ブロック）間のステレオマッチングについての詳細は、先に本出願人によって提出された特開平５−１１４０９９号公報に詳述されている。

以上のＳＡＤ演算では、例えば４×４画素の探索ブロックを対象として、メイン画像の探索ブロック（以下、「メインブロック」と記載する）に対してサブ画像の探索ブロック（以下、「サブブロック」と記載する）の位置を水平線上を１画素ずつずらしながらＳＡＤ演算を行うと、図２に示すように、シティブロック距離が最小値Ｃ0となる点がメインブロックとサブブロックとの相関度が最も高い対応位置（一致点）として求められる。

この一致点におけるメインブロックとサブブロックとの１画素単位のずれ量（水平方向のメインブロックの位置ｉｍとサブブロックの位置ｉｓとの差）は、１画素単位の分解能を有する視差（ピクセル視差）を与える。このピクセル視差に基づく距離情報は、ステレオ法における三角測量の原理から、被写体までの距離が大きくなるにつれて分解能が低下するため、遠方の被写体までの距離を精度良く求めるためには、１画素単位以下の分解能を有するサブピクセルレベルの視差を求める必要がある。

サブピクセルレベルの視差を求める技術としては、例えば本出願人による特開２０００−２８３７５３号公報に開示されている補間処理の技術を採用することができる。この技術によれば、シティブロック距離の分布が極小点周りに対称形となることを利用し、ピクセル視差を与える一致点の前後のシティブロック距離の差の大小関係から極小点の位置を特定し、直線近似によってサブピクセルレベルの視差を求めることができる。

すなわち、１画素のサイズが無限に小さいと仮定した場合、図３に示すように、画像平面（ｉ，ｊ）におけるシティブロック距離Ｃの分布は連続的になり、視差検出方向であるｉ方向（水平方向）の極小点について考えると、極小点周りに対称形で連続的に分布するとみなすことができる。従って、図４に示すように、座標ｉsにおけるシティブロック距離Ｃ0の一致点（ピクセル単位でシティブロック距離が最小となる点）と、その前後の座標ｉs−１，is＋１でのシティブロック距離Ｃ1，Ｃ4の隣接点との３点に基づいて、縦軸に対して線対称となる２本の直線Ｌ1，Ｌ2を算出し、これらの直線の交点を求めることにより、サブピクセル成分を算出することができる。

しかしながら、ピクセル単位の探索によって得られたシティブロック距離Ｃ0の一致点は、サブピクセルレベルで見ると、図４に破線で示す近傍のシティブロック距離Ｃ2，Ｃ3を誤差として含んで検出されてしまうことから、必ずしも極小点の最近傍に位置するとは言えず、ピクセル単位の離散的なデータを用いた３点補間でサブピクセル成分を求める技術では、シティブロック距離の真の極小点に対して近似精度が粗くなることは避けられない。

従って、本形態においては、以下に詳述するように、解像度拡張部３０でメイン画像及びサブ画像に対してピクセル間の補間を行って解像度を拡張し、この解像度を拡張した画像に対し、ステレオマッチング部３５で上述のＳＡＤ演算によるステレオマッチングを行うことにより、図４に破線で示すサブピクセルレベルのシティブロック距離Ｃ2，Ｃ3を含むデータを求める。そして、補間処理部４０で、これらのデータの最小値で定義される一致点と、その前後の隣接点との３点による補間処理を行うことにより、サブピクセルレベルの視差を精度良く求める。

本形態においては、視差検出を主目的とすることから、解像度拡張処理を視差検出方向である水平方向についてのみ行い、水平方向の各画素間に仮想的な画素を挿入して水平方向の解像度を1/2ピクセル単位のレベルに拡張する。この場合、演算量が増大するが、水平方向と垂直方向との双方について解像度拡張を行っても良く、マッチング精度をより向上させることができる。

また、本形態においては、ステレオマッチング部３５では、当初、元画像のメインブロック及びサブブロックに対して通常の１画素単位のマッチングを行い、この１画素単位でマッチングしたブロックの解像度を解像度拡張部３０で拡張し、この解像を拡張したインブロック及びサブブロックに対し、再度、ステレオマッチング部３５でマッチングを行うようにしている。これは、予めピクセルレベルでの一致点を求めておくことで、その後のサブピクセルレベルの処理の演算量及び演算時間を軽減するためであるが、最初に、解像度拡張部３０で元画像全体の解像度を拡張しておき、この解像度を拡張した画像のメインブロック及びサブブロックに対してステレオマッチング部３５でマッチング処理を行うようにしても良い。

一方、認識処理部５０は、主としてソフトウエア処理を行うプロセッサにより構成されるものであり、元画像メモリ２５の元画像データ及び距離画像メモリ４５の距離分布データに基づいて各種認識処理を行う。認識処理部５０による認識結果は、車両の車外状況認識システム、ＩＴＳ、ロボットビジョン、侵入物監視システム、飛行体の高度計測システム等の各種制御系で利用される。

例えば、車両の車外状況認識システムやＩＴＳに適用される場合には、３次元の距離情報に基づいて、自車前方の道路形状や先行車等の認識、道路上の車両の走行状況の認識等を行う。また、ロボットビジョンに適用される場合には、３次元の距離情報に基づいて、移動経路や障害物の有無等を認識する処理を行い、侵入物監視システムに適用される場合には、建造物等に侵入する人物や物体の存在と位置を認識する処理を行う。更に、無人ヘリコプター等の移動体に搭載されて高度を計測する高度計測システムに適用される場合には、距離分布情報から地表面を平面と認識し、鉛直高度を求める処理を行う。

次に、画像の解像度拡張によるステレオマッチング及びサブピクセル処理の詳細について、図５のフローチャートを用いて説明する。

図５のフローチャートは、解像度拡張部３０，ステレオマッチング部３５，補間処理部４０において、時系列的に実行される（一部は、並行して実行される）処理の流れを示すものであり、先ず、ステップＳ１で、画像平面の左上を原点とする直交座標上で、メインブロックｍａｉｎ(i,j)とサブブロックｓｕｂ(i,j)との１画素単位の通常のステレオマッチングを行う。メイン及びサブの探索ブロックの大きさは、例えば４×４（ｉ＝０〜３，ｊ＝０〜３）であり、メインブロックに対してサブブロックの位置を水平方向に１画素ずつシフトさせながらＳＡＤ演算を行い、シティブロック距離が最小値Ｃ0となる一致点を求めてピクセル視差Ｄを算出する（図２参照）。

次に、ステップＳ２へ進み、メイン画像及びサブ画像の各々について、ピクセル間補間によるマッチング領域の解像度拡張処理を行う。この解像度拡張処理は、メイン画像については、図６に示すように、４×４のピクセル単位のブロックｍａｉｎ(i,j)を、８×４の1/2ピクセル単位の拡張ブロックｍａｉｎ＿ｅｘｔ(i',j)とし、サブ画像については、図７に示すように、メインブロックの４×４のブロックに対して探索のために水平方向に前後１画素ずつ広げた６×４のピクセル単位のブロックｓｕｂ(i,j)を、１２×４の1/2ピクセル単位のブロックｓｕｂ＿ｅｘｔ(i',j)に拡張する。

図６，図７に斜線で示す拡張ブロックのｉ’＝（２×ｉ＋１）番目のピクセルは、元画像の探索ブロックのｉ番目のピクセルと（ｉ＋１）番目のピクセルとの間に挿入される仮想的なピクセルである。この仮想的なピクセルのデータ（補間データ）は、周囲のピクセル情報に基づいて生成され、 本形態においては、以下の（２），（３）式に示すように、ｉ番目のピクセルデータと水平方向に隣接する（ｉ＋１）番目のピクセルデータとの平均値をとって線形補間される。尚、このピクセル補間には、簡易的には最近傍法を採用することも必ずしも不可ではないが、演算能力及び演算時間に余裕がある場合には、３次補間法によるピクセル補間を行っても良い。
ｍａｉｎ＿ｅｘｔ(i',j)＝（ｍａｉｎ(i,j)＋ｍａｉｎ(i+1,j)）／２…（２）
ｓｕｂ＿ｅｘｔ(i',j)＝（ｓｕｂ(i,j)＋ｓｕｂ(i+1,j)）／２ …（３）
但し、ｉ’＝２×ｉ＋１

また、元画像の探索ブロックのｉ番目のピクセルに対応する拡張ブロックのｉ’＝（２×ｉ）番目のピクセルデータは、元画像のピクセルデータを使用することも可能であるが、本形態においては、以下の（３）式に示すように、拡張ブロックのｉ’＝（２×ｉ）番目のピクセルデータを、元画像の（ｉ−１），ｉ，（ｉ＋１）番目の３点のピクセルデータ、すなわち、自身のピクセルデータと、水平方向前後に隣接するピクセルデータとの加重平均値で置き換える。
ｍａｉｎ＿ｅｘｔ(i',j)＝（ｍ１×ｍａｉｎ(i-1,j)＋ｍ２×ｍａｉｎ(i,j)
＋ｍ３×ｍａｉｎ(i+1,j)）／（ｍ１＋ｍ２＋ｍ３）…（４）
ｓｕｂ＿ｅｘｔ(i',j)＝（ｍ１×ｓｕｂ(i-1,j)＋ｍ２×ｓｕｂ(i,j)
＋ｍ３×ｓｕｂ(i+1,j)）／（ｍ１＋ｍ２＋ｍ３） …（５）
但し、ｉ’＝２×ｉ
ｍ１，ｍ２，ｍ３；加重平均の重み
（例えば、ｍ１＝１，ｍ２＝４，ｍ３＝１）

この元画像のピクセルデータの置き換えは、画像の加重平均処理であり、ミスマッチングを誘発しやすいノイズ成分を低減する。これらのピクセル間補間と加重平均処理とを併用することにより、マッチングの信頼性向上とばらつきの低減を図ることができる。

以上の解像度拡張処理を施した後は、ステップＳ３へ進み、８×４ブロックのＳＡＤ演算を、拡張前のブロックに対して水平方向に前後１画素ずつ、1/2ピクセル単位で５回のシフト数で実行し、５個のＳＡＤ値（シティブロック距離）を得る。そして、この５個のＳＡＤ値を互いに比較し、最小ＳＡＤ値（シティブロック距離の最小値）をとるシフト値を求める。この最小ＳＡＤ値をとるシフト値は、メイン拡張ブロックとサブ拡張ブロックとの間で1/2ピクセル単位の視差を与えるずれ量であり、ステップＳ１におけるマッチングでサブピクセル成分が０であるとすると、シフト値は２となる。

尚、要求される視差検出精度が1/2ピクセル単位で良い場合には、ステップＳ２の処理で求めたサブピクセル成分とステップＳ１で求めたピクセル視差Ｄとから1/2ピクセル単位の視差を求め、処理を終了するようにしても良い。また、ステップＳ１における元画像の４×４ブロックのＳＡＤ演算に代えて、元画像全体の解像度を拡張した画像（例えば、元画像が５１２×２００ピクセルの場合、１０２４×２００ピクセルに画像全体を拡張）に対して４×４ブロックのＳＡＤ演算を行っても良く、直接、1/2ピクセル単位での視差を求めることができる。

次に、ステップＳ３からステップＳ４へ進み、拡張ブロックのＳＡＤ演算で求めた最小ＳＡＤ値をとるシフト値と、最小ＳＡＤ値の前後のＳＡＤ値を与えるシフト値との３点補間により、拡張ブロックにおけるサブピクセルレベルの視差（サブピクセル視差）を求める。

具体的には、ステップＳ３で求めた最小ＳＡＤ値（シティブロック距離）を中心とするＳＡＤ値（シティブロック距離）に対し、シティブロック距離の分布が極小点周りに対称であることを考慮し、シティブロック距離の極小値が、最小ＳＡＤ値の座標を中心として何れの側に存在するかを調べる。

そして、最小ＳＡＤ値をとる一致点周辺で、この一致点の後でＳＡＤ値が大きく変化するときには、極小点は、最小ＳＡＤ値の座標位置と、1/2ピクセル前の座標位置との間にあると判断し、最小ＳＡＤ値の点と次のＳＡＤ値の点とを通る傾きｍの直線と、1/2ピクセル前の座標位置のＳＡＤ値の点を通る傾き−ｍの直線との交点を極小点の座標として求め、この極小点の座標位置と最小ＳＡＤ値の座標位置との差に基いてサブピクセル視差Ｓが算出される。

逆に、最小ＳＡＤ値をとる一致点の前でＳＡＤ値が大きく変化するときには、極小点は、最小ＳＡＤ値の座標位置と、1/2ピクセル後の座標位置との間にあると判断し、最小ＳＡＤ値の点と前のＳＡＤ値の点とを通る傾きｍの直線と、1/2ピクセル後の座標位置のＳＡＤ値の点を通る傾き−ｍの直線との交点を極小点の座標として求め、この極小点の座標位置と最小ＳＡＤ値の座標位置との差に基いてサブピクセル視差Ｓが算出される。

例えば、図８に示すように、1/2ピクセル単位の各座標（ｉ's−2）,（ｉ's−1）,（ｉ's）,（ｉ's＋1）,（ｉ's＋2）における５個のＳＡＤ値Ｃ'1，Ｃ'2，Ｃ'0，Ｃ'3，Ｃ'4のうち、最小となるＳＡＤ値がＣ'3であり、（Ｃ'0−Ｃ'3）＜（Ｃ'4−Ｃ'3）である場合には、ＳＡＤ値Ｃ'3の点と1/2ピクセル後のＳＡＤ値Ｃ'4の点を通る直線Ｌ'1を求め、1/2ピクセル前のＳＡＤ値Ｃ'0を通って直線Ｌ'1と縦軸に対して線対称となる直線Ｌ'2との交点を求め、この交点のｉ'座標と、最小ＳＡＤ値Ｃ'3の座標（ｉ's＋1）との差からサブピクセル視差Ｓが算出される。

図８の例は、先のピクセル単位のマッチングで最小値として検出されたＳＡＤ値Ｃ0の座標位置ｉsに対応する座標位置i'sでのＳＡＤ値Ｃ'0に対し、解像度拡張処理後のサブピクセル単位のマッチングにより、1/2ピクセル後の座標位置（ｉ's＋1）におけるＳＡＤ値Ｃ'3が最小値として検出された例を示すものである。この例からも明らかなように、ピクセル単位のマッチング後に行う３点補間では、ＳＡＤ値Ｃ'0に該当する点を中心として、図中の破線の直線で示すように、ＳＡＤ値Ｃ'1に該当する点、ＳＡＤ値Ｃ'4に該当する点の３点補間によって極小点を推定することになる。従って、解像度拡張後のマッチングによって得られたデータを用いて３点補間を行うことにより、ピクセル単位でのデータを用いた３点補間に比較し、真の極小点により近い位置を求めることができ、誤差を小さくして近似精度を大幅に向上することができる。

サブピクセル視差Ｓを算出した後は、ステップＳ４からステップ５へ進み、ピクセル視差Ｄとサブピクセル視差Ｓとから、1/2ピクセル単位以下の分解能の視差（Ｄ＋Ｓ）を得る。このような処理を繰り返して画像全体に渡って視差（Ｄ＋Ｓ）を求め、距離画像メモリ４５に格納する。この距離画像メモリ４５に格納された視差（Ｄ＋Ｓ）からは、実空間座標への変換により実空間での距離を求めることができる。

図９は、以上の処理によって算出される視差のばらつきを示すヒストグラムであり、本形態の解像度拡張によるサブピクセル単位のマッチング後の３点補間によって得られた視差の真値に対するばらつき分布が白抜きのヒストグラム値で示されている。このヒストグラムに示すように、本形態の処理によって得られる視差は、図９中に塗りつぶしのヒストグラム値で示す従来のピクセル単位のマッチング後の三点補間に比較し、大幅にばらつきが減少していることがわかる。これは、本形態の処理では、元画像の解像度を拡張していることから、サブピクセル算出のための３点補間の近似性が向上し、また、マッチングピクセル数の増加によって安定性が向上しているためであり、更には、加重平均処理を加えることによるミスマッチングの防止が有効に作用しているためであると考えられる。

以上のように本実施の形態においては、ステレオカメラで撮像した元画像の解像度を、ピクセル間補間と加重平均処理とを併用して拡張し、拡張した画像に対してステレオマッチングを行うことで、マッチング精度を向上して1/2ピクセル単位の視差を精度良く検出することが可能となる。更に、解像度を拡張した画像をステレオマッチングした後、３点補間を行うことにより、1/2ピクセル単位以下の分解能で精度良く視差を求めることができる。

これにより、ピクセル単位でのマッチング領域を大きくして空間分解能の低下を招くことなく、サブピクセルレベルの視差データをノイズやばらつきを低減して信頼性高く得ることができ、距離分解能を向上した緻密な距離画像を得て、より高度な画像認識及び制御に繋げることが可能となる。

次に、本発明の実施の第２形態について説明する。図１０〜図１２は本発明の実施の第２形態に係り、図１０はステレオ画像処理装置の基本構成を示すブロック図、図１１はステレオマッチング及びサブピクセル処理のフローチャート、図１２は視差のばらつきを示すヒストグラムである。

第２形態は、ステレオカメラで撮像した元画像を加重平均処理した後、ステレオマッチングを行うものである。以下、第１形態と同様の機能を有する構成要素については、第１形態と同じ符号を付し、必要に応じて第１形態の説明を援用するものとする。

すなわち、第２形態のステレオ画像処理装置１Ａは、２台１組のカメラから構成されるステレオカメラ１０、このステレオカメラ１０で撮像した一対の画像に対する入力処理を行う画像入力部２０、この画像入力部で処理した画像を元画像としてストアする元画像メモリ２５、元画像の各画素のデータを周辺画素のデータを用いて置き換える画像変換部３０Ａ、一対の画像間の相関度を評価して互いの対応位置を決定するステレオマッチング部３５、ステレオマッチング部３５で決定した対応位置に基づく補間処理により１画素単位以下の分解能を有するサブピクセルレベルの視差を求める補間処理部４０、視差に基づく距離情報を元画像の画像座標と対応付けて二次元的に配置した画像形態（距離画像）としてストアする距離画像メモリ４５、元画像メモリ２５の元画像情報及び距離画像メモリ４５の距離情報を用いて各種認識処理を行う認識処理部５０を備えて構成され、車両の車外状況認識システム、高度道路交通システム（ＩＴＳ）、ロボットビジョン、侵入物監視システム、飛行体の対地高度計測システム等の各種システムに適用される。

画像変換部３０Ａを除く各部の機能は、前述の第１形態と同様であるが、第２形態においては、ステレオカメラ１０で撮像した一対の元画像の各画素のデータを、画像変換部３０Ａで周辺画素のデータを用いて置き換え、画素のデータを置き換えた一対の画像に対して、ステレオマッチング部３５でステレオマッチングを行う。

画像変換部３０Ａによる画素データの置き換えは、第１形態で説明した画像の加重平均処理であり、例えば、（４），（５）式に準じる以下の（６）式に示すように、元画像のｉ番目の画素のデータｐ(i,j)を、自身のデータ及び隣接する周辺の（ｉ−１）番目の画素のデータｐ(i-1,j)、（ｉ＋１）番目の画素のデータｐ(i+1,j)で加重平均した新たなデータｅｘｔ(i,j)で置き換える。
ｅｘｔ(i,j)＝（ｍ１×ｐ(i-1,j)＋ｍ２×ｐ(i,j)
＋ｍ３×ｐ(i+1,j)）／（ｍ１＋ｍ２＋ｍ３）…（６）
但し、ｍ１，ｍ２，ｍ３；加重平均の重み
（例えば、ｍ１＝１，ｍ２＝４，ｍ３＝１）

加重平均処理した画像に対してステレオマッチングを行った後の処理は、第１形態と同様であり、補間処理部４０における３点補間を経て１画素単位以下の分解能を有するサブピクセルレベルの視差が得られる。

以下、画素データの置き換えによるステレオマッチング及びサブピクセル処理について、図１１のフローチャートを用いて説明する。

図１１のフローチャートは、画像変換部３０Ａ，ステレオマッチング部３５，補間処理部４０において、時系列的に実行される（一部は、並行して実行される）処理の流れを示すものであり、先ず、ステップＳ１１で、メイン画像及びサブ画像の双方の元画像に対し、各画素のデータを、自身の画素データと隣接する周辺の画素のデータとで置き換え、上述の加重平均処理を行う。この加重平均処理は、最初に画像全体に渡って行っても良く、或いは、ＳＡＤ計算を行うマッチング領域毎に行っても良い。

次に、ステップＳ１２へ進み、画像平面の左上を原点とする直交座標上で、メインブロックｍａｉｎ(i,j)とサブブロックｓｕｂ(i,j)との１画素単位の通常のステレオマッチングを行う。メイン及びサブの探索ブロックの大きさは、例えば４×４（ｉ＝０〜３，ｊ＝０〜３）であり、メインブロックに対してサブブロックの位置を水平方向に１画素ずつシフトさせながらＳＡＤ演算を行い、シティブロック距離が最小値Ｃ0となる一致点を求めてピクセル単位の視差（ピクセル視差）Ｄを算出する（図２参照）。

次に、ステップＳ１２からステップＳ１３へ進み、ステップＳ１２のＳＡＤ演算で求めた最小ＳＡＤ値をとるシフト値と、最小ＳＡＤ値の前後のＳＡＤ値を与えるシフト値との３点補間により、サブピクセルレベルの視差（サブピクセル視差）Ｓを求める。この３点補間による処理は、第１形態で説明した通りである（図３、図４参照）。

サブピクセル視差Ｓを算出した後は、ステップＳ１３からステップ１４へ進み、ピクセル視差Ｄとサブピクセル視差Ｓとから、１画素単位以下の分解能の視差（Ｄ＋Ｓ）を得る。このような処理を繰り返して画像全体に渡って視差（Ｄ＋Ｓ）を求め、距離画像メモリ４５に格納する。この距離画像メモリ４５に格納された視差（Ｄ＋Ｓ）からは、実空間座標への変換により実空間での距離を求めることができる。

以上の加重平均処理を経てステレオマッチングした後の３点補間による視差は、図１２に示すように、真値に対して、図中に白抜きのヒストグラム値で示すばらつき分布となっている。このヒストグラムから明らかなように、第２形態においては、第１形態に比較すると、元画像の解像度を拡張していないことから、３点補間の近似性向上やマッチングピクセル数の増加による安定化が期待できない分、ばらつきの改善度は小さいものの、図１２中に塗りつぶしのヒストグラム値で示す、元画像を加重平均処理することなくマッチングした後の三点補間によって得られる従来の視差に比較し、良好にばらつきが減少していることが確認できる。

以上のように第２形態においては、ステレオカメラで撮像した元画像をぼかし処理した後にステレオマッチングを行うことで、ミスマッチングを減らしてマッチング精度及び信頼性を高め、ばらつきの低減を図ることができる。しかも、ピクセル単位のマッチングにおいて、いたずらにマッチング領域を拡大して距離分解能を低下させることもなく、補間処理によりサブピクセルレベルの視差データをノイズやばらつきを低減して信頼性高く得ることができ、より高度な画像認識及び制御に繋げることが可能となる。

尚、上述した実施の形態には限定されず、一方のみの画像に対して解像度を拡張し、例えば1/2ピクセルにてマッチング処理を行うことも可能である。

また、一方の画像に対して加重平均処理を行い、他方の画像の解像度を拡張し、マッチングを行うことも可能である。この場合、他方の画像に対して加重平均処理を施しても、施さなくとも良い。

更に、撮像手段としてカラー対応型のカメラを用いた場合において、単色画像を抜きだし、この画像に対して本発明を適用することも可能である。この場合には、カラー対応型のカメラにおいて課題となるマッチングの精度を向上させることができる。

本発明の実施の第１形態に係り、ステレオ画像処理装置の基本構成を示すブロック図 同上、メイン画像とサブ画像とのマッチングを示す説明図 同上、シティブロック距離の分布を示す説明図 同上、ピクセル単位のマッチング後の補間を示す説明図 同上、ステレオマッチング及びサブピクセル処理のフローチャート 同上、メイン画像の解像度拡張を示す説明図 同上、サブ画像の解像度拡張を示す説明図 同上、サブピクセル単位のマッチング後の補間を示す説明図 同上、視差のばらつきを示すヒストグラム 本発明の実施の第２形態に係り、ステレオ画像処理装置の基本構成を示すブロック図 同上、ステレオマッチング及びサブピクセル処理のフローチャート 同上、視差のばらつきを示すヒストグラム

符号の説明

１，１Ａ ステレオ画像処理装置
１０ ステレオカメラ
２０ 画像入力部
２５ 元画像メモリ
３０ 解像度拡張部
３０Ａ 画像変換部
３５ ステレオマッチング部
４０ 補間処理部
代理人 弁理士 伊 藤 進

Claims (6)

1. 互いに相関を有する画像対を用いてステレオマッチングを行うステレオ画像処理装置であって、
   上記画像対の各画素間に、周辺画素のデータを用いて生成した仮想的な画素を挿入し、上記画像対の解像度を拡張する解像度拡張手段と、
   上記解像度拡張手段で解像度を拡張した画像対に対し、拡張した解像度の分解能で互いの対応位置を特定するステレオマッチング手段とを備えたことを特徴とするステレオ画像処理装置。
2. 上記解像度拡張手段は、
   上記仮想的な画素に隣接する画素のデータを、周辺画素のデータを用いて置き換えることを特徴とする請求項１記載のステレオ画像処理装置。
3. 上記ステレオマッチング手段で特定した対応位置の相関度演算値と、この対応位置に隣接する位置の相関度演算値とに基づいて補間処理を行い、拡張した解像度以下の分解能で対応位置を決定する補間手段を備えたことを特徴とする請求項１又は２記載のステレオ画像処理装置。
4. 互いに相関を有する画像対を用いてステレオマッチングを行うステレオ画像処理装置であって、
   上記画像対の各画素のデータを、周辺画素のデータを用いて置き換える画像変換手段と、
   上記画像変換手段で画素のデータを置き換えた画像対に対し、互いの対応位置を特定するステレオマッチング手段とを備えたことを特徴とするステレオ画像処理装置。
5. 上記ステレオマッチング手段で特定した対応位置の相関度演算値と、この対応位置に隣接する位置の相関度演算値とに基づいて補間処理を行い、１画素以下の分解能で対応位置を決定する補間手段を備えたことを特徴とする請求項４記載のステレオ画像処理装置。
6. 互いに相関を有する画像対を用いてステレオマッチングを行うステレオ画像処理装置であって、
   上記画像対のうち、少なくとも一方の画像に対して、各画素のデータを周辺画素のデータを用いて置き換える手段と、
   置き換えられた画素データを用いて、上記画像対における互いの対応位置を特定するステレオマッチング手段とを備えたことを特徴とするステレオ画像処理装置。

Images