JP2009077022A

JP2009077022A - 運転支援システム及び車両

Info

Publication number: JP2009077022A
Application number: JP2007242111A
Authority: JP
Inventors: Nagateru Yo; 長輝楊
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2007-09-19
Filing date: 2007-09-19
Publication date: 2009-04-09

Abstract

【課題】１台のカメラにて、センサを用いることなく画像処理によって立体物領域（障害物領域）を推定する。
【解決手段】車両に設置されたカメラから時刻ｔ１及びｔ２の撮影画像（カメラ画像）を取得し、それらを時刻ｔ１及びｔ２の鳥瞰図画像に変換する。時刻ｔ１の撮影画像から特徴点を抽出すると共に、第１及び第２の撮影画像間における前記特徴点の移動ベクトルを検出し、特徴点と移動ベクトルを鳥瞰図座標上へマッピングすることにより、時刻ｔ１の鳥瞰図画像上の特徴点（３３１、３３２）及び時刻ｔ２の鳥瞰図画像上の特徴点（３４１、３４２）を検出する。時刻ｔ１及びｔ２の鳥瞰図画像間で、特徴点の近傍領域（ＮＲ［ｋ］_t1とＮＲ［ｋ］_t2）の画像を対比して相違度を求め、高い相違度を与える近傍領域を立体物領域として特定する。
【選択図】図９

Description

本発明は、運転支援システムに関する。特に、移動体に取り付けられたカメラの撮影画像から立体物が描画されている立体物領域を推定する技術に関する。また本発明は、その運転支援システムを利用した車両に関する。

路面上の位置する立体物は車両にとって障害物となるが、その立体物を運転者が見落として接触事故が発生することがある。このような接触事故は、特に、運転者の死角領域において良く発生する。このため、運転者の死角となりやすい領域を監視するカメラを車両に搭載し、カメラから得られた画像を運転席付近に配置された表示装置に表示するという手法が提案されている。

また、画像処理技術とセンサを用いて、車両周辺の立体物を検出する手法も開発されている。車両周辺の立体物を検出できれば、その検出結果に応じて、表示装置上で立体物の存在を提示したり警報の出力を行ったりすることができるため有益である。

車両周辺の立体物を検出する手法として、ステレオカメラを用いる手法が提案されている。しかしながら、ステレオカメラは、２つのカメラにて形成されるため、それ自体の使用がコストアップを招く。また、２つのカメラの取り付け位置や取り付け角度を極めて高精度に調整してやる必要があり、導入が煩雑である。

これに鑑み、単眼のカメラにて立体物を検出する手法も提案されている。例えば、下記特許文献１に記載の技術では、車両速度を検出するセンサ及び車両の舵角を検出するセンサから得た車両移動情報と、車両移動前後のカメラの撮影画像と、から立体物（障害物）を検出する。そして、この技術では、撮影画像を鳥瞰図画像に変換し、その鳥瞰図画像に立体物の検出結果を重畳した画像を表示する。この手法によれば、単眼のカメラにて立体物を検出することができるものの、センサから車両移動情報を得る必要があるため、システムの構築が煩雑となり、コスト面においても好ましくない。

特開２００２−３４０３５号公報

そこで本発明は、システムの低廉化及びシステムの構築容易化に寄与する、立体物領域の推定機能を備えた運転支援システムを提供することを目的とする。また、本発明は、それを利用した車両を提供することを目的とする。

上記目的を達成するために本発明に係る運転支援システムは、移動体に取り付けられて前記移動体の周辺を撮影するカメラを備え、前記カメラから時系列で並ぶ第１及び第２のカメラ画像を取得して、各カメラ画像に基づく表示用画像を表示装置に表示させる運転支援システムにおいて、前記第１のカメラ画像から特徴点を抽出するとともに、前記第１と第２のカメラ画像間における前記特徴点の移動ベクトルを検出する移動ベクトル検出手段と、各カメラ画像を所定の鳥瞰図座標上に投影することによって前記第１及び第２のカメラ画像を第１及び第２の鳥瞰図画像に変換するとともに、前記第１のカメラ画像における前記特徴点の位置及び前記移動ベクトルに基づいて前記第１及び第２の鳥瞰図画像上の前記特徴点の各位置を検出する鳥瞰変換手段と、前記第１の鳥瞰図画像内における前記特徴点の近傍領域の画像と、前記第２の鳥瞰図画像内における前記特徴点の近傍領域の画像と、の相違度を検出する相違度検出手段と、前記第１のカメラ画像、前記第２のカメラ画像、前記第１の鳥瞰図画像、又は、前記第２の鳥瞰図画像を推定対象画像として取り扱い、前記推定対象画像中の、立体物が描画されている立体物領域を、前記推定対象画像上の前記特徴点の位置と前記相違度に基づいて推定する立体物領域推定手段と、を備えたことを特徴とする。

これにより、用いるカメラの台数が１台であっても、良好に立体物領域を推定することができる。また、立体物領域の推定を行うに当たり、センサを用いる必要も無い。このため、システムの低廉化及びシステムの構築容易化に寄与する。

具体的には例えば、前記特徴点は、複数の特徴点から成り、前記相違度検出手段は、特徴点ごとに、前記相違度を検出し、前記立体物領域推定手段は、各相違度と所定の基準相違度とを比較して前記基準相違度より高い相違度に対応する特徴点を立体物特徴点として特定し、前記立体物特徴点の位置に基づいて前記立体物領域を推定する。

更に具体的には例えば、前記立体物領域推定手段は、前記推定対象画像中の前記立体物特徴点の近傍領域を候補領域として特定し、前記候補領域の全部または一部を含む領域を前記立体物領域として推定する。

そして例えば、前記候補領域がｎ個存在する場合（ｎは２以上の整数）、前記立体物領域推定手段は、前記ｎ個の候補領域の内の複数の候補領域を結合する処理を実行し、前記立体物領域に前記複数の候補領域と前記複数の候補領域を結合する領域とを含める。

また例えば、前記候補領域がｎ個存在する場合（ｎは２以上の整数）、前記立体物領域推定手段は、前記ｎ個の候補領域の中から一部の候補領域を消去する処理を実行し、前記立体物領域から前記一部の候補領域を除外する。

また例えば、当該運転支援システムは、前記立体物領域を視認可能とするための画像加工処理を前記推定対象画像に施すことによって前記表示用画像を生成する表示用画像生成手段を更に備えている。

また例えば、当該運転支援システムは、前記立体物領域を視認可能とするための画像加工処理を前記推定対象画像に施すことによって前記表示用画像を生成する表示用画像生成手段を更に備え、前記立体物特徴点は、第１及び第２の立体物特徴点を含むｎ個の立体物特徴点から成り（ｎは２以上の整数）、前記立体物領域推定手段は、前記推定対象画像中の前記第１及び第２の立体物特徴点についての各近傍領域を前記立体物領域に含め、前記表示用画像生成手段は、前記第１の立体物特徴点について検出された前記相違度に応じて前記第１の立体物特徴点の前記近傍領域に対する前記画像加工処理の内容を決定し、前記第２の立体物特徴点について検出された前記相違度に応じて前記第２の立体物特徴点の前記近傍領域に対する前記画像加工処理の内容を決定する。

これにより、立体物の高さをも表現した映像をユーザに提供することが可能となる。

また例えば、前記相違度検出手段は、前記第２の鳥瞰図画像内の前記特徴点の位置を中心として前記第２の鳥瞰図画像についての前記近傍領域の画像を複数段階で回転させ、回転ごとに、前記第１の鳥瞰図画像についての前記近傍領域の画像と前記第２の鳥瞰図画像についての回転後の前記近傍領域の画像とを対比して、対比した両画像間の相関を表す相関値を算出し、回転ごとに算出された前記相関値の内の最小の相関値に基づいて前記相違度を検出する。

これにより、移動体が旋回運動を行っていた場合でも、立体物領域を良好に推定できる。

また、本発明に係る車両には、上記の何れかに記載の運転支援システムが設置されている。

本発明によれば、システムの低廉化及びシステムの構築容易化に寄与する、立体物領域の推定機能を備えた運転支援システムを提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第５実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１に、本発明の実施形態に係る運転支援システムの構成ブロック図を示す。図１の運転支援システムは、カメラ１と、画像処理装置２と、表示装置３と、を備える。カメラ１は、撮影を行い、撮影によって得られた画像を表す信号を画像処理装置２に出力する。画像処理装置２は、カメラ１から得た画像より表示用画像を生成する。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。

カメラ１の撮影によって得られた画像そのものは、レンズ歪みの影響を受けていることが多い。従って、画像処理装置２は、カメラ１の撮影によって得られた画像そのものに対してレンズ歪み補正を施し、レンズ歪み補正後の画像に基づいて表示用画像の生成を行う。このレンズ歪み補正後の画像を、以下、撮影画像と呼ぶことにする。レンズ歪み処理が不要である場合には、カメラ１の撮影によって得られた画像そのものが、撮影画像である。尚、撮影画像をカメラ画像と読み替えてもよい。

図２は、図１の運転支援システムが適用される車両１００の外観側面図である。図２に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置される。車両１００は、例えばトラックである。水平面とカメラ１の光軸とのなす角は、図２にθで表される角度と、θ₂で表される角度との２種類がある。角度θ₂は、一般的には、見下ろし角または俯角と呼ばれている。今、角度θを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ＜１８０°且つθ＋θ₂＝１８０°、が成立する。

カメラ１は、車両１００の周辺を撮影する。特に、車両１００の後方側に視野を有するようにカメラ１は車両１００に設置される。カメラ１の視野には、車両１００の後方側に位置する路面が含まれる。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。また、本実施形態において、地面と路面は同義である。

カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。

［鳥瞰図画像の生成方法］
画像処理装置２は、座標変換を用いてカメラ１の撮影画像から鳥瞰図画像を生成する。撮影画像から鳥瞰図画像を生成するための座標変換を「鳥瞰変換」と呼ぶ。この鳥瞰変換の手法について説明する。以下に示す、鳥瞰図画像を生成するための座標変換は、一般に透視投影変換と呼ばれる。

図３は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系Ｘ_buＹ_buと、２次元地面座標系Ｘ_wＺ_wを含む世界座標系Ｘ_wＹ_wＺ_wとの関係を示している。座標系Ｘ_buＹ_buは、撮影画像が定義される座標系である。

カメラ座標系ＸＹＺは、Ｘ軸、Ｙ軸及びＺ軸を座標軸とする三次元の座標系である。撮像面Ｓの座標系Ｘ_buＹ_buは、Ｘ_bu軸及びＹ_bu軸を座標軸とする二次元の座標系である。２次元地面座標系Ｘ_wＺ_wは、Ｘ_w軸及びＺ_w軸を座標軸とする二次元の座標系である。世界座標系Ｘ_wＹ_wＺ_wは、Ｘ_w軸、Ｙ_w軸及びＺ_w軸を座標軸とする三次元の座標系である。

以下、カメラ座標系ＸＹＺ、撮像面Ｓの座標系Ｘ_buＹ_bu、２次元地面座標系Ｘ_wＺ_w及び世界座標系Ｘ_wＹ_wＺ_wを、夫々、単にカメラ座標系、撮像面Ｓの座標系、２次元地面座標系及び世界座標系と略記することがある。

カメラ座標系ＸＹＺでは、カメラ１の光学中心を原点Ｏとして、光軸方向にＺ軸がとられ、Ｚ軸に直交しかつ地面に平行な方向にＸ軸がとられ、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系Ｘ_buＹ_buでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸ_bu軸がとられ、撮像面Ｓの縦方向にＹ_bu軸がとられている。

世界座標系Ｘ_wＹ_wＺ_wでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏ_wとし、地面と垂直な方向にＹ_w軸がとられ、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸ_w軸がとられ、Ｘ_w軸およびＹ_w軸に直交する方向にＺ_w軸がとられている。

Ｘ_w軸とＸ軸との間の平行移動量はｈであり、その平行移動の方向は鉛直線方向である。Ｚ_w軸とＺ軸との成す鈍角の角度は、傾き角度θと一致する。ｈ及びθの値は予め設定され、画像処理装置２に与えられる。

カメラ座標系ＸＹＺにおける画素の座標値を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。
世界座標系Ｘ_wＹ_wＺ_wにおける画素の座標値を（ｘ_w，ｙ_w，ｚ_w）と表記する。ｘ_w、ｙ_w及びｚ_wは、夫々、世界座標系Ｘ_wＹ_wＺ_wにおける、Ｘ_w軸成分、Ｙ_w軸成分及びＺ_w軸成分である。
二次元地面座標系Ｘ_wＺ_wにおける画素の座標値を（ｘ_w，ｚ_w）と表記する。ｘ_w及びｚ_wは、夫々、二次元地面座標系Ｘ_wＺ_wにおける、Ｘ_W軸成分及びＺ_W軸成分であり、それらは世界座標系Ｘ_wＹ_wＺ_wにおけるＸ_W軸成分及びＺ_W軸成分と一致する。
撮像面Ｓの座標系Ｘ_buＹ_buにおける画素の座標値を（ｘ_bu，ｙ_bu）と表記する。ｘ_bu及びｙ_buは、夫々、撮像面Ｓの座標系Ｘ_buＹ_buにおける、Ｘ_bu軸成分及びＹ_bu軸成分である。

カメラ座標系ＸＹＺの座標値（ｘ，ｙ，ｚ）と世界座標系Ｘ_wＹ_wＺ_wの座標値（ｘ_w，ｙ_w，ｚ_w）との間の変換式は、次式（１）で表される。

ここで、カメラ１の焦点距離をｆとする。そうすると、撮像面Ｓの座標系Ｘ_buＹ_buの座標値（ｘ_bu，ｙ_bu）と、カメラ座標系ＸＹＺの座標値（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。

上記式（１）及び（２）から、撮像面Ｓの座標系Ｘ_buＹ_buの座標値（ｘ_bu，ｙ_bu）と二次元地面座標系Ｘ_wＺ_wの座標値（ｘ_w，ｚ_w）との間の変換式（３）が得られる。

また、図３には示されていないが、鳥瞰図画像についての座標系である鳥瞰図座標系Ｘ_auＹ_auを定義する。鳥瞰図座標系Ｘ_auＹ_auは、Ｘ_au軸及びＹ_au軸を座標軸とする二次元の座標系である。鳥瞰図座標系Ｘ_auＹ_auにおける画素の座標値を（ｘ_au，ｙ_au）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標値（ｘ_au，ｙ_au）によって表される。ｘ_au及びｙ_auは、それぞれ鳥瞰図座標系Ｘ_auＹ_auにおけるＸ_au軸成分及びＹ_au軸成分である。

鳥瞰図画像は、実際のカメラ１の撮影を介して得られた撮影画像を仮想カメラの視点（以下、仮想視点という）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。

地面と一致する、二次元地面座標系Ｘ_wＺ_wが定義される平面は、鳥瞰図座標系Ｘ_auＹ_auが定義される平面と平行である。従って、二次元地面座標系Ｘ_wＺ_wから仮想カメラの鳥瞰図座標系Ｘ_auＹ_auへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元地面座標系Ｘ_wＺ_wの座標値（ｘ_w，ｚ_w）と鳥瞰図座標系Ｘ_auＹ_auの座標値（ｘ_au，ｙ_au）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。

得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。

上記式（６）から、撮像面Ｓの座標系Ｘ_buＹ_buの座標値（ｘ_bu，ｙ_bu）を、鳥瞰図座標系Ｘ_auＹ_auの座標値（ｘ_au，ｙ_au）に変換するための次式（７）が得られる。

撮像面Ｓの座標系Ｘ_buＹ_buの座標値（ｘ_bu，ｙ_bu）は、撮影画像における座標値を表すため、上記式（７）を用いることによって撮影画像を鳥瞰図画像に変換することができる。

即ち、式（７）に従って、撮影画像の各画素の座標値（ｘ_bu，ｙ_bu）を鳥瞰図座標系の座標値（ｘ_au，ｙ_au）に変換することにより、鳥瞰図画像を生成することができる。鳥瞰図画像は、鳥瞰図座標系に配列された各画素から形成される。

実際には、式（７）に従って、撮影画像上の各画素の座標値（ｘ_bu，ｙ_bu）と鳥瞰図画像上の各画素の座標値（ｘ_au，ｙ_au）との対応関係を示すテーブルデータを作成しておき、これを図示されないメモリ（ルックアップテーブル）に予め格納しておく。そして、このテーブルデータを用いて撮影画像を鳥瞰図画像に変換するようにする。勿論、撮影画像が得られる度に式（７）に基づく座標変換演算を行って鳥瞰図画像を生成するようにしても構わない。

以下に、図１の運転支援システムの動作内容又は構成を詳細に説明する実施例として、第１〜第５実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用される。尚、以下の説明では、鳥瞰図座標系を、単に鳥瞰図座標と呼ぶこともあるが、両者は同義である。

＜＜第１実施例＞＞
まず、第１実施例について説明する。図１の画像処理装置２は、カメラ１から所定の周期にて撮影画像を取り込み、順次得られる撮影画像から表示用画像を順次生成して、最新の表示用画像を表示装置３に対して出力する。これにより、表示装置３には、最新の表示用画像が更新表示される。

画像処理装置２は、画像内における立体物領域を推定する機能を備える。立体物領域とは、立体物が描画されている領域を意味する。立体物とは、人物などの高さのある物体である。地面を形成する路面などは、高さがないため立体物ではない。立体物は、車両１００の走行にとっての障害物となる。

鳥瞰変換では、鳥瞰図画像が地表面において連続性を有するように座標変換が行われる。従って、同一の立体物を互いに異なる２つの視点で撮影して２つの鳥瞰図画像を得た場合、原理上、両鳥瞰図画像間において、路面の画像は一致するが立体物の画像は一致しない（例えば、特開２００６−２６８０７６号公報参照）。本実施例では、この特性を利用して、立体物領域を推定する。

図４を参照して、立体物領域の推定手法を説明する。図４は、この推定の手順を表すフローチャートである。図４に示すステップＳ１１〜Ｓ２５の各処理は、図１の画像処理装置２にて実行される。

立体物領域を推定するためには、異なる時刻で撮影された複数の撮影画像が必要である。そこで、画像処理装置２は、異なる時刻に撮影された複数の撮影画像を取り込み、この複数の撮影画像を後段の処理にて参照する（ステップＳ１１）。取り込んだ複数の撮影画像が、時刻ｔ１の撮影によって得られた撮影画像（以下、単に、時刻ｔ１の撮影画像ともいう）と、時刻ｔ２の撮影によって得られた撮影画像（以下、単に、時刻ｔ２の撮影画像ともいう）と、を含むものとする。時刻ｔ１の後に時刻ｔ２が訪れるものとする。また、時刻ｔ１−ｔ２間において、車両１００が移動しているものとする。従って、時刻ｔ１におけるカメラ１の視点と時刻ｔ２におけるカメラ１の視点は異なる。

今、図５（ａ）に示す画像２１０が時刻ｔ１の撮影画像として取得され、図５（ｂ）に示す画像２２０が時刻ｔ２の撮影画像として取得されたものとする。時刻ｔ１及びｔ２において、カメラ１の視野には、路面上に互いに平行に描かれた第１及び第２の白線と、第１及び第２の白線間に位置する直方体状の立体物αと、が含まれていたとする。図５（ａ）において、斜線で埋められた線分２１１及び２１２は画像２１０内における第１及び第２の白線であり、図５（ｂ）において、斜線で埋められた線分２２１及び２２２は画像２２０内における第１及び第２の白線である。図５（ａ）において、画像上の立体物２１３は画像２１０内における立体物αであり、図５（ｂ）において、画像上の立体物２２３は画像２２０内における立体物αである。

時刻ｔ１及びｔ２の撮影画像を取得した後、ステップＳ１２において、時刻ｔ１の撮影画像から特徴点が抽出される。特徴点とは、周囲の点と区別できる、追跡の容易な点のことである。このような特徴点は、水平及び垂直方向における濃淡変化量が大きくなる画素を検出する、周知の特徴点抽出器（不図示）を用いて自動的に抽出することができる。特徴点抽出器とは、例えば、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器である。抽出されるべき特徴点は、例えば、路面上に描かれた白線の交点又は端点や、路面上の汚れ又は亀裂、立体物の端部や汚れなどを想定している。

ステップＳ１２に続くステップＳ１３において、時刻ｔ１の撮影画像と時刻ｔ２の撮影画像を対比し、公知のブロックマッチング法や勾配法を用いて、時刻ｔ１−ｔ２間における撮影画像の座標上のオプティカルフローを求める。オプティカルフローは複数の移動ベクトルの集まりであり、ステップＳ１３で求められるオプティカルフローには、ステップＳ１２にて抽出された特徴点の移動ベクトルも含まれている。２つの画像間における着目した特徴点の移動ベクトルは、その２つの画像間における該特徴点の移動の向き及び大きさを表す。尚、移動ベクトルは、動きベクトルと同義である。

ステップＳ１２において複数の特徴点が抽出され、ステップＳ１３において複数の特徴点の夫々の移動ベクトルが求められるが、今、説明の具体化のため、その複数の特徴点に含まれる２つの特徴点について注目する。この２つの特徴点は、第１及び第２の特徴点から成る。

図６に、時刻ｔ１の撮影画像から抽出された第１及び第２の特徴点を、時刻ｔ１の撮影画像に重畳して示す。図６において、点２３１及び２３２は、時刻ｔ１の撮影画像から抽出された第１及び第２の特徴点を表している。第１の特徴点は第１の白線の端点であり、第２の特徴点は立体物αの上面に位置する立体物αの端点である。図６に示す時刻ｔ１の撮影画像には、第１の特徴点の移動ベクトルＶ_A1及び第２の特徴点の移動ベクトルＶ_A2も示されている。移動ベクトルＶ_A1の始点は点２３１に合致し、移動ベクトルＶ_A2の始点は点２３２に合致する。

ステップＳ１３に続くステップＳ１４では、ステップＳ１１にて取り込んだ各撮影画像を、上記式（７）に従って鳥瞰図画像に変換する。時刻ｔ１及びｔ２の撮影画像に基づく鳥瞰図画像を、夫々、時刻ｔ１及びｔ２の鳥瞰図画像と呼ぶ。図７（ａ）及び（ｂ）に示される画像３１０及び３２０は、夫々、図５（ａ）及び（ｂ）の画像２１０及び２２０に基づく、時刻ｔ１及びｔ２の鳥瞰図画像を表す。図７（ａ）において、斜線で埋められた線分３１１及び３１２は画像３１０内における第１及び第２の白線であり、図７（ｂ）において、斜線で埋められた線分３２１及び３２２は画像３２０内における第１及び第２の白線である。図７（ａ）において、画像上の立体物３１３は画像３１０内における立体物αであり、図７（ｂ）において、画像上の立体物３２３は画像３２０内における立体物αである。

ステップＳ１４に続くステップＳ１５では、ステップＳ１２において時刻ｔ１の撮影画像から抽出された特徴点と、ステップＳ１３にて算出された移動ベクトルと、を鳥瞰図座標上にマッピングする（換言すれば、投影する）。図８は、時刻ｔ１及びｔ２の鳥瞰図画像を重ね合わせた画像３３０に、マッピングされた特徴点及び移動ベクトルを重畳して示した図である。但し、図８では、図示の煩雑化防止のため、時刻ｔ２の鳥瞰図画像における第１及び第２の白線を点線で示し、時刻ｔ２の鳥瞰図画像における立体物αの外形を破線で示している。

図８において、点３３１及び３３２は、夫々、鳥瞰図座標上にマッピングされた、時刻ｔ１における第１及び第２の特徴点である。図８において、ベクトルＶ_B1及びＶ_B2は、夫々、鳥瞰図座標上にマッピングされた、第１及び第２の特徴点の移動ベクトルである。移動ベクトルＶ_B1の始点は点３３１に合致し、移動ベクトルＶ_B2の始点は点３３２に合致する。点３４１及び３４２は、夫々、移動ベクトルＶ_B1及びＶ_B2の終点を表している。

撮影画像上の着目点の座標値を（ｘ_bu，ｙ_bu）で表し且つ該着目点の鳥瞰図座標上の座標値を（ｘ_au，ｙ_au）で表した場合、両座標値の関係は、上記の式（７）によって表される。従って、ステップＳ１５では、時刻ｔ１の撮影画像における第１及び第２の特徴点の座標値（ｘ_bu，ｙ_bu）を式（７）に従って鳥瞰図座標上の座標値（ｘ_au，ｙ_au）に変換するとともに、ステップＳ１３にて求められた各移動ベクトルの始点及び終点の座標値（ｘ_bu，ｙ_bu）を式（７）に従って鳥瞰図座標上の座標値（ｘ_au，ｙ_au）に座標変換することにより鳥瞰図座標上の各移動ベクトルを求める。この際、移動ベクトルの始点の座標値を、対応する特徴点の座標値と一致させておく。

そして、続くステップＳ１６では、マッピングの結果に基づいて、時刻ｔ１の鳥瞰図画像上における各特徴点の位置と、時刻ｔ２の鳥瞰図画像上における各特徴点の位置と、を求める。つまり、鳥瞰図座標上に定義された図８の画像３３０上における、点３３１、３３２、３４１及び３４２の座標値（ｘ_au，ｙ_au）を求める。点３３１及び３３２の座標値は、夫々、時刻ｔ１の鳥瞰図画像上における第１及び第２の特徴点の位置を表し、点３４１及び３４２の座標値は、夫々、時刻ｔ２の鳥瞰図画像上における第１及び第２の特徴点の位置を表す。

尚、点３３１、３３２、３４１及び３４２の座標値（ｘ_au，ｙ_au）を求めるために必要な情報は、撮影画像の座標上における移動ベクトルＶ_A1の始点（即ち、図６の点２３１）及び終点の座標値及び移動ベクトルＶ_A2の始点（即ち、図６の点２３２）及び終点の座標値である。従って、鳥瞰図座標上の移動ベクトルの導出は必須ではない。つまり、ステップＳ１３にて移動ベクトルＶ_A1及びＶ_A2を求めた後、移動ベクトルＶ_A1及びＶ_A2の終点の座標値を求め、撮影画像の座標上における移動ベクトルＶ_A1及びＶ_A2の始点及び終点の各座標値を式（７）に従って鳥瞰図座標上の座標値に変換すれば、ステップＳ１６にて導出されるべき点３３１、３３２、３４１及び３４２の座標値（ｘ_au，ｙ_au）は求まる。

この後、ステップＳ１７において、時刻ｔ１及びｔ２の鳥瞰図画像から、各特徴点の近傍領域内の画像が抽出される。この抽出の様子を、図９（ａ）及び（ｂ）を参照して説明する。図９（ａ）では、時刻ｔ１の鳥瞰図画像３１０に点３３１及び３３２が重畳して示されており、図９（ｂ）では、時刻ｔ２の鳥瞰図画像３２０に点３４１及び３４２が重畳して示されている。画像処理装置２は、画像３１０内に、第１の特徴点の近傍領域ＮＲ［１］_t1及び第２の特徴点の近傍領域ＮＲ［２］_t1を定義し、画像３２０内に、第１の特徴点の近傍領域ＮＲ［１］_t2及び第２の特徴点の近傍領域ＮＲ［２］_t2を定義する。各近傍領域は、所定の画像サイズを有する矩形領域であり、近傍領域ＮＲ［１］_t1、ＮＲ［２］_t1、ＮＲ［１］_t2及びＮＲ［２］_t2の中心位置は、夫々、点３３１、３３２、３４１及び３４２の位置に合致する。

ステップＳ１７に続くステップＳ１８以降において、特徴点ごとに、時刻ｔ１及びｔ２の鳥瞰図画像間で近傍領域内の画像を対比して、対比した画像間の相違度を求める。そして、比較的高い相違度を与える特徴点は立体物に属する特徴点であると判断する一方、比較的低い相違度を与える特徴点は地面に属する特徴点であると判断し、この判断結果を利用して立体物領域を特定する。

ステップＳ１８以降の各処理について具体的に説明する。まず、ステップＳ１８では、特徴点の番号を表す変数としてｋが定義され、変数ｋに初期値１が代入される。ステップＳ１８の後段の処理において、ｋ＝１の時は第１の特徴点に対する処理が実施され、ｋ＝２の時は第２の特徴点に対する処理が実施される。第１及び第２の特徴点の他に、第３、第４、・・・の特徴点が存在する場合も同様である。

ステップＳ１８の処理の後、ステップＳ１９に移行する。ステップＳ１９では、時刻ｔ１の鳥瞰図画像内における第ｋの特徴点の近傍領域の画像と、時刻ｔ２の鳥瞰図画像内における第ｋの特徴点の近傍領域の画像とを対比し、対比した画像間の相違度ＤＤ［ｋ］を算出する。従って、ｋ＝１の時は、近傍領域ＮＲ［１］_t1及びＮＲ［１］_t2内の画像が対比されて両画像間の相違度ＤＤ［１］が算出され、ｋ＝２の時は、近傍領域ＮＲ［２］_t1及びＮＲ［２］_t2内の画像が対比されて両画像間の相違度ＤＤ［２］が算出される。

着目した２つの画像間の相違度ＤＤ［ｋ］は、その２つの画像が互いに相違すればするほど大きな値をとり、その２つの画像が完全に一致している場合は、ゼロとなる。

ステップＳ１９にて相違度ＤＤ［ｋ］が算出された後、ステップＳ２０において、相違度ＤＤ［ｋ］を所定の閾値ＤＤ_THと比較する。ここで、ＤＤ_TH＞０、である。そして、不等式「ＤＤ［ｋ］＞ＤＤ_TH」が成立する場合はステップＳ２１に移行して、第ｋの特徴点を立体物に属する特徴点に分類した後、ステップＳ２３に移行する。一方、不等式「ＤＤ［ｋ］＞ＤＤ_TH」が成立しない場合はステップＳ２２に移行して、第ｋの特徴点を地面に属する特徴点に分類した後、ステップＳ２３に移行する。立体物に属する特徴点に分類された特徴点を立体物特徴点と呼び、地面に属する特徴点に分類された特徴点を地面特徴点と呼ぶ。

第１の特徴点は路面上の特徴点であるので、第１の特徴点の近傍領域にも路面が存在する確率が高い。このため、相違度ＤＤ［１］は低くなり、結果、第１の特徴点は地面特徴点に分類されやすくなる。第２の特徴点は立体物に属する特徴点であるので、第２の特徴点の近傍領域も立体物に属する確率が高い。このため、相違度ＤＤ［２］は高くなり、結果、第２の特徴点は立体物特徴点に分類されやすくなる。

ステップＳ２３では、全ての特徴点に対してステップＳ１９〜Ｓ２２から成る分類処理を実行したか否かを判断する。全ての特徴点に対して分類処理を実行していない場合は、ステップＳ２４にて変数ｋに１を加算した後、ステップＳ１９に戻る。全ての特徴点に対して分類処理を実行した場合は、ステップＳ２５に移行する。例えば、ステップＳ１２にて抽出された特徴点が第１及び第２の特徴点のみである場合は、ｋ＝２の状態でステップＳ２３に至るとステップＳ２５に移行する。

ステップＳ２５では、立体物特徴点の位置に基づいて立体物領域を特定する。具体的には例えば、立体物特徴点の近傍領域を合成した領域を立体物領域として特定する。但し、立体物特徴点が１つしか存在しない場合は、その１つの立体物特徴点の近傍領域そのものが立体物領域として特定される。例えば、第２の特徴点のみが立体物特徴点である場合は、近傍領域ＮＲ［２］_t1が時刻ｔ１の鳥瞰図画像上における立体物領域として特定され、近傍領域ＮＲ［２］_t2が時刻ｔ２の鳥瞰図画像上における立体物領域として特定される（図９（ａ）及び（ｂ）参照）。

また、撮影画像から鳥瞰図画像に変換する座標変換の逆変換を用いて撮影画像上の立体物領域を推定するようにしてもよい。つまり、時刻ｔ１の鳥瞰図画像上における立体物領域内の各画素の座標値に上記逆変換を施すことによって、時刻ｔ１の撮影画像上における立体物領域を特定してもよい。同様に、時刻ｔ２の鳥瞰図画像上における立体物領域内の各画素の座標値に上記逆変換を施すことによって、時刻ｔ２の撮影画像上における立体物領域を特定してもよい。第２の特徴点のみが立体物特徴点である場合、近傍領域ＮＲ［２］_t1及びＮＲ［２］_t2は、夫々、時刻ｔ１及びｔ２の撮影画像上における立体物領域を、式（７）に従って鳥瞰図座標上に投影した領域と合致する。

説明の簡略化を目的として２つの特徴点に着目したため、立体物領域が極めて低い分解能で推定されるが、通常は、多数の特徴点が時刻ｔ１の撮影画像から抽出され、立体物領域がより高い分解能で推定される。具体的には例えば、図１０に示す如く、時刻ｔ２の鳥瞰図画像上における立体物αを囲む領域３５０が、時刻ｔ２の鳥瞰図画像上における立体物領域として推定される。多数の特徴点に基づく立体物領域の推定手法例については、後述の他の実施例において詳説する。

ステップＳ２５にて立体物領域が特定されると、その特定結果に応じた表示用画像が生成され、その表示用画像は図１の表示装置３にて表示される。この表示用画像は、典型的には例えば、表示装置３上で立体物領域を視認可能とするための画像加工処理を時刻ｔ２の鳥瞰図画像に施した画像である。つまり例えば、図１０に示すような、時刻ｔ２の鳥瞰図画像３２０に立体物領域３５０を囲むラインを重畳した画像を表示用画像とする。或いは、立体物領域内の色を他の領域と区別可能なように変更するという画像加工処理を時刻ｔ２の鳥瞰図画像３２０に施すことによって表示用画像を生成しても良い。

尚、時刻ｔ１の鳥瞰図画像上における立体物領域を視認可能とするための画像加工処理を時刻ｔ１の鳥瞰図画像に施し、これによって得られた画像を表示用画像として表示するようにしてもよい。また、時刻ｔ１の撮影画像上における立体物領域を視認可能とするための画像加工処理を時刻ｔ１の撮影画像に施し、又は、時刻ｔ２の撮影画像上における立体物領域を視認可能とするための画像加工処理を時刻ｔ２の撮影画像に施し、これによって得られた画像を表示用画像として表示することも可能である。

上述のようにして得られた表示用画像を表示装置３に表示することにより、映像によって立体物（障害物）を認知可能となり、運転の安全性向上が図られる。本実施例によれば、１台のカメラにて良好に立体物領域を推定することができる。また、車両移動情報をセンサから得る必要もないため、運転支援システムを安価に且つ容易に構築できる。

次に、図４のステップＳ１９にて実行される相違度の算出法の具体例を説明する。以下に、相違度の算出法の具体例として、第１及び第２の相違度算出法を例示する。

［第１の相違度算出法］
第１の相違度算出法では、テンプレートマッチング法においてＳＡＤ又はＳＳＤを算出するのと同様に、対比する画像間でＳＡＤ（Sum of Absolute Difference）又はＳＳＤ（Sum of Square Difference）を算出することによって相違度を算出する。

或る第ｋの特徴点に着目し、近傍領域ＮＲ［ｋ］_t1と近傍領域ＮＲ［ｋ］_t2との間でＳＡＤ又はＳＳＤを算出し、これによって相違度ＤＤ［ｋ］を算出する方法を説明する（図９（ａ）及び（ｂ）参照）。算出されたＳＡＤの値をＲ_SADで表し、算出されたＳＳＤの値をＲ_SSDで表す。

図１１（ａ）及び（ｂ）に、夫々、近傍領域ＮＲ［ｋ］_t1及びＮＲ［ｋ］_t2の拡大図を示す。近傍領域ＮＲ［ｋ］_t1を形成する画素の内、時刻ｔ１の鳥瞰図画像の原点に最も近い画素をＩ（０，０）で表し、近傍領域ＮＲ［ｋ］_t2を形成する画素の内、時刻ｔ２の鳥瞰図画像の原点に最も近い画素をＴ（０，０）で表す。時刻ｔ１及びｔ２の鳥瞰図画像の原点の位置は、鳥瞰図座標上において同じであり、それらは、図９（ａ）及び（ｂ）に示す画像３１０及び３２０の夫々の左上隅に対応する。

各近傍領域の水平方向の画素数をＭとし、各近傍領域の垂直方向の画素数をＮとする（Ｍ及びＮは、２以上の整数）。近傍領域ＮＲ［ｋ］_t1を形成する各画素はＩ（ｉ，ｊ）にて表され、近傍領域ＮＲ［ｋ］_t2を形成する各画素はＴ（ｉ，ｊ）にて表される（但し、ｉ及びｊは、０≦ｉ≦Ｍ−１且つ０≦ｊ≦Ｎ−１、を満たす整数）。そして、画素Ｉ（ｉ，ｊ）における画素値をＩ_V（ｉ，ｊ）にて表し、画素Ｔ（ｉ，ｊ）における画素値をＴ_V（ｉ，ｊ）にて表す。そうすると、Ｒ_SADは下記式（８）に従って算出され、Ｒ_SSDは下記式（９）に従って算出される。尚、画素値とは着目した画素の画素信号の値である。或る画素についての画素値は、その画素の輝度、もしくは、色、または、輝度及び色の双方を表す。

第１の相違度算出法を採用する場合、Ｒ_SAD又はＲ_SSDを、図４のステップＳ１９にて算出されるべき相違度とする。ｋ＝１の場合は、近傍領域ＮＲ［１］_t1及びＮＲ［１］_t2の画素値に基づくＲ_SAD又はＲ_SSDを相違度ＤＤ［１］とし、ｋ＝２の場合は、近傍領域ＮＲ［２］_t1及びＮＲ［２］_t2の画素値に基づくＲ_SAD又はＲ_SSDを相違度ＤＤ［２］とする。

［第２の相違度算出法］
次に、第２の相違度算出法を説明する。第２の相違度算出法では、対比する２つの画像についてのヒストグラムを作成し、２つの画像間でヒストグラムを比較することによって相違度を算出する。

或る第ｋの特徴点に着目し、近傍領域ＮＲ［ｋ］_t1と近傍領域ＮＲ［ｋ］_t2との間における相違度を算出する場合を説明する（図９（ａ）及び（ｂ）参照）。ヒストグラムに基づいて算出された相違度をεで表す。また、各画素の画素値は、８ビットのデジタル値として表現され、０〜２５５の範囲内の整数値をとるものとする。ヒストグラムを作成するに当たり、各画素は、画素値に応じて第０、第１、第２、・・・、第（Ｑ−１）及び第Ｑの区分の何れに属するかが判断される（Ｑは、１≦Ｑ≦２５５、を満たす整数）。例えば、Ｑ＝２５５とする場合、画素値ｑを有する画素は第ｑの区分に属することとなる（ｑは、０≦ｑ≦Ｑ、を満たす整数）。図１２（ａ）は、近傍領域ＮＲ［ｋ］_t1の画素値のヒストグラムｈ_t1を表し、図１２（ｂ）は、近傍領域ＮＲ［ｋ］_t2の画素値のヒストグラムｈ_t2を表している。

近傍領域ＮＲ［ｋ］_t1を形成する画素の内、第ｑの区分に属する画素の数をｈ_t1（ｑ）で表し、近傍領域ＮＲ［ｋ］_t2を形成する画素の内、第ｑの区分に属する画素の数をｈ_t2（ｑ）で表す。そうすると、ヒストグラムに基づく相違度εは、下記式（１０）に従って算出される。

第２の相違度算出法を採用する場合、εを、図４のステップＳ１９にて算出されるべき相違度とする。ｋ＝１の場合は、近傍領域ＮＲ［１］_t1及びＮＲ［１］_t2の画素値に基づくεを相違度ＤＤ［１］とし、ｋ＝２の場合は、近傍領域ＮＲ［２］_t1及びＮＲ［２］_t2の画素値に基づくεを相違度ＤＤ［２］とする。

尚、画素値のヒストグラムを作成して該ヒストグラムに基づいて相違度を算出すると述べたが、相違度を算出するために作成するヒストグラムは、輝度ヒストグラムであっても、色ヒストグラムであってもよい。

＜＜第２実施例＞＞
上述の第１実施例では、２つの特徴点が時刻ｔ１の撮影画像から抽出されると共に図４のステップＳ２１にて立体物特徴点に分類される特徴点の個数が１つである場合を主に取り扱ったが、通常は、多数の特徴点が時刻ｔ１の撮影画像から抽出され、立体物領域がより高い分解能で推定される。この多数の特徴点に基づく立体物領域の推定手法例を、第２実施例として説明する。第２実施例は、第１実施例と組み合わせて実施される。第１実施例に記載された事項は、矛盾なき限り、第２実施例にも適用される。

第１実施例と同様、図４のステップＳ１１〜Ｓ２４の処理が実行され、ステップＳ２３にて全ての特徴点に対して分類処理を実行したと判断された場合にステップＳ２３からステップＳ２５に移行する。以下、ステップＳ２５にて実行される処理の内容について説明する。

図１３は、ステップＳ２５において立体物領域が特定されるべき画像４００を表している。画像４００は、時刻ｔ２の鳥瞰図画像である。尚、図示及び説明の便宜上、第２実施例において取り扱う時刻ｔ２の鳥瞰図画像と、第１実施例におけるそれとは、異なっている。第２実施例において、時刻ｔ１及びｔ２におけるカメラ１の視野には直方体状の立体物が存在しており、符号４０１は、画像４００上の立体物である。尚、立体物領域が特定されるべき画像４００は、時刻ｔ１の撮影画像、時刻ｔ２の撮影画像、または、時刻ｔ１の鳥瞰図画像であってもよい。

第２実施例では、図４のステップＳ１２にて多数の特徴点が時刻ｔ１の撮影画像から抽出された場合を想定する。特徴点は水平方向及び垂直方向にある程度の間隔をおいて時刻ｔ１の撮影画像から抽出され、複数の特徴点がステップＳ２１において立体物特徴点に分類されたとする。

図１４は、図１３の画像４００に、立体物特徴点に分類された第１〜第９の特徴点４１１〜４１９を重畳して示した図である。図４のステップＳ１９において、時刻ｔ１の鳥瞰図画像内における第ｋの特徴点の近傍領域の画像と、時刻ｔ２の鳥瞰図画像内における第ｋの特徴点の近傍領域の画像と、が対比されて相違度ＤＤ［ｋ］が算出される（ここで、ｋは自然数）。そして、相違度ＤＤ［ｋ］に基づいて、第１〜第９の特徴点４１１〜４１９が立体物特徴点に分類され、それ以外の特徴点（第１０の特徴点など）が地面特徴点に分類されたとする。

符号ＮＲ₁〜ＮＲ₉が付された破線矩形領域は、夫々、画像４００における特徴点４１１〜４１９の近傍領域を表している。第１実施例で述べたように、各近傍領域は所定の画像サイズを有する矩形領域であり、画像４００において、近傍領域ＮＲ₁〜ＮＲ₉の中心位置はそれぞれ特徴点４１１〜４１９の位置に合致する。

本実施例において、画像処理装置２は、立体物特徴点に分類された特徴点４１１〜４１９の近傍領域ＮＲ₁〜ＮＲ₉の夫々を、一旦、候補領域として特定する。候補領域は、立体物領域を形成する領域の候補である。そして、特定された候補領域に対して結合処理及び／又は消去処理を行うことによって、最終的に立体物領域を特定する。

結合処理と消去処理は、着目した候補領域の周辺に他の候補領域が存在するか否かに基づいて実行される。

基本的には、着目した候補領域の近くに他の候補領域が存在する場合に両候補領域は結合される。結合される２つの候補領域を第１及び第２候補領域と呼んだ場合、第１及び第２の候補領域と、第１と第２の候補領域を結合する領域と、が立体物領域に含められる。
図１５（ａ）に示す如く第１と第２の候補領域が水平方向に並んでいる場合、第１と第２の候補領域を結合する領域とは、第１と第２の候補領域の双方に隣接し且つ第１と第２の候補領域の間に存在する領域（図１５（ａ）の領域４３０）である。第１と第２の候補領域が垂直方向に並んでいる場合も同様である。図１５（ｂ）に示す如く第２の候補領域が第１の候補領域の斜め方向に位置する場合、第１と第２の候補領域を結合する領域とは、第１の候補領域と垂直方向に隣接し且つ第２の候補領域と水平方向に隣接する領域（図１５（ｂ）の領域４３１）、及び、第１の候補領域と水平方向に隣接し且つ第２の候補領域と垂直方向に隣接する領域（図１５（ｂ）の領域４３２）である。

一方、着目した候補領域の近くに他の候補領域が存在しない場合、その着目した候補領域は消去される（即ち、着目した候補領域は、立体物領域から除外される）。

実際には例えば、図１６（ａ）に示す如く、着目した候補領域と他の候補領域との間の距離が所定の閾値Ｄ_TH以下である場合に両候補領域が結合され、図１６（ｂ）に示す如く、その距離が閾値Ｄ_THより大きい場合に着目した候補領域は消去される。着目した候補領域と他の候補領域との間の距離は、画像４００上における、両候補領域の中心間の距離にて表される。

図１４の画像４００に対して上述の結合処理と消去処理を行うことによって、近傍領域ＮＲ₁〜ＮＲ₈に対応する８つの候補領域は結合され、近傍領域ＮＲ₉に対応する候補領域は消去される。図１７に、最終的に特定された立体物領域４５０を画像４００に重畳して示す。この例では、立体物領域は、画像４００上の立体物を取り囲む１つの矩形領域となっている。

立体物領域が特定されると、その特定結果に応じた表示用画像が生成され、その表示用画像は図１の表示装置３にて表示される。例えば、図１７の画像４００に立体物領域４５０を囲むラインを重畳した画像を表示用画像とする。

＜＜第３実施例＞＞
高さのある立体物の画像を鳥瞰変換すると、原理的に、鳥瞰図画像上において該立体物は変形し、その変形の度合いは立体物の高さが増加するに従って大きくなる。従って、実空間上における特徴点の高さが異なれば、図４のステップＳ１９において異なる相違度が得られ、相違度のより大きな領域は、高さのより大きな立体物に対応する。第３実施例では、これに着目し、高度に応じて階層化した映像を表示する。第３実施例は、第１実施例と組み合わせて実施され、第１実施例に記載された事項は、矛盾なき限り、第３実施例にも適用される。尚、第２実施例で記載された事項も、第３実施例に適用可能である。

図１８は、ステップＳ２５において立体物領域が特定されるべき画像５００を表している。画像５００は、時刻ｔ２の鳥瞰図画像である。尚、図示及び説明の便宜上、第３実施例において取り扱う時刻ｔ２の鳥瞰図画像と、第１実施例におけるそれとは、異なっている。第３実施例において、時刻ｔ１及びｔ２におけるカメラ１の視野には直方体状の立体物が存在しており、符号５０１は、画像５００上の立体物である。立体物５０１の高い部分は画像５００の上方側に描画され、立体物５０１の低い部分は画像５００の下方側に描画されているものとする。尚、立体物領域が特定されるべき画像５００は、時刻ｔ１の撮影画像、時刻ｔ２の撮影画像、または、時刻ｔ１の鳥瞰図画像であってもよい。

第３実施例では、図４のステップＳ１２にて多数の特徴点が時刻ｔ１の撮影画像から抽出された場合を想定する。特徴点は水平方向及び垂直方向にある程度の間隔をおいて時刻ｔ１の撮影画像から抽出され、複数の特徴点がステップＳ２１において立体物特徴点に分類されたとする。

図１９は、図１８の画像５００に、立体物特徴点に分類された第１〜第１０の特徴点５１１〜５２０を重畳して示した図である。図４のステップＳ１９において、時刻ｔ１の鳥瞰図画像内における第ｋの特徴点の近傍領域の画像と、時刻ｔ２の鳥瞰図画像内における第ｋの特徴点の近傍領域の画像と、が対比されて相違度ＤＤ［ｋ］が算出される（ここで、ｋは自然数）。そして、相違度ＤＤ［ｋ］に基づいて、第１〜第１０の特徴点５１１〜５２０が立体物特徴点に分類され、それ以外の特徴点（第１１の特徴点など）が地面特徴点に分類されたとする。

図１９において、特徴点５１１〜５２０の夫々を中心とする破線矩形領域は、画像５００における特徴点５１１〜５２０の近傍領域を表している。第１実施例で述べたように、各近傍領域は所定の画像サイズを有する矩形領域である。特徴点５１１〜５２０の各近傍領域は、第２実施例で述べたように、一旦、候補領域として特定された後、結合処理と消去処理が適用される。その結果、特徴点５１１〜５２０の各近傍領域を合成した領域が立体物領域として特定されたとする。

画像処理装置２は、立体物領域が表示装置３上で視認可能となるように、図１８の画像５００に対して画像加工処理を施す。この際、図４のステップＳ１９にて算出された相違度を参照し、相違度の大きい領域が濃い色で表示され且つ相違度の小さい領域が薄い色で表示されるように、画像加工処理を施す。図１９に示す例の場合、特徴点５１９及び５２０について算出された各相違度、特徴点５１７及び５１８について算出された各相違度、特徴点５１４〜５１６について算出された各相違度、特徴点５１１〜５１３について算出された各相違度、の順番で相違度は大きくなる。

このため、画像５００に対して画像加工処理を施すことによって得られた表示用画像は、図２０の画像５４０のようになる。特徴点５１９及び５２０の各近傍領域、特徴点５１７及び５１８の各近傍領域、特徴点５１４〜５１６の各近傍領域及び特徴点５１１〜５１３の各近傍領域を、夫々、第１、第２、第３及び第４の配色で塗る画像加工処理を、画像５００に対して施すことによって画像５４０は得られる。第１、第２、第３及び第４の配色は互いに異なり、第１、第２、第３及び第４の配色の順番で色が濃くなるものとする。

実際には例えば、以下のようにして、各近傍領域の配色を決定する。特徴点５１１〜５２０について算出された各相違度と、閾値ＤＤ_TH1、ＤＤ_TH2及びＤＤ_TH3を比較する（ＤＤ_TH1＞ＤＤ_TH2＞ＤＤ_TH3＞０）。そして、ＤＤ_TH1以上の相違度に対応する特徴点の近傍領域に対して第４の配色を割り当て、ＤＤ_TH1未満であって且つＤＤ_TH2以上の相違度に対応する特徴点の近傍領域に対して第２の配色を割り当て、ＤＤ_TH2未満であって且つＤＤ_TH3以上の相違度に対応する特徴点の近傍領域に対して第３の配色を割り当て、ＤＤ_TH3未満の相違度に対応する特徴点の近傍領域に対して第４の配色を割り当てる。

本実施例のように処理することにより、立体物の高さをも表現した映像をユーザに提供することが可能となる。

＜＜第４実施例＞＞
車両１００が右折等の旋回運動を行った場合、上述の相違度の算出手法では、立体物領域の推定精度が劣化する。例えば、時刻ｔ１−ｔ２間で車両１００が旋回運動を行った場合、図７（ａ）の画像３１０上における白線に対して図７（ｂ）の画像３２０上における白線が傾く。そうすると、特徴点が路面上に存在していても、その特徴点の近傍領域の画像が、時刻ｔ１及びｔ２の鳥瞰図画像間で大きく異なってくるからである。

このような旋回運動にも対応する相違度の算出手法を、第４実施例として説明する。第４実施例は、第１実施例と組み合わせて実施され、第１実施例に記載された事項は、矛盾なき限り、第４実施例にも適用される。尚、第２及び第３実施例で記載された事項も、第４実施例に適用可能である。

図４のステップＳ１１〜Ｓ１７の各処理が実施され、第１実施例と同様、時刻ｔ１及びｔ２の鳥瞰図画像として図９（ａ）及び（ｂ）の画像３１０及び３２０が得られたとする。そして、第１実施例と同様、画像３１０内に第１及び第２の特徴点としての点３３１及び３３２が存在すると共に画像３２０内に第１及び第２の特徴点としての点３４１及び３４２が存在し、且つ、近傍領域ＮＲ［１］_t1、ＮＲ［２］_t1、ＮＲ［１］_t2及びＮＲ［２］_t2が抽出されたとする。

画像処理装置２は、抽出された複数の特徴点の内、何れか１つの特徴点に注目する。今の例の場合、第１又は第２の特徴点が注目される。或る第ｋの特徴点が注目された場合を考える（ここで、ｋは１又は２）。

この場合、画像処理装置２は、近傍領域ＮＲ［ｋ］_t1の画像と近傍領域ＮＲ［ｋ］_t2の画像との間でＳＡＤを計算するが、この計算を、近傍領域ＮＲ［ｋ］_t2の画像を複数段階で回転させながら行う。この回転の中心は、近傍領域ＮＲ［ｋ］_t2の中心と合致する。この計算の様子を図２１に示す。近傍領域ＮＲ［ｋ］_t2の画像の回転角をｗで表し、式（１１）に従って、様々な回転角ｗに対して相関値Ｒ_SAD［ｗ］を算出する。ここで、ｉ'＝ｉ・ｃｏｓｗ−ｊ・ｓｉｎｗ、ｊ'＝ｉ・ｓｉｎｗ＋ｊ・ｃｏｓｗ、である。相関値Ｒ_SAD［ｗ］は、近傍領域ＮＲ［ｋ］_t1の画像と、回転角ｗで回転させた近傍領域ＮＲ［ｋ］_t2の画像と、の相関を表している。

具体的には、回転角ｗを−１０°から＋１０°の範囲内で１°ずつ変化させ、夫々の回転角ｗに対して相関値Ｒ_SAD［ｗ］を算出する。この場合、合計２１個の相関値Ｒ_SAD［ｗ］が算出される。画像処理装置２は、この２１個の相関値Ｒ_SAD［ｗ］の内の、最小の相関値を求め、その最小の相関値を与える回転角ｗを特定する。そして、特定した回転角ｗを時刻ｔ１−ｔ２間における車両１００の回転角ｗ_Vとして推定する。回転角ｗ_Vは、車両１００の操舵角に対応する。

ところで、車両１００の回転角ｗ_Vを推定するために注目した特徴点が地面に属する特徴点であれば、回転角ｗ_Vは精度良く推定される。しかし、注目した特徴点が立体物に属する特徴点である場合は、鳥瞰変換に伴う立体物の画像の変形に起因して、回転角ｗ_Vを精度良く推定できない。一方で、その変形に起因して、注目した特徴点が立体物に属する特徴点であるならば、算出される各相関値Ｒ_SAD［ｗ］は何れも大きな値となる。従って、上記の最小の相関値を所定の上限相関値と比較し、前者が後者よりも高い場合は、注目した特徴点が適切ではないと判断し、回転角ｗ_Vを推定するために注目する特徴点を変更してから、再度、上述の処理を実行して回転角ｗ_Vを推定すると良い。

回転角ｗ_Vが推定された後、図４のステップＳ１８〜Ｓ２５の各処理が行われる。但し、ステップＳ１９において、時刻ｔ１の鳥瞰図画像内における第ｋの特徴点の近傍領域の画像と、回転角ｗ_Vにて回転後の、時刻ｔ２の鳥瞰図画像内における第ｋの特徴点の近傍領域の画像と、を対比し、両画像間の相違度をＤＤ［ｋ］として算出するようにする。相違度の算出法として、第１実施例で述べた任意の手法を採用可能である。例えば、下記式（１２）に従って算出された相関値Ｒ_SAD［ｗ_V］を相違度ＤＤ［ｋ］とすればよい。尚、当然ではあるが、第１の特徴点についての相違度ＤＤ［１］を算出する際には、第１の特徴点についての近傍領域内の各画素の画素値が式（１２）におけるＩ_V（ｉ，ｊ）及びＴ_V（ｉ'，ｊ'）として用いられ、第２の特徴点についての相違度ＤＤ［２］を算出する際には、第２の特徴点についての近傍領域内の各画素の画素値が式（１２）におけるＩ_V（ｉ，ｊ）及びＴ_V（ｉ'，ｊ'）として用いられる。

上述の如く車両１００の回転角を推定し、車両１００の回転角に由来する画像の傾きを補正した上で相違度を算出するようにする。これにより、車両１００が旋回運動を行っていた場合でも、高精度で立体物領域を推定することができる。

尚、相関値としてＳＡＤを算出する場合を例示したが、ＳＡＤの代わりにＳＳＤを算出するようにしてもよい。この場合は、上記のＲ_SAD［ｗ］をＲ_SSD［ｗ］に読み替えればよい。Ｒ_SSD［ｗ］は、下記式（１３）に従って算出することができる。

＜＜第５実施例＞＞
次に、第５実施例を説明する。第５実施例では、上述の各実施例に対応する運転支援システムの機能ブロック図を例示する。図２２は、第５実施例に係る運転支援システムの機能ブロック図である。第５実施例に係る運転支援システムは、符号１１〜１５にて参照される各部位を含み、符号１１〜１５にて参照される部位は図１の画像処理装置２内に設けられる。

カメラ１の撮影画像は、動き検出部（移動ベクトル検出部）１１と鳥瞰変換部１２に与えられる。動き検出部１１は、図４のステップＳ１２及びＳ１３の各処理を実行する。即ち、特徴点の抽出及び特徴点の移動ベクトルの算出を行う。鳥瞰変換部１２は、図４のステップＳ１４〜Ｓ１７の各処理を実行して、各撮影画像を鳥瞰図画像に変換すると共に各鳥瞰図画像から特徴点の近傍領域の画像を抽出する。相違度検出部１３は、図４のステップＳ１９の処理を実行して上述の相違度を算出し、立体物領域推定部１４は、図４のステップＳ２０〜Ｓ２２及びＳ２５の各処理を実行して上述の立体物領域を推定する。表示用画像生成部１５は、立体物領域の推定結果に従って立体物領域が視認可能となるように鳥瞰図画像を加工することにより表示用画像を生成する。

尚、図２２は、表示用画像を鳥瞰図画像から生成する場合の機能ブロック図である。他の実施例にて上述したように、表示用画像を撮影画像から生成するようにしても構わない。また、ステップＳ１７の処理を、相違度検出部１３が行うようにしても構わない。この場合、鳥瞰変換部１２は、鳥瞰図画像と鳥瞰図画像上の特徴点の位置を相違度検出部１３に伝達し、相違度検出部１３が、この位置に基づいて鳥瞰図画像から特徴点の近傍領域の画像を抽出する。

また、第４実施例に係る画像処理装置２は、更に、車両１００の回転角ｗ_Vを推定する回転角推定部（不図示）を含む。回転角推定部を、相違度検出部１３内に含めることもできる。

＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
透視投影変換によって撮影画像から鳥瞰図画像を得る手法を説明したが、平面射影変換によって撮影画像から鳥瞰図画像を得るようにしても構わない。この場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階にて求める。ホモグラフィ行列の求め方は公知である。そして、図４に示す動作を行う場合、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。この場合、図４のステップＳ１５における特徴点及び移動ベクトルの鳥瞰図座標へのマッピングも、ホモグラフィ行列に基づいて行うことができる。

［注釈２］
上述の実施形態では、１つのカメラから得られた撮影画像に基づく表示用画像を表示装置３に表示するようにしているが、車両１００に設置された複数のカメラ（不図示）から得られた複数の撮影画像に基づいて表示用画像を生成するようにしてもよい。例えば、カメラ１以外に１台以上の他のカメラを車両１００に取り付け、その他のカメラの撮影画像に基づく画像をカメラ１の撮影画像に基づく画像（例えば、図１０の画像３２０）に合成し、この合成によって得られた合成画像を最終的に表示装置３に対する表示用画像とすることも可能である。この合成画像は、例えば、特開２００６−２８７８９２号公報にも記載されているような全周鳥瞰図画像である。

［注釈３］
上述の実施形態では、車両の例として自動車（トラック）を例示しているが、自動車に分類されない車両に対しても本発明は適用可能であり、更に車両に分類されない移動体に対しても本発明は適用可能である。車両に分類されない移動体は、例えば、車輪を備えておらず、車輪以外の機構を用いて移動する。例えば、遠隔操作によって工場内を移動する、移動体としてのロボット（不図示）に対して、本発明を適用することも可能である。

［注釈４］
図１の画像処理装置２及び図２２の各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。図１の画像処理装置２及び図２２の各部位にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

本発明の実施形態に係る運転支援システムの構成ブロック図である。図１の運転支援システムが適用される車両の外観側面図である。本発明の実施形態に係り、カメラ座標系ＸＹＺと撮像面の座標系Ｘ_buＹ_buと世界座標系Ｘ_wＹ_wＺ_wとの関係を示す図である。本発明の第１実施例に係る立体物領域の推定手順を表すフローチャートである。本発明の第１実施例に係り、時刻ｔ１及びｔ２の撮影画像を表す図である。本発明の第１実施例に係り、撮影画像上の特徴点と該特徴点の時刻ｔ１−ｔ２間の移動ベクトルを表す図である。本発明の第１実施例に係り、時刻ｔ１及びｔ２の鳥瞰図画像を表す図である。本発明の第１実施例に係り、鳥瞰図画像上の特徴点と該特徴点の時刻ｔ１−ｔ２間の移動ベクトルを表す図である。本発明の第１実施例に係り、時刻ｔ１及びｔ２の鳥瞰図画像から、各特徴点の近傍領域内の画像が抽出される様子を示す図である。本発明の第１実施例に係り、時刻ｔ２の鳥瞰図画像内の立体物領域を表す図である。本発明の第１実施例に係り、時刻ｔ１の鳥瞰図画像内の特徴点の近傍領域及び時刻ｔ２の鳥瞰図画像内の特徴点の近傍領域の拡大図である。本発明の第１実施例に係り、時刻ｔ１及びｔ２の鳥瞰図画像内の特徴点の近傍領域についての、画素値のヒストグラムを表す図である。本発明の第２実施例に係り、立体物領域が特定されるべき画像を表す図である。図１３の画像内における特徴点とその近傍領域を表す図である。本発明の第２実施例に係り、２つの領域が結合される様子を示す図である。本発明の第２実施例に係り、２つの領域が結合される様子（ａ）と着目した１つの領域が消去される様子（ｂ）を示す図である。図１３の画像内において特定された立体物領域を表す図である。本発明の第３実施例に係り、立体物領域が特定されるべき画像を表す図である。図１８の画像内における特徴点とその近傍領域を表す図である。図１８の画像から生成された表示用画像の例を示す図である。本発明の第４実施例に係り、２つの画像間のＳＡＤを算出するに当たり、一方の画像を複数段階で回転させる様子を示した図である。本発明の第５実施例に係る運転支援システムの機能ブロック図である。

符号の説明

１カメラ
２画像処理装置
３表示装置
１００車両

Claims

移動体に取り付けられて前記移動体の周辺を撮影するカメラを備え、前記カメラから時系列で並ぶ第１及び第２のカメラ画像を取得して、各カメラ画像に基づく表示用画像を表示装置に表示させる運転支援システムにおいて、
前記第１のカメラ画像から特徴点を抽出するとともに、前記第１と第２のカメラ画像間における前記特徴点の移動ベクトルを検出する移動ベクトル検出手段と、
各カメラ画像を所定の鳥瞰図座標上に投影することによって前記第１及び第２のカメラ画像を第１及び第２の鳥瞰図画像に変換するとともに、前記第１のカメラ画像における前記特徴点の位置及び前記移動ベクトルに基づいて前記第１及び第２の鳥瞰図画像上の前記特徴点の各位置を検出する鳥瞰変換手段と、
前記第１の鳥瞰図画像内における前記特徴点の近傍領域の画像と、前記第２の鳥瞰図画像内における前記特徴点の近傍領域の画像と、の相違度を検出する相違度検出手段と、
前記第１のカメラ画像、前記第２のカメラ画像、前記第１の鳥瞰図画像、又は、前記第２の鳥瞰図画像を推定対象画像として取り扱い、前記推定対象画像中の、立体物が描画されている立体物領域を、前記推定対象画像上の前記特徴点の位置と前記相違度に基づいて推定する立体物領域推定手段と、を備えた
ことを特徴とする運転支援システム。
前記特徴点は、複数の特徴点から成り、
前記相違度検出手段は、特徴点ごとに、前記相違度を検出し、
前記立体物領域推定手段は、各相違度と所定の基準相違度とを比較して前記基準相違度より高い相違度に対応する特徴点を立体物特徴点として特定し、前記立体物特徴点の位置に基づいて前記立体物領域を推定する
ことを特徴とする請求項１に記載の運転支援システム。
前記立体物領域推定手段は、前記推定対象画像中の前記立体物特徴点の近傍領域を候補領域として特定し、前記候補領域の全部または一部を含む領域を前記立体物領域として推定する
ことを特徴とする請求項２に記載の運転支援システム。
前記候補領域がｎ個存在する場合（ｎは２以上の整数）、
前記立体物領域推定手段は、前記ｎ個の候補領域の内の複数の候補領域を結合する処理を実行し、前記立体物領域に前記複数の候補領域と前記複数の候補領域を結合する領域とを含める
ことを特徴とする請求項３に記載の運転支援システム。
前記候補領域がｎ個存在する場合（ｎは２以上の整数）、
前記立体物領域推定手段は、前記ｎ個の候補領域の中から一部の候補領域を消去する処理を実行し、前記立体物領域から前記一部の候補領域を除外する
ことを特徴とする請求項３に記載の運転支援システム。
前記立体物領域を視認可能とするための画像加工処理を前記推定対象画像に施すことによって前記表示用画像を生成する表示用画像生成手段を更に備えた
ことを特徴とする請求項１〜請求項３の何れかに記載の運転支援システム。
前記立体物領域を視認可能とするための画像加工処理を前記推定対象画像に施すことによって前記表示用画像を生成する表示用画像生成手段を更に備え、
前記立体物特徴点は、第１及び第２の立体物特徴点を含むｎ個の立体物特徴点から成り（ｎは２以上の整数）、
前記立体物領域推定手段は、前記推定対象画像中の前記第１及び第２の立体物特徴点についての各近傍領域を前記立体物領域に含め、
前記表示用画像生成手段は、前記第１の立体物特徴点について検出された前記相違度に応じて前記第１の立体物特徴点の前記近傍領域に対する前記画像加工処理の内容を決定し、前記第２の立体物特徴点について検出された前記相違度に応じて前記第２の立体物特徴点の前記近傍領域に対する前記画像加工処理の内容を決定する
ことを特徴とする請求項２に記載の運転支援システム。
前記相違度検出手段は、
前記第２の鳥瞰図画像内の前記特徴点の位置を中心として前記第２の鳥瞰図画像についての前記近傍領域の画像を複数段階で回転させ、
回転ごとに、前記第１の鳥瞰図画像についての前記近傍領域の画像と前記第２の鳥瞰図画像についての回転後の前記近傍領域の画像とを対比して、対比した両画像間の相関を表す相関値を算出し、
回転ごとに算出された前記相関値の内の最小の相関値に基づいて前記相違度を検出する
ことを特徴とする請求項１に記載の運転支援システム。
請求項１〜請求項８の何れかに記載の運転支援システムが設置された
ことを特徴とする、移動体としての車両。