JP3063481B2 - 車両用物体検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば車両の自動操縦
や予防安全運転のために、車両の進行方向前方の車両等
の物体を検出する車両用物体検出装置に関する。

【０００２】

【従来の技術】従来のこの種の車両用物体検出装置とし
て、例えば特開平４−３６８７８号公報に開示されたも
のがある。この開示された車両用物体検出装置では、走
行路の検出後、走行路の内側でエッジ点の検出を行い、
エッジの端が、ある時間連続して存在した時、物体とし
て検出される。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
この種の車両用物体検出装置の場合においては、車両の
進行方向前方に車両等の物体が存在するか否かを単にエ
ッジの有無を検出することのみに依存して検出する検出
手法となっていたため、特に、道路面上に描かれた文字
や模様なども、物体として誤検出してしまうことも起り
得るという問題点があった。

【０００４】本発明は、上記した問題点に着目してなさ
れたものであり、その目的とするところは、道路面の文
字や模様と車両等の物体との相違を正しく識別して、そ
の物体を精度良く検出することができる車両用物体検出
装置を提供することにある。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明は、図１に示す如く、車両の進行方向前方の
道路を撮像する撮像手段１０１と、該撮像手段１０１で
撮像した画像から少なくとも白線又は障害物のエッジ部
を表わす特徴を抽出する前処理手段１０２と、道路形状
パラメータに基づいて３次元座標上で定義された３次元
道路モデルを演算する道路モデル演算手段１０３と、該
道路モデル演算手段で演算された３次元道路モデルを前
記撮像手段の姿勢パラメータに基づいて画像座標に変換
する座標変換手段１０４と、前記前処理手段により抽出
した前記少なくとも白線又は障害物のエッジ部を表わす
特徴と前記座標変換手段で座標変換された前記３次元道
路モデルとを比較して、両者間の位置ずれを検出する位
置ずれ検出手段１０５と、該位置ずれ検出手段で検出し
た位置ずれから前記道路形状パラメータの変化量および
前記撮像手段の姿勢パラメータの変化量を演算する変化
量演算手段１０６と、前記両パラメータの変化量に基づ
き前記道路形状パラメータ及び前記姿勢パラメータを更
新する更新手段１０７と、該更新手段１０７により更新
された前記撮像手段１０１の姿勢パラメータに基づい
て、前記エッジ部を表わす特徴の時間的移動を、前記３
次元道路モデルで表わされる道路面上での移動量に座標
変換して前記画像中の特徴点の見かけの移動速度を計測
する見かけ移動速度計測手段１０８と、該見かけ移動速
度計測手段で計測された前記画像中の特徴点の見かけの
移動速度を車速と比較して車両の進行方向前方に物体が
存在するか否かを判定する物体判定手段１０９とを有す
ることを特徴とする。

【０００６】

【作用】本発明による車両用物体検出装置であれば、撮
像手段１０１で撮像した画像から前処理手段１０２が少
なくとも白線又は障害物のエッジ部を表わす特徴を抽出
し、他方、道路モデル演算手段１０３が道路形状パラメ
ータに基づいて３次元座標上で定義された３次元道路モ
デルを演算するので、位置ずれ検出手段１０５におい
て、道路モデル演算手段１０３で求めた３次元道路モデ
ルの値を座標変換手段１０４により画像座標に変換して
受ける一方、前処理手段１０２が抽出した少なくとも白
線又は障害物のエッジ部を表わす特徴を受けてその両者
を比較することにより、その両者間の位置ずれを検出
し、この検出結果から変化量演算手段１０６により自車
両の道路形状パラメータの変化量および撮像手段１０１
の姿勢パラメータの変化量が演算され、更新手段１０７
によりその自車両の道路形状パラメータおよび撮像手段
１０１の姿勢パラメータが更新される。

【０００７】このように自車両の道路形状パラメータお
よび撮像手段１０１の姿勢パラメータが更新される条件
下において、前処理手段１０２により少なくとも白線又
は障害物のエッジ部を表わす特徴が抽出されると、見か
け移動量速度計測手段１０８では、更新手段１０７によ
り更新された撮像手段１０１の姿勢パラメータに基づい
て、画像中の特徴点の時間的移動が、３次元道路モデル
で表わされる道路面上での移動量に座標変換されて画像
中の特徴点の見かけの移動速度が計測される。

【０００８】こうして見かけ移動速度計測手段１０８に
より見かけの移動速度が計測されると、物体判定手段１
０９は、その見かけの移動速度を車速と比較して車両の
進行方向前方に車両等の物体が存在するか否かを判定で
きる。

【０００９】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。

【００１０】図２は、本発明の一実施例に係わる車両用
物体検出装置の全体構成を概略的に示すブロック図であ
る。同図に示す車両用物体検出装置は、車両の進行方向
前方の道路を撮像すべく車両に搭載された撮像手段であ
るカメラ１、該カメラ１で撮像した画像信号を入力し、
この入力された画像信号を画像処理する画像処理部３、
および該画像処理部３で得られた計測結果である道路の
３次元形状データをまたは障害物の位置に基づいて車両
の制御および警報判断等を行う制御部５を有する。

【００１１】図２に示す画像処理部３は、カメラ１で撮
像された２車線道路の画像を連続的に入力し、この画像
からカメラ１の高さ（Ｄｙ）、ヨー角（θ）、ピッチ角
（φ）、ロール角（ψ）、道路端からの距離（Ｄｘ）と
いう車速を除くカメラの５軸の姿勢パラメータと、道路
の水平曲線（ρ）および道路の勾配を表す垂直曲線
（μ）の道路形状パラメータを有する３次元道路構造を
同時にオンラインで推定する。そして、これらの推定し
た値を用いて、画像中の物体のエッジ点の動きを、あた
かも道路面上での３次元的動きとして計測し、計測され
た動き量と車速とを比較することによって、道路面上の
文字や模様などと、高さのある物体とを弁別するもので
ある。さらに、動く物体でも、およその相対移動速度を
知ることが可能なものである。

【００１２】図３は、図２に示す画像処理部３の詳細な
構成を示すブロック図である。同図に示すように、画像
処理部３は、前記カメラ１で撮像された画像を入力され
る画像入力部１１、この画像入力部１１から入力された
画像情報からエッジ部を表わす特徴を抽出する前処理部
１３、１画面前（前時刻）に推定された道路形状パラメ
ータに基づいて３次元の道路モデルを作成する道路モデ
ル作成部１５、前時刻に推定されたカメラの姿勢パラメ
ータを用いて、道路モデル作成部１５で作成された３次
元の道路モデルを車両座標系に座標変換し、更に画像座
標系に透視変換する座標変換部１７、この座標変換部１
７によって画像座標系の座標変換された道路モデルと前
処理部１３で検出された道路のエッジ画像とを線対応関
係で対応づける線対応マッチング部１９、この線対応マ
ッチング部１９によって線対応づけられた画像の位置ず
れを検出し、この位置ずれから道路形状パラメータおよ
びカメラの姿勢パラメータの各パラメータの変化量を推
定するパラメータ推定部２１、このパラメータ推定部２
１で推定されたパラメータを更新するパラメータ更新部
２３、このパラメータ更新部２３で更新されたカメラの
姿勢パラメータに基づいて、前処理部１３で抽出したエ
ッジ部を表わす特徴を、道路モデル作成部１５で作成さ
れた３次元の道路モデルで表わされる道路面上での移動
量に座標変換した時空間画像を作成する時空間画像作成
部２５、この時空間画像作成部２５で作成した画像か
ら、直線検出の手法によって、障害物または道路面上の
エッジ点を切り出し、この見かけ移動量を計測する直線
処理部２７、この直線処理部２７で計測された見かけ移
動量と車速とを比較して障害物検出と相対速度弁別を行
う障害物検出部２９から構成されている。

【００１３】前処理部１３における前処理は、カメラ１
で撮像した道路の入力画像から道路の白線のエッジを検
出するために、入力画像をＩ（ｘ，ｙ）とし、エッジ画
像をＧ（ｘ，ｙ）とした場合、次式の演算を行い、エッ
ジ画像を検出する。

【００１４】

【数１】 このような演算式を使用することにより、カーブ路にお
いて遠方の白線はほとんど水平で、線幅も１画素以下で
撮影されてもエッジを抽出することができる。

【００１５】また、この前処理部１３では、画像中の車
両進行方向前方の道路内の２次元形状物もしくは３次元
形状物のエッジ部を表わす特徴を公知の他の特徴強調処
理で抽出してもよい。

【００１６】道路モデル作成部１５および座標変換部１
７では、前時刻に推定される道路形状パラメータを基に
３次元の道路モデルを作成し、また前時刻に推定される
カメラの挙動パラメータを用いて車両座標系に座標変換
し、更に２次元の画像座標系に透視変換する。なお、本
実施例では、道路のカーブや勾配のパラメータは時間的
に変化するものと考える。カメラ１の焦点距離は既知と
し、また車両の速度成分に推定しないものとする。これ
は白線と平行に移動しても、見かけ上の白線位置は変化
しないためである。従って、推定すべきパラメータは、
前述したカメラ１の高さ（Ｄｙ）、ヨー角（θ）、ピッ
チ角（φ）、ロール角（ψ）、道路端からの距離（Ｄ
ｘ）のカメラの５軸の姿勢パラメータに加えて、水平曲
線（ρ）および垂直曲率（μ）を含む道路形状パラメー
タである。

【００１７】まず、座標系について図４を参照して説明
する。座標系としては、道路座標系（Ｘ，Ｙ，Ｚ）、車
両座標系（Ｕ，Ｖ，Ｗ）および２次元の画像座標系
（ｘ，ｙ）の３つの座標系を定義する。

【００１８】道路座標系（Ｘ，Ｙ，Ｚ）は、現在車両が
置かれている地点を基準に道路の形状を表すものであ
り、図４に示すように、道路中央の路面上に原点を取
り、道路接続および路面と平行で車両の進行方向にＺ
軸、左方向に路面と平行にＸ軸、路面と垂直で上方にＹ
軸を取る右手系である。なお、カメラ１のレンズの中心
は常にＺ＝０の位置にあるものとする。

【００１９】車両座標系（Ｕ，Ｖ，Ｗ）は、カメラ１の
レンズの中心を原点とし、該レンズの主軸方向にＷ軸、
撮像面と平行にＵ軸およびＶ軸を取る右手系である。

【００２０】画像座標系（ｘ，ｙ）は、撮像面上で定義
され、ｘ軸がＵ軸と平行、ｙ軸がＶ軸と平行で、それぞ
れ逆向きであるものとする。

【００２１】また、車両座標系で表された３次元空間上
の点Ｐ（Ｕ，Ｖ，Ｗ）は、画像上の画像座標系で次式の
ように透視変換されて表される。

【００２２】 ｘ＝−Ｆ・Ｕ／Ｗ ｙ＝−Ｆ／ｖ／ｗ （２） 但し、Ｆはカメラ１のレンズの焦点距離である。

【００２３】道路座標系と車両座標系との関係が車両の
挙動、すなわちカメラ１の姿勢に対応する。以下、カメ
ラ１の道路端からの距離をＤｘ、カメラ１の高さをＤ
ｙ、ヨー角をθ、ピッチ角をφ、ロール角をψで表す。

【００２４】車両座標系は、まず道路座標系で（Ｄｘ，
Ｄｙ，０）だけ平行移動した後、ヨー角θ、ピッチ角
φ、ロール角ψの順で回転させる。なお、ヨー角θは、
Ｗ軸をＸＺ平面に射影した時のＺ軸とのなす角度であ
り、ピッチ角φはＷ軸とＸＺ平面との角度であり、ロー
ル角ψはＷ軸回りの回転角でＵ軸とＸＺ平面との角度で
ある。回転マトリックスをＲとすると、道路座標系で表
された点は、次式により車両座標系へ変換される。

【００２５】

【数２】 次に、道路モデル作成部１５で作成される道路モデルに
ついて説明する。

【００２６】道路は、横断曲線（カーブ）と縦断曲線
（勾配）に分けて構造が決定されている。横断道路は曲
率一定の円弧部、直線部、およびこれらを滑らかに結ぶ
ための緩和曲線部によって定義される。また、縦断曲線
は一定勾配である直線部を放物線によって滑らかに結ぶ
ものとされている。

【００２７】３次元の道路座標上では、横断曲線、縦断
曲線ともに多次曲線によって近似される。そして、路面
上に描かれた白線の道路座標系における座標は次式のよ
うに定義される。

【００２８】 Ｘ＝ｆ（Ｚ）＝ａＺ⁴ ＋ｂＺ³ ＋ｃＺ² ＋Ｂ Ｙ＝ｇ（Ｚ）＝ｄＺ³ ＋ｅＺ² （４） ここで、Ｂは、道路中心から白線までの距離を表し、３
車線道路の場合には、左の白線に対してはＢは正の定義
であり、中央に対しては０である。ａ〜ｅは求める道路
形状パラメータである。なお、水平方向の式ｆ（Ｚ）を
４次式としたのは、Ｓ字カーブにも対応するためであ
る。

【００２９】また、道路の水平曲率ρおよび垂直曲率μ
は、次式で表される。

【００３０】

【数３】 特に、Ｚ＝０の付近の曲率は、水平曲率ρ＝２ｃおよび
垂直曲率μ＝２ｅである。

【００３１】このようにして、Ｎ点からなる道路モデル
を作成するＺｉ（ｉ＝１〜Ｎ）を与えれば、白線の３次
元座標を計算することができる。また、Ｚの地点の曲率
を求めることも可能である。

【００３２】上述した式（４）で示した道路形状パラメ
ータａ，ｂ，ｃ，ｄ，ｅを前画面（前時刻）から得て、
道路モデルを作成し、この道路モデルを前時刻における
カメラ１の挙動パラメータに基づく車両座標系に変換す
る。そして、道路モデル上の各点が現画面（現時刻）で
どう移動するかを観測することによって、車両座標系に
おける挙動変動量および道路パラメータの変動量を求め
る。すなわち、道路モデル上の点（ｘ，ｙ）が現画面で
（Δｘ，Δｙ）だけ変動したとし、この変動Δｘ，Δｙ
がカメラの姿勢パラメータの変動と道路形状パラメータ
の変動とに起因すると考えて、各パラメータの変動量と
ΔｘおよびΔｙとの関係を導く。なお、パラメータは各
時刻毎に変動量を積分することになるが、モデルを基準
とした変動量であるので、誤差の蓄積はない。

【００３３】パラメータの変動によって画像上の道路モ
デル上の点（ｘ，ｙ）が（ｘ’，ｙ’）に移動したと考
え、点の移動量を（Δｘ，Δｙ）とすると、次式で表さ
れる。

【００３４】 ｘ’＝ｘ＋Δｘ ｙ’＝ｙ＋Δｙ （６） カメラの姿勢パラメータの変動を車両座標系での点の移
動として考える。すなわち、車両座標系で挙動変動量を
求め、前時刻の姿勢パラメータと合成することにより、
現時刻におけるカメラの姿勢パラメータに変換し、次時
刻で更に新たな車両座標系を作成する。なお、挙動変動
量を道路座標系でなく、車両座標系で求めるのは、回転
角が常に０からの変動となるため、近似の精度を維持し
ながら線形解を求められるからである。

【００３５】車両座標系において、点Ｐ（Ｕ，Ｖ，Ｗ）
が点Ｐ’（Ｕ’，Ｖ’，Ｗ’）に移動するとすると、

【数４】 で表される。なお、Ｄ_U ，Ｄ_U は平行移動成分であり、
α，β，γはそれぞれＶ軸、Ｕ軸、Ｗ軸回りの回転角で
ある。但し、各パラメータの値は、十分小さいものと
し、ｓｉｎδ＝δ，ｃｏｓδ＝１，ｓｉｎα＝α，ｃｏ
ｓα＝１，ｓｉｎβ＝β，ｃｏｓβ＝１，ｓｉｎγ＝
γ，ｃｏｓγ＝１とすると共に、２次以上の項は無視し
た。

【００３６】（６）式と（２）式とから、次式が得られ
る。

【００３７】

【数５】 各姿勢パラメータの微小変動による画像座標の変動は、
（５）式のＴａｌｅｒ展開の１次の項から次式のように
表される。

【００３８】

【数６】 （８）式から、α，β，γ＝０なる条件を近似的に計算
すると、次式に示すようにカメラの姿勢パラメータの変
動分が得られる。

【００３９】

【数７】 次に、道路パラメータの変動分について考える。上述し
た（３）および（４）式から、 Ｕ＝Ｒ₁₁（Ｘ−Ｄ_X ）＋Ｒ₁₂（Ｙ−Ｄ_Y ）＋Ｒ₁₃Ｚ Ｖ＝Ｒ₂₁（Ｘ−Ｄ_X ）＋Ｒ₂₂（Ｙ−Ｄ_Y ）＋Ｒ₂₃Ｚ Ｘ＝ｆ（Ｚ），Ｙ＝ｇ（Ｚ） （１１） であるので、これを（７）式に代入するとともに、また
α，β，γ＝０とおいて

【数８】 を計算すると、次式に示すように道路パラメータの変動
分が得られる。

【００４０】

【数９】 従って、（９）式と（１３）式を加算すると、カメラの
姿勢パラメータと道路パラメータによる画像上での点の
移動量の関係式が得られる。

【００４１】

【数１０】 次に、線対応マッチング部１９における線対応マッチン
グについて説明する。

【００４２】モデルを用いたカメラ姿勢の推定手法に
は、点対応と線対応とがあるが、本実施例では線対応、
すなわち道路モデルにおける接線と画面中から抽出され
る白線の線成分とを対応づける。白線は滑らかな曲線で
あるので、点の対応は困難であるからである。

【００４３】対応付けには画像の探索が必要であるが、
ここでは同一ｘ軸または同一ｙ軸上を走査する。探索処
理が簡単化できるため、高速化につながるからである。
ｘ軸走査かｙ軸走査かの選択は、対応付けする線の傾き
の大きさに応じて行う。

【００４４】画像座標系における道路モデル上の点Ｐ
（ｘ，ｙ）における接線の傾きをωで表し、ωを

【数１１】 で定義すると、ωは次式で計算される。

【００４５】

【数１２】 現時刻の白線は、点Ｐ付近の点Ｐ’（ｘ’，ｙ’）でモ
デルと同じωなる傾きを有すると仮定する。すなわち、
傾きの変化はないものとする。前時刻で求められたモデ
ルが現時刻で白線位置まで移動したと考える。この場合
の道路モデルと白線との関係は図５に示すようになる。
同一ｘ軸上の移動量をｐとし、同一ｙ軸上の移動量をｑ
とすると、ΔｘとΔｙとの関係は、 Δｘ／ｐ＋Δｙ／ｑ＝１ （１７） であり、更に ｑ／ｐ＝−ω （１８） であるから、 Δｘ−Δｙ／ω−ｐ＝０ （１９） または −ωΔｘ＋Δｙ−ｑ＝０ （２０） が得られる。上式は直線の座標軸方向の（見かけの）移
動量と実際の移動量の関係を表す。｜ω｜が大きい時
（垂直に近い場合）は、（１９）式が使用され、｜ω｜
が小さい時（水平に近い場合）は、（２０）式が使用さ
れる。

【００４６】道路モデル上のいくつかの点でＰｉ（ｘ
ｉ，ｙｉ）とωｉを計算し、入力画像上における点との
対応からｐｉまたはｑｉを求め、最小二乗法を適用すれ
ば、連立方程式が得られ、各パラメータの変化量が算出
される。

【００４７】評価誤差は、上述した（１４）式と（１
９）式および（２０）式とから次式で求められる。

【００４８】

【数１３】 Ｅ_i ＝Ａ_1iΔａ＋Ａ_2iΔｂ＋Ａ_3iΔｃ＋Ａ_4iΔｄ＋Ａ_5iΔｅ ＋Ａ_6iΔＤ_U ＋Ａ_7iΔＤ_V ＋Ａ_8iΔα＋Ａ_9iΔβ＋Ａ_10i Δγ−Ｂ_i （２１） 但し

【数１４】

【数１５】 次に、本実施例の作用を説明する。

【００４９】まず、道路モデル作成部１５において、Ｎ
点からなる道路モデルを作成する。そして、前時刻のカ
メラの姿勢パラメータ（Ｄｘ，Ｄｙ，θ，φ，ψ）の推
定結果から、（３）式の変換行列を作成する。それか
ら、前時刻の道路形状パラメータ（ａ，ｂ，ｃ，ｄ，
ｅ）から（４）式に基づいて道路座標系（Ｘ，Ｙ，Ｚ）
で道路モデルの３次元座標を計算する。すなわち、前時
刻の道路形状パラメータ（ａ，ｂ，ｃ，ｄ，ｅ）から
（４）式にＺ＝Ｚｉ（ｉ＝１〜Ｎ）とおくことによって
道路モデルの点列を作成する。次に、前時刻のカメラの
挙動パラメータ（Ｄｘ，Ｄｙ，θ，φ，ψ）により
（３）式で車両座標系（Ｕ，Ｖ，Ｗ）に変換し、更に
（１）式で画像座標系（ｘ，ｙ）に変換し、座標（ｘ
ｉ，ｙｉ）（ｉ＝ｉ〜Ｎ）を得る。また、（１６）式で
接線の傾きωを計算する。なお、各座標変換は、座標変
換部１７で行われる。

【００５０】道路モデルから算出される値は、（２１）
式に現れているＺｉ，Ｕｉ，Ｖｉ，Ｗｉ，ωｉおよびｘ
ｉ，ｙｉ（ｉ＝１〜Ｎ）である。このうち、Ｚｉは道路
座標上で例えば３メートル間隔と予め定めておく。すな
わち、Ｚｉを与えれば、（２１）式中のＡｒｉ（ｒ＝１
〜１０）の値が定まる。次に、入力画像とのマッチング
を行い、Ｂｉを求める。

【００５１】線対応マッチング部１９は、画像入力部１
１を介してカメラ１から得られる入力画像であるエッジ
画像とモデル点接続との線対応マッチングを行う。｜ω
ｉ｜≧１のとき（垂直に近い場合）は、各モデル点（ｘ
ｉ，ｙｉ）を中心にｘ軸方向に探索して、ｐｉを求め、
｜ωｉ｜＜１のとき（水平に近い場合）は、ｙ軸方向に
探索して、ｑｉを求める。

【００５２】｜ωｉ｜≧１のときは、点（ｘｉ，ｙｉ）
を中心に幅Ｍ_x ，高さＭ_y なるウインドウを考える。こ
の中で、傾きωｉの直線を発生させ、直線上のエッジ濃
度の和が最も大きい直線を選択し、直線のｘ座標値とｘ
ｉとの差をｐｉとする。すなわち、

【数１６】 を求め、Ｃｉ（τ）の最大値近傍で重心を求め、ｐｉと
する。また、この時のＣｉ（τ）の値は確からしさを表
すので、あらためてＣｉとおく。

【００５３】また、｜ωｉ｜＜１の場合も同様にｑｉを
求める。なお、幅Ｍ_x 、高さＭ_y については数画素が適
当である。

【００５４】以上のようにして、（２１）式で示す評価
誤差のすべての係数が求められるので、最小二乗法を適
用することにより、各パラメータをパラメータ推定部２
１において推定することができる。

【００５５】ここで、別の誤差尺度を考える。１つは道
路パラメータが時間的に大きく変動しないことを利用す
るものである。すなわち、Δａ〜Δｅは０に近いといえ
る。そこで、 Ｅ_G1＝Δａ，Ｅ_G2＝Δｂ，Ｅ_G3＝Δｃ， Ｅ_G4＝Δｄ，Ｅ_G5＝Δｅ，Ｅ_G5〜Ｅ_G10 ＝０ （２４） として、それぞれの重みをＧｒ（ｒ＝１〜５）を定数と
して定義する。

【００５６】もう１つの誤差は、曲率に関するものであ
る。道路パラメータｃとｅはＺ＝０の地点の曲率の１／
２である。車両も速度が既知で、速度ｖ（ｍ（メート
ル）／１画面時間）で走行しているとすると、ｔ画面前
のＺ＝ｖｔの地点の曲率が現画面のＺ＝０の曲率になる
はずである。従って、 Ｅ_ρ＝Ｃ_k-1 ＋Δｃ−ρ_k Ｅ_μ＝ｅ_k-1 ＋Δｅ−μ_k （２５） 但し

【数１７】 とすることができる。なお、ｃ_k-1 およびｅ_k-1 はそれ
ぞれ前画面の結果である。また、ρ_k-1 およびμ_k-1 は
ｔ画面前の結果から得られる曲率である。

【００５７】各パラメータは最小二乗法で推定される。
すなわち、

【数１８】 を最小化するように上式を各変数で微分し、それぞれ０
とおく。なお、ＨρおよびＨμは重み定数である。この
ようにして、次に示す１０元連立１次方程式

【数１９】 が作成される。ここで、ｌ（Ｌの小文字）は１〜１０で
あり、ｍ＝１〜１０である。

【００５８】この１０元連立１次方程式は容易に解くこ
とができる。

【００５９】以上のようにして、パラメータ推定部２１
において最小二乗法により各パラメータの変化量が計算
されると、これらの結果を基にカメラの姿勢パラメータ
（Ｄｘ，Ｄｙ，θ，φ，ψ）および道路形状パラメータ
（ａ，ｂ，ｃ，ｄ，ｅ）がパラメータ更新部２３におい
て更新される。なお、前時刻のパラメータを添字ｋ−１
で表し、更新されたパラメータを添字ｋで表す。

【００６０】まず、道路形状パラメータａ，ｂ，ｃ，
ｄ，ｅは、Δａ〜Δｅをそのまま加えればよい。すなわ
ち、次式に示すようになる。

【００６１】

【数２０】 ａ(k) ＝ａ（K-1)＋Δａ，ｂ(k) ＝ｂ(K-1) ＋Δｂ， ｃ(k) ＝ｃ（K-1)＋Δｃ，ｄ(k) ＝ｄ(K-1) ＋Δｄ， ｅ(k) ＝ｅ（K-1)＋Δｅ （２９） また、カメラの姿勢パラメータＤｘ，Ｄｙ，θ，φ，ψ
は、以下のように更新される。（７）式中のパラメータ
（Ｄ_U ，Ｄ_U ，α，β，γ）はｋ−１においてすべて０
とみなせるので、Ｄ_U ＝ΔＤ_U ，Ｄ_U ＝ΔＤ_U ，α＝Δ
α，β＝Δβ，γ＝Δγとおく。（２）式を（７）式に
代入すると、

【数２１】 となる。カメラの姿勢パラメータの更新により、 （Ｕ，Ｖ，Ｗ）＝（Ｕ’，Ｖ’，Ｗ’） とすればよい。（３）式と（３０）式を比較することに
より、 Ｒ_(k) ＝ＳＲ_(k-1) Ｄ_X(k)＝Ｄ_X(k-1)−Ｒ_11(k) Ｄ_U −Ｒ_21(k) Ｄ_V Ｄ_Y(k)＝Ｄ_Y(k-1)−Ｒ_12(k) Ｄ_U −Ｒ_22(k) Ｄ_V （３２） にて求められる。なお、Ｒ^-1＝Ｒ^T なる関係式を用い
た。θ_(k) ，φ_(k) ，ψ_(k) は（３）式中のＲ_31(k) ，
Ｒ_32(k) ，Ｒ_12(k) から容易に求められる。

【００６２】次に、時空間画像作成部２５、直線検出部
２７、及び物体検出部２９での一連の処理動作で障害物
を検出する方法について説明する。

【００６３】まず、物体を弁別する原理について説明す
る。

【００６４】道路形状とカメラ姿勢の推定によって、前
方道路の３次元形状と道路に対する５自由度カメラ姿勢
が求められたとする。この時、物体が全て路面上にある
と仮定すると、画像座標系の座標値と道路座標系の座標
値とは、一対一対応する。なぜなら、道路面は（４）式
の道路モデルで３次元形状が記述され、この３次元座標
は（２）式および（３）式で画像座標系に変換されるか
らである。

【００６５】いま、高さのある物体が画像に映っている
とする。２次元画像では高さの有無の判断はできない
が、画像座標系で見かけ上の座標値は求められる。見か
け上の座標値は、その点が路面上にあるものとして考え
ると、何ｍ前方の点であるかが計測できる。例えば、図
６に示すように、高さのある物体は、実物の位置より遠
方の道路面上に点（頂点、エッジ点）があるように、観
測される。

【００６６】いま、路面のほうが車速分だけカメラに近
づいたとする。この時、静止物体であれば、真の移動量
は車速と一致するが、見かけ上の移動量は車速より大き
く観測される（図６）。また、路面上の模様や汚れなど
については、真の移動量と見かけの移動量は等しい。さ
らに、先行車のように動く物体の場合、ゆっくり近づい
ていれば、見かけの移動量は車速より小さく、しかし、
車速と同じ符号をもつ。逆に遠方の遠ざかる先行車の場
合は、車速と見かけの移動量とは、逆の符号となる。す
なわち、 路面上の模様 見かけの移動量＝車速 静止物体 見かけの移動量＞車速 移動物体（接近） ０＜見かけの移動量＜車速 移動物体（遠のく） ０＞見かけの移動量 となる。

【００６７】以上が、静止物体と、ゆっくり接近する物
体と、遠ざかる物体と、路面上のノイズや模様との、弁
別原理である。

【００６８】時空間画像作成部２５では、前処理部１３
で抽出された特徴点と、道路モデル作成部１５で作成さ
れた３次元の道路モデルと、パラメータ更新部２３によ
り更新された姿勢パラメータとを受けて時空間画像を作
成する。

【００６９】この時空間画像の作成について説明する。

【００７０】道路モデルは既知（推定された）であるの
で、（４）式から、道路と平行、かつ、等間隔の座標点
列を求める。図７（ａ）のように、例えば２車線の場
合、各車線内で２本づつ、あるいは各車線の中央で求め
る。各平行線を添え字ｊで区別し、前方方向の点列を添
え字ｉで区別する。点の道路座標系での値は、（４）式
と同様に、

【数２２】 Ｚ_i は例えばｌｍ間隔にとる。Ｌ_j は道路中央を０と
し、例えば、Ｌ₁ ＝−２．５ｍ，Ｌ₂ ＝−１．２５ｍ，
Ｌ₃ ＝０ｍ，Ｌ₄ ＝１．２５ｍ，Ｌ₅ ＝２．５ｍ，など
とする。道路形状パラメータａ，ｂ，ｃ，ｄ，ｅは前記
道路形状の推定によって求められた値を用いる。

【００７１】（３３）式で計算された座標値を（２）式
から（３）式で座標変換すれば、画像座標（ｘ_i,j ，ｙ
_i,j ）が求められる。この時、カメラ姿勢パラメータの
値は、前記の推定結果を用いる。

【００７２】現在時刻ｔ＝ｔ_k を単にｋで表す。時刻ｋ
の前処理結果画像Ｇ_k （ｘ，ｙ）の点（ｘ_i,j ，
ｙ_i,j ）の値を取り出して、時空間画像Ｈ_j （ｋ，ｉ）
を作成する。すなわち、 Ｈ_j （ｋ，ｉ）＝Ｇ_k （ｘ_i,j ，ｙ_i,j ） （３４） である。

【００７３】図７（ａ）〜（ｃ）に以上の様子を示す。
図７（ｃ）は、ｊ＝３すなわち中央線（途切れ線と仮
定）上の時空間画像の概念図を示した。

【００７４】時空間画像では、等速度で移動しているエ
ッジ点が直線状に現われる。そして、この直線の傾きが
見かけの移動量である。

【００７５】直線検出部２７では、時空間直線作成部２
５により作成された時空間画像から直線検出の手法によ
って、物体または路面上のエッジ点を切り出す。例え
ば、時刻ｋからｋ−Ｋまでの区間で Hough変換する。Ｋ
は例えば１秒である。 Hough平面をＰ_j （α，β）とす
ると、

【数２３】 で求められる。Ｐ_j （α，β）で、あるしきい値以上の
値をもつ点（α，β）があれば、直線が検出されたとみ
なす。βの値から点までの距離が求められ（＝Ｚ_i ，ｉ
＝β）、傾きβは見かけの速度と一致する。

【００７６】こうして見かけの移動速度が求まると、物
体検出部２９では、次のように物体検出と相対速度弁別
を行う。

【００７７】前述のように、見かけの速度（移動量）と
車速の関係から、物体を判別する。車速は車速計から求
めてもよいが、ここでは、中央線の移動量から求める手
法を説明する。

【００７８】中央線が途切れ線であるものとすると、図
７（ｃ）のように、一定の傾きをもつ直線群が検出され
る。よって、ｊ＝３における直線検出結果のαの値を車
速（の推定値）Ｖとする。

【００７９】ｊ≠３において直線が検出されなければ、
物体はないものと判断する。直線が検出された場合、そ
の傾きαの符号やＶとの比較から、 (1) αとＶとがほぼ等しい時、路面上の汚れや模様と判
断 (2) αの絶対値がＶの絶対値より大きい場合、静止また
は速い相対速度で接近する物体と判断 (3) αの符号とＶの符号とが逆の場合、遠ざかる物体と
判断 (4) 上記以外、ゆっくり近づく物体と判断 とする。

【００８０】上記(2) や(4) の場合、前述のように、β
の値から物体までの距離が求められる（＝Ｚ_i でｉ＝β
とおく）ので、距離に応じて警報したり、車速の自動制
御を行えばよい。

【００８１】

【発明の効果】以上のように、この発明は、道路の３次
元形状とカメラの対道路姿勢とを、予め計測することに
よって、画像中の物体のエッジ点の動きを、あたかも路
面上での３次元的動きとして計測し、計測された動き量
と車速とを比較することによって、路面上の文字や模様
などと、高さのある障害物とを弁別できる。さらに、動
く障害物でも、およその相対移動速度を知ることも可能
である。また、１台のカメラ信号を処理するのみである
ので、低コストで実現可能である。

【図面の簡単な説明】

【図１】本発明のクレーム対応図である。

【図２】本発明の一実施例に係わる車両用物体検出装置
の全体構成を概略的に示すブロック図である。

【図３】図２に示す車両用物体検出装置に使用される画
像処理部の詳細な構成を示すブロック図である。

【図４】図３に示す画像処理部に使用される座標系を示
す説明図である。

【図５】図３に示す線対応マッチング部における道路モ
デルと白線との線対応マッチングを示す説明図である。

【図６】物体検出の原理を示す図である。

【図７】時空間画像の一例を示す図である。

【符号の説明】

１０１ 撮像手段 １０２ 前処理手段 １０３ 道路モデル演算手段 １０４ 座標変換手段 １０５ 位置ずれ検出手段 １０６ 変化量演算手段 １０７ 更新手段 １０８ 見かけ移動速度計測手段 １０９ 物体判定手段

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08G 1/16 G01P 3/36 G06T 1/00 G08G 1/0968

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 車両の進行方向前方の道路を撮像する撮
   像手段と、 該撮像手段で撮像した画像から少なくとも白線又は障害
   物のエッジ部を表わす特徴を抽出する前処理手段と、道路形状 パラメータに基づいて３次元座標上で定義され
   た３次元道路モデルを演算する道路モデル演算手段と、 該道路モデル演算手段で演算された３次元道路モデルを
   前記撮像手段の姿勢パラメータに基づいて画像座標に変
   換する座標変換手段と、 前記前処理手段により抽出した前記少なくとも白線又は
   障害物のエッジ部を表わす特徴と前記座標変換手段で座
   標変換された前記３次元道路モデルとを比較して、両者
   間の位置ずれを検出する位置ずれ検出手段と、 該位置ずれ検出手段で検出した位置ずれから前記道路形
   状パラメータの変化量および前記撮像手段の姿勢パラメ
   ータの変化量を演算する変化量演算手段と、 前記両パラメータの変化量に基づき前記道路形状パラメ
   ータ及び前記姿勢パラメータを更新する更新手段と、 前記更新手段により更新された前記撮像手段の姿勢パラ
   メータに基づいて、前記エッジ部を表わす特徴の時間的
   移動を、前記３次元道路モデルで表わされる道路面上で
   の移動量に座標変換して前記画像中の特徴点の見かけの
   移動速度を計測する見かけ移動速度計測手段と、 該見かけ移動速度計測手段で計測された前記画像中の特
   徴点の見かけの移動速度を車速と比較して車両の進行方
   向前方に物体が存在するか否かを判定する物体判定手段
   とを有することを特徴とする車両用物体検出装置。
2. 【請求項２】 前記物体判定手段は、見かけの移動速度
   と車速とが同じ符号であるか逆の符号であるかに応じて
   各種物体の弁別を行うことを特徴とする請求項１記載の
   車両用物体検出装置。