JP2001043495A

JP2001043495A - ステレオ式車外監視装置

Info

Publication number: JP2001043495A
Application number: JP11216373A
Authority: JP
Inventors: Itaru Seta; 至瀬田
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 1999-07-30
Filing date: 1999-07-30
Publication date: 2001-02-16
Anticipated expiration: 2019-07-30
Also published as: JP3301995B2

Abstract

(57)【要約】【課題】走行路の路面状況を撮像画像から精度よく検出
することができるステレオ式車外監視装置を提供するこ
と【解決手段】撮像された画像対から道路の路面状況を検
出するステレオ式車外監視装置において、自車輌の前方
の景色を撮像することにより、一対の画像データを得る
一対のカメラ１，２と、画像データ対に映し出された対
象物の視差に基づいて、当該対象物の距離データを算出
するステレオ画像処理部６と、画像データと距離データ
とに基づいて、道路の三次元的な形状を認識する道路認
識部１０と、道路認識部１０により認識された道路の三
次元的な形状から設定された距離データ監視領域内に存
在する距離データのうち、道路の高さ方向において道路
の路面を含むような所定範囲内に存在する距離データの
数に基づいて、道路の路面状況を検出するフェール判定
部１２とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、走行している道路
の路面状況を検出するステレオ式車外監視装置に関す
る。

【０００２】

【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た一対の車載カメラ（ステレオカメラ）を用いた車外監
視装置が注目されている。この監視装置は、カメラによ
り撮像された一対の画像に基づいて、走行環境（例え
ば、車外の対象物と自車輌との間の距離等）を認識す
る。そして、必要に応じてドライバーに注意を喚起した
り、シフトダウンによる減速等の車輌制御を行うもので
ある。走行環境の具体的な認識手法としては、まず、画
像対に映し出された同一対象物の位置的なずれ（視差）
をステレオマッチング法により求める。そして、算出さ
れた視差から三角測量の原理を用いて、道路の三次元的
な形状（直線またはカーブ曲率）や先行車との車間距離
などを特定することができる。

【０００３】このようなステレオ式車外監視装置を実用
化するにあたっては、装置の安全動作を保証するため
に、路面状態や道路形状を的確に検出することが重要で
ある。ここで、一例として図３に示したような撮像画像
について考える。この画像は、最もポピュラーかつ理想
的な走行環境である乾いた舗装路を走行している状況
で、自車輌前方の景色を撮像した画像である。このよう
な状況を撮像した画像対から得られる距離データの出力
特性として、路面に相当する画像領域内には距離データ
が余り存在しないという傾向がある。通常、舗装路の輝
度は路面全体に渡ってほぼ均一である。したがって、路
面に記された白線を除く路面部分では、輝度エッジ（水
平方向で隣接した画素間における輝度の急激な変化）が
生じにくい。そして、距離データ（有効距離データ）は
輝度エッジが生じている箇所において出力されるため、
通常、距離データは、白線以外の路面部分では出力され
にくいという傾向がある。

【０００４】一方、図４は、先行車のタイヤによる圧雪
でわだち状に雪が存在する積雪路面（わだち雪）を走行
している状況で、図３と同一景色を撮像した画像であ
る。わだち雪が存在するような路面状況では、白線に起
因した輝度エッジ以外にわだち雪に起因した輝度エッジ
も多数存在する。その結果、乾いた舗装路を走行してい
る状況と異なり、路面部分に多数の距離データが算出さ
れる。また、砂利道を走行している状況もわだち雪と同
様の特性があり、路面の砂利の凹凸で輝度エッジが存在
するため、路面部分に多数の距離データが算出される。

【０００５】わだち状の積雪路面や砂利道のように、路
面部分に多数の距離データが算出されてしまうような路
面状況では、監視制御を的確に行うことが困難になる場
合がある。なぜなら、路面部分に出力された多数の距離
データのうち、どれが道路認識に必要となる白線に関す
る距離データなのかを特定することが困難だからであ
る。また、これらの路面状況は、乾いた舗装路と比べ
て、路面の摩擦係数μが著しく低下している。したがっ
て、摩擦係数μが低い路面状況で減速等を行う場合、車
輌がスリップしてしまわないように、通常制御時よりも
緩やかに車輌制動を行う必要がある。

【０００６】。ステレオ式車外監視装置の安全性を高い
次元で確保するという観点でいえば、上述したような路
面状況を的確に検出することが重要である。それととも
に、検出された路面の状況に応じてフェールセーフを含
めた適切な制御を行うことも重要である。なお、本明細
書でいう「フェールセーフ」とは、通常制御と異なる監
視制御を行うという広い概念である。したがって、通常
の監視制御を一時的に中断することはもとより、通常制
御時よりも緩やかな制動力を生じさせるような制御もこ
こでいう「フェールセーフ」の概念に含まれる。

【０００７】

【発明が解決しようとする課題】このように、ステレオ
式車外監視装置においては、路面の状況を的確に検出す
るための手法が確立されておらず、監視装置の安全性を
高い次元で確保するための課題が残されていた。

【０００８】そこで、本発明の目的は、走行路の路面状
況を撮像画像から精度よく検出することができるステレ
オ式車外監視装置を提供することである。

【０００９】また、本発明の別の目的は、走行路の路面
状況に必要に応じて適切な制御を行い得るステレオ式車
外監視装置を提供することである。

【００１０】

【課題を解決するための手段】かかる課題を解決するた
めに、本発明は、撮像された画像対から道路の路面状況
を検出するステレオ式車外監視装置において、自車輌の
前方の景色を撮像することにより、一対の画像データを
得るステレオ撮像手段と、画像データ対に映し出された
対象物の視差に基づいて、当該対象物の距離データを算
出する算出手段と、画像データと距離データとに基づい
て、道路の三次元的な形状を認識する認識手段と、認識
手段により認識された道路の三次元的な形状から設定さ
れた距離データ監視領域内に存在する距離データのう
ち、道路の高さ方向において道路の路面を含むような所
定範囲内に存在する距離データの数に基づいて、道路の
路面状況を検出する検出手段とを有するステレオ式車外
監視装置を提供する。

【００１１】ここで、上記の認識手段が、認識された道
路の三次元的な形状から自車輌の走行経路を予測した予
測走行線を算出する場合、距離データ監視領域は、予測
走行線を基準にして設定することが好ましい。すなわ
ち、距離データ監視領域は、予測走行線を基準として、
車幅方向において所定幅を有し、かつ、車長方向におい
て所定長を有するように設定される。また、上記の所定
範囲は、距離データ監視領域内において、予測走行線を
基準として、車高方向において所定幅を有するように設
定される。

【００１２】また、検出手段は、距離データの数が判定
値よりも大きい場合、フェールと判定することが好まし
い。

【００１３】さらに、検出手段は、有効距離データの数
に基づいて道路の路面状況を検出してもよい。ここで、
有効距離データは、画像の水平方向における輝度変化が
大きな輝度エッジを所定数以上有する対象物に関する距
離データである。

【００１４】一方、ステレオ撮像手段により撮像された
道路の少なくとも一部を含むように設定された画像デー
タ監視領域において、水平方向の輝度エッジの数を算出
するカウント手段をさらにもうけてもよい。この場合、
検出手段は、輝度エッジの数に応じて、異なる判定値を
用いることが好ましい。

【００１５】

【発明の実施の形態】図１は、本実施例にかかる車外監
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔でルームミラーの近傍に取り
付けられており、車輌前方の風景を撮像する。メインカ
メラ１は、ステレオ処理を行う際に必要な基準画像（右
画像）を撮像し、サブカメラ２は、この処理における比
較画像（左画像）を撮像する。互いの同期している状態
において、ステレオカメラ１，２から出力された各アナ
ログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝
度階調（例えば、２５６階調のグレースケール）のデジ
タル画像に変換される。デジタル化された画像は、画像
補正部５において、輝度の補正や画像の幾何学的な変換
等が行われる。通常、一対のカメラ１，２の取り付け位
置は、程度の差こそあれ誤差があるため、それに起因し
たずれが左右の画像に存在している。このずれを補正す
るために、アフィン変換等を用いて、画像の回転や平行
移動等の幾何学的な変換が行われる。このようにして補
正された基準画像および比較画像は、元画像メモリ８に
格納される。

【００１６】一方、ステレオ画像処理部６は、画像補正
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車輌から対象物まで
の距離を含む）を算出する。この距離は、４×４画素の
画素ブロック単位（対象物）で算出され、左右画像にお
ける同一対象物の位置に関する相対的なずれ（視差）か
ら、三角測量の原理に基づき算出することができる。こ
のようにして算出された画像の距離データは、距離デー
タメモリ７に格納される。

【００１７】マイクロ・コンピューター９は、元画像メ
モリ８および距離データメモリ７に格納された各情報、
並びにナビゲーション情報や各種センサ情報（図示せ
ず）に基づき、白線検出を含めた車輌前方の道路形状
（直線やカーブ形状）を認識する（道路認識部１０）。
また、それらに基づいて、車輌前方の立体物（走行車）
等も認識する（立体物認識部１１）。そして、処理部１
３は、これらの認識部１０，１１からの情報から警報や
車輌制御が必要と判定された場合、モニタやスピーカー
等の警報装置１９によりドライバーに対して注意を促し
たり、あるいは、必要に応じて、各種制御部１４〜１８
を制御する。例えば、ＡＴ（自動変速機）制御部１４に
対して、シフトダウンを実行する旨を指示する。また、
エンジン制御部１８に対してエンジン出力を低下する旨
を指示してもよい。その他にも、アンチロックブレーキ
システム（ＡＢＳ）制御部１５、トラクションコントロ
ールシステム（ＴＣＳ）制御部１６、或いは各車輪のト
ルク配分や回転数を制御する車輌挙動制御部１７に対し
て、適切な車輌制御を指示することも可能である。

【００１８】さらに、フェール判定部１２は、元画像メ
モリ８に記憶された画像データと、距離データメモリ７
に記憶された距離データと、道路認識部１０で算出され
た予測走行線Ｌとに基づいて、後述するルーチンにした
がってフェール判定を行う。フェール判定部１２からフ
ェールセーフが指示された場合、処理部１３はフェール
セーフを実行する。これにより、例えば、道路等の誤認
識にともなう装置の誤動作を防ぐために、上述した車輌
制御等が一時的に中断される。また、通常制御時よりも
緩やかな車輌制動力が生じるように、上記の制御部１４
〜１８の各種制動パラメータを変更する。

【００１９】図２は、本実施例にかかるフェールの判定
ルーチンを示したフローチャートである。このフローチ
ャートは、所定の制御周期ごとに繰り返し実行される。
このルーチンにより、現在の走行環境がフェール条件に
合致すると判断された場合、フェール判定部１２は処理
部１３に対して、フェールセーフを実行する旨指示す
る。

【００２０】まず、ステップ１において、フェール判定
部１２は、元画像メモリ８に記憶された画像データと、
距離データメモリ７に記憶された距離データと、道路認
識部１０にて算出された予測走行線Ｌとを読み込む。予
測走行線Ｌは、自車輌が進むべき走行経路を予測したラ
インであり、検出された白線（路面に記された中央線、
走行線あるいは路肩線等）を基本として、舵角やヨーレ
ート、或いは必要に応じてナビゲーション情報も考慮し
て算出される。予測走行線Ｌは、図８に示したように認
識された道路形状から算出される。以下、予測走行線Ｌ
の導出方法を概略的に説明する。

【００２１】まず、撮像画像対に映し出されたある対象
物（例えば道路や先行車）の視差ｄが算出されると、下
式に基づいて、その対象物までの距離Ｚを算出すること
ができる。ここで、ｒは、ステレオカメラ１，２間の取
り付け間隔、ｆはステレオカメラ１，２の焦点距離であ
る。

【００２２】

【数１】Ｚ＝（ｒ・ｆ）／ｄ

【００２３】撮像画像の二次元座標（ｉ，ｊ）は、図３
または図４に示したように、撮像画像の左下隅を原点と
して、水平方向をｉ座標軸、垂直方向をｊ座標軸とする
（単位は画素）。一方、自車輌を基準に設定された実空
間の三次元座標（Ｘ，Ｙ，Ｚ）は、ステレオカメラ１，
２の中央真下の道路面を原点として、車幅方向をＸ軸、
車高方向をＹ軸、車長方向をＺ軸とする。したがって、
走行路が水平ならば、ＸＺ平面（Ｙ＝０）は路面と一致
する。撮像画像に映し出された対象物の距離データ
（ｉ，ｊ，Ｚ）が特定されると、下式の座標変換式に基
づき、その三次元位置（Ｘ，Ｙ，Ｚ）も一意に特定する
ことができる。ここで、同式におけるＣＨは、ステレオ
カメラ１，２の取り付けた高さ（定数）、ｒはステレオ
カメラ１，２の取り付け間隔（定数）、ＰＷは１画素当
たりの視野角（定数）、そして、ＩＶ、ＪＶは車輌の真
正面における無限遠点の画像上のｉまたはｊ座標の値
（定数）である。

【００２４】

【数２】Ｘ＝ｒ／２＋Ｚ・ＰＷ・（ｉ−ＩＶ）Ｙ＝ＣＨ − Ｚ・ＰＷ・（ｊ−ＪＶ）

【００２５】なお、実空間の三次元座標（Ｘ、Ｙ、Ｚ）
から撮像画像の二次元位置（ｉ，ｊ）への変換式は下式
のようになる。

【００２６】

【数３】ｉ＝（Ｘ−ｒ／２）／（Ｚ・ＰＷ）＋ＩＶｊ＝（ＣＨ−Ｙ）／（Ｚ・ＰＷ）＋ＪＶ

【００２７】道路認識部１０は、道路と先行車とが重な
って映し出されている場合、先行車や白線の位置情報
（高さＹ）を利用して白線だけを分離して抽出すること
で、「道路形状の認識」を行う。三次元空間において白
線は路面位置にあり（理想的な状態ではＹ＝０）、先行
車などの立体物は路面よりも高い位置にある（理想的な
状態ではＹ＞０）。したがって、路面の高さ、すなわち
Ｙ座標の値が特定できれば、白線と立体物とを区別する
ことができる。ここで、「道路形状の認識」とは、道路
形状を表現した関数（道路モデル）の各パラメータを、
実際の道路形状と合致するように設定することである。
本実施例における道路モデルは、認識範囲（例えばカメ
ラ位置から車輌前方８４ｍ先まで）の走行路における左
右の白線（サイドライン）を、所定区間ごとに三次元の
直線式で近似し、これを折れ線状に連結することにより
表現される。図８の例では、認識範囲を所定の距離（Ｚ
１〜Ｚ７）ごとに７つの区間に分けて、それぞれの区間
において、下式で近似された直線式のパラメータａ，
ｂ，ｃ，ｄがサイドライン毎に導出される。そして、左
右のサイドラインで挟まれた領域が走行路（路面）に相
当する。なお、この道路モデルは、車幅方向（Ｘ方向）
のみならず、車高方向（Ｙ方向）の直線式をも有してい
るため、道路の勾配や凹凸といった上下方向における道
路形状も表現している。

【００２８】

【数４】（左サイドライン）Ｘ＝ａ_L・Ｚ＋ｂ_L Ｙ＝ｃ_L・Ｚ＋ｄ_L （右サイドライン）Ｘ＝ａ_R・Ｚ＋ｂ_R Ｙ＝ｃ_R・Ｚ＋ｄ_R

【００２９】このようにして算出された左右のサイドラ
インから予測走行線Ｌを算出することができる。予測走
行線Ｌは、走行路の中央線、すなわち、数式４により近
似された左右のサイドラインの中間線として求めること
ができる。このようにして算出された予測走行線Ｌがフ
ェール判定部１２に出力される。

【００３０】ステップ１に続き、ステップ２からステッ
プ５において、画像データ監視領域Ｒ１における輝度エ
ッジの数Ｎ１がカウントされる。図５は、撮像画像中に
設定された画像データ監視領域Ｒ１を説明するための図
である。２００×５１２画素のサイズを有する撮像画像
のうち、図示したように画像下側において水平方向に延
在する横長矩形領域を画像データ監視領域Ｒ１とする。
路面の輝度変化に関する状態は、この監視領域Ｒ１に基
づいて判断される。そのため、監視領域Ｒ１は、撮像さ
れた画像のうち道路が映し出される領域を含むように設
定される必要がある。その際、撮像画像のなるべく下側
に監視領域Ｒ１を設定することが好ましい。通常、自車
輌は、先行車とある程度の車間距離をおいて走行してい
るため、先行車は二次元平面である撮像画像の比較的上
側に映し出される傾向がある。したがって、撮像画像の
なるべく下側に監視領域Ｒ１を設定すれば、先行車によ
って路面がマスクされてしまう状況を避けることがで
き、路面状態を正確にモニタリングすることができる。
また、監視領域Ｒ１は、図３に示したように、走行車線
の中央線や走行車線、或いは路肩線といった走行路の両
端部（すなわちエッジ）よりも外側の状況を含む程度に
水平方向に延在させている。なお、上記エッジが撮像画
像の左右に振れるような走行状況（例えばカーブ走行時
等）を見越して、その分だけ監視領域Ｒの水平長を長め
に設定しておく。

【００３１】このように設定された画像データ監視領域
Ｒ１内に存在するある対象画素Ｔに関して、画像の水平
方向（横方向）の輝度変化量Δχが算出される。図６
は、画像データ監視領域Ｒ１における水平方向の輝度エ
ッジを判定する方法を説明するための図である。まず、
監視領域Ｒ１内に存在するある対象画素Ｔに関して、輝
度変化量Δχを算出する。輝度変化量Δχは、対象画素
Ｔの左側で近接した２画素（画素ブロック）の輝度和と
右側で近接した２画素（画素ブロック）の輝度和との差
（絶対値）である。この算出手法では、左右の画素ブロ
ックを比較単位として輝度変化を見ているため、対象画
素Ｔに関する水平方向のエッジ状態を的確に反映した値
を求めることができる。

【００３２】つぎに、ステップ２において算出された輝
度変化量Δχが所定のしきい値Δχth（例えば日中では
３０）よりも大きいか否か、すなわち、対象画素部で輝
度エッジが生じているか否かが判断される（ステップ
３）。この輝度エッジの有無を判定するしきい値Δχth
の値に関して、輝度変化が生じにくくなる夜間等では、
エッジ判定基準を緩和するために日中よりも小さな値
（例えば２０）を用いる。このステップで肯定判定され
た場合、すなわち対象画素Ｔで輝度エッジが生じている
場合は、輝度エッジ数Ｎ１に１をインクリメントして
（ステップ４）、ステップ５に進む。一方、ステップ３
で否定判定された場合は、ステップ４を経ることなくス
テップ５へ進む。そして、ステップ５において、監視領
域Ｒ１内のすべての画素Ｔに関して輝度変化量Δχが算
出されたか否かが判断される。このステップで否定判定
された場合は、ステップ２へ戻り、すべての画素が探索
されるまで同様の手順が繰り返し実行される。その結
果、監視領域Ｒ１内に存在するすべての画素を対象に輝
度エッジの有無が判断され、監視領域Ｒ１における輝度
エッジの個数Ｎ１が算出される。これにより、監視領域
Ｒ１全体における水平方向の輝度変化の状態を評価する
ことができる。

【００３３】ステップ５に続くステップ６以降は、距離
データの出力数を評価する手順である。まず、ステップ
６において、距離データの出力数をカウントする対象範
囲を距離データ監視領域Ｒ２として設定する。図７は、
距離データ監視領域Ｒ２を説明するための図である。こ
の監視領域Ｒ２は、演算量の増加を抑えるために、道路
認識部１０で算出された予測走行線Ｌ（ステップ１）を
基準として、自車輌の前方（車長方向）４０ｍ、左右の
幅（車幅方向）をそれぞれ２ｍとして設定される。な
お、図７は、予測走行線ＬをＺ方向に直線状に延在して
図示しているが、カーブにおいて予測走行線ＬはＸ方向
への変位量をもつ。

【００３４】つぎに、ステップ７において、距離データ
監視領域Ｒ２中のドライデータ領域における距離データ
の出力数（以下ドライデータ数ＤＲＹという）がカウン
トされる。ドライデータ数ＤＲＹとは、路面の輝度変化
により生じた距離データの数である。図９は、距離デー
タ監視領域Ｒ２内における距離データの分布を説明する
ための図である。なお、同図は、予測走行線Ｌの車高方
向（Ｙ方向）の変位をＺ軸上に正規化して図示してい
る。上述した数式２の変換式から、距離データ（ｉ，
ｊ，Ｚ）は、実空間の三次元座標（Ｘ、Ｙ、Ｚ）に変換
でき、両者は一対一の関係にある。そこで、距離データ
をその高さ（Ｙ値）に基づいて以下の３つに分類するこ
とができる。

【００３５】（１）立体物データ領域立体物データは、先行車などの立体物に起因して算出さ
れた距離データである。理想的な状態では、立体物まで
の距離を示す距離データを、数式２で変換するとＹ＞０
（すなわち路面より上側）となる。しかしながら、実際
の走行環境では、自車輌のピッチングや走行路の起伏に
より、白線等の距離データがＹ＞０となることがある。
そこで、このような点を考慮して、立体物データが出力
される立体物データ領域をＹ＞０．３ｍとして設定す
る。

【００３６】（２）ドライデータ領域ドライデータは、走行路の路面（白線、路面のわだち、
砂利等）に起因して算出された距離データである。理想
的な状態では、白線等の距離データを数式２で変換する
とＹ＝０（すなわち路面）となる。しかしながら、上述
したように実際の走行環境では、ピッチング等の影響に
より、そのような距離データが高さ方向に正や負の値を
有することがあるので、−０．４ｍ≦Ｙ≦０．３ｍの領
域をドライデータ領域として設定する（図９においてド
ライデータ領域をハッチングで図示）。

【００３７】（３）ウエットデータ領域雨等により濡れた路面では立体物が路面に写り込むこと
があり、それに起因して算出された距離データがウエッ
トデータである。この偽りの距離データは理想的な状態
ではＹ＜０となるが、実際の走行環境を考慮して、Ｙ＜
−０．４ｍの領域をウエットデータ領域として設定す
る。

【００３８】したがって、ステップ７で算出されるドラ
イデータ数ＤＲＹは、予測走行線Ｌを基準（原点）とし
て、車高、車幅、車長方向に関してそれぞれ以下の条件
を満たす範囲内における距離データの個数として算出さ
れる。

【００３９】（ドライデータの条件）車幅方向幅： −２ ≦ Ｘ ≦ ２車高方向幅：−0.4 ≦ Ｙ ≦ 0.3 車長方向長：０ ≦ Ｚ ≦ ４０

【００４０】なお、ノイズ的な距離データをカウント対
象から除くために、距離データ監視領域Ｒ２内の有効距
離データだけをカウント対象とすることが好ましい。有
効距離データは、画像の水平方向の輝度エッジを所定数
以上有する画素ブロックに関する距離データである。図
１０は、距離データの算出単位である画素ブロックに関
する水平方向の輝度エッジの算出手法を説明するための
図である。距離データは、４×４の画素ブロック単位で
算出される。この画素ブロックにおいて、まず、水平方
向に隣接した画素対の輝度変化量（絶対値）ΔＰを算出
する。ただし、一番左側の画素列（Ｐ₁₁，Ｐ₁₂，Ｐ₁₃，
Ｐ₁₄）に関しては、１つ左側に隣接した画素ブロックの
一番右側の画素列から輝度変化量ΔＰを算出する。した
がって、１つの画素ブロックに関して１６個の輝度変化
量ΔＰが算出される。つぎに、これらの１６個の輝度変
化量ΔＰのうち、所定のしきい値（これをＤＣＤＸ値と
呼ぶ）以上のものの数をカウントする。このＤＣＤＸ値
は、３から７の範囲において適切に設定される。そし
て、このＤＣＤＸ値以上の輝度変化量ΔＰの数が４つ以
上の画素ブロックを有効ブロックとし、その有効ブロッ
クに関する距離データを有効距離データとする。路面状
況の評価は、距離データ監視領域Ｒ２内に存在するすべ
ての距離データに基づいて行うのではなく、水平方向の
輝度変化量が大きな画素ブロックに関する距離データ
（有効距離データ）のみを用いている。これにより、ノ
イズ的な距離データを除外できるため、路面状況の評価
に関する精度を向上させることができる。

【００４１】ステップ７に続くステップ８において、ス
テップ４で算出された画像データ監視領域Ｒ１の輝度エ
ッジ数Ｎ１が所定値（例えば２４）以上であるか否かが
判断される。このステップでの判断を設けた理由は、後
のステップ９やステップ１１におけるドライデータ数Ｄ
ＲＹの大きさ判定に関して、輝度エッジ数Ｎ１に応じて
異なる判定しきい値を適用するためである。

【００４２】ステップ８で肯定判定された場合はステッ
プ９に進み、ステップ７で算出されたドライデータ数Ｄ
ＲＹが所定の判定値（例えば４００）以上であるか否か
が判断される。例えば、白線のある舗装路を走行してい
る走行環境では、大きな輝度変化を有する白線が画像デ
ータ監視領域Ｒ１に映し出されるため、輝度エッジ数Ｎ
１は通常２４個以上になる。この場合、白線に起因して
算出された距離データ監視領域Ｒ２内のドライデータ数
ＤＲＹは、それほど多くならないという特性がある（実
験した結果５０〜２００位）。そこで、通常の状態では
それを越えることのないような判定しきい値（例えば４
００）を設定し、それとドライデータ数ＤＲＹとを比較
すれば、路面に関する距離データが適切に出力されてい
るか否かを判定することができる（ステップ９）。すな
わち、このステップで否定判定された場合は、ステップ
１２に進み、正常な状態であるとしてフェールフラグＮ
Ｇを０にセットし、リターンへ進む。一方、ステップ９
で肯定判定された場合、本来の路面状況ではあり得ない
数の距離データが算出されており異常であると判断し
て、フェールフラグＮＧを１にセットする（ステップ１
０）。このようなケースとしては、例えばノイズが制御
装置中の信号に乗ってしまった場合などが想定される。

【００４３】一方、ステップ８で否定判定された場合は
ステップ１１に進み、ステップ７で算出されたドライデ
ータ数ＤＲＹが所定の判定値（例えば７００）以上であ
るか否かが判断される（ステップ１１）。例えば、わだ
ち雪が存在するような路面状況では、大きな輝度変化を
有する白線が雪でマスクされてしまう。わだちのエッジ
部で輝度変化は生じるものの、白線ほどその変化量は大
きくない（すなわち輝度変化量Δχがしきい値Δχthを
越えにくい）。そのため、通常、輝度エッジ数Ｎ１は２
４個を越えにくい。同様に、砂利道では、白線自体が存
在しないことが多く、また、砂利の凹凸による輝度変化
は比較的小さいので、通常、輝度エッジ数Ｎ１が２４個
を越えることはない。しかしながら、これらの場合、わ
だちや砂利に起因して距離データ監視領域Ｒ２に、多数
のドライデータが存在するという特性がある。そこで、
わだち雪や砂利といった状況でのみ、それを越えるよう
な判定しきい値（例えば７００）を設定し、それとドラ
イデータ数ＤＲＹとを比較すれば、わだち雪や砂利道を
検出することができる（ステップ１１）。すなわち、こ
のステップで否定判定された場合（例えば、白線のない
舗装路のような通常の路面状況が該当）、正常な状況で
あると判断して、ステップ１２に進み、フェールフラグ
ＮＧを０にセットする。これに対して、ステップ１１で
肯定判定された場合、わだち状の積雪路面や砂利道のよ
うにフェールセーフすべき状況であると判断して、フェ
ールフラグＮＧを１にセットする（ステップ１０）。

【００４４】フェール判定部１２によりフェールセーフ
が指示された場合、処理部１３はフェールセーフを実行
する。フェールセーフとして、例えば、通常の監視制御
を一時的に中断してもよい。また、クルーズコントロー
ルがセットされている場合に、それを止めるような制御
を行うようにしてもよい。さらに、通常制御時よりも緩
やかな制動力を発揮するような車輌制御を行ってもよ
い。

【００４５】以上の説明からわかるように、本実施例に
かかるステレオ式車外監視装置は、道路が存在するであ
ろうと予測される撮像画像の所定領域に距離データ監視
領域Ｒ２を設定し、この監視領域Ｒ２内に存在する距離
データに関して、高さ方向の分布を評価している。すな
わち、距離データから三次元空間における高さ（Ｙ方向
の値）を算出し、路面状況に起因した距離データ（有効
距離データ）の出力数をカウントしている。わだち状の
積雪路面や砂利道では、白線がある通常の舗装路等と比
べて、多数の距離データが路面位置の近傍に算出される
という特性がある。このような特性に鑑み、監視領域Ｒ
２内にドライデータが多数存在する場合、わだち状の積
雪路面等であると推定している。

【００４６】また、路面の輝度エッジをモニタリングす
るために、二次元的な平面である撮像画像において、路
面が映し出される特定領域を画像データ監視領域Ｒ１と
して設定している。そして、この監視領域Ｒ１の輝度エ
ッジ数を評価している。わだち状の積雪路面や砂利道で
は、白線がある通常の舗装路等と比べて、輝度エッジ数
が少なくなるという特性がある。このような特性に鑑
み、ドライデータ数を評価する判定しきい値を輝度エッ
ジの数に応じて変えている。これにより、路面状況を一
層精度よく検出することが可能となる。なお、発明者が
実際に走行テストを繰り返した結果、以上の判定手順で
良好な判定結果を得られることが確認できた。

【００４７】さらに、このような検出結果を生かした制
御（フェールセーフを含む）を行えば、車外監視装置の
安全性を一層高い次元で確保することが可能となる。ま
た、本実施例は、少ない演算量でフェール判定を行うこ
とができるという効果もある。

【００４８】なお、車外監視の信頼性および制御の安定
性の双方を確保する観点でいえば、ステップ９またはス
テップ１１においてドライデータ数ＤＲＹが判定しきい
値以上になるような状況が複数の制御周期に渡って継続
した場合に（例えば１０秒相当）、フェールフラグＮＧ
を１にセットすることが好ましい。同様の観点から、ド
ライデータ数ＤＲＹが判定しきい値未満になるような状
況が複数の制御周期に渡って継続したならば（例えば６
０秒相当）、フェールフラグＮＧを０にセットする。

【００４９】また、フェール状況の検出精度を向上させ
るために、上記のフェール判定ルーチンは走行状況に応
じて実行するようにしてもよい。例えば、自車輌と先行
車との車間距離が１３ｍ以上、車速が２０km/h以上、か
つ、舵角±２３°以下の場合のみフェール判定を実行す
る。先行車との車間距離が短い場合、ドライデータの大
半が先行車によってマスクされてしまうため、路面状況
を精度よく検出することが困難となる。また、特に、各
フレーム毎にウェットデータ率ＲＴを算出し、所定のフ
レーム間隔でその評価を行う手法を用いた場合におい
て、車速が低いとフェール判定精度が低下してしまう可
能性がある。車速が低い場合は自車輌の移動量の少ない
ので、局所的な路面しか監視対象にならない。この局所
的な路面が、偶然、フェール状況に合致してしまうよう
な未想定の状態である場合、適切でないフェール判定が
なされてしまうおそれがある。車速が高いことをフェー
ル判定の実行条件とすれば、このような路面が局所的に
存在したとしても、誤ってフェールと判定してしまうこ
とを回避できる。さらに、舵角を考慮した理由は、カメ
ラの視野に入る景色のパターンをある程度限定すること
で、判定精度を向上させるためである。

【００５０】さらに、撮像画像に基づく路面状況の判定
結果にくわえて、外気温センサから得られる外気温度を
考慮すれば、雪の有無を一層正確に推定することが可能
となる。

【００５１】

【発明の効果】このように、本発明では、路面の状況を
撮像画像から精度よく検出することができる。また、路
面状況に応じて適切な制御を行うことが可能となる。そ
れにより、ステレオ式車外監視装置の安全性をより高い
次元で確保することが可能となる。

【図面の簡単な説明】

【図１】実施例にかかる車外監視装置のブロック図

【図２】実施例にかかるフェール判定ルーチンを示した
フローチャート

【図３】道路にわだち雪が存在しない走行状況を撮像し
た画像の一例を示した図

【図４】わだち雪が存在する走行状況を撮像した画像の
一例を示した図

【図５】画像領域中に設定された画像データ監視領域を
説明するための図

【図６】画像データ監視領域の水平方向の輝度エッジ判
定方法を説明するための図

【図７】距離データ監視領域を説明するための図

【図８】予測走行線を説明するための図

【図９】距離データ監視領域の距離データの分布を説明
するための図

【図１０】距離データの算出単位である画素ブロックに
関する水平方向の輝度エッジの算出手法を説明するため
の図

【符号の説明】

１メインカメラ、２サブカメラ、３，
４Ａ／Ｄコンバータ、５画像補正部、６ステ
レオ画像処理部、７距離データメモリ、８元
画像メモリ、９マイクロ・コンピュータ
ー、１０道路認識部、１１立体物認識
部、１２フェール判定部、１３処理部、１
４ＡＴ制御部、１５ＡＢＳ制御部、１
６ＴＣＳ制御部、１７車輌挙動制御、１
８エンジン制御部、１９警報装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０１Ｂ 11/00 Ｇ０１Ｂ 11/00 Ｈ５Ｈ１８０ 11/245 Ｇ０１Ｃ 3/06 Ｖ 11/24 Ｇ０８Ｂ 21/00 ＵＧ０１Ｃ 3/06 ＥＧ０８Ｂ 21/00 Ｈ０４Ｎ 7/18 ＪＧ０１Ｂ 11/24 ＮＨ０４Ｎ 7/18 ＫＦターム(参考） 2D053 AA32 FA02 2F065 AA04 AA06 AA53 AA56 BB05 BB12 BB13 CC11 CC40 EE08 EE09 FF05 FF09 JJ03 JJ05 JJ26 NN17 NN20 PP01 QQ00 QQ03 QQ08 QQ17 QQ23 QQ24 QQ25 QQ26 QQ27 QQ28 QQ51 SS09 2F112 AC06 CA05 DA02 FA03 FA07 FA09 FA14 FA21 5C054 AA02 CC02 CH01 EB05 EB07 ED01 FC11 FD01 FD02 FF05 FF06 FF07 HA30 5C086 AA60 BA22 CA24 CA28 CB36 DA27 DA33 EA11 EA15 EA40 EA41 EA45 FA06 FA18 5H180 AA01 CC04 CC24 LL01 LL04 LL06 LL09

Claims

【特許請求の範囲】

【請求項１】撮像された画像対から道路の路面状況を検
出するステレオ式車外監視装置において、自車輌の前方の景色を撮像することにより、一対の画像
データを得るステレオ撮像手段と、前記画像データ対に映し出された対象物の視差に基づい
て、当該対象物の距離データを算出する算出手段と、前記画像データと前記距離データとに基づいて、道路の
三次元的な形状を認識する認識手段と、前記認識手段により認識された前記道路の三次元的な形
状から設定された距離データ監視領域内に存在する前記
距離データのうち、前記道路の高さ方向において前記道
路の路面を含むような所定範囲内に存在する前記距離デ
ータの数に基づいて、前記道路の路面状況を検出する検
出手段とを有することを特徴とするステレオ式車外監視
装置。
【請求項２】前記認識手段は、認識された前記道路の三
次元的な形状から自車輌の走行経路を予測した予測走行
線を算出すると共に、前記距離データ監視領域は、前記予測走行線を基準とし
て、車幅方向において所定幅を有していると共に、車長
方向において所定長を有していることを特徴とする請求
項１に記載されたステレオ式車外監視装置。
【請求項３】前記所定範囲は、前記距離データ監視領域
内において、前記予測走行線を基準として、車高方向に
おいて所定幅を有していることを特徴とする請求項２に
記載されたステレオ式車外監視装置。
【請求項４】前記検出手段は、前記距離データの数が判
定値よりも大きい場合、フェールと判定することを特徴
とする請求項１に記載されたステレオ式車外監視装置。
【請求項５】前記検出手段は、有効距離データの数に基
づいて前記道路の路面状況を検出し、前記有効距離データは、画像の水平方向における輝度変
化が大きな輝度エッジを所定数以上有する対象物に関す
る距離データであることを特徴とする請求項１に記載さ
れたステレオ式車外監視装置。
【請求項６】前記ステレオ撮像手段により撮像された道
路の少なくとも一部を含むように設定された画像データ
監視領域において、水平方向の輝度エッジの数を算出す
るカウント手段をさらに有し、前記検出手段は、前記輝度エッジの数に応じて、異なる
前記判定値を用いることを特徴とする請求項４に記載さ
れたステレオ式車外監視装置。