JP2001043352A - フェールセーフ機能を有する車外監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 走行環境の認識が困難な路面状況を、撮像画
像から精度よく検出すること。 【解決手段】 フェールと判定された場合にフェールセ
ーフを行う車外監視装置において、一対のカメラ１，２
と、これらのカメラ１，２により得られた撮像画像中の
所定領域に設定された監視領域における画像データに基
づいて、監視領域の水平方向に関する輝度エッジの数
と、監視領域の全体的な輝度の大きさを算出する算出手
段と、輝度エッジの数が判定数よりも少なく、かつ、全
体的な輝度の大きさが判定値よりも大きい場合に、フェ
ールと判定するフェール判定部１２とを有する。ここ
で、監視領域は、撮像画像に映し出された路面の一部を
含むように水平方向に延在しており、かつ、撮像画像に
映し出された走行路の両端の外側を含むように水平方向
に延在している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像画像から道路
認識が困難な路面状況、特に、路面全体に雪（一面雪）
が存在するような状況を撮像画像から検出し、フェール
セーフを行う車外監視装置に関する。

【０００２】

【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た車載カメラを用いた車外監視装置が注目されている。
この装置は、車載カメラにより撮像された画像に基づい
て、走行環境（例えば、走行路、或いは車外の対象物と
自車輌との間の距離等）を認識し、必要に応じてドライ
バーに注意を喚起したり、シフトダウンによる減速等の
車輌制御を行うものである。例えば、ステレオカメラ方
式による距離計測技術を用いて走行環境の認識を行う場
合、撮像された画像対における同一物の位置的な差（視
差）を求め、三角測量の原理を用いて、対象物までの距
離（距離情報）を得ることができる。

【０００３】このような車外監視装置を実用化するにあ
たっては、装置の安全動作を保証するために、フェール
セーフ機能を設ける必要がある。この類の装置で検出す
べきフェールの一つとして、走行路の一面に渡って雪が
積もっているような状況（一面雪）が挙げられる。道路
一面に雪が存在すると、路面に記された中央線、走行車
線、或いは、路肩線等が雪で覆われてしまう。そのた
め、車外の状況を把握（特に道路認識）するのに十分な
画像情報を得ることができず、的確な監視制御を行うこ
とが困難になる場合がある。

【０００４】また、路面に雪が存在するような状況で
は、ドライな路面と比べて、路面の摩擦係数が著しく低
下している。したがって、このような路面状態で減速等
の車輌制御を行う場合、車輌がスリップしてしまわない
ように、通常制御よりも緩やかな制動力で車輌を制御す
ることが求められる。

【０００５】車外監視装置の安全性を高い次元で確保す
るという観点でいえば、一面雪のような走行環境では、
フェールセーフ機能を働かせる必要がある。なお、本明
細書でいう「フェールセーフ」とは、通常制御と異なる
監視制御を行うという広い概念である。したがって、通
常の監視制御を一時的に中断することはもとより、通常
制御よりも緩やかな制動力で車輌制御を行うような制御
も、ここでいう「フェールセーフ」の概念に含まれる。

【０００６】

【発明が解決しようとする課題】従来、車外監視装置の
実用化において不可欠なフェールセーフ機能が確立され
ておらず、装置の安全性を高い次元で確保するための課
題が残されていた。

【０００７】そこで、本発明の目的は、走行環境の認識
が困難な路面状況を、撮像画像から精度よく検出するこ
とである。

【０００８】また、本発明の別の目的は、路面状況に応
じた適切な監視制御を行うことで、車外監視装置の安全
性を高い次元で確保することである。

【０００９】

【課題を解決するための手段】かかる課題を解決するた
めに、本発明は、フェールと判定された場合にフェール
セーフを行う車外監視装置において、車外の景色を撮像
する撮像手段と、撮像手段により得られた撮像画像中の
所定領域に設定された監視領域における画像データに基
づいて、監視領域の水平方向に関する輝度エッジの数
と、監視領域の全体的な輝度の大きさを算出する算出手
段と、輝度エッジの数が判定数よりも少なく、かつ、全
体的な輝度の大きさが判定値よりも大きい場合に、フェ
ールと判定する判定手段とを有する。ここで、監視領域
は、撮像画像に映し出された路面の一部を含むように水
平方向に延在しており、かつ、撮像画像に映し出された
走行路の両端の外側を含むように水平方向に延在してい
る。

【００１０】ここで、上記の構成に車輌の制動力を制御
する制御手段をさらに加えてもよい。この制御手段は、
フェールと判定された場合、通常制御において発揮され
る制動力よりも緩い制動力で車輌制御を行うようにして
もよい。

【００１１】

【発明の実施の形態】図１は、本実施例にかかる車外監
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔で取り付けられており、車輌
前方の風景を撮像する。メインカメラ１は、ステレオ処
理を行う際に必要な基準画像（右画像）を撮像し、サブ
カメラ２は、この処理における比較画像（左画像）を撮
像する。互いの同期している状態において、カメラ１，
２から出力された各アナログ画像は、Ａ／Ｄコンバータ
３，４により、所定の輝度階調（例えば、２５６階調の
グレースケール）のデジタル画像に変換される。デジタ
ル化された画像は、画像補正部５において、輝度の補正
や画像の幾何学的な変換等が行われる。通常、一対のカ
メラ１，２の取付位置は、程度の差こそあれ誤差がある
ため、それに起因したずれが左右の画像に存在してい
る。このずれを補正するために、アフィン変換等を用い
て、画像の回転や平行移動等の幾何学的な変換が行われ
る。このようにして補正された基準画像および比較画像
は、元画像メモリ８に格納される。

【００１２】一方、ステレオ画像処理部６は、画像補正
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車輌から対象物まで
の距離を含む）を算出する。この距離は、左右画像にお
ける同一対象物の位置に関する相対的なずれから、三角
測量の原理に基づき算出することができる。このように
して算出された画像の距離情報は、距離データメモリ７
に格納される。

【００１３】マイコン９は、元画像メモリ８および距離
データメモリ７に格納された各情報に基づき、車輌前方
の道路状態等を認識したり（道路認識部１０）、車輌前
方の立体物（走行車）等を認識する（立体物認識部１
１）。そして、処理部１３は、これらの認識部１０，１
１からの情報から警報が必要と判定された場合、モニタ
やスピーカー等の警報装置１９によりドライバーに対し
て注意を促したり、或いは、必要に応じて、各種制御部
１４〜１８を制御する。例えば、ＡＴ（自動変速機）制
御部１４に対して、シフトダウンを実行する旨を指示す
る。また、エンジン制御部１８に対してエンジン出力を
低下する旨指示してもよい。その他にも、アンチロック
ブレーキシステム（ＡＢＳ）制御部１５、トラクション
コントロールシステム（ＴＣＳ）制御部１６、或いは、
各車輪のトルク配分や回転数を制御する車輌挙動制御部
１７に対して、適切な車輌制御を指示することも可能で
ある。

【００１４】さらに、フェール判定部１２は、元画像メ
モリ８に記憶された元画像情報に基づいて、後述するル
ーチンにしたがってフェール判定を行う。フェールと判
定されている期間、すなわち、後述するフェール判定ル
ーチンによりフェールフラグＮＧが１にセットされてい
る期間は、処理部１３によりフェールセーフが実行され
る。例えば、道路の認識が困難な状況下における装置の
誤動作を防ぐために、上述した車輌制御等が一時的に中
断される。また、通常制御時よりも緩やかな車輌制動力
が生じるように、上記の制御部１４〜１８の各種制動パ
ラメータを変更する。

【００１５】図２は、一面雪によるフェールの判定ルー
チンを示したフローチャートである。このフローチャー
トは、所定の制御周期（例えば１００ｍｓ）ごとに繰り
返し実行される。このルーチンにより、フェールフラグ
ＮＧが１にセットされた場合、フェール判定部１２は、
処理部１３に対してその旨を指示し、処理部１３は本車
外監視装置のフェールセーフを実行する。

【００１６】まず、ステップ１においてフェール判定部
１２は、監視領域Ｒ内の画像データを読み込む。図３
は、画像領域中に設定された監視領域Ｒを説明するため
の図である。２００×５１２画素のサイズを有する画像
領域のうち、図示したように画像下側において水平方向
に延在する矩形領域を監視領域Ｒとする。路面全体に渡
って雪が積もっているか否かの判定は、この監視領域Ｒ
に基づいて行われる。そのため、監視領域Ｒは、撮像さ
れた画像のうち道路が映し出される領域を含むように設
定する必要がある。その際、なるべく撮像画像の下側に
監視領域Ｒを設定することが好ましい。通常、自車輌
は、先行車とある程度の車間距離をおいて走行している
ため、先行車は二次元平面である撮像画像の比較的上側
に映し出される傾向がある。したがって、撮像画像のな
るべく下側に監視領域Ｒを設定すれば、先行車によって
路面がマスクされてしまう状況を避けることができ、路
面状態を正確にモニタリングすることができる。また、
監視領域Ｒは、図３に示したように、路面に記された中
央線、走行車線、或いは路肩線といった走行路の両端部
（すなわちエッジ）よりも外側の状況を含む程度に水平
方向に延在させておく必要がある。なお、上記エッジが
撮像画像の左右に振れるような走行状況（例えばカーブ
走行時等）を見越して、その分だけ監視領域Ｒの水平長
を長めに設定しておく。

【００１７】ステップ１に続くステップ２において、監
視領域Ｒ内のエッジ数Ｎがカウントされる。図４は、監
視領域Ｒのエッジ算出方法を説明するための図である。
まず、監視領域Ｒ内に存在するある対象画素Ｔに関し
て、輝度変化量Δχを算出する。輝度変化量Δχは、対
象画素Ｔの左側で近接した２画素（画素ブロック）の輝
度和と右側で近接した２画素（画素ブロック）の輝度和
との差（絶対値）である。この算出手法では、左右の２
画素ブロックを比較単位として輝度変化を見ているた
め、対象画素Ｔの水平方向エッジの状態を的確に反映し
た値を求めることができる。このような輝度変化量Δχ
を、監視領域Ｒ内に存在するすべての画素について算出
していく。これにより、監視領域Ｒ全体における水平方
向の輝度変化の状態を把握することができる。

【００１８】次に、監視領域Ｒ内の画素数分算出された
輝度変化量Δχのうち、所定のしきい値Δχth（例えば
日中では３０）よりも大きな値を有するものの個数を求
める。このしきい値Δχthに関して、輝度変化が生じに
くくなる夜間等においては、エッジの判定基準を緩和す
べく、日中よりも小さな値（例えば２０）を用いる。そ
して、そのしきい値Δχthよりも大きい輝度変化量Δχ
を有する対象画素の個数をエッジ数Ｎとしてカウントす
る。

【００１９】ステップ２に続くステップ３において、監
視領域Ｒ内のすべての画素の輝度値の平均、すなわち、
平均輝度Ａが算出される。

【００２０】そして、ステップ２において算出されたエ
ッジ数Ｎが、適切に設定された判定数Ｎthよりも少なく
（ステップ４）、かつ、ステップ３において算出された
平均輝度Ａが、適切に設定された判定しきい値Ａthより
も大きい場合（ステップ５）、フェールフラグＮＧが１
にセットされる。それ以外の場合は、フェールフラグＮ
Ｇは０にセットされる（ステップ７）。

【００２１】路面に一面雪が存在するような状況は、ド
ライな路面状況と比べて、水平方向において出現する輝
度エッジの数が少なくなる傾向がある。ドライな路面状
況で映し出される中央線、走行線、或いは路肩線といっ
た白線が雪によりマスクされてしまうので、そこでの輝
度差が現れないからである。したがって、ステップ４に
おいて、算出されたエッジ数Ｎを実験等を通じて適切に
設定された判定数Ｎthと比較することにより、一面雪が
存在する可能性を評価している。すなわち、エッジ数Ｎ
が判定数Ｎthよりも小さい場合には、一面雪が存在する
可能性があると判断する。これに対して、エッジ数Ｎが
判定数Ｎth以上の場合は、その可能性はないものと判断
する。

【００２２】ただし、高速道路の料金所のように走行路
の左右に白線等が存在しないような状況や、あまり輝度
差がないような砂利道などでは、一面雪と同程度のエッ
ジ数Ｎしかカウントされないことがある。そこで、ステ
ップ５において、監視領域Ｒの全体的な輝度の大きさ
（平均輝度）を見ることにより、一面雪であるか否かを
判定している。すなわち、一面雪の場合は、監視領域Ｒ
の平均輝度は大きくなる傾向にある。これに対して、砂
利道やドライな舗装路等では、一面雪の場合ほど、全体
的な輝度は大きくならない。そこで、ステップ４での肯
定判定に加えて、算出された平均輝度Ａが、実験等を通
じて適切に設定された判定しきい値Ａthよりも大きいな
らば、一面雪を推定することができる。

【００２３】なお、車外監視の信頼性および制御の安定
性を確保するために、ＮＧフラグの切り換えは、上述し
た正常／異常の判断がそれぞれ所定のサイクル分だけ継
続した場合に行うようにすることが好ましい。例えば、
フェールフラグＮＧを０から１にセットする場合、異常
（フェール）判断が５サイクル（0.5秒相当）継続した
場合に変更する。また、フェールフラグＮＧを１から０
にセットする場合、正常判断が２０サイクル（2.0秒相
当）継続した場合に変更する。

【００２４】また、フェール状況の検出精度を向上させ
るために、上記のフェール判定ルーチンは走行状況に応
じて実行するようにしてもよい。例えば、自車輌と先行
車との車間距離が１３ｍ以上、車速が２０km/h以上、か
つ、舵角±２３°以下の場合のみフェール判定を実行す
る。先行車との車間距離が短い場合、路面の大半が先行
車によってマスクされてしまうため、路面状況を精度よ
く検出することが困難となる。また、特に、正常／異常
の判断が所定のサイクル分だけ継続した場合にフェール
フラグＮＧを切り替える手法を用いた場合において、車
速が低いとフェール判定精度が低下してしまう可能性が
ある。車速が低い場合は自車輌の移動量の少ないので、
局所的な路面しか監視対象にならない。この局所的な路
面が、偶然、フェール状況に合致してしまうような未想
定の状態である場合、適切でないフェール判定がなされ
てしまうおそれがある。車速が高いことをフェール判定
の実行条件とすれば、このような路面が局所的に存在し
たとしても、誤ってフェールと判定してしまうことを回
避できる。さらに、舵角を考慮した理由は、カメラの視
野に入る景色のパターンをある程度限定することで、判
定精度を向上させるためである。

【００２５】さらに、撮像画像に基づく路面状況の判定
結果に加えて、外気温センサから得られる外気温度を考
慮すれば、雪の有無を一層正確に推定することが可能と
なる。

【００２６】このように、本実施例にかかる一面雪によ
るフェール判定手法では、路面の状況をモニタリングす
るために、二次元的な平面である撮像画像において、路
面が映し出される特定領域を監視領域として設定してい
る。そして、この監視領域内のエッジ数と、その領域内
の平均輝度とに基づいて、一面雪を検出している。発明
者が実際に走行テストを繰り返した結果、以上の判定手
順で良好な判定結果を得られることが確認できた。そし
て、判定結果に応じた制御（フェールセーフを含む）を
行えば、車外監視装置の安全性を一層高い次元で確保す
ることが可能となる。

【００２７】また、本実施例では、ステレオカメラのフ
ェール判定を説明しているが、本発明はこれに限定され
ず、単眼カメラを用いた場合にも適用することができる
のは当然である。

【００２８】

【発明の効果】このように本発明では、走行環境の認識
が困難な路面状況を撮像画像から精度よく検出すること
ができる。そして、路面状況に応じてフェールセーフを
行うことで、車外監視装置の安全性を高い次元で確保す
ることができる。

【図面の簡単な説明】

【図１】実施例にかかる車外監視装置のブロック図

【図２】一面雪によるフェール判定ルーチンを示したフ
ローチャート

【図３】画像領域中に設定された監視領域を説明するた
めの図

【図４】監視領域のエッジ算出方法を説明するための図

【符号の説明】

１ メインカメラ、 ２ サブカメラ、３，
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイコン、１０ 道路認
識部、 １１ 立体物認識部、１２ フェー
ル判定部、 １３ 処理部、１４ ＡＴ制御部、
１５ ＡＢＳ制御部、１６ ＴＣＳ制御
部、 １７ 車輌挙動制御、１８ エンジン制
御部、 １９ 警報装置

フロントページの続き Ｆターム(参考） 5B057 AA16 BA02 CA08 CA12 CA16 CB08 CB13 CB16 CC01 CD01 CH08 DB02 DB09 DC16 DC25 DC36 5C054 AA01 AA05 CA04 CC03 EA01 EA05 ED17 FC04 FC12 FC15 FC16 FF07 HA30 5H180 AA01 CC04 CC24 LL01 LL07 LL08 LL09

Claims (2)

【特許請求の範囲】
1. 【請求項１】フェールと判定された場合にフェールセー
   フを行う車外監視装置において、 車外の景色を撮像する撮像手段と、 前記撮像手段により得られた撮像画像中の所定領域に設
   定された監視領域における画像データに基づいて、前記
   監視領域の水平方向に関する輝度エッジの数と、前記監
   視領域の全体的な輝度の大きさを算出する算出手段と、 前記輝度エッジの数が判定数よりも少なく、かつ、前記
   全体的な輝度の大きさが判定値よりも大きい場合に、フ
   ェールと判定する判定手段とを有し、 前記監視領域は、前記撮像画像に映し出された路面の一
   部を含むように水平方向に延在しており、かつ、前記撮
   像画像に映し出された走行路の両端の外側を含むように
   前記水平方向に延在していることを特徴とする車外監視
   装置。
2. 【請求項２】車輌の制動力を制御する制御手段をさらに
   有し、 前記制御手段は、前記フェールと判定された場合、通常
   制御において発揮される制動力よりも緩い制動力で車輌
   制御を行うことを特徴とする請求項１に記載された車外
   監視装置。