JP3649327B2 - フェールセーフ機能を有するステレオ式車外監視装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラにより撮像された画像対に異常が生じた場合に、フェールセーフを行うステレオ式車外監視装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を内蔵した車載カメラを用いたステレオ式車外監視装置が注目されている。この装置は、左右のカメラ（ステレオカメラ）により撮像された画像対から、ある対象物の位置的なズレ、すなわち視差を求め、三角測量の原理を用いて、その対象物までの距離（距離情報）を算出する。そして、算出された距離に基づいて、走行環境（例えば、車外の対象物と自車輌との間の距離等）を認識し、必要に応じて、ドライバーに注意を喚起したり、シフトダウン等の車輌制御を行うものである。
【０００３】
このようなステレオ式の車外監視装置を実用化するにあたっては、装置の安全動作を保証するために、フェールセーフ機能を設ける必要がある。この類の装置で検出すべきフェールの一つとして、ステレオカメラにより撮像された画像対（ステレオ画像）の明るさに関して、外因によるアンバランスが生じているような状況が挙げられる。すなわち、ステレオ法による距離の算出や前方の立体物の認識等に関する精度を確保するため、本来、左右画像の明るさはバランスが取れた状態、すなわち、画像対の全体的な輝度がほぼ同じなるような状態に設定されている。そのため、何かの外因により画像対の明るさのバランスがずれると、正常な車外監視を行うことができない。このような異常状態が生じる外因としては、例えば、ステレオカメラを構成する一方のカメラの視野が目隠しされてしまった場合がある。また、一方のカメラの光学系（特にレンズ）が汚れている場合や曇っている場合においても生じ得る。さらに、フロントガラスを介して前方の景色を撮像する場合、フロントガラスの部分的な汚れや曇り、さらには、雨滴による乱反射等においても生じることがある。ステレオ式車外監視装置の安全性を高い次元で確保するという観点でいえば、左右の画像対に関して、明るさのアンバランスが生じているような状況では、監視制御を一時的に中断させるフェールセーフ機能を働かせる必要がある。
【０００４】
【発明が解決しようとする課題】
従来、ステレオ式車外監視装置の実用化において不可欠なフェールセーフ機能が確立されておらず、装置の安全性を高い次元で確保するための課題が残されていた。
【０００５】
そこで、本発明の目的は、ステレオ画像に関して、明るさのアンバランスが生じ、適切にステレオ処理を行うことができないような状況が生じた場合、それを正確に検出することにより、確実なフェールセーフを行い得るステレオ式車外監視装置を提供することである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するために、本発明は、フェールと判定された場合にフェールセーフを行うステレオ式車外監視装置において、車外の景色を撮像することにより、一対の撮像画像を得るステレオ撮像手段と、ステレオ撮像手段により撮像された一方の画像領域内に設定された第１の監視領域の全体的な輝度の大きさと、ステレオ撮像手段により撮像された他方の画像領域内に設定された第２の監視領域の全体的な輝度の大きさとを求める算出手段と、第１の監視領域における輝度の大きさと第２の監視領域における輝度の大きさとが異なる場合に、フェールと判定する判定手段とを有している。そして、他方の画像領域における第２の監視領域は、一方の画像領域における第１の監視領域と位置的に対応して設定されている。
【０００７】
ここで、他方の画像領域における第２の監視領域の位置は、一方の画像領域における第１の監視領域の位置に対して、ステレオマッチングの方向にオフセットしていることが好ましい。これにより、第１および第２の監視領域に映し出される景色がほぼ同一になるので、正常な状態における両者の全体的な輝度は、ほぼ同じ大きさになる。
【０００８】
また、第１の監視領域および第２の監視領域のそれぞれを、複数の監視領域で構成してもよい。すなわち、第１の監視領域は、一方の画像領域において異なる位置に設定されている。また、第２の監視領域は、他方の画像領域において異なる位置に設定され、それぞれが第１の監視領域を構成する監視領域と位置的に対応した複数の監視領域で構成されている。この場合、各監視領域のオフセット量が異なることが好ましい。これにより、各監視領域内に映し出される可能性が高い立体物の視差に応じて、各監視領域のオフセット量を決定できるため、正常な状態における両者の全体的な輝度の大きさに関する同一性を高めることができる。
【０００９】
【発明の実施の形態】
図１は、本実施例にかかるステレオ式車外監視装置のブロック図である。ＣＣＤ等のイメージセンサを内蔵した一対のカメラ１，２は、自動車等の車両の車幅方向において所定の間隔で、ルームミラーの近傍に取り付けられており、フロントガラスを介して車両前方の景色を撮像する。車輌の進行方向に向かって右側に配置されたメインカメラ１は、ステレオ処理を行う際に必要な基準画像（右画像）を撮像し、左側に配置されたサブカメラ２は、この処理における比較画像（左画像）を撮像する。互いの同期している状態において、カメラ１，２から出力された各アナログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。デジタル化された画像は、画像補正部５において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ１，２の取付位置は、程度の差こそあれ誤差があるため、それに起因したずれが左右の画像に存在している。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。このようにして補正された基準画像および比較画像は、元画像メモリ８に格納される。
【００１０】
一方、ステレオ画像処理部６は、画像補正部５により補正された基準画像および比較画像から、画像中に映し出されたある対象物の三次元位置（自車両から対象物までの距離を含む）を算出する。この距離は、左右画像における同一対象物の位置に関する相対的なズレ（視差）から、三角測量の原理に基づき算出することができる。このようにして算出された画像の距離情報は、距離データメモリ７に格納される。
【００１１】
マイコン９は、元画像メモリ８および距離データメモリ７に格納された各情報に基づき、車両前方の道路状態等を認識したり（道路認識部１０）、車両前方の立体物（走行車）等を認識する（立体物認識部１１）。そして、処理部１３は、これらの認識部１０，１１からの情報から警報が必要と判定された場合、モニタやスピーカー等の警報装置１９によりドライバーに対して注意を促したり、或いは、必要に応じて、各種制御部１４〜１８を制御する。例えば、ＡＴ（自動変速機）制御部１４に対して、シフトダウンを実行する旨を指示する。また、エンジン制御部１８に対してエンジン出力を低下する旨指示してもよい。その他にも、アンチロックブレーキシステム（ＡＢＳ）制御部１５、トラクションコントロールシステム（ＴＣＳ）制御部１６、或いは、各車輪のトルク配分や回転数を制御する車輌挙動制御部１７に対して、適切な車輌制御を指示することも可能である。
【００１２】
さらに、フェール判定部１２は、元画像メモリ８に記憶された元画像情報に基づいて、後述するルーチンに従ってフェール判定を行う。フェールと判定されている期間、すなわち、後述するフェール判定ルーチンによりフェールフラグＮＧが１にセットされている期間は、道路や立体物の誤認識にともなう装置の誤動作等を防ぐために、上述した車輌制御等が一時的に中断される。
【００１３】
図２は、明るさアンバランスによるフェール判定ルーチンを示したフローチャートである。このフローチャートは、所定の制御周期（例えば１００ｍｓ）ごとに繰り返し実行される。このルーチンにより、フェールフラグＮＧが１にセットされた場合、フェール判定部１２は、処理部１３に対してその旨を指示し、処理部１３は本車外監視装置のフェールセーフを実行する。
【００１４】
まず、ステップ１において、ステレオ画像対（基準画像および比較画像）の輝度状態を調べるために、監視領域内の各画素の輝度値が読み出される（ステップ１）。図３は、ステレオ画像対の画像領域中に設定された監視領域を説明するための図である。基準画像である右画像は、一例として、２００×５１２画素（縦横）のサイズを有しており、その上領域、中領域、および下領域に、監視領域Ｒ１，Ｒ２，Ｒ３がそれぞれ設定されている。一方、比較画像である左画像は、一例として、２００×６４０画素（縦横）のサイズを有しており、その上領域、中領域、および下領域に、監視領域Ｒ４，Ｒ５，Ｒ６がそれぞれ設定されている。ここで、画像の横方向に関して、右画像よりも左画像の方が画素数が多く設定されている理由は、ステレオマッチングを考慮しているからである。ステレオ法は、基準画像中のある対象物とマッチングする対象物を、比較画像を探索し、両画像におけるその対象物の視差（ステレオマッチング方向のオフセット量）から、対象物の三次元的な距離を求める手法である。カメラから対象物までの距離が小さいほど、ステレオマッチング方向のオフセット量が大きくなる。したがって、右画像の右端に位置した対象物の距離を算出するために、左画像の右端をステレオマッチングの方向に拡張しておく必要がある。
【００１５】
監視領域Ｒ１，Ｒ２，Ｒ３は、左画像中の監視領域Ｒ４，Ｒ５，Ｒ６と「位置的に対応」している。本明細書において、「位置的に対応」とは、左右の監視領域が完全に同じ位置に設定されている場合はもとより、ステレオマッチングを考慮して、位置的に若干オフセットして設定されている場合も含むという広い意味で用いている。このオフセット量は、それぞれの監視領域内に一般的に存在するであろう対象物の視差の傾向を考慮して決定することが好ましい。例えば、車両の前方を監視する車外監視において、画像領域の上側に設定された監視領域Ｒ１，Ｒ４には、通常、空（無限遠）や比較的遠方の立体物（例えばビル等）が映し出される傾向がある。したがって、この領域内において算出される視差は、比較的小さくなる傾向にある。そこで、画像上部に映し出される立体物等の距離の傾向を考慮して、監視領域Ｒ１，Ｒ４に関するオフセット量は小さめに設定しておく。例えば、図３のように、監視領域Ｒ１に対して監視領域Ｒ４をステレオマッチング方向に１５画素分だけオフセットさせている。また、画像領域の中側に設定された監視領域Ｒ２，Ｒ５には、通常、前方を走行中の車等が映し出される傾向があるため、この領域内における視差は中程度になる傾向にある。したがって、このような画像中部に映し出される風景の傾向を考慮して、監視領域Ｒ２，Ｒ５に関するオフセット量は中程度に設定しておく。これに関する実験結果から、３０〜４０ｍ程度の距離を想定することが好ましい。一例として、図３のように、監視領域Ｒ２に対して監視領域Ｒ５をステレオマッチング方向に２５画素分だけオフセットさせている。さらに、画像領域の下側に設定された監視領域Ｒ３，Ｒ６には、通常、道路等の地表が映し出される傾向があるため、この領域内における視差は比較的大きくなる傾向にある。したがって、このような画像下部に映し出される景色の傾向を考慮して、監視領域Ｒ３，Ｒ６に関するオフセット量は比較的大きめに設定しておく。例えば、図３のように、監視領域Ｒ３に対して監視領域Ｒ６をステレオマッチング方向に３０画素分だけオフセットさせている。このようにして、各領域内に映し出される景色の距離的な傾向を考慮して、各監視領域をステレオマッチング方向にオフセットさせている。それにより、位置的に対応した左右の監視領域対が、同一の対象物を映し出すようにできるため、正常な撮像状況では、各監視領域対はほぼ同じ輝度状態となる。
【００１６】
ステップ１に続くステップ２において、第１の監視領域の輝度の大きさと第２の監視領域の輝度の大きさとが算出される。すなわち、右画像領域内の第１の監視領域Ｒ１，Ｒ２，Ｒ３内に存在する各画素の輝度値の平均値Ａ１を求める。同様に、左画像領域内の第２の監視領域Ｒ４，Ｒ５，Ｒ６内に存在する各画素の輝度値の平均値Ａ２を求める。なお、監視領域内に存在するすべての画素の輝度値の平均値を求めてもよいが、それに伴う演算量の増大を避けるために、本実施例では、その領域内に均一に分散するような画素をサンプルとして輝度平均値Ａ１，Ａ２を算出している。一例として、縦方向については４画素ごと、横方向については８画素ごとにサンプルを抽出し、それらの平均値を、監視領域全体における輝度の大きさとしている。
【００１７】
そして、ステップ３において、第１の監視領域の輝度平均値Ａ１と第２の監視領域の輝度平均値Ａ２との差（絶対値）が、所定の判定値以上であるか否かが判断される（ステップ３）。上述したように、左右の監視領域内には、ほぼ同一の景色が映し出されている。したがって、左右の画像の明るさのバランスがとれている正常な状況では、左右の監視領域の輝度平均値Ａ１，Ａ２は、ほぼ等しくなる。したがって、正常な状況では、このステップで否定判定されるため、フェールフラグＮＧが０にセットされる（ステップ４）。これにより、車外監視に関する通常の制御が継続される。これに対して、外乱によって明るさのアンバランスが生じた異常な状況では、このステップにおいて肯定判定され、フェールフラグＮＧが１にセットされる（ステップ５）。これにより、通常の監視制御を一時的に停止するフェールセーフが実行される。
【００１８】
なお、実際の制御においては、車外監視の信頼性を確保するために、ＮＧフラグの切り換えは所定のサイクル分だけ継続した場合に行うようにすることが好ましい。例えば、フェールフラグＮＧを０から１にセットする場合、ステップ３における肯定判定が５サイクル（0.5秒）継続した場合に変更する。また、フェールフラグＮＧを１から０にセットする場合、ステップ３における否定判定が２０サイクル（2.0秒）継続した場合に変更する。
【００１９】
このように、本実施例にかかるフェール判定では、左右の画像に関する明るさのバランスが取れているか否かをリアルタイムでモニタリングしている。そして、このバランスが取れていない場合にフェールと判定している。これにより、例えば、一方のカメラだけが目隠しされてしまい正常画像を得られないような状況が生じたとしても、明るさのバランスをモニタリングすることにより、それを的確に検出することができる。また、一方のカメラのレンズやフロントガラス等の部分的な汚れや曇り、或いは、雨滴による乱反射等によって、正常画像を得られないような状況においても同様である。その結果、これらの外因による異常画像が生じた場合であっても、それに的確に対応したフェールセーフを行えるため、ステレオ式車外監視装置の安全性を高い次元で確保することができる。
【００２０】
また、本実施例では、画像全体を参照するのではなく、その一部分の画像データに基づいてフェール判定を行っている。したがって、フェール検出をリアルタイムで行い得るほどに少ない演算量で、フェール判定を行うことができる。
【００２１】
さらに、各監視領域の設定に関して、その領域内における視差の傾向を考慮して、左右の監視領域のオフセット量を決定しているので、フェール判定の精度を一層向上させることができるという効果もある。
【００２２】
【発明の効果】
このように、本発明では、左右の画像の明るさのバランスがとれずステレオ処理に適さないような状況が発生した場合、それに的確に応答したフェールセーフを行うことができるため、ステレオ式車外監視装置の安全性をより高い次元で確保することが可能となる。
【図面の簡単な説明】
【図１】実施例にかかるステレオ式車外監視装置のブロック図
【図２】明るさアンバランスによるフェール判定ルーチンを示したフローチャート
【図３】ステレオ画像に設定された監視領域を説明するための図
【符号の説明】
１ メインカメラ
２ サブカメラ
３，４ Ａ／Ｄコンバータ
５ 画像補正部
６ ステレオ画像処理部
７ 距離画像メモリ
８ 元画像メモリ
９ マイコン
１０ 道路認識部
１１ 立体物認識部
１２ フェール判定部
１３ 処理部
１４ ＡＴ制御部
１５ ＡＢＳ制御部
１６ ＴＣＳ制御部
１７ トルクバランス制御部
１８ エンジン制御部

Claims (4)

1. 車両前方を監視すると共に、フェールと判定された場合にフェールセーフを行うステレオ式車外監視装置において、
   車両前方における車外の景色を撮像することにより、一対の撮像画像を得るステレオ撮像手段と、
   前記一対の撮像画像の画像情報を格納する元画像メモリと、
   前記一対の撮像画像における同一対象物の位置に関する相対的なズレを算出することにより、距離情報を算出するステレオ画像処理部と、
   前記距離情報を格納する距離データメモリと、
   前記元画像メモリに格納された画像情報と、前記距離データメモリに格納された距離情報とに基づいて、対象物を認識する認識部と、
   前記認識部からの情報に基づいて、監視制御を行う処理部と、
   前記元画像メモリに格納された画像情報に基づいて、フェール判定を行い、フェールと判定した場合、前記処理部に対して、監視制御の一時的な中断を指示するフェール判定部とを有し、
   前記フェール判定部は、
   前記ステレオ撮像手段により撮像された一方の画像領域内に設定された第１の監視領域の全体的な輝度の大きさと、前記ステレオ撮像手段により撮像された他方の画像領域内に設定された第２の監視領域の全体的な輝度の大きさとを求める算出手段と、
   前記第１の監視領域における前記輝度の大きさと前記第２の監視領域における前記輝度の大きさとが異なる場合に、フェールと判定する判定手段とを有し、
   前記第１の監視領域は、車両前方を監視する際に、前記第１の監視領域内に映し出される景色に特定の距離的な傾向がでるように、所定の位置に予め設定されており、
   前記第２の監視領域は、前記特定の距離的な傾向を考慮した上で設定された一定値であるオフセット量で、前記第１の監視領域の位置に対してステレオマッチングの方向にオフセットした所定の位置に予め設定されていることを特徴とするフェールセーフ機能を有するステレオ式車外監視装置。
2. 前記第１の監視領域は、前記一方の画像領域における上下方向の異なる位置に設定された複数の監視領域で構成されており、
   前記第２の監視領域は、前記他方の画像領域における上下方向の異なる位置に設定されていると共に、それぞれが前記第１の監視領域を構成する前記監視領域と位置的に対応した複数の監視領域で構成されており、かつ、
   前記監視領域のそれぞれのオフセット量が異なることを特徴とする請求項１に記載されたフェールセーフ機能を有するステレオ式車外監視装置。
3. 上側の監視領域のオフセット量は、前記上側の監視領域の方が下側の監視領域のオフセット量よりも小さいことを特徴とする請求項２に記載されたフェールセーフ機能を有するステレオ式車外監視装置。
4. 前記監視領域の全体的な輝度の大きさは、前記監視領域内に存在する輝度の輝度平均であることを特徴とする請求項１から３のいずれかに記載されたフェールセーフ機能を有するステレオ式車外監視装置。

Images