JP5547159B2 - 車両周辺監視装置 - Google Patents

Description

この発明は、車両に搭載された撮像部から出力された撮像信号に基づいて、前記車両の周辺における監視対象物を検出する車両周辺監視装置に関する。

従来の車両周辺監視装置として、赤外線カメラによる車両前方の画像を運転席前方のＨＵＤ（Head Up Display）に表示するとともに、当該画像から検出された歩行者の画像部位を強調表示する装置が知られている。

特開２００３−２８４０５７号公報

監視対象物がどの範囲に存在するか等を詳細に知りたい場合、運転者は、ディスプレイを見ることで、監視対象物を認識するが、従来の車両周辺監視装置においては、撮像された画像を表示するので、色々な情報が表示されてしまい、監視対象物を瞬時に把握することが困難であった。

本発明は上記した問題を解決するためになされたもので、画像から検出された監視対象物の存否及び位置を極めて容易に把握可能な車両周辺監視装置を提供することを目的とする。

本発明に係る車両周辺監視装置は、車両に搭載された撮像部が前記車両前方の風景が撮像することによって得られた撮像画像に基づいて、前記車両の前方にいる監視対象物を検出する車両周辺監視装置であって、前記撮像画像に基づいて前記監視対象物を検出する監視対象物検出部と、前記撮像画像内における前記監視対象物の位置を算出する位置算出部と、前記監視対象物までの距離を算出する距離算出部と、前記撮像画像を第１表示部に表示させるとともに、検出された前記監視対象物を強調表示させる第１表示制御部と、算出された前記監視対象物の前記撮像画像内における位置に対応する第２表示部上の表示位置に、該監視対象物をシンボル化したマークを表示させる第２表示制御部と、を備え、前記第２表示制御部は、算出された前記監視対象物の前記撮像画像内における位置、及び、算出された前記監視対象物までの距離に応じて、前記第２表示部にブレーキを促す旨及び回避方向のどちらか一方を表示させ、前記第１表示制御部は、前記第２表示制御部がブレーキを促す旨及び回避方向のどちらか一方を表示させる場合は、前記監視対象物の強調表示を中止する。

このように、運転者は第２表示部を一見するだけで、監視対象物の存否、監視対象物が存在する場合はその位置を容易且つ瞬時に把握することができる。また、監視対象物の撮像画像内における位置及び該監視対象物までの距離に応じて、第２表示部にブレーキを促す旨及び回避方向の何れか一方を表示するので、運転者は、該第２表示部を一見するだけで、その情報を瞬時に把握することができ、ブレーキ操作又は回避方向にハンドルを切る操作を迅速に行うことができる。このとき、ブレーキを促す旨及び回避方向のどちらか一方を表示させる場合は、監視対象物の強調表示を中止するので、第１表示部を運転者が見ることを防止することができる。

前記第２表示制御部は、算出された前記監視対象物の前記撮像画像内における位置、及び、算出された前記監視対象物までの距離に基づいて、接触を回避することが困難な位置に前記監視対象物がいると判断される場合は、ブレーキを促す旨を表示させてもよい。このように、接触を回避することが困難な位置に監視対象物がいると判断された場合は、ブレーキを促す旨が第２表示部に表示されるので、運転者が瞬時にその情報を把握することができ、迅速にブレーキ操作を行うことができる。

前記第２表示制御部は、算出された前記監視対象物の前記撮像画像内における位置、及び、算出された前記監視対象物までの距離に基づいて、接触を回避することができる位置に該監視対象物がいると判断される場合は、回避方向を表示させてもよい。このように、接触を回避できる位置に監視対象物がいると判断された場合は、回避方向が第２表示部に表示されるので、運転者は瞬時にその情報を把握することができ、迅速にハンドルを切ることができる。

第２表示制御部は、検出された前記監視対象物が動物の場合は、ブレーキを促す旨を表示させてもよい。これにより、運転者は瞬時にその情報を把握することができ、ブレーキ操作を行うことができるので、予測不可能な行動をとる動物との接触を回避することができる。

前記撮像画像を少なくとも中央領域、右側領域、及び左側領域の３つ以上の領域に分割し、前記第２表示制御部は、検出された前記監視対象物が存在する前記領域に応じた前記第２表示部上の位置に前記監視対象物をシンボル化したマークを表示させてもよい。

本発明に係る車両周辺監視装置によれば、運転者は第２表示部を一見するだけで、監視対象物の存否、監視対象物が存在する場合はその位置を容易且つ瞬時に把握することができる。また、監視対象物の撮像画像内における位置及び該監視対象物までの距離に応じて、第２表示部にブレーキを促す旨及び回避方向の何れか一方を表示するので、運転者は、該第２表示部を一見するだけで、その情報を瞬時に把握することができ、ブレーキ操作又は回避方向にハンドルを切る操作を迅速に行うことができる。

本実施の形態に係る車両周辺監視装置の構成を示す電気ブロック図である。 図１に示す車両周辺監視装置が組み込まれた車両の概略斜視図である。 図２に示す車両の、運転者側から視た内観図である。 図４Ａは、図３に示す汎用ディスプレイの正面図である。図４Ｂは、図３に示すＭＩＤの正面図である。 監視対象物である人間の位置に応じて表示するマークの表示位置の説明図である。 図１に示す車両周辺監視装置の動作説明に供されるフローチャートである。 図１に示す車両周辺監視装置の動作説明に供されるフローチャートである。 図８Ａは、図６のステップＳ１１で汎用ディスプレイの第１表示領域に表示さる撮像画像の一例を示す図であり、図８Ｂは、図８Ａに示す撮像画像が撮像された場合に、図６のステップＳ１０でＭＩＤの第２表示領域に表示される模擬画像の一例を示す図である。 図９Ａは、中央と右側に監視対象物がいる場合に、図６のステップＳ１１で汎用ディスプレイの第１表示領域に表示さる撮像画像の一例を示す図であり、図９Ｂは、図９Ａに示す撮像画像が撮像された場合に、図６のステップＳ１０でＭＩＤの第２表示領域に表示される模擬画像の一例を示す図である。 ブレーキを促す旨の表示例を示す図である。 撮像画像の左側領域と中央領域とに監視対象物がいる場合における回避方向の表示例を示す図である。

以下、本発明に係る車両周辺監視装置について好適な実施形態を挙げ、添付の図面を参照して説明する。

図１は、本実施の形態に係る車両周辺監視装置１０の構成を示す電気ブロック図である。図２は、図１に示す車両周辺監視装置１０が組み込まれた車両１２の概略斜視図である。図３は、図２に示す車両１２の、運転者側から視た車両１２の前方内観図である。なお、この車両１２は、自動車が右側走行することを取り極められている国の道路を走行している状況を示しており、車両１２は左ハンドル車として図示されている。

車両周辺監視装置１０は、この車両周辺監視装置１０を制御する画像処理ユニット１４と、画像処理ユニット１４に接続される左右の赤外線カメラ１６Ｌ、１６Ｒ（撮像部）と、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者による図示しないブレーキペダルの操作量Ｂｒ（ブレーキ操作量Ｂｒ）を検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６Ｌ、１６Ｒから出力された撮像画像を表示する汎用ディスプレイ２６と、車両１２の運転の際の付随情報を可視化して表示するＭＩＤ（Multi-Information Display）２８と、記憶部３０とを備える。

図２に示すように、ステレオカメラとして機能する赤外線カメラ１６Ｌ、１６Ｒは、車両１２前方の風景を撮像するものであり、車両１２の前部バンパー部に、車両１２の車幅方向中心部に対して略対称な位置に配置されている。２つの赤外線カメラ１６（赤外線カメラ１６Ｌ、１６Ｒ）の光軸が互いに平行であって、且つ両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１６Ｌ、１６Ｒは、監視対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。

ここで、赤外線カメラ１６を２つ備える理由としては、監視対象物までの距離を算出するためである。従って、赤外線カメラ１６Ｌ、１６Ｒのうち何れか一方の赤外線カメラ１６で得られた撮像画像が基本的に用いられ、他方の赤外線カメラ１６で撮像して得られた撮像画像は、監視対象物までの距離の算出時のみ用いられる。本実施の形態では、赤外線カメラ１６Ｌによって得られた撮像画像（以下、撮像画像ＩＬ）を基本的に用い、赤外線カメラ１６Ｒによって得られた撮像画像（以下、撮像画像ＩＲ）は、監視対象物までの距離の算出時のみ用いられる。

なお、本発明の撮像部は、図２に示す構成例に限られることなく、種々の構成を採り得る。例えば、撮像部は、複眼カメラ（ステレオカメラ）であっても単眼カメラ（１つのカメラ）であってもよい。単眼カメラの場合、別の測距手段（レーダ装置）を併せて備えていてもよく、ＴＯＦ（Time Of Flight）法を用いて被写体まで距離を算出してもよい。ＴＯＦ法とは、簡単に説明すると、光源から出た光が対象物で反射し、カメラに届くまでの光の飛行時間(遅れ時間)と光の速度とから、被写体までの距離を得る手法である。また、赤外線カメラに代替して、主に可視光領域の波長を有する光を利用するカメラ（カラーカメラともいう。）を用いてもよく、あるいは両方を併せ備えてもよい。また、撮像部は、複数のカメラを有してもよい。

図２及び図３に示すように、ダッシュボード４０には、その下部から図示しない運転席の方へ突出するハンドル４２が配設されている。ハンドル４２の中心位置に揃えた位置であり、且つ、計器盤４４の上側近傍のダッシュボード４０（あるいは、計器盤４４内）の部位には、ＭＩＤ（第２表示部）２８が配設されている。これにより、運転者は、車両１２の前方へ顔を向けたままの状態で、ＭＩＤ２８を正視することができ、ＭＩＤ２８への視認性が向上する。なお、汎用ディスプレイ（第１表示部）２６は、ダッシュボード４０の所定部位（具体的には、ＭＩＤ２８の配設位置に対して右方の部位）に配設されている。

図４Ａは汎用ディスプレイ２６の正面図であり、図４ＢはＭＩＤ２８の正面図である。

図４Ａに示す汎用ディスプレイ２６の略全面には、横方向に長尺な矩形状の第１表示領域４６が設けられている。本図では、赤外線カメラ１６Ｌから出力された撮像画像ＩＬを、第１表示領域４６内に表示した状態を表している。汎用ディスプレイ２６は、カラー画像又はモノクロ画像が表示可能なモジュールであり、例えば液晶パネル、有機ＥＬ（Electro-Luminescence）、無機ＥＬパネル等で構成されてもよい。この場合、汎用ディスプレイ２６は、任意の画像、例えば、カーナビゲーション用の各種画像（道路地図、サービス情報等）、動画コンテンツ等も表示可能である。

図４Ｂに示すＭＩＤ２８の略全面には、横方向に長尺な矩形状の第２表示領域４８が設けられている。第２表示領域４８には、第１表示領域４６に表示される所定の特徴部位のみを抽出して模擬化した模擬画像５０が表示されている。具体的には、模擬画像５０は、車両前方に見える道路を模式化した道路５２を有し、道路５２は、ライン５２Ｌ、５２Ｃ、５２Ｒを含む。道路５２は、遠近法を用いて表され、詳しくは、ライン５２Ｌ、５２Ｒ間の幅は、上側になるほど狭くなっている。このライン５２Ｌ、５２Ｃ、５２Ｒにより、運転席から前方を眺めた時の直線道路を運転者に想起させることができる。なお、ＭＩＤ２８は、このライン５２Ｌ、５２Ｃ、５２Ｒを電気的に表示するのではなく、機械的若しくは構造的に表示させてもよい。例えば、予めＭＩＤ２８の第２表示領域４８にライン５２Ｌ、５２Ｃ、５２Ｒを示す部材を貼り付けることで、模式的に道路５２を表示してもよい。つまり、ＭＩＤ２８には、車両前方に見える道路を模式化された道路５２が表されていればよい。

ＭＩＤ２８は、汎用ディスプレイ２６よりも構成が簡便で、且つ、安価な表示モジュールである。ＭＩＤ２８は、燃費、現在時刻、計器盤４４に関する情報等を表示可能であってもよい。

画像処理ユニット１４は、入力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、各種演算処理を実行するＣＰＵ（中央処理装置；コンピュータ）等を有し（図示略）、記憶部３０に記憶されたプログラムを読み込むことによって、本実施の形態の画像処理ユニット１４として機能する。記憶部３０は、デジタル信号に変換された撮像画像ＩＬ、ＩＲ、各種演算処理に供される一時データ等を記憶するＲＡＭ（Random Access Memory）、あるいは、実行プログラム、テーブル、若しくはマップ等を記憶するＲＯＭ（Read Only Memory）等で構成されている。

赤外線カメラ１６Ｌ、１６Ｒ、車速センサ１８、ブレーキセンサ２０及びヨーレートセンサ２２の各出力信号は、デジタル信号として画像処理ユニット１４に供給可能に構成されている。

画像処理ユニット１４は、対象物検出部６０、距離算出部６４、位置算出部６６、接触回避判断部６８、回避方向決定部７０、第１表示制御部７２、及び第２表示制御部７４を有する。この画像処理ユニット１４による各種処理により、画像処理ユニット１４は、赤外線カメラ１６Ｌ、１６Ｒが撮像した車両１２前方の撮像画像（赤外線画像）Ｌ、Ｒと、車両１２の走行状態を示す各種信号（例えば、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）等とから、車両１２の前方に存在する監視対象物を検出し、監視対象物に車両１２が接触する可能性が高いと判断したとき、スピーカ２４等を通じて警報を発する。

対象物検出部６０は、赤外線カメラ１６Ｌが撮像して得られた撮像画像ＩＬに基づいて、該撮像画像内に監視対象物が存在するか否かを検出する。監視対象物としては、人間と動物（例えば、犬、猫等）等が挙げられる。検出手法としては、例えば、パターンマッチング手法（人間、各種動物の特徴を示す特徴データと撮像された撮像画像ＩＬとをマッチングすることで、人間や動物を検出する手法）等を採用してもよい。

距離算出部６４は、対象物検出部６０が検出した監視対象物までの距離を算出する。詳しくは、距離算出部６４は、赤外線カメラ１６Ｌ、１６Ｒによって得られた撮像画像ＩＬ、ＩＲから、三角測量法等の公知の手段を用いて、検出された監視対象物までの距離を算出する。なお、車両周辺監視装置１０は、測距センサを備え、距離算出部６４は、測距センサの検出信号に基づいて監視対象物までの距離を算出してもよく、ＴＯＦ（Time Of Flight）法によって監視対象物までの距離を算出してもよい。測距センサやＴＯＦ法を用いて監視対象物までの距離を算出する場合は、赤外線カメラ１６は１つであってもよい。

位置算出部６６は、赤外線カメラ１６Ｌによって得られた撮像画像ＩＬ内における検出された監視対象物の位置を算出する。接触回避判断部６８は、距離算出部６４が算出した監視対象物までの距離と、撮像画像ＩＬ内における監視対象物の位置とから、車両１２がこのまま走行すると車両１２が監視対象物と接触する可能性が高いか否か、接触する可能性が高い場合は、接触を回避することができるか否かを判断する。

回避方向決定部７０は、車両１２と監視対象物との接触を回避するために車両１２が移動すべき回避方向を決定する。回避方向決定部７０は、位置算出部６６が算出した撮像画像ＩＬ内における検出された監視対象物の位置に基づいて回避方向を決定する。

第１表示制御部７２は、赤外線カメラ１６Ｌが撮像して得られた撮像画像ＩＬを汎用ディスプレイ２６に表示させるとともに、検出された監視対象物を強調表示させる。また、第１表示制御部７２は、接触回避判断部６８により接触する可能性が高いと判断されると、検出された監視対象物の強調表示を中止する。

第２表示制御部７４は、監視対象物として人間が検出された場合は、監視対象物である人間をシンボル化したマーク１０２（図８、図９参照）をＭＩＤ２８に表示させる。詳しくは、第２表示制御部７４は、位置算出部６６が算出した撮像画像ＩＬ内における監視対象物である人間の位置に対応する第２表示領域４８上の表示位置にマーク１０２を表示させる。また、第２表示制御部７４は、接触回避判断部６８により接触する可能性が高く、接触を回避することができると判断された場合は回避方向をＭＩＤ２８の第２表示領域４８に表示させ、接触を回避することが困難と判断された場合はブレーキを促す旨をＭＩＤ２８の第２表示領域４８に表示させる。

図５を用いて、第２表示制御部７４が、位置算出部６６が算出した監視対象物である人間の位置に応じてＭＩＤ２８に表示するマーク１０２の表示位置について説明する。撮像画像ＩＬは、３つの領域、左から順に、左側領域８２、中央領域８４、右側領域８６に分割され、ＭＩＤ２８の第２表示領域４８には、３つの位置、左から左側表示位置９２、中央表示位置９４、右側表示位置９６が決められており、左側領域８２は左側表示位置９２に、中央領域８４は中央表示位置９４に、右側領域８６は右側表示位置９６に対応付けられている。なお、撮像画像ＩＬは、道路の斜線に倣ってハの字に分割されていてもよい。また、撮像画像ＩＬは、４つ以上の領域に分割されてもよい。撮像画像ＩＬが４つ以上の領域に分割されている場合は、各領域に対応して第２表示領域４８の表示位置が決められることは言うまでもない。

位置算出部６６が算出した監視対象物である人間の位置が左側領域８２に属する場合は、マーク１０２が左側表示位置９２に表示され、位置算出部６６が算出した監視対象物である人間の位置が中央領域８４に属する場合は、マーク１０２が中央表示位置９４に表示され、位置算出部６６が算出した監視対象物である人間の位置が右側領域８６に属する場合は、マーク１０２が右側表示位置９６に表示される。

したがって、位置算出部６６が複数の監視対象物の位置を算出し、例えば、複数の監視対象物の位置がそれぞれ左側領域８２と中央領域８４とに属する場合は、マーク１０２は左側表示位置９２と中央表示位置９４とに表示されることになる。なお、位置算出部６６が算出した複数の監視対象物の位置が、同一の領域、例えば、右側領域８６に属する場合であっても、右側表示位置９６に１つのマーク１０２が表示されることになる。

本実施の形態に係る車両周辺監視装置１０は、基本的には以上のように構成される。続いて、この車両周辺監視装置１０の動作について、図６及び図７のフローチャートに沿って、他の図面を適宜参照しながら説明する。

画像処理ユニット１４は、赤外線カメラ１６Ｌ、１６Ｒによって得られた撮像画像ＩＬ、ＩＲを取得する（ステップＳ１）。赤外線カメラ１６Ｌ、１６Ｒ、所定のフレームレート、例えば、３０ｆｐｓ（１秒間に３０フレームを撮像するフレームレート）で撮像を行うものとする。なお、図６及び図７のフローチャートに示す動作は、１／３０秒周期で実行するものとする。つまり、赤外線カメラ１６Ｌ、１６Ｒが１回撮像するたびに図６及び図７のフローチャートに示す動作が実行される。

次いで、対象物検出部６０は、ステップＳ１で取得した撮像画像ＩＬ、ＩＲのうち、赤外線カメラ１６Ｌで撮像された撮像画像ＩＬに基づいて監視対象物を検出する（ステップＳ２）。対象物検出部６０は、撮像画像ＩＬ内に複数の監視対象物が存在する場合は、複数の監視対象物を検出する。

次いで、距離算出部６４は、ステップＳ２で検出された監視対象物までの距離を算出する（ステップＳ３）。具体的には、ステップＳ２で検出された撮像画像ＩＬ内の監視対象物が、撮像画像ＩＲ内のどこにいるかをブロックマッチング法などによって検出し、三角測量の原理を用いて、該監視対象物までの距離を算出する。距離算出部６４は、複数の監視対象物が検出された場合は、該複数の監視対象物までの距離をそれぞれ算出する。

次いで、接触回避判断部６８は、ステップＳ３で算出された距離と、車速センサ１８が検出した現在の車速とから、車両１２が監視対象物まで到達する時間（以下、到達時間）を算出する（ステップＳ４）。到達時間は、ステップＳ３で検出された距離を車速で除算することで求めることができる。接触回避判断部６８は、複数の監視対象物が検出された場合は、該複数の監視対象物までの到達時間をそれぞれ算出する。

次いで、位置算出部６６は、ステップＳ２で検出された監視対象物の撮像画像ＩＬ内における位置を算出する（ステップＳ５）。

次いで、接触回避判断部６８は、ステップＳ２で検出された監視対象物として動物が検出されたか否かを判断する（ステップＳ６）。

ステップＳ６で、接触回避判断部６８は、監視対象物として動物が検出されていないと判断すると、ステップＳ５で算出された全ての監視対象物（人間）の撮像画像ＩＬ内における位置が、１つの領域に属するか否かを判断する（ステップＳ７）。つまり、算出された全ての監視対象物の撮像画像ＩＬ内における位置が、左側領域８２、中央領域８４、右側領域８６のうち、何れか１つの領域に属するか否かを判断する。

ステップＳ７で、算出された全ての監視対象物（人間）の撮像画像ＩＬ内における位置が、１つの領域に属すると判断されると、接触回避判断部６８は、算出された全ての監視対象物の撮像画像ＩＬ内における位置は、中央領域８４に属するか否かを判断する（ステップＳ８）。

ステップＳ８で、検出された全ての監視対象物の撮像画像ＩＬ内における位置が、中央領域８４に属すると判断されると、接触回避判断部６８は、ステップＳ４で算出した監視対象物までの到達時間が一定時間以下であるか否かを判断する（ステップＳ９）。このとき、複数の監視対象物が検出されている場合は、もっとも短い到達時間が一定時間以下であるか否かを判断する。

ステップＳ８で算出された全ての監視対象物の撮像画像ＩＬ内における位置が、中央領域８４に属しないと判断された場合、ステップＳ９で、監視対象物までの到達時間が一定時間以下でないと判断された場合は、接触回避判断部６８は、車両１２が監視対象物と接触する可能性は低いと判断し、ステップＳ１０に進む。

ステップＳ１０に進むと、第２表示制御部７４は、算出された監視対象物の撮像画像ＩＬ内における位置に対応する第２表示領域４８上の表示位置に、マーク１０２をＭＩＤ２８に表示させる。

次いで、第１表示制御部７２は、ステップＳ１で直近に取得した撮像画像ＩＬを汎用ディスプレイ２６の第１表示領域４６に表示させるとともに、検出された監視対象物を強調表示させて（ステップＳ１１）、処理を終了する。

図８Ａは、ステップＳ１１で汎用ディスプレイ２６の第１表示領域４６に表示さる撮像画像ＩＬの一例を示す図であり、図８Ｂは、図８Ａに示す撮像画像ＩＬが撮像された場合に、ステップＳ１０でＭＩＤ２８の第２表示領域４８に表示される模擬画像５０の一例を示す図である。

図８Ａに示すように、検出された監視対象物Ｈ１を強調枠１００で囲むことで監視対象物Ｈ１が強調表示されている。この強調枠１００の表示位置は、ステップＳ５で算出された監視対象物の位置に基づいて定まる。また、図８Ａに示す例では、監視対象物Ｈ１の撮像画像ＩＬ内における位置は、中央領域８４に属するので、図８Ｂに示すように、マーク１０２は、第２表示領域４８の中央表示位置９４に表示される。これにより、運転者は、視線を前方に向けたままの状態でＭＩＤ２８を一見するだけで、監視対象物の存否、監視対象物がいる場合はその位置を容易且つ瞬時に把握することができる。

ステップＳ７で、算出された全ての監視対象物の撮像画像ＩＬ内における位置が、１つの領域に属しないと判断されると、接触回避判断部６８は、検出された全ての監視対象物の撮像画像ＩＬ内における位置が、左側領域８２及び中央領域８４に属するか否かを判断する（図７のステップＳ１２）。つまり、ステップＳ１２では、監視対象物が左側と中央に存在するかを判断している。

ステップＳ１２で、算出された全ての監視対象物の撮像画像ＩＬ内における位置が、左側領域８２及び中央領域８４に属するものでないと判断すると、接触回避判断部６８は、算出された全ての監視対象物の撮像画像ＩＬ内における位置が、右側領域８６及び中央領域８４に属するか否かを判断する（ステップＳ１３）。つまり、ステップＳ１３では、監視対象物が右側と中央に存在するか否かを判断している。

ステップＳ１３で、算出された全ての監視対象物の撮像画像ＩＬ内における位置が、右側領域８６及び中央領域８４に属するものでないと判断すると、接触回避判断部６８は、算出された監視対象物の撮像画像ＩＬ内における位置が、全ての領域（左側領域８２、中央領域８４、及び右側領域８６）に属するか否かを判断する（ステップＳ１４）。つまり、ステップＳ１４では、監視対象物が右側と中央と左側に存在するか否かを判断している。

ステップＳ１４で、算出された全ての監視対象物の撮像画像ＩＬ内における位置が、全ての領域に属するものではないと判断すると、接触回避判断部６８は、算出された全ての監視対象物の撮像画像ＩＬ内における位置は、左側領域８２及び右側領域８６に属すると判断して、ステップＳ１６に進む。

ステップＳ１２で算出された全ての監視対象物の撮像画像ＩＬ内における位置が左側領域８２及び中央領域８４に属すると判断された場合、ステップＳ１３で算出された全ての監視対象物の撮像画像ＩＬ内における位置が右側領域８６及び中央領域８４に属すると判断された場合は、接触回避判断部６８は、中央領域８４の監視対象物は、左側領域８２又は右側領域８６の監視対象物に比べ、遠い位置に存在するか否かを判断する（ステップＳ１５）。つまり、ステップＳ１５では、中央にいる監視対象物が左右にいる監視対象物より遠い位置に存在するか否かを判断している。中央にいる監視対象物が複数であり、左又は右にいる監視対象物が複数である場合は、ステップＳ１５では、中央にいる監視対象物のうち最も近い監視対象物が、左又は右にいる監視対象物のうち最も遠い監視対象物より遠い位置にいるか否かを判断してもよいし、中央にいる監視対象物のうち最も近い又は遠い監視対象物が、左又は右にいる監視対象物のうち最も近い又は遠い監視対象物より遠い位置にいるか否かを判断してもよい。

ステップＳ１５で、中央領域８４の監視対象物は、左側領域８２又は右側領域８６の監視対象物に比べ、遠い位置に存在しないと判断するとステップＳ１６に進む。

ステップＳ１６に進むと、接触回避判断部６８は、ステップＳ４で算出された何れかの監視対象物までの到達時間が一定時間以下であるか否かを判断する。つまり、最も短い監視対象物までの到達時間が一定時間以下であるか否かを判断する。

ステップＳ１６で、全ての監視対象物までの到達時間が一定時間以下でないと判断すると、図６のステップＳ１０に進み、上記した動作を行う。つまり、監視対象物が左側と右側にいる場合、又は、中央にいる監視対象物が左右にいる監視対象物より近い位置にいる場合であって、全ての監視対象物までの到達時間が一定時間以下でない場合は、車両１２が監視対象物と接触する可能性は低いと判断できるので、第２表示制御部７４は、監視対象物の撮像画像ＩＬ内における位置に対応するＭＩＤ２８の第２表示領域４８の表示位置にマーク１０２を表示させ、第１表示制御部７２は、汎用ディスプレイ２６の第１表示領域４６に撮像画像ＩＬを表示させるとともに監視対象物を強調表示させる。

図９Ａは、中央と右側に監視対象物がいる場合に、ステップＳ１１で汎用ディスプレイ２６の第１表示領域４６に表示さる撮像画像ＩＬの一例を示す図であり、図９Ｂは、図９Ａに示す撮像画像ＩＬが撮像された場合に、ステップＳ１０でＭＩＤ２８の第２表示領域４８に表示される模擬画像５０の一例を示す図である。

図９Ａに示すように、中央領域８４に監視対象物Ｈ１が存在し、右側領域８６に監視対象物Ｈ２が存在し、監視対象物Ｈ１、Ｈ２を強調枠１００を囲むことで監視対象物Ｈ１、Ｈ２が強調表示されている。図９Ａに示す例では、監視対象物Ｈ１の撮像画像ＩＬ内における位置は中央領域８４に属し、監視対象物Ｈ２の撮像画像ＩＬ内における位置は右側領域８６に属するので、図９Ｂに示すように、マーク１０２は、第２表示領域４８の中央表示位置９４と、右側表示位置９６とに表示される。これにより、運転者は、視線を前方に向けたままの状態でＭＩＤ２８を一見するだけで、監視対象物の存否、監視対象物がいる場合はその位置を容易且つ瞬時に把握することができる。

ステップＳ１５で、中央領域８４の監視対象物は、左側領域８２又は右側領域８６に比べ、遠い位置に存在すると判断すると、接触回避判断部６８は、中央領域８４の監視対象物までの到達時間が一定時間以下であるか否かを判断する（ステップＳ１７）。

ステップＳ１７で、中央領域８４の監視対象物までの到達時間が一定時間以下であると判断すると、接触回避判断部６８は、このまま走行すると車両１２と中央領域８４の監視対象物とが接触する可能性が高く、且つ、接触を回避することが難しいと判断し、ステップＳ１８に進む。接触回避判断部６８は、接触する可能性が高いと判断すると、警報音等の注意を促す音をスピーカ２４から出力させることで、運転者にその旨を認識させる。

ステップＳ１８に進むと、第２表示制御部７４は、ブレーキを促す旨をＭＩＤ２８の第２表示領域４８に表示させて、ステップＳ２０に進む。図１０は、ブレーキを促す旨の表示例を示す図である。図１０に示すように「ＢＲＡＫＥ」という文字を、道路５２の上に大きく表示させる。これにより、運転者は、視線を前方に向けたままの状態でＭＩＤ２８を一見するだけで、ブレーキ操作すべきことが促されていることを容易且つ瞬時に把握することができ、迅速にブレーキ操作を行うことができる。なお、ＢＲＡＫＥという文字ではなく、ブレーキを模式化した図形等を表示させてもよい。

一方、ステップＳ１７で、中央領域８４の監視対象物までの到達時間が一定時間以下でないと判断すると、接触回避判断部６８は、車両１２と中央領域８４の監視対象物とが接触する可能性が高いが、接触回避が可能と判断し、ステップＳ１９に進む。中央領域８４の監視対象物は、左側領域８２又は右側領域８６の監視対象物に比べ遠い位置にあり、且つ、中央領域８４の監視対象物までの到達時間は一定時間より長いが、運転者は、車両１２により近い左側領域８２又は右側領域８６の監視対象物に注意がいってしまうため、中央領域８４の監視対象物に気がつかない場合がある。したがって、このような場合は、そのまま走行すると車両１２と監視対象物とが接触する可能性が高いと判断する。接触回避判断部６８は、接触する可能性が高いと判断すると、警報音等の注意を促す旨の音をスピーカ２４から出力させることで、運転者にその旨を認識させる。

ステップＳ１９に進むと、回避方向決定部７０は、算出された監視対象物の撮像画像ＩＬにおける位置に基づいて回避方向を決定し、第２表示制御部７４は、決定された回避方向をＭＩＤ２８の第２表示領域４８に表示させて、ステップＳ２０に進む。図１１は、左側領域８２と中央領域８４とに監視対象物がいる場合における回避方向の表示例を示す図である。図１１に示すように、回避方向を示す矢印（右を示す矢印）１０６を、道路５２の上に大きく表示させる。これにより、運転者は、視線を前方に向けたままの状態でＭＩＤ２８を一見するだけで、容易且つ瞬時に回避方向を把握することができ、ハンドル４２を回避方向に迅速に切ることができる。なお、回避方向決定部７０は、右側領域８６と中央領域８４とに監視対象物がいる場合は、左を示す矢印を回避方向として決定する。

ステップＳ２０に進むと、第１表示制御部７２は、図６のステップＳ１で直近に取得した撮像画像ＩＬを汎用ディスプレイ２６の第１表示領域４６に表示させる。このとき、第１表示制御部７２は、監視対象物と接触する可能性が高いと判断されると、監視対象物の強調表示を中止する。したがって、接触する可能性が高い場合は、監視対象物の強調表示を中止するので、運転者が汎用ディスプレイ２６を見る時間を無くす、又は、少なくすることができる。

図６のステップＳ６で、監視対象物として動物が検出されたと判断すると、接触回避判断部６８は、このまま走行すると車両１２が監視対象物と接触する可能性が高く、接触を回避することが難しいと判断し、図７のステップＳ１８に進む。動物は、予測不可能な行動をとる可能性が高いからである。ステップＳ１８に進むと、第２表示制御部７４は、ＭＩＤ２８にブレーキを促す旨を表示させ、ステップＳ２０で、第１表示制御部７２は、図６のステップＳ１で直近に取得した汎用ディスプレイ２６に撮像画像ＩＬを表示させる。勿論、ことのときも監視対象物は強調表示されない。なお、接触回避判断部６８は、接触する可能性が高いと判断すると、警報音等の注意を促す音をスピーカ２４から出力させることは言うまでもない。

図６のステップＳ９で、中央領域８４にいる監視対象物までの到達時間が一定時間以下であると判断すると、接触回避判断部６８は、このまま走行すると監視対象物と接触する可能性が高く、接触を回避することが難しいと判断し、図７のステップＳ１８に進む。

図７のステップＳ１４で、算出された監視対象物の位置が全ての領域に属すると判断された場合は、接触回避判断部６８は、このまま走行すると車両１２が監視対象物と接触する可能性が高く、接触を回避することが難しいと判断し、ステップＳ１８に進む。

図７のステップＳ１４で、算出された全ての監視対象物の位置が全ての領域に属しない、つまり、左側領域８２及び右側領域８６に属すると判断され、ステップＳ１６で、何れかの監視対象物までの到達時間が一定時間以下であると判断された場合は、右側又は左側にいる監視対象物が車両１２の進行方向に向かって移動してくる可能性があり、且つ、監視対象物までの到達時間が短いので、接触回避判断部６８は、このまま走行すると車両１２が監視対象物と接触する可能性が高く、接触を回避することが難しいと判断し、ステップＳ１８に進む。

図７のステップＳ１５で、中央領域８４の監視対象物が左側領域８２又は右側領域８６の監視対象物に比べ近いと判断され、ステップＳ１６で、何れかの監視対象物までの到達時間が一定時間以下であると判断された場合は、接触回避判断部６８は、このまま走行すると車両１２が監視対象物と接触する可能性が高く、接触を回避することが難しいと判断し、ステップＳ１８に進む。

このように、運転者は、視線を前方に向けたままの状態でＭＩＤ２８を一見するだけで、監視対象物の存否、監視対象物が存在する場合はその位置を容易且つ瞬時に把握することができる。また、監視対象物の撮像画像ＩＬ内における位置及び該監視対象物までの到達時間に応じて、ＭＩＤ２８にブレーキを促す旨及び回避方向の何れか一方を表示するので、運転者は、ＭＩＤ２８を一見するだけで、その情報を瞬時に把握することができ、ブレーキ操作又は回避方向にハンドルを切る操作を迅速に行うことができる。

上記実施の形態は、以下のように変形してもよい。

（変形例１）上記実施の形態では、車両１２が監視対象物と接触する可能性が高いと判断される場合は、マーク１０２を表示せずに、ブレーキを促す旨又は回避方向をＭＩＤ２８の第２表示領域４８に表示するようにしたが（図７のステップＳ１８、ステップＳ１９）、マーク１０２と、ブレーキを促す旨又は回避方向とを一定時間間隔で交互に表示させてもよいし、マーク１０２と、ブレーキを促す旨又は回避方向とを同時にＭＩＤ２８に表示させてもよい。

（変形例２）上記実施の形態では、動物が監視対象物として検出されても、動物をシンボル化したマークはＭＩＤ２８に表示されなかったが、上記変形例１のように、接触する可能性が高いと判断された場合であっても、マーク１０２の表示を行う場合は、該動物をシンボル化したマークをＭＩＤ２８に表示させてもよい。この場合は、撮像画像ＩＬ内における検出した動物の位置が属する領域（右側領域８２、中央領域８４、左側領域８６）に応じた第２表示領域４８上の表示位置（右側表示位置９２、中央表示位置９４、左側表示位置９６）に動物をシンボル化したマークを表示させる。例えば、検出された動物の撮像画像ＩＬ内における位置が右側領域８６に属する場合は、右側領域８６に対応する第２表示領域４８上の右側表示位置９６に該動物をシンボル化したマークを表示させてもよい。更に、動物の撮像画像ＩＬ内における位置が属する領域に応じた第２表示領域４８上の表示位置を、人間の場合における表示位置と若干異なるようにしてもよい。例えば、人間と動物の撮像画像ＩＬ内における位置が共に右側領域８６に属する場合であっても、その第２表示領域４８上の表示位置を、人間と動物とで異ならせるようにする。これにより、マーク１０２と動物をシンボル化したマークとが同じ表示位置で表示されることはなく、視認性が向上する。

（変形例３）上記実施の形態では、図６のステップＳ６で動物を監視対象物として検出されたと判断すると、このまま走行すると車両１２が動物と接触する可能性が高く、回避することが困難であると判断し、図７のステップＳ１８でブレーキ表示を行うようにしたが、動物が監視対象物として検出された場合も、人間が監視対象物として検出されたときと同様に処理してもよい。具体的には、図６のステップＳ６の動作を無くし、ステップＳ５の動作を経るとそのままステップＳ７に進むようにしてもよい。動物を検出した場合における図６のステップＳ１０では、検出された動物の撮像画像ＩＬ内における位置が属する領域（左側領域８２、中央領域８４、右側領域８６）に対応するＭＩＤ２８の第２表示領域４８上の表示位置（左側表示位置９２、中央表示位置９４、右側表示位置９６）に動物をシンボル化したマークが表示し、ステップＳ１１では、該検出した動物を強調表示する（検出した動物を強調枠１００で囲む）。なお、動物と人間との場合はで、第２表示領域４８上に表示させる表示位置を若干異ならせるようにしてもよい。これにより、マーク１０２と動物をシンボル化したマークとが同じ表示位置で表示されることはなく、視認性が向上する。

（変形例４）上記変形例１〜変形例３を任意に組み合わせた態様であってもよい。

以上、本発明について好適な実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０…車両周辺監視装置 １２…車両
１４…画像処理ユニット １６Ｌ、１６Ｒ…赤外線カメラ
２６…汎用ディスプレイ ２８…ＭＩＤ
３０…記憶部 ４０…ダッシュボード
４２…ハンドル ４６…第１表示領域
４８…第２表示領域 ５２…道路
５２Ｌ、５２Ｃ、５２Ｒ…ライン ６０…対象物検出部
６４…距離算出部 ６６…位置算出部
６８…接触回避判断部 ７０…回避方向決定部
７２…第１表示制御部 ７４…第２表示制御部
８２…左側領域 ８４…中央領域
８６…右側領域 ９２…左側表示位置
９４…中央表示位置 ９６…右側表示位置
１００…強調枠 １０２…マーク
１０６…矢印

Claims (5)

1. 車両に搭載された撮像部が前記車両前方の風景が撮像することによって得られた撮像画像に基づいて、前記車両の前方にいる監視対象物を検出する車両周辺監視装置であって、
   前記撮像画像に基づいて前記監視対象物を検出する監視対象物検出部と、
   前記撮像画像内における前記監視対象物の位置を算出する位置算出部と、
   前記監視対象物までの距離を算出する距離算出部と、
   前記撮像画像を第１表示部に表示させるとともに、検出された前記監視対象物を強調表示させる第１表示制御部と、
   算出された前記監視対象物の前記撮像画像内における位置に対応する第２表示部上の表示位置に、該監視対象物をシンボル化したマークを表示させる第２表示制御部と、
   を備え、
   前記第２表示制御部は、算出された前記監視対象物の前記撮像画像内における位置、及び、算出された前記監視対象物までの距離に応じて、前記第２表示部にブレーキを促す旨及び回避方向のどちらか一方を表示させ、
   前記第１表示制御部は、前記第２表示制御部がブレーキを促す旨及び回避方向のどちらか一方を表示させる場合は、前記監視対象物の強調表示を中止する
   ことを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記第２表示制御部は、算出された前記監視対象物の前記撮像画像内における位置、及び、算出された前記監視対象物までの距離に基づいて、接触を回避することが困難な位置に前記監視対象物がいると判断される場合は、ブレーキを促す旨を表示させる
   ことを特徴とする車両周辺監視装置。
3. 請求項１又は２に記載の車両周辺監視装置において、
   前記第２表示制御部は、算出された前記監視対象物の前記撮像画像内における位置、及び、算出された前記監視対象物までの距離に基づいて、接触を回避することができる位置に該監視対象物がいると判断される場合は、回避方向を表示させる
   ことを特徴とする車両周辺監視装置。
4. 請求項１〜３のいずれか１項に記載の車両周辺監視装置において、
   第２表示制御部は、検出された前記監視対象物が動物の場合は、ブレーキを促す旨を表示させる
   ことを特徴とする車両周辺監視装置。
5. 請求項１〜４のいずれか１項に記載の車両周辺監視装置において、
   前記撮像画像を少なくとも中央領域、右側領域、及び左側領域の３つ以上の領域に分割し、
   前記第２表示制御部は、検出された前記監視対象物が存在する前記領域に応じた前記第２表示部上の位置に前記監視対象物をシンボル化したマークを表示させる
   ことを特徴とする車両周辺監視装置。

Images