JP2006238131A - 車両周辺監視装置 - Google Patents

Abstract

【課題】車両の死角領域と車両との位置関係が判り、所定の駐車スペースに正確に車両を納めることはできるような車両の死角領域の情報を把握できる車両周辺監視装置を提供する。
【解決手段】車両の周辺を撮像するカメラＣ１およびカメラＣ２と、カメラＣ１およびカメラＣ２により撮像された撮像画像を背景画像として表示する表示装置１２とを備え、カメラＣ１およびカメラＣ２によって車両の周辺監視を行う車両周辺監視装置において、表示装置１２には背景画像にあわせて、車両が透けた状態で表示する。
【選択図】図２

Description

本発明は、車両周辺監視装置に関するものである。

特許文献１の画像変換システムでは、図５に示すように車両の各位置に複数のカメラ（Ｃ１〜Ｃ６）が取り付けられている。例えば、左前カメラＣ１は車両の前端の左隅に取り付けられている。そして、車内のモニター画面の上半分にカメラの撮像画像を配置することともに、画面の右下部分に撮像しているカメラの車両における取り付け位置を対応させて表示している。図６では、一例として左前カメラＣ１の撮像画像を表示したときの様子を示している。
特開２００４−０５６６８３（第００３３段落、第００３９段落、第００４９段落、第７図）

しかしながら、特許文献１の画像変換システムにおいては、図６に示すように、表示領域１においてはカメラ画像を表示し、表示領域２においてはカメラ画像を写して出しているカメラの位置を車両の上面図に対応させて表示している。しかし、このような表示では車両の死角領域における車両の位置を把握できない。

また、例えば、駐車場にて車両が前進しながら所定の駐車スペースに車両を納めようとする場合には、運転者は通常フロントウインドウから直接前方の様子を確認しながら、あるいは車両前方に配置されるカメラの画像が表示されるモニターなどで前方の様子を確認しながら車両を前進させていくことが考えられる。そして、輪止めがある駐車スペースに向かって車両を前進させていくと、前進動作の当初には運転者は、通常フロントウインドウから直接あるいは車両前方に配置されるカメラの画像が表示されるモニターにより輪止めの位置を確認することができる。しかし、車両の前進が進むうちに、いわゆる車両の死角領域に輪止めが位置することになるので、輪止めがフロントウインドウの視界から外れて見えなくなったり、車両前方に配置されるカメラの撮像領域から外れて輪止めが撮像されなくなる。従って、運転者は車両の死角領域に位置する輪止めと車両の現在の位置関係を把握することができなくなる。このとき、仮に輪止めの位置に対する車両の位置が車両の車幅方向に大きくズレている場合には、このまま前進させても車両のタイヤが輪止めで止まらなくなるので、車両を正確に駐車スペースに納めることができなくなってしまう。一方、輪止めの位置に対する車両の位置が車両の側面方向に大きくズレていない場合には、このまま前進させれば車両のタイヤが輪止めで止まることがなるが、運転者は、あとどのくらいで車両のタイヤが輪止めで止まるのかが判らなくなるので、不安を抱えながら車両を前進させなければならない。

このように駐車スペースに輪止めがある場合は車両が車幅方向に大きくズレない限りは車両のタイヤが輪止めに止まることになるので、所定の駐車スペースに車両を納めることができる。しかし、仮に輪止めがなく駐車スペースを単に白線で区画しているだけの場合には、運転者の視界やカメラの撮像領域から外れた、いわゆる車両の死角領域に位置する白線は確認することができなくなるので、運転者には経験的な判断に頼り認識できる範囲の情報をもとに駐車スペースに車両を納めることが必要になる。従って、運転者の判断に狂いが生じた場合には、所定の駐車スペースに正確に車両を納めることはできなくなってしまう。

本発明は以上のような課題を解決するためになされたものであり、車両の死角領域おける車両の位置を把握でき、運転者が安心して車両を正確に駐車スペースに納めることができる車両周辺監視装置を提供することを目的とする。

前記目的を達成するために、本発明は以下のような特徴を有する。
（１）本発明は、車両の周辺を撮像する撮像手段と、該撮像手段により撮像された撮像画像を背景画像として表示する表示手段とを備え、該表示手段によって車両の周辺監視を行う車両周辺監視装置において、表示手段には背景画像にあわせて、車両が透けた状態で表示されることを特徴とする。

（２）本発明は、（１）に記載する車両周辺監視装置において、撮像画像を保存する画像保存手段を備え、背景画像は、撮像手段により撮像された現在画像と画像保存手段に保存された過去画像を合成して作成されることを特徴とする。

（３）本発明は、（２）に記載する車両周辺監視装置において、表示手段に背景画像を表示する際、撮像画像の座標から表示手段の表示画面の座標に対応が成され、撮像画像を表示画面上のどの位置に表示するかの表示割り当てを行なう座標変換処理手段を備えることを特徴とする。

（４）本発明は、（１）乃至（３）に記載のいずれか一つに記載の車両周辺監視装置において、撮像手段は車両の周囲に設けられた複数のカメラであり、表示画面上での表示割り当ては、カメラ位置より決定されることを特徴とする。

このような特徴を有する本発明は、以下のような作用・効果が得られる。
（１）本発明は、車両の周辺を撮像する撮像手段と、該撮像手段により撮像された撮像画像を背景画像として表示する表示手段とを備え、該表示手段によって車両の周辺監視を行う車両周辺監視装置において、表示手段には背景画像にあわせて、車両が透けた状態で表示されるので、車両の死角領域（例えば、車両の下方等）における車両の位置を把握でき、運転者は安心して車両を正確に駐車スペースに納めることができる効果が得られる。

（２）本発明は、（１）に記載する車両周辺監視装置において、撮像画像を保存する画像保存手段を備え、背景画像は、撮像手段により撮像された現在画像と画像保存手段に保存された過去画像を合成して作成されるので、（１）に記載する効果に加えて、合成画像の現在画像と過去画像とから、車両が進行したとしても車両の死角領域における車両の位置を把握でき、運転者は安心して車両を正確に駐車スペースに納めることができる効果が得られる。

（３）本発明は、（２）に記載する車両周辺監視装置において、表示手段に背景画像を表示する際、撮像画像の座標から表示手段の表示画面の座標に対応が成され、該表示画面上での表示割り当てを行なう座標変換処理手段を備えるので、（２）に記載する効果よりも確実に車両の死角領域おける車両の位置を把握することができ、運転者は安心して車両を正確に駐車スペースに納めることができる効果が得られる。

（４）本発明は、（１）乃至（３）に記載のいずれか一つに記載の車両周辺監視装置において、撮像手段は車両の周囲に設けられた複数のカメラであり、表示画面上での表示割り当ては、カメラ位置より決定されるので、（１）乃至（３）に記載する効果よりも確実に車両の死角領域おける車両の位置を把握することができ、運転者は安心して車両を正確に駐車スペースに納めることができる効果が得られる。

以下、本発明の実施例について説明する。
まず、本発明の車両周辺監視装置の構成と処理の流れについて図１をもとに説明する。図１に示すように、本発明の車両周辺監視装置は、撮像装置１、撮像装置２、切替処理手段３、画像入力手段４、キャプチャバッファ５、キャプチャバッファ６、座標変換処理手段７、座標変換テーブル８、表示バッファ９、描画処理手段１１、表示装置１２、車速センサ１３、ヨーレートセンサ１４、移動量推定処理手段１５、座標変換テーブル作成処理手段１６などから構成されている。図１にも示すように、切替処理手段３、画像入力手段４、キャプチャバッファ５、キャプチャバッファ６、座標変換処理手段７、座標変換テーブル８、表示バッファ９、描画処理手段１１、移動量推定処理手段１５、座標変換テーブル作成処理手段１６により構成される部分が画像処理装置に該当する。

そして、これらの構成による処理の流れとしては、以下のとおりである。まず、切替処理手段３にて、撮像装置１および撮像装置２にて撮像する画像を所定の時間毎に切替ながら、画像データとしてキャプチャバッファ５およびキャプチャバッファ６に入力する。この時、入力される画像データはキャプチャバッファ５およびキャプチャバッファ６に順次保存させておく。キャプチャバッファ５は撮像装置１により撮像された画像データを時系列で記憶する。また、キャプチャバッファ６は撮像装置２により撮像された画像データを時系列で記憶する。

座標変換テーブル８には、表示装置１２に車両の周辺の画像を背景画像として表示する際に表示画像（座標：ｕ，ｖ）上で、どの領域（例えば、図３および図４に示す一点鎖線で示される領域）に撮像装置１および撮像装置２からの（現在の）画像データ（カメラ座標：ｘ、ｙで示される）を持ってくるのかを定義した座標が設定されている情報が予め作成されている一方で、キャプチャバッファ５およびキャプチャバッファ６に保存している表示装置１２に画像を表示する際に表示画像上でどの領域に撮像装置１および撮像装置２からの（過去の）画像データ（カメラ座標：ｘ、ｙで示される）を持ってくるのかを定義した座標が設定されている情報（以下、過去画像座標情報という）が入力されている。そして、この過去画像座標情報は、車速およびヨーレートからの検出データをもとに作成している。以上の内容を具体的な処理の流れで説明すると、以下のとおりである。まず、車速センサ１３やヨーレートセンサ１４からの検出データをもとに、移動量推定処理手段１５により車両の進行方向と移動量を公知の幾何学的な演算によって推定する。次に、この推定した車両の進行方向と移動量に応じて、座標変換テーブル作成処理手段１６により上記の過去画像座標情報を作成する。そして、予め現在の撮像画像を使用する座標を定義するための情報が作成されている座標変換テーブル８に、この過去画像座標情報が順次入力される。

座標変換処理手段７では、座標変換テーブル８の情報に従い、現在の撮像画像およびキャプチャバッファ５およびキャプチャバッファ６に保存される現在および過去の画像データをもとに合成画像を車両周辺の背景画像として作成する。作成した合成画像は表示バッファ９へ入力され、描画処理手段１１にて描画の処理（車両の軌跡などを画像上に加える処理など）を行った後に表示装置１２に出力される。

そこで、実施例のより具体的な説明をする。本実施例の車両周辺監視装置１は、図２に示すように左側のドアミラーの位置に撮像装置１としてカメラＣ１を、車両前方のバンパーの左側のフロントフェンダー先端部の位置に撮像装置２としてカメラＣ２を設置している。さらに詳細には、カメラＣ１はドアミラー下部にて前方斜め下向き、カメラＣ２はフロントフェンダー先端部にて前方斜め下向きに設置している。そして、カメラＣ１とカメラＣ２により撮像した画像は車内に設置されるモニター（表示装置１２）に表示される。運転者はこのモニター画像を見ることで車両の周辺について確認することができる。なお、運転者が確認しやすいように、モニター画像としては、カメラＣ１およびカメラＣ２の撮像画像に基づいて画像処理により作成した車両の上面から見た上面視図の画像とする。

次に、実際の場面の一例として、車両を駐車レーンに納める場合を説明する。図２に示すように、車両の前方には白線により仕切られた駐車レーンがあり、レーン内部には輪止めＷが設置してある。そこで、まず運転者は車両を駐車レーンに進入させる際に、車内に設置される死角領域確認スイッチ１７をＯＮにする。すると、カメラＣ１およびカメラＣ２の撮像画像が画像データとして画像処理装置に保存される。

ここで、車両を駐車レーンへの進入を開始した当初は、カメラＣ１およびカメラＣ２の撮像領域に輪止めＷが存在するので輪止めＷが撮像されて、モニター上に表示される。しかし、図２の状態から車両を徐々に駐車レーン内に進めていくと、ある時点で輪止めＷが車両の下部の死角領域に入ってしまい、輪止めＷがカメラＣ１およびカメラＣ２の撮像領域から外れてしまう。

しかしながら、本発明では、上記のようにカメラＣ１およびカメラＣ２の撮像画像が車両の進行に合わせて過去の撮像画像として画像処理装置に保存されている。そこで、画像処理装置のキャプチャバッファ５，６に保存しておいたカメラＣ１およびカメラＣ２の過去の撮像画像とカメラＣ１、カメラＣ２の現在の撮像画像とを合成する。具体的には図３、図４に示すように合成画像には、モニター画像の上方左側の画像領域Ａ１にカメラＣ１の現在の撮像画像を、モニター画像の上方右側の画像領域Ａ２にカメラＣ２の現在の撮像画像を、そして、現在の車両位置では運転者にとって死角領域となるモニター画像で車両に隠れる画像領域Ａ３にカメラＣ１およびカメラＣ２の過去の撮像画像を配置する。カメラＣ１およびカメラＣ２の過去の撮像画像には輪止めＷの画像も撮像されていることから、合成画像上には輪止めＷの画像も配置されることになる。

さらに、合成画像の上にスーパーインポーズにより実際の車両形状に合わせた車両の画像を加える。車両の画像としては、図３のようにその車両の輪郭のみを表示してもよい。このように、車両の輪郭のみを表示した場合には、死角領域が車両の輪郭に対して鮮明に表示されるので、死角領域における細かい情報を運転者は認識することができる長所がある。一方、図４のように車両の部分を半透明（車両の位置する領域において車両下方に存在するものが透けて見える状態）にしても良い。この半透明の画像は、１画素ごとに過去の撮像画像と車両の外観の画像を交互に配置することや、画像のブレンディング処理により作成される。このように、半透明の画像を表示した場合には、死角領域における車両の位置が瞬時に正確に運転者は認識できる長所がある。以上のような車両の画像を加えた合成画像をモニターに表示することにより、運転者は車両の死角領域における輪止めＷと車両との位置関係の把握が容易となり、安心して所定の駐車スペースに正確に車両を納めることができる。本実施例では、輪止めＷが存在する場合を説明したが、輪止めＷが存在せず、ただ白線を頼りに所定の駐車レーン内に車両を納める必要がある場合にも、運転者は車両の死角領域における白線と車両の位置関係の把握が容易となるので、安心して所定の駐車スペースに正確に車両を納めることができる。

また本発明では、上記のように、移動量推定処理手段１５および座標変換テーブル作成処理手段１６を有することから、車速センサより得られる車速とヨーレートセンサにより得られるヨーレートに対応する車両の死角領域の画像がモニター表示される。そのため、車速やヨーレートが変化した場合であっても、運転者は確実に車両の死角領域における輪止めＷ（白線）と車両の位置関係の把握が容易となるので、モニター表示で確認しつつ所定の駐車スペースに正確に車両を納めることができる。

以上のような実施例により以下のような効果が得られる。
（１）本発明は、車両の周辺を撮像するカメラＣ１およびカメラＣ２と、カメラＣ１およびカメラＣ２により撮像された撮像画像を背景画像として表示する表示装置１２とを備え、カメラＣ１およびカメラＣ２によって車両の周辺監視を行う車両周辺監視装置において、表示装置１２には背景画像にあわせて、車両が透けた状態で表示されるので、車両の死角領域（例えば、車両の下方等）における車両の位置を把握でき、運転者は安心して車両を正確に駐車スペースに納めることができる効果が得られる。

（２）本発明は、（１）に記載する車両周辺監視装置において、撮像画像を保存するキャプチャバッファ５およびキャプチャバッファ６を備え、背景画像は、カメラＣ１およびカメラＣ２により撮像された現在画像とキャプチャバッファ５およびキャプチャバッファ６に保存された過去画像を合成して作成されるので、（１）に記載する効果に加えて、合成画像の現在画像と過去画像とから、車両が進行したとしても車両の死角領域における車両の位置を把握でき、運転者は安心して車両を正確に駐車スペースに納めることができる効果が得られる。

（３）本発明は、（２）に記載する車両周辺監視装置において、表示装置１２に背景画像を表示する際、撮像画像の座標から表示装置１２の表示画面の座標に対応が成され、撮像画像を表示画面上のどの位置に表示するかの表示割り当てを行なう座標変換処理手段を備えるので、（２）に記載する効果よりも確実に車両の死角領域おける車両の位置を把握することができ、運転者は安心して車両を正確に駐車スペースに納めることができる効果が得られる。

（４）本発明は、（１）乃至（３）に記載のいずれか一つに記載の車両周辺監視装置において、撮像手段は車両の周囲に設けられた複数のカメラであり、表示画面上での表示割り当ては、カメラ位置より決定されるので、（１）乃至（３）に記載する効果よりも確実に車両の死角領域おける車両の位置を把握することができ、運転者は安心して車両を正確に駐車スペースに納めることができる効果が得られる。

尚、本発明は前記実施形態に限定されるものではなく、その趣旨を逸脱しない範囲で様
々な変更が可能である。

本発明のシステム構成と処理の流れを示す図である。 駐車レーンへ車両を進入させる様子を示す図である。 車両の死角領域の画像に車両の輪郭画像を合成させた図である。 車両の死角領域の画像に車両の半透明画像を合成させた図である。 特許文献１のカメラの配置を示す概要図である。 特許文献１の表示画面の概要図である。

符号の説明

３ 切替処理手段
４ 画像入力手段
５ キャプチャバッファ
６ キャプチャバッファ
７ 座標変換処理手段
８ 座標変換テーブル
９ 表示バッファ
１１ 描画処理手段
１２ 表示装置
１３ 車速センサ
１４ ヨーレートセンサ
１５ 移動量推定処理手段
１６ 座標変換テーブル作成処理手段
１７ 死角領域確認スイッチ
Ｃ１ カメラ
Ｃ２ カメラ

Claims (4)

1. 車両の周辺を撮像する撮像手段と、該撮像手段により撮像された撮像画像を背景画像として表示する表示手段とを備え、該表示手段によって車両の周辺監視を行う車両周辺監視装置において、
   前記表示手段には背景画像にあわせて、前記車両が透けた状態で表示されることを特徴とする車両周辺装置。
2. 前記撮像画像を保存する画像保存手段を備え、
   前記背景画像は、前記撮像手段により撮像された現在画像と前記画像保存手段に保存された過去画像を合成して作成されることを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記表示手段に背景画像を表示する際、前記撮像画像の座標から前記表示手段の表示画面の座標に対応が成され、前記撮像画像を前記表示画面上のどの位置に表示するかの表示割り当てを行なう座標変換処理手段を備えることを特徴とする請求項２に記載の車両周辺監視装置。
4. 前記撮像手段は前記車両の周囲に設けられた複数のカメラであり、表示画面上での表示割り当ては、カメラ位置より決定されることを特徴とする請求項１乃至請求項３のいずれか一つに記載の車両周辺監視装置。
   

Images