JP2009206747A - 車両用周囲状況監視装置及び映像表示方法 - Google Patents

Abstract

【課題】自車両の後方に後続車両が接近し且つその接近によって発生する死角領域があるような状況であっても、当該自車両の運転者が後方の状況を瞬時に認識することができる車両用周囲状況監視装置を提供する。
【解決手段】車両用周囲状況監視装置は、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、及び、左後側方カメラ１０１ｃのそれぞれによって撮像された映像に基づいて表示映像を生成する際に、演算部１０５により、後方カメラ１０１ａによって撮像された画像の消失線に基づいて表示領域を分割し、分割した表示領域に、後方カメラ１０１ａによって撮像されて視点変換していない画像と、右後側方カメラ１０１ｂ及び／又は左後側方カメラ１０１ｃによって撮像されて視点変換された画像と後方カメラ１０１ａによって撮像された画像とを重ね合わせて生成された合成画像とを表示するように、表示映像を生成する。
【選択図】 図１

Description

本発明は、車両後方や車両後側方の映像を表示して車両運転者に提示する車両用周辺監視装置及び映像表示方法に関する。

従来、車両のルームミラーやドアミラーの死角となる領域の視界を確保しつつ、少ない視線移動で車両後方や車両後側方の状況を車両運転者が的確に把握できるようにするために、車両後方や車両後側方の映像を車載カメラによって撮像し、その映像を車両内部に設置したディスプレイに表示させる技術が提案されている（例えば、特許文献１参照。）。

具体的には、特許文献１には、自車両後端部に設置した後方カメラと車両の左右ドアミラーに設置した２台の側方カメラとを用いて自車両後方及び自車両後側方の映像を撮像し、これら後方カメラと２台の側方カメラによって撮像した映像をそれぞれ自車両内部の１つのディスプレイの表示画面上で分割した状態で表示し、自車両周囲を監視するようにした車両用周辺監視装置が開示されている。
特開２００３−８１０１４号公報

しかしながら、車両内部のディスプレイは表示領域の大きさが限られており、特許文献１に記載された車両用周辺監視装置のように複数の映像を１つのディスプレイで分割して表示すると、各カメラの映像の表示サイズが相対的に小さくなる。このため、例えば後方カメラで後続車両を撮影しているときに、ディスプレイに表示されている映像中の後続車両の大きさが、車両運転者が普段から見慣れているルームミラーで確認する場合と比べて小さくなる可能性がある。したがって、車両運転者がこの後続車両との距離感を正しく認識できず、自車両の後方に後続車両が接近し且つその接近によって発生する死角領域があるような場合には、後方の状況を瞬時に認識することができない場合がある。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、運転者が後方の状況を瞬時に認識することができる車両用周囲状況監視装置及び映像表示方法を提供することを目的とする。

本発明は、車両後方及び車両後側方を撮影可能な映像撮像手段で撮像した映像を車両内部の映像表示手段に表示するに際し、視点変換されていない後方撮像画像の消失線に基づいて表示手段の表示領域を分割し、分割した表示領域に、後方撮像画像と、視点変換された右後側方視点変換画像又は左後側方視点変換画像と後方撮像画像とを合成した合成画像とを表示するように、表示映像を生成する。

本発明にかかる車両用周囲状況監視装置及び映像表示方法によれば、表示映像に基づいて後続車両との距離感を正確に認識することができるようになることから、自車両の後方に後続車両が接近し且つその接近によって発生する死角領域があるような状況であっても、当該自車両の運転者が後方の状況を瞬時に認識することが可能となる。

以下、本発明の好適な実施形態としての車両用周囲状況監視装置について具体的に説明する。

［車両用周囲状況監視装置の構成］
本発明の実施形態として示す車両用周囲状況監視装置は、自車両に搭載された３つの車載カメラによって映像を撮像する構成の適用例である。車両用周囲状況監視装置は、図１に示すように、自車両周囲の映像を撮像するカメラ装置１０１を備える。

カメラ装置１０１は、自車両後部と左右側面とに設置された少なくとも３台以上の車載カメラモジュールからなる。図１においては、車両用周囲状況監視装置は、自車両後部に設置された後方カメラ１０１ａと、自車両の右側面に設置された右後側方カメラ１０１ｂと、自車両の左側面に設置された左後側方カメラ１０１ｃとを備える。

図２に示すように、後方カメラ１０１ａは、例えばルーフスポイラー等の自車両後部の所定位置に設置されている。後方カメラ１０１ａは、図２中Ａ１で示す自車両後方及び自車両後側方の比較的広い領域の映像を撮像することが可能とされている。

また、右後側方カメラ１０１ｂは、例えば右側ドアミラー等の自車両右側部における後方カメラ１０１ａと概ね同じ高さの所定位置に設置されている。この右後側方カメラ１０１ｂは、図２中Ａ２で示す自車両右側から自車両後側方にかけての比較的広い領域の映像を、後方カメラ１０１ａとは異なる視点位置から撮像することが可能とされている。

さらに、左後側方カメラ１０１ｃは、例えば左側ドアミラー等の自車両左側部における後方カメラ１０１ａと概ね同じ高さの所定位置に設置されている。左後側方カメラ１０１ｃは、図２中Ａ３で示す自車両左側から自車両後側方にかけての比較的広い領域の映像を、後方カメラ１０１ａとは異なる視点位置から撮像することが可能とされている。

ここで、車両後方の領域とは、自車両の前後軸を当該自車両後方に伸ばした延長線を中心とした所定範囲の領域である。例えば、車両後方の領域とは、自車両の運転者がルームミラーで確認できる範囲の領域である。また、自車両後側方の領域とは、車両後方の領域よりも左右外側に位置する領域である。例えば、後側方の領域とは、自車両の運転者がドアミラーで確認できる範囲の領域である。

例えば図３に示すように、自車両Ｖ１の後方の近い距離に後続車両Ｖ２が存在し、且つ、後続車両Ｖ２の後方から自車両Ｖ１の右側の追越車線を走行する追越車両Ｖ３が存在する状況において、左後側方カメラ１０１ｃ、後方カメラ１０１ａ、右後側方カメラ１０１ｂによって撮像される映像の具体例を、図４（ａ）、（ｂ）、（ｃ）に示す。図４（ａ）が右後側方カメラ１０１ｂによって撮像される映像であり、図４（ｂ）が後方カメラ１０１ａによって撮像される映像であり、図４（ｃ）が左後側方カメラ１０１ｃによって撮像される映像である。なお、この図３に示すような状況においては、これら３つの映像のいずれであっても単独では後方の全ての状況を把握することはできない。

このような後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃは、それぞれ、レンズ及び受光素子から構成される光学系を有し、レンズを通して入射した光をＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の受光素子によって受光してディジタル信号又はアナログ信号からなる電気信号に変換し、撮像した映像を画素毎に数値化した映像信号として出力する。このような後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃから出力された映像信号は、それぞれ、当該後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれに対応する映像入力部１０３ａ，１０３ｂ，１０３ｃに入力される。

また、車両用周囲状況監視装置は、カメラ装置１０１によって撮像された自車両Ｖ１の周囲の映像を処理して表示映像を生成する映像処理部１０２と、この映像処理部１０２によって生成された表示映像を表示するディスプレイ１０８とを備える。

映像処理部１０２は、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれから出力された映像信号を入力する映像入力部１０３ａ，１０３ｂ，１０３ｃと、これら映像入力部１０３ａ，１０３ｂ，１０３ｃのそれぞれを介して入力された映像信号をフレーム毎に格納する入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃと、ディスプレイ１０８に表示する表示映像を生成するための所定の演算処理を行う演算部１０５と、この演算部１０５によって演算処理されて生成された映像信号をフレーム毎に格納する出力映像フレームメモリ１０６と、この出力映像フレームメモリ１０６から読み出した映像信号を表示映像として出力する映像出力部１０７とを有する。

映像入力部１０３ａ，１０３ｂ，１０３ｃは、それぞれ、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃに対応して設けられ、これら後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれから出力された映像信号を入力する。これら映像入力部１０３ａ，１０３ｂ，１０３ｃを介して入力された映像信号は、それぞれ、入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃに入力される。

入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃは、それぞれ、映像入力部１０３ａ，１０３ｂ，１０３ｃに対応して設けられたＲＡＭ（Random Access Memory）から構成され、これら映像入力部１０３ａ，１０３ｂ，１０３ｃのそれぞれを介して入力された映像信号をフレーム毎に格納する。映像信号は、これら入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃのサイズに合わせてディジタル化される。これら入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃに格納された映像信号は、それぞれ、演算部１０５によって読み出される。

演算部１０５は、入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃのそれぞれから読み出した映像信号に基づいて、ディスプレイ１０８に表示する表示映像を生成するための所定の演算処理を行う。そして、演算部１０５によって生成された表示映像は、出力映像フレームメモリ１０６、映像出力部１０７を介してディスプレイ１０８に供給される。

その際、演算部１０５は、センサ１１０によって検出された後続車両Ｖ２の存在や位置等の情報を通信部１１１を介して受信し、その情報を用いて演算処理を行うようにしてもよい。具体的には、演算部１０５は、基本的な処理として、図５に示すように、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれによって撮像された映像に対して、視点変換・左右反転処理部１２０ａ，１２０ｂ，１２０ｃにより、映像の視点を変換する視点変換処理と映像の左右を反転させる左右反転処理とを行い、得られた映像を合成処理部１２１によって１つの映像に合成し、その映像を出力する処理を行う。演算部１０５は、生成した表示映像を出力映像フレームメモリ１０６に格納させる。なお、この演算部１０５による具体的な処理については、後に詳述するものとする。

出力映像フレームメモリ１０６は、ＲＡＭから構成され、演算部１０５によって演算処理されて生成された映像信号をフレーム毎に格納する。この出力映像フレームメモリ１０６に格納された映像信号は、映像出力部１０７によって読み出される。

映像出力部１０７は、出力映像フレームメモリ１０６から読み出した映像信号を、ディスプレイ１０８に表示可能な表示映像として出力する。

このような各部を有する映像処理部１０２は、生成した表示映像を自車両Ｖ１の内部に設置されたディスプレイ１０８に表示させる。

ディスプレイ１０８は、自車両Ｖ１の内部に設置され、映像出力部１０７から出力された表示映像を表示画面上に表示することにより、自車両Ｖ１の周囲状況を運転者に提示する。

［車両用周囲状況監視装置の動作］
このような各部を備える車両用周囲状況監視装置は、演算部１０５によって演算処理されて生成された映像を、出力映像フレームメモリ１０６及び映像出力部１０７を介してディスプレイ１０８に表示させる。このとき、車両用周囲状況監視装置は、上述したように、演算部１０５によって視点変換処理と左右反転処理とを行う。

ここで、視点変換処理とは、従来から知られている視点変換処理と同様のものであり、１つの仮想的なカメラと、立体物が存在しない平坦な地面とを想定し、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれによって撮像された映像を、その仮想的なカメラによって撮像されるであろう映像に変換するものである。具体的には、演算部１０５は、例えば図４に示した映像を処理対象とする場合には、図６の網掛け領域Ｐａ，Ｐｂ，Ｐｃの画像情報を、それぞれ、図７の網掛け領域Ｐａ’，Ｐｂ’，Ｐｃ’に視点変換する。

そして、演算部１０５は、これら網掛け領域Ｐａ’，Ｐｂ’，Ｐｃ’を合成することにより、図８（ａ）に示す映像を生成する。この映像は、１つの仮想的な視点から見たときの映像であるという意味では認識しやすいものである。しかし、特に真後ろの後続車両Ｖ２を表す画像が視点変換によって歪曲し、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれによって撮像された、視認性が悪い映像のつなぎ目との影響により、つなぎ目と重複しており且つ当該つなぎ目の内側に位置する後続車両Ｖ２を認識しにくくなってしまっているという問題がある。また、仮に図８（ｂ）に示す映像のように真後ろの後続車両Ｖ２が歪曲していない映像に変換できたとしても、その映像は、後続車両Ｖ２と追越車両Ｖ３とが重複したものとなってしまうため、追越車両Ｖ３と後続車両Ｖ２とを同時に視認させることができない映像となる。

これに対し、車両用周囲状況監視装置は、先に図５に示したような構成に加えて、後続車両検出部１２２によって後続車両Ｖ２を検出するとともに、クロップ・左右反転処理部１２３により、後方カメラ１０１ａによって撮像された映像から視点変換を行っていない部分画像をクロップして左右反転し、得られた視点変換されていない映像と、視点変換及び左右反転処理部１２０ａ，１２０ｂ，１２０ｃによって視点変換された映像とを、合成処理部１２１によって１つの映像に合成する。

ここで、クロップ・左右反転処理部１２３によってクロップする視点変換を行っていない部分画像は、後方カメラ１０１ａのレンズによる画像の歪曲を補正してあるものであってもよい。また、後続車両検出部１２２は、後方カメラ１０１ａ（又は右後側方カメラ１０１ｂ若しくは左後側方カメラ１０１ｃ）によって撮像された映像を画像認識処理することによって後続車両Ｖ２の存在及び位置を認識するものであってもよく、また、ミリ波レーダーやレーザーレーダ等の任意のセンサを用いて後続車両Ｖ２の存在及び位置を検出するものであってもよい。

車両用周囲状況監視装置は、これら後続車両検出部１２２及びクロップ・左右反転処理部１２３を設けることにより、状況に応じて以下のような各種処理を行う。

［視点変換されていない画像を利用した映像置換］
まず、車両用周囲状況監視装置は、クロップ・左右反転処理部１２３を設けることにより、図９に示すように、自車両Ｖ１の後方カメラ１０１ａによって撮像された後方撮像画像の消失線に基づいて表示領域を分割し、分割した表示領域に、後方カメラ１０１ａによって撮像されて視点変換されていない後方撮像画像と、右後側方カメラ１０１ｂ又は左後側方カメラ１０１ｃによって撮像されて視点変換された右後側方視点変換画像又は左後側方視点変換画像画像と後方カメラ１０１ａによって撮像されて視点変換されていない後方撮像画像とを合成された合成画像とを表示する。換言すれば、車両用周囲状況監視装置は、視点変換された映像及び視点変換されていない映像を、視点変換処理によって生成された仮想的な視点からの画像ＶＭの地平線（消失線）Ｇと重なる矩形領域Ａに置換する。

具体的には、矩形領域Ａには、後方カメラ１０１ａによって撮像されて視点変換されていない画像（後方撮像画像：領域Ｃ）と、左後側方カメラ１０１ｃによって撮像されて視点変換された画像（左後側方視点変換画像）と後方撮像画像とを重ね合わせて生成された合成画像（領域Ｌ）との２つの画像が表示される。また、矩形領域Ａには、後方撮像画像（領域Ｃ）と、右後側方カメラ１０１ｂによって撮像されて視点変換された画像（右後側方視点変換画像）と後方撮像画像とのを重ね合わせて生成された合成画像（領域Ｒ）との２つの画像を表示して良い。更に、矩形領域Ａには、後方撮像画像（領域Ｃ）と、左後側方視点変換画像及び後方撮像画像（領域Ｌ）と、右後側方視点変換画像及び後方撮像画像（領域Ｒ）との３つの画像を表示しても良い。

これにより、後続車両Ｖ２は、領域Ｃとして表示された後方撮像画像、領域Ｌとして表示された左後側方視点変換画像及び後方撮像画像、及び、領域Ｒとして表示された右後側方視点変換画像及び後方撮像画像の全てにおいて視認することができる。また、追越車両Ｖ３は、領域Ｌとして表示された左後側方視点変換画像及び後方撮像画像又は領域Ｒとして表示された右後側方視点変換画像及び後方撮像画像において視認することができる。

そのため、車両用周囲状況監視装置は、演算部１０５により、このような矩形領域Ａに相当する映像を生成し、図１０（ａ）に示すように、その映像をディスプレイ１０８に表示することにより、自車両Ｖ１の後方に後続車両Ｖ２が接近し且つその接近によって発生する死角領域があるような状況であっても、当該自車両Ｖ１の運転者が後方の状況を瞬時且つ確実に認識することができる。

［ピクセルの水平方向への圧縮］
また、車両用周囲状況監視装置は、図１１に示すように、画像ＶＭが、後方カメラ１０１ａによって撮像されて視点変換された後方視点変換画像２０１ａと、右後側方カメラ１０１ｂによって撮像されて視点変換された右後側方視点変換画像２０１ｂと、左後側方カメラ１０１ｃによって撮像されて視点変換された左後側方視点変換画像２０１ｃとを含み、図１１中破線で示す矩形領域Ａが、これら画像２０１ａ，２０１ｂ，２０１ｃの全てと重複しているような場合には、以下のような処理を行う。なお、ここでは、左後側方カメラ１０１ｃによって撮像されて視点変換された左後側方視点変換画像２０１ｃについての処理を例として採りあげて説明を行うものとする。

画像ＶＭに現れている左後側方視点変換画像２０１ｃは、図１１に示すように、５角形の領域からなり、当該左後側方視点変換画像２０１ｃのうち領域２０２におけるピクセル行が矩形領域Ａと重複している。

そこで、車両用周囲状況監視装置は、図１２に示すように、演算部１０５により、左後側方視点変換画像２０１ｃのうちで矩形領域Ａと重複した領域２０２におけるピクセル行を画像ＶＭの左端に向かって水平方向に圧縮し、矩形領域Ａと重複しなくなるように歪ませる。具体的には、車両用周囲状況監視装置は、図１３（ａ）における網掛け領域Ｐｃで示すように、図１２の左後側方視点変換画像２０１ｃにおける矩形領域Ａとの重複した領域２０２に相当するピクセル行を画像の左端に向かって水平方向に圧縮する。これにより、車両用周囲状況監視装置においては、図１４に示すように、後続車両Ｖ２を含む矩形領域Ａと、左後側方カメラ１０１ｃによって撮像されて視点変換された画像２０１ｃを歪曲させた領域２０２’とが重複しなくなる。

したがって、車両用周囲状況監視装置は、演算部１０５により、右後側方視点変換画像２０１ｂ，左後側方視点変換画像２０１ｃについては矩形領域Ａと重複する部分がなくなるように、視点変換後に水平方向に圧縮した画像に置換し、図１３（ｂ）に示すように、その映像をディスプレイ１０８に表示する。これにより、車両用周囲状況監視装置は、後続車両Ｖ２と追越車両Ｖ３とを同時に視認させることができる画像ＶＭを提示することができる。

［自車両と後続車両との縦方向距離を利用した最適化］
さらに、車両用周囲状況監視装置は、後続車両検出部１２２によって自車両Ｖ１の後端Ｂと後続車両Ｖ２との縦方向の距離を検出して、矩形領域Ａの最適化を図っても良い。

車両用周囲状況監視装置は、自車両Ｖ１の後端Ｂと後続車両Ｖ２との縦方向の距離に基づいて、図１５に示すように、後方カメラ１０１ａによって撮像されて視点変換された後方視点変換画像２０１ａと、右後側方カメラ１０１ｂによって撮像されて視点変換された右後側方視点変換画像２０１ｂと、左後側方カメラ１０１ｃによって撮像されて視点変換された左後側方視点変換画像２０１ｃとを含む画像ＶＭにおける矩形領域Ａを最適に配置する。

すなわち、車両用周囲状況監視装置は、後続車両検出部１２２によって自車両Ｖ１の後端Ｂと後続車両Ｖ２との縦方向の距離ｄを検出すると、演算部１０５により、当該自車両Ｖ１の後端Ｂを距離ｄだけ後方へ移動した直線が矩形領域Ａの底辺となるように、表示映像内における当該矩形領域Ａの位置を設定する。さらに、車両用周囲状況監視装置は、演算部１０５により、矩形領域Ａの底辺と消失点Ｄとによって定義される三角形の後方撮像画像（領域Ｃ）と、消失点Ｄを垂直に上方へ伸ばした直線を境に左側の領域Ｌ（左後側方視点変換画像＋後方撮像画像）と、右側の領域Ｒ（右後側方視点変換画像＋後方撮像画像）との３つの領域に、矩形領域Ａを分割する。

これにより、車両用周囲状況監視装置は、死角領域が最も少ない映像を生成することができる。

［自車両と後続車両との横方向の距離を利用した最適化］
さらにまた、車両用周囲状況監視装置は、自車両Ｖ１と後続車両Ｖ２との縦方向の距離のみではなく、自車両Ｖ１に対する横方向の位置も検出できる後続車両検出部１２２を有する場合には、運転者の視点に対する死角領域を最小限にし且つ後続車両Ｖ２の認識しやすさに優れる画像の合成を実現することができる。

すなわち、車両用周囲状況監視装置は、図１６（ａ）及び図１７（ａ）に示すような各後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれによって撮像されて視点変換された画像２０１ａ，２０１ｂ，２０１ｃを合成した画像において、図１６（ｂ）及び図１７（ｂ）に示すような後続車両Ｖ２の先端部分を地面に投影したときの位置Ｐに壁面等の垂直の物体が存在したとした場合に、当該物体が画像ＶＭ内において占める領域と、後続車両Ｖ２の画像ＶＭ内における位置Ｐを底辺とする矩形領域との両方に属する領域とを、矩形領域Ａとする。そして、車両用周囲状況監視装置は、演算部１０５により、物体が画面ＶＭ内において占める領域の部分を後方撮像画像（領域Ｃ）とし、矩形領域Ａから後方撮像画像（領域Ｃ）を除いた左右の領域をそれぞれ左後側方視点変換画像及び後方撮像画像（領域Ｌ），右後側方視点変換画像及び後方撮像画像（領域Ｒ）とする。

これにより、車両用周囲状況監視装置は、死角領域が最も少なく且つ後続車両Ｖ２の認識しやすさに優れる映像を生成することができる。特に、夜間に撮像された映像によっては後続車両Ｖ２のヘッドライトを視認可能であるが、後続車両Ｖ２のそれ以外の部分については暗くて視認性が高いので、このような手法は、夜間での使用に有効である。

［後続車両の映像の鮮明度の最適化］
また、車両用周囲状況監視装置は、運転者の視点に対する死角領域を最小限とすると共に、後続車両Ｖ２の視認性をさらに向上させるために、当該後続車両Ｖ２の映像の鮮明度を変化させても良い。

すなわち、人間の視覚認知の研究により人間が特に顔の認識に優れていることが知られているが、自動車のデザインにおいては、左右のヘッドライトとグリルがいわば自動車の顔であると考えるのが一般的である。そのため、かかる原理に基づいて、後続車両Ｖ２の視認性を向上させるために、略ヘッドライト上端の高さまでは、後続車両Ｖ２の映像をなるべく鮮明に提示することが有効であると考えられる。

そこで、車両用周囲状況監視装置は、演算部１０５により、例えば図１０（ｂ）に示すように後方撮像画像を表示する。また、車両用周囲状況監視装置は、図１８に示すように、矩形領域Ａ内における後続車両Ｖ２の略ヘッドライト上端の高さまでは、後方視点変換画像２０１ａではく後方撮像画像（領域Ｃ）を表示しても良い。

これにより、車両用周囲状況監視装置は、後続車両Ｖ２の映像を鮮明にするような映像を生成し、その映像をディスプレイ１０８に表示する。

ここで、車両用周囲状況監視装置は、ヘッドライト上端の高さとして、例えば市販車両のヘッドライトの高さの８０％を含む地上高として定義し、当該地上高を車幅毎にメモリ等に記憶しておく。そして、車両用周囲状況監視装置は、実際に検出した後続車両Ｖ２の車幅に応じて該当する地上高を求めても良く、さらには、画像に対してパターンマッチング等の手法を適用してヘッドライトの実際の高さを求めても良い。

これにより、車両用周囲状況監視装置は、画像ＶＭ内における後続車両Ｖ２の視認性を大幅に向上させることができる。

［後続車両の領域拡大］
さらに、車両用周囲状況監視装置は、後続車両Ｖ２の映像において、視認性にそれほど影響しない部分の割合を低減することにより、当該後続車両Ｖ２の視認性を向上させても良い。

すなわち、車両用周囲状況監視装置は、例えば図１９に示すように、演算部１０５により、矩形領域Ａのうち、視認性にそれほど影響しない後続車両Ｖ２のアッパーボディの部分、より具体的には、後続車両Ｖ２の略ヘッドライト上端位置又は略ルーフ上端位置よりも上方であり且つ右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃの撮像範囲内の領域については、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された右後側方視点変換画像２０１ｂ，左後側方視点変換画像２０１ｃの合成比率を上げる。これにより、車両用周囲状況監視装置は、後続車両Ｖ２の後方の状況を提示する領域を拡大する。

これにより、車両用周囲状況監視装置は、後方状況の全体的な視認性を大幅に向上させることができる。

［追越車両の視認性向上］
さらにまた、車両用周囲状況監視装置は、自車両が走行する車線に対する隣接車線に存在する追越車両Ｖ３を検出した場合には、当該追越車両Ｖ３の視認性を向上させることもできる。

すなわち、車両用周囲状況監視装置は、例えば図２０に示すように、画像ＶＭにおいて追越車両Ｖ３を検出した場合には、演算部１０５により、画像ＶＭ内において追越車両Ｖ３が占める領域については、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像に対する、後方カメラ１０１ａによって撮像されて視点変換されていない映像の合成比率を下げる。

これにより、車両用周囲状況監視装置は、追越車両Ｖ３の視認性を向上させることができる。

［車線変更の推測］
また、車両用周囲状況監視装置は、自車両Ｖ１が車線変更を行う可能性を推測し、その推測結果に応じて、後続車両Ｖ２の視認性を向上させるような映像を生成するか、隣接車線に存在する追越車両Ｖ３やすり抜け車両の視認性を向上させるような映像を生成するかを決定する。

具体的には、車両用周囲状況監視装置は、演算部１０５により、例えば、道路の形状に関するカーナビゲーションシステムの地図データや、カーナビゲーションシステムに設定されている案内経路の情報等に基づいて、自車両Ｖ１が車線変更を行う可能性を推測する。

なお、自車両Ｖ１が車線変更を行う可能性を推測するために、道路の形状に関するカーナビゲーションシステムの地図データを用いるのは、自車両Ｖ１の進行方向の車線数が１車線であるときは車線変更を行う可能性が低いが、例えば高速道路のインターチェンジにおいて本線に合流する場合等、車線数が複数あるときは車線変更を行う可能性が高いことに基づくものである。また、自車両Ｖ１が車線変更を行う可能性を推測するために、カーナビゲーションシステムに設定されている案内経路の情報を用いるのは、設定されている経路の右左折ポイントが近付いている場合には、右左折のため又はその準備としての車線変更のために、後方の追越車両Ｖ３やすり抜け車両を確認したいという要求に基づくものである。

そして、車両用周囲状況監視装置は、自車両Ｖ１が車線変更を行う可能性を推測すると、車線変更の可能性が所定割合以上である場合には、演算部１０５により、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像の合成比率を上げ、先に図２０を用いて説明したように、追越車両Ｖ３やすり抜け車両の視認性を向上させるような映像を生成する。一方、車両用周囲状況監視装置は、車線変更の可能性が所定割合未満である場合には、演算部１０５により、先に図１５乃至図１９を用いて説明したように、後続車両Ｖ２の視認性を向上させるような映像を生成する。

これにより、車両用周囲状況監視装置は、単純であり且つそれが故に運転者にとって状況を把握しやすい映像を提示することができる。

［矩形領域の制限］
さて、車両用周囲状況監視装置において、上述したような後続車両Ｖ２が検出された場合における処理は、いずれも、複数の後続車両Ｖ２が検出された場合には、検出された全ての後続車両Ｖ２に対して適用することができる。しかしながら、車両用周囲状況監視装置においては、複数の矩形領域Ａを設けると、演算部１０５による画像処理が複雑になり、また、ディスプレイ１０８に表示する映像においても、分割された異なる矩形領域Ａが複数存在することに起因してわかりにくくなる、といった問題が生じる。

そこで、車両用周囲状況監視装置は、複数の後続車両Ｖ２が検出された場合には、自車両Ｖ１との距離や自車両Ｖ１に対する位置、後続車両Ｖ２の車幅等、所定の条件を満たす一部の後続車両Ｖ２を選択し、その後続車両Ｖ２に対してのみ矩形領域Ａを算出し、当該条件を満たさない後続車両Ｖ２に対しては処理を行わないようにする。

これにより、車両用周囲状況監視装置は、必要な画像処理を簡易化して処理の高速化を図ることができ、また、ディスプレイ１０８に表示する映像自体も、より簡便でわかりやすいものとすることができる。

なお、矩形領域Ａを設ける理由は、視点変換された映像において視認しにくい後続車両Ｖ２の視認性を向上させることであるが、後続車両Ｖ２のうち最も視認性が求められる車両は、自車両Ｖ１から最も近い位置に存在する後続車両Ｖ２である。また、ある程度以上の距離が離れている後続車両Ｖ２については、その検出精度も低下するのが一般的である。

そのため、車両用周囲状況監視装置は、複数の矩形領域Ａを設けて映像を分割し、複雑化してしまうよりも、演算部１０５により、自車両Ｖ１の後端からの距離が所定の閾値以下の車両を後続車両Ｖ２として選択して処理を行い、自車両Ｖ１との距離が離れているような重要度が低い後続車両Ｖ２については処理を行わない方が有益であることが多いといえる。

また、視点変換された映像において、乗用車やトラック等、ある程度の車幅がある後続車両Ｖ２の視認性が悪いのは、後続車両Ｖ２が自車両Ｖ１の真後ろに存在する場合ともいえる。これは、後続車両Ｖ２が自車両Ｖ１に対して左右のいずれかにずれて位置している場合には、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像によって視認することが可能となるからである。したがって、矩形領域Ａを設けるのがよいのは後続車両Ｖ２が自車両Ｖ１の真後ろに存在する場合である。

そこで、車両用周囲状況監視装置は、演算部１０５により、後続車両Ｖ２が自車両Ｖ１の真後ろに存在する旨を検出した場合には、その後続車両Ｖ２に対してのみ矩形領域Ａを算出するようにする。後続車両Ｖ２が自車両Ｖ１の真後ろに存在する旨を検出するための条件としては、後続車両Ｖ２が自車両Ｖ１の車幅方向中央と消失点Ｄとを結ぶ直線上に位置する車両であることや、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像領域内に後続車両Ｖ２がはみ出している距離が所定の閾値以下であること、として定義することができる。

さらに、車両用周囲状況監視装置は、後続車両Ｖ２が二輪車等の車幅が狭い車両である場合には、そのような後続車両Ｖ２を優先的に表示するような映像を生成する。これは、二輪車等は、乗用車やトラック等の大きな車両として比較して正面面積が小さいため、視点変換されて合成された画像においては、乗用車やトラック等よりもさらに視認性が悪くなることが多いためである。

そこで、車両用周囲状況監視装置は、同じ画像ＶＭ内に、後続車両Ｖ２として二輪車等の車幅が狭い車両と四輪車等の車幅が広い車両とが混在する場合には、車幅が所定の閾値以下の車両を優先するように、演算部１０５によって映像を生成する。

このように、車両用周囲状況監視装置は、複数の後続車両Ｖ２が検出された場合には、自車両Ｖ１との距離や自車両Ｖ１に対する位置、後続車両Ｖ２の車幅といった所定の条件を満たす一部の後続車両Ｖ２を選択し、その後続車両Ｖ２に対してのみ矩形領域Ａを算出することにより、処理の高速化を図ることができるとともに、ディスプレイ１０８に表示する映像を簡便でわかりやすいものとすることができる。

なお、車両走行中においては、自車両Ｖ１の周囲に存在する後続車両Ｖ２も時々刻々と変化することから、後続車両Ｖ２の選択に用いる上述した条件による判断結果も頻繁に変化することになる。

そこで、車両用周囲状況監視装置は、後続車両Ｖ２の選択に用いる上述した条件に基づいて、一度処理対象として認めた車両又は認めなかった車両については、検出ミスや一時的な相対位置の変化等に起因して条件が変化してしまったとしても、所定時間内はその前の判断を保持する。

これにより、車両用周囲状況監視装置は、画像が頻繁に変化して運転者に煩わしい感を与えてしまうのを防止することができる。

［実施形態の効果］
以上詳細に説明したように、本発明の実施形態として示した車両用周囲状況監視装置は、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、及び、左後側方カメラ１０１ｃのそれぞれによって撮像された映像に基づいて、ディスプレイ１０８に表示する表示映像を生成する際に、演算部１０５により、後方カメラ１０１ａによって撮像された画像の消失線に基づいて表示領域を分割し、分割した表示領域に、当該後方カメラ１０１ａによって撮像されて視点変換していない画像と、右後側方カメラ１０１ｂ及び／又は左後側方カメラ１０１ｃによって撮像されて視点変換された画像と後方カメラ１０１ａによって撮像されて視点変換されていない画像とを重ね合わせて生成された合成画像とを表示するように、表示映像を生成する。

これにより、この車両用周囲状況監視装置においては、表示映像に基づいて後続車両Ｖ２との距離感を正確に認識することができるようになる。したがって、この車両用周囲状況監視装置においては、自車両Ｖ１の後方に後続車両Ｖ２が接近し且つその接近によって発生する死角領域があるような状況であっても、当該自車両Ｖ１の運転者が後方の状況を瞬時且つ確実に認識することが可能となる。

具体的には、この車両用周囲状況監視装置においては、表示領域として、後方カメラ１０１ａによって撮像されて視点変換していない画像を表示する後方撮像画像（領域Ｃ）と、右後側方視点変換画像及び後方撮像画像（領域Ｒ）と、左後側方視点変換画像及び後方撮像画像（領域Ｌ）とのうち、後方撮像画像（領域Ｃ）と右後側方視点変換画像及び後方撮像画像（領域Ｒ）との２つの領域、後方撮像画像（領域Ｃ）と左後側方視点変換画像及び後方撮像画像（領域Ｌ）との２つの領域、又は、後方撮像画像（領域Ｃ）と右後側方視点変換画像及び後方撮像画像（領域Ｒ）と左後側方視点変換画像及び後方撮像画像（領域Ｌ）との３つの領域からなり、消失線を含む矩形領域Ａを含むものとすればよい。これにより、この車両用周囲状況監視装置においては、分かりやすい単一視点の映像でありながら、自車両Ｖ１の後方に発生する後続車両Ｖ２によるその左右の死角領域が少ない映像を提示し、自車両Ｖ１の運転者が後方の状況を瞬時且つ確実に認識することが可能となる。

さらに、この車両用周囲状況監視装置において、演算部１０５は、右後側方カメラ１０１ｂによって撮像されて視点変換した画像と、左後側方カメラ１０１ｃによって撮像されて視点変換した画像とについて、矩形領域Ａと重複する部分がなくなるように、視点変換後に水平方向に圧縮した画像に置換する。これにより、この車両用周囲状況監視装置は、映像の半透明処理を行うことができない安価な画像処理装置であっても、死角領域が少ない映像を提示することができ、後続車両Ｖ２と追越車両Ｖ３とを同時に視認することができる画像を提示することができる。

さらにまた、この車両用周囲状況監視装置において、演算部１０５は、自車両Ｖ１の後端と後続車両Ｖ２との縦方向の距離を検出する後続車両検出部１２２によって検出された距離ｄだけ自車両Ｖ１の後端を後方へ移動した直線が矩形領域Ａの底辺となるように、表示映像内における当該矩形領域Ａの位置を設定し、さらに、矩形領域Ａの底辺と消失点Ｄとに基づいて、後方撮像画像（領域Ｃ），左後側方視点変換画像及び後方撮像画像（領域Ｌ），右後側方視点変換画像及び後方撮像画像（領域Ｒ）の３つの領域に当該矩形領域Ａを分割する。これにより、この車両用周囲状況監視装置は、後続車両Ｖ２との車間距離のみを検出する安価なシステムにより、死角領域が最も少ない映像を生成することができる。

また、この車両用周囲状況監視装置において、演算部１０５は、自車両Ｖ１と後続車両Ｖ２との横方向の距離を検出する後続車両検出部１２２によって検出された後続車両Ｖ２の先端を地面に投影したときの位置Ｐに垂直の物体が存在したとした場合に当該物体が画像ＶＭ内において占める領域と、当該後続車両Ｖ２の画像ＶＭ内における位置Ｐを底辺とする領域との両方に属する領域を、矩形領域Ａとして設定し、物体が画面ＶＭ内において占める領域の部分領域を後方撮像画像（領域Ｃ）とし、矩形領域Ａから後方撮像画像（領域Ｃ）を除いた左右の領域をそれぞれ左後側方視点変換画像及び後方撮像画像（領域Ｌ）、右後側方視点変換画像及び後方撮像画像（領域Ｒ）とする。

これにより、この車両用周囲状況監視装置は、後続車両Ｖ２が２重に見えてしまうような可能性を低減し、死角領域が最も少なく且つ後続車両Ｖ２の認識しやすさに優れる映像を生成することができる。

さらに、この車両用周囲状況監視装置において、演算部１０５は、矩形領域Ａ内における後続車両Ｖ２の略ヘッドライト上端の高さまでは当該後続車両Ｖ２の映像を鮮明にするような映像を生成することにより、後続車両Ｖ２の視認性を大幅に向上させながらも、その後続車両Ｖ２による死角領域を最小化することができる。

さらにまた、この車両用周囲状況監視装置において、演算部１０５は、矩形領域Ａのうち、後続車両Ｖ２の略ヘッドライト上端位置又は略ルーフ上端位置よりも上方であり且つ右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃの撮像範囲内の領域については、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換した画像の合成比率を上げる。これにより、車両用周囲状況監視装置は、後続車両Ｖ２の後方の状況を提示する領域を拡大することができるため、当該後続車両Ｖ２の視認性を殆ど低下させることなく、後方状況の全体的な視認性を大幅に向上させることができる。

また、この車両用周囲状況監視装置において、演算部１０５は、隣接車線に存在する他車両を検出した場合には、画像ＶＭ内において当該他車両が占める領域については、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像に対する、後方カメラ１０１ａによって撮像されて視点変換されていない映像の合成比率を下げることにより、後続車両Ｖ２の死角領域に位置するような、隣接車線に存在する他車両の視認性を向上させることができる。

さらに、この車両用周囲状況監視装置において、演算部１０５は、自車両Ｖ１が車線変更を行う可能性を推測し、その推測結果に応じて、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換した映像の合成比率を変化させることにより、追越車両Ｖ３等を把握する必要が少ない場合には後続車両Ｖ２の視認性を向上させることができ、単純であり且つそれが故に運転者にとって状況を把握しやすい映像を提示することができる。

さらにまた、この車両用周囲状況監視装置において、演算部１０５は、複数の後続車両Ｖ２を検出した場合には、自車両Ｖ１の後端からの距離が所定の閾値以下の車両に対してのみ処理を行うことにより、最も死角領域が大きい後続車両Ｖ２を処理対象として優先し、自車両Ｖ１との距離が離れているような重要度が低い後続車両Ｖ２については処理を行う必要がなく、必要な画像処理を簡易化して処理の高速化を図ることができ、また、ディスプレイ１０８に表示する映像自体も、より簡便でわかりやすいものとすることができる。

また、この車両用周囲状況監視装置において、演算部１０５は、複数の後続車両Ｖ２を検出した場合には、自車両Ｖ１の車幅方向中央と消失点Ｄとを結ぶ直線上に位置する車両に対してのみ処理を行うことにより、後続車両Ｖ２が自車両Ｖ１の真後ろに存在することによる当該後続車両Ｖ２の視認性の悪化を低減しつつ、自車両Ｖ１との距離が離れているような重要度が低い後続車両Ｖ２については処理を行う必要がないことから、必要な画像処理を簡易化して処理の高速化を図ることができ、また、ディスプレイ１０８に表示する映像自体も、より簡便でわかりやすいものとすることができる。

さらに、この車両用周囲状況監視装置において、演算部１０５は、複数の後続車両Ｖ２を検出した場合には、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像領域内に後続車両Ｖ２がはみ出している距離が所定の閾値以下である車両に対してのみ処理を行うことにより、後続車両Ｖ２が自車両Ｖ１の真後ろに存在することによる当該後続車両Ｖ２の視認性の悪化を低減しつつ、自車両Ｖ１との距離が離れているような重要度が低い後続車両Ｖ２については処理を行う必要がないことから、必要な画像処理を簡易化して処理の高速化を図ることができ、また、ディスプレイ１０８に表示する映像自体も、より簡便でわかりやすいものとすることができる。

さらにまた、この車両用周囲状況監視装置において、演算部１０５は、複数の後続車両Ｖ２を検出した場合には、視点変換画像において見落としやすい車幅が所定の閾値以下の車両を優先して処理を行うことにより、視認性が良好な車幅が広い後続車両Ｖ２については処理を行う必要がなく、必要な画像処理を簡易化して処理の高速化を図ることができ、また、ディスプレイ１０８に表示する映像自体も、より簡便でわかりやすいものとすることができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施の形態に限定されることはなく、この実施の形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

本発明の実施形態として示す車両用周囲状況監視装置の構成について示すブロック図である。 後方カメラ、右後側方カメラ、及び、左後側方カメラの車両に対する取り付け位置について示す平面図である。 自車両の後方の近い距離に後続車両が存在し、且つ、後続車両の後方から自車両の右側の追越車線を走行する追越車両が存在する状況について示す俯瞰図である。 図３に示す状況において、後方カメラ、右後側方カメラ、及び、左後側方カメラによって撮像される映像の具体例を示す図である。 演算部の機能的な構成について示すブロック図である。 図３に示す状況において、後方カメラ、右後側方カメラ、及び、左後側方カメラによって撮像される映像の具体例を示す図であり、演算部が図４に示す映像を処理対象とする場合について説明するための図である。 図６の網掛け領域の画像情報を視点変換した映像の具体例を示す図である。 図７の網掛け領域を合成して生成された映像の具体例を示す図である。 演算部が後方カメラによって撮像された画像の消失線に基づいて表示領域を分割し、分割した表示領域に、所定の画像を表示させる様子を説明するための図である。 演算部によって生成された映像の具体例を示す図である。 演算部の処理対象となる映像について示す図であり、矩形領域が全ての画像と重複している様子を説明するための図である。 演算部の処理対象となる映像について示す図であり、左側の画像が矩形領域と重複しなくなるように、当該画像領域におけるピクセル行を水平方向に圧縮する様子を説明するための図である。 演算部によって図１２に示す圧縮を行って生成された映像の具体例を示す図である。 演算部の処理対象となる映像について示す図であり、図１２に示す圧縮を行って生成された映像の具体例を示す図である。 演算部の処理対象となる映像について示す図であり、自車両と後続車両との縦方向の距離を利用して矩形領域を最適に配置した様子を説明するための図である。 演算部の処理対象となる映像と、演算部によって生成された映像の具体例とを示す図であり、自車両と後続車両との横方向の距離を利用して矩形領域を最適に配置した様子を説明するための図である。 演算部の処理対象となる映像と、演算部によって生成された映像の具体例とを示す図であり、自車両と後続車両との横方向の距離を利用して矩形領域を最適に配置した他の様子を説明するための図である。 演算部の処理対象となる映像について示す図であり、矩形領域内における後続車両の略ヘッドライト上端の高さまでは後方カメラによって撮像されて視点変換されていない映像を表示する様子を説明するための図である。 演算部の処理対象となる映像について示す図であり、矩形領域のうち、視認性にそれほど影響しない領域については、右後側方カメラ及び左後側方カメラによって撮像されて視点変換された画像の合成比率を上げた様子を説明するための図である。 演算部の処理対象となる映像について示す図であり、画像内において追越車両が占める領域については、右後側方カメラ及び左後側方カメラによって撮像されて視点変換された映像に対する、後方カメラによって撮像されて視点変換されていない映像の合成比率を下げた様子を説明するための図である。

符号の説明

１０１ カメラ装置
１０１ａ 後方カメラ
１０１ｂ 右後側方カメラ
１０１ｃ 左後側方カメラ
１０２ 映像処理部
１０３ａ，１０３ｂ，１０３ｃ 映像入力部
１０４ａ，１０４ｂ，１０４ｃ 入力映像フレームメモリ
１０５ 演算部
１０６ 出力映像フレームメモリ
１０７ 映像出力部
１０８ ディスプレイ
１１０ センサ
１１１ 通信部
１２０ａ，１２０ｂ，１２０ｃ 視点変換及び左右反転処理部
１２１ 合成処理部
１２２ 後続車両検出部
１２３ クロップ・左右反転処理部
Ｖ１ 自車両
Ｖ２ 後続車両
Ｖ３ 追越車両

Claims (14)

1. 自車両後方及び自車両後側方を撮像可能な後方映像撮像手段と、
   自車両右側及び自車両後側方を撮像可能な右後側方映像撮像手段と、
   自車両左側及び自車両後側方を撮像可能な左後側方映像撮像手段と、
   前記後方映像撮像手段、前記右後側方映像撮像手段、及び前記左後側方映像撮像手段のそれぞれによって撮像された映像に基づいて、自車両内部に設置された表示手段に表示する表示映像を生成する演算処理手段とを備え、
   前記演算処理手段は、前記後方映像撮像手段によって撮像された後方撮像画像の消失線に基づいて前記表示手段の表示領域を分割し、分割した表示領域に、当該後方映像撮像手段によって撮像されて視点変換されていない後方撮像画像と、前記右後側方映像撮像手段又は前記左後側方映像撮像手段によって撮像されて視点変換された右後側方視点変換画像又は左後側方視点変換画像と前記後方映像撮像手段によって撮像されて視点変換されていない後方撮像画像とを合成した合成画像とを表示するように、前記表示映像を生成することを特徴とする車両用周囲状況監視装置。
2. 前記表示領域には、前記後方映像撮像手段によって撮像されて視点変換していない後方撮像画像を表示する第１領域と、前記右後側方映像撮像手段によって撮像されて視点変換された右後側方視点変換画像と前記後方映像撮像手段によって撮像されて視点変換されていない後方撮像画像とを合成した合成画像を表示する第２領域と、前記左後側方映像撮像手段によって撮像されて視点変換された左後側方視点変換画像と前記後方映像撮像手段によって撮像されて視点変換されていない後方撮像画像とを合成した合成画像を表示する第３領域とのうち、前記後方領域と前記第２領域との２つの領域、前記後方領域と前記第３領域との２つの領域、又は、前記第１領域と前記第２領域と前記第３領域との３つの領域からなり、前記消失線を含む矩形領域を含むことを特徴とする請求項１に記載の車両用周囲状況監視装置。
3. 前記演算処理手段は、前記右後側方映像撮像手段によって撮像されて視点変換された右後側方視点変換画像と、前記左後側方映像撮像手段によって撮像されて視点変換された左後側方視点変換画像とについて、前記矩形領域と重複する部分がなくなるように、視点変換後に水平方向に圧縮した画像に置換することを特徴とする請求項２に記載の車両用周囲状況監視装置。
4. 前記自車両の後端と後続車両との縦方向の距離を検出する後続車両検出手段を備え、
   前記演算処理手段は、前記後続車両検出手段によって検出された距離だけ前記自車両の後端を後方へ移動した直線が前記矩形領域の底辺となるように、前記表示映像内における当該矩形領域の位置を設定し、前記矩形領域の底辺と消失点とに基づいて、前記第１領域、前記第２領域、及び、前記第３領域の３つの領域に当該矩形領域を分割することを特徴とする請求項２又は請求項３に記載の車両用周囲状況監視装置。
5. 前記自車両と後続車両との横方向の距離を検出する後続車両検出手段を備え、
   前記演算処理手段は、前記後続車両検出手段によって検出された前記後続車両の先端を地面に投影したときの位置に垂直の物体が存在したとした場合に当該物体が画像内において占める領域と、当該後続車両の画像内における前記位置を底辺とする領域との両方に属する領域を、前記矩形領域として設定し、前記物体が画面内において占める領域の部分を前記第１領域とし、前記矩形領域から前記第１領域を除いた左右の領域をそれぞれ前記第２領域及び前記第３領域とすることを特徴とする請求項２又は請求項３に記載の車両用周囲状況監視装置。
6. 前記演算処理手段は、前記矩形領域内における前記後続車両の略ヘッドライト上端の高さまでは当該後続車両の映像を鮮明にするような映像を生成することを特徴とする請求項４又は請求項５に記載の車両用周囲状況監視装置。
7. 前記演算処理手段は、前記矩形領域のうち、前記後続車両の略ヘッドライト上端位置又は略ルーフ上端位置よりも上方であり且つ前記右後側方映像撮像手段及び前記左後側方映像撮像手段の撮像範囲内の領域については、前記右後側方映像撮像手段及び前記左後側方映像撮像手段によって撮像されて視点変換された右後側方視点変換画像及び左後側方視点変換画像の合成比率を上げることを特徴とする請求項４乃至請求項６の何れか一項に記載の車両用周囲状況監視装置。
8. 前記演算処理手段は、自車両が走行する車線に対する隣接車線に存在する他車両を検出した場合には、画像内において当該他車両が占める領域については、前記右後側方映像撮像手段及び前記左後側方映像撮像手段によって撮像されて視点変換された右後側方視点変換画像及び左後側方視点変換画像に対する、前記後方映像撮像手段によって撮像されて視点変換されていない後方撮像画像の合成比率を下げることを特徴とする請求項１乃至請求項７の何れか一項に記載の車両用周囲状況監視装置。
9. 前記演算処理手段は、前記自車両が車線変更を行う可能性を推測し、その推測結果に応じて、前記右後側方映像撮像手段及び前記左後側方映像撮像手段によって撮像されて視点変換された右後側方視点変換画像及び左後側方視点変換画像の合成比率を変化させることを特徴とする請求項１乃至請求項８の何れか一項に記載の車両用周囲状況監視装置。
10. 前記演算処理手段は、複数の後続車両を検出した場合には、前記自車両の後端からの距離が所定の閾値以下の車両に対してのみ処理を行うことを特徴とする請求項１乃至請求項９の何れか一項に記載の車両用周囲状況監視装置。
11. 前記演算処理手段は、複数の後続車両を検出した場合には、前記自車両の車幅方向中央と消失点とを結ぶ直線上に位置する車両に対してのみ処理を行うことを特徴とする請求項１乃至請求項１０の何れか一項に記載の車両用周囲状況監視装置。
12. 前記演算処理手段は、複数の後続車両を検出した場合には、前記右後側方映像撮像手段及び前記左後側方映像撮像手段によって撮像されて視点変換された右後側方視点変換画像及び左後側方視点変換画像に後続車両がはみ出している距離が所定の閾値以下である車両に対してのみ処理を行うことを特徴とする請求項１乃至請求項１０の何れか一項に記載の車両用周囲状況監視装置。
13. 前記演算処理手段は、複数の後続車両を検出した場合には、車幅が所定の閾値以下の車両を優先して処理を行うことを特徴とする請求項１乃至請求項１２の何れか一項に記載の車両用周囲状況監視装置。
14. 車両後方及び車両後側方を撮影可能な映像撮像手段で撮像した映像を車両内部の映像表示手段に表示するに際し、視点変換されていない後方撮像画像の消失線に基づいて前記表示手段の表示領域を分割し、分割した表示領域に、前記後方撮像画像と、視点変換された右後側方視点変換画像又は左後側方視点変換画像と前記後方撮像画像とを合成した合成画像とを表示するように、表示映像を生成することを特徴とする映像表示方法。

Images