JP6291866B2 - 運転支援装置、および運転支援方法 - Google Patents

Description

本発明は、車両周辺の状況を表示部に表示することで運転を支援する技術に関する。

車両にカメラを搭載し、車両の周辺状況を撮影することで、車両と車両の周辺に存在する対象物（ガードレールや他の車両等）との位置関係を表示する技術が知られている。この位置関係は車両上方から見た方が運転者にとって把握し易いことから、このような技術の中には、車両上方から見た車両周辺の画像を表示する技術が存在する。

もっとも、車両上方にカメラを取り付けることはできないので、車両上方から見た画像を直接的に得ることはできない。そこで、このような技術では、車両から車両周辺に向けてカメラを設置し、このカメラで撮影した画像を車両上方からの視点に変換（視点変換）することで得られた画像を表示している（例えば、特許文献１）。

特開２０１２−１７５３１４号公報

しかし、カメラで撮影した画像を視点変換すると歪みが生じるので、車両と対象物との位置関係が実際とは異なった状態で表示されてしまう可能性がある。

この発明は、従来の技術が有する上述した課題に鑑みてなされたものであり、車両と対象物との位置関係を高い精度で表示する技術の提供を目的とする。

上述した課題を解決するために、本発明の運転支援装置および運転支援方法は、車両の周辺に存在する対象物の位置と、該対象物の少なくとも車両に面する側の外形形状とを検出する。また、車両の移動方向および移動量に関する移動情報を取得する。そして、検出した対象物の位置と、取得した移動情報とに基づいて、車両に対する対象物の相対位置を推定する。さらに、車両の外形形状と、対象物の外形形状と、該車両に対する該対象物の相対位置とに基づいて、該車両および該対象物を上方から見た上面視画像を生成して、この上面視画像を表示部に表示する。

対象物が撮影された画像（撮影画像）を表示すると、画像に歪みが生じて車両と対象物との位置関係は実際と異なったものになり易い。この点、本発明は、撮影画像を表示せずに、車両の外形形状と、対象物の外形形状と、該車両に対する該対象物の相対位置とに基づいて生成された上面視画像を表示する。したがって、撮影画像を表示する場合のように画像に歪みが生じることがなく、車両と対象物との位置関係を高い精度で見易く表示することができる。

運転支援装置１０の構成を示す説明図である。 制御装置１２によって実行される位置関係表示処理の前半部分を示すフローチャートである。 制御装置１２によって実行される位置関係表示処理の後半部分を示すフローチャートである。 対象物画像を生成する様子を示す説明図である。 自車両画像と対象物画像とが表示部１６に表示されている様子を示す説明図である。 報知画像が表示部１６に表示されている様子を示す説明図である。 撮影画像を表示する従来の技術を例示する説明図である。 対象物が死角に入る様子を示す説明図である。 対象物が死角に入ったときにおける自車両画像と対象物画像とが表示部１６に表示されている様子を示す説明図である。 死角対象物データベースを概念的に示す説明図である。

以下では、上述した本願発明の内容を明確にするために運転支援装置の実施例について説明する。
Ａ．装置構成 ：
図１には、車両１に設けられた運転支援装置１０の構成が示されている。本実施例の運転支援装置１０はステレオカメラ１１を備えており、このステレオカメラ１１は車両１の前方を向けて並設された２つのカメラ１１ａ，１１ｂから構成されている。また、本実施例の運転支援装置１０は、ステレオカメラ１１が撮影した画像に基づいて所定の処理を実行する制御装置１２、制御装置１２の処理結果を表示する表示部１３を備えている。これらのうち、制御装置１２は、ＣＰＵやメモリ、各種コントローラー等が搭載された基板を有しており、運転席前方のインストルメントパネルの奥側に設置されている。また、表示部１３としては、表示画面を運転席側に向けてインストルメントパネルに設置された液晶表示器や、フロントガラス（ウインドシールド）に表示内容を投影するヘッドアップディスプレイ等が設置されている。

制御装置１２内部をそれぞれの機能を有する機能ブロックに分類すると、制御装置１２は、ステレオカメラ１１に撮影された対象物（例えば、ガードレールや、壁、他車両、縁石など）の形状を検出すると共に対象物を示す画像（以下「対象物画像」という）を生成する形状検出部１４や、ステレオカメラ１１が撮影した画像から車両１に対する対象物の相対位置（以下「第１相対位置」という）を検出する第１相対位置検出部１５、車両１の移動方向や移動量に関する移動情報を検出する移動情報取得部１７、第１相対位置と移動情報に基づいて、ステレオカメラ１１に対象物が撮影された後における車両１に対する対象物の相対位置（本発明における「相対位置」、以下「第２相対位置」という）を推定する第２相対位置検出部１６、車両１と対象物との間隔が距離Ｄ（例えば、５０ｃｍ）以下である箇所を検出する狭間隔箇所検出部１８、車両１を示す自車両画像（車両１の外形形状）が記憶された記憶部１９、車両１の上方からみた車両１の周辺状況を示す画像（上面視画像）を生成する画像生成部２０、画像生成部２０が生成した上面視画像を表示部１３に表示させる表示処理部２１を備えている。
尚、ステレオカメラ１１を構成するカメラ１１ａ，１１ｂが本発明における「撮影手段」に対応し、記憶部１９が本発明における「記憶手段」に対応し、形状検出部１４および第１相対位置検出部１５が本発明における「対象物検出手段」に対応し、移動情報取得部１７が本発明における「移動情報取得手段」に対応し、第２相対位置検出部１６が本発明における「相対位置推定手段」に対応し、狭間隔箇所検出部１８が本発明における「狭間隔箇所検出手段」に対応し、画像生成部２０が本発明における画像生成手段に対応し、表示処理部２１が本発明における「表示手段」に対応している。また、形状検出部１４は本発明における「対象物生成手段」にも対応している。

以下では、上述したような運転支援装置１０において行われる「位置関係表示処理」について説明する。位置関係表示処理では、表示部１３に車両１と対象物との位置関係（車両１の周辺状況）を示す上面視画像を表示するための処理が行われる。

Ｂ．位置関係表示処理 ：
図２および図３には、本実施例の運転支援装置１０において行われる位置関係表示処理のフローチャートが示されている。尚、位置関係表示処理は実際には、制御装置１２内部のＣＰＵがＲＯＭに記憶されたプログラムを実行することによって行われるが、以下では、制御装置１２または上述した機能ブロック１４〜１９を実行主体として説明する。また、位置関係表示処理はタイマ割り込み処理として（例えば６０分の１秒毎に）行われる。
図２および図３に示す位置関係表示処理を開始すると、制御装置１２は先ず、ステレオカメラ１１に撮影指示信号を出力することで、ステレオカメラ１１に車両１前方を撮影させるとともに、その撮影された画像（カメラ１１ａ，１１ｂによって同時に撮影された２つの撮影画像）を取得する。続いて、制御装置１２の画像生成部２０は、記憶部１９から自車両画像を読み出し、該自車両画像をフレームバッファ等の表示画像領域に配置（記憶）する。表示画像領域とは、表示部１３に表示される上面視画像が生成される領域である（Ｓ１００、図６参照）。また、自車両画像とは、上方から見た車両１を示す画像である。この自車両画像は、車両１を上方から見た場合の外形を（バンパーの凹凸等も含めて）正確に縮小した画像（例えば縮尺が１００分の１の画像）であることが好ましい。これは、車両１と対象物との間隔を高い精度で表示部１３に表示するためである。

画像生成部２０が表示画像領域に自車両画像を配置したら（Ｓ１００）、制御装置１２は、ステレオカメラ１１から取得した２つの撮影画像の中に、ガードレールや壁、他車両、縁石などの対象物が存在するか否かを判断する（Ｓ１０２）。例えば、制御装置１２内のＲＯＭに種々の対象物の形状をテンプレートとして記憶しておき、撮影画像の中にそのテンプレートに適合（マッチ）する部分が存在するか否かを判断する（いわゆるテンプレートマッチング処理を行う）。

尚、このＳ１０２の判断処理では、「遠方の対象物（車両１から所定の距離より離れた位置に存在する対象物）」については、撮影画像の中に存在していても検出せずに（存在しないと判断し）、「近傍の対象部（車両１から所定の距離以内の位置に存在する対象物）」について検出する（存在すると判断する）こととしている。例えば、上述のテンプレートマッチング処理において、小さめのテンプレート（遠方の対象物に対応するテンプレート）は使用せずに、大きめのテンプレート（近傍の対象物に対応するテンプレート）に適合した対象物が存在するか否かを判断する。詳しくは後述するが、本実施例の運転支援装置１０では、Ｓ１０２の判断処理で対象物を検出すると、この対象物を示す対象物画像を表示部１３に表示することとしている。したがって、Ｓ１０２の判断処理で、直ぐに車両１に接触する虞のない遠方の対象物も検出してしまうと、この遠方の対象物を示す対象物画像も表示されてしまい、接触する虞のある近傍の対象物を示す対象物画像を運転者が認識し難くなってしまう可能性がある。このようなことを防止すべく、Ｓ１０２の判断処理では遠方の対象物は検出しないこととしている。

Ｓ１０２の判断処理の結果、撮影画像中に対象物（近傍の対象物）が存在していると判断された場合は（Ｓ１０２：ｙｅｓ）、制御装置１２の形状検出部１４は、その対象物の形状を検出する（Ｓ１０４）。ここで、上述したように、ステレオカメラ１１のカメラ１１ａ，１１ｂは、異なった位置から（いわゆる視差のある状態で）車両１の前方を撮影する。したがって、カメラ１１ａ，１１ｂの撮影画像の差分に基づいて、車両１から画像に写る所定箇所までの距離を検出することが可能である。そこで、形状検出部１４は、図４（ａ）に示すように先ず、Ｓ１０２の処理で検出された対象物（ここでは凹凸のある壁）の複数の部位までの距離を検出する。すなわち、車両１から対象物の複数の部位までの距離は互いに異なることがあるので、その複数の部位までの距離をそれぞれ検出する。そして、それらの距離に基づいて、図４（ｂ）に示すように、上方から見たときの対象物の車両１側の形状を検出する（Ｓ１０４）。

こうして、対象物の車両１側の形状を検出したら（Ｓ１０４）、対象物のその他の部分の形状を補完することで、対象物を示す対象物画像を生成する（Ｓ１０６）。すなわち、Ｓ１０４の処理では、対象物の形状のうち車両１側しか検出することができないので、その他の部分の形状を補完する。例えば、予め種々の対象物に対応する形状の画像（既成の画像）を記憶部１９に記憶しておく。そして、Ｓ１０４の処理で検出された対象物の車両１側の形状に基づいて、この対象物の種類を推定する。続いて、推定された対象物に対応する既成の画像を読み出し、図４（ｃ）に示すように、この既成の画像にＳ１０４で検出された対象物の車両１側の形状を反映させる（合成する）ことで、検出された対象物を示す対象物画像を生成する（Ｓ１０６）。

尚、対象物画像を生成するに際しては、対象物画像の縮尺は自車両画像と同じにする。例えば、自車両画像の縮尺が１００分の１であれば、既成の画像も縮尺が１００分の１のものを予め記憶しておく。そして、既成の画像に対象物の車両１側の形状を反映させる前に、対象物の車両１側の形状も縮尺を１００分の１にする。

こうして、対象物画像を生成したら（Ｓ１０６）、制御装置１２の第１相対位置検出部１５は、車両１に対する対象物の相対位置（第１相対位置）を検出する（Ｓ１０８）。上述したように、ステレオカメラ１１の撮影画像（カメラ１１ａ，１１ｂの２つの撮影画像）からは、画像に写る所定箇所の車両１からの距離を検出することが可能であるので、ここでは車両１から対象物までの距離を検出する。そして、この距離に基づいて車両に対する対象物の第１相対位置（例えば、車両１の中心を原点とした２次元座標）を検出する。尚、第１相対位置を検出するにあたっては、Ｓ１０４の処理で検出された「車両１から対象物の複数の部位までの距離」に基づいて検出してもよい。また、Ｓ１０８の処理で検出された第１相対位置も、対象物画像と同様に、縮尺を１００分の１にする。

こうして、対象物画像を生成すると共に（Ｓ１０６）対象物の第１相対位置を検出したら（Ｓ１０８）、画像生成部２０は、対象物の第１相対位置に基づいて対象物画像を表示用記憶領域に配置する（Ｓ１１０）。すなわち、図５に示すように、表示部１３の表示画面上の「第１相対位置に対応する位置」に、対象物画像が「車両１側の形状に対応する部分」を自車両画像側に向けて表示されるように、対象物画像を表示用記憶領域に配置する。

続いて、対象物と車両１との間隔が所定の距離Ｄ（例えば、５０ｃｍ）以下の箇所（以下「狭間隔箇所」という）があるか否かを判断する（Ｓ１１２）。この判断処理は、表示用記憶領域上（表示画面上）における対象物画像と自車両画像との間隔が「距離Ｄの縮尺を１００分の１にした距離（例えば、５ｍｍ）」以下の箇所があるか否かを判断してもよいし、ステレオカメラ１１の画像に基づいて車両１から対象物の各部位までの距離を検出して距離Ｄ以下の箇所があるか否かを判断してもよい。この結果、対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）がある場合は（Ｓ１１２：ｙｅｓ）、画像生成部２０は、狭間隔箇所の位置に基づいて「対象物と車両１との間隔（ここでは５０ｃｍ）を報知する報知画像」を表示用記憶領域に配置する。すなわち、図６に示すように、狭間隔箇所に対応する位置（表示部１３の表示画面上の位置）に報知画像が表示されるように、報知画像を表示用記憶領域に配置する。

その後、Ｓ１０２の処理に戻り、ステレオカメラ１１の撮影画像中に他の対象物が存在しないか否かを判断する。そして、他の対象物が存在する場合は（Ｓ１０２：ｙｅｓ）、上述したＳ１０４〜Ｓ１１４の処理を繰り返す。すなわち、ステレオカメラ１１の撮影画像中に存在する対象物毎に、対象物画像を生成すると共に第１相対位置を検出し、その第１相対位置に対応する位置に対象物画像が表示されるように、対象物画像を表示用記憶領域に配置する。また、狭間隔箇所が存在する場合は、狭間隔箇所に対応する位置に報知画像が表示されるように、報知画像を表示用記憶領域に配置する。

ここで、本実施例の運転支援装置１０と従来技術とを比較する。図７（ａ）には、車両に設けられたカメラで撮影した画像をそのまま表示部に表示する従来技術が示されている。このような従来技術では、図７（ａ）に示すように、カメラの性能によって画像がぼやけたり車両近傍（ここではバンパー）が歪んだりするので、運転者にとって車両と対象物との位置関係を認識し難い。また、車両と対象物との位置関係は車両上方から見た方が認識し易いものの、車両上方にカメラを取り付けることができないので、車両上方から見た画像とは異なる認識し難い画像を表示することとなってしまう。また、図７（ｂ）には、車両に設けられたカメラで撮影した画像を車両上方からの視点に変換（視点変換）して表示部に表示する従来技術が示されている。このような従来技術では、図７（ｂ）に示すように、車両上方から見た画像を表示することはできるものの、撮影した画像（ここでは壁の画像）を視点変換すると画像が歪んでしまうので、運転者にとって車両と対象物との位置関係（例えば、車両と壁との間隔）を認識し難くなってしまう。

これらの従来技術に対して、本実施例の運転支援装置１０は、図５を用いて前述したように、車両１を上方から見た自車両画像を表示すると共に、対象物の車両１に対する相対位置（第１相対位置）に対応する位置に、対象物を上方から見た対象物画像を表示する。したがって、運転者にとって車両１と対象物との位置関係を認識し易い上方からの視点で、自車両画像と対象物画像とを表示することができる。また、自車両画像や対象物画像に歪みが生じることがないので、車両と対象物との位置関係（例えば、車両と対象物との間隔）を高い精度で表示することができる。
また、本実施例の運転支援装置１０は、対象物の車両１側の形状を検出し、検出された形状を反映した対象物画像を表示するので、対象物を上方から見た場合の対象物の車両１側の形状を高い精度で表示することができ、ひいては、対象物と車両１との間隔を高い精度で表示することができる。

また、図１を用いて前述したように、本実施例の運転支援装置１０は、ステレオカメラ１１（カメラ１１ａ，１１ｂ）を備えており、ステレオカメラ１１に撮影された２つ画像の差分に基づいて車両１から対象物までの距離を検出する。したがって、高い精度で車両１に対する対象物の相対位置や車両１側の対象物の形状を検出することができ、ひいては、車両と対象物との位置関係や、対象物の車両１側の形状を高い精度で表示することができる。
また、図６を用いて前述したように、本実施例の運転支援装置１０は、対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）がある場合は、その箇所に対応する位置（表示部１３の表示画面上の位置）に、対象物と車両１との間隔を報知する報知画像を表示する。したがって、車両１が対象物に接近していることを、狭間隔箇所が運転者にとって認識し易い態様で報知することができる。

以上は、本実施例の運転支援装置１０において、ステレオカメラ１１に撮影された対象物を示す対象物画像を表示部１３に表示する処理（Ｓ１０４〜Ｓ１１４）について説明した。これに対して、ステレオカメラ１１に撮影された対象物を示す対象物画像を全て表示した場合や、ステレオカメラ１１に対象物が撮影されなかった場合は（Ｓ１０２：ｎｏ）、ステレオカメラ１１の死角（ステレオカメラ１１の撮影可能範囲の外側）に存在する対象物を示す対象物画像を表示するための処理を行う。この処理では先ず、前回の位置関係表示処理（図２および図３）において対象物画像を表示（配置）してからの車両１の移動情報（移動方向および移動量）を、移動情報取得部１７が取得する（Ｓ１１６）。例えば、運転支援装置１０とは別の「車両１のステアリングの操舵角や速度を検出するシステム」からこれらの情報（いわゆるＣＡＮ情報）を受信して、これらの情報に基づいて移動上方を取得する。尚、以下では、前回の位置関係表示処理（図２および図３）を単に「前回」と表現し、今回の位置関係表示処理を単に「今回」と表現する。

こうして、対象物画像を前回表示してからの車両１の移動情報を検出したら（Ｓ１１６）、前回表示した対象物全てについて今回の相対位置（車両１が移動した後の相対位置、第２相対位置）を演算（推定）する（Ｓ１１８）。この演算処理は、「対象物画像を前回表示したときの対象物の相対位置（第１相対位置）」と「対象物画像を前回表示してからの車両１の移動情報」とに基づいて行われる。例えば、第１相対位置を示す二次元座標に、車両１の移動情報分を反映させることによって、今回の相対位置（第２相対位置）を演算する。こうして、前回表示した対象物全てについて今回の相対位置（第２相対位置）を演算したら（Ｓ１１８）、「今回の相対位置（第２相対位置）がステレオカメラ１１の死角に位置する対象物」が存在するか否かを判断する（Ｓ１２０）。すなわち、前回表示した対象物画像に対応する対象物のうち、ステレオカメラ１１の死角に入った対象物が存在するか否かを判断する。

その結果、ステレオカメラ１１の死角に入った対象物が存在する場合は（Ｓ１２０：ｙｅｓ）、その対象物の相対位置（第２相対位置）が対象物画像を表示可能な範囲であるか否かを判断する（Ｓ１２２）。すなわち、表示部１６の表示領域は当然ながら限りがあるので、このことに対応して対象物（対象物画像）を表示できる相対位置（第２相対位置）の範囲も所定の範囲内（例えば、車両１の前後方向２ｍ以内、左右方向３ｍ以内）となる。そこで、Ｓ１２２の判断処理は、この所定の範囲内（表示可能な範囲内）に、ステレオカメラ１１の死角に入った対象物の相対位置（第２相対位置）が存在するか否かを判断する。
その結果、ステレオカメラ１１の死角に入った対象物の相対位置（第２相対位置）が表示可能な範囲内にある場合は（Ｓ１２２：ｙｅｓ）、その相対位置（第２相対位置）に対応する表示画面上の位置に、対象物画像（前回表示した対象物画像）が表示されるように、画像生成部２０が対象物画像を表示用記憶領域に配置する（Ｓ１２４）。

図８には、対象物がステレオカメラ１１の死角に入る様子が示されており、図９には、そのときの表示部１６の表示内容が示されている。尚、図８および図９では、対象物および対象物画像を簡略化して（円形で）示している。
本実施例の運転支援装置１０は上述のＳ１１６〜Ｓ１２４の処理を行うことによって、図８に示すように対象物がステレオカメラ１１の撮影可能範囲から撮影不能範囲（死角）に入った場合であっても、「対象物画像を前回表示したときの対象物の相対位置（第１相対位置）」と「対象物画像を前回表示してからの車両１の移動情報」とに基づいて「今回の対象物の相対位置（第２相対位置）」を演算して、この相対位置（第２相対位置）に対応する位置に、該対象物の対象物画像を表示することができる（図９）。したがって、対象物を撮影した後に車両１が移動することで該対象物がステレオカメラ１１の死角に入った場合であっても、車両１と対象物との位置関係を高い精度で表示することができる。

こうして、ステレオカメラ１１の死角に入った対象物を示す対象物画像を表示したら（Ｓ１２４）、死角に入った対象物と車両１との間隔が所定の距離Ｄ（例えば、５０ｃｍ）以下の箇所（狭間隔箇所）があるか否かを判断する（Ｓ１２６）。この判断処理は、例えば、死角に入った対象物画像と自車両画像との表示用記憶領域上（表示画面上）における間隔が「距離Ｄの縮尺を１００分の１にした距離（例えば、５ｍｍ）」以下の箇所があるか否かを判断する。この結果、死角に入った対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）がある場合は（Ｓ１２６：ｙｅｓ）、その狭間隔箇所に対応する位置（表示部１３の表示画面上の位置）に報知画像が表示されるように、画像生成部２０が報知画像を表示用記憶領域に配置する（Ｓ１２８）。こうすると、死角に入った対象物に車両１が接近していることを、狭間隔箇所が運転者にとって認識し易い態様で報知することができる。

ステレオカメラ１１の死角に入った対象物を示す対象物画像を表示した場合（Ｓ１２４）はさらに、この対象物の対象物画像と相対位置（第２相対位置）とに対応付けて、識別情報（ＩＤ）を付与する（Ｓ１３０）。
図１０には、本実施例の運転支援装置１０における死角対象物データベースが例示されている。死角対象物データベースとは、死角に入った対象物のうち、対象物画像を表示中の対象物を制御装置１２が記憶するためのデータベースであり、記憶部１９に記憶されている。すなわち、対象物が死角に移動した場合であっても、その対象物を示す対象物画像を表示している限りは、その対象物の対象物画像（の形状）と相対位置とを記憶しておく必要がある。そこで、対象物が死角に入った場合は、その対象物の対象物画像と相対位置とにＩＤを付与して記憶する。

こうして、Ｓ１２０〜Ｓ１３０の処理を行ったら、Ｓ１２０の処理に戻り、死角に入った他の対象物が存在しないか否かを判断する。その結果、死角に入った他の対象物が存在する場合は（Ｓ１２０：ｙｅｓ）、上述したＳ１２０〜Ｓ１３０の処理を繰り返す。すなわち、死角に入った対象物毎に、今回の相対位置（第２相対位置）を演算して、その相対位置（第２相対位置）が表示可能な範囲にあれば、該相対位置（第２相対位置）に対応する位置に対象物画像が表示されるように対象物画像を表示用記憶領域に配置すると共に、死角に入った対象物（対象物画像および相対位置）にＩＤを付与して死角対象物データベースに記憶する。また、死角に入った対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）が存在する場合は、その狭間隔箇所に対応する位置に報知画像が表示されるように、報知画像を表示用記憶領域に配置する。

以上は、対象物が今回からステレオカメラ１１の死角に入った場合に、該対象物を示す対象物画像を表示する処理（Ｓ１１６〜Ｓ１３０）について説明した。これに対して、対象物が前回以前にステレオカメラ１１の死角に入った場合は、次のような処理を行う。制御装置１２は先ず、前回以前にステレオカメラ１１の死角に入った対象物を示す対象物画像が表示されているか否かを判断する（Ｓ１３２）。すなわち、前回以前に死角に入った対象物を示す対象物画像が表示されている場合は、図１０を用いて上述した死角対象物データベースに記憶されているので（前回以前のＳ１３０の処理で記憶されているので）、Ｓ１３２の判断処理は、死角対象物データベースに前回以前にＩＤが付与されて記憶された対象物（対象物画像および相対位置）があるか否かを判断することによって行われる。尚、以下では、前回以前に死角に入った対象物は上述したようにＩＤが付与されていることから、該対象物を「ＩＤ付与済みの対象物」と表現する。

Ｓ１３２の判断処理の結果、ＩＤ付与済みの対象物が存在すると判断された場合は（Ｓ１３２：ｙｅｓ）、該ＩＤ付与済みの対象物の前回の相対位置（死角対象物データベースに記憶されている相対位置）と、Ｓ１１６の処理で検出された車両１の移動情報（対象物画像を前回表示してからの車両１の移動情報）とに基づいて、ＩＤ付与済みの対象物の今回の相対位置を演算する（Ｓ１３４）。例えば、ＩＤ付与済みの対象物の前回の相対位置を示す二次元座標に、車両１の移動情報分を反映させることによって、今回の相対位置を演算する。

こうして、ＩＤ付与済みの対象物の今回の相対位置を検出したら（Ｓ１３４）、その相対位置が対象物画像を表示可能な範囲であるか否かを判断する（Ｓ１３６）。すなわち、前述したように、表示部１６の表示領域は限りがあるので、このことに対応して対象物（対象物画像）を表示できる相対位置の範囲も所定の範囲内（例えば、車両１の前後方向２ｍ以内、左右方向３ｍ以内）となる。そこで、Ｓ１３６の判断処理は、この所定の範囲内（表示可能な範囲内）に、ＩＤ付与済みの対象物の相対位置があるか否かを判断する。
その結果、ＩＤ付与済みの対象物の相対位置が表示可能な範囲内にある場合は（Ｓ１３６：ｙｅｓ）、その相対位置に対応する表示画面上の位置に、該ＩＤに対応する対象物画像（死角対象物データベースに記憶されている対象物画像）が表示されるように、画像生成部２０が対象物画像を配置する（Ｓ１３８）。尚、ＩＤ付与済みの対象物を示す対象物画像を配置した場合は、死角対象物データベースにおける該ＩＤに対応する相対位置をＳ１３４の処理で演算された相対位置に更新する。

こうして、ＩＤ付与済みの対象物を示す対象物画像を表示したら（Ｓ１３８）、ＩＤ付与済みの対象物と車両１との間隔が所定の距離Ｄ（例えば、５０ｃｍ）以下の箇所（狭間隔箇所）があるか否かを判断する（Ｓ１４０）。この判断処理は、例えば、ＩＤ付与済みの対象物画像と自車両画像との表示用記憶領域上（表示画面上）における間隔が「距離Ｄの縮尺を１００分の１にした距離（例えば、５ｍｍ）」以下の箇所があるか否かを判断する。この結果、ＩＤ付与済みの対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）がある場合は（Ｓ１４０：ｙｅｓ）、その狭間隔箇所に対応する位置（表示部１３の表示画面上の位置）に、対象物と車両１との間隔を報知する報知画像が表示されるように、画像生成部２０が報知画像を表示用記憶領域に配置する（Ｓ１４２）。こうすると、前回以前に死角に入った対象物（ＩＤ付与済みの対象物）に車両１が接近していることを、狭間隔箇所が運転者にとって認識し易い態様で報知することができる。

一方、Ｓ１３６の判断処理で、ＩＤ付与済みの対象物の相対位置が表示可能な範囲内にない場合は（Ｓ１３６：ｎｏ）、該ＩＤ付与済みの対象物を示す対象物画像を表示することはできないので、Ｓ１３８〜Ｓ１４２の処理は省略すると共に、死角対象物データベースから該対象物（ＩＤと、該ＩＤが付与された対象物画像および相対位置）を消去する（Ｓ１４４）。

こうして、Ｓ１３２〜Ｓ１４４の処理を行ったら、Ｓ１３２の処理に戻り、他のＩＤ付与済みの対象物が存在しないか否かを判断する。すなわち、死角対象物データベースに他のＩＤ付与済みの対象物（ＩＤと、該ＩＤが付与された対象物画像および相対位置）が記憶されているか否かを判断する。その結果、他のＩＤ付与済みの対象物が存在する場合は（Ｓ１３２：ｙｅｓ）、上述したＳ１３４〜Ｓ１４４の処理を繰り返す。すなわち、ＩＤ付与済みの対象物毎に、今回の相対位置を演算して、その相対位置が表示可能な範囲にあれば表示画面上の該相対位置に対応する位置に対象物画像が表示されるように対象物画像を表示用記憶領域に配置する。これに対して、その相対位置が表示可能な範囲になければ対象物画像を配置せずに死角対象物データベースから消去する。また、前回以前に死角に入った対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）が存在する場合、その狭間隔箇所に対応する位置に報知画像が表示されるように、報知画像を表示用記憶領域に配置する。そして、ＩＤ付与済みの対象物全てについてＳ１３４〜Ｓ１４４の処理を行ったら、表示処理部２１が、画像表示領域の内容（Ｓ１１０、Ｓ１１４、Ｓ１２４、Ｓ１２８、Ｓ１３８、Ｓ１４２の処理で画像表示領域上に配置された各種画像、すなわち、上面視画像）を表示部１３に表示する（Ｓ１４６）。その後、図２および図３に示す位置関係表示処理を終了する。

以上のように、本実施例の運転支援装置１０では、前回以前に死角に入った対象物（ＩＤ付与済みの対象物）についても、その対象物の相対位置を更新して、この相対位置に基づいて対象物画像を表示する。したがって、対象物が死角に入った後も該対象物が表示可能範囲に存在する限りは継続して、車両１と該対象物との位置関係を高い精度で表示することができる。

以上、実施例の運転支援装置について説明したが、本発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

例えば、上述した実施例では、車両１と対象物との間隔が所定の距離Ｄ以下の箇所が存在する場合は、その箇所に対応する表示画面上の位置に報知画像を表示することとした。これに限らず、車両１と対象物との間隔が所定の距離Ｄ以下の箇所が存在する場合は、その箇所に対応する表示画面上の範囲を拡大して表示（いわゆるズームアップ表示）することとしてもよいし、その範囲の色彩を変更することとしてもよい。こうすると、対象物に車両１が接近していることを更に強調して運転者に報知することができる。
また、上述した実施例においては、車両１と対象物との間隔が所定の距離Ｄ以下の箇所が存在する場合は、その旨を示す情報をブレーキ制御システムに送信してもよい。そして、この情報を受信したブレーキ制御システムが、自動的に（運転者による操作がなくても）ブレーキをかけるようにしてもよい。こうすると、対象物に車両１が接近していることを更に強調して運転者に報知することができると共に車両１が対象物に接触することを防止することができる。
また、上述した実施例においては、車両１の速度に対応して表示部１３の表示可能範囲を変更してもよい。例えば、時速１０ｋｍ以上で車両１が走行している場合は、車両１の前後方向２０ｍ、左右方向１０ｍに存在する対象物を表示部１６に表示し、時速１０ｋｍ未満で車両１が走行している場合は、車両１の前後方向２ｍ、左右方向３ｍに存在する対象物を表示部１６に表示することとしてもよい。
また、上述した実施例においては、画像生成部２０が対象物画像や報知画像を表示用記憶領域に全て配置した後に、表示用記憶領域の内容（上面視画像）を表示部１３に表示することとしたが、画像生成部２０が対象物画像や報知画像を表示用記憶領域に配置するたびに、表示用記憶領域の内容（上面視画像）を表示部１３に表示することとしてもよい。
また、自車両画像および対象物画像は、車両１および対象物の外形形状を反映した画像であればよく、外形形状をそのまま表示する必要はない。例えば、車両１を上方から見たシンボルマークの大きさを、車両１の外形形状に合わせて適宜拡大あるいは縮小して表示するものであってもよい。

１…車両、 １０…運転支援装置、 １１…ステレオカメラ、
１２…制御装置、 １３…表示部、 １４…形状検出部、
１５…第１相対位置検出部、１６…第２相対位置検出部、１７…移動情報取得部、
１８…狭間隔箇所検出部、 １９…記憶部、 ２０…画像生成部、
２１…表示処理部

Claims (5)

1. 車両に設けられて、該車両の周辺状況を表示部（１３）に表示する運転支援装置であって、
   前記車両の外形形状が記憶された記憶手段と（１９）、
   前記車両の周辺に存在する対象物の位置と、該対象物の少なくとも前記車両に面する側の外形形状とを検出する対象物検出手段（１４，１５）と、
   前記車両の移動方向および移動量に関する移動情報を取得する移動情報取得手段（１７）と、
   前記対象物検出手段で検出した前記対象物の位置と、前記移動情報取得手段で取得した前記移動情報とに基づいて、前記車両に対する前記対象物の相対位置を推定する相対位置推定手段（１６）と、
   前記車両の外形形状と、前記対象物の外形形状と、該車両に対する該対象物の前記相対位置とに基づいて、該車両および該対象物を上方から見た上面視画像を生成する画像生成手段（２０）と、
   前記上面視画像を前記表示部に表示させる表示手段（２１）と
   を備える運転支援装置。
2. 請求項１に記載の運転支援装置であって、
   前記対象物検出手段で検出された前記対象物の外形形状に基づいて該対象物の外形形状を表す対象物画像を生成する対象物生成手段（１４）を備え、
   前記記憶手段は、前記車両の外形形状を表す車両画像を記憶する手段であり、
   前記画像生成手段は、前記対象物画像と前記車両画像とを含む前記上面視画像を生成する手段である運転支援装置。
3. 請求項１または請求項２に記載の運転支援装置であって、
   前記車両に対する前記対象物の前記相対位置、および、前記車両と前記対象物の前記外形形状に基づいて、前記車両と前記対象物との間隔が所定の距離以下の箇所である狭間隔箇所を検出する狭間隔箇所検出手段（１８）を備え、
   前記画像生成手段は、前記狭間隔箇所が検出されると、該狭間隔箇所を示す前記上面視画像を生成する手段である運転支援装置。
4. 請求項１ないし請求項３の何れか一項に記載の運転支援装置であって、
   前記対象物を異なった位置から撮影する複数の撮影手段（１１ａ，１１ｂ）を備え、
   前記対象物検出手段は、前記複数の撮影手段が撮影した画像に基づいて、前記車両の周辺に存在する前記対象物の位置と、該対象物の前記車両に面する側の外形形状とを検出する手段である運転支援装置。
5. 車両に設けられて、該車両の周辺状況を表示部に表示する運転支援方法であって、
   前記車両の周辺に存在する対象物の位置と、該対象物の少なくとも前記車両に面する側の外形形状とを検出する工程と（Ｓ１０８、Ｓ１０４）、
   前記車両の移動方向および移動量に関する移動情報を取得する工程と（Ｓ１１６）、
   前記対象物の位置と前記移動情報とに基づいて、前記車両に対する前記対象物の相対位置を推定する工程と（Ｓ１１８）、
   前記車両の外形形状と、前記対象物の外形形状と、該車両に対する該対象物の前記相対位置とに基づいて、該車両および該対象物を上方から見た上面視画像を生成する工程と（Ｓ１００、Ｓ１２４）、
   前記上面視画像を前記表示部に表示する工程と（Ｓ１４６）
   を備える運転支援方法。

Images