JP2008250503A - 運転支援装置 - Google Patents

Abstract

【課題】他車両が撮像した撮像画像の中から自車両の死角を撮像した撮像画像を選択することにより、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となった運転支援装置に関するものである。
【解決手段】自車両５１が交差点に接近中であって、他車両５２、５３から受信したデータ中に接近中の交差点を撮像した撮像画像が含まれている場合には、受信した撮像画像を自車両５１からの死角を撮像した撮像画像と判定し、その撮像画像に対して所定の画像処理を施した後に、プロジェクタ１４によって自車両５１の死角方向へと投影し、死角を形成する他車両５２に対して障害物を透過した画像７２を表示するように構成する。
【選択図】図１３

Description

本発明は、車両からの死角方向における視界を補完する運転支援装置に関する。

近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示する画像表示システムを搭載する車両が増加している。車両の周辺の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等があるが、車両の後方や、前方のバンパー下及びコーナー部等の死角は通常運転者からは認識することが困難となっている。従って、これらの死角における周辺の状況を、車両に設置したカメラ等の撮像装置によって撮像し、車両を右折、左折又はバック等をさせる際に表示装置に表示することにより、運転者の補助を行うことが行われている。

また、従来においては他車両と通信を行うことにより、他車両が撮像した撮像画像を取得し、自車両に設置されたカメラでは撮像できない死角範囲に関する画像についても表示可能とする技術についても提案されている。例えば、特開２００３−３１９３８３号公報には、自車両の前方を走行する他車両から他車両の前方を撮像した撮像画像を通信で取得することにより、当該他車両によって生じる自車両からの死角範囲を透過した画像を表示装置に表示する技術について記載されている。
特開２００３−３１９３８３号公報（第３頁〜第６頁、図２、図３）

しかしながら、前記した特許文献１に記載された技術では、自車両からの死角を形成する原因となる前方車両において撮像された撮像画像に基づいて自車両からの視界を補完しているが、自車両からの死角は前方車両のみに基づいて形成されるとは限らない。例えば、駐車車両、対向車両、並走車両等によって形成される場合がある。即ち、周囲に位置するどの車両が障害物となって自車両に対してどの方向に死角が生じているかについては、状況毎に変化するものであり特定することが非常に困難である。

例えば、図１４に示す自車両１０１の周囲状況においては、対向車線が渋滞しており、自車両１０１からは渋滞車両１０２が障害物となって交差点方向が死角となっている。従って、自車両１０１は交差点へと進入する進入車両１０３に気付かない虞がある。そこで、死角範囲にある進入車両１０３を撮像した撮像画像を、交差点の手前側に位置する渋滞車両１０２又は交差点の奥側に位置する渋滞車両１０４が撮像した画像から選択して表示することにより、自車両１０１からの死角方向の視界を補完することができる。

ここで、前記特許文献１のように、自車両の前方を走行する前方車両のみを自車両からの死角を形成する障害物として扱うのでは、図１４に示す状況では自車両からの視界を補完することができない。また、前方車両がカメラ等の撮像手段を備えていない場合もあり、その場合についても同様に自車両からの視界を補完することができない。

本発明は前記従来における問題点を解消するためになされたものであり、他車両が撮像した撮像画像の中から自車両の死角を撮像した撮像画像を選択するので、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となった運転支援装置を提供することを目的とする。

前記目的を達成するため本願の請求項１に係る運転支援装置（１）は、他車両において撮像された撮像画像を取得する画像取得手段（４）と、前記画像取得手段で取得された複数の撮像画像の内、自車両からの死角を撮像した撮像画像を選択する画像選択手段（１１）と、前記画像選択手段で選択された撮像画像を前記自車両からの死角の方向に対して投影する投影手段（１４）と、を有することを特徴とする。

また、請求項２に係る運転支援装置（１）は、請求項１に記載の運転支援装置において、前記画像選択手段（１１）によって選択された撮像画像中から自車両の死角となる範囲の画像を抽出する画像抽出手段（１１）と、前記投射手段（１４）は前記画像抽出手段によって抽出された抽出画像を前記自車両からの死角の方向へと投影することを特徴とする。

また、請求項３に係る運転支援装置（１）は、請求項２に記載の運転支援装置において、自車両の現在位置を取得する自車両位置取得手段（１５）と、他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段（４）と、を有し、前記画像抽出手段（１１）は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角となる範囲の画像を抽出することを特徴とする。

また、請求項４に係る運転支援装置（１）は、請求項１乃至請求項３のいずれかに記載の運転支援装置において、自車両の現在位置を取得する自車両位置取得手段（１５）と、他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段（４）と、を有し、前記画像選択手段（１１）は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角を撮像した撮像画像を選択することを特徴とする。

また、請求項５に係る運転支援装置（１）は、請求項４に記載の運転支援装置において、自車両の前方に交差点があるか否か判定する交差点判定手段（１１）と、前記交差点判定手段において自車両の前方に交差点があると判定された場合に、前記他車両位置取得手段で取得した他車両の位置が前記交差点の自車両進行方向の手前側にあるか否か判定する手前位置判定手段（１１）と、を有し、前記画像選択手段（１１）は前記手前位置判定手段によって他車両の位置が前記交差点の自車両進行方向の手前側にあると判定された場合に、その他車両で撮像された後方撮像画像を選択することを特徴とする。

更に、請求項６に係る運転支援装置（１）は、請求項５に記載の運転支援装置において、前記手前位置判定手段（１１）によって他車両の位置が前記交差点の自車両進行方向の手前側にないと判定された場合に、前記画像選択手段（１１）は前記交差点の自車両進行方向の奥側にある他車両で撮像された前方撮像画像を選択することを特徴とする。

前記構成を有する請求項１に記載の運転支援装置によれば、他車両が撮像した撮像画像の中から自車両の死角を撮像した撮像画像を選択するので、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となる。

また、請求項２に記載の運転支援装置によれば、自車両からの死角範囲に相当する画像のみを投影することができるので、死角以外の不要範囲の画像が投影されることによって、視認可能な範囲に位置する対象物（歩行者や車両等）が死角に位置すると誤認させたり、死角に位置する対象物が視認可能な範囲にあると誤認させる虞がない。また、死角に位置する対象物のみを運転者に明確に把握させることが可能となる。更に、歩行者や他車両の運転者に対して画像が投影されることによって視界を奪う機会を著しく減少させることが可能となる。

また、請求項３に記載の運転支援装置によれば、自車からの死角の範囲を正確に算出することが可能となるので、自車両からの死角範囲に相当する画像のみを抽出して投影することができる。

また、請求項４に記載の運転支援装置によれば、前方車両以外にも、駐車車両、対向車両、並走車両等によって形成される様々な角度及び範囲の死角について、他車両が撮像した撮像画像に基づいて視界の補完を行うことが可能となる。

また、請求項５に記載の運転支援装置によれば、交差点を手前側から撮像した他車両の後方撮像画像を自車両の死角を撮像した撮像画像として選択するので、死角を形成する障害物を透過した画像をより現実に近い形で形成し、その障害物に対して投影することが可能となる。従って、運転者は投影された画像を視認することにより、死角に位置する対象物の状態をより正確に把握することが可能となる。

更に、請求項６に記載の運転支援装置によれば、交差点を手前側から撮像した他車両の後方撮像画像がなかった場合でも、交差点を奥側から撮像した他車両の前方撮像画像を自車両の死角を撮像した撮像画像として選択するので、死角を形成する障害物を透過した画像を形成することが可能となる。従って、運転者は投影された画像を視認することにより、死角に位置する対象物の状態を把握することが可能となる。

以下、本発明に係る運転支援装置について具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。
先ず、本実施形態に係る運転支援装置１を備えた複数の車両２によって構成される車車間通信システム３の概略構成について図１を用いて説明する。図１は本実施形態に係る車車間通信システム３の概略構成図である。

図１に示すように、本実施形態に係る車車間通信システム３は、道路上を走行する複数の車両２によって構成され、各車両２に設置された運転支援装置１が備える通信装置（画像取得手段、他車両位置取得手段）４によって複数の車両２の間で相互に情報通信が可能となっている。

ここで、通信装置４は、例えばミリ波帯の電波による無線方式で情報を通信する通信装置である。そして、自車両位置に対して予め定められた無線通信可能範囲（例えば、自車両位置を中心とした半径２ｋｍまでの範囲）に位置する他車両（後続車両、前方車両、対向車両等）との間で、無線による情報の通信を行うことが可能となっている。
また、通信装置４によって車両間で送受信される情報としては、後述するように車両２に設置された各種センサで検出した車両２の現在位置及び方位に関する自車情報、車両２に備え付けられた前方カメラ５及び後方カメラ６の設置位置や設置角度や撮像範囲等に関するカメラパラメータ情報、前方カメラ５で撮像した車両２の前方環境の前方撮像画像データ、及び後方カメラ６で撮像した車両２の後方環境の後方撮像画像データ等がある。

尚、車車間通信システム３における車両２の間の通信では、直接に車両２の間で情報を送受信することの他に、通信センタ（図示せず）などの通信施設を介して情報を送受信することも可能である。

次に、上記車車間通信システム３を構成する車両２に設置された運転支援装置１の構成について図２及び図３を用いて説明する。図２は本実施形態に係る運転支援装置１の概略構成図、図３は本実施形態に係る運転支援装置１の制御系を模式的に示すブロック図である。

図２及び図３に示すように、車両２には前記した通信装置４に加えて、前方カメラ５と、後方カメラ６と、運転支援ＥＣＵ（画像選択手段、画像抽出手段、交差点判定手段、手前位置判定手段）１１と、カメラパラメータＤＢ１２と、画像ＤＢ１３と、プロジェクタ（投影手段）１４と、現在位置検出部（自車両位置取得手段）１５と、車速センサ１６と、ステアリングセンサ１７と、ジャイロセンサ１８とから構成されている。

前方カメラ５は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両２の前方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より所定角度下方に向けて設置される。そして、走行時及び停車時に車両２の進行方向となる車両前方を撮像し、その撮像された前方撮像画像（図１１参照）は画像ＤＢ１３に一旦記憶され、必要に応じて後述のように通信装置４を介して他車両へと送信される。

後方カメラ６は、前方カメラ５と同じくＣＣＤ等の固体撮像素子を用いたものであり、車両２の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より所定角度下方に向けて設置される。そして、走行時及び停車時に車両２の進行方向と逆方向となる車両後方を撮像し、その撮像された後方撮像画像（図９参照）は画像ＤＢ１３に一旦記憶され、必要に応じて後述のように通信装置４を介して他車両へと送信される。

また、運転支援ＥＣＵ（エレクトロニック・コントロール・ユニット）１１は、車両２の停車時において前方カメラ５や後方カメラ６で撮像した撮像画像を車車間通信システム３を介して他車両との間で送受信する画像通信処理（図４参照）と、他車両から送信された撮像画像の内、特に自車両からの死角を撮像した撮像画像がある場合に、その撮像画像を自車両からの死角方向へとプロジェクタ１４により投影する画像投影処理（図５、図６参照）等を行う電子制御ユニットである。尚、運転支援ＥＣＵ１１はナビゲーション装置の制御に使用するＥＣＵと兼用してもよい。また、運転支援ＥＣＵ１１の詳細な構成については後述する。

また、カメラパラメータＤＢ１２は、前方カメラ５及び後方カメラ６に関する各種パラメータが記憶された記憶手段である。ここで、本実施形態ではカメラパラメータＤＢ１２に記憶される情報として、前方カメラ５及び後方カメラ６の車両２に対する設置位置、設置角度、撮像範囲等が記憶される。

一方、画像ＤＢ１３は、前方カメラ５及び後方カメラ６によって撮像された前方撮像画像及び後方撮像画像を記憶する記憶手段である。ここで、画像ＤＢ１３に記憶される情報としては、自車両に設置された前方カメラ５及び後方カメラ６によって撮像された自車両周辺の前方撮像画像及び後方撮像画像の他、車車間通信システム３を介して他車両から受信した他車両で撮像された前方撮像画像及び後方撮像画像がある。

また、プロジェクタ１４は、液晶パネルと投影用の光源から構成される所謂液晶プロジェクタである。そして、本実施形態に係る運転支援装置１では車両からの死角方向に対して、その死角を撮像した撮像画像を投影する。その結果、車両２からの死角を形成する障害物（具体的には他車両）に対して、障害物を透過した画像が表示される（図１３参照）。尚、プロジェクタ１４としては液晶プロジェクタの代わりに、ＤＬＰプロジェクタやＬＣＯＳプロジェクタを用いても良い。

また、現在位置検出部１５は車両２の現在位置を地図上で特定する為の検出部であり、ＧＰＳ２１や地図ＤＢ２２から構成される。
そして、ＧＰＳ２１は、人工衛星によって発生させられた電波を受信することにより、地球上における車両２の現在位置と現在時刻を検出する。
一方、地図ＤＢ２２は、車両２が現在走行する道路を特定する為の地図データが記録された記憶手段である。ここで、地図データは、例えば道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、交差点に関する交差点データ等から構成されている。尚、現在位置検出部１５としてはナビゲーション装置を用いても良い。

また、車速センサ１６は、車両２の車輪の回転に応じて車速パルスを発生させ、車両の移動距離や車速や加速度を検出するセンサである。
ステアリングセンサ１７は、ステアリング装置の内部に取り付けられており、ステアリングの回動角を検出するセンサである。
ジャイロセンサ１８は、車両２の旋回角を検出するセンサである。また、ジャイロセンサ１８によって検出された旋回角を積分することにより、自車方位を検出することができる。

次に、運転支援ＥＣＵ１１の詳細について図３を用いて説明すると、運転支援ＥＣＵ１１はＣＰＵ３１を核として構成されており、ＣＰＵ３１には記憶手段であるＲＯＭ３２及びＲＡＭ３３が接続されている。そして、ＲＯＭ３２には後述の画像通信処理プログラム（図４参照）や画像投影処理プログラム（図５、図６参照）、その他、プロジェクタ１４等の制御上必要な各種のプログラム等が格納されている。また、ＲＡＭ３３はＣＰＵ３１で演算された各種データを一時的に記憶しておくメモリである。

続いて、前記構成を有する本実施形態に係る運転支援装置１の運転支援ＥＣＵ１１が実行する画像通信処理プログラムについて図４に基づき説明する。図４は本実施形態に係る画像通信処理プログラムのフローチャートである。ここで、画像通信処理プログラムは、所定間隔（例えば５ｓｅｃ毎）で繰り返し実行され、車両２の停車時において前方カメラ５や後方カメラ６で撮像した撮像画像を車車間通信システム３を介して他車両との間で送受信する処理を行うプログラムである。尚、以下の図４乃至図６にフローチャートで示されるプログラムは運転支援ＥＣＵ１１が備えているＲＯＭ３２やＲＡＭ３３に記憶されており、ＣＰＵ３１により実行される。

画像通信処理プログラムでは、先ずステップ（以下、Ｓと略記する）１において、ＣＰＵ３１は前方カメラ５により車両２の前方環境が撮像された前方撮像画像を取得する。また、後方カメラ６により車両２の後方環境が撮像された後方撮像画像を取得する。そして、取得した各撮像画像は画像ＤＢ１３に一時的に記憶される。尚、前方カメラ５及び後方カメラ６のいずれか一方のみが車両に設置されている場合には、設置されているカメラによる撮像画像のみを取得する。

次に、Ｓ２においてＣＰＵ３１は、車速センサ１６の検出結果に基づいて自車両が停車中であるか否か判定する。そして、自車両が停車中であると判定された場合（Ｓ２：ＹＥＳ）には、Ｓ３へと移行する。一方、自車両が走行中であると判定された場合（Ｓ２：ＮＯ）には画像通信処理プログラムを終了する。

続いて、Ｓ３でＣＰＵ３１は、現在位置検出部１５や各種センサ１６〜１８により自車両の現在位置や自車方位を検出する。更に、Ｓ４ではカメラパラメータＤＢ１２から前方カメラ５及び後方カメラ６に関する各種パラメータ（設置位置、設置角度、撮像範囲等）情報を取得する。

その後、Ｓ５においてＣＰＵ３１は、車車間通信システム３（図１）を構成する他車両に対して送信する為の送信データを作成する。尚、前記Ｓ５で作成される送信データは、前記Ｓ１で取得した前方カメラ５の前方撮像画像データ及び後方カメラ６の後方撮像画像データ、前記Ｓ３で検出された自車両の現在位置及び方位に関する自車情報、前記Ｓ４で取得した前方カメラ５及び後方カメラ６の設置位置や設置角度や撮像範囲等に関するカメラパラメータ情報によって構成される。

そして、Ｓ６でＣＰＵ３１は、前記Ｓ５で作成された送信データを車車間通信システム３により他車両へと送信する。そして、送信データを受信した他車両は、受信した送信データを用いて後述の画像投影処理（図５、図６）を行う。

次に、本実施形態に係る運転支援装置１の運転支援ＥＣＵ１１が実行する画像投影処理プログラムについて図５及び図６に基づき説明する。図５及び図６は本実施形態に係る画像投影処理プログラムのフローチャートである。ここで、画像投影処理プログラムは、他車両から車車間通信システム３を介して撮像画像を含む送信データを受信した際に実行され、受信した撮像画像の内、特に自車両からの死角を撮像した撮像画像がある場合には、その撮像画像を自車両からの死角方向へとプロジェクタ１４により投影する処理を行うプログラムである。

画像投影処理プログラムでは、先ずＳ１１においてＣＰＵ３１は、前記Ｓ６により他車両から送信された送信データを受信する。

次に、Ｓ１２でＣＰＵ３１は、現在位置検出部１５や各種センサ１６〜１８により自車両の現在位置や自車方位を検出する。更に、Ｓ１３では前記Ｓ１１で受信したデータに基づいて、データを送信した送信元となる他車両の現在位置や車両方位を特定する。

更に、Ｓ１４でＣＰＵ３１は、前記Ｓ１２で検出した自車両の現在位置と自車方位とに基づいて、自車両が交差点へ向けて走行しており且つ交差点が所定距離（例えば２０ｍ）以内まで接近しているか否かを判定する。

その結果、自車両が交差点へ向けて走行しており且つ交差点が所定距離内まで接近していると判定された場合（Ｓ１４：ＹＥＳ）には、Ｓ１５へと移行する。一方、自車両が交差点を通過した場合や、交差点から所定距離以上離れていると判定された場合（Ｓ１４：ＮＯ）には、プロジェクタ１４による画像の投影を行うことを示す投影フラグ（交差点手前投影フラグ及び交差点奥側投影フラグ）をＯＦＦして（Ｓ１６）、当該画像投影処理プログラムを終了する。尚、上記Ｓ１４が交差点判定手段の処理に相当する。

次に、Ｓ１５でＣＰＵ３１は、前記Ｓ１１で他車両から受信したデータの内、自車両が接近中である交差点を撮像した撮像画像があるか否か、即ち自車両からの死角を撮像した撮像画像があるか否かを判定する。具体的には、前記Ｓ１３で特定した撮像画像の撮像を行った他車両の現在位置や車両方位と、受信した他車両の各種カメラパラメータ（設置位置、設置角度、撮像範囲等）と、地図ＤＢ２２に記憶された地図情報により判定する。

以下に、前記Ｓ１５の判定処理について図７を用いてより詳細に説明する。図７は所定の交差点５０に接近中である自車両５１とその周辺環境を示した俯瞰図である。
ここで、図７に示すように自車両５１が交差点５０に接近している場合において、他車両から受信したデータ中に交差点５０を撮像した撮像画像がある場合（Ｓ１５：ＹＥＳ）には、その撮像画像は（１）対向車線の交差点５０の手前側に停車中の他車両５２の後方カメラ６によって撮像された後方撮像画像、又は（２）対向車線の交差点５０の奥側に停車中の他車両５３の前方カメラ５によって撮像された前方撮像画像のいずれかとなる。そして、交差点５０の手前側や奥側に他車両が停車しているということは、対向車線が混雑していると推定される。従って、対向車線に位置する他車両が障害物となって交差点５０方向が自車両５１からの死角になっていると予測され、結果的に、他車両５２の後方カメラ６によって撮像された後方撮像画像及び他車両５３の前方カメラ５によって撮像された前方撮像画像は、自車両からの死角を撮像した撮像画像となる。
以上より、前記Ｓ１５で自車両が接近中である交差点を撮像した撮像画像がある場合には、その撮像画像は自車両からの死角を撮像した撮像画像にも相当することとなる。

そして、前記Ｓ１５の判定の結果、自車両が接近中である交差点を撮像した撮像画像があると判定された場合（Ｓ１５：ＹＥＳ）には、Ｓ１７へと移行する。一方、自車両が接近中である交差点を撮像した撮像画像が無いと判定された場合（Ｓ１５：ＮＯ）には、自車両からの死角を撮像した撮像画像も無いので、画像の投影を行うことなく当該画像投影処理プログラムを終了する。

その後、Ｓ１７でＣＰＵ３１は、前記Ｓ１１で他車両から受信したデータの内、自車両が接近中である交差点を手前から撮像した撮像画像があるか否か、即ち自車両からの死角となる交差点を交差点の手前側に位置する他車両が後方カメラ６により撮像した後方撮像画像があるか否かを判定する。具体的には、前記Ｓ１３で特定した撮像画像の撮像を行った他車両の現在位置や車両方位と地図ＤＢ２２に記憶された地図情報により、他車両の位置が交差点の自車両進行方向の手前側にあると判定された場合に、その他車両により撮像された画像が、自車両が接近中である交差点を手前から撮像した撮像画像であると判定される。尚、上記Ｓ１７が手前位置判定手段の処理に相当する。

そして、自車両が接近中である交差点を手前側から撮像した撮像画像があると判定された場合（Ｓ１７：ＹＥＳ）には、その撮像画像を投影対象の画像として選択する（Ｓ１８）。更に、Ｓ１９では交差点を手前から撮像した撮像画像をプロジェクタ１４により投影することを示す交差点手前画像投影フラグをＯＮして、Ｓ２３へと移行する。一方、自車両が接近中である交差点を手前側から撮像した撮像画像が無いと判定された場合（Ｓ１７：ＮＯ）にはＳ２０へと移行する。

以下に、前記Ｓ１７及びＳ１８の処理について図８及び図９を用いてより詳細に説明する。図８は所定の交差点５０に接近中である自車両５１と交差点５０の手前側に位置する他車両５２とその周辺環境を示した俯瞰図である。また、図９は図８に示す状況での他車両５２の後方カメラ６で撮像した後方撮像画像６１を示した図である。
図８に示すように自車両５１が交差点５０に接近している場合において、他車両から受信したデータ中に交差点５０を手前側から撮像した撮像画像がある場合（Ｓ１７：ＹＥＳ）には、その撮像画像は対向車線の交差点５０の手前側に位置する他車両５２の後方カメラ６によって撮像された後方撮像画像となる。
そして、図９に示すように、他車両５２の後方カメラ６によって撮像された後方撮像画像６１には、交差点５０の奥側に位置する他車両５３の前面部と、交差点５０へと進入する進入車両５４の側面部が撮像される。従って、自車両５１は後方撮像画像６１を後述のようにプロジェクタ１４で投影することによって（図１３参照）、自車両５１の死角に位置する進入車両５４の存在を運転者に気付かせることが可能となる。そこで、前記Ｓ１８では、この他車両５２の後方カメラ６によって撮像された後方撮像画像６１を自車の死角方向に投影する画像として選択する。

Ｓ２０でＣＰＵ３１は、交差点を手前から撮像した撮像画像をプロジェクタ１４により投影することを示す交差点手前画像投影フラグがＯＮか否か判定する。そして、交差点手前画像投影フラグがＯＮであると判定された場合（Ｓ２０：ＹＥＳ）には、既に交差点の手前側から他車両が撮像した後方撮像画像を投影中であるので、後方撮像画像の投影を優先する為に他の撮像画像（例えば、交差点の奥側に位置する他車両の前方撮像画像）の投影を行うことなく当該画像投影処理プログラムを終了する。

一方、交差点手前画像投影フラグがＯＦＦであると判定された場合（Ｓ２０：ＮＯ）には、交差点の手前側から他車両が撮像した後方撮像画像を投影していないので、他の撮像画像、即ち、自車両が接近中である交差点を反対の奥側から撮像した撮像画像を投影対象の画像として選択する（Ｓ２１）。その後、Ｓ２２では交差点を奥側から撮像した撮像画像をプロジェクタ１４により投影することを示す交差点奥側投影フラグをＯＮして、Ｓ２３へと移行する。

以下に、前記Ｓ２０及びＳ２１の処理について図１０及び図１１を用いてより詳細に説明する。図１０は所定の交差点５０に接近中である自車両５１と交差点５０の奥側に位置する他車両５３とその周辺環境を示した俯瞰図である。また、図１１は図１０に示す状況での他車両５３の前方カメラ５で撮像した前方撮像画像６２を示した図である。
図１０に示すように自車両５１が交差点５０に接近している場合において、他車両から受信したデータ中に交差点５０を手前側から撮像した撮像画像が無い場合（Ｓ２０：ＮＯ）であっても、対向車線の交差点５０の奥側に位置する他車両５３の前方カメラ５によって撮像された前方撮像画像が存在する場合がある。
そして、図１１に示すように、他車両５３の前方カメラ５によって撮像された前方撮像画像６２には、交差点５０へと進入する進入車両５４の正面が撮像される。従って、自車両５１は前方撮像画像６２を後述のようにプロジェクタ１４で投影することによって、自車両５１の死角に位置する進入車両５４の存在を運転者に気付かせることが可能となる。従って、前記Ｓ２１では、この他車両５３の前方カメラ５によって撮像された前方撮像画像６２を自車両の死角方向へ投影する画像として選択する。尚、上記Ｓ１８及びＳ２１が画像選択手段の処理に相当する。

その後、Ｓ２３においてＣＰＵ３１は、前記Ｓ１８又はＳ２１で選択された撮像画像に対して、撮像した他車両の位置及び方位と撮像画像を撮像した前方カメラ５又は後方カメラ６の設置位置や設置角度や撮像範囲等に関するカメラパラメータとに基づいて、画像の歪みを補正する補正処理を実行する。

次に、Ｓ２４でＣＰＵ３１は、前記１２で検出した自車両の現在位置や自車方位と、地図ＤＢ２２に記憶された地図情報と、前記Ｓ１１で受信したデータ送信元となる他車両の現在位置や車両方位に基づいて、障害物によって形成される自車両からの死角となるエリアを算出する。また、算出された死角エリアに基づいてプロジェクタ１４による画像の投影方向を決定する。

続いて、Ｓ２５でＣＰＵ３１は、前記Ｓ２４で算出された死角エリアに基づいて、前記Ｓ１８又はＳ２１で選択された撮像画像の内、死角エリアを撮像した範囲を抽出する。具体的には、図９に示すように交差点の手前側に位置する他車両から撮像された後方撮像画像６１である場合には、画像の上下方向の中心線から死角エリアが含まれる側（図９では右側）の画像を抽出する。また、図１１に示すように交差点の奥側に位置する他車両から撮像された前方撮像画像６２である場合には、画像の地平線より下方側の画像を抽出する。尚、上記Ｓ２４及びＳ２５が画像抽出手段の処理に相当する。

その後、Ｓ２６でＣＰＵ３１は、自車両からの死角を形成する障害物（図７では他車両５２）を平面とみなし、自車両が備えるプロジェクタ１４との角度から、撮像画像を投影用の画像へと変換する画像変換処理を行う。尚、前記Ｓ２６の変換方法は、公知の変換方法に準じる。

そして、Ｓ２７でＣＰＵ３１は、前記Ｓ２６において変換された画像を、前記Ｓ２３で決定された投影方向に対して投影する。それによって、自車両からの死角を形成する障害物を透過した画像をその障害物に対して表示することが可能となり、死角における視界の補完が完了する。

ここで、図１２は図７に示す状況でステップ２７の画像の投影処理を行う前における自車両５１の運転席からの視界風景７０を示した図である。また、図１３は図７に示す状況でステップ２７の画像の投影処理を行った後における自車両５１の運転席からの視界風景７１を示した図である。ここで、投影を行わない状態では図７及び図１２に示すように、自車両５１からは他車両５２が障害物となって交差点５０の右側が死角となる。従って、自車両５１からは右側から交差点５０へと進入する進入車両５４を運転者は視認することができない。
そこで、図１３に示すように他車両で撮像された撮像画像に基づく画像を死角方向に投影することによって、他車両５２の側面に対して進入車両５４の画像７２が表示される。従って、自車両５１の運転者は他車両５２に隠れた位置に対して進入車両５４が存在することを容易に把握することが可能となる。また、特に図１３のように交差点を手前側から撮像した他車両の後方撮像画像（図９）を投影することによって、死角を形成する他車両５２を透過した画像をより現実に近い形で形成し、死角に位置する進入車両５４の状態をより正確に把握させることが可能となる。

以上詳細に説明した通り、本実施形態に係る運転支援装置１では、自車両が交差点に接近中であって（Ｓ１４：ＹＥＳ）、他車両から受信したデータ中に接近中の交差点を撮像した撮像画像が含まれている場合（Ｓ１５：ＹＥＳ）には、受信した撮像画像を自車両からの死角を撮像した撮像画像と判定し、その撮像画像に対して所定の画像処理を施した後に、プロジェクタ１４によって自車両の死角方向へと投影し、死角を形成する障害物に対して障害物を透過した画像を表示する（Ｓ２７）ので、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となる。
また、他車両の撮像した撮像画像から自車両からの死角範囲に相当する画像のみを抽出して（Ｓ２５）投影するので、死角以外の不要範囲の画像が投影されることによって、視認可能な範囲に位置する対象物（歩行者や車両等）が死角に位置すると誤認させたり、死角に位置する対象物が視認可能な範囲にあると誤認させる虞がない。また、死角に位置する対象物のみを運転者に明確に把握させることが可能となる。更に、歩行者や他車両の運転者に対して画像が投影されることによって視界を奪う機会を著しく減少させることが可能となる。
また、受信したデータ中に交差点を手前側から撮像した他車両の後方撮像画像がある場合には、投影する画像として優先的に後方撮像画像を選択するので、死角を形成する障害物を透過した画像をより現実に近い形で形成し、その障害物に対して投影することが可能となる。従って、運転者は投影された画像を視認することにより、死角に位置する対象物の状態をより正確に把握することが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では他車両から取得した撮像画像を、プロジェクタ１４によって死角を形成する障害物に対して投影することにより、自車両からの死角における視界を補完するように構成しているが、他車両から取得した撮像画像を車内のディスプレイに表示することにより、自車両からの死角における視界を補完するようにしても良い。

また、本実施形態では、特に交差点において対向車線に存在する他車両によって生じる自車両から交差点への死角を、他車両において撮像した撮像画像を投影することにより補完しているが、交差点以外にも駐車場の出入り口や高速道路の合流帯等の他車両によって自車両の死角が発生する箇所において適用することが可能となる。

また、本実施形態では他車両から任意のタイミングで送信されたデータを受信した（Ｓ１１）際に、自車両が交差点に接近中であるか判定し（Ｓ１４）、更に交差点に接近中である場合に、自車からの死角を撮像した撮像画像の選択（Ｓ１８、Ｓ２１）や選択された撮像画像の投影（Ｓ２７）を行うこととしているが、自車両が交差点に接近中である場合に他車両に対してデータを要求するようにしても良い。その場合には、要求に応じて他車両から送信されたデータに基づいて、自車からの死角を撮像した撮像画像の選択（Ｓ１８、Ｓ２１）や選択された撮像画像の投影（Ｓ２７）を行うようにすることが望ましい。それにより、撮像画像を含む送信データの送信（Ｓ６）は、他車両からの要求があった場合にのみ行うこととなり、通信処理負担の軽減が可能となる。

本実施形態に係る車車間通信システムの概略構成図である。 本実施形態に係る運転支援装置の概略構成図である。 本実施形態に係る運転支援装置の制御系を模式的に示すブロック図である。 本実施形態に係る画像通信処理プログラムのフローチャートである。 本実施形態に係る画像投影処理プログラムのフローチャートである。 本実施形態に係る画像投影処理プログラムのフローチャートである。 所定の交差点に接近中である自車両とその周辺環境を示した俯瞰図である。 所定の交差点に接近中である自車両と交差点の手前側に位置する他車両とその周辺環境を示した俯瞰図である。 図８に示す状況での他車両の後方カメラで撮像した後方撮像画像を示した図である。 所定の交差点に接近中である自車両と交差点の奥側に位置する他車両とその周辺環境を示した俯瞰図である。 図１０に示す状況での他車両の前方カメラで撮像した前方撮像画像を示した図である。 図７に示す状況でステップ２７の画像の投影処理を行う前における自車両の運転席からの視界風景を示した図である。 図７に示す状況でステップ２７の画像の投影処理を行った後における自車両の運転席からの視界風景を示した図である。 従来技術の問題点を説明した説明図である。

符号の説明

１ 運転支援装置
２ 車両
４ 通信装置
５ 前方カメラ
６ 後方カメラ
１１ 運転支援ＥＣＵ
１４ プロジェクタ
１５ 現在位置検出部
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ

Claims (6)

1. 他車両において撮像された撮像画像を取得する画像取得手段と、
   前記画像取得手段で取得された複数の撮像画像の内、自車両からの死角を撮像した撮像画像を選択する画像選択手段と、
   前記画像選択手段で選択された撮像画像を前記自車両からの死角の方向に対して投影する投影手段と、を有することを特徴とする運転支援装置。
2. 前記画像選択手段によって選択された撮像画像中から自車両の死角となる範囲の画像を抽出する画像抽出手段と、
   前記投射手段は前記画像抽出手段によって抽出された抽出画像を前記自車両からの死角の方向へと投影することを特徴とする請求項１に記載の運転支援装置。
3. 自車両の現在位置を取得する自車両位置取得手段と、
   他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段と、を有し、
   前記画像抽出手段は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角となる範囲の画像を抽出することを特徴とする請求項２に記載の運転支援装置。
4. 自車両の現在位置を取得する自車両位置取得手段と、
   他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段と、を有し、
   前記画像選択手段は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角を撮像した撮像画像を選択することを特徴とする請求項１乃至請求項３のいずれかに記載の運転支援装置。
5. 自車両の前方に交差点があるか否か判定する交差点判定手段と、
   前記交差点判定手段において自車両の前方に交差点があると判定された場合に、前記他車両位置取得手段で取得した他車両の位置が前記交差点の自車両進行方向の手前側にあるか否か判定する手前位置判定手段と、を有し、
   前記画像選択手段は前記手前位置判定手段によって他車両の位置が前記交差点の自車両進行方向の手前側にあると判定された場合に、その他車両で撮像された後方撮像画像を選択することを特徴とする請求項４に記載の運転支援装置。
6. 前記手前位置判定手段によって他車両の位置が前記交差点の自車両進行方向の手前側にないと判定された場合に、前記画像選択手段は前記交差点の自車両進行方向の奥側にある他車両で撮像された前方撮像画像を選択することを特徴とする請求項５に記載の運転支援装置。
   

Images