JP7143728B2 - 重畳画像表示装置及びコンピュータプログラム - Google Patents

Description

本発明は、車両の走行支援を行う重畳画像表示装置及びコンピュータプログラムに関する。

従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ（以下、ＨＵＤという）やウインドウシールドディスプレイ（以下、ＷＳＤという）のように運転者の周辺環境（風景）に重畳する画像を表示することによって、情報の提供を行う装置がある。

例えば、特開２０１２－２１８５０５号公報には、車両に設置された赤外線カメラによって車両の前方領域を撮像するとともに、撮像した撮像画像内に位置する歩行者を検出し、撮像画像に加えて撮像画像中に位置する歩行者の周囲を囲む枠を液晶ディスプレイに対して表示する技術について開示されている。

特開２０１２－２１８５０５号公報（第９－１１頁、図２）

ここで、上記特許文献１に記載の技術では、撮像画像に対して平行な２次元の枠で警告対象物（歩行者等）を囲むことによって警告対象物の位置を警告するので、車両の乗員は撮像画像内における警告対象物の位置について把握することは可能となるが、警告対象物が存在する範囲を正確に特定することができない問題があった。

警告対象物の存在する範囲は、上下左右方向（車両の進行方向に対して交差する方向）に加えて奥行き方向（車両の進行方向）、即ち３次元的な空間で把握することが重要である。例えば、自転車等の一方向に長い警告対象物については、上記特許文献１のように上下左右方向のみで警告対象物の位置を把握し、奥行き方向に対してどのように警告対象物が存在しているかを把握できていないと、警告対象物を回避する為の運転操作を適切にできない虞がある。

本発明は前記従来における問題点を解消するためになされたものであり、警告対象物の存在する範囲を３次元的に把握させることが可能となり、警告対象物に対する警告をより確実に行うことを可能にした重畳画像表示装置及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、車両の周辺に位置する警告対象物を警告する警告画像を、前記車両前方の風景に重畳して視認させる重畳画像表示装置であって、地図情報に基づいて車両の現在位置周辺に対応する３次元空間を生成する３次元空間生成手段と、３次元空間内における前記警告対象物が存在する位置に、前記警告対象物を模した仮想体を配置する仮想体配置手段と、３次元空間内に前記仮想体を囲む立体物である前記警告画像を配置する画像配置手段と、３次元空間内における車両の位置から前記警告画像と前記仮想体を両者視認した場合の前記警告画像の形状と前記仮想体の形状を夫々取得する形状取得手段と、前記形状取得手段によって取得された形状の前記警告画像とともに、前記形状取得手段によって取得された前記仮想体の形状を示す黒色画像を画像表示面に表示する画像表示手段と、を有し、前記画像表示面に表示された前記警告画像及び前記黒色画像を車両の乗員から視認可能な反射体に反射して車両の乗員に視認させることによって、前記画像表示面に表示された前記警告画像の虚像が前記警告対象物を囲む立体物として前記車両前方の風景に重畳して視認される。
尚、「警告対象物」とは、車両の乗員に対して、その存在を警告すべき対象物であり、
例えば歩行者、自転車、他車両等の動体物がある。また、動体物に限らずに、例えば信号機や道路標識などの静止物についても警告対象物に含めても良い。

また、本発明に係るコンピュータプログラムは、車両の走行支援を行うプログラムである。具体的には、車両に搭載され、車両の周辺に位置する警告対象物を警告する警告画像を、前記車両前方の風景に重畳して視認させる重畳画像表示装置を、地図情報に基づいて車両の現在位置周辺に対応する３次元空間を生成する３次元空間生成手段と、３次元空間内における前記警告対象物が存在する位置に、前記警告対象物を模した仮想体を配置する仮想体配置手段と、３次元空間内に前記仮想体を囲む立体物である前記警告画像を配置する画像配置手段と、３次元空間内における車両の位置から前記警告画像と前記仮想体を両者視認した場合の前記警告画像の形状と前記仮想体の形状を夫々取得する形状取得手段と、前記形状取得手段によって取得された形状の前記警告画像とともに、前記形状取得手段によって取得された前記仮想体の形状を示す黒色画像を画像表示面に表示する画像表示手段と、として機能させる為のコンピュータプログラムであって、前記画像表示面に表示された前記警告画像及び前記黒色画像を車両の乗員から視認可能な反射体に反射して車両の乗員に視認させることによって、前記画像表示面に表示された前記警告画像の虚像が前記警告対象物を囲む立体物として前記車両前方の風景に重畳して視認される。

前記構成を有する本発明に係る重畳画像表示装置及びコンピュータプログラムによれば、警告画像として対象物を囲む立体物を表示することによって、車両の乗員に対して警告対象物の存在する範囲を３次元的に把握させることが可能となる。その結果、警告対象物に対する警告をより確実に行うことが可能となり、警告対象物を回避する為の運転操作を適切に行わせることができる。また、警告画像を虚像として表示する場合において、警告対象物の実像に対応する位置及び範囲に黒色画像を表示することによって、警告対象物と警告画像との前後関係を示す警告画像の虚像を車両の乗員に視認させることが可能となる。

本実施形態に係る重畳画像表示装置の概略構成図である。 本実施形態に係るナビゲーション装置を示したブロック図である。 本実施形態に係る走行支援処理プログラムのフローチャートである。 ３次元地図情報に基づいて生成される３次元立体地図を示した図である。 自車両の周辺に位置する警告対象物を説明した図である。 対象物仮想体と警告画像を配置した後の３次元立体地図を示した図である。 ＨＵＤに対して表示する警告画像と黒色画像の生成方法を説明した図である。 車両の乗員から視認される警告画像の虚像の例を示した図である。 警告対象領域決定処理のサブ処理プログラムのフローチャートである。 警告対象領域の決定方法の一例を示した図である。 警告対象領域の決定方法の一例を示した図である。 警告対象領域の決定方法の一例を示した図である。 表示範囲決定処理のサブ処理プログラムのフローチャートである。

以下、本発明に係る重畳画像表示装置を具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係る重畳画像表示装置１の概略構成について図１を用いて説明する。図１は本実施形態に係る重畳画像表示装置１の概略構成図である。

図１に示すように重畳画像表示装置１は、車両２に搭載されたナビゲーション装置３と、同じく車両２に搭載されるとともにナビゲーション装置３と接続されたヘッドアップディスプレイ装置（以下、ＨＵＤという）４とを基本的に有する。

ここで、ナビゲーション装置３は、目的地までの推奨経路を探索したり、サーバから取得したりメモリに格納された地図データに基づいて車両２の現在位置周辺の地図画像を表示したり、障害物等の警告対象物に対する警告を行ったり、設定された案内経路に沿った走行案内をＨＵＤ４とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置３が備えている必要はなく、少なくとも警告対象物に対する警告を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置３の構造の詳細については後述する。

一方、ＨＵＤ４は、車両２のダッシュボード５内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイ６を有する。そして、液晶ディスプレイ６に投射された映像を、後述のようにＨＵＤ４が備える凹面鏡７等を介し、更に運転席の前方のフロントウィンドウ８に反射させて車両２の乗員９に視認させるように構成されている。尚、液晶ディスプレイ６に表示される映像としては、車両２に関する情報や乗員９の運転の支援の為に用いられる各種情報がある。例えば乗員９に対して警告対象となる対象物（他車両や歩行者）に対する警告、ナビゲーション装置３で設定された案内経路や案内経路に基づく案内情報（右左折方向を示す矢印等）、路面に表示する警告（追突注意、制限速度等）、現在車速、広告画像、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。

また、本実施形態のＨＵＤ４では、フロントウィンドウ８を反射して乗員９が液晶ディスプレイ６に表示された映像を視認した場合に、乗員９にはフロントウィンドウ８の位置ではなく、フロントウィンドウ８の先の遠方の位置に液晶ディスプレイ６に表示された映像が虚像１０として視認されるように構成される。また、虚像１０は車両前方の風景（実景）に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物（路面、建築物、警告対象となる動体物等）に重畳させて表示させることも可能である。尚、乗員９が視認できる虚像１０は液晶ディスプレイ６に表示された映像であるが、凹面鏡７やその他のミラーを介することによって上下方向や左右方向が反転する場合があり、それらの反転を考慮して液晶ディスプレイ６の映像の表示を行う必要がある。また、凹面鏡７を介することによってサイズも変更する。

ここで、虚像１０を生成する位置、より具体的には乗員９から虚像１０までの距離（以下、結像距離という）Ｌについては、ＨＵＤ４が備える凹面鏡７の曲率、液晶ディスプレイ６と凹面鏡７との相対位置等によって適宜設定することが可能である。例えば、凹面鏡７の曲率が固定であれば、液晶ディスプレイ６において映像の表示された位置から凹面鏡７までの光路に沿った距離（光路長）によって結像距離Ｌが決定される。例えば結像距離Ｌが２．５ｍとなるように光路長が設定されている。

また、本実施形態では車両前方の風景に重畳する画像を表示する手段としてＨＵＤ４を用いているが、他の手段を用いても良い。例えば、フロントウィンドウ８に対して映像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。ＷＳＤでは、フロントウィンドウ８をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントウィンドウ８を透過液晶ディスプレイとしても良い。ＷＳＤによってフロントウィンドウ８に対して表示された画像は、ＨＵＤ４と同様に車両前方の風景に重畳する画像となる。

更に、後述のフロントカメラ１１で撮像した車両前方の風景を車内の液晶ディスプレイに表示し、同一の液晶ディスプレイ内において表示された風景に重畳する画像を表示することも可能である。その場合においても液晶ディスプレイに表示された画像は、ＨＵＤ４と同様に車両前方の風景に重畳する画像となる。

また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ１１が設置される。フロントカメラ１１は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ１１により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ８越しに乗員９に視認される前方環境（即ち虚像１０が重畳される環境）の状況等が検出される。尚、フロントカメラ１１の代わりにミリ波レーダ等のセンサを用いても良い。

また、車両のインストルメントパネルの上面には車内カメラ１２が設置される。車内カメラ１２は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。そして、運転席に座った乗員９の顔を撮像する。そして、車内カメラ１２により撮像された撮像画像に対して画像処理が行われることによって、乗員９の目の位置（視線開始点）や視線方向を検出する。

次に、上記重畳画像表示装置１を構成するナビゲーション装置３の概略構成について図２を用いて説明する。図２は本実施形態に係るナビゲーション装置３を示したブロック図である。

図２に示すように本実施形態に係るナビゲーション装置３は、ナビゲーション装置３が搭載された車両２の現在位置を検出する現在位置検出部１３と、各種のデータが記録されたデータ記録部１４と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１５と、ユーザからの操作を受け付ける操作部１６と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ１７と、経路案内に関する音声ガイダンスを出力するスピーカ１８と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１９と、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール２０と、を有する。また、ナビゲーション装置３はＣＡＮ等の車載ネットワークを介して、前述したＨＵＤ４、フロントカメラ１１及び車内カメラ１２等が接続されている。

以下に、ナビゲーション装置３が有する各構成要素について順に説明する。
現在位置検出部１３は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１５に出力する。そして、ナビゲーションＥＣＵ１５は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置３が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置３が備える構成としても良い。

また、データ記録部１４は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１４はハードディスクの代わりにフラッシュメモリやメモリーカードやＣＤやＤＶＤ等の光ディスクを有していても良い。また、地図情報ＤＢ３１は外部のサーバに格納させ、ナビゲーション装置３が通信により取得する構成としても良い。

ここで、地図情報ＤＢ３１は、２次元地図情報３３と３次元地図情報３４とがそれぞれ記憶される。２次元地図情報３３は、一般的なナビゲーション装置３において用いられる地図情報であり、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。

一方、３次元地図情報３４は、平面だけではなく高さ情報についても有し、３次元で地図を表現する為の地図情報である。特に本実施形態では３次元で道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等を表現する為の地図情報とする。尚、３次元地図情報３４としては上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板以外の情報についても含めても良い。例えば、街路樹や路面標示等についても３次元で表現する為の情報を含めても良い。また、３次元地図情報３４としては３次元空間上に上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の各オブジェクトを配置した地図そのものを記憶しても良いし、３次元で地図を表現する為に必要な情報（道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の３次元の座標データなど）を記憶しても良い。３次元で地図を表現する為に必要な情報が格納されている場合には、ナビゲーション装置３は、必要なタイミングで３次元地図情報３４として記憶された情報を用いて、対象エリアを３次元で表現した地図を生成する。

そして、ナビゲーション装置３は、液晶ディスプレイ１７における地図画像の表示、案内経路の探索等の一般的な機能については２次元地図情報３３を用いて行う。また、後述のように警告画像の表示に係る処理については２次元地図情報３３に加えて３次元地図情報３４についても用いて行う。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１５は、ナビゲーション装置３の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図３）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１５は、処理アルゴリズムとしての各種手段を有する。例えば、撮像画像取得手段は、車両前方の風景を撮像した撮像画像を取得する。地図情報取得手段は、３次元地図情報を取得する。照合手段は、撮像画像と３次元地図情報を照合する。画像配置手段は、照合手段の照合結果に基づいて、３次元地図情報内における警告対象物が存在する位置に警告画像を配置する。形状取得手段は、３次元地図情報内における車両の位置から警告画像を視認した場合の警告画像の形状を取得する。

操作部１６は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１５は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１６は液晶ディスプレイ１７の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。

また、液晶ディスプレイ１７には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、本実施形態では情報の表示手段としてＨＵＤ４を備えているので、上記地図画像等の表示をＨＵＤ４で行う構成とすれば液晶ディスプレイ１７は省略しても良い。

また、スピーカ１８は、ナビゲーションＥＣＵ１５からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。

また、ＤＶＤドライブ１９は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１９に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール２０は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

続いて、前記構成を有する重畳画像表示装置１の内、特にナビゲーション装置３において実行する走行支援処理プログラムについて図３に基づき説明する。図３は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、ＨＵＤ４を用いて、車両２の乗員９に車両の周辺に位置する警告対象物に対する警告を行うプログラムである。尚、以下の図３にフローチャートで示されるプログラムは、ナビゲーション装置３が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。

尚、「警告対象物」とは、車両の乗員に対して、その存在を警告すべき対象物であり、例えば歩行者、自転車、他車両等の動体物がある。また、動体物に限らずに、例えば信号機や道路標識などの静止物についても警告対象物に含めても良い。但し、以下の説明では自車両が進行路に沿って進行する場合に影響のある動体物を警告対象物とし、より具体的には、車両の進行路と今後の進行路が重複する動体物を警告対象物とする。

先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１においてＣＰＵ４１は、フロントカメラ１１によって車両前方の風景を撮像した撮像画像を取得する。更に、ＣＰＵ４１は、地図情報ＤＢ３１から車両の現在位置周辺の３次元地図情報３４を読み出す。尚、３次元地図情報３４には、３次元で地図を表現する為に必要な情報（道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の３次元の座標データなど）が記憶される。

次に、Ｓ２においてＣＰＵ４１は、前記Ｓ１で読み出した３次元地図情報３４に基づいて、車両の現在位置周辺を示す３次元立体地図（３次元で建物や道路等を表現した地図）を生成する。具体的には、以下の処理を実行することにより３次元立体地図を生成する。

先ず、ＣＰＵ４１は、３次元地図情報３４から３次元空間上に道路、建築物、道路標識、看板等をモデリングしたオブジェクト（形状データ）を取得する。尚、ＣＰＵ４１は、予めモデリングしてＤＢに格納しておいたオブジェクトの内、該当するオブジェクトを取得する構成としても良いし、Ｓ２においてモデリングを実施してオブジェクトを新たに作成する構成としても良い。モデリングを実施する場合には、３次元地図情報３４から道路及び道路周辺にある構造物（建築物、道路標識、看板等）の形状や位置を特定する情報を取得し、取得した情報に基づいてモデリング処理を行う。

ここで、モデリングとは３次元空間上においてモデル（物体）の形状を作成する処理であり、より具体的には各頂点の座標の決定や、境界線、面を表現する方程式のパラメータの決定などを行う。尚、モデリングについては公知の技術であるので詳細は省略する。そして、モデリングされたオブジェクト（形状データ）は、用途に応じて辺のみ表示する「ワイヤーフレームモデル」、面を表示する「サーフィスモデル」等の形で表現される。そして各オブジェクトが形成された３次元空間を３次元立体地図とする。

また、前記Ｓ２でＣＰＵ４１は、現在位置検出部１３で検出されたパラメータに基づいて、生成された３次元立体地図における自車両の現在位置及び方位についても特定する。尚、後述の３次元立体地図と撮像画像との照合の処理を容易化する為に、自車両の現在位置は特に自車両に設置されたフロントカメラ１１の設置位置とし、自車両の方位はフロントカメラ１１の光軸方向とするのが望ましい。

更に、ＣＰＵ４１は、前記Ｓ１で取得した車両前方の風景を撮像した撮像画像に対して画像処理を行うことによって、車両前方周辺に存在する静止物や動体物の位置や形状について検出する。尚、静止物としては例えば人工的な構造物（建築物、道路標識、看板等）や自然物（樹木等）が該当し、動体物としては例えば他車両、人、自転車等が該当する。そして、３次元地図情報３４に対して含まれない静止物や動体物が検出された場合には、検出された静止物や動体物について、位置や形状を特定する情報を３次元立体地図に含める。尚、Ｓ２では検出された静止物や動体物について３次元立体地図上にモデリングする必要は無いが、モデリングまで行っても良い。

ここで、図４は前記Ｓ２で生成される３次元立体地図５１の一例を示した図である。図４に示すように３次元立体地図５１には、３次元空間に対して、道路や構造物（建築物、道路標識、看板等）を示す各オブジェクト５２が配置される。特に車両の現在位置周辺に位置する道路や構造物を示す各オブジェクト５２が配置される。また、３次元立体地図５１には自車両の現在位置と方位を示す自車位置マーク５３についても配置される。

続いてＳ３においてＣＰＵ４１は、前記Ｓ１で取得した撮像画像と前記Ｓ２で生成された３次元立体地図とを照合し、両者の間にズレが生じていないかを判定する。具体的にはＣＰＵ４１は、３次元立体地図に設定されている自車両の現在位置（より具体的にはフロントカメラ１１の設置位置であり高さも考慮する）を視点とし、自車両の方位を視線方向に設定し、設定された視点及び視線方向によって３次元立体地図を視認した際の像と、撮像画像とを照合する。尚、３次元立体地図には、歩行者や他車両等の動体物、樹木などの一部の固定物については含まれないので、それらに起因するズレは基本的には無視して判定する。また、ズレが生じていないとは両者が完全に一致する場合のみに限らず、ある程度の許容範囲内のズレが生じている場合においてもズレが生じていないとみなすのが望ましい。

そして、前記Ｓ１で取得した撮像画像と前記Ｓ２で生成された３次元立体地図との間にズレが生じていないと判定された場合（Ｓ３：ＹＥＳ）には、Ｓ５へと移行する。それに対して、前記Ｓ１で取得した撮像画像と前記Ｓ２で生成された３次元立体地図との間にズレが生じていると判定された場合（Ｓ３：ＮＯ）には、Ｓ４へと移行する。

Ｓ４においてＣＰＵ４１は、前記Ｓ２で生成された３次元立体地図について、前記Ｓ１で取得した撮像画像と間のズレが小さくなるように３次元立体地図内に設定された自車両の現在位置及び方位を補正する。尚、３次元立体地図における自車両の現在位置及び方位は固定してオブジェクト側を補正しても良い。それによって、３次元立体地図内における正確な自車両の現在位置及び方位（より具体的にはフロントカメラ１１の設置位置と光軸方向）を特定することが可能となる。その後、Ｓ３へと戻る。

一方、Ｓ５においてＣＰＵ４１は、自車両の周辺に位置する警告対象物を検出する。本実施形態では特に車両の進行方向前方において乗員９が視認可能な範囲に位置する警告対象物を検出対象とし、フロントカメラ１１で撮像した撮像画像に対して画像処理を行うことにより検出される。また、“警告対象物”とは、上述したように自車両が進行路に沿って進行する場合に影響のある動体物とし、より具体的には、車両の進行路と今後の進行路が重複する動体物を警告対象物とする。尚、動体物の今後の進行路についてはフレーム間の撮像画像中における動体物の位置の変位に基づいて特定される。

例えば、図５に示すように車両の進行方向前方に歩行者５５と自転車５６が検出された場合であって、且つ自車両が前方の交差点５７で左折する場合を挙げて説明する。また、歩行者５５の進行路（進行方向）が、案内分岐点の左側に接続する道路を横断する進行路に特定され、自転車５６の進行路（進行方向）が、交差点５７の左側に接続する道路を横断せずに交差点５７から離れる方向へと移動する進行路に特定されたと仮定する。
図５に示す例においては、歩行者５５の今後の進行路と自車両の進行路とが重複することとなるので、歩行者５５は警告対象物であると判定される。一方で、自転車５６の今後の進行路と自車両の進行路とは重複しない。従って、自転車５６は警告対象物ではないと判定される。

また、前記Ｓ５でＣＰＵ４１は、撮像画像に基づいて警告対象物の位置、種類（特定できる場合のみ）、形状についても特定する。

その後、Ｓ６においてＣＰＵ４１は、後述の警告対象領域決定処理（図９）を行う。警告対象領域決定処理では、上記Ｓ５で検出された警告対象物を警告する領域（以下、警告対象領域という）を決定する。尚、警告対象領域は、詳細については後述するが、３次元空間において特定され、警告対象物を囲む立体物、より具体的には警告対象物の全てを囲む最小の直方体とする。そして、警告対象領域は後述の警告画像を表示する領域にも相当する。

続いて、Ｓ７においてＣＰＵ４１は、Ｓ５で検出された警告対象物を警告する警告画像を、前記Ｓ２で生成された３次元立体地図に対して配置する。尚、警告画像は、前記Ｓ６で決定された警告対象領域に対して表示する。即ち、警告画像は３次元形状を有し、警告対象物を囲む立体物、より具体的には警告対象物の全てを囲む最小の直方体とする。但し、警告画像は囲んだ警告対象物が車両の乗員から視認できるように、直方体の面は有さない枠のみの形状とする。

次に、Ｓ８においてＣＰＵ４１は、自車両の周辺で検出された警告対象物のモデル（警告対象物の仮想体であり、以下、対象物仮想体という）を、前記Ｓ２で生成された３次元立体地図に対して警告対象物が検出された位置に配置する。複数の警告対象物が検出された場合には、検出された全ての警告対象物について対象物仮想体を３次元立体地図に対して配置する。尚、３次元立体地図に対して配置される対象物仮想体は実際の警告対象物の形状を模した形状とする。例えば歩行者であれば人の形状を有する対象物仮想体とし、車両であれば車両の形状を有する対象物仮想体とする。サイズについても実際の警告対象物のサイズと対応させる。

但し、車両に生じる振動等によって乗員から視認できる警告対象物の位置がブレることを考慮して、対象物仮想体のサイズは実際の警告対象物のサイズよりもやや大きいサイズ（例えば１１０％）とするのが望ましい。また、全体的に均等にサイズを広げるのではなく、相対的な移動方向（車両の乗員からみて警告対象物が移動する方向）に対して大きくサイズを広げるのが望ましい。尚、警告対象物が不定形である（形状や種類を特定できない）場合には、例外的に対象物仮想体は該警告対象物の全てを含む最小の直方体とする。

また、３次元立体地図に対して配置される対象物仮想体は全面黒色で表示されたオブジェクトとする。一方、前記Ｓ７で配置される警告画像については黒色以外（例えば赤色や黄色）で表示された画像とする。

ここで、図６は３次元立体地図５１に対して警告対象物の対象物仮想体６０及び警告画像６１を配置した図である。尚、図６に示す例では対象物仮想体６０は歩行者を示している。即ち、自車両の周辺には警告対象物として歩行者が存在することを示している。一方、警告画像６１は、対象物仮想体６０の全てを囲む最小の直方体の枠形状を有する。

その後、Ｓ９においてＣＰＵ４１は、先ず対象物仮想体や警告画像が配置された３次元立体地図を、車両（乗員）の視点から車両の進行方向に視認した画像（以下、視認画像という）を取得する。特に車両の視点は車両の乗員の目の位置とする。尚、乗員の目の位置については車内カメラ１２によって検出することが可能である。即ち、取得された視認画像は３次元立体地図に配置された各オブジェクト（道路、建築物、道路標識、看板、警告画像、対象物仮想体等）を車両（乗員）の視点から車両の進行方向に視認した際に視認できる像であり、車両の乗員の視界に相当する。尚、視認画像については車両（乗員）の視点から視認した画像であれば、必ずしも車両の進行方向に視認した画像である必要は無い。但し、少なくとも視認画像に警告画像と対象物仮想体が含まれる必要はある。

続いて、前記Ｓ９においてＣＰＵ４１は、視認画像に含まれる警告画像の形状及び対象物仮想体の形状を、ＨＵＤ４により表示対象とする画像の形状として夫々記憶する。ここで、前記Ｓ９で記憶される警告画像の形状は、３次元立体地図に配置された各オブジェクト（道路、建築物、道路標識、看板、対象物仮想体、警告画像等）を車両（乗員）の視点から視認した際に視認できる警告画像の形状である。一方、視認画像に含まれる対象物仮想体の形状は、３次元立体地図に配置された各オブジェクト（道路、建築物、道路標識、看板、対象物仮想体、警告画像等）を車両（乗員）の視点から視認した際に視認できる対象物仮想体の形状である。従って、例えば前記Ｓ９で記憶される警告画像の形状は、図７に示すように警告画像６１よりも手前側に位置する対象物仮想体６０と重なって視認される場合には、重なる部分については除かれた形状となる。一方で、前記Ｓ９で記憶される対象物仮想体の形状は、図７に示すように対象物仮想体６０よりも手前側に位置する警告画像６１と重なって視認される場合には、重なる部分については除かれた形状となる。

更に、Ｓ１０においてＣＰＵ４１は、３次元立体地図において配置された警告画像の位置を取得する。具体的には前記Ｓ７で決定された警告対象領域の位置が相当し、自車両周辺に位置する警告対象物を囲む位置となる。同じく、ＣＰＵ４１は３次元立体地図において配置された対象物仮想体の位置についても取得する。具体的には警告対象物が存在する位置となる。

その後、Ｓ１１においてＣＰＵ４１は、後述の表示範囲決定処理（図１３）を行う。表示範囲決定処理では、ＨＵＤ４において警告画像及び黒色画像を表示する範囲（フロントウィンドウ８に対して警告画像及び黒色画像を投影する範囲、或いはＨＵＤ４の液晶ディスプレイ６に対して警告画像及び黒色画像を表示する範囲）を決定する。

続いて、Ｓ１２においてＣＰＵ４１は、ＨＵＤ４に対して制御信号を送信し、ＨＵＤ４の液晶ディスプレイ６に対して前記Ｓ９で記憶された形状の警告画像を、前記Ｓ１１で決定された表示範囲に表示する。同じく、ＣＰＵ４１は前記Ｓ９で記憶された対象物仮想体の形状を有する黒色画像を、前記Ｓ１１で決定された表示範囲に表示する。尚、警告画像と黒色画像は基本的に一体の画像として表示する。また、３次元立体地図に対して配置される対象物仮想体は必ずしも黒色である必要は無いが、その場合であっても対象物仮想体に応じて液晶ディスプレイ６に表示する画像は黒色の画像とする。

ここで、液晶ディスプレイ６に表示された画像を車両の乗員が視認する場合において、液晶ディスプレイ６に表示された画像が黒色画像である場合には黒色画像の虚像は視認できない（透過状態となる）。従って、黒色画像が警告対象物を重畳する位置に表示されていたとしても、車両の乗員からは黒色画像の虚像は視認されず（より正確には透過状態で視認される）、警告対象物のみが視認されることとなる。

その結果、図８に示すように液晶ディスプレイ６に表示された警告画像６１及び黒色画像６６を車両の乗員が視認した場合には、黒色画像６６に対応する部分（即ち実景の警告対象物と重複する部分）については虚像が視認されない（透過状態となる）。また、警告画像６１の虚像６７については、警告対象物６８に隠れて視認できない部分（図８右図の破線部分）については黒色画像６６によって視認できない一方、それ以外の部分（図８右図の実線部分）については視認される。その結果、乗員は警告画像６１の虚像６７の形状から警告対象物６８の位置と、警告画像６１の虚像６７の位置との前後関係を認識することができ、警告画像６１によって警告対象となる警告対象物６８を正確に把握できる。

尚、液晶ディスプレイ６に対して警告画像及び黒色画像を描画する場合に、異なるレイヤで描画するようにしても良い。順序として、手前側に位置するものをより上位（上層）のレイヤで描画する。具体的には、対象物仮想体よりも奥側に位置する警告画像のフレーム部分を最も下位のレイヤで描画する。次に対象物仮想体に対応する黒色画像を中位のレイヤで描画し、対象物仮想体よりも手前に位置する警告画像のフレーム部分を最も上位のレイヤで描画する。その場合には、警告画像６１や黒色画像６６の全形を描画したとしても、図８に示す警告画像６１の虚像６７を車両の乗員に視認させることが可能となる。

次に、前記Ｓ６において実行される警告対象領域決定処理のサブ処理について図９に基づき説明する。図９は警告対象領域決定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ２１においてＣＰＵ４１は、前記Ｓ５の警告対象物の検出処理の結果、車両の進行方向前方における乗員９の視認可能な範囲に少なくとも一以上の警告対象物が存在するか否かを判定する。

そして、車両の進行方向前方における乗員９の視認可能な範囲に少なくとも一以上の警告対象物が存在すると判定された場合（Ｓ２１：ＹＥＳ）には、Ｓ２２へと移行する。それに対して、車両の進行方向前方における乗員９の視認可能な範囲に警告対象物が存在しないと判定された場合（Ｓ２１：ＮＯ）には、警告対象領域を設定することなく終了する。

Ｓ２２においてＣＰＵ４１は、特に車両の進行方向前方における乗員９の視認可能な範囲に複数の警告対象物が存在するか否かを判定する。

そして、車両の進行方向前方における乗員９の視認可能な範囲に複数の警告対象物が存在すると判定された場合（Ｓ２２：ＹＥＳ）には、Ｓ２６へと移行する。それに対して、車両の進行方向前方における乗員９の視認可能な範囲に警告対象物が一のみ存在すると判定された場合（Ｓ２２：ＮＯ）には、Ｓ２３へと移行する。

Ｓ２３においてＣＰＵ４１は、警告対象物と一部が接続するとともに、警告対象物と同一方向に同一速度で移動する付随対象物があるか否か判定する。例えば、歩行者がトランク等の荷物を引いている場合には、歩行者は警告対象物として検出され、トランクは付随対象物として検出される。或いは、歩行者が犬を連れていている場合には、歩行者は警告対象物として検出され、犬は付随対象物として検出される。尚、付随対象物の検出については、警告対象物と同様にフロントカメラ１１で撮像した撮像画像に対する画像処理を行うことによって行われる。また、付随対象物についても警告対象物と同様に、付随対象物のモデル（仮想体）が３次元立体地図に対して検出された位置に配置される。

そして、警告対象物と一部が接続するとともに、警告対象物と同一方向に同一速度で移動する付随対象物があると判定された場合（Ｓ２３：ＹＥＳ）には、Ｓ２５へと移行する。それに対して、付随対象物が存在しないと判定された場合（Ｓ２３：ＮＯ）には、Ｓ２４へと移行する。

Ｓ２４においてＣＰＵ４１は、図１０に示すように警告対象物７４の全体を囲む最小の直方体を警告対象領域７５に決定する。実際には３次元立体地図に配置された警告対象物７４の仮想体を用いて、３次元立体地図上において警告対象領域７５を決定する。その後、Ｓ８へと移行する。

また、Ｓ２５においてＣＰＵ４１は、図１１に示すように警告対象物７４と付随対象物７６を両方囲む最小の直方体を警告対象領域７５に決定する。実際には３次元立体地図に配置された警告対象物７４と付随対象物７６の仮想体を用いて、３次元立体地図上において警告対象領域７５を決定する。その後、Ｓ８へと移行する。

一方、Ｓ２６においてＣＰＵ４１は、検出された複数の警告対象物の内、所定範囲（例えば２ｍ四方）内に複数の警告対象物があって、且つ所定範囲内に位置する各警告対象物が同一方向に同一速度で移動するか否かを判定する。尚、警告対象物の移動方向や移動速度については、フレーム間の撮像画像中における警告対象物の位置の変位に基づいて特定される。

そして、検出された複数の警告対象物の内、所定範囲内に複数の警告対象物があって、且つ所定範囲内に位置する各警告対象物が同一方向に同一速度で移動すると判定された場合（Ｓ２６：ＹＥＳ）には、Ｓ２８へと移行する。それに対して、所定範囲内に複数の警告対象物が位置しない、或いは所定範囲内に位置したとしても各警告対象物が同一方向に同一速度で移動しないと判定された場合（Ｓ２６：ＮＯ）には、Ｓ２７へと移行する。

Ｓ２７においてＣＰＵ４１は、図１０に示すように検出された複数の警告対象物７４毎に、警告対象物７４の全体を囲む最小の直方体を警告対象領域７５に決定する。従って、例えば警告対象物７４が３個あれば、警告対象領域７５も３個設定されることとなる。実際には３次元立体地図に配置された複数の警告対象物７４の仮想体を用いて、３次元立体地図上において警告対象領域７５を決定する。尚、複数の警告対象物の内、特に付随対象物が存在する警告対象物については、Ｓ２５と同様に警告対象物と付随対象物を両方囲む最小の直方体を警告対象領域に決定するのが望ましい。その後、Ｓ８へと移行する。

一方、Ｓ２８においてＣＰＵ４１は、図１２に示すように検出された複数の警告対象物７４の全てをまとめて囲む最小の直方体を警告対象領域７５に決定する。実際には３次元立体地図に配置された複数の警告対象物７４の仮想体を用いて、３次元立体地図上において警告対象領域７５を決定する。尚、更に付随対象物が存在する場合については、複数の警告対象物に加えて付随対象物についても囲む最小の直方体を警告対象領域に決定するのが望ましい。その後、Ｓ８へと移行する。

次に、前記Ｓ１１において実行される表示範囲決定処理のサブ処理について図１３に基づき説明する。図１３は表示範囲決定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ３１においてＣＰＵ４１は、車両の乗員の目の位置を車内カメラ１２で撮像した撮像画像に基づいて検出する。尚、検出された目の位置は３次元の位置座標で特定される。

次に、Ｓ３２においてＣＰＵ４１は、ＨＵＤ４の表示がＯＮになっているか否かを判定する。尚、ＨＵＤ４の表示のＯＮ又はＯＦＦの切り替えは車両の乗員の操作によって行うことが可能である。また、周辺状況や車両の状態に基づいてＯＮ又はＯＦＦを自動で切り替えても良い。

そして、ＨＵＤ４の表示がＯＮになっていると判定された場合（Ｓ３２：ＹＥＳ）には、Ｓ３３へと移行する。一方、ＨＵＤ４の表示がＯＦＦになっていると判定された場合（Ｓ３２：ＮＯ）には、ＨＵＤ４による警告画像の虚像の表示を行うことなく終了する。

Ｓ３３においてＣＰＵ４１は、ＨＵＤ４によって画像を投影する対象となるフロントウィンドウ８の位置座標を取得する。尚、フロントウィンドウ８の位置座標は３次元の位置座標で特定される。

次に、Ｓ３４においてＣＰＵ４１は、前記Ｓ１０で取得された３次元立体地図において配置された警告画像と対象物仮想体の位置を特定する座標を、警告画像と対象物仮想体の位置座標として夫々取得する。尚、警告画像と対象物仮想体の位置座標は同じく３次元の位置座標で特定される。

続いて、Ｓ３５においてＣＰＵ４１は、前記Ｓ３１、Ｓ３３及びＳ３４で取得された各位置座標に基づいて、フロントウィンドウ８における警告画像と黒色画像の投影範囲を決定する。更に、決定された投影範囲からＨＵＤ４の内部の液晶ディスプレイ６における警告画像と黒色画像の表示範囲についても決定する。尚、警告画像の表示範囲は、前記Ｓ９で記憶される形状を有する警告画像が、車両の乗員から３次元立体地図において配置された警告画像と重畳して視認される範囲となる。また、黒色画像の表示範囲は、前記Ｓ９で記憶される対象物仮想体の形状を有する黒色画像が、車両の乗員から３次元立体地図において配置された対象物仮想体（即ち実景の警告対象物）と重畳して視認される範囲となる。その後、Ｓ１２へと移行し、決定された投影範囲や表示範囲に基づいてＨＵＤ４を用いた虚像の表示を行う。尚、ＨＵＤの表示がオフになるまで繰り返しＳ９～Ｓ１２の処理を行うこととなる。

以上詳細に説明した通り、本実施形態に係る重畳画像表示装置１及び重畳画像表示装置１で実行されるコンピュータプログラムによれば、車両の周辺に位置する警告対象物を警告する警告画像６１を、車両前方の風景に重畳して視認させる場合に、警告画像６１を、警告対象物を囲む立体物で表示する（Ｓ７～Ｓ１２）ので、車両の乗員に対して警告対象物の存在する範囲を３次元的に把握させることが可能となる。その結果、警告対象物に対する警告をより確実に行うことが可能となり、警告対象物を回避する為の運転操作を適切に行わせることができる。

尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、上記本実施形態では、ＨＵＤ４によって車両２のフロントウィンドウ８の前方に虚像を生成する構成としているが、フロントウィンドウ８以外のウィンドウの前方に虚像を生成する構成としても良い。また、ＨＵＤ４により映像を反射させる対象はフロントウィンドウ８自身ではなくフロントウィンドウ８の周辺に設置されたバイザー（コンバイナー）であっても良い。

また、本実施形態では、周辺環境に重畳する画像を表示する手段としてＨＵＤ４を用いているが、フロントウィンドウ８に対して画像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。或いはナビゲーション装置３の液晶ディスプレイ１７に表示した実景に、警告画像を重畳させる表示装置でもよい。

また、本実施形態では、警告画像を警告対象物の囲む最小の直方体としているが、警告対象物を囲むことが可能であれば他の形状としても良い。例えば、円柱形状としても良いし、球体形状としても良い。また、警告画像については、警告対象物の周囲に対してある程度の余白部分を持たせて囲むようにしても良い。

また、本実施形態では、走行支援処理プログラム（図３）の処理をナビゲーション装置３のナビゲーションＥＣＵ１５が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、ＨＵＤ４の制御部、車両制御ＥＣＵ、その他の車載器が実行する構成としても良い。尚、ＨＵＤ４の制御部が実行する場合には、本発明に係る重畳画像表示装置はＨＵＤ４のみで構成することも可能である。

また、本発明に係る重畳画像表示装置を具体化した実施例について上記に説明したが、重畳画像表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
車両（２）に搭載され、車両の周辺に位置する警告対象物（７４）を警告する警告画像（６１）を、前記車両前方の風景に重畳して視認させる重畳画像表示装置（１）であって、地図情報に基づいて車両の現在位置周辺に対応する３次元空間を生成する３次元空間生成手段と、３次元空間内における前記警告対象物が存在する位置に、前記警告対象物を模した仮想体を配置する仮想体配置手段と、３次元空間内に前記仮想体を囲む立体物である前記警告画像を配置する画像配置手段と、３次元空間内における車両の位置から前記警告画像と前記仮想体を両者視認した場合の前記警告画像の形状と前記仮想体の形状を夫々取得する形状取得手段と、前記形状取得手段によって取得された形状の前記警告画像とともに、前記形状取得手段によって取得された前記仮想体の形状を示す黒色画像を画像表示面に表示する画像表示手段と、を有し、前記画像表示面に表示された前記警告画像及び前記黒色画像を車両の乗員から視認可能な反射体に反射して車両の乗員に視認させることによって、前記画像表示面に表示された前記警告画像の虚像が前記警告対象物を囲む立体物として前記車両前方の風景に重畳して視認される。
上記構成を有する重畳画像表示装置によれば、警告画像として対象物を囲む立体物を表示することによって、車両の乗員に対して警告対象物の存在する範囲を３次元的に把握させることが可能となる。その結果、警告対象物に対する警告をより確実に行うことが可能となり、警告対象物を回避する為の運転操作を適切に行わせることができる。また、警告画像を虚像として表示する場合において、警告対象物の実像に対応する位置及び範囲に黒色画像を表示することによって、警告対象物と警告画像との前後関係を示す警告画像の虚像を車両の乗員に視認させることが可能となる。

また、第２の構成は以下のとおりである。
前記警告画像（６１）は、前記警告対象物（７４）の全てを囲む最小の直方体で表示される。
上記構成を有する重畳画像表示装置によれば、警告対象物の存在する範囲をシンプルな形状を有する警告画像によって明確に乗員に把握させることが可能となる。

また、第３の構成は以下のとおりである。
前記警告対象物（６１）は、車両が進行路に沿って進行する場合に影響のある動体物である。
上記構成を有する重畳画像表示装置によれば、特に今後に車両の走行に影響のある動体物を対象として、車両の乗員に対して動体物の存在する範囲を３次元的に把握させることが可能となる。

また、第４の構成は以下のとおりである。
前記警告対象物（６１）と一部が接続するとともに、前記警告対象物と同一方向に同一速度で移動する付随対象物（７６）がある場合には、前記警告対象物は前記警告対象物と前記付随対象物を囲む立体物で表示される。
上記構成を有する重畳画像表示装置によれば、特に警告対象物と付随する対象物がある場合には、該対象物についても含めて警告対象物を囲む立体物を表示することによって、警告対象物の影響する領域を３次元的に把握させることが可能となる。その結果、警告対象物に対する警告をより確実に行うことが可能となり、警告対象物を回避する為の運転操作を適切に行わせることができる。

また、第５の構成は以下のとおりである。
前記警告対象物（７４）が所定範囲内に複数あって、前記複数の警告対象物が同一方向に同一速度で移動する場合には、前記警告画像（６１）は前記複数の警告対象物を囲む立体物で表示される。
上記構成を有する重畳画像表示装置によれば、特に警告対象物がまとまってグループ単位で移動する場合には、グループ単位で警告対象物をまとめて囲む立体物を表示することによって、警告画像が重複して表示されることをできる限り防止し、車両の乗員に対して警告対象物の存在する範囲を３次元的に明確に把握させることが可能となる。

また、第６の構成は以下のとおりである。
前記３次元空間生成手段は前記３次元空間として車両の現在位置周辺の３次元地図空間を生成し、前記車両前方の風景を撮像した撮像画像を取得する撮像画像取得手段（４１）と、前記撮像画像と３次元地図空間を照合する照合手段（４１）と、を有し、前記画像配置手段は、前記照合手段の照合結果に基づいて、３次元地図空間内における前記警告対象物（７４）が存在する位置に前記警告画像（６１）を配置する。
上記構成を有する重畳画像表示装置によれば、車両前方の風景を撮像した撮像画像と３次元地図情報とを用いることによって、警告対象物を囲む立体物となる警告画像を容易に生成することが可能となる。

１ 重畳画像表示装置
２ 車両
３ ナビゲーション装置
４ ＨＵＤ
６ 液晶ディスプレイ
８ フロントウィンドウ
９ 乗員
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ ３次元立体地図
６１ 警告画像
６６ 黒色画像
６７ 警告画像の虚像
６８ 警告対象物

Claims (7)

1. 車両に搭載され、車両の周辺に位置する警告対象物を警告する警告画像を、前記車両前方の風景に重畳して視認させる重畳画像表示装置であって、
   地図情報に基づいて車両の現在位置周辺に対応する３次元空間を生成する３次元空間生成手段と、
   ３次元空間内における前記警告対象物が存在する位置に、前記警告対象物を模した仮想体を配置する仮想体配置手段と、
   ３次元空間内に前記仮想体を囲む立体物である前記警告画像を配置する画像配置手段と、
   ３次元空間内における車両の位置から前記警告画像と前記仮想体を両者視認した場合の前記警告画像の形状と前記仮想体の形状を夫々取得する形状取得手段と、
   前記形状取得手段によって取得された形状の前記警告画像とともに、前記形状取得手段によって取得された前記仮想体の形状を示す黒色画像を画像表示面に表示する画像表示手段と、を有し、
   前記画像表示面に表示された前記警告画像及び前記黒色画像を車両の乗員から視認可能な反射体に反射して車両の乗員に視認させることによって、前記画像表示面に表示された前記警告画像の虚像が前記警告対象物を囲む立体物として前記車両前方の風景に重畳して視認される重畳画像表示装置。
2. 前記警告画像は、前記警告対象物の全てを囲む最小の直方体で表示される請求項１に記載の重畳画像表示装置。
3. 前記警告対象物は、車両が進行路に沿って進行する場合に影響のある動体物である請求項１又は請求項２に記載の重畳画像表示装置。
4. 前記警告対象物と一部が接続するとともに、前記警告対象物と同一方向に同一速度で移動する付随対象物がある場合には、前記警告画像は前記警告対象物と前記付随対象物を囲む立体物で表示される請求項１乃至請求項３のいずれかに記載の重畳画像表示装置。
5. 前記警告対象物が所定範囲内に複数あって、前記複数の警告対象物が同一方向に同一速度で移動する場合には、前記警告画像は前記複数の警告対象物を囲む立体物で表示される請求項１乃至請求項３のいずれかに記載の重畳画像表示装置。
6. 前記３次元空間生成手段は前記３次元空間として車両の現在位置周辺の３次元地図空間を生成し、
   前記車両前方の風景を撮像した撮像画像を取得する撮像画像取得手段と、
   前記撮像画像と３次元地図空間を照合する照合手段と、を有し、
   前記画像配置手段は、前記照合手段の照合結果に基づいて、３次元地図空間内における前記警告対象物が存在する位置に前記警告画像を配置する請求項１乃至請求項５のいずれかに記載の重畳画像表示装置。
7. 車両に搭載され、車両の周辺に位置する警告対象物を警告する警告画像を、前記車両前方の風景に重畳して視認させる重畳画像表示装置を、
   地図情報に基づいて車両の現在位置周辺に対応する３次元空間を生成する３次元空間生成手段と、
   ３次元空間内における前記警告対象物が存在する位置に、前記警告対象物を模した仮想体を配置する仮想体配置手段と、
   ３次元空間内に前記仮想体を囲む立体物である前記警告画像を配置する画像配置手段と、
   ３次元空間内における車両の位置から前記警告画像と前記仮想体を両者視認した場合の前記警告画像の形状と前記仮想体の形状を夫々取得する形状取得手段と、
   前記形状取得手段によって取得された形状の前記警告画像とともに、前記形状取得手段によって取得された前記仮想体の形状を示す黒色画像を画像表示面に表示する画像表示手段と、として機能させる為のコンピュータプログラムであって、
   前記画像表示面に表示された前記警告画像及び前記黒色画像を車両の乗員から視認可能な反射体に反射して車両の乗員に視認させることによって、前記画像表示面に表示された前記警告画像の虚像が前記警告対象物を囲む立体物として前記車両前方の風景に重畳して視認されるコンピュータプログラム。

Images