JP2023150070A - 重畳画像表示装置 - Google Patents

Abstract

【課題】撮像画像の画像認識の結果と地図情報との間に矛盾やズレが生じる状況であっても、誤った周辺環境への重畳画像表示の案内が行われることを防止し、車両の乗員に不利益を生じさせることのない重畳画像表示装置を提供する。【解決手段】車両周辺の風景を撮像した撮像画像に基づいて車両が現在走行する道路に含まれる車線数を特定し、地図情報に含まれる車両が現在走行する道路の車線数と撮像画像に基づいて特定された車線数とが一致しない場合には、撮像画像に基づいて特定された車線数を用いて車両が現在走行する道路において車両が現在走行する車線である走行車線を特定する一方で、地図情報に含まれる車両が現在走行する道路の車線数と撮像画像に基づいて特定された車線数とが一致する場合には一致する車線数を用いて走行車線を特定する。そして、特定された走行車線に基づいて案内オブジェクトを表示するように構成する。【選択図】図１２

Description

本発明は、車両の走行支援を行う重畳画像表示装置に関する。

従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、乗員の周辺環境（風景、実景）に重畳する画像を表示することによって、情報の提供を行う装置がある。例えば、ヘッドアップディスプレイ、ウインドウシールドディスプレイの他、液晶ディスプレイに表示した車両周辺の撮像画像に重畳して画像を表示する方法等が該当する。

ここで、上記周辺環境に重畳する画像を表示する案内を行う場合において正確な案内を行う為には、道路において自車が走行する位置（より具体的には走行する車線）を正確に特定することが重要である。そこで例えば特開２０２１－３６２２６号公報には、ヘッドアップディスプレイによる前景への重畳案内を行う場合において、フロントカメラで撮像した画像を用いて得た区画線等の外界情報と高精度の地図情報とを用いることによって、道路内において自車が走行する位置を特定し、周辺環境に重畳する画像を表示し案内する技術について開示されている。

特開２０２１－３６２２６号公報（段落００５８－００６４）

ここで、上記特許文献１のように地図情報を用いて自車が現在走行する車線（以下、走行車線という）を正確に特定する為には、地図情報において全国にある全ての道路の車線に関する情報を正確に有していることが前提となる。しかしながら、道路には例えば一般道の交差点、高速道路の分岐点や合流点周辺等において車線数が増減するポイントが数多く存在し、また道路の改修によって車線数が変化することも多い。従って、全国にある全ての道路の車線に関する情報を正確にデータベース化することは現実的に極めて困難であった。その結果、フロントカメラによる画像認識の結果と地図情報との間に矛盾やズレが生じる状況も予想され、そのような状況では走行車線の特定結果は信頼できず、誤った周辺環境への重畳画像表示の案内が行われる虞もあった。

本発明は前記従来における問題点を解消するためになされたものであり、車両周辺の風景に重畳して表示された案内オブジェクトにより案内を行う場合において、撮像画像の画像認識の結果と地図情報との間に矛盾やズレが生じる状況であっても、誤った周辺環境への重畳画像表示の案内が行われることを防止し、車両の乗員に不利益を生じさせることのない重畳画像表示装置を提供することを目的とする。

前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、前記車両の乗員へ情報を案内する案内オブジェクトを、前記車両周辺の風景に重畳して視認させる重畳画像表示装置であって、道路の車線数に関する情報を含む地図情報を取得する地図情報取得手段と、前記車両周辺の風景を撮像した撮像画像に基づいて、車両が現在走行する道路に含まれる車線数を特定する車線数特定手段と、前記地図情報に含まれる車両が現在走行する道路の車線数と前記車線数特定手段により特定された車線数とが一致しない場合には前記車線数特定手段により特定された車線数を用いて車両が現在走行する道路において車両が現在走行する車線である走行車線を特定する一方で、前記地図情報に含まれる車両が現在走行する道路の車線数と前記車線数特定手段により特定された車線数とが一致する場合には一致する車線数を用いて前記走行車線を特定する走行車線特定手段と、前記走行車線特定手段により特定された前記走行車線に基づいて前記案内オブジェクトを表示するオブジェクト表示手段と、を有する。
尚、「風景」とは、実際に車両から視認される風景（実景）に加えて、風景を撮像した画像、風景を再現した画像等も含む。

前記構成を有する本発明に係る重畳画像表示装置によれば、車両周辺の風景に重畳して表示された案内オブジェクトにより案内を行う場合において、地図情報に含まれる車両が現在走行する道路の車線数と撮像画像の画像認識の結果により特定された車線数とが一致しない場合には画像認識の結果により特定された車線数を用いて車両が現在走行する車線を特定するので、撮像画像の画像認識の結果と地図情報との間に矛盾やズレが生じる状況であっても、誤った周辺環境への重畳画像表示の案内が行われることを防止し、車両の乗員に不利益を生じさせることがない。

第１実施形態に係るナビゲーション装置を示したブロック図である。 第１実施形態に係る走行支援処理プログラムのフローチャートである。 液晶ディスプレイに表示される第１案内オブジェクトの一例を示した図である。 液晶ディスプレイに表示される第２案内オブジェクトの一例を示した図である。 第１案内オブジェクト表示位置決定処理のサブ処理プログラムのフローチャートである。 高速道路の案内分岐点を通過する場合の推奨車線の一例を示した図である。 一般道の案内分岐点を通過する場合の推奨車線の一例を示した図である。 画像認識結果に基づく自車道路車線数と自車走行車線の検出方法について説明した図である。 画像認識結果に基づく自車道路車線数と自車走行車線の検出方法について説明した図である。 画像認識結果に基づく自車道路車線数と自車走行車線の検出方法について説明した図である。 地図情報に含まれるリンクデータについて説明した図である。 地図情報と画像認識結果との間に矛盾やズレが生じる場合について説明した図である。 風景内において推奨車線が存在する範囲と自車走行車線が存在する範囲を特定する方法について説明した図である。 第１案内オブジェクトの一例を示した図である。 第１案内オブジェクトの一例を示した図である。 第１案内オブジェクトの表示態様の変移を示した図である。 液晶ディスプレイに表示される第１案内オブジェクトの一例を示した図である。 液晶ディスプレイに表示される第１案内オブジェクトの一例を示した図である。 液晶ディスプレイに表示される第１案内オブジェクトの一例を示した図である。 特に画像認識結果の信頼度が低い場合において液晶ディスプレイに表示される第１案内オブジェクトの一例を示した図である。 第２実施形態に係る重畳画像表示装置の概略構成図である。 第２実施形態に係る重畳画像表示装置における案内オブジェクトの表示例を示した図である。

以下、本発明に係る重畳画像表示装置をナビゲーション装置に具体化した第１実施形態及び第２実施形態について図面を参照しつつ詳細に説明する。

［第１実施形態］
先ず、第１実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は第１実施形態に係るナビゲーション装置１を示したブロック図である。

図１に示すように第１実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ユーザに対して進行方向前方を撮像した実景画像を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスを出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、を有する。また、ナビゲーション装置１はＣＡＮ等の車載ネットワークを介して、ナビゲーション装置１の搭載された車両に対して設置されたフロントカメラ１９や各種センサが接続されている。

以下に、ナビゲーション装置１が有する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２をハードディスクの代わりにフラッシュメモリやメモリーカードやＣＤやＤＶＤ等の光ディスクにより構成しても良い。また、地図情報ＤＢ３１は外部のサーバに格納させ、ナビゲーション装置１が通信により取得する構成としても良い。

ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ３２、ノード点に関するノードデータ３３、分岐点に関する分岐点データ３４、施設等の地点に関する地点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。

また、リンクデータ３２としては、道路ネットワークを構成する各リンクに関してリンクの属する道路の幅員、勾（こう）配、カント、バンク、路面の状態、道路の車線数、車線毎の進行方向の通行区分、対向車線の有無（対面通行区間か否か）、中央分離帯の有無、幅員の狭くなる箇所、踏切り等を表すデータが、コーナに関して、曲率半径、交差点、Ｔ字路、コーナの入口及び出口等を表すデータが、道路属性に関して、降坂路、登坂路等を表すデータが、道路種別に関して、高速道路と一般道（国道、県道、細街路等）を表すデータがそれぞれ記録される。

また、ノードデータ３３としては、実際の道路の分岐点（交差点、Ｔ字路等も含む）や各道路に曲率半径等に応じて所定の距離毎に設定されたノード点の座標（位置）、ノードが交差点に対応するノードであるか等を表すノード属性、ノードに接続するリンクのリンク番号のリストである接続リンク番号リスト、ノードにリンクを介して隣接するノードのノード番号のリストである隣接ノード番号リスト、各ノード点の高さ（高度）等に関するデータ等が記録される。

また、分岐点データ３４としては、分岐点の交差点名称、分岐点を形成するノードを特定する該当ノード情報、分岐点に接続されるリンクを特定する接続リンク情報、分岐点に接続されるリンクに対応する方面名称、分岐点の形状を特定する情報等が記憶される。また、分岐点での右左折案内を行う場合に目印となり得る構造物についても記憶される。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図２）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を有する。例えば、地図情報取得手段は、道路の車線数に関する情報を含む地図情報を取得する。車線数特定手段は、車両周辺の風景を撮像した撮像画像に基づいて、車両が現在走行する道路に含まれる車線数を特定する。走行車線特定手段は、地図情報に含まれる車両が現在走行する道路の車線数と車線数特定手段により特定された車線数とが一致しない場合には車線数特定手段により特定された車線数を用いて車両が現在走行する道路において車両が現在走行する車線である走行車線を特定する一方で、地図情報に含まれる車両が現在走行する道路の車線数と車線数特定手段により特定された車線数とが一致する場合には一致する車線数を用いて走行車線を特定する。オブジェクト表示手段は、走行車線特定手段により特定された走行車線に基づいて案内オブジェクトを表示する。

操作部１４は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルを有する構成としても良い。また、マイクと音声認識装置を有する構成としても良い。

また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。また、特に第１実施形態では、車両が案内分岐点に近づいた段階で液晶ディスプレイ１５にはフロントカメラ１９で撮像した撮像画像、即ち現時点の車両周辺（特に車両前方）の風景（実景画像）を表示し、更に必要に応じて風景に対して案内オブジェクトを重畳させて表示する。

ここで、風景に重畳して表示される案内オブジェクトとしては、車両に関する情報や乗員の運転の支援の為に用いられる各種情報がある。例えば乗員に対して警告対象となる対象物（他車両、歩行者、案内標識）に対する警告、ナビゲーション装置１で設定された案内経路や案内経路に基づく案内情報（右左折方向を示す矢印、案内分岐点の目印を示すアイコン、案内分岐点までの距離、車両が走行すべき推奨車線の位置、推奨車線への車線変更を促す案内等）、路面に表示する警告（追突注意、制限速度等）、車両が走行する車線の区画線、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面等がある。尚、以下に説明する第１実施形態では案内オブジェクトは、車両の進行方向前方にある案内分岐点における案内を行う為の案内情報とする。より具体的には案内経路に沿った案内分岐点の退出方向を示す矢印、案内経路に沿って案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線の位置を示す案内画像、推奨車線への移動を促す案内画像等とする。

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１７に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

また、フロントカメラ１９は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、例えばルームミラーの裏側やフロントバンパに対して光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ１９により撮像された撮像画像は、前述したように車両周辺（特に車両前方）の風景（実景画像）として液晶ディスプレイ１５に対して表示される。また、フロントカメラ１９により撮像された撮像画像は後述の様に車両が走行する道路の区画線を検出したり、車両が走行する道路のトータルの車線数や車両が現在走行する車線を特定する際にも用いられる。

続いて、前記構成を有するナビゲーション装置１においてナビゲーションＥＣＵ１３が実行する走行支援処理プログラムについて図２に基づき説明する。図２は第１実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、液晶ディスプレイ１５に表示された車両周辺の風景に重畳した案内オブジェクトを視認させることによって、車両の走行支援を行うプログラムである。尚、以下の図２及び図５にフローチャートで示されるプログラムは、ナビゲーション装置１が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。

以下の説明では案内オブジェクトを用いた車両の走行支援として、ナビゲーション装置１で設定された案内経路に沿った車両の走行案内を行う例について説明する。また、表示対象となる案内オブジェクトは、車両の進行方向前方にある案内分岐点における案内を行う為の案内情報とし、特に案内分岐点の退出方向を示す矢印、推奨車線の位置を示す案内画像及び推奨車線への移動を促す案内画像を案内オブジェクトとして表示する場合の処理を例に挙げて説明する。但し、ナビゲーション装置１では案内オブジェクトを用いて上記走行支援以外の案内や情報提供を行うことも可能である。また、表示対象となる案内オブジェクトは、上記矢印や案内画像以外の情報とすることも可能である。例えば、案内オブジェクトとして乗員に対して警告対象となる対象物（他車両、歩行者、案内標識）に対する警告、路面に表示する警告（追突注意、制限速度等）、次の案内分岐点までの距離、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面等を表示することも可能である。

先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１においてＣＰＵ４１は、車両の現在位置を現在位置検出部１１の検出結果や地図情報に基づいて特定する。尚、車両の現在位置を特定する際には、車両の現在位置を地図情報にマッチングさせるマップマッチング処理についても行う。その後、ナビゲーション装置１で設定されている案内経路を読み出し、特定された車両の現在位置から案内経路に沿った次の案内分岐点までの距離を算出する。尚、案内分岐点とは、ナビゲーション装置１に設定されている案内経路に従ってナビゲーション装置１が走行の案内を行う際に、右左折指示（左折ランプや右折ランプへの進入指示も含む）等の案内を行う対象となる分岐点（交差点）である。尚、右左折はしないが特殊な形状を有する分岐点（難交差点）も案内分岐点に該当する。

次に、Ｓ２においてＣＰＵ４１は、前記Ｓ１で算出された次の案内分岐点までの距離が、所定の案内開始距離未満か否かを判定する。尚、案内開始距離は車両が走行する道路の道路種別によって決定され、例えば高速道路は１ｋｍ、一般道は高速道路よりも短い３００ｍとする。但し、案内開始距離は固定値でなく変動する値としても良い。例えば一般道において案内分岐点の手前側３００ｍ以内に他の分岐点がある場合には、案内分岐点から該他の分岐点までの距離としても良い。

そして、前記Ｓ１で算出された次の案内分岐点までの距離が案内開始距離未満であると判定された場合（Ｓ２：ＹＥＳ）には、Ｓ３へと移行する。それに対して、前記Ｓ１で算出された次の案内分岐点までの距離が案内開始距離未満でないと判定された場合（Ｓ２：ＮＯ）には、Ｓ１へと戻る。

Ｓ３においてＣＰＵ４１は、次の案内分岐点までの距離が、所定の退出方向案内開始距離未満か否かを判定する。尚、退出方向案内開始距離は前記Ｓ２の判定基準となる案内開始距離よりも短い距離であって、車両が走行する道路の道路種別によって決定され、例えば高速道路は５００ｍ、一般道は高速道路よりも短い５０ｍとする。

そして、次の案内分岐点までの距離が退出方向案内開始距離未満であると判定された場合（Ｓ３：ＹＥＳ）には、Ｓ６へと移行する。それに対して、次の案内分岐点までの距離が退出方向案内開始距離未満でないと判定された場合（Ｓ３：ＮＯ）には、Ｓ４へと移行する。

次に、Ｓ４においてＣＰＵ４１は、後述の第１案内オブジェクト表示位置決定処理（図５）を行う。第１案内オブジェクト表示位置決定処理は、推奨車線の位置を示す案内画像或いは推奨車線への移動を促す案内画像を案内オブジェクト（以下、第１案内オブジェクトという）として表示対象とし、液晶ディスプレイ１５に対して表示する第１案内オブジェクトの大きさ、形状及び第１案内オブジェクトを表示する位置（範囲）を具体的に決定する処理である。尚、前記Ｓ４で決定される第１案内オブジェクトの大きさ、形状及び第１案内オブジェクトを表示する位置は、例えば風景内の推奨車線、自車の走行車線或いはその間の車線に案内オブジェクトを重畳して乗員に視認させる為の条件となる。また、液晶ディスプレイ１５には車両から案内分岐点までの距離が案内開始距離未満となる前に予めフロントカメラ１９で撮像した撮像画像、即ち現時点の車両周辺（特に車両前方）の風景（実景画像）が表示されている。そして、前記Ｓ４では後述のように画像認識処理や地図情報を用い、液晶ディスプレイ１５に表示された風景内において推奨車線や自車の走行車線が存在する範囲を特定し、特定された範囲に重畳するように第１案内オブジェクトの大きさ、形状及び第１案内オブジェクトを表示する位置が決定される。

続いて、Ｓ５においてＣＰＵ４１は、前記Ｓ４で決定された大きさ及び形状の第１案内オブジェクトの画像を生成し、更に液晶ディスプレイ１５に対して制御信号を送信し、液晶ディスプレイ１５に対して生成された第１案内オブジェクトの画像を前記Ｓ４で決定された位置（範囲）に対して描画する。前述したように液晶ディスプレイ１５には車両から案内分岐点までの距離が案内開始距離未満となる前に予めフロントカメラ１９で撮像した撮像画像、即ち現時点の車両周辺（特に車両前方）の風景（実景画像）が表示されている。その結果、車両の乗員に風景に重畳された第１案内オブジェクトを視認させることが可能となる。

図３は前記Ｓ５において液晶ディスプレイ１５に表示される走行案内画面５１の例を示した図である。図３に示すように液晶ディスプレイ１５には、フロントカメラ１９により撮像された現時点の車両前方の風景５２が表示される。そして、車両前方の風景５２に重畳して第１案内オブジェクトの画像５３が表示される。

ここで、第１実施形態では案内に用いられる案内オブジェクトとして複数種類の案内オブジェクトが存在し、案内の内容や現在の状況に応じて選択された一又は複数種類の案内オブジェクトが表示される。また、複数種類の案内オブジェクトが同時に表示対象となる場合もある。図３に示す例は、車両の現在位置が案内分岐点に対して案内開始距離未満且つ退出方向案内開始距離以上に接近した状態（例えば案内分岐点まで１ｋｍ～５００ｍ）に表示される走行案内画面５１の例であり、案内経路に沿って案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線５４を他の車線と識別して案内する案内画像が第１案内オブジェクトの画像５３として表示される第１の表示態様と、推奨車線５４を他の車線と識別して案内するとともに推奨車線５４への移動を促す案内画像が第１案内オブジェクトの画像５３として表示される第２の表示態様を示す。

尚、第１案内オブジェクトの画像５３については、図３に示すように基本的に風景５２内にある推奨車線５４、或いは車両の現在走行する車線（以下、自車走行車線という）５５から推奨車線５４まで跨る領域に重畳して表示される。具体的には車両が案内分岐点に閾値以内（例えば高速道路では７００ｍ以内）に接近するまでの間は、自車両が推奨車線５４を走行しているか否かに関わらず推奨車線５４のみに重畳して表示する（第１の表示態様）。この段階では推奨車線５４への移動を促すよりも推奨車線５４の存在を乗員に認知させることを目的とする。

その後、上記第１案内オブジェクトの画像５３が表示された状態で車両が推奨車線５４に移動することなく案内分岐点に閾値以内（例えば高速道路では７００ｍ以内）まで接近した場合には、自車走行車線５５から推奨車線５４まで跨る領域に重畳する新たな第１案内オブジェクトの画像５３が表示される（第２の表示態様）。それによって、推奨車線５４への移動を行わない乗員に対して推奨車線への移動を促すことが可能となる。尚、上記推奨車線への移動を促す案内を行うに際して、第１実施形態では自車走行車線５５から推奨車線５４までを含む広い領域に対して第１案内オブジェクトの画像５３が表示されるので、矢印などの画像を表示する場合と比較して推奨車線への車線変更を促す強制感のある案内を抑制することが可能となる。

但し、車両が案内分岐点に閾値以内（例えば高速道路では７００ｍ以内）まで接近した場合であっても推奨車線５４を走行する状態では、推奨車線への移動を促す必要がないので第１案内オブジェクトの画像５３は推奨車線５４（自車走行車線５５にも該当）のみに重畳して表示する（第１の表示態様）。

また、図５に示す第１案内オブジェクトの画像５３は基本的にフロントカメラ１９により撮像された撮像画像の画像認識結果に対する信頼度が高い場合（より具体的には画像認識により特定される道路の車線数や自車の走行車線の結果に対する信頼度が高い場合）にのみ表示され、信頼度が低い場合については基本的に表示されない。但し、信頼度が低い場合であっても後述の第２案内オブジェクトのように自車走行車線に依存しない（自車走行車線を用いない、自車走行車線に基づかない、自車走行車線に影響されない）態様（案内分岐点の退出方向のみを示す矢印）での案内を行うことは可能である

また、上記実施例では案内分岐点までの距離に応じて第１の表示態様から第２の表示態様へと切り替えを行っているが、第２の表示態様による表示は行わずに常に第１の表示態様により表示を行うようにしても良い。また、案内分岐点までの距離を第１案内オブジェクトの画像５３に対して表示するようにしても良い。その後、Ｓ３へと戻り、案内分岐点までの距離が退出方向案内開始距離未満となるまで第１の案内オブジェクトの画像５３を継続して表示する。第１の案内オブジェクトについては後程より詳細に説明する。

一方、Ｓ６においてＣＰＵ４１は、案内分岐点の退出方向を示す矢印を案内オブジェクト（以下、第２案内オブジェクトという）として表示対象とし、液晶ディスプレイ１５に対して表示する第２案内オブジェクトの大きさ、形状及び第２案内オブジェクトを表示する位置（範囲）を決定する。尚、第１実施形態では第２案内オブジェクトは、車両の現在位置に対して所定距離前方（例えば１０ｍ前方）で且つ道路路面から所定高さ（例えば１ｍ）上方にあって車両の進行方向前方にある案内分岐点の退出方向を示す三角形状の３つの矢印とする。

続いて、Ｓ７においてＣＰＵ４１は、前記Ｓ６で決定された大きさ及び形状の第２案内オブジェクトの画像を生成し、更に液晶ディスプレイ１５に対して制御信号を送信し、液晶ディスプレイ１５に対して生成された第２案内オブジェクトの画像を前記Ｓ６で決定された位置（範囲）に対して描画する。尚、液晶ディスプレイ１５には車両から案内分岐点までの距離が案内開始距離未満となる前に予めフロントカメラ１９で撮像した撮像画像、即ち現時点の車両周辺（特に車両前方）の風景（実景画像）が表示されている。その結果、車両の乗員に風景に重畳された第２案内オブジェクトを視認させることが可能となる。

図４は前記Ｓ７において液晶ディスプレイ１５に表示される走行案内画面５１の例を示した図である。図４に示すように液晶ディスプレイ１５には、フロントカメラ１９により撮像された現時点の車両前方の風景５２が表示される。そして、車両の現在位置が案内分岐点に対して退出方向案内開始距離以内に接近した状態（例えば案内分岐点まで５００ｍ以内）では、その車両前方の風景５２に重畳して第２案内オブジェクトの画像５７が表示される。より具体的には車両が現在走行する道路の上方で車両の今後の進路に沿った位置に、案内分岐点の退出方向を示す複数個の矢印が第２案内オブジェクトの画像５７として表示される。

尚、第２案内オブジェクトの画像５７については、複数の矢印形状のオブジェクトの画像を含み、複数のオブジェクトの画像を車両が現在走行する道路の上方に対して車両の今後の進路に沿って所定間隔で位置するように表示する。各矢印の向きは車両の案内分岐点の退出方向を示す。また、第２案内オブジェクトの画像５７は、車両が案内分岐点から離れた状態では車両との相対位置が固定された態様（以下、第１の態様という）で表示され、車両が案内分岐点にある程度まで近づくと、風景５２内にある案内分岐点との相対位置が固定された態様（以下、第２の態様という）に切り替えて表示される。特に第２の態様では第２案内オブジェクトの画像５７の一部が案内分岐点に重畳した状態で固定される。従って、走行案内画面５１を車両の乗員が視認した場合に、車両の進路や、右左折対象となる案内分岐点の位置や、案内交差点における退出方向を正確に把握できる。その後、車両が案内分岐点を通過するまで第２案内オブジェクトの画像５７を継続して表示する。

その後、Ｓ８においてＣＰＵ４１は、車両が案内分岐点を通過したか否かを判定する。例えば現在位置検出部１１で検出された車両の現在位置と地図情報に基づいて判定される。

そして、車両が案内分岐点を通過したと判定された場合（Ｓ８：ＹＥＳ）には、液晶ディスプレイ１５に対して制御信号を送信し、液晶ディスプレイ１５に表示されていた案内オブジェクトを非表示とする（Ｓ９）。尚、案内オブジェクトを非表示とする場合には、表示されている案内オブジェクトの画像の透過率を案内分岐点までの距離に応じで段階的に上昇させ、最終的に車両が案内分岐点に到達するタイミングで透過率が１００％とするのが望ましい。また、フロントカメラ１９で撮像した撮像画像、即ち現時点の車両周辺（特に車両前方）の風景（実景画像）については案内オブジェクトを非表示とした後も一定期間継続して表示された後に地図画像の表示へと切り替わる。

一方、車両が案内分岐点を通過していないと判定された場合（Ｓ８：ＮＯ）にはＳ６へと戻り、案内オブジェクトの表示を継続して行う。

次に、前記Ｓ４において実行される第１案内オブジェクト表示位置決定処理のサブ処理について図５に基づき説明する。図５は第１案内オブジェクト表示位置決定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ１１においてＣＰＵ４１は、車両が現在走行する道路において走行を推奨される車線である“推奨車線”を特定する。具体的にはＣＰＵ４１は、地図情報と案内経路に基づいて、車両の前方にある案内分岐点を案内経路に沿った退出方向（案内方向）へと通過するために走行する必要のある車線を推奨車線として特定する。より具体的には、案内分岐点における車両の退出方向に対応する車線を推奨車線として取得する。尚、地図情報に含まれるリンクデータ３２には車線毎の進行方向の通行区分について格納され、分岐点データ３４には分岐点の形状について格納されており、それらの情報を用いて推奨車線を特定する。例えば、図６に示すように高速道路を走行する車両の進行方向前方にある案内分岐点６０での退出方向（案内方向）が取付道路のある斜め左方向である場合には、自車の走行する道路の３車線の内、最も左側に位置する車線が推奨車線となる。一方で図７に示すように一般道を走行する車両の進行方向前方にある案内分岐点６０での退出方向（案内方向）が右方向である場合には、自車の走行する道路の４車線の内、右折の通行区分に対応する最も右側に位置する車線が推奨車線となる。尚、推奨車線は１車線のみであるとは限らず、２車線以上ある場合もある。

次に、Ｓ１２においてＣＰＵ４１は、フロントカメラ１９で撮像した画像に対して画像処理を施すことにより、車両の周辺に位置する地物を認識（検出）する。具体的には路面（自車両の走行する車線の路面に加えて、自車両の走行する車線以外の車線の路面も含む）に描かれた区画線と、道路端（具体的には車道の端であり歩道がある場合には車道と歩道との境界となる）を認識（検出）対象とする。

尚、前記Ｓ１２で認識（検出）対象とする地物は基本的に対向車線側にある地物は含まれないが、例えば一般道において自車の進行方向に対応する車線と対向車線との間に中央分離帯がなく中央線で区分されている場合、或いは中央線も存在しない場合については対向車線にある地物についても認識（検出）対象に含まれることとなる。但し、その場合においても後述のＳ１５で特定される車線数は自車の進行方向に対応する車線（対向車線は含まない）の車線数である。尚、区画線については区画線の色や種別（実線、破線など）についても検出するのが望ましい。また、道路端については基本的には道路端に設けられたブロック、ガードレール、中央分離帯などの構造物を道路端として検出するが、そのような構造物が道路端にない道路についてはアスファルトの切れ目や最も外側にある区画線（対向車線と中央線で区分されている場合には中央線も道路端になる）を道路端として検出しても良い。

以下に前記Ｓ１２における区画線の検出処理について簡単に説明する。先ず、ＣＰＵ４１は、フロントカメラ１９で撮像した撮像画像中にある区画線を検出する為に、路面と区画線を輝度差に基づいて輝度補正を行う。その後、区画線を画像から分離する２値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と区画線との境界線を検出する。検出された境界線によって区画線の存在や種別が特定される。また区画線と検出された範囲の画像部分を抽出して色認識（ＲＧＢ値検出）を行うことにより区画線の色についても検出可能となる。

次に前記Ｓ１２における道路端の検出処理について簡単に説明する。先ず、ＣＰＵ４１は、フロントカメラ１９で撮像した撮像画像中にある道路端を検出する為に、路面と道路端に設けられた構造物（ブロック、ガードレール、中央分離帯等）を輝度差に基づいて輝度補正を行う。その後、それら構造物を画像から分離する２値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と構造物との境界線を検出する。検出された境界線によって道路端の存在が特定される。尚、区画線や道路端の検出には、特徴点やテンプレートを用いたパターンマッチング処理を行っても良い。それらの画像認識処理については既に公知であるので詳細は省略する。また、区画線や道路端以外に道路上に位置する他車両等についても検出対象としても良い。

続いて、Ｓ１３においてＣＰＵ４１は、フロントカメラ１９により撮像された撮像画像の画像認識結果（より具体的には画像認識により特定される道路の車線数や自車の走行車線の結果）にどの程度の信頼性があるかを示す信頼度を算出する。特に本実施形態では（ａ）車両の進行方向に対して右側にある区画線と道路端の画像認識結果に対する信頼度である右側信頼度と、（ｂ）車両の進行方向に対して左側にある区画線と道路端の画像認識結果に対する信頼度である左側信頼度と、（ｃ）右側信頼度と左側信頼度とを総括した信頼度（トータルの信頼度）である総括信頼度と、を算出する。

以下に、右側信頼度、左側信頼度、総括信頼度の各信頼度の算出方法について例を挙げて説明する。
［右側信頼度］
先ず自車の走行車線に対して右側に存在する各区画線について、以下の式（１）により区画線毎の信頼度（以下、区画線信頼度Ｃという）を算出する。例えば、図８に示すように片側３車線の高速道路において自車が中央の車線を走行する場合については、自車走行車線の右側に車線境界線６６と車道外側線６５が存在し、それら２本の区画線に対して夫々区画線信頼度Ｃが算出される。また、図９に示すように片側３車線の高速道路において自車が最も右側の車線を走行する場合については、自車走行車線の右側に車道外側線６５が存在し、その１本の区画線に対して区画線信頼度Ｃが算出される。また、図１０に示すように片側３車線の高速道路において自車が最も左側の車線を走行する場合については、自車走行車線の右側に車線境界線６３と車線境界線６６と車道外側線６５が存在し、それら３本の区画線に対して夫々区画線信頼度Ｃが算出される。
Ｃ＝（１０×Ｖ１＋Ｖ２＋Ｖ３＋Ｖ４）／１３・・・・（１）
ここで、Ｖ１は、区画線信頼度Ｃの算出対象となる区画線が前記Ｓ１２の画像認識処理で検出できたか否か（存在すべき場所に区画線の存在を認識できたか否か）であり、検出できた場合には“１”、検出できなかった場合は“０”とする。
また、Ｖ２は、区画線信頼度Ｃの算出対象となる区画線の色が前記Ｓ１２の画像認識処理で検出できたか否かであり、検出できた場合には“１”、検出できなかった場合は“０”とする。尚、区画線の色が検出できた場合であっても地図情報などを用いて推定される色と一致しない場合については“０”としても良い。
また、Ｖ３は、区画線信頼度Ｃの算出対象となる区画線の種別（例えば実線、破線）が前記Ｓ１２の画像認識処理で検出できたか否かであり、検出できた場合には“１”、検出できなかった場合は“０”とする。尚、区画線の種別が検出できた場合であっても地図情報などを用いて推定される種別と一致しない場合については“０”としても良い。
また、Ｖ４は、区画線信頼度Ｃの算出対象となる区画線の特に道路の進行方向に対する傾きを前記Ｓ１２の画像認識処理により検出し、検出された傾きが閾値（例えば１０度）未満の場合には“１”、閾値以上の場合は“０”とする。
その後、自車走行車線に対して右側に存在する各区画線に対して算出された区画線信頼度Ｃを加算して右側信頼度ＣＲを算出する。尚、右側信頼度ＣＲを算出する場合には、車両から近い位置にある区画線の区画線信頼度Ｃよりも遠い位置にある区画線の区画線信頼度Ｃを重視して算出する。例えば、図８に示すように片側３車線の高速道路において自車が中央の車線を走行する場合について、自車走行車線に対して最も近い位置にある車線境界線６６に対して算出された区画線信頼度ＣをＣ_１、自車走行車線に対して２番目に近い位置にある車道外側線６５に対して算出された区画線信頼度ＣをＣ_２とすると、以下の式（２）により右側信頼度ＣＲが算出される。
ＣＲ＝（Ｃ_１＋２×Ｃ_２）／３・・・・（２）
また、図９に示すように片側３車線の高速道路において自車が最も右側の車線を走行する場合について、自車走行車線の右側に唯一ある車道外側線６５に対して算出された区画線信頼度ＣをＣ_１とすると、以下の式（３）により右側信頼度ＣＲが算出される。
ＣＲ＝Ｃ_１・・・・（３）
また、図１０に示すように片側３車線の高速道路において自車が最も左側の車線を走行する場合について、自車走行車線に対して最も近い位置にある車線境界線６３に対して算出された区画線信頼度ＣをＣ_１、自車走行車線に対して２番目に近い位置にある車線境界線６６に対して算出された区画線信頼度ＣをＣ_２、自車走行車線に対して３番目に近い位置にある車道外側線６５に対して算出された区画線信頼度ＣをＣ_３とすると、以下の式（４）により右側信頼度ＣＲが算出される。
ＣＲ＝（Ｃ_１＋２×Ｃ_２＋４×Ｃ_３）／７・・・・（４）
尚、上記式（２）～（４）において各区画線信頼度Ｃに乗じられる係数は適宜変更可能であるが、自車走行車線に対して遠い位置にある区画線に対して算出された区画線信頼度Ｃに対してより大きい係数が乗じられるように設定するのが望ましい。
上記式（２）～（４）により最終的に算出された右側信頼度ＣＲは０以上１以下の値となり１に近い程、車両の進行方向に対して右側にある区画線と道路端の画像認識結果に対する信頼度、即ち道路右端を基準として特定する自車走行車線（右側の道路端から自車走行車線までの車線の数）の信頼度が高いことを示す。
［左側信頼度］
先ず自車の走行車線に対して左側に存在すると推定される各区画線について、上記した式（１）により同様に区画線毎の区画線信頼度Ｃを算出する。例えば、図８に示すように片側３車線の高速道路において自車が中央の車線を走行する場合については、自車走行車線の左側に車道外側線６２と車線境界線６３が存在し、それら２本の区画線に対して夫々区画線信頼度Ｃが算出される。また、図９に示すように片側３車線の高速道路において自車が最も右側の車線を走行する場合については、自車走行車線の左側に車道外側線６２と車線境界線６３と車線境界線６６が存在し、それら３本の区画線に対して夫々区画線信頼度Ｃが算出される。また、図１０に示すように片側３車線の高速道路において自車が最も左側の車線を走行する場合については、自車走行車線の左側に車道外側線６２が存在し、その１本の区画線に対して区画線信頼度Ｃが算出される。尚、区画線信頼度Ｃの算出方法については前述した右側信頼度と同様であるので省略する。
その後、自車走行車線に対して左側に存在すると推定される各区画線に対して算出された区画線信頼度Ｃを加算して左側信頼度ＣＬを算出する。尚、左側信頼度ＣＬを算出する場合には、車両から近い位置にある区画線の区画線信頼度Ｃよりも遠い位置にある区画線の区画線信頼度Ｃを重視して算出する。例えば、図８に示すように片側３車線の高速道路において自車が中央の車線を走行する場合について、自車走行車線に対して最も近い位置にある車線境界線６３に対して算出された区画線信頼度ＣをＣ_１、自車走行車線に対して２番目に近い位置にある車道外側線６２に対して算出された区画線信頼度ＣをＣ_２とすると、以下の式（５）により左側信頼度ＣＬが算出される。
ＣＬ＝（Ｃ_１＋２×Ｃ_２）／３・・・・（５）
また、図９に示すように片側３車線の高速道路において自車が最も右側の車線を走行する場合について、自車走行車線に対して最も近い位置にある車線境界線６６に対して算出された区画線信頼度ＣをＣ_１、自車走行車線に対して２番目に近い位置にある車線境界線６３に対して算出された区画線信頼度ＣをＣ_２、自車走行車線に対して３番目に近い位置にある車道外側線６２に対して算出された区画線信頼度ＣをＣ_３とすると、以下の式（６）により左側信頼度ＣＬが算出される。
ＣＬ＝（Ｃ_１＋２×Ｃ_２＋４×Ｃ_３）／７・・・・（６）
また、図１０に示すように片側３車線の高速道路において自車が最も左側の車線を走行する場合について、自車走行車線の左側に唯一ある車道外側線６２に対して算出された区画線信頼度ＣをＣ_１とすると、以下の式（７）により左側信頼度ＣＬが算出される。
ＣＬ＝Ｃ_１・・・・（７）
尚、上記式（５）～（７）において各区画線信頼度Ｃに乗じられる係数は適宜変更可能であるが、自車走行車線に対して遠い位置にある区画線に対して算出された区画線信頼度Ｃに対してより大きい係数が乗じられるように設定するのが望ましい。
上記式（５）～（７）により最終的に算出された左側信頼度ＣＬは０以上１以下の値となり１に近い程、車両の進行方向に対して左側にある区画線と道路端の画像認識結果に対する信頼度、即ち道路左端を基準として特定する自車走行車線（左側の道路端から自車走行車線までの車線の数）の信頼度が高いことを示す。
［総括信頼度］
最後に上記のように算出された右側信頼度ＣＲと左側信頼度ＣＬを加算して総括信頼度ＣＴを算出する。尚、総括信頼度ＣＴを算出する場合には右側信頼度ＣＲと左側信頼度ＣＬを単に加算しても良いし、いずれか一方に重み付けを行って加算しても良い。例えば以下の式（８）により総括信頼度ＣＴが算出される。
ＣＴ＝（ＣＲ＋ＣＬ）／２・・・・（８）
尚、上記式（８）により最終的に算出された総括信頼度ＣＴは０以上１以下の値となり１に近い程、左右を問わずフロントカメラ１９により撮像された撮像画像の画像認識結果に対する信頼度が高いことを示す。

続いて、Ｓ１４においてＣＰＵ４１は、前記Ｓ１３で算出された総括信頼度ＣＴが所定の基準値以上か否かを判定する。尚、基準値は適宜設定可能であるが例えば０．８とする。

尚、前記Ｓ１４では総括信頼度ＣＴではなく右側信頼度ＣＲ又は左側信頼度ＣＬが基準値以上か否かを判断しても良い。より具体的には、前記Ｓ１３で算出された右側信頼度ＣＲと左側信頼度ＣＬの内、案内分岐点における車両の退出方向に対応する信頼度が基準値以上か否かを判定する。また、車両の退出方向に対応する信頼度とは、例えば車両が案内分岐点で右方向に退出するのであれば車両の退出方向に対応するのは右側信頼度ＣＲとなり、車両が案内分岐点で左方向に退出するのであれば車両の退出方向に対応するのは左側信頼度ＣＬとなる。ここで、図６や図７に示すように推奨車線は基本的に案内分岐点の退出方向に存在する。従って例えば案内分岐点の退出方向が右方向である場合には道路右端を基準として特定する自車走行車線の位置の信頼度である右側信頼度ＣＲが高ければ、少なくとも自車走行車線と推奨車線の位置関係は信頼できる。即ち実景重畳を行う場合において風景内の自車走行車線と推奨車線が存在する位置について正確に推定できる。一方、案内分岐点の退出方向が左方向である場合には道路左端を基準として特定する自車走行車線の位置の信頼度である左側信頼度ＣＬが高ければ、少なくとも自車走行車線と推奨車線の位置関係は信頼できる。即ち実景重畳を行う場合において風景内の自車走行車線と推奨車線が存在する位置について正確に推定できる。

そして、前記Ｓ１４で算出された総括信頼度ＣＴが基準値以上であると判定された場合（Ｓ１４：ＹＥＳ）には、前記Ｓ１２の画像認識結果（より具体的には画像認識結果に基づいて後述のＳ１５、Ｓ１８、Ｓ２０で特定される道路の車線数や自車の走行車線の結果）は十分に信頼できるとみなし、Ｓ１５へと移行する。それに対して、前記Ｓ１４で算出された総括信頼度ＣＴが基準値未満であると判定された場合（Ｓ１４：ＮＯ）には、前記Ｓ１２の画像認識結果（より具体的には画像認識結果に基づいて後述のＳ１５、Ｓ１８、Ｓ２０で特定される道路の車線数や自車の走行車線の結果）は信頼できないとみなし、Ｓ２６へと移行する。

次に、Ｓ１５においてＣＰＵ４１は、前記Ｓ１２で行った画像認識処理の結果に基づいて、自車両が現在走行する道路の車線数である“自車道路車線数”を特定する。具体的には以下の処理により自車道路車線数を特定する。尚、前記Ｓ１５で特定されるのは自車両の進行方向に対応する車線の車線数であり、対向車線は除く。

［自車道路車線数の特定］
例えば図８～図１０に示す片側３車線の高速道路を走行する場合を例に挙げて説明すると、先ずＣＰＵ４１は自車の左側にある道路端と区画線の認識結果を取得する。区画線の認識結果については区画線の色や種類についても取得する。その結果、例えば道路端６１を検出し、道路端６１に隣接する白色の実線である車道外側線６２を検出し、車道外側線６２と車両の間に白色の破線或いは実線である車線境界線６３を１本検出すれば、自車は図８のように左から２番目の車線を走行していると特定できる。更にＣＰＵ４１は、同様にして右側にある道路端と区画線の認識結果を取得する。区画線の認識結果については区画線の色や種類についても取得する。その結果、例えば道路端６４を検出し、道路端６４に隣接する白色の実線である車道外側線６５を検出し、車道外側線６５と車両の間に白色の破線或いは実線である車線境界線６６を１本検出すれば、自車は図８のように右から２番目の車線を走行していると特定できる。その結果を組み合わせると、自車は左から２番目且つ右から２番目の車線を走行している、即ち自車道路車線数が３車線であると特定できる。
また、同様にして例えば車道外側線６２と車両の間に車線境界線６３を２本検出すれば、自車は図９のように左から３番目の車線を走行していると特定でき、車道外側線６５と車両の間に車線境界線６６を検出しなければ、自車は図９のように最も右の車線を走行していると特定できる。その結果を組み合わせると、自車は左から３番目且つ最も右側の車線を走行している、即ち自車道路車線数が３車線であると特定できる。
また、同様にして例えば車道外側線６２と車両の間に車線境界線６３を検出しなければ、自車は図１０のように最も左の車線を走行していると特定でき、車道外側線６５と車両の間に車線境界線６６を２本検出すれば、自車は図１０のように右から３番目の車線を走行していると特定できる。その結果を組み合わせると、自車は最も左側且つ右から３番目の車線を走行している、即ち自車道路車線数が３車線であると特定できる。

尚、自車道路車線数の特定には区画線や道路端以外に道路を走行する他車両の検出結果を用いても良い。例えば区画線を明確に検出することができない場合であっても他車両の位置から車線の存在を推定することが可能となる。また、特に対面通行区間では対向車両を検出することによってその車線が自車両の進行方向に対応する車線なのか対向車線であるのかを推定できる。

次に、Ｓ１６においてＣＰＵ４１は、地図情報ＤＢ３１に格納された地図情報から、自車両が現在走行する道路の車線数（但し対向車線は除く）である“自車道路車線数”を取得する。尚、前記Ｓ１６で取得されるのは自車両の進行方向に対応する車線の車線数であり、対向車線は除く。

ここで、地図情報に含まれるリンクデータ３２は、道路ネットワークを構成する各リンクに関する情報を含むが、図１１に示すように道路の途中で車線数が増減する地点が存在する場合については基本的に車線数が増減する地点でリンクが区分され、区分された各リンクに対して車線数が対応付けられている。例えば図１１に示す例ではリンクＡとリンクＢに区分され、リンクデータ３２にはリンクＡの車線数として『３』が格納され、リンクＢの車線数として『２』が格納される。従って、前記Ｓ１６ではＣＰＵ４１は、現在位置検出部１１の検出結果に基づいて自車両の現在位置を特定するとともに、自車両の現在位置を地図情報にマッチングさせ、自車両の現在位置を含むリンクに紐づけられた車線数を取得する。

続いて、Ｓ１７においてＣＰＵ４１は、前記Ｓ１５において画像認識処理の結果により特定された自車道路車線数と、前記Ｓ１６で取得された地図情報に含まれる車両が現在走行する道路の車線数とが一致するか否か判定する。

ここで、前述したように地図情報に含まれるリンクデータ３２は道路の車線数の情報を有しているが、その情報は実際の道路との間にズレが生じている場合もある。例えば、図１２に示すように地図情報におけるリンクＡとリンクＢの境界（地図情報における車線数の増減地点）と実際の道路において２車線と３車線が変化する境界（実際の車線数の増減地点）とが完全に一致しない場合もある。その場合において、地図情報における車線数の増減地点と実際の車線数の増減地点との間を車両が走行する場合に、フロントカメラ１９で撮像された撮像画像に基づく車線数の検出結果が地図情報と一致しない状況も生じ得る。

そして、前記Ｓ１５において画像認識処理の結果により特定された自車道路車線数と、前記Ｓ１６で取得された地図情報に含まれる自車道路車線数とが一致しないと判定された場合（Ｓ１７：ＮＯ）には、Ｓ１８へと移行する。それに対して、前記Ｓ１５において画像認識処理の結果により特定された自車道路車線数と、前記Ｓ１６で取得された地図情報に含まれる自車道路車線数とが一致すると判定された場合（Ｓ１７：ＹＥＳ）には、Ｓ２０へと移行する。

Ｓ１８においてＣＰＵ４１は、地図情報が信用できないとみなし、地図情報を用いずに前記Ｓ１２で行った画像認識処理の検出結果に基づいて自車両が現在走行する走行車線である“自車走行車線”を特定する。尚、以降の処理では自車が走行する道路の車線数である自車道路車線数は、前記Ｓ１５において画像認識処理の結果により特定された自車道路車線数を用いる。具体的には以下の処理により自車走行車線を特定する。

自車走行車線を特定する方法としては例えば区画線の種類と数を用いる方法や道路端からの距離と車線幅を用いる方法が挙げられる。
［自車走行車線の特定（パターン１）］
前述した自車道路車線数の特定を同じ方法を用いる。即ち、先ずＣＰＵ４１は自車の左側にある道路端と区画線の認識結果を取得する。区画線の認識結果については区画線の色や種類についても取得する。その結果、例えば道路端６１を検出し、道路端６１に隣接する白色の実線である車道外側線６２を検出し、車道外側線６２と車両の間に白色の破線或いは実線である車線境界線６３を１本検出すれば、自車は図８のように左から２番目の車線を走行していると特定できる。更にＣＰＵ４１は、同様にして右側にある道路端と区画線の認識結果を取得する。区画線の認識結果については区画線の色や種類についても取得する。その結果、例えば道路端６４を検出し、道路端６４に隣接する白色の実線である車道外側線６５を検出し、車道外側線６５と車両の間に白色の破線或いは実線である車線境界線６６を１本検出すれば、自車は図８のように右から２番目の車線を走行していると特定できる。その結果を組み合わせると、自車は３車線の道路で左から２番目且つ右から２番目の車線を走行していると特定できる。
また、同様にして例えば車道外側線６２と車両の間に車線境界線６３を２本検出すれば、自車は図９のように左から３番目の車線を走行していると特定でき、車道外側線６５と車両の間に車線境界線６６を検出しなければ、自車は図９のように最も右の車線を走行していると特定できる。その結果を組み合わせると、自車は左から３番目且つ最も右側の車線を走行していると特定できる。
また、同様にして例えば車道外側線６２と車両の間に車線境界線６３を検出しなければ、自車は図１０のように最も左の車線を走行していると特定でき、車道外側線６５と車両の間に車線境界線６６を２本検出すれば、自車は図１０のように右から３番目の車線を走行していると特定できる。その結果を組み合わせると、自車は最も左側且つ右から３番目の車線を走行していると特定できる。
尚、右側の道路端からの自車走行車線の特定結果と左側の道路端からの自車走行車線の特定結果とに矛盾がある場合（例えば自車道路車線数が２であるにもかかわらず左から２番目且つ右から２番目の車線を走行していると特定された場合）については、右側信頼度ＣＲ及び左側信頼度ＣＬの内で信頼度が高い方の道路端からの特定結果を優先する。
［自車走行車線の特定（パターン２）］
次に道路端からの距離と車線幅を用いる方法について、同じく図８～図１０に示す片側３車線の高速道路を走行する場合を例に挙げて説明すると、先ずＣＰＵ４１は自車の両側にある区画線（図８に示す例では車線境界線６３と車線境界線６６、図９に示す例では車線境界線６６と車道外側線６５、図１０に示す例では車道外側線６２と車線境界線６３）を検出してその区画線の間の距離から車両が走行する道路の車線の幅を特定する。その後、ＣＰＵ４１は自車の左側にある道路端６１或いは車道外側線６２から自車までの道路幅方向に沿った距離を算出し、算出された距離が何車線分の幅があるかを算出する。その結果、道路端６１又は車道外側線６２から自車までの間の距離が車線１本分の距離である場合には自車は図８のように左から２番目の車線を走行していると特定できる。同様にして道路端６１又は車道外側線６２から自車までの間の距離が車線２本分の距離である場合には自車は図９のように左から３番目の車線を走行していると特定できる。道路端６１又は車道外側線６２から自車までの間の距離が車線１本分に満たない場合には自車は図１０のように最も左の車線を走行していると特定できる。
更にＣＰＵ４１は、同様にして右側にある道路端６４或いは車道外側線６５からの距離を算出する。その結果、道路端６４又は車道外側線６５から自車までの間の距離が車線１本分の距離である場合には自車は図８のように右から２番目の車線を走行していると特定できる。同様にして道路端６４又は車道外側線６５から自車までの間の距離が車線２本分の距離である場合には自車は図１０のように右から３番目の車線を走行していると特定できる。道路端６４又は車道外側線６５から自車までの間の距離が車線１本分に満たない場合には自車は図９のように最も右の車線を走行していると特定できる。
ＣＰＵ４１は上述のように道路左端を基準として特定した自車走行車線の位置（道路左端から車両が現在走行する車線までの車線の数）と、道路右端を基準として特定した自車走行車線の位置（道路右端から車両が現在走行する車線までの車線の数）とを最終的に組み合わせて、自車走行車線を特定する。例えば図８に示す例では自車走行車線は左から２番目の車線、且つ右から２番目の車線であると特定される。図９に示す例では自車走行車線は左から３番目の車線、且つ右から１番目の車線であると特定される。図１０に示す例では自車走行車線は左から１番目の車線、且つ右から３番目の車線であると特定される。
尚、右側の道路端からの自車走行車線の特定結果と左側の道路端からの自車走行車線の特定結果とに矛盾がある場合（例えば自車道路車線数が２であるにもかかわらず左から２番目且つ右から２番目の車線を走行していると特定された場合）については、右側信頼度ＣＲ及び左側信頼度ＣＬの内で信頼度が高い方の道路端からの特定結果を優先する。

尚、自車走行車線の特定には区画線や道路端以外に道路を走行する他車両の検出結果を用いても良い。例えば区画線を明確に検出することができない場合であっても他車両の位置から車線の存在を推定することが可能となる。また、特に対面通行区間では対向車両を検出することによってその車線が自車両の進行方向に対応する車線なのか対向車線であるのかを推定できる。

その後、Ｓ１９においてＣＰＵ４１は、前記Ｓ１２の画像認識処理で取得された区画線の検出結果と前記Ｓ１８で特定された自車走行車線とに基づいて、車両周辺の風景内において自車走行車線が存在する範囲を特定する。同じく、前記Ｓ１２の画像認識処理で取得された区画線の検出結果と前記Ｓ１８で特定された自車走行車線とに基づいて、車両周辺の風景内において推奨車線が存在する範囲についても特定する。具体的には、フロントカメラ１９で撮像した撮像画像（即ち液晶ディスプレイ１５に表示される撮像画像）内で自車走行車線と推奨車線の存在する範囲を特定する。尚、前記Ｓ１８と同じく地図情報は信用できないとみなし、基本的に地図情報を用いずに自車走行車線と推奨車線が存在する範囲を特定する。

例えば片側３車線の道路を車両が走行中であって、自車走行車線が中央の車線で推奨車線が左側の車線である場合を例に挙げて説明すると、前記Ｓ１９では図１３に示す撮像画像７１がフロントカメラ１９で撮像された場合に各区画線７２～７４が検出される。但し、区画線７４については区画線７２と区画線７３の検出結果から車線の幅を算出し、区画線７２の左側に算出された車線の幅だけ離れた位置に区画線７４が存在するとして位置を予測しても良い。その結果、推奨車線は最も左側の車線であることが特定できているので、区画線７２と区画線７４とで囲まれる範囲７５が推奨車線の存在する範囲として特定できる。また、自車走行車線は中央の車線であることが特定できているので、区画線７２と区画線７３とで囲まれる範囲７６が自車走行車線の存在する範囲として特定できる。その後、Ｓ２２へと移行する。

一方、前記Ｓ１５において画像認識処理の結果により特定された自車道路車線数と、前記Ｓ１６で取得された地図情報に含まれる自車道路車線数とが一致すると判定された場合に実行されるＳ２０では、ＣＰＵ４１は地図情報が信用できるとみなす。そして、地図情報についても用いて前記Ｓ１２で行った画像認識処理の検出結果に基づいて自車両が現在走行する走行車線である“自車走行車線”を特定する。尚、以降の処理では自車が走行する道路の車線数である自車道路車線数は、一致すると判定された自車道路車線数を用いる。

前記Ｓ２０においてＣＰＵ４１は、基本的には上述した［自車走行車線の特定（パターン１）］及び［自車走行車線の特定（パターン２）］と同様の処理を行う。但し、Ｓ２０では、道路端と区画線の認識結果に加えて地図情報についても考慮して自車走行車線を特定するのが望ましい。尚、地図情報に含まれるリンクデータ３２には道路毎の車線数や対向車線の有無（対面通行区間か否か）、中央分離帯の有無等について格納されている。フロントカメラ１９による画像認識では例えば一般道の中央付近に白線の実線や破線が検出された場合に、その区間線が中央線であるのか車線境界線であるのかを判定することが困難であるが、地図情報を用いることによってその判定を容易に行うことが可能となる。その結果、対向車線が存在する区間においても、対向車線の存在を考慮して自車走行車線を正確に特定することが可能となる。例えば、中央分離帯のない片側２車線の計４車線の道路を車両が走行する場合において自車両が右から３番目の車線を走行していると特定した場合に、地図情報から一番右と右から２番目の車線は対向車線と判定できるので、車両は片側２車線の道路の右側の車線を走行していると特定できる。

その後、Ｓ２１においてＣＰＵ４１は、前記Ｓ１２の画像認識処理で取得された区画線の検出結果と前記Ｓ２０で特定された自車走行車線とに基づいて、車両周辺の風景内において自車走行車線が存在する範囲を特定する。同じく、前記Ｓ１２の画像認識処理で取得された区画線の検出結果と前記Ｓ２０で特定された自車走行車線とに基づいて、車両周辺の風景内において推奨車線が存在する範囲についても特定する。基本的にはＳ１９と同じ処理を行うが、地図情報についても考慮して自車走行車線と推奨車線が存在する範囲を特定する。

例えば上述したように地図情報を用いれば画像認識のみでは把握が困難な対向車線の有無や中央分離帯の有無が容易に把握できるので、推奨車線の存在する範囲と自車走行車線の存在する範囲をより容易且つ正確に特定することが可能となる。更に、地図情報には道路形状（カーブの曲線半径など）、道路幅、車線幅についての情報も含まれているので、自車両から離れた区画線の正確な検出が難しい範囲についても道路形状や車線幅を用いて区画線の位置を推定し、推奨車線の存在する範囲と自車走行車線の存在する範囲をより正確に特定することが可能となる。その後、Ｓ２２へと移行する。

続いて、Ｓ２２においてＣＰＵ４１は、次の案内分岐点までの距離が閾値未満か否かを判定する。尚、閾値は車両が走行する道路の道路種別によって決定され、例えば高速道路は７００ｍ、一般道は高速道路よりも短い１５０ｍとする。

そして、次の案内分岐点までの距離が閾値未満であると判定された場合（Ｓ２２：ＹＥＳ）には、Ｓ２４へと移行する。それに対して、次の案内分岐点までの距離が閾値以上であると判定された場合（Ｓ２２：ＮＯ）には、Ｓ２３へと移行する。

Ｓ２３においてＣＰＵ４１は、液晶ディスプレイ１５に表示対象とする第１案内オブジェクト８０の大きさ、形状、及び表示位置を算出する。ここで、前記Ｓ２３において表示対象とする第１案内オブジェクト８０は、図１４に示すように矩形形状とし、横方向の長さは推奨車線の車線幅、縦の長さは例えば１００ｍに設定する。そして、推奨車線の路面の自車の現在位置から１００ｍ先までの範囲に重畳するように表示する。従って、前記Ｓ２３においてＣＰＵ４１は、前記Ｓ１９又はＳ２１の結果を用いて液晶ディスプレイ１５に表示される風景内における推奨車線の範囲を特定し、更に特定された推奨車線の路面の自車の現在位置から１００ｍ先までの範囲を覆うのに必要な第１案内オブジェクト８０の大きさ、形状及び位置を、液晶ディスプレイ１５に表示対象とする第１案内オブジェクト８０の大きさ、形状、及び表示位置として算出する。

その後、Ｓ５へと移行し前記Ｓ２３で算出された大きさ及び形状の第１案内オブジェクト８０の画像を生成し、更に液晶ディスプレイ１５に対して制御信号を送信し、液晶ディスプレイ１５に対して生成された第１案内オブジェクト８０の画像を前記Ｓ２３で決定された位置（範囲）に対して描画する。尚、前記Ｓ２３において表示対象とする第１案内オブジェクト８０の形状は適宜変更可能であり、推奨車線を示すことができる形状であれば矩形以外の形状であっても良い。また、内部には案内分岐点までの距離を描画しても良い。

一方、Ｓ２４においてＣＰＵ４１は、前記Ｓ１１、Ｓ１８及びＳ２０で特定された推奨車線及び自車走行車線に基づいて、自車走行車線と推奨車線が一致するか否か、即ち自車が推奨車線を走行しているか否か判定する。

そして、自車走行車線と推奨車線が一致する、即ち自車が推奨車線を走行していると判定された場合（Ｓ２４：ＹＥＳ）には、Ｓ２３へと移行する。Ｓ２３では前述したように推奨車線（自車走行車線とも一致）に重畳する矩形形状の第１案内オブジェクト８０を表示対象とし、液晶ディスプレイ１５に表示対象とする第１案内オブジェクト８０の大きさ、形状、及び表示位置を算出する。それに対して、自車走行車線と推奨車線が一致しない、即ち推奨車線を自車が走行していないと判定された場合（Ｓ２４：ＮＯ）には、Ｓ２５へと移行する。

Ｓ２５においてＣＰＵ４１は、液晶ディスプレイ１５に表示対象とする第１案内オブジェクト８０の大きさ、形状、及び表示位置を算出する。ここで、前記Ｓ２５において表示対象とする第１案内オブジェクト８０は、図１５に示すように自車走行車線から推奨車線に跨って、車両の進行方向と逆方向に移動するにつれて車両が現在走行する車線側に徐々に広がる末広がり形状とする。より具体的には、第１案内オブジェクト８０は車両の現在位置から例えば１００ｍ前方までの推奨車線の路面である第１領域（矩形）と、推奨車線と自車走行車線の間にあって第１領域に対して隣接するとともに、車両の進行方向に移動するにつれて幅が徐々に狭くなる第２領域（直角三角形）とを合わせた形状となる。そして、推奨車線及び自車走行車線の路面の自車の現在位置から１００ｍ先までの範囲に重畳するように表示する。従って、前記Ｓ２５においてＣＰＵ４１は、前記Ｓ１９又はＳ２１の結果を用いて液晶ディスプレイ１５に表示される風景内における推奨車線及び自車走行車線の範囲を特定し、更に特定された推奨車線の路面の自車の現在位置から１００ｍ先までの範囲を覆うとともに、自車走行車線の路面の自車の現在位置から５０ｍ先までの範囲の一部を覆うのに必要な第１案内オブジェクト８０の大きさ、形状及び位置を、液晶ディスプレイ１５に表示対象とする第１案内オブジェクト８０の大きさ、形状、及び表示位置として算出する。

その後、Ｓ５へと移行し前記Ｓ２５で算出された大きさ及び形状の第１案内オブジェクト８０の画像を生成し、更に液晶ディスプレイ１５に対して制御信号を送信し、液晶ディスプレイ１５に対して生成された第１案内オブジェクト８０の画像を前記Ｓ２５で決定された位置（範囲）に対して描画する。尚、前記Ｓ２５において表示対象とする第１案内オブジェクト８０の形状は適宜変更可能であり、推奨車線を示すとともに推奨車線への移動を促すことができる形状であれば末広がり形状以外の形状であっても良い。また、内部には案内分岐点までの距離を描画しても良い。

一方で前記Ｓ１４において画像認識結果に対する信頼度が基準値未満であると判定された場合に実行されるＳ２６では、ＣＰＵ４１は誤った案内が行われる虞があるので案内オブジェクトを描画しないことを決定する。その場合にはその後のＳ５において第１案内オブジェクトの表示について行われない。尚、前述したように液晶ディスプレイ１５には車両から案内分岐点までの距離が案内開始距離未満となる前に予めフロントカメラ１９で撮像した撮像画像、即ち現時点の車両周辺（特に車両前方）の風景（実景画像）が表示されているが、案内オブジェクトを描画しないことを決定した後は撮像画像のみを継続して表示しても良いし、撮像画像の表示は行わずに地図画像を表示するようにしても良い。尚、Ｓ１１以降の処理は所定間隔で繰り返し行われるので、一旦画像認識結果に対する信頼度が基準値未満と判定された場合であっても、その後に画像認識結果に対する信頼度が基準値以上と判定された時点で第１案内オブジェクトが描画されることとなる。

一方、前記Ｓ２６では前述したＳ２３やＳ２５とは異なる自車走行車線に依存しない（自車走行車線を用いない、自車走行車線に基づかない、自車走行車線に影響されない）態様で第１案内オブジェクト８０を表示することを決定し、液晶ディスプレイ１５に表示対象とする第１案内オブジェクト８０の大きさ、形状、及び表示位置を算出しても良い。ここで、自車走行車線に依存しない態様とは例えば案内分岐点の退出方向のみを示す矢印とし、より具体的には車両の現在位置に対して所定距離前方（例えば１０ｍ前方）で且つ道路路面から所定高さ（例えば１ｍ）上方にあって車両の進行方向前方にある案内分岐点の退出方向を示す三角形状の３つの矢印とする。その後、Ｓ５へと移行し前記Ｓ２６で算出された大きさ及び形状の第１案内オブジェクト８０の画像を生成し、更に液晶ディスプレイ１５に対して制御信号を送信し、液晶ディスプレイ１５に対して生成された第１案内オブジェクト８０の画像を前記Ｓ２６で決定された位置（範囲）に対して描画する。尚、前記Ｓ２６において表示対象とする第１案内オブジェクト８０は単に案内分岐点の退出方向のみを示す矢印であるので、自車道路車線数や自車走行車線が特定できなくとも誤った案内となる虞がない。

以上の処理が行われた結果、車両から案内分岐点までの距離が案内開始距離未満で且つ退出方向案内開始距離以上の場合において、車両の走行に伴って液晶ディスプレイ１５に表示される走行案内画面５１は図１６のように変移し、図１７乃至図２０のような画面となる。
車両が高速道路を走行する場合を例に挙げて説明すると、車両から案内分岐点までの距離が案内開始距離（高速道路では１ｋｍ）未満で閾値（高速道路では７００ｍ）以上の状態では、“推奨車線の位置を案内する第１案内オブジェクトの画像５３（第１の表示態様）”が表示される。“推奨車線の位置を案内する第１案内オブジェクトの画像５３”は、図１７に示すように推奨車線５４に重畳して第１案内オブジェクトの画像５３が表示される（Ｓ２３）。その結果、乗員に推奨車線５４の存在や位置を明確に把握させることが可能となる。

また、車両から案内分岐点までの距離が閾値（高速道路では７００ｍ）未満で退出方向案内開始距離（高速道路では５００ｍ）以上の状態では、“推奨車線への移動を促す第１案内オブジェクトの画像５３（第２の表示態様）”が上記“推奨車線の位置を案内する第１案内オブジェクトの画像５３（第１の表示態様）”に代えて新たに表示される。但し、“推奨車線への移動を促す第１案内オブジェクトの画像５３”は、自車走行車線５５が推奨車線５４と一致する場合については表示されず、その場合には図１８に示すように自車が走行する推奨車線５４（自車走行車線５５）に重畳して第１案内オブジェクトの画像５３が表示される（第１の表示態様）。その結果、乗員に既に推奨車線５４を走行していることを明確に把握させることが可能となる。一方、自車走行車線５５と推奨車線５４が一致しない場合には、図１９に示すように自車走行車線５５から推奨車線５４まで跨る領域に重畳して第１案内オブジェクトの画像５３が表示される（第２の表示態様）。その結果、自車が走行する車線が推奨車線ではなく、推奨車線に移動する必要があることを乗員に明確に把握させることが可能となる。また、第１実施形態では自車走行車線５５から推奨車線５４までを含む広い領域に対して第１案内オブジェクトの画像５３が表示されるので、矢印などの画像を表示する場合と比較して推奨車線への車線変更を促す強制感のある案内を抑制することが可能となる。

尚、車両から案内分岐点までの距離が閾値（高速道路では７００ｍ）未満で退出方向案内開始距離（高速道路では５００ｍ）以上の状態において図１８と図１９のいずれの走行案内画面５１が表示されるか（即ち、第１の表示態様と第２の表示態様のいずれで表示するか）についてはその時点の自車走行車線５５と推奨車線５４との位置関係によって決まる。従って、例えば液晶ディスプレイ１５に対して図１９の走行案内画面５１が表示されている状態で車両が左側の推奨車線５４に移動すれば、図１８の走行案内画面５１へと切り替わることとなる。同じく、液晶ディスプレイ１５に対して図１８の走行案内画面５１が表示されている状態で車両が推奨車線５４以外の車線に移動すれば、図１９の走行案内画面５１へと切り替わることとなる。

また、図１７～図１９の走行画面が表示されるのはいずれも画像認識結果に対する信頼度が基準値以上であると判定された場合であり、画像認識結果に対する信頼度が基準値未満であると判定された場合については図２０に示すように案内分岐点の退出方向を示す矢印である第１案内オブジェクトの画像５３が表示される（第３の表示態様）。その結果、自車が走行する車線が特定できない場合であっても、少なくとも案内分岐点の退出方向（基本的には推奨車線の存在する方向にも相当）については乗員に把握させることが可能となる。

尚、その後に車両から案内分岐点までの距離が退出方向案内開始距離（高速道路では５００ｍ）未満となると、第１案内オブジェクトの画像５３に代えて、前述したように案内分岐点の退出方向を示す矢印である第２案内オブジェクトの画像５７が新たに表示されることとなる（図４参照）。

また、前述した実施形態では、前記Ｓ２１においてフロントカメラ１９で撮像した撮像画像内で自車走行車線と推奨車線の存在する範囲を特定しているが、地図情報が信頼できる場合については地図情報に基づいて車両の現在位置周辺（特に車両進行方向の前方）に対応した３次元空間を生成し、３次元空間内で自車走行車線と推奨車線の存在する範囲を特定しても良い。３次元空間には、道路以外に、建築物、道路標識などについてもモデリングしても良いし、道路のみをモデリングしても良い。或いは道路についてもモデリングしない地面のみがある単なる空白の３次元空間としても良い。以下に上記３次元空間を用いた実施例について説明する。

先ず、ＣＰＵ４１は、生成された３次元空間において自車両の現在位置及び方位について特定する。特に、車両に設置されたフロントカメラ１９の位置を自車両の現在位置とし、フロントカメラ１９の光軸方向を自車両の方位とする。尚、フロントカメラ１９の位置は車両の乗員の位置、フロントカメラ１９の光軸方向は車両の乗員の視線方向にも相当する。また、３次元空間において車両の進行方向前方にある案内分岐点の位置についても特定する。

そして、前記Ｓ２３やＳ２５においてＣＰＵ４１は、表示対象とする第１案内オブジェクト８０を例えば２次元ポリゴンで生成し、生成した第１案内オブジェクト８０を生成された３次元空間に対して配置する。尚、３次元空間に対して第１案内オブジェクト８０を配置する位置は、図１４や図１５に示す位置とする。次に、ＣＰＵ４１は、第１案内オブジェクト８０が配置された３次元空間において、車両の現在位置且つフロントカメラ１９の高さの位置から車両の進行方向に視認した際に視認できる第１案内オブジェクト８０の大きさ及び形状を、液晶ディスプレイ１５により表示対象とする案内オブジェクトの大きさ及び形状として算出する。ここで、算出される案内オブジェクトの大きさ及び形状は、３次元空間に配置された第１案内オブジェクト８０を現在の車両（より正確にはフロントカメラ１９）の視点から視認した際に視認できる第１案内オブジェクト８０の大きさ及び形状である。

その後、ＣＰＵ４１は、３次元空間における車両の現在位置及び案内分岐点の位置と前記Ｓ１１及びＳ２０で特定された推奨車線及び自車走行車線の位置とに基づいて、液晶ディスプレイ１５に表示される風景５２内における推奨車線や自車走行車線の位置を推定し、液晶ディスプレイ１５において第１案内オブジェクト８０を表示する位置を決定する。

以上詳細に説明した通り、第１実施形態に係るナビゲーション装置１及びナビゲーション装置１で実行されるコンピュータプログラムによれば、車両周辺の風景を撮像した撮像画像に基づいて車両が現在走行する道路に含まれる車線数を特定し（Ｓ１５）、地図情報に含まれる車両が現在走行する道路の車線数と撮像画像に基づいて特定された車線数とが一致しない場合には、撮像画像に基づいて特定された車線数を用いて車両が現在走行する道路において車両が現在走行する車線である走行車線を特定する（Ｓ１８）一方で、地図情報に含まれる車両が現在走行する道路の車線数と撮像画像に基づいて特定された車線数とが一致する場合には一致する車線数を用いて走行車線を特定する（Ｓ２０）。そして、特定された走行車線に基づいて案内オブジェクトを表示する（Ｓ２３、Ｓ２５）ので、撮像画像の画像認識の結果と地図情報との間に矛盾やズレが生じる状況であっても、誤った周辺環境への重畳画像表示の案内が行われることを防止し、車両の乗員に不利益を生じさせることがない。
また、撮像画像に基づいて車両の周辺にある区画線と車両が現在走行する道路の道路端とを夫々検出し（Ｓ１２）、更に区画線と道路端の検出結果に基づいて、左側の道路端から車両が現在走行する車線までの車線の数である左側車線数と、右側の道路端から車両が現在走行する車線までの車線の数である右側車線数と、を夫々算出し、左側車線数と右側車線数を組み合わせることで車両が現在走行する道路に含まれる車線数を特定する（Ｓ１５）ので、地図情報を用いることなく撮像画像の画像認識の結果から車両が現在走行する道路に含まれる車線数を特定することが可能であり、更に車両が現在走行する道路において車両が現在走行する車線である走行車線についても特定可能となる。
また、撮像画像の画像認識にどの程度の信頼性があるかを示す信頼度を取得し（Ｓ１３）、信頼度が基準より高い場合に、地図情報に含まれる車両が現在走行する道路の車線数と車線数特定手段により特定された車線数とが一致するか否かを判定して走行車線を特定し（Ｓ１７、Ｓ１８、Ｓ２０）、特定された走行車線に基づいて案内オブジェクトを表示する（Ｓ２３、Ｓ２５）ので、撮像画像に基づいて特定された車線数が信頼できる場合、即ち地図情報との比較が正確にできる状況でのみ車線数の比較を行い、その結果特定された走行車線に基づいた案内オブジェクトの表示が可能となる。
また、信頼度が基準より低い場合には、案内オブジェクトを表示しない又は案内オブジェクトを走行車線に依存しない態様で表示するので、車両が現在走行する道路に含まれる車線や車両が現在走行する車線である走行車線を正確に特定できない状況では、案内を行わない或いは誤る虞のある案内を行わないことにより、車両の乗員に不利益を生じさせることを防止できる。
また、車両が現在走行する道路において走行を推奨される推奨車線を取得し（Ｓ１１）、車両の走行車線の特定結果に基づいて風景内の推奨車線が存在する範囲を特定し（Ｓ１９、Ｓ２１）、案内オブジェクトを特定された推奨車線が存在する範囲に重畳して表示するので、ユーザが車両周辺の風景を視認した場合に推奨車線に適切に重畳した案内オブジェクトを視認させることが可能となる。
また、車両の進行方向前方の所定の案内開始距離以内に案内分岐点がある場合に、案内分岐点における車両の退出方向に対応する車線を推奨車線として取得し（Ｓ１１）、信頼度は右側車線数の信頼度である右側信頼度と、左側車線数の信頼度である左側信頼度と、を含み、右側信頼度と左側信頼度の内、案内分岐点における車両の退出方向に対応する信頼度が基準より高いか否かを判定する（Ｓ１４）ので、撮像画像の画像認識の結果に基づいて、左右の道路端を基準にした車両の走行車線の信頼度を正確に算出することが可能となる。そして、車両が現在走行する道路に含まれる車線数や走行車線の位置の特定に不安がある場合であっても、少なくとも走行車線と推奨車線の位置関係が信頼できる場合については、案内オブジェクトによる正確な案内を行うことが可能となる。
また、撮像画像を車両に搭載された画像表示装置（１５）に表示するとともに案内オブジェクトについても同じ画像表示装置に表示することによって、車両の乗員に撮像画像内の車両周辺の風景に重畳して案内オブジェクトを視認させるので、画像表示装置に表示された撮像画像内において車両周辺の風景に重畳した案内オブジェクトによる適切な案内を行うことが可能となる。

［第２実施形態］
次に、第２実施形態に係る重畳画像表示装置について図２１及び図２２に基づいて説明する。尚、以下の説明において上記図１乃至図２０の第１実施形態に係る重畳画像表示装置の構成と同一符号は、前記第１実施形態に係る重畳画像表示装置等の構成と同一あるいは相当部分を示すものである。

この第２実施形態に係る重畳画像表示装置の概略構成は、第１実施形態に係る重畳画像表示装置とほぼ同じ構成である。また、各種制御処理も第１実施形態に係る重畳画像表示装置とほぼ同じ制御処理である。
ただし、第１実施形態に係る重畳画像表示装置が、ナビゲーション装置１の液晶ディスプレイ１５に対してフロントカメラ１９で撮像した撮像画像を表示し、更に液晶ディスプレイ１５に対して案内オブジェクトを表示することによって、車両周辺の風景に案内オブジェクトを重畳させて表示するのに対して、第２実施形態に係る重畳画像表示装置は車両周辺の風景に重畳する画像を表示する手段としてヘッドアップディスプレイシステムを用いる点で異なる。

以下に第２実施形態に係る重畳画像表示装置の概略構成について図２１を用いて説明する。図２１は第２実施形態に係る重畳画像表示装置１０１の概略構成図である。
図２１に示すように重畳画像表示装置１０１は、車両１０２に搭載されたナビゲーション装置１０３と、同じく車両１０２に搭載されるとともにナビゲーション装置１０３と接続されたフロントディスプレイ１０４とを基本的に有する。尚、フロントディスプレイ１０４は車両１０２のフロントガラス１０５とともにヘッドアップディスプレイとして機能し、車両１０２の乗員１０６に対して様々な情報の提供を行う情報提供手段となる。

ここで、フロントディスプレイ１０４は、車両１０２のダッシュボード１０７内部に設置され、前面に設けられた画像表示面に対して画像を表示する機能を有する液晶ディスプレイである。バックライトとしては例えばＣＣＦＬ（冷陰極管）や白色ＬＥＤが用いられる。尚、フロントディスプレイ１０４としては、液晶ディスプレイ以外に、有機ＥＬディスプレイや液晶プロジェクタとスクリーンの組み合わせを用いても良い。

そして、フロントディスプレイ１０４は車両１０２のフロントガラス１０５とともにヘッドアップディスプレイとして機能し、フロントディスプレイ１０４から出力される画像を、運転席の前方のフロントガラス１０５に反射させて車両１０２の乗員１０６に視認させるように構成されている。尚、フロントディスプレイ１０４には、必要に応じて案内オブジェクトを表示する。尚、以下に説明する第２実施形態では案内オブジェクトは、第１実施形態と同様に案内経路に沿った案内分岐点の退出方向を示す矢印、案内経路に沿って案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線の位置を示す案内画像、推奨車線への移動を促す案内画像とする。

また、フロントガラス１０５を反射して乗員１０６がフロントディスプレイ１０４に表示された映像を視認した場合に、乗員１０６にはフロントガラス１０５の位置ではなく、フロントガラス１０５の先の遠方の位置にフロントディスプレイ１０４に表示された映像が虚像１１０として視認されるように構成される。また、虚像１１０は車両前方の周辺環境（風景、実景）に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物（路面、建築物、警告対象となる物等）に重畳させて表示させることも可能である。

ここで、虚像１１０を生成する位置、より具体的には乗員１０６から虚像１１０までの距離（以下、結像距離という）Ｌについては、フロントディスプレイ１０４の位置によって決定される。例えば、フロントディスプレイ１０４において映像の表示された位置からフロントガラス１０５までの光路に沿った距離（光路長）によって結像距離Ｌが決定される。例えば結像距離Ｌが１．５ｍとなるように光路長が設定されている。

また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ１１１が設置される。フロントカメラ１１１は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ１１１により撮像された撮像画像に対して画像処理が行われることによって、フロントガラス越しに乗員１０６に視認される前方環境（即ち虚像１１０が重畳される環境）の状況等が検出される。尚、フロントカメラ１１１の代わりにミリ波レーダ等のセンサを用いても良い。

また、車両のインストルメントパネルの上面には車内カメラ１１２が設置される。車内カメラ１１２は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。車内において一般的に乗員の顔が位置すると予想される範囲を検出範囲（車内カメラ１１２の撮像範囲）として設定し、運転席に座った乗員１０６の顔を撮像する。そして、車内カメラ１１２により撮像された撮像画像に対して画像処理が行われることによって、乗員１０６の目の位置（視線開始点）や視線方向を検出する。

そして、第２実施形態に係る重畳画像表示装置は、前述した走行支援処理プログラム（図２）のＳ５、Ｓ７において、図２２に示すようにフロントディスプレイ１０４に対して案内オブジェクトの画像１２０を表示する。その結果、図２２に示すようにフロントディスプレイ１０４に表示された案内オブジェクトの画像１２０を車両の乗員が視認することによって、フロントガラス１０５越しの風景に重畳して案内オブジェクトの画像１２０の虚像１２１が視認される。

それによって、第１実施形態に係る重畳画像表示装置と同様に、推奨車線の位置や、案分岐点における退出方向を正確に把握できる。尚、第２実施形態に係る重畳画像表示装置では、前記Ｓ４、Ｓ６の案内オブジェクト表示位置決定処理において、フロントディスプレイ１０４に対して表示する案内オブジェクトの大きさ、形状及び案内オブジェクトを表示する位置（範囲）を決定する。

尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば車両周辺の風景に重畳する画像を表示する手段として、第１実施形態では実景画像の表示された液晶ディスプレイ１５を用い、第２実施形態ではヘッドアップディスプレイシステムを用いているが、フロントガラスに対して画像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。ＷＳＤでは、フロントガラスをスクリーンとしてプロジェクタから映像を表示しても良いし、フロントガラスを透過液晶ディスプレイとしても良い。ＷＳＤによってフロントガラスに対して表示された画像は、車両周辺の風景に重畳する画像となる。

また、第１及び第２実施形態では、案内オブジェクトは車両の推奨車線を案内する第１案内オブジェクトと、進行方向前方にある案内分岐点における車両の退出方向を示す矢印である第２案内オブジェクトとしているが、第１案内オブジェクトのみとしても良い。また、第１案内オブジェクトは必ずしも車線に重畳される矩形形状や矩形と三角形を組み合わせた形状である必要はなく、推奨車線の位置を示し、推奨車線への移動を促すことができるのであれば他の形状であっても良い。例えば矢印形状としても良い。また、必ずしも路面に重畳させる必要もなく、路面から離間した位置に表示しても良い。

また、第１及び第２実施形態では、案内オブジェクトを用いて案内分岐点の案内を行っているが、案内オブジェクトにより案内対象とする地点は案内分岐点に限られることなく、例えば車両が車線減少地点や合流区間を通過する際において案内オブジェクトを用いて推奨車線への移動を促す、即ち推奨車線への車線変更の案内としても良い。

また、第１及び第２実施形態では、前記Ｓ１３においてフロントカメラ１９により撮像された撮像画像の画像認識結果にどの程度の信頼性があるかを示す信頼度を算出する場合に、信頼度を数値で算出しているが、信頼度は数値以外で算出しても良い。また、信頼度を数値以外で算出する場合については前記Ｓ１４の判定基準となる基準値についても数値以外となる。

また、第１実施形態では、ナビゲーション装置１の液晶ディスプレイ１５に対してフロントカメラ１９で撮像した実景画像や案内オブジェクトを表示しているが、実景画像や案内オブジェクトを表示するディスプレイとしては車両内に配置されたディスプレイであれば、液晶ディスプレイ１５以外のディスプレイであっても良い。

また、第２実施形態では、フロントディスプレイ１０４によって車両１０２のフロントガラス１０５の前方に虚像を生成する構成としているが、フロントガラス１０５以外のウィンドウの前方に虚像を生成する構成としても良い。また、フロントディスプレイ１０４により映像を反射させる対象はフロントガラス１０５自身ではなくフロントガラス１０５の周辺に設置されたバイザー（コンバイナー）であっても良い。

また、第１及び第２実施形態では、走行支援処理プログラム（図２）の処理をナビゲーション装置１のナビゲーションＥＣＵ１３が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、液晶ディスプレイ１５の制御部、車両制御ＥＣＵ、その他の車載器が実行する構成としても良い。

１…ナビゲーション装置、１５…液晶ディスプレイ、１９…フロントカメラ、４１…ＣＰＵ、４２…ＲＡＭ、４３…ＲＯＭ、５１…走行案内画面、５２…風景、５３…第１案内オブジェクトの画像、５４…推奨車線、５５…自車走行車線、５７…第２案内オブジェクトの画像、６０…案内分岐点、６１，６４…道路端、６２，６３，６５，６６…区画線

Claims (7)

1. 車両に搭載され、前記車両の乗員へ情報を案内する案内オブジェクトを、前記車両周辺の風景に重畳して視認させる重畳画像表示装置であって、
   道路の車線数に関する情報を含む地図情報を取得する地図情報取得手段と、
   前記車両周辺の風景を撮像した撮像画像に基づいて、車両が現在走行する道路に含まれる車線数を特定する車線数特定手段と、
   前記地図情報に含まれる車両が現在走行する道路の車線数と前記車線数特定手段により特定された車線数とが一致しない場合には前記車線数特定手段により特定された車線数を用いて車両が現在走行する道路において車両が現在走行する車線である走行車線を特定する一方で、前記地図情報に含まれる車両が現在走行する道路の車線数と前記車線数特定手段により特定された車線数とが一致する場合には一致する車線数を用いて前記走行車線を特定する走行車線特定手段と、
   前記走行車線特定手段により特定された前記走行車線に基づいて前記案内オブジェクトを表示するオブジェクト表示手段と、を有する重畳画像表示装置。
2. 前記車線数特定手段は、
   前記撮像画像に基づいて、車両の周辺にある区画線と車両が現在走行する道路の道路端とを夫々検出し、
   前記区画線と道路端の検出結果に基づいて、左側の道路端から車両が現在走行する車線までの車線の数である左側車線数と、右側の道路端から車両が現在走行する車線までの車線の数である右側車線数と、を夫々算出し、
   前記左側車線数と前記右側車線数を組み合わせることで車両が現在走行する道路に含まれる車線数を特定する請求項１に記載の重畳画像表示装置。
3. 前記車線数特定手段の特定結果にどの程度の信頼性があるかを示す信頼度を取得する信頼度取得手段を有し、
   前記走行車線特定手段は、前記信頼度が基準より高い場合に、前記地図情報に含まれる車両が現在走行する道路の車線数と前記車線数特定手段により特定された車線数とが一致するか否かを判定して前記走行車線を特定し、
   前記走行車線特定手段により特定された前記走行車線に基づいて前記案内オブジェクトを表示する請求項１又は請求項２に記載の重畳画像表示装置。
4. 前記信頼度が基準より低い場合には、前記案内オブジェクトを表示しない又は前記案内オブジェクトを前記走行車線に依存しない態様で表示する請求項３に記載の重畳画像表示装置。
5. 車両が現在走行する道路において走行を推奨される推奨車線を取得する推奨車線取得手段と、
   前記走行車線特定手段により特定された前記走行車線に基づいて風景内の前記推奨車線が存在する範囲を特定する範囲特定手段と、を有し、
   前記オブジェクト表示手段は、前記案内オブジェクトを特定された前記推奨車線が存在する範囲に重畳して表示する請求項３又は請求項４に記載の重畳画像表示装置。
6. 前記推奨車線取得手段は、車両の進行方向前方の所定の案内開始距離以内に案内分岐点がある場合に、前記案内分岐点における車両の退出方向に対応する車線を前記推奨車線として取得し、
   前記車線数特定手段は、
   前記撮像画像に基づいて、車両の周辺にある区画線と車両が現在走行する道路の道路端とを夫々検出し、
   前記区画線と道路端の検出結果に基づいて、左側の道路端から車両が現在走行する車線までの車線の数である左側車線数と、右側の道路端から車両が現在走行する車線までの車線の数である右側車線数と、を夫々算出し、
   前記左側車線数と前記右側車線数を組み合わせることで車両が現在走行する道路に含まれる車線数を特定し、
   前記信頼度は、前記右側車線数の信頼性を示す右側信頼度と、前記左側車線数の信頼性を示す左側信頼度と、を含み、
   前記右側信頼度と前記左側信頼度の内、前記案内分岐点における車両の退出方向に対応する信頼度が基準より高いか否かを判定する請求項５に記載の重畳画像表示装置。
7. 前記撮像画像を車両に搭載された画像表示装置に表示する表示手段を有し、
   前記オブジェクト表示手段は、前記案内オブジェクトを前記撮像画像の表示された前記画像表示装置に表示することによって、前記車両の乗員に前記撮像画像内の車両周辺の風景に重畳して前記案内オブジェクトを視認させる請求項１乃至請求項６のいずれかに記載の重畳画像表示装置。

Images