この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特にカメラで撮影することにより得られた実写映像上に案内情報を表示する技術に関する。
従来、カーナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた映像の上に、CG(Computer Graphics)によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている(例えば、特許文献1参照)。
また、同様の技術として、特許文献2は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。この特許文献2には、実写映像のみでなく、表示モードまたはスケールの異なる地図を同時に表示することが開示されており、また、従来の地図を並べて表示する技術も開示されている。
特許第2915508号公報
特開平11−108684号公報
ところで、誘導される経路は道路沿いの建物などの間を通るため、映像に重畳される案内情報は、映像上の建物との重なりが適切になされることが望ましい。しかしながら、上述した従来の技術では、映像の上に案内情報を単純に重畳するので、映像上の全ての要素(建物または看板など)の手前に案内情報が表示される。その結果、ユーザは、曲がるべき交差点を誤って把握する可能性がある。
この発明は、上述した問題を解消するためになされたものであり、その課題は、実写映像上に案内情報を適切に表示できるナビゲーション装置を提供することにある。
この発明に係るナビゲーション装置は、上記課題を解決するために、地図データを保持する地図データベースと、現在位置および方位を計測する位置方位計測部と、位置方位計測部で計測された現在位置から目的地までの経路を地図データベースから読み出した地図データに基づき計算する経路計算部と、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、経路計算部で計算された経路を構成する道路のうち最後に案内対象の交差点に入る道路の幅を、地図データベースから読み出した地図データに含まれる道路幅データに基づき算出する道路幅取得部と、経路誘導矢印の曲がる方向を示す部分の長さを道路幅取得部で計算された道路幅に制限し、映像取得部で取得された映像に重畳させて合成する映像合成処理部と、映像合成処理部で合成された映像を表示する表示部を備えている。
この発明に係るナビゲーション装置によれば、カメラ7で撮影することにより得られた自車周辺の映像に経路誘導矢印を重畳させて表示する際に、経路誘導矢印よりも手前に表示されるべき建物と経路誘導矢印を重畳させないように、経路誘導矢印の曲がる方向を示す部分の長さを道路幅に合わせるように構成したので、道路沿いの建物と経路誘導矢印が誤った重畳関係で表示されるという問題を回避し、実写映像上に案内情報を適切に表示できる。
この発明の実施の形態1に係るカーナビゲーション装置の構成を示すブロック図である。
この発明の実施の形態1に係るカーナビゲーション装置において、道路幅の計算に使用される道路を説明するための図である。
この発明の実施の形態1に係るカーナビゲーション装置の動作を、自車周辺情報表示処理を中心に示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置の自車周辺情報表示処理の中で行われるコンテンツ合成映像作成処理の詳細を示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置のコンテンツ合成映像作成処理の中で行われるコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置のコンテンツ生成処理の中で行われる矢印情報のコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置で計算される道路領域を説明するための図である。
この発明の実施の形態1に係るカーナビゲーション装置において表示部の画面に表示される映像の例を示す図である。
この発明の実施の形態2に係るカーナビゲーション装置において使用される右左折誘導矢印の情報を説明するための図である。
この発明の実施の形態2に係るカーナビゲーション装置において表示部の画面に表示される映像の例を示す図である。
この発明の実施の形態4に係るカーナビゲーション装置の構成を示すブロック図である。
この発明の実施の形態4に係るカーナビゲーション装置において使用される案内対象交差点における迂回施設を説明するための図である。
この発明の実施の形態4に係るカーナビゲーション装置のコンテンツ生成処理の中で行われる補助情報のコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態4に係るカーナビゲーション装置において取得される遮蔽建物を説明するための図である。
この発明の実施の形態4に係るカーナビゲーション装置のコンテンツ合成映像作成処理の中で行われる映像合成処理の詳細を示すフローチャートである。
この発明の実施の形態4に係るカーナビゲーション装置のコンテンツ合成映像作成処理の中で行われる映像合成処理で順次に生成される映像を示す図である。
この発明の実施の形態4に係るカーナビゲーション装置において表示部の画面に表示される映像の例を示す図である。
この発明の実施の形態4に係るカーナビゲーション装置において表示部の画面に表示される映像の他の例を示す図である。
この発明の実施の形態5に係るカーナビゲーション装置において表示部の画面に表示される映像の例を示す図である。
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について添付した図に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係るナビゲーション装置、特に車に適用したカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、GPS(Global Positioning System)レシーバ1、車速センサ2、方位センサ3、位置方位計測部4、地図データベース5、入力操作部6、カメラ7、映像取得部8、ナビゲーション制御部9および表示部10を備えている。
GPSレシーバ1は、複数の衛星からの電波を受信することにより自車位置を計測する。このGPSレシーバ1で計測された自車位置は、自車位置信号として位置方位計測部4に送られる。車速センサ2は、自車の速度を逐次計測する。この車速センサ2は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ2で計測された自車の速度は、車速信号として位置方位計測部4に送られる。方位センサ3は、自車の進行方向を逐次計測する。この方位センサ3で計測された自車の進行方位(以下、単に「方位」という)は、方位信号として位置方位計測部4に送られる。
位置方位計測部4は、GPSレシーバ1から送られてくる自車位置信号から自車の現在位置および方位を計測する。なお、トンネルの中または周囲の建造物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、GPSレシーバ1からの自車位置信号だけでは自車の現在位置および方位が計測できなくなったり、計測できても精度が悪化するため、車速センサ2からの車速信号および方位センサ3からの方位信号を用いた自律航法を利用して自車位置を計測し、GPSレシーバ1による計測を補う処理を実行する。
位置方位計測部4で計測された自車の現在位置および方位は、上述したように、GPSレシーバ1の受信状態の悪化による計測精度の悪化、タイヤの摩耗による直径の変化、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部4は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース5から読み出した地図データから取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および方位は、自車位置方位データとしてナビゲーション制御部9に送られる。
地図データベース5は、道路の位置、道路の種別(高速道路、有料道路、一般道路または細街路など)、道路に関する規制(速度制限または一方通行など)または交差点近傍の車線数といった道路データの他、道路周辺の施設のデータなどを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現し、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに3つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース5に保持されている地図データは、上述したように位置方位計測部4によって読み出される他、ナビゲーション制御部9によって読み出される。
入力操作部6は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも1つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、カーナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部6の操作によって発生されたデータは、操作データとしてナビゲーション制御部9に送られる。
カメラ7は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも1つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ7で撮影することにより得られた映像信号は、映像取得部8に送られる。
映像取得部8は、カメラ7から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部8における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部9に送られる。
ナビゲーション制御部9は、入力操作部6から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったカーナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部6から入力された条件にマッチした施設の検索といったデータ処理を実行する。このナビゲーション制御部9の詳細は後述する。ナビゲーション制御部9における処理によって得られた表示データは、表示部10に送られる。
表示部10は、例えばLCD(Liquid Crystal Display)から構成されており、ナビゲーション制御部9から送られてくる表示データにしたがって、地図および/または実写映像などを画面に表示する。
次に、ナビゲーション制御部9の詳細を説明する。ナビゲーション制御部9は、目的地設定部11、経路計算部12、案内表示生成部13、映像合成処理部14、表示決定部15および道路幅取得部16を備えている。なお、図1においては、図面の煩雑さを避けるために、上記複数の構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。
目的地設定部11は、入力操作部6から送られてくる操作データにしたがって目的地を設定する。この目的地設定部11で設定された目的地は、目的地データとして経路計算部12に送られる。経路計算部12は、目的地設定部11から送られてくる目的地データ、位置方位計測部4から送られてくる自車位置方位データ、および、地図データベース5から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部12で計算された誘導経路は、誘導経路データとして表示決定部15に送られる。
案内表示生成部13は、表示決定部15からの指示に応じて、従来のカーナビゲーション装置で用いられている地図による案内図(以下、「地図案内図」という)を生成する。この案内表示生成部13で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、3次元CGを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお、地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部13で生成された地図案内図は、地図案内図データとして表示決定部15に送られる。
映像合成処理部14は、表示決定部15からの指示に応じて、実写映像を用いた案内図(以下、「実写案内図」という)を生成する。例えば、映像合成処理部14は、地図データベース5から読み出した地図データから、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物の情報を取得し、映像取得部8から送られてくる映像データによって示される実写映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど(以下、「コンテンツ」という)を重ね合わせたコンテンツ合成映像から成る実写案内図を生成する。
表示決定部15は、上述したように、案内表示生成部13に対して地図案内図の生成を指示するとともに、映像合成処理部14に対して実写案内図の生成を指示する。また、表示決定部15は、位置方位計測部4から送られてくる自車位置方位データ、地図データベース5から読み出した自車周辺の地図データ、入力操作部6から送られてくる操作データ、案内表示生成部13から送られてくる地図案内図データおよび映像合成処理部14から送られてくる実写案内図データに基づき表示部10の画面に表示する内容を決定する。この表示決定部15において決定された表示内容に対応するデータは、表示データとして表示部10に送られる。
これにより、表示部10には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部6のメニューボタンが押されている場合はメニューが表示され、入力操作部6によって実写表示モードに設定された場合は実写映像を用いた実写案内図が表示される。なお、実写映像を用いた実写案内図への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定値以下になった場合に実写案内図に切り替わるように構成することもできる。
また、表示部10の画面に表示する案内図は、例えば案内表示生成部13で生成された地図案内図(例えば平面地図)を画面の左側に配置し、映像合成処理部14で生成された実写案内図(例えば実写映像を用いた交差点拡大図)を画面の右側に配置するというように、実写案内図と地図案内図とを1つの画面内に同時に表示するように構成できる。
道路幅取得部16は、映像合成処理部14からの指示に応答して、図2に示すように、自車位置から案内対象交差点までの経路を構成する道路のうち、最後に案内対象交差点に入る道路(図2の太線で示す)の幅を取得する。より詳しくは、道路幅取得部16は、経路計算部12から映像合成処理部14を介して誘導経路データを取得し、この取得した誘導経路データと地図データベース5から読み出した地図データとを比較することにより、最後に案内対象交差点に入る道路を決定し、この決定した道路を表す道路データを地図データベース5から読み出した地図データから取得し、この取得した道路データに含まれる道路幅データを取得する。この道路幅取得部16で取得された道路幅データは、映像合成処理部14に送られる。
次に、上記のように構成される、この発明の実施の形態1に係るカーナビゲーション装置の動作を、自車周辺情報表示処理を中心に、図3に示すフローチャートを参照しながら説明する。なお、自車周辺情報表示処理は、自車の移動に応じて、自車周辺の地図に自車位置を示す図形(自車マーク)を組み合わせた地図案内図としての自車周辺地図と、実写案内図としてのコンテンツ合成映像(詳細は後述する)とを生成し、これらを組み合わせて表示部10に表示する処理である。
自車周辺情報表示処理では、まず、自車周辺情報表示の終了であるかどうかが調べられる(ステップST11)。すなわち、ナビゲーション制御部9は、入力操作部6から自車周辺情報表示の終了が指示されているかどうかを調べる。このステップST11において、自車周辺情報表示の終了であることが判断されると、自車周辺情報表示処理は終了する。一方、ステップST11において、自車周辺情報表示の終了でないことが判断されると、次いで、自車位置方位が取得される(ステップST12)。すなわち、ナビゲーション制御部9は、位置方位計測部4から自車位置方位データを取得する。
次いで、自車周辺地図が作成される(ステップST13)。すなわち、ナビゲーション制御部9の案内表示生成部13は、ステップST12で取得した自車位置方位データに基づき、その時点で設定されている縮尺での自車周辺の地図データを地図データベース5から検索し、この検索によって得られた地図データによって示される地図上に、自車位置と方位を表す自車マークを重ね合わせた自車周辺地図を作成する。
なお、ナビゲーション制御部9の目的地設定部11および経路計算部12において、目的地が設定されて誘導経路が計算されており、目的地へ誘導するために右左折する必要がある場合には、案内表示生成部13は、この自車周辺地図の上に、さらに、自車の進むべき道路を案内するための矢印(以下、「経路誘導矢印」という)などの図形を重ね合わせた自車周辺地図を作成する。
次いで、コンテンツ合成映像作成処理が行われる(ステップST14)。すなわち、ナビゲーション制御部9の映像合成処理部14は、地図データベース5から読み出した地図データから、自車周辺の周辺物の情報を検索し、映像取得部8で取得された自車周辺の映像上に存在する周辺物の周辺に、この周辺物のコンテンツを重ね合わせたコンテンツ合成映像を生成する。このステップST14で行われるコンテンツ合成映像作成処理の詳細は、後に、図4に示すフローチャートを参照して詳細に説明する。
次いで、表示作成処理が行われる(ステップST15)。すなわち、ナビゲーション制御部9の表示決定部15は、ステップST13において案内表示生成部13で作成された自車周辺地図から成る地図案内図と、ステップST14において映像合成処理部14で作成されたコンテンツ合成映像から成る実写案内図とを組み合わせて1画面分の表示データを生成する。この作成された表示データが表示部10に送られることにより、表示部10の画面に地図案内図および実写案内図が表示される。その後、シーケンスはステップST11に戻り、上述した処理が繰り返される。
次に、ステップST14で行われるコンテンツ合成映像作成処理の詳細を、図4に示すフローチャートを参照しながら説明する。このコンテンツ合成映像作成処理は、主として映像合成処理部14で実行される。
コンテンツ合成映像作成処理では、まず、自車位置方位および映像が取得される(ステップST21)。すなわち、映像合成処理部14は、自車周辺情報表示処理(図3参照)のステップST12で取得された自車位置方位データと、その時点で映像取得部8において生成された映像データを取得する。
次いで、コンテンツ生成が行われる(ステップST22)。すなわち、映像合成処理部14は、地図データベース5から読み出した地図データから自車の周辺物を検索し、その中からユーザに提示したいコンテンツ情報を生成する。コンテンツ情報には、例えば、ユーザに右左折を指示して目的地へ誘導したい場合には、交差点の名称文字列、交差点の座標、経路誘導矢印の座標などが含まれる。また、自車周辺の有名なランドマークを案内したい場合には、そのランドマークの名称文字列、ランドマークの座標、ランドマークに関する歴史または見所、営業時間などといったランドマークに関する情報の文字列または写真などが含まれる。なお、コンテンツ情報は、上述した以外に、自車周辺の道路ネットワークの個々の座標と各道路の一方通行または進入禁止などといった交通規制情報、車線数などの情報といった地図情報そのものであってもよい。このステップST22で行われるコンテンツ生成処理の詳細は、後に詳細に説明する。
なお、コンテンツ情報の座標値は、例えば、緯度および経度のように、地上で一意に決定される座標系(以下、「基準座標系」という)で与えられる。このステップST22において、ユーザに提示したいコンテンツと、その総数aが確定する。
次いで、カウンタの内容iが初期化される(ステップST23)。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容iが「1」に設定される。なお、カウンタは、映像合成処理部14の内部に設けられている。
次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST24)、具体的には、映像合成処理部14は、カウンタの内容である合成済みコンテンツ数iがコンテンツ総数aより大きくなったかどうかを調べる。このステップST24において、全てのコンテンツ情報の合成処理が終了した、つまり合成済みコンテンツ数iがコンテンツ総数aより大きくなったことが判断されると、コンテンツ合成映像作成処理は終了し、自車周辺情報表示処理にリターンする。
一方、ステップST24において、全てのコンテンツ情報の合成処理が終了していない、つまり合成済みコンテンツ数iがコンテンツ総数aより大きくないことが判断されると、i番目のコンテンツ情報が取得される(ステップST25)。すなわち、映像合成処理部14は、ステップST22で生成したコンテンツ情報のうちのi番目のコンテンツ情報を取得する。
次いで、透視変換によるコンテンツ情報の映像上の位置が計算される(ステップST26)。すなわち、映像合成処理部14は、ステップST21で取得した自車位置方位(基準座標系における自車の位置方位)、カメラ7の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ7の固有値を使用し、ステップST25で取得したコンテンツを表示すべき基準座標系における映像上の位置を計算する。この計算は透視変換と言われる座標変換計算と同じである。
次いで、映像合成処理が行われる(ステップST27)。すなわち、映像合成処理部14は、ステップST21で取得した映像上の、ステップST26で計算された位置に、ステップST25で取得したコンテンツ情報によって示される図形、文字列またはイメージなどといったコンテンツを合成する。
次いで、カウンタの内容iがインクリメントされる(ステップST28)。すなわち、映像合成処理部14は、カウンタの内容をインクリメント(+1)する。その後、シーケンスはステップST24に戻り、上述した処理が繰り返される。
なお、上述した映像合成処理部14では、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した映像の上にコンテンツを合成するように構成することもできる。
次に、上述したコンテンツ合成映像作成処理(図4参照)のステップST22で行われるコンテンツ生成処理の詳細を、図5に示すフローチャートを参照しながら説明する。
コンテンツ生成処理では、まず、右左折誘導時であるかどうかが調べられる(ステップST31)。右左折誘導時であるかどうかの判定の具体的な条件としては、ユーザによって設定された目的地までの経路が、経路計算部12において計算されて探索されていること、また、探索された経路上で右左折するべき交差点の周辺に自車が到達していることが挙げられる。この場合、「交差点の周辺」とは、例えば交差点の手前500[m]などといったカーナビゲーション装置の製作者またはユーザが設定した範囲である。
このステップST31において、右左折誘導時でないことが判断されると、シーケンスはステップST34に進む。一方、ステップST31において、右左折誘導時であることが判断されると、コンテンツとして経路誘導矢印が必要である旨が認識され、次いで、矢印情報のコンテンツが生成される(ステップST32)。ここで、生成される矢印情報のコンテンツとは、ユーザに右左折するべき地点および右左折するべき方向を提示するために、実写映像上に重畳する右左折誘導矢印の図形をいう。このステップST32で生成された右左折誘導矢印は、表示用のコンテンツとして追加される。このステップST32における矢印情報のコンテンツ生成処理については、後に詳細に説明する。
次いで、補助情報のコンテンツが生成される(ステップST33)。ここで、補助情報のコンテンツとは、右左折誘導矢印以外の、例えば交差点の中心を示すマーク、自車から交差点までの距離といった右左折誘導を行うために必要な補助的なコンテンツをいう。このステップST33で生成された補助情報のコンテンツは、表示用のコンテンツとして追加される。なお、補助情報のコンテンツの生成は必須ではなく、カーナビゲーション装置の設定によっては生成されない場合もある。その後、シーケンスはステップST34に進む。
ステップST34においては、その他のコンテンツが生成される。すなわち、右左折誘導に必要なコンテンツ以外のコンテンツが生成され、表示用のコンテンツとして追加される。このステップST34で生成されるコンテンツとしては、例えば目的地までの経路または自車の周囲の道路ネットワークなどを挙げることができる。その後、コンテンツ合成処理は終了し、コンテンツ合成映像作成処理(図4参照)にリターンする。
次に、上述したコンテンツ生成処理(図5参照)のステップST32で行われる矢印情報のコンテンツ生成処理の詳細を、図6に示すフローチャートを参照しながら説明する。
矢印情報のコンテンツ生成処理では、まず、道路領域の計算が行われる(ステップST41)。ここで、道路領域とは、例えば図7に示すように自車が走行している場合、自車位置から見て周辺の建物に遮蔽されない領域をいう。具体的には、映像合成処理部14は、道路幅データの取得を道路幅取得部16に指示し、道路幅取得部16は、自車が走行している道路の道路幅データを地図データベース5から読み出した地図データに含まれる道路データから取得して映像合成処理部14に送る。そして、映像合成処理部14は、自車の進行方向に沿って左右に、道路幅データによって示される幅の半分ずつ取った領域を道路領域として算出する。なお、自車の向き、走行車線、道路の車線数などを考慮して道路領域を決定するように構成することもできる。
次いで、経路系列および右左折地点が取得される(ステップST42)。すなわち、映像合成処理部14は、地図データベース5から読み出した地図データに含まれる道路データから、図7に示すような経路系列および右左折地点を取得する。ここで、経路系列とは、経路探索によって生成された、現在地点から目的地点までの経路を表す座標値の系列である。また、右左折地点とは、自車が次に右左折するべき交差点であり、経路系列の中の該当する点の座標値によって表される。
次いで、直進系列および誘導地点が取得される(ステップST43)。すなわち、映像合成処理部14は、ステップST42で取得した経路系列および右左折地点から、図7に示すような直進系列および誘導地点を決定する。ここで、直進系列とは、自車が現在地点から直進するべき区間を表す系列であり、例えば経路系列の中の現在地点から右左折地点までの座標値の系列によって表される。また、誘導地点とは、自車が右左折するべき方向を示す地点であり、例えば経路系列の中の右左折地点の次に保持されている座標値によって表される。
次いで、矢印情報が生成される(ステップST44)。すなわち、映像合成処理部14は、直進系列および誘導地点から右左折誘導矢印の情報を持つコンテンツを生成する。ここで、右左折誘導矢印の情報は、例えば直進系列、矢印終了地点および表示形態情報を含む。矢印終了地点は、図7に示すように、右左折するべき方向の道路領域を越えない地点とする。この矢印終了地点は、例えば右左折地点と誘導地点とを結ぶ線分上にあり、道路領域の範囲内にある地点の座標値によって表される。また、表示形態情報は、例えば太さ、明度、彩度、色または透過度などを表す情報である。その後、矢印情報のコンテンツ生成処理は終了し、コンテンツ生成処理(図5参照)にリターンする。
なお、矢印情報のコンテンツ生成処理で用いられる座標値は、緯度および経度などといった2次元の地図上で位置を一意に決めることができる値である。
以上の処理によって表示部10の画面に表示される映像の例を図8に示す。図8(a)は、従来のカーナビゲーション装置における経路誘導矢印の表示例を示しており、経路誘導矢印の曲がる方向を示す部分の長さを、道路幅とは無関係に、誘導地点までとしているため、道路わきに存在するランドマークと経路誘導矢印が重なり、ユーザは曲がるべき交差点を誤って把握するおそれがある。これに対し、図8(b)は、実施の形態1に係るカーナビゲーション装置における経路誘導矢印の表示例を示しており、経路誘導矢印の曲がる方向を示す部分の長さを道路幅までに制限しているため、道路わきに存在するランドマークと誘導矢印が重ならず、ユーザは曲がるべき交差点を容易に把握できる。
以上説明したように、この発明の実施の形態1に係るカーナビゲーション装置によれば、カメラ7で撮影することにより得られた自車周辺映像に経路誘導矢印を重畳させて表示する際に、経路誘導矢印よりも手前に表示されるべき建物と経路誘導矢印を重畳させないように、経路誘導矢印の曲がる方向を示す部分の長さを道路幅までに制限したので、道路沿いの建物と経路誘導矢印が誤った重畳関係で表示されるという問題を回避することができる。
実施の形態2.
この発明の実施の形態2に係るカーナビゲーション装置は、経路誘導矢印の1つである右左折誘導矢印を可視部分と遮蔽部分とに分け、これらの表示形態を変更することにより実写映像上の建物との遮蔽関係を表現するようにしたものである。ここで、可視部分とは、右左折誘導矢印の中で遮蔽されずに通常通りに見える部分である。また、遮蔽部分とは、右左折誘導矢印の中で建物に遮蔽されているように表示するべき部分である。この実施の形態2に係るカーナビゲーション装置の構成は、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。
また、実施の形態2に係るカーナビゲーション装置の動作は、矢印情報のコンテンツ生成処理(図5のステップST32および図6参照)を除き、実施の形態1に係るカーナビゲーション装置の動作と同じである。以下では、実施の形態2に係るカーナビゲーション装置における矢印情報のコンテンツ生成処理を、実施の形態1に係るカーナビゲーション装置における矢印情報のコンテンツ生成処理を説明するために使用した、図6に示すフローチャートを流用して説明する。
矢印情報のコンテンツ生成処理のステップST41からステップST43までの処理は、実施の形態1に係るカーナビゲーション装置の矢印情報のコンテンツ生成処理と同じであり、ステップST44で実行される矢印情報の生成処理のみが異なる。以下、実施の形態1と相違する部分についてのみ説明する。
ステップST44においては、矢印情報が生成される。すなわち、映像合成処理部14は、直進系列および誘導地点から右左折誘導矢印の情報を持つコンテンツを生成する。ここで、右左折誘導矢印の情報は、直進系列、矢印終了地点、矢印切替地点、可視部分の表示形態情報、遮蔽部分の表示形態情報を含む。矢印終了地点は、図9に示すように、右左折するべき方向の誘導地点の座標値で表される。矢印切替地点は、図9に示すように、右左折誘導矢印の可視部分と遮蔽部分の境界となる地点であり、右左折地点と矢印終了地点とを結ぶ線分上であって、道路領域の範囲内にある地点の座標値によって表される。可視部分の表示形態情報は、通常の矢印であることを示すような見た目を表現するための情報である。遮蔽部分の表示形態情報は、一部の属性を可視部分と区別し、遮蔽部分であることを示すような見た目を表現するための情報である。その後、矢印情報のコンテンツ生成処理は終了し、コンテンツ生成処理(図5参照)にリターンする。
上述した見た目を区別するための表示形態情報の属性として、例えば太さ、明度、彩度、色または透過度などを用いることができる。太さで区別する場合は、例えば可視部分に比べて遮蔽部分を細くするように構成できる。明度で区別する場合は、例えば可視部分に比べて遮蔽部分の明度を低くするように構成できる。彩度で区別する場合は、例えば可視部分に比べて遮蔽部分の彩度を低くするように構成できる。色で区別する場合は、例えば可視部分を黄色や橙色などの暖色とし、遮蔽部分を青色や緑色などの寒色とするように構成できる。透過度で区別する場合は、例えば可視部分を不透過とし、遮蔽部分を半透過とするように構成できる。
以上の処理によって表示部10の画面に表示される映像の例を図10に示す。図10(a)は、従来のカーナビゲーション装置における経路誘導矢印の表示例を示しており、経路誘導矢印の曲がる方向を示す部分の長さを、道路幅とは無関係に、誘導地点までとしているため、道路わきに存在するランドマークと経路誘導矢印が重なり、ユーザは曲がるべき交差点を誤って把握するおそれがある。これに対し、図10(b)は、実施の形態2に係るカーナビゲーション装置における経路誘導矢印の表示例を示しており、経路誘導矢印の曲がる方向を示す部分の長さは誘導地点までとされているが、道路幅の部分を境に、道路幅を超える部分の表示形態を変更し、経路誘導矢印の建物に重なる部分の色を、建物に重ならない部分と異なるようにしているので、ユーザは曲がるべき交差点を容易に把握できる。
以上説明したように、この発明の実施の形態2に係るカーナビゲーション装置によれば、カメラ7で撮影することにより得られた自車周辺映像に経路誘導矢印を重畳させて表示する際に、経路誘導矢印よりも手前に表示されるべき建物に経路誘導矢印が重畳する部分において、道路幅を超える部分の表示形態(太さ、色、透過度、明度または彩度など)を変えるように構成して経路誘導矢印の見た目を変えたので、ユーザは道路沿いの建物と経路誘導矢印を正しい重畳関係で表示できる。
実施の形態3.
この発明の実施の形態3に係るカーナビゲーション装置は、自車が走行している道路の道路幅データが地図データベース5に保持されていない場合に、他の情報から道路幅を推定し、その推定結果を用いて道路領域を決定するようにしたものである。この実施の形態3に係るカーナビゲーション装置の構成は、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。
また、実施の形態3に係るカーナビゲーション装置の動作は、矢印情報のコンテンツ生成処理(図5のステップST32および図6参照)を除き、実施の形態1に係るカーナビゲーション装置の動作と同じである。以下では、実施の形態3に係るカーナビゲーション装置における矢印情報のコンテンツ生成処理を、実施の形態1に係るカーナビゲーション装置における矢印情報のコンテンツ生成処理を説明するために使用した、図6に示すフローチャートを流用して説明する。
矢印情報のコンテンツ生成処理では、まず、道路領域の計算が行われる(ステップST41)。すなわち、映像合成処理部14は、例えば、地図データベース5から読み出した地図データに含まれる道路データから道路種別および車線数を取得し、道路種別が一般道路であれば3.0×車線数[m]、道路種別が高速道路であれば3.5×車線数[m]を道路幅として算出する。
以下、実施の形態1または実施の形態2に係るカーナビゲーション装置における矢印情報のコンテンツ生成処理と同様に、経路系列および右左折地点が取得され(ステップST42)、直進系列および誘導地点が取得され(ステップST43)、矢印情報が生成される(ステップST44)。その後、矢印情報のコンテンツ生成処理は終了し、コンテンツ生成処理(図5参照)にリターンする。
以上説明したように、この発明の実施の形態3に係るカーナビゲーション装置によれば、カーナビゲーション装置の地図データベース5に道路幅データが保持されていない場合に、道路の車線数および道路種別を用いて道路幅を算出するように構成したので、カーナビゲーション装置の地図データベース5に道路幅データが保持されていない場合であっても適切に道路幅を設定でき、道路沿いの建物と誘導矢印が誤った重畳関係で表示される問題を回避できる。
実施の形態4.
図11は、この発明の実施の形態4に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態1に係るカーナビゲーション装置のナビゲーション制御部9から道路幅取得部16が除去されるとともに迂回施設取得部17が追加され、さらに、映像合成処理部14が映像合成処理部14aに変更されて構成されている。
迂回施設取得部17は、映像合成処理部14aからの指示に応答して、図12に示すように、案内対象交差点における迂回施設(図12に斜線で示す)を表す迂回施設データを、地図データベース5から読み出した地図データから取得する。より詳しくは、迂回施設取得部17は、経路計算部12から映像合成処理部14aを介して誘導経路データを取得し、この取得した誘導経路データに基づき、案内対象交差点と誘導方向を求める。次に、迂回施設取得部17は、案内対象交差点の誘導方向側の角に存在する施設であって案内対象交差点より手前に存在する施設(迂回施設)を、地図データベース5から読み出した地図データから探し、見つかった施設に対応する施設データを取得する。この迂回施設取得部17で取得された施設データは、迂回施設データとして映像合成処理部14aに送られる。
映像合成処理部14aは、実施の形態1に係るカーナビゲーション装置の映像合成処理部14が実行する処理の他に、迂回施設取得部17に対して、迂回施設データの取得を指示する。また、映像合成処理部14aは、迂回施設取得部17から送られてくる迂回施設データに所定の処理(詳細は後述する)を施す。
次に、上記のように構成される、この発明の実施の形態4に係るカーナビゲーション装置の動作を説明する。この実施の形態4に係るカーナビゲーション装置の動作は、補助情報のコンテンツ生成処理(図5のステップST33)および映像合成処理(図4のステップST27の処理)を除き、実施の形態1に係るカーナビゲーション装置の動作と同じである。以下では、実施の形態1に係るカーナビゲーション装置の動作と異なる部分を中心に説明する。
まず、実施の形態4に係るカーナビゲーション装置における補助情報のコンテンツ生成処理を、図13に示すフローチャートを参照しながら説明する。
補助情報のコンテンツ生成処理(図5のステップST33)では、右左折誘導矢印を表示するための補助となるコンテンツが生成され、表示用のコンテンツとして追加される。以下では、自車周辺の建物から遮蔽建物を取得し、遮蔽建物模型のコンテンツを生成する例について説明する。ここで、遮蔽建物は、右左折誘導矢印よりも手前に見えるべき建物である。また、遮蔽建物模型は、遮蔽建物の位置に実際に右左折誘導矢印よりも手前に表示されるコンテンツである。
補助情報のコンテンツ生成処理では、まず、遮蔽建物が取得される(ステップST51)。すなわち、映像合成処理部14aは、遮蔽建物の取得を迂回施設取得部17に指示し、迂回施設取得部17は、遮蔽建物のデータを地図データベース5から読み出した地図データから取得する。遮蔽建物とは、例えば図14に示すように、右折を誘導する場合であれば、道路右側にある建物のうち、案内対象交差点と自車位置の間に存在する全ての建物をいう。なお、遮蔽建物は、右左折誘導矢印および建物の立体形状を考慮して決定するように構成することもできる。
次いで、遮蔽建物模型情報が生成される(ステップST52)。すなわち、迂回施設取得部17は、ステップST51で取得した遮蔽建物のデータに基づき、遮蔽建物模型の情報のコンテンツを生成する。ここで、遮蔽建物模型の情報は、例えば遮蔽建物の位置、立体形状または名称の少なくとも1つを含むとともに、透過または半透過を指示する情報を含む。なお、遮蔽建物模型の情報は、詳細な立体形状を持たず、例えば看板が立っているようなコンテンツを表すものであってもよい。この迂回施設取得部17で生成された遮蔽建物模型の情報は、映像合成処理部14aに送られる。以上により、補助情報のコンテンツ生成処理は終了し、コンテンツ生成処理(図5参照)にリターンする。
次に、実施の形態4に係るカーナビゲーション装置における映像合成処理を、図15に示すフローチャートを参照しながら説明する。
映像合成処理では、まず、遮蔽建物を塗りつぶす処理が行われる(ステップST61)。すなわち、映像合成処理部14aは、映像取得部8で取得された映像上の遮蔽建物を塗りつぶす。ここで、塗りつぶす領域は、例えば遮蔽建物模型を合成する際の映像上の位置から計算することができる。なお、遮蔽建物を塗りつぶす処理においては、画像上の特徴点を抽出することによって塗りつぶす遮蔽建物を画像認識し、塗りつぶす領域を計算するように構成することもできる。
この遮蔽建物を塗りつぶす処理により、図16(a)に示すような映像上の建物が、図16(b)に示すように塗りつぶされる。なお、図16(b)に示す例では、遮蔽建物を白色で塗りつぶしているが、塗りつぶす色は何色であってもよく、カーナビゲーション装置の製作者またはユーザが事前に定めるように構成できる。
次いで、矢印の描画が行われる(ステップST62)。すなわち、映像合成処理部14aは、コンテンツ生成処理の中の矢印情報のコンテンツ生成処理(図5のステップST32)で生成した右左折誘導矢印を描画する。これにより、図16(c)に示すように、遮蔽建物が塗りつぶされた映像上に右左折誘導矢印が描画される。
次いで、遮蔽建物模型が描画される(ステップST63)。すなわち、映像合成処理部14aは、コンテンツ生成処理の中の補助情報のコンテンツ生成処理(図5のステップST33)で生成した遮蔽建物模型を半透明の3次元CGで描画する。これにより、図16(d)に示すように、右左折誘導矢印が描画された映像上に遮蔽建物模型が半透明で描画される。以上により、映像合成処理は終了し、コンテンツ合成映像作成処理(図4参照)にリターンする。
以上の処理によって表示部10の画面に表示される映像の例を図17に示す。図17(a)は、従来のカーナビゲーション装置における経路誘導矢印を含む映像の表示例を示しており、迂回施設が明確でないためユーザは曲がるべき交差点を誤って把握するおそれがある。これに対し、図17(b)は、実施の形態4に係るカーナビゲーション装置における経路誘導矢印を含む映像の表示例を示しており、経路誘導矢印の曲がる方向を示す部分が迂回施設の向こう側に見えるように表示されるので、ユーザは曲がるべき交差点を容易に把握できる。
なお、遮蔽建物模型を看板状のものとすることができる。この場合の表示例を図18に示す。図17に示した例では、遮蔽建物模型を半透明な3次元CGで描画しているが、図18に示す例では、遮蔽建物模型が施設の名称を示す看板で示されている。
以上説明したように、この発明の実施の形態4に係るカーナビゲーション装置によれば、経路誘導矢印の曲がる方向を示す部分より手前に表示されるべき建物の位置を塗りつぶし、建物を示す半透過な3次元CGと経路誘導矢印を用いて、建物の後ろを経路誘導矢印が迂回するように描画するので、道路沿いの建物と経路誘導矢印とを正しい重畳関係で表示できる。
実施の形態5.
この発明の実施の形態5に係るカーナビゲーション装置は、実施の形態4に係るカーナビゲーション装置における遮蔽建物模型の代わりに、遮蔽建物看板を用いるようにしたものである。この実施の形態5に係るカーナビゲーション装置の構成は、図11に示した実施の形態4に係るカーナビゲーション装置の構成と同じである。
また、実施の形態5に係るカーナビゲーション装置の動作は、補助情報のコンテンツ生成処理(図5のステップST33)および映像合成処理(図4のステップST27の処理)を除き、実施の形態4に係るカーナビゲーション装置の動作と同じである。
まず、実施の形態5に係るカーナビゲーション装置における補助情報のコンテンツ生成処理を、実施の形態4に係るカーナビゲーション装置における補助情報のコンテンツ生成処理を説明するために使用した、図13に示すフローチャートを流用して説明する。
補助情報のコンテンツ生成処理(図5のステップST33)では、右左折誘導矢印を表示するための補助となるコンテンツが生成され、表示用のコンテンツとして追加される。以下では、自車周辺の建物から遮蔽建物を取得し、遮蔽建物看板のコンテンツを生成する例について説明する。ここで、遮蔽建物は、右左折誘導矢印よりも手前に見えるべき建物である。また、遮蔽建物看板は、遮蔽建物を指す位置に右左折誘導矢印よりも手前に表示されるコンテンツである。この処理の詳細は後述する。
補助情報のコンテンツ生成処理では、まず、遮蔽建物が取得される(ステップST51)。このステップST51で行われる処理は、実施の形態4に係るカーナビゲーション装置で行われる処理と同じである。
次いで、遮蔽建物看板情報が生成される(ステップST52)。すなわち、迂回施設取得部17は、ステップST51で作成した遮蔽建物のデータに基づき、遮蔽建物看板の情報を有するコンテンツを生成する。ここで、遮蔽建物看板の情報は、例えば遮蔽建物を指す位置または遮蔽建物の名称の少なくとも1つを含むとともに、透過または半透過を指示する情報を含む。なお、遮蔽建物を指す位置は、例えば遮蔽建物の位置から道路まで垂線を引いて道路との交点を求め、この交点と遮蔽建物の位置との中点とすることができる。この迂回施設取得部17で生成された遮蔽建物看板の情報は、映像合成処理部14aに送られる。以上により、補助情報のコンテンツ生成処理は終了し、コンテンツ生成処理(図5参照)にリターンする。
次に、実施の形態5に係るカーナビゲーション装置における映像合成処理(図4のステップST27の処理)を説明する。この映像合成処理では、右左折誘導時は、映像合成処理部14aは、図5に示すコンテンツ生成処理のステップST32において、地図データから取得した遮蔽建物の手前になるように生成した右左折誘導矢印の曲がる方向を示す部分の上に、ステップST33で生成した遮蔽建物看板を、半透過なCGを用いて経路誘導矢印の曲がる方向を示す部分よりも手前に表示されるように描画する。
以上の処理によって表示部10の画面に表示される映像の例を図19に示す。図19(a)は、従来のカーナビゲーション装置における実写案内図の表示例を示しており、道路沿いの建物と経路誘導矢印が明確でないためユーザは曲がるべき交差点を誤って把握するおそれがある。これに対し、図19(b)は、実施の形態5に係るカーナビゲーション装置における実写案内図の表示例を示しており、道路沿いの建物と経路誘導矢印が明確であるので、ユーザは曲がるべき交差点を容易に把握できる。
以上説明したように、この発明の実施の形態5に係るカーナビゲーション装置によれば、経路建物と誘導矢印を重畳させる代わりに、経路誘導矢印を建物の手前までの長さとし、その建物の看板を示す半透過なCGを経路誘導矢印の曲がる方向を示す部分よりも手前に表示されるように描画するので、実際の建物を隠すことなく、道路沿いの建物と経路誘導矢印を正しい重畳関係で把握できるように表示できる。
なお、図示の実施の形態では、車に適用したカーナビゲーション装置として説明したがこの発明に係るナビゲーション装置は、カメラを有する携帯電話機、飛行機等の移動体に対しても同様に適用することができる。
以上のように、この発明に係るナビゲーション装置は、カメラで撮影することにより得られた自車周辺の映像に経路誘導矢印を重畳させて表示する際に、経路誘導矢印よりも手前に表示されるべき建物と経路誘導矢印を重畳させないように、経路誘導矢印の曲がる方向を示す部分の長さを道路幅に合わせるように構成したので、道路沿いの建物と経路誘導矢印が誤った重畳関係で表示されるという問題を回避し、実写映像上に案内情報を適切に表示でき、カーナビゲーション装置などに用いるのに適している。
この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特にカメラで撮影することにより得られた実写映像上に案内情報を表示する技術に関する。
従来、カーナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた映像の上に、CG(Computer Graphics)によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている(例えば、特許文献1参照)。
また、同様の技術として、特許文献2は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。この特許文献2には、実写映像のみでなく、表示モードまたはスケールの異なる地図を同時に表示することが開示されており、また、従来の地図を並べて表示する技術も開示されている。
特許第2915508号公報
特開平11−108684号公報
ところで、誘導される経路は道路沿いの建物などの間を通るため、映像に重畳される案内情報は、映像上の建物との重なりが適切になされることが望ましい。しかしながら、上述した従来の技術では、映像の上に案内情報を単純に重畳するので、映像上の全ての要素(建物または看板など)の手前に案内情報が表示される。その結果、ユーザは、曲がるべき交差点を誤って把握する可能性がある。
この発明は、上述した問題を解消するためになされたものであり、その課題は、実写映像上に案内情報を適切に表示できるナビゲーション装置を提供することにある。
この発明に係るナビゲーション装置は、上記課題を解決するために、地図データを保持する地図データベースと、現在位置および方位を計測する位置方位計測部と、位置方位計測部で計測された現在位置から目的地までの経路を地図データベースから読み出した地図データに基づき計算する経路計算部と、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、経路計算部で計算された経路を構成する道路のうち案内対象の交差点に入る道路の幅を、地図データベースから読み出した地図データに含まれる道路幅に基づき算出する道路幅取得部と、経路誘導矢印の曲がる方向を示す部分の長さを道路幅取得部で計算された道路幅に制限し、映像取得部で取得された映像に重畳させて合成する映像合成処理部と、映像合成処理部で合成された映像を表示する表示部を備えている。
この発明に係るナビゲーション装置によれば、カメラ7で撮影することにより得られた自車周辺の映像に経路誘導矢印を重畳させて表示する際に、経路誘導矢印よりも手前に表示されるべき建物と経路誘導矢印を重畳させないように、経路誘導矢印の曲がる方向を示す部分の長さを道路幅に合わせるように構成したので、道路沿いの建物と経路誘導矢印が誤った重畳関係で表示されるという問題を回避し、実写映像上に案内情報を適切に表示できる。
この発明の実施の形態1に係るカーナビゲーション装置の構成を示すブロック図である。
この発明の実施の形態1に係るカーナビゲーション装置において、道路幅の計算に使用される道路を説明するための図である。
この発明の実施の形態1に係るカーナビゲーション装置の動作を、自車周辺情報表示処理を中心に示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置の自車周辺情報表示処理の中で行われるコンテンツ合成映像作成処理の詳細を示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置のコンテンツ合成映像作成処理の中で行われるコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置のコンテンツ生成処理の中で行われる矢印情報のコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置で計算される道路領域を説明するための図である。
この発明の実施の形態1に係るカーナビゲーション装置において表示部の画面に表示される映像の例を示す図である。
この発明の実施の形態2に係るカーナビゲーション装置において使用される右左折誘導矢印の情報を説明するための図である。
この発明の実施の形態2に係るカーナビゲーション装置において表示部の画面に表示される映像の例を示す図である。
この発明の実施の形態4に係るカーナビゲーション装置の構成を示すブロック図である。
この発明の実施の形態4に係るカーナビゲーション装置において使用される案内対象交差点における迂回施設を説明するための図である。
この発明の実施の形態4に係るカーナビゲーション装置のコンテンツ生成処理の中で行われる補助情報のコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態4に係るカーナビゲーション装置において取得される遮蔽建物を説明するための図である。
この発明の実施の形態4に係るカーナビゲーション装置のコンテンツ合成映像作成処理の中で行われる映像合成処理の詳細を示すフローチャートである。
この発明の実施の形態4に係るカーナビゲーション装置のコンテンツ合成映像作成処理の中で行われる映像合成処理で順次に生成される映像を示す図である。
この発明の実施の形態4に係るカーナビゲーション装置において表示部の画面に表示される映像の例を示す図である。
この発明の実施の形態4に係るカーナビゲーション装置において表示部の画面に表示される映像の他の例を示す図である。
この発明の実施の形態5に係るカーナビゲーション装置において表示部の画面に表示される映像の例を示す図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について添付した図に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係るナビゲーション装置、特に車に適用したカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、GPS(Global Positioning System)レシーバ1、車速センサ2、方位センサ3、位置方位計測部4、地図データベース5、入力操作部6、カメラ7、映像取得部8、ナビゲーション制御部9および表示部10を備えている。
GPSレシーバ1は、複数の衛星からの電波を受信することにより自車位置を計測する。このGPSレシーバ1で計測された自車位置は、自車位置信号として位置方位計測部4に送られる。車速センサ2は、自車の速度を逐次計測する。この車速センサ2は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ2で計測された自車の速度は、車速信号として位置方位計測部4に送られる。方位センサ3は、自車の進行方向を逐次計測する。この方位センサ3で計測された自車の進行方位(以下、単に「方位」という)は、方位信号として位置方位計測部4に送られる。
位置方位計測部4は、GPSレシーバ1から送られてくる自車位置信号から自車の現在位置および方位を計測する。なお、トンネルの中または周囲の建造物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、GPSレシーバ1からの自車位置信号だけでは自車の現在位置および方位が計測できなくなったり、計測できても精度が悪化するため、車速センサ2からの車速信号および方位センサ3からの方位信号を用いた自律航法を利用して自車位置を計測し、GPSレシーバ1による計測を補う処理を実行する。
位置方位計測部4で計測された自車の現在位置および方位は、上述したように、GPSレシーバ1の受信状態の悪化による計測精度の悪化、タイヤの摩耗による直径の変化、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部4は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース5から読み出した地図データから取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および方位は、自車位置方位データとしてナビゲーション制御部9に送られる。
地図データベース5は、道路の位置、道路の種別(高速道路、有料道路、一般道路または細街路など)、道路に関する規制(速度制限または一方通行など)または交差点近傍の車線数といった道路データの他、道路周辺の施設のデータなどを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現し、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに3つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース5に保持されている地図データは、上述したように位置方位計測部4によって読み出される他、ナビゲーション制御部9によって読み出される。
入力操作部6は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも1つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、カーナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部6の操作によって発生されたデータは、操作データとしてナビゲーション制御部9に送られる。
カメラ7は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも1つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ7で撮影することにより得られた映像信号は、映像取得部8に送られる。
映像取得部8は、カメラ7から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部8における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部9に送られる。
ナビゲーション制御部9は、入力操作部6から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったカーナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部6から入力された条件にマッチした施設の検索といったデータ処理を実行する。このナビゲーション制御部9の詳細は後述する。ナビゲーション制御部9における処理によって得られた表示データは、表示部10に送られる。
表示部10は、例えばLCD(Liquid Crystal Display)から構成されており、ナビゲーション制御部9から送られてくる表示データにしたがって、地図および/または実写映像などを画面に表示する。
次に、ナビゲーション制御部9の詳細を説明する。ナビゲーション制御部9は、目的地設定部11、経路計算部12、案内表示生成部13、映像合成処理部14、表示決定部15および道路幅取得部16を備えている。なお、図1においては、図面の煩雑さを避けるために、上記複数の構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。
目的地設定部11は、入力操作部6から送られてくる操作データにしたがって目的地を設定する。この目的地設定部11で設定された目的地は、目的地データとして経路計算部12に送られる。経路計算部12は、目的地設定部11から送られてくる目的地データ、位置方位計測部4から送られてくる自車位置方位データ、および、地図データベース5から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部12で計算された誘導経路は、誘導経路データとして表示決定部15に送られる。
案内表示生成部13は、表示決定部15からの指示に応じて、従来のカーナビゲーション装置で用いられている地図による案内図(以下、「地図案内図」という)を生成する。この案内表示生成部13で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、3次元CGを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお、地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部13で生成された地図案内図は、地図案内図データとして表示決定部15に送られる。
映像合成処理部14は、表示決定部15からの指示に応じて、実写映像を用いた案内図(以下、「実写案内図」という)を生成する。例えば、映像合成処理部14は、地図データベース5から読み出した地図データから、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物の情報を取得し、映像取得部8から送られてくる映像データによって示される実写映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど(以下、「コンテンツ」という)を重ね合わせたコンテンツ合成映像から成る実写案内図を生成する。
表示決定部15は、上述したように、案内表示生成部13に対して地図案内図の生成を指示するとともに、映像合成処理部14に対して実写案内図の生成を指示する。また、表示決定部15は、位置方位計測部4から送られてくる自車位置方位データ、地図データベース5から読み出した自車周辺の地図データ、入力操作部6から送られてくる操作データ、案内表示生成部13から送られてくる地図案内図データおよび映像合成処理部14から送られてくる実写案内図データに基づき表示部10の画面に表示する内容を決定する。この表示決定部15において決定された表示内容に対応するデータは、表示データとして表示部10に送られる。
これにより、表示部10には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部6のメニューボタンが押されている場合はメニューが表示され、入力操作部6によって実写表示モードに設定された場合は実写映像を用いた実写案内図が表示される。なお、実写映像を用いた実写案内図への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定値以下になった場合に実写案内図に切り替わるように構成することもできる。
また、表示部10の画面に表示する案内図は、例えば案内表示生成部13で生成された地図案内図(例えば平面地図)を画面の左側に配置し、映像合成処理部14で生成された実写案内図(例えば実写映像を用いた交差点拡大図)を画面の右側に配置するというように、実写案内図と地図案内図とを1つの画面内に同時に表示するように構成できる。
道路幅取得部16は、映像合成処理部14からの指示に応答して、図2に示すように、自車位置から案内対象交差点までの経路を構成する道路のうち、最後に案内対象交差点に入る道路(図2の太線で示す)の幅を取得する。より詳しくは、道路幅取得部16は、経路計算部12から映像合成処理部14を介して誘導経路データを取得し、この取得した誘導経路データと地図データベース5から読み出した地図データとを比較することにより、最後に案内対象交差点に入る道路を決定し、この決定した道路を表す道路データを地図データベース5から読み出した地図データから取得し、この取得した道路データに含まれる道路幅データを取得する。この道路幅取得部16で取得された道路幅データは、映像合成処理部14に送られる。
次に、上記のように構成される、この発明の実施の形態1に係るカーナビゲーション装置の動作を、自車周辺情報表示処理を中心に、図3に示すフローチャートを参照しながら説明する。なお、自車周辺情報表示処理は、自車の移動に応じて、自車周辺の地図に自車位置を示す図形(自車マーク)を組み合わせた地図案内図としての自車周辺地図と、実写案内図としてのコンテンツ合成映像(詳細は後述する)とを生成し、これらを組み合わせて表示部10に表示する処理である。
自車周辺情報表示処理では、まず、自車周辺情報表示の終了であるかどうかが調べられる(ステップST11)。すなわち、ナビゲーション制御部9は、入力操作部6から自車周辺情報表示の終了が指示されているかどうかを調べる。このステップST11において、自車周辺情報表示の終了であることが判断されると、自車周辺情報表示処理は終了する。一方、ステップST11において、自車周辺情報表示の終了でないことが判断されると、次いで、自車位置方位が取得される(ステップST12)。すなわち、ナビゲーション制御部9は、位置方位計測部4から自車位置方位データを取得する。
次いで、自車周辺地図が作成される(ステップST13)。すなわち、ナビゲーション制御部9の案内表示生成部13は、ステップST12で取得した自車位置方位データに基づき、その時点で設定されている縮尺での自車周辺の地図データを地図データベース5から検索し、この検索によって得られた地図データによって示される地図上に、自車位置と方位を表す自車マークを重ね合わせた自車周辺地図を作成する。
なお、ナビゲーション制御部9の目的地設定部11および経路計算部12において、目的地が設定されて誘導経路が計算されており、目的地へ誘導するために右左折する必要がある場合には、案内表示生成部13は、この自車周辺地図の上に、さらに、自車の進むべき道路を案内するための矢印(以下、「経路誘導矢印」という)などの図形を重ね合わせた自車周辺地図を作成する。
次いで、コンテンツ合成映像作成処理が行われる(ステップST14)。すなわち、ナビゲーション制御部9の映像合成処理部14は、地図データベース5から読み出した地図データから、自車周辺の周辺物の情報を検索し、映像取得部8で取得された自車周辺の映像上に存在する周辺物の周辺に、この周辺物のコンテンツを重ね合わせたコンテンツ合成映像を生成する。このステップST14で行われるコンテンツ合成映像作成処理の詳細は、後に、図4に示すフローチャートを参照して詳細に説明する。
次いで、表示作成処理が行われる(ステップST15)。すなわち、ナビゲーション制御部9の表示決定部15は、ステップST13において案内表示生成部13で作成された自車周辺地図から成る地図案内図と、ステップST14において映像合成処理部14で作成されたコンテンツ合成映像から成る実写案内図とを組み合わせて1画面分の表示データを生成する。この作成された表示データが表示部10に送られることにより、表示部10の画面に地図案内図および実写案内図が表示される。その後、シーケンスはステップST11に戻り、上述した処理が繰り返される。
次に、ステップST14で行われるコンテンツ合成映像作成処理の詳細を、図4に示すフローチャートを参照しながら説明する。このコンテンツ合成映像作成処理は、主として映像合成処理部14で実行される。
コンテンツ合成映像作成処理では、まず、自車位置方位および映像が取得される(ステップST21)。すなわち、映像合成処理部14は、自車周辺情報表示処理(図3参照)のステップST12で取得された自車位置方位データと、その時点で映像取得部8において生成された映像データを取得する。
次いで、コンテンツ生成が行われる(ステップST22)。すなわち、映像合成処理部14は、地図データベース5から読み出した地図データから自車の周辺物を検索し、その中からユーザに提示したいコンテンツ情報を生成する。コンテンツ情報には、例えば、ユーザに右左折を指示して目的地へ誘導したい場合には、交差点の名称文字列、交差点の座標、経路誘導矢印の座標などが含まれる。また、自車周辺の有名なランドマークを案内したい場合には、そのランドマークの名称文字列、ランドマークの座標、ランドマークに関する歴史または見所、営業時間などといったランドマークに関する情報の文字列または写真などが含まれる。なお、コンテンツ情報は、上述した以外に、自車周辺の道路ネットワークの個々の座標と各道路の一方通行または進入禁止などといった交通規制情報、車線数などの情報といった地図情報そのものであってもよい。このステップST22で行われるコンテンツ生成処理の詳細は、後に詳細に説明する。
なお、コンテンツ情報の座標値は、例えば、緯度および経度のように、地上で一意に決定される座標系(以下、「基準座標系」という)で与えられる。このステップST22において、ユーザに提示したいコンテンツと、その総数aが確定する。
次いで、カウンタの内容iが初期化される(ステップST23)。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容iが「1」に設定される。なお、カウンタは、映像合成処理部14の内部に設けられている。
次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST24)、具体的には、映像合成処理部14は、カウンタの内容である合成済みコンテンツ数iがコンテンツ総数aより大きくなったかどうかを調べる。このステップST24において、全てのコンテンツ情報の合成処理が終了した、つまり合成済みコンテンツ数iがコンテンツ総数aより大きくなったことが判断されると、コンテンツ合成映像作成処理は終了し、自車周辺情報表示処理にリターンする。
一方、ステップST24において、全てのコンテンツ情報の合成処理が終了していない、つまり合成済みコンテンツ数iがコンテンツ総数aより大きくないことが判断されると、i番目のコンテンツ情報が取得される(ステップST25)。すなわち、映像合成処理部14は、ステップST22で生成したコンテンツ情報のうちのi番目のコンテンツ情報を取得する。
次いで、透視変換によるコンテンツ情報の映像上の位置が計算される(ステップST26)。すなわち、映像合成処理部14は、ステップST21で取得した自車位置方位(基準座標系における自車の位置方位)、カメラ7の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ7の固有値を使用し、ステップST25で取得したコンテンツを表示すべき基準座標系における映像上の位置を計算する。この計算は透視変換と言われる座標変換計算と同じである。
次いで、映像合成処理が行われる(ステップST27)。すなわち、映像合成処理部14は、ステップST21で取得した映像上の、ステップST26で計算された位置に、ステップST25で取得したコンテンツ情報によって示される図形、文字列またはイメージなどといったコンテンツを合成する。
次いで、カウンタの内容iがインクリメントされる(ステップST28)。すなわち、映像合成処理部14は、カウンタの内容をインクリメント(+1)する。その後、シーケンスはステップST24に戻り、上述した処理が繰り返される。
なお、上述した映像合成処理部14では、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した映像の上にコンテンツを合成するように構成することもできる。
次に、上述したコンテンツ合成映像作成処理(図4参照)のステップST22で行われるコンテンツ生成処理の詳細を、図5に示すフローチャートを参照しながら説明する。
コンテンツ生成処理では、まず、右左折誘導時であるかどうかが調べられる(ステップST31)。右左折誘導時であるかどうかの判定の具体的な条件としては、ユーザによって設定された目的地までの経路が、経路計算部12において計算されて探索されていること、また、探索された経路上で右左折するべき交差点の周辺に自車が到達していることが挙げられる。この場合、「交差点の周辺」とは、例えば交差点の手前500[m]などといったカーナビゲーション装置の製作者またはユーザが設定した範囲である。
このステップST31において、右左折誘導時でないことが判断されると、シーケンスはステップST34に進む。一方、ステップST31において、右左折誘導時であることが判断されると、コンテンツとして経路誘導矢印が必要である旨が認識され、次いで、矢印情報のコンテンツが生成される(ステップST32)。ここで、生成される矢印情報のコンテンツとは、ユーザに右左折するべき地点および右左折するべき方向を提示するために、実写映像上に重畳する右左折誘導矢印の図形をいう。このステップST32で生成された右左折誘導矢印は、表示用のコンテンツとして追加される。このステップST32における矢印情報のコンテンツ生成処理については、後に詳細に説明する。
次いで、補助情報のコンテンツが生成される(ステップST33)。ここで、補助情報のコンテンツとは、右左折誘導矢印以外の、例えば交差点の中心を示すマーク、自車から交差点までの距離といった右左折誘導を行うために必要な補助的なコンテンツをいう。このステップST33で生成された補助情報のコンテンツは、表示用のコンテンツとして追加される。なお、補助情報のコンテンツの生成は必須ではなく、カーナビゲーション装置の設定によっては生成されない場合もある。その後、シーケンスはステップST34に進む。
ステップST34においては、その他のコンテンツが生成される。すなわち、右左折誘導に必要なコンテンツ以外のコンテンツが生成され、表示用のコンテンツとして追加される。このステップST34で生成されるコンテンツとしては、例えば目的地までの経路または自車の周囲の道路ネットワークなどを挙げることができる。その後、コンテンツ合成処理は終了し、コンテンツ合成映像作成処理(図4参照)にリターンする。
次に、上述したコンテンツ生成処理(図5参照)のステップST32で行われる矢印情報のコンテンツ生成処理の詳細を、図6に示すフローチャートを参照しながら説明する。
矢印情報のコンテンツ生成処理では、まず、道路領域の計算が行われる(ステップST41)。ここで、道路領域とは、例えば図7に示すように自車が走行している場合、自車位置から見て周辺の建物に遮蔽されない領域をいう。具体的には、映像合成処理部14は、道路幅データの取得を道路幅取得部16に指示し、道路幅取得部16は、自車が走行している道路の道路幅データを地図データベース5から読み出した地図データに含まれる道路データから取得して映像合成処理部14に送る。そして、映像合成処理部14は、自車の進行方向に沿って左右に、道路幅データによって示される幅の半分ずつ取った領域を道路領域として算出する。なお、自車の向き、走行車線、道路の車線数などを考慮して道路領域を決定するように構成することもできる。
次いで、経路系列および右左折地点が取得される(ステップST42)。すなわち、映像合成処理部14は、地図データベース5から読み出した地図データに含まれる道路データから、図7に示すような経路系列および右左折地点を取得する。ここで、経路系列とは、経路探索によって生成された、現在地点から目的地点までの経路を表す座標値の系列である。また、右左折地点とは、自車が次に右左折するべき交差点であり、経路系列の中の該当する点の座標値によって表される。
次いで、直進系列および誘導地点が取得される(ステップST43)。すなわち、映像合成処理部14は、ステップST42で取得した経路系列および右左折地点から、図7に示すような直進系列および誘導地点を決定する。ここで、直進系列とは、自車が現在地点から直進するべき区間を表す系列であり、例えば経路系列の中の現在地点から右左折地点までの座標値の系列によって表される。また、誘導地点とは、自車が右左折するべき方向を示す地点であり、例えば経路系列の中の右左折地点の次に保持されている座標値によって表される。
次いで、矢印情報が生成される(ステップST44)。すなわち、映像合成処理部14は、直進系列および誘導地点から右左折誘導矢印の情報を持つコンテンツを生成する。ここで、右左折誘導矢印の情報は、例えば直進系列、矢印終了地点および表示形態情報を含む。矢印終了地点は、図7に示すように、右左折するべき方向の道路領域を越えない地点とする。この矢印終了地点は、例えば右左折地点と誘導地点とを結ぶ線分上にあり、道路領域の範囲内にある地点の座標値によって表される。また、表示形態情報は、例えば太さ、明度、彩度、色または透過度などを表す情報である。その後、矢印情報のコンテンツ生成処理は終了し、コンテンツ生成処理(図5参照)にリターンする。
なお、矢印情報のコンテンツ生成処理で用いられる座標値は、緯度および経度などといった2次元の地図上で位置を一意に決めることができる値である。
以上の処理によって表示部10の画面に表示される映像の例を図8に示す。図8(a)は、従来のカーナビゲーション装置における経路誘導矢印の表示例を示しており、経路誘導矢印の曲がる方向を示す部分の長さを、道路幅とは無関係に、誘導地点までとしているため、道路わきに存在するランドマークと経路誘導矢印が重なり、ユーザは曲がるべき交差点を誤って把握するおそれがある。これに対し、図8(b)は、実施の形態1に係るカーナビゲーション装置における経路誘導矢印の表示例を示しており、経路誘導矢印の曲がる方向を示す部分の長さを道路幅までに制限しているため、道路わきに存在するランドマークと誘導矢印が重ならず、ユーザは曲がるべき交差点を容易に把握できる。
以上説明したように、この発明の実施の形態1に係るカーナビゲーション装置によれば、カメラ7で撮影することにより得られた自車周辺映像に経路誘導矢印を重畳させて表示する際に、経路誘導矢印よりも手前に表示されるべき建物と経路誘導矢印を重畳させないように、経路誘導矢印の曲がる方向を示す部分の長さを道路幅までに制限したので、道路沿いの建物と経路誘導矢印が誤った重畳関係で表示されるという問題を回避することができる。
実施の形態2.
この発明の実施の形態2に係るカーナビゲーション装置は、経路誘導矢印の1つである右左折誘導矢印を可視部分と遮蔽部分とに分け、これらの表示形態を変更することにより実写映像上の建物との遮蔽関係を表現するようにしたものである。ここで、可視部分とは、右左折誘導矢印の中で遮蔽されずに通常通りに見える部分である。また、遮蔽部分とは、右左折誘導矢印の中で建物に遮蔽されているように表示するべき部分である。この実施の形態2に係るカーナビゲーション装置の構成は、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。
また、実施の形態2に係るカーナビゲーション装置の動作は、矢印情報のコンテンツ生成処理(図5のステップST32および図6参照)を除き、実施の形態1に係るカーナビゲーション装置の動作と同じである。以下では、実施の形態2に係るカーナビゲーション装置における矢印情報のコンテンツ生成処理を、実施の形態1に係るカーナビゲーション装置における矢印情報のコンテンツ生成処理を説明するために使用した、図6に示すフローチャートを流用して説明する。
矢印情報のコンテンツ生成処理のステップST41からステップST43までの処理は、実施の形態1に係るカーナビゲーション装置の矢印情報のコンテンツ生成処理と同じであり、ステップST44で実行される矢印情報の生成処理のみが異なる。以下、実施の形態1と相違する部分についてのみ説明する。
ステップST44においては、矢印情報が生成される。すなわち、映像合成処理部14は、直進系列および誘導地点から右左折誘導矢印の情報を持つコンテンツを生成する。ここで、右左折誘導矢印の情報は、直進系列、矢印終了地点、矢印切替地点、可視部分の表示形態情報、遮蔽部分の表示形態情報を含む。矢印終了地点は、図9に示すように、右左折するべき方向の誘導地点の座標値で表される。矢印切替地点は、図9に示すように、右左折誘導矢印の可視部分と遮蔽部分の境界となる地点であり、右左折地点と矢印終了地点とを結ぶ線分上であって、道路領域の範囲内にある地点の座標値によって表される。可視部分の表示形態情報は、通常の矢印であることを示すような見た目を表現するための情報である。遮蔽部分の表示形態情報は、一部の属性を可視部分と区別し、遮蔽部分であることを示すような見た目を表現するための情報である。その後、矢印情報のコンテンツ生成処理は終了し、コンテンツ生成処理(図5参照)にリターンする。
上述した見た目を区別するための表示形態情報の属性として、例えば太さ、明度、彩度、色または透過度などを用いることができる。太さで区別する場合は、例えば可視部分に比べて遮蔽部分を細くするように構成できる。明度で区別する場合は、例えば可視部分に比べて遮蔽部分の明度を低くするように構成できる。彩度で区別する場合は、例えば可視部分に比べて遮蔽部分の彩度を低くするように構成できる。色で区別する場合は、例えば可視部分を黄色や橙色などの暖色とし、遮蔽部分を青色や緑色などの寒色とするように構成できる。透過度で区別する場合は、例えば可視部分を不透過とし、遮蔽部分を半透過とするように構成できる。
以上の処理によって表示部10の画面に表示される映像の例を図10に示す。図10(a)は、従来のカーナビゲーション装置における経路誘導矢印の表示例を示しており、経路誘導矢印の曲がる方向を示す部分の長さを、道路幅とは無関係に、誘導地点までとしているため、道路わきに存在するランドマークと経路誘導矢印が重なり、ユーザは曲がるべき交差点を誤って把握するおそれがある。これに対し、図10(b)は、実施の形態2に係るカーナビゲーション装置における経路誘導矢印の表示例を示しており、経路誘導矢印の曲がる方向を示す部分の長さは誘導地点までとされているが、道路幅の部分を境に、道路幅を超える部分の表示形態を変更し、経路誘導矢印の建物に重なる部分の色を、建物に重ならない部分と異なるようにしているので、ユーザは曲がるべき交差点を容易に把握できる。
以上説明したように、この発明の実施の形態2に係るカーナビゲーション装置によれば、カメラ7で撮影することにより得られた自車周辺映像に経路誘導矢印を重畳させて表示する際に、経路誘導矢印よりも手前に表示されるべき建物に経路誘導矢印が重畳する部分において、道路幅を超える部分の表示形態(太さ、色、透過度、明度または彩度など)を変えるように構成して経路誘導矢印の見た目を変えたので、ユーザは道路沿いの建物と経路誘導矢印を正しい重畳関係で表示できる。
実施の形態3.
この発明の実施の形態3に係るカーナビゲーション装置は、自車が走行している道路の道路幅データが地図データベース5に保持されていない場合に、他の情報から道路幅を推定し、その推定結果を用いて道路領域を決定するようにしたものである。この実施の形態3に係るカーナビゲーション装置の構成は、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。
また、実施の形態3に係るカーナビゲーション装置の動作は、矢印情報のコンテンツ生成処理(図5のステップST32および図6参照)を除き、実施の形態1に係るカーナビゲーション装置の動作と同じである。以下では、実施の形態3に係るカーナビゲーション装置における矢印情報のコンテンツ生成処理を、実施の形態1に係るカーナビゲーション装置における矢印情報のコンテンツ生成処理を説明するために使用した、図6に示すフローチャートを流用して説明する。
矢印情報のコンテンツ生成処理では、まず、道路領域の計算が行われる(ステップST41)。すなわち、映像合成処理部14は、例えば、地図データベース5から読み出した地図データに含まれる道路データから道路種別および車線数を取得し、道路種別が一般道路であれば3.0×車線数[m]、道路種別が高速道路であれば3.5×車線数[m]を道路幅として算出する。
以下、実施の形態1または実施の形態2に係るカーナビゲーション装置における矢印情報のコンテンツ生成処理と同様に、経路系列および右左折地点が取得され(ステップST42)、直進系列および誘導地点が取得され(ステップST43)、矢印情報が生成される(ステップST44)。その後、矢印情報のコンテンツ生成処理は終了し、コンテンツ生成処理(図5参照)にリターンする。
以上説明したように、この発明の実施の形態3に係るカーナビゲーション装置によれば、カーナビゲーション装置の地図データベース5に道路幅データが保持されていない場合に、道路の車線数および道路種別を用いて道路幅を算出するように構成したので、カーナビゲーション装置の地図データベース5に道路幅データが保持されていない場合であっても適切に道路幅を設定でき、道路沿いの建物と誘導矢印が誤った重畳関係で表示される問題を回避できる。
実施の形態4.
図11は、この発明の実施の形態4に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態1に係るカーナビゲーション装置のナビゲーション制御部9から道路幅取得部16が除去されるとともに迂回施設取得部17が追加され、さらに、映像合成処理部14が映像合成処理部14aに変更されて構成されている。
迂回施設取得部17は、映像合成処理部14aからの指示に応答して、図12に示すように、案内対象交差点における迂回施設(図12に斜線で示す)を表す迂回施設データを、地図データベース5から読み出した地図データから取得する。より詳しくは、迂回施設取得部17は、経路計算部12から映像合成処理部14aを介して誘導経路データを取得し、この取得した誘導経路データに基づき、案内対象交差点と誘導方向を求める。次に、迂回施設取得部17は、案内対象交差点の誘導方向側の角に存在する施設であって案内対象交差点より手前に存在する施設(迂回施設)を、地図データベース5から読み出した地図データから探し、見つかった施設に対応する施設データを取得する。この迂回施設取得部17で取得された施設データは、迂回施設データとして映像合成処理部14aに送られる。
映像合成処理部14aは、実施の形態1に係るカーナビゲーション装置の映像合成処理部14が実行する処理の他に、迂回施設取得部17に対して、迂回施設データの取得を指示する。また、映像合成処理部14aは、迂回施設取得部17から送られてくる迂回施設データに所定の処理(詳細は後述する)を施す。
次に、上記のように構成される、この発明の実施の形態4に係るカーナビゲーション装置の動作を説明する。この実施の形態4に係るカーナビゲーション装置の動作は、補助情報のコンテンツ生成処理(図5のステップST33)および映像合成処理(図4のステップST27の処理)を除き、実施の形態1に係るカーナビゲーション装置の動作と同じである。以下では、実施の形態1に係るカーナビゲーション装置の動作と異なる部分を中心に説明する。
まず、実施の形態4に係るカーナビゲーション装置における補助情報のコンテンツ生成処理を、図13に示すフローチャートを参照しながら説明する。
補助情報のコンテンツ生成処理(図5のステップST33)では、右左折誘導矢印を表示するための補助となるコンテンツが生成され、表示用のコンテンツとして追加される。以下では、自車周辺の建物から遮蔽建物を取得し、遮蔽建物模型のコンテンツを生成する例について説明する。ここで、遮蔽建物は、右左折誘導矢印よりも手前に見えるべき建物である。また、遮蔽建物模型は、遮蔽建物の位置に実際に右左折誘導矢印よりも手前に表示されるコンテンツである。
補助情報のコンテンツ生成処理では、まず、遮蔽建物が取得される(ステップST51)。すなわち、映像合成処理部14aは、遮蔽建物の取得を迂回施設取得部17に指示し、迂回施設取得部17は、遮蔽建物のデータを地図データベース5から読み出した地図データから取得する。遮蔽建物とは、例えば図14に示すように、右折を誘導する場合であれば、道路右側にある建物のうち、案内対象交差点と自車位置の間に存在する全ての建物をいう。なお、遮蔽建物は、右左折誘導矢印および建物の立体形状を考慮して決定するように構成することもできる。
次いで、遮蔽建物模型情報が生成される(ステップST52)。すなわち、迂回施設取得部17は、ステップST51で取得した遮蔽建物のデータに基づき、遮蔽建物模型の情報のコンテンツを生成する。ここで、遮蔽建物模型の情報は、例えば遮蔽建物の位置、立体形状または名称の少なくとも1つを含むとともに、透過または半透過を指示する情報を含む。なお、遮蔽建物模型の情報は、詳細な立体形状を持たず、例えば看板が立っているようなコンテンツを表すものであってもよい。この迂回施設取得部17で生成された遮蔽建物模型の情報は、映像合成処理部14aに送られる。以上により、補助情報のコンテンツ生成処理は終了し、コンテンツ生成処理(図5参照)にリターンする。
次に、実施の形態4に係るカーナビゲーション装置における映像合成処理を、図15に示すフローチャートを参照しながら説明する。
映像合成処理では、まず、遮蔽建物を塗りつぶす処理が行われる(ステップST61)。すなわち、映像合成処理部14aは、映像取得部8で取得された映像上の遮蔽建物を塗りつぶす。ここで、塗りつぶす領域は、例えば遮蔽建物模型を合成する際の映像上の位置から計算することができる。なお、遮蔽建物を塗りつぶす処理においては、画像上の特徴点を抽出することによって塗りつぶす遮蔽建物を画像認識し、塗りつぶす領域を計算するように構成することもできる。
この遮蔽建物を塗りつぶす処理により、図16(a)に示すような映像上の建物が、図16(b)に示すように塗りつぶされる。なお、図16(b)に示す例では、遮蔽建物を白色で塗りつぶしているが、塗りつぶす色は何色であってもよく、カーナビゲーション装置の製作者またはユーザが事前に定めるように構成できる。
次いで、矢印の描画が行われる(ステップST62)。すなわち、映像合成処理部14aは、コンテンツ生成処理の中の矢印情報のコンテンツ生成処理(図5のステップST32)で生成した右左折誘導矢印を描画する。これにより、図16(c)に示すように、遮蔽建物が塗りつぶされた映像上に右左折誘導矢印が描画される。
次いで、遮蔽建物模型が描画される(ステップST63)。すなわち、映像合成処理部14aは、コンテンツ生成処理の中の補助情報のコンテンツ生成処理(図5のステップST33)で生成した遮蔽建物模型を半透明の3次元CGで描画する。これにより、図16(d)に示すように、右左折誘導矢印が描画された映像上に遮蔽建物模型が半透明で描画される。以上により、映像合成処理は終了し、コンテンツ合成映像作成処理(図4参照)にリターンする。
以上の処理によって表示部10の画面に表示される映像の例を図17に示す。図17(a)は、従来のカーナビゲーション装置における経路誘導矢印を含む映像の表示例を示しており、迂回施設が明確でないためユーザは曲がるべき交差点を誤って把握するおそれがある。これに対し、図17(b)は、実施の形態4に係るカーナビゲーション装置における経路誘導矢印を含む映像の表示例を示しており、経路誘導矢印の曲がる方向を示す部分が迂回施設の向こう側に見えるように表示されるので、ユーザは曲がるべき交差点を容易に把握できる。
なお、遮蔽建物模型を看板状のものとすることができる。この場合の表示例を図18に示す。図17に示した例では、遮蔽建物模型を半透明な3次元CGで描画しているが、図18に示す例では、遮蔽建物模型が施設の名称を示す看板で示されている。
以上説明したように、この発明の実施の形態4に係るカーナビゲーション装置によれば、経路誘導矢印の曲がる方向を示す部分より手前に表示されるべき建物の位置を塗りつぶし、建物を示す半透過な3次元CGと経路誘導矢印を用いて、建物の後ろを経路誘導矢印が迂回するように描画するので、道路沿いの建物と経路誘導矢印とを正しい重畳関係で表示できる。
実施の形態5.
この発明の実施の形態5に係るカーナビゲーション装置は、実施の形態4に係るカーナビゲーション装置における遮蔽建物模型の代わりに、遮蔽建物看板を用いるようにしたものである。この実施の形態5に係るカーナビゲーション装置の構成は、図11に示した実施の形態4に係るカーナビゲーション装置の構成と同じである。
また、実施の形態5に係るカーナビゲーション装置の動作は、補助情報のコンテンツ生成処理(図5のステップST33)および映像合成処理(図4のステップST27の処理)を除き、実施の形態4に係るカーナビゲーション装置の動作と同じである。
まず、実施の形態5に係るカーナビゲーション装置における補助情報のコンテンツ生成処理を、実施の形態4に係るカーナビゲーション装置における補助情報のコンテンツ生成処理を説明するために使用した、図13に示すフローチャートを流用して説明する。
補助情報のコンテンツ生成処理(図5のステップST33)では、右左折誘導矢印を表示するための補助となるコンテンツが生成され、表示用のコンテンツとして追加される。以下では、自車周辺の建物から遮蔽建物を取得し、遮蔽建物看板のコンテンツを生成する例について説明する。ここで、遮蔽建物は、右左折誘導矢印よりも手前に見えるべき建物である。また、遮蔽建物看板は、遮蔽建物を指す位置に右左折誘導矢印よりも手前に表示されるコンテンツである。この処理の詳細は後述する。
補助情報のコンテンツ生成処理では、まず、遮蔽建物が取得される(ステップST51)。このステップST51で行われる処理は、実施の形態4に係るカーナビゲーション装置で行われる処理と同じである。
次いで、遮蔽建物看板情報が生成される(ステップST52)。すなわち、迂回施設取得部17は、ステップST51で作成した遮蔽建物のデータに基づき、遮蔽建物看板の情報を有するコンテンツを生成する。ここで、遮蔽建物看板の情報は、例えば遮蔽建物を指す位置または遮蔽建物の名称の少なくとも1つを含むとともに、透過または半透過を指示する情報を含む。なお、遮蔽建物を指す位置は、例えば遮蔽建物の位置から道路まで垂線を引いて道路との交点を求め、この交点と遮蔽建物の位置との中点とすることができる。この迂回施設取得部17で生成された遮蔽建物看板の情報は、映像合成処理部14aに送られる。以上により、補助情報のコンテンツ生成処理は終了し、コンテンツ生成処理(図5参照)にリターンする。
次に、実施の形態5に係るカーナビゲーション装置における映像合成処理(図4のステップST27の処理)を説明する。この映像合成処理では、右左折誘導時は、映像合成処理部14aは、図5に示すコンテンツ生成処理のステップST32において、地図データから取得した遮蔽建物の手前になるように生成した右左折誘導矢印の曲がる方向を示す部分の上に、ステップST33で生成した遮蔽建物看板を、半透過なCGを用いて経路誘導矢印の曲がる方向を示す部分よりも手前に表示されるように描画する。
以上の処理によって表示部10の画面に表示される映像の例を図19に示す。図19(a)は、従来のカーナビゲーション装置における実写案内図の表示例を示しており、道路沿いの建物と経路誘導矢印が明確でないためユーザは曲がるべき交差点を誤って把握するおそれがある。これに対し、図19(b)は、実施の形態5に係るカーナビゲーション装置における実写案内図の表示例を示しており、道路沿いの建物と経路誘導矢印が明確であるので、ユーザは曲がるべき交差点を容易に把握できる。
以上説明したように、この発明の実施の形態5に係るカーナビゲーション装置によれば、経路建物と誘導矢印を重畳させる代わりに、経路誘導矢印を建物の手前までの長さとし、その建物の看板を示す半透過なCGを経路誘導矢印の曲がる方向を示す部分よりも手前に表示されるように描画するので、実際の建物を隠すことなく、道路沿いの建物と経路誘導矢印を正しい重畳関係で把握できるように表示できる。
なお、図示の実施の形態では、車に適用したカーナビゲーション装置として説明したがこの発明に係るナビゲーション装置は、カメラを有する携帯電話機、飛行機等の移動体に対しても同様に適用することができる。
以上のように、この発明に係るナビゲーション装置は、カメラで撮影することにより得られた自車周辺の映像に経路誘導矢印を重畳させて表示する際に、経路誘導矢印よりも手前に表示されるべき建物と経路誘導矢印を重畳させないように、経路誘導矢印の曲がる方向を示す部分の長さを道路幅に合わせるように構成したので、道路沿いの建物と経路誘導矢印が誤った重畳関係で表示されるという問題を回避し、実写映像上に案内情報を適切に表示でき、カーナビゲーション装置などに用いるのに適している。
この発明に係るナビゲーション装置は、上記課題を解決するために、地図データを保持する地図データベースと、現在位置および方位を計測する位置方位計測部と、位置方位計測部で計測された現在位置から目的地までの経路を地図データベースから読み出した地図データに基づき計算する経路計算部と、カメラから撮影された前方の映像を取得する映像取得部と、経路計算部で計算された経路の案内対象の交差点の誘導方向側に存在する施設であって、案内対象の交差点と現在位置の間に存在する施設を表す施設データを、地図データベースから取得する施設取得部と、施設取得部で取得された施設データによって示される施設のうち、経路誘導矢印の曲がる方向を示す部分より手前に表示されるべき施設の向こう側に見えるように施設を塗りつぶし、施設を示す半透明な3次元CGと経路誘導矢印を用いて、経路誘導矢印の曲がる方向を示す部分を描画し、映像取得部で取得された映像に重畳させて合成する映像合成処理部と、映像合成処理部で合成された映像を表示する表示部とを備えている。
この発明に係るナビゲーション装置によれば、カメラ7で撮影することにより得られた自車周辺の映像に経路誘導矢印を重畳させて表示する際に、経路誘導矢印の曲がる方向を示す部分より手前に表示されるべき施設の向こう側に見えるように施設を塗りつぶし、施設を示す半透明な3次元CGと経路誘導矢印を用いて、経路誘導矢印の曲がる方向を示す部分を描画するように構成したので、道路沿いの建物と経路誘導矢印が誤った重畳関係で表示されるという問題を回避し、実写映像上に案内情報を適切に表示できる。
矢印情報のコンテンツ生成処理では、まず、道路領域の計算が行われる(ステップST41)。ここで、道路領域とは、例えば図7に示す領域をいう。具体的には、映像合成処理部14は、道路幅データの取得を道路幅取得部16に指示し、道路幅取得部16は、自車が走行している道路の道路幅データを地図データベース5から読み出した地図データに含まれる道路データから取得して映像合成処理部14に送る。そして、映像合成処理部14は、自車の進行方向に沿って左右に、道路幅データによって示される幅の半分ずつ取った領域を道路領域として算出する。なお、自車の向き、走行車線、道路の車線数などを考慮して道路領域を決定するように構成することもできる。