JP2019104275A

JP2019104275A - 車載システム及び表示制御方法

Info

Publication number: JP2019104275A
Application number: JP2017236379A
Authority: JP
Inventors: 中山　高志; Takashi Nakayama; 高志中山; 英俊角谷; Hidetoshi Sumiya
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2017-12-08
Filing date: 2017-12-08
Publication date: 2019-06-27
Anticipated expiration: 2037-12-08
Also published as: JP6991659B2; EP3495188B1; EP3495188A1; US10602081B2; US20190182435A1

Abstract

【課題】赤信号で停車している期間中にヘッドアップディスプレイを有効に活用する「車載システム及び表示制御方法」を提供する。【解決手段】赤信号で停車したならば、仮想視点経路VERに沿って移動する仮想視点から仮想視線方向ｓに観察した画像をヘッドアップディスプレイ１１に表示する。誘導経路に従って次に進路変更することとなる交差点を目的交差点TCとして、仮想視点と仮想視線方向sの組み合わせは、自動車のユーザの視点から自動車の前方方向を観察する組み合わせ、自動車の現在位置と目的交差点TCを含む地理的範囲を鳥瞰する組み合わせ、目的交差点TCを含む地理的範囲を目的交差点TC近くから鳥瞰する組み合わせと徐々に変化させる。【選択図】図７

Description

本発明は、ヘッドアップディスプレイを備えた車載システムに関するものである。

ヘッドアップディスプレイを備えた車載システムに関する技術としては、ヘッドアップディスプレイに、車速や、前方を走行する他車両の状態の情報を表示する技術（たとえば、特許文献１）や、ヘッドアップディスプレイに、次に通過する交差点における進路変更方向を表す矢印を表示する技術（たとえば、特許文献２）が知られている。

特開２０１７-３７６３４号公報特開２０１６-１１８４２３号公報

赤信号で停車しているときには、自車及び前方の他車両は停止しているので、車速や、他車両の状態の情報をヘッドアップディスプレイに表示することの、ユーザにとっての有用性は乏しい、また、赤信号で停車している期間中、ずっと、次に通過する交差点における進路変更方向を表す矢印を表示し続けることも冗長である。

したがって、上述の技術のように、ヘッドアップディスプレイに車速や前方を走行する他車両の状態の情報や進路変更方向を表す矢印を表示する技術では、赤信号で停車している期間中に、ヘッドアップディスプレイを充分に有効活用することができない。

そこで、本発明は、ヘッドアップディスプレイを備えた車載システムにおいて、交通信号機の信号に従って停車している期間中に、ヘッドアップディスプレイをより有効に活用することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される車載システムに、映像を虚像として前記自動車のフロントウインドウの前方に表示するヘッドアップディスプレイと、前記自動車が交通信号機が停止指示の信号により停車している期間中に、前記ヘッドアップディスプレイに進路案内画像を表示する制御部と備えたものである。ここで、前記制御部は、仮想の視点から仮想の視線方向に観察した画像を生成し、生成した画像を前記進路案内画像として前記ヘッドアップディスプレイに表示する画像生成表示部と、前記自動車が将来到達することが予測されるポイントを案内ポイントして、前記画像生成表示部が生成する画像の前記仮想の視点と前記仮想の視線方向の組み合わせを、前記自動車のユーザの視点と同じ位置を前記仮想の視点とし自動車の前方方向を前記仮想の視線方向とする第１の組み合わせから、前記自動車の現在位置と前記案内ポイントとの間にある地理的範囲の少なくとも一部を含む地理的範囲を鳥瞰する第２の組み合わせに変化させると共に、その後、当該第２の組み合わせから、前記案内ポイントを含む地理的範囲を鳥瞰する第３の組み合わせまで徐々に変化させる観察対象変更部とを備えている。また、前記第２の組み合わせにおける前記仮想の視点の位置は、前記第３の組み合わせにおける前記仮想の視点の位置よりも、前記現在位置に近い位置であり、前記第３の組み合わせにおける前記仮想の視点の位置は、前記第２の組み合わせにおける前記仮想の視点の位置よりも、前記案内ポイントに近い位置である。

ここで、このような車載システムにおいて、前記第２の組み合わせは、前記自動車の現在位置を含む地理的範囲を鳥瞰する、前記仮想の視点と前記仮想の視線方向の組み合わせ、または、前記自動車の現在位置と前記案内ポイントとの双方を含む地理的範囲を鳥瞰する、前記仮想の視点と前記仮想の視線方向の組み合わせとしてもよい。

また、以上の車載システムは、当該車載システムに、前記自動車の前方を撮影するカメラを備え、前記画像生成表示部において、少なくとも、前記第１の組み合わせにおける仮想の視点から当該第１の組み合わせにおける仮想の視線方向に観察した画像を、前記カメラが撮影した画像より生成するように構成してもよい。

また、以上の車載システムは、前記画像生成表示部において、前記仮想の視点と前記仮想の視線方向の組み合わせが、前記第２の組み合わせから前記第３の組み合わせまで変化する間の、仮想の視点から仮想の視線方向に観察した画像を、当該仮想の視点から仮想の視線方向に観察される地理的範囲を高所より俯瞰して撮影した写真である観察対象俯瞰写真より生成するように構成してもよい。

また、この場合には、車載システムに、移動通信を行う移動通信装置を備え、前記画像生成表示部において、前記移動通信装置の移動通信を介して、各地理的区域を高所より俯瞰して撮影した写真を提供するサーバにアクセスし、当該サーバから前記観察対象俯瞰写真を取得するようにしてもよい。

また、以上の車載システムは、前記画像生成表示部において、前記仮想の視点と前記仮想の視線方向の組み合わせが、前記第２の組み合わせから前記第３の組み合わせまで変化する間の、仮想の視点から仮想の視線方向に観察した画像に、当該画像を観察した地理的範囲に前記自動車の現在位置が含まれる場合には前記自動車の現在位置の位置を表す図形を合成すると共に、当該画像を観察した地理的範囲に前記案内ポイントが含まれる場合には前記案内ポイントの位置を表す図形を合成して、前記進路案内画像として前記ヘッドアップディスプレイに表示するように構成してもよい。

また、以上の車載システムは、当該車載システムに、目的地までの経路を誘導経路として設定する誘導経路設定部を設け、前記案内ポイントを、前記誘導経路上の地点とし、前記画像生成表示部において、前記仮想の視点と前記仮想の視線方向の組み合わせが、前記第２の組み合わせから前記第３の組み合わせまで変化する間の、仮想の視点から仮想の視線方向に観察した画像に、当該画像を観察した地理的範囲に前記自動車の現在位置が含まれる場合には前記自動車の現在位置の位置を表す図形を合成し、当該画像を観察した地理的範囲に前記誘導経路上の道路が含まれる場合には前記誘導経路を表す図形を合成すると共に、当当該画像を観察した地理的範囲に前記案内ポイントが含まれる場合には前記案内ポイントの位置を表す図形を合成して、前記進路案内画像として前記ヘッドアップディスプレイに表示するように構成してもよい。

また、この場合には、前記案内ポイントを、前記誘導経路の目的地、または、次に前記誘導経路に従って進路を変更すべき交差点としてもよい。
また、以上の車載システムは、前記制御部において、前記自動車が当該停車が前記自動車が交通信号機が停止指示の信号により停車したときに、当該時点から前記交通信号機が進行許可の信号を示すまでの時間が所定の期間より長い場合に、当該交通信号機が停止指示の信号により停車している期間中の、前記ヘッドアップディスプレイへの前記進路案内画像の表示を行い、当該時点から前記交通信号機が進行許可の信号を示すまでの時間が所定の期間より短い場合に、当該交通信号機が停止指示の信号により停車している期間中の前記ヘッドアップディスプレイへの前記進路案内画像の表示を行わないように構成してもよい。

また、以上の車載システムは、前記観察対象変更部において、前記自動車が当該停車が前記自動車が交通信号機が停止指示の信号により停車した時点から前記交通信号機が進行許可の信号を示すまでの時間に応じて、少なくとも、当該交通信号機が停止指示の信号により停車している期間中に前記仮想の視点と前記仮想視線方向の組み合わせが、前記第３の組み合わせまで変化する前記組み合わせの変化速度を算定し、算定した変化速度で前記組み合わせを変化させるように構成してもよい。

以上のような車載システムによれば、ヘッドアップディスプレイを備えた車載システムにおいて、赤信号等の交通信号機が停止指示の信号により停車している期間中に、進路案内画像が表示される。進路案内画像は、仮想の視点から仮想の視線方向に観察した画像であり、前記仮想の視点と前記仮想の視線方向の組み合わせは、自動車のユーザの視点から自動車の前方方向を観察する組み合わせ、前記自動車の現在位置と前記案内ポイントとの間にある地理的範囲の少なくとも一部を含む地理的範囲を鳥瞰する組み合わせ、案内ポイントを含む地理的範囲を鳥瞰する組み合わせと、連続的に順次変化していく。

よって、交通信号機が停止指示の信号により停車している期間中に、現在位置から、案内ポイントまでのようすを事前にユーザに案内することができ、これにより、赤信号等の交通信号機が停止指示の信号で停車している期間中のヘッドアップディスプレイの有効活用が図られる。

また、このような進路案内画像の表示は、自動車のユーザの視点を仮想の視点の始点として、仮想始点が順次移動していくように行われるので、ユーザは自身の位置と各時点において表示される進路案内画像に現れる対象との位置関係を容易に把握しながら、自然に現在位置から案内ポイントまでのようすを認識することができるようになる。

以上のように、本発明によれば、ヘッドアップディスプレイを備えた車載システムにおいて、交通信号機の信号に従って停車している期間中に、ヘッドアップディスプレイをより有効に活用することができる。

本発明の実施形態に係る車載システムの構成を示すブロック図である。本発明の実施形態に係るヘッドアップディスプレイの配置を示す図である。本発明の実施形態に係るカメラの配置と路車間通信のようすを示す図である。本発明の実施形態に係るヘッドアップディスプレイの走行中の表示例を示す図である。本発明の実施形態に係る進路俯瞰表示制御処理を示すフローチャートである。本発明の実施形態に係る進路俯瞰表示処理を示すフローチャートである。本発明の実施形態に係る進路俯瞰表示処理の仮想始点経路を示す図である。本発明の実施形態に係る進路俯瞰表示処理の仮想始点経路の切替ポイントを示す図である。本発明の実施形態に係るヘッドアップディスプレイの赤信号による停車中の表示例を示す図である。本発明の実施形態に係るヘッドアップディスプレイの赤信号による停車中の表示例を示す図である。本発明の実施形態に係る進路俯瞰表示処理の仮想始点経路の他の例を示す図である。

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る車載システムの構成を示す。
車載システム１は自動車に搭載されているシステムであり、図示するように、車載システム１は、ヘッドアップディスプレイ１１、カメラ１２、移動通信網を介した移動通信を行う移動通信装置１３、自動車の車速や駐車中／停車中／走行中等の自動車の各種状態を検出する状態センサ１４、交差点などに設置された路側機２と通信を行う路車間通信装置１５、ＧＮＳＳ受信機や放送受信器や記憶装置やディスクドライブや入力装置などの各種周辺装置１６、以上各部を制御する制御装置１７を備えている。

そして、制御装置１７は、ヘッドアップディスプレイ１１の表示を制御する表示制御部１７１、制御装置１７の全体の動作を制御する制御部１７２を備えている。
また、制御装置１７は、制御部１７２の制御下で動作するアプリケーションとして、進路鳥瞰表示アプリケーション１７３（進路俯表示APP１７３）、現在位置や経路の案内を行うナビゲーションアプリケーション１７４（ナビゲーションAPP１７４）、その他のアプリケーション１７５（他APP１７５）を備えており、各アプリケーション１７５は表示制御部１７１を介してヘッドアップディスプレイ１１に、当該アプリケーション１７５の出力画像を表示することができる。

次に、図２ａに示すように、ヘッドアップディスプレイ１１は、運転席の前方のフロントウインドウに下方から画像を投影することにより、自動車の前方の、運転席のユーザから見て図２ｂのフロントウインドウ上の領域１２に重なる位置に画像の虚像１１０を表示する。

また、路車間通信装置１５は、図３ａ、ｂに示すように、交差点の各進入路などに設置された路側機２から、狭域無線通信等によって送信される情報を受信する受信機であり、路車間通信装置１５が、路側機２から受信する情報には、信号機情報が含まれる。そして、信号機情報には、当該車載システム１が搭載された自動車が走行中の道路に対する信号を提示する交通信号機の赤青黄の切り替えの時間パターン（各階梯の時間）や、現時点が各切り替えの時間パターン上の、どの時点に相当するかなど上方が含まれる。

また、図３ａ、ｂに示すように、カメラ１２は、フロントウインドウの上部の位置などに配置されて、自動車の前方を撮影する。なお、図３ｂ中のsは、撮影中心の方向（カメラ１２の視線方向）を表している。

さて、図１に戻り、制御装置１７は、移動通信装置１３を介して、インターネットなどのＷＡＮ上に配置された外部の俯瞰写真提供システム３にアクセスすることができる。また、制御装置１７の制御部１７２は、移動通信装置１３を介して、俯瞰写真提供システム３にカメラ１２で撮影した画像を送信する。

俯瞰写真提供システム３は、リアルタイム俯瞰写真ＤＢ３１と、過去俯瞰写真ＤＢ３２と、俯瞰写真サーバ３３を備えている。
リアルタイム俯瞰写真ＤＢ３１には、各車載システム１のカメラ１２で撮影され俯瞰写真提供システム３に送信された画像や、高所に配置した固定カメラ４１や飛行中のドローン４２や衛星４３に搭載したカメラで撮影され俯瞰写真提供システム３に送信された画像から生成した、各地域を高所から見下ろした現在のようすを表す写真であるリアルタイム俯瞰写真が格納されている。

また、過去俯瞰写真ＤＢ３２には、各地域について、過去に撮影した衛星写真や航空写真から生成した、過去に当該地域を高所から見下ろした過去のようすを表す写真である過去俯瞰写真が格納されている。

そして、俯瞰写真サーバ３３は、各車載システム１の制御装置１７から、地理的区域を指定した俯瞰写真の提供要求を受け取ったならば、当該地理的区域のリアルタイム俯瞰写真がリアルタイム俯瞰写真ＤＢ３１に格納されていればリアルタイム俯瞰写真ＤＢ３１に格納されている当該地理的区域のリアルタイム俯瞰写真を、提供要求の発行元の制御装置１７に、当該地理的区域の俯瞰写真として送信し、当該地理的区域のリアルタイム俯瞰写真がリアルタイム俯瞰写真ＤＢ３１に格納されていなければ過去俯瞰写真ＤＢ３２に格納されている当該地理的区域の過去俯瞰写真を、提供要求の発行元の制御装置１７に、当該地理的区域の俯瞰写真として送信する。

次に、ナビゲーションアプリケーション１７４は、周辺装置として備えた記憶装置に格納された地図やＧＮＳＳ受信機を利用して現在位置の算出を行うと共に、図４ａに示すように、ユーザから指定された目的地までの現在位置４０１からの経路を算出し誘導経路４０２として設定する処理を行う。

また、制御装置１７は、自動車が駐停車しておらず走行していることを状態センサ１４が検出しているときに、ナビゲーションアプリケーション１７４に、経路案内処理を実行させる。

そして、ナビゲーションアプリケーション１７４は、経路案内処理において、図４ｂに示すように、設定している誘導経路４０２に従って、次に右左折等の進路変更を行うべき交差点までの距離と、その交差点での進路変更方向を表す矢印とよりなる経路案内情報４０３をヘッドアップディスプレイ１１を用いてユーザに対して表示する。

以下、このような車載システム１において、自動車が赤信号で停車中に、ヘッドアップディスプレイ１１を、より有効に活用する動作について説明する。
まず、制御装置１７の制御部１７２が行う進路鳥瞰表示制御処理について行う。
図５に、この進路鳥瞰表示制御処理の手順を示す。
図示するように、進路鳥瞰表示制御処理において、制御部１７２は、状態センサ１４による自動車の停車の検出の発生を監視する（ステップ５０２）。
そして、自動車の停車の検出が発生したならば、発生した停車が交通信号機の赤信号による停車であるかどうかを、ナビゲーションアプリケーション１７４が算出している現在位置４０１と交差点との位置関係や、路車間通信装置１５による路側機２からの信号機情報の受信の有無や、受信した信号機情報の内容から判定する（ステップ５０４）。

そして、発生した停車が交通信号機の赤信号による停車でなければ、ステップ５０２からの処理に戻る。
一方、発生した停車が交通信号機の赤信号による停車であれば（ステップ５０４）、路側機２から受信した信号機情報から、現在から交通信号機が青信号に変化するまでの時間を、停車期間として算定する（ステップ５０６）。

そして、停車期間が所定のしきい値Th（たとえば、７秒）より長いかどうかを調べ（ステップ５０８）、長くなければステップ５０２からの処理に戻る。
一方、停車期間が所定のしきい値Thより長ければ（ステップ５０８）、停車期間から所定のマージンMGN（たとえば、２秒）を差し引いた時間を再生時間に設定し（ステップ５１０）、設定した再生時間による進路鳥瞰表示処理を進路鳥瞰表示アプリケーション１７３に開始させる（ステップ５１２）。

そして、状態センサ１４による自動車の走行中の検出の発生と（ステップ５１４）、進路鳥瞰表示アプリケーション１７３による進路鳥瞰表示処理の終了の発生と（ステップ５１６）とを監視し、状態センサ１４による自動車の走行中の検出が発生したならば（ステップ５１４）、進路鳥瞰表示アプリケーション１７３に進路鳥瞰表示処理を終了させて（ステップ５１８）、ステップ５０２からの処理に戻る。

また、進路鳥瞰表示アプリケーション１７３による進路鳥瞰表示処理の終了が発生したなら（ステップ５１６）、そのままステップ５０２からの処理に戻る。
以上、制御装置１７の制御部１７２が行う進路鳥瞰表示制御処理について説明した。
次に、進路鳥瞰表示アプリケーション１７３が行う進路鳥瞰表示処理について説明する。
なお、進路鳥瞰表示アプリケーション１７３が行う進路鳥瞰表示処理は、上述ように、以上の進路鳥瞰表示制御処理のステップ５１２で処理の開始が制御される、
図６に、進路鳥瞰表示処理の手順を示す。

図示するように、進路鳥瞰表示アプリケーション１７３は、進路鳥瞰表示処理において、まず、仮想視点移動経路と、仮想視点移動経路上の各位置における仮想視線方向を算定する（ステップ６０２）。

ここで、仮想視点移動経路と、仮想視点移動経路上の各位置における仮想視線方向は次のように算定する。
すなわち、図４ａに示すように、ナビゲーションアプリケーション１７４が設定している誘導経路４０２に従って、次に右左折等の進路変更を行うべき交差点を目的交差点TCに設定する。

そして、鉛直方向に見て、図７ａのように算定されている現在位置NPと、図７ａのように設定されている誘導経路４０２と目的交差点TCに対して、図７ｂ、図７ｃ示すように仮想視点移動経路VERと、仮想視点移動経路VER上の各位置における仮想視線方向sを設定する。

ここで、図７ｂは鉛直方向に見た仮想視点移動経路VERを、図７ｃは、水平方向に見た仮想視点移動経路VERを表している。
図示するように、仮想視点移動経路VERの始点Psは、自動車のユーザの視点の位置に設定し、当該始点Psにおける仮想視線方向sは自動車の前方方向とする。
また、誘導経路４０２上の目的交差点TC手前の、目的交差点TCとの間の距離がL3となる位置の上空の、標高が所定値H1となる位置に、仮想視点移動経路VERの終点Peを設定し、当該終点における仮想視線方向sは目的交差点TC方向とする。

また、現在位置４０１NPから所定距離L1離れるまで誘導経路４０２を戻った位置の上空の、標高がH2となる位置に、転換ポイントPcを設定する。
ここで、転換ポイントPcの標高H2は、現在位置４０１NPと目的交差点TCとの間の距離に応じて、転換ポイントPcを仮想始点として観察した画像において、現在位置４０１NPが、画像下方の画像の下端から所定距離上の位置に、目的交差点TCが画像上方の画像の上端から所定距離下の位置に現れる仮想視点方向sを設定可能な高さに設定する。なお、仮想視点から観察する画角は一定の予め定めた画角とする。

そして、転換ポイントPcのにおける仮想視線方向sを、転換ポイントPcを仮想始点として観察した画像において、現在位置４０１NPが、画像下方の画像の下端から所定距離上の位置に、目的交差点TCが画像上方の画像の上端から所定距離下の位置に現れることとなる方向に設定する。

そして、始点Ps、転換ポイントPc、終点Peを、当該順序で通る経路を、仮想視点移動経路VERに設定する。ここで、図７ｂに示すように、始点Psと転換ポイントPcの間の経路と、転換ポイントPcと終点Peの間の経路は、鉛直方向に見て誘導経路４０２に沿った経路とする。また、図７ｃに示すように、始点Psと転換ポイントPcの間の経路と、転換ポイントPcと終点Peの間の経路は、水平方向に見て直線となる経路とする。

また、仮想視点移動経路VER上の始点Psと転換ポイントPcとの間の各位置（たとえば、位置７０１）における仮想視線方向sを、始点Psから転換ポイントPcに向かって進むにつれて、始点Psにおける仮想視線方向sから転換ポイントPcにおける仮想視線方向sまで、仮想視線方向sが徐々に変化するように設定する。

また、仮想視点移動経路VER上の転換ポイントPcと終点Peとの間の各位置（たとえば、位置７０２）における仮想視線方向sを、転換ポイントPcから終点Peに向かって進むにつれて、転換ポイントPcにおける仮想視線方向sから終点Peにおける仮想視線方向sまで、仮想視線方向sが徐々に変化するように設定する。

図６に戻り、以上のように仮想視点移動経路と、仮想視点移動経路上の各位置における仮想視線方向を算定したならば、仮想視点移動経路の周辺の地理的区域の俯瞰写真の提供要求を、移動通信装置１３を介して、俯瞰写真提供システム３の俯瞰写真サーバ３３に発行することにより、当該地理的区域の俯瞰写真を取得する（ステップ６０４）。

なお、俯瞰写真サーバ３３に俯瞰写真の提供を要求する仮想視点移動経路の周辺の地理的区域は、仮想視点移動経路上の各位置から当該位置の仮想視線方向に観察したときに観察される各地理的範囲を含む地理的区域とする。
そして、次に、仮想視点移動経路の経路長を設定されている再生時間で除算して、仮想視点の移動速度を算定する（ステップ６０６）。
次に、仮想視点移動経路の始点Psに仮想視点を設定する（ステップ６０８）。
そして、仮想視点から、仮想視点の位置における仮想視線方向に見た風景の画像を、カメラ１２で撮影した画像に視点変換等の画像変換処理を施すことにより生成し、生成した画像を進路案内画像として、実空間の被写体に、生成した画像中の当該被写体の像が重畳して視認されるようにヘッドアップディスプレイ１１に表示する（ステップ６１０）。

そして、ステップ６０６で算定した仮想視点の移動速度による、仮想視点の、仮想視点移動経路の始点Psから仮想視点移動経路の終点Peへの、仮想視点移動経路上の移動を開始する（ステップ６１２）。
次に、仮想視点位置が切替ポイントまで移動したかどうかを調べる（ステップ６１４）。
ここで、切替ポイントは、仮想移動経路上の位置であって、その位置より仮想視点移動経路の終点Pe側に仮想視点が移動すると、カメラ１２で撮影した画像からでは、仮想視点から、仮想視点の位置における仮想視線方向に見た風景の画像を良好に生成できなくなる位置とする。

すなわち、たとえば、図８に示すように、その位置を仮想視点とした場合に、仮想視点から、仮想視点の位置における仮想視線方向に見た風景中に、カメラ１２で撮影された画像に含まれない自動車より前方の部分が発生しない位置のうちの、最も仮想視点移動経路の始点Psから仮想視点移動経路の終点Pe方向に進んだ位置を切替ポイントCPとする。

より具体的には、図８に示したように、自動車の前方に所定距離（たとえば、１.５ｍ）離れた位置に、普通車が存在すると仮定して、仮想視点から、仮想視点の位置における仮想視線方向に見た風景中に、カメラ１２で撮影された画像に含まれない自動車より前方の部分が発生しない、最も仮想視点移動経路の始点Psから仮想視点移動経路の終点Pe方向に進んだ位置を算定し、算定した位置を切替ポイントCPに設定する。

ただし、カメラ１２で撮影した画像から、自動車の前方の他車の有無や、自動車の前方の他車の位置や大きさを検出した上で、仮想視点から、仮想視点の位置における仮想視線方向に見た風景中に、カメラ１２で撮影された画像に含まれない自動車より前方の部分が実際に発生しない、最も仮想視点移動経路の始点から仮想視点移動経路の終点方向に進んだ位置を算定し、
算定した位置を切替ポイントCPに設定するようにしてもよい。

さて、図６に戻り、仮想視点位置が切替ポイントCPまで移動してなければ（ステップ６１４）、仮想視点から、仮想視点の位置における仮想視線方向に見た風景の画像を、カメラ１２で撮影した画像に視点変換等の画像変換処理を施すことにより生成し、生成した画像を進路案内画像としてヘッドアップディスプレイ１１に表示する（ステップ６１６）。

そして、仮想視点位置が仮想移動経路の終点Peに達したかどうかを調べ（ステップ６１８）、達していなければ、ステップ６１４からの処理に戻り、達していれば、進路鳥瞰表示処理を終了する。

一方、仮想視点位置が切替ポイントCPまで移動していれば（ステップ６１４）、仮想視点から、仮想視点の位置における仮想視線方向に見た風景の画像を、俯瞰写真提供システム３の俯瞰写真サーバ３３から取得した俯瞰画像から、所要画像部分のクリッピングや視点変換等により生成し、生成した画像に、現在位置４０１や誘導経路４０２や目的交差点TCを表すガイド図形を合成して進路案内画像として、ヘッドアップディスプレイ１１に表示する（ステップ６２０）。

そして、仮想視点位置が仮想移動経路の終点に達したかどうかを調べ（ステップ６２２）、達していなければ、ステップ６２０からの処理に戻り、達していれば進路鳥瞰表示処理を終了する。

以上、進路鳥瞰表示アプリケーション１７３が行う進路鳥瞰表示処理について説明した。
このような進路鳥瞰表示処理によれば、図９ａに示すように、ナビゲーションアプリケーション１７４によって、経路案内情報４０３がヘッドアップディスプレイ１１に表示されている状態において、自動車が交通信号機の赤信号で停車すると、当該時点から交通信号機が青信号に変わるまでの時間が所定時間以上ある場合には、経路案内情報４０３の表示は消去され、図９ｂに示すように、進路案内画像として、カメラ１２で撮影された自動車前方の風景の画像９０１が、運転席のユーザから見て実景と同位置に重なるようにヘッドアップディスプレイ１１に表示される。

そして、その後、ヘッドアップディスプレイ１１に表示される進路案内画像は、図９ｃに示すように、少しずつ、より上方の視点より見た自動車前方の風景の画像９０２に変化していく。

そして、次に、ヘッドアップディスプレイ１１の表示される進路案内画像は、図１０ａに示すように、現在位置４０１と、次に進路を変更する交差点である目的交差点TCを含んだ地理的範囲を高所から鳥瞰した風景を表すものとなる。また、この進路案内画像の表示には、現在位置を表す現在位置図形１００１と、誘導経路を表す誘導経路図形１００２と、目的交差点TCをマーキングするマーク図形１００３が含まれる。

そして、その後、ヘッドアップディスプレイ１１の表示される進路案内画像は、図１０ｂに示すように、徐々に目的交差点TCに近づいていく視点による風景を表すものとなる。

そして、最終的に、進路案内画像として、図１０ｃに示すように、目的交差点TCを、目的交差点TCの近くから鳥瞰した風景がヘッドアップディスプレイ１１に表示される。
以上、本発明の実施形態について説明した。
本実施形態によれば、赤信号で停車している期間中に、ヘッドアップディスプレイ１１に、仮想の視点から仮想の視線方向に観察した風景が表示される。ここで、前記仮想の視点と前記仮想の視線方向の組み合わせは、自動車のユーザの視点から自動車の前方方向を観察する組み合わせ、自動車の現在位置と目的交差点TCを含む地理的範囲を鳥瞰する組み合わせ、目的交差点TCを含む地理的範囲を目的交差点TC近くから鳥瞰する組み合わせと、連続的に順次変化していく。

よって、交通信号機が赤信号により停車している期間中に、現在位置から、目的交差点TCまでのようすを事前にユーザに案内することができ、これにより、赤信号で停車している期間中のヘッドアップディスプレイ１１の有効活用が図られる。

また、このような仮想の視点から仮想の視線方向に観察した風景のヘッドアップディスプレイ１１への表示は、自動車のユーザの視点を仮想視点の始点として、仮想始点が順次移動していくように行われるので、ユーザは自身の位置と各時点において表示される風景に現れる対象との位置関係を容易に把握しながら、自然に現在位置から目的交差点TCまでのようすを認識することができるようになる。

ところで、以上の実施形態における仮想視点経路や仮想視線方向の設定に代えて、他の仮想視点経路や仮想視線方向の設定を用いるようにしてもよい。
すなわち、たとえば、図１１に示すように、転換ポイントPcを、終点Peと同じ標高の位置に設定すると共に、転換ポイントPcから終点Peとの間の各位置における仮想視線方向sを、終点Peにおける仮想視線方向sと同じ方向としてもよい。ただし、この場合には、転換ポイントPcの現在位置４０１からの水平方向の距離は、転換ポイントPcから終点Peにおける仮想視線方向sと同じ方向に観察した画像中に現在位置４０１が現れる距離とする。

または、たとえば、図７や図１１に示した仮想視線移動経路VEARにおける転換ポイントPcを仮想視線移動経路VEARの始点Psとして、始点Psから、図７や図１１に示した仮想視線移動経路VEARにおける終点Peまでの経路を仮想視線移動経路VEARとして設定することもできる。

また、以上の実施形態では、仮想視点移動経路の終点Peを、誘導経路４０２上の次に進路を変更する交差点に対して設定したが、仮想視点移動経路の終点Peは、任意の地点に対して定めるようにしてよい。すなわち、たとえば、上述した実施形態において、目的交差点TCを、誘導経路４０２の目的地や経由地や、誘導経路４０２の現在位置４０１から所定距離進んだ地点や、走行中の道路を現在位置４０１から所定距離進行した地点に置き換えて、仮想視点移動経路の終点Peを設定するようにしてもよい。

また、以上の実施形態では、仮想視点移動経路上の仮想視点の位置に関わらず、仮想視点の移動速度を一定としたが、これは、仮想視点移動経路上の仮想視点の位置に応じて仮想視点の移動速度を変化させるようにしてもよい。すなわち、たとえば、視点Psから転換ポイントPcまでは仮想視点の移動速度を大きくし、終点Pe近くでは仮想視点の移動速度を小さくするなどしてもよい。

また、以上の実施形態は、赤信号以外の交通信号機の停止指示によって停車した場合にも同様に適用することができる。
また、以上の実施形態における進路案内画像は、さらに、道路図形や地名などの地図情報を合成したものとしてよい。また、以上の実施形態における進路案内画像の色調などのデザインは昼間と夜間で異なるものとしてもよい。

１…車載システム、２…路側機、３…俯瞰写真提供システム、１１…ヘッドアップディスプレイ、１２…カメラ、１３…移動通信装置、１４…状態センサ、１５…路車間通信装置、１６…種周辺装置、１７…制御装置、３１…リアルタイム俯瞰写真ＤＢ、３２…過去俯瞰写真ＤＢ、３３…俯瞰写真サーバ、４１…固定カメラ、４３…衛星、１７１…表示制御部、１７２…制御部、１７３…進路鳥瞰表示アプリケーション、１７４…ナビゲーションアプリケーション、１７５…他アプリケーション。

Claims

自動車に搭載される車載システムであって、
映像を虚像として前記自動車のフロントウインドウの前方に表示するヘッドアップディスプレイと、
前記自動車が交通信号機が停止指示の信号により停車している期間中に、前記ヘッドアップディスプレイに進路案内画像を表示する制御部とを有し、
前記制御部は、
仮想の視点から仮想の視線方向に観察した画像を生成し、生成した画像を前記進路案内画像として前記ヘッドアップディスプレイに表示する画像生成表示部と、
前記自動車が将来到達することが予測されるポイントを案内ポイントして、前記画像生成表示部が生成する画像の前記仮想の視点と前記仮想の視線方向の組み合わせを、前記自動車のユーザの視点と同じ位置を前記仮想の視点とし自動車の前方方向を前記仮想の視線方向とする第１の組み合わせから、前記自動車の現在位置と前記案内ポイントとの間にある地理的範囲の少なくとも一部を含む地理的範囲を鳥瞰する第２の組み合わせに変化させると共に、その後、当該第２の組み合わせから、前記案内ポイントを含む地理的範囲を鳥瞰する第３の組み合わせまで徐々に変化させる観察対象変更部とを有し、
前記第２の組み合わせにおける前記仮想の視点の位置は、前記第３の組み合わせにおける前記仮想の視点の位置よりも、前記現在位置に近い位置であり、前記第３の組み合わせにおける前記仮想の視点の位置は、前記第２の組み合わせにおける前記仮想の視点の位置よりも、前記案内ポイントに近い位置であることを特徴とする車載システム。
請求１記載の車載システムであって、
前記第２の組み合わせは、前記自動車の現在位置を含む地理的範囲を鳥瞰する、前記仮想の視点と前記仮想の視線方向の組み合わせ、または、前記自動車の現在位置と前記案内ポイントとの双方を含む地理的範囲を鳥瞰する、前記仮想の視点と前記仮想の視線方向の組み合わせであることを特徴とする車載システム。
請求１または２記載の車載システムであって、
前記自動車の前方を撮影するカメラを備え、
前記画像生成表示部は、少なくとも、前記第１の組み合わせにおける仮想の視点から当該第１の組み合わせにおける仮想の視線方向に観察した画像を、前記カメラが撮影した画像より生成することを特徴とする車載システム。
請求１、２または３記載の車載システムであって、
前記画像生成表示部は、前記仮想の視点と前記仮想の視線方向の組み合わせが、前記第２の組み合わせから前記第３の組み合わせまで変化する間の、仮想の視点から仮想の視線方向に観察した画像を、当該仮想の視点から仮想の視線方向に観察される地理的範囲を高所より俯瞰して撮影した写真である観察対象俯瞰写真より生成することを特徴とする車載システム。
請求項４記載の車載システムであって、
移動通信を行う移動通信装置を備え、
前記画像生成表示部は、前記移動通信装置の移動通信を介して、各地理的区域を高所より俯瞰して撮影した写真を提供するサーバにアクセスし、当該サーバから前記観察対象俯瞰写真を取得することを特徴とする車載システム。
請求項１、２、３、４または５記載の車載システムであって、
前記画像生成表示部は、前記仮想の視点と前記仮想の視線方向の組み合わせが、前記第２の組み合わせから前記第３の組み合わせまで変化する間の、仮想の視点から仮想の視線方向に観察した画像に、当該画像を観察した地理的範囲に前記自動車の現在位置が含まれる場合には前記自動車の現在位置の位置を表す図形を合成すると共に、当該画像を観察した地理的範囲に前記案内ポイントが含まれる場合には前記案内ポイントの位置を表す図形を合成して、前記進路案内画像として前記ヘッドアップディスプレイに表示することを特徴とする車載システム。
請求項１、２、３、４または５記載の車載システムであって、
目的地までの経路を誘導経路として設定する誘導経路設定部を有し、
前記案内ポイントは、前記誘導経路上の地点であり、
前記画像生成表示部は、前記仮想の視点と前記仮想の視線方向の組み合わせが、前記第２の組み合わせから前記第３の組み合わせまで変化する間の、仮想の視点から仮想の視線方向に観察した画像に、当該画像を観察した地理的範囲に前記自動車の現在位置が含まれる場合には前記自動車の現在位置の位置を表す図形を合成し、当該画像を観察した地理的範囲に前記誘導経路上の道路が含まれる場合には前記誘導経路を表す図形を合成すると共に、当当該画像を観察した地理的範囲に前記案内ポイントが含まれる場合には前記案内ポイントの位置を表す図形を合成して、前記進路案内画像として前記ヘッドアップディスプレイに表示することを特徴とする車載システム。
請求項７記載の車載システムであって、
前記案内ポイントは、前記誘導経路の目的地、または、次に前記誘導経路に従って進路を変更すべき交差点であることを特徴とする車載システム。
請求項１、２、３、４、５、６、７または８記載の車載システムであって、
前記制御部は、前記自動車が当該停車が前記自動車が交通信号機が停止指示の信号により停車したときに、当該時点から前記交通信号機が進行許可の信号を示すまでの時間が所定の期間より長い場合に、当該交通信号機が停止指示の信号により停車している期間中の、前記ヘッドアップディスプレイへの前記進路案内画像の表示を行い、当該時点から前記交通信号機が進行許可の信号を示すまでの時間が所定の期間より短い場合に、当該交通信号機が停止指示の信号により停車している期間中の前記ヘッドアップディスプレイへの前記進路案内画像の表示を行わないことを特徴とする車載システム。
請求項１、２、３、４、５、６、７または８記載の車載システムであって、
前記観察対象変更部は、前記自動車が当該停車が前記自動車が交通信号機が停止指示の信号により停車した時点から前記交通信号機が進行許可の信号を示すまでの時間に応じて、少なくとも、当該交通信号機が停止指示の信号により停車している期間中に前記仮想の視点と前記仮想視線方向の組み合わせが、前記第３の組み合わせまで変化する前記組み合わせの変化速度を算定し、算定した変化速度で前記組み合わせを変化させることを特徴とする車載システム。
請求項９記載の車載システムであって、
交通信号機が停止指示の信号により停車している期間中の、前記ヘッドアップディスプレイへの前記進路案内画像の表示を行う場合に、前記観察対象変更部は、前記自動車が当該停車が前記自動車が交通信号機が停止指示の信号により停車した時点から前記交通信号機が進行許可の信号を示すまでの時間に応じて、少なくとも、当該交通信号機が停止指示の信号により停車している期間中に前記仮想の視点と前記仮想視線方向の組み合わせが、前記第３の組み合わせまで変化する前記組み合わせの変化速度を算定し、算定した変化速度で前記組み合わせを変化させることを特徴とする車載システム。
映像を虚像として前記自動車のフロントウインドウの前方に表示するヘッドアップディスプレイを備えた、自動車に搭載される車載システムにおいて、ヘッドアップディスプレイの表示を制御する表示制御方法であって、
前記車載システムが、前記自動車が交通信号機が停止指示の信号により停車している期間中に、仮想の視点から仮想の視線方向に観察した画像を生成し、生成した画像を前記進路案内画像として前記ヘッドアップディスプレイに表示する画像生成表示ステップと、
前記車載システムが、前記自動車が将来到達することが予測されるポイントを案内ポイントして、前記画像生成表示ステップにおいて生成する画像の前記仮想の視点と前記仮想の視線方向の組み合わせを、前記自動車のユーザの視点と同じ位置を前記仮想の視点とし自動車の前方方向を前記仮想の視線方向とする第１の組み合わせから、前記自動車の現在位置と前記案内ポイントとの間にある地理的範囲の少なくとも一部を含む地理的範囲を鳥瞰する第２の組み合わせに変化させると共に、その後、当該第２の組み合わせから、前記案内ポイントを含む地理的範囲を鳥瞰する第３の組み合わせまで徐々に変化させる観察対象変更ステップとを有し、
前記第２の組み合わせにおける前記仮想の視点の位置は、前記第３の組み合わせにおける前記仮想の視点の位置よりも、前記現在位置に近い位置であり、前記第３の組み合わせにおける前記仮想の視点の位置は、前記第２の組み合わせにおける前記仮想の視点の位置よりも、前記案内ポイントに近い位置であることを特徴とする表示制御方法。
請求１２記載の表示制御方法であって、
前記第２の組み合わせは、前記自動車の現在位置を含む地理的範囲を鳥瞰する、前記仮想の視点と前記仮想の視線方向の組み合わせ、または、前記自動車の現在位置と前記案内ポイントとの双方を含む地理的範囲を鳥瞰する、前記仮想の視点と前記仮想の視線方向の組み合わせであることを特徴とする表示制御方法。
請求１２または１３記載の表示制御方法であって、
前記車載システムは、自動車の前方を撮影するカメラを備え、
前記画像生成表示ステップにおいて、少なくとも、前記第１の組み合わせにおける仮想の視点から当該第１の組み合わせにおける仮想の視線方向に観察した画像を、前記カメラが撮影した画像より生成することを特徴とする表示制御方法。
請求１２、１３または１４記載の表示制御方法であって、
前記画像生成表示ステップにおいて、前記仮想の視点と前記仮想の視線方向の組み合わせが、前記第２の組み合わせから前記第３の組み合わせまで変化する間の、仮想の視点から仮想の視線方向に観察した画像を、当該仮想の視点から仮想の視線方向に観察される地理的範囲を高所より俯瞰して撮影した写真である観察対象俯瞰写真より生成することを特徴とする表示制御方法。
請求項１２、１３、１４または１５記載の表示制御方法であって、
目的地までの経路を誘導経路として設定する誘導経路設定ステップを有し、
前記案内ポイントは、前記誘導経路上の地点であり、
前記画像生成表示ステップにおいて、前記仮想の視点と前記仮想の視線方向の組み合わせが、前記第２の組み合わせから前記第３の組み合わせまで変化する間の、仮想の視点から仮想の視線方向に観察した画像に、当該画像を観察した地理的範囲に前記自動車の現在位置が含まれる場合には前記自動車の現在位置の位置を表す図形を合成し、当該画像を観察した地理的範囲に前記誘導経路上の道路が含まれる場合には前記誘導経路を表す図形を合成すると共に、当当該画像を観察した地理的範囲に前記案内ポイントが含まれる場合には前記案内ポイントの位置を表す図形を合成して、前記進路案内画像として前記ヘッドアップディスプレイに表示することを特徴とする表示制御方法。
請求項１６記載の表示制御方法であって、
前記案内ポイントは、前記誘導経路の目的地、または、次に前記誘導経路に従って進路を変更すべき交差点であることを特徴とする表示制御方法。