JP7383888B2 - 画像制御装置、表示装置、移動体、画像制御方法、及びプログラム - Google Patents

Description

本発明は、画像制御装置、表示装置、移動体、画像制御方法、及び、プログラムに関する。

車両、船舶、航空機、産業用ロボット等の移動体に搭載されるヘッドアップディスプレイ（ＨＵＤ：Head-Up Display）の開発が進められている。ＨＵＤは、人間の視野に直接情報を映し出すものであり、搭乗者に種々の情報を提供する。ＨＵＤでは、生成された光像をフロントガラスやコンバイナ等によって搭乗者の方向に回折させ、搭乗者の視線の前方の虚像位置に画像が存在するかのように表示する。画像は、虚像位置で前方の走行路に重畳されて表示される（たとえば、特許文献１参照）。

重畳表示される画像として、自車両の移動予定の進路を示す進路情報を生成し、前方の路面に進路情報を重畳して表示するＨＵＤ装置が知られている。進路情報の中にカーブ情報が含まれているにもかかわらずそのカーブ情報が所定の表示エリアに入らないときに、カーブ情報の少なくとも一部が表示エリアに入るようにカーブ情報をシフトさせる手法が提案されている（たとえば、特許文献２参照）。

図１は、進路変化情報をシフトさせる公知の手法を説明する図である。公知の手法は、図１の（Ａ）のように曲がるべき進路が近くにあり、進路情報の画像が表示エリアの手前、すなわち、運転者の視点からみて表示エリアの下側にはみ出す場合の修正に関する。図２の（Ｂ）のように、当初表示するはずであった進路情報のマークＭ１～Ｍ７を、運転者の視点からみて上方のＭ１ｓ～Ｍ７ｓの位置にシフトさせ、シフト後のマークＭ１ｓ～Ｍ７ｓの少なくとも一部が表示エリア内に収まるように制御する。

この手法では、カーブ情報が生成されてからそのカーブ情報が表示エリア内に入るか否かを判断し、表示エリア内に入らないと判断された場合に、カーブ情報を表示エリア内に入るようにシフトさせる。判断自体が進路を変える直前になり、運転者にとって進路の変化がわかりにくく、余裕をもって運転状況を把握することが難しい。

また、一般的に、経路画像でカーブ等を表示する場合は、表示エリア内に実道路のカーブが存在する状態でカーブを表わす経路画像を表示するので、この場合も、余裕をもった運転状況の把握が困難である。

本発明は、進路の変化を含む進路情報を周囲環境に重畳表示する際に、進路の変化を移動体の搭乗者に分かりやすく表示することを目的とする。

本発明の一態様では、移動体に搭載される画像制御装置は、
前記移動体の搭乗者から見て、少なくとも前記移動体の移動する方向の路面を含む所定の位置に重畳されて見えるように表示される画像のデータを生成する制御部を備え、
前記制御部は、予め生成された予定経路に進路の変化が含まれている場合であって、前記移動体の搭乗者から見て前記所定の位置よりも遠方に前記進路の変化位置がある場合に、前記所定の位置に表示されるパターンを生成し、
前記パターンは、前記搭乗者から見た際に、当該パターンを構成する少なくとも一部の情報の延長線上に、実際の前記進路の変化位置があるように表示される。

上記の構成により、進路の変化を含む進路情報を周囲環境に重畳表示する際に、進路の変化を移動体の搭乗者に分かりやすく表示することが可能になる。

従来の進路変化情報のシフト方法を説明する図である。 表示装置を搭載した移動体の一例として、ＨＵＤを搭載した自動車を示す模式図である。 投射エリアの配置例を示す図である。 実施形態の表示装置のハードウェア構成図である。 表示装置と、移動体に搭載されるその他の電子機器との接続関係を示す模式図である。 実施形態の表示装置の画像制御装置の機能ブロック図である。 進路変化を表わす経路案内情報の一例を示す図である。 進路変化を示す経路案内情報の別の例を示す図である。 進路変化を表わす経路案内情報のさらに別の例を示す図である。 進路変化を表わす経路案内情報のさらに別の例を示す図である。 進路変化を表わす経路案内情報のさらに別の例を示す図である。 実施形態の表示制御方法のフローチャートである。

図２は、表示装置１を搭載した移動体の一例として、自動車３００を模式的に示す。表示装置１は、この例では車載ヘッドアップディスプレイ（以下、「ＨＵＤ」と省略する）である。表示装置１が搭載される移動体は、自動車３００に限定されず、車両、船舶、航空機、産業用ロボット等の移動体に表示装置１を搭載することができる。自動車３００は、アダプティブクルーズコントロール（ＡＣＣ：半自動走行）の機能を有していてもよい。

表示装置１は、例えば自動車３００のダッシュボード上、またはダッシュボード内に設置され、運転者または搭乗者（以下、単に「搭乗者」とする）Ｐの前方のフロントガラス３１０の所定の投射エリア３１１に、光像を投射する。

表示装置１は、光学装置１０と画像制御装置２０を有する。画像制御装置２０は主として、フロントガラス３１０に投射する画像のデータを生成し表示の制御を行う。光学装置１０は、生成された画像データに基づいた光像をフロントガラス３１０の投射エリア３１１に投射する。光学装置１０の構成は、本発明と直接関連しないので詳細な構成は図示しないが、たとえば、後述するようにレーザ光源と、レーザ光源から出力されるレーザ光を二次元走査して中間像を生成してフロントガラス３１０に投射する走査光学系を用いてもよい。光像の投射は、走査方式に限定されず、パネル方式で光像を投射エリア３１１に投射してもよい。

フロントガラス３１０の投射エリア３１１は、光の一部の成分を反射し、他の一部を透過させる透過反射部材で形成されている。光学装置１０によって描画された光像は、投射エリア３１１で反射されて、搭乗者Ｐの方向に向かう。反射光が破線で示す光路で搭乗者Ｐの瞳に入射したときに、搭乗者Ｐはフロントガラス３１０の投射エリア３１１に投影された画像を視認する。このとき、搭乗者Ｐは、光像があたかも虚像位置Ｉから点線の光路を通って瞳に入射しているかのように感じる。表示された画像は、虚像位置Ｉに存在するかのように認識される。

虚像位置Ｉにおける虚像は、自動車３００の前方の現実環境、たとえば走行路上に重畳されて表示される。この意味で、形成される画像をＡＲ（Augmented Reality：拡張現実）画像と呼んでもよい。

図３は、投射エリア３１１の配置例を示す図である。投射エリア３１１は、たとえば運転席から見てフロントガラス３１０の正面位置よりもやや下方に配置される比較的小さな領域である。搭乗者Ｐの視点と虚像位置Ｉを結ぶ線分は、投射エリア３１１の範囲内に含まれ、虚像位置Ｉで拡大された画像が視認される。

投射エリア３１１は、後述する画像が重畳表示される表示エリアと同じではない。投射エリア３１１は、生成された中間像が投射される領域であるのに対し、表示エリアは投射エリア３１１よりも外側で搭乗者Ｐの視野内にあり、重畳表示される光像が結像する虚像位置Ｉを含む一定のエリアをいう。表示エリアは、たとえば搭乗者Ｐの視点から前方に十数メートルほど離れた位置に設定される。

自動車３００には、自動車３００の周囲環境の情報を取得するカメラ５が搭載されていてもよいが、カメラ５は必須ではない。カメラ５は、たとえば自動車３００の前方、側方等の外部環境の画像を撮影する。カメラ５は、外部情報取得用のセンサの一例であり、カメラ５に替えて、またはカメラ５と組み合わせて超音波レーダ、レーザレーダ等を用いてもよい。

図４は、実施形態の表示装置１のハードウェア構成例である。表示装置１の光学装置１０は、光源としてのレーザダイオード（ＬＤ）１０１と、光走査デバイスとしてのＭＥＭＳ（Micro Electro Mechanical System）１０２を有する。ＬＤ１０１は、たとえば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を出力するレーザ素子を含む。ＭＥＭＳ１０２は、ＬＤ１０１から出力されるレーザ光を、図示しないスクリーンに二次元走査して中間像を描画する。光走査デバイスとしては、ＭＥＭＳの他にポリゴンミラー、カルバノミラー等を用いてもよい。

スクリーンに形成された中間像は、ミラー等を介して投射エリア３１１に入射し、搭乗者の方向に反射される。スクリーンは、マイクロレンズアレイ、マイクロミラーアレイ等で構成することができる。

画像制御装置２０は、ＦＰＧＡ（Field-Programmable Gate Array）２０１、ＣＰＵ（Central Processing Unit）２０２、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０４、インターフェース（以下、「Ｉ／Ｆ」という）２０５、バスライン２０６、ＬＤドライバ２０７、ＭＥＭＳコントローラ２０８、及び補助記憶装置としてのＳＳＤ（Solid State Drive）２０９を備えている。また、着脱可能に配置される記録媒体２１１を有していてもよい。

ＦＰＧＡ２０１は、ＬＤドライバ２０７とＭＥＭＳコントローラ２０８の動作を制御する。ＬＤドライバ２０７は、ＦＰＧＡ２０１の制御の下で、ＬＤ１０１を駆動するドライブ信号を生成し、出力する。ドライブ信号によって、Ｒ，Ｇ，Ｂの光を出色する各レーザ素子の発光タイミングが制御される。ＭＥＭＳコントローラ２０８は、ＦＰＧＡ２０１の制御の下でＭＥＭＳ制御信号を生成して出力し、ＭＥＭＳ１０２の走査角度と走査タイミングを制御する。ＦＰＧＡ２０１に替えて、ＰＬＧ（Programmable Logic Device）等のその他のロジックデバイスを用いてもよい。

ＣＰＵ２０２は、表示装置１の画像データ処理の全般を制御する。ＲＯＭ２０３は、ＣＰＵ２０２が表示装置１の各機能を制御するために実行するプログラムを含む各種のプログラムを記憶している。ＲＯＭ２０３は、経路画像の重畳表示に用いられる各種の画像オブジェクトを保存していてもよい。ＲＡＭ２０４は、ＣＰＵ２０２のワークエリアをして使用される。

Ｉ／Ｆ２０５は、外部コントローラ等と通信するためのインターフェースであり、例えば、自動車３００のＣＡＮ（Controller Area Network）を介して、カメラ５、車両ナビゲーション装置、各種センサ装置等に接続される。

表示装置１は、Ｉ／Ｆ２０５を介して記録媒体２１１の読み取りや書き込みを行うことができる。表示装置１での処理を実現する画像処理プログラムは、記録媒体２１１によって提供されてもよい。この場合、画像処理プログラムは、記録媒体２１１からＩ／Ｆ２０５を介してＳＳＤ２０９にインストールされる。画像処理プログラムのインストールは必ずしも記録媒体２１１よって行う必要はなく、ネットワークを介して他のコンピュータからダウンロードするようにしてもよい。ＳＳＤ２０９は、インストールされた画像処理プログラムを格納すると共に、必要なファイルやデータ等を格納する。

記録媒体２１１の一例としては、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤディスク、ＳＤメモリカード、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置としてはＳＳＤ２０９に替えて、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等を用いてもよい。ＳＤＤ２０９等の補助記憶装置と、記録媒体２１１は、いずれもコンピュータ読み取り可能な記録媒体である。

図５は、実施形態の表示装置１と、自動車３００に搭載されるその他の電子機器との接続関係を示す模式図である。表示装置１は、光学部２３０と画像制御部２５０を有する。光学部２３０は、大まかには光学装置１０に対応するが、ＦＰＧＡ２０１、ＬＤドライバ２０７、及びＭＥＭＳコントローラ２０８を光学部２３０に含めてもよい。画像制御部２５０は、画像制御装置２０の少なくとも一部によって実現される。

表示装置１は、Ｉ／Ｆ２０５及びＣＡＮを介して、ＥＣＵ（Electronic Control Unit：電子制御ユニット）６００、車両ナビゲーション装置４００、センサ群５００等の電子機器に接続されている。自動車３００にカメラ５が設置される場合は、カメラ５もＩ／Ｆ２０５を介して表示装置１に接続されていてもよい。

表示装置１は、車両ナビゲーション装置４００、センサ群５００、カメラ５等から外部情報を取得して、自車両が走行する経路の前方に進路の変化をもたらす要因が存在するか否かを判断する。より、具体的には、画像が重畳表示される表示エリアの上端よりも上方（遠方）に進路が変化する箇所があるか否かを判断する。表示エリアの上端よりも上方、すなわち表示エリアのさらに前方に交差点、分岐路など、進路が変化する箇所が検知される場合に、進路変化を表わす予定経路の画像データを生成して（または読み出して）、出力する。予定経路の画像の生成と出力の具体例は、図７以降を参照して説明する。

センサ群５００は、ハンドルの角度センサ、タイヤの角度センサ、加速度センサ、ジャイロセンサ、レーザレーダ装置、明るさセンサ等を含み、自動車３００の挙動、状態、周囲の状態、前方の走行車両との間の距離等を検知する。センサ群５００で得られた情報は画像制御部２５０に供給され、センサ情報の少なくとも一部が、進路変化を含む予定経路の生成に用いられる。

車両ナビゲーション装置４００は、道路地図、ＧＰＳ情報、交通規制情報、各道路の工事情報等を含むナビゲーション情報を有している。画像制御部２５０は、予定経路の判断に、車両ナビゲーション装置４００が有するナビゲーション情報の少なくとも一部を用いてもよい。予定経路の生成は、画像制御部２５０で行われてもよいし、車両ナビゲーション装置４００で行われてもよい。

図６は、画像制御部２５０の機能ブロック図である。画像制御部２５０は、情報入力部８００と、経路情報タイミング算出部８１０と、画像データ生成部８２０と、画像描画部８４０を有する。情報入力部８００は、Ｉ／Ｆ２０５で実現され、車両ナビゲーション装置４００、センサ群５００、ＥＣＵ６００、カメラ５等からの情報を入力する。

情報入力部８００は、外部情報入力部８００１と内部情報入力部８００２を有する。内部情報は、自動車３００自体の状態を表わす情報である。内部情報入力部８００２は、センサ群５００、及びＥＣＵ６００からＣＡＮ等を介して自動車３００の現在の速度、ハンドル角度、タイヤの角度等の情報を取得する。

外部情報は、内部情報以外の自動車３００の外部の状況等を示す情報である。外部情報入力部８００１は、車両ナビゲーション装置４００からナビゲーション情報、地図情報などを取得する。また、カメラ５から撮像情報を取得してもよい。

車両ナビゲーション装置４００で予定経路が生成される場合は、情報入力部８００は車両ナビゲーション装置４００から生成された予定経路情報を受け取ってもよい。

経路情報タイミング算出部８１０は、情報入力部８００で取得された外部情報と内部情報に基づいて、進行の変化を含む予定経路の画像データの生成・出力タイミングを算出する。一般的な予定経路の重畳表示では、カーブ、右左折など、進路の変化を示す経路のＡＲ画像は、実道路のカーブ、交差点等が表示エリア内に入っている状態で道路に重畳表示される。カーブ、交差点等の進路の変化位置が表示エリアの上端よりも上方、すなわち、搭乗者の視点から見て表示エリアを超えて前方に位置する区間では、カーブ等の情報を含まない通常の走行経路が重畳表示される。

これに対し、実施形態では、進路の変化位置が表示エリアの上端よりも上方、すなわち搭乗者の視点から見て表示エリアの向こう側にある区間で、進路変化を示す予定経路の画像を重畳表示する。これによって、搭乗者は右左折等の予定を事前に把握することができる。

経路情報タイミング算出部は、車両ナビゲーション装置４００から得られる地図情報、センサ群５００又はＥＣＵ６００から得られる車速情報等に基づいて、どのくらい手前から進路変化を表わす予定経路の画像データを出力するかを計算する。

画像データ生成部８２０の経路情報生成部８２１０は、経路情報タイミング算出部８１０によって算出されたタイミングで、進路変化を表わす予定経路の画像データのオブジェクトをＲＯＭ２０４から読出して、現在の車両位置に応じた経路画像に加工する。すなわち、実際の右左折等の位置が表示エリアの上側にある状態で、表示エリアよりもさらに前方に進路の変化があることを表わす経路案内情報が走行路面に遠近的に重畳表示され得る画像データを生成する。

画像描画部８４０は制御部８４１０を有し、画像データ生成部８２０によって生成された画像データに基づいて、光学装置１０による画像の投射動作を制御する。画像描画部８４０は、ＦＰＧＡ２０１、ＬＤドライバ２０７、及びＭＥＭＳコントローラ２０８によって実現され得る。以下で、予定経路と補助画像の具体例を説明する。

＜進路変化を示す経路案内情報の例＞
図７は、進路変化を表わす経路案内情報の一例を示す図である。一定の表示エリア３０内で、走行路３３の路面に経路案内パターン３５Ａを構成する経路案内マークＭ１～Ｍ３が重畳的に表示されている。自車両が曲がるべき左折路は、表示エリア３０の上端よりも上方に位置する。表示装置１は、左折路が表示エリア３０に入るよりも手前から、事前に進路変化の存在を示す経路案内画像を出力し、走行路３３に重畳表示する。

進路変化を表わす経路案内画像を出力するタイミングは、道路の種類、制限速度、自車両の速度等によって、表示装置１の画像制御部２５０によって計算される。

図７の例では、経路案内マークＭ１～Ｍ３は、進路変化が生じる予定の方向に向かって延びる３つの平行な矢印で、遠近的に重畳表示されている。左折路が存在する左斜め上に向かって、経路案内マークＭ１～Ｍ３の矢印の長さは徐々に短くなり、かつ配置間隔が徐々に狭くなるように重畳表示される。また、経路案内パターン３５Ａを構成する経路案内マークＭ１～Ｍ３の配列の延長線上の先に左折路が存在することを、直感的に把握できる配置となっている。

なお、経路案内マークＭ１～Ｍ３の配列の延長線を示す一点鎖線は、発明を理解しやすくするために描かれているものであり、重畳表示されるオブジェクトには含まれない。

表示エリア３０内で左折を示す矢印の数、長さ、表示間隔は、自車両の走行速度に応じて適切に選択される。比較的高速で走っているときは、矢印の数を少なくして間隔を広げてもよい。比較的低速で走っているときは、矢印の数を増やして間隔を狭くしてもよい。実際の左折路が搭乗者から見て表示エリア３０よりも上方にある状態で、連続的に変化する矢印のパターンで進路変化を表わす経路案内情報を重畳表示することで、搭乗者は、視線を前方に向けたまま進路変化の予定を事前に把握することができる。

図８は、進路変化を表わす経路案内情報の別の例を示す。図７では、経路案内パターン３５Ａを、長さの異なる平行な矢印で経路案内マークＭ１～Ｍ３を形成した。図８のように、進路変化が予定されている方向に向かって、矢印の角度を変化させてもよい。この場合も、経路案内パターン３５Ｂを構成する経路案内マークＭ１１～Ｍ１５の配列の延長線上に進路の変化位置が存在するように遠近的に重畳表示される。

経路案内マークＭ１１は、走行路３３上で最も手前に重畳され、長さが最も長く、表示エリア３０の水平軸に対する角度が大きい。表示エリア３０の上側に向かうにつれて矢印の長さが短くなり、かつ水平軸に対する角度が小さくなる。表示エリア３０の上端に最も近い経路案内マークＭ１５は、矢印の長さが最も短くかつほぼ水平になっている。

なお、経路案内マークＭ１１～Ｍ１５の配列の延長線を示す一点鎖線は発明を理解しやすくするために描かれているものであり、重畳表示されるオブジェクトには含まれない。

左折路が表示エリア３０の上端よりも上側にある場合に、連続的に変化する経路案内マークＭ１１～Ｍ１５を出力し、走行路３３に重畳表示することで、搭乗者は進路の変化を事前に把握して余裕をもって運転することができる。

図９は、進路変化を表わす経路案内の別の例を示す図である。図９の（Ａ）の経路案内パターン３５Ｃは、帯状のパターン３１と、帯状のパターン３１の中に配置される複数の矢印３２₁～３２_kで形成される。帯状のパターン３１は、表示エリア３０の右下のコーナーから、左折路が存在する方向に向かって遠近的に延びている。矢印３２₁～３２_kは、表示エリア３０の右下のコーナーから連続して配置され、徐々に形状が小さく、かつ徐々に配置間隔が狭くなるように配置されている。

図９の（Ａ）のように、左折路が搭乗者から見て表示エリア３０の上方にある場合に、経路案内パターン３５Ｃを走行路３３に重畳表示することで、搭乗者は視線を前方に向けたまま、進路変化を事前に知ることができ、余裕をもって運転することができる。

図９の（Ｂ）のように、左折路が表示エリア３０の中に入ると、自車両の進行につれて重畳表示されるパターンを経路案内パターン３５Ｄのように変更してもよい。帯状のパターン３１は、表示エリア３０内で左折路に沿って左側に湾曲する。複数の矢印３２_i～３２_rは、帯状のパターン３１の中で、左折路に向かって徐々に間隔が狭く、小さくなるように重畳表示される。

図９の（Ａ）及び（Ｂ）の経路案内パターン３５Ｂ、３５Ｄを走行路３３に重畳表示することで、搭乗者は前方に存在する進路変化を事前に予測し、進路変化位置では、自車両の進行の軌跡を視覚的に把握しながら運転することができる。

図１０は、進路変化を表わす経路案内のさらに別の例を示す図である。図１０の（Ａ）のように、左折路が表示エリア３０の上方にある場合に、左折路の存在を示す経路案内パターン３５Ｅが表示エリア３０に重畳表示される。経路案内パターン３５Ｅは、一連の矢印３６₁～３６_kで形成される。経路案内パターン３５Ｅは、表示エリア３０の右下のコーナーから、左折路が存在する方向に向かって遠近的に延びている。搭乗者の視点から見たときに表示エリア３０の下端に最も近い矢印３２₁が最も大きく表示され、表示エリア３０の上端に向かうにつれて、矢印３２の大きさが小さくなり、かつ間隔が狭くなる。一連の矢印３６₁～３６_kの延長線上に、現実の左折路が位置するように経路案内パターン３６Ｃは形成されている。

経路案内パターン３５Ｅを走行路３３に重畳表示することで、搭乗者は視線を前方に向けたまま、進路変化を事前に知ることができ、余裕をもって運転することができる。

図１０の（Ｂ）のように、左折路が表示エリア３０の中に入ると、自車両の進行につれて重畳表示されるパターンを経路案内パターン３５Ｆのように変更してもよい。矢印３２_i～３２_rの配列は、表示エリア３０内で左折路に沿って左側に湾曲する。

図１０の（Ａ）及び（Ｂ）の経路案内パターン３５Ｅ、３５Ｆを走行路３３に重畳表示することで、搭乗者は前方に存在する進路変化を事前に予測し、進路変化位置では、自車両の進行の軌跡を視覚的に把握しながら運転することができる。

図１１は、進路変化を表わす経路案内の別の例を示す図である。図１１の（Ａ）に示す経路案内パターン３５Ｇは、帯状のパターン３１と、帯状のパターン３１の中に配置される矢印４２で形成される。帯状のパターン３１は、表示エリア３０の右下のコーナーから左折路が存在する方向に向かって遠近的に延びている。矢印４２は、進路を変えるべき方向を示している。矢印４２の表示位置は、搭乗者にとって見づらくなければ帯状のパターン３１または帯状のパターン３１を形成する線分と重なって表示されてもよい。

図１１の（Ａ）のように、左折路が搭乗者から見て表示エリア３０の上方にある場合に経路案内パターン３５Ｇを走行路３３に重畳表示することで、搭乗者は視線を前方に向けたまま、進路変化を事前に知ることができ、余裕をもって運転することができる。

図１１の（Ｂ）のように、左折路が表示エリア３０の中に入ると、自車両の進行につれて重畳表示されるパターンを、図１１の（Ｂ）の経路案内パターン３５Ｈに変更してもよい。帯状のパターン３１は、表示エリア３０内で左折路に沿って湾曲し、矢印４２は左折路を示して重畳表示される。

図１１の（Ａ）及び（Ｂ）の経路案内パターン３５Ｇ及び３５Ｈを走行路３３に重畳表示することで、搭乗者は前方に存在する進路変化を事前に予測し、進路変化位置では、自車両の進行の軌跡を視覚的に把握しながら運転することができる。

図７～図１１で、経路案内マークまたはパターンを形成する１つ以上の矢印の色、濃さ、透明度等を変えてよい。進路変化位置に近い矢印ほど、すなわち搭乗者の視点から遠い矢印ほど、色を濃く表示する、あるいは赤色などの目立つ色で表示してもよい。表示エリア３０の下端に近い矢印は、サイズも大きく手前に表示されるため、色が薄く、透明度を高くすることで、搭乗者の視界の妨げにならないようにする。図１１のように、単一の矢印４２を用いる場合も、進路変化位置に入る前と入った後で、矢印４２の色、大きさなどを変えてもよい。

上述した例では、ほぼ９０度に曲がる左折路を例にとって説明したが、本発明は上記の適用例に限定されず、右折路や、Ｙ字路等の進路変化が生じる位置に先立って、進路変化を示す経路案内マークを重畳表示してもよい。

図１１は、表示装置１で行われる表示制御のフローチャートである。この制御フローは表示装置１の画像制御部２５０によって実施される。

画像制御部２５０は、自車両の内部情報と外部情報を取得する（Ｓ１１）。内部情報はセンサ群５００、ＥＣＵ６００から取得される速度情報、ハンドル角度情報、タイヤ角情報、自車両で推定した位置情報などである。外部情報は、車両ナビゲーション装置４００、カメラ５、センサ群５００（レーザレーダ等）、ＧＰＳ等から取得される地図情報、撮像情報、周囲の環境情報、測距情報等である。車両ナビゲーション装置４００で走行の予定経路が生成される場合は、車両ナビゲーション装置４００から予定経路情報を取得してもよい。

画像制御部２５０は、取得した情報に基づいて、進路変化がある位置の手前の所定の位置、たとえば、進路変化の位置よりも１００～２００メートル手前の位置に車両が到達したか否かを判断する（Ｓ１２）。進路変化位置の手前に到達していない場合は（Ｓ１２でＮＯ）、進路情報の表示を行わなくとも良いし、前方を示す進路情報の表示を行ってもよい。進路変化位置の手前の所定の位置に到達したときは（Ｓ１２でＹＥＳ）、進路変化を含む経路案内情報を出力するタイミングを計算する（Ｓ１３）。経路案内情報の出力タイミングは、進路変化が生じる位置、現在の車両の位置と速度等から計算される。より具体的には、進路変化の位置が搭乗者の視点から見て表示エリア３０の上方にある状態で、その進路変化を示す経路案内が走行路に重畳表示されるように、タイミングが計算される。そして、経路案内情報を生成し（Ｓ１４）、出力する（Ｓ１５）。

出力タイミングの計算（Ｓ１３）と、経路案内情報の生成（Ｓ１４）は、同時に行われてもよいし、順番が逆であってもよい。

生成された経路案内情報の出力の後に、進路変化位置が表示エリア内に入ったか否かを判断してもよい（Ｓ１６）。進路変化位置が表示エリア内に入らないうちは、Ｓ１３～Ｓ１５を繰り返して、表示エリアに経路案内情報を重畳表示する。

進路変化位置が表示エリア内に入ったときは（Ｓ１６でＹＥＳ）、図９の（Ｂ）、図１０の（Ｂ）、あるいは図１１の（Ｂ）のように、経路案内情報のパターンを進路の変更に合せて調整してもよい（Ｓ１７）。

ステップＳ１１～Ｓ１７は、表示制御が終了するまで繰り返し行われる（Ｓ２２でＮＯ）。車両の走行が終了したとき（エンジンが切られたとき）、あるいは表示制御ＯＦＦの指示が入力されたときに、表示制御が終了し（Ｓ１８でＹＥＳ）、処置を終了する。

この表示制御をプログラムで実行する場合は、表示制御用のプログラムをＲＯＭ２０３またはＳＳＤ２０９に格納しておき、ＣＰＵ２０２でプログラムを読み出して実行してもよい。この場合、ＣＰＵ２０２は少なくとも、
(a)移動体の搭乗者から見て、少なくとも移動体が移動する方向の路面を含む所定に位置に重畳されて見えるように表示される画像のデータを生成する手順と、
(b)予め生成された予定経路に進路の変化が含まれている場合であって、前記移動体の搭乗者から見て前記所定の位置よりも遠方に前記進路の変化位置がある場合に、前記所定の位置にパターンを重畳表示する手順、
とを実行させ、前記パターンは、前記搭乗者から見たときに、前記パターンを構成する少なくとも一部の情報の延長線上に実際の前記進路の変化位置があるように表示される。

上述した構成と手法により、表示エリア３０の面積が限られ、進路の変化を路面に重畳表示できない場合も、進路変化位置の手前から連続して進路変化の存在を示す経路案内を出力することで、搭乗者は進路の変化を事前に想定することができる。

本発明の構成と手法は、たとえば、交差点や分岐点が連続し、ナビゲーションシステムによる「次の角を左に曲がってください」という音声案内で、「次の角」がどの角を指すのか判断が困難な場合に、特に有用である。進路変化の手前から進路変化を表わす経路案内が出力され、連続的に並べられるマークまたはパターンの配列の延長線上に、曲がるべき実際のコーナーが位置するように、経路案内情報が走行路に重畳表示される。搭乗者は、視点を前方においたまま、正しい位置で曲がることができ、余裕をもって運転できる。

本発明は上述した実施形態に限定されない。たとえば、進路変化を表わす経路案内パターンは矢印以外に、連続する複数の三角形の配列など、進路の変化を視覚的に示す任意のパターンを用いることができる。また、配列されるマークの色、濃淡、透明度などを段階的に変化させて、進路変化の視認性を高めてもよい。

光学装置１０として、レーザ走査方式に替えてパネル方式を採用してもよい。パネル方式として、液晶パネルＤＭＤ（Digital Mirror Device：デジタルミラーデバイス）パネル、ドット蛍光表示管（ＶＦＤ：Vacuum Fluorescent Display）等のイメージングデバイスを用いてもよい。

フロントガラス３１０の投射エリア３１１に、ハーフミラー、ホログラム等で形成されるコンバイナが設けられていてもよい。フロントガラス３１０の表面または層間に光透過・反射型の反射膜が蒸着されていてもよい。

表示装置１の各機能の少なくとも一部を、１以上のコンピュータで構成されるクラウドコンピューティングによって実現してもよい。

１ 表示装置
５ カメラ
１０ 光学装置
２０ 画像制御装置
３０ 表示エリア
３２₁～３２_k、３２_i～３２_r、３６₁～３６_k、３６_i～３６_r
３５Ａ～３５Ｈ 経路案内パターン
２３０ 光学部
２５０ 画像制御部
３００ 自動車（移動体）
３１０ フロントガラス
３１１ 投射エリア
４００ 車両ナビゲーション装置
５００ センサ群
６００ ＥＣＵ
８００ 情報入力部
８１０ 経路情報タイミング算出部
８２０ 画像データ生成部
８２１０ 経路情報生成部
８４０ 画像描画部
８４１０ 制御部
Ｍ１～Ｍ３、Ｍ１１～Ｍ１５ 経路案内マーク

特開２０１６－１４５７８３号 特開２０１７－２１１３７０号

Claims (12)

1. 移動体に搭載される画像制御装置であって、
   前記移動体の搭乗者から見て、少なくとも前記移動体の移動する方向の路面を含む所定の位置に重畳されて見えるように表示される画像のデータを生成する制御部を備え、
   前記制御部は、予め生成された予定経路に進路の変化が含まれている場合であって、前記移動体の搭乗者から見て前記所定の位置よりも遠方に前記進路の変化位置がある場合に、前記所定の位置に表示されるパターンを生成し、当該パターンは複数のマークを含み、
   前記パターンは、前記搭乗者から見たときに、当該パターンを構成する前記複数のマークのそれぞれが前記進路の変化位置に至るまでの前記移動体の進路変化の方向を示すように表示され、前記進路変化の方向を示す前記複数のマークは、前記進路の変化位置に向かうにつれて水平軸に対する角度が小さくなる、
   画像制御装置。
2. 前記パターンは、少なくとも前記進路の変化位置での前記進路変化の方向を示すマークを含む、請求項１に記載の画像制御装置。
3. 前記複数のマークの配置間隔は、前記進路の変化位置に近づくほど狭くなる、請求項１又は２に記載の画像制御装置。
4. 前記複数のマークの大きさ、もしくは所定方向の長さは、前記進路の変化位置に近づくほど小さくなる、
   請求項１乃至３の何れか１項に記載の画像制御装置。
5. 前記パターンを構成する少なくとも一部のマークは前記複数のマークそれぞれの中心位置を示すこと、を特徴とする請求項１乃至４の何れか１項記載の画像制御装置。
6. 前記パターンを構成する少なくとも一部のマークは前記複数のマークのそれぞれの端部位置を示すこと、を特徴とする請求項１乃至４の何れか１項記載の画像制御装置。
7. 前記パターンは線分を含み、前記パターンを構成する前記複数のマークは、当該線分であること、を特徴とする請求項１乃至４の何れか1項記載の画像制御装置。
8. 前記進路の変化位置が前記パターンが重畳して見える範囲に入った場合、前記進路変化の方向を示す画像のデータを生成し、前記複数のマークの延長線上に前記進路の変化位置があるように前記画像を表示する、
   請求項１乃至６の何れか１項記載の画像制御装置。
9. 請求項１乃至８の何れか１項記載の画像制御装置と、
   前記画像のデータに基づく光像を前記移動体の所定の投射エリアに投射する光学装置と、
   を備える表示装置。
10. 請求項９に記載の表示装置を搭載した移動体。
11. 移動体に搭載される表示装置における画像制御方法であって、
    移動体の搭乗者から見て、少なくとも移動体が移動する方向の路面を含む所定に位置に重畳されて見えるように表示される画像のデータを生成し、前記画像のデータは複数のマークを含むパターンを含み、
    予め生成された予定経路に進路の変化が含まれている場合であって、前記移動体の搭乗者から見て前記所定の位置よりも遠方に前記進路の変化位置がある場合に、前記所定の位置に前記パターンを重畳表示し、
    前記パターンは、前記搭乗者から見たときに、前記パターンを構成する前記複数のマークのそれぞれが前記進路の変化位置位置に至るまでの前記移動体の進路変化の方向を示すように表示され、前記進路変化の方向を示す前記複数のマークは、前記進路の変化位置に向かうにつれて水平軸に対する角度が小さくなるように表示されることを特徴とする画像制御方法。
12. 移動体に搭載される画像制御装置に以下の手順を実行させるプログラムであって、
    移動体の搭乗者から見て、少なくとも移動体が移動する方向の路面を含む所定に位置に重畳されて見えるように表示される画像のデータを生成する手順において、予め生成された予定経路に進路の変化が含まれている場合であって、前記移動体の搭乗者から見て前記所定の位置よりも遠方に前記進路の変化位置がある場合に、前記所定の位置に表示されるパターンを生成する手順を実行させ、前記画像のデータは複数のマークを含むパターンを含み、
    前記パターンは、前記搭乗者から見たときに、前記パターンを構成する前記複数のマークのそれぞれが前記進路の変化位置位置に至るまでの前記移動体の進路変化の方向を示すように表示され、前記進路変化の方向を示す前記複数のマークは、前記進路の変化位置に向かうにつれて水平軸に対する角度が小さくなるように表示される、
    プログラム。

Images