JP7210165B2 - 仮想経路を表示する方法、装置及びディスプレイ装置 - Google Patents

Description

実施形態は仮想経路を表示する方法、装置及びディスプレイ装置等に関する。

運転者を補助するために様々な視覚情報を示す拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）が車両に含まれたディスプレイ又はナビゲーションによって提供されている。例えば、２次元ヘッドアップディスプレイ（２Ｄ ＨＵＤ：Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）に基づくナビゲーション装置の場合、表示される経路情報と実際の走行情報との間の整合性をユーザが直接調整しなければならないか、又は、固定された所定の位置に仮想映像が表示される。そのため、正確な道の案内が困難であったり、走行中に危険要素として作用することがある。３Ｄ ＨＵＤに基づくナビゲーションは、車両又は道路の空間情報を把握するため、経路を実際の走行環境に近付けることができる。しかし、ユーザの目の位置が変化することにより、ユーザの目の位置に応じて３次元仮想経路の表示位置に誤差が発生する可能性がある。

特開平１０－１７０２８２号公報

一側面によれば、検出速度を同期化させることなく角度センサが独立的に位置／姿勢情報を検出し、現在の検出情報と過去に他のセンサから推定された位置／姿勢情報を統合することで、遅延されることなく現在の位置／姿勢を推定することにある。

一側面によれば、視覚的走行距離（ｖｉｓｕａｌ ｏｄｏｍｅｔｒｙ）及び３次元深度値の検出（ｄｅｐｔｈ ｓｅｎｓｉｎｇ）情報など、高精密検出情報を活用して推定された位置情報を用いてＡＲオブジェクト（ｎａｖｉｇａｔｉｏｎ情報）を生成することにある。

一側面によれば、ユーザの視点をリアルタイムに追跡して走行道路の照明（ｌｉｇｈｔｉｎｇ）及び質感（ｔｅｘｔｕｒｅ）などを推定して３次元仮想オブジェクトを途切れることなくレンダリングすることにある。

一実施形態によれば、仮想経路を表示する方法は、センサから非同期的に受信される検出データに基づいて車両の位置を推定するステップと、前記車両の位置と前記車両の走行環境に対応する走行環境モデルを地図情報に整合させて３次元の仮想経路を生成するステップと、前記３次元の仮想経路を出力するステップとを含む。

前記センサは、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）センサ、車載式故障診断装置（ＯＢＤ：Ｏｎ－ｂｏａｒｄ ｄｉａｇｎｏｓｔｉｃｓ）センサ、及びカメラセンサのうち少なくとも１つを含み得る。

前記検出データを前記センサごとに互いに独立的にサンプリングし得る。

前記車両の位置を推定するステップは、前記検出データごとに、当該の検出データが処理された処理時間に関する情報を挿入するステップと、前記処理時間に関する情報を有する検出データを用いて前記車両の位置を推定するステップとを含み得る。

前記車両の位置を推定するステップは、前記センサのうち、第１センサから第１時間に受信された第１検出データに基づいて前記車両の第１位置を推定するステップと、前記センサのうち、前記第１センサ又は第２センサから第２時間に受信された第２検出データに基づいて前記第１位置を第２位置に更新するステップと、前記センサのうち、前記第１センサ、又は第２センサ、又は第３センサから第３時間に受信された第３検出データに基づいて前記車両の第２位置を第３位置に更新するステップとを含み得る。

前記仮想経路を表示する方法は、前記センサのうちカメラセンサから取得した映像データを用いて視覚的走行距離を測定するステップをさらに含み、前記車両の位置を推定するステップは、前記検出データ及び前記視覚的走行距離を用いて前記車両の位置を推定するステップを含み得る。

前記検出データ及び前記視覚的走行距離を用いて前記車両の位置を推定するステップは、前記検出データのうち、前記映像データを除いたいずれか１つの検出データを用いて前記車両の位置を推定するステップと、前記映像データに基づいた視覚的走行距離を用いて前記車両の位置を補正するステップとを含み得る。

前記３次元の仮想経路を生成するステップは、前記センサのうち、カメラセンサから取得した映像データを用いてセグメンテーション映像を生成するステップと、前記セグメンテーション映像に含まれたオブジェクトを検出するステップと、前記オブジェクトから識別された前記車両の走行車路及び前記オブジェクトの深度値を用いて前記走行環境モデルを生成するステップと、前記車両の位置及び前記走行環境モデルを前記地図情報に整合させて前記３次元の仮想経路を生成するステップとを含み得る。

前記３次元の仮想経路を生成するステップは、前記センサのうちカメラセンサから取得した映像データを用いて、前記車両の走行車路を含む領域の照明及び質感を推定するステップと、前記照明及び前記質感を適用して前記３次元の仮想経路を生成するステップとを含み得る。

前記仮想経路を表示する方法は、前記車両の運転者視点に一致するよう前記３次元の仮想経路を変換するステップをさらに含み、前記３次元の仮想経路を出力するステップは、前記変換された仮想経路を表示するステップを含み得る。

前記変換された仮想経路を出力するステップは、前記変換された仮想経路を前記車両のヘッドアップディスプレイ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）装置を介して表示するステップを含み得る。

前記３次元の仮想経路を変換するステップは、前記運転者両眼の３Ｄ位置を追跡することによって前記運転者視点を追跡するステップと、前記運転者両眼の３Ｄ位置を用いて前記ヘッドアップディスプレイ装置を介して表示される仮想映像と前記運転者視点との間の変換関係を予測するステップと、前記変換関係に基づいて前記３次元の仮想経路を変換するステップとを含み得る。

一実施形態によれば、仮想経路を表示する装置、車両の位置、前記車両の姿勢、及び前記車両の走行環境を含む映像を含む検出データを検出するセンサを含むセンサモジュールと、地図情報を格納するメモリと、前記センサから非同期的に受信される検出データに基づいて車両の位置を推定し、前記車両の位置と前記車両の走行環境に対応する走行環境モデルを前記地図情報に整合させて３次元の仮想経路を生成するプロセッサと、前記３次元の仮想経路を表示するディスプレイ装置とを含む。

前記センサは、前記車両の絶対経路を測定するＧＰＳセンサと、前記車両の相対経路を測定するＩＭＵセンサと、前記車両の走行距離を測定するＯＢＤセンサと、前記車両の走行環境を含む映像データをキャプチャーするカメラセンサのうち２以上又はそれ以上を含み得る。

前記検出データを前記センサごとに互いに独立的にサンプリングし得る。

前記プロセッサは、前記検出データごとに当該の検出データが処理された処理時間に関する情報を挿入し、前記処理時間に関する情報を有する検出データを用いて前記車両の位置を推定し得る。

前記プロセッサは、前記センサのうち第１センサから第１時間に受信された第１検出データに基づいて前記車両の第１位置を推定し、前記センサのうち、前記第１センサ又は第２センサから第２時間に受信された第２検出データに基づいて前記第１位置を第２位置に更新し、前記センサのうち、前記第１センサ、又は前記第２センサ、又は第３センサから第３時間に受信された第３検出データに基づいて前記車両の第２位置を第３位置に更新し得る。

前記プロセッサは、前記センサのうちカメラセンサから取得した映像データを用いて視覚的走行距離を測定し、前記検出データ及び前記視覚的走行距離を用いて前記車両の位置を推定し得る。

前記プロセッサは、前記検出データのうち前記映像データを除いたいずれか１つの検出データを用いて前記車両の位置を推定し、前記映像データに基づいた視覚的走行距離を用いて前記車両の位置を補正し得る。

前記プロセッサは、前記センサのうちカメラセンサから取得した映像データを用いてセグメンテーション映像を生成し、前記セグメンテーション映像に含まれたオブジェクトを検出し、前記オブジェクトから識別された前記車両の走行車路及び前記オブジェクトの深度値を用いて前記走行環境モデルを生成し、前記車両の位置及び前記走行環境モデルを前記地図情報に整合させて前記３次元の仮想経路を生成し得る。

前記プロセッサは、前記センサのうちカメラセンサから取得した映像データを用いて前記車両の走行車路を含む領域の照明及び質感を推定し、前記照明及び前記質感を用いて前記３次元の仮想経路を変換し得る。

前記仮想経路を表示する装置は、前記車両の運転者視点を追跡する第２カメラセンサをさらに含み、前記プロセッサは、前記車両の運転者視点に一致するよう前記３次元の仮想経路を変換し、前記変換された仮想経路を前記ディスプレイ装置を介して出力し得る。

前記ディスプレイ装置は、ヘッドアップディスプレイ装置を含み得る。

前記プロセッサは、前記運転者両眼の３Ｄ位置を追跡することによって前記車両の運転者視点を追跡し、前記運転者両眼の３Ｄ位置を用いて前記ヘッドアップディスプレイ装置を介して表示される仮想映像と前記運転者視点との間の変換関係を予測し、前記変換関係に基づいて前記３次元の仮想経路を変換し得る。

前記センサそれぞれは前記車両の位置又は姿勢を個別的に検出し、前記センサそれぞれの検出速度は同期化されないことがある。

一実施形態によれば、仮想経路ディスプレイ装置は、車両の走行環境映像、前記車両の運転者の両眼の３Ｄ位置を追跡することに基づいた前記車両の運転者視点、前記車両の姿勢、前記車両の位置を含む検出データを非同期的に生成するセンサを含むセンサモジュールと、ヘッドアップディスプレイ（ＨＵＤ）と、地図情報及び命令を格納するメモリと、前記センサから非同期的に受信された検出データに基づいて車両の位置を推定し、前記車両の走行環境及び前記車両の位置に対応する走行環境モデルを前記地図情報に登録して３次元仮想経路を生成し、前記車両の運転者視点に合わせるために３次元仮想経路を変換し、前記変換された３次元仮想経路を前記ヘッドアップディスプレイを介して出力する命令を実行するよう構成されたプロセッサとを含む。

前記メモリは、前記センサモジュールによって生成された前記検出データ及び前記プロセッサによって生成された前記３次元仮想経路を格納し得る。

一側面によれば、検出速度を同期化させることなく角度センサが独立的に位置／姿勢情報を検出し、現在の検出情報と過去に他のセンサから推定された位置／姿勢情報を統合することによって遅延されることなく現在の位置／姿勢を推定することができる。

一側面によれば、視覚的走行距離及び３次元深度値の検出情報など、高精密検出情報を活用して推定された位置情報を用いてＡＲオブジェクト（ｎａｖｉｇａｔｉｏｎ情報）を生成することができる。

一側面によれば、ユーザの視点をリアルタイムに追跡して走行道路の照明及び質感などを推定して３次元仮想オブジェクトを途切れることなくレンダリングすることができる。

一実施形態に係る仮想経路を表示する方法を示したフローチャートである。 一実施形態に係る車両の位置を推定する方法を示す図である。 一実施形態に係る車両の位置を推定する方法を示す図である。 一実施形態に係る車両の位置を推定する方法を示す図である。 一実施形態に係る車両の位置を推定する方法を示す図である。 一実施形態に係る３次元の仮想経路を生成する方法を示したフローチャートである。 一実施形態に係る３次元の仮想経路を生成する方法を示したフローチャートである。 一実施形態に係る３次元の仮想経路を表示する方法を示したフローチャートである。 一実施形態に係る３次元の仮想経路を変換する方法を示したフローチャートである。 一実施形態により推定した車両の位置及び走行環境モデルを用いて生成された３次元の仮想経路を示す図である。 一実施形態により推定した車両の位置及び走行環境モデルを用いて生成された３次元の仮想経路を示す図である。 一実施形態に係る運転者視点に一致するよう変換された３次元の仮想経路を示す図である。 一実施形態に係る運転者視点に一致するよう変換された３次元の仮想経路を示す図である。 一実施形態に係る仮想経路を表示する装置のプロセスの流れを説明するための図である。 一実施形態に係る仮想経路を表示する装置におけるデータの流れを説明するための図である。 一実施形態に係る仮想経路を表示する装置の詳細動作を説明するための図である。 一実施形態に係る仮想経路を表示する装置のブロック図である。

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更され得る。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

いずれかの構成要素が他の構成要素に「連結されて」いると言及された場合、その次の構成要素に直接的に連結されてもよく、又は中間に他の構成要素が存在することもあり得ると理解されなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

下記で説明される実施形態は、スマート車両などの拡張現実ナビゲーション（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｎａｖｉｇａｔｉｏｎ）システムで仮想経路を表示したり、自律走行車両のステアリングを助けるための視覚情報を生成するところに活用される。また、実施形態は車両内走行補助又は完全自律走行のために設けられたＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）などの知能システムを含む機器で視覚情報（Ｖｉｓｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）を解釈して安全で快適な走行を助けるところに使用される。実施形態は、例えば、自律走行自動車、知能型自動車、スマートフォン、及びモバイル機器などに適用され得る。以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係る仮想経路を表示する方法を示したフローチャートである。図１に示す動作を図１に示された順序及び方式により実行され、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部動作の順序が変更されたり一部動作が省略されてもよい。図１に示された多くの動作が並列又は同時に実行されてもよい。図１に示す１つ以上のブロック、及びこのブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア及びコンピュータ命令の組合せによって実現される。

図１を参照すれば、一実施形態に係る仮想経路を表示する装置（以下、「ディスプレイ装置」）は、センサから非同期的に受信される検出データに基づいて車両の位置を推定する（Ｓ１１０）。例えば、本明細書で説明された車両は、運送、配達、又は通信のような任意のモードを指し、例えば、本明細書で説明された車両は、運送、配達又は通信のような任意のモードを指し、例えば、トラック、トラクター、スクーター、バイク、サイクル、水陸両用車両、雪上車、ボート、交通車両、バス、モノレール、汽車、トラム、自治区知能型車両、自家運転車両、航空機、無人航空機、無人航空機、又は、移動装置のうちの１つ以上を含む。一例として、位置推定装置は、位置決定操作を必要とするロボットに適用可能である。

本明細書で記述された装置及び方法は、スマート車両のナビゲーションシステムでターゲットの位置を推定し、自律的な又は自動化された走行車両を操向することを助けるための位置情報を生成したり、自律走行又は完全自律走行のための車内走行補助のために使用され、自動化された運転を可能にして安全で快適な運転を可能にする。

センサは、例えば、ＧＰＳセンサ、ＩＭＵセンサ、ＯＢＤセンサ、及びカメラセンサなどを含む。ＩＭＵセンサは、例えば、加速度センサ、及び／又はジャイロセンサなどを含む。ディスプレイ装置は、例えば、加速度センサ又はジャイロセンサなどによって検知された運動及び重力加速度、角速度を用いて算出される運動加速度成分を積分して車両の３Ｄ位置及び姿勢などを推定する。カメラセンサは、例えば、前方向けカメラ、ステレオカメラ又はモノカメラであってもよい。センサから受信される検出データは、センサごとに互いに独立的にサンプリングされたものであり得る。

実施形態によって、センサには超音波センサが含まれてもよい。ディスプレイ装置は、超音波が空気のうちで音速（約３４０ｍ／ｓ）で進行することを用いて超音波が超音波センサの発信部から受信部まで達した時間（ＴＯＦ：Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）を測定して距離を算出する。ディスプレイ装置は、３つ以上の同じ視点の距離情報を取得したことに基づいて、三角測量方式のような方法により距離情報を取得し、車両の３Ｄ位置を算出し得る。

一実施形態に係るディスプレイ装置は、ヘッドアップディスプレイ装置を含む知能型機器、拡張現実ナビゲーション装置、又は知能型自動車そのものであるか、知能型機器又は知能型自動車に含まれた別途の装置であり得る。ディスプレイ装置は、例えば、図１５に示されたディスプレイ装置１５００である。ディスプレイ装置が車両の位置を推定する方法については、以下の図２～図５を参照して具体的に説明することにする。

ただし、ディスプレイ装置は前述した例示に限定されることなく、拡張現実を用いる車両のスクリーン又は車両計器盤、車両インフォテインメントシステム、車両の表示パネルが表示装置の機能を行ってもよい。ディスプレイ装置に動作可能に接続されたスマートフォン及びメガネディスプレイ（ｅｙｅ ｇｌａｓｓ ｄｉｓｐｌａｙ：ＥＧＤ）のような他のディスプレイが説明された例示的な実施形態の思想及び範囲を逸脱することなく使用される。ディスプレイ装置は、ステップＳ１１０で推定された車両の位置と車両の走行環境に対応する走行環境モデルを地図情報に整合させて３次元の仮想経路を生成する（Ｓ１２０）。ここで、「走行環境モデル」とは、例えば、走行車路、車線、道路標識などを含む車両が走行中である走行道路、歩道、建物、歩行者などを含む走行環境をモデリングしたものである。走行環境モデルは２次元モデルであってもよく、３次元モデルであってもよい。

本明細書で、「道路（ｒｏａｄ）」は車両が通っている道を意味し、例えば、高速道路、国道、地方道、田舎道、農場道、村道、高速国道、自動車専用道路などのような様々な類型の道路を含む。道路は１つ又は複数の車路を含む。「車路（ｌａｎｅ）」は、道路面上に表示された車線によって区分される道路空間に当該する。また、「走行車路」は、複数の車路のうち走行車両が走行中である車路、言い換えれば、走行車両が占めている利用中である車路空間を意味するものと理解される。１つの車路は車路の左右にある車線によって区分される。「車線（ｌｉｎｅｓ）」は道路面上に白色、青色又は黄色のような色に表示された実線、又は点線などの様々な形態の線として理解される。

また、地図情報は、例えば、図１５に示されたメモリ１５２０に予め格納されたものであるか、又は、一定の時間間隔又はリアルタイムで外部データベースから受信されたものであり得る。

ディスプレイ装置は、例えば、地図情報から道路形態の情報を抽出し、道路形態の情報に走行環境モデル及び推定された車両の位置を整合（ｒｅｇｉｓｔｒａｔｉｏｎ）又はマッチングさせることで３次元の仮想経路を生成する。より具体的に、ディスプレイ装置は、走行映像に含まれたカメラ情報及び位置情報に基づいて、地図情報からカメラの視錐台（ｖｉｅｗｉｎｇ ｆｒｕｓｔｕｍ）内に入ってくる道路形態の情報を抽出する。道路形態の情報は、例えば、緯度及び経度に表現される２Ｄ情報であるか、一連の（ｘ、ｙ、ｚ）成分に表現される３Ｄ情報である。道路形態の情報は、例えば、白色、黄色、及び青色などの車線表示情報又は各車線の中を通過する道路中心線、又は、道路表面の情報であり得る。ディスプレイ装置は、例えば、最小自乗法（Ｌｅａｓｔ Ｓｑｕａｒｅ Ｍｅｔｈｏｄ：ＬＳＭ）を用いて道路形態の情報を走行環境モデルにマッチングする。ディスプレイ装置は、車両の位置と走行環境モデルを地図情報に整合させて、実際の道路と運転者に案内される経路が一致するようすることで、拡張現実ナビゲーションでユーザに正確な経路情報を提供できる。

３次元の仮想経路は、例えば、拡張現実ナビゲーションによって表示される拡張現実オブジェクトであり得る。ディスプレイ装置が３次元の仮想経路を生成する方法は、以下の図６～図７を参照して具体的に説明する。一実施形態により生成された３次元の仮想経路の一例は、以下の図１０に示されている。

ディスプレイ装置は、ステップＳ１２０で生成された３次元の仮想経路を表示する（Ｓ１３０）。ディスプレイ装置は、３次元の仮想経路を、例えば、ヘッドアップディスプレイ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）装置を介して表示する。ディスプレイ装置が３次元の仮想経路を表示する具体的な方法については、以下の図８～図９を参照して説明することにする。

図２は、一実施形態に係る車両の位置を推定する方法を示したフローチャートである。図２に示す動作は、図２に示された順序及び方式により実行され、説明された例示的な実施形態の思想及び範囲を逸脱することなく一部動作の順序が変更されたり、一部動作が省略されてもよい。図２に示された多くの動作が並列的又は同時に実行されてもよい。図２に示す１つ以上のブロック及びブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア及びコンピュータ命令の組合せによって実現される。図２に示す説明に加えて、図１の説明についても図２に適用され得る。したがって、前記説明はここで繰り返されない。

図２を参照すれば、一実施形態に係るディスプレイ装置は、検出データごとに、当該の検出データが処理された処理時間に関する情報を挿入する（Ｓ２１０）。ここで、当該の検出データが処理された処理時間は、当該の検出データが検知された後、ディスプレイ装置によって利用可能な形態のデータで処理又は加工が完了した時間として理解される。検出データが処理された処理時間に関する情報は、例えば、タグ（ｔａｇ）又はコード（ｃｏｄｅ）の形態に検出データごとに挿入される。

ディスプレイ装置は、互いに異なる処理時間に関する情報を有する検出データを用いて車両の位置を推定する（Ｓ２２０）。ここで、車両の位置は、車両の位置以外に車両の姿勢を含む。ディスプレイ装置は、例えば、現在時間にＡセンサによって検知された第１検出データと、以前時間にＢセンサによって検知された第２検出データによって推定された車両の位置情報及び姿勢情報を統合し、車両の現在時間の位置情報及び姿勢情報を推定する。

一例として、様々なセンサによって検知された各検出データは、検出データがタグ又はコードの形態で処理される処理時間に関する情報を含む。

一例として、検出データに対応する部分が処理される処理時間は、当該の検出データが完全に処理された時間を使用可能な形態のデータと見なし、２：０１：０５又は２：０２：１７のような時間に関する情報から対応するデータの時間順序が検証される。

一例として、検出データに対応する部分が処理される処理時間に関する情報を使用して車両の位置を推定し得る。一例として、車両の位置情報及び姿勢情報を推定する手段は、現在時間（ＰＭ１：３０：２０）にセンサＡが検出した第１検出データと以前時間（一例として、「検出データの対応する部分が処理される処理時間に関する情報」）を使用して車両の位置を推定し得る。

一例として、車両の位置情報及び姿勢情報を推定する手段は、現在時間（ＰＭ１：３０：２０）にセンサＡが検出した第１検出データと、以前時間（ＰＭ１：２５：００）にセンサＢが検出した第２検出データに基づいて推定された車両の位置情報と姿勢情報を統合することによって、現在の視覚で推定され得る。

図３は、他の実施形態に係る車両の位置を推定する方法を示したフローチャートである。図３に示す動作は、図３に示された順序及び方式により実行され、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部動作の順序が変更されたり一部動作が省略されてもよい。図３に示された多くの動作が並列的又は同時に実行されてもよい。図３に示す１つ以上のブロック及びブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア及びコンピュータ命令の組合せによって実現される。図３に示す説明に加えて、図１～図２の説明についても図３に適用され得る。したがって、前記説明はここで繰り返されない。

図３を参照すれば、一実施形態に係るディスプレイ装置は、センサのいずれか１つのセンサから第１時間に受信された第１検出データに基づいて車両の第１位置を推定する（Ｓ３１０）。

ディスプレイ装置は、いずれか１つのセンサを含むセンサから第２時間に受信された第２検出データに基づいて第１位置を第２位置に更新する（Ｓ３２０）。ここで、第２検出データは、第１検出データと同一のセンサによって検知されてもよく、第１検出データと異なるセンサによって検知されたものであってもよい。

ディスプレイ装置は、センサから第３時間に受信された第３検出データに基づいて車両の第２位置を第３位置に更新する（Ｓ３３０）。第２検出データと同様に、第３検出データも、第１検出データ又は第２検出データと同一のセンサによって検知されてもよく、第１検出データ又は第２検出データと異なるセンサによって検知されたものであってもよい。

図４は、一実施形態に係る車両の位置を推定する方法を説明するための図である。図４を参照すれば、第１時間４１０に受信された第１検出データ、第２時間４２０に受信された第２検出データ、第３時間４３０に受信された第３検出データ、及び第４時間４４０に検知された第４検出データが示されている。各検出データは、互いに同一又は異なるセンサから非同期的に受信されたものであり得る。

例えば、第１検出データ及び第２検出データはＧＰＳセンサによって検知されたものであり、第３検出データはＩＭＵセンサによって検知されたものであり、第４検出データはＯＢＤセンサによって検知されたものと仮定する。

ディスプレイ装置は、第１検出データに基づいて車両の第１位置を推定し、第２検出データに基づいて第１位置を第２位置に更新する。また、ディスプレイ装置は第３検出データに基づいて第２位置を第３位置に更新し、第４検出データに基づいて第３位置を第４位置に更新する。

ＧＰＳセンサは、例えば、１Ｈｚの周波数で車両の絶対経路を測定できるが、ＧＰＳ信号が受信できない地域（即ち、不感地域）では測定不可であり、１０ｍの位置誤差が発生する可能性がある。ＩＭＵセンサ又はＯＢＤセンサは、５０Ｈｚ又は１００Ｈｚの高速周波数で車両の相対経路を測定できるものの、測定正確度が低い。

一実施形態では、センサごとの検出速度を同期化させることなく、角度センサが独立的に車両の位置及び／又は車両の姿勢を検出するようにし、現在の検出データと過去の検出データから推定された車両の位置及び／又は姿勢を統合して遅延されることなく車両の位置を更新することで、より正確に車両の位置を推定できる。また、一実施形態によれば、非同期的に検出データを受信することによって、センサごとの検出速度を同期化させるために必要とされる高いコンピューティングパワー（ｃｏｍｐｕｔｉｎｇ ｐｏｗｅｒ）がなくとも正確に車両の位置を推定できる。

実施形態によって、ディスプレイ装置は、現在の検出データ（例えば、第４時間の検出データ）に基づいて推定された車両の第４位置と、以前の検出データ（例えば、第３時間の検出データ）に基づいて推定された車両の第３位置との間の位置変化率が予め設定された閾値以上である場合、車両の位置を第３位置から第４位置に更新する。位置変化率が閾値未満である場合、ディスプレイ装置は、車両の位置を第４位置に更新することなく、第３位置そのまま保持する。

図５は、他の実施形態に係る車両の位置を推定する方法を示したフローチャートである。図５に示す動作は、図５に示された順序及び方式により実行され、説明された例示的な実施形態の思想及び範囲を逸脱することなく、一部動作の順序が変更されたり、一部動作が省略されてもよい。図５に示された多くの動作が並列的又は同時に実行されてもよい。図５に示す１つ以上のブロック及びブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア及びコンピュータ命令の組合せによって実現される。図５に示す説明に加えて、図１～図４の説明についても図５に適用され得る。したがって、前記説明はここで繰り返されない。

図５を参照すれば、一実施形態に係るディスプレイ装置は、カメラセンサのようなセンサから取得した映像データを用いて視覚的走行距離を測定する（Ｓ５１０）。視覚的走行距離を測定する方法は、カメライメージを分析して対象オブジェクト（例えば、車両又はロボットなど）の位置と方向を決定する過程を含む。

視覚的走行距離を測定する方法は、車両の走行距離を推定するために連続的なカメライメージを使用して対応する走行距離の測定情報を決定する過程であり、これによって表面に関係なく全ての種類の運動方法を使用して車両の航法正確性を向上させることができる。視覚的走行距離の測定方法の一例は、次の通りである。

ディスプレイ装置は、例えば、単一カメラ、ステレオカメラ、前方向けカメラなどを使用してカメライメージ（映像データ）を取得し、レンズ歪み除去のための映像処理方式を適用してカメライメージを補正する。ディスプレイ装置は、関心演算子を定義し、カメライメージのフレームにかけて一致する特性を抽出して関連性を成立して光学の流れフィールドを構築し得る。ディスプレイ装置は、光学の流れフィールドを用いてカメライメージから特性を検出する。ここで、ディスプレイ装置は、連続的なカメライメージのうち２つのイメージの関連性を設定するために相関関係を使用する。

ディスプレイ装置は、光学の流れフィルタを用いてカメラの動きを推定する。ここで、ディスプレイ装置は、カルマンフィルタを用いてカメラの動きを推定してもよく、又は、２つの隣接するイメージ間の再投影エラーをベースに費用関数を最小化する機能の幾何学的属性、３Ｄ属性を探すことによりカメラの動きを推定する。カメラの動きの推定は、数学的な最小化やランダムサンプリングによって実行される。

ディスプレイ装置は隣接するイメージを通した適用範囲を保持するために追跡点を周期的な確認することで視覚的走行距離を測定し得る。

ディスプレイ装置は、検出データ及び視覚的走行距離を用いて車両の位置を推定する。より具体的に、ディスプレイ装置は、検出データのうち映像データを除いたいずれか１つの検出データを用いて車両の位置を推定する（Ｓ５２０）。

ディスプレイ装置は、映像データに基づいた視覚的走行距離を用いて車両の位置を補正する（Ｓ５３０）。

図６は、一実施形態に係る３次元の仮想経路を生成する方法を示したフローチャートである。図６に示す動作は図６に示された順序及び方式により実行され、説明された例示的な実施形態の思想及び範囲を逸脱することなく一部動作の順序が変更されたり、一部動作が省略されてもよい。図６に示された多くの動作が並列的又は同時に実行されてもよい。図６に示す１つ以上のブロック及びブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア及びコンピュータ命令の組合せによって実現される。図６に示す説明に加えて、図１～図５の説明についても図６に適用され得る。したがって、前記説明はここで繰り返されない。

図６を参照すれば、一実施形態に係るディスプレイ装置は、カメラセンサのようなセンサから取得した映像データを用いてセグメンテーション映像を生成する（Ｓ６１０）。映像データは、例えば、車両に装着されたカメラセンサから取得した走行映像であり得る。走行映像は、例えば、カメラセンサから撮影されたカラー映像、白黒映像、及びカメラ情報などを含む。カメラ情報は、カメラの内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）及び外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）などを含む。走行映像は、例えば、車両、車線、道路、沿石、歩道、建物などを含む周辺環境を含む映像及び道路面映像などを含む。

ディスプレイ装置は、映像データ（又は、走行映像）から意味（Ｓｅｍａｎｔｉｃ）単位にオブジェクトを分割し、分割されたオブジェクト（領域）がどのような意味を有するかをピクセル単位に把握し、各クラスごとにラベリング（ｌａｂｅｌｉｎｇ）することでセグメンテーション映像を生成する。クラスは、例えば、道路、車両、歩道、人、動物、空、建物などのように２０個の程度で分類され得る。ディスプレイ装置は、セグメンテーション映像に含まれたピクセル単位のレーベルから物体、背景など映像内に構成要素がどこにどのように存在するかを精密に把握できる。また、ディスプレイ装置は、予め学習された畳み込み神経網（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）、深層神経網（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）、サポートベクトルマシーン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などを用いてセグメンテーション映像内に含まれた構成要素を分類し得る。ディスプレイ装置は、例えば、映像データに含まれたオブジェクトを意味単位で分割し、図１０Ａに示すようなセグメンテーション映像を生成する。

ディスプレイ装置は、セグメンテーション映像に含まれたオブジェクトを検出する（Ｓ６２０）。

ディスプレイ装置は、オブジェクトから識別された車両の走行車路（ｄｒｉｖｉｎｇ ｌａｎｅ）及びオブジェクトの深度値を用いて走行環境モデルを生成する（Ｓ６３０）。ここで、オブジェクトの深度値は、例えば、レーダー（ｒａｄａｒ）、ライダー（ｌｉｄａｒ）、ステレオカメラを用いたステレオマッチング方法、又はＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐ－ｂｕｉｌｄｉｎｇ）方式などにより取得されたものであり得る。レーダーは、電波を用いて物体を探知して距離を測定する。ライダーは、レーザ光線を放出し、てその反射と吸収を用いて大気中の温度、湿度、視界の程度などを測定する。又は、ディスプレイ装置は、ステレオカメラを用いたステレオマッチング方法を用いて深度値を取得する。

ディスプレイ装置は、車両の位置及び走行環境モデルを地図情報に整合させ、例えば、図１０Ｂに示すような３次元の仮想経路を生成する（Ｓ６４０）。

図７は、一実施形態に係る３次元の仮想経路を生成する方法を示したフローチャートである。図７に示す動作は図７に示された順序及び方式により実行され、説明された例示的な実施形態の思想及び範囲を逸脱することなく一部動作の順序が変更されたり、一部動作が省略されてもよい。図７に示された多くの動作が並列的又は同時に実行されてもよい。図７に示す１つ以上のブロック及びブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア及びコンピュータ命令の組合せによって実現される。図７に示す説明に加えて、図１～図６の説明についても図７に適用され得る。したがって、前記説明はここで繰り返されない。

図７を参照すれば、一実施形態に係るディスプレイ装置は、カメラセンサのようなセンサから取得した映像データを用いて車両の走行車路を含む領域の照明及び質感を推定する（Ｓ７１０）。ディスプレイ装置は、セグメンテーション映像からヘッドアップディスプレイの仮想映像がレンダリングされる領域の照明及び質感を推定する。実施形態によって、ディスプレイ装置は、映像データを用いて生成されたセグメンテーション映像から車両の走行車路を含む領域の照明及び質感を推定し得る。

ディスプレイ装置が照明及び質感を推定する方法の一例は次の通りである。

ディスプレイ装置は、例えば、一対のカラー映像及び深度映像から様々な色及び質感の特性を有する材質情報を抽出し、同時に前方向け照明マップを抽出する。カラー映像は、例えば、多視点カラー映像であってもよい。

ディスプレイ装置は、カラー映像を用いてオブジェクト（例えば、車両の走行車路を含む領域）の質感特性を分析し、質感特性に基づいてオブジェクトを複数のセグメントに区分し得る。より具体的に、ディスプレイ装置は、カラースペース（ｃｏｌｏｒ ｓｐａｃｅ）のドメイン（ｄｏｍａｉｎ）で、明るさ成分を除いた色差信号（ｃｏｌｏｒ ｄｉｆｆｅｒｅｎｃｅ ｓｉｇｎａｌ）の値を用いて質感特性を分析する。カラースペースの例として、ＨＳＶ（ｈｕｅ ｓａｔｕｒａｔｉｏｎ ｖａｌｕｅ）、ＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄ’Ｅｃｌａｉｒａｇｅ）ＬＡＢ模型などがある。色差信号の例として、Ｃｒ、Ｃｂ（青色差分（ｂｌｕｅ－ｄｉｆｆｅｒｅｎｃｅ）及び赤色差分（ｒｅｄ－ｄｉｆｆｅｒｅｎｃｅ）、クロマ成分（ｃｈｒｏｍａ ｃｏｍｐｏｎｅｎｔｓ））などが挙げられるが、色差信号の種類が必ずＣｒ、Ｃｂなどに限定されることはない。ディスプレイ装置は、色差信号の値を基準としてクラスタリングを行って複数の質感クラスタを決定する。ディスプレイ装置は、オブジェクトに質感クラスタを適用することにより、オブジェクト表面の質感を表現できる。

また、ディスプレイ装置はカラー映像の画素値及びオブジェクトの深度映像から誘導される低い基底関数を用いて、オブジェクトに対する照明情報及び複数のセグメントそれぞれに対する質感定数を取得する。低基底関数モデルを用いて映像を表現する方式の一例として、ＳＨＢＦ（Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）方式がある。ディスプレイ装置は、ＳＨＢＦ方式を用いてノーマルマップ（Ｎｏｒｍａｌ Ｍａｐ）から深度映像の低い基底関数モデルを生成する。ここで、ノーマルマップは、オブジェクトに対する法線ベクトル（Ｎｏｒｍａｌ ｖｅｃｔｏｒ）をテクスチャで表現したのである。ディスプレイ装置は、複数のセグメントそれぞれに対する質感定数を用いてオブジェクトの色彩及びテクスチャの多様性を全て復元できる。

ディスプレイ装置は、ステップＳ７１０で推定した照明及び質感を適用して３次元の仮想経路を生成する（Ｓ７２０）。

図８は、一実施形態に係る３次元の仮想経路を表示する方法を示したフローチャートである。図８に示す動作は図８に示された順序及び方式により実行され、説明された例示的な実施形態の思想及び範囲を逸脱することなく一部動作の順序が変更されたり、一部動作が省略されてもよい。図８に示された多くの動作が並列的又は同時に実行されてもよい。図８に示す１つ以上のブロック及びブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア及びコンピュータ命令の組合せによって実現される。図８に示す説明に加えて、図１～図７の説明についても図８に適用され得る。したがって、前記説明はここで繰り返されない。

図８を参照すれば、一実施形態に係るディスプレイ装置は、車両の運転者視点に一致するよう３次元の仮想経路を変換する（Ｓ８１０）。ここで、変換は「補正（ｃｏｒｒｅｃｔｉｏｎ）」を含む意味として理解される。ディスプレイ装置が３次元の仮想経路を変換する具体的な方法については図９を参照して説明する。

ディスプレイ装置は、変換された仮想経路を表示する（Ｓ８２０）。ディスプレイ装置は、例えば、変換された仮想経路を車両のヘッドアップディスプレイ装置を介して表示する。ヘッドアップディスプレイは、例えば、光フィールド３Ｄディスプレイであってもよい。

図９は、一実施形態に係る３次元の仮想経路を変換する方法を示したフローチャートである。図９に示す動作は図９に示された順序及び方式により実行され、説明された例示的な実施形態の思想及び範囲を逸脱することなく一部動作の順序が変更されたり、一部動作が省略されてもよい。図９に示された多くの動作が並列的又は同時に実行されてもよい。図９に示す１つ以上のブロック及びブロックの組合せは、特定機能を行う特殊目的のハードウェア基盤コンピュータ、又は、特殊目的のハードウェア及びコンピュータ命令の組合せによって実現される。図９に示す説明に加えて、図１～図８の説明についても図９に適用され得る。したがって、前記説明はここで繰り返されない。

図９を参照すれば、一実施形態に係るディスプレイ装置は、運転者両眼の３Ｄ位置を追跡することによって運転者視点を追跡する（Ｓ９１０）。実施形態によって、ディスプレイ装置は、運転者の両眼以外にも運転者の頭の方向を追跡することにより運転者視点を追跡してもよい。

ディスプレイ装置は、運転者両眼の３Ｄ位置を用いてヘッドアップディスプレイ装置を介して表示される仮想映像と運転者視点との間の変換関係を予測する（Ｓ９２０）。ディスプレイ装置は、目の位置（例えば、運転者両眼の３Ｄ位置）を追跡するカメラとヘッドアップディスプレイ装置との間の幾何学的な関係により、仮想映像と運転者視点との間の変換関係を予測できる。ヘッドアップディスプレイ装置と目の位置を追跡するカメラとの間の幾何学的な関係は、２つの装置（ヘッドアップディスプレイ装置とカメラ）が設けられた後、２つの装置間の実際の距離と回転量を測定して算出できる。

ディスプレイ装置は、変換関係に基づいて３次元の仮想経路を変換する（Ｓ９３０）。

一実施形態に係るディスプレイ装置は、運転者視点をリアルタイムに追跡し、走行車路を含む走行道路の照明及び／又は質感などを推定して３次元の仮想経路を途切れることなく（ｓｅａｍｌｅｓｓ）レンダリング又は表示できる。

図１０は、一実施形態により推定した車両の位置及び走行環境モデルを用いて生成された３次元の仮想経路を示す図である。ディスプレイ装置は、例えば、映像データに含まれたオブジェクトを意味単位で分割し、図１０Ａに示したようなセグメンテーション映像を生成する。図１０Ａに示すセグメンテーション映像で領域１００１は道路を示し、領域１００３は歩道を示し、領域１００５は建物を示す。

ディスプレイ装置は、例えば、車両の位置、セグメンテーション映像から把握された走行車路、走行環境に対応する走行環境モデルなどを地図情報に整合させて、図１０Ｂに示したような３次元の仮想経路１０５０を生成する。ここで、地図情報は、例えば、ＸＸ大学病院、ＢＢビルディング、及び車両の最終目的地に該当するＯＯコーヒーショップなどの名前及び位置情報などを含む。

図１１は、一実施形態に係る運転者視点に一致するよう変換された３次元の仮想経路を示す図である。図１１Ａを参照すれば、ディスプレイ装置によって生成された３次元の仮想経路１１１１、１１１３、１１１５が表示された図面が示されている。ディスプレイ装置は、運転者をモニタリングする第２カメラセンサによって運転者両眼の３Ｄ位置を追跡することで運転者視点を追跡できる。ディスプレイ装置は、運転者視点を追跡して３次元の仮想経路と走行道路との間の３次元整合を行うことで、図１１Ｂに示すように、運転者視点に合う３次元の仮想経路１１１５を取得できる。

図１２は、一実施形態に係る仮想経路を表示する装置のプロセスの流れを説明するための図である。図１２を参照すれば、一実施形態に係るディスプレイ装置１２００の処理過程は、大きく、センサモジュール１２１０に含まれたセンサ１２１１、１２１３、１２１５、１２１７を用いて高速高精密で車両の位置を推定し、拡張現実オブジェクト（例えば、３次元の仮想経路）を生成する過程と、運転者視点及び照明及び質感などを含む走行道路の環境を検出して拡張現実オブジェクトをレンダリングする過程とに区分する。

センサモジュール１２１０は、例えば、ＧＰＳセンサ１２１１、ＩＭＵセンサ１２１３、ＯＢＤセンサ１２１５、及びステレオカメラセンサ１２１７を含む。例えば、ＧＰＳセンサ１２１１は図１５に示されたＧＰＳセンサ１５１１であり、ＩＭＵセンサ１２１３は図１５に示されたＩＭＵセンサ１５１３、ＯＢＤセンサ１２１５は図１５に示されたＯＢＤセンサ１５１５であり、ステレオカメラセンサ１２１７は図１５に示された第１カメラセンサ１５１７である。

ディスプレイ装置１２００は、検出の速度及び正確度が互いに異なるセンサ１２１１、１２１３、１２１５、１２１７から非同期的に検出データを受信する（Ｓ１２２０）。ディスプレイ装置１２００は、ステレオカメラセンサ１２１７から取得した映像データを用いて視覚的走行距離を測定する（Ｓ１２２５）。ディスプレイ装置１２００は、ステップＳ１２２０で受信した検出データと、ステップＳ１２２５で測定した視覚的走行距離を用いて車両の位置を推定する（Ｓ１２４０）。

また、ディスプレイ装置１２００は、ステレオカメラセンサ１２１７から取得した映像データを用いて映像を分割（Ｓ１２３０）し、セグメンテーション映像を生成する。ディスプレイ装置１２００は、セグメンテーション映像及び視覚的走行距離を用いて、セグメンテーション映像に含まれたオブジェクトの深度値を推定する（Ｓ１２３２）。ステップＳ１２３２でディスプレイ装置１２００は、深度値推定と共に走行車路を識別し得る。

走行車路を識別するために、ディスプレイ装置１２００は、例えば、セグメンテーション映像と映像データから抽出した道路面表示（ｒｏａｄ ｍａｒｋｉｎｇ）を用いて仮想車路を生成する。ディスプレイ装置１２００は、セグメンテーション映像で走行車路の左右側車路境界線をセグメンテーション映像にフィッティングした後、フィッティングされた左右側車路境界線を平行に等間隔に左右配置して仮想車路を生成する。ディスプレイ装置１２００は、車両の走行道路の車路の個数に基づいて、仮想車路における走行車路の相対的な位置を決定することで車両の走行車路を識別する。「道路面表示」は、車両が運行する道路面上に記載された標識として、車線（ｌｉｎｅｓ）及び車線以外の道路標識（ｒｏａｄ ｓｉｇｎ）を含み得る。

ディスプレイ装置１２００は、識別された走行車路及びオブジェクトの深度値を用いて走行環境モデル（例えば、３Ｄ道路モデル）をモデリングし（Ｓ１２３４）、推定された車両の位置及び走行環境モデルを地図情報に整合させ（Ｓ１２４５）、３次元の仮想経路を生成する（Ｓ１２５０）。

ディスプレイ装置１２００は、映像分割によって生成されたセグメンテーション映像（又は、映像データ）を用いて車両の走行車路を含む領域の照明及び質感を推定する（Ｓ１２３６）。また、ディスプレイ装置１２００は、運転者モニターに含まれたカメラセンサ１２１９を用いて運転者両眼の３Ｄ位置を追跡することで運転者の視線を追跡する（Ｓ１２８０）。カメラセンサ１２１９は、例えば、図１５に示された第２カメラセンサ１５５０であり得る。ディスプレイ装置１２００は、運転者両眼の３Ｄ位置を用いてヘッドアップディスプレイ装置１２７０により表示される３次元の仮想経路を含む仮想映像と運転者視点との間の変換関係を予測する（Ｓ１２８５）。

ディスプレイ装置１２００は、ステップＳ１２８５で予測された仮想映像と運転者視点との間の変換関係、及びステップＳ１２３６で推定された車両の走行車路を含む領域の照明及び質感を適用し、ステップＳ１２５０で生成された３次元の仮想経路をレンダリングする（Ｓ１２６０）。ステップＳ１２６０でレンダリングされた３次元の仮想経路は、最終的にヘッドアップディスプレイ装置１２７０によって表示される。

図１３は、一実施形態に係る仮想経路を表示する装置におけるデータの流れを説明するための図である。図１３を参照すれば、一実施形態に係るディスプレイ装置で非同期的に受信される検出データの流れを示す図面１３００が示されている。他の実施形態において、非同期的に受信された検出データの流れの順序は、記述された例示的な実施形態の思想及び範囲を逸脱することなく変更され、或いは一部の動作が省略されてもよい。

ＧＰＳセンサ１２１１の検出データは低速（例えば、１Ｈｚ）で測定され、ＧＰＳ信号の不感地域では測定できない。ＧＰＳセンサ１２１１の検出データは車両の絶対経路を含む。ＩＭＵセンサ１２１３及びＯＢＤセンサ１２１５の検出データは高速（例えば、１００Ｈｚ）で測定されるが、測定性能は低い。ＩＭＵセンサ１２１３及びＯＢＤセンサ１２１５の検出データは、車両の相対経路を含む。ＯＢＤセンサ１２１５の検出データは、１～１０Ｈｚの低速で測定されるが、測定性能は高い。ＯＢＤセンサ１２１５の検出データは、車両の相対経路を含む。

ディスプレイ装置は、ステレオカメラセンサ１２１７から取得した映像データを用いて視覚的走行距離１２２５を測定するためには相当な処理時間（例えば、１００ｍｓ～１ｓ）が必要とされる。したがって、視覚的走行距離に基づいて位置を推定した結果は、映像データが取得された時間で処理時間がより加えられた過去の位置情報に当該する。

一実施形態に係るディスプレイ装置は、非同期的に入力（受信）される検出データごとに、当該の検出データが処理された処理時間に関する情報を挿入する（Ｓ１３１０）。

ディスプレイ装置１３００は、互いに異なる処理時間（に関する情報）を有する検出データを用いて車両の位置を推定する（Ｓ１３２０）。

ディスプレイ装置１３００は、ステップＳ１３２０で推定された車両の位置とステップＳ１２３４における３Ｄ道路モデリング結果からランドマークを推定した結果を用いて高精密の地図整合を行う（Ｓ１３３０）。ここで、ランドマークは、高精密地図に記述されている物体（例えば、信号機、交通案内表示板など）を意味する。「ランドマークを推定した結果を用いて高精密の地図整合を行う」ということは、３次元道路モデリングの結果から推定した第１ランドマークと、ステップＳ１３２０で推定された車両の位置から抽出した高精密地図における第２ランドマークとの間の整合を行うものとして理解される。ランドマーク間の整合を行う方法として、例えば、第１ランドマークと第２ランドマークとの間の距離が最小となることを対（ｐａｉｒ）にした方法、及び第１ランドマークと第２ランドマークの対の距離の和が最小になるよう対をなす方法などがある。

一実施形態では、センサの様々な測定時間で収集された検出データを統合して位置を推定する。ディスプレイ装置は、高速のセンサから受信された検出データを用いて３次元の仮想経路のレンダリング速度を高速に保持する一方、低速の精密度が高いセンサから受信された検出データを用いて３次元の仮想経路の正確度を確保できる。

図１４は、一実施形態に係る仮想経路を表示する装置の詳細動作を説明するための図である。図１４を参照すれば、一実施形態に係るディスプレイ装置の詳細動作の流れを示す図面１４００が示されている。以下、図１４に対する説明に加えて、図１２及び図１３に対する説明は図１４にも同様に適用され得る。したがって、図１２～図１３を参照して説明した内容に対する説明は省略することにする。

一実施形態に係るディスプレイ装置に示す動作は、大別して、センサ及び映像に基づく測位過程、３Ｄモデリング過程、及びレンダリング過程に区分される。

ディスプレイ装置は、センサに基づく測位過程によって取得された車両の位置、映像に基づく測位過程における走行車路の識別（Ｓ１４１０）によって取得された走行車路の位置、及び深度値推定（Ｓ１２３２）によって取得されたオブジェクトの位置、及び３Ｄモデリング過程で取得された３Ｄモデル（例えば、３次元の走行環境モデル）に基づいて地図整合を行うことで、地図上における車両の位置を表現する（Ｓ１４３０）。ここで、３Ｄモデリング（Ｓ１２３４）は、映像分割（Ｓ１２３０）によって生成されたセグメンテーション映像からランドマーク（例えば、信号機、表示板など）の領域を抽出し、ランドマーク領域の３次元深度値を用いた３次元モデリングによって実行され得る。

ディスプレイ装置は、例えば、ナビゲーションに入力された目的地情報及び到着地情報などによる経路計画（Ｓ１４４０）を反映して３次元の仮想車路を生成（Ｓ１２５０）し、生成された３次元の仮想車路をレンダリングする。

視覚的走行距離を算出（Ｓ１２２５）する時間、走行車路を識別（Ｓ１４１０）する時間、及び深度値を推定（Ｓ１２３２）する時間は、コンピュータの演算能力に依存するが、一般にカメラの入力速度である３０Ｈｚ以下の速度を有する。視覚的走行距離（Ｓ１２２５）は、ＩＭＵセンサ１２１３よりも間欠的に相対位置情報及び姿勢情報を検出するが、正確な測定値を提供できる。ディスプレイ装置は、走行車路識別（Ｓ１４１０）及び深度値推定（Ｓ１２３２）によって取得された情報を地図と整合させ、１ｍ以下の誤差を有する高精密検出情報を推定できる。また、ディスプレイ装置は、運転者の頭又は視線追跡によって運転者視点が変更されても、仮想オブジェクト（３次元の仮想経路）が実際の走行中である道路に正確に整合されるよう変換できる。ディスプレイ装置は、自然な３次元オブジェクトのレンダリングのために、車両の走行車路を含む走行道路の照明及び質感を推定して３次元の仮想経路に適用できる。

一実施形態によれば、拡張現実高精密ナビゲーション情報が走行環境及び運転者視点に適するよう高速レンダリングされることで、運転に妨害されない自然な情報伝達が可能となる。

図１５は、一実施形態に係る仮想経路を表示する装置のブロック図である。図１５を参照すれば、一実施形態に係る仮想経路を表示する装置（以下、「ディスプレイ装置」）１５００は、センサモジュール１５１０、メモリ１５２０、プロセッサ１５３０、及びディスプレイ装置１５４０を含む。ディスプレイ装置１５００は、第２カメラセンサ１５５０及び通信インターフェース１５６０をさらに含む。センサモジュール１５１０、メモリ１５２０、プロセッサ１５３０、ディスプレイ１５４０、第２カメラセンサ１５５０、及び通信インターフェース１５６０は、通信バス１５０５を介して通信する。

センサモジュール１５１０は、車両の位置、車両の姿勢、及び車両の走行環境を含む映像などの検出データを検出するセンサ１５１１、１５１３、１５１５、１５１７を含む。センサモジュール１５１０は、例えば、ＧＰＳセンサ１５１１、ＩＭＵセンサ１５１３、ＯＢＤセンサ１５１５、及び第１カメラセンサ１５１７を含む。ＧＰＳセンサ１５１１は、例えば、ＧＰＳ座標と表示される車両の絶対位置又は絶対経路を測定する。ＩＭＵセンサ１５１３は、例えば、移動距離などを含む車両の相対経路を測定する。ＯＢＤセンサ１５１５は、車両の走行距離を測定する。第１カメラセンサ１５１７は、車両の走行環境を含む映像データをキャプチャーする。第１カメラセンサ１５１７は、ＣＩＳ（ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）イメージセンサ又はビジョンセンサであってもよい。第１カメラセンサ１５１７は、モノカメラ又はステレオカメラであってもよい。図面に示していないが、センサモジュール１５１０は、例えば、レーダー（Ｒａｄａｒ）、ライダ（ｌｉｄａｒ）、超音波センサ、赤外線カメラなどをさらに含んでもよい。ディスプレイ装置１５００は、例えば、レーダー、ライダー、ステレオカメラを用いたステレオマッチング方法、及びＳＬＡＭ方式のうち少なくとも１つを用いて深度値を取得し得る。

センサ１５１１、１５１３、１５１５、１５１７によって検出された検出データは、センサ１５１１、１５１３、１５１５、１５１７ごとに互いに独立的にサンプリングされる。

メモリ１５２０は、地図情報を格納する。メモリ１５２０は、通信インターフェース１５６０によって受信されたナビゲーション情報を格納する。メモリ１５２０は、センサモジュール１５１０に含まれたセンサの検出データ及びプロセッサ１５３０によって生成された３次元の仮想経路を格納する。

プロセッサ１５３０は、センサモジュール１５１０に含まれたセンサ１５１１、１５１３、１５１５、１５１７から非同期的に受信される検出データに基づいて車両の位置を推定する。プロセッサ１５３０は、検出データによって、例えば、車両の現在の位置情報、姿勢情報、及び車両の方向情報などを把握して車両の位置を推定できる。

プロセッサ１５３０は、車両の位置と車両の走行環境に対応する走行環境モデルを地図情報に整合させて３次元の仮想経路を生成する。プロセッサ１５３０は、検出データごとに、当該の検出データが処理された処理時間に関する情報を挿入し、他の処理時間に関する情報を有する検出データを用いて車両の位置を推定する。

プロセッサ１５３０は、センサ１５１１、１５１３、１５１５、１５１７のいずれか１つのセンサから第１時間に受信された第１検出データに基づいて車両の第１位置を推定する。プロセッサ１５３０は、いずれか１つのセンサを含むセンサ１５１１、１５１３、１５１５、１５１７から第２時間に受信された第２検出データに基づいて第１位置を第２位置に更新する。プロセッサ１５３０は、センサ１５１１、１５１３、１５１５、１５１７から第３時間に受信された第３検出データに基づいて車両の第２位置を第３位置に更新する。

プロセッサ１５３０は、第１カメラセンサ１５１７から取得した映像データを用いて視覚的走行距離を測定し、検出データ及び視覚的走行距離を用いて車両の位置を推定する。プロセッサ１５３０は、検出データのうち映像データを除いたいずれか１つの検出データを用いて車両の位置を推定し、映像データに基づいた視覚的走行距離を用いて車両の位置を補正する。

プロセッサ１５３０は、第１カメラセンサ１５１７から取得した映像データを用いてセグメンテーション映像を生成し、セグメンテーション映像に含まれたオブジェクトを検出する。プロセッサ１５３０は、オブジェクトから識別された車両の走行車路及びオブジェクトの深度値を用いて走行環境モデルを生成する。プロセッサ１５３０は、車両の位置、走行車路及びオブジェクトの深度値を地図情報に整合させて３次元の仮想経路を生成する。

プロセッサ１５３０は、第１カメラセンサ１５１７から取得した映像データを用いて生成されたセグメンテーション映像から車両の走行車路を含む領域の照明及び質感を推定する。プロセッサ１５３０は、照明及び前記質感を用いて前記３次元の仮想経路を変換する。

ディスプレイ装置１５４０は、プロセッサ１５３０によって生成された３次元の仮想経路を表示する。ディスプレイ装置１５４０は、例えば、ヘッドアップディスプレイ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）装置であってもよい。

第２カメラセンサ１５５０は、車両の運転者視点を追跡する。ここで、プロセッサ１５３０は、車両の運転者視点に一致するよう３次元の仮想経路を変換し、変換された仮想経路をディスプレイ装置１５４０を介して表示する。

プロセッサ１５３０は、運転者両眼の３Ｄ位置を追跡することにより車両の運転者視点を追跡する。プロセッサ１５３０は、運転者両眼の３Ｄ位置を用いてヘッドアップディスプレイ装置を介して表示される仮想映像と運転者視点との間の変換関係を予測する。プロセッサ１５３０は、変換関係に基づいて３次元の仮想経路を変換する。

通信インターフェース１５６０は、車両が走行する道路に対応する地図情報及び／又はナビゲーション情報を受信する。実施形態によって、通信インターフェース１５６０は、ディスプレイ装置１５００の外部で撮影された入力映像を受信し得る。

その他にも、プロセッサ１５３０は、図１～図１４を参照して前述した方法に対応するアルゴリズムを行う。プロセッサ１５３０はプログラムを実行し、ディスプレイ装置１５００を制御する。プロセッサ１５３０によって実行されるプログラムコードはメモリ１５２０に格納される。プロセッサ１５３０に関する具体的な説明は以下で提供される。また、メモリ１５２０は、上述したプロセッサ１５３０の処理過程で生成される様々な情報を格納する。その他にも、メモリ１５２０は、各種のデータとプログラムなどを格納してもよい。メモリ１５２０は、揮発性メモリ又は不揮発性メモリを含む。メモリ１５２０は、ハードディスクなどのような大容量格納媒体を備えて各種データを格納する。メモリ１５２０に関する具体的な説明は以下で提供される。

ディスプレイ装置１２００、１５００、及び図１２及び図１５に関して本明細書で記述された異なる装置、ユニット、モジュール、デバイス、及び他の構成要素は、ハードウェア構成要素によって実現される。

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこののうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１５００：ディスプレイ装置
１５０５：通信バス
１５１０：センサモジュール
１５２０：メモリ
１５３０：プロセッサ
１５４０：ディスプレイ装置
１５５０：第２カメラセンサ
１５６０：通信インターフェース

Claims (28)

1. 互いに同期していない複数のセンサから受信された検出データに基づいて車両の位置をプロセッサが推定するステップと、
   前記車両の位置と前記車両の走行環境に対応する走行環境モデルを地図情報に整合させて３次元の仮想経路を前記プロセッサが生成するステップと、
   前記３次元の仮想経路をディスプレイにより出力するステップと、
   を含み、前記推定するステップにおいて、前記プロセッサは、前記複数のセンサのうちの或るセンサから受信された検出データに基づいて推定した前記車両の位置を、前記複数のセンサのうちの別のセンサから受信された検出データに基づいて補正し、前記３次元の仮想経路を前記プロセッサが生成するステップは、
   前記複数のセンサのうちのカメラセンサから取得した映像データを用いて、意味単位にオブジェクトを空間的に分割し、前記オブジェクトの意味をピクセル単位で決定することによりセグメンテーション映像を生成するステップと、
   前記セグメンテーション映像に含まれたオブジェクトを検出するステップと、
   前記オブジェクトから識別された前記車両の走行車路及び前記オブジェクトの深度値を用いて前記走行環境モデルを生成するステップとを含む、仮想経路を表示する方法。
2. 前記センサは、ＧＰＳセンサ、ＩＭＵセンサ、ＯＢＤセンサ、及びカメラセンサのうち少なくとも１つを含む、請求項１に記載の仮想経路を表示する方法。
3. 前記検出データを前記センサごとに互いに独立的にサンプリングする、請求項１又は２に記載の仮想経路を表示する方法。
4. 前記車両の位置を推定するステップは、
   前記検出データごとに、当該の検出データが処理された処理時間に関する情報を挿入するステップと、
   前記処理時間に関する情報を有する検出データを用いて前記車両の位置を推定するステップと、
   を含む、請求項１ないし３のうち何れか一項に記載の仮想経路を表示する方法。
5. 前記車両の位置を推定するステップは、
   前記センサのうち、第１センサから第１時間に受信された第１検出データに基づいて前記車両の第１位置を推定するステップと、
   前記センサのうち、前記第１センサ又は第２センサから第２時間に受信された第２検出データに基づいて前記第１位置を第２位置に更新するステップと、
   前記センサのうち、前記第１センサ、又は第２センサ、又は第３センサから第３時間に受信された第３検出データに基づいて前記車両の第２位置を第３位置に更新するステップと、
   を含む、請求項１ないし３のうち何れか一項に記載の仮想経路を表示する方法。
6. 前記別のセンサはカメラセンサであり、前記方法は、前記カメラセンサから取得した映像データを用いて視覚的走行距離を測定するステップをさらに含み、
   前記車両の位置を推定するステップは、前記検出データ及び前記視覚的走行距離を用いて前記車両の位置を推定するステップを含む、請求項１ないし５のうち何れか一項に記載の仮想経路を表示する方法。
7. 前記検出データ及び前記視覚的走行距離を用いて前記車両の位置を推定するステップは、
   前記検出データのうち、前記映像データを除いたいずれか１つの検出データを用いて前記車両の位置を推定するステップと、
   前記映像データに基づいた視覚的走行距離を用いて前記車両の位置を補正するステップと、
   を含み、前記いずれか１つの検出データは前記或るセンサから受信された検出データである、請求項６に記載の仮想経路を表示する方法。
8. 前記３次元の仮想経路を生成するステップは、
   前記車両の位置及び前記走行環境モデルを前記地図情報に整合させて前記３次元の仮想経路を生成するステップを更に含む、請求項１ないし７のうち何れか一項に記載の仮想経路を表示する方法。
9. 前記３次元の仮想経路を生成するステップは、
   前記センサのうちカメラセンサから取得した映像データを用いて、前記車両の走行車路を含む領域の明るさ及び質感を推定するステップと、
   前記明るさ及び前記質感を適用して前記３次元の仮想経路を生成するステップと、
   を含む、請求項１ないし７のうち何れか一項に記載の仮想経路を表示する方法。
10. 前記車両の運転者視点に一致するよう前記３次元の仮想経路を変換するステップをさらに含み、
    前記３次元の仮想経路を出力するステップは、前記変換された仮想経路を表示するステップを含む、請求項１ないし９のうち何れか一項に記載の仮想経路を表示する方法。
11. 前記変換された仮想経路を出力するステップは、前記変換された仮想経路を前記車両のヘッドアップディスプレイ（ＨＵＤ）装置を介して表示するステップを含む、請求項１０に記載の仮想経路を表示する方法。
12. 前記３次元の仮想経路を変換するステップは、
    前記運転者両眼の３Ｄ位置を追跡することによって前記運転者視点を追跡するステップと、
    前記運転者両眼の３Ｄ位置を用いて前記ヘッドアップディスプレイ装置を介して表示される仮想映像と前記運転者視点との間の変換関係を予測するステップと、
    前記変換関係に基づいて前記３次元の仮想経路を変換するステップと、
    を含む、請求項１１に記載の仮想経路を表示する方法。
13. ハードウェアと結合して請求項１ないし１２のいずれか一項に記載の方法を実行させるために媒体に格納されたコンピュータプログラム。
14. 車両の位置、前記車両の姿勢、及び前記車両の走行環境を含む映像を含む検出データを検出する互いに同期していない複数のセンサを含むセンサモジュールと、
    地図情報を格納するメモリと、
    前記複数のセンサから受信された検出データに基づいて車両の位置を推定し、前記車両の位置と前記車両の走行環境に対応する走行環境モデルを前記地図情報に整合させて３次元の仮想経路を生成するプロセッサと、
    前記３次元の仮想経路を表示するディスプレイ装置と、
    を含み、前記車両の位置を推定する場合において、前記プロセッサは、前記複数のセンサのうちの或るセンサから受信された検出データに基づいて推定した前記車両の位置を、前記複数のセンサのうちの別のセンサから受信された検出データに基づいて補正し、
    前記車両の位置と前記車両の走行環境に対応する走行環境モデルを前記地図情報に整合させて３次元の仮想経路を生成する場合において、前記プロセッサは、前記センサのうちのカメラセンサから取得した映像データを用いて、意味単位にオブジェクトを空間的に分割し、前記オブジェクトの意味をピクセル単位で決定することによりセグメンテーション映像を生成し、前記セグメンテーション映像に含まれたオブジェクトを検出し、前記オブジェクトから識別された前記車両の走行車路及び前記オブジェクトの深度値を用いて前記走行環境モデルを生成する、仮想経路を表示する装置。
15. 前記センサは、
    前記車両の絶対経路を測定するＧＰＳセンサと、
    前記車両の相対経路を測定するＩＭＵセンサと、
    前記車両の走行距離を測定するＯＢＤセンサと、
    前記車両の走行環境を含む映像データをキャプチャーするカメラセンサと、
    のうち２以上又はそれ以上を含む、請求項１４に記載の仮想経路を表示する装置。
16. 前記検出データを前記センサごとに互いに独立的にサンプリングする、請求項１４又は１５に記載の仮想経路を表示する装置。
17. 前記プロセッサは、前記検出データごとに当該の検出データが処理された処理時間に関する情報を挿入し、前記処理時間に関する情報を有する検出データを用いて前記車両の位置を推定する、請求項１４ないし１６のうち何れか一項に記載の仮想経路を表示する装置。
18. 前記プロセッサは、前記センサのうち第１センサから第１時間に受信された第１検出データに基づいて前記車両の第１位置を推定し、前記センサのうち、前記第１センサ又は第２センサから第２時間に受信された第２検出データに基づいて前記第１位置を第２位置に更新し、前記センサのうち、前記第１センサ、又は前記第２センサ、又は第３センサから第３時間に受信された第３検出データに基づいて前記車両の第２位置を第３位置に更新する、請求項１４ないし１６のうち何れか一項に記載の仮想経路を表示する装置。
19. 前記別のセンサはカメラセンサであり、
    前記プロセッサは、前記カメラセンサから取得した映像データを用いて視覚的走行距離を測定し、前記検出データ及び前記視覚的走行距離を用いて前記車両の位置を推定する、請求項１４ないし１８のうち何れか一項に記載の仮想経路を表示する装置。
20. 前記プロセッサは、前記検出データのうち前記映像データを除いたいずれか１つの検出データを用いて前記車両の位置を推定し、前記映像データに基づいた視覚的走行距離を用いて前記車両の位置を補正し、前記いずれか１つの検出データは前記或るセンサから受信された検出データである、請求項１９に記載の仮想経路を表示する装置。
21. 前記プロセッサは、更に、前記車両の位置及び前記走行環境モデルを前記地図情報に整合させて前記３次元の仮想経路を生成する、請求項１４ないし２０のうち何れか一項に記載の仮想経路を表示する装置。
22. 前記プロセッサは、前記センサのうちカメラセンサから取得した映像データを用いて前記車両の走行車路を含む領域の明るさ及び質感を推定し、前記明るさ及び前記質感を用いて前記３次元の仮想経路を変換する、請求項１４ないし２０のうち何れか一項に記載の仮想経路を表示する装置。
23. 前記車両の運転者視点を追跡する第２カメラセンサをさらに含み、
    前記プロセッサは、前記車両の運転者視点に一致するよう前記３次元の仮想経路を変換し、前記変換された仮想経路を前記ディスプレイ装置を介して出力する、請求項１４ないし２２のうち何れか一項に記載の仮想経路を表示する装置。
24. 前記ディスプレイ装置は、ヘッドアップディスプレイ装置を含む、請求項２３に記載の仮想経路を表示する装置。
25. 前記プロセッサは、前記運転者両眼の３Ｄ位置を追跡することによって前記車両の運転者視点を追跡し、前記運転者両眼の３Ｄ位置を用いて前記ヘッドアップディスプレイ装置を介して表示される仮想映像と前記運転者視点との間の変換関係を予測し、前記変換関係に基づいて前記３次元の仮想経路を変換する、請求項２４に記載の仮想経路を表示する装置。
26. 前記センサそれぞれは前記車両の位置又は姿勢を個別的に検出し、
    前記センサそれぞれの検出速度は同期化されない、請求項１４ないし２５のうち何れか一項に記載の仮想経路を表示する装置。
27. 車両の走行環境映像、前記車両の運転者の両眼の３Ｄ位置を追跡することに基づいた前記車両の運転者視点、前記車両の姿勢、前記車両の位置を含む検出データを各々が独立に生成する複数のセンサを含むセンサモジュールと、
    ヘッドアップディスプレイ（ＨＵＤ）と、
    地図情報及び命令を格納するメモリと、
    前記複数のセンサから受信された検出データに基づいて車両の位置を推定し、前記車両の走行環境及び前記車両の位置に対応する走行環境モデルを前記地図情報に登録して３次元仮想経路を生成し、前記車両の運転者視点に合わせるために３次元仮想経路を変換し、前記変換された３次元仮想経路を前記ヘッドアップディスプレイを介して出力する命令を実行するよう構成されたプロセッサと、
    を含み、前記車両の位置を推定する場合において、前記プロセッサは、前記複数のセンサのうちの或るセンサから受信された検出データに基づいて推定した前記車両の位置を、前記複数のセンサのうちの別のセンサから受信された検出データに基づいて補正し、
    前記車両の走行環境及び前記車両の位置に対応する走行環境モデルを前記地図情報に登録して３次元仮想経路を生成する場合において、前記プロセッサは、前記複数のセンサのうちのカメラセンサから取得した映像データを用いて、意味単位にオブジェクトを空間的に分割し、前記オブジェクトの意味をピクセル単位で決定することによりセグメンテーション映像を生成し、前記セグメンテーション映像に含まれたオブジェクトを検出し、前記オブジェクトから識別された前記車両の走行車路及び前記オブジェクトの深度値を用いて前記走行環境モデルを生成する、仮想経路ディスプレイ装置。
28. 前記メモリは、前記センサモジュールによって生成された前記検出データ及び前記プロセッサによって生成された前記３次元仮想経路を格納する、請求項２７に記載の仮想経路ディスプレイ装置。

Images