JP2016503918A - 車両のためのシステム - Google Patents

Abstract

ヘッドアップディスプレイを有し、ヘッドアップディスプレイに連結される回路を有し、車両の周囲の第１の画像データを記録するための記録手段を有し、それによって記録手段は回路に連結され、回路は記録された第１の画像データに基づいて、周囲のオブジェクトを認識するように構成され、ヘッドアップディスプレイは画像をウインドシールド上、または、運転者の視界の車両の合成器上に投影するように構成され、回路は画像を出力するための第２の画像データを生成して、それらをヘッドアップディスプレイに送るように構成され、回路は第２の画像データに仮想バリアを生成するように構成され、回路は認識されたオブジェクトの決定された位置に基づいて画像内に仮想バリアを配置するように構成され、それによって運転者の認識されたオブジェクトへの視界方向の配置される仮想バリアは、少なくとも部分的に認識されたオブジェクトに重なる、車両のためのシステム。【選択図】図５

Description

本発明は、車両のためのシステムに関する。

ＥＰ１７２０１３１Ｂ１（特許文献１）は、実マーカオブジェクト識別による拡張現実システムを記載する。システムは、実環境から画像データを収集するためのビデオカメラを備える。実環境は、家の部屋、特定の風景の一部、または対象となる任意のその他の場面などの、任意の適切な領域を表す。実環境は、たとえば壁及び家具の形態の複数の実オブジェクトを備える居間を表す。さらに、実環境は、自動化された画像処理アルゴリズムによって容易に識別されるような任意の適切な構成を有するマーカオブジェクトとみなされる、さらなる実オブジェクトを備える。マーカオブジェクトは容易に識別できる特徴的なパターンをその上に形成し、マーカオブジェクトの形状は、複数の異なる視角からその識別が可能なように設計されてもよい。マーカオブジェクトは、その上にそれぞれの識別パターンを形成する実質的に二次元の構成も表す。

システムは、カメラによって提供される画像データに基づいてマーカオブジェクトを識別するための手段をさらに備える。識別手段は、画像データを、マーカオブジェクトを表す既定のテンプレートと比較するための既知のパターン認識アルゴリズムを備えてもよい。識別手段は、カメラで取得される画像を、既定の照度に関するしきい値に基づいて、白黒画像に変換するためのアルゴリズムをその中に実装してもよい。アルゴリズムは、画像を、正方形などの既定の区分に分割し、事前に学習されたパターンテンプレートを各区分で検索するようにさらに構成され、テンプレートはマーカオブジェクトの特徴的な部分を表す。

最初に、生ビデオ画像が照明に関するしきい値に基づく白黒画像に変換される。次に、この画像について正方形の領域が検索される。ソフトウェアはバイナリ画像のすべての正方形を検出し、その多くはオブジェクトなどの追跡マーカではない。各正方形について、正方形内のパターンが、いくつかの事前に学習されたパターンテンプレートと照合される。一致がある場合、ソフトウェアがオブジェクトなどの追跡マーカの１つを検出したことになる。次にソフトウェアは、既知の正方形のサイズとパターンの方向性とを利用して、オブジェクトなどの物理的なマーカに対する実ビデオカメラの位置を計算する。そして、３ｘ４のマトリクスは、識別されたマーカに対するビデオカメラの実世界の座標で埋められる。このマトリクスは次いで仮想カメラの座標位置を設定するために利用される。仮想カメラと実カメラの座標は同じであるため、描画されるコンピュータグラフィックスは特定された位置に実マーカオブジェクトを正確に重ね合わせる。それ以降は、レンダリングエンジンが、仮想カメラ座標を設定し、仮想画像を描画するために利用される。

システムは、カメラから受け取る画像データとオブジェクトデータ生成機から得られるオブジェクトデータとを合成する手段をさらに備える。合成手段は、追跡システムと、距離測定システムと、レンダリングシステムとを備える。通常、合成手段は、マーカオブジェクトに対応する仮想オブジェクトを付加された、環境の三次元画像を表現する仮想画像データを作成するように、それに対応して識別されたマーカオブジェクトのための生成機から得られる画像データを取り込むように構成される。これによって、合成手段は、実環境内のマーカオブジェクトのそれぞれの位置を特定するように、そして、実環境における任意の静止オブジェクトに対するマーカオブジェクトとカメラで定義される視点に対するマーカオブジェクトとの間の相対的な動きを追跡するように構成される。

システムは、生成機によって生成される仮想オブジェクトを含む仮想画像データを提供するように構成される出力手段をさらに備え、好ましい実施形態において、出力手段は、画像データに加えて、その他の種類のデータ、たとえば音声データ、嗅覚データ、触覚データなどを提供するようにも構成される。作動中において、カメラは環境の画像データを作成し、画像データは、カメラを環境に対して単に動かすことによって、または、移動可能なオブジェクトを環境内に提供することによって表される環境の動的な状態に対応し、たとえば、マーカオブジェクトまたは１つもしくは複数のオブジェクトが移動可能である。環境の視点はカメラを環境内で動かすことによって変更され、それによって、生成機によって作成される仮想オブジェクトを異なる視点から評価できるように、特にマーカオブジェクトを異なる観点から観測することが可能となる。

カメラにより提供される、連続的に更新される画像データは、マーカオブジェクトを認識する識別手段によって受け取られ、たとえば、カメラまたはマーカオブジェクトを動かすことによって視点が連続的に変化し、パターン認識が阻止されても、一度マーカオブジェクトを識別すると、それらの追跡を可能とする。マーカオブジェクトに関連する既定のパターンを画像データ内で識別すると、識別手段は、合成手段に、特定の画像データ領域内のマーカオブジェクトの存在を通知し、この情報に基づき、次に、合成手段は、マーカオブジェクトが時間とともに消滅しないことを前提として、マーカオブジェクトを識別するために利用される画像データによって表される対応するオブジェクトを連続的に追跡する。マーカオブジェクトを識別する手順は、マーカオブジェクトの存在を確認し、合成手段の追跡精度を検証または上げるように、実質上連続的に行われる、または、定期的に繰り返される。環境の画像データ及び識別手段によって提供される情報に基づき、合成手段は三次元画像データを作成し、オブジェクト生成機から受け取る対応する三次元画像データを重ね合わせ、三次元オブジェクトデータは、合成手段の追跡動作に基づいて、恒久的に更新される。

合成手段は、識別手段の情報に基づいて、マーカオブジェクトに対するカメラの位置を算出してもよく、そして、この座標情報を仮想カメラの座標を決定するために利用してもよく、それによって、生成機によって届けられるオブジェクトデータの、マーカオブジェクトの画像データとの正確な「重ね合わせ」が可能となる。座標情報は、カメラに対するマーカオブジェクトの相対的な方向性のデータも含み、それによって、合成手段は、仮想オブジェクトの方向性を正しく適合することが可能となる。最後に、合成された三次元仮想画像データは、出力手段によって任意の適切な形態で表現される。出力手段は、マーカオブジェクトに関連する仮想オブジェクトを含む環境を可視化するように、適切な表示手段を備えてもよい。システムが作動するとき、実質的に信頼性が高いリアルタイム画像処理を可能とするように、少なくとも１つのマーカオブジェクトに関する認識基準をプリインストールすることは好適である。さらに、それぞれのマーカオブジェクトと１つまたは複数の仮想オブジェクトとの間の対応関係がシステムの作動前に設けられてもよく、または、仮想オブジェクトのマーカオブジェクトへの割当ての双方向定義を可能とするように設計されてもよい。たとえば、使用者の要求に応じて、初期にマーカオブジェクトに割り当てられる仮想オブジェクトを、マーカオブジェクトに割り当てることや、その逆もまた可能である。さらに、複数の仮想オブジェクトが単一のマーカオブジェクトに割り当てられ、複数の仮想オブジェクトのうちのそれぞれ１つが、使用者、ソフトウェアアプリケーションによって選択される。

欧州特許出願公開第１７２０１３１号明細書

本発明の目的は、自動車のためのシステムを改善することである。

前記目的は、独立請求項１の特徴を有するシステムによって達成される。好適な改良は、従属請求項の対象であり、その記載に含まれる。

それに応じて、車両のためのシステムが提供される。システムが情報及びエンタテインメント機能の両方を有する場合、それはインフォテインメントシステムと呼ばれる可能性もある。

システムはヘッドアップディスプレイを有する。

システムは、ヘッドアップディスプレイに連結される回路を有する。回路は、中央ユニットに組み込まれてもよい。あるいは、回路は、ヘッドアップディスプレイを有するハウジングに組み込まれてもよい。

システムは、車両周囲の第１の画像データを記録するための記録手段を有する。記録手段は回路に連結される。

回路は、記録された第１の画像データに基づいて、周囲のオブジェクトを認識するように構成される。また、この機能は、オブジェクト認識と呼ばれてもよい。

ヘッドアップディスプレイは、画像を、車両のウインドシールド上、または、運転者の視界の合成器上に投影するように構成される。合成器は、ウインドシールドから遠ざけられてもよい。合成器は、たとえば透明な塑性材料から作られる、反射する少なくとも部分的に透明なペインである。

回路は、画像を出力するための第２の画像データを生成して、それらをヘッドアップディスプレイに送るように構成される。

回路は、第２の画像データに仮想バリアを生成するように構成される。

回路は、認識されたオブジェクトの決定された位置に基づいて、画像内に仮想バリアを配置するように構成され、それによって、運転者の認識されたオブジェクトへの視界方向に配置される仮想バリアは、少なくとも部分的に認識されたオブジェクトに重なる。

出願人によるテストは、直観的に理解できる警告情報を仮想バリアによって運転者に出力できることを示している。したがって、したがって、運転者は最初に解釈したり、解釈されたシンボルを危険の源に関連付ける必要がない。危険に対する解釈及び関連付けは、視界に配置される仮想バリアに置き換えられる。

システムの好適な実施形態が以下に記載される。

１つの実施形態によると、仮想バリアは仮想壁でもよい。運転者は、本能的に壁との衝突を避けたいと思い、その結果、運転者は、素早く、そして、ほとんど反射的にカウンタステアを行うことができ、衝突の可能性の前に、価値のあるほんの一瞬の時間を得ることができる。

１つの実施形態によると、仮想バリアは半透明でもよい。仮想バリアの透明性のために、運転者は仮想バリアを通して実オブジェクト、たとえば移動するトランクを認識することができる。

１つの実施形態によると、認識されるオブジェクトは路面表示でもよい。路面表示は白または黄の側線または中央線でもよい。

１つの実施形態によると、認識されるオブジェクトは道路標識でもよい。道路標識は、一方通行路の出口端に配置される「進入禁止」でもよい。仮想バリアは道路標識に重なって、一方通行路の出口端を仮想的に閉めてもよく、その結果、運転者は、実質的に誤った方向に進むことが妨げられる。

１つの実施形態によると、認識されるオブジェクトは、道路の構造上の境界でもよい。構造上の境界は縁石端でもよい。仮想バリアは縁石端に重なってもよい。

１つの実施形態によると、回路は、警告信号がしきい値を超えたときに、仮想バリアを生成するように構成されてもよい。１つの実施形態によると、回路は、オブジェクトに対する車両の決定された距離に基づいて、警告信号を生成するように構成されてもよい。あるいは、警告信号は、その他の入力変数、たとえば交通規則などに応じて生成することもできる。

１つの実施形態によると、回路は、道路使用者を認識するように構成されてもよい。回路は、死角の道路使用者を認識することで警告信号を生成するように構成されてもよい。

上記の実施形態は、単独でも組み合わせても特に好適である。この点について、すべての実施形態を互いに組み合わせることができる。いくつかの可能な組合せが、図に示される例示的な実施形態の記述において説明される。しかし、その中に示される特徴のこれらの可能な組合せは、限定的なものではない。

本発明は、図解を使用する例示的な実施形態によって、以下でより詳細に説明される。

図１は、車両内部の概略図である。 図２は、システムの例示的な実施形態の概ブロック回路図である。 図３は、その周囲における車両の概略図である。 図４は、車両のウインドシールドを通しての概略図である。 図５は、車両のウインドシールドを通してのさらなる概略図である。 図６は、車両のウインドシールドを通してのさらなる概略図である。

図１．
図１は、車両内部の概略図を示す。図１の１つの実施形態によると、車両１００は、運転席１４０と助手席１５０とを含んでもよい。車両１００は、運転者側のハンドル１３０と、ギアシフト１７０と、フロントウインドシールド１１０とをさらに含んでもよい。図１の１つの実施形態によると、情報及びエンタテインメント機能を提供するインフォテインメントシステムとも呼ばれるシステムが提供されてもよい。

インフォテインメントシステムは、ユーザインタフェースを提供する中央ユニット５００を有してもよい。インフォテインメントシステムはインストルメントクラスタディスプレイ５２０を有してもよく、または、それと通信してもよい。１つの実施形態によると、インストルメントクラスタディスプレイ５２０は、ハンドル１３０の位置に並べて配置されてもよく、使用者は、ハンドル１３０の開口部を通して、表示される情報コンテンツを見てもよい。インストルメントクラスタディスプレイ５２０はカラー画面でもよい。

インフォテインメントシステムは、ヘッドアップディスプレイ２００を有してもよい。ヘッドアップディスプレイは、ヘッドユニットディスプレイ２００と呼ばれてもよい。ヘッドアップディスプレイ２００は、画像２０１をフロントウインドシールド１１０に投影するように構成されてもよい。フロントウインドシールド１１０の表面は、使用者に向けて、図１の１つの実施形態の場合は車両１００の運転者に向けて、投影される画像２０１を映してもよい。図１に示される１つの実施形態によると、投影される画像２０１は、反射領域２９９のサイズである可能性がある。フロントウインドシールド１１０の形態は平坦な反射面から離れてもよく、電子整流及び／または光整流が利用されてもよい。安価な代案は独立した合成器（図示せず）である。合成器は少なくとも部分的に透明であり、反射面を有する。合成器は、運転者／使用者の視線方向の、ウインドシールドと運転者／使用者との間に配置されてもよい。

インフォテインメントシステムは、フロントウインドシールド１１０の平面内に投影される画像２０１の位置を調整するための調整手段を有してもよい。調整手段は、ヘッドアップディスプレイ２００の光学要素及び／またはヘッドアップディスプレイ２００自体の位置を制御する作動駆動装置を備えてもよい。フロントウインドシールド１１０内の反射領域２９９の位置及び／またはサイズは、パラメータによって制御されてもよい。中央ユニット５００は、投影される画像２０１の調整のパラメータに基づいて、使用者の目の位置を確認するように構成されてもよい。

図１の１つの実施形態によると、インフォテインメントシステムは、入力装置６０１、６０２、６０３、６０４、６０５を有してもよい。センサ６０２は、車両１００のハンドル１３０に導かれる感度を有する、ダッシュボード１２０に配置される１つの入力装置６０２でもよい。センサ６０２は、ハンドル１３０とダッシュボード１２０との間の使用者の手の位置及び／または動きを特定するように配置及び設計されてもよい。別のセンサ６０１は、中央ユニット５００の領域での入力を可能とするように、中央コンソールに配置されてもよい。

インフォテインメントシステムは、中央コンソールに入力装置６０３を有してもよい。入力装置６０３はユーザインタフェースの一部でもよく、１つまたは複数の押ボタン、入力ホイールなどを有してもよい。システムはハンドル１３０に組み込まれ、１つまたは複数の押ボタン、スイッチなどを有する入力装置６０４を有してもよい。インフォテインメントシステムは、使用者の画像を記録する内蔵カメラ５１０を有してもよい。

システムは、車両１００の周囲の第１の画像データを記録するための記録手段６１１を有してもよい。図１の１つの実施形態における記録手段はビデオカメラでもよく、それはウインドシールドを通して少なくとも車両１００の前方の周囲を記録する。あるいは、記録手段６１１は車両で異なる位置、たとえば、ヘッドライトの領域に配置されてもよい。記録手段６１１は、周囲の第１の画像データを伝達するために、中央ユニット５００に連結されてもよい。中央ユニット５００は、この場合、記録された第１の画像データに基づいて周囲のオブジェクトを認識するように構成されてもよい。

図２．
図２は、自動車１００のシステムの実施例の、ブロック回路図を示す。システムは中央ユニット５００を有してもよい。中央ユニット５００は回路５４０を有してもよい。回路５４０は、プログラムを実行するプロセッサを有してもよい。回路５４０は、その他の装置６０１などを連結する複数のインタフェースを有してもよい。中央ユニット５００は、車両１００のダッシュボード１２０または中央コンソールの中央に配置されてもよい中央情報ディスプレイ５３０を有してもよい。中央情報ディスプレイ５３０はタッチスクリーンでもよく、使用者の入力のための接触感知表面を備える。

図２の１つの実施形態によると、車両１００のためのシステムが提供される。システムは、ヘッドアップディスプレイ２００を有してもよく、それは中央ユニット５００に連結される。ヘッドアップディスプレイ２００は、画像２０１を運転者の視界の車両１００のウインドシールド１１０に投影するように構成されてもよい。

システムは、車両１００の周囲の第１の画像データＳ６１１を記録するための記録手段６１１を有してもよい。記録手段６１１は中央ユニット５００に連結される。１つの実施形態によると、システムは、車両１００の周囲４００の画像を記録するために配置される１つまたは複数のカメラ６１１、６１２、６１３、６１４を有してもよい。１つの実施形態によると、中央ユニット５００は、車両１００の前方の道路及び交通の画像データＳ６１１を捕らえる前方カメラ６１１に連結されてもよい。

さらに、中央ユニット５００は、車両１００の後方の道路及び交通の画像データＳ６１２を捕らえる後方カメラ６１２に連結されてもよい。中央ユニット５００は、同様に画像を記録する左カメラ６１３及び／または右カメラ６１４に連結されてもよい。１つまたは複数のカメラ６１１、６１２、６１３、６１４は、同時に車両１００の全周囲を記録するために利用されてもよい。

１つの実施形態によると、中央ユニット５００は、記録された第１の画像データＳ６１１に基づいて周囲のオブジェクトを認識するように構成される。中央ユニット５００の回路５４０は、記録された画像データＳ６１１、Ｓ６１２のオブジェクトを認識するためにオブジェクト認識プログラムを実行するように構成されてもよい。認識されたオブジェクトは、路面表示または、車両のような道路使用者でもよい。

１つの実施形態によると、中央ユニット５００は、画像２０１を出力するための第２の画像データＳ２００を生成するように構成されてもよい。第２の画像データＳ２００は、連結、たとえばケーブルによって、中央ユニット５００からヘッドアップディスプレイ２００に送られてもよい。回路５４０の機能ブロック５４２は、ヘッドアップディスプレイ２００への第２の画像データＳ２００の出力を生成するように構成されてもよい。さらに、回路５４０の機能ブロック５４２は、中央ユニット５００の中央ディスプレイ５３０への画像データＳ５３０の出力、及びディスプレイ５２０への画像データＳ５２０の出力を生成するように構成されてもよい。

１つの実施形態によると、中央ユニット５００は、第２の画像データＳ２００に仮想バリアを生成するように構成されてもよい。仮想バリアは、仮想壁またはコーンの列またはその他でもよく、それはベクトル図形としてレンダリングによってコンピュータで生成されてもよい。１つの実施形態によると、中央ユニット５００は、認識されたオブジェクトの決定された位置に基づいて、画像内に仮想バリアを配置するように構成されてもよく、その結果、運転者の認識されたオブジェクトへの視界方向に配置される仮想バリアは、少なくとも部分的に認識されたオブジェクトに重なる。

図２における１つの実施形態によると、回路５４０は、入力信号を評価するための機能ブロック５４１を有してもよい。機能ブロック５４１は、ハードウェアにより、または、ソフトウェアによるプログラムシーケンスとして、実現される可能性がある。図２の実施形態における入力信号は、少なくとも、前方カメラの第１の画像データＳ６１１である。車両１００の周囲のオブジェクトは、第１の画像データＳ６１１を用いて機能ブロック５４１における画像認識によって検出される。１つの実施形態によると、機能ブロック５４１は、認識されたオブジェクトの位置の位置信号を出力するように構成されてもよい。車両１００の位置に対する認識されたオブジェクトの位置が出力される可能性がある。

１つの実施形態によると、中央ユニット５００の回路５４０の第１の機能ブロック５４１は、警告信号Ｓ３を生成するように構成されてもよい。中央ユニット５００は、警告信号Ｓ３がしきい値を超えたときに、仮想バリアを生成するように構成されてもよい。１つの実施形態によると、中央ユニット５００は、オブジェクトに対する車両１００の決定された距離に基づいて、警告信号Ｓ３を生成するように構成されてもよい。あるいは、または、それに加えて、警告信号Ｓ３はさらに、位置決定システム６０９の位置データＳ６０９、またはレーダセンサ６１５、６１６、６１７、６１９からの信号などのその他のデータに基づく可能性がある。

警告信号Ｓ３は、値、ベクトル、またはマトリクスのデータを含んでもよく、それは車両１００の衝突の危険性を表す。警告信号Ｓ３は、制御機能ブロック５４２の入力へ出力されてもよい。機能ブロック５４２は、警告信号Ｓ３に基づく第２の画像データＳ２００、Ｓ５３０、Ｓ５２０を生成するように構成されてもよい。特に、仮想バリア２１０は警告信号Ｓ３に基づいて生成される可能性がある。

図２の１つの実施形態によると、使用者の音声を録音するために、センサ６０１、６０２と、入力装置６０３、６０４と、マイク６０５とが連結されてもよい。中央ユニット５００は、声の制御入力のための音声認識プログラムを実行するように構成されてもよい。インフォテインメントシステムは、使用者の顔を捕らえる内蔵カメラ５１０を有してもよい。内蔵カメラ５１０は、評価のために中央ユニット５００に画像データＳ５１０を送ってもよい。中央ユニット５００は、使用者の目を認識するように構成されてもよい。中央ユニット５００は同時に、使用者の目の位置を確認するように構成されてもよい。

ヘッドアップディスプレイ２００、及び／またはインストルメントクラスタディスプレイ５２０、及び／または中央ユニット５００の中央情報ディスプレイ５３０、及び／または第１のセンサ６０１、及び／または第２のセンサ６０２、及び／または携帯機器７９１と連結するための第１の近接連結装置６０６、及び／または携帯機器７９２と連結するための第２の近接連結装置６０７、及び／または入力装置６０３、６０４は、回路５４０と連結または通信してもよい。センサ６０１、６０２は非接触型でもよい。センサ６０１、６０２は赤外線センサでもよい。

１つの実施形態によると、車両１００のインフォテインメントシステムは、画像システムを含んでもよい。インフォテインメントシステムは、ヘッドアップディスプレイ２００を有してもよい。インフォテインメントシステムは、ヘッドアップディスプレイ２００及び中央情報ディスプレイ５３０に連結可能な中央ユニット５００の回路５４０を有してもよい。中央ユニット５００は、表示されるヘッドアップディスプレイ２００に第２の画像データＳ２００を送るように構成されてもよい。図１に示されるように、ヘッドアップディスプレイ２００は、画像２０１をフロントウインドシールド１１０に投影するように構成されてもよい。画像２０１は、第２の画像データＳ２００に基づいてもよい。

中央ユニット５００は使用者の視点を確認するように構成されてもよく、使用者の視点は使用者の目の位置である。使用者の目の位置を確認するために、中央ユニット５００は内蔵カメラ５１０の画像データＳ５１０を評価し、捕らえた画像内の使用者の目及びそれらの位置を認識するように構成されてもよい。

画像２０１は領域２９９内に投影されてもよい。投影される画像２０１は既定でもよく、使用者によって調整可能でもよい。領域２９９は運転者の視界に配置されてもよい。領域２９９の位置はハンドル１３０に対して調整されてもよく、画像２０１は、車両１００の前の交通も観測できる運転者が見ることができる。画像２０１は少なくとも部分的に透明、たとえば半透明でもよい。領域２９９の少なくとも一部は、運転中、透明でもよく、運転者の視界は大きく妨げられない。

インフォテインメントシステムは、現在の速度、車両雨センサデータなどの車両データを読み出すために、ＣＡＮバスなどの車両のバスへのインタフェース６０８を有してもよい。インフォテインメントシステムは、ＧＰＳデータまたはＧＬＯＮＡＳＳデータなどの、車両の現在位置の位置データＳ６０９を受け取るために、衛星受信機６０９を有してもよい。システムは、たとえばＵＭＴＳ網、ＬＴＥ網、またはＷＬＡＮ網などのワイヤレスネットワークで通信するための送受信機６１０を有してもよい。

インフォテインメントシステムは、１つまたは複数の距離センサ６１５、６１６、６１７、６１９を有してもよい。距離センサ６１５、６１６、６１７、６１９は、車両１００の周囲のオブジェクトまでの距離を計測するための、超音波センサ、またはレーダセンサ、または任意のその他の装置もしくはシステムでもよい。１つまたは複数の距離センサ６１５、６１６、６１７、６１９は、中央ユニット５００に連結可能でもよい。

図２の１つの実施形態によると、インフォテインメントシステムは、フロントウインドシールド１１０の平面内に投影される画像２０１の位置を調整するための調整手段を有してもよい。調整手段は、ヘッドアップディスプレイ２００またはその光学要素の位置を変更するための電気機械式駆動装置でもよい。中央ユニット５００は、ヘッドアップディスプレイ２００の調整のためにパラメータＳ２０１を送るように構成されてもよい。中央ユニット５００は、投影される画像２０１の調整のパラメータＳ２０１に基づいて、使用者の視点３０１を確認するように構成されてもよい。使用者は駆動制御を入力することによって投影される画像２０１を調整してもよく、それはパラメータＳ２０１に基づいている。

図３．
図３は、その周囲４００における車両１００の三次元概略図を示す。車両１００は、車両１００の運転者位置の使用者７００によって運転される。使用者７００は、使用者７００の前のダッシュボード及びウインドシールド１１０をさらに示すために、透過的な方法で示される。図４に示される１つの実施形態によると、システムが車両１００に提供される。システムは、中央ユニット５００と、中央ユニット５００に連結可能なヘッドアップディスプレイ２００とを有してもよい。ヘッドアップディスプレイ２００は、画像２０１を車両１００のウインドシールド１１０に投影するように構成される。

使用者７００の視点３０１が図３にさらに示され、視点３０１は使用者の目の位置である。使用者は、ウインドシールド１１０を通して、車両１００の周囲４００、たとえば道路及び交通を見ることができる。ウインドシールド１１０に投影される画像２０１は、使用者７００の視界に現れる。画像２０１は半透明でもよい。

１つの実施形態によると、システムは、車両１００の前方で周囲４００の第１の画像データを記録するための前方カメラ６１１を、記録手段として有してもよい。前方カメラ６１１は、中央ユニット５００に連結されてもよい。中央ユニット５００は、いくつかの方法ステップでプログラムを実行するように構成されてもよい。以下に説明される機能は、プログラムのステップによって実行される可能性がある。

周囲４００のオブジェクト４５７は、前方カメラ６１１の記録された第１の画像データに基づいて、中央ユニット５００によって認識されてもよい。図３に示される１つの実施形態において、認識されるオブジェクトは、たとえば２車線の間の路面表示４５７である。

第２の画像データは画像２０１を出力するための中央ユニット５００によって生成されて、ヘッドアップディスプレイ（２００）に送られてもよく、それによって、仮想バリア２１０が第２の画像データに、中央ユニット５００によって生成されてもよい。バリア２１０が、認識されたオブジェクト４５７への運転者７００の視界方向ＶＤに配置されることが、図３に示される。この場合、仮想バリア２１０の底部領域が、認識された路面表示４５７に重なり、それによって、運転者７００の目の位置３０１と認識された路面表示４５７との間で一直線に配置される。バリア２１０は路面表示４５７上に動かされる可能性があり、車両１００の動きに応じて運ばれる可能性がある。

１つの実施形態によると、仮想バリア２１０は、周囲４００で認識されたオブジェクト４５７と一列に並ぶことになっている。使用者７００の視界において、画像２０１内の仮想バリア２１０は、車両のウインドシールド１１０に投影されてもよい。仮想バリア２１０は、中央ユニット５００による画像データＳ２００の一部として出力されてもよい。使用者の視点３０１は、中央ユニット５００によって確認されてもよい。使用者の視点は、使用者の目の位置３０１である。

図４．
図３による車両１００のウインドシールド１１０を通しての運転者７００の視界は、図４に概略的に示される。周囲４００は、細線でここに概略的に示される。対照的に、ウインドシールド１１０に投影される画像２０１の要素は、極太線で強調される。それによって、運転者７００は同じ視界方向に、周囲及びたとえば半透明の画像２０１の両方が見える。図４の１つの実施形態において、画像２０１は、現在の速度１２０ｋｍ／ｈの速度表示、速度制限、目的地までの距離６４２ｋｍ、及び次の操作点までの距離２３ｋｍを示してもよい。

図４の１つの実施形態によると、中央ユニット５００は、道路の表示４５８、４５９を認識するように構成されてもよい。表示４５８、４５９は、オブジェクトとみなされてもよい。中央ユニット５００は、認識された表示４５８、４５９に対する車両１００の現在位置を推定するように構成されてもよい。図４において、認識された表示４５８、４５９は、使用者７００に正しい認識を示す仮想要素に重ね合わせられてもよい。

図５．
図５は、車両１００の前方の進行方向における車両１００のウインドシールド１１０を通した周囲４００の運転者７００の視界を示す。ウインドシールド１１０に投影される画像２０１は、バリア２１０を有してもよい。図５における１つの実施形態によると、仮想バリアは仮想壁２１０でもよい。図５の１つの実施形態における仮想壁２１０は、透明であるように示されない。好ましくは、仮想バリア２１０は半透明である、しかし、運転者７００が仮想バリアの背後に位置する実要素、たとえば遊んでいる子供を見ることは可能である。図５の１つの実施形態において、認識されるオブジェクト４５９は、側方の車線を制限する路面表示４５９でもよい。さらに、さらなる路面表示４５８が中央線として概略的に示される。

図５の１つの実施形態によると、画像システムを含む車両１００のインフォテインメントシステムが提供される。インフォテインメントシステムは、ヘッドアップディスプレイ２００を有してもよい。インフォテインメントシステムは、道路の運転空間に石灰をまく道路の制限を認識するための手段６１１、６１５を有してもよい。制限は、車両１００の使用者７００に可視である。制限は、道路または壁または縁石上の表示４５９でもよい。手段はカメラ６１１でもよい。インフォテインメントシステムは、ヘッドアップディスプレイ２００に、及び、認識するための手段６１１に連結可能な中央ユニット５００を有してもよい。

中央ユニット５００は、表示されるヘッドアップディスプレイ２００に画像データＳ２００を送るように構成されてもよい。ヘッドアップディスプレイ２００は、車両１００の中の使用者７００（たとえば運転者）に可視に、画像２０１をフロントウインドシールド１１０に投影するように構成されてもよい。画像２０１は、画像データＳ２００に基づいてもよい。

車両１００と認識された制限４５９との間の推定距離がしきい値を下まわったときに、中央ユニット５００が仮想バリア２１０を出力するように構成されてもよい。中央ユニット５００は、仮想バリア２１０を画像データＳ２００に含むように構成されてもよく、その結果、仮想バリア２１０の位置と制限４５９の位置は、車両１００の使用者７００の視界で重なる。車両１００の周囲４００の制限４５９の仮想点４１１は、記録された画像に基づいて確認されてもよい。使用者７００の視界において、仮想バリア２１０の少なくとも１つの点２１１は、中央ユニット５００によって仮想点４１１に合わされてもよく、その位置合わせは使用者の視点３０１に基づく。さらに、仮想バリア２１０の複数の点が、認識された制限の複数の仮想点に合わせされてもよく、仮想バリア２１０の形状が制限の方向に適合していてもよい。

図５の１つの実施形態によると、仮想バリア２１０は、運転者７００が運転すべき車線を制限する白い表示４５９に重なる赤い、半透明の壁である。さらに、画像２０１は動画の（点滅する）矢印２０５を有し、それは正しい運転の方向を示す。

図６．
図６は、車両１００の前方の進行方向におけるウインドシールド１１０を通した周囲４００の運転者７００の視界を示す。図６の１つの実施形態において、システムは、オブジェクト、特に死角にいる別の車両を認識するための手段６１３、６１７を有してもよい。死角にいる他の車両の存在は、カメラ６１３またはレーダセンサ６１６によって認識される可能性がある。

１つの実施形態によると、中央ユニット５００は、死角に位置する、または、死角に接近している道路使用者を認識するように構成されてもよい。１つの実施形態によると、中央ユニット５００は、死角にいる道路使用者の認識に応じて、警告信号Ｓ３を生成するように構成されてもよい。警告信号Ｓ３は中央ユニット５００によって評価されてもよく、画像２０１の仮想バリア２１０は警告信号Ｓ３に基づいて出力されてもよい。

図６の１つの実施形態によると、車両１００のインフォテインメントシステムが提供される。インフォテインメントシステムは、ヘッドアップディスプレイ２００を有してもよい。インフォテインメントシステムは、道路の２本の車線を分ける表示４５８を認識するための手段６１１を有してもよく、表示４５８は車両１００の使用者７００に可視である。また、表示４５８は中央線と呼ばれてもよい。インフォテインメントシステムは、ヘッドアップディスプレイ２００及び認識するための手段６１１に連結可能な中央ユニット５００を有してもよい。

中央ユニット５００は、表示されるヘッドアップディスプレイ２００に画像データＳ２００を送るように構成されてもよい。ヘッドアップディスプレイ２００は、車両１００の中の使用者７００（たとえば運転者）に可視に、画像２０１をフロントウインドシールド１１０に投影するように構成されてもよい。画像２０１は、画像データＳ２００に基づいてもよい。

道路使用者が表示４５８の他方側で検出されるとき、中央ユニット５００は、シンボル２１０として仮想バリア２１０を出力するように構成される。道路使用者が現在、死角にいる場合、道路使用者は車両１００の使用者に可視でなくてもよい。道路使用者は、距離センサまたは画像データの信号を評価することによって検出されてもよい。

中央ユニット５００は、仮想バリア２１０を画像データＳ２００に含むように構成されてもよく、その結果、仮想バリア２１０の位置と表示４５８の位置は、車両１００の使用者７００の視界で重なる。車両１００の周囲４００の表示４５８の仮想点４１１は、記録された画像に基づいて確認されてもよい。使用者７００の視界において、仮想バリア２１０の少なくとも１つの点２１１は、中央ユニット５００によって仮想点４１１に合わされてもよく、その位置合わせは使用者の視点３０１に基づく。

図６の１つの実施形態によると、仮想バリア２１０は、道路の白い表示４５８上に配置される赤い半透明の壁である。

本発明は、図１〜６に示される実施形態に限定されない。たとえば、半透明のカーテン、ガードレールなどのその他の仮想バリアを提供することが可能である。認識されたオブジェクトまでの距離に応じて、透明度または色または明るさなどの仮想バリアの特性を変更することも可能である。たとえば一方通行路への許されない進入を示す交通規則に応じて、仮想バリアを出力することも同様に可能である。さらに仮想バリアは、「間違った」道路への進入を防ぐために、操作指示を示すために使用される可能性がある。図２によるシステムの機能は、インフォテインメントシステムのために特に有利に使用される可能性がある。

１００ 車両
１１０ ウインドシールド
１２０ ダッシュボード
１３０ ハンドル
１４０、１５０ シート
１７０ ギアシフト
２００ ヘッドアップディスプレイ
２０１ 画像
２０５ シンボル
２１０ 仮想バリア
２１１ 点
２９９ 領域
４００ 周囲
４１１ 点
４５７、４５８、４５９ オブジェクト
５００ 中央ユニット
５１０ 内蔵カメラ
５２０、５３０ ディスプレイ
５４０ 回路
５４１、５４２ 機能ブロック
６０１、６０２ ジェスチャセンサ
６０３、６０４ 入力装置
６０５ マイク
６０６、６０７ 近接通信装置
６０９ 衛星受信機、ＧＰＳ
６０８ バスインタフェース
６１０ 送受信機
６１１、６１２、６１３、６１４ カメラ
６１５、６１６、６１７、６１９ レーダセンサ
７９１、７９２ 携帯電話、スマートフォン
ＶＤ 視界方向
Ｓ３ 警告信号
Ｓ２００、Ｓ２０１、Ｓ５１０、Ｓ５２０、Ｓ５３０、Ｓ６０９、Ｓ６１１、Ｓ６１２ データ

上記の実施形態は、単独でも組み合わせても特に好適である。この点について、すべての実施形態を互いに組み合わせることができる。いくつかの可能な組合せが、図に示される例示的な実施形態の記述において説明される。しかし、その中に示される特徴のこれらの可能な組合せは、限定的なものではない。
例えば、本願発明は以下の項目を提供する。
（項目１）
ヘッドアップディスプレイ（２００）を有し、
前記ヘッドアップディスプレイ（２００）に連結される回路（５４０）を有し、
車両（１００）の周囲（４００）の第１の画像データ（Ｓ６１１）を記録するための記録手段（６１１）を有し、それによって、前記記録手段（６１１）は前記回路（５４０）に連結され、
前記回路（５４０）は、前記記録された第１の画像データ（Ｓ６１１）に基づいて、前記周囲（４００）のオブジェクト（４５７、４５８、４５９）を認識するように構成され、
前記ヘッドアップディスプレイ（２００）は、画像（２０１）を、ウインドシールド（１１０）上、または、運転者（７００）の視界の前記車両（１００）の合成器上に投影するように構成され、
前記回路（５４０）は、前記画像（２０１）を出力するための第２の画像データ（Ｓ２００）を生成して、それらを前記ヘッドアップディスプレイ（２００）に送るように構成され、
前記回路（５４０）は、前記第２の画像データ（Ｓ２００）に仮想バリア（２１０）を生成するように構成され、
前記回路（５４０）は、前記認識されたオブジェクト（４５７、４５８、４５９）の決定された位置に基づいて、前記画像（２０１）内に前記仮想バリア（２１０）を配置するように構成され、それによって、前記運転者（７００）の前記認識されたオブジェクト（４５７、４５８、４５９）への視界方向（ＶＤ）の前記配置される仮想バリア（２１０）は、少なくとも部分的に前記認識されたオブジェクト（４５７、４５８、４５９）に重なる、
車両（１００）のためのシステム。
（項目２）
前記仮想バリアが仮想壁（２１０）である、
項目１に記載のシステム。
（項目３）
前記仮想バリア（２１０）が半透明である、
項目１または２に記載のシステム。
（項目４）
前記認識されたオブジェクトが路面表示（４５７、４５８、４５９）である、
項目１〜３のいずれか一項に記載のシステム。
（項目５）
前記認識されたオブジェクトが道路標識である、
項目１〜４のいずれか一項に記載のシステム。
（項目６）
前記認識されたオブジェクトが道路の構造上の境界である、
項目１〜５のいずれか一項に記載のシステム。
（項目７）
前記回路（５４０）が、警告信号（Ｓ３）がしきい値を超えたときに、前記仮想バリア（２１０）を生成するように構成される、
項目１〜６のいずれか一項に記載のシステム。
（項目８）
前記回路（５４０）が、前記オブジェクト（４５７、４５８、４５９）に対する前記車両（１００）の決定された距離に基づいて、前記警告信号（Ｓ３）を生成するように構成される、
項目５に記載のシステム。
（項目９）
前記回路（５４０）が、道路使用者を認識するように構成され、
前記回路（５４０）が、死角の前記道路使用者を認識することで前記警告信号（Ｓ３）を生成するように構成される、
項目５または６に記載のシステム。

Claims (9)

1. ヘッドアップディスプレイ（２００）を有し、
   前記ヘッドアップディスプレイ（２００）に連結される回路（５４０）を有し、
   車両（１００）の周囲（４００）の第１の画像データ（Ｓ６１１）を記録するための記録手段（６１１）を有し、それによって、前記記録手段（６１１）は前記回路（５４０）に連結され、
   前記回路（５４０）は、前記記録された第１の画像データ（Ｓ６１１）に基づいて、前記周囲（４００）のオブジェクト（４５７、４５８、４５９）を認識するように構成され、
   前記ヘッドアップディスプレイ（２００）は、画像（２０１）を、ウインドシールド（１１０）上、または、運転者（７００）の視界の前記車両（１００）の合成器上に投影するように構成され、
   前記回路（５４０）は、前記画像（２０１）を出力するための第２の画像データ（Ｓ２００）を生成して、それらを前記ヘッドアップディスプレイ（２００）に送るように構成され、
   前記回路（５４０）は、前記第２の画像データ（Ｓ２００）に仮想バリア（２１０）を生成するように構成され、
   前記回路（５４０）は、前記認識されたオブジェクト（４５７、４５８、４５９）の決定された位置に基づいて、前記画像（２０１）内に前記仮想バリア（２１０）を配置するように構成され、それによって、前記運転者（７００）の前記認識されたオブジェクト（４５７、４５８、４５９）への視界方向（ＶＤ）の前記配置される仮想バリア（２１０）は、少なくとも部分的に前記認識されたオブジェクト（４５７、４５８、４５９）に重なる、
   車両（１００）のためのシステム。
2. 前記仮想バリアが仮想壁（２１０）である、
   請求項１に記載のシステム。
3. 前記仮想バリア（２１０）が半透明である、
   請求項１または２に記載のシステム。
4. 前記認識されたオブジェクトが路面表示（４５７、４５８、４５９）である、
   請求項１〜３のいずれか一項に記載のシステム。
5. 前記認識されたオブジェクトが道路標識である、
   請求項１〜４のいずれか一項に記載のシステム。
6. 前記認識されたオブジェクトが道路の構造上の境界である、
   請求項１〜５のいずれか一項に記載のシステム。
7. 前記回路（５４０）が、警告信号（Ｓ３）がしきい値を超えたときに、前記仮想バリア（２１０）を生成するように構成される、
   請求項１〜６のいずれか一項に記載のシステム。
8. 前記回路（５４０）が、前記オブジェクト（４５７、４５８、４５９）に対する前記車両（１００）の決定された距離に基づいて、前記警告信号（Ｓ３）を生成するように構成される、
   請求項５に記載のシステム。
9. 前記回路（５４０）が、道路使用者を認識するように構成され、
   前記回路（５４０）が、死角の前記道路使用者を認識することで前記警告信号（Ｓ３）を生成するように構成される、
   請求項５または６に記載のシステム。

Images