JP2018531530A6 - 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 - Google Patents

Abstract

本発明は、二台に互いに接続された車両からなる車両コンビの周辺シーンを表示するための方法、並びに、装置を実現する。この際、該車両コンビの双方の車両それぞれにおいて、画像データが、センサー的に捕捉される。続いて、双方の車両の互いの空間的位置関係を考慮して画像データが、一枚の周辺シーンに合成される。この様にして作成された一枚の周辺シーンにより、車両運転手は、車両コンビ全体の周りの周辺領域を効率良く且つ確実に捕捉できる。

Description

本発明は、周辺シーン、特に、車両の周辺シーンを表示するための方法、並びに、装置に関する。更に、本発明は、車両・被牽引車両コンビ用のサラウンド・ビュー・システムにも関する。

車両には、カメラ画像から、車両のドライバーを、例えば、駐車や後進などの運転マヌーバの実施時にサポートするための表示画像を計算するリア・ビュー・システムやサラウンド・ビュー・システムがますます搭載されるようになってきている。まさしく後進時こそ、車両のドライバーの視野は、制限される為、表示システムのサポートがあれば、車両を安全に運転するための決断を下すことができる。この際、加工されたカメラ画像の表示により、ドライバーに、車両周辺部のできるだけリアルな画像を見せることができる。これにより、運転マヌーバ中のドライバーへの効率の良いサポートが可能になる。

牽引車両と被牽引車両が接続されている車両コンビでは、牽引車両の後ろに向けられたカメラは、通常、大部分、被牽引車両を捉えている。即ち、該被牽引車両が、後方の周辺領域の他の部分の視野を覆っている。よって、カメラが牽引車両にのみ配置されているカメラ・システムは、この様な車両コンビに対して、十分な後方視野を提供できない。場合によっては、付加的なカメラが被牽引車両に配置される。しかし、被牽引車両のカメラの画像が、牽引車両内の車両運転手に示される場合、被牽引車両のカメラの向きが、牽引車両の向きと一致しないため、混乱を来たらし得る。

それによれば、本発明は、センサーによって捕捉した第一画像データとセンサーによって捕捉した第二画像データを提供するステップを包含する車両コンビの周辺シーンを表示するための方法を実現する。該第一画像データは、この際、第一車両に配置された車載センサー・ユニットによって捕捉され、提供される。該第二画像データは、第二車両に配置された第二車載センサー・ユニットによって捕捉され、提供される。第一車両と第二車両は、この際、互いにメカニカルにつながれ、車両コンビを形成していることができる。該車両は、更に、第二車両の第一車両に対する空間的位置関係を割り出すステップ；並びに、第一画像データと第二画像データを、第二車両の第一車両に対する割り出した空間的位置関係を用いて合成するステップも包含している。第一画像データと第二画像データをこの様に合成することにより、車両コンビの周辺シーンが、作成される。続いて、作成された周辺シーンが、車載表示手段に表示される。

本発明は、更に、特許請求項１１に記載の特徴を有する車両コンビの周辺シーンを表示するための装置も実現する。

それによれば本発明は、第一車載センサー・ユニット、第二車載センサー・ユニット、及び、計算ユニットを備えた車両コンビの周辺シーンを表示するための装置を実現する。該第一車載センサー・ユニットは、第一車両に配置されており、第一画像データを提供できるように設計されている。該第二車載センサー・ユニットは、第二車両に配置されており、第二画像データを提供できるように設計されている。第一車両と第二車両は、メカニカルに互いにつながれ、車両コンビを形成している。該計算ユニットは、第一車両に対する第二車両の空間的位置関係を割り出すように設計されている。該計算ユニットは、更に、第一画像データと第二画像データを、該割り出した第一車両に対する第二車両の空間的位置関係を用いて合成するようにも設計されている。これにより、車両コンビの周辺シーンが作成される。この様にして作成された周辺シーンは、該計算ユニットと接続されている車載表示手段に表示されることができる。

本発明では、二台の互いに接続された車両からなる車両コンビ用に、統合された一つの周辺シーンを作成すると言うアイデアが基になっている。そのために、該車両のうち牽引車両に配置されている全ての画像センサーからの画像データと該車両コンビの被牽引車両に配置されている全ての画像センサーからの画像データを互いに組み合わせることができる。この際、これら全ての画像データは、一つの共通のリファレンス・システムを基準に変換される。尚、ここで言う「共通のリファレンス・システム」とは、好ましくは、牽引車両をベースとしたリファレンス・システムである。この様にすることで、牽引車両内の車両運転手は、この様に表示された周辺シーンを、非常に容易に、よって、運転マヌーバに関する決断を効率良く下すことができる。

牽引車両、被牽引車両双方の画像センサーの画像データを組み合わせることにより、車両コンビ全体の周辺部の非常に広い範囲を捕捉し、描写することができる。これにより、特に好ましくは、牽引車両内においても、車両運転手に、被牽引車両によって隠されている画像領域をも表示することができる。これにより、特にバック走行において、車両コンビの安全な運転が可能になる。

画像データの合成の際のこの様な車両コンビの双方の車両の間の空間的位置関係の評価により、全ての画像の、非常に良好かつ信頼性ある組合せが可能になる。これにより、特に被牽引車両に配置されているカメラ・システムの画像データは、非常に良好に、牽引車両のリファレンス・システムに転換されることができる。

ある実施形態によれば、第一車載センサー・ユニットと第二車載センサー・ユニットの画像領域が、少なくとも部分的に重なっている。車載センサー・ユニットの画像領域の部分的な重なりにより、車両周辺部の可能な限り完全な画像を達成できる。各々の車載センサー・ユニットの画像領域を重ね合わせることは更に、該重複領域を分析することにより、画像データを一つの周辺シーンに非常に良好に合成することを可能にする。

ある実施形態によれば、第二車両の第一車両に対する空間的位置関係の割り出しのためのステップは、提供された第一画像データ内において第二車両を検出する。そして第一画像データにおける第二車両検出の検出結果を基に、第一車両に対する第二車両の空間的位置関係を割り出すことができる。この様にすることで、第一車載センサー・ユニットの画像データを、第一車両に対する第二車両の位置関係り出すために用いることが可能である。即ち、双方の車両の互いに対する空間的位置関係を割り出すためには、如何なる付加的な独立したセンサー類も必要ない。

更なる実施形態によれば、第一車両に対する第二車両の空間的位置関係の割り出しは、第一車両と第二車両の間の角度、及び／或いは、間隔の割り出しも包含する。ここで割り出される第一車両と第二車両の間の角度は、例えば、牽引棒の角度であることができる。双方の車両間の相対角度と双方の車両間の間隔を割り出すことにより、第二車両の空間的位置関係、即ち、第一車両、或いは、第一車載センサーユニットに対する、第二車載センサー・ユニットのポジションを一義的に割り出すことができる。

更なる実施形態によれば、該車両コンビの周辺シーンを表示するための方法は、第二車両グラフィック描写を作成するためのステップを包含している。該第二車両の作成されたグラフィック描写は、後に、作成された周辺シーン内に組み込まれることができる。例えば、該第二車両の作成されたグラフィック描写は、半透明に、作成された周辺シーン内に、表示されることができる。同様に、例えば、第二車両の輪郭を、作成された周辺シーン内に、線やそれに類似する方法で表示されることもできる。この様にすることで、車両運転手は、表示された周辺シーン内に、周辺領域内における第二車両のポジションに関する付加的な情報を得る。

ある実施形態によれば、第二車両のグラフィック描写を作成するための該ステップでは、第二車両の三次元モデルが作成される。続いて、第二車両の第一画像データを、第二車両の作成された三次元モデルの表面に投影することができる。これにより、周辺シーン内に第二車両の非常に現実的に描写できる。

更なる実施形態によれば、該車両コンビの周辺シーンを表示するための方法は、センサーによって捕捉された第一画像データ、並びに、センサーによって捕捉された第二画像データを、予め設定されている投影面に転換するためのステップを包含している。続いて、該第一画像データと第二画像データを融合するためのステップは、転換された第一画像データと転換された第二画像データを用いて、周辺シーンを作成できる。ここで言う、予め設定されている投影面への転換とは、例えば、画像データの鳥瞰図（ｂｉｒｄ−ｅｙｅ ｖｉｅｗ）としての投影、第一車両と第二車両が走行している路面レベルへの画像データの転換、第二車両の表面上、乃至、任意の他の投影面／投影レベルへの画像データの投影であることができる。合成する前に画像データを予め設定されている投影面に転換することにより、非常に簡単な画像データの合成が可能になる。

更なる実施形態によれば、該車両コンビの周辺シーンを表示するための方法は、作成された周辺シーンの予め設定されている視点に転換するステップを包含している。作成された周辺シーンの予め設定されている視点への転換、例えば、鳥瞰図、或いは、任意の他の投影点への転換により、合成された画像データを画像データの非常に効率良い捕捉を可能にする描写において、車両運転手に示すことが可能になる。

更なる実施形態によれば、該第一画像データと第二画像データは、それぞれ、第一車載センサー・ユニット、乃至、第二車載センサー・ユニットの少なくとも一台のカメラから供給される。代案的に、一台以上のカメラを有する車載センサー・ユニットも可能である。

更なる実施形態によれば、該車両コンビの周辺シーンを表示するための方法は、第二車載センサー・ユニットの該的パラメータを計算するためのステップを包含している。特に好ましくは、このステップは、第二車載センサー・ユニットのカメラの該的なカメラ・パラメータの計算を包含している。外部カメラ・パラメータは、第二車載センサー・ユニットの空間内における位置と向き、特に、第一車両、或いは、第一車載センサー・ユニットに対する第二車載センサー・ユニットの位置と向きを記述する。該外部カメラ・パラメータは、その際、第一車載センサー・ユニットに対する第二車載センサー・ユニットのｘ−，ｙ−とｚ−方向への直線的移動、並びに、ｘ−軸、ｙ−軸、並びにｚ−軸を中心とした回転を包含していることができる。

更なる実施形態によれば、第二車載センサー・ユニットの外部パラメータは、リアルタイムに計算される。特に好ましくは、第二車載センサー・ユニットの一台のカメラの各画像（フレーム）用に、該外部パラメータが、個別に計算されることができる。

更なる実施形態によれば、車両コンビの周辺シーンを表示するための装置は、グラフィック・プロセッサー（ＧＰＵ）を包含している。該グラフィック・プロセッサーは、画像、乃至、グラフィック・データの効率良い処理に非常に適している。この様にすることで、第一車載センサー・ユニット乃至第二車載センサー・ユニットから提供される画像データの歪み補正、該画像データの望まれる視点への転換、外部カメラ・パラメータの割り出し、並びに、該第一画像データと第二画像データとの合成が、対応するグラフィック・プロセッサーによって、非常に効率よく実施できる。特に好ましくは、グラフィック・プロセッサーの使用により、対応するデータの処理をリアルタイムに実施できる。

更なる実施形態によれば、該周辺シーンを表示するための装置は、第一車両と第二車両との間の角度、及び／或いは、間隔を捕捉することができるように構成された位置関係センサーも包含している。この様にして捕捉された角度乃至間隔は、続いて、計算ユニットに提供されることができる。外部、乃至、独立した位置関係センサー・ユニットを用いることにより、第一車両と第二車両との間の角度乃至間隔の容易且つ正確な評価が可能になる。

更なる実施形態によれば、該第一車載センサー・ユニット、及び／或いは、第二車載センサー・ユニットは、それぞれ少なくとも一台の車載カメラを包含している。

本発明は更に、第一車両と該第一車両にメカニカルにつながれている第二車両からなる車両コンビ用のサラウンド・ビュー・システムを実現する。該サラウンド・ビュー・システムは、本発明に係る周辺シーンを表示するための装置と、第一車両内に配置され、作成された周辺シーンを表示できるように構成された車載表示手段を包含している。

本発明の更なる実施形態と長所は、以下の明細、並びに、添付された図から得られる。

よって、本発明の課題は、ドライバーが、運転判断やオリエンテーションの際に、効率良くサポートされる様に、車両コンビ全体の周りの周辺部を可能な限り完全に、且つ、リアルに表示されることが可能な車両コンビの周辺シーンを表示するための方法並びに装置を実現することにある。

この課題は、本発明の特許請求項１記載の特徴を有する方法によって達成される。

車両コンビの概略的描写である。 本発明の実施形態の基礎となっている車載センサー・ユニットの捕捉領域の概略的描写である。 ある実施形態に係る周辺シーンを表示するための装置の概略的描写である。 ある実施形態において作成された周辺シーンの概略的描写である。 ある実施形態に係る方法の基礎となるフローチャートの概略的描写である。

図１は、第一車両１と第二車両２からなる車両コンビの概略的描写を示している。第一車両１と第二車両２は、メカニカルに互いに接続されている。ここで言う、車両コンビとは、二台の車両から構成される任意の車両コンビである。ここで言う、第一車両１は、それに被牽引車両がつながれている乗用自動車（ＰＫＷ）であることができる。また、ここで言う、車両コンビは、貨物用動力車両（ＬＫＷ）とそれに対応する被牽引車両、或いは、牽引車とセミトレーラーであることも可能である。更に、本発明は、上記のコンビに制限されるものではなく、二台の互いに接続されている車両から構成される任意のコンビであっても良い。道路を走行する互いに接続された車両からなるコンビ以外にも、例えば、押船船団や引船船団など、船舶であることもできる。理解を深めるため、以下、本発明を、一台の牽引車両としての第一車両１と該牽引車両に接続された被牽引車両としての第二車両２から構成されたコンビを例として、説明する。

第一車両１には、第一車載センサー・ユニット１０が、配置されている。該第一車載センサー・ユニット１０は、特に好ましくは、一台の乃至複数台の車載カメラ１０−ｉを包含していることができる。更に、該第一車載センサー・ユニット１０は、更なるセンサー類、特に好ましくは、画像を提供するセンサー類も包含していることができる。ここに示されている例では、該車載センサー・ユニット１０は、バック走行用カメラ１０−１、並びに、二台のサイドカメラ１０−２と１０−３を包含している。例えば、該バック走行用カメラ１０−１は、第一車両１の後方のバンパー或いはトランク・リッドに配置されている。他に、第一車両１の後方の周辺部を捕捉することができる任意の更なるポジションに設けることもできる。双方のサイドカメラ１０−２と１０−３は、それぞれ、車両１の左側と右側に配置されている。例えば、双方のサイドカメラ１０−２と１０−３は、車両１の外部ミラーに配置されていることができる。ここでも他に、任意の更なる側方のポジションにカメラを設けることが可能である。更に、第一車載センサー・ユニット１０は、更なるカメラを包含していることができる。例えば、該第一車載センサー・ユニット１０は、前方に向けられたカメラ（ここでは、図示されず）を包含していることもできる。該カメラ１０−ｉは、非常に広い開口角度を有するカメラであることができる。該カメラは、特に好ましくは、所謂、魚眼レンズを備えたものである。車両１の周りのできる限り大きな外部範囲を捕捉することができるように、各々のカメラ１０−ｉは、少なくとも水平方向に１８０°、場合によっては、それ以上の開口角度を有していることができる。

対応する車載カメラ１０−ｉを備えた第一車載センサー・ユニット１と同様、該第一車両１に接続されている第二車両２にも、第二車載センサー・ユニット２０が配置されている。ここに示されている実施例では、第二車載センサー・ユニット２０は、一台のカメラ２０−１のみを包含している。しかしながら、該第二車載センサー・ユニット２０は、複数の車載カメラを包含していることもできる。例えば、該第二車両２には、図示されている後方に向けられたカメラ２０−１の他に、外部に更なるカメラ（図示されず）を配置されることもできる。第二車載センサー・ユニット２０のカメラにおいても、既に第一車載センサー・ユニット１０のカメラ１０−ｉに関連して記載した説明が、有効である。第二車載センサー・ユニット２０のカメラも、特に好ましくは、少なくとも水平方向に、１８０°或いはそれ以上の開口角度を有している。

この際、第二画像データの第一車両１への伝達は、任意に、ケーブルを介して、或いは、無線によって実施できる。例えば、有線伝達は、デジタルバスシステムによって可能である。他には、電磁波や類似する方法による画像データの無線伝達も可能である。例えば、画像データは、ＢｌｕｅｔｏｏｔｈやＷＬＡＮ、乃至、他の無線スタンダードによって伝達されることができる。

図２は、第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の車載カメラ１０−ｉと２０−ｉの水平方向の撮影領域の概略的な描写である。第一車両１の第一車載センサー・ユニット１０の後方に向けられたカメラ１０−ｉの捕捉領域は、符号「Ｉ」で示されている。第一車両１の第一車載センサー・ユニット１０のサイドカメラ１０−２と１０−３の側方の捕捉領域は、符号「ＩＩ」と「ＩＩＩ」で示されている。第二車両２の第二車載センサー・ユニット２０の後方に向けられたカメラ２０−１の捕捉領域は、符号「ＩＶ」で示されている。この描写から明らかなように、第一車載センサー・ユニット１０と第二車載センサー・ユニット２０のカメラ１０−ｉと２０−ｉのこの様な配置により、第二車両２が、第一車両１に対して角度を有している場合でも、第一車両１と第二車両２からなる車両コンビの周辺部の非常に大きな領域を捕捉することができる。第二車両２に必要に応じて設けられる更なるカメラを配置することにより、特に第二車両２が角度を有している場合、更に捕捉領域を付加的に補完することもできる。

図３は、ある実施形態に係る車両コンビの周辺シーンを表示するための装置の概略的描写を示している。上述の如く、ここでは、第一車載センサー・ユニット１０の一台の、或いは、複数台のカメラ１０−ｉにより、第一車両１の周りの領域が捕捉される。第一車両１に設けられた第一車載センサー・ユニット１０は、この際、センサーによって捕捉された第一画像データを提供する。該画像データは、例えば、個々の車載カメラ１０−ｉの周期的に捕捉された個別画像のシーケンスを捕捉していることができる。好ましくは、第一車載センサー・ユニット１０の個々のカメラ１０−ｉは、この際、個々のカメラ画像を共通のリフレッシュレートで提供する。該リフレッシュレートは、この際、一定であることができる。代案的には、リフレッシュレートを更なるパラメータ、例えば、車両速度やこれに類することに依存させて適合することも可能である。更に、第二車両２に設けられた第二車載センサー・ユニット２０の一台の、或いは、複数台の車載カメラ２０−ｉにより、同様に、第二車両２の周辺部の画像データが提供される。これらの画像データも、個別画像、乃至、一定の乃至可変なリフレッシュレートで撮影された連続する画像のシーケンスである。この際、第二車載センサー・ユニット２０によって提供された画像データは、第一車載センサー・ユニット１０によって提供された画像データと同じリフレッシュレートを有していることが好ましい。

第一車載センサー・ユニット１０と第二車載センサー・ユニット２０は、この際、これらの画像データを計算ユニット３０に提供する。該計算ユニット３０内では、個々のカメラ１０−ｉと２０−ｉから提供された画像データが加工され、共通の周辺シーンに合成される。共通の周辺シーンの作成の流れを、以下に詳しく説明する。第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の画像データが、計算ユニット３０内において共通の周辺シーンに合成されたのち、該共通の周辺シーンは、表示手段４０に表示されることができる。付加的乃至代案的には、この様に加工された周辺シーンを、ドライバー・アシスタント・システムの一つのコンポーネントによって評価し、この評価に基づいて、必要であれば、該コンビの、特にこれによって該コンビが操縦されている第一車両１の走行挙動に、介入することも可能である。

該計算ユニット３０内における周辺シーンの作成のために、第一車載センサー・ユニット１０の第一画像データと第二車載センサー・ユニット２０の第二画像データは、共通のリファレンス・システムにおいて合成される。この際、好ましくは、第二車載センサー・ユニット２０の第二画像データが、第一車載センサー・ユニット１０を備えた車両１のリファレンス・システムに移行される。この様にすることで、作成された周辺シーン用に、第一車載センサー・ユニット１０の第一画像データと第二車載センサー・ユニット２０の第二画像データの双方を包含し、且つ、車両コンビの周辺を第一車両１の視点から描かれた描写が得られる。これにより、第一車両１内の車両運転手は、効率良く、容易に車両周辺部を捕捉できるようになる。

しかし、第一車両１と該第一車両１にメカニカルにつながれた第二車両２からなる車両コンビの運転中、第一車両１に対する第二車両２の位置関係は、変化するため、第一画像データと第二画像データの合成前に、双方の車両１と２の互いの位置関係が割り出されなければならない。このために、例えば、第一車両１に対する第二車両２の位置関係を、位置関係センサー・ユニット３５によって捕捉することができる。特に好ましくは、第一車両１に対する第二車両の角度関係を特定できる角度αを捕捉することができる。付加的乃至代案的には、該位置関係センサー・ユニット３５は、第一車両１と第二車両２の間の間隔も捕捉し、計算ユニット３０に提供する。

該位置関係センサー・ユニット３５による第一車両１に対する第二車両２の空間的位置関係の捕捉の他、付加的乃至代案的に、第一車両１に対する第二車両２の空間的位置関係を、センサーによって捕捉された画像データ、特に、第一車載センサー・ユニット１０の第一画像データを用いて割り出すことも可能である。この際、該計算ユニット３０が、第一車載センサー・ユニット１０が用意した第一画像データ内において、オブジェクト検出を実施する。該オブジェクト検出において、第一車載センサー・ユニット１０の第一画像データ内に第二車両２が検出された場合、検出された第二車両２のポジションから、第一車両１に対する第二車両２の空間的位置関係を割り出すことができる。第一画像データ内に検出された車両２の大きさと位置から、第一車両１と第二車両２の間の間隔、並びに、第一車両１と第二車両２の間の角度関係を割り出すことができる。これらに加え、更なる方法、乃至、センサーによっても、第一車両１と第二車両２の間の空間的位置的関係を割り出すことが可能である。例えば、第一車両１と第二車両２の間の空間的位置関係は、レーダー、超音波、光センサー、或いは、他の類似するものによっても割り出すことができる。

そして、第一車両１に対する第二車両２の空間的位置関係からは、第二車載センサー・ユニット２０の位置、並びに、該第二車載センサー・ユニット２０のカメラ２０−ｉの位置関係も割り出すことができる。特に、上記のセンサー、乃至、第一画像データの分析により、第二車載センサー・ユニット２０用の外部パラメータのセットを割り出すことができる。これらの第二車載センサー・ユニット２０の外部パラメータは、例えば、空間方向（ｘ−，ｙ−，ｚ−軸）への直線的移動、並びに、必要に応じて、空間軸に対する回転を記述する。これら第二車載センサー・ユニット２０の割り出された外部パラメータは、第二車載センサー・ユニット２０の画像データの処理用の外部カメラ・パラメータに相当する。第二車載センサー・ユニット２０が、一台以上のカメラ２０−ｉを包含している場合、各々のカメラ２０−ｉに、独立した外部カメラ・パラメータが、割り出される。

第一車載センサー・ユニット１０と第二車載センサー・ユニット２０によって、複数の連続する画像からなる画像シーケンスが用意された場合、該画像シーケンスの個別画像用に、第一車両１に対する第二車両２の空間的位置関係、乃至、関連する外部パラメータの独立した新規の割り出しが実施できる。必要に応じて、計算負荷を低減するために、予め設定されている数の連続する画像用に、それぞれ共通の外部パラメータのセットを割り出すことも可能である。

割り出された第一車両１に対する第二車両２の空間的位置関係、乃至、第二車載センサー・ユニット２０用に割り出された外部パラメータと、特に第二車載センサー・ユニット２０の各々のカメラ２０−ｉ用の外部カメラ・パラメータに基づいて、用意された全ての第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の画像データを、互いに一枚の周辺シーンに合成することができる。これを実施するにあたっては、先ず、例えば、第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の各々一つ一つの車載カメラ１０−ｉと２０−ｉの画像データの歪みを補正し、共通の投影レベルに転換することができる。各々の車載カメラの画像データの歪み補正により、特に、開口角度が広いため（魚眼レンズ）、必要に応じて、歪んだ画像データを前処理し、均一なラスタに転換することができる。また、画像データの予め定められている投影レベルへの転換により、画像データを、例えば、上からの視点に（鳥瞰図）、或いは、必要に応じて、路面に対して鉛直な投影レベルに転換することが可能である。その他、任意の投影レベルへの転換も可能である。

続いて、第一画像データ、特に、第一車載センサー・ユニット１０のカメラ１０−ｉの処理された個別画像データ、並びに、第二車載センサー・ユニット２０の歪み取りされ外部パラメータに従って補整された第二画像データは、一枚の全体シーンに合成される。この際、前処理済みの第一画像データと前処理済みの第二画像データは、各々の車載カメラ１０−ｉと２０−ｉの画像ができる限り継ぎ目なく移行する周辺部の一つの全体シーンに統合される。

例えば、開口角が広いために歪んでいる画像データの歪み取り、外部パラメータに基づいた画像データの前処理、予め設定されている画像レベルへの画像データの転換など、第一画像データと第二画像データの前処理は、この際、特に好ましくは、計算ユニット３０内のグラフィック・プロセッサーによって実施される。この様なグラフィック・プロセッサー（ＧＰＵ）は、画像データの処理用に最適化されており、一般的なプロセッサーと比較して、画像データの高性能な処理を可能にする。特に、この様なグラフィック・プロセッサー内における画像データの前処理は、適したシェード・プログラムによって、実施できる。

これまでに実施されなかった場合、第一画像センサー・ユニット１０と第二画像センサー・ユニット２０の画像データを合成した後に、必要に応じて、作成された周辺シーンを予め設定されている投影レベルに転換することもできる。この投影レベルも、例えば、車両コンビを上から見た上視図（鳥瞰図）、路面上への画像データの投影、或いは、路面に対する鉛直レベル、第一車両１の移動方向に対して鉛直なレベルであることができる。その他、任意の投影レベルも可能である。

車両運転手の更なるサポートのために、作成された周辺シーンには、必要に応じて、第一車両１に対する第二車両２に関する情報を付加的に表示することもできる。例えば、計算ユニット３０内において、予め設定されているモデル・データに基づいて、或いは、第一車載センサー・ユニット１０の第一画像データ１内において第二車両を検出するための検出結果に基づいて、第二車両２のグラフィック・モデルを作成することができる。第二車両２の該グラフィック・モデルは、例えば、第二車両２の寸法を有する単なる立（方）体であることもできる。更には、第二車両２の輪郭を有するライン・モデルを作成することも可能である。また、第一画像データ１に基づいた第二車両２の可能な限り詳細に忠実なモデル、乃至、描写、及び／或いは、他の予め保存されているモデル・データも可能である。第二車両２のこの様なモデルは、作成された周辺シーンと組み合わせることができる。例えば、作成されたモデルは、作成された周辺シーン内に、半透明なオブジェクトとして組み込むことができる。更には、例えば、輪郭からなるライン・モデルと作成された周辺シーンの完全なオーバーラップも可能である。

作成された周辺シーン内における第二車両２のリアルな描写を得るため、第二車両２用に、例えば、三次元モデルを作成することもできる。ここでは、各々のカメラ１０−ｉの画像データから、第二車両２の空間的モデルを計算するために、特に第一車両１に備えられている第一車載センサー・ユニット１０の各々のカメラ１０−ｉの既知の空間的位置関係を用いることができる。第二車両２の空間的モデルを算出するためには、例えば、第一車両１の双方の外側に配置されている二台のカメラ１０−２と１０−３の画像データを用いることができる。第二車両２の三次元モデルの算出後、第一車載センサー・ユニット１０のカメラ１０−ｉの第一画像データを、第二車両２の作成された三次元モデルの外面に投影することができる。その際は、特に好ましくは、第二車両２の対応する面に一致する第一画像データの区画が、第二車両２のモデルの外面上に投影される。続いて、この様にして作成された三次元モデルとその上に投影された第一画像データの該部分は、作成された周辺シーン内に組み込まれることができる。この際、先ずは、例えば、第二車両２の作成された三次元モデルの二次元投影とその上に投影された第一画像データを算出することができる。この二次元投影は、作成された周辺シーンのレベルと一致するレベルへの投影に相当する。この第二車両２の三次元モデルの二次元投影は、続いて、作成された周辺シーン内に組み込まれることができる。例えば、第二車両２の三次元モデルの二次元投影は、この際、作成された周辺シーンに部分的に、オーバーラップされることもできる。この様にすることで、車両運転手は、この様にして作成された周辺シーンと第二車両２のモデルのオーバーラップを見る際に、周辺シーンと該周辺シーン内の該第二車両２の位置の両方を、即座に把握することができる。

第二車両２の作成された周辺シーンへの挿入は、オプションとして、個人的にオン乃至オフすることができるようにすることも可能である。即ち、例えば、ユーザー入力を用いて、作成された周辺シーン内への第二車両２の挿入を個人的にオンにすることができる。この際、ユーザーは、例えば、適した入力手段、例えば、表示ユニット４０に設けられたスイッチ、或いは、他の入力エレメントによって、作成された周辺シーンと第二車両２の画像データのオーバーラップをオンにする、或いは、オフにすることができる。代案的には、第二車両２の作成された周辺シーンへの挿入は、自動的に実施される。この場合、必要に応じて、第二車両２の作成された周辺シーンへの挿入をオンにする、或いは、オフにする予め定められている走行状況、乃至、運転マヌーバを検出することができる。更には、第二車両２が、周辺シーンにオーバーラップされる透明度を個人的に、例えば、ユーザー入力に応じて、適合させることも可能である。

尚、第二車両２の作成されたモデルと作成された周辺シーンとを組み合わせるための更なる方法も同様に可能である。第二車両２の作成されたモデルと作成された周辺シーンとのオーバーラップも、計算ユニット３０内のグラフィック・プロセッサーによって実施されることができる。

特に、計算ユニット３０内のグラフィック・プロセッサーを用いることにより、第二車載センサー・ユニット２０用の、並びに、必要に応じて、第二車載センサー・ユニット２０の複数のカメラ２０−ｉの外部パラメータの割り出しもリアルタイムに実施できる。グラフィック・プロセッサーの高い性能により、個別の外部パラメータの割り出しや全ての画像データの合成をリアルタイムに実施できる。尚、複数の連続する個別画像からなる画像シーケンスの場合、外部パラメータと画像シーケンスの各々の画像の合成は、別々に実施されることができる。

図４は、作成された周辺シーンとある実施形態に従って作成されオーバーラップされた車両モデルの概略的な描写を示している。ここでは、第一車載センサー・ユニット１０の全てのカメラの画像データと第二車載センサー・ユニット２０のカメラの画像データが、互いに合成されている。この際、車両運転手は、第二車両２の側方のオブジェクト３−２と３−３の他に、第二車両２の後ろにあるオブジェクト３−１も認識できる。画像データ、特に、第二車載センサー・ユニット２０の第二画像データの前処理により、周辺シーン全体が、第一車両１から見た視点で描写されている。車両運転手のオリエンテーションの改善のため、第二車両２のライン・モデル２’も、作成された周辺シーン内に組み込まれる。

図５は、ある実施形態に係る車両コンビの周辺シーンを表示するための方法のフローチャートの概略的描写を示している。第一ステップＳ１において、第一車両に配置された第一車載センサー・ユニットによってセンサー的に捕捉された画像データが、用意される。上述した如く、該第一車載センサー・ユニット１０は、一台乃至複数台の車載カメラ１０−ｉを包含していることができる。次のステップＳ２では、第二画像データが用意される。該第二画像データは、第二車両に配置された第二車載センサー・ユニット２０によってセンサー的に捕捉される。ここで、第二車両２は、メカニカルに第一車両１に接続されている。これにより、該第一車両１と第二車両２は、一つの車両コンビを形成している。

続いて、ステップＳ３において、第一車両１に対する第二車両の空間的位置関係が割り出される。この第一車両１に対する第二車両２の位置関係は、この際、独立した位置関係センサー・ユニット３５によって捕捉されることができる。付加的乃至代案的には、該第一車両１に対する第二車両２の位置関係は、第一車載センサー・ユニット１０によって用意された第一画像データに基づいて実施することもできる。即ち、第二車両２は、用意された第一画像データ内において検出されることができる。続いて、第一画像データ内において検出された第二車両２の大きさと空間的位置関係に基づいて、第一車両１に対する第二車両２の位置関係を割り出すことができる。ここで言う、空間的位置関係は、特に、第一車両１と第二車両２の間の角度、並びに、これら双方の車両間の間隔を包含していることができる。更に、双方の車両間の割り出された空間的位置関係に基づいて、第二車載センサー・ユニット２０用の外部パラメータが算出できる。これら外部パラメータは、第一車両乃至第一車載センサー・ユニット１０に対する第二車載センサー・ユニット２０の空間三方向への直線的移動を包含していることができる。該外部パラメータは更に、これら空間方向の軸に対するそれぞれの回転も規定することができる。第二車載センサー・ユニット２０が、複数台のカメラ２０−ｉを包含している場合、これらカメラ２０−ｉのそれぞれのために、外部パラメータのセットが、算出される。この際、外部カメラ・パラメータの算出は、リアルタイムに実施されることが好ましい。特に、複数の連続する画像からなるシーケンスの場合、該画像シーケンスの各々の画像用に、外部パラメータが別々に算出される。

ステップＳ４では、該割り出した第一車両１に対する第二車両２の空間的位置関係を用いて第一画像データと第二画像データの合成が実施される。この際、特に好ましくは、第一画像データと第二画像データは、第二車載センサー・ユニット２０用に算出された外部パラメータ、乃至、第二車載センサー・ユニット２０の各々のカメラ２０−ｉ用の個別の外部カメラ・パラメータを用いて合成される。この第一画像データと第二画像データの合成により、第一車両１と第二車両２からなる車両コンビの周辺を示す周辺シーンの作成が実施される。

必要に応じて、ステップＳ５において、第二車両２のグラフィック描写が作成されることができる。この第二車両２のグラフィック描写は、この際、第二車両２の輪郭からなるライン・モデル、場合によっては、第二車両２の単純な立（方）体モデル、或いは、代案的に、第二車両２の詳細に忠実なモデルを包含していることも可能である。第二車両２のモデル化には、この際、第一車載センサー・ユニット１０の第一画像データの他、場合によっては、予め保存されているモデル・データを用いることもできる。この様にして作成された第二車両のグラフィック描写は、続いて、作成された周辺シーン内に組み込まれることができる。例えば、該グラフィック描写は、半透明なエレメントとして、作成された周辺シーンにオーバーラップさせることができる。

この様にして作成された周辺シーンは、更に、ステップＳ６において、車載表示手段４０に表示されることができる。

要約すると、本発明は、二台の互いに接続された車両からなる車両コンビの車両周辺描写の作成並びに表示に関するものである。この際、該車両コンビの双方の車両それぞれにおいて、画像データが、センサー的に捕捉される。続いて、双方の車両の互いの空間的位置関係を考慮して画像データが、一枚の周辺シーンに合成される。この様にして作成された一枚の周辺シーンにより、車両運転手は、車両コンビ全体の周りの周辺領域を効率良く且つ確実に捕捉できる。

本発明は、周辺シーン、特に、車両の周辺シーンを表示するための方法、並びに、装置に関する。更に、本発明は、車両・被牽引車両コンビ用のサラウンド・ビュー・システムにも関する。

ＷＯ０２／０９４３３Ａ１は、牽引車とセミトレーラの双方にカメラを装備したセミトレーラ・コンビを開示している。これらのカメラの画像は、一枚の描写に組み合あせることができる。

ＷＯ２０１５／００１０５４Ａ１は、車両の被牽引車両を駐車するための車両制御のためのシステムを開示している。

ＪＰ２００３−２３５０３６Ａは、画像データを描写するための装置に関するが、該画像データは、車両、乃至、該車両と連結されている被牽引車両に由来することができる。

車両には、カメラ画像から、車両のドライバーを、例えば、駐車や後進などの運転マヌーバの実施時にサポートするための表示画像を計算するリア・ビュー・システムやサラウンド・ビュー・システムがますます搭載されるようになってきている。まさしく後進時こそ、車両のドライバーの視野は、制限される為、表示システムのサポートがあれば、車両を安全に運転するための決断を下すことができる。この際、加工されたカメラ画像の表示により、ドライバーに、車両周辺部のできるだけリアルな画像を見せることができる。これにより、運転マヌーバ中のドライバーへの効率の良いサポートが可能になる。

牽引車両と被牽引車両が接続されている車両コンビでは、牽引車両の後ろに向けられたカメラは、通常、大部分、被牽引車両を捉えている。即ち、該被牽引車両が、後方の周辺領域の他の部分の視野を覆っている。よって、カメラが牽引車両にのみ配置されているカメラ・システムは、この様な車両コンビに対して、十分な後方視野を提供できない。場合によっては、付加的なカメラが被牽引車両に配置される。しかし、被牽引車両のカメラの画像が、牽引車両内の車両運転手に示される場合、被牽引車両のカメラの向きが、牽引車両の向きと一致しないため、混乱を来たらし得る。

よって、本発明の課題は、ドライバーが、運転判断やオリエンテーションの際に、効率良くサポートされる様に、車両コンビ全体の周りの周辺部を可能な限り完全に、且つ、リアルに表示されることが可能な車両コンビの周辺シーンを表示するための方法並びに装置を実現することにある。

この課題は、本発明の特許請求項１記載の特徴を有する方法によって達成される。

本発明は、更に、特許請求項１０に記載の特徴を有する車両コンビの周辺シーンを表示するための装置も実現する。

車両コンビの概略的描写である。 本発明の実施形態の基礎となっている車載センサー・ユニットの捕捉領域の概略的描写である。 ある実施形態に係る周辺シーンを表示するための装置の概略的描写である。 ある実施形態において作成された周辺シーンの概略的描写である。 ある実施形態に係る方法の基礎となるフローチャートの概略的描写である 本発明では、二台の互いに接続された車両からなる車両コンビ用に、統合された一つの周辺シーンを作成すると言うアイデアが基になっている。そのために、第一車載センサーユニットに対する（第二車載センサー・ユニットのポジションを）一義的に割り出すことができる。

更なる実施形態によれば、該車両コンビの周辺シーンを表示するための方法は、第二車両グラフィック描写を作成するためのステップを包含している。該第二車両の作成されたグラフィック描写は、後に、作成された周辺シーン内に組み込まれることができる。例えば、該第二車両の作成されたグラフィック描写は、半透明に、作成された周辺シーン内に、表示されることができる。同様に、例えば、第二車両の輪郭を、作成された周辺シーン内に、線やそれに類似する方法で表示されることもできる。この様にすることで、車両運転手は、表示された周辺シーン内に、周辺領域内における第二車両のポジションに関する付加的な情報を得る。

更なる実施形態によれば、該車両コンビの周辺シーンを表示するための方法は、センサーによって捕捉された第一画像データ、並びに、センサーによって捕捉された第二画像データを、予め設定されている投影面に転換するためのステップを包含している。続いて、該第一画像データと第二画像データを融合するためのステップは、転換された第一画像データと転換された第二画像データを用いて、周辺シーンを作成できる。ここで言う、予め設定されている投影面への転換とは、例えば、画像データの鳥瞰図（ｂｉｒｄ−ｅｙｅ ｖｉｅｗ）としての投影、第一車両と第二車両が走行している路面レベルへの画像データの転換、第二車両の表面上、乃至、任意の他の投影面／投影レベルへの画像データの投影であることができる。合成する前に画像データを予め設定されている投影面に転換することにより、非常に簡単な画像データの合成が可能になる。

更なる実施形態によれば、該車両コンビの周辺シーンを表示するための方法は、作成された周辺シーンの予め設定されている視点に転換するステップを包含している。作成された周辺シーンの予め設定されている視点への転換、例えば、鳥瞰図、或いは、任意の他の投影点への転換により、合成された画像データを画像データの非常に効率良い捕捉を可能にする描写において、車両運転手に示すことが可能になる。

更なる実施形態によれば、該第一画像データと第二画像データは、それぞれ、第一車載センサー・ユニット、乃至、第二車載センサー・ユニットの少なくとも一台のカメラから供給される。代案的に、一台以上のカメラを有する車載センサー・ユニットも可能である。

更なる実施形態によれば、該車両コンビの周辺シーンを表示するための方法は、第二車載センサー・ユニットの該的パラメータを計算するためのステップを包含している。特に好ましくは、このステップは、第二車載センサー・ユニットのカメラの該的なカメラ・パラメータの計算を包含している。外部カメラ・パラメータは、第二車載センサー・ユニットの空間内における位置と向き、特に、第一車両、或いは、第一車載センサー・ユニットに対する第二車載センサー・ユニットの位置と向きを記述する。該外部カメラ・パラメータは、その際、第一車載センサー・ユニットに対する第二車載センサー・ユニットのｘ−，ｙ−とｚ−方向への直線的移動、並びに、ｘ−軸、ｙ−軸、並びにｚ−軸を中心とした回転を包含していることができる。

更なる実施形態によれば、第二車載センサー・ユニットの外部パラメータは、リアルタイムに計算される。特に好ましくは、第二車載センサー・ユニットの一台のカメラの各画像（フレーム）用に、該外部パラメータが、個別に計算されることができる。

更なる実施形態によれば、車両コンビの周辺シーンを表示するための装置は、グラフィック・プロセッサー（ＧＰＵ）を包含している。該グラフィック・プロセッサーは、画像、乃至、グラフィック・データの効率良い処理に非常に適している。この様にすることで、第一車載センサー・ユニット乃至第二車載センサー・ユニットから提供される画像データの歪み補正、該画像データの望まれる視点への転換、外部カメラ・パラメータの割り出し、並びに、該第一画像データと第二画像データとの合成が、対応するグラフィック・プロセッサーによって、非常に効率よく実施できる。特に好ましくは、グラフィック・プロセッサーの使用により、対応するデータの処理をリアルタイムに実施できる。

更なる実施形態によれば、該周辺シーンを表示するための装置は、第一車両と第二車両との間の角度、及び／或いは、間隔を捕捉することができるように構成された位置関係センサーも包含している。この様にして捕捉された角度乃至間隔は、続いて、計算ユニットに提供されることができる。外部、乃至、独立した位置関係センサー・ユニットを用いることにより、第一車両と第二車両との間の角度乃至間隔の容易且つ正確な評価が可能になる。

更なる実施形態によれば、該第一車載センサー・ユニット、及び／或いは、第二車載センサー・ユニットは、それぞれ少なくとも一台の車載カメラを包含している。

本発明は更に、第一車両と該第一車両にメカニカルにつながれている第二車両からなる車両コンビ用のサラウンド・ビュー・システムを実現する。該サラウンド・ビュー・システムは、本発明に係る周辺シーンを表示するための装置と、第一車両内に配置され、作成された周辺シーンを表示できるように構成された車載表示手段を包含している。

本発明の更なる実施形態と長所は、以下の明細、並びに、添付された図から得られる。

図１は、第一車両１と第二車両２からなる車両コンビの概略的描写を示している。第一車両１と第二車両２は、メカニカルに互いに接続されている。ここで言う、車両コンビとは、二台の車両から構成される任意の車両コンビである。ここで言う、第一車両１は、それに被牽引車両がつながれている乗用自動車（ＰＫＷ）であることができる。また、ここで言う、車両コンビは、貨物用動力車両（ＬＫＷ）とそれに対応する被牽引車両、或いは、牽引車とセミトレーラーであることも可能である。更に、本発明は、上記のコンビに制限されるものではなく、二台の互いに接続されている車両から構成される任意のコンビであっても良い。道路を走行する互いに接続された車両からなるコンビ以外にも、例えば、押船船団や引船船団など、船舶であることもできる。理解を深めるため、以下、本発明を、一台の牽引車両としての第一車両１と該牽引車両に接続された被牽引車両としての第二車両２から構成されたコンビを例として、説明する。

第一車両１には、第一車載センサー・ユニット１０が、配置されている。該第一車載センサー・ユニット１０は、特に好ましくは、一台の乃至複数台の車載カメラ１０−ｉを包含していることができる。更に、該第一車載センサー・ユニット１０は、更なるセンサー類、特に好ましくは、画像を提供するセンサー類も包含していることができる。ここに示されている例では、該車載センサー・ユニット１０は、バック走行用カメラ１０−１、並びに、二台のサイドカメラ１０−２と１０−３を包含している。例えば、該バック走行用カメラ１０−１は、第一車両１の後方のバンパー或いはトランク・リッドに配置されている。他に、第一車両１の後方の周辺部を捕捉することができる任意の更なるポジションに設けることもできる。双方のサイドカメラ１０−２と１０−３は、それぞれ、車両１の左側と右側に配置されている。例えば、双方のサイドカメラ１０−２と１０−３は、車両１の外部ミラーに配置されていることができる。ここでも他に、任意の更なる側方のポジションにカメラを設けることが可能である。更に、第一車載センサー・ユニット１０は、更なるカメラを包含していることができる。例えば、該第一車載センサー・ユニット１０は、前方に向けられたカメラ（ここでは、図示されず）を包含していることもできる。該カメラ１０−ｉは、非常に広い開口角度を有するカメラであることができる。該カメラは、特に好ましくは、所謂、魚眼レンズを備えたものである。車両１の周りのできる限り大きな外部範囲を捕捉することができるように、各々のカメラ１０−ｉは、少なくとも水平方向に１８０°、場合によっては、それ以上の開口角度を有していることができる。

対応する車載カメラ１０−ｉを備えた第一車載センサー・ユニット１と同様、該第一車両１に接続されている第二車両２にも、第二車載センサー・ユニット２０が配置されている。ここに示されている実施例では、第二車載センサー・ユニット２０は、一台のカメラ２０−１のみを包含している。しかしながら、該第二車載センサー・ユニット２０は、複数の車載カメラを包含していることもできる。例えば、該第二車両２には、図示されている後方に向けられたカメラ２０−１の他に、外部に更なるカメラ（図示されず）を配置されることもできる。第二車載センサー・ユニット２０のカメラにおいても、既に第一車載センサー・ユニット１０のカメラ１０−ｉに関連して記載した説明が、有効である。第二車載センサー・ユニット２０のカメラも、特に好ましくは、少なくとも水平方向に、１８０°或いはそれ以上の開口角度を有している。

この際、第二画像データの第一車両１への伝達は、任意に、ケーブルを介して、或いは、無線によって実施できる。例えば、有線伝達は、デジタルバスシステムによって可能である。他には、電磁波や類似する方法による画像データの無線伝達も可能である。例えば、画像データは、ＢｌｕｅｔｏｏｔｈやＷＬＡＮ、乃至、他の無線スタンダードによって伝達されることができる。

図２は、第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の車載カメラ１０−ｉと２０−ｉの水平方向の撮影領域の概略的な描写である。第一車両１の第一車載センサー・ユニット１０の後方に向けられたカメラ１０−ｉの捕捉領域は、符号「Ｉ」で示されている。第一車両１の第一車載センサー・ユニット１０のサイドカメラ１０−２と１０−３の側方の捕捉領域は、符号「ＩＩ」と「ＩＩＩ」で示されている。第二車両２の第二車載センサー・ユニット２０の後方に向けられたカメラ２０−１の捕捉領域は、符号「ＩＶ」で示されている。この描写から明らかなように、第一車載センサー・ユニット１０と第二車載センサー・ユニット２０のカメラ１０−ｉと２０−ｉのこの様な配置により、第二車両２が、第一車両１に対して角度を有している場合でも、第一車両１と第二車両２からなる車両コンビの周辺部の非常に大きな領域を捕捉することができる。第二車両２に必要に応じて設けられる更なるカメラを配置することにより、特に第二車両２が角度を有している場合、更に捕捉領域を付加的に補完することもできる。

図３は、ある実施形態に係る車両コンビの周辺シーンを表示するための装置の概略的描写を示している。上述の如く、ここでは、第一車載センサー・ユニット１０の一台の、或いは、複数台のカメラ１０−ｉにより、第一車両１の周りの領域が捕捉される。第一車両１に設けられた第一車載センサー・ユニット１０は、この際、センサーによって捕捉された第一画像データを提供する。該画像データは、例えば、個々の車載カメラ１０−ｉの周期的に捕捉された個別画像のシーケンスを捕捉していることができる。好ましくは、第一車載センサー・ユニット１０の個々のカメラ１０−ｉは、この際、個々のカメラ画像を共通のリフレッシュレートで提供する。該リフレッシュレートは、この際、一定であることができる。代案的には、リフレッシュレートを更なるパラメータ、例えば、車両速度やこれに類することに依存させて適合することも可能である。更に、第二車両２に設けられた第二車載センサー・ユニット２０の一台の、或いは、複数台の車載カメラ２０−ｉにより、同様に、第二車両２の周辺部の画像データが提供される。これらの画像データも、個別画像、乃至、一定の乃至可変なリフレッシュレートで撮影された連続する画像のシーケンスである。この際、第二車載センサー・ユニット２０によって提供された画像データは、第一車載センサー・ユニット１０によって提供された画像データと同じリフレッシュレートを有していることが好ましい。

第一車載センサー・ユニット１０と第二車載センサー・ユニット２０は、この際、これらの画像データを計算ユニット３０に提供する。該計算ユニット３０内では、個々のカメラ１０−ｉと２０−ｉから提供された画像データが加工され、共通の周辺シーンに合成される。共通の周辺シーンの作成の流れを、以下に詳しく説明する。第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の画像データが、計算ユニット３０内において共通の周辺シーンに合成されたのち、該共通の周辺シーンは、表示手段４０に表示されることができる。付加的乃至代案的には、この様に加工された周辺シーンを、ドライバー・アシスタント・システムの一つのコンポーネントによって評価し、この評価に基づいて、必要であれば、該コンビの、特にこれによって該コンビが操縦されている第一車両１の走行挙動に、介入することも可能である。

該計算ユニット３０内における周辺シーンの作成のために、第一車載センサー・ユニット１０の第一画像データと第二車載センサー・ユニット２０の第二画像データは、共通のリファレンス・システムにおいて合成される。この際、好ましくは、第二車載センサー・ユニット２０の第二画像データが、第一車載センサー・ユニット１０を備えた車両１のリファレンス・システムに移行される。この様にすることで、作成された周辺シーン用に、第一車載センサー・ユニット１０の第一画像データと第二車載センサー・ユニット２０の第二画像データの双方を包含し、且つ、車両コンビの周辺を第一車両１の視点から描かれた描写が得られる。これにより、第一車両１内の車両運転手は、効率良く、容易に車両周辺部を捕捉できるようになる。

しかし、第一車両１と該第一車両１にメカニカルにつながれた第二車両２からなる車両コンビの運転中、第一車両１に対する第二車両２の位置関係は、変化するため、第一画像データと第二画像データの合成前に、双方の車両１と２の互いの位置関係が割り出されなければならない。このために、例えば、第一車両１に対する第二車両２の位置関係を、位置関係センサー・ユニット３５によって捕捉することができる。特に好ましくは、第一車両１に対する第二車両の角度関係を特定できる角度αを捕捉することができる。付加的乃至代案的には、該位置関係センサー・ユニット３５は、第一車両１と第二車両２の間の間隔も捕捉し、計算ユニット３０に提供する。

該位置関係センサー・ユニット３５による第一車両１に対する第二車両２の空間的位置関係の捕捉の他、付加的乃至代案的に、第一車両１に対する第二車両２の空間的位置関係を、センサーによって捕捉された画像データ、特に、第一車載センサー・ユニット１０の第一画像データを用いて割り出すことも可能である。この際、該計算ユニット３０が、第一車載センサー・ユニット１０が用意した第一画像データ内において、オブジェクト検出を実施する。該オブジェクト検出において、第一車載センサー・ユニット１０の第一画像データ内に第二車両２が検出された場合、検出された第二車両２のポジションから、第一車両１に対する第二車両２の空間的位置関係を割り出すことができる。第一画像データ内に検出された車両２の大きさと位置から、第一車両１と第二車両２の間の間隔、並びに、第一車両１と第二車両２の間の角度関係を割り出すことができる。これらに加え、更なる方法、乃至、センサーによっても、第一車両１と第二車両２の間の空間的位置的関係を割り出すことが可能である。例えば、第一車両１と第二車両２の間の空間的位置関係は、レーダー、超音波、光センサー、或いは、他の類似するものによっても割り出すことができる。

そして、第一車両１に対する第二車両２の空間的位置関係からは、第二車載センサー・ユニット２０の位置、並びに、該第二車載センサー・ユニット２０のカメラ２０−ｉの位置関係も割り出すことができる。特に、上記のセンサー、乃至、第一画像データの分析により、第二車載センサー・ユニット２０用の外部パラメータのセットを割り出すことができる。これらの第二車載センサー・ユニット２０の外部パラメータは、例えば、空間方向（ｘ−，ｙ−，ｚ−軸）への直線的移動、並びに、必要に応じて、空間軸に対する回転を記述する。これら第二車載センサー・ユニット２０の割り出された外部パラメータは、第二車載センサー・ユニット２０の画像データの処理用の外部カメラ・パラメータに相当する。第二車載センサー・ユニット２０が、一台以上のカメラ２０−ｉを包含している場合、各々のカメラ２０−ｉに、独立した外部カメラ・パラメータが、割り出される。

第一車載センサー・ユニット１０と第二車載センサー・ユニット２０によって、複数の連続する画像からなる画像シーケンスが用意された場合、該画像シーケンスの個別画像用に、第一車両１に対する第二車両２の空間的位置関係、乃至、関連する外部パラメータの独立した新規の割り出しが実施できる。必要に応じて、計算負荷を低減するために、予め設定されている数の連続する画像用に、それぞれ共通の外部パラメータのセットを割り出すことも可能である。

割り出された第一車両１に対する第二車両２の空間的位置関係、乃至、第二車載センサー・ユニット２０用に割り出された外部パラメータと、特に第二車載センサー・ユニット２０の各々のカメラ２０−ｉ用の外部カメラ・パラメータに基づいて、用意された全ての第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の画像データを、互いに一枚の周辺シーンに合成することができる。これを実施するにあたっては、先ず、例えば、第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の各々一つ一つの車載カメラ１０−ｉと２０−ｉの画像データの歪みを補正し、共通の投影レベルに転換することができる。各々の車載カメラの画像データの歪み補正により、特に、開口角度が広いため（魚眼レンズ）、必要に応じて、歪んだ画像データを前処理し、均一なラスタに転換することができる。また、画像データの予め定められている投影レベルへの転換により、画像データを、例えば、上からの視点に（鳥瞰図）、或いは、必要に応じて、路面に対して鉛直な投影レベルに転換することが可能である。その他、任意の投影レベルへの転換も可能である。

続いて、第一画像データ、特に、第一車載センサー・ユニット１０のカメラ１０−ｉの処理された個別画像データ、並びに、第二車載センサー・ユニット２０の歪み取りされ外部パラメータに従って補整された第二画像データは、一枚の全体シーンに合成される。この際、前処理済みの第一画像データと前処理済みの第二画像データは、各々の車載カメラ１０−ｉと２０−ｉの画像ができる限り継ぎ目なく移行する周辺部の一つの全体シーンに統合される。

例えば、開口角が広いために歪んでいる画像データの歪み取り、外部パラメータに基づいた画像データの前処理、予め設定されている画像レベルへの画像データの転換など、第一画像データと第二画像データの前処理は、この際、特に好ましくは、計算ユニット３０内のグラフィック・プロセッサーによって実施される。この様なグラフィック・プロセッサー（ＧＰＵ）は、画像データの処理用に最適化されており、一般的なプロセッサーと比較して、画像データの高性能な処理を可能にする。特に、この様なグラフィック・プロセッサー内における画像データの前処理は、適したシェード・プログラムによって、実施できる。

これまでに実施されなかった場合、第一画像センサー・ユニット１０と第二画像センサー・ユニット２０の画像データを合成した後に、必要に応じて、作成された周辺シーンを予め設定されている投影レベルに転換することもできる。この投影レベルも、例えば、車両コンビを上から見た上視図（鳥瞰図）、路面上への画像データの投影、或いは、路面に対する鉛直レベル、第一車両１の移動方向に対して鉛直なレベルであることができる。その他、任意の投影レベルも可能である。

車両運転手の更なるサポートのために、作成された周辺シーンには、必要に応じて、第一車両１に対する第二車両２に関する情報を付加的に表示することもできる。例えば、計算ユニット３０内において、予め設定されているモデル・データに基づいて、或いは、第一車載センサー・ユニット１０の第一画像データ１内において第二車両を検出するための検出結果に基づいて、第二車両２のグラフィック・モデルを作成することができる。第二車両２の該グラフィック・モデルは、例えば、第二車両２の寸法を有する単なる立（方）体であることもできる。更には、第二車両２の輪郭を有するライン・モデルを作成することも可能である。また、第一画像データ１に基づいた第二車両２の可能な限り詳細に忠実なモデル、乃至、描写、及び／或いは、他の予め保存されているモデル・データも可能である。第二車両２のこの様なモデルは、作成された周辺シーンと組み合わせることができる。例えば、作成されたモデルは、作成された周辺シーン内に、半透明なオブジェクトとして組み込むことができる。更には、例えば、輪郭からなるライン・モデルと作成された周辺シーンの完全なオーバーラップも可能である。

作成された周辺シーン内における第二車両２のリアルな描写を得るため、第二車両２用に、例えば、三次元モデルを作成することもできる。ここでは、各々のカメラ１０−ｉの画像データから、第二車両２の空間的モデルを計算するために、特に第一車両１に備えられている第一車載センサー・ユニット１０の各々のカメラ１０−ｉの既知の空間的位置関係を用いることができる。第二車両２の空間的モデルを算出するためには、例えば、第一車両１の双方の外側に配置されている二台のカメラ１０−２と１０−３の画像データを用いることができる。第二車両２の三次元モデルの算出後、第一車載センサー・ユニット１０のカメラ１０−ｉの第一画像データを、第二車両２の作成された三次元モデルの外面に投影することができる。その際は、特に好ましくは、第二車両２の対応する面に一致する第一画像データの区画が、第二車両２のモデルの外面上に投影される。続いて、この様にして作成された三次元モデルとその上に投影された第一画像データの該部分は、作成された周辺シーン内に組み込まれることができる。この際、先ずは、例えば、第二車両２の作成された三次元モデルの二次元投影とその上に投影された第一画像データを算出することができる。この二次元投影は、作成された周辺シーンのレベルと一致するレベルへの投影に相当する。この第二車両２の三次元モデルの二次元投影は、続いて、作成された周辺シーン内に組み込まれることができる。例えば、第二車両２の三次元モデルの二次元投影は、この際、作成された周辺シーンに部分的に、オーバーラップされることもできる。この様にすることで、車両運転手は、この様にして作成された周辺シーンと第二車両２のモデルのオーバーラップを見る際に、周辺シーンと該周辺シーン内の該第二車両２の位置の両方を、即座に把握することができる。

第二車両２の作成された周辺シーンへの挿入は、オプションとして、個人的にオン乃至オフすることができるようにすることも可能である。即ち、例えば、ユーザー入力を用いて、作成された周辺シーン内への第二車両２の挿入を個人的にオンにすることができる。この際、ユーザーは、例えば、適した入力手段、例えば、表示ユニット４０に設けられたスイッチ、或いは、他の入力エレメントによって、作成された周辺シーンと第二車両２の画像データのオーバーラップをオンにする、或いは、オフにすることができる。代案的には、第二車両２の作成された周辺シーンへの挿入は、自動的に実施される。この場合、必要に応じて、第二車両２の作成された周辺シーンへの挿入をオンにする、或いは、オフにする予め定められている走行状況、乃至、運転マヌーバを検出することができる。更には、第二車両２が、周辺シーンにオーバーラップされる透明度を個人的に、例えば、ユーザー入力に応じて、適合させることも可能である。

尚、第二車両２の作成されたモデルと作成された周辺シーンとを組み合わせるための更なる方法も同様に可能である。第二車両２の作成されたモデルと作成された周辺シーンとのオーバーラップも、計算ユニット３０内のグラフィック・プロセッサーによって実施されることができる。

特に、計算ユニット３０内のグラフィック・プロセッサーを用いることにより、第二車載センサー・ユニット２０用の、並びに、必要に応じて、第二車載センサー・ユニット２０の複数のカメラ２０−ｉの外部パラメータの割り出しもリアルタイムに実施できる。グラフィック・プロセッサーの高い性能により、個別の外部パラメータの割り出しや全ての画像データの合成をリアルタイムに実施できる。尚、複数の連続する個別画像からなる画像シーケンスの場合、外部パラメータと画像シーケンスの各々の画像の合成は、別々に実施されることができる。

図４は、作成された周辺シーンとある実施形態に従って作成されオーバーラップされた車両モデルの概略的な描写を示している。ここでは、第一車載センサー・ユニット１０の全てのカメラの画像データと第二車載センサー・ユニット２０のカメラの画像データが、互いに合成されている。この際、車両運転手は、第二車両２の側方のオブジェクト３−２と３−３の他に、第二車両２の後ろにあるオブジェクト３−１も認識できる。画像データ、特に、第二車載センサー・ユニット２０の第二画像データの前処理により、周辺シーン全体が、第一車両１から見た視点で描写されている。車両運転手のオリエンテーションの改善のため、第二車両２のライン・モデル２’も、作成された周辺シーン内に組み込まれる。

図５は、ある実施形態に係る車両コンビの周辺シーンを表示するための方法のフローチャートの概略的描写を示している。第一ステップＳ１において、第一車両に配置された第一車載センサー・ユニットによってセンサー的に捕捉された画像データが、用意される。上述した如く、該第一車載センサー・ユニット１０は、一台乃至複数台の車載カメラ１０−ｉを包含していることができる。次のステップＳ２では、第二画像データが用意される。該第二画像データは、第二車両に配置された第二車載センサー・ユニット２０によってセンサー的に捕捉される。ここで、第二車両２は、メカニカルに第一車両１に接続されている。これにより、該第一車両１と第二車両２は、一つの車両コンビを形成している。

続いて、ステップＳ３において、第一車両１に対する第二車両の空間的位置関係が割り出される。この第一車両１に対する第二車両２の位置関係は、この際、独立した位置関係センサー・ユニット３５によって捕捉されることができる。付加的乃至代案的には、該第一車両１に対する第二車両２の位置関係は、第一車載センサー・ユニット１０によって用意された第一画像データに基づいて実施することもできる。即ち、第二車両２は、用意された第一画像データ内において検出されることができる。続いて、第一画像データ内において検出された第二車両２の大きさと空間的位置関係に基づいて、第一車両１に対する第二車両２の位置関係を割り出すことができる。ここで言う、空間的位置関係は、特に、第一車両１と第二車両２の間の角度、並びに、これら双方の車両間の間隔を包含していることができる。更に、双方の車両間の割り出された空間的位置関係に基づいて、第二車載センサー・ユニット２０用の外部パラメータが算出できる。これら外部パラメータは、第一車両乃至第一車載センサー・ユニット１０に対する第二車載センサー・ユニット２０の空間三方向への直線的移動を包含していることができる。該外部パラメータは更に、これら空間方向の軸に対するそれぞれの回転も規定することができる。第二車載センサー・ユニット２０が、複数台のカメラ２０−ｉを包含している場合、これらカメラ２０−ｉのそれぞれのために、外部パラメータのセットが、算出される。この際、外部カメラ・パラメータの算出は、リアルタイムに実施されることが好ましい。特に、複数の連続する画像からなるシーケンスの場合、該画像シーケンスの各々の画像用に、外部パラメータが別々に算出される。

ステップＳ４では、該割り出した第一車両１に対する第二車両２の空間的位置関係を用いて第一画像データと第二画像データの合成が実施される。この際、特に好ましくは、第一画像データと第二画像データは、第二車載センサー・ユニット２０用に算出された外部パラメータ、乃至、第二車載センサー・ユニット２０の各々のカメラ２０−ｉ用の個別の外部カメラ・パラメータを用いて合成される。この第一画像データと第二画像データの合成により、第一車両１と第二車両２からなる車両コンビの周辺を示す周辺シーンの作成が実施される。

必要に応じて、ステップＳ５において、第二車両２のグラフィック描写が作成されることができる。この第二車両２のグラフィック描写は、この際、第二車両２の輪郭からなるライン・モデル、場合によっては、第二車両２の単純な立（方）体モデル、或いは、代案的に、第二車両２の詳細に忠実なモデルを包含していることも可能である。第二車両２のモデル化には、この際、第一車載センサー・ユニット１０の第一画像データの他、場合によっては、予め保存されているモデル・データを用いることもできる。この様にして作成された第二車両のグラフィック描写は、続いて、作成された周辺シーン内に組み込まれることができる。例えば、該グラフィック描写は、半透明なエレメントとして、作成された周辺シーンにオーバーラップさせることができる。

この様にして作成された周辺シーンは、更に、ステップＳ６において、車載表示手段４０に表示されることができる。

要約すると、本発明は、二台の互いに接続された車両からなる車両コンビの車両周辺描写の作成並びに表示に関するものである。この際、該車両コンビの双方の車両それぞれにおいて、画像データが、センサー的に捕捉される。続いて、双方の車両の互いの空間的位置関係を考慮して画像データが、一枚の周辺シーンに合成される。この様にして作成された一枚の周辺シーンにより、車両運転手は、車両コンビ全体の周りの周辺領域を効率良く且つ確実に捕捉できる。

Claims (16)

1. 以下のステップを有することを特徴とする車両コンビの周辺シーンを表示するための方法：
   （ａ）第一車両（１）に配置された第一車載センサーユニット（１０）によってセンサー的に捕捉した第一画像データを用意するステップ（Ｓ１）；
   （ｂ）第二車両（２）に配置された第二車載センサーユニット（２０）によってセンサー的に捕捉した第二画像データを用意するステップ（Ｓ２）；
   （ｃ）第一車両（１）に対する第二車両（２）の空間的位置関係を割り出すステップ（Ｓ３）；
   （ｄ）周辺シーンを作成するために、該割り出した第一車両（１）に対する第二車両（２）の空間的位置関係を用いて、第一画像データと第二画像データを合成するステップ（Ｓ４）；並びに、
   （ｅ）作成された周辺シーンを車載表示手段（４０）に表示するステップ（Ｓ６）。
2. 第一車載センサーユニット（１０）と第二車載センサーユニット（２０）の画像領域が、部分的にオーバーラップしていることを特徴とする請求項１に記載の方法。
3. 第一車両（１）に対する第二車両（２）の空間的位置関係を割り出すためのステップ（Ｓ３）が、第二車両（２）を第一画像データ内で検出し、該画像データ内における第二車両の検出の検出結果に基づいて第二車両（２）の空間的位置関係を割り出すことを特徴とする請求項１或いは２に記載の方法。
4. 第一車両（１）に対する第二車両（２）の空間的位置関係を割り出すためのステップ（Ｓ３）が、第一車両と第二車両（２）の間の角度、及び／或いは、間隔の割り出しを包含することを特徴とする請求項１から３のうち何れか一項に記載の方法。
5. 第二車両（２）のグラフィック描写を作成するためのステップ（Ｓ５）も包含するが、該第二車両（２）の作成されたグラフィック描写が、作成された周辺シーン内に挿入されることを特徴とする請求項１から４のうち何れか一項に記載の方法。
6. 第二車両（２）のグラフィック描写を作成するためのステップ（Ｓ５）において、第二車両（２）の三次元モデルが作成され、第二車両の第一画像データが、第二車両（２）の作成された三次元モデルの外面上に投影されることを特徴とする請求項５に記載の方法。
7. センサー的に捕捉された第一画像データとセンサー的に捕捉された第二画像データとを予め設定されている投影レベルに転換するためのステップを包含するが、
   該第一画像データと第二画像データを合成するためのステップ（Ｓ４）が、転換された第一画像データと転換された第二画像データを用いて、周辺シーンを作成することを特徴とする請求項１から６のうち何れか一項に記載の方法。
8. 更に、作成された周辺シーンを予め設定されている視点に転換するためのステップも包含することを特徴とする請求項１から７のうち何れか一項に記載の方法。
9. 第一画像データと第二画像データがそれぞれ少なくとも一台のカメラ（１０−ｉ，２０−ｉ）から提供されることを特徴とする請求項１から８のうち何れか一項に記載の方法。
10. 更に、第二車載センサーユニット（２０）の外部パラメータ、特に、第二車載センサーユニット（２０）のカメラ（２０−ｉ）の外部カメラ・パラメータを算出するためのステップも包含することを特徴とする請求項１から９のうち何れか一項に記載の方法。
11. 外部パラメータが、リアルタイムに算出されることを特徴とする請求項１０に記載の方法。
12. 以下を備えることを特徴とする車両コンビの周辺シーンを表示するための装置：
    第一画像データを提供するように設計され、第一車両（１）に配置されている第一車載センサー・ユニット（１０）；
    第二画像データを提供するように設計され、第二車両（２）に配置されている第二車載センサー・ユニット（２０）；
    第一車両（１）に対する第二車両（２）の空間的位置関係を割り出し、該計算ユニット（３０）に接続されている車載表示手段（４０）に表示される周辺シーンを作成するために、第一画像データと第二画像データを、割り出した第一車両（１）に対する第二車両（２）の空間的位置関係を用いて合成することができるように設計された計算ユニット（３０）。
13. 該計算ユニット（３０）が、グラフィック・プロセッサー、ＧＰＵを包含することを特徴とする請求項１２に記載の装置。
14. 更に、第一車両（１）と第二車両（２）との間の角度、及び／或いは、間隔を捕捉し、これらを計算ユニット（３０）に提供できる様に設計されている位置関係センサー・ユニット（３５）も包含していることを特徴とする請求項１２或いは１３の何れか一項に記載の装置。
15. 第一車載センサー・ユニット（１０）、及び／或いは、第二車載センサーユニット（２０）が、それぞれ少なくとも一台の車載カメラ（１０−ｉ，２０−ｉ）を包含していることを特徴とする請求項１２から１４のうち何れか一項に記載の装置。
16. 以下を包含することを特徴とする、第一車両（１）と該第一車両（１）にメカニカルにつながれている第二車両（２）からなる車両コンビ用のサラウンド・ビュー・システム：
    請求項１２から１５のうち何れか一項に記載の周辺シーンを表示するための装置；並びに、
    第一車両（１）に配置され、且つ、作成された周辺シーンを表示することができるように設計されている車載表示手段（４０）。

Images