[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2013535753A - 表示装置に画像を表示する方法、および運転者支援システム - Google Patents

表示装置に画像を表示する方法、および運転者支援システム Download PDF

Info

Publication number
JP2013535753A
JP2013535753A JP2013523554A JP2013523554A JP2013535753A JP 2013535753 A JP2013535753 A JP 2013535753A JP 2013523554 A JP2013523554 A JP 2013523554A JP 2013523554 A JP2013523554 A JP 2013523554A JP 2013535753 A JP2013535753 A JP 2013535753A
Authority
JP
Japan
Prior art keywords
image
map
automobile
data
assistance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013523554A
Other languages
English (en)
Inventor
マテス ヨアヒム
レイアック パトリス
Original Assignee
ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー filed Critical ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー
Publication of JP2013535753A publication Critical patent/JP2013535753A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 自動車において、運転者支援システムの表示装置に、状況に応じて適切な画像を表示する方法、およびこの方法を実行する運転者支援システムを提供する。
【解決手段】 ナビゲーションデータが、運転者支援システム(2)によって受信され、自動車(1)の周囲環境(10〜13)に関するセンサデータが、運転者支援システムの少なくとも1つのセンサ(5a〜5d)によって捕捉される。制御装置(4)が、自動車(1’)に隣接する少なくとも1つの周囲エリア(16、19)を示す周囲環境画像(15、18)になるように、センサデータを処理する。ナビゲーションデータを考慮に入れて、記憶されている地図データをもとにして生成された地図画像(21)が、表示装置(3)に表示される。地図画像の拡大が、表示装置上で行なわれる。地図画像があらかじめ定められた画像縮尺(ズーム比)に達すると、地図画像から周囲環境画像への転換が生じる。
【選択図】図1

Description

本発明は、自動車において、運転者支援システムの表示装置に画像を表示する方法に関する。本発明は、さらに、自動車のための運転者支援システムにも関する。この運転者支援システムは、上述の方法を行なうように機能する。
自動車のための表示装置は、従来技術において、種々の形態で知られている。組み込み型のディスプレイがよく知られている。しかし、自動車のフロントガラス上に画像を投影することができる画像プロジェクタ(ヘッドアップディスプレイと呼ばれる)が用いられる場合もある。
さらに従来技術においては、自動車に、その自動車の周囲環境の画像を捕捉する光学的なカメラが組み込まれる場合もある。この場合には、カメラの画像データを基にして、自動車と周囲環境とを空中から見たように示す周囲環境画像を生成することができる。このような空中からの描写のために、全てのカメラの画像データ(例えば2つ、3つ、または4つのカメラからの画像データ)が混合されて、一緒に処理される。次いで、この周囲環境画像が、表示装置に表示される。そうすると、運転者は、この周囲環境画像に基づいて、自動車と、周囲環境中に位置する物体との間の距離を推測することができる。したがって、自動車と、自動車の外部にある物体との間の衝突を避けることができる。
この従来技術に対して特に関心が寄せられるのは、少なくとも1つのカメラの画像データを基にして生成され、自動車に隣接する周囲エリアと、好ましくは自動車の少なくとも一部分とを、空中から見たように示す周囲環境画像である。このような周囲環境画像においては、自動車の周囲エリアを、実際通りに、表示装置に表わすことができる。しかしながら、このような周囲環境画像は、他のセンサからのセンサデータを基にして生成することもできる。例えば超音波センサの超音波データを、周囲環境画像になるように処理し、次いで、自動車の周囲エリアを概要図で、すなわち、例えば図式的な記号や輪郭線を用いて示すことができる。同様に、レーダ装置のレーダデータ、および他のセンサのデータを、処理することもできる。
さらに、ナビゲーションのために、ナビゲーション受信器(例えばGPS受信器)を用いることが知られている。このようなナビゲーション受信器は、ナビゲーションデータ(GPSデータ)を受信し、運転者支援システムは、そのナビゲーションデータに基づいて、自動車の各瞬時全地球位置を特定することができる。次いで、自動車と、その周囲環境とを図式的に示す概要的な地図画像を、表示装置に表示することができる。したがって、このような地図画像は、ナビゲーションデータに基づいて、すなわち、自動車のその時点における全地球位置に対応して、自動車の瞬時全地球位置と、自動車の周囲環境とが、地図画像に示されるように生成される。このような地図画像は、既に記憶されている地図データを用いて生成される。この地図データは、運転者支援システムの記憶装置に記憶させておくことができ、また、例えばホストサーバを用いると、オンラインで使用可能にすることができる。この地図データから生成される地図画像は、「グーグルマップ」アプリケーション(www.maps.google.com)や「グーグルアース」アプリケーションで知られている画像とほぼ合致する。原理的には、この地図画像は、生の視像データ、すなわち、人工衛星からの画像を基にしたものである場合もある。しかしながら、この地図データは、あらかじめ記憶されているものであり、上述のような、自動車に搭載されたカメラの画像データのように、実時間で記録されるものではない。
記憶されている地図データを基にし、また自動車の各瞬時全地球位置を考慮に入れて生成された地図画像が、ナビゲーションのために、表示装置に表示される。したがって、この地図画像は、自動車の周囲環境に関する生の情報、すなわち、周囲環境に位置している物体、および障害物に関する情報を全く含んでいない。通常、道路だけ、または場合によっては自動車も、表示されるだけである。さらに、通常、必要な解像度も欠いている。
本発明は、冒頭で述べた種類の方法において、自動車の運転中に、特に単一の表示装置を用いて、非常に信頼性高く運転者を支援することができる方法を提供することを目的としている。
この目的を達成するために、本発明は、請求項1に記載の特徴を有する方法、請求項16に記載の特徴を有する運転者支援システム、および請求項17に記載の特徴を有する自動車を提供するものである。本発明の有利な実施形態が、従属請求項および本明細書に記載されている。
本発明による方法は、自動車において、運転者支援システムの表示装置に画像を表示するように構成されている。ナビゲーションデータが、運転者支援システムによって受信される。運転者支援システムの少なくとも1つのセンサが、自動車の周囲環境に関するセンサデータを捕捉する。捕捉されたセンサデータは、自動車に隣接している少なくとも1つの周囲エリアを示す周囲環境画像になるように処理される。ナビゲーションデータを考慮に入れて、記憶されている地図データから生成された地図画像が、表示装置に表示される。表示装置上の地図画像は拡大(ズーミング)され、地図画像が、あらかじめ定められた画像縮尺(ズーム比)に達すると、地図画像から周囲環境画像への転換が生じる。
したがって、本発明の基本的な考え方は、地図画像の拡大中に、あらかじめ定められた画像縮尺に達するか、または超過すると、(図式的な)地図画像から、(生の)周囲環境画像(センサのセンサデータを基にして生成される)への転換を行なうということである。したがって、本発明は、地図画像(前もって記憶されている地図データから生成される)は、限られた解像度しか備えておらず、さらに、自動車の周囲環境に関する実際の情報を何ら有していないという事実に対処するものである。すなわち、地図画像が拡大(ズーミング)されると、ある画像縮尺以上における解像度は、運転者に全く情報を提供することができないほどに極めて小さくなる。この点に関して、本発明は、あらかじめ定められた画像縮尺、またはあらかじめ定められた解像度に達すると、地図画像を、少なくともいくつかのエリアにおいて、周囲環境画像に置き換えるようになっている。したがって、ある画像縮尺以上では、図式的な地図画像はもはや表示されず、替わって、少なくとも1つのセンサの生のセンサデータを基にして生成され、したがって、自動車の実際の周囲環境、および/または実際の周囲環境に関する情報を有する周囲環境画像が表示される。したがって、運転者は、例えば自動車と、周囲環境中に存在する、自動車の外部にある物体との間のそれぞれの距離を推測することができ、また自動車の実際の周囲環境について調べることができる。
さらに、画像の転換後に、ナビゲーションのために周囲環境画像を役立てることができる。これは、画像の転換によって、ナビゲーション機能は損なわれず、転換前と同じく、運転者にナビゲーション情報を伝えることが可能であるということを意味する。このナビゲーション情報を、周囲環境画像に含めることもできる。
センサデータには、例えば少なくとも1つの光学的な捕捉装置によって捕捉される画像データが含まれる。光学的な捕捉装置は、カメラ、具体的には、特に、人間が感知することができるスペクトル域の光を検出することができるカメラであることが好ましい。その場合には、周囲エリアと、好ましくはさらに自動車の少なくとも一部分との、空中から見た図を表わす周囲環境画像になるように、センサデータ(画像データ)を処理することができる。したがって、この実施形態においては、カメラの生の画像データを基にして生成された、周囲環境の生の画像を、運転者に対して、表示装置に表示することができる。これは極めてユーザフレンドリーである。すなわち、運転者は、自分の表示装置に、自動車の実際の周囲環境を示される。いわば、運転者は、表示装置に、自動車の実際の周囲環境を見ることができる。すなわち、自動車の周囲環境を、図式的にではなく、画像データを基にして、実際の周囲環境そのままに表わす周囲環境画像を生成することが可能である。光学的な捕捉装置、特にカメラを用いることによって、それに応じた高い解像度で、周囲環境画像を生成することができるという利点が得られる。したがって、相対的に大きな画像縮尺の場合においても、周囲環境画像を、表示装置に良質に表示することができる。
それに加えて、またはそれに替えて、センサデータに、他のセンサのセンサデータを含ませることもできる。そのようなセンサデータには、例えば少なくとも1つの超音波センサの超音波データ、および/または少なくとも1つのレーダ装置のレーダデータ、および/または少なくとも1つのレーザスキャナのレーザデータが含まれる場合がある。このセンサデータに基づいて、自動車の周囲環境中で、自動車の外部にある物体を検出することができ、次いで、検出された物体を表わす図式的な記号を、周囲環境画像中に描出することができる。これらのセンサを用いることによって、センサデータの処理を、相対的に低コストで実行することができ、なおかつ、自動車の外部にある物体を、自動車の画像に相対的な位置が実際の位置と同じ位置に、かつ自動車の縮尺と同じ縮尺で表わされるように、図式的な記号や輪郭線を用いて表示装置に表示することができるという利点が得られる。
したがって、原理的に、カメラデータと少なくとも1つの他のセンサ(例えば距離センサ)のセンサデータとの混合した画像データを用いて、周囲環境画像を生成することができる。したがって、このような周囲環境画像は、周囲環境の光学像(画像データを基にして生成される)と、距離センサのセンサデータを基にして生成される図式的な記号との両方を含むことができる。
あらかじめ定められた画像縮尺に達すると、地図画像から周囲環境画像への転換が生じる。これは、詳細には、地図画像の少なくとも1つのエリアが、周囲環境画像の対応するエリアに置き換えられるということを意味している。しかしながら、画像全体が地図画像から周囲環境画像へと転換するほうが、特に有利であることは明らかである。
本明細書においては、用語「画像の拡大」は、「画像のズーミング」を意味していると理解されたい。用語「画像縮尺」は、物体の実寸に対する、その物体の光学像の寸法の比で定義される。したがって、画像縮尺は、ズーム比と本質的には同じである。
一実施形態においては、地図画像から周囲環境画像への転換の直後において、周囲環境画像は、転換の直前の地図画像と同じ観察方向から、および/または同じ観察地点において、周囲エリアと、好ましくはさらに自動車の少なくとも一部分とを示すように設定される。本明細書においては、用語「観察方向」とは、仮想的な観察者が、画像を観察する際に眺める方向のことである。したがって、地図画像から周囲環境画像への継続的な、すなわち急激に変化しない移行が達成される。これによって、さらに、画像の転換後に、少なくとも大部分において、画像の転換前と同じ、自動車の周囲エリアが確実に示されることになる。転換の直前における画像縮尺は、転換の直後における画像縮尺に対して、±5%以内の誤差の精度で等しいことが好ましい。言い換えると、転換の直後における周囲環境画像の画像縮尺は、実質的に、転換の直前における地図画像の画像縮尺と等しいことが好ましい。その場合には、画像の転換後に、転換前と実質的に同じ周囲エリアを示すことができる。その結果、両画像間に、継続性の欠如は知覚されない。
自動車の上方から見た周囲環境画像は、自動車の少なくとも一部分、および周囲エリアの平面図を表わすことが好ましい。周囲環境画像は、自動車の全体および自動車のまわりの周囲エリアの平面図を表わすことが好ましい。その場合には、運転者は、周囲環境画像に基づいて、自動車と、自動車のまわりの、自動車の外部にある物体全てとの間のそれぞれの距離を、極めて容易に推測することができる。
センサデータを、例えば連続的に捕捉することができ、周囲環境画像を、捕捉されたセンサデータを用いて、連続的に更新することができる。これは、周囲環境画像が、自動車の周囲環境を、ほとんどリアルタイムに描写することができるということを意味する。
周囲環境画像において、自動車は、表示装置上で固定された位置に、すなわち静止した状態で示されることが好ましく、一方、周囲エリアの画像は、センサデータを基にして、その都度更新されて、適合化されることが好ましい。さらに、自動車の画像は、運転者支援システムの記憶装置に前もって記憶しておくことができる。この実施形態は、通常、少なくとも1つのセンサが、自動車の外面、すなわち、例えば外部への張り出しまたはバンパーに配置されており、したがって、このセンサは、自動車自体ではなく、自動車の周囲エリアを検出することができるという事実に基づいている。かくして、自動車の画像を、データの形態で記憶装置に記憶させておくことができ、さらに、周囲環境に関するセンサデータが利用可能なときには、周囲エリアの画像を、自動車の画像のまわりに加えることができる。
さらに、ナビゲーションデータとセンサデータとの比較に基づいて、較正を行なうことが可能である。より詳細に言うと、自動車の全地球位置を、センサデータに基づいて修正することができる。すなわち、より精確に適合させることができる。同様に、それに加えて、またはそれに替えて、周囲環境画像に周囲エリアが示される観察方向を修正するために、ナビゲーションデータを用いることも可能である。
したがって、表示装置上の地図画像の拡大中に、地図画像が、あらかじめ定められた画像縮尺に達すると、画像間の転換が生じる。地図画像の拡大、およびその結果として発生する画像間の転換は、例えば操作者によって、運転者支援システムの入力装置になされる入力に基づいて生じる場合がある。このような入力は、例えば操作装置に対して行なわれる場合がある。その場合には、運転者支援システムは、この入力を受け取り、この入力に基づいて、あらかじめ定められた画像縮尺に達するまで、表示されている地図画像を拡大させる。あらかじめ定められた画像縮尺に達すると、運転者支援システムは、地図画像から周囲環境画像への転換を行なう。この実施形態は、運転者が、自身の入力行為によって、画像縮尺を設定することができ、したがって、画像の転換の是非に関しても、自身で決定することができるという利点を有している。したがって、この入力によって、事実上、画像縮尺すなわちズーム比に対する指示がなされる。
ナビゲーションデータに基づいて、運転者支援システムは、さらに、自動車が目的地に、および/または目的地の周辺のあらかじめ定められているエリアに到着していることを確認することができる。自動車が目的地に到着していることを、運転者支援システムが確認した場合には、この確認に基づいて、運転者支援システムは、自動的に地図画像の拡大、およびその結果として生じる、画像の転換を行なうことができる。これは、自動車が、あらかじめ定められた場所(運転者があらかじめ定めておくことができる)に到着したときに、地図画像から周囲環境画像への転換が生じることを意味する。実際、目的地において最も必要なことは、一般に、自動車の操舵である(その上、間隔が非常に詰まった状態においては、しばしばそうであるように)。そのときに、周囲エリアに関する生の情報を備えた周囲環境画像が表示装置に表示されると、それは、運転者にとって非常に有利なことである。この場合には、運転者は、目的地における自動車の操舵に関して、周囲環境画像から支援を受けることができる。特に、運転者は、周囲環境画像に基づいて、障害物を監視することができる、または障害物と自動車との間の距離を推測することができる。
さらに、運転者支援システム、より具体的には、運転者支援システムのセンサ装置によって、自動車の周囲環境中の、自動車の外部にある物体を検出することが可能である。このセンサ装置は、例えば少なくとも1つの距離センサ、特に超音波センサを有している場合がある。このセンサ装置は、さらに、周囲環境画像を生成するためのセンサデータを捕捉する、少なくとも1つのセンサを有している場合がある。この場合には、地図画像の拡大、およびその結果として生じる、地図画像から周囲環境画像への転換を、自動車の周囲環境中の物体の存在に基づいて、運転者支援システムによって自動的に遂行することが可能である。生の周囲環境画像によって、自動車とその物体とが衝突する危険性があるか否かが明らかになる。したがって、運転者は、表示装置上で、自動車の外部にある物体を観察し、その観察に基づいて、衝突を避けるように自動車の操舵を行なうことができる。例えば検出された物体と自動車との間の距離が、あらかじめ定められた閾値未満であるときに、地図画像から周囲環境画像への転換が生じるようにすることが可能である。この実施形態によれば、自動車の同乗者の安全が確保される。これは、自動車の周囲環境中で、自動車の外部に物体が存在するために、周囲環境画像の表示が実際に必要なときに、その表示が運転者に与えられるからである。
地図画像は、記憶されている地図データから生成される。地図データは、例えば自動車と、自動車に隣接する周囲エリアとを図式的に示す概要画像である場合がある。しかしながら、地図画像は、前もって記憶されている画像、具体的には例えば記憶されている、人工衛星からの画像にもとづく生の光学像である場合もある。いずれにしても、地図画像に示される、自動車の周囲環境は、実際の周囲環境の瞬時状態に対応するものではない。さらに、任意選択に、種々のタイプの地図画像、すなわち、さまざまな種類の図を利用することが可能である。例えば「グーグル地図」アプリケーションにおけるように、次の種類の図、すなわち地図、人工衛星からの図、および3D図を利用することが可能である。
一実施形態において、地図画像は、周囲環境画像の少なくとも1つのエリアによって補完されるように定められている。これは、地図画像に、周囲環境画像の少なくとも1つのエリアを重ね合わせることもできる、または地図画像をそのようなエリアで覆うこともできることを意味する。あらかじめ定められた画像縮尺に達する前に、このような地図画像の表示を行なうことができる。その結果、運転者は、例えば周囲環境中の障害物、および/または道路標識、および/または交通信号灯などに関する情報のような、自分に対して表示された、いくつかの情報を入手することができる。
第1の周囲環境画像か第2の周囲環境画像かのいずれかを、周囲環境画像として生成して、表示できることが好ましい。第1の周囲環境画像と第2の周囲環境画像とのうちのいずれを選択するかは、あらかじめ定められた選択基準にしたがってなすことができる。第1の周囲環境画像と第2の周囲環境画像とは、第1の周囲環境画像が、第2の周囲環境画像に比して、自動車からより隔たった距離までの周囲エリアを示すという点で、互いに異なる。したがって、任意選択的に、少なくとも2つの種類の周囲環境画像、すなわち自動車に隣接する周囲エリアが相対的に広い周囲環境画像と、自動車に隣接する周囲エリアが相対的に狭い周囲環境画像とを、運転者に対して表示することができる。したがって、要求に適合するように、また状況に適合するように、運転者を支援することができる。したがって、例えば自動車と障害物との間の距離が相対的に短く、運転者が相対的に難しい操舵を行なわなければならない場合には、第2の周囲環境画像を表示することができる。対照的に、自動車に隣接する広い周囲エリアをおおまかに見渡す必要がある場合には、第1の周囲環境画像が表示される。
第1の周囲環境画像は、7〜13mの値の範囲の、自動車からの距離までの周囲エリアを示すことが好ましい。この距離は、10mであることが好ましい。したがって、第1の周囲環境画像は、特に、自動車全体、および自動車のまわりの(詳細には、自動車から10mまでの)周囲エリアの平面図を表わす。したがって、運転者は、相対的に広い周囲エリアに関する情報を得ることができ、さらに、自動車から相対的に遠くに位置している障害物を認めることができる。
他方において、第2の周囲環境画像は、50cm〜2mの値の範囲の、自動車からの距離までの周囲エリアを示す場合がある。この距離は、1mであることが好ましい。このような周囲環境画像に基づいて、運転者は、自動車と、自動車のすぐ隣に位置している各障害物との間の距離を高精度で推測することができる。したがって、運転者は、さらに、障害物に非常に接近している自分の自動車を、衝突を引き起こすことなく、操舵することができる。
前述のように、第1の周囲環境画像と第2の周囲環境画像とのうちのいずれを選択するかは、あらかじめ定められた選択基準にしたがってなされる。この選択基準には、例えば地図画像から周囲環境画像への転換の直後に、第1の周囲環境画像、すなわち、他の周囲環境画像に比して、自動車からの、より長い距離までの周囲エリアを示す周囲環境画像が生成されて、表示されるということが含まれる場合がある。したがって、地図画像から周囲環境画像への継続的な移行を実現することができる。
選択基準には、さらに、自動車の目的地への到着が、ナビゲーションデータに基づいて、運転者支援システムによって認識されたときに、第1の周囲環境画像が生成されて、表示されるということを含めることができる。自動車が目的地に到着すると、その結果として、相対的に広い周囲エリアを示す周囲環境画像が表示されることが好ましい。その場合には、運転者は、一方では、目的地において、自動車から相対的に遠くにある障害物を、周囲環境画像で知覚することができ、他方では、衝突を引き起こすことなく、自動車の操舵を行なうことができる。
選択基準には、さらに、運転者支援システムのセンサ装置によって、自動車の周囲環境中に、自動車の外部にある物体が検出されたときに、第2の周囲環境画像、すなわち、自動車から相対的に短い距離までの周囲エリアしか示さない周囲環境画像が生成されて、表示されるということを含めることができる。自動車と、自動車の外部にある物体との間の距離が、あらかじめ定められた閾値未満であるときに、第2の周囲環境画像が生成されて、表示されるように、この選択基準を定めることができる。実際、自動車と、自動車の外部にある物体との間の距離が、あらかじめ定められた閾値未満であるときには、運転者は、自動車のすぐ隣の、または自動車のすぐ近くの周囲環境の正確な画像を必要とする。第2の周囲環境画像が表示されると、運転者は、間隔が非常に詰まった状態、または非常に狭い場所においても、衝突を引き起こすことなく、操舵を行なうことができる。
センサデータに画像データが含まれる実施形態においては、画像データは、少なくとも1つの光学的な捕捉装置によって捕捉される。少なくとも2つの光学的な捕捉装置、好ましくは少なくとも3つの光学的な捕捉装置によって、画像データを捕捉するのが有利であることが、十分に明らかになっている。さらに、全部で4つの光学的な捕捉装置を設けることも可能である。したがって、複数の光学的な捕捉装置、すなわち、自動車の左側面に1つの捕捉装置、および/または左サイドミラーに1つの捕捉装置、および/または右側面に1つの捕捉装置、および/または右サイドミラーに1つの捕捉装置、および/または前部バンパーに1つの捕捉装置、および/または後部バンパーまたはテールゲートに1つの捕捉装置を、全て用いることが可能である。全ての捕捉装置を用いることによって、自動車のまわりの周囲環境の360°画像を捕捉することができる。少なくとも1つの捕捉装置は、例えばカメラ、具体的には特にCMOS(相補型金属酸化膜半導体)カメラ、またはCCD(電荷結合素子)カメラである場合がある。
少なくとも1つの光学的な捕捉装置の各々は、170°〜195°の値の範囲の捕捉角度を有していることが好ましい。したがって、少なくとも1つの捕捉装置の各々は、魚眼カメラであることが好ましい。この場合には、3つまたは4つの捕捉装置しか用いずに、自動車のまわりの全周囲環境の画像を捕捉することができる。したがって、運転者支援システムは、相対的に少数の捕捉装置しか必要としない。
本発明は、さらに、自動車のための運転者支援システムを提供するものである。この運転者支援システムは、ナビゲーションデータを受信するためのナビゲーション受信器を備えている。運転者支援システムは、さらに、自動車の周囲環境に関するセンサデータを捕捉するための少なくとも1つのセンサを備えている。画像を表示するための表示装置が用意されている。運転者支援システムは、自動車に隣接する少なくとも1つの周囲エリアを示す周囲環境画像になるように、センサデータを処理することができる。運転者支援システムは、さらに、ナビゲーションデータを考慮に入れて、記憶されている地図データから地図画像を生成することができ、またその地図画像を表示装置に表示することができる。運転者支援システムは、表示装置上で地図画像を拡大させることができ、また地図画像があらかじめ定められた画像縮尺に達すると、地図画像から周囲環境画像への転換を行なうことができる。
本発明による自動車は、本発明による運転者支援システムを備えている。
本発明による方法に関して示した好適ないくつかの実施形態、およびそれらの利点は、本発明による運転者支援システムおよび自動車にも同様に適用される。
本発明のさらなる特徴が、請求項、図面、および図面の説明から明らかになると思う。上述の全ての特徴、および特徴の組み合わせ、および図面の説明において以下に述べる、および/または単に図面に示す全ての特徴および特徴の組み合わせを、各組み合わせの範囲内で用いることができるだけではなく、それら以外の組み合わせでも、または単独でも用いることができる。
以下において、好適で例示的な実施形態および添付図面を参照して、本発明を、より詳細に説明する。
本発明の一実施形態による運転者支援システムを備えている自動車の概要平面図である。 地図画像の一例を示す概要図である。 第1の周囲環境画像の一例を示す概要図である。 第2の周囲環境画像の一例を示す概要図である。 本発明の一実施形態による方法のフローチャートである。
図1に示すように、自動車1は乗用車である。自動車1は、次の部品、すなわち、表示装置3、制御装置4、4つのカメラ5a〜5d、およびナビゲーション受信器14(例えばGPS受信器)を有する運転者支援システム2を備えている。制御装置4は、表示装置3を作動させる。カメラ5a〜5dは、例えば自動車1の内部通信バスを介して、捕捉した画像データを制御装置4に転送する。本発明によれば、カメラ5a〜5dはセンサであり、画像データはセンサデータである。
運転者支援システム2は、さらに、センサデータを捕捉するためのさらなるセンサ、すなわち少なくとも1つの超音波センサ、および/または少なくとも1つのレーダ装置、および/または少なくとも1つのレーザスキャナを備えている場合がある。
表示装置3は、例えばLCDディスプレイである場合がある。しかしながら、表示装置3は、自動車1のフロントガラス6に画像を投影することができる画像プロジェクタ(ヘッドアップディスプレイ)である場合もある。
自動車1の画像、より正確には、自動車1の画像を表わすデータが、制御装置4、より詳細には記憶装置7に記憶されている。
カメラ5a〜5dは、自動車1の外面に搭載されている。図1には、カメラ5a〜5dの数および配置が、単に一例として示されているにすぎない。各実施形態に応じて、カメラ5a〜5dの数、およびそれらの、自動車1上への配置は変わり得る。例示的な一実施形態においては、第1のカメラ5aは、自動車1の前部バンパー上に配置されており、一方、第2のカメラ5bは、後部バンパー上、またはテールゲート上に配置されている。第3のカメラ5cは、左側面に搭載されている。しかしながら、第3のカメラ5cは、左サイドミラー8に一体化されている場合もある。第4のカメラ5dは、右側面に、より詳細には、右サイドミラー9の近傍に搭載されている。第4のカメラ5dは、右サイドミラー9に一体化されている場合もある。
カメラ5a〜5dの各々は、広角の捕捉角度を有しており、したがって、魚眼カメラと呼ばれる。それぞれの捕捉角度は、例えば170°〜195°の値の範囲にある場合がある。図1から明らかなように、第1のカメラ5aは、自動車1の前方のエリア10の画像を捕捉し、一方、第2のカメラ5bは、自動車1の後方のエリア11の画像を捕捉する。同様に、第3のカメラ5cは、自動車1に隣接する左方のエリア12の画像を捕捉し、第4のカメラ5dは、自動車1に隣接する右方のエリア13の画像を捕捉する。したがって、カメラ5a〜5dは、それらの全体で、実質的に、自動車1のまわりの全周囲環境の画像、すなわち360°画像を捕捉することができる。
制御装置4は、カメラ5a〜5dによって捕捉された画像データを処理することができる。制御装置4は、それらの画像データを基にして、自動車1の周囲環境、すなわち捕捉されたエリア10〜13の、自動車1の上方から見た平面図を表わす画像を生成することができる。したがって、制御装置4は、捕捉されたエリア10〜13の、空中から見た平面図を表わす画像を、画像データから生成することができる。
前述のように、自動車1の画像は、記憶装置7に記憶されている。この画像も、空中から見た自動車1を表わしている。言い換えると、この画像は、自動車1の上方から見た自動車1の平面を表わしている。制御装置4は、自動車1の画像と、カメラ5a〜5dによって捕捉された画像データを基にして生成された、周囲環境の画像とから、周囲環境画像を生成することができる。この周囲環境画像は、自動車1と自動車1のまわりの周囲環境との両方が含まれる平面図、すなわち空中から見た図を表わしている。したがって、単一の周囲環境画像中に、自動車1の周囲環境と自動車1自体との両方が、空中から表示される。制御装置4は、この周囲環境画像を、表示装置3に表示することができる。この周囲環境画像を、連続的に表示することができる。これは、周囲環境画像を、自動車1の周囲環境に、連続的、および/または動的に適合させることができるということを意味する。実際、画像データは、カメラ5a〜5dによって連続的に捕捉され、周囲環境画像は、連続的に捕捉された画像データから、その都度、新しく生成される。周囲環境画像において、自動車1を、固定した位置に、すなわち静止した状態で示すことができ、一方、周囲環境の画像を、連続的に更新して、その都度の周囲環境に適合させることができる。
制御装置4は、さらに、他のセンサ、すなわち少なくとも1つの超音波センサ、および/または少なくとも1つのレーダ装置、および/または少なくとも1つのレーザスキャナのセンサデータを考慮に入れて、周囲環境画像を生成することができる。例えばそれらのセンサデータに基づいて、自動車1の周囲環境中に検出される、自動車の外部にある物体を表わす、センサデータに合わせて生成される図式的な記号を、周囲環境画像中に含ませることができる。
例示的な一実施形態において、制御装置4は、カメラ5a〜5dの画像データと、場合によってはさらなるセンサデータとから、原理的に、2つの相異なる周囲環境画像を生成することができる。実際、制御装置4は、図3の概要図に一例として示されており、符号15を付されている第1の周囲環境画像を生成することができる。第1の周囲環境画像15を、表示装置3に表示することができる。第1の周囲環境画像15は、自動車1’および自動車1’のまわりの周囲エリア16の、空中から見た平面図を表わしている。図3には詳細に示されていないが、周囲環境画像15において、実際の周囲エリア16が示される。すなわち、周囲エリア16は実際どおりに表示される。これは、カメラ5a〜5dが、自動車1のまわりの実際の周囲環境の画像を捕捉し、制御装置4が、画像データから周囲環境画像15を、リアルタイムに、その都度、新しく生成するからである。第1の周囲環境画像15は、7〜13mの値の範囲の、自動車1’からの距離17までの周囲エリア16を表わすことが特徴である。第1の周囲環境画像15は、横方向に10mないし11mの距離17まで、前後方向に8mないし9mの距離17まで、自動車1’に隣接している周囲エリア16を示している場合がある。したがって、従来の、空中から見た図に比して、第1の周囲環境画像15は、相対的に長い距離17まで、自動車1’から遠方に延びている、より広い周囲エリア16を示している。
原理的に、2つの相異なる方法で、第1の周囲環境画像15を生成することができる。一方の方法においては、周囲環境画像15を生成するために、その都度、すなわちその時点において捕捉された画像データだけを用いることができる。他方の方法(距離17までの周囲エリア16の画像を捕捉することができない場合の)においては、その時点において捕捉された画像データと、それ以前に捕捉された画像データとの両方から、周囲環境画像15を生成することができる。したがって、この他方の方法によれば、オドメトリ(走行距離計測法)を用いて、周囲環境画像15を生成することができる。
制御装置4は、さらに、図4に概要図として例示的に示されているような、第2の周囲環境画像18を生成することができる。この第2の周囲環境画像18も、自動車1’と自動車1’のまわりの周囲エリア19との、空中から見た平面図を表わしている。図4には明示されていないが、周囲環境画像18も、周囲エリア19の実際の画像を表わしている。図4から明らかなように、図4中の自動車1’の画像は、図3の第1の周囲環境画像15中の自動車1’の画像より大きい。これは、第2の周囲環境画像18が、相対的に短い、自動車1’からの距離20までの周囲エリア19しか示していないという事実による。この距離20は、例えば50cm〜2mの値の範囲にある場合がある。第2の周囲環境画像18は、例えば横方向に1.5mの距離20まで、前後方向に50cmの距離20まで、自動車1'に隣接している周囲エリア19を示している場合がある。したがって、第2の周囲環境画像18に基づいて、運転者は、自動車1と、周囲エリア19中に存在する、自動車の外部にある障害物との間のそれぞれの距離を、高い精度で推測することができる。
選択次第で、第1の周囲環境画像15と第2の周囲環境画像18とのどちらでも、表示装置3に表示することができる。すなわち、第1の周囲環境画像15と第2の周囲環境画像18とのうちのどちらかを表示することができる。
前述のように、運転者支援システム2は、さらに、ナビゲーションデータ(GPSデータ)を受信するためのナビゲーション受信器14(この例においては、GPS受信器)を備えている。このナビゲーションデータには、自動車1の全地球位置に関する情報が含まれている。これは、制御装置4が、ナビゲーションデータに基づいて、自動車1の各瞬時全地球位置を推断することができることを意味している。制御装置4は、さらに、自動車1のその時点における全地球位置に対応させて地図画像21を生成し、それを表示装置3に表示することもできる。地図画像21の一例が、図2に概要図として示されている。制御装置4は、記憶されている地図データ(例えば制御装置4の記憶装置7に記憶させることができる)、またはオンラインで利用可能になる地図データから、地図画像21を生成することができる。この地図画像21には、自動車1の各瞬時全地球位置と、さらに、自動車1が進む道路と、場合によっては、さらに、さらなる道路と、さらには、自動車1の周囲環境中に存在する施設および建物が示される。地図画像21も、空中から見た図である、すなわち、空中から見た、自動車1の周囲環境を示す。しかしながら、地図画像21には、自動車1の実際の周囲環境が示されず、また周囲環境の実際の瞬時状態も示されない。これは、地図画像21が、リアルタイムに生成することができない、記憶されている地図データに基づくからである。地図画像21は、場合によっては、人工衛星からの画像(記憶装置7にあらかじめ記憶された画像データとして記憶されている場合がある)に基づく場合もある。
しかしながら、地図画像21は、特に、表示装置3上にかなり拡大されたときに、望みの解像度を備えていない。地図画像21が、例えば運転者による入力に基づいて、比較的大きな画像縮尺、またはズーム比まで拡大されると、解像度21は、運転者がこの地図画像21をほとんど扱うことができなくなるほど、極めて低くなる。さらに、地図画像21には、自動車1の実際の瞬時周囲環境に関する何らの情報も含まれていない。地図画像21には、例えば各時点において周囲環境中に位置している如何なる障害物も表示することができない。したがって、例示的な一実施形態において、あらかじめ定められた画像縮尺(ズーム比)、またはあらかじめ定められた解像度に達した後に、地図画像21の拡大、すなわちズーミングが生じると、地図画像21から周囲環境画像15、18のうちのいずれか一方への転換が起こるように設定される。したがって、運転者は、表示装置3に表示された周囲環境画像15または18を供給される。それらの周囲環境画像15、18は、どちらも、地図画像21より相当に高い解像度を有しており、さらに、自動車1の瞬時周囲環境に関する実際通りの情報を含んでいる。
次に、図5を参照して、本発明の一実施形態による方法を、より詳細に説明する。この方法は、制御装置4が、記憶されている地図データから地図画像21を生成し、それを表示装置3に表示する第1のステップS1で開始する。地図画像21には、地図上の自動車1のその時点における全地球位置が示される。
次のステップにおいて、制御装置4は、表示装置3上の地図画像21のズーミングすなわち拡大が指示されている否かをチェックする。すなわち、ステップS2aにおいて、制御装置4は、地図画像21の拡大を要求する入力が、操作者によって、運転者支援システム2の入力装置上で行われているか否かをチェックする。それと並行して、すなわち同時に、ステップS2bにおいて、制御装置4は、自動車1が、あらかじめ定められた場所(例えばあらかじめ定められた町またはあらかじめ定められた道路)に到着しているか否かをチェックする。それと並行して、すなわち同時に、ステップS2cにおいて、制御装置4は、自動車1のあらかじめ定められた周囲エリア中に、自動車の外部にある物体が出現しているか否かをチェックする。
地図画像21の拡大を要求する入力が検出された場合、および/または自動車1が目的地に到着している場合、および/または自動車1のあらかじめ定められた周囲エリアに、物体が検出された場合には、表示装置3上の地図画像21が、制御装置4によって拡大される、すなわちズーミングされる。この地図画像21の拡大は、ステップS3において生じる。次のステップS4において、制御装置4は、地図画像21が、あらかじめ定められた画像縮尺またはあらかじめ定められた解像度に達しているか否かをチェックする。あらかじめ定められた画像縮尺に達していない場合には、この方法は、ステップS3に戻り、地図画像21はさらに拡大される。ステップS4において、あらかじめ定められた画像縮尺に達している場合には、次のステップS5において、選択基準に対する判定がなされる。これによって、第1の周囲環境画像15か第2の周囲環境画像18かのいずれかが選択される。次に、ステップS6において、選択された周囲環境画像が、表示装置3に表示される。すなわち、地図画像21から、周囲環境画像15または18への転換が生じる。
選択基準には、次の内容が含まれている。
− ステップS6において、地図画像21の拡大が、運転者による入力に基づいて生じる場合には、最初に、地図画像21から第1の周囲環境画像15への転換が生じる、および/または、
− 地図画像10の拡大が、自動車1の、目的地への到着に基づいて生じる場合には、地図画像21から第1の周囲環境画像15への転換が生じる、および/または、
− 自動車1のあらかじめ定められた周囲エリアに、自動車の外部にある物体が検出された場合には、地図画像21から、直接に第2の周囲環境画像18への、または第1の周囲環境画像15を介して、間接に第2の周囲環境画像18への転換が生じる。
さらに、一般的には、地図画像21から、第1の周囲環境画像15を介して、間接的にしか第2の周囲環境画像18への転換が生じない場合もあり得る。そのため、画像間の継続的な、すなわち急激に変化しない移行が生じる。
さらに、地図画像21から周囲環境画像15、18への移行の際に、転換の直後において、周囲環境画像15、18が、転換の直前の地図画像21と同じ観察方向から、また同じ観察地点において示されるように考慮される。さらに、転換の直後において、周囲エリアが自動車1から広がっている距離が、転換の直前の距離に等しくなるようにすることが可能である。したがって、画像間の継続的な移行、すなわち急激に変化しない移行が達成される。
1、1’ 自動車
2 運転者支援システム
3 表示装置
4 制御装置
5a〜5d カメラ
6 フロントガラス
7 記憶装置
8 左サイドミラー
9 右サイドミラー
10〜13 エリア
14 ナビゲーション受信器
15、18 周囲環境画像
16、19 周囲エリア
17、20 距離
21 地図画像

Claims (17)

  1. 自動車(1)において、運転者支援システム(2)の表示装置(3)に画像(15、18、21)を表示する方法であって、
    − 前記運転者支援システム(2)によって、ナビゲーションデータを受信するステップと、
    − 前記運転者支援システム(2)の少なくとも1つのセンサ(5a〜5d)によって、前記自動車(1)の周囲環境(10〜13)に関するセンサデータを捕捉するステップと、
    − 前記自動車(1)に隣接している少なくとも1つの周囲エリア(16、19)を示す周囲環境画像(15、18)になるように、前記センサデータを処理するステップと、
    − 前記ナビゲーションデータを考慮に入れて、記憶されている地図データから生成される地図画像(21)を、前記表示装置(3)に表示するステップと、
    − 前記表示装置(3)上の前記地図画像(21)を拡大するステップと、前記地図画像(21)が、あらかじめ定められた画像縮尺に達すると、前記地図画像(21)を前記周囲環境画像(15、18)に転換させるステップとを含む方法。
  2. 前記センサデータには、センサとしての少なくとも1つの光学的な捕捉装置(5a〜5d)によって捕捉される画像データが含まれ、該画像データは、前記周囲エリア(16、19)と、好ましくはさらに前記自動車(1’)の少なくとも一部分との、空中から見た図を表わす周囲環境画像(15、18)になるように処理されることを特徴とする、請求項1に記載の方法。
  3. 前記センサデータには、少なくとも1つの超音波センサによって捕捉される超音波データ、および/またはセンサとしての少なくとも1つのレーダ装置によって捕捉されるレーダデータ、および/またはセンサとしての少なくとも1つのレーザスキャナによって捕捉されるレーザデータが含まれることを特徴とする、請求項1または2に記載の方法。
  4. 前記地図画像(21)から前記周囲環境画像(15、18)への転換の直後において、前記周囲環境画像(15、18)は、転換の直前の前記地図画像(21)と同じ観察方向から、前記周囲エリア(16、19)と、好ましくはさらに前記自動車(1’)の少なくとも一部分とを示すことを特徴とする、請求項1〜3のいずれか1つに記載の方法。
  5. 前記自動車(1)の上方から見た前記周囲環境画像(15、18)は、前記自動車(1’)の少なくとも一部分および前記周囲エリア(16、19)の平面図、特に、前記自動車(1’)の全体および前記自動車(1)のまわりの周囲エリア(16、19)の平面図を表わすことを特徴とする、請求項1〜4のいずれか1つに記載の方法。
  6. 前記地図画像(21)の拡大、およびその結果として発生する、前記地図画像(21)から前記周囲環境画像(15、18)への転換は、操作者によって、前記運転者支援システム(2)の入力装置になされる入力に基づいて生じることを特徴とする、請求項1〜5のいずれか1つに記載の方法。
  7. 前記ナビゲーションデータに基づいて、前記自動車(1)の目的地への到着が、前記運転者支援システム(2)によって確認され、前記地図画像(21)の拡大、およびその結果として発生する、前記地図画像(21)から前記周囲環境画像(15、18)への転換は、前記目的地への到着の確認に基づいて、前記運転者支援システム(2)によって行なわれることを特徴とする、請求項1〜6のいずれか1つに記載の方法。
  8. 前記運転者支援システム(2)のセンサ装置が、前記周囲環境(10〜13)中の、前記自動車の外部にある物体を検出し、前記運転者支援システム(2)による、前記地図画像(21)の拡大、およびその結果として発生する、前記地図画像(21)から前記周囲環境画像(15、18)への転換は、前記周囲環境(10〜13)中の物体の存在に基づいて行なわれることを特徴とする、請求項1〜7のいずれか1つに記載の方法。
  9. 前記地図画像(21)は、前記周囲環境画像(15、18)の少なくとも1つのエリアで補完されることを特徴とする、請求項1〜8のいずれか1つに記載の方法。
  10. あらかじめ定められた選択基準にしたがって、第1の周囲環境画像(15)か第2の周囲環境画像(18)かのどちらかが、前記周囲環境画像(15、18)として生成され、該第1の周囲環境画像(15)と第2の周囲環境画像(18)とは、第1の周囲環境画像(15)が、第2の周囲環境画像(18)に比して、前記自動車(1)からより隔たった距離までの周囲エリア(16)を示すという点で、互いに異なっていることを特徴とする、請求項1〜9のいずれか1つに記載の方法。
  11. 前記第1の周囲環境画像(15)は、7〜13mの値の範囲の、前記自動車(1)からの距離(17)までの周囲エリア(16)を示すことを特徴とする、請求項10に記載の方法。
  12. 前記第2の周囲環境画像(18)は、50cm〜2mの値の範囲の、前記自動車(1)からの距離(20)までの周囲エリア(19)を示すことを特徴とする、請求項10または11に記載の方法。
  13. 前記選択基準に、前記地図画像(21)から前記周囲環境画像(15、18)への転換の直後に、前記第1の周囲環境画像(15)が生成されるということが含まれることを特徴とする、請求項10〜12のいずれか1つに記載の方法。
  14. 前記選択基準に、前記自動車(1)の目的地への到着が、前記ナビゲーションデータに基づいて、前記運転者支援システム(2)によって認識されたときに、前記第1の周囲環境画像(15)が生成されるということが含まれることを特徴とする、請求項10〜13のいずれか1つに記載の方法。
  15. 前記選択基準に、前記運転者支援システム(2)のセンサ装置によって、前記自動車(1)の周囲環境(10〜13)中に、前記自動車の外部にある物体が検出されたときに、前記第2の周囲環境画像(18)が生成されるということが含まれることを特徴とする、請求項10〜14のいずれか1つに記載の方法。
  16. − ナビゲーションデータを受信するためのナビゲーション受信器(14)と、
    − 自動車(1)の周囲環境(10〜13)に関するセンサデータを捕捉するための少なくとも1つのセンサ(5a〜5d)と、
    − 画像を表示するための表示装置(3)
    とを備えている、自動車(1)のための運転者支援システム(2)であって、
    ・ 前記自動車(1’)に隣接する少なくとも1つの周囲エリア(16、19)を示す周囲環境画像(15、18)になるように、前記センサデータを処理し、
    ・ 前記ナビゲーションデータを考慮に入れて、記憶されている地図データから地図画像(21)を生成して、該地図画像(21)を前記表示装置(3)に表示し、
    ・ 前記表示装置(3)上の前記地図画像(21)を拡大し、前記地図画像(21)があらかじめ定められた画像縮尺に達すると、前記地図画像(21)から前記周囲環境画像(15、18)への転換を行なうように構成されている運転者支援システム(2)。
  17. 請求項14に記載の運転者支援システム(2)を備えている自動車(1)。
JP2013523554A 2010-08-12 2011-07-25 表示装置に画像を表示する方法、および運転者支援システム Pending JP2013535753A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010034140A DE102010034140A1 (de) 2010-08-12 2010-08-12 Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung und Fahrerassistenzsystem
DE102010034140.1 2010-08-12
PCT/EP2011/062699 WO2012019901A1 (de) 2010-08-12 2011-07-25 Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem

Publications (1)

Publication Number Publication Date
JP2013535753A true JP2013535753A (ja) 2013-09-12

Family

ID=44512840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013523554A Pending JP2013535753A (ja) 2010-08-12 2011-07-25 表示装置に画像を表示する方法、および運転者支援システム

Country Status (6)

Country Link
US (1) US8880344B2 (ja)
EP (1) EP2603402B1 (ja)
JP (1) JP2013535753A (ja)
CN (1) CN103140377B (ja)
DE (1) DE102010034140A1 (ja)
WO (1) WO2012019901A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010015079A1 (de) * 2010-04-15 2011-10-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug
US10800329B2 (en) 2010-04-19 2020-10-13 SMR Patents S.à.r.l. Rear view mirror simulation
US10703299B2 (en) 2010-04-19 2020-07-07 SMR Patents S.à.r.l. Rear view mirror simulation
US20120158237A1 (en) * 2010-12-20 2012-06-21 Electronics And Telecommunications Research Institute Unmanned apparatus and method of driving the same
DE102011084993A1 (de) * 2011-10-21 2013-04-25 Robert Bosch Gmbh Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
JP5857224B2 (ja) 2012-03-30 2016-02-10 パナソニックIpマネジメント株式会社 駐車支援装置、及び駐車支援方法
DE102012102771A1 (de) * 2012-03-30 2013-10-02 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Darstellung einer Fahrzeugumgebung
DE102012106691B4 (de) * 2012-07-24 2024-07-11 Valeo Schalter Und Sensoren Gmbh Alternativer Einbau eines verdeckten Ultraschallsensors im Kraftfahrzeug
DE102013201379B4 (de) * 2013-01-29 2020-12-10 Robert Bosch Gmbh Motorrad mit einem Kamerasystem
JP6177585B2 (ja) * 2013-05-23 2017-08-09 アルパイン株式会社 ナビゲーション装置
CN104280034A (zh) * 2013-07-01 2015-01-14 中兴通讯股份有限公司 一种基于全景视频的车载导航方法及系统
CN103424112B (zh) * 2013-07-29 2016-06-01 南京航空航天大学 一种基于激光平面辅助的运动载体视觉导航方法
US20150106010A1 (en) * 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
US9558408B2 (en) 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
TWI552907B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 行車安全輔助系統和方法
DE102013225459B4 (de) * 2013-12-10 2023-11-30 Continental Autonomous Mobility Germany GmbH Verfahren zum automatisierten Führen eines Kraftfahrzeugs und Kraftfahrzeug zum Ausführen des Verfahrens
DE102014107317B4 (de) * 2014-05-23 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Elektronisches Periskop für ein Kraftfahrzeug
DE102014008687A1 (de) * 2014-06-12 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zur Darstellung von Fahrzeugumfeldinformationen eines Kraftfahrzeuges
US20160148421A1 (en) * 2014-11-24 2016-05-26 Caterpillar Inc. Integrated Bird's Eye View with Situational Awareness
US20170371036A1 (en) * 2015-02-06 2017-12-28 Delphi Technologies, Inc. Autonomous vehicle with unobtrusive sensors
WO2016126317A1 (en) 2015-02-06 2016-08-11 Delphi Technologies, Inc. Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure of other vehicles
WO2016126321A1 (en) 2015-02-06 2016-08-11 Delphi Technologies, Inc. Method and apparatus for controlling an autonomous vehicle
CN107531182B (zh) * 2015-08-27 2023-10-27 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法
DE102015221439B3 (de) * 2015-11-02 2017-05-04 Continental Automotive Gmbh Verfahren und Vorrichtung zur Auswahl und Übertragung von Sensordaten von einem ersten zu einem zweiten Kraftfahrzeug
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
DE102016204654A1 (de) * 2016-03-21 2017-09-21 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Eigenbewegungsschätzung für ein Kraftfahrzeug
DE102016204805A1 (de) * 2016-03-23 2017-09-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtungen zum Bereitstellen von Daten für ein Fahrerassistenzsystem eines Kraftfahrzeugs
DE102016114693A1 (de) * 2016-08-09 2018-02-15 Connaught Electronics Ltd. Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016215249B4 (de) * 2016-08-16 2022-03-31 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Unterstützen eines Fahrerassistenzsystems in einem Kraftfahrzeug
DE102016122031A1 (de) * 2016-11-16 2018-05-17 Valeo Schalter Und Sensoren Gmbh Ressourcensparende Karte für ein Fahrerassistenzsystem eines Kraftfahrzeugs
CN106412445A (zh) * 2016-11-29 2017-02-15 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN108225340A (zh) * 2016-12-21 2018-06-29 致伸科技股份有限公司 自动辅助驾驶系统及其方法
CN112519678B (zh) * 2016-12-22 2023-11-17 康奈可关精株式会社 图像显示控制装置
FR3062764B1 (fr) * 2017-02-08 2019-08-02 Valeo Systemes D'essuyage Dispositif de vision, systeme d’assistance a la conduite et procede de maintien de la visibilite associes
DE102017108240A1 (de) * 2017-04-19 2018-10-25 Valeo Schalter Und Sensoren Gmbh Fahrsituationsabhängige Abstandsbestimmung für eine Kraftfahrzeug-Lidar-Sensorvorrichtung
DE102017210264A1 (de) * 2017-06-20 2018-12-20 Zf Friedrichshafen Ag Verfahren zur Bedienung eines Fahrzeugbediensystems
DE102018214874B3 (de) * 2018-08-31 2019-12-19 Audi Ag Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
DE102019133613B3 (de) * 2019-12-10 2020-12-31 Audi Ag Verfahren zum Bereitstellen einer dreidimensionalen Landkarte in einem Kraftfahrzeug
JP7314885B2 (ja) * 2020-09-01 2023-07-26 トヨタ自動車株式会社 車両用周辺監視装置
JP2023088589A (ja) * 2021-12-15 2023-06-27 フォルシアクラリオン・エレクトロニクス株式会社 車両周囲画像表示装置、及び車両周囲画像表示方法
DE102022207932A1 (de) 2022-08-01 2024-02-01 Volkswagen Aktiengesellschaft Sicherheitssystem zum Darstellen der Umgebung eines Kraftfahrzeugs, Verfahren zum Darstellen der Umgebung eines Kraftfahrzeugs sowie ein Kraftfahrzeug

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048295A (ja) * 2002-07-10 2004-02-12 Toyota Motor Corp 画像処理装置、駐車支援装置、及び画像処理方法
JP2004138409A (ja) * 2002-10-15 2004-05-13 Hitachi Ltd ナビゲーション地図表示方法及び地図表示装置
JP2005051403A (ja) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd 車輌周囲表示装置
JP2005084332A (ja) * 2003-09-08 2005-03-31 Denso Corp 地図表示装置、地図表示方法
JP2006321419A (ja) * 2005-05-20 2006-11-30 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2008024138A (ja) * 2006-07-20 2008-02-07 Denso Corp 画像表示装置およびプログラム
JP2008286755A (ja) * 2007-05-21 2008-11-27 Alpine Electronics Inc 地図画像表示装置
JP2009186899A (ja) * 2008-02-08 2009-08-20 Yahoo Japan Corp 地図拡大表示装置
JP2009205302A (ja) * 2008-02-26 2009-09-10 Tokai Rika Co Ltd シームレス表示式操作装置
JP2010156627A (ja) * 2008-12-29 2010-07-15 Xanavi Informatics Corp 車載映像表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
US6429789B1 (en) * 1999-08-09 2002-08-06 Ford Global Technologies, Inc. Vehicle information acquisition and display assembly
US6411867B1 (en) * 1999-10-27 2002-06-25 Fujitsu Ten Limited Vehicle driving support system, and steering angle detection device
DE10137582B4 (de) * 2001-08-01 2004-07-29 Siemens Ag Bildverarbeitungsvorrichtung für ein Fahrzeug und Verfahren zum Betrieb einer Bildverarbeitungsvorrichtung
DE102006026092A1 (de) * 2006-06-03 2007-12-06 Bayerische Motoren Werke Ag Verfahren zur Steuerung eines Einparkvorgangs
FR2902381B1 (fr) * 2006-06-20 2008-11-28 Peugeot Citroen Automobiles Sa Fusion d'images entre un systeme de navigation et un systeme de vision de nuit
JP4948944B2 (ja) * 2006-09-06 2012-06-06 アルパイン株式会社 ナビゲーション装置および交差点案内図の描画方法
DE102008056974A1 (de) * 2008-11-13 2010-05-20 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeugbediensystem
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048295A (ja) * 2002-07-10 2004-02-12 Toyota Motor Corp 画像処理装置、駐車支援装置、及び画像処理方法
JP2004138409A (ja) * 2002-10-15 2004-05-13 Hitachi Ltd ナビゲーション地図表示方法及び地図表示装置
JP2005051403A (ja) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd 車輌周囲表示装置
JP2005084332A (ja) * 2003-09-08 2005-03-31 Denso Corp 地図表示装置、地図表示方法
JP2006321419A (ja) * 2005-05-20 2006-11-30 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2008024138A (ja) * 2006-07-20 2008-02-07 Denso Corp 画像表示装置およびプログラム
JP2008286755A (ja) * 2007-05-21 2008-11-27 Alpine Electronics Inc 地図画像表示装置
JP2009186899A (ja) * 2008-02-08 2009-08-20 Yahoo Japan Corp 地図拡大表示装置
JP2009205302A (ja) * 2008-02-26 2009-09-10 Tokai Rika Co Ltd シームレス表示式操作装置
JP2010156627A (ja) * 2008-12-29 2010-07-15 Xanavi Informatics Corp 車載映像表示装置

Also Published As

Publication number Publication date
CN103140377A (zh) 2013-06-05
US8880344B2 (en) 2014-11-04
DE102010034140A1 (de) 2012-02-16
EP2603402A1 (de) 2013-06-19
US20130191022A1 (en) 2013-07-25
EP2603402B1 (de) 2015-04-15
CN103140377B (zh) 2016-09-07
WO2012019901A1 (de) 2012-02-16

Similar Documents

Publication Publication Date Title
JP2013535753A (ja) 表示装置に画像を表示する方法、および運転者支援システム
US9007462B2 (en) Driving assist apparatus, driving assist system, and driving assist camera unit
US9467679B2 (en) Vehicle periphery monitoring device
US8886386B2 (en) Method for wireless communication between vehicles
JP5379913B2 (ja) 駐車支援装置、駐車支援システム、および駐車支援カメラユニット
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JP6586849B2 (ja) 情報表示装置及び情報表示方法
JP2005311868A (ja) 車両周辺視認装置
JP2010130646A (ja) 車両周辺確認装置
WO2006011235A1 (ja) 車外映像表示装置
WO2016129552A1 (ja) カメラパラメータ調整装置
US20130314539A1 (en) Monitoring of the Close Proximity Around a Commercial Vehicle
WO2010134240A1 (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム
US10793069B2 (en) Method for assisting the driver of a motor vehicle in maneuvering the motor vehicle with a trailer, driver assistance system as well as vehicle/trailer combination
JP2016063390A (ja) 画像処理装置、及び画像表示システム
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
JP4858212B2 (ja) 車載ナビゲーション装置
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2006054662A (ja) 運転支援装置
CN110304057A (zh) 汽车碰撞预警、导航方法、电子设备、系统及汽车
JP2012001126A (ja) 車両用周辺監視装置
JP2012065225A (ja) 車載用画像処理装置、周辺監視装置、および、車両
JP2011114536A (ja) 車両周辺画像提供装置
JP2009100261A (ja) 車両周囲画像提供装置及び広角画像の補正方法
JP5756741B2 (ja) 車両用画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160105