DE102008003800A1

DE102008003800A1 - Verfahren und Vorrichtung zur Bilderfassung für Kraftfahrzeuge

Info

Publication number: DE102008003800A1
Application number: DE102008003800A
Authority: DE
Inventors: Karsten Haug
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2008-01-10
Filing date: 2008-01-10
Publication date: 2009-07-16
Also published as: EP2229770A1; WO2009086970A1; US20110007162A1

Abstract

Die Erfindung betrifft ein Bilderfassungsverfahren für Kraftfahrzeuge, wobei mittels eines Bildsensors ein Bild der Umgebung des Fahrzeuges durch Pixel eines Bildsensors erfasst wird und wobei Belichtungsparameter mindestens eines Pixels des Bildsensors eingestellt werden. Dabei werden zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter eingestellt. Weiterhin betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bilderfassung für Kraftfahrzeuge, wobei insbesondere ein in einer Kamera integrierter Bildsensor verwendet wird.
Stand der Technik
Zur Unterstützung der Fahrer von Kraftfahrzeugen kommen in jüngerer Zeit vermehrt Fahrerassistenzsysteme wie beispielsweise Nachtsichtsysteme oder Spurassistenzsysteme zum Einsatz, in denen Kameras zur Umgebungsbeobachtung verwendet werden. Dabei erweist sich das automobile Umfeld als besonders anspruchsvolle Umgebung für den Einsatz derartiger Kameras, die beispielsweise unter Verwendung eines CMOS oder CCD-Bildsensors gebildet sein können. So ändern sich beispielsweise bei einer Einfahrt in einen Tunnel bei Tag oder auch im städtischen Umfeld die Belichtungsverhältnisse ausgesprochen dynamisch. Ferner ist an die Schärfentiefe der verwendeten Systeme eine hohe Anforderung zu stellen, um dem Fahrer eine möglichst umfassende Information über die Situation in unterschiedlichen Entfernungen bieten zu können. Darüber hinaus befinden sich im Sichtfeld der Kamera in der Regel sowohl ausgesprochen schnell bewegte Objekte als auch nahezu statische Bereiche.
Um diesen Anforderungen gerecht werden zu können, wurden in der Vergangenheit verschiedene Lösungen vorgeschlagen. So ist beispielsweise in der deutschen Offenlegungsschrift DE 10 2004 047 476 A1 eine Vorrichtung und ein Verfahren zur Einstellung einer Kamera offenbart, bei der bzw. bei dem die Belichtungsparameter für eine Kamera anhand ausgewählter Bildbereiche beispielsweise in Abhängigkeit der Lage des Horizonts eingestellt werden. Dabei können als Belichtungsparameter der Kamera beispielsweise der Gain und/oder der Offset und/oder die Integrationszeit bzw. die Blende verwendet werden. Daneben ist in der deutschen Offenlegungsschrift DE 103 18 499 A1 ein Verfahren bzw. eine Vorrichtung zur Einstellung eines Bildsensors beschrieben, bei dem ebenfalls die genannten Parameter eines Bildsensors anhand ausgewählter Bereiche eines aufgenommenen Bildes eingestellt werden.
Die deutsche Offenlegungsschrift DE 103 01 898 A1 beschreibt ein Verfahren, bei dem die optimale Kennlinie der Beleuchtungsempfindlichkeit für die Pixel eines Bildsensors aus dem Histogramm der Grauwerte wenigstens eines Bildes ermittelt wird; dabei wird die genannte Kennlinie in der Weise gewählt, dass sie zumindest annähernd mit der optimalen Kennlinie übereinstimmt. Die Definition der Kennlinie sowie Beispiele hierzu finden sich in der genannten Schrift.
Nachteilig an den beschriebenen Vorrichtungen bzw. Verfahren aus dem Stand der Technik ist jedoch, dass keine der genannten Vorrichtungen bzw. keines der genannten Verfahren der Tatsache gerecht wird, dass die Bedingungen über das Bild hinweg in verschiedenen Bereichen des Bildes extrem unterschiedlich ausfallen können. Insbesondere das Problem der sogenannten Bewegungsunschärfe ist im Stand der Technik nur unzureichend gelöst. Die genannte Problematik der Bewegungsunschärfe beruht im wesentlichen darauf, dass dunkle Bildbereiche so lange belichtet werden, dass die in ihnen enthaltene Information noch aufgelöst werden kann. Dies führt jedoch dazu, dass durch die erforderliche lange Belichtungszeit bewegte Objekte unscharf abgebildet werden, so dass aufgrund der Eigenbewegung des Fahrzeugs sowohl stehende Objekte wie beispielsweise Verkehrsschilder oder auch andere selbst bewegte Objekte, wie beispielsweise querende Fahrzeuge oder Fußgänger, nur verzerrt im Kamerabild erkennbar sind. Da der oben genannte Stand der Technik die Belichtungsparameter jeweils für das gesamte Bild einstellt, werden die Bereiche, in denen die genannten, hochrelevanten Objekte vorhanden sind, in der Regel nur unzureichend dargestellt.
Vorteile der Erfindung
Ein Vorteil der Erfindung besteht darin, dass die Belichtungsparameter des Bildsensors für jeden Bildbereich angepasst gewählt werden können, so dass jeder Teil des entstehenden Bildes unter optimalen Aufnahmebedingungen erfasst wird. Dies wird dadurch erreicht, dass während der Aufnahme des Bildes mittels eines Bildsensors mit beispielsweise in Zeilen und Spalten angeordneten Pixeln die Belichtungsparameter mindestens eines Pixels des Bildsensors in der Weise eingestellt werden, dass zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter eingestellt werden können. Dies ermöglicht beispielsweise eine optimierte Kombination einer Lane-Departure-Warning-Funktion mit einer Verkehrszeichenerkennung. Dies beruht darauf, dass auch in dunklen Szenen die Spur des Fahrzeugs gut aufgelöst werden kann, da in den der Spur entsprechenden Bildbereichen mit maximalen Belichtungszeiten gearbeitet werden kann. Umgekehrt ermöglicht es die Erfindung, Verkehrszeichen, die insbesondere in einer geringen Entfernung aufgrund der Beleuchtung durch die Fahrzeugscheinwerfer über eine erhebliche Helligkeit verfügen, scharf abgebildet werden können, da die Belichtungszeit in denjenigen Bildbereichen, in denen die Verkehrszeichen zu erwarten sind (typischerweise in den Randbereichen der Spur), die Belichtungszeit reduziert werden kann. Dabei kann ein Satz von Belichtungsparametern beispielsweise die aus den oben zitierten Schriften bekannten Parameter einer Belichtungskennlinie bzw. die Belichtungszeit enthalten. Die Belichtungskennlinie kann dabei einen monotonen linearen, abschnittsweise linearen oder logarithmischen Verlauf zeigen. Darüber hinaus können zur Einstellung der Belichtungsparameter die von einem Assistenzsystem, insbesondere einem ACC-(Adaptive Cruise Control) oder Navigationssystem bereitgestellte Daten verwendet werden.
Vorteilhaft an dem geschilderten Verfahren ist, dass für die Pixel mindestens zweier zusammenhängender Bereiche einer Zeile bzw. Spalte des Bildes jeweils unterschiedliche Belichtungsparameter eingestellt werden können; im Extremfall kann sogar für jeden Pixel einer Zeile bzw. Spalte ein eigener Satz von Belichtungsparametern eingestellt werden.
Die beschriebene Vorgehensweise kann genutzt werden, um der bisher bekannten Belichtungsregelung für das gesamte Bild, d. h. die Verwendung eines einheitlichen Belichtungsparametersatzes für das gesamte Bild, statisch oder dynamisch eine Korrekturmatrix zu überladen, um die genannte Problematik der Bewegungsunschärfe zu reduzieren. Die Korrekturmatrix erlaubt dabei eine Anhebung oder auch eine Abschwächung der Belichtungsparameter in einem bestimmten Bereich. Dies führt zu kürzeren maximalen Belichtungszeiten in einem abgeschwächten Bereich, wohingegen sie in einem angehobenen Bereich zu längeren Belichtungszeiten führt. Bei der Ausgabe der Pixel für eine Bildausgabeeinheit oder ein Fahrerassistenzsystem über eine Datenschnittstelle können die aufgenommenen Intensitätswerte unter Berücksichtigung der Belichtungsparameter bzw. der gewählten Kennlinie in Grauwerte umgewandelt werden, so dass trotz der unterschiedlichen Belichtungsparameter gleich helle Pixel auch gleich hell ausgegeben werden.
Die genannte Korrekturmatrix kann dabei, wie bereits angedeutet, statisch oder dynamisch sein. Im statischen Fall wird beispielsweise das Bild in zwei Bereich eingeteilt, von denen der erste die obere Bildhälfte und den mittleren Bereich der unteren Bildhälfte umfasst, und der zweite Bereich durch die verbleibenden Teile des Bildes gebildet wird. Dabei werden die Belichtungsparameter in der Weise gewählt, dass sich im zweiten Bereich kürzere Belichtungszeiten ergeben als im ersten Bereich. Dies ist insbesondere deswegen vorteilhaft, da es sich bei dem genannten ersten Bereich typischerweise um den Bereich des Horizonts und der Spur handelt, in dem dynamische, bewegte Objekte mit starken Kontrasten weniger zu erwarten sind als im zweiten genannten Bereich, der typischerweise den Fahrbahnrand in der näheren Umgebung des Fahrzeuges umfasst, in dem üblicherweise Verkehrszeichen, Fußgänger oder auch querende Fahrzeuge zu erwarten sind. Aufgrund der verkürzten Belichtungszeit in dem genannten zweiten Bereich ist es möglich, die schnell bewegten Objekte in der näheren Fahrzeugumgebung dennoch scharf abzubilden; dies vor allem auch deswegen, weil diese Objekte üblicherweise vom Lichtkegel des Fahrzeugscheinwerfers erfasst oder zumindest gestreift werden und damit eine kürzere Belichtungszeit möglich wird.
In einer Alternative der Erfindung ist es ebenso möglich, eine sogenannte dynamische Korrekturmatrix zu verwenden. Hierzu werden die Belichtungsparameter für die einzelnen Bild bereiche unter Verwendung der Bildinformationen selbst festgelegt und zyklisch angepasst. Dabei kann insbesondere der sogenannte optische Fluss zur Bestimmung der Belichtungsparameter für einen bestimmten Bildbereich herangezogen werden. Als Optischer Fluss wird in der Bildverarbeitung und in der optischen Messtechnik ein Vektorfeld bezeichnet, das die 2D-Bewegungsrichtung und -Geschwindigkeit für jeden Bildpunkt einer Bildsequenz angibt. Der Optische Fluss kann somit als die auf die Bildebene projizierten Geschwindigkeitsvektoren von sichtbaren Objekten verstanden werden. Hierzu kann insbesondere ein Bild mit reduzierter Auflösung verwendet werden, um die auszuwertende Datenmenge für die Bestimmung des optischen Flusses gering zu halten und eine schnelle Signalverarbeitung zu ermöglichen; dabei kann auf Basis des gemessenen optischen Flusses in mindestens zwei zusammenhängenden Bereichen jeweils mit demselben Satz von Belichtungsparametern gearbeitet werden. Vorteilhaft hierbei ist es, dass eine szenenabhängige Anpassung der Belichtungsparameter möglich wird.
Die erfindungsgemäße Bilderfassungsvorrichtung zur Anwendung des vorstehend beschriebenen Verfahrens zeigt einen Bildsensor mit einer Mehrzahl von Pixeln sowie eine Steuereinheit zur Einstellung der Belichtungsparameter mindestens eines der Pixel. Dabei ist die Steuereinheit geeignet, zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter einzustellen.
Kurzbeschreibung der Zeichnung
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert.
Es zeigen:
1 ein exemplarisches, in zwei Bereiche unterteiltes Kamerabild;
2 ein Ablaufdiagramm zur Verdeutlichung des erfindungsgemäßen Verfahrens.
Beschreibung von Ausführungsbeispielen
1 zeigt ein exemplarisches, mit der erfindungsgemäßen Bildaufnahmevorrichtung aufgenommenes Kamerabild, das in den schraffiert dargestellten ersten Bereich 1 und den zweiten Bereich 2 unterteilt ist. Dabei umfasst der erste Bereich 1 des Bildes diejenigen Bereiche, in denen mit weniger schnell bewegten Objekten zu rechnen ist, also insbesondere den zentralen Bereich der Spur mit der Fahrbahn 4 sowie die obere Bildhälfte mit der Horizontlinie 5. Der zweite Bereich 2 umfasst die dem Fahrzeug näherliegenden Umgebungsbereiche der Spur mit dem Verkehrszeichen 3. Für jeden der beiden Bereiche 1 und 2 wird ein eigener Satz von Belichtungsparametern eingestellt. Dabei wird für den Bereich 2 ein Satz von Belichtungsparametern verwendet, der dazu führt, dass im Bereich 2 kürzere Belichtungszeiten zur Anwendung kommen als im Bereich 1. Dies führt dazu, dass die typischerweise gut ausgeleuchteten und schnell bewegten Objekte im Bereich 2 trotz der geschilderten hohen Dynamik in dem Bereich 2 mit einer gegenüber dem Bereich 1 erheblich reduzierten Bewegungsunschärfe abgebildet werden, so dass sich insgesamt für den Beobachter, d. h. dem Fahrzeugführer, ein optimiertes Bild ergibt. Die Optimierung besteht dabei insbesondere darin, dass im Bereich 1 aufgrund der dort möglichen längeren Belichtungszeiten auch dunklere Objekte noch mit einer ausreichenden Präzision erfasst und dem Benutzer dargestellt werden können. Dadurch wird der Informationsgehalt des von der Bilderfassungsvorrichtung erfassten und dem Fahrer dargestellten oder für eine Assistenzfunktion ausgewerteten Bildes erheblich erhöht, was im Ergebnis zu einer Verbesserung der Verkehrssicherheit führt.
2 zeigt in der Art eines Ablaufdiagramms exemplarisch das erfindungsgemäße Verfahren. Dabei werden in einem ersten Verfahrensschritt diejenigen Bildbereiche ermittelt, die zur Bestimmung des optischen Flusses geeignet sind. Hierfür kommen insbesondere solche Bildbereiche in Frage, in denen charakteristische Texturen vorhanden sind.
In einem zweiten Schritt werden dann diejenigen Bildbereiche festgelegt, für die aufgrund der dort ähnlichen Gegebenheiten ein einheitlicher Belichtungsparametersatz verwendet werden kann.
In einem nachfolgenden Schritt werden die entsprechenden Belichtungsparameter berechnet und in einem weiteren Schritt für die ausgewählten Bildbereiche eingestellt.
Nachfolgend wird das Bild aufgenommen und es wird eine Rückrechnung der auszugebenden Pixel auf absolute Helligkeiten auf Basis der eingestellten Belichtungsparameter vorgenommen, worauf die so erzeugten Bilddaten an ein Fahrerassistenzsystem zur Darstellung für den Fahrer oder zur weiteren Verarbeitung übergeben werden.
Danach kehrt das Verfahren zu Schritt 1 zurück.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- DE 102004047476 A1 [0003]
- DE 10318499 A1 [0003]
- DE 10301898 A1 [0004]

Claims

Bilderfassungsverfahren für Kraftfahrzeuge, wobei mittels eines Bildsensors ein Bild der Umgebung des Fahrzeuges durch Pixel eines Bildsensors erfasst wird und wobei Belichtungsparameter mindestens eines Pixels des Bildsensors eingestellt werden, dadurch gekennzeichnet, dass zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter eingestellt werden.
Bilderfassungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Pixel in Zeilen oder Spalten angeordnet sind und für die Pixel mindestens zweier zusammenhängender Bereiche einer Zeile bzw. Spalte jeweils unterschiedliche Belichtungsparameter eingestellt werden.
Bilderfassungsverfahren nach Anspruch 2, dadurch gekennzeichnet, dass für jeden Pixel ein eigener Satz von Belichtungsparametern eingestellt wird.
Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Belichtungsparameter die Belichtungszeit verwendet wird.
Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Belichtungsparameter die Belichtungskennlinie verwendet wird.
Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Bild in zwei Bereiche (1, 2) eingeteilt wird, von denen der erste Bereich (1) die obere Bildhälfte und den mittleren Bereich der unteren Bildhälfte umfasst und der zweite Bereich (2) durch die verbleibenden Teile des Bildes gebildet wird und die Belichtungsparameter in der Weise gewählt werden, dass sich im zweiten Bereich (2) kürzere Belichtungszeiten ergeben als im ersten Bereich (1).
Bilderfassungsverfahren nach einem der vorangehenden Ansprüche 1–5, dadurch gekennzeichnet, dass die Belichtungsparameter aus Bildinformationen gewonnen und zyklisch angepasst werden.
Bilderfassungsverfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Belichtungsparameter für mindestens einen Bildbereich unter Verwendung des gemessenen optischen Flusses in diesem Bildbereich ermittelt werden.
Bilderfassungsverfahren nach Anspruch 8, dadurch gekennzeichnet, dass zur Ermittlung der Belichtungsparameter unter Verwendung des optischen Flusses ein Bild mit reduzierter Auflösung verwendet wird.
Bilderfassungsverfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass mindestens eine Bildzeile auf Basis des gemessenen optischen Flusses in mindestens zwei zusammenhängende Bereiche mit jeweils dem selben Satz von Belichtungsparametern unterteilt wird.
Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Einstellung der Belichtungsparameter von einem Assistenzsystem, insbesondere einem ACC- oder Navigationssystem bereitgestellte Daten verwendet werden.
Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ausgabe der aufgenommenen Pixel für eine Bildausgabeeinheit oder ein Fahrerassistenzsystem über eine Datenschnittstelle die aufgenommenen Intensitätswerte unter Berücksichtigung der Belichtungsparameter in der Weise in Grauwerte umgewandelt werden, dass trotz der unterschiedlichen Belichtungsparameter gleich helle Pixel gleich hell ausgegeben werden.
Bilderfassungsvorrichtung zur Erfassung eines Bildes aus der Umgebung eines Fahrzeuges, mit einem Bildsensor mit einer Mehrzahl von Pixeln und einer Steuereinheit zur Einstellung von Belichtungsparametern mindestens eines der Pixel, dadurch gekennzeichnet, dass die Steuereinheit geeignet ist, zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter einzustellen.
Bilderfassungsvorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Steuereinheit geeignet ist, das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.