DE102006055906A1

DE102006055906A1 - Verfahren zur Erkennung von Reflektoren, Schildern und Fahrzeuglichtern

Info

Publication number: DE102006055906A1
Application number: DE102006055906A
Authority: DE
Inventors: Stefan Dipl.-Ing. Heinrich; Thomas Dipl.-Ing. Fechner; Dieter Dr. Krökel
Original assignee: ADC Automotive Distance Control Systems GmbH
Current assignee: ADC Automotive Distance Control Systems GmbH
Priority date: 2005-12-05
Filing date: 2006-11-27
Publication date: 2007-06-14

Abstract

Verfahren zur Erkennung von Retroreflektoren (z. B. Reflektoren, die zur Fahrbahnmarkierung am Straßenrand stehen, oder Verkehrszeichen) und Fahrzeuglichtern mit einem Kamerasystem in einer Fahrzeugumgebung, wobei Lichtpunkte in einer Bildfolge erkannt und verfolgt werden, und anhand des Intensitäts- und Bewegungsverlaufs, einer Entfernungsschätzung und der Eigenbewegung des Fahrzeugs Lichtpunkte als Retroreflektoren oder Fahrzeuglichter identifiziert werden.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung und Unterscheidung von Retroreflektoren – also sowohl der Reflektoren, die zur Fahrbahnmarkierung am Fahrbahnrand stehen, als auch der Verkehrsschilder – und Fahrzeuglichtern mit einem Kamerasensorsystem in einer Fahrzeugumgebung. Ein solches Verfahren ist z. B. zur automatischen Fernlichtsteuerung von Kraftfahrzeugscheinwerfern anwendbar.

Eine automatische Lichtsteuerung basierend auf einem Fotosensor ist in der Offenlegungsschrift DE 19820348 beschrieben. Dazu wird im Kraftfahrzeug ein hochsensibler Fotosensor vorgesehen, der in Fahrtrichtung nach vorn ausgerichtet ist. Die Scheinwerfer eines entgegenkommenden Fahrzeugs treffen auf den Fotosensor, wenn sich ein Kraftfahrzeug nähert, und das Fernlicht wird ausgeschaltet. Wird wieder eine hinreichend kleine Lichtintensität vom Fotosensor detektiert, wenn das entgegenkommende Fahrzeug das eigene Fahrzeug passiert hat und sich außerhalb des Erfassungsbereichs des Fotosensors befindet, wird das Fernlicht wieder eingeschaltet.

Bei dieser sehr einfachen Methode wird nur die Lichtintensität gemessen, nicht aber die Art der „Lichtquelle" Umgebungslicht, Reflektor zur Fahrbahnmarkierung am Straßenrand, Verkehrsschild, Fahrzeugscheinwerfer, Straßenbeleuchtung etc. klassifiziert wird. Dies kann zu einer Fehlfunktion der Beleuchtungssteuerung führen.

Es ist daher Aufgabe der hier vorliegenden Erfindung, die Art einer Lichtquelle in einer Kraftfahrzeugumgebung sicher zu klassifizieren.

Es wird dazu ein erfinderisches Verfahren zur Erkennung von Retroreflektoren und Fahrzeuglichtern angegeben. Dazu ist ein Kamerasensorsystem vorgesehen, das eine Bildfolge von der Fahrzeugumgebung aufnimmt. Aus den Bilddaten werden Lichtpunkte in einem Bild erkannt und in den nachfolgenden Bildern verfolgt (Tracking). Als Lichtpunkte werden hier helle Objekte beliebiger Form bezeichnet. In einer bevorzugten Ausgestaltung der Erfindung werden nur Formen berücksichtigt, die den Formen von Retroreflektoren oder Fahrzeuglichtern (rund, rechteckig, etc.) entsprechen. Basierend auf einer Analyse der Bewegung eines Lichtpunkts im Bild und des zugehörigen zeitabhängigen Intensitätsverlaufs und der Position des Lichtpunkts im Bild bzw. der Entfernung des hellen Objekts wird das Objekt als Retroreflektor oder Fahrzeuglicht klassifiziert.

In einer besonderen Ausgestaltung des Verfahrens ist eine Vorrichtung vorgesehen, die die Entfernung des zumindest einen Lichtpunkts zum Kamerasensor bzw. zum Fahrzeug, an oder in dem sich der Kamerasensor befindet, bestimmt. Zudem ist eine Vorrichtung zur Erfassung der Eigenbewegung vorgesehen. Dies ist i. d. R. ein Geschwindigkeits- und ein Gierratenmesser. Es wird die Bewegung des zumindest einen Lichtpunktes in der aufgenommenen Bilderfolge verfolgt. Der zugehörige Abstand des Lichtpunkts wird bestimmt. Die zu erwartende Bewegung eines stehenden Objekts mit einem entsprechenden Abstand kann aus der der Eigenbewegung des Fahrzeugs ermittelt werden. Weicht die Bewegung des verfolgten Lichtpunkts von der erwarteten Bewegung für einen stehenden Lichtpunkt ab, wird der Lichtpunkt als bewegt klassifiziert.

Zudem wird der Intensitätsverlauf des zumindest einen Lichtpunkts aufgenommen. Die Intensität des von Retroreflektoren zurückgestrahlten Licht der eigenen Scheinwerfer ist proportional zu 1/x⁴. Wobei x den Abstand zwischen Retroreflektor und Kraftfahrzeug angibt. D. h. anhand des Intensitätsverlaufs kann ein Lichtpunkt als passive Lichtquelle (Retroreflektor) oder aktive, selbststrahlende Lichtquelle klassifiziert werden. Diese Zuordnung wird in einer bevorzugten Ausgestaltung der Erfindung anhand der bestimmten Entfernung des Lichtpunkts und der Kenntnis über die Leuchtkraft der eigenen Scheinwerfer und den Reflektionseigenschaften von üblichen Retroreflektoren am Straßenrand verifiziert. In einer bevorzugten Ausgestaltung der Erfindung wird die Entfernungsbestimmung genutzt, um einen voraussichtlichen Intensitätsverlauf für eine passive und eine aktive Lichtquelle zu ermitteln und zur Verifikation genutzt werden, ob es sich um einen Retroreflektor oder eine aktive Lichtquelle handelt. Ebenso wird in einer bevorzugten Ausgestaltung der Erfindung die Intensität des gemessenen Lichtpunkts mit der erwarteten Intensität eines Frontscheinwerfers bzw. eines Rücklichts der üblichen Leuchtstärke in der bestimmten Entfernung verglichen. Die gleiche Vorhersage wird für übliche Retroreflektoren in der bestimmten Entfernung unter der Annahme der Bestrahlung durch die eigenen Frontscheinwerfer gemacht. Die berechneten Werte werden zur Verifikation genutzt, ob es sich um einen Retroreflektor oder eine aktive Lichtquelle (Fahrzeuglichter) handelt.

In einer vorteilhaften Ausgestaltung des hier angegebenen Verfahrens wird ein Lichtpunkt als Retroreflektor identifiziert, wenn der zeitliche örtliche Verlauf der Bewegung des Lichtpunkts im Wesentlichen dem Verhalten eines relativ zur Fahrbahn stehenden Objekts genügt und der zeitliche Verlauf der Intensität dem erwarteten Verlauf für eine passive Lichtquelle im Wesentlichen entspricht. Zudem wird ein Lichtpunkt als Fahrzeuglicht identifiziert, wenn der zeitliche Verlauf der Bewegung des Lichtpunkts im Wesentlichen dem Verhalten eines relativ zur Fahrbahn bewegten Objekts genügt und der zeitliche Verlauf der Intensität dem erwarteten Verlauf für eine aktive Lichtquelle im Wesentlichen entspricht.

In einer bevorzugten Ausgestaltung der Erfindung erfolgt die Bestimmung der Entfernung aus den Bilddaten des Kamerasensors aus geometrischen Überlegungen heraus.

In einer bevorzugten Ausgestaltung der Erfindung wird die Bewegung des zumindest einen Lichtpunktes in einer Bilderfolge in Abhängigkeit von der zugehörige Intensität betrachtet. Zudem wird für stehende Objekte unter Verwendung von der Eigenbewegung des Fahrzeugs und der Bildposition ein Verlauf der Bewegung des Lichtpunkts im Bild in Abhängigkeit von der zugehörigen Intensität vorhergesagt.

Wenn vorhergesagte und gemessene Bewegung eines Lichtpunkts in Abhängigkeit von der zugehörigenen Intensität im Wesentlichen übereinstimmen, wird der Lichtpunkt als Retroreflektor klassifiziert. Andere Lichtpunkte werden vorzugsweise als Schweinwerfer klassifiziert.

In einer bevorzugten Ausgestaltung der Erfindung Information über den Verlauf und Beschaffenheit (z. B. Breite) der Fahrspur genutzt, um den Auswertebereich auf die relevanten Bereiche der Fahrspur einzuschränken. Die Informationen können z.B. durch eine Navigationsvorrichtung mit elektronischer Karte bereitgestellt werden. Denkbar ist auch ein weiterer Umgebungserfassungssensor, z.B. ein Radar-, Infrarot- oder Kamerasensor, der den Fahrspurverlauf erfasst und ggf. extrapoliert.

In einer bevorzugten Ausgestaltung der Erfindung werden die Informationen über den Verlauf und Beschaffenheit (z. B. Breite) der Fahrspur aus den Bilddaten des Kamerasensorsystems gewonnen werden.

Es wird ein Verfahren zur automatischen Lichtsteuerung eines Kraftfahrzeugs beansprucht, das mit dem vorgestellten Verfahren Retroreflektoren und Fahrzeuglichter erkennt und die Fahrzeugscheinwerfer so steuert, dass ein Fahrer eines entgegenkommenden Fahrzeugs oder eines vorausfahrenden Fahrzeugs nicht geblendet wird.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher erläutert.
1: Entfernungsbestimmung von Objekten aus einem Kamerabild und den Kalibrierungsdaten der Kamera.
2: Intensität/Grauwert I eines Lichtpunkts über die Entfernung d
In 1 ist eine Methode zur Abstandsbestimmung eines Punktes bzw. Objekts d mit einer Monokularkamera dargestellt. Der Abstand zur Monokularkamera wird aus h der Kameraeinbauhöhe, α dem Kameranickwinkel, y der Bildzeile des Punktes, η der Pixelgröße und f die Kamerabrennweite zu
bestimmt. Sind also die vorgenannten Parameter durch eine Justage der Blickrichtung der Kamera bekannt, kann die Entfernung d bestimmt werden.
Die Entfernungsbestimmung von Objekten mit einer Stereokamera ist im Stand der Technik wohlbekannt und wird hier nicht näher erläutert.
Im folgenden Ausführungsbeispiel wird ein Verfahrensablauf zur Erkennung von Retroreflektoren und Fahrzeuglichtern beschrieben. Alle Merkmale können einzeln oder in einer beliebigen Kombination zur Erfindung beitragen. Ein zeitlicher Ablauf der Verfahrensschritte ist durch die hier gewählte Reihenfolge nicht zwingend vorgegeben.
Es werden die Bildausschnitte (Fenster) bestimmt, in denen nach Fahrzeugen gesucht wird. Durch die Fensterverarbeitung wird der Bildverarbeitungs-Aufwand deutlich reduziert, da nicht mehr das gesamte Bild nach Fahrzeugen durchsucht werden muss. Zudem kann bei Kenntnis der Fahrspur das Fenster so auf die zu erwartete Fahrspur positioniert werden, dass Fehldetektionen vom Straßenrand vermindert werden. Die Größe des Fensters wird so gewählt, dass die zu findenden Fahrzeugobjekte hineinpassen. Es wird ein Randbereich hinzugefügt, der umso größer ist, je ungenauer die Kenntnis über die zu erwartende Fahrzeugposition ist. Die vertikale Position und Breite und die Höhe des Such-Fensters wird nach einer Entfernungshypothese aus dem Wissen der Kamera-Abbildungsgleichung (s. 1) positioniert. Die horizontale Positionierung des Fensters erfolgt aufgrund des Wissens über den Verlauf der vorausliegenden Fahrspur aus einer vorangegangenen Fahrspurbestimmung mittels Bildverarbeitung. Diese Daten werden z.B. von einem im Fahrzeug integrierten Lane Departure Warning System oder Fahrerassistenzsystem (ACC), einer digitaler Karte und satellitiengestützter Positionsbestimmung (z.B. aus Navigations System) oder aus einer Kursschätzung, die mittels Inertialsensorik gewonnen wird, zur Verfügung gestellt.
Zur Erkennung von Fahrzeuglichtern wird der optische Fluss von hellen punktfömigen Bildobjekten bestimmt, die mittels bekannter Methoden der Bildverarbeitung (Korrelation, morphologischer Filterung, Regionen-Segmentierung) extrahiert werden. Steht der Bildfluss dieser Bildobjekte in Einklang mit der Eigenbewegung (Geschwindigkeit, Gierbewegung) kann von stehenden Lichtpunkten ausgegangen werden. Dazu wird der hypothetische Bildfluss für unbewegte Bildpunkte in verschiedenen Entfernungen bestimmt und mit dem tatsächlichen Bildfluss der aus dem aktuellen Bild extrahierten Lichtpunkte verglichen. Ist der Bildfluss dieser Lichtpunkte im Wesentlichen durch die bekannte Eigenbewegung (Geschwindigkeit, Gierbewegung) geprägt handelt es sich um stehende Lichtpunkte. Trifft keine der Hypothesen für den gemessenen Bildfluss eines Lichtpunktes zu, dann muss es sich um ein bewegtes Licht handeln. Bei der Unterscheidung ist die ungefähre Kenntnis der Entfernung der abgebildeten Lichtpunkte zum Fahrzeug erforderlich, da der Bildfluss neben der Eigenbewegung des Kamera-Fahrzeugs und der möglichen Bewegung der Lichtpunkte auch von der Entfernung der Lichtpunkte abhängt. Nahe stehende Objekte weisen einen stärkeren Bildfluss auf als entfernte stehende Objekte.
Die Entfernungshypothese wird durch die Art der Lichtquelle (Scheinwerfer, Retroreflektor) und die abgebildete Intensität geschätzt. Bei aktiven Lichtquellen hängt die Intensität umgekehrt proportional zum Quadrat der Entfernung ab. Die Intensität von Retroreflektoren dagegen hängt umgekehrt proportional zur vierten Potenz der Entfernung ab. Durch Auswertung der zeitlichen Änderung der Intensität dieser Bildobjekte kann ein zusätzliches Merkmal zur Unterscheidung zwischen aktiven Lichtquellen und Retroreflektoren unterschieden werden.
Eine Verteilung der Intensität bzw. des Grauwerts für einen Retroreflektor ist in 2 dargestellt. Es wird angenommen, dass zwei Retroreflektoren bei gleichem Abstand die gleiche Helligkeit/Intensität im Videobild aufweisen, und sich die Intensität umgkehrt proportional zur vierten Potenz der Entfernung verhält.
Der Intensitätswert (g) an der Bildposition (x_B , y_B) lässt sich damit als Funktion (F) in Abhängigkeit von Enfernung (z_w) und der Beleuchtungsstärke (e) des eigenen Fahrzeuges darstellen. Es ergibt sich:
Aus der Intensität eins Grauwertpixels und der eigenen Beleuchtungsstärke ergibt sich damit in umkehrbar eindeutiger Weise:
Unter Kenntnis der Kamerageometrie lässt sich eine Abbildungsgleichung aufstellen (s. o.). Jeder Punkt im Videobild (x_B, y_B) lässt sich damit als Funktion P der Weltkoordinatenposition (x_w, y_w, z_w) darstellen. Es ergibt sich folgender Zusammenhang:
Auf gleiche Weise lässt sich eine Beziehung herleiten, mit der die Weltkoordinaten (x_w, y_w) aus der Bildposition (x_B, y_B) und der Entfernung (z_w) berechnet werden können. Es ergibt sich:
Durch Ableitung der Abbildungsgleichung und Einsetzen entsprechender Beziehungen erhält man:
Unter Kenntnis der Eigenbewegung der Kamera und der oben angegebenen Beziehungen kann nun die Bewegung von Objekten im Videobild (Δx_B, Δy_B) anhand der Bildposition (x_B, y_B) und der Intensität
vorhergesagt werden. Trifft die Vorhersage nicht zu, so handelt es sich bei dem betrachteten Objekt nicht um ein Retroreflektorobjekt, sondern um eine aktive Lichtquelle. Das Fernlicht kann entsprechend umgeschaltet werden.
Für die Ermittlung der Bewegungsrichtung von Objekten im Videobild kann unter anderem der Optische Fluss ausgewertet werden.
Neben der Vorhersage der Bewegungsrichtung kann auch die Änderung der Intensität eines Objektes zur Entscheidungsfindung herangezogen werden. Bei einem statischen Retroreflektorobjekt ist die zeitliche Änderung des Abstandes abhängig von der Eigenbewegung des Videosensors. Die zeitliche Änderung der Intensität eines Retroreflektorobjektes ergibt sich wie oben angegeben aus der Ableitung der Beziehung zwischen der Intensität
der Beleuchtungsstärke (e) und der Eigenbewegung des Sensors (z. B: Fahrzeuggeschwindigkeit).
Entspricht die zeitliche und/oder örtliche Änderung der Intensität nicht der oben angegebenen Vorhersage, so handelt es sich bei dem betrachteten Objekt um eine aktive Lichtquelle und das Fernlicht kann entsprechend umgeschaltet werden

Claims

Verfahren zur Erkennung von Retroreflektoren und Fahrzeuglichtern mit einem Kamerasensorsystem in einer Fahrzeugumgebung, wobei Lichtpunkte in einer Bildfolge erkannt und verfolgt werden, dadurch gekennzeichnet, dass aus der Bewegung eines Lichtpunkts im Bild und aus dem zeitabhängigen Intensitätsverlauf eines Lichtpunkts und der Position des Lichtpunkts im Bild bzw. der Entfernung des hellen Objekts zum Kamerasystem das Objekt als Retroreflektor oder Fahrzeuglicht klassifiziert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Vorrichtung vorgesehen ist, die die Entfernung des zumindest einen Lichtpunkts zum eigenen Fahrzeug abschätzt, und – aus i) der Bewegung des zumindest einen Lichtpunktes in einer Bilderfolge, ii) der Eigenbewegung des Fahrzeugs und iii) der Entfernungsschätzung der Lichtpunkt als stehend oder bewegt klassifiziert wird und – der zeitliche Intensitätsverlauf des zumindest einen Lichtpunkts aufgenommen wird und anhand des Intensitätsgradienten und der Entfernungsschätzung der Lichtpunkt als passive Lichtquelle (Retroreflektor) oder aktive Lichtquelle klassifiziert wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass ein Lichtpunkt als – Retroreflektor identifiziert wird, wenn durch den zeitlichen Verlauf der Bewegung der Lichtpunkt als stehend und durch den zeitliche Verlauf der Intensität der Lichtpunkt als passive Lichtquelle klassifiziert wurde – Fahrzeuglicht identifiziert wird, wenn i) durch den zeitliche Verlauf der Bewegung der Lichtpunkt als bewegt und durch den zeitliche Verlauf der Intensität der Lichtpunkte als aktive Lichtquelle klassifiziert wurde oder ii) der Lichtpunkt nicht als Retroreflektor identifiziert wurde.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Entfernungsschätzung aus den Bilddaten des Kamerasensorsystems erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass – die Bewegung des zumindest einen Lichtpunktes in einer Bilderfolge in Abhängigkeit von der zugehörige Intensität betrachtet wird, – aus der Eigenbewegung des Fahrzeugs und der Bildposition ein Verlauf der Bewegung des Lichtpunkts in einer Bilderfolge in Abhängigkeit von der zugehörigenen Intensität für stehende Objekte vorhergesagt wird und ein Lichtpunkt als Retroreflektor klassifiziert wird, wenn vorhergesagte und gemessene Bewegung eines Lichtpunkts in Abhängigkeit von der zugehörigen Intensität im Wesentlichen übereinstimmen.
Verfahren nach einem der vorherigen Ansprüche dadurch gekennzeichnet, dass Information über den Verlauf und Beschaffenheit der Fahrspur genutzt werden, um den Auswertebereich auf die relevanten Bereiche der Fahrspur einzuschränken.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Informationen über den Verlauf und Beschaffenheit der Fahrspur aus den Bilddaten des Kamerasensorsystems gewonnen werden.
Fahrzeug mit automatischer Lichtsteuerung eines Kraftfahrzeugs basierend auf einem Verfahren zur Erkennung von Retroreflektoren und Fahrzeuglichtern nach einem der vorherigen Ansprüche