DE102009036196A1

DE102009036196A1 - Verfahren und Vorrichtung zur Verkehrszeichenerkennung für ein Fahrzeug

Info

Publication number: DE102009036196A1
Application number: DE200910036196
Authority: DE
Inventors: Reinhard Dipl.-Ing. Janssen; Bernd Dipl.-Inform. Woltermann; Michael Dr.-Ing. Grimm; Dirk Dipl.-Inform. Mehren; Thomas Dipl.-Inform. Gottbehüt; Jürgen Dr.-Ing. Seekircher
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2009-08-05
Filing date: 2009-08-05
Publication date: 2010-05-06

Abstract

Die Erfindung betrifft ein Verfahren zur Verkehrszeichenerkennung für ein Fahrzeug (F), wobei Verkehrszeichen (VZ) in einer Umgebung des Fahrzeugs (F) mittels einer optischen Erfassungseinheit (1) gesucht und erfasst werden, wobei zur Suche der Verkehrszeichen (VZ) in der Umgebung des Fahrzeugs (F) Kartendaten einer Navigationsvorrichtung (3) verwendet werden. Erfindungsgemäß werden anhand von Spurdaten einer Spurerkennungsvorrichtung (4) und/oder anhand einer mittels einer Sensorvorrichtung (5) geschätzten jeweiligen Relativlage der Verkehrszeichen (VZ) zur Erfassungseinheit (1) Suchbereiche zur Suche der Verkehrszeichen (VZ) in der Umgebung vorgewählt und/oder begrenzt. Die Erfindung betrifft weiterhin eine Vorrichtung zur Verkehrszeichenerkennung für ein Fahrzeug (F).

Description

Die Erfindung betrifft ein Verfahren zur Verkehrszeichenerkennung für ein Fahrzeug, wobei Verkehrszeichen in einer Umgebung des Fahrzeugs mittels einer optischen Erfassungseinheit erfasst werden, wobei zur Suche der Verkehrszeichen in der Umgebung des Fahrzeugs Kartendaten einer Navigationsvorrichtung verwendet werden.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Verkehrszeichenerkennung für ein Fahrzeug, umfassend eine optische Erfassungseinheit zur Erfassung von Verkehrszeichen in einer Umgebung des Fahrzeugs und umfassend eine Navigationsvorrichtung mit hinterlegten Kartendaten, welche zur Suche der Verkehrszeichen in der Umgebung des Fahrzeugs verwendbar sind.
Aus der EP 1 145 186 B1 ist ein Verfahren zur Leistungssteigerung eines Systems zur Erkennung von Verkehrszeichen bekannt, welches eine Kamera und eine damit verbundene Auswerteeinheit zur Bilderkennung oder zur Bildanzeige aufweist, wobei das System die von mindestens einem kartenbasierten Navigationssystem oder einem Verkehrsinformationssystem stammenden Informationen bei der Erkennung oder der Anzeige von Inhalten von durch die Kamera aufgenommenen Verkehrszeichen ausnutzt. Weiterhin beginnt das System zur Verkehrszeichenerkennung mit erhöhter Leistung zu arbeiten, wenn auf Grundlage von kartenbasierten Informationen bekannt wird, dass das Fahrzeug einen Bereich passiert, der bezüglich der Erkennung von Verkehrszeichen problematisch ist.
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Verkehrszeichenerkennung für ein Fahrzeug und eine verbesserte Vorrichtung zur Verkehrszeichenerkennung für ein Fahrzeug anzugeben, anhand derer eine Zuverlässigkeit einer Verkehrszeichenerkennung erhöht wird.
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 5 angegebenen Merkmale gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei dem Verfahren zur Verkehrszeichenerkennung für ein Fahrzeug werden Verkehrszeichen in einer Umgebung des Fahrzeugs mittels einer optischen Erfassungseinheit erfasst, wobei zur Suche der Verkehrszeichen in der Umgebung des Fahrzeugs Kartendaten einer Navigationsvorrichtung verwendet werden. Erfindungsgemäß werden anhand von Spurdaten einer Spurerkennungsvorrichtung und/oder anhand einer mittels einer Sensorvorrichtung geschätzten jeweiligen Relativlage der Verkehrszeichen zur Erfassungseinheit Suchbereiche zur Suche der Verkehrszeichen in der Umgebung vorgewählt und/oder begrenzt.
Aus dieser Begrenzung der Suchbereiche resultiert in besonders vorteilhafter Weise eine sehr schnelle Erfassung der Verkehrszeichen, so dass ein Fahrer des Fahrzeugs frühzeitig auf diese hingewiesen werden kann oder ein Fahrerassistenzsystem, welches beispielsweise automatisch eine Fahrgeschwindigkeit in Abhängigkeit der erfassten Verkehrszeichen einstellt, rechtzeitig die Fahrgeschwindigkeit verringern oder erhöhen kann. Daraus ergibt sich für die Insassen des Fahrzeugs insbesondere eine Sicherheits- und Komforterhöhung.
Gemäß besonderer Weiterbildungen der Erfindung wird in Abhängigkeit der Suchbereiche zumindest ein Parameter, beispielsweise eine Belichtungsdauer, eine Auflösung und/oder eine optische Achse der Erfassungseinheit variabel eingestellt. Damit sind insbesondere auch bei Dunkelheit die Verkehrszeichen sicher erfassbar, da Überbelichtungen im Bereich der Verkehrszeichen, welche aus einer Beleuchtung dieser mittels Beleuchtungseinrichtungen des Fahrzeugs und einer häufig reflektierenden Ausbildung der Verkehrszeichen resultieren, vermieden werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
1 schematisch eine Fahrzeug auf einer Fahrbahn mit einem Verkehrszeichen.
In der einzigen 1 ist ein Fahrzeug F auf einer Fahrbahn FB dargestellt, welches zumindest eine optische Erfassungseinheit 1 zur Erfassung von Verkehrzeichen VZ in der Umgebung des Fahrzeugs F aufweist. Bei der Erfassungseinheit 1 handelt es sich beispielsweise um eine Kamera, mittels welcher Bilder der Umgebung des Fahrzeugs F aufgenommen werden.
Im dargestellten Ausführungsbeispiel handelt es sich bei dem Verkehrszeichen VZ um ein Zeichen, welches eine zulässige Höchstgeschwindigkeit auf 50 km/h beschränkt.
Zu einer automatischen Erkennung des Verkehrszeichens VZ werden die erfassten Bilder einer Verarbeitungseinheit 2 zugeführt, anhand derer das Verkehrzeichen VZ in den Bildern insbesondere mittels eines Suchalgorithmus detektiert wird. Anschließend wird das Verkehrszeichen VZ ebenfalls mittels der Verarbeitungseinheit 2 klassifiziert. Das heißt, die durch das Verkehrszeichen VZ dargestellten Verbote und/oder Gebote werden erfasst. Diese Klassifizierung wird dabei z. B. anhand eines Vergleichs mit hinterlegten Verkehrszeichen-Mustern durchgeführt.
Die automatische Erkennung des Verkehrszeichens VZ wird vorzugsweise zur Unterstützung eines Fahrers beim Führen des Fahrzeugs F verwendet, wobei dieser aufgrund der Verkehrszeichenerkennung in Verbindung mit einem nicht näher dargestellten Fahrerassistenzsystem auf die mittels des Verkehrszeichens VZ dargestellten Gebote und/oder Verbote hingewiesen wird. Dabei werden dem Fahrer des Fahrzeugs F die Verkehrszeichen VZ beispielsweise mittels einer optischen Anzeigeeinheit ausgegeben. Der Fahrer kann zusätzlich z. B. bei Überschreitung einer zulässigen Höchstgeschwindigkeit optisch, beispielsweise durch blinkende Symbole oder Signalfarben, und/oder akustisch, insbesondere durch Warntöne, auf das Verkehrszeichen VZ und einen eventuellen Verstoß gegen die auf diesem dargestellten Gebote und/oder Verbote hingewiesen werden.
Alternativ oder zusätzlich können Fahrerassistenzsysteme, wie beispielsweise ein Fahrerassistenzsystem zur Unterstützung des Fahrers bei der Einhaltung einer aktuellen Geschwindigkeitsbegrenzung, auch aufgrund des erkannten Verkehrszeichens VZ in einen Antrieb des Fahrzeugs F eingreifen und dieses somit automatisch auf eine vorgeschriebene Geschwindigkeit abbremsen.
Um die Suche nach dem Verkehrszeichen VZ in dem Bild nach dessen Aufnahme mittels des Suchalgorithmus zu vereinfachen und um eine schnelle Suche und somit eine schnelle Verkehrzeichenerkennung zu ermöglichen, ist die Verarbeitungseinheit 2 mit einer Navigationsvorrichtung 3 des Fahrzeugs F gekoppelt. Dabei werden Kartendaten, die Informationen über eine Fahrspuranzahl der aktuell befahrenen Fahrbahn FB beinhalten, zur Suche des Verkehrszeichens VZ in den Bildern verwendet.
Zusätzlich ist die Verarbeitungseinheit 2 mit einer Spurerkennungsvorrichtung 4 gekoppelt, anhand derer neben der Anzahl der Fahrspuren erfasst wird, in welcher Fahrspur sich das Fahrzeug F auf der Fahrbahn FB aktuell befindet oder ob das Fahrzeug F aktuell eine Ein- oder Ausfahrt befährt. Die Spurerkennungsvorrichtung umfasst in nicht näher dargestellter Weise zur Erfassung der Spurdaten der Fahrspuren zumindest eine Kamera, zumindest einen Radarsensor und/oder zumindest einen Lidarsensor.
Anhand der Information über die Anzahl der Fahrspuren der Fahrbahn FB aus den Kartendaten und der Information, in welcher dieser Fahrspuren sich das Fahrzeug F befindet bzw. ob das Fahrzeug F eine Ein- oder Ausfahrt befährt, werden mittels der Verarbeitungseinheit 2 Bild-Suchbereiche, in welchen sich die Verkehrszeichen VZ auf den erfassten Bildern befinden, eingegrenzt. Daraus resultiert in besonders vorteilhafter Weise, dass die Suche nach den Verkehrszeichen VZ weiter verkürzt und somit eine sehr schnelle Erkennung der Verkehrszeichen VZ möglich ist.
Aufgrund der Kenntnis, in welchem Bereich sich das Fahrzeug F auf der Fahrbahn FB befindet, wird weiterhin eingegrenzt, in welcher Entfernung d und in welchem relativen Winkel α sich das jeweilige Verkehrszeichen VZ zu der Erfassungseinheit 1 befindet, so dass auch ein realer Suchbereich eingrenzbar ist, in welchem die Verkehrszeichen VZ angeordnet sind. Somit ist es möglich, dass Parameter der Erfassungseinheit 1 in Abhängigkeit der Entfernung d und des Winkels α derart eingestellt werden, dass in den eingegrenzten Suchbereichen eine optimierte Erfassung der Verkehrszeichen VZ möglich ist.
Dabei wird neben einer optischen Achse, d. h. neben einem Sichtwinkel, und einer Auflösung der Erfassungseinheit 1 insbesondere eine Belichtungsdauer der Erfassungseinheit 1 eingestellt, so dass eine Empfindlichkeit angepasst und eine aus der Bewegung des Fahrzeugs F resultierende Bewegungsunschärfe minimiert werden.
Die Verkehrszeichen VZ weisen meist eine zumindest teilweise reflektierende Oberfläche auf, so dass diese durch Beleuchtung auch bei Dunkelheit sichtbar sind. Insbesondere durch die Bewegung des Fahrzeugs F und damit verbunden die Bewegung von Beleuchtungseinrichtungen des Fahrzeugs F, kann es zu schnellen Veränderungen und/oder Diskontinuitäten bei der Beleuchtung der Verkehrszeichen VZ kommen.
Aufgrund dessen, dass die Spurinformationen und somit die Entfernung d und der Winkel α bekannt sind und in Verbindung damit, dass auch eine Leuchtcharakteristik der Beleuchtungseinrichtungen und die daraus resultierende Ausleuchtung der Umgebung des Fahrzeugs F bekannt ist, kann durch eine Vermeidung einer Überbelichtung des Bilds in dem Suchbereich eine zuverlässige Erfassung und Erkennung der Verkehrszeichen VZ sichergestellt werden, indem eine an die Ausleuchtung angepasste und optimierte Einstellung der Belichtungsdauer für die Suchbereiche eingestellt wird.
Alternativ oder zusätzlich zu der Verwendung der Spurerkennungsvorrichtung 4 zur Ermittlung der Entfernung d und des Winkels α aus den Spurdaten ist die Verarbeitungseinheit 2 mit einer Sensorvorrichtung 5 gekoppelt, anhand welcher eine Relativlage des Verkehrszeichens VZ zu der Erfassungseinheit 1 ermittelbar ist. Dabei umfasst die Sensorvorrichtung 5 eine Stereokameraanordnung, zumindest einen Radarsensor, zumindest einen Lidarsensor und/oder zumindest eine Monokamera, anhand derer die Umgebung des Fahrzeugs erfassbar ist. Die Relativlage des Verkehrszeichens VZ zu der Erfassungseinheit 1 wird beispielsweise anhand einer Anwendung einer Tiefenschätzung bestimmt.

1: Erfassungseinheit
2: Verarbeitungseinheit
3: Navigationsvorrichtung
4: Spurerkennungsvorrichtung
5: Sensorvorrichtung
d: Entfernung
F: Fahrzeug
FB: Fahrbahn
VZ: Verkehrszeichen
α: Winkel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- EP 1145186 B1 [0003]

Claims

Verfahren zur Verkehrszeichenerkennung für ein Fahrzeug (F), wobei Verkehrszeichen (VZ) in einer Umgebung des Fahrzeugs (F) mittels einer optischen Erfassungseinheit (1) erfasst werden, wobei zur Suche der Verkehrszeichen (VZ) in der Umgebung des Fahrzeugs (F) Kartendaten einer Navigationsvorrichtung (3) verwendet werden, dadurch gekennzeichnet, dass anhand von Spurdaten einer Spurerkennungsvorrichtung (4) und/oder anhand einer mittels einer Sensorvorrichtung (5) geschätzten jeweiligen Relativlage der Verkehrszeichen (VZ) zur Erfassungseinheit (1) Suchbereiche zur Suche der Verkehrszeichen (VZ) in der Umgebung vorgewählt und/oder begrenzt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in Abhängigkeit der Suchbereiche zumindest ein Parameter der Erfassungseinheit (1) eingestellt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der zumindest eine Parameter in Abhängigkeit einer Entfernung (d) und/oder eines relativen Winkels (a) des jeweiligen Verkehrszeichens (VZ) zur Erfassungseinheit (1) eingestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Parameter eine Belichtungsdauer, eine Auflösung und/oder eine optische Achse der Erfassungseinheit (1) variabel eingestellt wird.
Vorrichtung zur Verkehrszeichenerkennung für ein Fahrzeug (F), umfassend eine optische Erfassungseinheit (1) zur Erfassung von Verkehrszeichen (VZ) in einer Umgebung des Fahrzeugs (F) und umfassend eine Navigationsvorrichtung (3) mit hinterlegten Kartendaten, welche zur Suche der Verkehrszeichen (VZ) in der Umgebung des Fahrzeugs (F) verwendbar sind, dadurch gekennzeichnet, dass eine Spurerkennungsvorrichtung (4) zur Erfassung von Spurdaten des Fahrzeugs (F) und/oder eine Sensorvorrichtung (5) zur Schätzung einer jeweiligen Relativlage der Verkehrszeichen (VZ) zur Erfassungseinheit (1) vorgesehen sind, wobei die Spurerkennungsvorrichtung (4) und/oder die Sensorvorrichtung (5) mit einer Verarbeitungseinheit (2) gekoppelt sind oder diese umfassen, wobei mittels der Verarbeitungseinheit (2) anhand der Spurdaten und/oder der Relativlage Suchbereiche zur Suche der Verkehrszeichen (VZ) in der Umgebung vorwählbar und/oder begrenzbar sind.
Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die optische Erfassungseinheit (1) eine Kamera ist.
Vorrichtung nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Spurerkennungsvorrichtung (4) zumindest eine Kamera, zumindest einen Radarsensor und/oder zumindest einen Lidarsensor umfasst.
Vorrichtung nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Sensorvorrichtung (5) eine Stereokameraanordnung, zumindest einen Radarsensor, zumindest einen Lidarsensor und/oder zumindest eine Monokamera umfasst.