DE102016003424B4

DE102016003424B4 - Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen

Info

Publication number: DE102016003424B4
Application number: DE102016003424.6A
Authority: DE
Inventors: Martin FOTTA
Original assignee: Elektrobit Automotive GmbH
Current assignee: Elektrobit Automotive GmbH
Priority date: 2016-03-21
Filing date: 2016-03-21
Publication date: 2023-09-28
Anticipated expiration: 2036-03-22
Also published as: US10339398B2; DE102016003424A1; CN107220583A; US20170270377A1; CN107220583B

Abstract

Verfahren zum Erkennen von Verkehrszeichen, mit, den folgenden Schritten:- Empfangen (S100) von Bildern von Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) zu verschiedenen Zeitpunkten,- Berechnen (S102) eines ersten Wahrscheinlichkeitswertes, der angibt, mit welcher Wahrscheinlichkeit ein zu einem bestimmten Zeitpunkt empfangenes Bild ein bestimmtes Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus einer Menge von Verkehrszeichen abbildet, wobei die Berechnung basiert auf mindestens einem vor dem bestimmten Zeitpunkt empfangenen Bild von einem Verkehrszeichen, das einen früheren Zustand charakterisiert, und einem vorbekannten Übergangswahrscheinlichkeitswert (104), der angibt, mit welcher Wahrscheinlichkeit das bestimmte Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) nach dem früheren Zustand auftritt, wobei vor dem Berechnungsschritt- mittels Verkehrszeichenerkennung ein vorläufiger Wahrscheinlichkeitswert bestimmt wird, der angibt, mit welcher Wahrscheinlichkeit ein zu dem bestimmten Zeitpunkt empfangenes Bild ein bestimmtes Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus einer Menge von Verkehrszeichen abbildet, und wobei nach dem Berechnungsschritt- ein zweiter Wahrscheinlichkeitswert anhand des vorläufigen Wahrscheinlichkeitswertes für ein bestimmtes Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus der Menge von Verkehrszeichen und des ersten Wahrscheinlichkeitswertes für das bestimmte Verkehrszeichen berechnet wird, insbesondere durch Gewichtung des vorläufigen Wahrscheinlichkeitswertes mit dem ersten Wahrscheinlichkeitswert; und- Ausgeben des bestimmten Verkehrszeichens (300, 302, 304, 306, 308, 702, 704) aus der Menge von Verkehrszeichen, für das der größte zweite Wahrscheinlichkeitswert ermittelt wurde.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft allgemein die Gebiete der Fahrerunterstützung und des autonomen Fahrens. Konkret wird eine Technik zum Erkennen von Verkehrszeichen angegeben. Die Technik kann als Verfahren, als Vorrichtung oder als Computerprogramm implementiert sein.
Hintergrund
Die automatische Verkehrszeichenerkennung ist ein wesentliches Merkmal vieler Fahrzeuge. Es sind in diesem Zusammenhang verschiedenste Verfahren zur Erkennung der Verkehrszeichen denkbar.
Dokument DE 10 2013 210 725 A1 bezieht sich auf ein Verfahren und eine Vorrichtung zum Detektieren von Verkehrszeichen. Die Vorrichtung weist eine konventionelle Verkehrszeichenerkennung auf, mittels der unter Verwendung einer Kamera erfasste Bilddaten von Verkehrszeichen zum Erkennen der Verkehrszeichen verarbeitet werden. Ferner weist die Vorrichtung eine Plausibilisierungsvorrichtung auf, mittels der den erkannten Verkehrszeichen ein Plausibilitätswert zugeordnet wird. Dies geschieht mit Hilfe der aktuellen Position und der Ausrichtung des Kraftfahrzeugs. Die detektierten Verkehrszeichen entlang einer Fahrtroute werden dann mit korrigierter, wahrscheinlichkeitsbasierter Detektionsgüte an angeschlossene Systeme weitergegeben. Zusätzlich werden Verkehrszeichen ausgegeben, die im Speicher mit hoher Detektionsgüte entlang der Fahrtroute abgelegt worden sind. So wird für den Fall, dass ein Verkehrszeichen beim Befahren einer Route zum ersten Mal erkannt wird, ein neues Element abgespeichert. Ist dieses Verkehrszeichen bei einem früheren Befahren der Route schon mal erkannt worden, werden dem gespeicherten Verkehrszeichen neu erkannte Informationen wie eine wahrscheinlichkeitsbasierte Detektionsgüte hinzugefügt.
Dokument DE 10 2007 021 579 A1 bezieht sich auf ein Verfahren und eine Vorrichtung zur Klassifizierung eines Verkehrszeichens, um ein von einer Kamera aufgenommenes Verkehrszeichen als konkretes Verkehrszeichen zu identifizieren. Demgemäß wird ein Objekt sowohl mit Hilfe eines ersten Klassifizierungsverfahrens als auch mit Hilfe eines zweiten, vom ersten Klassifizierungsverfahren unterschiedlichen und unabhängigen Klassifizierungsverfahrens klassifiziert. Die Klassifizierungsverfahren können lernbasierte Verfahren, Mustervergleichsverfahren und auf konkrete Objektmerkmale basierende Verfahren sein. Aus den jeweiligen Klassifikationsergebnissen des ersten und zweiten Klassifizierungsverfahrens wird ein Gesamtklassifikationsergebnis erzeugt.
Bei einem Verfahren („Traffic Sign Recognition“) werden die Bilder von aufgenommenen Verkehrszeichen anhand von bestimmten charakteristischen Merkmalen einer bestimmten Verkehrszeichenklasse zugeordnet. So lässt sich beispielsweise ein kreisrundes Verkehrszeichen einem Verkehrszeichen zuordnen, das eine Geschwindigkeitsbegrenzung zeigt. Anhand eines für diese bestimmte Verkehrszeichenklasse klassenspezifischen Merkmals, wie beispielsweise dem Ziffernblock bei den Geschwindigkeitsbegrenzungen, kann dann das aufgenommene Bild einem bestimmten Verkehrszeichen innerhalb dieser Verkehrszeichenklasse zugeordnet werden. Der Abgleichprozess gibt ein Ergebnis aus, das angibt, wie zuverlässig das aufgenommene Bild das bestimmte Verkehrszeichen aus der Verkehrszeichenklasse zeigt.
Entscheidend für die Zuverlässigkeit eines solchen Verfahrens, das rein auf dem Abgleich von klassenspezifischen Merkmalen von Bilddaten mit abgespeicherten klassenspezifischen Merkmalen beruht, sind unter anderem die Sichtverhältnisse. Bei schlechten Sichtverhältnissen, wie durch Nebel und Regen bedingt, besteht die Gefahr, dass Verkehrszeichen innerhalb einer Klasse miteinander verwechselt werden, beispielsweise das 30 km/h Geschwindigkeitsbegrenzungsschild mit dem 130 km/h Geschwindigkeitsbegrenzungsschild, oder sogar Verkehrszeichen von unterschiedlichen Verkehrszeichenklassen miteinander verwechselt werden, beispielsweise das Gewichtsbegrenzungsschild von maximal 12t mit dem Geschwindigkeitsbegrenzungsschild von 120 km/h. Ferner ist es bekannt, dass die Rücklichter eines vorausfahrenden Autos fälschlicherweise als das 60 km/h Geschwindigkeitsbegrenzungsschild erkannt werden.
Ein anderes Verfahren („Traffic Sign Fusion“) basiert auf einer Kombination von Kameradaten mit Kartendaten, die Verkehrszeicheninformationen enthalten. Das von der Kamera aufgenommene und erkannte Verkehrszeichen wird mit dem an der gegenwärtigen Position erwarteten Verkehrszeichen aus den Kartendaten verglichen. Bei vollständiger Übereinstimmung wird das entsprechende Verkehrszeichen an den Fahrer ausgegeben. Bei nicht vollständiger Übereinstimmung kann eine Höher- oder Niederbewertung der Kameradaten abhängig von der Erkennungswahrscheinlichkeit erfolgen und dadurch entweder den Kameradaten oder den Kartendaten der Vorzug gegeben werden, oder es können auch beide Daten verworfen werden.
Hierbei können Plausibilitätsprüfungen durch Anwendung von definierten Akzeptanzkriterien vollzogen werden. Beispielsweise ist ein Verkehrszeichen mit einer Geschwindigkeitsbegrenzung von 80 km/h innerhalb einer Ortschaft unwahrscheinlich, so dass in diesem Fall den Kartendaten der Vorzug gegeben würde. Die Bestimmung und Entwicklung dieser fest kodierten Akzeptanzkriterien ist kosten- und zeitaufwendig. Um diese Akzeptanzkriterien zu verbessern, müssen diese auf bestimmte Fahrgegebenheiten abgestimmt werden, was einen hohen Testaufwand bedeutet. Für den Fall, dass keine Kameradaten vorliegen, wird auf aus einer Karte bekannte Verkehrszeichen zurückgegriffen, die ohne weiteres Überprüfen an den Fahrer ausgegeben werden.
Bekannte Konzepte zur Verkehrszeichenerkennung können eine unzureichende Zuverlässigkeit bei der Erkennung von Verkehrszeichen aufweisen. Es besteht daher ein Bedarf nach einem verbesserten Konzept zur Verkehrszeichenerkennung. Diesem Bedarf trägt der Gegenstand der unabhängigen Ansprüche Rechnung.
Kurzer Abriss
Es ist eine Technik zum Erkennen von Verkehrszeichen anzugeben, das einen oder mehrere der Nachteile der aus dem Stand der Technik bekannten Verfahren vermeidet.
Gemäß einem Aspekt werden bei der Ausführung des Verfahrens Bilder von Verkehrszeichen zu verschiedenen Zeitpunkten empfangen, und es wird ein erster Wahrscheinlichkeitswert berechnet, der angibt, mit welcher Wahrscheinlichkeit ein zu einem bestimmten Zeitpunkt empfangenes Bild ein bestimmtes Verkehrszeichen aus einer Menge von Verkehrszeichen abbildet. Die Berechnung basiert auf mindestens einem vor dem bestimmten Zeitpunkt empfangenen Bild von einem Verkehrszeichen, das einen früheren Zustand charakterisiert, und einem vorbekannten Übergangswahrscheinlichkeitswert, der angibt, mit welcher Wahrscheinlichkeit das bestimmte Verkehrszeichen nach dem früheren Zustand auftritt. Vor dem Berechnungsschritt wird mittels Verkehrszeichenerkennung ein vorläufiger Wahrscheinlichkeitswert bestimmt, der angibt, mit welcher Wahrscheinlichkeit ein zu dem bestimmten Zeitpunkt empfangenes Bild ein bestimmtes Verkehrszeichen aus einer Menge von Verkehrszeichen abbildet. Nach dem Berechnungsschritt wird ein zweiter Wahrscheinlichkeitswert anhand des vorläufigen Wahrscheinlichkeitswertes für ein bestimmtes Verkehrszeichen aus der Menge von Verkehrszeichen und des ersten Wahrscheinlichkeitswertes für das bestimmte Verkehrszeichen berechnet wird, insbesondere durch Gewichtung des vorläufigen Wahrscheinlichkeitswertes mit dem ersten Wahrscheinlichkeitswert. Ferner umfasst das Verfahren ein Ausgeben des bestimmten Verkehrszeichens aus der Menge von Verkehrszeichen, für das der größte zweite Wahrscheinlichkeitswert ermittelt wurde.
Dies stellt ein zweistufiges Erkennungsverfahren dar. In einem ersten Schritt wird ein vorläufiger Wahrscheinlichkeitswert für das Vorliegen eines bestimmten Verkehrszeichens ermittelt. Dieser vorläufige Wahrscheinlichkeitswert kann im Rahmen eines herkömmlichen Verfahrens zur Erkennung von Verkehrszeichen bestimmt werden. In einem zweiten Schritt wird dann anhand des vorläufigen Wahrscheinlichkeitswertes und des danach ermittelten ersten Wahrscheinlichkeitswertes ein Gesamtwahrscheinlichkeitswert, d.h. der zweite Wahrscheinlichkeitswert, berechnet, insbesondere durch Gewichtung des vorläufigen Wahrscheinlichkeitswertes mit dem ersten Wahrscheinlichkeitswert. Dadurch kann die Zuverlässigkeit des Verfahrens verbessert werden.
Die Berechnung kann gemäß einem Hidden-Markov-Modell erfolgen. Nach diesem Modell entsprechen die aufgenommenen Bilder den Emissionen, die je nach Zustand, hier den realen Verkehrszeichen, mit gewissen Wahrscheinlichkeiten auftreten, hier entsprechend dem ersten Wahrscheinlichkeitswert. Die Zustände sind durch die real vorkommenden Verkehrszeichen charakterisiert, von denen Bilder empfangen werden.
Die Bilder von Verkehrszeichen können Bilder von allen vorkommenden Verkehrszeichen sein. Die abgebildeten Verkehrszeichen können also neben Geschwindigkeitsbegrenzungen beispielsweise auch die Fahrumgebung angeben, also beispielweise Ortstafeln, die den Beginn einer Ortschaft anzeigen, und Autobahnschilder und Kraftfahrstraßenschilder, die den Beginn einer Autobahn oder Kraftfahrstraße angeben. Ferner können die abgebildeten Verkehrszeichen angeben, ob besondere Gegebenheiten innerhalb einer Fahrumgebung vorliegen, beispielsweise ob Arbeitsstellen, Gefahrstellen oder Bahnübergänge vorliegen. So ist es beispielsweise sehr unwahrscheinlich, dass auf einer Autobahn nur eine zulässige Höchstgeschwindigkeit von 30 km/h erlaubt ist, ohne dass vorher ein anderes Verkehrszeichen wie beispielsweise ein Schild, das den Beginn einer Baustelle angibt, aufgetreten ist.
Eine Möglichkeit für ein Verfahren zur Ausführung des ersten Schritts ist das oben beschriebene Verfahren („Traffic Sign Recognition“), bei dem die Bilder von aufgenommenen Verkehrszeichen anhand von bestimmten charakteristischen Merkmalen einer bestimmten Verkehrszeichenklasse zugeordnet werden, und dann anhand eines für diese bestimmte Verkehrszeichenklasse klassenspezifischen Merkmals das aufgenommene Bild einem bestimmten Verkehrszeichen innerhalb dieser Verkehrszeichenklasse zugeordnet wird. Der Abgleichprozess gibt ein Ergebnis aus, nämlich den vorläufigen Wahrscheinlichkeitswert, der angibt, wie zuverlässig das aufgenommene Bild das bestimmte Verkehrszeichen aus der Verkehrszeichenklasse zeigt.
Gemäß einer Variante kann im Berechnungsschritt zuerst der erste Wahrscheinlichkeitswert für das bestimmte Verkehrszeichen aus der Menge von Verkehrszeichen berechnet werden, für das im vorangegangenen Bestimmungsschritt der größte vorläufige Wahrscheinlichkeitswert bestimmt wurde. Auf diese Weise ist sichergestellt, dass das Verkehrszeichen mit dem größten Gesamtwahrscheinlichkeitswert schnell bestimmt werden kann.
Dabei ist es vorteilhaft, wenn das bestimmte Verkehrszeichen aus der Menge an Verkehrszeichen nur ausgegeben wird, wenn der für das bestimmte Verkehrszeichen ermittelte zweite Wahrscheinlichkeitswert einen vorbestimmten Schwellwert überschreitet. So ist sichergestellt, dass nur Verkehrszeichen ausgegeben werden, für die mit ausreichend hoher Zuverlässigkeit ermittelt wurde, dass sie auf dem aufgenommenen Verkehrszeichen abgebildet sind. Die Ausgabe kann eine Anzeige des Verkehrszeichens sein, beispielsweise auf einer Anzeigeeinheit wie einem Display.
In einer Weiterentwicklung des Verfahrens ist der frühere Zustand bei der Berechnung des ersten Wahrscheinlichkeitswertes durch ein mittels dieses Verfahrens erkannten Verkehrszeichen charakterisiert, das das vor dem bestimmten Zeitpunkt aufgenommen Bild abbildet. Das heißt, der frühere Zustand, der als Grundlage für die Übergangswahrscheinlichkeit in den neuen Zustand dient, ist durch das Verkehrszeichen charakterisiert, das mittels dieses Verfahrens zu einem vor dem bestimmten Zeitpunkt früheren Zeitpunkt erkannt wurde, anhand der empfangenen Bilder von Verkehrszeichen.
In einer weiteren Weiterentwicklung des Verfahrens erfolgt die Berechnung des ersten Wahrscheinlichkeitswertes basierend auf einer Abfolge von vor dem bestimmten Zeitpunkt mittels dieses Verfahrens erkannten Verkehrszeichen, die die vor dem bestimmten Zeitpunkt aufgenommenen Bilder abbilden und die jeweils einen früheren Zustand charakterisieren. Das heißt, dass eine ganze Abfolge von früheren Zuständen dazu herangezogen wird, den früheren Zustand zu charakterisieren, der als Grundlage für den Übergangswahrscheinlichkeitswert in den neuen Zustand dient. Insbesondere werden die in einer Fahrumgebung, wie beispielsweise innerhalb einer Ortschaft, hintereinander erkannten Verkehrszeichen zur Charakterisierung des früheren Zustands benutzt, wenn auch das neue zu bestimmende Verkehrszeichen innerhalb der gleichen Fahrumgebung auftritt.
In einer weiteren Variante ist der vorbekannte Übergangswahrscheinlichkeitswert einer Abfolge von Verkehrszeichen zugeordnet ist, die ein reales Verkehrsgeschehen abbilden.
Die Datenbank (z. B. eine bestimmte Datenstruktur) mit den Übergangswahrscheinlichkeiten und der Abfolge von Verkehrszeichen kann manuell erstellt werden, indem man eine reale Fahrumgebung beobachtet und die beobachteten Abfolgen von Verkehrszeichen in eine Datenbank überträgt. Der zugeordnete Übergangswahrscheinlichkeitswert ist dann ein Maß dafür, wie häufig die Abfolge von Verkehrszeichen in der realen Fahrumgebung beobachtet wurde. Alternativ dazu kann die Abfolge von Verkehrszeichen einer vorzugsweise auf einem externen Server abgespeicherten digitalen Landkarte mit Verkehrsinformationen entnommen sein, so dass das manuelle „Trainieren“ der Datenbank entfällt. Die Datenbank entspricht in einer Variante der Übergangsmatrix eines Hidden Markov-Modells und die daraus abrufbaren Werte ergeben beispielsweise die Beobachtungsmatrix.
Die Ausgabe des erkannten Verkehrszeichens kann beispielsweise an ein Fahrerassistenzsystem eines Fahrzeugs erfolgen, das dann beispielweise bei Überschreiten der Geschwindigkeitshöchstzulassungsgrenze ein optisches, akustisches oder haptisches Warnsignal an den Fahrer ausgibt. In einem weiteren Aspekt wird das Verfahren im Rahmen eines autonomen Fahrens eines Fahrzeuges durchgeführt.
Gemäß einer weiteren Variante ist eine Vorrichtung zum Erkennen von Verkehrszeichen vorgesehen, mit einer Prozessoreinheit, die eingerichtet ist, dass Bilder von Verkehrszeichen zu verschiedenen Zeitpunkten empfangen werden, und ein erster Wahrscheinlichkeitswert berechnet wird, der angibt, mit welcher Wahrscheinlichkeit ein zu einem bestimmten Zeitpunkt empfangenes Bild ein bestimmtes Verkehrszeichen aus einer Menge von Verkehrszeichen abbildet. Die Berechnung basiert auf mindestens einem vor dem bestimmten Zeitpunkt empfangenen Bild von einem Verkehrszeichen, das einen früheren Zustand charakterisiert, und
einem vorbekannten Übergangswahrscheinlichkeitswert, der angibt, mit welcher Wahrscheinlichkeit das bestimmte Verkehrszeichen nach dem früheren Zustand auftritt, wobei die Prozessoreinheit eingerichtet ist, dass vor dem Berechnungsschritt mittels Verkehrszeichenerkennung ein vorläufiger Wahrscheinlichkeitswert bestimmt wird, der angibt, mit welcher Wahrscheinlichkeit ein zu dem bestimmten Zeitpunkt aufgenommenes Bild ein bestimmtes Verkehrszeichen aus einer Menge von Verkehrszeichen abbildet, und wobei nach dem Berechnungsschritt ein zweiter Wahrscheinlichkeitswert anhand des vorläufigen Wahrscheinlichkeitswertes für ein bestimmtes Verkehrszeichen aus der Menge von Verkehrszeichen und des ersten Wahrscheinlichkeitswertes für das bestimmte Verkehrszeichen berechnet wird, insbesondere durch Gewichtung des vorläufigen Wahrscheinlichkeitswertes mit dem ersten Wahrscheinlichkeitswert und bei der Berechnung des ersten Wahrscheinlichkeitswertes der frühere Zustand durch ein mittels dieses Verfahrens erkannten Verkehrszeichen charakterisiert ist, das das vor dem bestimmten Zeitpunkt aufgenommene Bild abbildet.
Der mittels der Vorrichtung ermittelte Wahrscheinlichkeitswert ist unabhängig von den Sichtverhältnissen. Ferner entfällt die Notwendigkeit, fest kodierte Akzeptanzkriterien zu entwickeln und zu bestimmen, da die Akzeptanz oder Nicht-Akzeptanz allein auf dem gemäß dem offenbarten Verfahren berechneten ersten Wahrscheinlichkeitswert basieren kann.
Die Prozessoreinheit kann gemäß einem Hidden-Markov-Modell konfiguriert sein. Nach diesem Modell entsprechen die aufgenommenen Bilder den Emissionen, die je nach Zustand, hier den realen Verkehrszeichen, mit gewissen Wahrscheinlichkeiten auftreten, hier entsprechend dem ersten Wahrscheinlichkeitswert. Die Zustände sind durch die real vorkommenden Verkehrszeichen charakterisiert, von denen Bilder empfangen werden.
Die von der Vorrichtung empfangenen Bilder von Verkehrszeichen können davor von einer digitalen Kamera aufgenommen worden sein und an die Vorrichtung weitergeleitet worden sein.
Gemäß einer Variante weist die Vorrichtung eine Speichereinheit auf, in der der vorbekannte Übergangswahrscheinlichkeitswert und eine dem Übergangswahrscheinlichkeitswert zugeordnete Abfolge von Verkehrszeichen, die ein reales Verkehrsgeschehen abbilden, abgespeichert sind.
Gemäß einem Aspekt ist die Vorrichtung Teil eines Fahrerassistenzsystems eines Fahrzeugs, das dann beispielweise bei Überschreiten der Geschwindigkeitshöchstzulassungsgrenze ein optisches, akustisches oder haptisches Warnsignal an den Fahrer ausgibt. Derartige Assistenzsysteme werden auch als Advanced Driver Assistance Systems (ADAS) bezeichnet.
Die Vorrichtung kann in einem Fahrzeug verbaut sein (z. B. als ADAS-Komponente und/oder in einem autonom fahrenden Fahrzeug). Das Fahrzeug kann ein Schienenfahrzeug oder ein Straßenfahrzeug (z.B. ein PKW oder LKW) sein.
Gemäß einem anderen Aspekt ist ein Computerprogramm mit Programmcode zur Durchführung des offenbarten Verfahrens, wenn das Programm auf einem Computer abläuft, vorgesehen. Das Computerprogramm kann auf einem Datenträger (z.B. innerhalb einer Electronic Control Unit, ECU, des Fahrzeugs) abgespeichert sein.
Kurze Beschreibung der Zeichnungen
Weitere Vorteile und Merkmale der Offenbarung ergeben sich aus der folgenden Beschreibung in Verbindung mit Ausführungsbeispielen und aus den Zeichnungen, auf die im Folgenden Bezug genommen wird. In diesen zeigen:

1 schematisch ein Ablaufdiagramm, in dem die einzelnen Schritte zum Erkennen von Verkehrszeichen gemäß einer Ausführungsform dargestellt sind,
2 schematisch eine Vorrichtung zum Erkennen von Verkehrszeichen,
3 eine erste Abfolge von Verkehrszeichen entsprechend einer realen Fahrumgebung auf einer Autobahn gemäß einem ersten Beispiel,
4 in einer schematischen Tabelle, wie gemäß dem vorliegenden Verfahren die Verkehrszeichen der ersten Abfolge von Verkehrszeichen von 3 erkannt werden,
5 ein Beispiel einer realen Fahrumgebung, wie die erste Abfolge von Verkehrszeichen von 3 fortgesetzt werden kann,
6 in einer schematischen Tabelle, wie gemäß dem vorliegenden Verfahren das Verkehrszeichen des Beispiels von 5 erkannt wird,
7 eine zweite Abfolge von Verkehrszeichen entsprechend einer realen Fahrumgebung gemäß einem zweiten Beispiel, und
8 in einer schematischen Tabelle, wie gemäß dem vorliegenden Verfahren die zweite Abfolge von Verkehrszeichen von 7 erkannt werden.

Detaillierte Beschreibung
Durch die nachfolgend beschriebenen Ausführungsbeispiele, die auch in Kombination miteinander ausgeführt werden können, werden ein Verfahren und eine Vorrichtung zur Erkennung von Verkehrszeichen beschrieben, durch die die Zuverlässigkeit bekannter Verfahren und Vorrichtungen zur Erkennung von Verkehrszeichen erhöht ist.
In der 1 ist schematisch ein Ablaufdiagramm eines Verfahrens dargestellt. In einem ersten Schritt S100 wird ein Bild von einem Verkehrszeichen empfangen. In einem zweiten Schritt S102 wird ein erster Wahrscheinlichkeitswert berechnet, der angibt, mit welcher Wahrscheinlichkeit ein zu einem bestimmten Zeitpunkt empfangenes Bild ein bestimmtes Verkehrszeichen aus einer Menge an Verkehrszeichen abbildet. Dies geschieht anhand eines vorbekannten Übergangswahrscheinlichkeitswertes 104, der angibt, mit welcher Wahrscheinlichkeit das bestimmte Verkehrszeichen nach einem früheren Zustand auftritt. Der frühere Zustand ist durch mindestens ein vor dem bestimmten Zeitpunkt empfangenes Bild von einem Verkehrszeichen charakterisiert.
Die Verkehrszeichen aus der Menge von Verkehrszeichen können alle bekannten Verkehrszeichen sein.
Abhängig von der Größe des ersten Wahrscheinlichkeitswertes kann dann das bestimmte Verkehrszeichen als erkanntes Verkehrszeichen ausgegeben werden. Das Verfahren kann für verschiedene bestimmte Verkehrszeichen aus der Menge an Verkehrszeichen nacheinander durchgeführt werden, bevor eines der bestimmten Verkehrszeichen als erkanntes Verkehrszeichen ausgegeben wird.
Anders als bei aus dem Stand der Technik bekannten Verfahren wird ein Verkehrszeichen also nicht nur anhand dem Abgleich von Bilddaten mit abgespeicherten charakteristischen Daten von bestimmten Verkehrszeichenklassen oder von bestimmten Verkehrszeichen innerhalb dieser Verkehrszeichenklassen bestimmt, sondern die Zuverlässigkeit, dass ein empfangenes Bild ein bestimmtes Verkehrszeichen abbildet, wird anhand des vorangegangenen Verkehrsgeschehens bestimmt. Die Bestimmung erfolgt insbesondere anhand der Chronik eines oder mehrerer davor empfangener Bilder von Verkehrszeichen, das bzw. die einen oder mehrere frühere Zustände charakterisieren. Der vorbekannte Übergangswahrscheinlichkeitswert ist ein Maß dafür, wie wahrscheinlich es ist, dass ein bestimmtes Verkehrszeichen nach einem oder mehreren früheren Verkehrszeichen auftritt, und damit auch ein Maß dafür, wie wahrscheinlich ein empfangenes Bild ein bestimmtes Verkehrszeichen nach dem Auftreten eines oder mehrerer anderer Verkehrszeichen abbildet.
Im Gegensatz zu den beschriebenen herkömmlichen Verfahren weist das angegebene Verfahren den Vorteil auf, dass der ermittelte erste Wahrscheinlichkeitswert weniger abhängig von den Sichtverhältnissen ist. Ferner ist es nicht mehr notwendig, fest kodierte Akzeptanzkriterien zu entwickeln und zu bestimmen.
In der 2 ist schematisch eine Vorrichtung 200 zur Durchführung des Verfahrens gezeigt. Die Vorrichtung weist eine Prozessoreinheit 202 und eine Speichereinheit 204 auf. In der Prozessoreinheit 202 wird das Berechnen des ersten Wahrscheinlichkeitswertes durchgeführt. Die dazu benötigten vorbekannten Übergangswahrscheinlichkeitswerte sind in der Speichereinheit 204 abgespeichert. Die empfangenen Bilder von Verkehrszeichen können ebenfalls in der Speichereinheit 204 abgespeichert sein.
In der 3 ist ein reales Fahrumgebungsgeschehen auf einer Autobahn zu sehen, das durch eine Abfolge von Verkehrszeichen und eine Bewegungsrichtung von links nach rechts charakterisiert ist. Nach einem ersten Verkehrszeichen 300, das das Ende sämtlicher streckenbezogener Geschwindigkeitsbeschränkungen und Überholverbote angibt, tritt ein zweites Verkehrszeichen 302 auf, das der Klasse der allgemeinen Gefahrzeichen zuzuordnen ist und eine Arbeitsstelle zeigt. Darauf folgt ein drittes Verkehrszeichen 304, das eine Geschwindigkeitsbeschränkung angibt, nämlich eine zulässige Höchstgeschwindigkeit von 80 km/h. Schließlich ist ein viertes Verkehrszeichen 306 zu sehen, das ebenfalls eine Geschwindigkeitsbeschränkung zeigt, nämlich eine zulässige Höchstgeschwindigkeit von 60 km/h.
In der 4 ist eine Tabelle zu sehen, anhand der im Folgenden erläutert wird, wie gemäß dem Verfahren die Verkehrszeichen der ersten Abfolge von Verkehrszeichen von 3 erkannt werden. In der Tabelle sind in den Spalten jeweils ein Zustand, also der Eingangszustand, der neue Eintrag, also das neu empfangene Bild von einem Verkehrszeichen, die dazugehörige Übergangswahrscheinlichkeit und der neue Ausgangszustand angegeben. Ein Zustand ist in den hier gezeigten Beispielen jeweils mindestens durch die Fahrumgebung oder den Ort und eine weitere Angabe, die die aktuelle erlaubte Geschwindigkeit in dieser Fahrumgebung angibt, charakterisiert. So ist in der 4 zu sehen, dass der erste Zustand, also der Eingangszustand, durch die Fahrumgebung „Autobahn“ und die Geschwindigkeitsangabe „unbegrenzte Geschwindigkeit“ definiert ist. Das nächste Verkehrszeichen 302, das auftritt, zeigt die „Arbeitsstelle“ an. Ein von dem Verkehrszeichen 302 „Arbeitsstelle“ aufgenommenes Bild wird empfangen. Als nächstes wird ein erster Wahrscheinlichkeitswert berechnet, der angibt, mit welcher Wahrscheinlichkeit das empfangene Bild eine Arbeitsstelle abbildet. Die Berechnung geschieht anhand eines Übergangswahrscheinlichkeitswertes, der aussagt, wie wahrscheinlich es ist, dass das Verkehrszeichen 302 „Arbeitsstelle“ nach dem Zustand (Autobahn, unbegrenzte Geschwindigkeit) auftritt. Da eine Arbeitsstelle auf einer Autobahn einer realen Fahrumgebung entspricht, ist der Übergangswahrscheinlichkeitswert, der bekannt ist, groß. Folglich ist auch der erste Wahrscheinlichkeitswert, der angibt, wie wahrscheinlich es ist, dass das empfangene Bild eine Arbeitsstelle abbildet, groß. Folglich wird als neuer Zustand (Autobahn_Arbeitsstelle, unbegrenzte Geschwindigkeit) definiert, also der Zustand, der durch die Fahrumgebung einer Arbeitsstelle auf der Autobahn und einer nicht begrenzten maximal zulässigen Geschwindigkeit charakterisiert ist. Dieser neue Ausgangszustand kann ausgegeben werden, beispielsweise an ein Fahrerassistenzsystem eines Fahrzeuges. Dieser Zustand kann dann ausgegeben, wenn der erste Wahrscheinlichkeitswert einen vorbestimmten Schwellwert überschreitet. Dieser Zustand ist ferner der Eingangszustand bzw. der frühere Zustand, der zum Erkennen eines neuen Verkehrszeichens herangezogen wird.
Das nächste Verkehrszeichen 304, das auftritt, zeigt eine zulässige Höchstgeschwindigkeit von 80 km/h an. Ein von dem Verkehrszeichen 304 aufgenommenes Bild wird empfangen. Als nächstes wird wieder der erste Wahrscheinlichkeitswert berechnet, der angibt, wie wahrscheinlich es ist, dass das empfangene Bild ein Verkehrszeichen abbildet, das eine zulässige Höchstgeschwindigkeit von 80 km/h erlaubt. Die Berechnung geschieht wieder anhand eines bekannten Übergangswahrscheinlichkeitswertes, der aussagt, wie wahrscheinlich es ist, dass das Verkehrszeichen „zulässige Höchstgeschwindigkeit von 80 km/h“ nach dem Zustand (Autobahn_Arbeitsstelle, unbegrenzte Geschwindigkeit) auftritt. Da es dem realen Geschehen auf einer Autobahn entspricht, dass bei Vorliegen einer Arbeitsstelle die zulässige Höchstgeschwindigkeit begrenzt wird, ist der zugeordnete Übergangswahrscheinlichkeitswert groß. Folglich ist auch der erste Wahrscheinlichkeitswert, der angibt, wie wahrscheinlich es ist, dass das empfangene Bild eine zulässige Höchstgeschwindigkeit von 80 km/h abbildet, groß. Als neuer Zustand wird also (Autobahn_Arbeitsstelle, 80 km/h) definiert, also der Zustand, der durch eine Arbeitsstelle auf der Autobahn als Fahrumgebung und eine zulässige Höchstgeschwindigkeit von 80 km/h charakterisiert ist. Dieser Zustand kann wieder beispielsweise an ein Fahrerassistenzsystem eines Fahrzeuges ausgegeben werden. Ferner ist dieser neue, aktuelle Zustand wieder der Eingangszustand bzw. der frühere Zustand, der zum Erkennen eines neuen, später folgenden Verkehrszeichens herangezogen wird.
Als nächstes Verkehrszeichen 306 folgt eine Begrenzung auf eine zulässige Höchstgeschwindigkeit von 60 km/h. Ein von dem Verkehrszeichen 306 aufgenommenes Bild wird wieder empfangen. Es wird wieder der erste Wahrscheinlichkeitswert berechnet, der angibt, wie wahrscheinlich es ist, dass das empfangene Bild ein Verkehrszeichen abbildet, das eine zulässige Höchstgeschwindigkeit von 60 km/h erlaubt. Die Berechnung geschieht wieder anhand eines bekannten Übergangswahrscheinlichkeitswertes, der aussagt, wie wahrscheinlich es ist, dass das Verkehrszeichen „zulässige Höchstgeschwindigkeit von 60 km/h“ nach der früheren Abfolge von Zuständen, also der erkannten Verkehrszeichen, auftritt.
Speziell sind im hier gezeigten Beispiel die frühere Abfolge von Verkehrszeichen die erkannten bzw. vorgegebenen Verkehrszeichen innerhalb einer Fahrumgebung, und zwar die auf der Autobahn vorkommenden Verkehrszeichen. Das Verkehrszeichen „Ende sämtlicher streckenbezogener Geschwindigkeitsbegrenzungen und Überholverbote“ war im Eingangszustand vorgegeben, und kann ein vor diesem beschriebenen Ablauf mittels des vorliegenden Verfahrens erkanntes Verkehrszeichen darstellen. Anschließend wurden die Arbeitsstelle als besondere Gegebenheit innerhalb der Autobahn als Fahrumgebung erkannt und das Verkehrszeichen, das eine zulässige Höchstgeschwindigkeit von 80km/h zeigt.
Dementsprechend ist die hier relevante Übergangswahrscheinlichkeit die Wahrscheinlichkeit, mit der die Geschwindigkeitsbegrenzung auf eine maximale Höchstgeschwindigkeit von 60 km/h nach einer Geschwindigkeitsbegrenzung auf eine maximale Höchstgeschwindigkeit von 80 km/h und einer unbegrenzten Geschwindigkeitsbegrenzung auf der Autobahn als Fahrumgebung mit der besonderen Gegebenheit einer Arbeitsstelle auftritt. Da eine solche Abfolge einem realen Geschehen auf der Autobahn entspricht, ist der zugeordnete Übergangswahrscheinlichkeitswert groß. Folglich ist auch der erste Wahrscheinlichkeitswert, der angibt, wie wahrscheinlich es ist, dass das empfangene Bild eine zulässige Höchstgeschwindigkeit von 60 km/h abbildet, groß. Als neuer Zustand wird also (Autobahn_Arbeitsstelle, 60 km/h) definiert, also der Zustand, der durch eine Arbeitsstelle auf der Autobahn als Fahrumgebung und eine zulässige Höchstgeschwindigkeit von 60 km/h charakterisiert ist. Dieser Zustand kann wieder beispielsweise an ein Fahrerassistenzsystem eines Fahrzeuges ausgegeben werden. Ferner kann dieser neue, aktuelle Zustand wieder der Eingangszustand bzw. der frühere Zustand, der zum Erkennen eines neuen, später folgenden Verkehrszeichens, wie beispielweise in 5 gezeigt ist, herangezogen wird.
In der 5 ist ein reales Fahrumgebungsgeschehen gezeigt, das das Ende der Arbeitsstelle auf der Autobahn anzeigen kann. Im hier gezeigten Beispiel folgt den in 3 gezeigten Geschwindigkeitsbegrenzungen 304, 306 von maximal 80km/h und maximal 60km/h ein Verkehrsschild 308, das das Ende der zulässigen Höchstgeschwindigkeit von 60km/h anzeigt.
Der in der 6 gezeigte Eingangszustand ist der in der 4 gezeigte letzte Zustand, nämlich der Zustand, der durch Autobahn als Fahrumgebung mit der Arbeitsstelle als besonderen Gegebenheit auf der Autobahn und eine Geschwindigkeitsbegrenzung auf maximal 60km/h charakterisiert ist. Ein Bild von dem entsprechend der 5 nächsten Verkehrszeichen 308, der Aufhebung der Geschwindigkeitsbegrenzung auf 60 km/h, wird empfangen und übertragen. Es wird ein erster Wahrscheinlichkeitswert berechnet, der angibt, mit welcher Wahrscheinlichkeit das empfangene Bild das Verkehrszeichen 308 abbildet, das die Geschwindigkeitsbegrenzung auf maximal 60 km/h aufhebt. Die Berechnung erfolgt auf der Basis eines Übergangswahrscheinlichkeitswertes, der aussagt, wie wahrscheinlich es ist, dass das Verkehrszeichen „Ende der zulässigen Höchstgeschwindigkeit von 60 km/h“ nach den Verkehrszeichen 304, 306, die die maximale Höchstgeschwindigkeit auf 60 km/h bzw. 80 km/h begrenzen, innerhalb einer Arbeitsstelle auf der Autobahn vorkommen. Da es am Ende einer Arbeitsstelle auf einer Autobahn üblich ist, die vorangegangene Geschwindigkeitsbegrenzung aufzuheben, entspricht auch diese Szenario einer realen Fahrumgebung, und der dieser Abfolge von Verkehrszeichen bzw. Zuständen zugeordnete Übergangswahrscheinlichkeitswert, der bekannt ist, ist groß. Folglich ist auch der erste Wahrscheinlichkeitswert, der angibt, wie wahrscheinlich es ist, dass das empfangene Bild das Verkehrszeichen 306 abbildet, das die Geschwindigkeitsbegrenzung auf maximal 60km/h aufhebt, groß. Als neuer Zustand wird (Autobahn, unbegrenzte Geschwindigkeit) definiert, also der Zustand, der durch die Autobahn (ohne Arbeitsstelle) als Fahrumgebung und eine nicht begrenzte maximal zulässige Geschwindigkeit charakterisiert ist. Dieser Zustand kann wieder ausgegeben werden, beispielsweise an ein Fahrerassistenzsystem eines Fahrzeuges.
In der 7 ist ein reales Geschehen am Eingang und innerhalb einer Ortschaft gezeigt. Der Eingang einer Ortschaft wird mit einem Ortsschild 702 gekennzeichnet. Innerhalb der Ortschaft herrscht dann eine maximale Höchstgeschwindigkeit von 50 km/h. Diese wird dann durch ein weiteres Verkehrsschild 704 auf maximal 30 km/h begrenzt.
Der in der 8 gezeigte Eingangszustand ist eine Überlandstrasse oder Kraftfahrstrasse mit einer zulässigen Höchstgeschwindigkeit von 100 km/h. Ein Bild von dem Ortsschild 702 wird empfangen und übertragen. Es wird ein erster Wahrscheinlichkeitswert berechnet, der angibt, mit welcher Wahrscheinlichkeit das empfangene Bild das Ortsschild 702 abbildet. Die Berechnung erfolgt auf der Basis eines Übergangswahrscheinlichkeitswertes, der aussagt, wie wahrscheinlich es ist, dass das Ortsschild 702 auf einer Kraftfahrstrasse auftritt. Da dies wiederum ein normales reales Geschehen abbildet, ist der dieser Abfolge von Verkehrszeichen bzw. Zuständen zugeordnete Übergangswahrscheinlichkeitswert groß. Folglich ist auch der erste Wahrscheinlichkeitswert, der angibt, wie wahrscheinlich es ist, dass das empfangene Bild ein Ortsschild abbildet, groß. Als neuer Zustand wird (Ortschaft, 50 km/h) definiert, also der Zustand, der durch die Ortschaft als Fahrumgebung mit einer maximal zulässigen Höchstgeschwindigkeit von 50 km/h charakterisiert ist.
Schließlich wird ein Bild empfangen und übertragen, das ein Verkehrszeichen 704 mit einer maximal zulässigen Höchstgeschwindigkeit von 30 km/h abbildet. Zur Berechnung des ersten Wahrscheinlichkeitswertes, der ein Maß dafür ist, wie wahrscheinlich das empfangene Bild diese Geschwindigkeitsbegrenzung abbildet, wird ein bekannter Übergangswahrscheinlichkeitswert herangezogen, der angibt, mit welcher Wahrscheinlichkeit eine Geschwindigkeitsbegrenzung auf maximal 30 km/h innerhalb einer Ortschaft mit einer maximal zulässigen Höchstgeschwindigkeit von 50 km/h auftritt. Tempo-30-Zonen innerhalb einer Ortschaft, beispielsweise innerhalb eines Wohngebietes, sind sehr häufig vorzufinden, so dass der dazugehörige Übergangswahrscheinlichkeitswert und erste Wahrscheinlichkeitswert groß sind. Der neue Ausgangszustand ist also (Ortschaft, 30km/h), also der durch die Ortschaft als Fahrumgebung mit einer maximal zulässigen Höchstgeschwindigkeit von 30km/h charakterisierte Zustand.
Vor dem Berechnen des ersten Wahrscheinlichkeitswertes kann ein vorläufiger Wahrscheinlichkeitswert berechnet werden, der auch angibt, mit welcher Wahrscheinlichkeit ein zu dem bestimmten Zeitpunkt aufgenommenes Bild ein bestimmtes Verkehrszeichen aus der Menge von Verkehrszeichen abbildet.
Die Berechnung des vorläufigen Wahrscheinlichkeitswertes kann gemäß einem herkömmlichen Abgleichverfahren erfolgen, beispielsweise mittels des in der Einleitung beschrieben Verfahrens („Traffic Sign Recognition“), bei dem die Bilder von aufgenommenen Verkehrszeichen anhand von bestimmten charakteristischen Merkmalen einer bestimmten Verkehrszeichenklasse zugeordnet werden, und dann anhand eines für diese bestimmte Verkehrszeichenklasse klassenspezifischen Merkmals das aufgenommene Bild einem bestimmten Verkehrszeichen innerhalb dieser Verkehrszeichenklasse zugeordnet wird. Der Abgleichprozess gibt ein Ergebnis aus, nämlich den vorläufigen Wahrscheinlichkeitswert, der angibt, wie zuverlässig das aufgenommene Bild das bestimmte Verkehrszeichen aus der Verkehrszeichenklasse zeigt.
Anschließend wird dann ein zweiter Wahrscheinlichkeitswert berechnet, der eine Gesamtwahrscheinlichkeit angibt, anhand des vorläufigen Wahrscheinlichkeitswertes und des ersten Wahrscheinlichkeitswertes, beispielsweise durch Gewichtung der beiden Werte. Dabei kann beispielsweise zur Berechnung des ersten Wahrscheinlichkeitswertes zuerst das Verkehrszeichen als bestimmtes Verkehrszeichen herangezogen werden, für das zuvor der größte vorläufige Wahrscheinlichkeitswert bestimmt wurde. Insbesondere können nur solche Verkehrszeichen als bestimmte Verkehrszeichen zur Berechnung des ersten Wahrscheinlichkeitswertes herangezogen werden, für die davor ein vorläufiger Wahrscheinlichkeitswert bestimmt wurde, der einen vorbestimmten Schwellwert überschreitet.
Ein bestimmtes Verkehrszeichen aus einer Menge an Verkehrszeichen wird dann beispielsweise als erkanntes Verkehrszeichen ausgegeben, wenn der für dieses bestimmte Verkehrszeichen ermittelte zweite Wahrscheinlichkeitswert einen vorbestimmten Schwellwert überschreitet.
In Kombination mit einem anderen bekannten Verfahren, „Traffic Sign Fusion“, kann das Akzeptieren oder Nicht-Akzeptieren eines bestimmten Verkehrszeichens allein von dem ersten Wahrscheinlichkeitswert abhängig gemacht werden. Es kann auch von einer Kombination des ersten Wahrscheinlichkeitswertes mit den Ergebnissen der Kameraerkennung und der Kartendaten abhängig gemacht werden. Ist beispielsweise das Ergebnis der Kameraerkennung ein Geschwindigkeitsbegrenzungsschild von 50 km/h, das Verkehrszeichen der Karte ein Geschwindigkeitsbegrenzungsschild von 80 km/h und das Ergebnis des vorliegenden Verfahrens entweder ein Geschwindigkeitsbegrenzungsschild von 30 km/h, von 50 km/h oder von 60 km/h (d.h. für diese Verkehrszeichen wurde jeweils ein großer erster Wahrscheinlichkeitswert berechnet), wird als Gesamtergebnis, also als erkanntes Verkehrszeichen, das Schild mit 50 km/h ausgegeben.
Der vorbekannte Übergangswahrscheinlichkeitswert kann in der Speichereinheit 204 abgespeichert sein. Er ist einer Abfolge von Verkehrszeichen zugeordnet. Diese bilden ein reales Verkehrsgeschehen ab. Die Abfolge von Verkehrszeichen kann von einem Menschen manuell anhand von beobachteten, realen Verkehrsszenarien ermittelt werden. Anschließend können diese Daten in die Vorrichtung 200 eingegeben werden.
Alternativ kann die Abfolge von Verkehrszeichen einer auf einem externen Server abgespeicherten Straßenkarte mit Verkehrsinformationen entnommen werden, beispielsweise einer sogenannten „Open Street Map“. Dies stellt eine einfachere Lösung im Vergleich zu der des manuellen Bestimmens dar.
Die Abfolge von Verkehrszeichen, ob manuell bestimmt oder anhand der abgespeicherten Straßenkarte, können in einer Textdatei abgespeichert werden. Mittels bekannter Entwicklungssysteme wie beispielsweise einer Open-Source-Bibliothek, beispielsweise der Open-Source-Bibliothek MitLM, kann eine Datei erzeugt werden, die einzelnen Abfolgen von Verkehrszeichen jeweils eine Übergangswahrscheinlichkeit zuordnet. Diese Datei kann in der Speichereinheit abgespeichert werden.
Das offenbarte Verfahren hat im Vergleich zu dem beschriebenen Verfahren „Traffic Sign Recognition“ den Vorteil, dass das Ergebnis unabhängig von den Sichtverhältnissen ist. Ferner ist die Zuverlässigkeit des Verfahrens nicht von der Qualität von abgespeicherten Bildern abhängig, mit denen dann die aufgenommen Bilder im Zuge des Abgleichprozesses verglichen werden. Ferner kann mit dem ofFenbarten Verfahren mit Hilfe nur weniger Trainingsdaten, also mit Hilfe von wenigen beobachteten oder der Straßenkarte entnommenen Abfolgen von Verkehrszeichen, ein zuverlässiges Verfahren zum Erkennen von Verkehrszeichen bereitgestellt werden. So ist es bei der „Traffic Sign Recognition“ notwendig, um auch bei schlechten Sichtverhältnissen ein möglichst zuverlässiges Ergebnis zu gewährleisten, dass auch genügend Trainingsdaten bei schlechten Sichtverhältnissen bereitgestellt werden.
Bei der Variante des zweistufigen Verfahrens kann die Zuverlässigkeit von bekannten Verfahren verbessert werden. Verkehrszeichen, die im ersten Schritt mit den herkömmlichen Verfahren fälschlicherweise, beispielsweise aufgrund schlechter Sichtverhältnisse, erkannt wurden, können im zweiten Schritt durch Betrachtung der vorangegangenen Zustände als unwahrscheinlich erkannt werden und nicht weiter betrachtet werden. Speziell Verkehrszeichen, die eine Geschwindigkeitsbeschränkung aufheben und die von dem bekannten Verfahren häufig falsch erkannt werden, können mit dem offenbarten Verfahren anhand der Historie zuverlässig erkannt bzw. ausgeschlossen werden. Ferner können die Trainingsdaten des bekannten Verfahrens reduziert werden, da die Zuverlässigkeit durch den zweiten Schritt erhöht wird.
Ein mögliches Szenario ist beispielweise ein Fahren innerhalb einer Ortschaft, in der ein 12t Verkehrszeichen beobachtet wird. In einem ersten Schritt, in dem die empfangenen Bilddaten mit abgespeicherten Bilddaten für die jeweiligen Verkehrszeichen der jeweiligen Verkehrszeichenklassen abgeglichen werden, wird für das 12t Verkehrszeichen die größte Übereinstimmung mit dem Geschwindigkeitsbegrenzungszeichen von höchstens 120 km/h ermittelt. In dem zweiten, anschließenden Schritt wird der erste Wahrscheinlichkeitswert berechnet, der angibt, mit welcher Wahrscheinlichkeit das aufgenommene Bild das 120 km/h Verkehrszeichen abbildet, und zwar anhand eines Übergangswahrscheinlichkeitswertes zwischen einem vorigen Zustand, der durch ein davor aufgenommenes Bild von einem Verkehrszeichen charakterisiert ist, und dem mutmaßlich jetzigen Zustand, der durch das 120 km/h Verkehrszeichen charakterisiert ist. Da jedoch vor dem Geschwindigkeitsbegrenzungszeichen von höchstens 120 km/h das Geschwindigkeitsbegrenzungszeichen von höchstens 30 km/h in der Ortschaft beobachtet wurde, ist die Übergangswahrscheinlichkeit, dass das 120 km/h Geschwindigkeitsbegrenzungszeichen nach dem 30 km/h Geschwindigkeitsbegrenzungszeichen innerhalb der Ortschaft, klein. Damit ist der durch den vorläufigen Wahrscheinlichkeitswert und den ersten Wahrscheinlichkeitswert ermittelte zweite Wahrscheinlichkeitswert, der eine Gesamtwahrscheinlichkeit angibt, gering.
In Kombination mit dem anderen bekannten Verfahren, „Traffic Sign Fusion“, kann das Akzeptieren bzw. Nicht-Akzeptieren eines bestimmten Verkehrszeichens allein von dem ersten Wahrscheinlichkeitswert oder von einer Kombination mit den Ergebnissen der Kameraerkennung und der Kartendaten abhängig gemacht werden. Das heißt, die Bestimmung und Entwicklung der zeit- und kostenaufwendigen fest kodierten Akzeptanzkriterien entfällt.

Claims

Verfahren zum Erkennen von Verkehrszeichen, mit, den folgenden Schritten: - Empfangen (S100) von Bildern von Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) zu verschiedenen Zeitpunkten, - Berechnen (S102) eines ersten Wahrscheinlichkeitswertes, der angibt, mit welcher Wahrscheinlichkeit ein zu einem bestimmten Zeitpunkt empfangenes Bild ein bestimmtes Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus einer Menge von Verkehrszeichen abbildet, wobei die Berechnung basiert auf mindestens einem vor dem bestimmten Zeitpunkt empfangenen Bild von einem Verkehrszeichen, das einen früheren Zustand charakterisiert, und einem vorbekannten Übergangswahrscheinlichkeitswert (104), der angibt, mit welcher Wahrscheinlichkeit das bestimmte Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) nach dem früheren Zustand auftritt, wobei vor dem Berechnungsschritt - mittels Verkehrszeichenerkennung ein vorläufiger Wahrscheinlichkeitswert bestimmt wird, der angibt, mit welcher Wahrscheinlichkeit ein zu dem bestimmten Zeitpunkt empfangenes Bild ein bestimmtes Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus einer Menge von Verkehrszeichen abbildet, und wobei nach dem Berechnungsschritt - ein zweiter Wahrscheinlichkeitswert anhand des vorläufigen Wahrscheinlichkeitswertes für ein bestimmtes Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus der Menge von Verkehrszeichen und des ersten Wahrscheinlichkeitswertes für das bestimmte Verkehrszeichen berechnet wird, insbesondere durch Gewichtung des vorläufigen Wahrscheinlichkeitswertes mit dem ersten Wahrscheinlichkeitswert; und - Ausgeben des bestimmten Verkehrszeichens (300, 302, 304, 306, 308, 702, 704) aus der Menge von Verkehrszeichen, für das der größte zweite Wahrscheinlichkeitswert ermittelt wurde.
Verfahren nach Anspruch 1, wobei im Berechnungsschritt zuerst der erste Wahrscheinlichkeitswert für das bestimmte Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus der Menge von Verkehrszeichen berechnet wird, für das im vorangegangenen Bestimmungsschritt der größte vorläufige Wahrscheinlichkeitswert bestimmt wurde.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das bestimmte Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus der Menge an Verkehrszeichen ausgegeben wird, wenn der für das bestimmte Verkehrszeichen ermittelte erste oder zweite Wahrscheinlichkeitswert einen vorbestimmten Schwellwert überschreitet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Berechnung des ersten Wahrscheinlichkeitswertes der frühere Zustand durch ein mittels dieses Verfahrens erkannten Verkehrszeichen charakterisiert ist, das das vor dem bestimmten Zeitpunkt aufgenommen Bild abbildet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Berechnung des ersten Wahrscheinlichkeitswertes basierend auf einer Abfolge von vor dem bestimmten Zeitpunkt mittels dieses Verfahrens erkannten Verkehrszeichen erfolgt, die die vor dem bestimmten Zeitpunkt aufgenommenen Bilder abbilden und die jeweils einen früheren Zustand charakterisieren.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der vorbekannte Übergangswahrscheinlichkeitswert (104) einer Abfolge von Verkehrszeichen zugeordnet ist, die ein reales Verkehrsgeschehen abbilden.
Verfahren nach Anspruch 6, wobei die Abfolge von Verkehrszeichen einer digitalen Straßenkarte mit Verkehrsinformationen entnommen ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das erkannte Verkehrszeichen an ein Fahrerassistenzsystem ausgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren im Rahmen eines autonomen Fahrens eines Fahrzeuges durchgeführt wird.
Vorrichtung (200) zum Erkennen von Verkehrszeichen, mit einer Prozessoreinheit (202), die eingerichtet ist, die folgenden Verfahrensschritte durchzuführen: - Empfangen von Bildern von Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) zu verschiedenen Zeitpunkten, - Berechnen eines ersten Wahrscheinlichkeitswertes, der angibt, mit welcher Wahrscheinlichkeit ein zu einem bestimmten Zeitpunkt empfangenes Bild ein bestimmtes Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus einer Menge von Verkehrszeichen abbildet, wobei die Berechnung basiert auf mindestens einem vor dem bestimmten Zeitpunkt empfangenen Bild von einem Verkehrszeichen, das einen früheren Zustand charakterisiert, und einem vorbekannten Übergangswahrscheinlichkeitswert (104), der angibt, mit welcher Wahrscheinlichkeit das bestimmte Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) nach dem früheren Zustand auftritt, wobei die Prozessoreinheit (202) eingerichtet ist, dass vor dem Berechnungsschritt - mittels Verkehrszeichenerkennung ein vorläufiger Wahrscheinlichkeitswert bestimmt wird, der angibt, mit welcher Wahrscheinlichkeit ein zu dem bestimmten Zeitpunkt aufgenommenes Bild ein bestimmtes Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus einer Menge von Verkehrszeichen abbildet, und wobei nach dem Berechnungsschritt - ein zweiter Wahrscheinlichkeitswert anhand des vorläufigen Wahrscheinlichkeitswertes für ein bestimmtes Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus der Menge von Verkehrszeichen und des ersten Wahrscheinlichkeitswertes für das bestimmte Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) berechnet wird, insbesondere durch Gewichtung des vorläufigen Wahrscheinlichkeitswertes mit dem ersten Wahrscheinlichkeitswert; und - bei der Berechnung des ersten Wahrscheinlichkeitswertes der frühere Zustand durch ein mittels dieses Verfahrens erkannten Verkehrszeichen charakterisiert ist, das das vor dem bestimmten Zeitpunkt aufgenommene Bild abbildet.
Vorrichtung (200) nach Anspruch 10, wobei die Prozessoreinheit (202) eingerichtet ist, dass im Berechnungsschritt zuerst der erste Wahrscheinlichkeitswert für das bestimmte Verkehrszeichen (300, 302, 304, 306, 308, 702, 704) aus der Menge von Verkehrszeichen berechnet wird, für das im vorangegangenen Bestimmungsschritt der größte vorläufige Wahrscheinlichkeitswert bestimmt wurde.
Vorrichtung (200) nach Anspruch 10 oder 11, mit einer Speichereinheit (204), in der der vorbekannte Übergangswahrscheinlichkeitswert (104) und ein dem Übergangswahrscheinlichkeitswert (104) zugeordnete Abfolge von Verkehrszeichen, die ein reales Verkehrsgeschehen abbilden, abgespeichert sind.
Vorrichtung (200) nach Anspruch 12, wobei die Abfolge von Verkehrszeichen einer auf einem externen Server abgespeicherten Straßenkarte mit Verkehrsinformationen entnommen ist.
Vorrichtung (200) nach einem der Ansprüche 10 bis 13, wobei die Vorrichtung (200) Teil eines Fahrerassistenzsystems eines Fahrzeugs ist.
Computerprogramm mit Programmcode zur Durchführung des Verfahrens gemäß einem der Ansprüche 1 bis 9, wenn das Programm auf einem Computer abläuft.