DE102023000356B4

DE102023000356B4 - Method for camera-based recognition and verification of traffic signs

Info

Publication number: DE102023000356B4
Application number: DE102023000356.5A
Authority: DE
Inventors: Mario Aleksic; Noah Engmann; Alexander Bracht; Michael Henzler; Anja Severin; Roland Ortloff; Philip Kneißle; Andreas Silvius Weber; Tobias Mahler; Michael Mink
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-02-06
Filing date: 2023-02-06
Publication date: 2024-07-11
Anticipated expiration: 2043-02-07
Also published as: DE102023000356A1; WO2024165285A1

Abstract

Verfahren zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen, wobei- mittels an einer Vielzahl von Fahrzeugen angeordneten Kameras Bilder einer jeweiligen Fahrzeugumgebung erfasst werden,- in einer Bildauswertung Verkehrszeichen in der jeweiligen Fahrzeugumgebung erkannt werden und- erkannte Verkehrszeichen statistisch ausgewertet werden, um eine auf einem Streckenabschnitt gültige Geschwindigkeitsbegrenzung für Fahrzeuge zu bestimmen,- die mittels der kamerabasierten Verkehrszeichenerkennung bestimmte Geschwindigkeitsbegrenzung eines jeweiligen Streckenabschnitts mit in diesem Streckenabschnitt tatsächlich von Fahrzeugen gefahrenen Geschwindigkeiten abgeglichen wird,- anhand des Abgleichs plausible und unplausible bestimmte Geschwindigkeitsbegrenzungen identifiziert werden, dadurch gekennzeichnet, dass- unplausible Geschwindigkeitsbegrenzungen an andere Fahrzeugsysteme nicht bereitgestellt werden und/oder bei einer Aktualisierung digitaler Straßenkarten ungenutzt bleiben und/oder bei der kamerabasierten Verkehrszeichenerkennung unterdrückt werden.Method for camera-based recognition and verification of traffic signs, wherein- images of a respective vehicle environment are captured by means of cameras arranged on a plurality of vehicles,- traffic signs in the respective vehicle environment are recognized in an image analysis and- recognized traffic signs are statistically evaluated in order to determine a speed limit for vehicles that is valid on a section of road,- the speed limit of a respective section of road determined by means of camera-based traffic sign recognition is compared with the speeds actually driven by vehicles on this section of road,- plausible and implausible determined speed limits are identified on the basis of the comparison, characterized in that- implausible speed limits are not made available to other vehicle systems and/or remain unused when digital road maps are updated and/or are suppressed during camera-based traffic sign recognition.

Description

Die Erfindung betrifft ein Verfahren zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a method for camera-based recognition and verification of traffic signs according to the preamble of claim 1.

Aus dem Stand der Technik sind kamerabasierte Systeme zur Verkehrszeichenerkennung bekannt. Dabei ist bekannt, dass mit einer statistischen Auswertung von an einem Ort von vielen Fahrzeugen erkannten Verkehrsschildern Geschwindigkeitsbegrenzungen abgeleitet werden.Camera-based systems for traffic sign recognition are known from the state of the art. It is known that speed limits can be derived using a statistical evaluation of traffic signs recognized by many vehicles at one location.

Aus der DE 10 2021 005 438 A1 ist ein Verfahren zur Bestimmung von Streckenattributen in einer Straßenkarte eines Fahrzeugsystems aus Schilderbeobachtungen bekannt, bei welchem ein punktuell erkanntes Verkehrsschild einem Navigationsgerät übermittelt und in diesem einem vorgegebenen Streckenabschnitt der Straßenkarte als Streckenattribut zugewiesen wird. Das Straßenschild wird von einer in einem sich auf dem Streckenabschnitt bewegenden Fahrzeug positionierten Kamera detektiert, wobei alle von den Kameras der Fahrzeuge in einem bestimmten Gebiet in einem vorgegebenen Zeitraum erkannten Verkehrsschilder gesammelt werden und die durch die Verkehrsschilder ermittelten Punkte einschließlich einer Fahrtrichtung der Fahrzeuge einem Streckennetz der bestehenden Straßenkarte zugewiesen werden. Aus der Gesamtheit der punktuellen Informationen werden die von den jeweiligen Verkehrsschildern beeinflussten Streckenabschnitte ausgewählt und mit den aus der Schilderbeobachtung resultierenden Streckenattributen belegt, wobei die gewonnenen Streckenattribute den Fahrzeugsystemen der Fahrzeuge zur Nutzung bereitgestellt werden.From the EN 10 2021 005 438 A1 A method is known for determining route attributes in a road map of a vehicle system from sign observations, in which a traffic sign recognized at a specific point is transmitted to a navigation device and assigned as a route attribute to a predetermined section of the road map. The road sign is detected by a camera positioned in a vehicle moving on the section of the route, whereby all traffic signs recognized by the vehicles' cameras in a specific area within a predetermined period of time are collected and the points determined by the traffic signs, including a direction of travel of the vehicles, are assigned to a route network of the existing road map. From the totality of the point information, the route sections influenced by the respective traffic signs are selected and assigned the route attributes resulting from the sign observation, whereby the route attributes obtained are made available to the vehicle systems of the vehicles for use.

DE 102018200134 B3 beschreibt eine Erfassung von Trainingsdaten für ein Fahrerassistenzsystem eines Kraftfahrzeugs. Eine Vielzahl an Fahrzeugen erkennt dabei mit jeweils einem Fahrerassistenzsystem und einer Kamera auf einem Streckenabschnitt angeordnete Verkehrszeichen und bestimmen eine zulässige Höchstgeschwindigkeit für diesen Streckenabschnitt als Vergleichswert. Zudem wird mit dem Fahrerassistenzsystem des jeweiligen Fahrzeugs eine aktuell gefahrene Geschwindigkeit überwacht. Abweichungen zwischen tatsächlich gefahrenen Geschwindigkeiten und den mittels Kamera bestimmten Vergleichswerten werden erkannt und in der Form von Ereignisdaten zusammen mit der Position des jeweiligen Fahrzeugs an eine Servereinrichtung übermittelt. Von der Servereinrichtung wird sodann durch Auswerten der übermittelten Ereignisdaten eine Anomalie in einer Funktionsweise der Fahrerassistenzsysteme der Fahrzeuge detektiert. Auf Basis detektierter Anomalien bestimmt die Servereinrichtung ein Kriterium, womit weitere von den Fahrzeugen an die Servereinrichtung zu übermittelnden Daten charakterisiert werden. EN 102018200134 B3 describes the collection of training data for a driver assistance system of a motor vehicle. A large number of vehicles, each with a driver assistance system and a camera, recognize traffic signs arranged on a section of road and determine a permissible maximum speed for this section of road as a comparison value. In addition, the driver assistance system of the respective vehicle monitors the current speed. Deviations between the speeds actually driven and the comparison values determined by the camera are recognized and transmitted to a server device in the form of event data together with the position of the respective vehicle. The server device then detects an anomaly in the functioning of the driver assistance systems of the vehicles by evaluating the transmitted event data. On the basis of detected anomalies, the server device determines a criterion with which further data to be transmitted from the vehicles to the server device is characterized.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen anzugeben.The invention is based on the object of specifying a novel method for camera-based recognition and verification of traffic signs.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.The object is achieved according to the invention by a method which has the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the subclaims.

In einem Verfahren zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen werden mittels an einer Vielzahl von Fahrzeugen angeordneten Kameras Bilder einer jeweiligen Fahrzeugumgebung erfasst, in einer Bildauswertung Verkehrszeichen in der jeweiligen Fahrzeugumgebung erkannt und erkannte Verkehrszeichen statistisch ausgewertet, um eine auf einem Streckenabschnitt gültige Geschwindigkeitsbegrenzung für Fahrzeuge zu bestimmen. Die mittels der kamerabasierten Verkehrszeichenerkennung bestimmte Geschwindigkeitsbegrenzung eines jeweiligen Streckenabschnitts wird mit in diesem Streckenabschnitt tatsächlich von Fahrzeugen gefahrenen Geschwindigkeiten abgeglichen. Anhand des Abgleichs werden plausible und unplausible bestimmte Geschwindigkeitsbegrenzungen identifiziert.In a method for camera-based recognition and verification of traffic signs, images of a respective vehicle environment are captured using cameras arranged on a large number of vehicles, traffic signs in the respective vehicle environment are recognized in an image analysis, and recognized traffic signs are statistically evaluated in order to determine a speed limit for vehicles on a section of road. The speed limit of a respective section of road determined using camera-based traffic sign recognition is compared with the speeds actually driven by vehicles on this section of road. The comparison is used to identify plausible and implausible specific speed limits.

Erfindungsgemäß werden unplausible Geschwindigkeitsbegrenzungen an andere Fahrzeugsysteme nicht bereitgestellt und/oder bleiben bei einer Aktualisierung digitaler Straßenkarten ungenutzt und/oder werden bei der kamerabasierten Verkehrszeichenerkennung unterdrückt.According to the invention, implausible speed limits are not provided to other vehicle systems and/or remain unused when digital road maps are updated and/or are suppressed in camera-based traffic sign recognition.

Es existieren Fälle, bei denen von kamerabasierten Systemen zur Verkehrszeichenerkennung Verkehrszeichen falsch erkannt werden. Beispielsweise können zur Seite gedrehte Verkehrszeichen als gültig erkannt werden. Werden daraus abgeleitete Geschwindigkeitsbegrenzungen in eine digitale Karte eingetragen und in Fahrzeugen eingesetzt, kann das bei Fahrerassistenzsystemen zu unerwünschtem Fahrverhalten führen, beispielsweise zu einem Abbremsen auf eine nicht gültige Geschwindigkeitsbegrenzung. In Fahrzeugen werden digitale Karten verwendet, welche aktuelle Geschwindigkeitsbegrenzungen enthalten, die von Messfahrzeugen zwar genau vermessen wurden, aber verhältnismäßig selten aktualisiert werden. Diese Karten können durch aktuellere Informationen zu Geschwindigkeitsbegrenzungen aus der Verkehrszeichenerkennung verbessert werden. Dabei soll jedoch vermieden werden, dass Kartenanteile durch möglicherweise falsch erkannte Verkehrszeichen verschlechtert werden. Außerdem sollen durch die gesammelte Verkehrszeichenerkennung Fahrzeugsysteme optimiert werden.There are cases where camera-based traffic sign recognition systems incorrectly recognize traffic signs. For example, traffic signs that have been turned to the side can be recognized as valid. If speed limits derived from this are entered into a digital map and used in vehicles, this can lead to undesirable driving behavior in driver assistance systems, for example braking to an invalid speed limit. Digital maps are used in vehicles that contain current speed limits that have been precisely measured by measuring vehicles but are updated relatively rarely. These maps can be improved with more current information on speed limits from traffic sign recognition. However, it should be avoided that parts of the map are possibly incorrectly recognized traffic signs. In addition, the collected traffic sign recognition should be used to optimize vehicle systems.

Dies ist mittels des vorliegenden Verfahrens möglich. Durch die Erkennung von unplausiblen Geschwindigkeitsbegrenzungen aus der Verkehrszeichenerkennung können Fahrzeug-Funktionen und die Verkehrszeichenerkennung weiter verbessert werden und Fehlfunktionen können zuverlässig vermieden werden. Außerdem wird vermieden, eine zugrundeliegende digitale Karte zumindest in Teilen zu verschlechtern.This is possible using the present method. By recognizing implausible speed limits from traffic sign recognition, vehicle functions and traffic sign recognition can be further improved and malfunctions can be reliably avoided. It also avoids at least partially deteriorating an underlying digital map.

Weiterhin ist es möglich, dass durch eine Analyse einer Vielzahl von Sensordaten an unplausiblen Verkehrszeichen Bilderkennungsalgorithmen verbessert werden können. Dazu kann beispielsweise auch eine Messkampagne in den Fahrzeugen gestartet werden, die dann weitere, sonst nicht zu übertragende Daten, wie beispielsweise hochaufgelöste Videodaten, überträgt.It is also possible that image recognition algorithms can be improved by analyzing a large amount of sensor data from implausible traffic signs. For example, a measurement campaign can be started in the vehicles, which then transmits additional data that would otherwise not be transmitted, such as high-resolution video data.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention are explained in more detail below with reference to a drawing.

Dabei zeigt:

1 schematisch einen Ablauf eines Verfahrens zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen.

It shows:

1 schematically shows a procedure for camera-based recognition and verification of traffic signs.

In der einzigen 1 ist ein Ablauf eines möglichen Ausführungsbeispiels eines Verfahrens zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen dargestellt.In the only 1 a sequence of a possible embodiment of a method for camera-based recognition and verification of traffic signs is shown.

In einem Verfahrensschritt S1 werden mittels an einer Vielzahl von Fahrzeugen angeordneten Kameras Bilder einer jeweiligen Fahrzeugumgebung erfasst und in einer Bildauswertung werden Verkehrszeichen in der jeweiligen Fahrzeugumgebung erkannt. Dann werden erkannte Verkehrszeichen statistisch ausgewertet, um eine auf einem Streckenabschnitt gültige Geschwindigkeitsbegrenzung für Fahrzeuge zu bestimmen.In a method step S1, images of a respective vehicle environment are captured using cameras arranged on a large number of vehicles, and traffic signs in the respective vehicle environment are recognized in an image analysis. Recognized traffic signs are then statistically evaluated in order to determine a speed limit for vehicles that applies on a section of road.

Beispielsweise wird der Verfahrensschritt S1 gemäß dem in DE 10 2021 005 438 A1 beschriebenen Verfahren durchgeführt, bei welchem ein punktuell erkanntes Verkehrszeichen einem Navigationsgerät übermittelt und in diesem einem vorgegebenen Streckenabschnitt einer digitalen Straßenkarte als Streckenattribut zugewiesen wird. Dabei wird das Verkehrszeichen von einer in einem sich auf dem Streckenabschnitt bewegenden Fahrzeug positionierten Kamera detektiert, wobei alle von den Kameras der Fahrzeuge in einem bestimmten Gebiet in einem vorgegebenen Zeitraum erkannten Verkehrszeichen gesammelt werden und die durch die Verkehrszeichen ermittelten Punkte einschließlich einer Fahrtrichtung der Fahrzeuge einem Streckennetz der bestehenden Straßenkarte zugewiesen werden. Aus der Gesamtheit der punktuellen Informationen werden die von den jeweiligen Verkehrszeichen beeinflussten Streckenabschnitte ausgewählt und mit den aus der Verkehrszeichenbeobachtung resultierenden Streckenattributen belegt, wobei die gewonnenen Streckenattribute Fahrzeugsystemen der Fahrzeuge zur Nutzung bereitgestellt werden.For example, the method step S1 is carried out according to the EN 10 2021 005 438 A1 described method is carried out, in which a traffic sign recognized at a specific point is transmitted to a navigation device and assigned as a route attribute to a predetermined section of a digital road map. The traffic sign is detected by a camera positioned in a vehicle moving on the section of the route, whereby all traffic signs recognized by the vehicles' cameras in a specific area within a predetermined period of time are collected and the points determined by the traffic signs, including a direction of travel of the vehicles, are assigned to a route network of the existing road map. From all of the point-based information, the sections of the route influenced by the respective traffic signs are selected and assigned the route attributes resulting from the traffic sign observation, whereby the route attributes obtained are made available to the vehicles' vehicle systems for use.

Anschließend erfolgt in einem weiteren Verfahrensschritt S2 ein Abgleich der mittels der kamerabasierten Verkehrszeichenerkennung bestimmten Geschwindigkeitsbegrenzung eines jeweiligen Streckenabschnitts mit in diesem Streckenabschnitt tatsächlich von Fahrzeugen gefahrenen Geschwindigkeiten. Anhand des Abgleichs werden an den von den einzelnen Verkehrszeichen beeinflussten Streckenabschnitten plausible und unplausible bestimmte Geschwindigkeitsbegrenzungen identifiziert und markiert. Dies kann beispielsweise mittels des in der DE 10 2022 002 337 B3 beschriebenen Verfahrens erfolgen. Anhand der kamerabasierten Verkehrszeichenerkennung bestimmte Geschwindigkeitsbegrenzungen sind beispielsweise dann unplausibel, wenn tatsächlich von Fahrzeugen in Streckenabschnitten gefahrene Geschwindigkeiten signifikant höher sind als in diesen Streckenabschnitten anhand der kamerabasierten Verkehrszeichenerkennung bestimmte Geschwindigkeitsbegrenzungen.Subsequently, in a further process step S2, the speed limit of a particular section of road determined by means of camera-based traffic sign recognition is compared with the speeds actually driven by vehicles on this section of road. Based on the comparison, plausible and implausible speed limits are identified and marked on the sections of road influenced by the individual traffic signs. This can be done, for example, using the EN 10 2022 002 337 B3 described procedure. Speed limits determined using camera-based traffic sign recognition are implausible, for example, if the speeds actually driven by vehicles on certain sections of the route are significantly higher than the speed limits determined on these sections of the route using camera-based traffic sign recognition.

In einem weiteren Verfahrensschritt S3 werden beispielsweise folgende Maßnahmen durchgeführt, wenn unplausible bestimmte Geschwindigkeitsbegrenzungen identifiziert werden.In a further process step S3, for example, the following measures are carried out if implausible specific speed limits are identified.

Beispielsweise werden in einer möglichen Maßnahme Informationen aus unplausiblen Geschwindigkeitsbegrenzungen nicht an Fahrzeugsysteme übertragen. Stattdessen können beispielsweise Informationen aus einer zugrundeliegenden digitalen Karte zum Betrieb der Fahrzeugsysteme verwendet werden. Das heißt, bei einer Aktualisierung digitaler Straßenkarten bleiben unplausible Geschwindigkeitsbegrenzungen ungenutzt.For example, in one possible measure, information from implausible speed limits is not transmitted to vehicle systems. Instead, information from an underlying digital map can be used to operate the vehicle systems. This means that when digital road maps are updated, implausible speed limits remain unused.

In einer weiteren möglichen Maßnahme werden insbesondere bei sehr unplausiblen Geschwindigkeitsbegrenzungen, bei welchen beispielsweise an einer Position eine Geschwindigkeitsbegrenzung auf 40 km/h anstatt einer realen Höhenbeschränkung auf 4 m Höhe erkannt wird und an der Position regelmäßig Geschwindigkeiten von 120 km/h gefahren werden, die kamerabasiert erkannten Verkehrszeichen mit den Geschwindigkeitsbegrenzungen vollständig ignoriert. Insbesondere wird eine Information eines letzten entgegen einer Fahrtrichtung des Fahrzeugs gelegenen Verkehrszeichens weiter auf einen folgenden Streckenabschnitt ausgerollt.In another possible measure, especially in the case of very implausible speed limits, where, for example, a speed limit of 40 km/h is detected at a position instead of a real height limit of 4 m and speeds of 120 km/h are regularly driven at the position, the camera-based detected traffic signs with the speed limits are completely ignored. In particular, information about a last vehicle travelling in the opposite direction is of the vehicle, the system rolls out to the following section of the road.

In einer weiteren möglichen Maßnahme wird insbesondere bei sehr unplausiblen Geschwindigkeitsbegrenzungen zu den Fahrzeugsystemen eine Information übertragen, dass an einer Position durch die Kameras häufig ein bestimmtes Verkehrszeichen falsch erkannt wird. Im Fahrzeug können dann solche kamerabasierten Verkehrszeichenerkennungen unterdrückt werden.Another possible measure, particularly in the case of very implausible speed limits, involves transmitting information to the vehicle systems that the cameras often incorrectly recognize a certain traffic sign at a certain position. Such camera-based traffic sign recognition can then be suppressed in the vehicle.

In einer weiteren möglichen Maßnahme können durch eine Analyse einer Vielzahl von Sensordaten an unplausiblen Verkehrszeichen Bilderkennungsalgorithmen verbessert werden. Dazu kann beispielsweise auch eine Messkampagne in den Fahrzeugen gestartet werden, die dann weitere, sonst nicht zu übertragende Daten, wie beispielsweise hochaufgelöste Videodaten, überträgt.Another possible measure is to improve image recognition algorithms by analyzing a large amount of sensor data from implausible traffic signs. For example, a measurement campaign can be started in the vehicles, which then transmits additional data that would otherwise not be transmitted, such as high-resolution video data.

Der in dem im Verfahrensschritt S2 durchgeführte Abgleich der bestimmten Geschwindigkeitsbegrenzungen mit den tatsächlich gefahrenen Geschwindigkeiten erfolgt beispielsweise folgendermaßen: Fahrzeuge erfassen ihre aktuell gefahrene Geschwindigkeit in fest vorgegebenen Orts- und Zeitabständen und übermitteln diese an eine fahrzeugexterne zentrale Recheneinheit. Gegebenenfalls erfolgt auch eine Speicherung der Geschwindigkeitswerte in den Fahrzeugen. Mittels der Recheneinheit werden von den Fahrzeugen gefahrene Trajektorien Verkehrswegen zugeordnet, wobei für vorgegebene Messpunkte auf den Verkehrswegen getrennt nach Fahrtrichtung die gefahrenen Geschwindigkeiten erfasst werden. Die Messpunkte sind beispielsweise Punkte mit festen Abständen von einer Straßenkreuzung zu einer anderen Straßenkreuzung oder beispielsweise in einer digitalen Karte in Form von Geokoordinaten enthaltene Zwischenpunkte auf den Verkehrswegen. In der Regel werden die Fahrzeuge nicht genau an diesen Messpunkten die Geschwindigkeit gemessen haben. Dann kann ein nächstgelegener vom Fahrzeug gemessener Punkt verwendet werden oder die gefahrene Geschwindigkeit zwischen den zwei am nächsten zu einem Kartenpunkt vom Fahrzeug gemessenen Punkten interpoliert werden.The comparison of the determined speed limits with the actual speeds driven in process step S2 is carried out as follows, for example: vehicles record their current speed at fixed location and time intervals and transmit these to a central processing unit external to the vehicle. If necessary, the speed values are also stored in the vehicles. The processing unit is used to assign trajectories driven by the vehicles to traffic routes, with the speeds driven being recorded for predetermined measuring points on the traffic routes separately according to the direction of travel. The measuring points are, for example, points with fixed distances from one road junction to another road junction or, for example, intermediate points on the traffic routes contained in a digital map in the form of geocoordinates. As a rule, the vehicles will not have measured their speed precisely at these measuring points. In this case, a nearest point measured by the vehicle can be used or the speed driven can be interpolated between the two points measured by the vehicle closest to a map point.

Weiterhin kann eine Validierung der Geschwindigkeitsbegrenzungen aus den Werten an den Messpunkten nach einem der im Folgenden beschriebenen Methoden durchgeführt werden.Furthermore, a validation of the speed limits can be carried out from the values at the measuring points using one of the methods described below.

In einer möglichen Methode wird eine künstlichen Intelligenz verwendet. Hierbei werden mittels Modellen mit künstlicher Intelligenz aus verschiedenartigen Eingangsdaten als Ausgabe die an einem Messpunkt gültige Geschwindigkeitsbegrenzung vorhergesagt. Hierzu sind die Modelle trainiert, wozu zumindest in einem Teil des Streckennetzes die gültigen Geschwindigkeitsbegrenzungen vorgegeben werden. Das kann zum einen durch Messkampagnen erfolgen, in denen die gültigen Geschwindigkeitsbegrenzungen manuell bestimmt werden. Alternativ können aus Verkehrszeichenbeobachtungen ausgerollte Geschwindigkeitsbegrenzungen mit einer anderen Datenquelle, beispielsweise einem Hersteller einer digitalen Karte, verglichen werden. Dort, wo beide Quellen denselben Geschwindigkeitswert aufweisen, ist dieser Wert mit hoher Wahrscheinlichkeit richtig und kann somit bei der künstlichen Intelligenz in einem Trainings- und einem Testdatensatz verwendet werden.One possible method uses artificial intelligence. This involves using models with artificial intelligence to predict the speed limit valid at a measuring point from various types of input data as output. The models are trained for this purpose, for which the valid speed limits are specified in at least part of the route network. This can be done through measurement campaigns in which the valid speed limits are determined manually. Alternatively, speed limits rolled out from traffic sign observations can be compared with another data source, for example a digital map manufacturer. Where both sources have the same speed value, this value is highly likely to be correct and can therefore be used by the artificial intelligence in a training and a test data set.

In einer weiteren möglichen Methode erfolgt eine unabhängige Prognose einer gültigen Geschwindigkeitsbegrenzung an jedem Messpunkt. Dabei werden die von den einzelnen Fahrzeugen gemessenen Geschwindigkeiten jeweils an einem Punkt als Eingangsdaten für das Modell mit der künstlichen Intelligenz verwendet und eine gültige Geschwindigkeitsbegrenzung an diesem Punkt vorhergesagt. Je nach Modell können die Messwerte roh eingespeist werden oder als Häufigkeitsverteilung, beispielsweise als Anzahl der gemessenen Geschwindigkeiten in 5er-Blöcken (zum Beispiel 0 km/h bis 5 km/h, 5 km/h bis 10 km/h usw.). Dies entspricht insbesondere der in DE 10 2022 002 337 B3 für jeden Messpunkt beschriebenen Vorgehensweise. Die Blöcke werden je nach Anwendungsfall logisch entsprechend bis zu einer Grenze von 130 km/h aufgeführt. Ab der Grenze werden alle darauffolgende Werte beispielsweise in einen Block, zum Beispiel > 130 km/h, eingeordnet. Hierbei ergibt sich aufgrund der entsprechenden Datengrundlage meist ein unausgewogener Trainingsdatensatz. Um dies zu umgehen, wird eine am häufigsten vorkommende Geschwindigkeitsbegrenzung mit einem so genannten (Random-)Undersampling-Verfahren reduziert. Die Häufigkeitsverteilung kann auch mit klassischen heuristischen Methoden zur Vorhersage der Geschwindigkeitsbegrenzung eingesetzt werden. Anschließend werden die Vorhersagen aller Messpunkte betrachtet, die in dem Bereich des Streckennetzes liegen, auf das ein erkanntes Verkehrszeichen ausgerollt wurde. Ein Verkehrszeichen kann dann als valide betrachtet werden, wenn bei einem gewissen Anteil von beispielsweise 50 % dieser Messpunkte dieselbe Geschwindigkeitsbegrenzung vorhergesagt wurde, die auch mit dem Verkehrszeichen erkannt wurde. Andernfalls ist das Verkehrszeichen nicht valide. Zusätzlich zur Anzahl der richtigen Vorhersagen kann je nach Modell mit künstlicher Intelligenz auch die Konfidenz der jeweiligen Vorhersage in die Entscheidung mit einbezogen werden.Another possible method involves an independent prediction of a valid speed limit at each measuring point. The speeds measured by the individual vehicles at one point are used as input data for the model with the artificial intelligence and a valid speed limit is predicted at this point. Depending on the model, the measured values can be fed in raw or as a frequency distribution, for example as the number of measured speeds in blocks of 5 (for example 0 km/h to 5 km/h, 5 km/h to 10 km/h, etc.). This corresponds in particular to the EN 10 2022 002 337 B3 for each measuring point. The blocks are listed logically according to the application up to a limit of 130 km/h. From this limit onwards, all subsequent values are classified into a block, for example > 130 km/h. This usually results in an unbalanced training data set due to the corresponding data basis. To get around this, a most frequently occurring speed limit is reduced using a so-called (random) undersampling procedure. The frequency distribution can also be used with classic heuristic methods to predict the speed limit. The predictions of all measuring points that lie in the area of the route network to which a recognized traffic sign was rolled out are then considered. A traffic sign can be considered valid if, for a certain proportion of these measuring points, for example 50%, the same speed limit was predicted that was also recognized with the traffic sign. Otherwise, the traffic sign is not valid. In addition to the number of correct predictions, depending on the artificial intelligence model, the confidence of the respective prediction can also be included in the decision.

In einer weiteren möglichen Methode erfolgt die Validierung einer Änderung einer Geschwindigkeitsbegrenzung durch Messpunkte in einer Umgebung eines Verkehrszeichens. Insbesondere bei einem Übergang von einer höheren zu einer geringeren Geschwindigkeitsbegrenzung kommt es zu einem charakteristischen Abbremsverhalten der Fahrzeuge. Deshalb können hier einige Messpunkte vor und hinter dem erkannten Verkehrszeichen als Eingangsdaten für die künstliche Intelligenz verwendet werden. Als Ausgabe wird dann der Wert des Verkehrszeichens vorhergesagt. Dabei können die gemessenen Geschwindigkeiten jeweils wieder roh oder als Häufigkeitsverteilungen verwendet werden.In another possible method, the validation of a change in a speed limit is carried out by measuring points in an area of a traffic sign. In particular, when moving from a higher to a lower speed limit, a characteristic braking behavior of the vehicles occurs. Therefore, some measuring points in front of and behind the recognized traffic sign can be used as input data for the artificial intelligence. The value of the traffic sign is then predicted as the output. The measured speeds can be used raw or as frequency distributions.

In einer weiteren möglichen Methode erfolgt die Validierung anhand einer Verifikation bedingter Geschwindigkeitsbegrenzungen. Bedingte Geschwindigkeitsbegrenzungen können mit zusätzlichen Verkehrszeichen, auch als Zusatzschilder bezeichnet, angezeigt werden, auf welchen bestimmte Bedingungen, beispielsweise „bei Regen“ oder „zu bestimmten Uhrzeiten“, dargestellt sind. Wenn diese Bedingung nicht erfüllt ist, gilt jeweils eine andere Geschwindigkeitsbegrenzung, die mit einem weiteren Zeichen angezeigt werden kann, aus einem Straßentyp hervorgeht (beispielsweise 100 km/h auf Landstraßen in Deutschland) oder sich aus einem vorherigen Verkehrszeichen ergibt. Wenn mit den Geschwindigkeitsmessungen der Fahrzeuge weitere Daten erhoben werden, beispielsweise eine Uhrzeit oder ein Status eines Scheibenwischers, können an den Messpunkten die Geschwindigkeitsmessungen klassifiziert werden und beispielsweise bei einem angezeigten Regen-Limit getrennte Vorhersagen aus den Daten mit aktivem und nicht aktivem Scheibenwischer gemacht werden. Bei angezeigten Uhrzeiten für das Tempolimit können entsprechend Zeitbereiche aus den Messpunkten klassifiziert werden. Wenn in den Fahrzeugen aus der Bilderkennung die Zusatzschilder nicht vollständig ausgewertet werden können und beispielsweise nur die Information abgeleitet wird, dass eine zeitliche Einschränkung gilt, aber nicht eine konkrete Uhrzeit, kann mit Künstlichen-Intelligenz-Methoden in den Daten der Messpunkte nach mehreren für eine Geschwindigkeitsbegrenzung charakteristischen Verteilungen gesucht und damit die für die Einschränkung gültige Uhrzeit ermittelt werden.In another possible method, validation is carried out by verifying conditional speed limits. Conditional speed limits can be displayed with additional traffic signs, also known as additional signs, on which certain conditions are shown, for example "when it rains" or "at certain times of day". If this condition is not met, a different speed limit applies, which can be displayed with another sign, can be determined from a road type (for example 100 km/h on country roads in Germany) or can be determined from a previous traffic sign. If additional data is collected with the speed measurements of the vehicles, for example a time of day or the status of a windshield wiper, the speed measurements can be classified at the measuring points and, for example, if a rain limit is displayed, separate predictions can be made from the data with active and inactive windshield wipers. If times of day for the speed limit are displayed, time ranges can be classified accordingly from the measuring points. If the additional signs in the vehicles cannot be fully evaluated from image recognition and, for example, only the information that a time restriction applies is derived, but not a specific time, artificial intelligence methods can be used to search the data from the measuring points for several distributions that are characteristic of a speed limit and thus determine the time that is valid for the restriction.

Claims

Method for camera-based recognition and verification of traffic signs, wherein - images of a respective vehicle environment are captured by means of cameras arranged on a plurality of vehicles, - traffic signs in the respective vehicle environment are recognized in an image analysis and - recognized traffic signs are statistically evaluated in order to determine a speed limit for vehicles that is valid on a section of road, - the speed limit of a respective section of road determined by means of camera-based traffic sign recognition is compared with the speeds actually driven by vehicles on this section of road, - plausible and implausible determined speed limits are identified on the basis of the comparison, characterized in that - implausible speed limits are not made available to other vehicle systems and/or remain unused when digital road maps are updated and/or are suppressed during camera-based traffic sign recognition.

Procedure according to Claim 1 , characterized in that if a predetermined degree of plausibility of speed limits recorded by camera at a position is undershot and if a frequency of implausible speed limits recorded at this position is exceeded, the camera-based traffic sign recognition at this position is suppressed.

Procedure according to Claim 1 or 2 , characterized in that , in order to compare the determined speed limits with the speeds actually driven, - vehicles record their current speed at fixed location and time intervals and transmit this to a central processing unit external to the vehicle, - trajectories driven by the vehicles are assigned to traffic routes by means of the processing unit, - the speeds driven are recorded for predetermined measuring points on the traffic routes separately according to direction of travel and - a validation of the speed limits is carried out using - a use of artificial intelligence and/or - an independent forecast of a valid speed limit at each measuring point and/or - a verification of a change in a speed limit by measuring points in the vicinity of a traffic sign and/or - a verification of conditional speed limits.