-
Die Erfindung betrifft ein Verfahren zum Klassifizieren von Objekten in einem Bild, welches die Fahrbahn im Vorfeld eines Kraftfahrzeugs zeigt. Die Erfindung betrifft ferner ein Steuergerät, welches zur Durchführung dieses Verfahrens eingerichtet/programmiert ist sowie ein Kraftfahrzeug mit einem solchen Steuergerät.
-
Moderne Assistenzsysteme unterstützen den Fahrer beim Steuern eines Kraftfahrzeugs. Hierzu ist es insbesondere erforderlich, den Assistenzsystemen Informationen über Objekte bereitzustellen, die sich im Vorfeld des Kraftfahrzeugs angeordnet befinden. Dabei ist es für die ordnungsgemäße Funktion der Assistenzsysteme von Bedeutung, Objekte dahingehend zu klassifizieren, ob sie der im Vorfeld verlaufenden Fahrbahn zuzuordnen sind - es sich also typischerweise um die Fahrbahn befahrende Fahrzeuge handelt - oder um andere Objekte, die nicht in unmittelbarem Zusammenhang mit der Fahrbahn stehen.
-
Aus dem Stand der Technik ist die Patentanmeldung
DE 10 2015 204 529 A1 bekannt. Diese Schrift beschreibt eine Vorrichtung sowie ein Verfahren zur Objekterkennung in einem Fortbewegungsmittel. Das Verfahren umfasst die Schritte: Erfassen eines Umfeldes des Fortbewegungsmittels durch einen Sensor des Fortbewegungsmittels, Auswerten einer ersten Menge von Daten des Sensors, Erkennen eines veränderten Betriebsparameters des Fortbewegungsmittels, und im Ansprechen darauf Definieren einer zweiten Menge von Daten des Sensors und Auswerten der zweiten Menge von Daten.
-
Aus dem Stand der Technik ist die Patentanmeldung
DE 103 36 329 A1 bekannt. Diese Schrift beschreibt Verfahren, eine Vorrichtung und eine Verarbeitungseinheit zur Verbesserung der Sicht in einem Kraftfahrzeug. Aus dem Bild der Umgebung des Kraftfahrzeuges, das eine Kamera des Kraftfahrzeuges aufnimmt, wird ein Bildausschnitt bereitgestellt, wobei die Größe des Bildausschnittes und zusätzlich oder alternativ die Position des Bildausschnittes innerhalb des Bildes in Abhängigkeit des Straßenverlaufes und/oder der aktuellen und/oder vom Fahrer gewünschten Fahrtrichtung des Kraftfahrzeuges eingestellt wird.
-
Aus dem Stand der Technik ist die Patentanmeldung
DE 10 2020 003 100 A1 bekannt. Diese Schrift betrifft ein Verfahren zu einer kamerabasierten Erkennung von Lichtsignalanlagen in einer Fahrzeugumgebung, wobei mittels zumindest einer Kamera eines Fahrzeugs ein vor dem Fahrzeug befindlicher Abschnitt der Fahrzeugumgebung erfasst wird und in einer Auswertung in mittels der Kamera erfassten Bildern zumindest eine Lichtsignalanlage erkannt wird. Erfindungsgemäß wird ein zur Auswertung jeweils vorgesehener Bildbereich der erfassten Bilder in Abhängigkeit von einem Abstand der Kamera zu einer in der Fahrzeugumgebung befindlichen Lichtsignalanlage in horizontaler Richtung automatisch begrenzt, wobei die automatische Begrenzung derart erfolgt, dass mit wachsendem Abstand eine Breite des Bildbereichs in horizontaler Richtung verringert wird.
-
Aus dem Stand der Technik ist die Patentanmeldung
DE 10 2018 207 407 A1 bekannt. Diese Schrift beschreibt ein Fortbewegungsmittel, ein Fahrerassistenzsystem sowie ein Verfahren zur Anzeige eines Abbildes eines Umgebungsbereiches eines Fortbewegungsmittels vorgeschlagen. Das Verfahren umfasst die Schritte: Erfassen des Umgebungsbereiches des Fortbewegungsmittels mittels eines ersten Umgebungssensors, Darstellen eines ersten Teilbereiches eines Abbildes des erfassten Umgebungsbereiches auf einer Anzeigeeinheit, Ermitteln, dass ein zweiter Teilbereich des Abbildes des erfassten Umgebungsbereiches eine gegenüber dem ersten Teilbereich erhöhte Relevanz aufweist und im Ansprechen darauf Darstellen des zweiten Teilbereiches anstelle des ersten Teilbereiches des Abbildes des erfassten Umgebungsbereiches auf der Anzeigeeinheit.
-
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Klassifizieren von Objekten im Vorfeld eines Kraftfahrzeugs zu schaffen, welches oben genannte Problematik adressiert.
-
Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Patentansprüche.
-
Grundidee der Erfindung ist demnach, in einem mittels einer Kamera oder dergleichen aufgezeichneten Bild des Fahrzeug-Vorfeldes einen Bildausschnitt zu ermitteln, der der im Vorfeld verlaufenden Fahrbahn zugeordnet werden kann. Hierzu wird erfindungsgemäß mit Hilfe von Kartendaten oder GPS-Positionsdaten der Verlauf der Fahrbahn im Vorfeld des Kraftfahrzeugs ermittelt und dieser Verlauf in das Bild transformiert. Auf diese Weise lässt sich besagter, der Fahrbahn zugeordneter Bildausschnitt mit hoher Präzision ermitteln. Somit lassen sich in einem anschließenden Verfahrensschritt unter Verwendung herkömmlicher Objekterkennung im Bild identifizierte Objekte als jeweils der Fahrbahn zugehörig klassifizieren, wenn sie in besagtem Bildausschnitt angeordnet sind. Umgekehrt können die identifizierten Objekte als nicht der Fahrbahn zugehörig klassifiziert werden, wenn sie sich nicht in dem besagten Bildausschnitt befinden. Die Klassifizierung erkannte Objekte kann dann besagten Fahrzeugassistenzsystemen zur weiteren Verarbeitung zur Verfügung gestellt werden.
-
Im Einzelnen dient das erfindungsgemäße Verfahren zum Klassifizieren von Objekten in einem Bild, welches die Fahrbahn im Vorfeld eines Kraftfahrzeugs zeigt, und umfasst hierzu vier hierzu Maßnahmen a) bis d). Gemäß Maßnahme a) wird der Verlauf von zumindest einem Teil der im Bild abgebildeten Fahrbahn mithilfe von GPS- oder/und Karten-Daten ermittelt. In Maßnahme b) wird in Abhängigkeit von dem in Maßnahme a) ermittelten Verlaufs der Fahrbahn ein Bildausschnitt in dem Bild diesem Teil der Fahrbahn zugeordnet. In Maßnahme c) wird in dem Bild wenigstens ein Objekt identifiziert. In Maßnahme d) wird dieses Objekt als der Fahrbahn zugeordnet klassifiziert, wenn das Objekt in dem in Maßnahme c) festgelegten Bildausschnitt angeordnet ist. Andernfalls kann dieses Objekt als nicht der Fahrbahn zugeordnet klassifiziert werden. In dieser Weise kann in Maßnahme d) mit allen in Maßnahme c) identifizierten Objekten vorgegangen werden.
-
Gemäß einer bevorzugten Ausführungsform wird in Maßnahme a) der Verlauf der Fahrbahn bzw. des Teils der Fahrbahn in einer Draufsicht von oben auf das Kraftfahrzeug und in einer Seitenansicht des Kraftfahrzeugs bestimmt. Mit diesen Informationen lässt sich dann die Position der Fahrbahn als Bildausschnitt im Bild des Vorfelds ermitteln.
-
Gemäß einer vorteilhaften Weiterbildung wird in der Draufsicht zumindest ein seitlicher Begrenzungssichtstrahl, welcher in der Draufsicht die Fahrbahn gerade noch tangiert, bestimmt. Dabei wird zumindest der seitliche Begrenzungssichtstrahl aus der Draufsicht in das Bild transformiert.
-
Besonders bevorzugt werden in der Seitenansicht der Hauptsichtstrahl des Kraftfahrzeugs und ein oberer Begrenzungssichtstrahl, welcher in der Seitenansicht die Fahrbahn gerade noch tangiert, bestimmt. Dabei werden der Hauptsichtstrahl und der obere Begrenzungssichtstrahl aus der Seitenansicht so in das Bild transformiert, so dass sie eine teilweise Begrenzung des in Maßnahme b) festgelegten Bildausschnitts bilden. Dadurch lässt sich die Position der Fahrbahn im Bildausschnitt hochgenau ermitteln.
-
Gemäß einer vorteilhaften Weiterbildung des Verfahrens werden der in das Bild transformierte seitliche Begrenzungssichtstrahl und eine im Bild mittels Bildanalyse erkannte linke oder rechte Fahrspurbegrenzung der Fahrbahn als linke und rechte Begrenzung des Bildausschnitts festgelegt. Insbesondere können die linken und rechten Fahrspurbegrenzungen herangezogen werden, die im Bild mit größtmöglichem Abstand von der Kamera bzw. vom Fahrzeug gerade noch im Bild identifiziert, also erkannt werden können („furthest possible range“).
-
Gemäß einer vorteilhaften Weiterbildung des Verfahrens werden der in das Bild transformierte Hauptsichtstrahl und der in das Bild transformierte obere Begrenzungssichtstrahl als obere und untere Begrenzungen des Bildausschnitts festgelegt.
-
Gemäß einer weiteren vorteilhaften Weiterbildung der Erfindung werden in Maßnahme c) identifizierte Objekte, die nicht in dem Bildausschnitt enthalten sind, also außerhalb von diesem angeordnet sind, in Maßnahme d) als nicht der Fahrbahn zugeordnet klassifiziert. Auch diese Information kann zur Weiterverarbeitung an ein Fahrzeugassistenzsystem weitergegeben werden.
-
Die Erfindung betrifft ferner ein Steuergerät, das zur Durchführung des voranstehend vorgestellten, erfindungsgemäßen Verfahrens eingerichtet/ programmiert ist. Die voranstehend erläuterten Vorteile des erfindungsgemäßen Verfahrens übertragen sich daher auch auf das erfindungsgemäße Steuergerät.
-
Die Erfindung betrifft ferner ein Kraftfahrzeug mit einem erfindungsgemäßen Steuergerät. Die voranstehend erläuterten Vorteile des erfindungsgemäßen Verfahrens übertragen sich daher auch auf das erfindungsgemäße Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug umfasst eine Bilderzeugungseinrichtung, vorzugsweise eine Kamera, zum Erzeugen wenigstens eines Bildes des Vorfelds des Kraftfahrzeugs, welche datenübertragend mit dem Steuergerät verbunden ist, so dass das von der Bilderzeugungseinrichtung erzeugte Bild an das Steuergerät übertragen werden kann. Ferner umfasst das erfindungsgemäße Kraftfahrzeug einen Positionsdatenempfänger oder/und mit Navigationssystem, mittels welchem GPS- bzw. Karten-Daten, zum Berechnen des Verlaufs der Fahrbahn erzeugt und an das Steuergerät übermittelt werden können.
-
Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus den Zeichnungen und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.
-
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Komponenten beziehen.
-
Es zeigen, jeweils schematisch:
- 1-4 Darstellungen eines Bildes des Vorfelds eines Kraftfahrzeugs, anhand welcher die verschiedenen Maßnahmen des erfindungsgemäßen Verfahrens beispielhaft erläutert werden.
-
Im Folgenden wird anhand der Figuren beispielhaft das erfindungsgemäße Verfahren zum Klassifizieren von Objekten 2 in einem Bild 1, welches die Fahrbahn 3 im Vorfeld 4 eines Kraftfahrzeugs 10 zeigt, illustriert.
-
Das Verfahren umfasst vier Maßnahmen a) bis d). In 1 ist ein solches Bild 1 gezeigt. Im Bild 1 ist eine Fahrbahn 3 enthalten. Ebenso sind im Bild 1 mehrere Objekte 2 - in Form von auf der Fahrbahn 3 entgegenkommenden Kraftfahrzeugen - enthalten.
-
In Maßnahme a) wird ein Verlauf 7 der im Bild 1 abgebildeten Fahrbahn 3 mithilfe von GPS- oder Karten-Daten berechnet in einer Draufsicht auf das Kraftfahrzeug 10 berechnet. In einer auf Maßnahme a) folgenden Maßnahme b) wird in Abhängigkeit von dem in Maßnahme a) ermittelten Verlauf 7 der Fahrbahn 3 in dem Bild 1 ein Bildausschnitt 5 als der Fahrbahn 3 zugeordnet festgelegt. Außerdem werden im Bild 1 mittels Bildanalyse eine linke und eine rechte Fahrspurbegrenzung LSB, RSB der Fahrbahn 3 erkannt. Dabei können bevorzugt diejenigen linken und rechten Fahrspurbegrenzungen LSB, RSB herangezogen werden, die im Bild 1 mit größtmöglichem Abstand von der Kamera bzw. vom Kraftfahrzeug 10 gerade noch im Bild 1 identifiziert, also erkannt werden können („furthest possible range“).
-
Hierzu wird in Maßnahme a) wie in 2 rechts dargestellt für die im Bild 1 gezeigte Fahrbahn 3 der Verlauf 7 der Fahrbahn 3 in einer Draufsicht von oben auf das Kraftfahrzeug 10 bzw. auf die Fahrbahn 3 bestimmt. Dieser Verlauf 7 ist in Draufsicht, also aus einer Vogelperspektive, in 2 rechts dargestellt.
-
In der Draufsicht werden ein Hauptsichtstrahl HS des Kraftfahrzeugs 1 und ein seitlicher Begrenzungssichtstrahl SBS, welcher in der Draufsicht die Fahrbahn 3 gerade noch tangiert, bestimmt. Hierzu wird in der Draufsicht auf das Kraftfahrzeug 1 bzw. auf die Fahrbahn 3 der Zwischenwinkel α zwischen dem Hauptsichtstrahl HS und dem seitlichen Begrenzungssichtstrahl SBS bestimmt. Mithilfe des Zwischenwinkels α kann der seitliche Begrenzungssichtstrahl SBS aus der Draufsicht in das Bild 1 transformiert und dort eingezeichnet werden.
-
In analoger Weise wird wie in 2 dargestellt in Maßnahme a) der Verlauf 7 der Fahrbahn 3 in einer Seitenansicht des Kraftfahrzeugs 10 bestimmt. In der Seitenansicht werden aus dem Verlauf 7 der Fahrbahn 3 der Hauptsichtstrahl HS des Kraftfahrzeugs 10 und ein oberer Begrenzungssichtstrahl OBS, welcher in der Seitenansicht die Fahrbahn 3 gerade noch tangiert, bestimmt. Auch der Hauptsichtstrahl HS und der obere Begrenzungssichtstrahl OBS werden aus der Seitenansicht in das Bild 1 transformiert, so dass sie eine teilweise Begrenzung des in Maßnahme b) festgelegten Bildausschnitts 5 bilden. Hierzu wird in der Seitenansicht auf das Kraftfahrzeug 1 bzw. auf die Fahrbahn 3 der Zwischenwinkel β zwischen dem Hauptsichtstrahl HS und dem oberen Begrenzungssichtstrahl OBS bestimmt. Mithilfe des Zwischenwinkels β kann neben dem Hauptsichtstrahl HS auch der obere Begrenzungssichtstrahl OBS aus der Draufsicht das Bild 1 transformiert und dort eingezeichnet werden. Dies ist in der 3 dargestellt. Außerdem werden wie in 4 dargestellt die im Bild 1 erkannte 1 linke Fahrspurbegrenzung LSB und der in das Bild 1 transformierte seitliche Begrenzungssichtstrahl SBS als linke und rechte Begrenzungen 9a, 9b des Bildausschnitts 5 festgelegt. Weiterhin werden der in das Bild 1 transformierte Hauptsichtstrahl HS und der in das Bild 1 transformierte obere Begrenzungssichtstrahl OBS als obere und untere Begrenzungen 10a, 10b des Bildausschnitts 5 festgelegt. Auf diese Weise wird in Maßnahme b) der Bildausschnitt 5 vollständig begrenzt. Der wie voranstehend beschrieben ermittelte Bildausschnitt 5 des Bildes 1 wird als der Fahrbahn 3 zugehörig festgelegt.
-
In Maßnahme c) werden verschiedene Objekte 2 in dem Bild 1 identifiziert. In Maßnahme d) wird dann für jedes einzelne identifizierte Objekt 2 eine Klassifikation durchgeführt. Dabei wird jedes der identifizierten Objekte 2 genau dann als der Fahrbahn 3 zugeordnet klassifiziert, wenn das betreffende Objekt 2 in dem in Maßnahme c) festgelegten Bildausschnitt 5 angeordnet ist.
-
Dies ist für alle in 4 gezeigten Objekte 2 in Form entgegenkommender Kraftfahrzeuge der Fall, d.h. sie werden alle als der Fahrbahn 3zugeordnet klassifiziert. Außerhalb des Bildausschnitts 5 angeordnete Objekte (in 4 nicht gezeigt) können hingegen als nicht der Fahrbahn 3 zugeordnet klassifiziert werden.