DE102015111907B4

DE102015111907B4 - Algorithmus zum Erweitern des Erkennungsbereichs für eine AVM-Haltelinienerkennung

Info

Publication number: DE102015111907B4
Application number: DE102015111907.2A
Authority: DE
Inventors: Wende Zhang; Zhencheng Hu
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-07-23
Filing date: 2015-07-22
Publication date: 2023-08-24
Anticipated expiration: 2035-07-23
Also published as: DE102015111907A1; CN105303157B; CN105303157A; US20160026878A1; US10318824B2

Abstract

System in einem Fahrzeug (10), das einen erweiterten Erkennungsbereich einer Haltelinie auf einer Fahrbahn bereitstellt, wobei das System Folgendes umfasst:- eine Frontkamera (20) auf dem Fahrzeug (10), die Bilder der Fahrbahn vor dem Fahrzeug (10) bereitstellt; und- einen Controller (26), der programmiert ist, um die Bilder von der Frontkamera (20) zu empfangen, wobei der Controller (26) ferner programmiert ist, um einen oberen Abschnitt eines unverzerrten Frontbildes von der Frontkamera (20) zu entnehmen, wobei der obere Abschnitt auf ein erweitertes Bild aus der Vogelperspektive erneut abgebildet wird, so dass der Erkennungsbereich der Haltelinie erweitert ist, wobei der Controller (26) ferner programmiert ist, um Spurstreifen in dem unverzerrten Frontbild zu erkennen, um einen Referenzwert zu berechnen, wobei der Referenzwert verwendet wird, um einen Bereich des Frontkamerabildes zu bestimmen, der als der obere Abschnitt zu entnehmen ist und auf das erweiterte Bild aus der Vogelperspektive erneut abzubilden ist und ferner umfassend das Verwenden eines vorbestimmten sicheren Wertes als Referenzwert, wenn die Spurstreifen in den Bildern von der Frontkamera (20) nicht erkannt werden, wobei der Controller (26) ferner programmiert ist, um eine erweiterte Spitze aus dem entnommenen oberen Abschnitt des Frontbildes zu erkennen, die der Haltelinie entspricht.

Description

KREUZVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung nimmt das Prioritätsdatum der vorläufigen US-Patentanmeldung mit der Seriennummer 62/027,953 , unter dem Titel „Algorithm to Extend Detecting Range for AVM Stop Line Detection“, eingereicht am 23. Juli 2014, in Anspruch.
HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein System in einem Fahrzeug gemäß Anspruch 1 und ein Verfahren zum Bereitstellen eines erweiterten Erkennungsbereichs in einem Fahrzeug für eine Haltelinie auf einer Fahrbahn gemäß Anspruch 6..
Beschreibung der verwandten Technik
Moderne Fahrzeuge werden immer selbstständiger, d.h. moderne Fahrzeuge sind in der Lage, eine Fahrsteuerung mit geringerem Fahrereingriff bereitzustellen. Seit einigen Jahren gibt es bereits Tempomate in den Fahrzeugen, wobei der Fahrzeugbediener eine bestimmte Geschwindigkeit des Fahrzeugs einstellen kann und das Fahrzeug diese Geschwindigkeit beibehält, ohne dass der Fahrer das Gaspedal betätigt. In der Technik wurden kürzlich Abstandsregeltempomaten entwickelt, bei denen das System nicht nur die eingestellte Geschwindigkeit bewahrt, sondern auch das Fahrzeug automatisch abbremst, falls ein langsamer fahrendes Fahrzeug vor dem betreffenden Fahrzeug unter Verwendung von diversen Sensoren, wie etwa einem Radar und Kameras, erkannt wird. Moderne Fahrzeugsteuersysteme können auch selbstständiges Parken umfassen, wobei das Fahrzeug automatisch die Lenksteuerung zum Einparken des Fahrzeugs bereitstellt, und wobei das Fahrzeug anhält oder einen Fahrer warnt anzuhalten, wenn eine Haltelinie auf einer Fahrbahn erkannt wird.
Die Haltelinienerkennung und die Spurstreifenerkennung bei selbstständigen oder teilweise selbstständigen Fahrzeugen sind in der Technik bekannt. Eine Haltelinie ist eine durchgezogene weiße Linie auf einer Fahrbahn, die eine Stelle angibt, an der ein Fahrzeug, das auf der Fahrbahn fährt, halten soll. In den Vereinigten Staaten sind diese durchgezogenen weißen Haltelinien ungefähr 12 bis 24 Zoll breit. In Japan beträgt die Breite ungefähr 0,3 bis 0,45 m, und in China beträgt die Breite der Haltelinie ungefähr 0,2 bis 0,4 m. In allen Ländern sind die Haltelinien rechtwinklig zu den Linien der Spurstreifen. Wenn bekannte Halteerkennungssysteme verwendet werden, kann es sein, dass diese Systeme unzuverlässig sind, weil Schmutz, Reifenpolitur und undeutliche Haltelinienmarkierungen problematisch sein können. Beispielsweise können bekannte Kantendetektoren, wie etwa eine Sobel- und Canny-Kantenerkennung, ungenau sein, wenn sie eine mögliche Linie aus Schmutz, wechselnder Beleuchtung und anderem Rauschen erkennt, wodurch ein Sicherheitsrisiko entsteht. Zusätzlich sind die bekannten Algorithmen mit oder ohne dazugehörigen Spurstreifen kompliziert. Somit besteht in der Technik ein Bedarf an einem schnellen und robusten Haltelinien-Erkennungssystem, das die Verarbeitungszeit reduziert und die Fahrzeugsicherheit erhöht. Ferner besteht in der Technik ein Bedarf an einer Erkennung und Verfolgung der Haltelinie, um die Fahrzeugsicherheit weiter zu erhöhen.
Die EP 2 597 614 A1 offenbart ein Automobilkamerasystem und sein Kalibrierungsverfahren, und ein Kalibrierungsprogramm.
Die US 2004 / 0 105 579 A1 offenbart ein antriebsunterstützendes Gerät.
Die US 2003 / 0 197 660 A1 offenbart ein Bildanzeigegerät, -verfahren und -programm für Kraftfahrzeuge.
KURZDARSTELLUNG DER ERFINDUNG
Gemäß den Lehren der vorliegenden Erfindung werden ein System gemäß Anspruch 1 und ein Verfahren zum Bereitstellen eines erweiterten Erkennungsbereichs einer Haltelinie auf einer Fahrbahn gemäß Anspruch 6 offenbart.
Zusätzliche Merkmale der vorliegenden Erfindung werden aus der nachstehenden Beschreibung und den beiliegenden Ansprüchen hervorgehen, die zusammen mit den beiliegenden Zeichnungen zu sehen sind.
Figurenliste
Es zeigen:

1 eine Abbildung einer Draufsicht eines Fahrzeugs auf einer Fahrbahn vor einer Haltelinie, wobei das Fahrzeug ein Rundumsicht-Kamerasystem mit mehreren Kameras umfasst;
2 eine Abbildung einer Draufsicht eines Fahrzeugs in der Nähe von Parkplatzlinien;
3 eine Grafik mit Pixelwerten von X-Koordinaten auf der X-Achse und einem waagerechten Linienfilterergebnis auf der Y-Achse;
4 eine Abbildung einer Draufsicht eines zusammengesetzten Bildes aus der Vogelperspektive;
5 ein Ablaufschema eines Algorithmus, der Haltelinien schnell und robust erkennt;
6 eine Abbildung eines Frontbildes von einer Frontkamera des Fahrzeugs;
7 eine Abbildung eines unverzerrten Frontbildes von der Frontkamera;
8 eine Abbildung eines entnommenen Frontbildes aus der unverzerrten Frontansicht;
9 ein Ablaufschema eines Algorithmus, der eine Haltelinienerkennung in erweitertem Abstand bereitstellt; und
10 eine Abbildung einer Verallgemeinerung eines Algorithmus zum Entnehmen eines oberen Bereichs eines Frontbildes.

AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Diskussion der Ausführungsformen der Erfindung über ein System und Verfahren zur schnellen und robusten Halteliniendetektion ist rein beispielhafter Art und keineswegs dazu gedacht, die Erfindung oder ihre Anwendungen oder Verwendungen einzuschränken. Beispielsweise findet die vorliegende Erfindung Anwendung zum Erkennen einer beliebigen Linie oder eines Spurstreifens auf einer Oberfläche.
1 ist eine Abbildung einer Draufsicht eines Fahrzeugs 10, das auf einer Fahrbahnspur 12 fährt, die durch Spurstreifen definiert ist, die auf der Fahrbahnspur 12 aufgemalt oder anderweitig angebracht sind, wozu eine äußere Spurgrenzenlinie 14 und eine innere Spurmittellinie 16 gehören. Eine Haltelinie 18 befindet sich auf der Fahrbahnspur 12 und gibt eine Stelle an, an der das Fahrzeug 10 anhalten soll. Die Haltelinie 18 ist durch eine Linie definiert, die auf der Fahrbahnspur 12 aufgemalt oder anderweitig angebracht ist.
Das Fahrzeug 10 umfasst ein Rundumsicht-Überwachungssystem mit einer Frontkamera 20, einer rechtsseitigen Kamera 22 und einer linksseitigen Kamera 24. Eine Heckkamera kann ebenfalls in dem Rundumsicht-Überwachungssystem enthalten sein, obwohl sie der Übersichtlichkeit halber nicht gezeigt wird. Die Kameras 20 bis 24 können beliebige Kameras sein, die für die hier beschriebenen Zwecke geeignet sind, von denen viele in der Automobiltechnik bekannt sind, die in der Lage sind, Licht oder eine andere Strahlung zu empfangen und die Lichtenergie unter Verwendung beispielsweise von ladungsgekoppelten Bauelementen (CCD) in elektrische Signale in einem Pixelformat umzuwandeln. Die Kameras 20 bis 24 generieren auf einer bestimmten Datenbildrate Einzelbilder aus Bilddaten, die zur späteren Verarbeitung gespeichert werden können. Die Kameras 20 bis 24 können in oder auf einer beliebigen geeigneten Struktur montiert sein, die Teil des Fahrzeugs 10 ist, wie etwa Stoßstangen, Stirnbretter, Kühler, Seitenspiegel, Türbleche usw., wie es der Fachmann verstehen und erkennen wird. Die Bilddaten von den Kameras 20 bis 24 werden an einen Prozessor 26 gesendet, der die Bilddaten verarbeitet, um Bilder zu generieren, wozu Bilder aus der Vogelperspektive gehören, die auf einer Fahrzeuganzeige 28 angezeigt werden.
Bekannte Kantendetektoren, wie etwa eine Sobel- und Canny-Kantenerkennung, können ungenau sein, wenn sie eine mögliche Linie aus Schmutz, wechselnder Beleuchtung und anderem Rauschen erkennt. Ein Linienfilteralgorithmus des Controllers 26, der nachstehend ausführlich beschrieben wird, ist beim Erkennen der Haltelinie 18 bei Vorhandensein von Schmutz, wechselnden Beleuchtungsverhältnissen und undeutlichen Markierungen robust. Unter Verwendung der Kameras 20 bis 24 und des Linienfilteralgorithmus des hier beschriebenen Controllers 26 ist eine zusammengesetzte Ansicht, die nachstehend ausführlich beschrieben wird, in der Lage, gleichzeitig die Haltelinie 18 (d.h. die waagerechte Linie) und die Spurstreifen 14 und 16 (d.h. die senkrechten Linien) sowohl schnell als auch robust zu entnehmen. Der hier beschriebene Linienfilteralgorithmus kann einfach eine einzelne Kamera verwenden, wie etwa die vordere Kamera 20, um auch die Haltelinie 18 zu erkennen.
Wenn man davon ausgeht, dass das Fahrzeug 10 auf der Fahrbahnspur 12 fährt, werden ein Satz von parallelen senkrechten Spurstreifen, die den Linien 14 und 16 entsprechen, und eine rechtwinklige Linie, die der Haltelinie 18 entspricht, unter Verwendung einer modifizierten Hough-Transformation erkannt. Der Linienfilteralgorithmus des Controllers 26 macht ausgiebig Gebrauch von dem Merkmal einer weißen aufgemalten Fahrbahnlinie, wie etwa von Parkplatzlinien, Spurstreifen und/oder Haltelinien, da die weiß aufgemalten Linien heller als ihre Umgebung sind. Ein Faltungskern mit 1x(2n+1) Elementen wird von dem Linienfilteralgorithmus verwendet, wie in Tabelle 1 gezeigt:
2 bildet ein Fahrzeug 36 in der Nähe der weißen aufgemalten Linien 30 und 32 ab. Eine Erkennungslinie 34 ist eine beispielhafte Linie zur Erkennung für den Linienfilteralgorithmus, welche die weißen aufgemalten Linien 30 und 32 schneidet, wobei der Linienfilteralgorithmus des Controllers 26 das Vorhandensein einer Linie unter Verwendung der folgenden Gleichung bestimmt: $H (x, y) = \frac{1}{n} \sum_{i = 0}^{n} (L (x + i, y) - L (x - i, y))$
wobei H(x,y) das waagerechte Linienfilterergebnis am Pixel (x,y) ist, L der Pixelwert des Zielbildes, d.h. die Helligkeit, ist, x die X-Achsen-Koordinate ist und y die Y-Achsen-Koordinate ist.
3 ist eine Grafik mit X-Koordinaten-Pixelwerten auf der X-Achse und dem waagerechten Linienfilterergebnis auf der Y-Achse, wobei 420 eine willkürliche Anzahl von Pixellinien in der senkrechten Richtung darstellt. Die in 3 gezeigte beispielhafte Grafik entspricht dem Linienfilterergebnis der beispielhaften Erkennungslinie 34 in 2 unter Verwendung von Gleichung (1). Obwohl der Linienfilteralgorithmus alle oder im Wesentlichen alle Pixel in einem Bild erkennt, wie etwa in dem Bild aus 2, ist die Erkennungslinie 34 die bei diesem Beispiel interessierende Linie, die durch die Grafik aus 3 dargestellt wird. Ein erstes Paar, das aus einer positiven und einer negativen Spitze in der Grafik besteht, entspricht dem Abschnitt der weißen aufgemalten Linie 30, welche die in 2 gezeigte Erkennungslinie 34 schneidet. Ein zweites Paar, das aus einer positiven und einer negativen Spitze in der Grafik besteht, entspricht der weißen aufgemalten Linie 32, welche die Erkennungslinie 34 schneidet, wie in 2 gezeigt. Obwohl eine kleine negative Spitze in der Grafik aus 3 zu sehen ist, entspricht dies einer Beleuchtungsänderung des Fahrbahnpflasters, wie etwa einem Schatten, der sich in dem Bild in der Nähe der linken Seite der Erkennungslinie 34 befindet (in 3 der Übersichtlichkeit halber nicht gezeigter Schatten). Da diese negative Spitze klein ist und ihr keine positive Spitze vorausgeht, d.h. der Algorithmus kein Paar erkennt, das aus einer positiven und einer negativen Spitze besteht, erkennt der Algorithmus, dass dies keine weiße aufgemalte Linie angibt, weil eine positive Spitze fehlt. Es ist der Unterschied zwischen der positiven Spitze und der negativen Spitze in einem bestimmten Paar, das aus einer positiven und einer negativen Spitze besteht, der eine weiße aufgemalte Linie angibt. Somit wird unter Verwendung des Linienfilteralgorithmus des Controllers 26, der den in Tabelle 1 gezeigten Linienfilterkern verwendet und der die Gleichung (1) verwendet, ein schneller und robuster Algorithmus zur Erkennung einer weißen aufgemalten Linie erreicht, der Faltungsergebnisse erzeugt, so dass alle weißen Linien in den Bildern, die von dem Controller 26 verarbeitet werden, gepaarte positive und negative Spitzen in den Ergebnissen aufweisen, wie in dem Beispiel aus 2 und 3 gezeigt.
Da die Haltelinienerkennung die Entnahme sowohl von waagerechten (Haltelinien-) Linien als auch von senkrechten (Spurstreifen-) Linien erfordert, muss die zuvor besprochene Linienfilterung unter Verwendung der folgenden Gleichung senkrecht gefiltert werden, um eine Haltelinie zu erkennen: $V (x, y) = \frac{1}{n} \sum_{j = 0}^{n} (L (x + i, j) - L (x - i, j))$
wobei V(x,y) das senkrechte Linienfilterergebnis am Pixel (x,y) ist.
Typische Faltungsberechnungen in der senkrechten Richtung benötigen viel mehr Zeit als Faltungsberechnungen in der waagerechten Richtung, weil Berechnungen in der waagerechten Richtung eine Anweisung für mehrere Daten (SIMD) verwenden können, was die Verarbeitung beschleunigt. Um die hier beschriebenen Berechnungen der senkrechten Spurstreifen 14 und 16 und der waagerechten Haltelinie 18 zu beschleunigen, dreht ein Algorithmus des Controllers 26 ein ursprüngliches Bild aus der Vogelperspektive um 90 im Uhrzeigersinn oder im Gegenuhrzeigersinn und fügt das gedrehte Bild mit dem ursprünglichen Bild zusammen, um ein zusammengesetztes Bild aus der Vogelperspektive zu erstellen.
4 bildet eine Draufsicht eines zusammengesetzten Bildes ab, das ein ursprüngliches Bild aus der Vogelperspektive mit entnommenen senkrechten Linien 40 und 42, die Spurstreifen entsprechen, und ein gedrehtes Bild aus der Vogelperspektive mit einer entnommenen senkrechten Linie 44, die einer Haltelinie des Bildes entspricht, umfasst. Durch das Erstellen des zusammengesetzten Bildes, das die ursprüngliche Ansicht aus der Vogelperspektive und die gedrehte Ansicht aus der Vogelperspektive umfasst, ist der Linienfilteralgorithmus des Controllers 26 in der Lage, nur waagerechtes Linienfiltern auszuführen, so dass die bestimmten gepaarten Spitzen (d.h. eine positive Spitze gefolgt von einer negativen Spitze) mit einer Breitenbegrenzung von Spitze zu Spitze der gepaarten Spitzen entnommen werden, die der Breite von Spurstreifen und Haltelinien entspricht. Auf diese Art und Weise wird ein optimierter paralleler Verarbeitungsansatz verwendet, um sowohl Spurstreifen als auch Haltelinien schnell und robust auszufiltern und effizient zu bestimmen.
Unter Verwendung des zuvor besprochenen Linienfilters kann ein waagerechtes Linienfilter verwendet werden, um senkrechte Linien durch Drehen und Zusammenfügen eines Bildes, so dass die senkrechten Linien waagerecht sind, zu erkennen. Auch kann wie zuvor beschrieben ein senkrechtes Linienfilter verwendet werden, um waagerechte weiße Linien durch Drehen und Zusammenfügen eines Bildes, so dass die waagerechten Linien senkrecht sind, zu erkennen. Schließlich ist ein diagonales Linienfilter in der Lage, die rechtwinkligen weißen Linien durch Drehen eines Bildes um 45 und Zusammenfügen des Bildes, um ein zusammengesetztes Bild zu erstellen, wie zuvor besprochen, zu erkennen. Wenn beispielsweise der Linienfilteralgorithmus in der waagerechten Richtung verwendet wird, d.h. unter Verwendung der Gleichung (1), können auch senkrechte Fahrbahnlinien erkannt werden, weil das interessierende Bild um 90 gedreht ist. Alternativ können waagerechte Fahrbahnlinien unter Verwendung der Gleichung (2) durch Drehen eines Bildes, das senkrechte Linien umfasst, um 90 und Zusammenfügen des Bildes, um ein zusammengesetztes Bild zu erstellen, wie zuvor besprochen, erkannt werden. Um diagonale Linien zu erkennen, kann ein Bild beispielsweise um 45 gedreht werden, und der Linienfilteralgorithmus kann eine Faltungsmatrix verwenden, wobei die diagonalen Elemente 1-1, - 1, ..., 0, 1, 1, ..., 1} sind. Das Ergebnis dieses Linienfilterprozesses ist das gleiche, ein Paar, das eine positive und eine negative Spitze umfasst und das der Breite einer weißen Linie entspricht (wenn weiße aufgemalte Fahrbahnlinien in dem Bild vorhanden sind, das von dem Linienfilteralgorithmus analysiert wird). Alternativ können dunkle Linien von dem Linienfilteralgorithmus erkannt werden, was durch ein Paar angegeben würde, das eine negative Spitze gefolgt von einer positiven Spitze umfasst.
Die Nachbehandlung erfolgt, um eine senkrechte Verbindungsfähigkeit zu untersuchen. Alle möglichen Punkte werden entfernt, wenn der Algorithmus keinen senkrechten Nachbarn innerhalb von bestimmten Reihen in der Nähe finden kann. Wenn beispielsweise der Punkt (x, y) ein möglicher Punkt einer weißen Linie in einem Bild ist, besteht die Prüfung der senkrechten Verbindungsfähigkeit darin, zu überprüfen, ob seine benachbarten Pixel, z.B. (x, y-1), (x, y+1), (x-1, y-1), (x-1, y+1), (x+1, y-1), (x+1, y+1) und (x, y-2), (x, y+2) ebenfalls mögliche Punkte sind. Falls die benachbarten Punkte, wie etwa diejenigen, die zuvor beschrieben wurden, keine möglichen Punkte sind, wird der mögliche Punkt (x, y) entfernt, weil die senkrechte Verbindungsfähigkeit fehlt.
Die endgültige Linienentnahme kann einen Hough-Transformationsalgorithmus umfassen, der auf den Entnahmewinkel +/- 20 Grad eingeschränkt ist, und unter der Annahme, dass das Fahrzeug auf einer Fahrbahnspur fährt.
5 ist ein Ablaufschema 46 eines Algorithmus, der Haltelinien schnell und robust erkennt. Der Algorithmus beginnt in dem Kästchen 48 und erstellt in dem Kästchen 50 ein Bild aus der Vogelperspektive, wie zuvor beschrieben. Das Ergebnis des Bildes aus der Vogelperspektive wird wie gewünscht in dem Kästchen 52 gedreht, und in dem Kästchen 54 wird ein zusammengesetzte Bild erstellt, das ein ursprüngliches Bild aus der Vogelperspektive und ein gedrehtes Bild aus der Vogelperspektive umfasst, wie zuvor ausführlich beschrieben. Das zuvor beschriebene waagerechte Linienfilter wird derart verarbeitet, dass mögliche Punkte in dem zusammengesetzten Bild in dem Kästchen 56 entnommen werden, und in dem Kästchen 58 eine Prüfung einer senkrechten Verbindungsfähigkeit ausgeführt wird. In dem Kästchen 60 wird ein modifizierter Hough-Transformationsalgorithmus verwendet, um beispielsweise nur senkrechte Linien zu entnehmen, und der Algorithmus verwendet das entnommene Ergebnis, um in der Entscheidungsraute 62 zu bestimmen, ob mögliche Linien sowohl in dem ursprünglichen Bild aus der Vogelperspektive als auch in dem gedrehten Bild aus der Vogelperspektive erkannt werden. Wenn ja, werden sowohl die Haltelinie als auch die Straßenspurstreifen in dem Kästchen 64 ausgegeben. Wenn nein, bestimmt der Algorithmus in der Entscheidungsraute 66, ob mögliche Linien nur in dem gedrehten Bild aus der Vogelperspektive erkannt werden. Wenn ja, wird in dem Kästchen 68 nur eine Haltelinie ausgegeben. Wenn nein, wird nichts ausgegeben.
Die Verwendung des Rundumsicht-Überwachungssystems, wie zuvor beschrieben, birgt gewisse Nachteile. Beispielsweise kann das Rundumsicht-Überwachungssystem einen begrenzten Haltelinien-Erkennungsabstand aufweisen, weil die Installationsposition der Frontkamera 20 sehr niedrig ist, und auch weil die Vogelperspektive im Fahrzeugfrontbereich über eine bestimmte Entfernung verschwommen ist. Da der Erkennungsabstand durch die Kameraposition, Linsenmerkmale und andere Faktoren bestimmt wird, ist der allgemeine Erkennungsabstand für Haltelinien kürzer als ungefähr 6 m. Dieser Abstand ist zu kurz, damit ein selbstständiges Fahrzeug anhalten könnte oder einen Fahrer zum Anhalten warnen könnte. Um dieses Problem zu lösen, umfasst der Controller 26 einen Projektionsalgorithmus, der einen oberen Teil eines ursprünglichen Frontbildes auf eine erweiterte Vogelperspektive projiziert, wie es nachstehend ausführlich beschrieben wird.
6 bildet ein Frontbild von der Frontkamera 20 des Fahrzeugs 10 ab. Typischerweise ist nur ein Teil des Frontbildes in einer Vogelperspektive zu sehen. Eine gestrichelte sechseckige Form 70 gibt den Bereich des Frontbildes an, der typischerweise in einem Bild aus der Vogelperspektive zu sehen ist. Um den Haltelinien-Erkennungsabstand zu verbessern, verwendet der Projektionsalgorithmus des Controllers 25 den oberen Teil der unverzerrten Frontbilddaten, um eine erweiterte Haltelinien-Erkennungsfläche zu erstellen. 7 ist eine Abbildung eines unverzerrten Frontbildes von der Frontkamera 20, wobei ein gestricheltes Rechteck 72 der obere Teil des Bildes ist, der verwendet wird, um eine erweiterte Erkennungsfläche zu erstellen. 8 ist eine Ansicht des Bildes, die aus dem Rechteck 72 entnommen wird.
9 ist ein Ablaufschema 80 eines Algorithmus des Controllers 26, der eine Haltelinienerkennung mit erweitertem Abstand bereitstellt. Der Algorithmus beginnt in dem Kästchen 82. Dann bestimmt der Algorithmus in der Entscheidungsraute 84, ob die Spurstreifen 14 und 16 aus der Vogelperspektive erfolgreich erkannt werden. Wenn die Spurstreifen 14 und 16 erfolgreich erkannt werden, wird die durchschnittliche Pixelintensität auf den Spurstreifen 14 und 16 als Referenzwert für eine obere Spurstreifenentnahme in dem Kästchen 86 berechnet. Wenn die Spurstreifen 14 und 16 nicht erkannt werden, wird in dem Kästchen 88 ein vorbestimmter sicherer Wert, T_w, ausgewählt, um als Schwelle für die obere Spurstreifenentnahme zu dienen. T_w = 1,2 × I_max, wobei I_max der Spitzenwert des Intensitätshistogramms der AVM-Vogelperspektive ist, welcher der Straßenflächenintensität entspricht.
Dann wird in dem Kästchen 90 ein oberer Bereich des Frontbildes von der Frontkamera 20 zur Bestimmung möglicher Haltelinien entnommen. Die Bestimmung verwendet weiße Linienpixel anhand eines einfachen Binarisierungsverfahrens, wobei die Schwelle die durchschnittliche Intensität der entnommenen Spurstreifen oder ein vorbestimmter sicherer Wert ist, wie zuvor beschrieben. Alle entnommenen weißen Linienpixel werden gemäß einer Kamerakalibrierungs-Suchtabelle (LUT) in dem Kästchen 92 auf eine Vogelperspektive erneut abgebildet, wie es dem Fachmann bekannt ist.
10 ist eine Abbildung einer Verallgemeinerung, wie der Projektionsalgorithmus den oberen Bereich in dem Kästchen 90 entnimmt. Das Rechteck 102 ist der entnommene obere Bereich des Frontbildes, wie in 8 gezeigt. In dem Rechteck 104 werden Spurstreifen erkannt. In dem Rechteck 106 werden die entnommenen weißen Linienpixel gemäß der Kamerakalibrierungs-LUT auf der Vogelperspektive erneut abgebildet. In dem Kästchen 94 erkennt der Projektionsalgorithmus auch eine entnommene Spitze unter Verwendung eines gleitenden Mittelwertfilters. Beispielsweise werden für alle N Reihen Profilwerte hinzugefügt, um die Ausgabe zu glätten.
Ferner verfolgt der Algorithmus des Controllers 26 in dem Kästchen 96 die Position und Bewegung einer möglichen Haltelinie des aktuellen Einzelbildes in den folgenden Bildern. Die Wahrscheinlichkeit der Existenz einer Haltelinie nimmt in dem Maße zu, wie die Verfolgung fortfährt. In dem Kästchen 98 werden die Informationen über die verfolgte Haltelinie dem Algorithmus zum Erkennen einer Haltelinie bereitgestellt, wie in dem Ablaufschema aus 5 beschrieben, um die Position der verfolgten Haltelinie vorherzusagen.
Wie es der Fachmann sehr wohl verstehen wird, können sich die mehreren und diversen Schritte und Prozesse, die hier besprochen wurden, um die Erfindung zu beschreiben, auf Vorgänge beziehen, die von einem Computer, einem Prozessor oder einer anderen elektronischen Rechenvorrichtung ausgeführt werden, die Daten unter Verwendung eines elektrischen Phänomens manipuliert und/oder umformt. Derartige Computer und elektronische Vorrichtungen können diverse flüchtige und/oder nicht flüchtige Speicher verwenden, wozu ein nicht vorübergehendes computerlesbares Medium gehört, auf dem ein ausführbares Programm gespeichert ist, das diversen Code oder ausführbare Anweisungen umfasst, die von dem Computer oder Prozessor ausgeführt werden können, wobei der Speicher und/oder das computerlesbare Medium alle Formen und Arten von Speichern und anderen computerlesbaren Medien umfassen kann bzw. können.
Die vorstehende Diskussion offenbart und beschreibt rein beispielhafte Ausführungsformen der vorliegenden Erfindung. Der Fachmann wird aus dieser Diskussion und aus den beiliegenden Zeichnungen und Ansprüchen ohne Weiteres erkennen, dass diverse Änderungen, Modifikationen und Variationen daran vorgenommen werden können, ohne Geist und Umfang der Erfindung, wie sie in den nachstehenden Ansprüchen definiert wird, zu verlassen.

Claims

System in einem Fahrzeug (10), das einen erweiterten Erkennungsbereich einer Haltelinie auf einer Fahrbahn bereitstellt, wobei das System Folgendes umfasst: - eine Frontkamera (20) auf dem Fahrzeug (10), die Bilder der Fahrbahn vor dem Fahrzeug (10) bereitstellt; und - einen Controller (26), der programmiert ist, um die Bilder von der Frontkamera (20) zu empfangen, wobei der Controller (26) ferner programmiert ist, um einen oberen Abschnitt eines unverzerrten Frontbildes von der Frontkamera (20) zu entnehmen, wobei der obere Abschnitt auf ein erweitertes Bild aus der Vogelperspektive erneut abgebildet wird, so dass der Erkennungsbereich der Haltelinie erweitert ist, wobei der Controller (26) ferner programmiert ist, um Spurstreifen in dem unverzerrten Frontbild zu erkennen, um einen Referenzwert zu berechnen, wobei der Referenzwert verwendet wird, um einen Bereich des Frontkamerabildes zu bestimmen, der als der obere Abschnitt zu entnehmen ist und auf das erweiterte Bild aus der Vogelperspektive erneut abzubilden ist und ferner umfassend das Verwenden eines vorbestimmten sicheren Wertes als Referenzwert, wenn die Spurstreifen in den Bildern von der Frontkamera (20) nicht erkannt werden, wobei der Controller (26) ferner programmiert ist, um eine erweiterte Spitze aus dem entnommenen oberen Abschnitt des Frontbildes zu erkennen, die der Haltelinie entspricht.
System nach Anspruch 1, wobei der Controller (26) ferner programmiert ist, um eine mögliche Position einer Haltelinie aus einem ersten entnommenen Bild in folgenden entnommenen Bildern zu verfolgen.
System nach Anspruch 2, wobei eine Position der Haltelinie unter Verwendung der möglichen Position der Haltelinie, die in den folgenden entnommenen Bildern verfolgt wird, vorhergesagt wird.
System nach Anspruch 2, wobei die mögliche Position der Haltelinie unter Verwendung von weißen Linienpixeln anhand eines Binarisierungsverfahrens und des erneuten Abbildens der weißen Linienpixel auf eine Vogelperspektive gemäß einer Kamerakalibrierungs-Suchtabelle (LUT) bestimmt wird.
System nach Anspruch 1, wobei der Controller (26) ferner programmiert ist, um eine entnommene Spitze aus dem entnommenen oberen Abschnitt der Bilder unter Verwendung eines gleitenden Mittelwertfilters zu erkennen.
Verfahren zum Bereitstellen eines erweiterten Erkennungsbereichs in einem Fahrzeug (10) für eine Haltelinie auf einer Fahrbahn, wobei das Verfahren folgende Schritte umfasst: - Bereitstellen einer Frontkamera (20) auf dem Fahrzeug (10), die Bilder der Fahrbahn vor dem Fahrzeug (10) bereitstellt; und - Verwenden eines Controllers (26), der programmiert ist, um die Bilder von der Frontkamera (20) zu empfangen, wobei der Controller (26) ferner programmiert ist, um einen oberen Abschnitt eines unverzerrten Frontbildes von der Frontkamera (20) zu entnehmen, wobei der obere Abschnitt auf ein erweitertes Bild aus der Vogelperspektive erneut abgebildet wird, so dass der Erkennungsbereich der Haltelinie erweitert ist, wobei der Controller (26) ferner programmiert ist, um Spurstreifen in dem unverzerrten Frontbild zu erkennen, um einen Referenzwert zu berechnen, wobei der Referenzwert verwendet wird, um einen Bereich des Frontkamerabildes zu bestimmen, der als der obere Abschnitt zu entnehmen ist und auf das erweiterte Bild aus der Vogelperspektive erneut abzubilden ist ferner umfassend das Verwenden eines vorbestimmten sicheren Wertes als Referenzwert, wenn die Spurstreifen in den Bildern von der Frontkamera (20) nicht erkannt werden, wobei der Controller (26) ferner programmiert ist, um eine erweiterte Spitze aus dem entnommenen oberen Abschnitt des Frontbildes zu erkennen, die der Haltelinie entspricht.