DE102017217156B4

DE102017217156B4 - Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera

Info

Publication number: DE102017217156B4
Application number: DE102017217156.1A
Authority: DE
Inventors: Thomas Schoeberl
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-09-27
Filing date: 2017-09-27
Publication date: 2021-12-23
Anticipated expiration: 2037-09-28
Also published as: US20190096076A1; DE102017217156A1

Abstract

Verfahren (700) zur Ansteuerung eines Fahrerassistenzsystems (110) unter Verwendung eines Stereokamerasystems (100) mit einer ersten Kamera (102) und einer zweiten Kamera (104), wobei das Verfahren (700) die folgenden Schritte aufweist:Einlesen (701) eines ersten Bildes (202) von der ersten Kamera (102) und eines zweiten Bildes (204) von der zweiten Kamera (104);Bilden (703) einer Kostenfunktion (210) unter Verwendung des ersten Bildes (202) und des zweiten Bildes (204);Bestimmen (705) eines eine periodische Struktur eines Objektes (106) repräsentierenden Periodizitätsparameters zumindest unter Verwendung eines lokalen Minimums (502; 602) der Kostenfunktion (210); undVerwenden (707) des Periodizitätsparameters zur Ansteuerung des Fahrerassistenzsystems (110).

Description

Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Stereokamerasysteme aus zwei identischen Kameras mit Ausrichtung auf gleiche Zielobjekte werden verstärkt zur Umfeldbeobachtung insbesondere für Fahrassistenzsysteme eingesetzt, da hiermit der Abstand zu Objekten über die perspektivische Darstellung der beiden Kamerabilder ermittelt werden kann. Für die Bestimmung des Abstandes aus zwei Bildpaaren können hierbei unterschiedliche Verfahren eingesetzt werden. Der Effekt der „periodischen Strukturen“ in den Bildpaaren bereitet jedoch teilweise Probleme der Erkennung eines Abstandes von Objekten, die zu einer fehlerhaften Ansteuerung eines Fahrerassistenzsystems führen können, wenn die Bildpaare als Grundlage für die Funktionen des Fahrerassistenzsystems verwendet werden.
Aus der DE 10 2011 081 384 A1 ist ein Verfahren zur Abstandsbestimmung für ein Fahrzeug, das einen Scheinwerfer und eine Bilderfassungseinrichtung aufweist, bekannt, wobei der Scheinwerfer ausgebildet ist, um zur Ausleuchtung des Umfelds Licht in zumindest einen Bereich des Umfelds auszusenden und die Bilderfassungseinrichtung ausgebildet ist, um von der Umgebung reflektiertes Licht des Scheinwerfers in einem Bild abzubilden. Das Verfahren umfasst einen Schritt des Ermittelns eines zeitlichen Versatzes zwischen einer Veränderung einer Abstrahlcharakteristik des Scheinwerfers und einer Auswirkung der Veränderung der Abstrahlcharakteristik auf einen Bildbereich des Bildes der Bilderfassungseinrichtung, sowie einen Schritt des Bestimmens eines Abstands zu einem durch den Bildbereich abgebildeten Objekt in dem Umfeld des Fahrzeugs, basierend auf dem zeitlichen Versatz.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Es wird ein Verfahren zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera vorgestellt, wobei das Verfahren die folgenden Schritte umfasst:

- Einlesen eines ersten Bildes von der ersten Kamera und eines zweiten Bildes von der zweiten Kamera;
- Bilden einer Kostenfunktion unter Verwendung des ersten und zweiten Bildes;
- Bestimmen eines eine periodische Struktur eines Objektes (beispielsweise zu dem Stereokamerasystem) repräsentierenden Periodizitätsparameters (beispielsweise einer Kostenfunktion) zumindest unter Verwendung eines lokalen Minimums der Kostenfunktion; und
- Verwenden des Periodizitätsparameters zur Ansteuerung des Fahrerassistenzsystems.

Bei dem Fahrerassistenzsystem kann es sich um eine elektronische Zusatzeinrichtung in einem Fahrzeug zur Unterstützung des Fahrers in bestimmten Fahrsituationen handeln. Hierbei können Eingriffe und/oder Hinweise in Bezug auf Fahrzeugsicherheit, aber auch die Steigerung des Fahrkomforts für den Fahrer und weitere Fahrzeuginsassen vorgenommen oder ausgegeben werden. Bei dem Stereokamerasystem kann es sich um ein Kamerasystem handeln, das mindestens zwei nebeneinander angebrachte Objektive besitzt und daher stereoskopische Bilder aufnehmen kann. Unter einer Kostenfunktion kann ein unter Verwendung eines Funktionszusammenhangs berechneter Wert verstanden werden, der Disparitäten entlang der zugehörigen Epipolarlinie sowie einer Tiefenentfernung repräsentiert. Eine Kostenfunktion kann somit einen Zusammenhang zwischen den berechneten bzw. virtuellen Kosten beispielsweise aller, für ein Pixel eines Basisbildes möglichen, Disparitäten entlang der zugehörigen Epipolarlinie sowie einer Tiefenentfernung eines Objektes dargestellt werden. Eine periodische Struktur in einem Bildpaar kann beispielsweise durch einen gitterförmigen Zaun, Leitplanken oder ein Wellblechdach hervorgerufen sein, welches bei der Ermittlung der Kostenfunktion ebenfalls zu einer periodischen Struktur in dieser Kostenfunktion führt. Bei einer periodischen Struktur innerhalb der Kostenfunktion kann es sich um Verläufe oder Abfolgen von Funktionswerten handeln, die sich in regelmäßigen Abständen wiederholen und die (innerhalb von Toleranzgrenzen) gleiche Kostenfunktionswerte haben. Die Abstände zwischen dem Auftreten der gleichen Funktionswerte können hierbei als Periode bezeichnet werden. Unter einem Periodizitätsparameter kann demnach eine kennzeichnende Größe der periodischen Struktur innerhalb einer Kostenfunktion bzw. ein Maß für die Periodizität der Kostenfunktion darstellen oder repräsentieren. Ein lokales Minimum kann einen Wert der Kostenfunktion an einer Stelle repräsentieren, in deren (beidseitiger) Umgebung die Kostenfunktion keine kleineren bzw. geringeren Werte annimmt. Dabei braucht es sich bei dem lokalen Minimum aber nicht zwingenderweise um das globale Minimum der kompletten Kostenfunktion handeln.
Der hier vorgestellte Ansatz basiert auf der Erkenntnis, dass durch die Auswertung des Verlaufs der Kostenfunktion auf technisch und effizient einfache Weise den Periodizitätsparameter als ein Parameter gewonnen werden kann, der einen Hinweis auf in dem Bildpaar auftretende periodische Strukturen liefert. Dies ermöglicht auf einfache Weise einen Rückschluss auf in dem Bildpaar vorkommende periodische Strukturen, die zu einer möglicherweise fehlerhaften Funktion des Fahrerassistenzsystems führen könnte, beispielweise eine fehlerhafte Abstandswarnung oder eine fehlerhafte Notbremsung ausführen könnte. Zur Erkennung kann insbesondere die Kenntnis der Lage zumindest eines lokalen Minimums herangezogen werden, da ein solches lokales Minimum einfach und zuverlässig detektiert werden kann.
Gemäß einer Ausführungsform kann im Schritt des Bildens ein Teilausschnitt des ersten Bildes mit zumindest einem weiteren Teilausschnitt des zweiten Bildes verglichen werden, insbesondere wobei eine Zeile des ersten Bildes mit einer Zeile des zweiten Bilds und/oder einer Spalte des ersten Bildes mit einer Spalte des zweiten Bilds verglichen wird. Vorteilhaft kann die zeilenweise und/oder spaltenweise Verarbeitung von Teilausschnitten erfolgen, die technisch schnell und einfach implementiert werden kann.
Gemäß einer Ausführungsform kann im Schritt des Bestimmens die Kostenfunktion in Abhängigkeit von einem die Entfernung des Objekts zu dem Stereokamerasystem repräsentierenden Disparitätsparameter bestimmt werden. Auch kann weiterhin im Schritt des Bestimmens der Disparitätsparameter verwendet werden, der ein reziprokes Maß zur Entfernung des Objekts zu dem Stereokamerasystem repräsentiert. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, eine Kostenfunktion zu ermitteln, die einen hohen Grad der Ähnlichkeit von für ein Fahrerassistenzsystem relevanten Parametern wie dem Abstand eines Objekts vor einem Fahrzeug aus einer Fahrzeugumgebung in der Kostenfunktion abzubilden. Nachdem die Berechnung einer Kostenfunktion auf der Basis eines Disparitätswertes rechenintensiv ist, werden vorzugsweise einfache und schnelle Algorithmen eingesetzt, um den Rechenaufwand durch die Überprüfung der Kostenfunktion auf einen eine Periodizität repräsentierenden Parameter nicht unnötig zu erhöhen. Das globale Minimum bzw. ein lokales Minimum kann in der Regel einfach beim Durchlaufen der Disparitätskurve bzw. der Kostenfunktion von links nach rechts (d. h. beim Ermitteln der Kostenfunktionswerte von kleinen Disparitätswerten zu großen Disparitätswerten) ohne rechenintensive Rückschritte ermittelt werden. Die Überprüfung der Kostenfunktion auf einen die Periodizität repräsentierenden Parameter kann ebenso beim Durchlaufen der Disparitätskurve bzw. Kostenfunktion von links nach rechts (d. h., beim Ermitteln der Kostenfunktionswerte von großen Disparitätswerten zu kleinen Disparitätswerten) ohne Rückschritte ermittelt werden. Eine mögliche Erweiterung des Verfahrens besteht in der gleichzeitigen Ermittlung eines die Periodizität repräsentierenden Parameter, des globalen Minimums sowie einer Überprüfung einer Frontoparallelität eines Objektes in dem Bildpaar.
Gemäß einer Ausführungsform kann im Schritt des Bestimmens ferner zumindest ein lokales Maximum sowie ein globales Minimum und globales Maximum der Kostenfunktion bestimmt werden, insbesondere wobei das lokale Maximum zwischen dem globalen und lokalen Minimum liegt. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil der Verwendung von geeigneten Größen, um durch den Periodizitätsparameter eine zuverlässige und technisch einfach zu ermittelnde Aussage über das Vorliegen einer Periodizität in der Kostenfunktion bzw. in korrespondierenden Teilabschnitten eines Bildpaares zu erhalten.
Gemäß einer Ausführungsform kann im Schritt des Bestimmens der Periodizitätsparameter in Abhängigkeit von einer Differenz eines Werts der Kostenfunktion am lokalen Minimum und einem Wert der Kostenfunktion am lokalen Maximum bestimmt wird. Auf diese Weise lässt sich vorteilhaft erkennen, wie stark die Werte der Kostenfunktion in der Umgebung des lokalen Minimums variieren, um hierbei beispielsweise einen Rückschluss auf das Vorliegen von durch Bildrauschen verursachten Störungen ziehen zu können. Es wird gemäß dieser Ausführungsform eine Größe bzw. der Periodizitätsparameter als Maß für die Periodizität bestimmt, der beispielsweise technisch einfach mit einem Schwellwert vergleichen werden kann.
Gemäß einer anderen Ausführungsform kann im Schritt des Bestimmens der Periodizitätsparameter in Abhängigkeit von einer weiteren Differenz von Kostenwerten eines benachbarten weiteren lokalen Maximums und weiteren lokalen Minimums bestimmt werden. Auch eine solche Ausführungsform bietet den Vorteil, durch die Verwendung der weiteren Differenz einen aussagekräftigen Rückschluss auf das Vorliegen einer Periodizität oder eines Maßes für die Periodizität ziehen zu können.
Gemäß einer weiteren Ausführungsform kann im Schritt des Bestimmens der Periodizitätsparameter in Abhängigkeit von einem Maximum der Differenz und der weiteren Differenz bestimmt werden. Alternativ oder zusätzlich kann im Schritt des Bestimmens der Periodizitätsparameter in Abhängigkeit von dem weiteren lokalen Maximum und dem weiteren lokalen Minimum bestimmt werden, wobei das globale Minimum zwischen dem weiteren lokalen Maximum und dem weiteren lokalen Minimum einerseits und dem lokalen Maximum und dem lokalen Minimum andererseits liegt. Durch die Verwendung einer Abhängigkeit der Periodizitätsparameter von der Differenz und der weiteren Differenz und/oder Lage des weiteren Minimums bzw. der Lage des weiteren Maximums kann eine höhere Präzision bzw. genauere Aussage des Vorliegens einer Periodizität in der Kostenfunktion bzw. korrespondierenden Teilabschnitten in dem Bildpaar erreicht werden.
Gemäß einer Ausführungsform kann im Schritt des Bestimmens der Periodizitätsparameter in Abhängigkeit einer einem Wert der Kostenfunktion an einem lokalen Maximum und einem Wert der Kostenfunktion am globalen Minimum bestimmt werden. Insbesondere kann im Schritt des Bestimmens der Periodizitätsparameter in Abhängigkeit von einer Differenz aus einem Wert der Kostenfunktion am lokalen Maximum und dem Wert der Kostenfunktion am globalen Minimum oder einem Wert der Kostenfunktion am lokalen Maximum und einem Wert der Kostenfunktion am globalen Minimum bestimmt werden. Diese Ausführungsform des hier vorgestellten Ansatzes ermöglicht ebenfalls eine höhere Präzision bzw. genauere Aussage des Vorliegens einer Periodizität in der Kostenfunktion bzw. korrespondierenden Teilabschnitten in dem Bildpaar.
Gemäß einer Ausführungsform kann im Schritt des Bestimmens der Periodizitätsparameter in Abhängigkeit von einem Verhältnis aus einem Wert der Kostenfunktion am globalen Minimum und einem Wert der Kostenfunktion am globalen Maximum bestimmt werden, insbesondere wobei das Verhältnis in Abhängigkeit von einem Schwellwert ein Maß für die Periodizität der Kostenfunktion darstellt. Diese Ausführungsform des hier vorgestellten Ansatzes ermöglicht ebenfalls eine höhere Präzision bzw. genauere Aussage des Vorliegens einer Periodizität in der Kostenfunktion bzw. korrespondierenden Teilabschnitten in dem Bildpaar.
Gemäß einer Ausführungsform kann im Schritt des Bestimmens der Periodizitätsparameter als ein Bit-Wert gebildet sein. Damit benötigt er nur wenig Speicherplatz, lässt sich schnell übertragen und in weiteren Funktionen auch gut auswerten. Hierdurch wird ferner eine Verarbeitung dieses Parameters, beispielsweise unter Verwendung einer 2Bit-Shift-Operation technisch einfach realisierbar.
Das hier vorgestellte Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Auch schafft der hier vorgestellte Ansatz eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung einer Stereokamera zur Verwendung mit einer Vorrichtung gemäß einem Ausführungsbeispiel;
2 eine Darstellung zur Erläuterung der Bestimmung der Disparität der Tiefenentfernung zwischen Kamera und Objekt gemäß einem Ausführungsbeispiel;
3 eine Darstellung eines Bildes, in dem ein Beispiel für eine periodische Struktur in der Form eines Fußgängerübergangs mit einer entsprechenden Disparitätskurve bzw. Kostenfunktion wiedergegeben ist;
4 eine Diagramm-Darstellung einer idealen periodischen Struktur einer Kostenfunktion zur Erläuterung einer Vorgehensweise bei der Bestimmung des Periodizitätsparameters;
5 eine Diagramm-Darstellung einer realen periodischen Struktur einer Kostenfunktion zur Erläuterung einer Vorgehensweise bei der Bestimmung des Periodizitätsparameters gemäß einem Ausführungsbeispiel;
6 eine Diagramm-Darstellung einer periodischen Struktur einer Kostenfunktion zur Erläuterung einer Vorgehensweise bei der Bestimmung des Periodizitätsparameters gemäß einem Ausführungsbeispiel; und
7 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung einer Stereokamera 100 zur Verwendung mit einer Vorrichtung 101 gemäß einem Ausführungsbeispiel.
In der Zeichnung ist ein Beispiel eines Stereokamerasystems 100 aus zwei identischen Kameras 102, 104 dargestellt, wobei beide Kameras 102, 104 auf das gleiche Zielobjekt 106, hier ein Haus 106, ausgerichtet sind, zu welchem ein Weg 108 hinführt. Die beiden Kameras 102, 104 nehmen hierbei dieselbe Szene, also das Haus 106, von unterschiedlichen räumlichen Standpunkten auf. Hierbei soll der Abstand des Hauses 106 zu dem Stereokamerasystem 100 über eine perspektivische Darstellung der beiden Kamerabilder ermittelt werden. Die Epipolargeometrie beschreibt hierbei die Beziehung zwischen den zwei verschiedenen Kamerabildern des gleichen Zielobjekts 106. Dadurch lässt sich die Abhängigkeit zwischen den korrespondierenden Bildpunkten, also den Punkten, die ein einzelner Objektpunkt in den beiden Kamerabildern erzeugt, beschreiben. Ferner kann neben dem Abstand des Objektes wie hier des Hauses 106 durch die Auswertung der Bilder der beiden Kameras 102 und 104 auch die Frontoparallelität des Objekts, hier beispielsweise des Hauses 106 ermittelt werden. Beispielsweise kann in einem Ausschnitt der Bilder der beiden Kameras 102 bzw. 104, die einen Abschnitt des Hauses 106 abbilden, ermittelt werden, welche Ausrichtung erkannten Kanten in den jeweiligen Bildern haben, so dass hieraus eine Ausrichtung des Objektes wie des Hauses 106 in Bezug zu den Kameras 102 bzw. 104 des Stereokamerasystems 100 haben. Demgegenüber kann beispielsweise auch aus einem Neigungsgrad des Kantenverlaufs von erkannten Kanten im Bereich des Weges 108 erkannt werden, dass dieser Weg 108 kein Objekt darstellt, welches frontoparallel in Bezug auf die Bildaufnahmeebene des Stereokamerasystems 100 ausgerichtet ist.
Um eine periodische Struktur eines Objekts wie die Reihen von periodischen Fenstern in dem Haus 106 erkennen zu können, wird die vorstehend kurz genannte Vorrichtung 101 Ansteuerung eines Fahrerassistenzsystems 110 unter Verwendung des Stereokamerasystems 100 mit der ersten 102 und der zweiten 104 Kamera verwendet. Hierzu umfasst die Vorrichtung 101 eine Schnittstelle 120 zum Einlesen eines ersten Bildes von der ersten Kamera 102 und eines zweiten Bildes von der zweiten Kamera 104. Ferner umfasst die Vorrichtung 101 eine Einrichtung 125 zum Bilden einer Kostenfunktion unter Verwendung des ersten Bildes und des zweiten Bildes und eine Einrichtung 130 zum Bestimmen eines eine periodische Struktur des Objektes 106 repräsentierenden Periodizitätsparameters einer Kostenfunktion zumindest unter Verwendung eines lokalen Minimums der Kostenfunktion. Schließlich umfasst die Vorrichtung 101 eine Einrichtung 135 zum Verwenden und/oder Ausgeben des Periodizitätsparameters zur Ansteuerung des Fahrerassistenzsystems 110.
2 zeigt eine Darstellung zur Erläuterung der Bestimmung der Disparität der Tiefenentfernung zwischen Kamera und Objekt gemäß einem Ausführungsbeispiel.
Die Darstellung umfasst ein erstes linkes Bild 202 (beispielsweise der links angeordneten ersten Kamera 102 aus 1) und ein zweites rechtes Bild 204 (beispielsweise der rechts angeordneten zweiten Kamera 104 aus 1). In beiden Bildern ist ein auf einer Straße fahrendes Zielobjekt 106, hier ein Fahrzeug, dargestellt. Das erstes Bild 202 und das zweite Bild 204 sind rektifiziert dargestellt. In dem ersten linken Bild 202 ist ein Teilausschnitt 206 dargestellt, der in dem zweiten Bild 204 anhand einer Zeile und/oder einer Spalte, die im Folgenden als Epipolarlinie 208 (beispielsweise einer gleichen Spalte im rechten Bild 204) bezeichnet wird, gesucht. Aus diesen beiden Teilausschnitten der Bilder wird eine Kostenfunktion 210 gebildet, die im unteren Teildiagramm aus der 2 in einem Koordinatensystem 212 dargestellt ist. Dabei stellt die x-Achse 214 des Koordinatensystems 212 einen steigenden Disparitätswert 216 dar, der mit steigenden Werten einen fallenden Entfernungswert 218 angibt, sich also reziprok zum Entfernungswert 218 verhält, der in Pfeilrichtung ansteigt. Die y-Achse 220 hingegen gibt einen Kostenwert an der Kostenfunktion 212 an dem jeweils zugeordneten Disparitätswert an. Die Kosten ergeben sich üblicherweise aus Einzelkosten pro Bildelement (Pixel), die in einer geeigneten Weise über eine Region im Bild aggregiert (z. B. durch Summenbildung) werden. Diese Kosten sind ein Maß für die Ähnlichkeit einer Bildregion im Referenzbild und im Suchbild. Die Kosten pro Pixel ergeben sich typischerweise aus einem Ähnlichkeitsmaß der Bildintensitäten direkt (absolute Differenzen, Differenzenquadrat), den Intensitätsgradienten oder weiteren parametrischen (Produkt-Moment-Korrelation) und nicht parametrischen Massen (z. B. Rang-Korrelation) oder Kombinationen daraus. Bei einem lokalen Verfahren erfolgt die Aggregation dieser Pixelkosten durch Summation der Einzelkosten in einem Bereich des Bildes. Dieser Bereich kann konstant über alle Berechnungen sein oder auch dynamisch an den jeweiligen Bildinhalt angepasst werden.
Allgemein lässt sich anmerken, dass es irrelevant ist, in welcher Richtung die Kostenfunktion durchlaufen wird. Wichtig ist, dass sie zur Berechnung möglichst nur einmal durchlaufen wird.
Für die Bestimmung des Abstandes aus einem Bildpaar können unterschiedliche Verfahren eingesetzt werden. Häufig kommen lokale Verfahren zum Einsatz, die im Prinzip einen kleinen Teilausschnitt 206 des ersten Bildes 202 in einem zweiten rektifizierten Bild 204 entlang der Epipolarlinie 208 suchen. Die Ähnlichkeit des ersten Teilausschnitts 206 mit weiteren Teilausschnitt 222 des zweiten Bildes 204 entlang der Epipolarlinie 208 wird als Kostenfunktion 210 dargestellt. Ein Extremwert, hier das globale Minimum 224, der Kostenfunktion 210 stellt die Disparität, also beispielsweise den Versatz des identischen Bildinhalts, zwischen dem ersten Bild 202 und dem zweiten Bild 204 dar. Diese Disparität ist ein reziprokes Maß für die Entfernung des Objekts 106 zur Kamera. Die Form der Kostenfunktion 210, beispielsweise der Wert des globalen Minimums 224, kann zur Auswertung der Qualität der Disparität verwendet werden.
Wenn die Disparitäten aller Teilausschnitte des linken Bildes 202 mit dem Inhalt des rechten Bildes 204 bestimmt werden, kann eine Disparitätskarte und damit eine Tiefenkarte für das gesamte Bild erstellt werden. Auf diese Tiefenkarte können weitere Verfahren angesetzt werden, um zum Beispiel die Oberfläche oder die Lage von Objekten wie beispielsweise Straßenoberflächen, Fußgänger, oder Fahrzeuge zu detektieren. In Fahrassistenzsystemen, wie dem Fahrerassistenzsystem 110, könnten durch die fehlerhafte Detektion von Objekten falsche und gefährliche Fahrmanöver resultieren, beispielsweise eine Notbremsung oder ein Ausweichmanöver.
Die Kostenfunktion 210 weist im Idealfall ein klar erkennbares globales Minimum 224 mit einem steilen Anstieg auf. Weitere mögliche lokale Minima liegen von ihren Kosten weit über den Kosten des globalen Minimums 224. Die Position des globalen Minimums 224 ist hierbei der gesuchte Disparitätswert 216. Dieser Idealfall tritt aber nur bei idealen Umgebungsbedingungen auf.
Problematisch bei der Auswertung der Kostenfunktion 210 sind periodische Strukturen in der Kostenfunktion 210, da diese zu einer nicht mehr eindeutigen Identifizierung des globalen Minimums 224 führen könnten, speziell, wenn die Unterschiede zwischen den Kostenfunktionswerten der lokalen Minima derart gering sind, dass diese Minima beispielsweise auch durch Bildstörungen oder andere Fehler resultieren könnten. Aus diesem Grund soll mit dem hier vorgestellten Ansatz ein Weg aufgezeigt werden, wie erkannt werden kann, dass in der Kostenfunktion eine periodische Struktur auftritt, die beispielsweise durch eine periodische Struktur oder ein periodisches Muster in den auszuwertenden Teilausschnitten der Bildpaare begründet ist. Dies kann dann beispielsweise darin resultieren, dass ein entsprechender Periodizitätsparameter, der ein Auftreten einer solchen periodischen Struktur in der Kostenfunktion repräsentiert, ermittelt und zur Ansteuerung des Fahrerassistenzsystems 110 verwendet wird. Beispielsweise kann im Fahrerassistenzsystem 110 ein Schwellwert für einen Lenk- oder Notbremseingriff verändert werden, wenn ein bestimmter Periodizitätsparameter einen Hinweis auf das Vorliegen einer periodischen Struktur in der Kostenfunktion 210 bzw. in Teilausschnitten von Bildpaaren liefert.
3 zeigt eine Darstellung eines Bildes, in dem ein Beispiel für eine periodische Struktur in der Form eines Fußgängerübergangs mit einer entsprechenden Disparitätskurve bzw. Kostenfunktion wiedergegeben ist.
Das Bild zeigt ein auf einer Straße fahrendes Fahrzeug 302, dass sich dem Zielobjekt 106, hier einem Zebrastreifen, nähert. Des Weiteren wird eine Funktion 210 und eine Epipolarlinie 208, die über der Abbildung des Zielobjekts 106 angeordnet ist, gezeigt. Wird das in der 3 dargestellte Bild durch zwei Kameras eines Stereokamerasystems erfasst, ergeben sich entsprechend der Darstellung aus der 2 zwei Bilder, bei denen die Ähnlichkeit eines ersten Teilausschnitts 206 aus einem ersten Bild mit weiteren Teilausschnitten 222 entlang der Epipolarlinie 208 ermittelt und als Kostenfunktion 210 innerhalb eines Koordinatensystems 212 dargestellt wird. Bei der Darstellung aus der 3 würden somit die als Kästchen aus der Epipolarlinie 208 dargestellten Teilausschnitte verwendet, um die in dem in der 3 unten dargestellten Diagramm wiedergegebene Kostenfunktion 210 zu erhalten.
In einer realen Umgebung wie sie in der 3 exemplarisch dargestellt ist, treten verschiedenste Effekte auf, die sich negativ auf den Verlauf der Kostenfunktion 210 auswirken. In der realen Umgebung existieren Objekte, beispielswiese Zebrastreifen, Gitter oder Zäune, die ähnliche Bildinhalte in verschiedenen Teilausschnitten aufzeigen. Bei der Disparitätsberechnung bzw. der Bestimmung der Kostenfunktion 210 kann daher ein Teilausschnitt 206 des ersten Bildes mit mehreren Teilausschnitten 222 des zweiten Bildes korrelieren. Die Kostenfunktion 210 weist dann eine periodische Struktur mit mehreren Minima 304, 306 mit ähnlichen Kostenfunktionswerten auf. Das globale Minimum braucht daher nicht unbedingt dem gesuchten Disparitätswert 216 entsprechen. In realen Szenarien ist häufig nicht die Position des globalen Minimums der gesuchte Disparitätswert, sondern der eines lokalen Minimums. Bei einer reinen Auswertung der Kostenfunktion 210 auf das globale Minimum würde daher ein falscher Disparitätswert 216 auftreten und somit die Entfernung des Objekts 106 zur Kamera falsch bestimmt werden. In Fahrassistenzsystemen wie dem mit dem Bezugszeichen 110 in der 1 dargestellten Fahrerassistenzsystem, können durch die fehlerhafte Detektion von Objekten 106 falsche und gefährliche Fahrmanöver, wie eine Notbremsung oder ein plötzliches Ausweichmanöver, die Folge sein.
4 zeigt eine Diagramm-Darstellung einer idealen periodischen Struktur einer Kostenfunktion 210 zur Erläuterung einer Vorgehensweise bei der Bestimmung des Periodizitätsparameters.
Die Diagramm-Darstellung umfasst ein Koordinatensystem 212, das eine Kostenfunktion 210 mit periodischer Struktur anzeigt, die im Weiteren auch als periodische Kostenfunktion 210 bezeichnet wird. Dabei stellt die x-Achse 214 des Koordinatensystems 212 einen steigenden Disparitätswert 216 dar. Die y-Achse 220 hingegen repräsentiert einen Kostenfunktionswert. Es ist festzuhalten, dass bei einer idealen periodischen Funktion, beispielsweise einer Sinuskurve, die Kostenfunktionswerte aller Maxima 402, 404 und aller Minima 304, 306 identisch und somit die Differenz zwischen zwei beliebigen Minima 304, 306 und Maxima 402, 404 immer gleich sind.
Bei dem hier vorgestellten Ansatz einer Auswertung der periodischen Kostenfunktion 210, soll zusätzlich ein Gütemaß in der Form des Periodizitätsparameters berechnet bzw. bestimmt werden, welches/welcher die Existenz von periodischen Strukturen in der Disparitätskurve aufzeigt. Mittels dieses Gütemaßes kann die Plausibilität des globalen Minimums, also der Disparität, bestimmt werden. Ein Aspekt des hier vorgestellten Ansatzes zur Erkennung periodischer Strukturen basiert auf der Auswertung der Kostenfunktion 210. Hierbei wird ausgenutzt, dass periodische Strukturen in den Bildpaaren auch periodische Strukturen in der Kostenfunktion 210 ausbilden.
5 zeigt eine Diagramm-Darstellung einer realen periodischen Struktur einer Kostenfunktion 210 zur Erläuterung einer Vorgehensweise bei der Bestimmung des Periodizitätsparameters gemäß einem Ausführungsbeispiel.
Die Diagramm-Darstellung umfasst wiederum ein Koordinatensystem 212, das eine Kostenfunktion 210 mit periodischer Struktur anzeigt, die im Weiteren auch als periodische (Kosten-)Funktion 210 bezeichnet wird. Dabei ist auf der x-Achse 214 des Koordinatensystems 212 ein (steigender) Disparitätswert 216 aufgetragen. Die y-Achse 220 hingegen gibt einen Kostenfunktionswert an. Die periodische (Kosten-)Funktion 210 weist ein lokales Minimum 502, ein lokales Maximum 504, ein globales Minimum 224 und ein globales Maximum 506 auf.
Bei einer realen periodischen Funktion 210 ist die Differenz zwischen dem globalen Minimum 224 und dem globalen Maximum 506 nur geringfügig größer als ein Paar mit großen Abstand zwischen einem lokalen Minimum 502 und einem lokalen Maximum 504, wobei das lokale Maximum 504 zwischen dem globalen Minimum 224 und dem lokalen Minimum 502 liegt. Das Verhältnis zwischen der Differenz aus dem globalen Minimum 224 und dem globalen Maximum 506 und der Differenz aus dem lokalen Minimum 502 und dem lokalen Maximum 504 stellt ein Maß für die Periodizität der Funktion 210 dar.
6 zeigt eine Diagramm-Darstellung einer periodischen Struktur einer Kostenfunktion 210 zur Erläuterung einer Vorgehensweise bei der Bestimmung des Periodizitätsparameters gemäß einem Ausführungsbeispiel.
Die Diagramm-Darstellung zeigt ein Koordinatensystem 212, das eine Kostenfunktion 210 mit periodischer Struktur anzeigt, die im Weiteren auch als periodische Funktion 210 bezeichnet wird. Dabei wird auf der x-Achse 214 des Koordinatensystems 212 ein (steigender) Disparitätswert 216 aufgetragen. Die y-Achse 220 hingegen gibt einen Kostenfunktionswert an. Die periodische Funktion 210 weist das lokale Minimum 502, sowie ein weiteres benachbartes lokales Minimum 602, das lokale Maximum 504, sowie ein weiteres benachbartes lokales Maximum 604, das globale Minimum 224 und das globale Maximum 506 auf.
Bei einer realen (Kosten-) Funktion 210 treten die Minima 502, 602 und die Maxima 504, 604 an beliebigen Positionen auf. Da bei einem bestimmten bzw. gesuchten Pärchen, beispielsweise dem lokalen Minimum 502, 602 und dem lokalen Maximum 504, 604, das lokale Maximum 504, 604 zwischen dem lokalen Minimum 502, 602 und dem globalen Minimum 224 liegen soll, kann dieses links oder rechts auf der x-Achse 214, 216 vom globalen Minimum 224 auftreten.
Da die Reihenfolge zwischen dem lokalem Minimum 502, 602 und dem lokalen Maximum 504, 604 beim linken und rechten Pärchen vertauscht ist, hat dieses Auswirkungen auf die algorithmische Suche. Die Realisierung der Implementierung zur Pärchensuche kann getrennt voneinander erfolgen. Insofern hat sich die folgende Vorgehensweise gemäß einem günstigen Ausführungsbeispiel bewährt:

Zunächst werden das globale Minimum 224 und das globale Maximum 506 gesucht und deren Kostendifferenz berechnet. Im Anschluss wird das lokale Minimum 502 und das lokale Maximum 504 mit der maximalen Kostendifferenz gesucht, wobei das Pärchen 502, 504 sich vor dem globalen Minimum 224 auf der x-Achse 214, 216 befindet und das lokale Maximum sich zwischen dem lokalen und globalen Minimum befindet. Schließlich wird das lokale Minimum 602 und das lokale Maximum 604 mit der maximalen Kostendifferenz gesucht, wobei sich das Pärchen nach dem globalen Minimum 224 auf der x-Achse 214, 216 befindet und wiederum das lokale Maximum sich zwischen dem globalen und lokalen Maximum befindet. Diese Schritte können vorteilhaft algorithmisch miteinander kombiniert werden, so dass bei einem einmaligen Durchlauf der Kostenfunktion 210 von links nach rechts (also von kleinen zu großen Disparitätsparametern) alle gesuchten Größen bestimmt werden können. Hierbei ist jedoch vornehmlich interessant, dass ein einmaliger Durchlauf bei der Bestimmung der Kostenfunktion bzw. der jeweiligen Extremwerte erfolgen kann. Ob dieser Durchlauf von links nach rechts (klein nach groß) oder rechts nach links (groß nach klein) erfolgt, ist im Wesentlichen Darstellungssache. Eine periodische Struktur liegt dann vor, wenn die größte Kostendifferenz der lokalen Minima 502, 602 und lokalen Maxima 504, 604 größer als die Kostendifferenz des globalen Minimum 224 und des globalen Maximums 506 multipliziert mit einem konstanten Faktor ist, wobei der konstante Faktor in diesem Beispiel einem Wert von ¼ entspricht. Dieser Wert lässt sich einfach durch eine schnelle 2Bit-Shift-Operation realisieren.

Alternativ kann der Periodizitätsparameter in Abhängigkeit einer einem Wert der Kostenfunktion 210 an einem lokalen Maximum 504, 604 und einem Wert der Kostenfunktion 210 am globalen Minimum 224 bestimmt werden, insbesondere in Abhängigkeit von einer Differenz aus einem Wert der Kostenfunktion 210 am lokalen Maximum 504 und dem Wert der Kostenfunktion 210 am globalen Minimums 224, einem Wert der Kostenfunktion 210 am lokalen Maximum 604, 604 und einem Wert der Kostenfunktion 210 am globalen Minimum 224.
Ergänzend ist anzuführen, dass mit dem hier vorgestellten Ansatz ein Verfahren zur Auswertung der Kostenfunktion vorgestellt wird, in dem zusätzlich zu den Extremwerten ein Gütemaß in der Form des Periodizitätsparameters berechnet wird, welches die Existenz von periodischen Strukturen in der Disparitätskurve bzw. der Kostenfunktion aufzeigt bzw. abbildet. Mittels dieses Gütemaßes kann die Plausibilität des globalen Minimums also der Disparität bestimmt werden.
Ein wichtiger Aspekt des hier vorgestellten Ansatzes zur Ermittlung periodischer Strukturen basiert somit auf der Auswertung der Kostenfunktion. Hierbei wird ausgenutzt, dass periodische Strukturen in der Kostenfunktion eine periodische Funktion ausbilden. Als Grundlage hierzu kann angeführt werden, dass bei einer idealen periodischen Funktion (z. B. einer Sinus-Kurve) die Werte aller Maxima und aller Minima identisch und somit die Differenz zwischen zwei beliebigen Minima und Maxima immer gleich sind, wie es bereits in der 4 dargestellt und beschrieben wurde.
Bei einer „schönen“ realen periodischen Funktion ist die Differenz zwischen dem globalen Minimum und globalen Maximum nur geringfügig größer als ein Paar mit großem Abstand zwischen einem lokalen Minimum und Maximum, wobei das lokale Maximum zwischen dem globalen und lokalen Minimum liegt, wie es mit Bezug zur 5 dargestellt und beschrieben wurde. Die Differenz zwischen dem globalen Minimum und Maximum wird mit „DiffCost“ bezeichnet, die Differenz zwischen lokalem Minimum und Maximum wird als DiffXXXCost bezeichnet, wobei der Platzhalter XXX für ein Minimum/Maximum-Pärchen mit geringerem Disparitätsparameter (d. h., dem globalen Minimum vorausgehendes Pärchen) mit Prev oder ein Minimum/Maximum-Pärchen mit größerem Disparitätsparameter (d. h., dem globalen Minimum nachfolgenden Pärchen) mit Next verwendet werden kann. Das Verhältnis zwischen DiffCost und DiffXXXCost stellt ein Maß für die Periodizität einer Funktion dar. Ist die folgende Formel (1) erfüllt, kann eine Periodizität in der Kostenfunktion als vorliegend verstanden werden: $\frac{D i ƒ ƒ X X X C o s t}{D i ƒ ƒ C o s t} > 1 - S c h w e l l w e r t$
Eine tatsächliche Realisierung des vorstehend genannten Ansatzes in realen Umgebungen kann wie folgt umgesetzt werden: Bei einer realen Funktion treten die Minima und Maxima an beliebigen Positionen auf. Da beim gesuchten Pärchen (d. h., lokales Minimum und lokales Maximum) das lokale Maximum zwischen dem lokalen Minimum und globalen Minimum liegen soll, kann dieses links oder rechts vom globalen Minimum auftreten. In der 6 sind diese Pärchen links vom globalem Minimum (mit den Bezeichnungen MinPrevLoc bzw. 502 und MaxPrevLoc bzw. 504) und rechts vom globalen Minimum (mit den Bezeichnungen MaxNextLoc bzw. 604 und MinNextLoc 602) dargestellt. Die Differenzen der linken und rechte lokalen Minima/Maxima sind mit DiffPrevCost und DiffNextCost bezeichnet. Das globale Minimum ist mit Min bzw. 212 und Max bzw. 506 bezeichnet und die Differenz zwischen dem globalen Maximum und dem globalen Minimum mit DiffCost bezeichnet. Die Formel (1) wird demnach zur Formel (2) erweitert: $\frac{m a x (D i ƒ ƒ P r e v C o s t, D i ƒ ƒ N e x t C o s t)}{D i ƒ ƒ C o s t} > 1 - S c h w e l l w e r t$
Da die Reihenfolge zwischen lokalem Minium und lokalem Maximum beim linken und rechten Pärchen vertauscht ist, hat dieses Auswirkungen auf die algorithmische Suche. Die Realisierung der Implementierung zur Pärchensuche kann getrennt voneinander erfolgen.
Insofern hat sich folgende Vorgehensweise bewährt:

- Suche des absoluten Minimums (Min) und Maximums (Max) und berechnet die Kostendifferenz (DiffCost)
- Suche eines lokalen Minimums und Maximums (*) mit maximaler Kostendifferenz vor dem absoluten Minimum (MinPrevLoc, MaxPrevLoc, DiffPrevCost)
- Suche eines lokalen Minimums und Maximums (*) mit maximaler Kostendifferenz nach dem absoluten Minimum (MinNextLoc, MaxNextLoc, DiffNextCost)

Diese Schritte können vorteilhaft algorithmisch miteinander kombiniert werden, so dass bei einem einmaligen Durchlauf der Kostenfunktion von links nach rechts alle gesuchten Größen bestimmt werden können.
Eine Überprüfung auf das Vorliegen einer Periodizität kann dann folgendermaßen berechnet werden:

- Eine periodische Struktur liegt vor, wenn die größte Kostendifferenz der lokalen Minima/Maxima größer als die Kostendifferenz des globalen Minimus/Maximums multipliziert mit einem konstanten Faktor ist:
- Max(DiffPrevCost, DiffNextCost) > DiffCost*(1-Faktor) mit Faktor < 1 (z.B. Faktor = ¼)

Alternativ kann auch folgendes Verhältnis der Formel (3) zur Überprüfung des Vorliegens einer Periodizität verwendet werden: $\frac{max (Cost (MaxPrevLoc) - Cost (Min), Cost (MaxNextLoc) - Cost (Min))}{DiffCost} > 1 - S c h w e l l w e r t$
wobei mit der Bezeichnung Cost (...) hier der Kostenfunktionswert an der als Argument übergebenen Stelle verstanden wird.
Als Vorteile des hier vorgestellten Ansatzes lassen sich beispielsweise folgende Aspekte nennen:

- Da die Disparitätsberechnung rechenintensiv ist, werden vorzugsweise einfache und schnelle Algorithmen benötigt, um den Rechenaufwand durch den Periodizitätscheck nicht weiter aufzublähen. Das globale Minimum wird i.d.R. einfach beim Durchlaufen der Disparitätskurve von links nach rechts ohne rechenintensive Rückschritte ermittelt.
- ◯ Der Periodizitätscheck kann ebenso beim Durchlaufen der Disparitätskurve von links nach rechts ohne Rückschritte ermittelt werden.
- ◯ Der Periodizitätscheck kann gleichzeitig mit der Ermittlung des globalen Minimums bestimmt werden.
- ◯ Erweiterung: Der Periodizitätscheck kann gleichzeitig mit der Ermittlung des globalen Minimums und einem Check der Frontoparallelität bestimmt werden.
- Der Periodizitätscheck benötigt nur wenige Berechnungen und Variablen.
- Der Periodizitätscheck benötigt nur wenig zusätzliche Rechenzeit.
- Der Periodizitätscheck ist für FPGA-Implementierungen geeignet.
- Die gute Erkennung von periodischen Strukturen in Bildern konnte anhand Untersuchungen und bereits bestehender Bosch-Produkte erfolgreich nachgewiesen werden.
- Es wird nur eine Größe als Maß für die Periodizität bestimmt.
- Für diese eine Größe der Periodizität genügt daher auch nur ein Schwellwert. Der Schwellwert ist in den bisher untersuchten Szenarien relativ gutmütig. In der jetzigen Realisierung wird er als ¼ angenommen, da sich dieses einfach durch eine schnelle 2Bit-Shift-Operation realisieren lässt.
- Die Berechnung der Periodizität lässt sich mit Integer-Zahlen durchführen.
- Das Ergebnis der Überprüfung des Vorliegens einer Periodizität lässt sich durch ein Bit repräsentieren. Damit benötigt er nur wenig Speicherplatz, lässt sich schnell übertragen und in weiteren Funktionen auch gut auswerten.
- Die Erfindung ist auf verschiedene Disparitätsberechnung mit einem lokales Verfahren einsetzbar, d. h., die einen Teilausschnitt des „linken“ mit dem rechten Bild vergleichen und dabei eine Kostenfunktion aufstellen.
- Das Verfahren ist auch analog anwendbar, wenn der Wert der Kostenfunktion nicht die Unähnlichkeit, sondern die Ähnlichkeit der Teilausschnitte darstellt und somit nicht das globale Minimum, sondern das globale Maximum der gesuchte Disparitätswert ist.
- Das Verfahren eignet sich generell zur Detektion von periodischen Strukturen bei Stereosystemen und ist nicht beschränkt auf Kameras für Fahrerassistenzsysteme.

7 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 700 zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera.
In einem Schritt 701 werden ein erstes Bild von der ersten Kamera und ein zweites Bild von der zweiten Kamera eingelesen. In einem Schritt 703 wird unter Verwendung des ersten und des zweiten Bildes eine Kostenfunktion gebildet. In einem Schritt 705 wird eine periodische Struktur eines Objektes zu dem Stereokamerasystem repräsentierender Periodizitätsparameter unter Verwendung zumindest eines lokalen Minimums der Kostenfunktion bestimmt. Schließlich wird in einem Schritt 707 der Periodizitätsparameter zur Ansteuerung des Fahrerassistenzsystems verwendet.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Verfahren (700) zur Ansteuerung eines Fahrerassistenzsystems (110) unter Verwendung eines Stereokamerasystems (100) mit einer ersten Kamera (102) und einer zweiten Kamera (104), wobei das Verfahren (700) die folgenden Schritte aufweist: Einlesen (701) eines ersten Bildes (202) von der ersten Kamera (102) und eines zweiten Bildes (204) von der zweiten Kamera (104); Bilden (703) einer Kostenfunktion (210) unter Verwendung des ersten Bildes (202) und des zweiten Bildes (204); Bestimmen (705) eines eine periodische Struktur eines Objektes (106) repräsentierenden Periodizitätsparameters zumindest unter Verwendung eines lokalen Minimums (502; 602) der Kostenfunktion (210); und Verwenden (707) des Periodizitätsparameters zur Ansteuerung des Fahrerassistenzsystems (110).
Verfahren (700) gemäß Anspruch 1, wobei im Schritt des Bildens (703) ein Teilausschnitt (206) des ersten Bildes (202) mit zumindest einem weiteren Teilausschnitt (222) des zweiten Bildes (204) verglichen wird, insbesondere wobei eine Zeile des ersten Kamerabildes (202) mit einer Zeile des zweiten Kamerabilds (204) und/oder einer Spalte (208) des ersten Kamerabildes (202) mit einer Spalte (208) des zweiten Kamerabilds (204) verglichen wird.
Verfahren (700) gemäß Anspruch 1 oder 2, wobei im Schritt des Bildens (703) die Kostenfunktion (210) in Abhängigkeit von einem die Entfernung des Objekts (106) zu dem Stereokamerasystem (100) repräsentierenden Disparitätsparameter bestimmt wird.
Verfahren (700) gemäß Anspruch 3, wobei im Schritt des Bestimmens der Disparitätsparameter verwendet wird, der ein reziprokes Maß zur Entfernung des Objekts (106) zu dem Stereokamerasystem (100) repräsentiert.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt des Bestimmens (705) ferner zumindest ein lokales Maximum (504; 604) sowie ein globales Minimum (224) und globales Maximum (506) der Kostenfunktion (210) bestimmt werden, insbesondere wobei das lokale Maximum (504; 604) zwischen dem globalen Minimum (224) und dem lokalen Minimum (502; 602) liegt.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Bestimmens (705) der Periodizitätsparameter in Abhängigkeit von einer Differenz eines Werts der Kostenfunktion (210) am lokalen Minimum (502; 602) und einem Wert der Kostenfunktion (210) am lokalen Maximum (504; 604) bestimmt wird.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Bestimmens (705) der Periodizitätsparameter in Abhängigkeit von einer Differenz von Werten der Kostenfunktion an zumindest einem benachbarten lokalen Maximum und Minimum bestimmt wird.
Verfahren (700) gemäß Anspruch 7, wobei im Schritt des Bestimmens (705) der Periodizitätsparameter in Abhängigkeit von einer weiteren Differenz von Kostenwerten eines benachbarten weiteren lokalen Maximums (504; 604) und weiteren lokalen Minimums (502; 602) bestimmt wird.
Verfahren (700) gemäß Anspruch 8, wobei im Schritt des Bestimmens (705) der Periodizitätsparameter in Abhängigkeit von einem Maximum der Differenz und der weiteren Differenz bestimmt wird und/oder der Periodizitätsparameter in Abhängigkeit von dem weiteren lokalen Maximum (504; 604) und dem weiteren lokalen Minimum (502; 602) bestimmt wird, wobei das globale Minimum (224) zwischen dem weiteren lokalen Maximum (504; 604) und dem weiteren lokalen Minimum (502; 602) einerseits und dem lokalen Maximum (504; 604) und dem lokalen Minimum (502; 602) andererseits liegt.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Bestimmens (705) der Periodizitätsparameter in Abhängigkeit (705) einem Wert der Kostenfunktion (210) an einem lokalen Maximum (504; 604) und einem Wert der Kostenfunktion (210) am globalen Minimum (224) bestimmt wird, insbesondere in Abhängigkeit von einer Differenz aus einem Wert der Kostenfunktion (210) am lokalen Maximum (504; 604) und dem Wert der Kostenfunktion (210) am globalen Minimum (224).
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Bestimmens (705) der Periodizitätsparameter in Abhängigkeit von einem Verhältnis aus einem Wert der Kostenfunktion (210) am globalen Minimum (224) und einem Wert der Kostenfunktion (210) am globalen Maximum (506) bestimmt wird, insbesondere wobei das Verhältnis in Abhängigkeit von einem Schwellwert ein Maß für die Periodizität der Kostenfunktion (210) darstellt.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Bestimmens (705) der Periodizitätsparameter als ein Bit-Wert gebildet wird.
Vorrichtung (101), die eingerichtet ist, um die Schritte des Verfahrens (700) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (120, 125 130, 135) auszuführen und/oder anzusteuern.
Computerprogramm, das dazu eingerichtet ist, das Verfahren (700) gemäß einem der vorangegangenen Ansprüche 1 bis 12 auszuführen und/oder anzusteuern, wenn das Programm auf einer Vorrichtung gemäß Anspruch 13 ausgeführt wird.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.