-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld.
-
In modernen Kraftfahrzeugen ist es üblich, ein Fahrzeugumfeld, insbesondere einen hinsichtlich des Fahrzeugs vorderen Fahrzeugkorridor und/oder rückwärtigen Fahrzeugkorridor, zu überwachen und gegebenenfalls vorhandene statische oder dynamische Hindernisse zu erkennen. Hierdurch wird u.a. eine Kollisionsvermeidung des Fahrzeugs mit solchen Hindernissen unterstützt.
-
Eine Überwachung des Fahrzeugsumfelds geschieht üblicherweise mit Hilfe von Radar-, Lidar- und Ultraschall-Systemen. Weiter bekannt sind Bilderfassungssysteme, beispielsweise Kamerasysteme, die im oder am Fahrzeug angeordnet sind. Es sind z.B. stereobasierte Kamerasysteme bekannt, die eine dreidimensionale Erkennung von Hindernissen erlauben.
-
Weiter sind so genannte monokulare Kamerasysteme bekannt, die eine nur zweidimensionale Erfassung eines Fahrzeugsumfelds erlauben. Diese monokularen Kamerasysteme erlauben eine Abbildung des Fahrzeugumfelds in ein zweidimensionales Kamerabild. Zur Erkennung von statischen Hindernissen im Fahrzeugumfeld werden hierbei u.a. so genannte „Structure from Motion“-Verfahren (SfM-Verfahren) eingesetzt. Diese erfordern einen hohen Rechenaufwand. Zudem ist eine Erkennung von dynamischen Hindernissen im Fahrzeugumfeld mit derartigen Verfahren derzeit nicht möglich.
-
In der Schrift von C. Demonceaux; A. Potelle; D. Kachi-Akkouche: Obstacle detection in a road scene based on motion analysis. In: IEEE Transactions on Vehicular Technology, Volume 53, 2004, Issue 6, Seiten 1649 - 1656 ist ist ein Hinderniserkennungssystem mit einer Fahrzeugkamera beschrieben, wobei zuerst die Fahrbahnbewegung durch eine wavelets Analyse ermittelt wird. Anschließend erfolgt eine Erkennung von verschiedenen Bewegung mit Hilfe einer bayesischen Modulation. Mit Hilfe des Systems sollen Hindernisse auf der Straße in verschiedenen aufgenommenen Bildzuständen erkannt werden.
-
Die
EP 1 830 321 A2 offenbart ein Hinderniserkennungssystem mit einer Fahrzeugkamera, bei dem ein erstes Bildes und ein zweites Bild, welches zu einem anderen Zeitpunkt erzeugt wird, verknüpft werden. Dabei wird die charakteristische Form der Straßenoberfläche erfasst und die Bilder anhand der charakteristischen Form der Straßenoberfläche ausgerichtet. Dabei wird der Bereich als Bereich beurteilt, der ein Hindernis enthält, bei dem ein Unterschied auftritt.
-
Die
US 2010/0002078 A1 offenbart ein Umfeldüberwachungssystem mittels einer Kamera, wobei ein Hindernis auf der Grundlage einer Differenz zwischen Bildabschnitten erkannt wird, die denselben erfassten Bereich entsprechen.
-
Die
DE 10 2006 060 893 A1 offenbart eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug. Hierbei ist ein bildgebender Sensor derart ausgebildet, dass er zu einem ersten Zeitpunkt ein erstes Bild und zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt ein zweites Bild eines Beobachtungsbereiches vor dem Fahrzeug aufnimmt. Weiter ist eine Bildverarbeitungseinheit derart ausgebildet, durch Bilden einer Differenz von Bilddaten des ersten Bildes und Bilddaten des zweiten Bildes ein Differenzbild zu erhalten, welches Bewegungskanten aufweist. Die Bewegungskanten sind hierbei durch sich unterscheidende Bildpunktwerte der Bilddaten des ersten Bildes gegenüber den Bilddaten des zweiten Bildes definiert. Weiter wird das Differenzbild als Verarbeitungsbild bereitgestellt. Eine Mustererkennungseinheit ist derart ausgebildet, dass sie als Freiraum vor dem Fahrzeug denjenigen Teil des Beobachtungsbereichs bestimmt, der einen bewegungskantenfreien Bereich des Differenzbildes, ausgehend von einem unteren Bildrand des Differenzbildes, entspricht.
-
Es stellt sich das technische Problem, ein Verfahren und eine Vorrichtung zu schaffen, welche eine verbesserte Detektion von Hindernissen mittels eines monokularen Bilderfassungssystems, insbesondere eine hinsichtlich eines Rechenaufwands günstige Detektion, ermöglichen.
-
Die Lösung des technischen Problems ergibt sich aus den Gegenständen mit den Merkmalen der Patentansprüche 1 und 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Vorgeschlagen wird ein Verfahren zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld. Insbesondere dient das Verfahren zur Detektion mindestens eines Hindernisses in einem rückwärtigen Fahrzeugkorridor oder in einem Fahrzeugkorridor vor dem Fahrzeug. Das vorgeschlagene Verfahren umfasst folgende Verfahrensschritte.
-
In einem ersten Schritt wird mittels eines monokularen Bilderfassungssystems ein erstes Bild des Fahrzeugumfelds erfasst. Hierbei umfasst ein Erfassungsbereich des monokularen Bilderfassungssystems eine Fahrbahn, auf welcher das Fahrzeug fährt. Das monokulare Bilderfassungssystem kann beispielsweise ein Kamerasystem sein. Das monokulare Bilderfassungssystem erlaubt hierbei, zu einem bestimmten Zeitpunkt ein Bild der Fahrzeugumgebung aufzunehmen. Das monokulare Bilderfassungssystem erlaubt hierbei keine stereoskopische Erfassung des Fahrzeugumfelds. Vorstellbar ist jedoch, dass zur Durchführung des Verfahrens eine Kamera eines stereoskopischen Kamerasystems, welche z.B. in dem Fahrzeug vorhanden ist, genutzt wird.
-
Eine Abbildung der Fahrzeugumgebung wird durch die so genannten intrinsischen und extrinsischen Parameter des Bilderfassungssystems, insbesondere des Kamerasystems, bestimmt. Hierbei beschreiben extrinsische Parameter eine Lage und Orientierung eines Koordinatensystems des Bilderfassungssystems zu einem Koordinatensystem des Fahrzeugs. Hierdurch ist u.a. auch eine Blickrichtung des Bilderfassungssystems in Relation zu dem Koordinatensystem des Fahrzeugs bestimmbar. Intrinsische Parameter umfassen beispielsweise Parameter einer Verzerrung, einer Skalierung und einer Brennweite des Bilderfassungssystems. Mittels des Bilderfassungssystems erfolgt eine Abbildung des Fahrzeugumfelds in ein zweidimensionales Bild. Bildpunkten dieses Bildes können Bildkoordinaten zugeordnet werden. Beispielsweise erfolgt die Abbildung der Fahrzeugumgebung über ein oder mehrere Linsen auf einen CMOS- oder CCD-Chip.
-
Die extrinsischen Parameter des Bilderfassungssystems sind vorzugsweise vorbekannt. D.h., dass die Lage und die Orientierung des Koordinatensystems des Bilderfassungssystems in dem Koordinatensystem des Fahrzeugs bekannt ist.
-
Aus einer vorbekannten Fahrzeuggeometrie kann eine Lage einer Fahrbahnebene im Koordinatensystem des Fahrzeugs bestimmt werden. Hierbei kann angenommen werden, dass die Fahrbahnebene eine plane Ebene ist, deren Normalenvektor parallel zu einer Hochachse (auch als Gierachse oder Vertikalachse bezeichnete Achse) des Fahrzeugs ist. Weiter kann über eine vorbekannte Fahrzeuggeometrie eine Höhe, also ein Abstand eines Koordinatenursprungs des Koordinatensystems des Fahrzeugs von der Fahrbahnebene entlang der Hochachse, bekannt sein. Somit kann also eine Lage einer so genannten idealen Fahrbahnebene im Koordinatensystem des Fahrzeugs bestimmt werden. Sind die extrinsischen und intrinsischen Parameter des Bilderfassungssystems vorbekannt, so kann ein Bildbereich des ersten Bildes bestimmt werden, in welchen die ideale Fahrbahnebene abgebildet wird. Dieser Bildbereich kann beispielsweise ein trapezförmiger Bildbereich sein. Der Bildbereich der Fahrbahn im ersten Bild umfasst also diejenigen zweidimensionalen Bildpunkte, auf welchen Punkte der Fahrbahnebene abbildbar sind.
-
In einem zweiten Schritt erfolgt eine Detektion von so genannten Merkmalspunkten des ersten Bildes im Bildbereich der Fahrbahn. Die Detektion von Merkmalspunkten kann hierbei z.B. mittels einer Einheit zur Bildverarbeitung erfolgen. Hierbei können Bilddaten des Bilderfassungssystems datentechnisch an die Einheit zur Bildverarbeitung übertragen werden. Merkmalspunkte bezeichnen hierbei charakteristische Punkte auf der Fahrbahnebene, die in den Bildbereich der Fahrbahn im ersten Bild abgebildet werden. Diese können insbesondere durch Fahrbahnmarkierungen oder besondere Strukturen auf der Fahrbahn gegeben sein. Die Detektion von diesen Merkmalspunkten umfasst hierbei die Identifizierung der Merkmalspunkte oder Merkmalsflächen und die Bestimmung von Bildkoordinaten dieser Merkmalspunkte oder - flächen. Eine Identifizierung von Merkmalspunkten oder -flächen kann hierbei z.B. bildpunktbasiert (pixelbasiert), flächenbasiert, intensitätsbasiert, kantenbasiert oder texturbasiert sein. Auch weitere Verfahren zur Identifizierung von geeigneten Merkmalspunkten können hierzu verwendet werden. Hierzu kann der Fachmann auf bekannte Verfahren zur Identifizierung von Merkmalspunkten (auch als Landmarken bezeichnet) im Bereich der Bildverarbeitung zurückgreifen. Im ersten Schritt wird also eine Menge von Bildkoordinaten von Merkmalspunkten bestimmt. Diese kann z.B. in einer Speichereinheit gespeichert werden.
-
In einem dritten Schritt wird mittels des Bilderfassungssystems ein zweites Bild erfasst, wobei das zweite Bild zeitlich nach dem ersten Bild erfasst wird. Hierbei kann sich das Fahrzeug zwischen dem ersten und zweiten Zeitpunkt bewegt haben. Hierbei kann das zweite Bild mit einer vorbestimmten Zeitdauer nach dem ersten Bild erfasst werden. Auch kann das zweite Bild mit einer geschwindigkeitsabhängigen Zeitdauer nach dem ersten Bild erfasst werden. Analog zum ersten Bild werden Merkmalspunkte des zweiten Bildes im Bildbereich der Fahrbahn im zweiten Bild detektiert. Im dritten Schritt wird also eine Menge von Merkmalspunkten des zweiten Bildes erzeugt. Diese kann z.B. ebenfalls in einer Speichereinheit abgespeichert werden.
-
In einem vierten Schritt erfolgt eine Bestimmung von korrespondierenden Merkmalspunkten aus den Mengen der Merkmalspunkte des ersten und des zweiten Bildes. Die Bestimmung kann hierbei mittels einer Berechnungseinheit erfolgen. Vorzugsweise werden hierbei Punkt-Punkt-Korrespondenzen ausgewertet. Hierbei können z.B. räumliche Relationen zwischen den Merkmalspunkten des ersten Bildes und räumliche Relationen zwischen den Merkmalspunkten des zweiten Bildes ausgenutzt werden. Alternativ oder kumulativ können so genannte invariante Deskriptoren, die z.B. skalierungs- und/oder verzerrungsinvariante Merkmalsbeschreibungen der Punkte darstellen, ausgenutzt werden. Mittels der Bestimmung von korrespondierenden Merkmalspunkten wird daher eine Menge von korrespondierenden Merkmalspunkten erzeugt.
-
In einem fünften Schritt wird mittels der korrespondierenden Merkmalspunkte, die in dem vierten Schritt bestimmt wurden, mindestens ein Parameter einer projektiven Transformation geschätzt. Hierbei beschreibt die projektive Transformation eine allgemeine Abbildung von Punkten einer ersten Ebene auf Punkte einer zweiten Ebene, wobei die erste Ebene räumlich versetzt zur zweiten Ebene angeordnet ist, oder, in Bezug auf das Bilderfassungssystem, aus unterschiedlichen Lagen und/oder Orientierungen des Bilderfassungssystems abgebildet wurde. In der Regel sind bei einer projektiven Transformation 8 unbekannte Parameter der projektiven Transformation zu schätzen. Hierzu kann der Fachmann ein vorbekanntes Schätzverfahren anwenden, z.B. ein Verfahren basierend auf der Methode der kleinsten Quadrate. Auch iterative Schätzverfahren können zum Schätzen der Parameter der projektiven Transformation genutzt werden. Startwerte für ein solches iteratives Schätzverfahren ergeben sich z.B. durch die vorbekannte Abbildung der Fahrbahnebene in einen Bildbereich der Fahrbahn im ersten und im zweiten Bild. Hierdurch wird die Bedingung berücksichtigt, dass Punkte, die sich im ersten Bild im Bildbereich der Fahrbahn befanden, sich im zweiten Bild ebenfalls im Bildbereich der Fahrbahn befinden müssen.
-
In einem sechsten Schritt wird mindestens ein Bildpunkt des ersten Bildes mittels der projektiven Transformation in einen transformierten Bildpunkt des ersten Bildes transformiert. Hierbei werden die im fünften Schritt geschätzten Parameter genutzt, um die Transformation durchzuführen. Vorzugsweise werden mehrere Bildpunkte des ersten Bildes transformiert. Vorzugsweise werden alle Bildpunkte im Bildbereich der Fahrbahn des ersten Bildes transformiert. Alternativ können auch alle Bildpunkte des ersten Bildes transformiert werden. Durch die Transformation der Bildpunkte des ersten Bildes wird eine rechnerische, durch die Transformation realisierte, Kompensation einer Bewegung des Bilderfassungssystems durchgeführt. Die transformierten Bildpunkte des ersten Bildes sind auch als bewegungskompensierte Bildpunkte zu bezeichnen. Hat sich das Fahrzeug zwischen dem Zeitpunkt der Erfassung des ersten Bildes und dem Zeitpunkt der Erfassung des zweiten Bildes bewegt, so ist eine Erkennung von statischen und dynamischen Hindernissen möglich. Hat sich das Fahrzeug zwischen dem Zeitpunkt der Erfassung des ersten Bildes und dem Zeitpunkt der Erfassung des zweiten Bildes nicht bewegt, so ist ausschließlich eine Erkennung von dynamischen Hindernissen möglich. Das Verfahren ermöglicht also in vorteilhafter Weise eine gleichzeitige Detektion von statischen und dynamischen Hindernissen, wenn sich das Fahrzeug zwischen dem Zeitpunkt der Erfassung des ersten Bildes und dem Zeitpunkt der Erfassung des zweiten Bildes bewegt hat. Hierin liegt ein wesentlicher Unterschied zum angeführten Stand der Technik.
-
In einem siebten Schritt erfolgt eine Berechnung einer Differenz einer Intensität des transformierten Bildpunkts des ersten Bildes und einer Intensität des zu dem transformierten Bildpunkt des ersten Bildes korrespondierenden Bildpunkts des zweiten Bildes. Hierbei hat der zu dem transformierten Bildpunkt des ersten Bildes korrespondierende Bildpunkt des zweiten Bildes die gleichen Bildkoordinaten wie der Bildpunkt des ersten Bildes. Vorzugsweise erfolgt die Berechnung einer Differenz für mehrere transformierte Bildpunkte des ersten Bildes, insbesondere für alle Bildpunkte des Bildbereichs der Fahrbahn des ersten Bildes. Die Bildpunkte, für welche eine Differenz der Intensität berechnet wurde, definieren hierbei ein so genanntes Differenzbild. Eine Intensität eines Bildpunkts bezeichnet hierbei beispielsweise eine Grauwertintensität, beispielsweise in einem Bereich von 0 bis 255, oder eine RGB- oder CYMK-basierte Intensität.
-
Durch die projektive Transformation wird hierbei eine Bewegungskompensation für Punkte in der Fahrbahnebene durchgeführt. Folglich wird eine Differenz der Intensitäten von transformierten Bildpunkten, die Punkte der Fahrbahnebene abbilden, und zu diesen transformierten Bildpunkten korrespondierenden Bildpunkten, die auch Punkte der Fahrbahnebene abbilden, klein, idealerweise 0, sein. Punkte, die nicht in der Fahrbahnebene liegen, erzeugen eine Intensitätsdifferenz. Somit erzeugt jedes Element, welches aus der Fahrbahnebene hinausragt, eine Intensitätsdifferenz. Dies gilt für statische und dynamische Hindernisse, die aus der Fahrbahnebene herausragen. Eine solche Intensitätsdifferenz kann auch als so genannter Kompensationsfehler beschrieben werden. Dies folgt aus der Tatsache, dass die projektive Transformation nur eine Kompensation einer Fahrzeugbewegung für Bildpunkte gewährleistet, auf die Punkte der Fahrbahnebene abgebildet werden. Eine Transformation von Bildpunkten des ersten Bildes, die Punkte außerhalb der Fahrbahnebene abbilden, zu korrespondierenden Bildpunkten des zweiten Bildes, die Punkte außerhalb der Fahrbahnebene abbilden, erfolgt gemäß einer Transformation, die von der bestimmten projektiven Transformation unterschiedlich ist.
-
In einem achten Schritt wird die bestimmte Differenz oder werden die bestimmten Differenzen mit einem vorbestimmten Schwellwert verglichen. Der vorbestimmte Schwellwert kann beispielsweise in einer Speichereinheit abgelegt sein. Auch ist vorstellbar, dass der Schwellwert adaptiv, z.B. in Abhängigkeit eines Mittelwerts einer Grauwertverteilung im Bild, bestimmt wird. Ein Hindernis wird detektiert, falls die Differenz oder die Differenzen größer sind als der vorbestimmte Schwellwert.
-
In dem vorhergehend geschilderten Verfahren dienen nur das erste und das zweite Bild sowie der vorbestimmte Schwellwert als Eingangsgröße. Eine Ausgangsgröße ist hierbei ein Signal, welches anzeigt, ob ein Hindernis detektiert wurde oder nicht.
-
Das vorgeschlagene Verfahren basiert also auf einer Bewegungskompensation von Bildinhalten mit anschließender Auswertung des Kompensationsfehlers. Hierbei wird angenommen, dass die Fahrbahn eine Ebene ist, wodurch die durch eine Fahrzeugbewegung bedingte Verschiebung von Bildpunkten mit Hilfe einer projektiven Transformation beschrieben und kompensiert werden kann. Mögliche Hindernisse liegen nicht in der Fahrbahnebene und führen somit zu einem Kompensationsfehler, der zur Detektion des Hindernisses genutzt wird. Hierdurch ergibt sich in vorteilhafter Weise ein einfach zu implementierendes, robustes und wenig rechenaufwändiges Verfahren zur Detektion eines statischen oder dynamischen Hindernisses in dem Fahrzeugumfeld.
-
In einer weiteren Ausführungsform erfolgt bei einer Bestimmung von Bildkoordinaten von Merkmalspunkten eine Kompensation von Abbildungsverfälschungen des monokularen Bilderfassungssystems. Insbesondere erfolgt eine Kompensation von Verzerrungen des Bilderfassungssystems. Sind intrinsische oder innere Parameter des Bilderfassungssystems bekannt, so können so genannte entzerrte Bildkoordinaten mit Hilfe einer Entzerrungsvorschrift, die abhängig von den intrinsischen Parametern des Bilderfassungssystems ist, berechnet werden. Neben der Verzerrung kann z.B. auch eine Skalierung des Bilderfassungssystems kompensiert werden. Hierdurch ergibt sich in vorteilhafter Weise, dass Abbildungsverfälschungen des Bilderfassungssystems nicht die Bildkoordinaten der Merkmalspunkte verfälschen und somit zu einem weniger genauen Verfahren führen. Hierdurch ergibt sich in vorteilhafter Weise eine verbesserte Sensitivität des Verfahrens zur Detektion von Hindernissen sowie eine größere Robustheit.
-
In einer weiteren Ausführungsform erfolgt die Transformation von mindestens einem Bildpunkt des ersten Bildes auf Basis eines unverfälschten, insbesondere entzerrten, Bildpunkts des ersten Bildes. Hierzu sei angenommen, dass die Parameter der projektiven Transformation auf Basis von unverfälschten, korrespondierenden Merkmalspunkten im ersten und im zweiten Bild geschätzt wurden. Dann wird vor der Transformation von mindestens einem Bildpunkt des ersten Bildes mittels der projektiven Transformation ein unverfälschter Bildpunkt des ersten Bildes berechnet. Analog zur Kompensation von Abbildungsverfälschungen kann dieser unverfälschte Bildpunkt des ersten Bildes mit Hilfe einer Entzerrungsvorschrift berechnet werden, die von intrinsischen Parametern des Bilderfassungssystems abhängt. Dieser unverfälschte Bildpunkt des ersten Bildes wird dann mittels der projektiven Transformation in einen transformierten, unverfälschten Bildpunkt des ersten Bildes transformiert. Nachfolgend wird dieser transformierte, unverfälschte Bildpunkt des ersten Bildes wieder verfälscht. Eine Verfälschung erfolgt beispielsweise mittels einer so genannten Verzerrungsvorschrift, die wiederum abhängig von den intrinsischen Parametern des Bilderfassungssystems ist. Hierbei kann die Verzerrungsvorschrift eine zu der Entzerrungsvorschrift inverse Funktion sein. Hierdurch ergibt sich in vorteilhafter Weise, dass die Bewegungskompensation auf Grundlage von unverfälschten Bildkoordinaten erfolgt. Hierdurch werden eine verbesserte Sensibilität des Verfahrens zur Detektion eines Hindernisses und eine verbesserte Robustheit bei der Detektion erreicht.
-
In einer weiteren Ausführungsform wird ein Differenzbild in mindestens zwei Teilbereiche unterteilt, wobei ein Hindernis in einem Teilbereich detektiert wird, falls eine vorbestimmte Anzahl von Differenzen in dem Teilbereich größer ist als der vorbestimmte Schwellwert. Teilbereiche können beispielsweise rechteckförmige oder kreisförmige Bildbereiche sein. Hierbei kann die geometrische Form eines Teilbereichs abhängig von der Form des zu detektierenden Hindernisses sein. Ein Hindernis wird also nur dann detektiert, falls für eine vorbestimmte Anzahl von Bildpunkten im Teilbereich des Differenzbilds eine Differenz größer ist als der vorbestimmte Schwellwert. Hierdurch wird in vorteilhafter Weise eine Rauschanfälligkeit des Verfahrens verringert bzw. eine Robustheit des Verfahrens erhöht. Hierbei wird angenommen, dass ein Hindernis eine Differenz der Intensität nicht ausschließlich für einen Bildpunkt des Differenzbildes erzeugt, sondern für mehrere Bildpunkte des Differenzbildes, die im Differenzbild innerhalb eines Teilbereiches des Differenzbildes liegen.
-
In einer weiteren Ausführungsform sind die mindestens zwei Teilbereiche horizontale Teilbereiche des Differenzbildes. Hierzu kann das Differenzbild in horizontale Teilbereiche aufgeteilt werden, die jeweils ein oder mehrere Bildzeilen des Differenzbildes umfassen. Hierdurch ergibt sich in vorteilhafter Weise, dass auch flache Hindernisse mit einer ausreichenden Sensitivität und Robustheit erkannt werden können.
-
In einer weiteren Ausführungsform werden Bildkoordinaten von mindestens einem Fußpunkt eines Hindernisses bestimmt. Als Fußpunkt wird hierbei eine Unterkante eines detektierten Hindernisses in Bildkoordinaten bestimmt. Eine Unterkante eines Hindernisses ist hierbei der Teilbereich des Hindernisses im Differenzbild, der den geringsten Abstand von einem unteren Bildrand des Differenzbildes aufweist. Weiter ist möglich, die Detektion mindestens eines Hindernisses nur in einem oberen Teilbereich des Bildes durchzuführen, wodurch ein Kompensationsfehler im unteren Bildbereich, der z.B. durch eine Stoßstange des Fahrzeugs verursacht wird, ignoriert wird. Der obere Teilbereich umfasst hierbei einen Teilbereich des Bildes, der keine Abbildung von Fahrzeugteilen enthält.
-
Weiter kann in Abhängigkeit der Bildkoordinaten des mindestens einen Fußpunktes des Hindernisses eine Entfernung des Hindernisses von dem Fahrzeug geschätzt werden. Hierdurch ergibt sich in vorteilhafter Weise, dass neben der reinen Detektion eines Hindernisses auch dessen Entfernung vom Fahrzeug geschätzt werden kann. Hierbei sind die Eingangsgrößen des Verfahrens das erste und das zweite Bild, der vorbestimmte Schwellwert, die extrinsischen und intrinsischen Parameter des Bilderfassungssystems sowie die Lage und Orientierung des Koordinatensystems des Bilderfassungssystems in Relation zu dem Koordinatensystem des Fahrzeugs. Hierbei wird angenommen, dass eine Lage und Orientierung (extrinsische Parameter) und intrinsische Parameter des Bilderfassungssystems vorbekannt sind. Mit Hilfe dieser Parameter kann ein Schnittpunkt einer Sichtlinie mit der Fahrbahnebene berechnet werden. Die Sichtlinie bezeichnet hierbei die Linie, entlang welcher der Fußpunkt des Hindernisses in eine Bildebene des Bilderfassungssystems projiziert wird. Wird die Lage und Orientierung eines Koordinatensystems des Bilderfassungssystems hinsichtlich eines Koordinatensystems des Fahrzeugs als bekannt angenommen, kann auch eine Entfernung des Hindernisses vom Fahrzeug geschätzt werden. Allerdings kann die Schätzung der Entfernung des Hindernisses durch verschiedene Faktoren verfälscht werden. Z.B. können verschiedene Beladungszustände des Fahrzeugs und eine unebene Fahrbahn, wie z.B. eine Rampe, die Schätzung der Entfernung des Hindernisses verfälschen.
-
In einer bevorzugten Ausführungsform werden aus der Menge von korrespondierenden Merkmalspunkten zur Bestimmung der Parameter der projektiven Transformation nur ausgewählte, korrespondierende Merkmalspunkte verwendet. Hierbei kann ein Verfahren zur Punktauswahl angewendet werden. Hierdurch wird in vorteilhafter Weise erreicht, dass die Schätzung der Parameter der projektiven Transformation nur auf Basis von zuverlässigen Merkmalspunkten, insbesondere von Merkmalspunkten, die charakteristischen Punkten in der Fahrbahnebene entsprechen, basiert. Beispielsweise kann das so genannte RANSAC-Verfahren zur Schätzung der Parameter der projektiven Transformation angewendet werden. Das RANSAC-Verfahren ist hierbei ein Verfahren zur robusten Parameterschätzung. Hierdurch wird der Einfluss von so genannten Ausreißern in der Menge der korrespondierenden Merkmalspunkte, insbesondere von Merkmalspunkten, die Punkte außerhalb der Fahrbahnebene abbilden, reduziert. Ein für das RANSAC-Verfahren benötigtes Modell ist beispielsweise durch die vorbekannte Lage der idealen Fahrbahnebene gegeben. Das Modell der idealen Fahrbahnebene bedingt hierbei, dass Merkmalspunkte im ersten und im zweiten Bild der Bedingung genügen müssen, in der vorab bekannten Fahrbahnebene zu liegen. Hierbei kann wie vorhergehend erläutert, ausgenutzt werden, dass die Abbildung einer idealen Fahrbahnebene in den Bildbereich des Bilderfassungssystems in Abhängigkeit von vorbekannten extrinsischen und gegebenenfalls intrinsischen Parametern bekannt ist. Definieren z.B. Merkmalspunkte des ersten Bildes eine Ebene, die mehr als ein vorbestimmtes Maß von der Abbildung der idealen Fahrbahnebene in den Bildbereich des Bilderfassungssystems abweicht, so kann ein oder können mehrere dieser Merkmalspunkte verworfen werden. Selbstverständlich können auch andere, dem Fachmann bekannte, Verfahren zur robusten Parameterschätzung angewendet werden.
-
In einer weiteren Ausführungsform wird das vorgeschlagene Verfahren für mindestens zwei Teilbereiche des Bildbereichs der Fahrbahn durchgeführt. Hierdurch wird es in vorteilhafter Weise ermöglicht, eine z.B. nicht plane Fahrbahn in quasi-plane Teile der Fahrbahn zu unterteilen und für jeden dieser Teilbereiche eine separate Hinderniserkennung durchzuführen.
-
Auch kann, z.B. bei einer vorbekannten Krümmung oder vorbekannten Neigung der Fahrbahn, die Krümmung oder Neigung der Fahrbahn rechnerisch kompensiert werden. Auch kann eine Krümmung oder Neidung der Fahrbahn mit Hilfe von Sensoren geschätzt werden. Analog zur Entfälschung oder Entzerrung ist es hierdurch in vorteilhafter Weise möglich, eine Krümmung der Fahrbahn in dem vorgeschlagenen Verfahren zu kompensieren.
-
Vorgeschlagen wird weiter eine Vorrichtung zur Detektion mindestens eines Hindernisses. Die Vorrichtung umfasst mindestens ein monokulares Kamerasystem, mindestens eine Einheit zur Bildverarbeitung, mindestens eine Berechnungseinheit und mindestens eine Vergleichseinheit. Mittels dieser Vorrichtung sind die vorgeschlagenen Verfahren durchführbar. Hierbei ist es selbstverständlich möglich, dass einzelne Verfahrensschritte von nur einer Einheit, beispielsweise der Berechnungseinheit, oder von separaten Einheiten durchgeführt werden.
-
Die Erfindung wird anhand eines Ausführungsbeispiels näher erläutert. Die Figuren zeigen:
- 1 ein schematisches Blockschaltbild einer Vorrichtung zur Detektion mindestens eines Hindernisses,
- 2 ein schematisches Flussdiagramm eines Verfahrens zur Detektion mindestens eines Hindernisses und
- 3 eine schematische Bestimmung einer Entfernung eines Fußpunkts eines Hindernisses von einem Fahrzeug.
-
Nachfolgend bezeichnen Elemente mit gleichen Bezugszeichen Elemente mit gleichen oder ähnlichen technischen Eigenschaften.
-
In 1 ist ein schematisches Blockschaltbild einer Vorrichtung 1 zur Detektion mindestens eines Hindernisses 10 dargestellt. Die Vorrichtung 1 umfasst eine monokulare Kamera 2, eine Einheit 3 zur Bildverarbeitung, eine Speichereinheit 4 und eine Berechnungseinheit 5. Die Kamera 2 ist datentechnisch mit der Einheit 3 zur Bildverarbeitung verbunden. Die Einheit 3 zur Bildverarbeitung ist datentechnisch mit der Speichereinheit 4 und der Berechnungseinheit 5 verbunden. Die Speichereinheit 4 ist datentechnisch mit der Berechnungseinheit 5 verbunden. Die Kamera ist hierbei in oder an einem nicht dargestellten Fahrzeug angeordnet. Mittels der Kamera 2 wird ein Fahrzeugumfeld überwacht. Hierbei erfasst die Kamera 2 auch eine Fahrbahn 9, auf der das Fahrzeug fährt. Auch erfasst die Kamera 2 ein Hindernis 10, welches sich auf der Fahrbahn 9 befindet und nach oben aus dieser herausragt. Ein von der Kamera 2 erfasstes erstes Bild Bk-1 (siehe 2) der Fahrzeugumgebung, insbesondere der Fahrbahn 9 und des Hindernisses 10, wird datentechnisch an die Einheit 3 zur Bildverarbeitung übertragen. Die Einheit 3 zur Bildverarbeitung führt hierbei eine Detektion von Merkmalspunkten im von der Kamera 2 übertragenen ersten Bild Bk-1 durch. Auch kann die Einheit 3 zur Bildverarbeitung in einer Vorverarbeitung z.B. eine Rauschfilterung durchführen. Bei einer Detektion von Merkmalspunkten identifiziert die Einheit 3 zur Bildverarbeitung charakteristische Punkte der Fahrbahn 9, die in einen Bildbereich der Fahrbahn 9 des ersten Bildes Bk-1 abgebildet werden. Hierbei ist es möglich, dass die Einheit 3 zur Bildverarbeitung als Merkmalspunkte auch Punkte detektiert, die charakteristischen Punkten des Hindernisses 10 entsprechen. Die derart detektierten Merkmalspunkte, die durch die Abbildung der Fahrbahn 9 und des Hindernisses 10 erzeugt werden, werden in der Speichereinheit 4 gespeichert. Die Kamera 2 erfasst zu einem späteren Zeitpunkt ein zweites Bild Bk (siehe 2) des Fahrzeugumfeldes. Hierbei wird angenommen, dass sich das Fahrzeug während der Aufnahme des ersten Bildes Bk-1 und des zweiten Bildes Bk auf der Fahrbahn 9 bewegt hat. In analoger Weise detektiert die Einheit 3 zur Bildverarbeitung Merkmalspunkte im zweiten Bild Bk der Kamera 2. Die Merkmalspunkte des zweiten Bildes Bk werden datentechnisch an die Berechnungseinheit 5 übertragen. Die Berechnungseinheit 5 bestimmt aus der Menge von Merkmalspunkten des ersten Bildes Bk-1 , die der Berechnungseinheit 5 von der Speichereinheit 4 datentechnisch übertragen werden, und der Menge von Merkmalspunkten des zweiten Bildes Bk eine Menge von korrespondierenden Merkmalspunkten des ersten und zweiten Bildes Bk-1 , Bk . Weiter schätzt die Berechnungseinheit 5 Parameter einer projektiven Transformation aus der Menge von korrespondieren Merkmalspunkten. Weiter transformiert die Berechnungseinheit 5 alle Bildpunkte des Bildbereiches der Fahrbahn 9 des ersten Bildes Bk-1 mittels der projektiven Transformation, die mit den vorher geschätzten Parametern parametrisiert ist. Hiernach berechnet die Berechnungseinheit 5 ein Differenzbild aus einer Differenz von Intensitäten von Bildpunkten des Bildbereichs der Fahrbahn 9 des zweiten Bildes Bk und transformierten Bildpunkten des Bildbereichs der Fahrbahn 9 des ersten Bildes Bk-1 . Weiter überträgt die Berechnungseinheit 5 dieses Differenzbild an die Vergleichseinheit 6. Die Vergleichseinheit 6 vergleicht einzelne Teilbereiche des Differenzbildes, beispielsweise horizontale Teilbereiche des Differenzbildes, mit einem vorab bestimmten Schwellwert, der in einer weiteren Speichereinheit 7 gespeichert und datentechnisch an die Vergleichseinheit 6 übertragen wird. Weist eine vorbestimmte Anzahl, die beispielsweise ebenfalls in der weiteren Speichereinheit 7 gespeichert ist, eine höhere Differenz als den vorbestimmten Schwellwert auf, so erzeugt die Vergleichseinheit 6 ein Aktivierungssignal für eine Warneinheit 8. Die Warneinheit 8 dient hierbei der Warnung eines Fahrzeugführers und wird aktiviert, falls ein Hindernis detektiert wurde.
-
In 2 ist ein schematisches Flussdiagramm eines Verfahrens zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld dargestellt. Hierbei bilden ein erstes Bild Bk-1 und ein zweites Bild Bk sowie intrinsische Kameraparameter Pint, extrinsische Kameraparameter Pext und ein vorbestimmter Schwellwert Thr die Eingangsgrößen des Verfahrens. In einem ersten Schritt 11 werden im ersten und im zweiten Bild Bk-1 , Bk Merkmalspunkte detektiert sowie korrespondierende Merkmalspunkte des ersten Bildes Bk-1 und des zweiten Bildes Bk bestimmt. In Abhängigkeit der intrinsischen Kameraparameter Pint wird in einem zweiten Schritt 12 eine Kompensation einer Linsenverzerrung der z.B. in 1 dargestellten Kamera 2 durchgeführt. Hierbei werden so genannte entzerrte Bildpunkte der korrespondierenden Merkmalspunkte aus den Bildpunkten der im ersten Schritt 11 bestimmten korrespondierenden Merkmalspunkte in Abhängigkeit der intrinsischen Kameraparameter Pint bestimmt. In einem dritten Schritt 13 erfolgt eine Schätzung von Parametern einer projektiven Transformation aus den entzerrten, korrespondierenden Merkmalspunkten. In einem vierten Schritt 14 erfolgt eine Kompensation der Kamerabewegung. Hierbei wird das erste Bild Bk-1 in Abhängigkeit der intrinsischen Kameraparameter Pint entzerrt, mittels der im dritten Schritt 13 geschätzten projektiven Transformation transformiert und wiederum in Abhängigkeit der intrinsischen Kameraparameter Pint verzerrt. Hierdurch wird also ein bewegungskompensiertes, verzerrtes erstes Bild berechnet. Aus diesem und dem zweiten Bild Bk wird in einem fünften Schritt 15 ein Differenzbild erzeugt. Durch einen Vergleich von Intensitäten der Bildpunkte des Differenzbildes mit einem vorbestimmten Schwellwert Thr wird ein Hindernis 10 detektiert, falls die Intensitäten der Bildpunkte des Differenzbildes größer als der vorbestimmte Schwellwert Thr ist (sechster Schritt 16). In einem siebten Schritt 17 erfolgt eine Schätzung der Entfernung des detektierten Hindernisses 10 vom Fahrzeug in Abhängigkeit der intrinsischen Kameraparameter Pint und der extrinsischen Kameraparameter Pext , wobei die extrinsischen Kameraparameter Pext eine Lage und Orientierung eines Koordinatensystems der Kamera 2 im Fahrzeug angeben. Die im siebten Schritt 17 geschätzte Entfernung des Hindernisses 10 kann dem Fahrer beispielsweise auf einer Anzeigeeinheit 18 dargestellt werden.
-
In 3 ist schematisch die Schätzung einer Entfernung eines Hindernisses 10 von einem Fahrzeug dargestellt. Hierbei bezeichnen die Achsen yF und zF die Achsen eines Koordinatensystems des Fahrzeugs. Weiter bezeichnen yK und zK die Achsen eines Koordinatensystems der z.B. in 1 dargestellten Kamera 2. Die Lage und Orientierung des Koordinatensystems der Kamera 2 im Koordinatensystem des Fahrzeugs ist hierbei bekannt. Hierbei sei weiter angenommen, dass das Hindernis 10 bereits mittels des vorhergehend geschilderten Verfahrens detektiert wurde. Weiter sei angenommen, dass im Differenzbild ein Fußpunkt des Hindernisses 10 bestimmt wurde. Weiter wird dann eine Sichtlinie 19 bestimmt, auf welcher der Fußpunkt des Hindernisses 10 in die Bildebene der Kamera 2 abgebildet wird. Die Sichtlinie 19 schließt hierbei einen Winkel α mit einer optischen Achse 20 der Kamera 2 ein. Die optische Achse 20 schließt einen Winkel ϑ mit der Achse yK des Koordinatensystems der Kamera 2 ein. Weiter sei angenommen, dass eine Höhe HF des Fahrzeugs über einer Fahrbahn 9 bekannt ist. Aus der vorbekannten Lage und Orientierung des Koordinatensystems der Kamera 2 zu dem Koordinatensystem des Fahrzeugs und der Höhe HF des Fahrzeugs über der Fahrbahn 9 lässt sich in einem ersten Schritt eine Entfernung zH,K des Hindernisses 10 von der Kamera 2 entlang der Achse zk der Kamera 2 bestimmen. Mittels der vorbekannten Lage des Koordinatensystems der Kamera 2 zum Koordinatensystem des Fahrzeugs lässt sich in einem zweiten Schritt eine Entfernung des Hindernisses 10 vom Koordinatensystem des Fahrzeugs entlang der Achse zF bestimmen.
-
Bezugszeichenliste
-
- 1
- Vorrichtung zur Detektion mindestens eines Hindernisses
- 2
- Kamera
- 3
- Einheit zur Bildverarbeitung
- 4
- Speichereinheit
- 5
- Berechnungseinheit
- 6
- Vergleichseinheit
- 7
- weitere Speichereinheit
- 8
- Warneinheit
- 9
- Fahrbahn
- 10
- Hindernis
- 11
- erster Schritt des Verfahrens
- 12
- zweiter Schritt des Verfahrens
- 13
- dritter Schritt des Verfahrens
- 14
- vierter Schritt des Verfahrens
- 15
- fünfter Schritt des Verfahrens
- 16
- sechster Schritt des Verfahrens
- 17
- siebter Schritt des Verfahrens
- 18
- Anzeigeeinheit
- Bk-1
- erstes Bild
- Bk
- zweites Bild
- Pint
- intrinsische Kameraparameter
- Pext
- extrinsische Kameraparameter
- Thr
- vorbestimmter Schwellwert
- yK
- Achse eines Koordinatensystems einer Kamera
- zK
- Achse des Koordinatensystems einer Kamera
- yF
- Achse eines Koordinatensystems eines Fahrzeugs
- zF
- Achse eines Koordinatensystems eines Fahrzeugs
- HF
- Höhe des Koordinatensystems des Fahrzeugs über der Fahrbahn
- zH,K
- Entfernung eines Hindernisses von einer Kamera
- 19
- Sichtlinie
- 20
- optische Achse
- α .
- Winkel
- ϑ
- Winkel