[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE102010009620B4 - Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld - Google Patents

Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld Download PDF

Info

Publication number
DE102010009620B4
DE102010009620B4 DE102010009620.2A DE102010009620A DE102010009620B4 DE 102010009620 B4 DE102010009620 B4 DE 102010009620B4 DE 102010009620 A DE102010009620 A DE 102010009620A DE 102010009620 B4 DE102010009620 B4 DE 102010009620B4
Authority
DE
Germany
Prior art keywords
image
pixel
feature points
obstacle
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102010009620.2A
Other languages
English (en)
Other versions
DE102010009620A1 (de
Inventor
Dr. Haja Andreas
Hellward Broszio
Nikolaus Meine
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102010009620.2A priority Critical patent/DE102010009620B4/de
Publication of DE102010009620A1 publication Critical patent/DE102010009620A1/de
Application granted granted Critical
Publication of DE102010009620B4 publication Critical patent/DE102010009620B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zur Detektion mindestens eines Hindernisses (10) in einem Fahrzeugumfeld, wobei das Verfahren folgende Verfahrensschritte umfasst:- Erfassen eines ersten Bildes (B) mittels eines monokularen Bilderfassungssystems,- Detektion von Merkmalspunkten des ersten Bildes (B) im Bildbereich einer Fahrbahn (9) im ersten Bild (B),- Erfassen eines zweiten Bildes (B) mittels des monokularen Bilderfassungssystems, wobei das zweite Bild (B) zeitlich nach dem ersten Bild (B) erfasst wird,- Detektion von Merkmalspunkten des zweiten Bildes (B) im Bildbereich der Fahrbahn (9) im zweiten Bild (B),- Bestimmung von korrespondierenden Merkmalspunkten aus den Merkmalspunkten des ersten und des zweiten Bildes (BB),- Schätzung von mindestens einem Parameter einer projektiven Transformation aus den korrespondierenden Merkmalspunkten,- Transformation von mindestens einem Bildpunkt des ersten Bildes (B) mittels der projektiven Transformation in einen transformierten Bildpunkt des ersten Bildes (B),- Berechnung einer Differenz einer Intensität des transformierten Bildpunkts des ersten Bildes (B) und einer Intensität des zu dem transformierten Bildpunkt des ersten Bildes (B) korrespondierenden Bildpunkts des zweiten Bildes (B),- Vergleich der Differenz mit einem vorbestimmten Schwellwert (Thr) und- Detektion eines Hindernisses (10), falls die Differenz größer ist als der vorbestimmte Schwellwert (Thr).

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld.
  • In modernen Kraftfahrzeugen ist es üblich, ein Fahrzeugumfeld, insbesondere einen hinsichtlich des Fahrzeugs vorderen Fahrzeugkorridor und/oder rückwärtigen Fahrzeugkorridor, zu überwachen und gegebenenfalls vorhandene statische oder dynamische Hindernisse zu erkennen. Hierdurch wird u.a. eine Kollisionsvermeidung des Fahrzeugs mit solchen Hindernissen unterstützt.
  • Eine Überwachung des Fahrzeugsumfelds geschieht üblicherweise mit Hilfe von Radar-, Lidar- und Ultraschall-Systemen. Weiter bekannt sind Bilderfassungssysteme, beispielsweise Kamerasysteme, die im oder am Fahrzeug angeordnet sind. Es sind z.B. stereobasierte Kamerasysteme bekannt, die eine dreidimensionale Erkennung von Hindernissen erlauben.
  • Weiter sind so genannte monokulare Kamerasysteme bekannt, die eine nur zweidimensionale Erfassung eines Fahrzeugsumfelds erlauben. Diese monokularen Kamerasysteme erlauben eine Abbildung des Fahrzeugumfelds in ein zweidimensionales Kamerabild. Zur Erkennung von statischen Hindernissen im Fahrzeugumfeld werden hierbei u.a. so genannte „Structure from Motion“-Verfahren (SfM-Verfahren) eingesetzt. Diese erfordern einen hohen Rechenaufwand. Zudem ist eine Erkennung von dynamischen Hindernissen im Fahrzeugumfeld mit derartigen Verfahren derzeit nicht möglich.
  • In der Schrift von C. Demonceaux; A. Potelle; D. Kachi-Akkouche: Obstacle detection in a road scene based on motion analysis. In: IEEE Transactions on Vehicular Technology, Volume 53, 2004, Issue 6, Seiten 1649 - 1656 ist ist ein Hinderniserkennungssystem mit einer Fahrzeugkamera beschrieben, wobei zuerst die Fahrbahnbewegung durch eine wavelets Analyse ermittelt wird. Anschließend erfolgt eine Erkennung von verschiedenen Bewegung mit Hilfe einer bayesischen Modulation. Mit Hilfe des Systems sollen Hindernisse auf der Straße in verschiedenen aufgenommenen Bildzuständen erkannt werden.
  • Die EP 1 830 321 A2 offenbart ein Hinderniserkennungssystem mit einer Fahrzeugkamera, bei dem ein erstes Bildes und ein zweites Bild, welches zu einem anderen Zeitpunkt erzeugt wird, verknüpft werden. Dabei wird die charakteristische Form der Straßenoberfläche erfasst und die Bilder anhand der charakteristischen Form der Straßenoberfläche ausgerichtet. Dabei wird der Bereich als Bereich beurteilt, der ein Hindernis enthält, bei dem ein Unterschied auftritt.
  • Die US 2010/0002078 A1 offenbart ein Umfeldüberwachungssystem mittels einer Kamera, wobei ein Hindernis auf der Grundlage einer Differenz zwischen Bildabschnitten erkannt wird, die denselben erfassten Bereich entsprechen.
  • Die DE 10 2006 060 893 A1 offenbart eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug. Hierbei ist ein bildgebender Sensor derart ausgebildet, dass er zu einem ersten Zeitpunkt ein erstes Bild und zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt ein zweites Bild eines Beobachtungsbereiches vor dem Fahrzeug aufnimmt. Weiter ist eine Bildverarbeitungseinheit derart ausgebildet, durch Bilden einer Differenz von Bilddaten des ersten Bildes und Bilddaten des zweiten Bildes ein Differenzbild zu erhalten, welches Bewegungskanten aufweist. Die Bewegungskanten sind hierbei durch sich unterscheidende Bildpunktwerte der Bilddaten des ersten Bildes gegenüber den Bilddaten des zweiten Bildes definiert. Weiter wird das Differenzbild als Verarbeitungsbild bereitgestellt. Eine Mustererkennungseinheit ist derart ausgebildet, dass sie als Freiraum vor dem Fahrzeug denjenigen Teil des Beobachtungsbereichs bestimmt, der einen bewegungskantenfreien Bereich des Differenzbildes, ausgehend von einem unteren Bildrand des Differenzbildes, entspricht.
  • Es stellt sich das technische Problem, ein Verfahren und eine Vorrichtung zu schaffen, welche eine verbesserte Detektion von Hindernissen mittels eines monokularen Bilderfassungssystems, insbesondere eine hinsichtlich eines Rechenaufwands günstige Detektion, ermöglichen.
  • Die Lösung des technischen Problems ergibt sich aus den Gegenständen mit den Merkmalen der Patentansprüche 1 und 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Vorgeschlagen wird ein Verfahren zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld. Insbesondere dient das Verfahren zur Detektion mindestens eines Hindernisses in einem rückwärtigen Fahrzeugkorridor oder in einem Fahrzeugkorridor vor dem Fahrzeug. Das vorgeschlagene Verfahren umfasst folgende Verfahrensschritte.
  • In einem ersten Schritt wird mittels eines monokularen Bilderfassungssystems ein erstes Bild des Fahrzeugumfelds erfasst. Hierbei umfasst ein Erfassungsbereich des monokularen Bilderfassungssystems eine Fahrbahn, auf welcher das Fahrzeug fährt. Das monokulare Bilderfassungssystem kann beispielsweise ein Kamerasystem sein. Das monokulare Bilderfassungssystem erlaubt hierbei, zu einem bestimmten Zeitpunkt ein Bild der Fahrzeugumgebung aufzunehmen. Das monokulare Bilderfassungssystem erlaubt hierbei keine stereoskopische Erfassung des Fahrzeugumfelds. Vorstellbar ist jedoch, dass zur Durchführung des Verfahrens eine Kamera eines stereoskopischen Kamerasystems, welche z.B. in dem Fahrzeug vorhanden ist, genutzt wird.
  • Eine Abbildung der Fahrzeugumgebung wird durch die so genannten intrinsischen und extrinsischen Parameter des Bilderfassungssystems, insbesondere des Kamerasystems, bestimmt. Hierbei beschreiben extrinsische Parameter eine Lage und Orientierung eines Koordinatensystems des Bilderfassungssystems zu einem Koordinatensystem des Fahrzeugs. Hierdurch ist u.a. auch eine Blickrichtung des Bilderfassungssystems in Relation zu dem Koordinatensystem des Fahrzeugs bestimmbar. Intrinsische Parameter umfassen beispielsweise Parameter einer Verzerrung, einer Skalierung und einer Brennweite des Bilderfassungssystems. Mittels des Bilderfassungssystems erfolgt eine Abbildung des Fahrzeugumfelds in ein zweidimensionales Bild. Bildpunkten dieses Bildes können Bildkoordinaten zugeordnet werden. Beispielsweise erfolgt die Abbildung der Fahrzeugumgebung über ein oder mehrere Linsen auf einen CMOS- oder CCD-Chip.
  • Die extrinsischen Parameter des Bilderfassungssystems sind vorzugsweise vorbekannt. D.h., dass die Lage und die Orientierung des Koordinatensystems des Bilderfassungssystems in dem Koordinatensystem des Fahrzeugs bekannt ist.
  • Aus einer vorbekannten Fahrzeuggeometrie kann eine Lage einer Fahrbahnebene im Koordinatensystem des Fahrzeugs bestimmt werden. Hierbei kann angenommen werden, dass die Fahrbahnebene eine plane Ebene ist, deren Normalenvektor parallel zu einer Hochachse (auch als Gierachse oder Vertikalachse bezeichnete Achse) des Fahrzeugs ist. Weiter kann über eine vorbekannte Fahrzeuggeometrie eine Höhe, also ein Abstand eines Koordinatenursprungs des Koordinatensystems des Fahrzeugs von der Fahrbahnebene entlang der Hochachse, bekannt sein. Somit kann also eine Lage einer so genannten idealen Fahrbahnebene im Koordinatensystem des Fahrzeugs bestimmt werden. Sind die extrinsischen und intrinsischen Parameter des Bilderfassungssystems vorbekannt, so kann ein Bildbereich des ersten Bildes bestimmt werden, in welchen die ideale Fahrbahnebene abgebildet wird. Dieser Bildbereich kann beispielsweise ein trapezförmiger Bildbereich sein. Der Bildbereich der Fahrbahn im ersten Bild umfasst also diejenigen zweidimensionalen Bildpunkte, auf welchen Punkte der Fahrbahnebene abbildbar sind.
  • In einem zweiten Schritt erfolgt eine Detektion von so genannten Merkmalspunkten des ersten Bildes im Bildbereich der Fahrbahn. Die Detektion von Merkmalspunkten kann hierbei z.B. mittels einer Einheit zur Bildverarbeitung erfolgen. Hierbei können Bilddaten des Bilderfassungssystems datentechnisch an die Einheit zur Bildverarbeitung übertragen werden. Merkmalspunkte bezeichnen hierbei charakteristische Punkte auf der Fahrbahnebene, die in den Bildbereich der Fahrbahn im ersten Bild abgebildet werden. Diese können insbesondere durch Fahrbahnmarkierungen oder besondere Strukturen auf der Fahrbahn gegeben sein. Die Detektion von diesen Merkmalspunkten umfasst hierbei die Identifizierung der Merkmalspunkte oder Merkmalsflächen und die Bestimmung von Bildkoordinaten dieser Merkmalspunkte oder - flächen. Eine Identifizierung von Merkmalspunkten oder -flächen kann hierbei z.B. bildpunktbasiert (pixelbasiert), flächenbasiert, intensitätsbasiert, kantenbasiert oder texturbasiert sein. Auch weitere Verfahren zur Identifizierung von geeigneten Merkmalspunkten können hierzu verwendet werden. Hierzu kann der Fachmann auf bekannte Verfahren zur Identifizierung von Merkmalspunkten (auch als Landmarken bezeichnet) im Bereich der Bildverarbeitung zurückgreifen. Im ersten Schritt wird also eine Menge von Bildkoordinaten von Merkmalspunkten bestimmt. Diese kann z.B. in einer Speichereinheit gespeichert werden.
  • In einem dritten Schritt wird mittels des Bilderfassungssystems ein zweites Bild erfasst, wobei das zweite Bild zeitlich nach dem ersten Bild erfasst wird. Hierbei kann sich das Fahrzeug zwischen dem ersten und zweiten Zeitpunkt bewegt haben. Hierbei kann das zweite Bild mit einer vorbestimmten Zeitdauer nach dem ersten Bild erfasst werden. Auch kann das zweite Bild mit einer geschwindigkeitsabhängigen Zeitdauer nach dem ersten Bild erfasst werden. Analog zum ersten Bild werden Merkmalspunkte des zweiten Bildes im Bildbereich der Fahrbahn im zweiten Bild detektiert. Im dritten Schritt wird also eine Menge von Merkmalspunkten des zweiten Bildes erzeugt. Diese kann z.B. ebenfalls in einer Speichereinheit abgespeichert werden.
  • In einem vierten Schritt erfolgt eine Bestimmung von korrespondierenden Merkmalspunkten aus den Mengen der Merkmalspunkte des ersten und des zweiten Bildes. Die Bestimmung kann hierbei mittels einer Berechnungseinheit erfolgen. Vorzugsweise werden hierbei Punkt-Punkt-Korrespondenzen ausgewertet. Hierbei können z.B. räumliche Relationen zwischen den Merkmalspunkten des ersten Bildes und räumliche Relationen zwischen den Merkmalspunkten des zweiten Bildes ausgenutzt werden. Alternativ oder kumulativ können so genannte invariante Deskriptoren, die z.B. skalierungs- und/oder verzerrungsinvariante Merkmalsbeschreibungen der Punkte darstellen, ausgenutzt werden. Mittels der Bestimmung von korrespondierenden Merkmalspunkten wird daher eine Menge von korrespondierenden Merkmalspunkten erzeugt.
  • In einem fünften Schritt wird mittels der korrespondierenden Merkmalspunkte, die in dem vierten Schritt bestimmt wurden, mindestens ein Parameter einer projektiven Transformation geschätzt. Hierbei beschreibt die projektive Transformation eine allgemeine Abbildung von Punkten einer ersten Ebene auf Punkte einer zweiten Ebene, wobei die erste Ebene räumlich versetzt zur zweiten Ebene angeordnet ist, oder, in Bezug auf das Bilderfassungssystem, aus unterschiedlichen Lagen und/oder Orientierungen des Bilderfassungssystems abgebildet wurde. In der Regel sind bei einer projektiven Transformation 8 unbekannte Parameter der projektiven Transformation zu schätzen. Hierzu kann der Fachmann ein vorbekanntes Schätzverfahren anwenden, z.B. ein Verfahren basierend auf der Methode der kleinsten Quadrate. Auch iterative Schätzverfahren können zum Schätzen der Parameter der projektiven Transformation genutzt werden. Startwerte für ein solches iteratives Schätzverfahren ergeben sich z.B. durch die vorbekannte Abbildung der Fahrbahnebene in einen Bildbereich der Fahrbahn im ersten und im zweiten Bild. Hierdurch wird die Bedingung berücksichtigt, dass Punkte, die sich im ersten Bild im Bildbereich der Fahrbahn befanden, sich im zweiten Bild ebenfalls im Bildbereich der Fahrbahn befinden müssen.
  • In einem sechsten Schritt wird mindestens ein Bildpunkt des ersten Bildes mittels der projektiven Transformation in einen transformierten Bildpunkt des ersten Bildes transformiert. Hierbei werden die im fünften Schritt geschätzten Parameter genutzt, um die Transformation durchzuführen. Vorzugsweise werden mehrere Bildpunkte des ersten Bildes transformiert. Vorzugsweise werden alle Bildpunkte im Bildbereich der Fahrbahn des ersten Bildes transformiert. Alternativ können auch alle Bildpunkte des ersten Bildes transformiert werden. Durch die Transformation der Bildpunkte des ersten Bildes wird eine rechnerische, durch die Transformation realisierte, Kompensation einer Bewegung des Bilderfassungssystems durchgeführt. Die transformierten Bildpunkte des ersten Bildes sind auch als bewegungskompensierte Bildpunkte zu bezeichnen. Hat sich das Fahrzeug zwischen dem Zeitpunkt der Erfassung des ersten Bildes und dem Zeitpunkt der Erfassung des zweiten Bildes bewegt, so ist eine Erkennung von statischen und dynamischen Hindernissen möglich. Hat sich das Fahrzeug zwischen dem Zeitpunkt der Erfassung des ersten Bildes und dem Zeitpunkt der Erfassung des zweiten Bildes nicht bewegt, so ist ausschließlich eine Erkennung von dynamischen Hindernissen möglich. Das Verfahren ermöglicht also in vorteilhafter Weise eine gleichzeitige Detektion von statischen und dynamischen Hindernissen, wenn sich das Fahrzeug zwischen dem Zeitpunkt der Erfassung des ersten Bildes und dem Zeitpunkt der Erfassung des zweiten Bildes bewegt hat. Hierin liegt ein wesentlicher Unterschied zum angeführten Stand der Technik.
  • In einem siebten Schritt erfolgt eine Berechnung einer Differenz einer Intensität des transformierten Bildpunkts des ersten Bildes und einer Intensität des zu dem transformierten Bildpunkt des ersten Bildes korrespondierenden Bildpunkts des zweiten Bildes. Hierbei hat der zu dem transformierten Bildpunkt des ersten Bildes korrespondierende Bildpunkt des zweiten Bildes die gleichen Bildkoordinaten wie der Bildpunkt des ersten Bildes. Vorzugsweise erfolgt die Berechnung einer Differenz für mehrere transformierte Bildpunkte des ersten Bildes, insbesondere für alle Bildpunkte des Bildbereichs der Fahrbahn des ersten Bildes. Die Bildpunkte, für welche eine Differenz der Intensität berechnet wurde, definieren hierbei ein so genanntes Differenzbild. Eine Intensität eines Bildpunkts bezeichnet hierbei beispielsweise eine Grauwertintensität, beispielsweise in einem Bereich von 0 bis 255, oder eine RGB- oder CYMK-basierte Intensität.
  • Durch die projektive Transformation wird hierbei eine Bewegungskompensation für Punkte in der Fahrbahnebene durchgeführt. Folglich wird eine Differenz der Intensitäten von transformierten Bildpunkten, die Punkte der Fahrbahnebene abbilden, und zu diesen transformierten Bildpunkten korrespondierenden Bildpunkten, die auch Punkte der Fahrbahnebene abbilden, klein, idealerweise 0, sein. Punkte, die nicht in der Fahrbahnebene liegen, erzeugen eine Intensitätsdifferenz. Somit erzeugt jedes Element, welches aus der Fahrbahnebene hinausragt, eine Intensitätsdifferenz. Dies gilt für statische und dynamische Hindernisse, die aus der Fahrbahnebene herausragen. Eine solche Intensitätsdifferenz kann auch als so genannter Kompensationsfehler beschrieben werden. Dies folgt aus der Tatsache, dass die projektive Transformation nur eine Kompensation einer Fahrzeugbewegung für Bildpunkte gewährleistet, auf die Punkte der Fahrbahnebene abgebildet werden. Eine Transformation von Bildpunkten des ersten Bildes, die Punkte außerhalb der Fahrbahnebene abbilden, zu korrespondierenden Bildpunkten des zweiten Bildes, die Punkte außerhalb der Fahrbahnebene abbilden, erfolgt gemäß einer Transformation, die von der bestimmten projektiven Transformation unterschiedlich ist.
  • In einem achten Schritt wird die bestimmte Differenz oder werden die bestimmten Differenzen mit einem vorbestimmten Schwellwert verglichen. Der vorbestimmte Schwellwert kann beispielsweise in einer Speichereinheit abgelegt sein. Auch ist vorstellbar, dass der Schwellwert adaptiv, z.B. in Abhängigkeit eines Mittelwerts einer Grauwertverteilung im Bild, bestimmt wird. Ein Hindernis wird detektiert, falls die Differenz oder die Differenzen größer sind als der vorbestimmte Schwellwert.
  • In dem vorhergehend geschilderten Verfahren dienen nur das erste und das zweite Bild sowie der vorbestimmte Schwellwert als Eingangsgröße. Eine Ausgangsgröße ist hierbei ein Signal, welches anzeigt, ob ein Hindernis detektiert wurde oder nicht.
  • Das vorgeschlagene Verfahren basiert also auf einer Bewegungskompensation von Bildinhalten mit anschließender Auswertung des Kompensationsfehlers. Hierbei wird angenommen, dass die Fahrbahn eine Ebene ist, wodurch die durch eine Fahrzeugbewegung bedingte Verschiebung von Bildpunkten mit Hilfe einer projektiven Transformation beschrieben und kompensiert werden kann. Mögliche Hindernisse liegen nicht in der Fahrbahnebene und führen somit zu einem Kompensationsfehler, der zur Detektion des Hindernisses genutzt wird. Hierdurch ergibt sich in vorteilhafter Weise ein einfach zu implementierendes, robustes und wenig rechenaufwändiges Verfahren zur Detektion eines statischen oder dynamischen Hindernisses in dem Fahrzeugumfeld.
  • In einer weiteren Ausführungsform erfolgt bei einer Bestimmung von Bildkoordinaten von Merkmalspunkten eine Kompensation von Abbildungsverfälschungen des monokularen Bilderfassungssystems. Insbesondere erfolgt eine Kompensation von Verzerrungen des Bilderfassungssystems. Sind intrinsische oder innere Parameter des Bilderfassungssystems bekannt, so können so genannte entzerrte Bildkoordinaten mit Hilfe einer Entzerrungsvorschrift, die abhängig von den intrinsischen Parametern des Bilderfassungssystems ist, berechnet werden. Neben der Verzerrung kann z.B. auch eine Skalierung des Bilderfassungssystems kompensiert werden. Hierdurch ergibt sich in vorteilhafter Weise, dass Abbildungsverfälschungen des Bilderfassungssystems nicht die Bildkoordinaten der Merkmalspunkte verfälschen und somit zu einem weniger genauen Verfahren führen. Hierdurch ergibt sich in vorteilhafter Weise eine verbesserte Sensitivität des Verfahrens zur Detektion von Hindernissen sowie eine größere Robustheit.
  • In einer weiteren Ausführungsform erfolgt die Transformation von mindestens einem Bildpunkt des ersten Bildes auf Basis eines unverfälschten, insbesondere entzerrten, Bildpunkts des ersten Bildes. Hierzu sei angenommen, dass die Parameter der projektiven Transformation auf Basis von unverfälschten, korrespondierenden Merkmalspunkten im ersten und im zweiten Bild geschätzt wurden. Dann wird vor der Transformation von mindestens einem Bildpunkt des ersten Bildes mittels der projektiven Transformation ein unverfälschter Bildpunkt des ersten Bildes berechnet. Analog zur Kompensation von Abbildungsverfälschungen kann dieser unverfälschte Bildpunkt des ersten Bildes mit Hilfe einer Entzerrungsvorschrift berechnet werden, die von intrinsischen Parametern des Bilderfassungssystems abhängt. Dieser unverfälschte Bildpunkt des ersten Bildes wird dann mittels der projektiven Transformation in einen transformierten, unverfälschten Bildpunkt des ersten Bildes transformiert. Nachfolgend wird dieser transformierte, unverfälschte Bildpunkt des ersten Bildes wieder verfälscht. Eine Verfälschung erfolgt beispielsweise mittels einer so genannten Verzerrungsvorschrift, die wiederum abhängig von den intrinsischen Parametern des Bilderfassungssystems ist. Hierbei kann die Verzerrungsvorschrift eine zu der Entzerrungsvorschrift inverse Funktion sein. Hierdurch ergibt sich in vorteilhafter Weise, dass die Bewegungskompensation auf Grundlage von unverfälschten Bildkoordinaten erfolgt. Hierdurch werden eine verbesserte Sensibilität des Verfahrens zur Detektion eines Hindernisses und eine verbesserte Robustheit bei der Detektion erreicht.
  • In einer weiteren Ausführungsform wird ein Differenzbild in mindestens zwei Teilbereiche unterteilt, wobei ein Hindernis in einem Teilbereich detektiert wird, falls eine vorbestimmte Anzahl von Differenzen in dem Teilbereich größer ist als der vorbestimmte Schwellwert. Teilbereiche können beispielsweise rechteckförmige oder kreisförmige Bildbereiche sein. Hierbei kann die geometrische Form eines Teilbereichs abhängig von der Form des zu detektierenden Hindernisses sein. Ein Hindernis wird also nur dann detektiert, falls für eine vorbestimmte Anzahl von Bildpunkten im Teilbereich des Differenzbilds eine Differenz größer ist als der vorbestimmte Schwellwert. Hierdurch wird in vorteilhafter Weise eine Rauschanfälligkeit des Verfahrens verringert bzw. eine Robustheit des Verfahrens erhöht. Hierbei wird angenommen, dass ein Hindernis eine Differenz der Intensität nicht ausschließlich für einen Bildpunkt des Differenzbildes erzeugt, sondern für mehrere Bildpunkte des Differenzbildes, die im Differenzbild innerhalb eines Teilbereiches des Differenzbildes liegen.
  • In einer weiteren Ausführungsform sind die mindestens zwei Teilbereiche horizontale Teilbereiche des Differenzbildes. Hierzu kann das Differenzbild in horizontale Teilbereiche aufgeteilt werden, die jeweils ein oder mehrere Bildzeilen des Differenzbildes umfassen. Hierdurch ergibt sich in vorteilhafter Weise, dass auch flache Hindernisse mit einer ausreichenden Sensitivität und Robustheit erkannt werden können.
  • In einer weiteren Ausführungsform werden Bildkoordinaten von mindestens einem Fußpunkt eines Hindernisses bestimmt. Als Fußpunkt wird hierbei eine Unterkante eines detektierten Hindernisses in Bildkoordinaten bestimmt. Eine Unterkante eines Hindernisses ist hierbei der Teilbereich des Hindernisses im Differenzbild, der den geringsten Abstand von einem unteren Bildrand des Differenzbildes aufweist. Weiter ist möglich, die Detektion mindestens eines Hindernisses nur in einem oberen Teilbereich des Bildes durchzuführen, wodurch ein Kompensationsfehler im unteren Bildbereich, der z.B. durch eine Stoßstange des Fahrzeugs verursacht wird, ignoriert wird. Der obere Teilbereich umfasst hierbei einen Teilbereich des Bildes, der keine Abbildung von Fahrzeugteilen enthält.
  • Weiter kann in Abhängigkeit der Bildkoordinaten des mindestens einen Fußpunktes des Hindernisses eine Entfernung des Hindernisses von dem Fahrzeug geschätzt werden. Hierdurch ergibt sich in vorteilhafter Weise, dass neben der reinen Detektion eines Hindernisses auch dessen Entfernung vom Fahrzeug geschätzt werden kann. Hierbei sind die Eingangsgrößen des Verfahrens das erste und das zweite Bild, der vorbestimmte Schwellwert, die extrinsischen und intrinsischen Parameter des Bilderfassungssystems sowie die Lage und Orientierung des Koordinatensystems des Bilderfassungssystems in Relation zu dem Koordinatensystem des Fahrzeugs. Hierbei wird angenommen, dass eine Lage und Orientierung (extrinsische Parameter) und intrinsische Parameter des Bilderfassungssystems vorbekannt sind. Mit Hilfe dieser Parameter kann ein Schnittpunkt einer Sichtlinie mit der Fahrbahnebene berechnet werden. Die Sichtlinie bezeichnet hierbei die Linie, entlang welcher der Fußpunkt des Hindernisses in eine Bildebene des Bilderfassungssystems projiziert wird. Wird die Lage und Orientierung eines Koordinatensystems des Bilderfassungssystems hinsichtlich eines Koordinatensystems des Fahrzeugs als bekannt angenommen, kann auch eine Entfernung des Hindernisses vom Fahrzeug geschätzt werden. Allerdings kann die Schätzung der Entfernung des Hindernisses durch verschiedene Faktoren verfälscht werden. Z.B. können verschiedene Beladungszustände des Fahrzeugs und eine unebene Fahrbahn, wie z.B. eine Rampe, die Schätzung der Entfernung des Hindernisses verfälschen.
  • In einer bevorzugten Ausführungsform werden aus der Menge von korrespondierenden Merkmalspunkten zur Bestimmung der Parameter der projektiven Transformation nur ausgewählte, korrespondierende Merkmalspunkte verwendet. Hierbei kann ein Verfahren zur Punktauswahl angewendet werden. Hierdurch wird in vorteilhafter Weise erreicht, dass die Schätzung der Parameter der projektiven Transformation nur auf Basis von zuverlässigen Merkmalspunkten, insbesondere von Merkmalspunkten, die charakteristischen Punkten in der Fahrbahnebene entsprechen, basiert. Beispielsweise kann das so genannte RANSAC-Verfahren zur Schätzung der Parameter der projektiven Transformation angewendet werden. Das RANSAC-Verfahren ist hierbei ein Verfahren zur robusten Parameterschätzung. Hierdurch wird der Einfluss von so genannten Ausreißern in der Menge der korrespondierenden Merkmalspunkte, insbesondere von Merkmalspunkten, die Punkte außerhalb der Fahrbahnebene abbilden, reduziert. Ein für das RANSAC-Verfahren benötigtes Modell ist beispielsweise durch die vorbekannte Lage der idealen Fahrbahnebene gegeben. Das Modell der idealen Fahrbahnebene bedingt hierbei, dass Merkmalspunkte im ersten und im zweiten Bild der Bedingung genügen müssen, in der vorab bekannten Fahrbahnebene zu liegen. Hierbei kann wie vorhergehend erläutert, ausgenutzt werden, dass die Abbildung einer idealen Fahrbahnebene in den Bildbereich des Bilderfassungssystems in Abhängigkeit von vorbekannten extrinsischen und gegebenenfalls intrinsischen Parametern bekannt ist. Definieren z.B. Merkmalspunkte des ersten Bildes eine Ebene, die mehr als ein vorbestimmtes Maß von der Abbildung der idealen Fahrbahnebene in den Bildbereich des Bilderfassungssystems abweicht, so kann ein oder können mehrere dieser Merkmalspunkte verworfen werden. Selbstverständlich können auch andere, dem Fachmann bekannte, Verfahren zur robusten Parameterschätzung angewendet werden.
  • In einer weiteren Ausführungsform wird das vorgeschlagene Verfahren für mindestens zwei Teilbereiche des Bildbereichs der Fahrbahn durchgeführt. Hierdurch wird es in vorteilhafter Weise ermöglicht, eine z.B. nicht plane Fahrbahn in quasi-plane Teile der Fahrbahn zu unterteilen und für jeden dieser Teilbereiche eine separate Hinderniserkennung durchzuführen.
  • Auch kann, z.B. bei einer vorbekannten Krümmung oder vorbekannten Neigung der Fahrbahn, die Krümmung oder Neigung der Fahrbahn rechnerisch kompensiert werden. Auch kann eine Krümmung oder Neidung der Fahrbahn mit Hilfe von Sensoren geschätzt werden. Analog zur Entfälschung oder Entzerrung ist es hierdurch in vorteilhafter Weise möglich, eine Krümmung der Fahrbahn in dem vorgeschlagenen Verfahren zu kompensieren.
  • Vorgeschlagen wird weiter eine Vorrichtung zur Detektion mindestens eines Hindernisses. Die Vorrichtung umfasst mindestens ein monokulares Kamerasystem, mindestens eine Einheit zur Bildverarbeitung, mindestens eine Berechnungseinheit und mindestens eine Vergleichseinheit. Mittels dieser Vorrichtung sind die vorgeschlagenen Verfahren durchführbar. Hierbei ist es selbstverständlich möglich, dass einzelne Verfahrensschritte von nur einer Einheit, beispielsweise der Berechnungseinheit, oder von separaten Einheiten durchgeführt werden.
  • Die Erfindung wird anhand eines Ausführungsbeispiels näher erläutert. Die Figuren zeigen:
    • 1 ein schematisches Blockschaltbild einer Vorrichtung zur Detektion mindestens eines Hindernisses,
    • 2 ein schematisches Flussdiagramm eines Verfahrens zur Detektion mindestens eines Hindernisses und
    • 3 eine schematische Bestimmung einer Entfernung eines Fußpunkts eines Hindernisses von einem Fahrzeug.
  • Nachfolgend bezeichnen Elemente mit gleichen Bezugszeichen Elemente mit gleichen oder ähnlichen technischen Eigenschaften.
  • In 1 ist ein schematisches Blockschaltbild einer Vorrichtung 1 zur Detektion mindestens eines Hindernisses 10 dargestellt. Die Vorrichtung 1 umfasst eine monokulare Kamera 2, eine Einheit 3 zur Bildverarbeitung, eine Speichereinheit 4 und eine Berechnungseinheit 5. Die Kamera 2 ist datentechnisch mit der Einheit 3 zur Bildverarbeitung verbunden. Die Einheit 3 zur Bildverarbeitung ist datentechnisch mit der Speichereinheit 4 und der Berechnungseinheit 5 verbunden. Die Speichereinheit 4 ist datentechnisch mit der Berechnungseinheit 5 verbunden. Die Kamera ist hierbei in oder an einem nicht dargestellten Fahrzeug angeordnet. Mittels der Kamera 2 wird ein Fahrzeugumfeld überwacht. Hierbei erfasst die Kamera 2 auch eine Fahrbahn 9, auf der das Fahrzeug fährt. Auch erfasst die Kamera 2 ein Hindernis 10, welches sich auf der Fahrbahn 9 befindet und nach oben aus dieser herausragt. Ein von der Kamera 2 erfasstes erstes Bild Bk-1 (siehe 2) der Fahrzeugumgebung, insbesondere der Fahrbahn 9 und des Hindernisses 10, wird datentechnisch an die Einheit 3 zur Bildverarbeitung übertragen. Die Einheit 3 zur Bildverarbeitung führt hierbei eine Detektion von Merkmalspunkten im von der Kamera 2 übertragenen ersten Bild Bk-1 durch. Auch kann die Einheit 3 zur Bildverarbeitung in einer Vorverarbeitung z.B. eine Rauschfilterung durchführen. Bei einer Detektion von Merkmalspunkten identifiziert die Einheit 3 zur Bildverarbeitung charakteristische Punkte der Fahrbahn 9, die in einen Bildbereich der Fahrbahn 9 des ersten Bildes Bk-1 abgebildet werden. Hierbei ist es möglich, dass die Einheit 3 zur Bildverarbeitung als Merkmalspunkte auch Punkte detektiert, die charakteristischen Punkten des Hindernisses 10 entsprechen. Die derart detektierten Merkmalspunkte, die durch die Abbildung der Fahrbahn 9 und des Hindernisses 10 erzeugt werden, werden in der Speichereinheit 4 gespeichert. Die Kamera 2 erfasst zu einem späteren Zeitpunkt ein zweites Bild Bk (siehe 2) des Fahrzeugumfeldes. Hierbei wird angenommen, dass sich das Fahrzeug während der Aufnahme des ersten Bildes Bk-1 und des zweiten Bildes Bk auf der Fahrbahn 9 bewegt hat. In analoger Weise detektiert die Einheit 3 zur Bildverarbeitung Merkmalspunkte im zweiten Bild Bk der Kamera 2. Die Merkmalspunkte des zweiten Bildes Bk werden datentechnisch an die Berechnungseinheit 5 übertragen. Die Berechnungseinheit 5 bestimmt aus der Menge von Merkmalspunkten des ersten Bildes Bk-1 , die der Berechnungseinheit 5 von der Speichereinheit 4 datentechnisch übertragen werden, und der Menge von Merkmalspunkten des zweiten Bildes Bk eine Menge von korrespondierenden Merkmalspunkten des ersten und zweiten Bildes Bk-1 , Bk . Weiter schätzt die Berechnungseinheit 5 Parameter einer projektiven Transformation aus der Menge von korrespondieren Merkmalspunkten. Weiter transformiert die Berechnungseinheit 5 alle Bildpunkte des Bildbereiches der Fahrbahn 9 des ersten Bildes Bk-1 mittels der projektiven Transformation, die mit den vorher geschätzten Parametern parametrisiert ist. Hiernach berechnet die Berechnungseinheit 5 ein Differenzbild aus einer Differenz von Intensitäten von Bildpunkten des Bildbereichs der Fahrbahn 9 des zweiten Bildes Bk und transformierten Bildpunkten des Bildbereichs der Fahrbahn 9 des ersten Bildes Bk-1 . Weiter überträgt die Berechnungseinheit 5 dieses Differenzbild an die Vergleichseinheit 6. Die Vergleichseinheit 6 vergleicht einzelne Teilbereiche des Differenzbildes, beispielsweise horizontale Teilbereiche des Differenzbildes, mit einem vorab bestimmten Schwellwert, der in einer weiteren Speichereinheit 7 gespeichert und datentechnisch an die Vergleichseinheit 6 übertragen wird. Weist eine vorbestimmte Anzahl, die beispielsweise ebenfalls in der weiteren Speichereinheit 7 gespeichert ist, eine höhere Differenz als den vorbestimmten Schwellwert auf, so erzeugt die Vergleichseinheit 6 ein Aktivierungssignal für eine Warneinheit 8. Die Warneinheit 8 dient hierbei der Warnung eines Fahrzeugführers und wird aktiviert, falls ein Hindernis detektiert wurde.
  • In 2 ist ein schematisches Flussdiagramm eines Verfahrens zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld dargestellt. Hierbei bilden ein erstes Bild Bk-1 und ein zweites Bild Bk sowie intrinsische Kameraparameter Pint, extrinsische Kameraparameter Pext und ein vorbestimmter Schwellwert Thr die Eingangsgrößen des Verfahrens. In einem ersten Schritt 11 werden im ersten und im zweiten Bild Bk-1 , Bk Merkmalspunkte detektiert sowie korrespondierende Merkmalspunkte des ersten Bildes Bk-1 und des zweiten Bildes Bk bestimmt. In Abhängigkeit der intrinsischen Kameraparameter Pint wird in einem zweiten Schritt 12 eine Kompensation einer Linsenverzerrung der z.B. in 1 dargestellten Kamera 2 durchgeführt. Hierbei werden so genannte entzerrte Bildpunkte der korrespondierenden Merkmalspunkte aus den Bildpunkten der im ersten Schritt 11 bestimmten korrespondierenden Merkmalspunkte in Abhängigkeit der intrinsischen Kameraparameter Pint bestimmt. In einem dritten Schritt 13 erfolgt eine Schätzung von Parametern einer projektiven Transformation aus den entzerrten, korrespondierenden Merkmalspunkten. In einem vierten Schritt 14 erfolgt eine Kompensation der Kamerabewegung. Hierbei wird das erste Bild Bk-1 in Abhängigkeit der intrinsischen Kameraparameter Pint entzerrt, mittels der im dritten Schritt 13 geschätzten projektiven Transformation transformiert und wiederum in Abhängigkeit der intrinsischen Kameraparameter Pint verzerrt. Hierdurch wird also ein bewegungskompensiertes, verzerrtes erstes Bild berechnet. Aus diesem und dem zweiten Bild Bk wird in einem fünften Schritt 15 ein Differenzbild erzeugt. Durch einen Vergleich von Intensitäten der Bildpunkte des Differenzbildes mit einem vorbestimmten Schwellwert Thr wird ein Hindernis 10 detektiert, falls die Intensitäten der Bildpunkte des Differenzbildes größer als der vorbestimmte Schwellwert Thr ist (sechster Schritt 16). In einem siebten Schritt 17 erfolgt eine Schätzung der Entfernung des detektierten Hindernisses 10 vom Fahrzeug in Abhängigkeit der intrinsischen Kameraparameter Pint und der extrinsischen Kameraparameter Pext , wobei die extrinsischen Kameraparameter Pext eine Lage und Orientierung eines Koordinatensystems der Kamera 2 im Fahrzeug angeben. Die im siebten Schritt 17 geschätzte Entfernung des Hindernisses 10 kann dem Fahrer beispielsweise auf einer Anzeigeeinheit 18 dargestellt werden.
  • In 3 ist schematisch die Schätzung einer Entfernung eines Hindernisses 10 von einem Fahrzeug dargestellt. Hierbei bezeichnen die Achsen yF und zF die Achsen eines Koordinatensystems des Fahrzeugs. Weiter bezeichnen yK und zK die Achsen eines Koordinatensystems der z.B. in 1 dargestellten Kamera 2. Die Lage und Orientierung des Koordinatensystems der Kamera 2 im Koordinatensystem des Fahrzeugs ist hierbei bekannt. Hierbei sei weiter angenommen, dass das Hindernis 10 bereits mittels des vorhergehend geschilderten Verfahrens detektiert wurde. Weiter sei angenommen, dass im Differenzbild ein Fußpunkt des Hindernisses 10 bestimmt wurde. Weiter wird dann eine Sichtlinie 19 bestimmt, auf welcher der Fußpunkt des Hindernisses 10 in die Bildebene der Kamera 2 abgebildet wird. Die Sichtlinie 19 schließt hierbei einen Winkel α mit einer optischen Achse 20 der Kamera 2 ein. Die optische Achse 20 schließt einen Winkel ϑ mit der Achse yK des Koordinatensystems der Kamera 2 ein. Weiter sei angenommen, dass eine Höhe HF des Fahrzeugs über einer Fahrbahn 9 bekannt ist. Aus der vorbekannten Lage und Orientierung des Koordinatensystems der Kamera 2 zu dem Koordinatensystem des Fahrzeugs und der Höhe HF des Fahrzeugs über der Fahrbahn 9 lässt sich in einem ersten Schritt eine Entfernung zH,K des Hindernisses 10 von der Kamera 2 entlang der Achse zk der Kamera 2 bestimmen. Mittels der vorbekannten Lage des Koordinatensystems der Kamera 2 zum Koordinatensystem des Fahrzeugs lässt sich in einem zweiten Schritt eine Entfernung des Hindernisses 10 vom Koordinatensystem des Fahrzeugs entlang der Achse zF bestimmen.
  • Bezugszeichenliste
  • 1
    Vorrichtung zur Detektion mindestens eines Hindernisses
    2
    Kamera
    3
    Einheit zur Bildverarbeitung
    4
    Speichereinheit
    5
    Berechnungseinheit
    6
    Vergleichseinheit
    7
    weitere Speichereinheit
    8
    Warneinheit
    9
    Fahrbahn
    10
    Hindernis
    11
    erster Schritt des Verfahrens
    12
    zweiter Schritt des Verfahrens
    13
    dritter Schritt des Verfahrens
    14
    vierter Schritt des Verfahrens
    15
    fünfter Schritt des Verfahrens
    16
    sechster Schritt des Verfahrens
    17
    siebter Schritt des Verfahrens
    18
    Anzeigeeinheit
    Bk-1
    erstes Bild
    Bk
    zweites Bild
    Pint
    intrinsische Kameraparameter
    Pext
    extrinsische Kameraparameter
    Thr
    vorbestimmter Schwellwert
    yK
    Achse eines Koordinatensystems einer Kamera
    zK
    Achse des Koordinatensystems einer Kamera
    yF
    Achse eines Koordinatensystems eines Fahrzeugs
    zF
    Achse eines Koordinatensystems eines Fahrzeugs
    HF
    Höhe des Koordinatensystems des Fahrzeugs über der Fahrbahn
    zH,K
    Entfernung eines Hindernisses von einer Kamera
    19
    Sichtlinie
    20
    optische Achse
    α .
    Winkel
    ϑ
    Winkel

Claims (10)

  1. Verfahren zur Detektion mindestens eines Hindernisses (10) in einem Fahrzeugumfeld, wobei das Verfahren folgende Verfahrensschritte umfasst: - Erfassen eines ersten Bildes (Bk-1) mittels eines monokularen Bilderfassungssystems, - Detektion von Merkmalspunkten des ersten Bildes (Bk-1) im Bildbereich einer Fahrbahn (9) im ersten Bild (Bk-1), - Erfassen eines zweiten Bildes (Bk) mittels des monokularen Bilderfassungssystems, wobei das zweite Bild (Bk) zeitlich nach dem ersten Bild (Bk-1) erfasst wird, - Detektion von Merkmalspunkten des zweiten Bildes (Bk) im Bildbereich der Fahrbahn (9) im zweiten Bild (Bk), - Bestimmung von korrespondierenden Merkmalspunkten aus den Merkmalspunkten des ersten und des zweiten Bildes (Bk-1, Bk), - Schätzung von mindestens einem Parameter einer projektiven Transformation aus den korrespondierenden Merkmalspunkten, - Transformation von mindestens einem Bildpunkt des ersten Bildes (Bk-1) mittels der projektiven Transformation in einen transformierten Bildpunkt des ersten Bildes (Bk-1), - Berechnung einer Differenz einer Intensität des transformierten Bildpunkts des ersten Bildes (Bk-1) und einer Intensität des zu dem transformierten Bildpunkt des ersten Bildes (Bk-1) korrespondierenden Bildpunkts des zweiten Bildes (Bk), - Vergleich der Differenz mit einem vorbestimmten Schwellwert (Thr) und - Detektion eines Hindernisses (10), falls die Differenz größer ist als der vorbestimmte Schwellwert (Thr).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei einer Bestimmung von Bildkoordinaten von Merkmalspunkten eine Kompensation von Abbildungsverfälschungen des monokularen Bilderfassungssystems erfolgt.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass vor der Transformation von mindestens einem Bildpunkt des ersten Bildes (Bk-1) mittels der projektiven Transformation in einen transformierten Bildpunkt des ersten Bildes (Bk-1) mindestens ein unverfälschter Bildpunkt des ersten Bildes (Bk-1) berechnet wird, wobei Abbildungsverfälschungen des monokularen Bilderfassungssystems bei der Abbildung des mindestens einen Bildpunktes des ersten Bildes (Bk-1) kompensiert werden, eine Transformation des mindestens einen unverfälschten Bildpunktes des ersten Bildes (Bk-1) in einen transformierten, unverfälschten Bildpunkt des ersten Bildes (Bk-1) erfolgt und nach der Transformation aus dem mindestens einen transformierten, unverfälschten Bildpunkt des ersten Bildes (Bk-1) ein transformierter, verfälschter Bildpunkt des ersten Bildes (Bk-1) berechnet wird, wobei Abbildungsverfälschungen des monokularen Bilderfassungssystems berücksichtigt werden.,
  4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass ein Differenzbild in mindestens zwei Teilbereiche unterteilt wird, wobei ein Hindernis in einem Teilbereich detektiert wird, falls eine vorbestimmte Anzahl von Differenzen in dem Teilbereich größer ist als der vorbestimmte Schwellwert (Thr).
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die mindestens zwei Teilbereiche horizontale Teilbereiche sind.
  6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Bildkoordinaten von mindestens einem Fußpunkt eines Hindernisses (10) bestimmt werden.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass in Abhängigkeit der Bildkoordinaten des mindestens einen Fußpunkts des Hindernisses (10) eine Entfernung des Hindernisses (10) von dem Fahrzeug geschätzt wird.
  8. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Schätzung von mindestens einem Parameter einer projektiven Transformation aus ausgewählten, korrespondierenden Merkmalspunkten erfolgt, wobei ausgewählte, korrespondierende Merkmalspunkte mittels eines Verfahrens zur Punktauswahl ausgewählt werden.
  9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Verfahren zur Detektion mindestens eines Hindernisses (10) für mindestens zwei Teilbereiche des Bildbereichs der Fahrbahn (9) durchgeführt wird.
  10. Vorrichtung zur Detektion mindestens eines Hindernisses (10), wobei die Vorrichtung mindestens ein monokulares Bilderfassungssystem, mindestens eine Einheit (3) zur Bildverarbeitung, mindestens eine Berechnungseinheit (5) und mindestens eine Vergleichseinheit (6) umfasst, wobei mittels des monokularen Bilderfassungssystems ein erstes und mindestens ein zweites Bild (Bk-1, Bk) erfassbar ist, wobei das zweite Bild (Bk) zeitlich nach dem ersten Bild (Bk-1) erfassbar ist, wobei mittels der Einheit (3) zur Bildverarbeitung Merkmalspunkte des ersten Bildes (Bk-1) im Bildbereich einer Fahrbahn (9) im ersten Bild (Bk-1) und Merkmalspunkte des zweiten Bildes (Bk) im Bildbereich der Fahrbahn (9) im zweiten Bild (Bk) detektierbar sind, wobei mittels der Berechnungseinheit (5) korrespondierende Merkmalspunkte aus den Merkmalspunkten des ersten und des zweiten Bildes (Bk-1, Bk) bestimmbar sind, mindestens ein Parameter einer projektiven Transformation aus den korrespondierenden Merkmalspunkten schätzbar ist, mindestens ein Bildpunkt des ersten Bildes (Bk-1) mittels der projektiven Transformation in einen transformierten Bildpunkt des ersten Bildes (Bk-1) transformierbar ist, eine Differenz einer Intensität des transformierten Bildpunkts des ersten Bildes (Bk-1) und einer Intensität des zu dem transformierten Bildpunkt des ersten Bildes (Bk-1) korrespondierenden Bildpunkts des zweiten Bildes (Bk) berechenbar ist, wobei mittels der Vergleichseinheit (6) die Differenz mit einem vorbestimmten Schwellwert (Thr) vergleichbar ist und ein Hindernis (10) detektierbar ist, falls die Differenz größer als der vorbestimmte Schwellwert (Thr) ist
DE102010009620.2A 2010-02-27 2010-02-27 Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld Active DE102010009620B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102010009620.2A DE102010009620B4 (de) 2010-02-27 2010-02-27 Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010009620.2A DE102010009620B4 (de) 2010-02-27 2010-02-27 Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld

Publications (2)

Publication Number Publication Date
DE102010009620A1 DE102010009620A1 (de) 2011-09-01
DE102010009620B4 true DE102010009620B4 (de) 2019-09-12

Family

ID=44501962

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010009620.2A Active DE102010009620B4 (de) 2010-02-27 2010-02-27 Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld

Country Status (1)

Country Link
DE (1) DE102010009620B4 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011111856B4 (de) 2011-08-27 2019-01-10 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
DE102019212021B4 (de) * 2019-08-09 2024-02-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
DE102023203101A1 (de) 2023-04-04 2024-10-10 Zf Friedrichshafen Ag Computerimplementiertes Verfahren, Computerprogramm und System zur Überprüfung der Einhaltung von Betriebsrahmenbedingungen im operativen Einsatz eines automatisierten Fahrsystems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1830321A2 (de) 2006-03-02 2007-09-05 Hitachi, Ltd. Hinderniserkennungssystem
DE102006060893A1 (de) 2006-05-12 2007-11-15 Adc Automotive Distance Control Systems Gmbh Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
US20100002078A1 (en) 2008-07-03 2010-01-07 Alpine Electronics, Inc. Periphery monitoring apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1830321A2 (de) 2006-03-02 2007-09-05 Hitachi, Ltd. Hinderniserkennungssystem
DE102006060893A1 (de) 2006-05-12 2007-11-15 Adc Automotive Distance Control Systems Gmbh Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
US20100002078A1 (en) 2008-07-03 2010-01-07 Alpine Electronics, Inc. Periphery monitoring apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. Demonceaux ; A. Potelle ; D. Kachi-Akkouche: Obstacle detection in a road scene based on motion analysis. In: IEEE Transactions on Vehicular Technology, 53, 2004, 6, 1649 - 1656. *

Also Published As

Publication number Publication date
DE102010009620A1 (de) 2011-09-01

Similar Documents

Publication Publication Date Title
DE102013209415B4 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE112008004291B4 (de) Bewegungszustand-Schätzvorrichtung
DE10251880B4 (de) Bilderkennungsvorrichtung
DE602004012962T2 (de) Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung
WO2017206999A1 (de) Verfahren zur auswertung von bilddaten einer fahrzeugkamera
EP2788245B1 (de) Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition
WO2016026568A1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102016104732A1 (de) Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP1480187A2 (de) Kamerabasierte Positionserkenung für ein Strassenfahrzeug
DE102016104729A1 (de) Verfahren zur extrinsischen Kalibrierung einer Kamera, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016104730A1 (de) Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE112019001542T5 (de) Positionsschätzvorrichtung
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102006039104A1 (de) Verfahren zur Entfernungsmessung von Objekten auf von Bilddaten eines Monokamerasystems
DE102014113359B4 (de) Filtervorrichtung und Umgebungserkennungssystem
DE102006044615A1 (de) Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
DE102010009620B4 (de) Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld
EP1352363B1 (de) Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung
DE112021006799T5 (de) Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren und signalverarbeitungssystem
DE102011111856B4 (de) Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
DE102020109598A1 (de) System und Verfahren zum Verfolgen eines angekoppelten Fahrzeugs
EP1724726A1 (de) Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera

Legal Events

Date Code Title Description
R163 Identified publications notified
R163 Identified publications notified

Effective date: 20111028

R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000