-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs durch Erkennen eines Objektes in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten, Identifizieren eines objektspezifischen Merkmals an dem Objekt in den ersten Sensordaten und Bestimmen einer ersten Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals. Die Erfindung betrifft außerdem eine Recheneinrichtung, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.
-
Ein Verfahren zum Betreiben eines Fahrerassistenzsystems der eingangs genannten Art ist beispielsweise aus der
DE 10 2010 056 217 A1 bekannt. Dabei wird eine Orientierung eines Kraftfahrzeugs zu einem benachbarten Fahrzeug anhand eines von einer fahrzeugseitigen Kamera aufgenommenen Bildes des benachbarten Fahrzeugs bestimmt. Das Bild wird von einer Recheneinrichtung verarbeitet und zumindest ein Objekt an dem benachbarten Fahrzeug identifiziert. Die Orientierung des Kraftfahrzeugs wird dabei anhand eines Abbilds des identifizierten Objektes bestimmt. Ein solches Objekt kann beispielsweise ein amtliches Kennzeichenschild und/oder Reifen des anderen Fahrzeugs sein. Die Information über die Orientierung des benachbarten Fahrzeugs kann zum Unterstützen des Fahrers beim Durchführen von Parkvorgängen genutzt werden.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, ein vielseitig einsetzbares Fahrerassistenzsystem bereitzustellen, mittels welchem ein Kraftfahrzeug besonders zuverlässig lokalisiert werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Recheneinrichtung, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
In einer Ausgestaltung eines erfindungsgemäßen Verfahrens zum Betreiben eines Fahrerassistenzsystems kann ein Objekt in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten erkannt werden und ein objektspezifisches Merkmal an dem Objekt in den ersten Sensordaten identifiziert werden. Außerdem kann eine erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt werden. Darüber hinaus wird das Objekt in durch die Sensoreinrichtung aus dem Umgebungsbereich erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals wiedererkannt und eine zweite Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt. Darüber hinaus wird insbesondere eine durch eine Bewegung des Kraftfahrzeugs zwischen der Erfassung der ersten und der zweiten Sensordaten resultierende Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal mittels Odometrie bestimmt und der Odometriefehler erkannt, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet.
-
Bei einer bevorzugten Ausgestaltung des Verfahrens zum Betreiben eines Fahrerassistenzsystems wird ein Objekt in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten erkannt und ein objektspezifisches Merkmal an dem Objekt in den ersten Sensordaten identifiziert. Außerdem wird eine erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand der ersten Sensordaten bestimmt. Darüber hinaus wird das Objekt in durch die Sensoreinrichtung aus dem Umgebungsbereich erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals wiedererkannt und eine zweite Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt. Außerdem wird eine durch eine Bewegung des Kraftfahrzeugs zwischen der Erfassung der ersten und der zweiten Sensordaten resultierende Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal mittels Odometrie bestimmt und der Odometriefehler erkannt, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet.
-
Mittels des Verfahrens kann ein Fahrerassistenzsystem realisiert werden, welches zur Posenbestimmung bezüglich zumindest eines Objektes in dem Umgebungsbereich des Kraftfahrzeugs und außerdem während der Posenbestimmung zum Erkennen eines Odometriefehlers ausgelegt ist. Die Pose beinhaltet dabei eine Position beziehungsweise einen Abstand des Kraftfahrzeugs relativ zu dem Objekt sowie eine Orientierung des Kraftfahrzeugs zu dem Objekt. Durch die Posenbestimmung, also die Bestimmung einer räumlichen Lage zwischen dem Kraftfahrzeug und dem Objekt, wird insbesondere ein sogenanntes SLAM-Verfahren (Simultaneous Localization and Mapping, Simultane Lokalisierung und Kartenerstellung) realisiert. Bei dem SLAM-Verfahren wird, beispielsweise durch eine Recheneinrichtung des Fahrerassistenzsystems, gleichzeitig eine den Umgebungsbereich beschreibende Umgebungskarte erstellt sowie die Pose des Kraftfahrzeugs innerhalb dieser Umgebungskarte geschätzt. Die Umgebungskarte ist dabei insbesondere eine zweidimensionale Karte, in welche die von der fahrzeugseitigen Sensoreinrichtung erfassten Objekte eingetragen werden können und damit räumlichen Lagen der Objekte zu dem Kraftfahrzeug angegeben sind. Dabei kann sich das Kraftfahrzeug beispielsweise in einem Ursprung eines die Umgebungskarte beschreibenden Koordinatensystems befinden. Unter Kenntnis einer absoluten Position des Kraftfahrzeugs, welche beispielsweise in GPS-Koordinaten angegeben ist, kann anhand von der bestimmten Pose eines Objektes zu dem Kraftfahrzeug auch die absolute Position des Objektes bestimmt werden.
-
Solche an sich bekannten SLAM-Verfahren sind üblicherweise sehr rechenaufwendig, da die Umgebungskarte in der Regel inkrementell aufgebaut wird und somit Objekte, welche beispielsweise in einer ersten Messung erkannt wurden, in einer zweiten Messung besonders zuverlässig und genau wiedererkannt werden müssen. Besonders bei der Objektwiedererkennung von beispielsweise anderen Fahrzeugen mittels Ultraschallsensoren können die Positionen der Fahrzeuge nur sehr ungenau bestimmt werden, da die Ultraschallsensoren je nach Pose des Kraftfahrzeugs, also Orientierung beziehungsweise Winkel und Abstand des Kraftfahrzeugs zu dem anderen Fahrzeug, unterschiedliche Konturpunkte an dem anderen Fahrzeug messen. Um zuverlässigere Ergebnisse zu erhalten, werden somit in der Regel die Daten mehrerer Messzyklen und/oder Sensoren fusioniert, wodurch die Rechenleistung deutlich ansteigt.
-
Bei dem erfindungsgemäßen Verfahren ist es nun insbesondere vorgesehen, die Posenbestimmung des Kraftfahrzeugs anhand des objektspezifischen Merkmals, welches sich an dem Objekt befindet, durchzuführen. Dazu wird das Objekt zunächst anhand der ersten Sensordaten erkannt. Insbesondere werden als die ersten Sensordaten ein erstes Bild von zumindest einer Kamera des Kraftfahrzeugs erfasst und/oder als die ersten Sensordaten erste Laserscannerdaten von zumindest einem Laserscanner des Kraftfahrzeugs erfasst. Vorzugsweise sind die ersten Sensordaten ein erstes, von der Kamera erfasstes Bild des Umgebungsbereiches des Kraftfahrzeugs. In diesem ersten Bild des Umgebungsbereiches, welches zu einem ersten Messzeitpunkt erfasst wurde, wird das Objekt erkannt und das zumindest ein objektspezifisches Merkmal an dem Objekt identifiziert. Das objektspezifische Merkmal ist dabei insbesondere ein Merkmal des Objektes, anhand welches das Objekt eindeutig identifiziert und wiedererkannt werden kann. Dann wird anhand des objektspezifischen Merkmals die erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal bestimmt. Basierend auf dem Objekt, welches eindeutig identifizierbar ist, und anhand der ersten Pose kann dann die Umgebungskarte erstellt werden, indem das Kraftfahrzeug und das Objekt in die Umgebungskarte eingetragen werden und dabei eine durch die erste Pose vorgegebene räumliche Lage zueinander aufweisen.
-
Dann werden zu einem zweiten Messzeitpunkt zweite Sensordaten, beispielsweise ein zweites Kamerabild und/oder zweite Laserscannerdaten, von der Sensoreinrichtung erfasst. Insbesondere wird ein zweites Kamerabild des Umgebungsbereiches als die zweiten Sensordaten erfasst. Insbesondere können zwischen der Erfassung der ersten und der zweiten Sensordaten, also zwischen dem ersten und dem zweiten Messzeitpunkt, mehrere Minuten oder sogar mehrere Stunden oder Tage liegen. Die ersten und die zweiten Sensordaten sind also insbesondere keine Sensordaten, welche zeitlich direkt aufeinanderfolgend aufgenommen werden. Die ersten und die zweiten Sensordaten können beispielsweise dann aufgenommen werden, wenn sich das Kraftfahrzeug auf einer Parklückensuche befindet und dabei mehrmals den gleichen Ort und damit das gleiche Objekt in dem Umgebungsbereich passiert. Auch kann vorgesehen sein, dass die ersten und die zweiten Sensordaten auf einem Streckenabschnitt erfasst werden, welcher durch das Kraftfahrzeug regelmäßig zurückgelegt wird, beispielsweise bei der täglichen Fahrt zu einer Arbeitsstelle und/oder zu einem Wohnsitz eines Fahrers des Kraftfahrzeugs. Die zweiten Sensordaten werden nach dem Objekt durchsucht und können anhand des objektspezifischen Merkmals eindeutig wiedererkannt werden. Sobald das Objekt anhand des objektspezifischen Merkmals von der Recheneinrichtung des Fahrerassistenzsystems wiedererkannt wurde, wird die zweite Pose des Kraftfahrzeugs zu dem Objekt anhand des objektspezifischen Merkmals bestimmt.
-
Darüber hinaus wird die Pose des Kraftfahrzeugs zu dem zweiten Erfassungszeitpunkt zusätzlich mittels Odometrie bestimmt. Durch Odometrie kann das Kraftfahrzeug seine Lage anhand von Daten seines Vortriebsystems schätzen. Solche Daten des Vortriebssystems sind beispielsweise eine Anzahl an Radumdrehungen und Lenkwinkel des Kraftfahrzeugs. Durch Odometrie kann somit durch Erfassung der Daten des Vortriebssystems sowie unter Kenntnis von fahrzeugspezifischen Geometriedaten, beispielsweise ein bekannter Raddurchmesser, eine Strecke bestimmt werden, welche das Kraftfahrzeug von der ersten Pose aus bis zu dem zweiten Messzeitpunkt zurückgelegt hat. Ein Endpunkt der von der ersten Pose aus zurückgelegten Strecke wird dabei als die Pose bestimmt, welche das Kraftfahrzeug bei der Erfassung der zweiten Sensordaten innehat. Wenn keine Abweichung zwischen der zweiten Pose und der mittels Odometrie bestimmten Pose vorliegt, so wird davon ausgegangen, dass kein Odometriefehler vorliegt. Wenn aber die zweite Pose von der mittels Odometrie bestimmen Pose abweicht, so wird davon ausgegangen, dass ein Odometriefehler bei der Posenbestimmung vorliegt. Der Odometriefehler kann beispielsweise aus bestimmten Fahrbahnbedingungen, sich verändernden oder fehlerhaften Angaben über die Radgeometrie, etc. resultieren.
-
Insbesondere wird als das Objekt ein stationäres Objekt erfasst. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass der Odometrieabgleich nur dann zuverlässig und korrekt durchgeführt werden kann, wenn sich die globale Position des Objektes nicht verändert hat.
-
Das objektspezifische Merkmal kann in den Bildern beispielsweise mittels Mustererkennung erkannt werden. Zum Bestimmten der ersten und der zweiten Pose anhand des Merkmals können Kanten des objektspezifischen Merkmals identifiziert werden und ein Winkel zwischen den Kanten erkannt werden. Die Erkennung der Kanten kann mittels einer bekannten Kantenerkennungsmethode erfolgen, nach welcher im aufgenommenen Bild nach Farbübergängen – beispielsweise von schwarz zu weiß – gesucht wird. In Abhängigkeit von dem Winkel kann dann die Orientierung des Kraftfahrzeugs bestimmt werden, da der Winkel ein Maß für einen Orientierungswinkel des statischen Objektes bezüglich des Kraftfahrzeugs darstellt.
-
Anhand des SLAM-Verfahrens, welches die Posenbestimmung anhand der objektspezifischen Merkmale durchführt und dabei besonders wenig Daten und Rechenleistung für die Lokalisierung des Kraftfahrzeugs benötigt, kann zusätzlich ein Odometrieabgleich durchgeführt werden und somit auch eine zuverlässige Posenbestimmung durch Odoemtrie bereitgestellt werden. Damit kann in vorteilhafter Weise ein zuverlässiges und vielseitig einsetzbares Fahrerassistenzsystem bereitgestellt werden.
-
Bevorzugt wird bei Vorliegen des Odometriefehlers ein Korrekturwert zum Kompensieren des Odometriefehlers anhand der zweiten Pose bestimmt. Es wird also davon ausgegangen, dass die anhand der zweiten Sensordaten erfasste Pose die korrekte aktuelle Pose des Kraftfahrzeugs ist. Daraufhin wird der Korrekturwert so bestimmt, dass die resultierende, anhand von Odometrie bestimmte Pose der zweiten Pose entspricht.
-
Durch die insbesondere kontinuierliche Erfassung der objektspezifischen Merkmale von Objekten in dem Umgebungsbereich und Abbilden derer Positionen in der Umgebungskarte beziehungsweise zweidimensionalen Ebene können also mittels des SLAM-Verfahrens kontinuierlich die Odometriefehler korrigiert werden und somit ein besonders zuverlässiges Fahrerassistenzsystem bereitgestellt werden.
-
In einer vorteilhaften Ausführungsform der Erfindung wird nach Identifizieren des objektspezifischen Merkmals dem Objekt eine Identifikationsnummer zugeordnet, welche in einer fahrzeugseitigen Speichereinrichtung hinterlegt wird. Anhand dieser objektspezifischen Identifikationsnummer beziehungsweise ID, welche dem objektspezifischen Merkmal eindeutig zugeordnet ist, kann das Objekt eindeutig identifiziert werden, sobald das objektspezifische Merkmal erneut erfasst wurde. Dabei wird die ID gemeinsam mit einer Information über das objektspezifische Merkmal in der Speichereinrichtung hinterlegt. Die ID und die Information werden insbesondere zumindest so lange hinterlegt, dass der Odometrieabgleich auch dann durchgeführt werden kann, wenn sich das Kraftfahrzeug beispielsweise erst nach mehreren Tagen wieder an derjenigen globalen Position befindet, in welchem sich auch das Objekt mit dem objektspezifischen Merkmal befindet.
-
In einer Weiterbildung der Erfindung werden die zweiten Sensordaten zum Wiedererkennen des Objektes nur dann nach dem objektspezifischen Merkmal durchsucht, falls anhand von Daten eines Navigationssystems des Kraftfahrzeugs erfasst wurde, dass der Umgebungsbereich, aus welchem die ersten Sensordaten erfasst werden, und der Umgebungsbereich, aus welchem die zweiten Sensordaten erfasst wurden, zumindest bereichsweise überlappen. Zum Navigieren des Kraftfahrzeugs mittels des Navigationssystems kann mittels GPS (Globales Positionsbestimmungssystem) eine globale Position des Kraftfahrzeugs in GPS-Koordinaten bestimmt werden. Das Kraftfahrzeug kann somit anhand von GPS global lokalisiert werden. Diese globale Position des Kraftfahrzeugs kann mittels des Navigationssystems zu dem ersten Messzeitpunkt erfasst werden. Wenn durch das Navigationssystem erfasst wurde, dass sich das Kraftfahrzeug zu dem zweiten Messzeitpunkt zumindest in der Nähe der globalen Position befindet, welche das Kraftfahrzeug bei dem ersten Messzeitpunk innehatte, beispielsweise in der gleichen Straße, so werden die zweiten Sensordaten zum Identifizieren des Objektes nach dem objektspezifischen Merkmal durchsucht. Somit kann in vorteilhafter Weise Rechenzeit und Rechenleistung eingespart werden, da die Sensordaten nur dann durchsucht werden, wenn eine Wiedererkennung des Objektes wahrscheinlich ist.
-
Besonders bevorzugt wird als das Objekt ein geparktes anderes Fahrzeug erkannt und als das objektspezifische Merkmal ein Kraftfahrzeugkennzeichen, insbesondere zumindest ein alphanumerisches Zeichen des Kraftfahrzeugkennzeichens, identifiziert. Mit anderen Worten bedeutet dies, dass die Kennzeichenschilder beziehungsweise Nummernschilder von geparkten Fahrzeugen erfasst werden. Diese Nummernschilder können kontinuierlich mittels der Kamera detektiert werden und deren Positionen in der zweidimensionalen Ebene beziehungsweise Umgebungskarte abgebildet werden. Es werden also die genauen Positionen beziehungsweise räumlichen Lagen der Nummernschilder verwendet, um mittels des SLAM-Verfahrens die kontinuierlichen Odometriefehler zu korrigieren. Diese Ausführungsform macht sich die Tatsache zunutze, dass nahezu jedes Fahrzeug ein solches amtliches Kennzeichenschild besitzt, sodass dieses zuverlässig zur Identifikation des Fahrzeugs herangezogen werden kann. Diese amtlichen Kennzeichen können beispielsweise anhand von Mustererkennung besonders einfach identifiziert werden. Da diese Kennzeichenschilder in der Regel eine vorbestimmte Ausrichtung am Fahrzeug aufweisen, können die Nummernschilder in vorteilhafter Weise zur zuverlässigen Bestimmung der Pose verwendet. Dazu werden insbesondere Längskanten des Nummernschildes erkannt, und ein Winkel zwischen den Längskanten als ein Maß des Orientierungswinkels des Kraftfahrzeugs zu dem anderen Fahrzeug bestimmt. Außerdem wird insbesondere das zumindest eine alphanumerische Zeichen, welches eine Information über das Fahrzeug darstellt, identifiziert und diesem alphanumerischen Zeichen die ID zugeordnet, sodass das geparkte Fahrzeug eindeutig identifiziert werden kann.
-
Insbesondere wird anhand der ersten und/oder der zweiten Pose des Kraftfahrzeugs bezüglich des geparkten Fahrzeugs und anhand von vorbestimmten, das geparkte Kraftfahrzeug beschreibenden Geometriedaten zumindest eine geometrische Abmessung einer an das geparkte Fahrzeug angrenzenden Parklücke für das Kraftfahrzeug bestimmt. Insbesondere können anhand der Pose des Kraftfahrzeugs bezüglich des Kraftfahrzeugkennzeichens Querparklücken erkannt werden. Wenn sich die Längskanten des Nummernschildes beispielsweise parallel zu einer Fahrzeuglängsrichtung des Kraftfahrzeugs erstrecken, kann in einer Vorbeifahrt des Kraftfahrzeugs an den geparkten Fahrzeugen die Querparklücke erkannt werden. Anhand von vorgegebenen Geometriedaten, welche insbesondere eine Länge des geparkten Fahrzeugs beschreiben, kann somit als die geometrische Abmessung der Parklücke insbesondere eine Tiefe der Parklücke bestimmt werden. Die bestimmte Pose kann also in vorteilhafter Weise vielseitig von dem Fahrerassistenzsystem genutzt werden.
-
Alternativ oder zusätzlich kann als das Objekt ein Kilometerstein erkannt werden und als das objektspezifische Merkmal eine Kilometerangabe auf dem Kilometerstein identifiziert werden. Die Kilometersteine sind üblicherweise an Fahrbahnrändern von Fahrbahnen in regelmäßigen Abständen angebracht, sodass diese zur Bestimmung der zurückgelegten Entfernung sowie zur Standortbestimmung verwendet werden können. Diese Ausführungsform ist insbesondere dann vorteilhaft, wenn sich das Kraftfahrzeug regelmäßig, beispielsweise täglich, auf einem bestimmten Fahrbahnabschnitt befindet und damit regelmäßig an demselben Kilometerstein vorbeifährt. Die Odometriedaten werden somit über einen besonders lange Zeitraum, erfasst, also beispielsweise zwischen dem Passieren des Kilometersteins an einem ersten Tag und dem Passieren des Kilometersteins am darauffolgenden Tag. Die Odometriedaten werden dabei auch dann über den gesamten Zeitraum erfasst, wenn das Kraftfahrzeug zwischenzeitlich abgestellt wurde.
-
Es erweist sich als vorteilhaft, wenn in dritten Sensordaten ein weiterer Kilometerstein erkannt wird und eine weitere Kilometerangabe auf dem weiteren Kilometerstein erfasst wird, anhand der Kilometerangaben auf den Kilometersteinen ein Abstand zwischen den Kilometersteinen bestimmt wird, eine zwischen den Kilometersteinen von dem Kraftfahrzeug zurückgelegte Strecke mittels Odometrie erfasst wird und der Odometriefehler erkannt wird, falls eine weitere Abweichung zwischen dem Abstand und der zurückgelegten Strecke einen weiteren vorbestimmten Schwellwert überschreitet. Dieser Ausführungsform liegt die Erkenntnis zugrunde, dass die Kilometersteine üblicherweise in regelmäßigen Abständen aufgestellt sind. Durch die Kilometerangaben auf den Kilometersteinen in Form von Zahlen kann der Abstand zwischen zwei Kilometersteinen bestimmt werden. Außerdem kann anhand der Odometrie, insbesondere anhand von einer Anzahl an Radumdrehungen, die von dem Kraftfahrzeug zwischen den Kilometersteinen zurückgelegte Strecke bestimmt werden. Falls kein Odometriefehler vorliegt, sollte die zurückgelegte Strecke dem Abstand zwischen den Kilometersteinen entsprechen. Falls die zurückgelegte, durch Odometrie bestimmte Strecke jedoch von dem Abstand zwischen den Kilometersteinen abweicht, so wird der Odometriefehler ebenfalls erkannt. Dies ist besonders dann vorteilhaft, wenn das Kraftfahrzeug jeden Kilometerstein nur einmal passiert und somit den Odometrieabgleich nicht anhand desselben Kilometersteins durchführen kann.
-
Auch kann vorgesehen sein, dass als das Objekt ein Haus erkannt wird und als das objektspezifische Merkmal ein Hausnummernschild, insbesondere zumindest eine Ziffer auf dem Hausnummernschild, identifiziert wird. Insbesondere wird bei dieser Ausführungsform die Erkennung des Objektes, also hier des Hauses, mit der durch das Navigationssystem des Kraftfahrzeugs durchgeführten Positionsbestimmung verknüpft. Wenn also durch das Navigationssystem beispielsweise erfasst wurde, dass das Kraftfahrzeug zum wiederholten Male in eine bestimmte Straße einfährt, so kann eine bestimmte Hausnummer an einem Haus in dieser Straße wiedererkannt werden, und anhand dieser Hausnummer der Odometrieabgleich durchgeführt werden.
-
Die Erfindung betrifft außerdem eine Recheneinrichtung für ein Fahrerassistenzsystem eines Kraftfahrzeugs, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. Die Recheneinrichtung kann beispielsweise in ein fahrzeugseitiges Steuergerät integriert sein.
-
Ein erfindungsgemäßes Fahrerassistenzsystem umfasst eine erfindungsgemäße Recheneinrichtung sowie eine Sensoreinrichtung zum Erfassen eines Umgebungsbereiches des Kraftfahrzeugs. Die Sensoreinrichtung kann beispielsweise zumindest einen Laserscanner und/oder zumindest eine Kamera umfassen. Das Fahrerassistenzsystem ist insbesondere dazu ausgelegt, eine Posenbestimmung des Kraftfahrzeugs mittels eines SLAM-Verfahrens und mittels Odometrie durchzuführen und somit eine Umgebungskarte des Kraftfahrzeugs zu bestimmen. Anhand der Umgebungskarte und der korrigierten Odometriedaten kann insbesondere auch ein zumindest semiautonomes Manövrieren des Kraftfahrzeugs ermöglicht werden. Beispielsweise kann ein zumindest semiautonomer Einparkvorgang für das Kraftfahrzeug von dem Fahrerassistenzsystem durchgeführt werden.
-
Darüber hinaus betrifft die Erfindung ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als ein Personenkraftwagen ausgebildet.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Recheneinrichtung, das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen Kraftfahrzeugs; und
-
2 eine schematische Darstellung eines von dem Kraftfahrzeug erfassten Kamerabildes zur Posenbestimmung.
-
In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1 gemäß der vorliegenden Erfindung. Das Kraftfahrzeug 1 ist insbesondere als ein Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches dazu ausgelegt ist, ein sogenanntes SLAM-Verfahren (Simultaneous Localization and Mapping) beziehungsweise eine „Simultane Lokalisierung und Kartenerstellung“ durchzuführen. Dies bedeutet, dass das Fahrerassistenzsystem 2 dazu ausgelegt ist, eine einen Umgebungsbereich 3 des Kraftfahrzeugs 1 beschreibende Umgebungskarte zu erstellen und gleichzeitig eine Pose des Kraftfahrzeugs 1 in der Umgebungskarte schätzen beziehungsweise bestimmen. Das Fahrerassistenzsystem 2 weist dazu eine Sensoreinrichtung S auf, welche dazu ausgelegt ist, Sensordaten aus dem Umgebungsbereich 3 zu erfassen. Im vorliegenden Fall weist die Sensoreinrichtung S zumindest eine Kamera 4 aufweist. Die Sensoreinrichtung S kann auch zumindest einen Laserscanner aufweisen. Die Kameras 4 sind dazu ausgebildet, den Umgebungsbereich 3 des Kraftfahrzeugs 1 in Bildern zu erfassen. Die Kameras 4 bilden hier ein Rundumsicht-Kamerasystem beziehungsweise Surround-View-Kamerasystem aus, wobei eine erste Kamera 4 in einem Frontbereich 5 des Kraftfahrzeugs 1 angeordnet ist, eine zweite Kamera 4 in einem Heckbereich 6 des Kraftfahrzeugs 1 angeordnet ist, eine dritte Kamera 4 auf einer Fahrerseite 7 des Kraftfahrzeugs 1 angeordnet ist und eine vierte Kamera 4 auf einer Beifahrerseite 8 des Kraftfahrzeugs 1 angeordnet ist. Mittels des Rundumsicht-Kamerasystems kann insbesondere der gesamte Umgebungsbereich 3 um das Kraftfahrzeug 1 herum in Bildern erfasst werden.
-
Das Fahrerassistenzsystem 2 umfasst hier außerdem eine Recheneinrichtung 9, welche dazu ausgebildet ist, anhand der von der Sensoreinrichtung S erfassten Sensordaten die Pose des Kraftfahrzeugs 1, also eine Orientierung und eine Position des Kraftfahrzeugs 1, bezüglich eines Objektes O (siehe 2) in dem Umgebungsbereich 3 des Kraftfahrzeugs 1 zu bestimmen. Darüber hinaus ist das Fahrerassistenzsystem 2 dazu ausgelegt, die Pose des Kraftfahrzeugs 1 in dem Umgebungsbereich 3 durch Odometrie zu bestimmen. Dazu kann das Fahrerassistenzsystem 2 Daten eines Vortriebssystems des Kraftfahrzeugs 1, beispielsweise eine Anzahl an Umdrehungen von Rädern 10 des Kraftfahrzeugs 1 und/oder Lenkwinkel des Kraftfahrzeugs 1 erfassen. Aufgrund von Fahrzeugparametern, beispielsweise aufgrund von sich verändernden und/oder fehlerhaft vorgegebenen Radgeometrien und Fahrstellgeometrien, kann es vorkommen, dass die Posenbestimmung mittels Odometrie fehlerbehaftet ist.
-
Zunächst werden von der Sensoreinrichtung S erste Sensordaten aus dem Umgebungsbereich 3 des Kraftfahrzeugs 1 erfasst. Solche erste Sensordaten sind in 2 in Form von einem ersten Kamerabild 11 der in dem Frontbereich 5 des Kraftfahrzeugs 1 angeordneten Kamera 4 gezeigt. Das Kraftfahrzeug 1 befindet sich auf einer Fahrbahn 12 und erfasst während einer Fahrt zu einem ersten Messzeitpunkt das erste Kamerabild 11. Die Kamera 4 kann beispielsweise ein Fischaugenobjektiv aufweisen, wodurch sich die in 2 gezeigte perspektivische Verzerrung in dem Kamerabild 11 ergibt.
-
In dem ersten Kamerabild 11 befinden sich Abbilder von Objekten O, wobei die Objekte O im vorliegenden Fall als geparkte, andere Fahrzeuge 13 und als ein Haus 14 ausgebildet sind. Die Objekte O sind dabei insbesondere zumindest temporär stationäre beziehungsweise unbewegliche Objekte. Die Recheneinrichtung 9 ist dazu ausgelegt, die Objekte O in dem von der Kamera 4 erfassten Kamerabild 11 zu erkennen und zumindest ein objektspezifisches Merkmal M an den Objekten O zu identifizieren. Das jeweilige objektspezifische Merkmal ist einem Objekt O insbesondere eindeutig zuordenbar. Im vorliegenden Fall wird als das objektspezifische Merkmal M der geparkten Fahrzeuge 13 jeweils ein Kennzeichenschild 15 beziehungsweise Nummernschild identifiziert und als das objektspezifischen Merkmal M des Hauses 14 ein Hausnummernschild 16 identifiziert.
-
Zum Identifizieren des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 kann das aufgenommene Bild 11 von der Recheneinrichtung 9 einer Mustererkennung hinsichtlich Ecken und Kanten des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 unterzogen werden. Es kann somit im aufgenommenen Bild 11 nach einem Rechteck beziehungsweise einem Trapez gesucht werden. Diese Methode der Erkennung eines des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 ist einerseits besonders zuverlässig und andererseits auch relativ leicht zu realisieren. Bei der Erkennung des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 können zunächst seine Kanten erkannt werden, und anhand der Kanten können dann die Ecken des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 identifiziert werden. Die Erkennung der Kanten kann mittels einer bekannten Kantenerkennungsmethode erfolgen, nach welcher im aufgenommenen Bild 11 nach Farbübergängen – beispielsweise von schwarz zu weiß – gesucht wird. Wurden die Kanten erkannt, so ergeben sich auch die Ecken des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16. Nach Erkennen des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 kann die Erkennung plausibilisiert werden, indem eine Länge des Abbilds des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 mit seiner Breite ins Verhältnis gesetzt wird, und geprüft wird, ob dieses Verhältnis in einem vorgegebenen Wertebereich liegt. Somit kann das Kennzeichenschild 15 und/oder des Hausnummernschildes 16 von anderen Rechtecken unterschieden werden, da insbesondere bei Kennzeichenschildern sowohl die Länge als auch die Breite fest vorgegeben sind und somit eine genormte Größe darstellen.
-
Außerdem ist die Recheneinrichtung 9 dazu ausgelegt, anhand der objektspezifischen Merkmale M eine jeweilige erste Pose des Kraftfahrzeugs 1 zu den objektspezifischen Merkmalen M zu bestimmen. Die erste Pose entspricht derjenigen Pose, welche das Kraftfahrzeug 1 beim Erfassen des ersten Kamerabildes 11 zu dem objektspezifischen Merkmal M innehat. Zum Bestimmen der Orientierung anhand des Abbilds des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 können Längskanten des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 im Bild 11 identifiziert werden und ein Winkel zwischen den Längskanten ermittelt werden. In Abhängigkeit von dem Winkel kann dann die Orientierung bestimmt werden, da der Winkel ein Maß für einen Orientierungswinkel des benachbarten Fahrzeugs 13 und/oder des Hauses 14 bezüglich des Kraftfahrzeugs 1 darstellt. Basierend auf der Posenbestimmung bezüglich der objektspezifischen Merkmale M kann das SLAM-Verfahren durchgeführt werden, indem die Objekte O und das Kraftfahrzeug in der insbesondere zweidimensionalen Umgebungskarte abgebildet werden. Dabei kann das Kraftfahrzeug 1 beispielsweise im Ursprung eines zweidimensionalen Koordinatensystems, in welchem die Umgebungskarte bestimmt wird, positioniert werden, wobei sich Positionen der Objekte O in der zweidimensionalen Umgebungskarte durch die anhand des Kamerabildes 11 durchgeführten Posenbestimmung ergeben.
-
Darüber hinaus kann die Recheneinrichtung 9 jedem Objekt O anhand des objektspezifischen Merkmals M eine eindeutige Identifikationsnummer beziehungsweise ID zuordnen und diese in einer fahrzeugseitigen Speichereinrichtung hinterlegen. Dabei kann es vorteilhaft sein, die Nummern beziehungsweise Ziffern und Buchstaben des Nummernschildes 15 zu erkennen und anhand derer eine eindeutige Identifikationsnummer beziehungsweise ID passend zum geparkten Fahrzeug 13 erstellt wird. Wenn das Nummernschild 15 nochmals detektiert und erkannt wird, wird über diese ID die Information bereitgestellt, dass es sich um dasselbe Nummernschild 15 desselben Fahrzeugs 13 handelt. Wichtig ist diese Information vor allem dann, wenn nur Teile des Nummerschildes erkannt wurden und sich damit eine Streuung ergibt, wenn das gleiche Nummerschild 15 zwar immer wieder, jedoch an unterschiedlichen Positionen erkannt beziehungsweise detektiert wird. Diese Streuung kann damit eingedämmt werden, um schneller mit dem SLAM zu konvergieren. Des Weiteren kann beispielsweise nur eine Ziffer herausgriffen werden, welche erkannt werden soll, um den SLAM zu berechnen, wodurch weniger Detektionspunkte notwendig sind, um einen SLAM zu berechnen, und wodurch Laufzeit eingespart werden kann.
-
Auch kann die Recheneinrichtung 9 eine Ziffer auf dem Hausnummernschild 16 erkennen und diese, insbesondere gemeinsam mit einer Straße, in welcher sich das Haus 14 befindet, einer spezifischen Identifikationsnummer zuordnen. Die Straße kann beispielsweise anhand eines Navigationssystems des Kraftfahrzeugs 1 bestimmt werden, durch welches das Kraftfahrzeug 1 global lokalisiert wird.
-
Dann wird zu einem zweiten Messzeitpunkt ein weiteres zweites Kamerabild als zweite Sensordaten des Umgebungsbereiches 3 von der Kamera 4 aufgenommen. Wenn nun das Kraftfahrzeug 1 erneut an den Objekten O vorbeifährt, beispielsweise weil sich das Kraftfahrzeug 1 auf Parkplatzsuche befindet, so befinden sich auch die Abbilder der Objekte O in dem weiteren Kamerabild. Die Recheneinrichtung 9 kann nun das weitere zweite Bild nach den Objekten O durchsuchen, indem die Recheneinrichtung 9 das weitere Bild nach den objektspezifischen Merkmalen M durchsucht. Wenn die Recheneinrichtung 9 das objektspezifische Merkmal M, beispielsweise eines der Nummernschilder 15, in dem weiteren Bild erkannt hat, so wird auch das Objekt O, also das zugehörige Fahrzeug 13, eindeutig wiedererkannt und eine zweite Pose des Kraftfahrzeugs 1 zu dem Objekt O bestimmt. Dabei kann vorgesehen sein, dass die Recheneinrichtung 9 das weitere Kamerabild nur dann nach den objektspezifischen Merkmalen M durchsucht, wenn anhand des Navigationssystems des Kraftfahrzeugs 1 erkannt wurde, dass sich das Kraftfahrzeug 1 bei der Aufnahme des zweiten Kamerabildes in etwa in etwa dem gleichen Umgebungsbereich 3 befindet wie bei der Aufnahme des ersten Kamerabildes 11.
-
Diese zweite Pose wird mit einer Pose verglichen, welche durch die Recheneinrichtung 9 mittels Odometrie bestimmt wird. Die mittels Odometrie bestimmte Pose ergibt sich dabei aus der Strecke, welche das Kraftfahrzeug 1 seit der Erfassung des ersten Bildes 11 bis zur Erfassung des weiteren Bildes zurückgelegt hat. Anders ausgedrückt wird ausgehend von der ersten Pose anhand von Odometriedaten beziehungsweise Daten des Vortriebssystems des Kraftfahrzeugs 1, beispielsweise einer Anzahl an Radumdrehungen und/oder eines Lenkwinkels, die zurückgelegte Strecke bestimmt und das Ende der Strecke als die Pose bestimmt, mit welcher die zweite Pose verglichen wird. Es wird also ein Odometrieabgleich durchgeführt. Falls kein Odometriefehler vorliegt, also falls die zugrunde gelegten und erfassten Odometriedaten den aktuellen, realen Daten entsprechen, müsste die mittels Odometrie bestimmte Pose mit der zweiten Pose übereinstimmen. Falls die beiden Posen nicht übereinstimmen, so wird ein Odometriefehler erkannt. Basierend auf der Größe der Abweichung kann ein Korrekturfaktor bestimmt werden, mittels welchem bei der Positionsbestimmung des Kraftfahrzeugs mittels Odometrie der Odometriefehler korrigiert werden kann.
-
Außerdem kann die Recheneinrichtung 9 hier anhand der bestimmten Pose des Kraftfahrzeugs 1 zu dem Kennzeichenschild 15 eines der Fahrzeuge 13 und anhand von zumindest einer vorbestimmten geometrischen Abmessung des geparkten Fahrzeugs 13 eine geometrische Abmessung 17 einer Parklücke 18 des Kraftfahrzeugs 1 bestimmen. Anhand einer Länge des Fahrzeugs 13 kann die Recheneinrichtung 9 als die geometrische Abmessung 17 insbesondere eine Tiefe der Parklücke 18 erkennen. Basierend auf der Umgebungskarte sowie den korrigierten Odometriedaten kann das Fahrerassistenzsystem 2 dann beispielsweise einen zumindest semiautonomen Parkvorgang für das Kraftfahrzeug 1 in die Parklücke 18 bereitstellen beziehungsweise durchführen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102010056217 A1 [0002]