-
Die vorliegende Erfindung betrifft ein Verfahren zum Anzeigen von Umgebungsinformationen eines Fahrzeugs auf einer Anzeigevorrichtung des Fahrzeugs, insbesondere in einer Draufsicht von oben, welche das Fahrzeug in der Umgebung darstellt. Die vorliegende Erfindung betrifft weiterhin ein Anzeigesystem für ein Fahrzeug, welches das Verfahren verwendet.
-
Beim Fahren eines Fahrzeugs, wie z.B. eines Personenkraftwagens oder eines Lastkraftwagens, und insbesondere beim Rangieren in engen Umgebungen benötigt der Fahrer eine genaue Information über die Position seines Fahrzeugs in Relation zu Hindernissen in der Umgebung. Insbesondere bei Personenkraftwagen werden zu diesem Zweck Anzeigesysteme verbaut, welche eine Abbildung der Umgebung des Fahrzeugs auf einer Anzeigevorrichtung in dem Fahrzeug darstellen. Besonders vorteilhaft sind dabei sogenannte Area-View-Systeme, welche mithilfe mehrerer Kameras und einer Bildverarbeitungseinheit eine Draufsicht oder Vogelperspektivansicht des Fahrzeugs von oben mit der umliegenden Umgebung darstellen. Dafür können beispielsweise vier Kameras verwendet werden und deren Bilder entzerrt und in Kombination dargestellt werden. Eine Kamera kann beispielsweise vorne an dem Fahrzeug angebracht sein, eine hinten und jeweils eine an jeder der Seiten des Fahrzeugs. Derartige Systeme sind sehr hilfreich für den Fahrer, sind jedoch bedingt durch das verteilte Kamerasystem verhältnismäßig aufwändig und kostenintensiv. Ferner können nur Bereiche auf der Anzeigevorrichtung dargestellt werden, welche aktuell von den Kameras erfasst werden.
-
In diesem Zusammenhang offenbart die
DE 10 292 327 T5 eine Fahrzeugumgebungsbildverarbeitungsvorrichtung und ein Aufzeichnungsmedium. Die Fahrzeugumgebungsbildverarbeitungsvorrichtung verarbeitet ein von einer Bildaufnahmeeinrichtung aufgenommenes Bild und erzeugt ein Bild durch Umwandlung des von der Bildaufnahmeeinrichtung aufgenommenen Bilds in Daten eines mit der Bildaufnahmeeinrichtung als Ansichtspunkt projizierten Bodenoberflächenkoordinatensystems, um ein Bild aus einer Vogelperspektive zu erzeugen. Als nächstes werden ein wie dies erzeugtes erstes Bild aus einer Vogelperspektive und ein danach erzeugtes zweites Bild aus einer Vogelperspektive miteinander verglichen, um einen zusammenpassenden Bereich und einen nicht zusammenpassenden Bereich davon zu unterscheiden. Der durch diese Unterscheidung erlangte nicht zusammenpassende Bereich wird im zweiten Bild aus einer Vogelperspektive hinzugefügt, um ein zusammengesetztes Bild zu erstellen, und dieses zusammengesetzte Bild wird derart verarbeitet, dass es auf der Anzeigeeinrichtung angezeigt werden kann.
-
Die
DE 10 2011 087 901 A1 betrifft ein Verfahren zur Darstellung eines Fahrzeugumfelds. Zur Erzeugung einer Umfelddarstellung werden Umfelddaten aus Sicht einer virtuellen Kamera auf eine mindestens zweischichtige Ebene projiziert. Die Projektionsebene kann dabei in ihrer Form beliebig gewählt werden. So können insbesondere auf dem Kamerasystem basierende Videoansichten, welche unterschiedliche Ausschnitte des Fahrzeugumfelds zeigen, in einer Ebene zusammengeführt werden. Dabei können das Fahrzeug und dessen Umfeld so dargestellt werden, dass das Fahrzeug beispielsweise im Zentrum mit dem um das Fahrzeug herumliegenden Umfeld wiedergegeben wird.
-
Auch im Nutzfahrzeugbereich, beispielsweise bei Bussen und Lastkraftwagen, kann der Nutzen derartiger Area-View-Systeme groß sein. Allerdings ist es in diesem Bereich besonders aufwändig und kostenintensiv, den gesamten Bereich rund um das Fahrzeug mit Kameras abzudecken. Bei Lastkraftwagen mit üblicherweise austauschbaren Anhängern oder Sattelaufliegern kann es ferner problematisch sein, dass die Anhänger oder Sattelauflieger nicht mit einer derartigen Technik, beispielsweise einer ausreichenden Anzahl von Kameras, ausgestattet sind. Zusätzlich können Lastkraftwagen oder Busse durch die Lage ihrer Achsen insbesondere beim Rangieren oder bei engen Kurven einen Überhang des Fahrzeugs über einen Randstein oder eine Fahrbahnbegrenzung aufweisen, während es wünschenswert ist, dass die Räder selbst die Fahrbahn nicht verlassen sollen.
-
Die
JP 2006-238131 A zeigt eine Vorrichtung zur Anzeige von Totwinkel-Bereichen mit Hilfe von Fahrzeugkameras. Aus der
DE 10 2007 011 180 A1 ist eine Rangierhilfe für ein Fahrzeug mit knickbaren Fahrzeugelementen bekannt. Dem Fahrer wird ein Kamerabild des von dem Fahrzeug verdeckten rückwärtigen Raumes auf einer Anzeige angezeigt. Aufgabe der vorliegenden Erfindung ist es daher, eine verbesserte optische Wiedergabe eines Umfelds für ein Fahrzeug, insbesondere auch für Nutzfahrzeuge, kostengünstig zu realisieren.
-
Diese Aufgabe wird gemäß der vorliegenden Erfindung durch ein Verfahren zum Anzeigen von Umgebungsinformationen eines Fahrzeugs nach Anspruch 1 und ein Anzeigesystem für ein Fahrzeug nach Anspruch 11 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der Erfindung.
-
Gemäß der vorliegenden Erfindung wird ein Verfahren zum Anzeigen von Umgebungsinformationen eines Fahrzeugs bereitgestellt. Bei dem Verfahren wird eine Bildinformation einer Umgebung des Fahrzeugs erfasst, während sich das Fahrzeug an einer ersten Position befindet. Weiterhin wird eine Bewegung des Fahrzeugs von der ersten Position zu einer zweiten Position erfasst. Die zweite Position unterscheidet sich von der ersten Position und ein Teil der Bildinformation, welche an der ersten Position erfasst wurde, befindet sich in der zweiten Position unter dem Fahrzeug. Der Teil der erfassten Bildinformation, welcher in der zweiten Position die Umgebung unter dem Fahrzeug zeigt, wird in Kombination mit einer vorgegebenen Abbildung des Fahrzeugs in der zweiten Position auf einer Anzeigevorrichtung des Fahrzeugs dargestellt. Durch das Bewegen des Fahrzeugs von der ersten Position zu der zweiten Position kann die Umgebung des Fahrzeugs mit beispielsweise einer Bilderfassungsvorrichtung von verschiedenen Standpunkten aus erfasst werden. Insbesondere kann ein Bereich, welcher sich in der ersten Position des Fahrzeugs neben dem Fahrzeug oder seitlich des Fahrzeugs befindet, in der zweiten Position unter dem Fahrzeug angeordnet sein und mithilfe des Verfahrens in Kombination mit der vorgegebenen Abbildung des Fahrzeugs lagerichtig angezeigt werden. Dadurch erhält der Fahrer eine Information zur Lage seines Fahrzeugs in Bezug auf den Bereich unterhalb des Fahrzeugs. Auf diese Art und Weise können beliebige Bereiche um und unter dem Fahrzeug erfasst und dargestellt werden, sofern sie einmal im Erfassungsbereich einer Erfassungsvorrichtung lagen. Anders ausgedrückt kann beispielsweise bei einer Vogelperspektivansicht eine Art „gläsernes Fahrzeug“ dargestellt werden, sodass der Fahrer den Untergrund unter dem Fahrzeug durch die gläserne Darstellung des Fahrzeugs erkennen kann und somit bei einer Bewegung des Fahrzeugs berücksichtigen kann.
-
Die Abbildung des Fahrzeugs umfasst eine äußere Begrenzung des Fahrzeugs. Dadurch kann ein Fahrer Abstände zu Hindernissen besser einschätzen und das Fahrzeug beispielsweise beim Rangieren genauer bewegen. Alternativ oder zusätzlich kann die Abbildung des Fahrzeugs eine Abbildung einer Radachse des Fahrzeugs sowie eine Abbildung eines Rades oder mehrerer Räder des Fahrzeugs umfassen. Durch diese Darstellung kann der Fahrer den Verlauf der Räder abschätzen und beispielsweise eine Kollision eines Rades mit einem Randstein oder einem sonstigen flachen Hindernis genauer abschätzen. Alternativ oder zusätzlich kann die Abbildung des Fahrzeugs eine Abbildung eines gelenkten Rades des Fahrzeugs in einer lagerichtigen Darstellung in Bezug auf eine aktuelle Einstellung eines Lenkrads des Fahrzeugs umfassen. Eine Lenkwinkelinformation, welche die aktuelle Einstellung des Lenkrads des Fahrzeugs darstellt, steht in vielen Fahrzeugen zur Verfügung. Indem die gelenkten Räder des Fahrzeugs, beispielsweise die Vorderräder des Fahrzeugs, in ihrer aktuellen Lage in der Abbildung des Fahrzeugs dargestellt werden, kann der Fahrer in Verbindung mit der Umgebungsinformation des Untergrunds das Fahrzeug beim Rangieren oder beim Umfahren enger Kurven sehr genau führen. Dies kann insbesondere bei Nutzfahrzeugen, aber auch bei Geländewagen, vorteilhaft sein, um die Räder des Fahrzeugs möglichst genau auf bestimmten Bahnen entlang dem Untergrund zu führen, beispielsweise um eine Kollision mit einem Randstein zu vermeiden oder um ein Abrutschen des Rades in beispielsweise eine Furche zu vermeiden.
-
Gemäß einer Ausführungsform wird mindestens eine weitere Bildinformation der Umgebung des Fahrzeugs erfasst, während sich das Fahrzeug an der zweiten Position befindet. In Abhängigkeit von der Bildinformation, welche in der ersten Position des Fahrzeugs erfasst wurde, und der weiteren Bildinformation, welche in der zweiten Position des Fahrzeugs erfasst wurde, wird ein Abbild der Umgebung erstellt. Das Abbild umfasst zumindest einen Anteil der Bildinformation von der ersten Position und einen Anteil der weiteren Bildinformation von der zweiten Position. Dieses Abbild wird auf der Anzeigevorrichtung des Fahrzeugs dargestellt. Die Bildinformation und die weitere Bildinformation können mit derselben Bilderfassungsvorrichtung erfasst werden, sodass das kombinierte Abbild der Umgebung des Fahrzeugs einen erheblich größeren Umgebungsbereich umfasst als mit der Erfassungsvorrichtung an einer Position erfassbar ist. Dadurch kann mit einer geringeren Anzahl von Bilderfassungsvorrichtungen bei geeigneter Bewegung des Fahrzeugs ein großer Bereich der Umgebung des Fahrzeugs abgebildet werden, welcher insbesondere auch einen Bereich unterhalb des Fahrzeugs umfasst. Beim Kombinieren der Bildinformation mit der weiteren Bildinformation können Positionsinformationen der ersten Position und der zweiten Position verwendet werden. Die Positionsinformationen können beispielsweise aus Odometriedaten des Fahrzeugs ermittelt werden. Dadurch können die Bildinformationen zu den unterschiedlichen Positionen des Fahrzeugs auf einfache Art und Weise miteinander kombiniert werden. Alternativ zu den Odometriedaten können auch andere Positionsinformationen verwendet werden, beispielsweise globale Positionsbestimmungsdaten eines Satellitenpositionsbestimmungssystems (GPS) oder Informationen von Umfeldsensoren, wie z.B. Radarsensoren, Lasersensoren, Lidar-Sensoren, Ultraschallsensoren oder eine Kombination daraus. Ferner können die Positionsinformationen auch mithilfe einer geeigneten Bildverarbeitung aus der Bildinformation und der weiteren Bildinformation bestimmt werden, beispielsweise mithilfe eines sogenannten Bündelausgleichsverfahrens. Anders ausgedrückt können bei bekannter Bewegung des Fahrzeugs mittels sogenannter Stitching-Techniken aufeinanderfolgende Bildinformationen von aufeinanderfolgenden Positionen des Fahrzeugs zusammengefügt werden. Somit kann ein Gesamtbild erstellt werden, welches auch Bereiche umfasst, die aktuell nicht mehr im Sichtbereich liegen, zuvor aber erfasst wurden. Diese können insbesondere Bereiche unterhalb des Fahrzeugs umfassen. Über sogenannte Structure-From-Motion-Techniken kann eine perspektivisch korrekte dreidimensionale Darstellung der Umgebung erzeugt werden.
-
Bei einer weiteren Ausführungsform der vorliegenden Erfindung wird ferner eine Trajektorie des Fahrzeugs in Abhängigkeit von einer aktuellen Einstellung des Lenkrads des Fahrzeugs bestimmt. Die Abbildung des Fahrzeugs umfasst in diesem Fall zusätzlich eine Darstellung einer Trajektorie einer Begrenzungskante des Fahrzeugs und zusätzlich oder alternativ eine Darstellung einer Trajektorie eines oder mehrerer Räder des Fahrzeugs. Indem die Trajektorie der Begrenzungskanten des Fahrzeugs oder der Räder des Fahrzeugs dargestellt wird, kann einem Fahrer auf einfache und intuitive Art und Weise vermittelt werden, ob das Fahrzeug mit der aktuellen Lenkradeinstellung an Hindernissen vorbeigelenkt werden kann, um zu vermeiden, dass die Karosserie gegen ein Hindernis stößt, dass ein Rad gegen ein Hindernis stößt und/oder dass ein Rad ein Schlagloch oder eine sonstige Unebenheit durchfährt.
-
Bei einer weiteren Ausführungsform des Verfahrens umfasst die Abbildung des Fahrzeugs eine Abbildung des Fahrzeugs mit einer Abbildung eines an das Fahrzeug gekoppelten Anhängers. Der Anhänger kann beispielsweise einen einachsigen oder mehrachsigen Anhänger oder einen Sattelauflieger umfassen. Die Abbildung des Anhängers umfasst eine Abbildung einer Achse des Anhängers und zusätzlich oder alternativ eine Abbildung eines Rads des Anhängers und zusätzlich oder alternativ eine Abbildung eines gelenkten Rads des Anhängers in einer lagerichtigen Darstellung in Bezug auf eine aktuelle Position des Anhängers in Bezug auf das Fahrzeug. Dazu kann beispielsweise ein Knickwinkel zwischen dem Fahrzeug und dem Anhänger bestimmt werden, beispielsweise optisch oder über Sensoren in der Anhängerkupplung. Gelenkte Räder des Anhängers können beispielsweise über eine Deichselverbindung zwischen dem Fahrzeug und dem Anhänger angesteuert werden, sodass über die aktuelle Position des Anhängers in Bezug auf das Fahrzeug ein Lenkwinkel des Anhängers eingestellt wird. Durch die lagerichtige Darstellung der Achsen und Räder des Anhängers kann ein Fahrer des Gespanns insbesondere beim Rangieren oder beim Umfahren enger Kurven die Position eines jeden Rades von sowohl dem Zugfahrzeug als auch dem Anhänger in Verbindung mit der Darstellung des Untergrundes genau überwachen. Dadurch können Kollisionen und Beschädigungen vermieden werden und das Gespann auch in engen Umgebungen sicher bewegt werden. Für den Anhänger kann ferner eine Trajektorie in Abhängigkeit einer aktuellen Einstellung des Lenkrads des Fahrzeugs bzw. einer aktuellen Position des Anhängers in Bezug auf das Fahrzeug bestimmt werden und auf der Grundlage dieser Trajektorie können beispielsweise Trajektorien von Begrenzungskanten des Anhängers und alternativ oder zusätzlich Trajektorien der Räder des Anhängers dargestellt werden. Dadurch können frühzeitig ungünstige Lenkvorgänge, welche zu Kollisionen des Anhängers oder der Räder des Anhängers mit Hindernissen führen würden, vermieden werden.
-
Bei einer weiteren Ausführungsform des Verfahrens der vorliegenden Erfindung wird eine Erfassungsunsicherheit bestimmt, welche einen Einfluss auf die Bestimmung der Trajektorie hat. Die Trajektorie wird in Kombination mit einem Trajektorieschlauch dargestellt, welcher die Trajektorie umgibt und einen Unsicherheitsbereich der Trajektorie markiert, welcher sich aus der Erfassungsunsicherheit ergibt. Die Erfassungsunsicherheit kann beispielsweise eine Ungenauigkeit bei der Bestimmung des Lenkwinkels sowie Ungenauigkeiten bei der Bestimmung von Odometriedaten des Fahrzeugs umfassen. Ein Trajektorieschlauch kann einem Fahrer auf intuitive Art und Weise die möglichen Trajektorien von beispielsweise einem Rad oder einer Begrenzungskante des Fahrzeugs darstellen. Befinden sich Hindernisse innerhalb des Trajektorieschlauchs, kann der Fahrer beispielsweise entsprechend vorsichtiger agieren oder über zusätzliche Hilfsmittel, beispielsweise Spiegel oder einen Helfer, die genaue Situation klären.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung wird die Bildinformation sowie ggf. die weitere Bildinformation der Umgebung des Fahrzeugs mit einer ersten Bilderfassungsvorrichtung, welche an einer Vorderseite des Fahrzeugs angebracht ist, und einer zweiten Bilderfassungsvorrichtung, welche an einer Rückseite des Fahrzeugs angebracht ist, erfasst. Die erste Bilderfassungsvorrichtung ist in der Lage, eine Bildinformation der Umgebung vor dem Fahrzeug und seitlich vor dem Fahrzeug zu erfassen und die zweite Bilderfassungsvorrichtung ist in der Lage, eine Bildinformation der Umgebung hinter dem Fahrzeug und seitlich hinter dem Fahrzeug zu erfassen. Anders ausgedrückt ist die erste Bilderfassungsvorrichtung beispielsweise derart ausgestaltet, dass sie eine Bildinformation einer Umgebung vor dem Fahrzeug, seitlich rechts vor dem Fahrzeug und seitlich links vor dem Fahrzeug erfasst. Die erste Bilderfassungsvorrichtung kann beispielsweise eine Kamera mit einem Weitwinkelobjektiv umfassen, welche im Bereich einer Stoßstange oder eines Kühlergrills des Fahrzeugs an der Vorderseite des Fahrzeugs mittig angebracht ist, um einen entsprechenden Bereich vor und seitlich vor dem Fahrzeug zu erfassen. Die zweite Bilderfassungsvorrichtung kann dementsprechend derart ausgestaltet sein, dass sie eine Umgebung hinter dem Fahrzeug, seitlich rechts und seitlich links hinter dem Fahrzeug erfasst.
-
Eine entsprechende Bilderfassungsvorrichtung kann beispielsweise eine Kamera sein, welche an einer hinteren Stoßstange des Fahrzeugs oder einer Heckklappe oder einem Kofferraumdeckel des Fahrzeugs angebracht ist. Wie zuvor beschrieben, werden die Bildinformationen der beiden Bilderfassungsvorrichtungen während einer Bewegung des Fahrzeugs verwendet, um ein Abbild des Umgebungsbereichs des Fahrzeugs zu erstellen, welches auch den Bereich unter dem Fahrzeug umfasst. Dabei können Bildinformationen seitlich vor und hinter dem Fahrzeug während einer Bewegung des Fahrzeugs dazu verwendet werden, eine Umgebung seitlich von dem Fahrzeug zu rekonstruieren. Diese rekonstruierte Bildinformation ist zwar nicht zeitlich aktuell, kann dem Fahrer jedoch beim Einparken eine bedeutende Orientierungshilfe bieten. Die Bildinformationen vor und hinter dem Fahrzeug können stets aktuell in das Abbild der Umgebung, welche dem Fahrer angezeigt wird, eingearbeitet werden, sodass die Umgebung in Bewegungsrichtung des Fahrzeugs beispielsweise beim Ein- bzw. Ausparken stets aktuell ist und der Fahrer somit auch aktuelle Änderungen aufgrund einer Positionsänderung des Fahrzeugs oder beweglicher Objekte in der Umgebung unmittelbar in dem Abbild erkennen kann. Die Informationen unter dem Fahrzeug sind zwar auch zeitlich nicht aktuell, können jedoch eine große Orientierungshilfe bieten und sind verglichen mit beispielsweise Kameras unter dem Fahrzeug kostengünstig rekonstruierbar.
-
Gemäß einer weiteren Ausführungsform wird das Abbild des Umgebungsbereichs auf der Anzeigevorrichtung dargestellt, indem ein Abbild des Umgebungsbereichs in einer Draufsicht von oben, einer sogenannten Vogelperspektive, bestimmt wird. Die Draufsicht der Umgebung von oben wird mit der vorgegebenen Abbildung des Fahrzeugs in einer Draufsicht von oben kombiniert. Zumindest ein Teil der vorgegebenen Abbildung des Fahrzeugs ist transparent, sodass die Umgebung unterhalb des Fahrzeugs in der kombinierten Abbildung durch das Fahrzeug sichtbar ist. Die kombinierte Draufsicht der Umgebung und des Fahrzeugs wird auf der Anzeigevorrichtung derart dargestellt, dass der Teil der erfassten Bildinformation, welcher die Umgebung unter dem Fahrzeug in der zweiten Position zeigt, in dem transparenten Anteil der Abbildung des Fahrzeugs dargestellt wird. Durch die transparente Darstellung des Fahrzeugs wird dem Fahrer intuitiv vermittelt, wie das Fahrzeug zu Umgebungsobjekten, insbesondere unter dem Fahrzeug, angeordnet ist.
-
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung werden Umgebungsbereiche bestimmt, für welche bislang keine Bildinformationen erfasst wurden, und diese Umgebungsbereiche werden mit einer vorgegebenen Markierung dargestellt. Beispielsweise kann ein Umgebungsbereich, für welchen noch keine Bildinformation vorliegt, in einer vorgegebenen Farbe, beispielsweise grau, dargestellt werden, sodass ein Fahrer, welcher die Abbildung betrachtet, erkennt, dass für diesen Bereich derzeit keine Bildinformation vorliegt und er ggf. diesen Bereich anderweitig kontrollieren muss, um sicher zu sein, ob sich dort ein Hindernis befindet oder nicht.
-
Weiterhin können Umgebungsbereiche, für welche zuvor Bildinformationen erfasst wurden, aber für welche derzeit keine aktuellen Bildinformationen erfasst werden, markiert werden, beispielsweise durch Unterlegen mit einer weiteren Farbe. Dadurch kann dem Fahrer intuitiv vermittelt werden, welche Bereiche aktuelle "live"-Bilder zeigen und welche Bereiche mittels Stitching eingebrachte zuvor aufgenommene und ggf. bereits veraltete Bilder zeigen.
-
Das zuvor beschriebene Verfahren, bei dem eine Bildinformation und eine weitere Bildinformation zu einem gemeinsamen Abbild der Umgebung des Fahrzeugs, welche den Untergrund mit einbezieht, zusammengesetzt werden, kann iterativ bei einer Bewegung des Fahrzeugs wiederholt werden. Anders ausgedrückt können viele weitere Bildinformationen der Umgebung an weiteren Positionen des Fahrzeugs mit den Bilderfassungsvorrichtungen erfasst werden und weitere Abbilder des Umgebungsbereichs in Abhängigkeit von den bereits erstellten Abbildern und den weiteren Bildinformationen erstellt werden. Dadurch vergrößert sich der erfasste Umgebungsbereich kontinuierlich mit der Bewegung des Fahrzeugs.
-
Gemäß der vorliegenden Erfindung wird weiterhin ein Anzeigesystem für ein Fahrzeug bereitgestellt, welches mindestens eine an dem Fahrzeug angebrachte Bilderfassungsvorrichtung, eine in dem Fahrzeug angebrachte Anzeigevorrichtung und eine Verarbeitungsvorrichtung umfasst. Die mindestens eine Bilderfassungsvorrichtung ist in der Lage, eine Bildinformation in einer Umgebung des Fahrzeugs zu umfassen. Die Verarbeitungsvorrichtung ist mit der mindestens einen Bilderfassungsvorrichtung und der Anzeigevorrichtung gekoppelt und ausgestaltet, eine Bildinformation einer Umgebung des Fahrzeugs mit der mindestens einen Bilderfassungsvorrichtung des Fahrzeugs zu erfassen, während sich das Fahrzeug an einer ersten Position befindet. Wenn sich das Fahrzeug von der ersten Position zu einer zweiten Position bewegt, welche unterschiedlich zu der ersten Position ist und in welcher sich zumindest ein Teil der in der Bildinformation erfassten Umgebung nun unter dem Fahrzeug befindet, ist die Verarbeitungsvorrichtung in der Lage, den Teil der erfassten Bildinformation, welcher die Umgebung unter dem Fahrzeug in der zweiten Position zeigt, in Kombination mit einer vorgegebenen Abbildung des Fahrzeugs in der zweiten Position auf der Anzeigevorrichtung darzustellen. Anders ausgedrückt wird nach der Bewegung des Fahrzeugs in die zweite Position das Fahrzeug auf der Anzeigevorrichtung dargestellt, wobei zusätzlich ein Abbild des Untergrundes unter dem Fahrzeug dargestellt wird, welcher in der ersten Position des Fahrzeugs beispielsweise vor, hinter oder seitlich von dem Fahrzeug angeordnet war und daher dort mit der Bilderfassungsvorrichtung erfasst werden konnte. Das Anzeigesystem ist somit zur Durchführung des zuvor beschriebenen Verfahrens geeignet und umfasst daher auch die Vorteile des zuvor beschriebenen Verfahrens und seiner Ausführungsformen.
-
Schließlich wird gemäß der vorliegenden Erfindung ein Fahrzeug bereitgestellt, welches das zuvor beschriebene Anzeigesystem umfasst. Die Anzeigevorrichtung kann beispielsweise an einem Armaturenbrett des Fahrzeugs in einem Sichtbereicht des Fahrers angeordnet sein. Die Bilderfassungsvorrichtungen können insbesondere eine erste Bilderfassungsvorrichtung an einer Vorderseite des Fahrzeugs und eine zweite Bilderfassungsvorrichtung an einer Rückseite des Fahrzeugs umfassen, sodass die erste Bilderfassungsvorrichtung einen Bereich vor dem Fahrzeug und seitlich rechts und links vor dem Fahrzeug erfassen kann und die zweite Bilderfassungsvorrichtung einen Umgebungsbereich hinter dem Fahrzeug und seitlich rechts und links hinter dem Fahrzeug erfassen kann.
-
Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung im Detail beschrieben werden.
-
1 zeigt schematisch ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung.
-
2 zeigt Verfahrensschritte eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung.
-
3 zeigt eine Abbildung eines Fahrzeugs und einer Umgebung gemäß einer Ausführungsform der vorliegenden Erfindung.
-
4 zeigt eine Abbildung eines Fahrzeugs und einer Umgebung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
-
5 bis 7 zeigen Abbildungen mit einem Fahrzeug, einem Anhänger und einer Umgebung gemäß weiterer Ausführungsformen der vorliegenden Erfindung.
-
8 zeigt eine Abbildung eines Fahrzeugs und einer Umgebung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
-
9 zeigt eine Abbildung eines Fahrzeugs und einer Umgebung gemäß noch einer weiteren Ausführungsform der vorliegenden Erfindung.
-
1 zeigt schematisch ein Fahrzeug 10 mit einem Anzeigesystem 11. Das Anzeigesystem 11 umfasst eine erste Bilderfassungsvorrichtung 13, welche in einem vorderen Bereich des Fahrzeugs 10 angeordnet ist, und eine zweite Bilderfassungsvorrichtung 12, welche in einem hinteren Bereich des Fahrzeugs 10 angeordnet ist. Das Anzeigesystem 11 umfasst ferner eine Anzeigevorrichtung 14, welche beispielsweise in einem Armaturenbrett oder einer Mittelkonsole des Fahrzeugs 10 in einem Sichtbereich des Fahrers angeordnet ist. Weiterhin umfasst das Anzeigesystem 11 eine Verarbeitungsvorrichtung 15, welche mit den Bildverarbeitungsvorrichtungen 12, 13 und der Anzeigevorrichtung 14 gekoppelt ist. Die Bilderfassungsvorrichtungen 12, 13 können beispielsweise Digitalkameras umfassen, welche mithilfe eines geeigneten optischen Systems Bilder von der Umgebung des Fahrzeugs erfassen können und zu der Verarbeitungsvorrichtung 15 übertragen können. Die erste Bilderfassungsvorrichtung 13 kann dabei einen Erfassungsbereich 17 aufweisen, welcher einen Umgebungsbereich vor dem Fahrzeug und seitlich rechts und links vor dem Fahrzeug umfasst, wie es in 1 dargestellt ist. Die zweite Bilderfassungsvorrichtung 12 kann einen Erfassungsbereich 16 aufweisen, welcher sich hinter dem Fahrzeug und seitlich rechts und links hinter dem Fahrzeug erstreckt, wie es in 1 gezeigt ist. Die Erfassungsbereiche 16, 17 können sich beispielsweise seitlich und nach vorne und hinten 1 bis 5 Meter über das Fahrzeug 10 hinaus erstrecken. Die Anzeigevorrichtung 14 kann beispielsweise einen Bildschirm, insbesondere einen Flüssigkristallbildschirm (LCD) oder einen Plasmabildschirm umfassen, welcher zur Darstellung farbiger Bilder geeignet ist. Die Verarbeitungsvorrichtung 15 kann beispielsweise eine Mikroprozessorvorrichtung oder einen digitalen Signalprozessor umfassen. Das Anzeigesystem 11 kann weitere Bilderfassungsvorrichtungen aufweisen, welche beispielsweise entlang der rechten und linken Seite des Fahrzeugs 10 angeordnet sind. Diese weiteren Bilderfassungsvorrichtungen können beispielsweise in den Außenspiegeln des Fahrzeugs 10 angeordnet sein. Diesen weiteren Bilderfassungsvorrichtungen können weitere Erfassungsbereiche zugeordnet sein, beispielsweise die Erfassungsbereiche 18, 19, welche in 3 dargestellt sind.
-
Die Arbeitsweise des Anzeigesystems 11 wird nachfolgend unter Bezugnahme auf die 2 und 3 im Detail beschrieben werden.
-
2 zeigt ein Verfahren 20 mit Verfahrensschritten 21–25, welche von der Verarbeitungsvorrichtung 15 aufgeführt werden. 3 zeigt das Fahrzeug 10, welches beispielsweise in Richtung des Pfeils 30 in eine in 3 gezeigte Parktasche fährt. Ein Untergrund 31 der Parktasche ist beispielsweise farblich von der Fahrbahn 32 abgesetzt. Ein Rand der Parktasche wird durch einen Randstein 33 begrenzt und ein gegenüberliegender Rand der Parktasche wird durch einen farblichen Streifen 34 begrenzt. Ein vorderes Ende der Parktasche wird ebenfalls durch eine farbliche Markierung 35 begrenzt. Während das Fahrzeug 10 in die Parktasche einfährt, werden beispielsweise mit der Bilderfassungsvorrichtung 13 Bildinformationen des Erfassungsbereichs 17 erfasst und gespeichert (Schritt 21). Das Fahrzeug bewegt sich dabei kontinuierlich weiter (Schritt 22), sodass an einer nächsten Position des Fahrzeugs weitere Bildinformationen in Schritt 23 erfasst werden. Die erfassten Bildinformationen werden beispielsweise mithilfe einer sogenannten Stitching-Technologie zusammengesetzt. Dabei können beispielsweise Odometriedaten des Fahrzeugs verwendet werden, um Bewegung des Fahrzeugs 10 zu kennzeichnen. Während das Fahrzeug 10 weiter vorwärts fährt, wird der Erfassungsbereich 17 einer vorherigen Position des Fahrzeugs 10 langsam überfahren, wobei die vorherige Bildinformation gespeichert wird und beim Erstellen eines Abbildes einer Umgebung des Fahrzeugs zusammen mit der aktuellen Bildinformation verwendet wird. Dadurch kann ein Abbild einer Umgebung des Fahrzeugs erzeugt werden, welches den Untergrund unter dem Fahrzeug mit einbezieht. Dieses Abbild der Umgebung wird zusätzlich mit einem Abbild des Fahrzeugs 10 kombiniert. Um die Bildinformation unter dem Fahrzeug nicht zu verdecken, ist die Abbildung des Fahrzeugs 10, welche mit dem Abbild der Umgebungsinformation kombiniert wird, durchsichtig. Beispielsweise können lediglich die Konturen des Fahrzeugs 10 dargestellt werden oder das Fahrzeug 10 kann beispielsweise lediglich den von dem Fahrzeug 10 überdeckten Bereich in der Lichtintensität schwächen. Somit wird ein Abbild der Umgebung des Fahrzeugs einschließlich des Untergrundes des Fahrzeugs durch Kombinieren der erfassten Bildinformation erstellt und mit dem durchsichtigen oder gläsernen Abbild des Fahrzeugs 10 kombiniert (Schritt 24). In 3 ist daher die zu der Fahrbahn 32 unterschiedliche Einfärbung der Parktasche auch unter dem Fahrzeug 10 sichtbar. Die so erstellte Abbildung der Umgebung einschließlich des durchsichtigen Fahrzeugs 10 wird in Schritt 25 auf der Anzeigevorrichtung 14 für einen Fahrer dargestellt.
-
Anders ausgedrückt ist es möglich, mit einer oder mehreren Bilderfassungsvorrichtungen auch Bereiche auf der Anzeigevorrichtung 14 darzustellen, welche aktuell nicht mehr im Sichtbereich der Bilderfassungsvorrichtungen liegen. Dazu wird die Eigenbewegung des Fahrzeugs bestimmt. Dies kann beispielsweise über Odometriedaten, GPS-Daten, eine Bildverarbeitung des Bildes von der Bildverarbeitungsvorrichtung, Umfeldsensoren (Radar, Laser, Lidar) oder einer Kombination aus diesen Technologien bestimmt werden. Bei bekannter Eigenbewegung können mittels der Stitching-Technik aufeinanderfolgende Aufnahmen der Bilderfassungsvorrichtungen zusammengefügt werden. Somit wird ein Gesamtbild erstellt, welches auch Bereiche umfasst, die aktuell nicht mehr im Sichtbereich liegen, aber zuvor erfasst wurden. Über beispielsweise eine Structure-Form-Motion-Technik kann eine perspektivisch korrekte, dreidimensionale Darstellung der Umgebung erzeugt werden. Insbesondere kann beispielsweise eine Vogelperspektivansicht bestimmt werden, wie es in 3 dargestellt ist. Auf diese Art und Weise können beliebige Bereiche um und insbesondere unter dem Fahrzeug dargestellt werden, sofern diese zuvor im Erfassungsbereich der Bilderfassungsvorrichtungen lagen. Somit können auch Bereiche unter dem Fahrzeug dargestellt werden, welche normalerweise nicht einsehbar sind, da Bilderfassungsvorrichtungen unter dem Fahrzeug aufgrund der schwierigen Beleuchtungsverhältnisse und der rauen Umgebungsverhältnisse nur aufwändig realisiert werden können.
-
Durch die durchsichtige Darstellung des Fahrzeugs 10 können weitere Informationen angezeigt werden. Beispielsweise können, wie es in 4 gezeigt ist, die Position und die Stellung der Räder 41–44 des Fahrzeugs 10 angezeigt werden. Dadurch kann ein Fahrer beispielsweise den Abstand zwischen Rädern und dem Randstein 33 sehr genau erkennen. Dies kann insbesondere bei Nutzfahrzeugen, wie z.B. Bussen oder Lastkraftwagen, nützlich sein, da bei diesen Fahrzeugen die Karosserie teilweise erheblich über die Fahrbahn hinausragen kann, während die Räder möglichst auf der Fahrbahn gehalten werden sollten.
-
Wenn an das Fahrzeug 10 ein Anhänger 50 angekoppelt ist, kann die durchsichtige Darstellung des Fahrzeugs 10 auch für den Anhänger 50 verwendet werden, wie es in den 5–7 gezeigt ist. Insbesondere können in diesem Fall beispielsweise auch die Räder 51, 52 des Anhängers 50 dargestellt werden, sodass beispielsweise beim Rangieren oder bei einer Fahrt durch enge Kurven der Fahrer einen Überblick über die Anordnung der Räder von sowohl dem Fahrzeug 10 als auch dem Anhänger 50 erhält. Wie es in den 4 und 5 ferner gezeigt ist, kann auch die aktuelle Position der gelenkten Räder 41, 42 des Fahrzeugs 10 lagerichtig dargestellt werden. Eine entsprechende Information kann beispielsweise von einer Lenkung des Fahrzeugs 10 bereitgestellt werden. Im Fall eines mehrachsigen Anhängers mit einer gelenkten Achse, kann auch eine aktuelle Position der gelenkten Räder des Anhängers 50 lagerichtig dargestellt werden.
-
Weiterhin können abhängig vom aktuellen Lenkwinkel auch voraussichtliche Trajektorien von beispielsweise den Begrenzungskanten des Fahrzeugs 10 und des Anhängers 50 dargestellt werden, wie es beispielsweise in 6 durch die Trajektorielinien 61, 62 für das Fahrzeug 10 und durch die Trajektorielinien 63, 64 für den Anhänger 50 dargestellt ist. Dadurch kann der zukünftige Fahrschlauch sichtbar gemacht werden. Dieser kann beispielsweise auch farbig dargestellt werden.
-
Darüber hinaus können auch die Trajektorien der Räder 41–44 und 51, 52 des Fahrzeugs 10 bzw. des Anhängers 50 dargestellt werden, wie es in 7 gezeigt ist. Die Trajektorien der Räder können beim Rangieren in vielen Situationen wichtig sein. In 7 kennzeichnet die Linie 71 die Trajektorie des Rades 41, die Linie 72 die Trajektorie des Rades 42, die Linie 73 die Trajektorie des Rades 43, die Linie 74 die Trajektorie des Rades 44, die Linie 75 die Trajektorie des Rades 51 und die Linie 76 die Trajektorie des Rades 52 bei dem aktuellen Lenkwinkel des Fahrzeugs 10.
-
Abhängig von einer bisherigen Bewegungsbahn des Fahrzeugs 10 können Bereiche in der Umgebung des Fahrzeugs vorhanden sein, welche noch von keiner der Bilderfassungsvorrichtungen erfasst wurde, sodass für diese Bereiche keine Bildinformationen vorliegen. Für den Bereich unterhalb des Fahrzeugs kann dies beispielsweise auch nach einem Neustart des Fahrzeugs der Fall sein. Bereiche, für welche keine gültigen Umgebungsbildinformationen vorliegen, können in der Abbildung auf der Anzeigevorrichtung 14 beispielsweise mit einer bestimmten Farbe markiert werden, beispielsweise in grau, wie es beispielsweise in 8 für den Bereich 81 unterhalb des Fahrzeugs der Fall ist. Weiterhin können Umgebungsbereiche, für welche in einer vorherigen Position des Fahrzeugs Bildinformationen erfasst wurden, aber für welche derzeit in der aktuellen Position des Fahrzeugs keine aktuellen Bildinformationen erfasst werden, markiert werden, beispielsweise durch Unterlegen mit einer weiteren Farbe. Dadurch kann dem Fahrer einfach erkennen, welche Bereiche aktuelle "live"-Bilder der Kameras zeigen und welche Bereiche eventuell bereits veraltete Bilder zeigen.
-
Die Trajektorien der Fahrzeugsbegrenzungen oder der Räder, welche in den 6 und 7 gezeigt wurden, können aufgrund von Mess- und Erfassungsungenauigkeiten Toleranzen aufweisen. Anders ausgedrückt ist der Verlauf der Trajektorien nicht mit beliebiger Genauigkeit bestimmbar. Die Mess- und Erfassungsungenauigkeiten können beispielsweise aus Ungenauigkeiten des Lenkwinkels, der Odometriedaten des Fahrzeugs, einem Schlupf der Reifen zu der Straße oder optischen Ungenauigkeiten der Bilderfassungssysteme resultieren. Diese Messunsicherheiten können zusätzlich visualisiert werden, wie es beispielsweise in 9 mithilfe eines sogenannten Trajektorieschlauchs 91 gezeigt ist, welcher die Trajektorie 71 des linken Vorderrades 41 umgibt. Der Trajektorieschlauch 91 zeigt an, dass sich die tatsächliche Trajektorie des Rades 41 des Fahrzeugs 10 innerhalb der Begrenzungslinien des Trajektorieschlauchs 91 befinden wird, wobei der Trajektorieschlauch 91 umso breiter wird, je weiter er sich von dem Rad 41 entfernt. Die Darstellung der Messunsicherheiten mithilfe des Trajektorieschlauchs 91, wie es in 9 gezeigt ist, kann insbesondere für Berufsfahrer nützlich sein, welche häufig auf engstem Raum große Nutzfahrzeuge rangieren müssen.
-
Das zuvor beschriebene Verfahren ist nicht auf Personenkraftwagen oder Nutzfahrzeuge, wie z.B. Lastkraftwagen oder Omnibusse, beschränkt, sondern kann beispielsweise auch bei Geländefahrzeugen vorteilhaft verwendet werden, um beispielsweise eine hochgenaue Führung der Räder des Fahrzeugs im Gelände zu ermöglichen. Darüber hinaus kann das Verfahren auch bei anderen Fahrzeugen, wie z.B. bei Flugzeugen beim Rollen auf dem Flugfeld, verwendet werden.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 11
- Anzeigesystem
- 12
- zweite Bilderfassungsvorrichtung
- 13
- erste Bilderfassungsvorrichtung
- 14
- Anzeigevorrichtung
- 15
- Verarbeitungsvorrichtung
- 16–19
- Erfassungsbereich
- 20
- Verfahren
- 21–25
- Schritt
- 30
- Pfeil
- 31
- Untergrund der Parktasche
- 32
- Fahrbahn
- 33
- Randstein
- 34,35
- Markierung der Parktasche
- 41–44
- Rad des Fahrzeugs
- 50
- Anhänger
- 51,52
- Rad des Anhängers
- 61–64
- Trajektorielinien
- 71–76
- Trajektorielinien
- 81
- Bereich
- 91
- Trajektorieschlauch