DE102022107250A1

DE102022107250A1 - Umgebungserfassung und teleoperiertes Führen eines Ego-Fahrzeugs

Info

Publication number: DE102022107250A1
Application number: DE102022107250.9A
Authority: DE
Inventors: Michael Fischer; David Kudlek; David Middrup; Eugen Wige
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2022-03-28
Filing date: 2022-03-28
Publication date: 2023-09-28
Also published as: EP4499455A1; CN118946481A; WO2023186675A1; US20250209826A1

Abstract

Gemäß einem Verfahren zur Umgebungserfassung wird mittels einer ersten Kamera (2) eines Ego-Fahrzeugs (4) ein erster Bilddatenstrom (15) erzeugt und mittels des Ego-Fahrzeugs (4) wird ein mittels einer zweiten Kamera eines weiteren Fahrzeugs (5) erzeugter zweiter Bilddatenstrom erhalten, wobei ein von dem ersten Bilddatenstrom (15) dargestelltes erstes Sichtfeld (8) mit einem von dem zweiten Bilddatenstrom dargestelltes zweites Sichtfeld (9) überlappt. Es wird ein für die erste Kamera (2) verdeckter Bereich (14) in dem ersten Sichtfeld (8) identifiziert, der für die zweite Kamera nicht verdeckt ist. Basierend auf dem zweiten Bilddatenstrom werden Ersatzbilddaten (17) erzeugt, die dem für die erste Kamera (2) verdeckten Bereich (14) entsprechen. Basierend auf dem ersten Bilddatenstrom (15) wird ein kombinierter Bilddatenstrom erzeugt, der das erste Sichtfeld darstellt, wobei in einem Bereich (14) des kombinierten Bilddatenstroms (16), der dem für die erste Kamera (2) verdeckten Bereich (14) entspricht, die Ersatzbilddaten (17) dargestellt werden.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Umgebungserfassung, wobei mittels einer ersten Kamera eines Ego-Fahrzeugs ein erster Bilddatenstrom erzeugt wird, sowie ein Verfahren zum teleoperierten Führen eines Ego-Fahrzeugs. Die Erfindung betrifft ferner ein entsprechendes Umgebungserfassungssystem, ein Fahrzeugführungssystem zum teleoperierten Führen eines Ego-Fahrzeugs und ein Computerprogrammprodukt.
Kommt es bei hochgradig automatisiert geführten Fahrzeugen, insbesondere bei vollautonomen Fahrzeugen, zu einer Situation, die das Fahrzeug nicht mehr oder nicht mehr mit ausreichender Sicherheit eigenständig handhaben kann, kann das sogenannte teleoperierte Führen eingesetzt werden. Dabei erhält ein menschlicher Tele-Operator über ein fahrzeugexternes Computersystem Zugriff auf die mittels verschiedener Sensorsysteme, insbesondere Kameras, des Fahrzeugs erfassten Daten von der Umgebung des Fahrzeugs und kann dann das Fahrzeug fernsteuern, um die Situation aufzulösen.
In manchen Situationen ist das Sichtfeld einer Kamera des Fahrzeugs aber teilweise verdeckt, beispielsweise durch ein vorausfahrendes weiteres Fahrzeug. Der Tele-Operator kann dann gegebenenfalls relevante aber verdeckte Informationen bei der Fernsteuerung nicht berücksichtigen, was ein Sicherheitsrisiko darstellen kann.
Es ist eine Aufgabe der vorliegenden Erfindung, die Sicherheit beim teleoperierten Führen eines Fahrzeugs zu erhöhen.
Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung beruht auf der Idee, Beschränkungen im Sichtfeld der Kamera des zu führenden Fahrzeugs, die durch verdeckende Objekte, wie etwa vorausfahrende weitere Fahrzeuge, verursacht werden, dadurch zu überwinden, dass ein Bilddatenstrom einer Kamera eines weiteren Fahrzeugs mit dem Bilddatenstrom des zu führenden Fahrzeugs kombiniert wird. Dabei werden insbesondere Ersatzbilddaten aus dem Bilddatenstrom des weiteren Fahrzeugs in einem verdeckten Bereich des Bilddatenstroms des zu führenden Fahrzeugs dargestellt.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Umgebungserfassung angegeben, wobei mittels einer ersten Kamera eines Ego-Fahrzeugs ein erster Bilddatenstrom erzeugt wird. Es wird ein mittels einer zweiten Kamera eines weiteren Fahrzeugs erzeugter zweiter Bilddatenstrom erhalten, insbesondere mittels wenigstens einer Recheneinheit. Ein von dem ersten Bilddatenstrom dargestelltes erstes Sichtfeld überlappt dabei mit einem von dem zweiten Bilddatenstrom dargestelltes zweites Sichtfeld. Basierend auf dem ersten Bilddatenstrom und dem zweiten Bilddatenstrom wird ein für die erste Kamera verdeckter Bereich in dem ersten Sichtfeld identifiziert, der für die zweite Kamera nicht verdeckt ist, insbesondere mittels der wenigstens einen Recheneinheit. Basierend auf dem zweiten Bilddatenstrom werden Ersatzbilddaten erzeugt, die dem für die erste Kamera verdeckten Bereich entsprechen, insbesondere mittels der wenigstens einen Recheneinheit. Basierend auf dem ersten Bilddatenstrom, und insbesondere dem zweiten Bilddatenstrom, wird ein kombinierter Bilddatenstrom erzeugt, der das erste Sichtfeld darstellt. Dabei werden einem Bereich des kombinierten Bilddatenstroms, der dem für die erste Kamera verdeckten Bereich entspricht, die Ersatzbilddaten dargestellt.
Der zweite Bilddatenstrom wird insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels wenigstens einer Fahrzeugrecheneinheit des Ego-Fahrzeugs, insbesondere über eine erste Kommunikationsschnittstelle zur drahtlosen Kommunikation, beispielsweise V2V- oder V2X-Kommunikation, erhalten. V2V steht dabei für Fahrzeug-zu-Fahrzeug (englisch: „vehicle-to-vehicle“) und V2X steht für Fahrzeug-zu-Allem (englisch: „vehicle-to-anything“).
Die wenigstens eine Recheneinheit enthält beispielsweise die wenigstens eine Fahrzeugrecheneinheit und kann beispielsweise ein fahrzeugexternes Computersystem, also ein extern zu dem Ego-Fahrzeug und dem weiteren Fahrzeug angeordnetes Computersystem, beinhalten. Das fahrzeugexterne Computersystem kann beispielsweise als Servercomputersystem oder Backend-Computersystem bezeichnet werden. Insbesondere kann es sich um ein Computersystem zum teleoperierten Führen von Fahrzeugen, insbesondere des Ego-Fahrzeugs, handeln.
Der zweite Bilddatenstrom wird insbesondere mittels der zweiten Kamera erzeugt und von dem weiteren Fahrzeug, beispielsweise einer weiteren Fahrzeugrecheneinheit des weiteren Fahrzeugs, insbesondere über eine weitere Kommunikationsschnittstelle zur drahtlosen Kommunikation, beispielsweise zur V2V- oder V2X-Kommunikation, an das Ego-Fahrzeug, insbesondere die wenigstens eine Recheneinheit, beispielsweise die wenigstens eine Fahrzeugrecheneinheit, insbesondere über die erste Kommunikationsschnittstelle, übermittelt.
Unter einem Bilddatenstrom kann beispielsweise eine Abfolge von zwei oder mehr aufeinanderfolgenden Bildern verstanden werden. Der erste Bilddatenstrom, insbesondere entsprechende erste Bilder des ersten Bilddatenstroms, bilden insbesondere eine äußere Umgebung des Ego-Fahrzeugs ab. Das erste Sichtfeld, das auch als Sichtfeld der ersten Kamera aufgefasst werden kann, liegt also insbesondere wenigstens zum Teil in der äußeren Umgebung des Ego-Fahrzeugs. Der zweite Bilddatenstrom, insbesondere entsprechende zweite Bilder des zweiten Bilddatenstroms, bilden insbesondere eine äußere Umgebung des weiteren Fahrzeugs ab. Das zweite Sichtfeld, das auch als Sichtfeld der zweiten Kamera aufgefasst werden kann, liegt also insbesondere wenigstens zum Teil in der äußeren Umgebung des weiteren Fahrzeugs.
Da das erste Sichtfeld und das zweite Sichtfeld überlappen stellen der erste und der zweite Bilddatenstrom im Allgemeinen teilweise übereinstimmende Inhalte dar. Da der für die erste Kamera verdeckte Bereich für die zweite Kamera nicht verdeckt ist, stellt der zweite Bilddatenstrom jedoch Inhalte dar, die der erste Bilddatenstrom aufgrund der Verdeckung für die erste Kamera nicht darstellt. Beispielsweise kann die Verdeckung durch ein verdeckendes Objekt in dem ersten Sichtfeld erfolgen. Bei dem verdeckenden Objekt handelt es sich beispielsweise aber nicht notwendigerweise um das weitere Fahrzeug selbst.
Die Ersatzbilddaten können daher beispielsweise basierend auf denjenigen Bilddaten des zweiten Bilddatenstroms erzeugt werden, die einen Bereich des zweiten Sichtfelds darstellen, der auch im ersten Sichtfeld liegt und durch die von dem ersten Bilddatenstrom dargestellt würden, wenn das verdeckende Objekt nicht existieren würde. Die entsprechenden Bilddaten des zweiten Bilddatenstroms können insbesondere verarbeitet oder modifiziert werden, um die Ersatzbilddaten zu erzeugen, insbesondere um die Darstellung an den ersten Bilddatenstrom anzupassen.
Der kombinierte Bilddatenstrom entspricht insbesondere einer Kombination des ersten Bilddatenstroms oder einer bearbeiteten Variante des ersten Bilddatenstroms mit den Ersatzbilddaten.
Der kombinierte Bilddatenstrom kann außerhalb des Bereichs, der dem für die erste Kamera verdeckten Bereich entspricht, beispielsweise gleich dem ersten Bilddatenstrom sein. In dem Bereich, der dem für die erste Kamera verdeckten Bereich entspricht, kann der kombinierte Bilddatenstrom beispielsweise den Ersatzbilddaten entsprechen oder einer Überlagerung der Ersatzbilddaten mit dem ersten Bilddatenstrom. Es kann auch ein Übergangsbereich zwischen den genannten Bereichen vorgesehen sein.
Der kombinierte Bilddatenstrom enthält daher durch die Ersatzbilddaten Informationen, die ansonsten durch die Verdeckung für das Ego-Fahrzeug nicht zur Verfügung stehen würden. Ein Betrachter des kombinierten Bilddatenstroms, etwa ein Tele-Operator, der der Ego-Fahrzeug mittels teleoperiertem Führen fernsteuert, kann daher von dem Ego-Fahrzeug umfassender über die aktuellen Gegebenheiten in der Umgebung des Ego-Fahrzeugs informiert werden, was letztlich die Sicherheit beim teleoperierten Führen des Ego-Fahrzeugs erhöht.
Gemäß zumindest einer Ausführungsform des erfindungsgemäßen Verfahrens zur Umgebungserfassung wird eine Abweichung eines oder mehrerer extrinsischer Kameraparameter und/oder eines oder mehrerer intrinsischer Kameraparameter zwischen der ersten Kamera und der zweiten Kamera wenigstens teilweise kompensiert, indem, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit, der zweite Bilddatenstrom gemäß einem, beispielsweise vorgegebenen, Transformationsparametersatz transformiert wird. Der für die erste Kamera verdeckte Bereich wird basierend auf dem ersten Bilddatenstrom und dem transformierten zweiten Bilddatenstrom identifiziert, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit.
Extrinsische Kameraparameter beinhalten beispielsweise eine Pose, also eine Position und Orientierung, eines Kamerakoordinatensystems der entsprechenden Kamera bezüglich eines Referenzkoordinatensystems. Das Kamerakoordinatensystem ist dabei starr mit der jeweiligen Kamera verbunden. Das Referenzkoordinatensystem kann beispielsweise starr mit dem jeweiligen Fahrzeug verbunden sein oder mit der Umgebung des jeweiligen Fahrzeugs. Es kann auch für Kameras verschiedener Fahrzeuge ein gemeinsames Referenzkoordinatensystem gewählt werden. Die Pose kann beispielsweise durch sechs Parameter, beispielsweise drei Positionsparameter und drei Orientierungsparameter, definiert sein. Die drei Positionsparameter können beispielsweise dreidimensionale Koordinaten eines Koordinatenursprungs des Kamerakoordinatensystems in dem Referenzkoordinatensystem sein. Die drei Orientierungsparameter können beispielsweise drei Orientierungswinkel sein, beispielsweise Euler-Winkel, die auch als Nick-, Gier- und Rollwinkel bezeichnet werden können.
Die intrinsischen Kameraparameter können Parameter beinhalten, die definieren, wie ein Punkt in der Umgebung der Kamera durch die Kamera abgebildet wird, insbesondere auf einem Bildsensor der Kamera. Die intrinsischen Kameraparameter können also beispielsweise eine Abbildungsfunktion eines Objektivs der Kamera beschreiben oder definieren, eine Brennweite, und so weiter. Die intrinsischen Kameraparameter können auch ein Seitenverhältnis, eine Auflösung und/oder eine Pixeldichte des Bildsensors beinhalten. Die intrinsischen Kameraparameter können auch eine Kamerainterne Vorverarbeitung der erfassten Bilddaten betreffen, also beispielsweise Parameter betreffend einen Weißabgleich, eine Bildschärfung, eine Farbkorrektur oder dergleichen beinhalten.
Gemäß zumindest einer Ausführungsform wird der kombinierte Bilddatenstrom basierend auf dem ersten Bilddatenstrom und dem transformierten zweiten Bilddatenstrom erzeugt wird, wobei die Ersatzbilddaten basierend auf dem transformierten zweiten Bilddatenstrom erzeugt werden, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit.
Durch die wenigstens teilweise Kompensation der Abweichung der extrinsischen und/oder eines oder intrinsischen Kameraparameter werden beispielsweise Abweichungen zwischen dem ersten Bilddatenstrom und dem zweiten Bilddatenstrom in einem Maßstab und/oder einer Skalierung abgebildeter Objekte wenigstens teilweise kompensiert, ein Versatz und oder eine Verschiebung des ersten Sichtfelds bezüglich des zweiten Sichtfelds wenigstens teilweise kompensiert und/oder perspektivische Abweichung zwischen dem ersten Bilddatenstrom und dem zweiten Bilddatenstrom wenigstens teilweise kompensiert. Dadurch wird erreicht, dass die Ersatzbilddaten in Kombination mit den Bilddaten aus dem ersten Bilddatenstrom eine konsistente Darstellung der Umgebung erlauben, was im Anwendungsfall des teleoperierten Führens des Ego-Fahrzeugs letztlich die Sicherheit weiter erhöht.
Gemäß zumindest einer Ausführungsform wird, insbesondere basierend auf dem ersten Bilddatenstrom und dem zweiten Bilddatenstrom, wenigstens ein Merkmal identifiziert, das sowohl durch den ersten Bilddatenstrom als auch durch den zweiten Bilddatenstrom dargestellt wird, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit. Der Transformationsparametersatz wird abhängig von einem Abgleich einer Darstellung des wenigstens einen Merkmals in dem ersten Bilddatenstrom mit einer Darstellung des wenigstens einen Merkmals in dem zweiten Bilddatenstrom bestimmt, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit.
Indem das genannte Merkmal identifiziert und verglichen wird, können die Auswirkungen der Abweichung eines oder mehrerer extrinsischer Kameraparameter und/oder eines oder mehrerer intrinsischer Kameraparameter zwischen der ersten Kamera und der zweiten Kamera direkt aus den Bilddatenströmen extrahiert werden. Abweichungen der Kameraparameter, die sich gegebenenfalls nicht in relevanter Weise auswirken, werden so mit Vorteil nicht ausdrücklich berücksichtigt und müssen daher auch nicht explizit bestimmt werden. Die Kompensation der Abweichung der Kameraparameter wird dadurch effizienter.
Gemäß zumindest einer Ausführungsform wird eine Tonwertverteilung und/oder eine Farbwertverteilung des zweiten Bilddatenstroms mit einer Tonwertverteilung und/oder eine Farbwertverteilung des ersten Bilddatenstrom abgeglichen, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit. Basierend auf einem Ergebnis des Abgleichs wird der transformierte zweite Bilddatenstrom korrigiert oder der zweite Bilddatenstrom wird vor der Transformation korrigiert. Die Ersatzbilddaten werden basierend auf dem transformierten und korrigierten zweiten Bilddatenstrom erzeugt.
Dadurch wird insbesondere erreicht, dass die Helligkeit und der Weißabgleich in dem kombinierten Bilddatenstrom konsistent ist, was im Anwendungsfall des teleoperierten Führens des Ego-Fahrzeugs letztlich die Sicherheit weiter erhöht.
Die Tonwertverteilung und/oder eine Farbwertverteilung kann beispielsweise durch eines oder mehrere entsprechende Histogramme gegeben sein.
Gemäß zumindest einer Ausführungsform werden die Ersatzbilddaten dem ersten Bilddatenstrom, insbesondere dem Bereich des ersten Bilddatenstroms, der dem für die erste Kamera verdeckten Bereich entspricht, überlagert, um den kombinierten Bilddatenstrom zu erzeugen.
Beispielsweise werden die Ersatzbilddaten teiltransparent ursprünglichen Bilddaten des ersten Bilddatenstroms überlagert, welche dem für die erste Kamera verdeckten Bereich in dem ersten Bilddatenstrom entsprechen.
In dem kombinierten Bilddatenstrom werden damit sowohl die Ersatzbilddaten als auch die ursprünglichen Bilddaten dargestellt. Der kombinierte Bilddatenstrom stellt damit sowohl das verdeckende Objekt dar als auch Inhalte, die von der ersten Kamera aus gesehen hinter dem verdeckenden Objekt liegen. Der Betrachter, beispielsweise der Tele-Operator, kann daher mehr Informationen bei zu treffenden Entscheidungen berücksichtigen, was im Anwendungsfall des teleoperierten Führens des Ego-Fahrzeugs letztlich die Sicherheit weiter erhöht.
Gemäß zumindest einer Ausführungsform befindet sich das weitere Fahrzeug in dem ersten Sichtfeld, insbesondere wird das weitere Fahrzeug von dem ersten Bilddatenstrom dargestellt, und der für die erste Kamera verdeckte Bereich wird durch das weitere Fahrzeug für die erste Kamera verdeckt. Mit anderen Worten ist das weitere Fahrzeug das verdeckende Objekt.
Beispielsweise kann das weitere Fahrzeug dem Ego-Fahrzeug auf einer Fahrbahn, insbesondere auf derselben Fahrspur auf der sich das Ego-Fahrzeug befindet oder auf einer anderen, beispielsweise benachbarten, Fahrspur, vorausfahren. Bei der ersten Kamera kann es sich beispielsweise um eine in Vorwärtsfahrtrichtung des Ego-Kraftfahrzeugs orientierte Kamera handeln, die auch als Front-Kamera bezeichnet wird. Die zweite Kamera kann beispielsweise eine Front-Kamera des weiteren Fahrzeugs sein.
Gemäß zumindest einer Ausführungsform wird der für die erste Kamera verdeckte Bereich mittels der wenigstens einen Fahrzeugrecheneinheit des Ego-Fahrzeugs identifiziert wird.
Alternativ kann die wenigstens eine Fahrzeugrecheneinheit, insbesondere über die erste Kommunikationsschnittstelle oder eine zweite Kommunikationsschnittstelle, den ersten Bilddatenstrom und den zweiten Bilddatenstrom an das externe Computersystem übermitteln und das externe Computersystem kann den für die erste Kamera verdeckten Bereich identifizieren.
Gemäß zumindest einer Ausführungsform werden die Ersatzbilddaten mittels der wenigstens einen Fahrzeugrecheneinheit des Ego-Fahrzeugs bestimmt.
Alternativ kann die wenigstens eine Fahrzeugrecheneinheit, insbesondere über die erste Kommunikationsschnittstelle oder die zweite Kommunikationsschnittstelle, den zweiten Bilddatenstrom und optional den ersten Bilddatenstrom an das externe Computersystem übermitteln und das externe Computersystem kann die Ersatzbilddaten bestimmen.
Gemäß zumindest einer Ausführungsform wird der kombinierte Bilddatenstrom mittels der wenigstens einen Fahrzeugrecheneinheit des Ego-Fahrzeugs erzeugt.
Alternativ kann die wenigstens eine Fahrzeugrecheneinheit, insbesondere über die erste Kommunikationsschnittstelle oder eine zweite Kommunikationsschnittstelle, den ersten Bilddatenstrom das externe Computersystem übermitteln. Die wenigstens eine Fahrzeugrecheneinheit kann so auch den zweiten Bilddatenstrom oder die Ersatzbilddaten an das externe Computersystem übermitteln. Das externe Computersystem kann dann den kombinierten Bilddatenstrom erzeugen.
In einer bevorzugten Ausführungsform werden die Schritte des Identifizierens des verdeckten Bereichs, des Erzeugens der Ersatzbilddaten und des Erzeugens des kombinierten Bilddatenstroms durch die wenigstens eine Fahrzeugrecheneinheit durchgeführt. Beispielsweise wird der kombinierte Bilddatenstrom mittels der wenigstens eine Fahrzeugrecheneinheit, insbesondere über die erste Kommunikationsschnittstelle oder die zweite Kommunikationsschnittstelle, an das externe Computersystem übermittelt.
Gemäß zumindest einer Ausführungsform wird der kombinierte Bilddatenstrom mittels des fahrzeugexternen Computersystems auf einem fahrzeugexternen Anzeigegerät, etwa einem oder mehreren Bildschirmen oder Monitoren oder einem auf dem Kopf zu tragenden visuellen Ausgabegerät, auch als HMD (englisch: „head mounted display“) bezeichnet, angezeigt. Zuvor wird der kombinierte Bilddatenstrom beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit erzeugt und, insbesondere über die erste Kommunikationsschnittstelle oder die zweite Kommunikationsschnittstelle, an das externe Computersystem übermittelt oder der kombinierte Bilddatenstrom wird mittels des externen Computersystems erzeugt.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum teleoperierten Führen eines Ego-Fahrzeugs angegeben. Dazu wird ein erfindungsgemäßes Verfahren zur Umfelderfassung durchgeführt, wobei insbesondere der kombinierte Bilddatenstrom mittels des fahrzeugexternen Computersystems auf dem fahrzeugexternen Anzeigegerät angezeigt wird. In Reaktion auf die Anzeige des kombinierten Bilddatenstroms auf dem fahrzeugexternen Anzeigegerät, also insbesondere nach der Anzeige oder zeitgleich mit der Anzeige, wird mittels des fahrzeugexternen Computersystems eine Benutzereingabe, insbesondere des Tele-Operators, erfasst. Das Ego-Fahrzeug wird abhängig von der Benutzereingabe wenigstens teilweise automatisch geführt, insbesondere ferngesteuert.
Gemäß zumindest einer Ausführungsform des Verfahrens zum teleoperierten Führen des Ego-Fahrzeugs wird mittels des fahrzeugexternen Computersystems abhängig von der Benutzereingabe ein Steuerbefehl erzeugt und an das Ego-Fahrzeug übermittelt. Das Ego-Fahrzeug wird abhängig von dem Steuerbefehl wenigstens teilweise automatisch geführt wird, insbesondere mittels eines Ego-Fahrzeugführungssystems des Ego-Fahrzeugs.
Unter dem Ego-Fahrzeugführungssystem kann insbesondere ein elektronisches System verstanden werden, das dazu eingerichtet ist, das Ego-Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Ego-Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das Ego-Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Alternativ kann das Ego-Fahrzeugführungssystem einen hochautomatisierten Fahrmodus des Kraftfahrzeugs nach Stufe 4 der Klassifizierung gemäß SAE J3016 implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Das Ego-Fahrzeugführungssystem kann beispielsweise abhängig von dem Steuerbefehl eines oder mehrere Steuersignale erzeugen und an einen oder mehrere Aktuatoren des Ego-Fahrzeugs übermitteln, sodass diese eine Quer- und/oder Längssteuerung des Ego-Fahrzeugs gemäß dem Steuerbefehl beeinflussen oder durchführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Umgebungserfassungssystem angegeben, das eine erste Kamera für ein Ego-Fahrzeug aufweist, die dazu eingerichtet ist, einen ersten Bilddatenstrom zu erzeugen. Das Umgebungserfassungssystem weist wenigstens eine Kommunikationsschnittstelle für das Ego-Fahrzeug zur drahtlosen Datenübertragung auf sowie wenigstens eine Recheneinheit, insbesondere wenigstens eine Fahrzeugrecheneinheit. Die wenigstens eine Recheneinheit, insbesondere die wenigstens eine Fahrzeugrecheneinheit, ist dazu eingerichtet, einen mittels einer zweiten Kamera eines weiteren Fahrzeugs erzeugten zweiten Bilddatenstrom über die wenigstens eine Kommunikationsschnittstelle, beispielsweise die erste Kommunikationsschnittstelle, zu erhalten, wobei ein von dem ersten Bilddatenstrom dargestelltes erstes Sichtfeld mit einem von dem zweiten Bilddatenstrom dargestelltes zweites Sichtfeld überlappt. Die wenigstens eine Recheneinheit, insbesondere die wenigstens eine Fahrzeugrecheneinheit, ist dazu eingerichtet, basierend auf dem ersten Bilddatenstrom und dem zweiten Bilddatenstrom einen für die erste Kamera verdeckten Bereich in dem ersten Sichtfeld zu identifizieren, der für die zweite Kamera nicht verdeckt ist und basierend auf dem zweiten Bilddatenstrom Ersatzbilddaten zu erzeugen, die dem für die erste Kamera verdeckten Bereich entsprechen. Die wenigstens eine Recheneinheit, insbesondere die wenigstens eine Fahrzeugrecheneinheit, ist dazu eingerichtet, basierend auf dem ersten Bilddatenstrom und insbesondere dem zweiten Bilddatenstrom einen kombinierten Bilddatenstrom zu erzeugen, der das erste Sichtfeld darstellt, und dabei in einem Bereich des kombinierten Bilddatenstroms, der dem für die erste Kamera verdeckten Bereich entspricht, die Ersatzbilddaten darzustellen.
Gemäß zumindest einer Ausführungsform des Umgebungserfassungssystems ist das Umgebungserfassungssystem als Ego-Fahrzeugführungssystem für das Ego-Fahrzeug ausgestaltet.
Gemäß zumindest einer Ausführungsform des Umgebungserfassungssystems weist dieses ein fahrzeugexternes Anzeigegerät auf und die wenigstens eine Recheneinheit beinhaltet ein fahrzeugexternes Computersystem.
In solchen Ausführungsformen kann das Umgebungserfassungssystems auch als Fahrzeugführungssystem zum teleoperierten Führen des Ego-Fahrzeugs bezeichnet werden.
Gemäß zumindest einer Ausführungsform des Umgebungserfassungssystems ist das fahrzeugexterne Computersystem dazu eingerichtet, den kombinierten Bilddatenstrom zu erzeugen und auf dem fahrzeugexternen Anzeigegerät anzuzeigen. Dabei kann das fahrzeugexterne Computersystem beispielsweise den ersten Bilddatenstrom und den zweiten Bilddatenstrom von der wenigstens einen Fahrzeugrecheneinheit erhalten.
Gemäß zumindest einer Ausführungsform des Umgebungserfassungssystems ist die wenigstens eine Fahrzeugrecheneinheit dazu eingerichtet, den zweiten Bilddatenstrom über die wenigstens eine Kommunikationsschnittstelle, insbesondere die erste Kommunikationsschnittstelle, zu erhalten, den für die erste Kamera verdeckten Bereich zu identifizieren, die Ersatzbilddaten zu erzeugen, den kombinierten Bilddatenstrom zu erzeugen und den kombinierten Bilddatenstrom über die wenigstens eine Kommunikationsschnittstelle, insbesondere die erste Kommunikationsschnittstelle oder die zweite Kommunikationsschnittstelle, an das fahrzeugexterne Computersystem zu übermitteln. Das fahrzeugexterne Computersystem ist dazu eingerichtet, den kombinierten Bilddatenstrom auf dem fahrzeugexternen Anzeigegerät anzuzeigen.
Gemäß zumindest einer Ausführungsform des Fahrzeugführungssystem zum teleoperierten Führen des Ego-Fahrzeugs ist das fahrzeugexterne Computersystem dazu eingerichtet, in Reaktion auf die Anzeige des kombinierten Bilddatenstroms auf dem fahrzeugexternen Anzeigegerät, eine Benutzereingabe zu erfassen. Das Fahrzeugführungssystem zum teleoperierten Führen weist ein Ego-Fahrzeugführungssystem für das Ego-Fahrzeug aufweist, das dazu eingerichtet ist, das Ego-Fahrzeug abhängig von der Benutzereingabe wenigstens teilweise automatisch zu führen.
Gemäß zumindest einer Ausführungsform des Fahrzeugführungssystem zum teleoperierten Führen des Ego-Fahrzeugs ist das fahrzeugexterne Computersystem dazu eingerichtet, abhängig von der Benutzereingabe einen Steuerbefehl zu erzeugen und an das Ego-Fahrzeug zu übermitteln. Das Ego-Fahrzeugführungssystem ist dazu eingerichtet, das Ego-Fahrzeug abhängig von dem Steuerbefehl wenigstens teilweise automatisch zu führen.
Weitere Ausführungsformen des erfindungsgemäßen Umgebungserfassungssystems sowie des erfindungsgemäßen Fahrzeugführungssystems folgen unmittelbar aus den verschiedenen Ausgestaltungen des erfindungsgemäßen Verfahrens zur Umgebungserfassung beziehungsweise des erfindungsgemäßen Verfahrens zum teleoperierten Führen eines Ego-Fahrzeugs und jeweils umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen bezüglich der verschiedenen Ausführungsformen zu den erfindungsgemäßen Verfahren analog auf entsprechende Ausführungsformen des erfindungsgemäßen Umgebungserfassungssystems und des erfindungsgemäßen Fahrzeugführungssystems übertragen. Insbesondere ist das erfindungsgemäße Umgebungserfassungssystem zum Durchführen eines erfindungsgemäßen Verfahrens zur Umgebungserfassung ausgebildet oder programmiert. Insbesondere führt das erfindungsgemäße Umgebungserfassungssystem das erfindungsgemäße Verfahren zur Umgebungserfassung durch. Insbesondere ist das erfindungsgemäße Fahrzeugführungssystem zum Durchführen eines erfindungsgemäßen Verfahrens zum teleoperierten Führen eines Ego-Fahrzeugs ausgebildet oder programmiert. Insbesondere führt das erfindungsgemäße Fahrzeugführungssystem das erfindungsgemäße Verfahren zum teleoperierten Führen eines Ego-Fahrzeugs durch.
Gemäß einem weiteren Aspekt der Erfindung wird ein erstes Computerprogramm mit ersten Befehlen angegeben. Bei Ausführung der ersten Befehle durch ein erfindungsgemäßes Umgebungserfassungssystem veranlassen die ersten Befehle das Umgebungserfassungssystem dazu, ein erfindungsgemäßes Verfahren zur Umgebungserfassung durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein zweites Computerprogramm mit zweiten Befehlen angegeben. Bei Ausführung der zweiten Befehle durch ein erfindungsgemäßes Fahrzeugführungssystem zum teleoperierten Führen eines Ego-Fahrzeugs veranlassen die zweiten Befehle das Fahrzeugführungssystem dazu, ein erfindungsgemäßes Verfahren zum teleoperierten Führen eines Ego-Fahrzeugs durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, das ein erfindungsgemäßes erstes Computerprogramm und/oder ein erfindungsgemäßes zweites Computerprogramm speichert.
Das erste Computerprogramm, das zweite Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den ersten und/oder zweiten Befehlen aufgefasst werden.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, die einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen Umgebungserfassungssystem oder Fahrzeugführungssystems, insbesondere die wenigstens eine Recheneinheit, die wenigstens eine Fahrzeugrecheneinheit und/oder das fahrzeugexterne Computersystem, dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.
Dabei zeigen:

1 eine schematische Darstellung einer beispielhaften Ausführungsform eines erfindungsgemäßen Umgebungserfassungssystems; und
2 ein schematisches Ablaufdiagramm einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zur Umgebungserfassung.

In 1 ist eine beispielhafte Ausführungsform eines erfindungsgemäßen Umgebungserfassungssystems 1 schematisch dargestellt, das insbesondere auch ein erfindungsgemäßes Fahrzeugführungssystem zum teleoperierten Führen eines Ego-Fahrzeugs 4 darstellt.
Das Ego-Fahrzeug 4 fährt auf einer Fahrbahn hinter einem weiteren Fahrzeug 5. Beispielsweise können vor dem weiteren Fahrzeug 5 weitere Fahrzeuge 6, 7 fahren.
Das Umgebungserfassungssystem 1 weist eine erste Kamera 2, insbesondere Front-Kamera, des Ego-Fahrzeugs 4 auf, die dazu eingerichtet ist, einen ersten Bilddatenstrom 15 zu erzeugen, der ein erstes Sichtfeld 8 der ersten Kamera 2 darstellt. Das weitere Fahrzeug 5 und beispielsweise die weiteren Fahrzeuge 6, 7 befinden sich in dem ersten Sichtfeld 8, wobei das weitere Fahrzeug 5 beispielsweise einen Bereich 14 in dem ersten Sichtfeld 8 für die erste Kamera 2 verdeckt, sodass insbesondere die weiteren Fahrzeuge 6, 7 in dem ersten Bilddatenstrom 15 teilweise verdeckt sind.
Das weitere Fahrzeug 5 weist eine zweite Kamera 3, insbesondere Front-Kamera, auf, die dazu eingerichtet ist, einen zweiten Bilddatenstrom zu erzeugen, der ein zweites Sichtfeld 9 der zweiten Kamera 3 darstellt. Die weiteren Fahrzeuge 6, 7 befinden sich beispielsweise in dem zweiten Sichtfeld 9 und sind dabei für die zweite Kamera 3 insbesondere nicht verdeckt oder weniger verdeckt als für die erste Kamera 2.
Das Ego-Fahrzeug 4 und das weitere Fahrzeug 5 weisen jeweils Kommunikationsschnittstelle zur drahtlosen Datenübertragung auf, beispielsweise eine V2V- oder V2X-Schnittstelle. Zudem weist das Umgebungserfassungssystem 1 eine Fahrzeugrecheneinheit 10 auf und ein fahrzeugexternes Computersystem 10, das Beispielsweise Teil eines Backends zum teleoperierten Führen von Fahrzeugen ist.
Die Fahrzeugrecheneinheit 10 erhält von dem weiteren Fahrzeug 5, beispielsweise von einer weiteren Fahrzeugrecheneinheit des weiteren Fahrzeugs 5, den zweiten Bilddatenstrom über die Kommunikationsschnittstellen.
Die Fahrzeugrecheneinheit 10 identifiziert beispielsweise basierend auf einem Abgleich des ersten Bilddatenstroms 15 mit dem zweiten Bilddatenstrom den für die erste Kamera 2 verdeckten Bereich 14 und erzeugt basierend auf dem zweiten Bilddatenstrom Ersatzbilddaten 17, zu erzeugen, die dem für die erste Kamera 2 verdeckten Bereich 14 entsprechen. Sodann erzeugt die Fahrzeugrecheneinheit 10 einen kombinierten Bilddatenstrom 16 zu erzeugen, der das erste Sichtfeld 8 darstellt, wobei in einem Bereich des kombinierten Bilddatenstroms 16, der dem für die erste Kamera 2 verdeckten Bereich 14 entspricht, die Ersatzbilddaten 17 dargestellt werden, beispielsweise semitransparent den ursprünglichen Bilddaten ersten Bilddatenstroms 15 überlagert werden.
Die Fahrzeugrecheneinheit 10 kann den kombinierten Bilddatenstrom 16 drahtlos an das fahrzeugexterne Computersystem 13 übermitteln. Das Umgebungserfassungssystem 1, insbesondere das Backend, weist ein fahrzeugexternes Anzeigegerät 11 auf. Das fahrzeugexterne Computersystem 13 ist dazu eingerichtet, den kombinierten Bilddatenstrom 16 zu erzeugen und auf dem fahrzeugexternen Anzeigegerät 11 anzuzeigen.
Ein Tele-Operator 12 in kann den angezeigten kombinierten Bilddatenstrom 16 analysieren und in Reaktion darauf eine Benutzereingabe an einem Eingabegerät des fahrzeugexternen Computersystems 13 tätigen. Abhängig von der Benutzereingabe kann das fahrzeugexterne Computersystem 13 einen Steuerbefehl an die Fahrzeugrecheneinheit 10 übermitteln. Basierend auf dem Steuerbefehl kann das Ego-Fahrzeug 4 dann wenigstens teilweise automatisch geführt werden.
In 2 ist ein schematisches Ablaufdiagramm einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zur Umgebungserfassung gezeigt.
In Schritt S0a wird das weitere Fahrzeug 5 identifiziert und ausgewählt, beispielsweise auf der Grundlage von V2V- oder V2X-Fähigkeiten des weiteren Fahrzeug 5 und/oder der Relativposition zum Ego-Fahrzeug 4. Außerdem wird der zweite Bilddatenstrom erzeugt und an das Ego-Fahrzeug 4 übermittelt. In Schritt S0b wird der erste Bilddatenstrom erzeugt.
Im Schritt S1 a werden Merkmale im zweiten Bilddatenstrom identifiziert und im Schritt S1b werden Merkmale im ersten Bilddatenstrom 15 identifiziert. Im Schritt S2 werden dann basierend auf den zuvor identifizieren Merkmalen übereinstimmende Merkmale aus dem ersten Bilddatenstrom 15 und dem zweiten Bilddatenstrom identifiziert. Bei den Merkmalen kann es sich beispielsweise um Objekte oder Kanten im jeweiligen Bilddatenstrom handeln oder dergleichen. In Schritt S3 werden die übereinstimmenden Merkmale verglichen und in Schritt S4 wird abhängig von dem Vergleich ein Transformationsparametersatz bestimmt, der die übereinstimmenden Merkmale des zweiten Bilddatenstroms näherungsweise in die übereinstimmenden Merkmale ersten Bilddatenstroms 15 überführt. Insbesondere werden die Transformationsparameter des Transformationsparametersatzes optimiert, sodass eine optimale Überlagerung der übereinstimmenden Merkmale erreicht wird. Der Transformationsparametersatz betrifft insbesondere einen Maßstab, Verschiebungen und/oder perspektivische Anpassungen.
Da die erste Kamera 2 und die zweite Kamera 3 nicht notwendigerweise den gleichen Weißabgleich, die gleiche Helligkeit und den gleichen Kontrast haben, kann optional auch die Farbe des zweiten Bilddatenstroms angepasst werden. Dies kann beispielsweise erreicht werden, indem die Histogramme des ersten Bilddatenstroms 15 und des zweiten Bilddatenstroms angepasst werden.
In Schritt S6 wird der verdeckte Bereich 14 maskiert. Dazu werden die relevanten Bereiche, indem beide Bilddatenströme verglichen werden und signifikant unterschiedliche Bereiche erkannt werden. Diese Bereiche werden höchstwahrscheinlich durch das weitere Fahrzeug 5 verdeckt. Alternativ können auch die Standortdaten des vorausfahrenden Fahrzeugs verwendet werden, sofern diese vorhanden sind. In Schritt S7 wird der kombinierte Bilddatenstrom 16 erzeugt.
Bei bekannten teleoperierten Fahrzeugen ist die Sicht des Tele-Operators auf die Kamerabilder des zu Führenden Fahrzeugs beschränkt. Mangels einer direkten Rückkopplung des Fahrzeugs und der Umgebung ist es wünschenswert, den Tele-Operator so gut wie möglich zu unterstützen.
Die Erfindung ermöglicht es in verschiedenen Ausführungsformen, die Sichteinschränkung des Tele-Operators durch verdeckende Objekte zu verringern, indem Kameradaten anderer Verkehrsteilnehmer genutzt werden.
In verschiedenen Ausführungsformen der Erfindung werden V2X-Kommunikationstechnologien genutzt, welche die Kommunikation zwischen einzelnen Fahrzeugen und fest installierten Einheiten zum Austausch von Sensordaten ermöglichen.

Claims

Verfahren zur Umgebungserfassung, wobei mittels einer ersten Kamera (2) eines Ego-Fahrzeugs (4) ein erster Bilddatenstrom (15) erzeugt wird, dadurch gekennzeichnet, dass - ein mittels einer zweiten Kamera eines weiteren Fahrzeugs (5) erzeugter zweiter Bilddatenstrom erhalten wird, wobei ein von dem ersten Bilddatenstrom (15) dargestelltes erstes Sichtfeld (8) mit einem von dem zweiten Bilddatenstrom dargestelltes zweites Sichtfeld (9) überlappt; - basierend auf dem ersten Bilddatenstrom (15) und dem zweiten Bilddatenstrom ein für die erste Kamera (2) verdeckter Bereich (14) in dem ersten Sichtfeld (8) identifiziert wird, der für die zweite Kamera nicht verdeckt ist; - basierend auf dem zweiten Bilddatenstrom Ersatzbilddaten (17) erzeugt werden, die dem für die erste Kamera (2) verdeckten Bereich (14) entsprechen; und - basierend auf dem ersten Bilddatenstrom (15) ein kombinierter Bilddatenstrom erzeugt wird, der das erste Sichtfeld darstellt, wobei in einem Bereich des kombinierten Bilddatenstroms (16), der dem für die erste Kamera (2) verdeckten Bereich (14) entspricht, die Ersatzbilddaten (17) dargestellt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - eine Abweichung eines oder mehrerer extrinsischer Kameraparameter und/oder eines oder mehrerer intrinsischer Kameraparameter zwischen der ersten Kamera (2) und der zweiten Kamera wenigstens teilweise kompensiert wird, indem der zweite Bilddatenstrom gemäß einem Transformationsparametersatz transformiert wird; und - der für die erste Kamera (2) verdeckte Bereich (14) basierend auf dem ersten Bilddatenstrom (15) und dem transformierten zweiten Bilddatenstrom identifiziert wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der kombinierte Bilddatenstrom (16) basierend auf dem ersten Bilddatenstrom (15) und dem transformierten zweiten Bilddatenstrom erzeugt wird, wobei die Ersatzbilddaten (17) basierend auf dem transformierten zweiten Bilddatenstrom erzeugt werden.
Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass - wenigstens ein Merkmal identifiziert wird, das sowohl durch den ersten Bilddatenstrom (15) als auch durch den zweiten Bilddatenstrom dargestellt wird; und - der Transformationsparametersatz abhängig von einem Abgleich einer Darstellung des wenigstens einen Merkmals in dem ersten Bilddatenstrom (15) mit einer Darstellung des wenigstens einen Merkmals in dem zweiten Bilddatenstrom bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ersatzbilddaten (17) dem ersten Bilddatenstrom (15) überlagert werden, um den kombinierten Bilddatenstrom (16) zu erzeugen.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Ersatzbilddaten (17) teiltransparent ursprünglichen Bilddaten ersten Bilddatenstroms (15) überlagert werden, welche dem für die erste Kamera (2) verdeckten Bereich (14) in dem ersten Bilddatenstrom (15) entsprechen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich das weitere Fahrzeug (5) in dem ersten Sichtfeld (8) befindet und der für die erste Kamera (2) verdeckte Bereich (14) durch das weitere Fahrzeug (5) für die erste Kamera (2) verdeckt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - der für die erste Kamera (2) verdeckte Bereich (14) mittels wenigstens einer Fahrzeugrecheneinheit (10) des Ego-Fahrzeugs (4) identifiziert wird; und/oder - die Ersatzbilddaten (17) mittels der wenigstens einen Fahrzeugrecheneinheit (10) des Ego-Fahrzeugs (4) bestimmt werden; und/oder - der kombinierte Bilddatenstrom (16) mittels der wenigstens einen Fahrzeugrecheneinheit (10) des Ego-Fahrzeugs (4) erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der kombinierte Bilddatenstrom (16) mittels eines fahrzeugexternen Computersystems (13) auf einem fahrzeugexternen Anzeigegerät (11) angezeigt wird.
Verfahren zum teleoperierten Führen eines Ego-Fahrzeugs (4), dadurch gekennzeichnet, dass - ein Verfahren zur Umfelderfassung nach Anspruch 9 durchgeführt wird; - in Reaktion auf die Anzeige des kombinierten Bilddatenstroms (16) auf dem fahrzeugexternen Anzeigegerät (11), mittels des fahrzeugexternen Computersystems (13) eine Benutzereingabe erfasst wird; und - das Ego-Fahrzeug (4) abhängig von der Benutzereingabe wenigstens teilweise automatisch geführt wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass - mittels des fahrzeugexternen Computersystems (13) abhängig von der Benutzereingabe ein Steuerbefehl an das Ego-Fahrzeug (4) übermittelt wird; und - das Ego-Fahrzeug (4) abhängig von dem Steuerbefehl wenigstens teilweise automatisch geführt wird.
Umgebungserfassungssystem (1), aufweisend eine erste Kamera (2) für ein Ego-Fahrzeug (4), die dazu eingerichtet ist, einen ersten Bilddatenstrom (15) zu erzeugen, wenigstens eine Kommunikationsschnittstelle für das Ego-Fahrzeug (4) zur drahtlosen Datenübertragung und wenigstens eine Recheneinheit, dadurch gekennzeichnet, dass die wenigstens eine Recheneinheit dazu eingerichtet ist, - einen mittels einer zweiten Kamera eines weiteren Fahrzeugs (5) erzeugten zweiten Bilddatenstrom über die wenigstens eine Kommunikationsschnittstelle zu erhalten, wobei ein von dem ersten Bilddatenstrom (15) dargestelltes erstes Sichtfeld (8) mit einem von dem zweiten Bilddatenstrom dargestelltes zweites Sichtfeld (9) überlappt; - basierend auf dem ersten Bilddatenstrom (15) und dem zweiten Bilddatenstrom einen für die erste Kamera (2) verdeckten Bereich (14) in dem ersten Sichtfeld (8) zu identifizieren, der für die zweite Kamera nicht verdeckt ist; - basierend auf dem zweiten Bilddatenstrom Ersatzbilddaten (17) zu erzeugen, die dem für die erste Kamera (2) verdeckten Bereich (14) entsprechen; und - basierend auf dem ersten Bilddatenstrom (15) einen kombinierten Bilddatenstrom (16) zu erzeugen, der das erste Sichtfeld (8) darstellt, und dabei in einem Bereich des kombinierten Bilddatenstroms (16), der dem für die erste Kamera (2) verdeckten Bereich (14) entspricht, die Ersatzbilddaten (17) darzustellen.
Umgebungserfassungssystem (1) nach Anspruch 12, dadurch gekennzeichnet, dass das Umgebungserfassungssystem (1) ein fahrzeugexternes Anzeigegerät (11) aufweist und die wenigstens eine Recheneinheit ein fahrzeugexternes Computersystem (13) beinhaltet, und - das fahrzeugexterne Computersystem (13) dazu eingerichtet ist, den kombinierten Bilddatenstrom (16) zu erzeugen und auf dem fahrzeugexternen Anzeigegerät (11) anzuzeigen; oder - die wenigstens eine Recheneinheit wenigstens eine Fahrzeugrecheneinheit (10) enthält, die dazu eingerichtet ist, den zweiten Bilddatenstrom über die wenigstens eine Kommunikationsschnittstelle zu erhalten, den für die erste Kamera (2) verdeckten Bereich (14) zu identifizieren, die Ersatzbilddaten (17) zu erzeugen, den kombinierten Bilddatenstrom (16) zu erzeugen und den kombinierten Bilddatenstrom (16) über die wenigstens eine Kommunikationsschnittstelle an das fahrzeugexterne Computersystem (13) zu übermitteln und das fahrzeugexterne Computersystem (13) dazu eingerichtet ist, den kombinierten Bilddatenstrom (16) auf dem fahrzeugexternen Anzeigegerät (11) anzuzeigen.
Fahrzeugführungssystem zum teleoperierten Führen eines Ego-Fahrzeugs (4), dadurch gekennzeichnet, dass - das Fahrzeugführungssystem ein Umgebungserfassungssystem (1) nach Anspruch 13 aufweist; - das fahrzeugexterne Computersystem (13) dazu eingerichtet ist, in Reaktion auf die Anzeige des kombinierten Bilddatenstroms (16) auf dem fahrzeugexternen Anzeigegerät (11), eine Benutzereingabe zu erfassen; und - das Fahrzeugführungssystem ein Ego-Fahrzeugführungssystem für das Ego-Fahrzeug (4) aufweist, das dazu eingerichtet ist, das Ego-Fahrzeug (4) abhängig von der Benutzereingabe wenigstens teilweise automatisch zu führen.
Computerprogrammprodukt mit Befehlen, die - bei Ausführung durch ein Umgebungserfassungssystem (1) nach einem der Ansprüche 12 oder 13 das Umgebungserfassungssystem (1) dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen; und/oder - bei Ausführung durch ein Fahrzeugführungssystem nach Anspruch 14 das Fahrzeugführungssystem dazu veranlassen, ein Verfahren nach einem der Ansprüche 10 oder 11 durchzuführen.