DE102020130748A1

DE102020130748A1 - Verfahren, System sowie ein Computerprogramm zum Erzeugen einer virtuellen Umgebung eines Fahrzeugs

Info

Publication number: DE102020130748A1
Application number: DE102020130748.9A
Authority: DE
Inventors: Alexander Augst
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-11-20
Filing date: 2020-11-20
Publication date: 2022-05-25

Abstract

Ein Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen einer virtuellen Umgebung eines Fahrzeugs. Ein Schritt des Verfahrens umfasst das Ermitteln von zumindest zwei Datenabschnitten (DA1, DA2), die jeweils zumindest einen Teil einer realen Umgebung (RU1, RU2) eines realen Fahrzeugs (RF1, RF2) repräsentieren. Ein weiterer Schritt des Verfahrens umfasst das Erzeugen der virtuellen Umgebung (VU12a, VU12b) aus den bzw. auf Basis von den zumindest zwei Datenabschnitten (DA1, DA2).

Description

Die Erfindung betrifft ein Verfahren, System sowie ein korrespondierendes Computerprogramm zum Erzeugen einer virtuellen Umgebung eines Fahrzeugs. Insbesondere betrifft die Erfindung eine Verwendung einer virtuellen Umgebung eines Fahrzeugs für die Entwicklung, Absicherung und/oder Trainieren von Fahrzeugen bzw. von Systemen von Fahrzeugen. Dies kann ein Betreiben der virtuellen Umgebung sowie einen entsprechenden Entwicklungsbetrieb bzw. Absicherungsbetrieb für Fahrzeuge auf Basis einer virtuellen Umgebung umfassen.
Bei der Entwicklung, insbesondere Absicherung moderner Fahrzeuge müssen eine sehr große Vielzahl von diversen Situationen (z.B. auch Fahrsituationen), Zuständen mehrerer Systeme und Funktionalitäten der Fahrzeuge, sowie von Bedingungen, welchen Fahrzeuge bei Ihrem späteren Betrieb ausgesetzt werden, berücksichtigt werden. Daher können Aufwand, Kosten sowie Zeitbedarf für die entsprechende Entwicklung und Absicherung mit einer weiter steigenden Komplexität der Systeme und Funktionalitäten moderner Fahrzeuge extrem (auch stark nichtlinear) ansteigen und den Fortschritt in der Automobilindustrie behindern. Dies ist besonders für die Entwicklung, Absicherung sowie die Markteinführung von zumindest teilweise automatisiert fahrbarer Fahrzeugen von entscheidenden Bedeutung.
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade gemäß der Definition der BASt entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) gemäß der BASt dem Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
Insbesondere für die Entwicklung von automatisierten Fahrfunktionen ist die Berücksichtigung einer sehr großen Anzahl von den in der Realität vorkommenden bzw. möglichen Fahrzeugumgebungen notwendig.
Besonders mit der Erhöhung des gewünschten Automatisierungsgrads von zumindest teilweise automatisiert fahrbaren Fahrzeugen ist eine erhöhte Anzahl der relevanten Fahrsituationen, z.B. Anordnungen, Konstellationen von Verkehrsteilnehmern, die von den Fahrzeugen zweckmäßig gehandhabt werden müssen, extrem (auch extrem nichtlinear) an. Nach dem Stand der Technik bzw. der rechtlichen Rahmenbedingungen zur Homologation bzw. Markteinführung der Fahrzeuge resultiert daher eine enorme Fahrstrecke von mehreren Milliarden Kilometer, die im Rahmen von Test und Absicherung derartiger Fahrzeuge überwiegend fehlerfrei bzw. mit einer jeweils zweckmäßigen Performance geleistet werden müsste.
Daher ist die Aufgabe der vorliegenden Erfindung, ein Verfahren, Vorrichtung sowie ein korrespondierendes Computerprogramm zum Erzeugen einer virtuellen Umgebung eines Fahrzeugs aufzuzeigen. Insbesondere betrifft die Aufgabe der Erfindung das Erzeugen einer für die Entwicklung, Test oder Absicherung von Fahrzeugen verwendbare virtuelle Umgebung aufzuzeigen. Insbesondere kann zur Aufgabe der Erfindung eine Verwendung (auch zu verstehen als ein Betreiben) einer virtuellen Umgebung (auch zu verstehen als einen entsprechenden Entwicklungsbetrieb bzw. Absicherungsbetrieb auf Basis der virtuellen Umgebung) gehören.
Die Aufgabe der Erfindung wird durch die Merkmale jedes der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen einer virtuellen Umgebung eines Fahrzeugs.
Ein Schritt des Verfahrens umfasst das Ermitteln von zumindest zwei Datenabschnitten, die jeweils zumindest einen Teil einer realen Umgebung eines realen Fahrzeugs kennzeichnen, insbesondere repräsentieren. Dies auch derart zu verstehen, dass die zumindest zwei Datenabschnitte für jeweils zumindest einen Teil einer realen Umgebung eines realen Fahrzeugs repräsentierend sind.
Der zumindest eine Datenabschnitt kann Daten auf Basis eines oder mehrerer Sensoren des jeweiligen Fahrzeugs umfassen. Beispielsweise kann ein solcher Datenabschnitt auf Basis von einem Mitschnitt (auch zu verstehen als ein Mitschnitt korrespondierender Trace oder Snippet) der Daten eines oder mehreren Sensoren des Fahrzeugs ermittelt werden.
Die Datenabschnitte können beispielsweise repräsentieren:

• zumindest einen Raumteil, der insbesondere oder nach bestimmten (z.B. dynamischen) Kriterien gewählt wird, z.B. in Bezug auf das jeweilige reale Fahrzeug (z.B. aus Blind-Spot-Bereichen),
• zumindest ein Objekt in der Umgebung des realen Fahrzeugs bzw. einen Teil der Umgebung des realen Fahrzeugs mit diesen Objekten,
• eine bestimmte Situation, z.B. Fahrsituation in der sich das reale Fahrzeug befindet,
• eine oder mehrere Anordnungen, Aktionen, Interaktionen zwischen einem Objekt in der Umgebung und dem realen Fahrzeug und/oder den Objekten in der Umgebung, und/oder
• Daten, insbesondere Eingangsdatendaten, Zustand und/oder Ausgangsdaten eines Systems des realen Fahrzeugs.

Besonders bevorzugt repräsentiert die zumindest eine oder zwei (der zumindest zwei) der Datenabschnitten die einen Teil der realen Umgebung eines Fahrzeugs einen dynamischen Vorgang und/oder einen zeitlich und/oder räumlich ausgedehnten Vorgang. Der Vorgang kann sich auf einzelne, bestimmte Objekte innerhalb der Umgebung des Fahrzeugs beziehen. Ein solcher Vorgang kann ein Manöver betreffend ein oder mehrere (reale) Objekts sein. Beispielsweise kann es ein in der Umgebung des jeweiligen realen Fahrzeugs ausgeführtes Manöver eines oder mehrerer weiteren Verkehrsteilnehmer sein.
Ein Manöver kann z.B. ein Spurwechselmanöver, Einfädelmanöver, ein Ausweichmanöver, ein Einfädelmanöver, ein Überholmanöver, ein Einparkmanöver, ein Ausparkmanöver, ein Rangiermanöver oder dergleichen sein. Insbesondere kann es ein das (jeweilige) reale Fahrzeug betreffendes Manöver eines oder mehrerer Objekte, z.B. der Verkehrsteilnehmer in der jeweiligen Umgebung sein.
Alternativ oder zusätzlich kann die zumindest eine oder zwei (der zumindest zwei) der Datenabschnitten einen bestimmten von dem (jeweiligen) realen Fahrzeug ausgeführten Vorgang repräsentieren. Dabei kann es sich um einen dynamischer Vorgang, und/oder einen zeitlich und/oder räumlich ausgedehnten Vorgang handeln. Beispielsweise repräsentiert die zumindest eine oder zwei (der zumindest zwei) der Datenabschnitten eine Interaktion des jeweiligen Fahrzeugs mit einem Objekt. In einem weiteren Beispiel kann eine solche Interaktion eine gegenseitige Störung, Beeinflussung, Einwirkung oder ausnahmsweise eine physische Interaktion, z.B. eine Behinderung, Reibung oder Kollision umfassen. Insbesondere repräsentiert die zumindest eine oder zwei (der zumindest zwei) der Datenabschnitte eine bestimmte, das Fahrzeug und/oder ein Objekt aus seiner Umgebung, betreffende Fahrsituation.
Der Begriff „Repräsentieren“ ist im Rahmen des vorliegenden Dokuments insbesondere als „kennzeichnen“ zu verstehen. Beispielsweise kann, muss aber nicht ein oder mehrere der Datenabschnitte die absoluten oder relativen Koordinaten, Bewegungen des Fahrzeugs und/oder Objekte aus seiner Umgebung (mehr oder minder explizit) repräsentieren. Diese können z.B. mittels erkannter Muster erkannt und/oder in den Datenabschnitten (z.B. durch stellvertretene Zahlen, Codes, Muster) repräsentiert, insbesondere gekennzeichnet sein.
Beispielsweise können die besagten Datenabschnitte jeweils ein oder mehrere Objekte, Anordnungen (Konstellationen) von Objekten oder eine bestimmte Relation eines Objekts zu dem realen Fahrzeug repräsentieren. Beispielsweise repräsentiert ein Datenabschnitt einen bestimmten Verkehrsteilnehmer oder einen Verkehrsteilnehmer einer bestimmten Art, z.B. ein Motorrad, PKW, LKW in der Umgebung des Fahrzeugs. Dieser kann in den Datenabschnitten etwa als eine Kennung einer der Klasse des Objekts, einer Abmessung bzw. Form, einer relativen Position, Winkels, Ausrichtung, absoluter oder relativer Geschwindigkeit, Beschleunigung, erkannter Absicht und/oder einer bestimmten Aktion oder einer Aktion einer bestimmten Art in dem jeweiligen Datenabschnitt repräsentiert werden.
Beispielsweise können die Datenabschnitte jeweils einen, insbesondere bestimmten und/oder wählbaren Teil, z.B. Raumteil, Winkel, und/oder Entfernungsbereich von dem realen Fahrzeug repräsentieren. Beispielsweise repräsentiert ein Datenabschnitt einen Verkehrsteilnehmer der ein das reale Fahrzeug betreffende Manöver ausführt (z.B. es überholt), einen Parameter, insbesondere Veränderung der Parameter während des Manövers.
Beispielsweise können die Datenabschnitte jeweils bestimmte Anordnungen, Aktionen, Interaktionen zwischen einem Objekt in der Umgebung und dem realen Fahrzeug und/oder den Objekten in der Umgebung, insbesondere hinsichtlich ihrer Dynamik, z.B. durch eine Veränderung bzw. Verlauf der jeweiligen Parameter repräsentieren.
Beispielsweise repräsentiert der Datenabschnitt einen Teil der Umgebung der sich hinter dem realen Fahrzeug, seitlich des realen Fahrzeugs, in einem Blindspot des realen Fahrzeugs, auf der geplanten Trajektorie des realen Fahrzeugs befindet.
Die zumindest zwei der Datenabschnitte die jeweils reale Umgebungen (jeweils) eines realen Fahrzeugs repräsentieren, können von jeweils unterschiedlichen Zeitintervallen, Orten, Situationen, Randbedingungen, und/oder Fahrzeugen stammen. Beispielsweise können es zumindest zwei Umgebungen sein Fahrsituationen, die etwa in derselben Fahrbahnstelle (z.B. an derselben oder ähnlichen Ausfahrt, einfahrt, Kreisverkehr, Parkplatz, etc.) mit jeweils zwei unterschiedlichen realen Fahrzeugen zu jeweils unterschiedlichen Zeitintervallen ereignet haben.
Insbesondere repräsentiert der zumindest ein Datenabschnitt, eine reale Umgebung eines realen Fahrzeugs die in einem realen Fahrzeugbetrieb in einer gleichen bzw. ähnlichen Variante (z.B. statistisch bzw. im Durschnitt) seltener als einmal in 10, 100, 100, 10000, 1000000 Kilometer auftritt bzw. zu erwarten ist. Beispielsweise können die Datenabschnitte, insbesondere jeweils betreffende, ausgewählte, Mitschnitte der Daten einer Schnittstelle, einer Bordnetzkommunikation, einen (z.B. zeitlichen und/oder räumlichen) Verlauf eines internen Parameters einer Recheneinheit des Fahrzeugs umfassen oder sein. In einem vereinfachten Fall können dies Daten auf Basis eines Radars, einer Kamera, eines LIDARS oder bereits verarbeitete bzw. fusionierte Daten (etwa Daten eines sogenannten Umfeldmodells) zumindest teilweise umfassen oder sein. Beispielsweise können die Datenabschnitte vorerst in einem Ringspeicher des Fahrzeugs gespeichert und beim Zutreffen der zumindest einer Triggerbedingung (sozusagen zeitlich rückwirkend) ermittelt werden.
Beispielsweiser kann der Inhalt, insbesondere die Anzahl bestimmter Parameter, z.B. Signale, und/oder die Dauer einer Aufzeichnung für ein Datenabschnitt abhängig von einer jeweiligen Triggerbedingung wählbar sein bzw. gewählt werden. Bei den Datenabschnitten handelt es sich insbesondere um Datenabschnitte, die nicht zum Betrieb des Fahrzeugs (mit dem diese erfasst werden) benötigt bzw. dort funktional verwendet werden. Beispielsweise kann abhängig von der zumindest einen Triggerbedingung eine Aktivierung eines Sensors des Fahrzeugs, und/oder eine Veränderung des Betriebsmodus einer Sensorik veranlasst werden. Diese kann überwiegend, im Wesentlichen nur oder ausschließlich dazu dienen die Datenabschnitte zu ermitteln.
In einem Beispiel des Verfahrens kann sich das Ermitteln der Datenabschnitte zumindest vorrangig auf eine reale Umgebungen beziehen, zu welcher ermittelt bzw. erkannt wurde, dass diese besonders selten vorkommt und/oder von einer oder mehreren häufig, insbesondere typisch vorkommenden Umgebungen, z.B. Fahrsituationen, unterscheiden.
Insbesondere kann die zumindest eine Triggerbedingung ein Kriterium in Bezug auf eine (z.B. statistische) Häufigkeit, betreffend ein Vorkommen von bestimmten Parameter der Umgebungen realer Fahrzeuge umfassen. Beispielsweise kann die zumindest eine Triggerbedingung einen Abgleich der Daten einer Umgebung eines realen Fahrzeugs mit bestimmten, insbesondere häufigen und/oder typisch vorkommenden realen Umgebungen umfassen. Insbesondere können abhängig vom Ergebnis des Abgleichs zumindest vorrangig überwiegend seltene und/oder untypische Umgebungen ausgewählt werden und die Datenabschnitte repräsentierend diese erfasst und/oder weiterverarbeitet werden.
Ein weiterer Schritt des Verfahrens ist das Erzeugen der virtuellen Umgebung abhängig, insbesondere aus den bzw. auf Basis der zumindest zwei Datenabschnitte. Die virtuelle Umgebung kann sich auf ein virtuelles (z.B. zumindest zu dem Zeitintervall nicht fahrendes oder auf ein an sich nicht existierendes bzw. vorwiegend nur durch eine Position repräsentiertes) Fahrzeug beziehen. In einem vereinfachten Fall kann die virtuelle Umgebung des Fahrzeugs auch ohne das eigentliche Fahrzeug ermittelt und/oder verwendet werden. Die virtuelle Umgebung kann Datenabschnitte der virtuellen Umgebung umfassen oder sein, die die virtuelle Umgebung, insbesondere Datenabschnitte die die virtuelle Umgebung etwa aus der (virtuellen) Erfassungsperspektive (sozusagen der Sichtperspektive) des (virtuellen) Fahrzeugs repräsentieren.
Alternativ oder zusätzlich kann die virtuelle Umgebung Daten zur Ausführung einer Simulation und/oder eines Datengenerators umfassen oder sein. Eine solche Simulation bzw. Datengenerator kann abhängig von der virtuellen Umgebung insbesondere Datenabschnitte z.B. betreffend Sensordaten, verarbeitete bzw. fusionierte Sensordaten und/oder Daten eines Umfeldmodells erzeugen, die einem reales Fahrzeug ermittelt worden wären (wenn die virtuelle Umgebung eine reale Umgebung wäre).
Bevorzugt kann ein Fahrzeug auf welches sich die virtuelle Umgebung bezieht (sozusagen das virtuelle EGO-Fahrzeug) selbst als dieses repräsentierende Daten erzeugt werden. Beispielsweise kann das (Ego-) Fahrzeug innerhalb der virtuellen Umgebung als entsprechende Daten, insbesondere ein Datenmodell abgebildet bzw. betrieben werden.
Bevorzugt kann die virtuelle Umgebung auf Basis von zwei oder mehreren (bevorzugt einer Vielzahl) von unterschiedlichen Datenabschnitten erzeugt werden.
Im Ergebnis des Verfahrens, z.B. durch die erfindungsgemäße Verarbeitung, insbesondere Kombination oder Synthese der Daten aus den („realen“) Datenabschnitten, können somit virtuelle Umgebungen, insbesondere repräsentierend Fahrsituationen eines Fahrzeugs erzeugt werden, die in einem realen bzw. realitätsnahen Betrieb der Fahrzeuge seltener als 100, 10000, 10⁸, 10¹² Kilometer zu erwarten sind bzw. wären.
Ferner kann zumindest ein System eines (z.B. zu entwickelnden) Fahrzeugs mit der virtuellen Umgebung betrieben werden. Bei dem System des Fahrzeugs kann es sich um ein oder mehrere Steuergeräte, Softwaremodule für ein Steuergerät, eine simulierte bzw. emulierte Vorrichtung des Fahrzeugs oder ein (im Wesentlichen ganzes) Fahrzeug handeln.
Durch die Erfindung ergibt sich die Möglichkeit das System des Fahrzeugs (zumindest virtuell, sozusagen im „Trockenlauf“) mittels der virtuellen Umgebung zu betreiben, insbesondere zu testen, abzusichern und/oder zu trainieren. Dabei können auch (z.B. für einen Nachweis der Performance, Zulassung und/oder Markteinführung des Fahrzeugs relevante) virtuelle Umgebungen umfassend sehr selten vorkommente Situationen und/oder Randbedingungen erzeugt werden. Beispielsweise kann eine Auffindung von Fehlern, Performanceschwächen, oder ein Nachweis der Performance Sicherheit bzw. Verlässlichkeit betreffend zumindest ein System des Fahrzeugs durch die Verwendung (insbesondere ein Betreiben des Systems des Fahrzeugs) der virtuellen Umgebung (auch zu verstehen: auf Basis der von der virtuellen Umgebung abhängiger Daten) erfolgen.
Dadurch kann eine, z.B. im Rahmen einer Entwicklung, Test, Absicherung und/oder Trainieren von Fahrzeugen zu absolvierende reale Fahrstrecke wesentlich reduziert werden. Beispielsweise kann Zeit, Aufwand, Kosten gespart und/oder eine verbesserte Absicherung des zumindest einen Systems des (zu entwickelnden, abzusichernden bzw. zu trainierenden) Fahrzeugs erreicht werden.
Bevorzugt umfasst das Erzeugen der virtuellen Umgebung eine Auswahl Extraktion und/oder Ausschluss von Daten, z.B. betreffend einzelne Objekte und/oder Vorgänge, aus zumindest einem der zumindest zwei Datenabschnitte. Beispielsweise kann die virtuelle Umgebung jeweils nur einen (gewählten, wählbaren) Teil der jeweiligen realen Umgebungen repräsentieren.
Bevorzugt können die virtuelle Umgebung repräsentierende Daten ermittelt werden, die (zumindest insgesamt) nicht in der Realität erfasst wurden, die jeweils auf Basis von einem (bestimmten oder nach bestimmten Kriterien ausgewählten) ersten Teil aus einer ersten realen Umgebung, insbesondere Situation, eines Fahrzeugs UND auf einem zweiten Teil aus einer zweiten realen Umgebung, insbesondere Situation, eines Fahrzeugs basieren.
Das Erzeugen der virtuellen Umgebung (bzw. der diese repräsentierenden bzw. ihr entsprechenden) Daten kann ein Hinzufügen, Ersetzen, Integrieren und/oder Zusammenführen von bestimmten oder nach bestimmten Kriterien gewählten Teilen jeweils aus den zumindest zwei Datenabschnitten umfassen, die jeweils aus zumindest zwei unterschiedlichen Umgebungen, Fahrzeugen und/oder Zeitintervallen stammen. Insbesondere werden dabei ein Teil einer ersten realen Umgebung eines (ersten) Fahrzeugs und ein Teil einer zweiten realen Umgebung eines (zweiten) Fahrzeugs verwendet.
Das Erzeugen der virtuellen Umgebung kann ein Ermitteln der Daten aus zumindest zwei Datenabschnitten sein, die mittels zumindest zwei unterschiedlicher Triggerbedingungen ermittelt wurden.
Die zumindest eine virtuelle Umgebung kann eine (neue, virtuell, durch daten repräsentierte) Situation, insbesondere Fahrsituation repräsentieren. Die zumindest eine virtuelle Umgebung kann beispielsweise umfassen:

• ein neues Objekt, eine neue Kombination und/oder Anordnung von Objekten,
• ein aus zumindest zwei Objekte kombiniertes Objekt, und/oder
• eine neue oder (aus zumindest zwei realen Situationen) erzeugte Situation.

Beispielsweise umfassen die Daten der neuen Umgebung die Daten von Sensoren des zumindest einen der zumindest zwei der realen Fahrzeuge, die eine (neue) virtuelle Umgebung repräsentieren. Dies können etwa Datenabschnitte sein, die eine virtuelle Umgebung repräsentieren würden, wenn diese real gewesen wäre.
Die virtuelle Umgebung oder die Daten der virtuellen Umgebung können in einer Relation zu einer Position bzw. einem (virtuellen) Objekt die ein (Ego-) Fahrzeug (sozusagen aus der Sichtposition des Fahrzeugs welches diese ermitteln würde) repräsentiert werden.
Beispielsweise ist die virtuelle Umgebung im Wesentlichen unabhängig bzw. losgelöst von einer (absoluten) Positionsinformation. Vielmehr kann diese Daten kennzeichnen, die ein reales Fahrzeug (mit bestimmten Merkmalen) ermittelt würde, wenn es in einer korrespondierenden realen Umgebung befinden würde, insbesondere wenn es eine Umgebung eines realen Fahrzeugs wäre.
Der Erfindung umfasst ferner die Idee, anstatt auf das Vorkommen einer bestimmten (z.B. auch extrem seltene vorkommente) Umgebung eines Fahrzeugs mit einer bestimmten Kriterien entsprechende Fahrsituation zu warten, welche sich für die Entwicklung, Absicherung, und/oder Trainieren eines Fahrzeugsystems eignet oder die noch fehlt, eine entsprechende virtuelle Umgebung zu erzeugen. Dazu kann auch gehören, die entsprechenden, zum Erzeugen der Umgebung notwendige Daten (insbesondere einzeln, mittels unterschiedlicher Fahrzeuge, mit jeweils geeignet gewählten Triggerbedingungen) zu ermitteln. Dabei können Daten und Erkenntnisse gewonnen werden, die für die Entwicklung, Absicherung, Trainieren eines Fahrzeugsystems und/oder den Nachweis der positiven Risikobilanz notwendig sind, aber für welche sonst ein Einfahren von Milliarden von Kilometern der Versuchsflotte notwendig gewesen wäre.
Mit der resultierenden virtuellen Umgebung kann sowohl ein System des Fahrzeugs im Fahrzeug und/oder ein stationäres System, welches das System des Fahrzeugs (z.B. einen Entwicklungsstand) emuliert, zumindest teilweise und/oder zeitweise mit den Daten einer derart erzeugten virtuellen Umgebung betrieben und/oder zu trainieren.
Ferner kann ein solches Verfahren auch mittels von (realen) bereits im Kundenbetrieb befindlicher Fahrzeuge (der Kundenfahrzeuge) ausgeführt werden. Es ergibt sich der Vorteil, dass die Laufleistung sehr vieler (z.B. Hunderttausender) Fahrzeuge (zu insgesamt mehreren Milliarden von Kilometer) praktisch addiert werden kann bzw. insgesamt nutzbar gemacht werden kann. Das Ermitteln bzw. Auswahl der entsprechenden Datenabschnitte kann dabei sozusagen „im Leerlauf“, in einem „Schattenmodus“ erfolgen ohne eine funktionale Auswirkung zu zeigen bzw. den jeweiligen Fahrzeugkunden oder die Dritte zu stören.
Insbesondere kann der ein oder mehrere der Datenabschnitte mittels eines Fahrzeugsystem bzw. Fahrzeugfunktionalität ermittelt werden, das bzw. die zumindest in dem Zeitintervall zumindest teilweise von einer Ausführung einer für das Fahrzeug oder für einen Insassen des Fahrzeug wirksamen Funktionalität entkoppelt wird bzw. parallel zur Ausführung einer (ihrer eigentlichen) Funktionalität in den jeweiligen realen Fahrzeugen betrieben wird.
Beispielsweise kann das Verfahren mittels eines (hierzu eingerichteten) zumindest teilweise entkoppelten Modus der entsprechenden Sensorik und/oder Funktionen erfolgen. Die gewonnenen Daten der neuen Umgebung (damit ist auch eine neue wie hier beschrieben künstlich konstruierte, designte, synthetisierte Fahrsituation) können z.B. zum Nachweis positiver Risikobilanz und/oder zum Trainieren neuronaler Netze verwendet werden.
Auf Basis der Datenabschnitte die aus verschiedenen Zeiten, Orten, Situationen, und/oder Fahrzeugen stammen (und einen Teil einer jeweiligen Umgebung des Fahrzeugs repräsentieren) können Daten erzeugt werden, die eine neue, künstlich erzeugte (für verschiedene Zwecke gewünschte aber so nicht real existierende) Umgebung des Fahrzeugs repräsentieren.
Beispielsweise kann eine gewünschte Umgebung oder Situation als die entsprechenden Daten aus Datenabschnitten der Kameras, Radare, LIDARe, Ultraschallsensoren, Wärmekameras, vorverarbeiteten Daten, sozusagen rechnerisch erschaffen werden. Es kann etwa entsprechend den Mitteln eines Videoschnitts aus Teilen die z.B. Kameraaufnahmen, Radarsequenzen („Radarvideo“) etc. entsprechen, erzeugt werden.
Die resultierenden Daten zu der neuen Umgebung können in einer stationären Recheneinheit, z.B. innerhalb einer Simulation, verarbeitet, insbesondere reprozessiert, werden. Beispielweise kann ein stationär betriebenes System des Fahrzeugs (Steuergerät, etwa an einem Testplatz mit derselben Software und/oder alternativen Software) mit den Daten der neuen Umgebung betrieben werden. Alternativ kann eine Recheneinheit, die ein (mit dem Fahrzeug korrespondierendes oder neues) System des Fahrzeugs emuliert (vereinfacht: nachbildet) mit den Daten der neuen Umgebung betrieben werden.
Beispielsweise können die Daten der neuen Umgebungen, insbesondere Situationen mittels entsprechend eingerichteter Spielkonsolen (oder Recheneinheiten mit einer vergleichbaren Architektur) ermittelt werden. Alternativ oder zusätzlich können die Spielkonsolen zur Weiterverarbeitung der Daten, z.B. zum Ermitteln der Risikobilanz, Identifikation von mit bestimmten Algorithmen beherrschbaren oder nicht beherrschbaren Situationen verwendet werden. Ferner können Spielkonsolen (oder Recheneinheiten mit einer vergleichbaren Architektur) zur Emulation eines Systems des Fahrzeugs verwendet werden. Dabei kann auf den Spielkonsolen eine extreme Vielzahl der Situationen virtuell durchgespielt werden, die es so nicht gegeben hat.
Dabei können die entsprechenden Outputdaten eines (z.B. stationär betriebenen) Systems des Fahrzeugs auf die Daten der neuen (künstlich erzeugten) Umgebungen, insbesondere Situationen gewonnen, insbesondere ermittelt werden. Insbesondere repräsentieren die resultierenden Outputdaten eine Reaktion eines (z.B. in einem stationären Rechner) emulierten Systems des Fahrzeugs auf die Daten der einen oder mehrerer neuen Umgebungen. Unter dem Begriff „System des Fahrzeugs“ kann im Wesentlichen dasselbe System wie in einem (oder dem) realen Fahrzeug verbaute System, ein alternatives, weiterentwickeltes und/oder ein zu trainierendes System verstanden werden.
Diese können (zumindest annähernd) den Outputdaten, z.B. den Reaktionsdaten eines realen Fahrzeugs entsprechen, als wären die Daten einer realen Situation entsprechen. Beispielsweise so, als wäre eine bestimmte Kombination der Objekte (die aus zwei unterschiedlichen stammen Situationen stammen) in einer Situation vorgekommen. Als die Outputdaten sind im Rahmen dieses Dokuments (auch) beliebige Betriebsdaten des Systems des Fahrzeugs, die durch die Veränderung der Daten einer Umgebung durch die Daten einer neuen Umgebung entstehen bzw. beeinflusst werden.
In einer vorteilhaften Ausführungsform umfasst das Verfahren den Schritt des Bereitstellens von zumindest einer Triggerbedingung für das reale Fahrzeug, und den Schritt des Ermittelns der zumindest zwei Datenabschnitte in Abhängigkeit von der zumindest einen Triggerbedingung.
Die Triggerbedingung wird beispielsweise zum Fahrzeug versendet und/oder im Fahrzeug (z.B. nach einer vorausbestimmten Bedingung mit oder ohne einen zum Fahrzeug gesendeten Parameter zu der Triggerbedingung) ermittelt. Mit der Triggerbedingung wird definiert und/oder gesteuert bei welchen in dieser gekennzeichneten Bedingung ein Datenabschnitt zu ermitteln ist. Alternativ oder zusätzlich wird mit der Triggerbedingung die Zusammensetzung des Datenabschnitts definiert und/oder gesteuert.
Diese Triggerbedingung kann einen Parameter, insbesondere ein Muster kennzeichnen von einem Vorkommen eines oder mehrerer bestimmter Objekte in der Umgebung des Fahrzeugs, einer bestimmten Situation, z.B. Fahrsituation in der sich das Fahrzeug befindet, eine oder mehrere Anordnungen, Aktionen, Interaktionen zwischen einem Objekt in der Umgebung und dem Fahrzeug und/oder den Objekten in der Umgebung, und/oder Daten, insbesondere Eingangsdatendaten, Zustand und/oder Ausgangsdaten eines Systems des Fahrzeugs.
Es kann eine intelligente Triggerbedingung sein, die z.B. eine oder mehrere der obigen Parameter, insbesondere Muster miteinander verknüpft. Insbesondere kennzeichnet die Triggerbedingung eine Vorschrift nach der ein Datenabschnitt (z.B. aus einem bestimmten Fahrzeug oder von einem nach einer bestimmten Bedingung ausgewählten Fahrzeug) ermittelt wird.
Wenn beispielsweise eine der Triggerbedingungen zutrifft, werden vorausbestimmte oder durch die Triggerbedingung bestimmte Datenabschnitte, die einen Abschnitt der Umgebung des Fahrzeugs kennzeichnen und/oder Daten eines Systems des Fahrzeugs, insbesondere in einer komprimierten und/oder codierten Form, an eine beabstandet angeordnete Recheneinheit (z.B. sogenanntes Backend), übermittelt.
Bevorzugt werden die zumindest zwei Datenabschnitte mittels zumindest einer Triggerbedingung zu unterschiedlichen Zeitintervallen und/oder Fahrzeugen ermittelt.
Beispielsweise wird mittels einer Triggerbedingung nach einem Motorradfahrer gesucht. Zu unterschiedlichen Zeitintervallen werden zumindest zwei Motorradfahrer gefunden. Entsprechende Datenabschnitte werden (einzeln) ermittelt. Diese können zu einer Modifikation der vorliegenden Situation und/oder zur Synthese einer neuen Situation verarbeitet werden.
In einer weiteren vorteilhaften Ausführungsform umfasst das Verfahren das Bereitstellen von zumindest zwei Triggerbedingungen für das reale Fahrzeug, und das Ermitteln der zumindest zwei Datenabschnitte in Abhängigkeit von jeweils unterschiedlichen Triggerbedingungen.
Dies kann z.B. auch so verstanden werden, dass ein Skript zum Fahrzeug übermittelt und/oder im Fahrzeug ausgeführt wird. Dabei kann das Skript zumindest zwei Triggerbedingungen umfassen.
Beispielsweise wird ein erster Datenabschnitt repräsentierend einen ersten Verkehrsteilnehmer der sich z.B. in einem bestimmten ersten Raumbereich (z.B. innerhalb bestimmter Winkel und/oder Entfernungen) zu dem Fahrzeug befindet, einen ersten Parameter, z.B. Geschwindigkeit, Beschleunigung, Kurvenradius aufweist, und/oder eine bestimmte Aktion ausführt, erfasst.
Beispielsweise wird ein zweiter Datenabschnitt repräsentierend einen zweiten Verkehrsteilnehmer der sich z.B. in einem bestimmten zweiten Raumbereich (z.B. innerhalb bestimmter Winkel und/oder Entfernungen) zu dem Fahrzeug befindet, einen zweiten Parameter, z.B. Geschwindigkeit, Beschleunigung, Kurvenradius aufweist, und/oder eine bestimmte Aktion ausführt, erfasst. Diese ergeben eine sehr große bzw. vorteilhafte Kombinationsmöglichkeit.
Beispielsweise können auf Basis der Datenabschnitte eine oder mehrere virtuelle Umgebungen erzeugt (sozusagen integriert) werden, die eine oder mehrere neue (etwa: virtuell erzeugter) Situationen repräsentieren. Die zumindest eine virtuelle Umgebung kann z.B. Fahrsituationen umfassen, die in Realität in keinem der realen Fahrzeuge vorgekommen ist oder nur mit einer sehr niedrigen Wahrscheinlichkeit erwartbar wäre.
In einer weiteren vorteilhaften Ausführungsform umfasst die Erfindung das Übertragen der Datenabschnitte zu einer von dem realen Fahrzeug beabstandet befindlichen Recheneinheit. Insbesondere kann in der beabstandet befindlichen Recheneinheit (Backend, Server, Rechenzentrum, etc.) eine Simulation auf Basis der Datenabschnitte betreibbar sein bzw. betrieben werden.
In einer weiteren vorteilhaften Ausführungsform umfasst das Verfahren das Erzeugen der virtuellen Umgebung aus den zumindest zwei Datenabschnitten gemäß einer Situationsbildungsvorschrift aus (auch zu verstehen abhängig von bzw. auf Basis von) den zumindest zwei Datenabschnitten.
Die zumindest zwei Teile der zumindest zwei Datenabschnitte können gemäß einer Situationsbildungsvorschrift hinzufügt, ersetzt, integrieret und/oder zusammengeführt.
Die Situationsbildungsvorschrift kann eine vorausbestimmte und/oder im Verfahren, insbesondere dynamisch bestimmbare oder anpassbare Vorschrift umfassen oder sein.
Bevorzugt umfasst die Situationsbildungsvorschrift eine Vorschrift zur Synthese der virtuellen Umgebung auf Basis der Daten der zumindest zwei der Datenabschnitte.
Beispielsweise kann die Situationsbildungsvorschrift eine Anwendung bestimmter (vorausbestimmter und/oder im Verfahren bestimmbarer) Kriterien, z.B. zur Auswahl der Objekte, der Teile der Umgebungen, der Verhalten der Objekte, der Situationsmuster kennzeichnen.
Bevorzugt kann die vorausbestimmte und/oder im Verfahren bestimmbare Situationsbildungsvorschrift das Bilden der Daten repräsentierend eine neue, ein vorgegebenes Merkmal, insbesondere Parameter aufweisender Situation vorgeben.
Insbesondere kann die Situationsbildungsvorschrift zumindest ein erstes Kriterium in Bezug auf die Häufigkeit (auch zu verstehen als „Seltenheit“) der einer oder zwei von den zumindest zwei der realen Umgebungen (realer Fahrzeuge) umfassen.
Insbesondere kann die besagte Situationsbildungsvorschrift eine statistische Häufigkeit, betreffend ein Vorkommen von bestimmten Fahrsituationen ermitteln und berücksichtigen. Insbesondere kann die Situationsbildungsvorschrift zumindest ein erstes Kriterium in Bezug auf die Häufigkeit (auch zu verstehen als „Seltenheit“) der einer oder zwei von den zumindest zwei der realen Umgebungen (realer Fahrzeuge) umfassen.
Beispielsweise können zum Erzeugen der virtuellen Umgebung zumindest vorrangig Datenabschnitte gewählt werden die (zumindest tendenziell bzw. vorwiegend) selten vorkommende Umgebungen eines realen Fahrzeugs, z.B. vergleichsweise selten vorkommende Fahrsituationen repräsentieren. Insbesondere kann die Situationsbildungsvorschrift zumindest ein Kriterium in Bezug auf die zu erzeugende virtuelle Umgebung umfassen.
Beispielsweise können zumindest vorrangig virtuelle Umgebungen erzeugt werden, die (zumindest tendenziell) in einem realen Fahrzeugbetrieb selten vorkommende Umgebungen eines realen Fahrzeugs repräsentieren (insbesondere nachbilden). Ferner können auch mehrere (z.B. prinzipiell ähnliche bzw. demselben, bestimmten Kriterium bzw. Muster entsprechende) Varianten zu einer virtuellen Umgebung. Eine virtuelle Umgebung kann insbesondere mehrere (z.B. prinzipiell ähnliche bzw. einem bestimmten Kriterium bzw. Muster entsprechende) Varianten der virtuellen Umgebung, z.B. mehrere mehr oder minder stark voneinander unterschiedliche Varianten eines Vorgangs in der Umgebung des (virtuellen) Fahrzeugs kennzeichnen.
Mit anderen Worten kann eine zur Entwicklung, Absicherung, Trainieren und/oder Betreiben eines Systems des Fahrzeugs gewünschte Situation, z.B. Fahrsituation oder zumindest ein Merkmal der Situation vorgegeben werden. Daraufhin können die Daten einer neuen virtuellen Situation auf Basis der Daten aus mehreren unterschiedlichen realen Situationen sozusagen „konstruiert“ bzw. „synthetisiert“ werden. Es kann auch nur ein bestimmtes Muster sein, zu welchem eine oder mehrere Varianten einer virtuellen Umgebung mit jeweils mehreren Varianten einer Situation, Fahrsituation erzeugt werden.
Beispielsweise kann die vorausbestimmte und/oder im Verfahren bestimmbare Vorschrift die Bildung der Daten einer neuen Situation vorgeben, die insbesondere bestimmte Objekte in der Umgebung, eine bestimmten Situation, insbesondere eine Fahrsituation, eine oder mehrere Anordnungen, Aktionen, Interaktionen zwischen einem Objekt in der Umgebung und dem Fahrzeug und/oder den Objekten in der Umgebung, und/oder Daten, insbesondere Eingangsdatendaten, Zustands und/oder Ausgangsdaten eines Systems des Fahrzeugs umfasst.
Besonders bevorzugt kennzeichnet die vorausbestimmte und/oder im Verfahren bestimmbare Vorschrift ein bestimmtes Muster, nach dem die neue Umgebung, insbesondere eine neue Situation, erzeugt werden kann.
Beispielsweise können Daten zu einer neuen (im Verfahren gebildeten, vielleicht nie in der physikalischen Welt stattgefundenen) Situation ermittelt werden, bei der sich beispielsweise zwei Motorräder in dem Blind-Spot des Fahrzeugs befinden, das Fahrzeug gleichzeitig von zwei Seiten überholen oder zu eng zueinander fahren.
Alternativ oder zusätzlich kann ein erstes Objekte (auch zu verstehen als Datenabschnitte die mit den entsprechenden Objekten korrespondieren), das es in einer ersten Situation gegeben hat, zumindest teilweise entfernt, und/oder durch ein zweites Objekte (auch zu verstehen als Datenabschnitte die mit den entsprechenden Objekten korrespondieren) aus einer zweiten Situation ersetzt werden oder mit diesem zum Erzeugen eines neuen Objekts zusammengeführt werden.
Besonders bevorzugt wird die zumindest eine neue Umgebung, insbesondere Situation abhängig von den (bereits ermittelten bzw. verarbeiteten) Outputdaten eines Systems auf eine reale Umgebung oder eine neue Umgebung und/oder abhängig von dem Betrieb des neuronalen Netzes erzeugt.
Beispielsweise kann ein neuronales Netz, insbesondere für sich selbst und/oder für einen neues Lernzyklus, eine Definition einer Triggerbedingung, eine Auswahl der Datenabschnitte, eine Kombination der Datenabschnitte, ein Erzeugen der Daten der zumindest einer neuen Umgebung (mit-) bestimmen oder steuern.
In einer weiteren Ausführungsform umfasst die Erfindung den Schritt des Erzeugens der virtuellen Umgebung aus den zumindest zwei Datenabschnitten gemäß einer Situationsbildungsvorschrift aus den zumindest zwei Datenabschnitten durch hinzufügen, ersetzen, integrieren und/oder zusammenführen von Objekten, Teilen von Objekten, Raumteile in Relation zu dem realen Fahrzeug, Aktionen, Aktionsparameter und/oder Verhalten aus den zumindest zwei Datenabschnitten.
Insbesondere umfasst die Erfindung, dass Daten zu einem Objekt innerhalb der Daten der neuen Umgebung modifiziert wird. Besonders bevorzugt werden die Daten zu einem Objekt innerhalb der Daten der neuen Umgebung aus zumindest zwei Datenabschnitten kennzeichnend zumindest zwei unterschiedliche Objekte aus den zumindest zwei Datenabschnitten erzeugt.
Beispielsweise können zu einem Fußgänger aus einer ersten Umgebung (eines ersten Fahrzeugs) Datenabschnitte repräsentierend unterschiedliche Köpfe bzw. Gesichter aus einer oder mehreren zweiten Umgebungen hinzugefügt werden.
Beispielsweise kann zu einem Fahrzeug ein Anhänger hinzugefügt werden.
Daraufhin können (z.B. mittels eines sogenannten Reprozessierens) Outputdaten eines bestimmten Systems des Fahrzeugs ermittelt werden. Diese können beispielsweise für die Performance eines bestimmten Verfahrens bzw. Parameters des Verfahrens und/oder Risiken, die bei einem realen Einsatz des bestimmten Verfahrens in realen Fahrzeugen zu erwarten sind kennzeichnend sein.
Auch kann auf Basis der Daten der neuen Umgebungen das Trainieren zumindest eines neuronalen Netzes erfolgen.
In einer weiteren vorteilhaften Ausführungsform umfasst das Verfahren das Verändern der zumindest einen Triggerbedingung, zumindest eines Merkmals der virtuellen Umgebung und/oder der Situationsbildungsvorschrift.
Besonders bevorzugt wird zumindest eine Triggerbedingung zum Ermitteln zumindest eines der Datenabschnitte (z.B. die Vorschrift zum Erfassen einer realen Umgebung eines realen Fahrzeugs), ein Merkmal einer zu ermittelnden neuen Umgebung, und/oder die Situationsbildungsvorschrift verändert werden.
Diese kann abhängig von den (bereits ermittelten bzw. verarbeiteten) Outputdaten und/oder abhängig von dem Betrieb des neuronalen Netzes verändert werden.
Beispielsweise beeinflusst oder steuert das neuronale Netz die Erzeugung, Eigenschaften, Konfiguration, Aktionen, Reaktionen von neuen Situationen. Beispielsweise erfolgt ein Hinzufügen, Ersetzen und/oder Integrieren zumindest eines ersten Datenabschnitts, insbesondere kennzeichnend ein erstes Objekt, einen ersten Raumteil, einen ersten Verhaltensparameter in und/oder mit einem zweiten Datenabschnitt, insbesondere kennzeichnend ein zweites Objekt, einen zweiten Raumteil, einen zweiten Verhaltensparameter abhängig von den (bereits ermittelten bzw. verarbeiteten) Outputdaten; und/oder abhängig von dem Betrieb des neuronalen Netzes.
Dabei kann das neuronale Netz bereits zumindest teilweise trainiert sein oder sich im Vorgang des Trainierens befinden;
Bevorzugt kann das neuronale Netz entscheiden oder mitentscheiden, welche neue Umgebungen, insbesondere Objekte, Kombinationen oder Konstellationen von Objekten, Verhalten von Objekten, Situationen erforderlich oder vorteilhaft sind. Dies kann von dem neuronalen Netz im Modus eines rekursiven Trainierens erfolgen.
Beispielsweise kann das neuronale Netz sich bestimmte „Datenabschnitte“, z.B. aus mehreren Fahrzeugen, die bestimmten Kriterien, Mustern bzw. Triggerbedingungen entsprechen vorgeben. Mit anderen Worten kann abhängig von einem Output des neuronalen Netzes entschieden werden, welche Datenabschnitte, z.B. von welchen Objekten oder Situationen aus realen Fahrzeugen ermittelt werden sollen, die dann, insbesondere für eine bestimmte Anwendung, zweckmäßig kombinierbar sein werden.
In einem weiteren kombinierbaren Beispiel kann das neuronale Netz vorgeben, wie bzw. nach welchen Kriterien das Hinzufügen, Ersetzen und/oder Integrieren der Datenabschnitte erfolgen soll.
Es kann eine weitere (für eine weitere Verwendung, insbesondere für einen bestimme Verwendung, z.B. zum Trainieren eines neuronalen Netzes nützliche bzw. benötigte) neue Situation (z.B. eine dynamische Umgebung des Fahrzeugs) ermittelt werden.
Vorteil der Erfindung ist, dass verhältnismäßig schnell Daten zu neuen Situationen gewonnen werden können, die so nur in mehreren Jahrzenten bzw. Milliarden von Fahrkilometer vorkommen würden. Es ergibt sich ein besonderer Vorteil für die Entwicklung, Absicherung, Trainieren und/oder Betreiben eines Systems des Fahrzeugs zum zumindest teilweise automatisierten Fahren.
Eine weitere vorteilhafte Ausführungsform der Erfindung ist die Verwendung einer nach einem der vorherigen Ansprüche erzeugten virtuellen Umgebung eines Fahrzeugs zum Test und/oder zur Absicherung eines Entwicklungsstands eines Systems eines Fahrzeugs.
Die virtuellen Umgebungen bzw. Information auf Basis der einer oder mehreren virtuellen Umgebungen kann dafür bereitgestellt und/oder verwendet werden:

• zum Test und/oder Absicherung eines Entwicklungsstands eines Systems eines Fahrzeugs.
• zum Ermitteln zumindest eines Performanceindikators, z.B. KPI des Systems des Fahrzeugs.
• zum Nachweis einer positiven Risikobilanz des Systems des Fahrzeugs, insbesondere für einen Rückschluss auf die erwartete Performance in Bezug auf reale Objekte.
• zum Betreiben eines weiteren Fahrzeugs, z.B. einer Funktionalität eines weiteren Fahrzeugs.
• zum Trainieren eines neuronalen Netzes, wobei die resultierenden Lerndaten (Gewichtsdaten, Bias Terms, Checkpoints) insbesondere zum Betreiben eines realen Fahrzeugs einsetzbar sind.
• zum Freischalten und/oder Sperren von Leistungsmerkmalen zumindest eines Fahrzeugs, insbesondere mit dem gleichen oder ähnlichen Systemen des Fahrzeugs.
• zum Freischalten und/oder Sperren von (bestimmten) realen Reaktionen des Systems des Fahrzeugs für künftige (reale) Situationen die der zumindest einer neuen Situation hinreichend ähnlich sind.
• zum Verändern einer digitalen Karte und/oder der Daten zur Interpretation einer digitalen Karte, insbesondere zur Freigabe, Sperrung bestimmter Fahrbahnabschnitte für die Ausführung bestimmter Leistungsmerkmale, insbesondere bestimmter Reaktionen auf bestimmte reale Situationen die der zumindest einer neuen Situation hinreichend ähnlich sind.

Ferner umfasst die Erfindung die oben genannten oder weitere Systeme bzw. Funktionalitäten in Fahrzeugen oder Systeme bzw. Funktionalitäten zum Betreiben von Fahrzeugen, die auf Basis der zumindest einer virtuellen Umgebung entwickelt, abgesichert, trainiert, ausgeführt bzw. ausführbar gemacht werden.
Eine weitere vorteilhafte Ausführungsform der Erfindung ist die Verwendung, insbesondere das Betreiben, einer nach den Merkmalen der Erfindung erzeugten virtuellen Umgebung eines Fahrzeugs zum Test und/oder zur Absicherung eines Entwicklungsstands eines Systems eines Fahrzeugs. Das System des Fahrzeugs kann ein System zur zumindest teilautomatisierte Fahren eines Fahrzeugs sein.
Beispielsweise wird ein System des Fahrzeugs (als ein möglicher Teil des erfindungsgemäßen Systems) abhängig von der einen oder mehreren (bevorzugt einer Vielzahl) von virtuellen Umgebungen betrieben. Dabei können (sehr schnell, günstig und ungefährlich) Daten gewonnenen werden, die auch kennzeichnend sind für das Verhalten des Systems des Fahrzeugs in vergleichbaren realen Umgebungen des Fahrzeugs.
Beispielsweise handelt es sich bei dem System des Fahrzeugs um ein Fahrerassistenzsystem oder System zur Ausführung oder Unterstützung einer zumindest teilweise automatisierten Längsführung, Querführung, Manöverausführung des Fahrzeugs, z.B. ein System zum zumindest teilweise automatisierten Fahren und/oder Parken.
Beispielsweise können auf Basis der Datenabschnitte die einer realen Situation entsprechen, Outputdaten eines (des originalen und/oder eines alternativen) Systems des Fahrzeugs gewonnen werden die sich bei einer Veränderung bzw. einer Variante der Situation ergeben würden.
Eine weitere vorteilhafte Ausführungsform der Erfindung ist die Verwendung der erzeugten virtuellen Umgebung eines Kraftfahrzeugs zum Trainieren eines künstlichen neuronalen Netzes. Beispielsweise kann ein neuronales Netz zum Betreiben des zumindest teilweise automatisierten Fahrens mittels eine einen oder mehreren virtuellen Umgebungen trainiert werden.
Gemäß eines weiteren Aspekts umfasst die Erfindung ein oder mehrere Fahrzeuge zum Erzeugen einer virtuellen Umgebung umfassen. Das (reale) Fahrzeug kann eingerichtet sein, eine Triggerbedingung, insbesondere die Triggerbedingung nach einem oder mehreren in diesem Dokument beschriebenen Merkmalen zu empfangen, auszuführen und/oder abhängig von der Triggerbedingung ermittelte Datenabschnitte an eine beabstandet angeordnete Recheneinheit zu übermitteln. Bevorzugt handelt es sich zumindest bei dem mittels der virtuellen Umgebung zu entwickelnden Fahrzeug um ein zumindest teilweise automatisiert fahrbares Fahrzeug. Bei diesem Fahrzeug kann es sich um ein im Verfahren zumindest teilweise virtuell oder durch eine oder mehrere Vorrichtungen dargestelltes bzw. repräsentiertes Fahrzeug handeln.
Der Begriff „Fahrzeug“ im Rahmen dieses Dokuments ist insbesondere als ein Kraftfahrzeug zu verstehen, insbesondere ein PKW, LKW, ein Zweirad, z.B. Motorrad, ein Fahrrad. Beispielsweise kann zumindest ein oder zumindest zwei der realen Fahrzeuge Kraftfahrzeuge, insbesondere Kraftfahrzeuge in einem für diese typischen Fahrbetrieb auf öffentlichen Straßen Kundenbetrieb sind. Alternativ oder zusätzlich kann es sich bei den realen Fahrzeugen um Fahrzeuge unterschiedlicher Arten oder Typen handeln. Beispielsweise kann zumindest ein reales Fahrzeug ein Spezialfahrzeug, ein ferngesteuertes Fahrzeug oder eine Drohne sein. Daraus resultieren mehrere in diesem Dokument beschriebene sowie weitere für den Fachmann leicht nachvollziehbare Vorteile. Bei den (realen) Fahrzeugen kann es sich um überwiegend oder ganz manuell fahrbaren oder gefahrenen Fahrzeugen handeln. Das optional vorgesehene, virtuelle (mit der virtuellen Umgebung betreibbare) Fahrzeug kann ein zumindest teilweise automatisiert fahrbares Fahrzeug sein.
Gemäß eines weiteren Aspekts umfasst die Erfindung ein System zum Erzeugen einer virtuellen Umgebung. Das System kann ein oder mehrere (reale) Fahrzeuge (bevorzugt eine Vielzahl von Fahrzeugen), eine beabstendete, insbesondere stationäre Recheneinheit, z.B. ein Backend umfassen. Bei den (realen) Fahrzeugen kann es sich um Fahrzeug (bevorzugt eine Vielzahl von in einem Kundenbetrieb befindlicher) Fahrzeuge mit Merkmalen des oben beschriebenen Fahrzeugs handeln. Ferner kann das System eine stationäre oder im Fahrbetrieb betreibbare Vorrichtung, insbesondere umfassend ein zumindest teilweise separat von einem Fahrzeug betreibbares (reales oder simuliertes) Steuergerät des Fahrzeugs umfassen. Ferner kann das System ausgestaltet sein zur Verarbeitung der Datenabschnitte, insbesondere zum Erzeugen der virtuellen Umgebung eines Fahrzeugs.
Durch die Erfindung kann ein erheblicher Vorteil hinsichtlich Kosten, Aufwand bei der Entwicklung und Markteinführung von modernen Fahrzeugen erreicht werden.
Außerdem kann ein erheblicher Vorteil betreffend die Umweltverträglichkeit der Entwicklung, Absicherung bzw. Markteinführung der Fahrzeuge sowie ein entsprechender Vorteil betreffend das Image des Automobilherstellers ergeben, da eine extrem große, sonst erforderliche Laufleistung von Versuchsfahrzeugen mittels der Erfindung zumindest teilweise entfallen bzw. ersetzt werden kann. Ferner kann die Funktionalität, Performance und/oder Sicherheit sowohl des resultierenden (mittels virtueller Umgebungen entwickelter abgesicherter und/oder trainierten) Fahrzeuge erhöht werden.
Die Erfindung wird nachfolgend ohne Einschränkung der Allgemeinheit anhand eines Ausführungsbeispiels unter Zuhilfenahme der beigefügten Figur beschrieben. Es wird darauf hingewiesen, dass alle in der vorliegenden Beispielbeschreibung beschrieben Merkmale untereinander und/oder mit den oben beschriebenen Merkmalen kombinierbar sind.
Die Teile (a), (b), (c), sowie (d) der Figur zeigen:

(a) eine erste reale Umgebung RU1 eines realen Fahrzeugs RF1.
(b) eine zweite reale Umgebung RU2 eines realen Fahrzeugs RF2.
(c) eine beispielhafte virtuelle Umgebung RV12a.
(d) eine weitere beispielhafte virtuelle Umgebung RV12b.

In einem Schritt des Verfahrens werden zumindest zwei Datenabschnitte DA1 und DA2 ermittelt. Einer der Datenabschnitte DA1 repräsentiert zumindest einen Teil einer realen Umgebung RU1 eines realen Kraftfahrzeugs RF1 Einer der Datenabschnitte DA2 repräsentiert zumindest einen Teil einer anderen realen Umgebung RU2 eines (anderen) realen Kraftfahrzeugs RF2. Bevorzugt werden eine Vielzahl, z.B. mehr als 4, 8, 16 unterschiedlichen Datenabschnitten DA1, DA2, ... zu unterschiedlichen realen Umgebungen RU1, RU2, ... ermittelt.
Unter der (realen bzw. virtuellen) Umgebung können statische und/oder dynamische Objekte in einem bestimmten Umkreis (in der Figur gestrichelt dargestellt) des jeweiligen realen Fahrzeugs verstanden werden. Beispielsweise handelt es sich um einen Umkreis von 10, 20, 50, 100 Meter. Es können jeweils Objekte sein, die für die aktuelle Führung und/oder Sicherheit des jeweiligen Fahrzeugs mehr oder minder unmittelbar relevant ist. Beispielsweise muss die Umgebung nicht alle, sondern bevorzugt nach bestimmten Kriterien ausgewählte, in der Umgebung des Fahrzeugs befindliche Objekte umfassen. Bevorzugt können sich die Datenabschnitte nur oder vorwiegend auf bestimmte, z.B. zum Erzeugen einer (bestimmten) virtuellen Umgebung relevante Objekte beziehen.
Der zumindest ein oder zwei des besagten Datenabschnitte DA1, DA2 können sich auf bestimmte Fahrsituationen beziehen bzw. diese repräsentieren. Insbesondere kann die zumindest eine Umgebung des (realen) Fahrzeugs RU1 bzw. RU2 eine Fahrsituation umfassen oder sein.
Der Datenabschnitt DA1 repräsentiert eine Bewegung der jeweiligen Objekte O11, O22, O33 und/oder eine Veränderung der Fahrsituation (die sich z.B. durch die Objekte O11, O22, O33 und insbesondere das erstes reales Fahrzeug RF1 ergibt). Der Datenabschnitt DA2 repräsentiert eine Bewegung der jeweiligen Objekte O21, O22, O23 und/oder eine Veränderung der Fahrsituation (die sich z.B. durch die Objekte O21, O22, O23) und insbesondere das zweite reale Fahrzeug RF2 ergibt).
In einem Datenabschnitt DA1 bzw. DA2 kann jeweils ein Zeitintervall von 1, 5, 10, 13 Sekunden bzw. die Dauer eines Manövers (einschließlich jeweiliger Dynamik) repräsentiert sein. Die Datenabschnitte werden abhängig von den jeweiligen Triggerbedingungen ermittelt, insbesondere mittels einer Fahrzeugsensorik erfasst und insbesondere vorverarbeitet. Beispielsweise können bestimmte Objekte, Merkmale der Umgebung in einer bestimmten (sparsamen) Art und Weise dargestellt, kodiert bzw. als stellvertretende Parameter, Datenstrukturen, Vektorgrafiken, und/oder mathematische Funktionen repräsentiert werden.
Zumindest eine oder zwei Triggerbedingungen werden insbesondere derart gewählt, dass auf Basis der Datenabschnitte eine virtuelle Umgebung VU12a VU12b des Fahrzeugs die durch einen bestimmten Parameter, Merkmal, Muster, Art und/oder Fahrsituation gekennzeichnet ist, erzeugbar wird. Beispielsweise werden die Triggerbedingungen derart gewählt, dass Datenabschnitte DA1 bzw. DA2 zum Erzeugen einer virtuellen Umgebung VU11a bzw. VU12b (insbesondere eine bestimmte virtuelle Umgebung oder eine virtuelle Umgebung einer bestimmten Art) geeignet sind.
Beispielsweise kann eine Triggerbedingung ein Kriterium umfassen das dafür kennzeichnend ist, dass eine seltene, ungewöhnliche, unerwartete und/oder keinem typischen oder bekannten Muster entsprechende Fahrsituation repräsentiert wird.
Das Ermitteln der zumindest zwei Datenabschnitte erfolgt beispielsweise nicht gleichzeitig und somit zu unterschiedlichen Zeitpunkten. Das erste Kraftfahrzeug als das Objekt 012 und das zweite Kraftfahrzeug als das Objekt 021 hatten sich also in keiner der realen Umgebungen der Fahrzeuge RF1 oder RF2 nicht zur gleichen Zeit in Fahrtrichtung vor dem realen Kraftfahrzeug RF1 oder RF2 befunden.
Stattdessen wird das erste Kraftfahrzeug 012 zu einem ersten Zeitpunkt in der Umgebung des realen Kraftfahrzeugs RF1 erfasst und das zweite Kraftfahrzeug 021 wird zu einem zweiten Zeitpunkt in der Umgebung der realen Kraftfahrzeuge RF1 bzw. RF2 erfasst.
In einem weiteren Schritt des Verfahrens wird die virtuelle Umgebung aus den zumindest zwei Datenabschnitten erzeugt, indem die das erste Kraftfahrzeug K1 und das zweite Kraftfahrzeug K2 repräsentierenden Datenabschnitte, bevorzugt gemäß einer vorausbestimmten Situationsbildungsvorschrift, zusammengeführt werden.
Beispielsweise wird die virtuelle Umgebung VU12a abhängig, insbesondere auf Basis der Datenabschnitte DA1, DA2 jeweils repräsentierend die erste reale Umgebung RU1 und der zweiten realen Umgebung RU2, z.B. gemäß einer ersten Situationsbildungsvorschrift, erzeugt. Alternativ oder zusätzlich wird eine weitere virtuelle Umgebung VU12b abhängig, insbesondere auf Basis der Datenabschnitte repräsentierend die erste reale Umgebung RU1 und der zweiten realen Umgebung RU2 gemäß einer zweiten Situationsbildungsvorschrift erzeugt. Daher können auch auf Basis derselben Datenabschnitte DA1, DA2 zwei oder mehrere unterschiedliche virtuelle Umgebungen erzeugt werden. Beispielsweise können eine Vielzahl von virtuellen Umgebungen, insbesondere mit unterschiedlichen Parametern erzeugt werden.
Beispielsweise wird eine virtuellen Umgebung VU12a erzeugt umfassend ein bewegendes Objekt 012 aus der ersten realen Umgebung RU1, welches sich in Relation zum ersten realen Fahrzeug RF1 bewegt hat und ein weiteres bewegendes Objekt O23 aus der zweiten realen Umgebung RU2, welches sich in Relation zum zweiten realen Fahrzeug RF2 bewegt hat. Die Bewegung der Objekte O12 bzw. O23 ist durch eine beispielhafte Trajektorie bzw. eine zweite Position der Objekte O12' bzw. O23' veranschaulicht.
Im Ergebnis kann eine virtuelle Umgebung VU12a repräsentierend eine neue Fahrsituation erzeugt werden. Diese kann zumindest zwei Objekte 012, 023 bzw. deren Bewegung umfassen. Es können Objekte 012 bzw., O23 sein, die sich in Realität nie in die Nähe gekommen sind bzw. sich nie gesehen haben.
Beispielsweise wird (ggf. aus denselben Datenabschnitten DA1 bzw. DA2) eine (weitere) virtuelle Umgebung VU12b erzeugt. Bei dieser wird ein Parameter eines Objekt O23 aus einer realen Umgebung RU2, in diesem Beispiel die Art und/oder Größe des Objekts O23 verändert. In diesem Beispiel wird eine virtuelle Umgebung VU12b erzeugt, bei der aus realen Bewegungsdaten eines Motorrads O23 Daten bzw. ein Datenmodell die oder das eine (z.B. ebensolchen) Bewegung eines PKW repräsentieren erzeugt wurden.
Beispielsweise wird anstatt eines realen Objekts O23 einer bestimmten ersten Klasse (PKW, LKW, Traktor, Motorrad, etc.) und/oder mit einem bestimmten ersten Parameter (Größe, Form, Beschaffenheit) und/oder mit bestimmten ersten Bewegungsdaten aus einem Datenabschnitt DA1 bzw. DA2 in der virtuellen Umgebung VR12b ein Datenmodell eines Objekts einer bestimmten zweiten Klasse und/oder mit einem bestimmten zweiten Parameter und/oder mit bestimmten zweiten Bewegungsdaten verwendet (auch zu verstehen: verarbeitet). Somit kann eine (nahezu unbegrenzte) Vielfalt von (gewünschten) virtuellen Umgebungen) erzeugt werden.
Beispielsweise kann die virtuelle Umgebung dieselbe oder ähnliche Bewegung eines Objekts mit einem ersten Parameter bzw. einem Objekt einer ersten Art repräsentieren, wie diese in einer realen Umgebung von einem realen Objekt mit einem zweiten Parameter bzw. einem Objekt einer zweiten Art ausgeführt worden ist. Auch in diesem Beispiel können Daten zu einer Fahrsituation erzeugt werden die wie vorliegend eine extrem seltene Fahrsituation repräsentiert, die in Realität nur extrem aufwändig erzeugt oder nachgestellt werden könnte.
Beispielsweise umfasst das Verfahren ein Ermitteln von Triggerbedingungen (auch zu verstehen: von Parametern bzw. Kriterien nach welchen die Datenabschnitte ermittelt werden sollen) für reale Fahrzeuge, zum Erkennen bestimmter Arten von Fahrsituationen und Erfassen von Datenabschnitte die Zeitintervalle vor, während oder nach dem Auftritt der Fahrsituationen betreffen. Dies kann derart erfolgen, dass die zum Erzeugen der zumindest einer virtuellen Umgebung gewünschte bzw. erforderliche Datenabschnitte (passend) ermittelt, insbesondere erzeugt, werden. Diese können sozusagen „passend zusammengesucht“ und/oder „passend erzeugt“ werden. Bevorzugt wird eine virtuelle Umgebung repräsentierend eine (z.B. wählbare) bestimmte Fahrsituation bzw. eine Fahrsituation einer bestimmten (z.B. wählbaren) Art erzeugt.
Der Begriff „Fahrsituation“ kann im Rahmen des vorliegenden Dokuments z.B. als eine bestimmte durch eine Anordnung, Aktion, Interaktion, Fahrparameter von Verkehrsteilnehmern verstanden werden.
Insbesondere unterscheidet sich die Bedeutung des Begriffs „Situation“ bzw. „Fahrsituation“ von einer häufig umgangssprachlich verwendeten Bedeutung des Begriffs „Verkehrssituation“ welche vielmehr einen zusammenfassenden, allgemeinen Kategorien „freier Verkehr“, „dichter Verkehr“, „zähfließender Verkehr“, „Stau“, „Stauende“ etc. entspricht.
Insbesondere ist eine Fahrsituation (vielmehr) durch ein bestimmtes Muster (auch zu verstehen als ein Datenmuster), z.B. ein Muster kennzeichnend die Anordnung, Geschwindigkeit der Objekte und/oder Muster der Parameter die eine Fahrsituation als solcher gekennzeichnet. Auch kann die Fahrsituation durch ein räumliches Muster der sogenannten Freiräume in der Umgebung des Fahrzeugs gekennzeichnet sein.
Ferner kann die Fahrsituation einen oder mehrere Parameter der (im Zusammenhang mit dieser relevanten) Verkehrsregeln, Verkehrszeichen, Vorfahrten, Ampeln, Ampelphasen berücksichtigen.
Bevorzugt kann die zumindest eine Fahrsituation gekennzeichnet sein durch:

- eine (bestimmte) räumliche Verteilung der Verkehrsteilnehmer und/oder der Bewegungsparameter der Verkehrsteilnehmer, insbesondere ein Anordnungsmuster der Verkehrsteilnehmer in der Umgebung des (realen) Fahrzeugs,
- eine (bestimmte) räumliche Verteilung unbeweglicher Objekte in der Umgebung des Fahrzeugs,
- eine relative Position und/oder Bewegungsparameter zu bestimmten Arten von Spurenmarkierungen, Verkehrszeichen, Ampeln (nicht notwendigerweise zu bestimmten Ampeln, etc.),
- eine Information über die Vorfahrt des Fahrzeugs, insbesondere gegenüber bestimmten Verkehrsteilnehmern und/oder Verkehrsteilnehmern, die tatsächlich oder zumindest potentiell aus bestimmten Richtungen, z.B. einer querenden Straße rechts oder von links kommen oder kommen können,
- eine Information zu einer, z.B. einen Grenzwert überschreitenden, Handlung eines Verkehrsteilnehmers in der Umgebung des Fahrzeugs, z.B. Hupen, Lichthupe, Drängeln, Überholen des Fahrzeugs, ein Überholversuch und Dergleichen.

Bevorzugt kann es sich bei der zumindest einer Fahrsituation um eine, bestimmte Grenzwerte überschreitende Fahrsituation bzw. Fahrsituation, die durch bestimmte Grenzwerte überschreitende Parameter gekennzeichnet ist, handeln. Beispielsweise kann es sich bei der zumindest einer Fahrsituation um eine Fahrsituation mit einer unerwünschte bzw. gefährliche Annäherung an ein Objekt oder einen Verkehrsteilnehmer, eine einen Grenzwert überschreitenden Beschleunigungswert, eine unterwünschte Anordnung zu weiteren Verkehrsteilnehmern, etc. handeln. Bei der Fahrsituation kann es sich um eine (z.B. vergleichsweise selten vorkommende) Sondersituation oder eine gefährliche Fahrsituation handeln, z.B. eine Fahrsituation, für die ein erhöhtes Risiko ermittelt oder angenommen wird. Derartige Fahrsituationen können Mittel entsprechend definierter Triggerbedingungen (auch Parameter bzw. Kriterien der Triggerbedingungen) erkannt, insbesondere prädiziert werden und die Datenabschnitte zum Erzeugen einer virtuellen Umgebung eines Fahrzeugs, insbesondere einer virtuellen Umgebung mit einem bestimmten Parameter bzw. virtueller Umgebung einer bestimmten Art bzw. Muster aus realen Fahrzeugen ermitteln.

Claims

Verfahren zum Erzeugen einer virtuellen Umgebung (VU12a, VU12b) eines Fahrzeugs, wobei das Verfahren die folgenden Schritte umfasst: • Ermitteln von zumindest zwei Datenabschnitten (DA1, DA2), die jeweils zumindest einen Teil einer realen Umgebung (RU1, RU2) eines realen Fahrzeugs (RF1, RF2) repräsentieren, und • Erzeugen der virtuellen Umgebung (VU12a, VU12b) abhängig von den zumindest zwei Datenabschnitten (DA1, DA2).
Verfahren nach Anspruch 1, wobei das Verfahren die folgenden Schritte umfasst: • Bereitstellen von zumindest einer Triggerbedingung an das ein oder mehrere reale Fahrzeuge (RF1, RF2), und • Ermitteln der zumindest zwei Datenabschnitte (DA1, DA2) in Abhängigkeit von der zumindest einen Triggerbedingung.
Verfahren nach Anspruch 2, wobei die das Verfahren die folgenden Schritte umfasst: • Bereitstellen von zumindest zwei jeweils unterschiedlichen Triggerbedingungen an das reale Fahrzeug (RF1, RF2), und • Ermitteln der zumindest zwei Datenabschnitte (DA1, DA2) in Abhängigkeit von den jeweils unterschiedlichen Triggerbedingungen.
Verfahren nach einem der vorherigen Ansprüche, wobei das Verfahren den folgenden Schritt umfasst: • Übertragen der Datenabschnitte (DA1, DA2) zu einer von dem einen oder mehreren realen Fahrzeugen (RF1, RF2) beabstandet befindlichen Recheneinheit.
Verfahren nach einem der vorherigen Ansprüche, wobei das Verfahren den folgenden Schritt umfasst: • Erzeugen der virtuellen Umgebung (VU12a, VU12b) abhängig von den zumindest zwei Datenabschnitten (DA1, DA2) gemäß einer Situationsbildungsvorschrift aus den zumindest zwei Datenabschnitten (DA1, DA2).
Verfahren nach Anspruch 5, wobei das Verfahren den folgenden Schritt umfasst: • Erzeugen der virtuellen Umgebung (VR12a, VU12b) gemäß einer Situationsbildungsvorschrift aus den zumindest zwei Datenabschnitten (DA1, DA2) durch Hinzufügen, Ersetzen, Integrieren und/oder Zusammenführen von Objekten (011, O22, O33, O21, O22, O23), Teilen von Objekten (011, O22, O33, O21, O22, O23), Raumteilen innerhalb einer realen Umgebung (RU1, RU2) in Relation zu dem realen Fahrzeug (RF1, RF2), Aktionen, insbesondere Manövern, Aktionsparameter und/oder Verhalten die jeweils in den zumindest zwei Datenabschnitten (DA1, DA2) repräsentiert sind.
Verwendung einer nach einem der vorherigen Ansprüche erzeugten virtuellen Umgebung (VR12a, VU12b) eines Fahrzeugs zum Test und/oder zur Absicherung eines Entwicklungsstands eines Systems eines Fahrzeugs.
Verwendung nach Anspruch 7, wobei das System des Fahrzeugs ein System zum zumindest teilautomatisierten Fahrer des Fahrzeugs ist.
Verwendung einer nach einem der Ansprüche 1 bis 6 erzeugten virtuellen Umgebung (VR12a, VU12b) eines Fahrzeugs zum Trainieren eines künstlichen neuronalen Netzes.
System zum Erzeugen einer virtuellen Umgebung (VR12a, VR12b) eines Fahrzeugs, wobei das System eingerichtet ist zum Ermitteln von zumindest zwei Datenabschnitten (DA1, DA2), die jeweils zumindest einen Teil einer realen Umgebung (RU1, RU2) eines realen Fahrzeugs (RF1, RF2) repräsentieren; ferner eingerichtet ist: zum Erzeugen einer virtuellen Umgebung (VU12a, VU12b) abhängig, insbesondere auf Basis von den zumindest zwei Datenabschnitten (DA1, DA2).