-
Die Erfindung betrifft ein Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs mittels einer Fernsteuereinrichtung, wobei in Abhängigkeit von mittels zumindest eines Umfeldsensors des Kraftfahrzeugs bereitgestellten Sensordaten ein Umgebungsbild zumindest eines Teils der Umgebung des Kraftfahrzeugs aus einer bestimmten Perspektive bereitgestellt wird und das erste Umgebungsbild mittels der Fernsteuereinrichtung angezeigt wird. Zur Erfindung gehören auch ein Computerprogrammprodukt, eine Fernsteuereinrichtung und ein Fahrerassistenzsystem für ein Kraftfahrzeug.
-
Aus dem Stand der Technik sind diverse Fernsteuersysteme zum Fernsteuern eines Kraftfahrzeugs bekannt. Zum einen gibt es dabei Systeme, bei denen sich der Benutzer zur Fernsteuerung des Kraftfahrzeugs in vorbestimmter Nähe zum Kraftfahrzeug befinden muss, insbesondere so, dass sich das Kraftfahrzeug in Sichtreichweite zum Benutzer befindet. Derartige Systeme kommen hauptsächlich im Zusammenhang mit automatisch vom Kraftfahrzeug durchgeführten Parkvorgängen zum Einsatz, bei welchen ein Benutzer außerhalb des Kraftfahrzeugs einen solchen automatischen Einparkvorgang über eine Fernbedienung starten und überwachen kann.
-
In diesem Zusammenhang beschreibt die
US 2016/0096549 A1 ein Verfahren zum Fernsteuern eines Kraftfahrzeugs mit einem Anhänger. Dabei kann ein Benutzer mittels einer Fernbedienung die Kraftfahrzeug-Anhänger-Anordnung ferngesteuert fahren. Hierzu können entsprechende Steuerelemente, insbesondere auch als virtuelle Anzeige solcher Steuerelemente, durch die Fernbedienung bereitgestellt sein, um beispielsweise das Gaspedal, das Bremspedal, einen Gangwahlhebel und so weiter fernzubedienen. Weiter kann einem Benutzer dabei auch ein Videostream eines 360-Grad-Rundumsichtsystems des Kraftfahrzeugs angezeigt werden.
-
Weiterhin beschreibt die
DE 10 2009 041 587 A1 ein Verfahren zum Unterstützen eines Fahrers beim Überwachen eines autonomen Parkvorgangs eines Kraftfahrzeugs, wobei sich der überwachende Benutzer ebenfalls während des autonomen Parkvorgangs außerhalb des Kraftfahrzeugs befinden kann. Auch hier können mittels zumindest einer Kamera des Kraftfahrzeugs Bilddaten über einen Umgebungsbereich des Kraftfahrzeugs gewonnen werden und diese oder daraus berechnete Bilddaten an eine Fernbedienung des Benutzers zum Anzeigen übermittelt werden. Sind mehrere Kameras vorgesehen, kann der Benutzer über die Fernbedienung eine der mehreren Kameras auswählen und dann werden dem Benutzer die Bilddaten der ausgewählten Kamera mittels der Fernbedienung angezeigt. Alternativ können die Ansichten der verschiedenen Kameras auch dem Benutzer über die Fernbedienung in einem vorbestimmten zeitlichen Wechsel automatisch angezeigt werden. Bei einer weiteren Alternative ist es vorgesehen, dass dem Fahrer mittels der Fernbedienung der Umgebungsbereich des Kraftfahrzeugs aus einer Vogelperspektive angezeigt wird.
-
Darüber hinaus gibt es auch Fernbedienungssysteme, bei welchen sich der Benutzer nicht in vorbestimmter Nähe zum Kraftfahrzeug befinden muss, sondern auch sehr weit vom Kraftfahrzeug entfernt sein kann, zum Beispiel in einer anderen Stadt, oder sogar in einem anderen Land. Ein solches System ist beispielsweise im Artikel „CES 2018: Phantom Auto Demonstrates First Remote-Controlled Car on Public Roads“ von Mark Harris, veröffentlicht am 10.01.2018 unter https://spectrum.ieee.org/cars-thatthink/transportation/self-driving/ces-2018-phantom-auto-demonstrates-firstremotecontrolled-car-on-public-roads“ beschrieben. Auch hierbei kann das von einer Kraftfahrzeugkamera aufgenommene Umgebungsvideo als Livestream einem entfernten und das Kraftfahrzeug fernbedienenden Benutzer angezeigt werden.
-
Gerade im letztgenannten Fall, in welchem sich also ein Benutzer unter Umständen sehr weit entfernt vom fernzusteuernden Kraftfahrzeug befinden kann, ist es besonders wichtig, für den Fall, dass der Benutzer dieses Kraftfahrzeug aus der Entfernung fernsteuern muss, dem Benutzer umfassende Informationen über die Umgebung es Kraftfahrzeugs zu liefern.
-
Im Allgemeinen sind zudem bereits hoch automatisiert fahrende Kraftfahrzeuge aus dem Stand der Technik bekannt. Dabei werden mittlerweile Kraftfahrzeuge verschiedenster Autonomielevel getestet. Allerdings ist es abzusehen, dass zumindest in der nächsten Zeit ein Autonomielevel der Stufe 5, bei welchem also überhaupt kein Fahrer oder eine überwachende Person mehr anwesend sein muss, nicht umsetzbar sein wird. Aktuell können also auch Kraftfahrzeuge mit sehr hohen Autonomieleveln dennoch in Situationen geraten, in welchen eine manuelle Interaktion durch einen Benutzer erforderlich ist. Diese Situationen können zum Beispiel kritische Manöver darstellen, wie zum Beispiel Autobahnausfahrten, zusammenführende Fahrspuren, Unfälle, das Bereitstellen eines Korridors für Einsatzfahrzeuge, Baustellen oder auch einfachere Fahrerübernahmen zum Einparken in eine Parklücke oder in Parkhäusern. Auch bei solchen Arten der manuellen Übernahme durch einen Benutzer des automatisch fahrenden Kraftfahrzeugs kann die durch den Benutzer durchgeführte Steuerung des Kraftfahrzeugs aus der Ferne erfolgen. Dabei kann eine solche Übernahme sowohl beim Stillstand des Kraftfahrzeugs oder bei langsamer Fahrt, wie zum Beispiel bei einem Einparkmanöver, erforderlich sein, andererseits aber auch in durchaus kritischeren Situationen bei schneller Fahrt des Kraftfahrzeugs, zum Beispiel auf einer Autobahn. Daher ist es wünschenswert, eine derartige Übernahme für den Benutzer so einfach wie möglich und insgesamt so sicher wie möglich zu gestalten.
-
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs mittels einer Fernsteuereinrichtung, ein Computerprogrammprodukt, eine Fernsteuereinrichtung und ein Fahrerassistenzsystem für ein Kraftfahrzeug bereitzustellen, welche eine möglichst sichere Fernsteuerung des Kraftfahrzeugs durch den kraftfahrzeugexternen und entfernt befindlichen Benutzer ermöglichen.
-
Diese Aufgabe wird gelöst durch ein Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs, durch ein Computerprogrammprodukt, durch eine Fernsteuereinrichtung und durch ein Fahrerassistenzsystem mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Figuren.
-
Bei einem erfindungsgemäßen Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs mittels einer Fernsteuereinrichtung wird in Abhängigkeit von mittels zumindest eines Umfeldsensors des Kraftfahrzeugs bereitgestellten Sensordaten ein erstes Umgebungsbild zumindest eines Teils der Umgebung des Kraftfahrzeugs aus einer bestimmten Perspektive bereitgestellt und das erste Umgebungsbild mittels der Fernsteuereinrichtung angezeigt. Weiterhin wird die bestimmte Perspektive aus mehreren wählbaren Perspektiven als eine von einer Position des mindestens einen Umfeldsensors unabhängigen Perspektive in Abhängigkeit von einer mittels der Fernsteuereinrichtung erfassten, durch den Benutzer getätigten Benutzereingabe ausgewählt.
-
Mit anderen Worten sind die vom Benutzer mittels der Fernsteuereinrichtung wählbaren Perspektiven, aus welchen dem Benutzer das entsprechende Umgebungsbild der Umgebung des Kraftfahrzeugs angezeigt werden kann, nicht auf die durch die Positionen des einen oder der mehreren Umfeldsensoren des Kraftfahrzeugs bereitgestellten Perspektiven beschränkt, sondern können zum Beispiel im Prinzip im dreidimensionalen Raum frei wählbar sein. Die Ansicht beziehungsweise Repräsentation der Umgebung aus der gewählten Perspektive kann dann durch bekannte Verfahren aus den vom zumindest einen Umfeldsensor bereitgestellten Sensordaten berechnet werden. Dadurch ist vorteilhafterweise dem Benutzer deutlich mehr Flexibilität hinsichtlich der Wahl der Perspektive auf die Kraftfahrzeugumgebung bereitgestellt, wodurch gerade in Kombination mit einem Fernbedienungssystem, bei welchem der Benutzer das Kraftfahrzeug aus der Entfernung unter Umständen in sehr kritischen Fahrsituationen fernsteuern muss, die Sicherheit enorm erhöht werden kann, da durch die deutlich flexiblere Wahl der Perspektive dem Benutzer ein Umgebungsbild angezeigt werden kann, welches der Benutzer auf die Erfordernisse der Situation geeignet angepasst wählen kann und dabei nicht auf eine definierte Anzahl vorbestimmter, insbesondere durch die Positionen der Kraftfahrzeugsensoren vorbestimmter, Perspektiven beschränkt ist.
-
Bei einem Fernsteuern des Kraftfahrzeugs können dabei sowohl ein Aktivieren einer automatisch vom Kraftfahrzeug durchzuführenden Funktion aus der Entfernung verstanden werden, sowie auch ein manuelles ferngesteuertes Fahren des Kraftfahrzeugs. Vorzugsweise handelt es sich beim fernzusteuernden Kraftfahrzeug um ein automatisch fahrendes Kraftahrzeug, insbesondere des Autonomielevels zwei, drei oder vier. Vorzugsweise findet eine Fernsteuerung des Kraftfahrzeugs durch den Benutzer nur in einer Übernahmesituation statt, das heißt wenn das aktuell automatisch fahrende Kraftfahrzeug den Benutzer zur Übernahme der Fahrfunktionen auffordert. Dies kann in den eingangs beschriebenen Situationen der Fall sein.
-
Im Zusammenhang mit der vorliegenden Erfindung muss sich beim Fernsteuern des Kraftfahrzeugs der Benutzer nicht in vorbestimmter Nähe zum Kraftfahrzeug befinden, sondern kann vom Kraftfahrzeug beliebig weit entfernt sein. Auch muss sich das Kraftfahrzeug nicht im Sichtbereich des Benutzers befinden. Die Kommunikation zwischen dem Kraftfahrzeug und der Fernsteuereinrichtung kann dabei prinzipiell durch jeden beliebigen Kommunikationsstandart erfolgen, vorzugsweise durch einen Mobilfunkstandard. Besonders geeignet hierfür ist aktuell vor allem der Mobilfunkstandard 4G beziehungsweise LTE(Long Term Evolution), insbesondere LTE-advanced. Hierdurch lassen sich aktuell die größten Datenübertragungsgeschwindigkeiten erreichen und dadurch Latenzzeiten minimieren. Zukünftig lassen sich aber auch andere, weiter verbesserte Mobilfunkstandards, wie zum Beispiel der geplante Mobilfunkstandard 5G oder andere für die Datenübertragung zwischen dem Kraftfahrzeug und der Fernsteuereinrichtung verwenden.
-
Weiterhin kann die Fernsteuereinrichtung beliebige Formen annehmen. Diese kann beispielsweise als ein mobiles Gerät ausgestaltet sein, wie zum Beispiel als ein Smartphone oder ein anderes mobiles Kommunikationsgerät, oder auch als eine nicht mobile Kommunikationseinrichtung, wie zum Beispiel ein Desktop-Rechner beziehungsweise Heimcomputer des Benutzers. Zum Anzeigen des zumindest einen ersten Umgebungsbilds weist die Fernsteuereinrichtung zumindest eine Anzeigeeinrichtung beziehungsweise ein Display auf.
-
Der zumindest eine Umfeldsensor ist vorzugsweise als mindestens eine Kamera ausgebildet. Zur Umfelderfassung und zur Bereitstellung der Sensordaten können aber auch alternativ oder zusätzlich andere Sensorarten verwendet werden, zum Beispiel LIDAR(Light Detection And Ranging)-Sensoren und/oder Radarsensoren und/oder Ultraschallsensoren und beliebige Kombinationen davon.
-
Um die Umgebung für den Benutzer aus jeder beliebigen gewählten Perspektive darstellbar zu machen, ist es, wie es später näher beschrieben wird, bevorzugt, dass auf Basis der erfassten Sensordaten eine 3D-Rundumsicht um das Kraftfahrzeug bereitstellbar ist. Dies lässt sich sowohl durch einen einzigen Umfeldsensor als auch durch mehrere Umfeldsensoren ermöglichen. Beispielsweise kann auf dem Dach des Kraftfahrzeugs eine 360-Grad-Kamera installiert sein und/oder ein 360-Grad-LIDAR-Sensor, um die Umgebung um das Kraftfahrzeug im Vollwinkel zu erfassen. Bevorzugt ist es jedoch, dass zur Bereitstellung der Sensordaten mehrere Umfeldsensoren, insbesondere mehre Kameras, verwendet werden, die außenseitig um das Kraftfahrzeug herum angeordnet sind, zum Beispiel eine Frontkamera an der Fahrzeugfront, eine Heckkamera am Heck des Fahrzeugs sowie zum Beispiel eine linke Spiegelkamera im Bereich des linken Außenspiegels des Kraftfahrzeugs und eine rechte Spiegelkamera im Bereich des rechten Außenspiegels des Kraftfahrzeugs. Eine jeweilige dieser Kameras ist vorzugsweise als Weitwinkelkamera, insbesondere als Fischaugenkamera ausgebildet. Eine jeweilige Kamera kann dazu ausgelegt sein, ein Sichtfeld mit einem Öffnungswinkel von 180 Grad in der Horizontalen bereitzustellen. Auch durch eine derartige Anordnung lässt sich die Umgebung des Kraftfahrzeugs in einem Vollwinkel um das Kraftfahrzeug erfassen und darauf basierend eine 3D-Rundumsicht um das Kraftfahrzeug durch Zusammenfügen und Fusionieren der einem gemeinsamen Erfassungszeitschritt zugeordneten Kamerabilddaten der jeweiligen Kameras erzeugen.
-
Einer Perspektive kann dabei zum einen ein Blickpunkt, insbesondere ein virtueller Blickpunkt, aus welchem die Umgebung betrachtet werden soll, zugeordnet sein, sowie auch eine Blickrichtung. Weiterhin soll unter einer von einer Position des mindestens einen Umfeldsensors unabhängigen Perspektive eine Perspektive verstanden werden, deren zugeordneter Blickpunkt auch von einer Position des mindestens einen Umfeldsensors verschieden sein kann. Beispielsweise können durch den Nutzer also auch Perspektiven gewählt werden, die nicht mit den Perspektiven, aus welchen die jeweiligen Kraftfahrzeugkameras die Umgebung aufnehmen, übereinstimmen.
-
Weiterhin kann die erfasste Benutzereingabe zur Auswahl der Perspektive eine Benutzereingabe darstellen, die einzig und allein zur Auswahl der Perspektive vorgesehen ist. Mit anderen Worten kann ein Benutzer eine Perspektive wählen oder auch ändern, ohne hierfür durch Fernsteuerung die Position und/oder Ausrichtung des Kraftfahrzeugs selbst ändern zu müssen. Durch die Benutzereingabe kann also eine bestimmte Perspektive innerhalb des Kraftfahrzeugkoordinatensystems gewählt oder geändert werden.
-
Bei einer vorteilhaften Ausgestaltung der Erfindung wird in Abhängigkeit von der gewählten Perspektive ein Ansichtsfenster auf einer definierten projektiven Fläche bestimmt und das erste Umgebungsbild als Teil einer aus den Sensordaten bereitstellbaren 3D-Rundumsicht um das Kraftfahrzeug in Abhängigkeit vom bestimmten Ansichtsfenster auf der definierten projektiven Fläche berechnet, sodass das erste Umgebungsbild den innerhalb des Ansichtsfensters liegenden Teil der Umgebung aus der gewählten Perspektive repräsentiert.
-
So können beispielsweise die bereitgestellten Sensordaten vom Blickpunkt der gewählten Perspektive aus auf die definierte projektive Fläche projiziert werden und dadurch vorteilhafterweise das Umgebungsbild als Teil der bereitstellbaren gesamten 3D-Rundumsicht um das Kraftfahrzeug innerhalb des bestimmten Ansichtsfensters bereitgestellt werden. Die projektive Fläche kann zum Beispiel eine Ebene darstellen, die sich senkrecht zur Fahrzeughochachse erstreckt und in Bezug auf die Fahrzeughochachse unterhalb des Kraftfahrzeugs liegt. Eine derartige projektive Fläche eignet sich besonders zur Darstellung beziehungsweise Repräsentation der Umgebung aus der Vogelperspektive beziehungsweise in einer Draufsicht auf das Kraftfahrzeug.
-
Besonders vorteilhaft ist es jedoch, wenn die projektive Fläche eine gekrümmte Fläche darstellt. Die projektive Fläche kann zum Beispiel halbkugelförmig oder schalenförmig ausgebildet sein. Auch kann die projektive Fläche als Komposition aus einer kreisförmigen Ebene und einer schalenförmigen die Ebene umlaufenden Fläche bereitgestellt sein. Hierdurch wird ein deutlich höheres Maß an Flexibilität bereitgestellt, da so die Perspektive im Prinzip an jeder beliebigen Stelle im dreidimensionalen Raum gewählt werden kann und aus der gewählten Perspektive ein dreidimensionales Abbild der Umgebung als Teil der 3D-Rundumsicht bereitgestellt werden kann.
-
Beispielsweise kann ein der bestimmten Perspektive zugeordneter virtueller Blickpunkt auf einer oder mehreren vorbestimmten Linien oder im dreidimensionalen Raum frei wählbar sein. Somit kann der Benutzer durch die von der Fernsteuereinrichtung erfasste Benutzereingabe die Perspektive frei wählen und beliebig, insbesondere auch dynamisch und kontinuierlich, ändern. Somit können im Prinzip unzählig viele, insbesondere unendlich viele, verschiedene Perspektiven in Anpassung an die jeweilige Situation geeignet gewählt werden.
-
Insbesondere ist dabei ein der bestimmten Perspektive zugeordneter virtueller Blickpunkt innerhalb des Kraftfahrzeugs sowie auch außerhalb des Kraftfahrzeugs wählbar. Somit kann beispielsweise eine Perspektive gewählt werden, wie sie ein im Kraftfahrzeug sitzender Fahrer auf die Umgebung haben würde, sowie auch beliebig viele Perspektiven außerhalb des Kraftfahrzeugs, wie sie ein neben, hinter, vor oder über dem Kraftfahrzeug befindlicher Betrachter haben würde. Dem Benutzer ist damit vorteilhafterweise die Möglichkeit bereitgestellt, sich die vom Kraftfahrzeug erfassten Umfeldinformationen umfassend anzeigen zu lassen.
-
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird im ersten Umgebungsbild zumindest ein Teil einer Kraftfahrzeugdarstellung des Kraftfahrzeugs aus der gewählten Perspektive dargestellt. Diese Kraftfahrzeugdarstellung kann zum Beispiel in Form eines 2D-Bitmap-Bildes bereitgestellt sein oder aber auch als dreidimensionales computergeneriertes Kraftfahrzeugmodell. Dadurch wird der Realitätsgrad für den Benutzer deutlich erhöht. Vor allem aber kann der Benutzer hierdurch die im ersten Umgebungsbild dargestellte Umgebung und darin befindliche Objekte direkt in Beziehung zur Position des Kraftfahrzeugs setzen und beispielsweise Entfernungen, Größenverhältnisse, die aktuelle Fahrtrichtung oder ähnliches deutlich besser erfassen und dadurch kann die Sicherheit weiter erhöht werden.
-
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird das erste Umgebungsbild aus den Sensordaten durch das Kraftfahrzeug berechnet und an die Fernsteuereinrichtung übermittelt. Dies hat den großen Vorteil, dass hierdurch Rechenleistung auf der Seite der Fernsteuereinrichtung eingespart werden kann, was eine besonders kompakte Ausgestaltung der Fernsteuereinrichtung zum Beispiel als mobiles Gerät ermöglicht. Zudem hat diese Ausgestaltung den großen Vorteil, dass sich hierdurch die vom Kraftfahrzeug an die Fernsteuereinrichtung zu übermittelnden Daten auf ein Minimum reduzieren lassen, da hierdurch nur die Bilddaten des Umgebungsbildes an die Fernsteuereinrichtung übermittelt werden und zum Beispiel keine Sensordaten oder Umgebungsdaten, die außerhalb des bestimmten Ansichtsfensters, wie dies oben beschrieben wurde, liegen. Dies ermöglicht eine deutlich schnellere Datenübermittlung vom Kraftfahrzeug an die Fernsteuereinrichtung. Hierdurch lassen sich Latenzzeiten auf ein Minimum reduzieren. In diesem Fall ist es vorteilhaft, wenn die mittels der Fernsteuereinrichtung erfasste Benutzereingabe zur Auswahl der Perspektive als zum Beispiel entsprechende Auswahlinformation von der Fernsteuereinrichtung an das Kraftfahrzeug übermittelt wird. Dieses kann dann entsprechend das Umgebungsbild auf Basis der erfassten Sensordaten entsprechend der gewählten Perspektive berechnen und an die Fernsteuereinrichtung übermitteln. Dieser Vorgang wird dabei insbesondere fortwährend wiederholt, sodass dem Benutzer auf der Fernsteuereinrichtung wiederholt aktualisierte erste Umgebungsbilder aus der gewählten Perspektive in Form eines Livevideos angezeigt werden.
-
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung werden die Sensordaten vom Kraftfahrzeug an die Fernsteuereinrichtung übermittelt und das erste Umgebungsbild aus den Sensordaten durch die Fernsteuereinrichtung berechnet. Dies ermöglicht es, wie dies später näher erläutert wird, beispielsweise aus den an die Fernsteuereinrichtung übermittelten Sensordaten Umgebungsbilder aus verschiedenen Perspektiven gleichzeitig zu errechnen und anzuzeigen. Prinzipiell wäre es auch denkbar, diese verschiedenen Umgebungsbilder, das heißt aus den verschiedenen Perspektiven, auch im Kraftfahrzeug gleich auf Basis der Sensordaten berechnen zu lassen und an die Fernsteuereinrichtung zu übermitteln, jedoch ist die Rechenkapazität in Kraftfahrzeugen typischerweise stark begrenzt, insbesondere aufgrund des im Kraftfahrzeug nur begrenzt zur Verfügung stehenden Bauraums. Derartige Restriktionen gelten dagegen für die Fernsteuereinrichtung nicht, die zum Beispiel auch als rechenstarker Heimcomputer ausgebildet sein kann. Somit lassen sich also beispielsweise neben dem ersten Umgebungsbild aus der vom Benutzer gewählten Perspektive weitere Umgebungsbilder aus anderen Perspektiven gleichzeitig darstellen, ohne dass dies mehr Rechenleistung auf Seiten des Kraftfahrzeugs erfordern würde. In diesem Fall ist es auch nicht erforderlich, die von der Fernsteuereinrichtung erfasste Benutzereingabe zur Auswahl der Perspektive in Form einer Auswahlinformation an das Kraftfahrzeug zu übermitteln.
-
Bei einer besonders vorteilhaften Ausgestaltung der Erfindung wird in Abhängigkeit von einer Art der Kommunikationsverbindung zwischen Kraftfahrzeug und Fernsteuereinrichtung und/oder einer Bandbreite und/oder einer Datenübertragungsgeschwindigkeit der Datenübertragung zwischen Kraftfahrzeug und Fernsteuereinrichtung bestimmt, ob das erste Umgebungsbild aus den Sensordaten durch das Kraftfahrzeug oder durch die Fernsteuereinrichtung berechnet wird. Mit anderen Worten können die beiden oben beschriebenen Varianten situationsbedingt abhängig von der aktuellen Verbindungsqualität der Kommunikationsverbindung zwischen Kraftfahrzeug und der Fernsteuereinrichtung umgesetzt werden. Da sich zumindest das Kraftfahrzeug bewegt, so kann die Kommunikationsverbindung von Zeit zu Zeit besser oder schlechter sein. Stehen beispielsweise aktuell hohe Datenübertragungsgeschwindigkeiten zur Verfügung, so können die gesamten vom Kraftfahrzeug erfassten Sensorrohdaten an die Fernsteuereinrichtung übermittelt werden, die aus diesen Sensordaten das erste Umgebungsbild sowie vorzugsweise weitere Umgebungsbilder aus weiteren Perspektiven berechnet und dem Benutzer anzeigt. Ist die Kommunikationsverbindung zwischen Kraftfahrzeug und der Fernsteuereinrichtung dagegen aktuell schlecht beziehungsweise stehen nur sehr geringe Datenübertragungsgeschwindigkeiten zur Verfügung, so kann stattdessen das Kraftfahrzeug das erste Umgebungsbild auf Basis der erfassten Sensordaten sowie in Abhängigkeit von der vom Benutzer gewählten Perspektive berechnen und an die Fernsteuereinrichtung übermitteln, wodurch die zu übermittelnden Datenmengen enorm reduziert werden können. Somit ist also vorteilhafterweise eine an die aktuelle Kommunikationsverbindungsqualität angepasste Datenübertragung und Kommunikation zwischen dem Kraftfahrzeug und der Fernsteuereinrichtung möglich.
-
Entsprechend stellt es also eine weitere besonders vorteilhafte Ausgestaltung der Erfindung dar, dass, wenn die Bandbreite der Kommunikationsverbindung und/oder die Datenübertragungsgeschwindigkeit der Kommunikationsverbindung zwischen Kraftfahrzeug und Fernsteuereinrichtung einen vorbestimmten Grenzwert unterschreitet, das erste Umgebungsbild aus den Sensordaten durch das Kraftfahrzeug berechnet und an die Fernsteuereinrichtung übermittelt wird und wenn die Bandbreite der Kommunikationsverbindung und/oder die Datenübertragungsgeschwindigkeit der Kommunikationsverbindung zwischen Kraftfahrzeug und Fernsteuereinrichtung den vorbestimmten Grenzwert nicht unterschreitet, die Sensordaten an die Fernsteuereinrichtung übermittelt werden und das erste Umgebungsbild aus den Sensordaten durch die Fernsteuereinrichtung berechnet wird.
-
Wie bereits erwähnt, ist es weiterhin besonders vorteilhaft, wenn in Abhängigkeit von den Sensordaten mindestens ein zweites Umgebungsbild aus einer zweiten Perspektive bereitgestellt und mittels der Fernsteuereinrichtung gleichzeitig mit dem ersten Umgebungsbild angezeigt wird. Somit können dem Benutzer vorteilhafterweise Umgebungsbilder aus verschiedenen Perspektiven gleichzeitig dargestellt werden. Somit kann ein Benutzer zu einem jeweiligen gegebenen Zeitpunkt mit noch umfassenderen Umgebungsinformationen versorgt werden. Dabei kann die dem zweiten Umgebungsbild zugeordnete Perspektive ebenfalls vom Benutzer wählbar oder änderbar sein oder auch fest vorgegeben sein. Beispielsweise kann zusätzlich zum ersten Umgebungsbild mit der vom Benutzer gewählten Perspektive ein Draufsichtbild aus der Vogelperspektive auf das Kraftfahrzeug und die Kraftfahrzeugumgebung als das zweite Umgebungsbild dargestellt werden, und/oder ein weiteres zweites Umgebungsbild aus einer Fahrerperspektive oder ähnliches. Hierbei sind den Ausgestaltungsmöglichkeiten keine Grenzen gesetzt. Beispielsweise können im Falle mehrerer gleichzeitig dargestellter Umgebungsbilder auch von vornherein durch den Benutzer die den jeweils angezeigten Umgebungsbildern zugeordneten Perspektiven vorab von einem Benutzer durch ein Konfigurationsmenü eingestellt werden. Für jedes einzelne Umgebungsbild kann der Benutzer dann beispielsweise auch jederzeit die eingestellte Perspektive wieder ändern.
-
Wie bereits beschrieben, ist es weiterhin bevorzugt, dass gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung eine Fernsteuerung des Kraftfahrzeugs unabhängig von einer Entfernung zwischen der Fernsteuereinrichtung und dem Kraftfahrzeug durchgeführt wird beziehungsweise durchführbar ist. Der Benutzer muss sich also nicht in vorbestimmter Nähe zum Kraftfahrzeug befinden, sondern kann sich zum Fernsteuern des Kraftfahrzeugs an einer von der Position des Kraftfahrzeugs unabhängigen Benutzerposition befinden. Gerade im Zusammenhang mit einer solchen Fernsteuerung ist es besonders wichtig, dem Benutzer umfassende Umgebungsinformationen bereitzustellen, da dieser unter Umständen das Fahrzeug und dessen Umgebung gar nicht direkt sehen kann, insbesondere im Gegensatz zu anderen Fernsteuersystemen, bei welchen sich der Benutzer in vorbestimmter Nähe zum Kraftfahrzeug befindet, sodass sich das Kraftfahrzeug auch immer in Sichtweite des Benutzers befindet. Eine derart umfassende Informationsbereitstellung die Umgebung des Kraftfahrzeugs betreffend lässt sich durch die Erfindung vorteilhafterweise bereitstellen, was die Sicherheit gerade in Bezug auf solche Fernsteuersysteme, die entfernungsunabhängig sind, deutlich erhöhen.
-
Des Weiteren betrifft die Erfindung auch ein Computerprogrammprodukt umfassend Befehle, die bei der Ausführung durch einen Prozessor einer elektronischen Steuereinrichtung diesen veranlassen, ein erfindungsgemäßes Verfahren oder eines seiner Ausführungsformen auszuführen.
-
Des Weiteren betrifft die Erfindung auch eine Fernsteuereinrichtung zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs, wobei die Fernsteuereinrichtung dazu ausgelegt ist, ein Umgebungsbild zumindest eines Teils der Umgebung des Kraftfahrzeugs aus einer bestimmten Perspektive anzuzeigen, welches in Abhängigkeit von mittels zumindest eines Umfeldsensors des Kraftfahrzeugs bereitgestellten Sensordaten bereitgestellt wird. Darüber hinaus ist die Fernsteuereinrichtung dazu ausgelegt, eine durch den Benutzer getätigte Benutzereingabe zu erfassen und in Abhängigkeit von der erfassten Benutzereingabe die bestimmte Perspektive aus mehreren wählbaren Perspektiven als eine von einer Position des mindestens einen Umfeldsensors unabhängige Perspektive auszuwählen.
-
Weiterhin gehört zur Erfindung auch ein Fahrerassistenzsystem für ein Kraftfahrzeug zum Unterstützen eines Benutzers beim Fernsteuern des Kraftfahrzeugs mittels einer Fernsteuereinrichtung, wobei das Fahrerassistenzsystem dazu ausgelegt ist, in Abhängigkeit von mittels zumindest eines Umfeldsensors des Kraftfahrzeugs bereitgestellten Sensordaten ein erstes Umgebungsbild zumindest eines Teils der Umgebung des Kraftfahrzeugs aus einer bestimmten Perspektive bereitzustellen und an die Fernsteuereinrichtung zum Anzeigen des ersten Umgebungsbilds zu übermitteln. Darüber hinaus ist das Fahrerassistenzsystem dazu ausgelegt, eine von einer mittels der Fernsteuereinrichtung erfassten, durch den Benutzer getätigte Benutzereingabe abhängige Auswahlinformation von der Fernsteuereinrichtung zu empfangen und in Abhängigkeit von der empfangenen Auswahlinformation die bestimmte Perspektive aus mehreren wählbaren Perspektiven als eine von einer Position des mindestens einen Umfeldsensors unabhängige Perspektive auszuwählen.
-
Die mit Bezug auf das erfindungsgemäße Verfahren und seine Ausführungsformen genannten Vorteile gelten in gleicher Weise für das erfindungsgemäße Computerprogrammprodukt, die erfindungsgemäße Fernsteuereinrichtung und das erfindungsgemäße Fahrerassistenzsystem. Zudem ermöglichen die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen bevorzugten Ausführungsformen die Weiterbildung des erfindungsgemäßen Computerprogrammprodukts, der erfindungsgemäßen Fernsteuereinrichtung und des erfindungsgemäßen Fahrerassistenzsystems durch weitere korrespondierende Ausgestaltungen.
-
Zudem soll auch ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem oder einer seiner Ausgestaltungen als zur Erfindung gehörend angesehen werden. Entsprechend gehört zur Erfindung auch ein System umfassend eine Fernsteuereinrichtung sowie ein Kraftfahrzeug, wobei das System zur Ausführung des erfindungsgemäßen Verfahrens oder einer seiner Ausführungsformen ausgelegt ist.
-
Dabei zeigen:
- 1 eine schematische Darstellung eines Fernsteuersystems mit einem Kraftfahrzeug und einer Fernsteuereinrichtung gemäß einem Ausführungsbeispiel der Erfindung;
- 2 eine schematische Veranschaulichung der Bereitstellung einer 3D-Rundumsicht um das Kraftfahrzeug aus den durch das Kraftfahrzeug bereitgestellten Sensordaten und der Berechnung eines Umgebungsbildes in Abhängigkeit von einer gewählten Perspektive gemäß einem Ausführungsbeispiel der Erfindung; und
- 3 eine schematische Darstellung der Fernsteuereinrichtung gemäß einem Ausführungsbeispiel der Erfindung.
-
1 zeigt eine schematische Darstellung eines Fernsteuersystems 1 mit einem Kraftfahrzeug 2 und einer Fernsteuereinrichtung 3 gemäß einem Ausführungsbeispiel der Erfindung. Das Kraftfahrzeug 2 weist dabei ein Fahrerassistenzsystem 4 auf, welches mindestens einen Umfeldsensor, in diesem Beispiel vier Kameras 5, 6, 7, 8, nämlich beispielsweise eine Frontkamera 5, eine Heckkamera 6, eine linke Spiegelkamera 7 und eine rechte Spiegelkamera 8, umfasst. Jede diese Kameras 5, 6, 7, 8 kann als Weitwinkelkamera ausgestaltet sein. Daher kann ein sehr großes Sichtfeld von jeder dieser Kameras 5, 6, 7, 8 erfasst werden. Insgesamt lässt sich somit eine Umgebung 9 des Kraftfahrzeugs 2 vollständig, das heißt in einem Vollwinkel um das Kraftfahrzeug 2, erfassen. Auf Basis dieser erfassten Sensordaten kann ein Umgebungsbild von zumindest einem Teil der Umgebung 9 des Kraftfahrzeugs 2 aus einer bestimmten Perspektive berechnet und auf der Fernsteuereinrichtung 3 angezeigt werden, wie dies anhand von 3 noch genauer beschrieben wird.
-
Vorteilhafterweise ist nun jede dieser Perspektive von einem Benutzer frei wählbar. Diese frei wählbare Perspektive ist damit vorteilhafterweise von den Positionen der jeweiligen Kameras 5, 6, 7, 8 unabhängig. Mit anderen Worten kann eine Perspektive gewählt werden, die nicht mit einer Perspektive der jeweiligen Kameras 5, 6, 7, 8 übereinstimmt. Um eine gewünschte Perspektive auswählen zu können, kann die Fernsteuereinrichtung 3 entsprechende Eingabemittel aufweisen. Hierüber lässt sich die durch den Benutzer getroffene Perspektivenauswahl von der Fernsteuereinrichtung 3 erfassen.
-
Um das Umgebungsbild auf Basis der erfassten Sensordaten zu berechnen, gibt es nun mehrere Möglichkeiten. Diese Berechnung kann einerseits fahrzeugseitig erfolgen, andererseits auch durch die Fernsteuereinrichtung 3 durchgeführt werden. Im folgenden beschrieben Beispiel sind sowohl das Kraftfahrzeug 2 als auch die Fernsteuereinrichtung 3 zur Berechnung des Umgebungsbilds auf Basis der erfassten Sensordaten ausgelegt. Zu diesem Zweck weist das Fahrerassistenzsystem 4 eine Steuereinrichtung 10 auf, welche dazu ausgelegt ist, in Abhängigkeit von einer vorgegebenen Perspektive auf Basis der Sensordaten das Umgebungsbild zu berechnen. Andererseits weist in diesem Beispiel auch die Fernsteuereinrichtung 3 eine entsprechende Steuereinrichtung 11 auf, die ebenfalls dazu ausgelegt ist, auf Basis einer gegebenen Perspektive aus den bereitgestellten Sensordaten das Umgebungsbild zu berechnen.
-
Soll das Umgebungsbild kraftfahrzeugseitig berechnet werden, so kann die von der Fernsteuereinrichtung 3 erfasste Benutzereingabe zur Festlegung einer gewünschten Perspektive als eine entsprechende Auswahlinformation 12 an das Kraftfahrzeug 2, insbesondere an die Steuereinrichtung 10 des Kraftfahrzeugs 2, übermittelt werden. Die Steuereinrichtung 10 berechnet dann auf Basis der durch die Kameras 5, 6, 7, 8 in einem jeweiligen Zeitschritt bereitgestellten Bilddaten das Umgebungsbild 13 aus der bestimmten Perspektive und übermittelt dieses hier mit 13 bezeichnete Umgebungsbild in einem jeweiligen Zeitschritt wiederum an die Fernsteuereinrichtung 3, welche die übermittelten Umgebungsbilder 13 anzeigt. In einem jeweiligen Zeitschritt kann die Steuereinrichtung 10 das Umgebungsbild 13 auf Basis der Sensordaten immer wieder aus der gleichen vom Benutzer gewählten Perspektive berechnen, bis eine neue Auswahlinformation 12 von der Fernsteuereinrichtung 3 empfangen wird, die eine andere Perspektive spezifiziert. Dann kann entsprechend die Steuereinrichtung 10 des Kraftfahrzeugs 2 das Umgebungsbild 13 in Abhängigkeit von der neu spezifizierten Perspektive berechnen und an die Fernsteuereinrichtung 3 übermitteln.
-
Andererseits kann, wie erwähnt, diese Berechnung des Umgebungsbilds 13 auch durch die Fernsteuereinrichtung 3 selbst durchgeführt werden. In diesem Fall muss die Auswahlinformation 12 nicht von der Fernsteuereinrichtung 3 an das Kraftfahrzeug 2 übermittelt werden. Stattdessen übermittelt die Steuereinrichtung 10 des Kraftfahrzeugs 2 in einem jeweiligen Zeitschritt die von den Kameras 5, 6, 7, 8 erfassten Bilddaten, insbesondere als Sensorrohdaten 14, an die Fernsteuereinrichtung 3. Zusätzlich können auch noch weitere Umgebungs- und/oder Kraftfahrzeugdaten, wie eine Umgebungskarte, die aktuelle Kraftfahrzeugposition, die aktuelle Fahrgeschwindigkeit, oder sonstige Daten vom Kraftahrzeug an die Fernsteuereinrichtung übermittelt werden. Diese berechnet dann das Umgebungsbild 13 in Abhängigkeit von der vom Benutzer gewählten Perspektive und zeigt dieses an.
-
Besonders vorteilhaft ist es dabei, wenn die Bestimmung dessen, ob das Umgebungsbild 13 vom Kraftfahrzeug 2 oder von der Fernsteuereinrichtung 3 berechnet werden soll, in Abhängigkeit davon erfolgt, wie gut die Kommunikationsverbindung zwischen dem Kraftfahrzeug 2 und der Fernsteuereinrichtung 3 aktuell ist. Steht beispielsweise aktuell eine sehr hohe Bandbreite für die Datenübertragung zur Verfügung und/oder werden aktuell hohe Datenübertragungsgeschwindigkeiten ermöglicht, so ist es bevorzugt, dass das Kraftfahrzeug 2, insbesondere die Steuereinrichtung 10, die Kamerarohdaten 14 an die Fernsteuereinrichtung 3 übermittelt und die Berechnung des Umgebungsbilds 13 von der Fernsteuereinrichtung 3 durchgeführt wird. Dies hat den großen Vorteil, dass die Fernsteuereinrichtung 3 in ihrer Rechenleistung nicht bauraumbedingt begrenzt ist, wie dies zum Beispiel für die Steuereinrichtung 10 des Kraftfahrzeugs 2 der Fall ist. Dies ermöglicht es vorteilhafterweise, auf Basis der an die Fernsteuereinrichtung 3 übermittelten Kamerarohdaten 14 nicht nur ein einzelnes Umgebungsbild 13 in Abhängigkeit von der vom Benutzer gewählten Perspektive anzuzeigen, sondern beispielsweise auch noch weitere Umgebungsbilder aus anderen Perspektiven zu berechnen und gleichzeitig anzuzeigen.
-
Andererseits, ist aktuell keine große Bandbreite für die Datenübermittlung zur Verfügung gestellt und/oder sind lediglich geringe Datenübertragungsgeschwindigkeiten möglich, so ist es bevorzugt, dass das Kraftfahrzeug 2 selbst die Berechnung des Umgebungsbildes 13 in Abhängigkeit von der vom Benutzer spezifizierten Perspektive berechnet und das berechnete Umgebungsbild 13 an die Fernsteuereinrichtung 3 übermittelt, welche dieses dann anzeigt. Dies hat den Vorteil, dass für die Übermittlung des Umgebungsbildes 13 vom Kraftfahrzeug 2 an die Fernsteuereinrichtung 3 deutlich geringere Datenmengen anfallen als bei der Übermittlung der gesamten Kamerarohdaten 14. Dadurch lässt sich eine Datenübertragung auch bei geringen Datenübertragungsgeschwindigkeiten schnell ausführen.
-
Weiterhin können noch von der Fernsteuereinrichtung 3 auch vom Benutzer über die Fernsteuereinrichtung 3 eingegebene Fernsteuerbefehle 15 von der Fernsteuereinrichtung 3 an das Kraftfahrzeug 2, insbesondere wiederum an die Steuereinrichtung 10, übermittelt werden, welche diese Befehle umsetzt. Solche Fernsteuerbefehle stellen insbesondere Fahrbefehle an das Kraftfahrzeug 2 dar, insbesondere zur Steuerung einer Lenkung des Kraftfahrzeugs 2 und/oder zur Steuerung einer Beschleunigung und/oder Bremsung des Kraftfahrzeugs 2. Insbesondere bekommt ein Benutzer damit bei der Fernsteuerung des Kraftfahrzeugs 2 mittels der Fernsteuereinrichtung 3 zusätzlich umfassende Umgebungsinformationen über die Umgebung 9 des Kraftfahrzeugs 2 bereitgestellt, was die Sicherheit bei der Fernsteuerung des Kraftfahrzeugs 2 deutlich erhöht.
-
2 zeigt eine schematische Veranschaulichung der Berechnung des Umgebungsbildes auf Basis der bereitgestellten Sensordaten als Teil einer 3D-Rundumsicht um das Kraftfahrzeug 2. Insbesondere zeigt 2 eine projektive Oberfläche, die in diesem Beispiel als eine kugelförmige beziehungsweise schalenförmige projektive Oberfläche 15 ausgebildet ist, zusammen mit einem dreidimensionalen Modell des Kraftfahrzeugs 2 als Beispiel einer Kraftfahrzeugdarstellung 17. Die von den Kraftfahrzeugkameras 5, 6, 7, 8 erfassten Bilder der Umgebung 9 können zusammengefügt werden und auf die Oberfläche dieser Kugel 16 projiziert werden. Darüber hinaus ist ein bestimmtes Ansichtsfenster 18 definiert, welches von der Position der gewählten Perspektive 19, die hier durch den virtuellen, der Perspektive 19 zugeordneten Blickpunkt repräsentiert ist, abhängt. In diesem Beispiel ist also die Perspektive 19 so gewählt, dass eine Ansicht von hinten auf das Kraftfahrzeug 2, welches hier durch das Kraftfahrzeugmodell oder im Allgemeinen eine Kraftfahrzeugdarstellung 17 repräsentiert wird, bereitgestellt ist. Auf diese Weise lässt sich ein Umgebungsbild bereitstellen, welches den innerhalb des Ansichtsfensters ersten liegenden Teil der Umgebung 20 aus der gewählten Perspektive 19 repräsentiert. Exemplarische Umgebungsbilder aus verschiedenen Perspektiven sind in 3 zu sehen.
-
Insbesondere zeigt 3 dabei eine schematische Darstellung der Fernsteuereinrichtung 3 im Detail gemäß einem Ausführungsbeispiel der Erfindung. Die Fernsteuereinrichtung 3 kann Bedienelemente 21 aufweisen, von welchen hier exemplarisch lediglich ein Lenkrad dargestellt ist und mittels welchen ein Benutzer das Kraftfahrzeug 2 ferngesteuert fahren kann. Ein solches Lenkrad beziehungsweise die Bedienelemente 21 im Allgemeinen müssen dabei nicht gegenständlich bereitgestellt sein, sondern können auch als virtuelle Repräsentation auf einer Anzeigeeinrichtung und/oder einem Touchscreen dargestellt werden. Weiterhin sind durch die Fernsteuereinrichtung 3 auch Eingabemöglichkeiten bereitgestellt, die hier ebenfalls nicht explizit dargestellt sind und mittels welchen ein Benutzer die Perspektive wählen kann, aus welcher die Umgebung 9 des Kraftfahrzeugs 2 mittels der Fernsteuereinrichtung 3 dargestellt werden soll. Zum Darstellen dieses Umgebungsbilds weist die Fernsteuereinrichtung 3 mindestens eine Anzeigeeinrichtung auf.
-
In diesem Beispiel sind drei Anzeigeeinrichtungen 22 bereitgestellt. Eine jeweilige Anzeigeeinrichtung 22 zeigt dabei ein jeweiliges Umgebungsbild 13a, 13b, 13c an. Diese Umgebungsbilder 13a, 13b, 13c können alternativ auch auf einer gemeinsamen Anzeigeeinrichtung 22, zum Beispiel nebeneinander, untereinander oder ähnliches, angezeigt werden. Von den angezeigten Umgebungsbildern 13a, 13b, 13c wird mindestens eines aus einer vom Benutzer spezifizierten Perspektive 19 angezeigt. Die beiden anderen Umgebungsbilder können dabei entweder ebenfalls aus einer Perspektive angezeigt werden, die vom Benutzer aktiv gewählt wurde, und/oder aus einer vorgegebenen Perspektive. In diesem Beispiel zeigt ein erstes Umgebungsbild 13a einen Teil 20 der Umgebung 9 des Kraftfahrzeugs 2, welches hier wiederum als entsprechende Kraftfahrzeugdarstellung 17 repräsentiert wird, aus einer Perspektive 19, deren zugeordneter Blickpunkt außerhalb des Kraftfahrzeugs 2 beziehungsweise des Kraftfahrzeugmodells 17 liegt. Ein zweites Umgebungsbild 13b zeigt den Teil 20 der Umgebung 9 aus einer Perspektive, deren zugeordneter Blickpunkt innerhalb des Kraftfahrzeugs 2 beziehungsweise des Kraftfahrzeugmodells 17 liegt. Bei dem dritten Umgebungsbild 13c ist der im Ansichtsfenster 18 liegende Teil 20 der Kraftfahrzeugumgebung 9 aus einer Vogelperspektive dargestellt, das heißt der Blickpunkt der Perspektive 19 liegt direkt oberhalb des Kraftfahrzeugs 2 beziehungsweise der Kraftfahrzeugdarstellung 17. Beispielsweise kann die Perspektive des ersten Umgebungsbilds 13a vom Benutzer frei wählbar sein und in beliebiger Weise modifizierbar sein. Zusätzlich können dem Benutzer als vorbestimmte Perspektiven die beiden Umgebungsbilder 13b, 13c angezeigt werden. Dies ist besonders vorteilhaft, da die Vogelperspektive gemäß dem dritten Umgebungsbild 13c einem Benutzer üblicherweise umfassende Umgebungsinformationen bereitstellt. Eine Perspektive gemäß dem zweiten Umgebungsbild 13b ist besonders vorteilhaft, da dies die Perspektive eines im Kraftfahrzeug 2 sitzenden Fahrers simuliert, was entsprechend dem fernbedienenden Benutzer eine besonders vertraute Darstellungsart ist. Ergänzt werden diese bereitgestellten Umgebungsinformationen dann noch durch das erste Umgebungsbild 13a, dessen Perspektive 19 vom Benutzer selbst frei wählbar ist. Umgebungsinformationen, die aktuell von dem Benutzer zur Fernsteuerung besonders bedeutsam sind, jedoch den anderen beiden Darstellungen nicht entnommen werden können, kann sich der Benutzer dann entsprechend durch geeignete Wahl der Perspektive 19 durch dieses erste Umgebungsbild anzeigen lassen.
-
Somit kann die Sicherheit beim Fernsteuern eines autonomen Fahrzeugs, falls das Fahrzeug sich in einer Situation befindet, aus welcher es sich nicht ohne menschliche Hilfe befreien kann, beispielsweise eine unvorhergesehene und nicht einprogrammierte Verkehrssituation, beispielsweise eine enge Gasse, deutlich erhöht. Mithilfe von Fischaugenkameras kann eine 360-Grad-Rundumsicht besonders einfach erstellt werden. Dies ermöglicht es vorteilhafterweise vom fernbedienenden Benutzer, dem Teleoperator, jede beliebige gewünschte Perspektive zu wählen, wodurch ein Navigieren durch den Teleoperator deutlich vereinfacht wird, gerade in besonders kritischen Fahrsituationen. Gerade dadurch, dass somit jede beliebige Betrachterposition eingenommen werden kann, zum Beispiel oberhalb oder hinter dem Kraftfahrzeug, kann der Teleoperator die aktuelle Situation deutlich besser beurteilen, was die Fernsteuerung deutlich einfacherer und damit sicherer gestaltet. Damit hat der Teleoperator letztendlich die Möglichkeit einer vollen 360-Grad-Wahrnehmung des ferngesteuerten Kraftfahrzeugs. Auch kann er den virtuellen Blickpunkt an jede bevorzugte Betrachtungsposition, innerhalb sowie außerhalb des Kraftfahrzeugs, verschieben, was es deutlich vereinfacht, das Kraftfahrzeug aus einer Unfallsituation heraus zu navigieren oder das Kraftfahrzeug 2 bei Einparkmanövern zu navigieren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2016/0096549 A1 [0003]
- DE 102009041587 A1 [0004]