DE102017218608A1

DE102017218608A1 - Method for operating a highly or fully automated vehicle

Info

Publication number: DE102017218608A1
Application number: DE102017218608.9A
Authority: DE
Inventors: Marlon Ramon Ewert
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-10-18
Filing date: 2017-10-18
Publication date: 2019-04-18

Abstract

Die Erfindung beschreibt ein Verfahren zum Betreiben eines hoch- oder vollautomatisierten Fahrzeugs, mit den Schritten: Detektieren (102) eines Deadlocks während eines automatisieren Betriebs des Fahrzeugs; Aussenden (103) von Umfeld- und/oder Fahr- und/oder Fahrzeugdaten an einen Assistenzserver, abhängig von der Detektion des Deadlocks; Empfangen (104) von Steuersignalen des Assistenzservers; Automatisiertes Betreiben (105) des Fahrzeugs basierend auf den empfangenen Steuersignalen.

The invention describes a method for operating a highly or fully automated vehicle, comprising the steps of: detecting (102) a deadlock during automated operation of the vehicle; Transmitting (103) environmental and / or driving and / or vehicle data to an assistance server depending on the detection of the deadlock; Receiving (104) control signals of the assistance server; Automated operation (105) of the vehicle based on the received control signals.

Description

Stand der TechnikState of the art

Die Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Computerprogramm zum Betreiben eines hoch- oder vollautomatisierten Fahrzeugs.The invention relates to a method, a device and a computer program for operating a highly or fully automated vehicle.

Typischerweise erhält ein KI-Modul (künstliches Intelligenz Modul) eine Vielzahl von Eingangsgrößen, die in eine Vielzahl von Ausgangsgrößen übersetzt wird. Die Übersetzung findet in einer stark vermaschten und massiv parallelen internen Verarbeitungskette statt. Hierin sind beispielsweise Verbindungen zwischen den Knoten eines neuronalen Netzes freie Parameter. In der Lernphase werden diejenigen Werte für die freien Parameter ermittelt, mit denen vorgegebene Lern-Werte für die Eingangsgrößen in die zugehörigen Lern-Werte für die Ausgangsgrößen übersetzt werden, also beispielsweise ein Bild, das eine Szenerie mit einem Stoppschild enthält, als Bild klassifiziert wird, das ein Stoppschild enthält. Anschließend wird davon ausgegangen, dass im Wirkbetrieb (Deployment-Phase) reale Werte für die Eingangsgrößen richtig übersetzt, also etwa reale Bilder von Verkehrssituationen dahingehend richtig klassifiziert werden, welche Objekte sie enthalten. Die US 8,468,109 B2 offenbart beispielhaft parallele neuronale Netze.Typically, an artificial intelligence module (AI) module receives a variety of input variables that are translated into a variety of outputs. The translation takes place in a strongly meshed and massively parallel internal processing chain. Here, for example, connections between the nodes of a neural network are free parameters. In the learning phase, those values are determined for the free parameters with which predetermined learning values for the input variables are translated into the corresponding learning values for the output variables, ie, for example, an image containing a scene with a stop sign is classified as an image containing a stop sign. It is then assumed that in real operation (deployment phase) real values for the input variables are translated correctly, ie, for example, real images of traffic situations are correctly classified as to which objects they contain. The US 8,468,109 B2 discloses exemplary parallel neural networks.

Offenbarung der ErfindungDisclosure of the invention

Die Erfindung beschreibt ein Verfahren zum Betreiben eines hoch- oder vollautomatisierten Fahrzeugs, mit den Schritten: Detektieren eines Deadlocks während eines automatisieren Betriebs des Fahrzeugs; Aussenden von Umfeld- und/oder Fahr- und/oder Fahrzeugdaten an einen Assistenzserver, abhängig von der Detektion des Deadlocks; Empfangen von Steuersignalen des Assistenzservers; Automatisiertes Betreiben des Fahrzeugs basierend auf den empfangenen Steuersignalen.The invention describes a method for operating a highly or fully automated vehicle, comprising the steps of: detecting a deadlock during automated operation of the vehicle; Sending environmental and / or driving and / or vehicle data to an assistance server, depending on the detection of the deadlock; Receiving control signals of the assistance server; Automated operation of the vehicle based on the received control signals.

Unter einem hochautomatisierten bzw. hochautomatisiert betrieben Fahrzeug wird ein Fahrzeug verstanden, welches wenigstens vordefinierte Fahrfunktionen eigenständig ohne den Eingriff eines Fahrers durchführen kann. Beispielhafte Fahrfunktionen sind Systeme mit automatisierter Quer- und/oder Längsführung, beispielsweise Einparkassistenten, Stauassistenten, Autobahnpiloten und dergleichen.Under a highly automated or highly automated vehicle is a vehicle understood that at least can perform predefined driving functions independently without the intervention of a driver. Exemplary driving functions are systems with automated lateral and / or longitudinal guidance, for example parking assistants, congestion assistants, motorway pilots and the like.

Vollautomatisierte bzw. vollautomatisiert betriebene Fahrzeuge sind dazu in der Lage mehrere dieser Fahrfunktionen durchzuführen, sodass ggf. auch komplexe Strecken eigenständig von dem Fahrzeug zurückgelegt werden können, ohne dass ein Eingriff eines Fahrers benötigt wird. Ggf. können vollautomatisierte Fahrzeuge nahezu alle typischen Fahrsituationen beherrschen, sodass diese eigenständig ohne Eingriffe eines Fahrers am Straßenverkehr teilnehmen können.Fully automated or fully automated vehicles are able to perform several of these driving functions, so that even complex routes can be independently covered by the vehicle without the intervention of a driver. Possibly. For example, fully automated vehicles can master almost all typical driving situations so that they can independently participate in the road traffic without the intervention of a driver.

Unter Fahrzeugen werden hierbei Land-, Luft- und Raum- und Wasserfahrzeuge, insbesondere PKWs, LKWs, Busse, Shuttle, Zweiräder, Boote, Flugzeuge, Helikopter und Drohnen verstanden. Das Verfahren eignet sich für den Betrieb jeglicher Fahrzeuge, die automatisiert betrieben werden und in einen Deadlock geraten können. Folglich können beispielsweise auch automatisierte Roboter und Gabelstapler mittels dieses Verfahrens betrieben werden.Vehicles are hereby understood as meaning land, air and space vehicles and watercraft, in particular automobiles, trucks, buses, shuttles, two-wheelers, boats, aircraft, helicopters and drones. The method is suitable for the operation of any vehicles that are operated automatically and can get into a deadlock. Consequently, for example, automated robots and forklifts can be operated by this method.

Unter einem während eines automatisieren Betriebs des Fahrzeugs auftretenden Deadlocks werden insbesondere Fahrsituationen verstanden, aus welchem sich das automatisiert betriebene Fahrzeug nicht selbstständig befreien kann und externe Hilfe zur geplanten und/oder sicheren Weiterfahrt benötigt wird. Beispiele für derartige Fahrsituationen können ein Verhaken eines automatisiert betriebenen Fahrzeugs an weiteren Fahrzeugen oder Infrastruktureinrichtungen, wie einer Mauer oder einer Straßenlaterne sein. Unter verhaken wird hierbei insbesondere verstanden, dass sich das Fahrzeug nicht selbstständig durch eine automatisierte Steuerung des Fahrzeugs befreien kann. Beispielsweise fährt das Fahrzeug wiederholt die gleiche Trajektorie ab um sich aus einer engen Parklücke zu befreien, erzielt hierbei jedoch keine Fortschritte, sodass das Fahrzeug die Parklücke nicht ohne externen Eingriff verlassen kann. Weitere Situationen, in denen ein Deadlock auftreten kann, sind beispielsweise eine ins Stocken geraten oder Steckenbleiben des Fahrzeugs auf einer Straße mit schlechten Fahreigenschaften oder einer Glatteis aufweisenden Straße.Under a occurring during an automated operation of the vehicle deadlocks are understood in particular driving situations, from which the automatically operated vehicle can not independently liberate and external assistance for planned and / or safe onward journey is needed. Examples of such driving situations may be a hooking of an automatically operated vehicle to other vehicles or infrastructure facilities, such as a wall or a street lamp. Under hook is understood here in particular that the vehicle can not free automatically by an automated control of the vehicle. For example, the vehicle repeatedly travels the same trajectory to free itself from a narrow parking space, but this does not progress, so that the vehicle can not leave the parking space without external intervention. Other situations in which a deadlock can occur are, for example, a stalling or staking of the vehicle on a road with poor driving characteristics or a road with a black ice.

Ein Deadlock kann auch ohne das tatsächliche Ausführen einer Bewegung stattfinden, beispielsweise wenn unterschiedliche Algorithmen sich nicht auf einen automatisierten Ansteuerungsvorgang einigen können und jeweils entgegengesetzte Ansteuerungen bevorzugen würden.A deadlock can also take place without the actual execution of a movement, for example if different algorithms can not agree on an automated activation process and each would prefer opposite drives.

Das Detektieren eines Deadlocks kann entweder im Fahrzeug selbst oder auf einem externen Server stattfinden, der Fahrdaten und/oder Umfelddaten des Fahrzeugs empfängt. Eine Erkennung ist beispielsweise anhand wiederholt abgefahrener Trajektorien, einer Verzögerung eines geplanten Routenverlaufs, eines ungeplant langen Aufhaltens an einer Position oder in einem kleinen Bereich, anhand eines Ausbleibens einer Ansteuerung und weiteren Merkmalen möglichen. Auch eine Software zur Ansteuerung des Fahrzeugs kann derart programmiert sein, dass Widersprüchlichkeiten bzgl. der Ansteuerung zu einem Verharren an der aktuellen Position führen und folglich ein Deadlock detektiert wird.The detection of a deadlock can take place either in the vehicle itself or on an external server that receives driving data and / or environmental data of the vehicle. Detection is possible for example on the basis of repeatedly traversed trajectories, a delay of a planned route course, an unplanned long stop at a position or in a small area, on the basis of a lack of activation and further features. Software for controlling the vehicle may also be programmed in such a way that inconsistencies with regard to the activation lead to a persistence at the current position and consequently a deadlock is detected.

Das automatisiert betriebene Fahrzeug kann mittels eines im Fahrzeug implementierten maschinellen Lernsystems ausgestattet sein, welches beispielsweise eines ohne mehrere künstliche neuronale Netze aufweist. Die neuronalen Netze können beispielsweise für unterschiedliche Aufgaben, wie der Detektion von Objekten, Fahrsituationen, Umfelddaten und der Ansteuerung des Fahrzeugs vorgesehen sein. Es kann jedoch ein vollständig vernetztes künstliches Neuronales Netzwerk im Fahrzeug implementiert sein, welches alle zum Betreiben des Fahrzeugs notwendigen Aufgaben berechnet bzw. kontrolliert. Im Fahrzeug verbaute neuronale Netze können entweder fixierte Einstellungen bzw. Gewichte aufweisen oder auch während des Betriebs veränderbare Eigenschaften aufweisen. Beispielsweise kann sich ein neuronales Fahrzeug während des Betriebs des Fahrzeugs verändern bzw. anpassen und hierdurch während des Fahrens „dazulernen“. The automated vehicle can be equipped by means of an in-vehicle machine learning system, which for example has one without multiple artificial neural networks. The neural networks can be provided, for example, for different tasks, such as the detection of objects, driving situations, environment data and the control of the vehicle. However, a fully networked artificial neural network may be implemented in the vehicle that calculates or controls all tasks necessary to operate the vehicle. Neural networks installed in the vehicle can either have fixed settings or weights or can also have changeable properties during operation. For example, a neural vehicle may change during operation of the vehicle and thereby "learn" while driving.

Sind im Fahrzeug maschinelle Lernverfahren implementiert, können diese auf unterschiedlichste Weise eingelernt worden sein und/oder während des Betriebs eingelernt werden. Hierfür können überwachte und unüberwachte Ansätze gewählt werden.If machine learning methods have been implemented in the vehicle, they can have been learned in a variety of ways and / or learned during operation. For this purpose, monitored and unsupervised approaches can be selected.

Unter Fahrdaten können in der vorliegenden Anmeldung Daten bezüglich der vom Fahrzeug abgefahrenen Trajektorien, Positionen des Fahrzeugs zu unterschiedlichen Zeitpunkten, geplante Trajektorien, Geschwindigkeits- und/oder Beschleunigungsverläufe, Ansteuerungssignale an Aktoren des Fahrzeugs und vergleichbare Daten verstanden werden.Driving data in the present application may be taken to mean data relating to the trajectories traced by the vehicle, positions of the vehicle at different times, planned trajectories, speed and / or acceleration courses, activation signals to actuators of the vehicle and comparable data.

Unter Fahrzeugdaten werden fahrzeugspezifische Daten, wie auf dem Fahrzeug aufgespielte Software, beispielsweise in Form von maschinellen Lernsystemen, eine verbleibende Reichweite, Daten über die Fahrzeugsteuerung, die im Fahrzeug verbauten Aktoren, die im Fahrzeug verbauten Sensoren und derer Positionen und Ausrichtungen und vergleichbare Details über das Fahrzeug verstanden. Es können ebenfalls eingestellte Lenkwinkel, anliegende Steuersignale und weitere Details über ansteuerbare Aktoren oder Fahrzeugsysteme in den Fahrzeuginformationen enthalten sein.Vehicle data includes vehicle-specific data, such as software installed on the vehicle, for example in the form of machine learning systems, a remaining range, data on the vehicle control system, the vehicle-installed actuators, the sensors installed in the vehicle and their positions and orientations and comparable details about the vehicle Vehicle understood. It can also be set steering angle, applied control signals and other details about controllable actuators or vehicle systems contained in the vehicle information.

Unter Umfelddaten können Daten verstanden werden, welche mittels Umfeldsensoren erfasst wurden, deren Daten dem Fahrzeug zur Verfügung gestellt wurden. Bei den Umfelddaten kann es sich insbesondere um Daten von im Fahrzeug verbauten Sensoren wie Radar-, Lidar-, Ultraschall- und/oder Videosensoren handeln. Zudem können die Umfelddaten auch mittels nicht im Fahrzeug verbauter Sensoren ermittelt werden, beispielsweise von an weiteren Fahrzeugen, insbesondere PKWs und LKWs, oder Infrastruktureinrichtungen oder aus an Flugzeugen oder Drohnen oder Satelliten angebrachten Sensoren.Under environment data can be understood data that has been detected by environmental sensors whose data has been made available to the vehicle. The environment data may in particular be data from sensors installed in the vehicle, such as radar, lidar, ultrasound and / or video sensors. In addition, the surroundings data can also be determined by means of sensors not installed in the vehicle, for example from other vehicles, in particular cars and trucks, or infrastructure facilities or from sensors attached to aircraft or drones or satellites.

Unter dem von der Detektion des Deadlock abhängigen Aussenden von Umfeld- und/oder Fahrdaten an einen Assistenzserver kann verstanden werden, dass entweder nur dann Umfeld- und/oder Fahr- und/oder Fahrzeugdaten an den Assistenzserver gesendet werden, wenn ein Deadlock detektiert wurde. Es können jedoch auch in Abhängigkeit der Detektion spezielle Daten an den Assistenzserver gesendet werden, beispielsweise Informationen über die Deadlock-Situation, wie exakte Trajektorien, Standorte und/oder detaillierte Umfelddaten. Folglich können auch vor einer Detektion Daten an den Assistenzserver gesendet werden und lediglich die Auswahl und/oder Menge der Daten / Informationen wird abhängig von der Detektion verändert / angepasst.Under the transmission of environment and / or driving data dependent on the detection of the deadlock to an assistance server, it can be understood that environment and / or driving and / or vehicle data are only sent to the assistance server when a deadlock has been detected. Depending on the detection, however, specific data can also be sent to the assistance server, for example information about the deadlock situation, such as exact trajectories, locations and / or detailed environment data. Consequently, data can also be sent to the assistance server prior to detection and only the selection and / or quantity of the data / information is changed / adjusted as a function of the detection.

Auf dem Assistenzserver kann beispielsweise eine hocheffiziente und Leistungsstarke Software zur automatisierten Steuerung von Fahrzeugen implementiert sein, welche basierend auf den vom Fahrzeug ausgesendete Daten und ggf. Zusatzinformationen von weiteren Informationsquellen eine eigenständige Berechnung zur Weiterfahrt des Fahrzeugs durchführt. Aufgrund der größeren zur Verführung stehenden Rechenleistung und ggf. zusätzlicher ggf. aktuellerer Informationen (als die dem Fahrzeug vorliegenden Informationen) kann die auf dem Assistenzserver durchgeführte Berechnung zu einer Befreiung des automatisiert betriebenen Fahrzeugs führen. Der Assistenzserver kann dazu in der Lage sein, direkte Steuerungssignale an das Fahrzeug auszusenden, um dieses aus der Ferne zu steuern. Er kann jedoch auch lediglich eine vorausberechnete Trajektorie an das Fahrzeug senden, welche automatisiert von diesem abgefahren wird. Anstelle der vom Fahrzeug ermittelten Trajektorie, welche zu einem Deadlock führt, kann nur alternativ die vom Assistenzserver ermittelte Trajektorie abgefahren werden. Der Assistenzserver kann zudem intelligente Algorithmen enthalten, die optimierte Objekterkennungen ermöglichen. Dies kann insbesondere dann notwendig sein, wenn sich das automatisiert betriebene Fahrzeug aufgrund einer Unschlüssigkeit über die Art/Klasse eines Objekts in einem Deadlock befindet. In diesem Fall kann auf dem Assistenzserver diese Unschlüssigkeit beseitigt werden und die gewonnen Informationen über das Objekt an das Fahrzeug gesendet werden. Das Fahrzeug sollte sich basieren auf dieser Information aus dem Deadlock befreien können.For example, a highly efficient and powerful software for the automated control of vehicles can be implemented on the assistance server, which carries out an independent calculation for further driving of the vehicle based on the data transmitted by the vehicle and possibly additional information from further information sources. Due to the greater amount of computing power available and possibly additional, possibly more up-to-date information (than the information available to the vehicle), the calculation performed on the assistance server can lead to an exemption for the automatically operated vehicle. The assistance server may be able to send direct control signals to the vehicle to control it remotely. However, he can also send only a pre-calculated trajectory to the vehicle, which is automatically driven by this. Instead of the trajectory determined by the vehicle, which leads to a deadlock, only the trajectory determined by the assistance server can be traversed as an alternative. The assistance server can also contain intelligent algorithms that enable optimized object recognition. This may be necessary in particular when the automated vehicle is in a deadlock due to a disagreement about the type / class of an object. In this case, this indecision can be eliminated on the assistance server and the information obtained about the object can be sent to the vehicle. The vehicle should be able to free itself from the deadlock based on this information.

Auf dem Assistenzserver können insbesondere maschinelle Lernverfahren und künstliche Intelligenzen implementiert sein. Insbesondere können diese in Form von neuronalen Netzwerken implementiert sein, die auf Basis von realen und ggf. simulierten Fahrsituationen eingelernt wurden und die Steuerung eines Fahrzeugs in nahezu jeder erdenklichen Fahrsituation beherrschen. Aufgrund der im Vergleich zu in Fahrzeugen verbauten Systemen sehr großen zur Verfügung stehenden Rechenleistung, und sehr großer Speicherplatzoptionen und der Anbindung zu beliebigen Bibliotheken und Hintergrundinformationen, sind derartige Systeme den in Fahrzeug implementierbaren Funktionen überlegen.In particular, machine learning methods and artificial intelligences can be implemented on the assistance server. In particular, these can be implemented in the form of neural networks which have been taught in on the basis of real and possibly simulated driving situations and control the control of a vehicle in virtually every imaginable driving situation. Due to the very large compared to in vehicles installed systems Available computing power, and very large memory options and the connection to any libraries and background information, such systems are superior to the vehicle-implementable functions.

Bei den empfangenen Steuersignalen, welche insbesondere von dem Assistenzserver ausgesendet werden, kann es sich um direkte Ansteuerungsbefehle für einzelne Fahrzeugkomponenten, beispielweise aus dem Antriebsstrang oder der Lenkung handeln. Die Steuersignale können jedoch auch lediglich Informationen über eine abzufahrende Trajektorie beinhalten oder ggf. lediglich Zusatzinformationen enthalten, die das Fahrzeug benötigt, um sich aus dem Deadlock zu befreien.The received control signals, which are transmitted in particular by the assistance server, can be direct control commands for individual vehicle components, for example from the drive train or the steering. However, the control signals may also only contain information about a trajectory to be traversed or, if appropriate, merely contain additional information that the vehicle needs in order to free itself from the deadlock.

Unter dem automatisierten Betreiben des Fahrzeugs kann beispielsweise eine Ansteuerung von Aktoren zur Fortbewegung des Fahrzeugs verstanden werden. Je nach Steuersignal, kann dieses direkt zur Ansteuerung von Aktoren verwendet werden oder zunächst im Fahrzeug verarbeitet werden, sodass basieren auf dem Steuersignal eine Ansteuerung von Aktoren des Fahrzeugs erfolgt. Die Steuersignale können beispielsweise dazu genutzt werden, um vor dem Empfangen der Steuersignale von dem Fahrzeug berechnete Trajektorien anhand der Steuersignale zu aktualisieren / anzupassen. Die Steuerung / das Betreiben des Fahrzeugs erfolgt anschließend anhand der aktualisierten / angepassten Trajektorie. Unter Aktoren werden insbesondere Aktoren im Antriebsstrang und Lenksystem des Fahrzeugs verstanden. Es können jedoch auch weitere ansteuerbare Teile des Fahrzeugs darunter verstanden werden, wie beispielweise Scheinwerfer des Fahrzeugs.The automated operation of the vehicle may, for example, be understood as an activation of actuators for moving the vehicle. Depending on the control signal, this can be used directly to control actuators or initially processed in the vehicle, so based on the control signal is controlled by actuators of the vehicle. For example, the control signals may be used to update / adjust trajectories calculated by the vehicle prior to receiving the control signals from the control signals. The control / operation of the vehicle is then based on the updated / adapted trajectory. Actuators are understood in particular to be actuators in the drive train and steering system of the vehicle. However, other controllable parts of the vehicle can be understood by it, such as headlights of the vehicle.

Das dieser Erfindung zugrunde liegende Verfahren bietet den Vorteil, dass entstehende Deadlocks beim automatisierten Fahren auf einfache Weise aufgelöst werden können. Dies ist insbesondere auch dann möglich, wenn das Fahrzeug mittels einer künstlichen Intelligenz betrieben wird. Durch die Auflösung eines Deadlocks bei einem verhakten Fahrzeug wird der Fahrkomfort für die Insassen erhöht, und diese können ihre Fahrt unmittelbar fortsetzen. Durch die Auflösung eines Deadlocks während einer autonomen Fahrt wird die Sicherheit im Straßenverkehr erhöht, da das Fahrzeug in einen sicheren Zustand versetzt wird bzw. unmittelbar durch eine externe Quelle, beispielsweise den Assistenzserver gesteuert wird.The underlying of this invention method has the advantage that resulting deadlocks in automated driving can be resolved in a simple manner. This is possible in particular even if the vehicle is operated by means of artificial intelligence. The resolution of a deadlock in an entangled vehicle increases the ride comfort for the occupants, and they can continue their journey immediately. The resolution of a deadlock during an autonomous journey increases road safety because the vehicle is placed in a safe state or is controlled directly by an external source, for example the assistance server.

In einer weiteren Ausführungsform des Verfahrens erfolgt das Detektieren des Deadlocks basierend auf einer Auswertung von Umfeld- und/oder Fahrdaten im Fahrzeug.In a further embodiment of the method, the deadlock is detected based on an evaluation of surrounding and / or driving data in the vehicle.

Diese Ausführungsform der Erfindung bietet den Vorteil, dass keine zusätzlichen Quellen oder externen Mittel notwendig sind, um eine Problemsituation im Fahrzeug zu detektieren. Auf diese Weise müssen auch nur dann Daten ausgesendet werden, wenn tatsächlich ein Deadlock vorliegt, wodurch der Datenfluss und folglich Anforderungen an das Fahrzeug und entsprechende Kommunikationsmittel gesenkt werden können.This embodiment of the invention offers the advantage that no additional sources or external means are necessary to detect a problem situation in the vehicle. In this way, data must be sent out only when there is actually a deadlock, which can reduce the flow of data and consequently demands on the vehicle and corresponding communication means.

Eine Ermittlung von Deadlocks kann beispielsweise basierend auf vom Fahrzeug detektierten sich wiederholenden Fahrmanöver oder geplanten aber nicht stattfindenden Positionsänderungen des Fahrzeugs erfolgen.For example, a determination of deadlocks may be based on repetitive driving maneuvers detected by the vehicle or planned but non-occurring vehicle position changes.

In einer weiteren Ausführungsform des Verfahrens erfolgt das Detektieren des Deadlocks basierend auf von einem Überwachungsserver empfangenen Informationen, wobei das Verfahren den zusätzlichen Schritt des Aussendens von Umfeld- und/oder Fahr- und/oder Fahrzeugdaten an den Überwachungsserver und den zusätzlichen Schritt des Empfangens einer Information von dem Überwachungsserver bezüglich eines vorliegenden Deadlocks aufweist.In a further embodiment of the method, the deadlock is detected based on information received from a monitoring server, the method comprising the additional step of sending environment and / or driving and / or vehicle data to the monitoring server and the additional step of receiving information from the monitoring server regarding a present deadlock.

Das Ermitteln, ob tatsächlich ein Deadlock vorliegt kann hierbei auf dem Überwachungsserver erfolgen. Alternativ kann dieser die Information auch an einen weiteren Server weiterleiten, auf welchem die Feststellung durchgeführt wird. Bei dem Überwachungsserver kann es sich auch um den Assistenzserver handeln, welcher in diesem Fall sowohl die Detektion als auch die Ermittlung von Steuerungssignalen übernimmt.Determining whether a deadlock is actually present can take place here on the monitoring server. Alternatively, the latter can also forward the information to another server on which the determination is made. The monitoring server can also be the assistance server, which in this case assumes both the detection and the determination of control signals.

Diese Ausführungsform des Verfahrens bietet den Vorteil, dass eine zuverlässige Detektion von einem fahrzeugunabhängigen System erfolgt. Ggf. ist das Fahrzeug selbst nicht dazu in der Lage, festzustellen, dass es sich in einem Deadlock befindet, beispielsweise wenn dieser basierend auf einem Softwarefehler vorliegt. In diesem Fall ist eine Detektion mittels des defekten Systems ggf. nicht möglich. Um in derartigen Situationen ein Liegenbleiben des Fahrzeugs zu verhindern, wird dieses extern über den Überwachungsserver überwacht und ggf. durch den Assistenzserver gesteuert.This embodiment of the method offers the advantage that a reliable detection of a vehicle-independent system takes place. Possibly. For example, the vehicle itself is unable to determine that it is in a deadlock, for example, if it is based on a software error. In this case, detection by means of the defective system may not be possible. In order to prevent the vehicle from remaining in such situations, it is monitored externally via the monitoring server and possibly controlled by the assistance server.

In einer weiteren Ausführungsform des Verfahrens werden die Steuersignale auf dem Assistenzserver mittels eines KI-Moduls (künstlichen Intelligenz Moduls) ermittelt.In a further embodiment of the method, the control signals are determined on the assistance server by means of an AI module (artificial intelligence module).

Diese Ausführungsform der Erfindung bietet den Vorteil, dass ein hochleistungsfähiges System zur automatisierten Steuerung des Fahrzeugs vorliegt, welches insbesondere ohne menschlichen Eingriff auskommt. Anhand des KI-Moduls kann eine Situationsanalyse und eine situationsspezifische Lösung zur Befreiung des Fahrzeugs aus dem Deadlock ermittelt werden.This embodiment of the invention offers the advantage that there is a high-performance system for the automated control of the vehicle, which manages in particular without human intervention. Based on the AI module, a situation analysis and a situation-specific Solution to free the vehicle from the deadlock can be determined.

Bei dem KI-Modul (künstliche Intelligenz Modul) kann es sich insbesondere um ein maschinelles Lernsystem handeln, welches speziell zur Fahrzeuganalyse und/oder Fahrzeugsteuerung trainiert wurde. Insbesondere umfasst das KI-Modul eine oder mehrere künstliche neuronale Netzwerke, welche die wesentlichen Fähigkeiten zur sicheren Steuerung eines Fahrzeugs aufweisen.The AI module (artificial intelligence module) may in particular be a machine learning system that has been specially trained for vehicle analysis and / or vehicle control. In particular, the AI module comprises one or more artificial neural networks having the essential capabilities to safely control a vehicle.

In einer weiteren Ausführungsform des Verfahrens kommt zum automatisierten Betreiben des Fahrzeugs ein im Fahrzeug implementiertes KI-Modul zum Einsatz. Beim Aussenden der Fahrzeugdaten wird dieses KI-Modul an den Assistenzserver übertragen. Das Verfahren weist zudem den zusätzlichen Schritt des Empfangens eines modifizierten KI-Moduls vom Assistenzserver und den zusätzlichen Schritt des automatisierten Betreibens des Fahrzeugs mittels des modifizierten KI-Moduls auf.In a further embodiment of the method, an AI module implemented in the vehicle is used for the automated operation of the vehicle. When sending the vehicle data, this KI module is transmitted to the assistance server. The method also includes the additional step of receiving a modified AI module from the assistance server and the additional step of automatically operating the vehicle using the modified AI module.

Diese Ausführungsform der Erfindung bietet den Vorteil, dass ein fehlerhaftes oder nicht für alle Fahrfunktionen geeignetes KI-Modul aktualisiert und/oder modifiziert wird und hierdurch ein zuverlässiger und sicherer Betrieb des Fahrzeugs ermöglicht wird.This embodiment of the invention offers the advantage that a faulty or not suitable for all driving functions KI module is updated and / or modified and thereby a reliable and safe operation of the vehicle is made possible.

Die Schritte des Empfangens und des automatisierten Betreibens müssen hierbei nicht zwangsweise neue Verfahrensschritte darstellen. Beispielsweise kann das modifizierte KI-Modul im Schritt des Empfangens der Steuersignale empfangen werden. Genauso kann im Schritt des automatisierten Betreibens des Fahrzeugs basierend auf den empfangenen Steuersignalen ein Betreiben basierend auf den empfangenen Steuersignalen und dem empfangenen modifizierten KI-Modul erfolgen. Es ist jedoch auch möglich, dass das Fahrzeug zunächst anhand der Steuersignale aus dem Deadlock befreit wird und zur anschließenden Weiterfahrt ein automatisiertes Betreiben des Fahrzeugs mittels des modifizierten KI-Moduls erfolgt.The steps of receiving and automated operation need not necessarily represent new process steps. For example, the modified KI module may be received in the step of receiving the control signals. Likewise, in the step of automatically operating the vehicle based on the received control signals, operation may be based on the received control signals and the received modified AI module. However, it is also possible that the vehicle is first freed from the deadlock on the basis of the control signals, and for the subsequent onward drive an automated operation of the vehicle takes place by means of the modified KI module.

Diese Aktualisierung oder Modifizierung kann auf dem Assistenzserver oder einem mit dem Assistenzserver verbundenen Server erfolgen. Es ist auch denkbar, dass das KI-Modul auf einen vorherigen Stand zurückgesetzt wird, welcher eine bessere Performance bietet. Es ist des Weiteren denkbar, dass das KI-Modul durch ein anderes KI-Modul ersetzt wird, welche in diesem Fall das modifizierte KI-Modul darstellt. Da es sich um das gleich Fahrzeug handelt, kann auch bei einem Austausch des KI-Moduls von einer Modifizierung gesprochen werden, da die Funktionalität im Wesentlichen gleich bzw. sehr ähnlich sein sollten. Bei dem neuen oder modifizierten KI-Modul kann es sich auch um ein KI-Modul eines weiteren Fahrzeugs handeln, welches in einer entsprechenden Situation besser performt. Da die Möglichkeit besteht, dass das in dem Fahrzeug verbaute KI-Modul sich mit der Zeit verändert, indem es im Fahrbetrieb „lernt“, kann eine Zurücksetzung durchaus häufiger notwendig sein, da auch das Einlernen eines unvorteilhaften Fahrverhaltens ggf. nicht immer ausgeschlossen / vermieden werden kann.This update or modification can be done on the assistance server or on a server connected to the assistance server. It is also conceivable that the AI module will be reset to a previous level which provides better performance. It is also conceivable that the AI module is replaced by another AI module, which in this case represents the modified AI module. Since it is the same vehicle, a modification can also be said when replacing the AI module, since the functionality should be substantially the same or very similar. The new or modified AI module can also be an AI module of another vehicle, which performs better in a corresponding situation. Since it is possible that the built-in vehicle AI module changes over time by "learning" while driving, a reset may well be necessary quite often, as well as the teaching of unfavorable driving behavior may not always excluded / avoided can be.

In einer weiteren Ausführungsform des Verfahrens wird das Fahrzeug ebenfalls automatisiert mittels eines sich im Fahrzeug befindlichen KI-Moduls betrieben. Das Verfahren weist den zusätzlichen Schritt des Modifizierens, insbesondere Einlernens, des KI-Moduls basierend auf den empfangenen Steuersignalen und den zusätzlichen Schritt des automatisierten Betreibens des Fahrzeugs mittels des modifizierten KI-Moduls auf.In a further embodiment of the method, the vehicle is also operated automatically by means of an in-vehicle KI module. The method comprises the additional step of modifying, in particular teaching, the KI module based on the received control signals and the additional step of automatically operating the vehicle by means of the modified KI module.

Diese Ausführungsform der Erfindung bietet den Vorteil, dass eine kontrollierte Verbesserung bzw. Aktualisierung des KI-Moduls im Fahrzeug ermöglicht wird, welche zu einem sicheren und zuverlässigeren automatisierten Fahrbetrieb beiträgt. Durch die Steuersignale wird das KI-Modul verbessert und kann folglich in vergleichbaren Situationen eigenständig handeln. Hierdurch wird das automatisierte Fahren noch effizienter.This embodiment of the invention offers the advantage of allowing a controlled improvement or update of the AI module in the vehicle, which contributes to a safer and more reliable automated driving operation. The control signals improve the AI module and thus can act independently in comparable situations. This makes automated driving even more efficient.

Das KI-Modul kann anhand der spezifischen Fahrsituation und den auf diese Fahrsituation angepassten Steuersignalen des Assistenzservers lernen. Zudem ist es denkbar, dass die Steuersignale umfassendere Lerndaten enthalten, sodass ein Lernvorgang des KI-Moduls beschleunigt und verbessert werden kann.The AI module can learn based on the specific driving situation and adapted to this driving situation control signals of the assistance server. In addition, it is conceivable that the control signals contain more comprehensive learning data, so that a learning process of the AI module can be accelerated and improved.

In einer weiteren Ausführungsform des Verfahrens enthält das Verfahren den zusätzlichen Schritt des Ermittelns der den Deadlock verursachenden Fahrsituation und der Anpassung des automatisierten Betriebs des Fahrzeugs derart, dass eine automatisierte Steuerung des Fahrzeugs in entsprechenden Fahrsituationen eingeschränkt wird.In a further embodiment of the method, the method includes the additional step of determining the deadlock-causing driving situation and adapting the automated operation of the vehicle such that an automated control of the vehicle is restricted in corresponding driving situations.

Diese Ausführungsform der Erfindung bietet den Vorteil, dass die Sicherheit beim automatisierten Fahren erhöht wird und dass Deadlock-Situationen vermieden werden können.This embodiment of the invention offers the advantage of increasing the safety of automated driving and of avoiding deadlock situations.

Der Betrieb kann in einer weiteren Ausführungsform des Verfahrens derart eingeschränkt werden, dass eine Deaktivierung des automatisierten Betriebs in den entsprechenden Fahrsituationen erfolgt.The operation can be restricted in a further embodiment of the method such that a deactivation of the automated operation takes place in the corresponding driving situations.

Auch hierdurch wird die Sicherheit beim automatisierten Fahren verbessert.This also improves the safety of automated driving.

Zusätzlich zum Verfahren wird eine Vorrichtung beansprucht, die eingerichtet ist, um Schritte gemäß eines dieser Erfindung zugrunde liegenden Verfahrens in entsprechenden Einheiten auszuführen. Bei der Vorrichtung kann es sich insbesondere um ein im Fahrzeug installierbares Steuergerät handeln, welches zur Überwachung und Unterstützung des automatisierten Fahrbetriebs ausgelegt ist.In addition to the method, a device is claimed which is arranged to implement steps according to one of the principles of this invention Execute procedure in appropriate units. The device may in particular be a vehicle-installed control unit which is designed to monitor and support the automated driving operation.

Zudem wird ein Computerprogramm beansprucht, das dazu eingerichtet ist, wenigstens eines der dieser Erfindung zugrunde liegenden Verfahren auszuführen.In addition, a computer program is claimed which is adapted to carry out at least one of the methods on which this invention is based.

Darüber hinaus wird ein maschinenlesbares Speichermedium beansprucht, auf welchem dieses Computerprogramm gespeichert ist.In addition, a machine-readable storage medium is claimed on which this computer program is stored.

Figurenlistelist of figures

1 shows a schematic process diagram.
2 shows another schematic process diagram.
3 shows another schematic process diagram.

Ausführungsbeispieleembodiments

In 1 ist ein schematischer Ablauf eines Verfahrens zum automatisierten Betrieb eines Fahrzeugs dargestellt, welches in diesem Ausführungsbeispiel auf einem Steuergerät eines vollautomatisierten PKW abläuft. Das Fahrzeug weist mehrere Umfeldsensoren auf, welche zur automatisierten Steuerung des Fahrzeugs von einem im Fahrzeug implementierten KI-Modul ausgewertet werden. Das KI-Modul ermöglicht zudem die automatisierte Quer- und Längsführung des Fahrzeugs, sodass ein eigenständiges Fahren ohne den Eingriff eines Fahrers möglich ist. Zudem sind in dem Fahrzeug weitere Software-Module implementiert, welche die automatisierte Steuerung des Fahrzeugs kontrollieren und Fahrfunktionen umsetzen.In 1 a schematic sequence of a method for the automated operation of a vehicle is shown, which runs in this embodiment on a control unit of a fully automated car. The vehicle has a plurality of environmental sensors, which are evaluated for automated control of the vehicle by an implemented in the vehicle AI module. The KI module also allows automated lateral and longitudinal guidance of the vehicle, allowing autonomous driving without the intervention of a driver. In addition, further software modules are implemented in the vehicle, which control the automated control of the vehicle and implement driving functions.

In diesem Ausführungsbeispiel wurde das Fahrzeug derart von einem weiteren Fahrzeug eingeparkt, dass basierend auf den im Fahrzeug eingestellten Sicherheitsabständen nicht ausreichend Platz zur Verfügung steht, um das Fahrzeug automatisiert aus der Parklücke heraus zu bewegen. Das im Fahrzeug verbaute KI-Modul schätzt die Situation allerdings fehlerhaft ein, weshalb das Fahrzeug mehrfach vor und zurück gesteuert wird, ohne sich aus der Parklücke herauszubewegen. In dieser Situation greift das in 1 dargestellte Verfahren, welches in Schritt 101 startet.In this exemplary embodiment, the vehicle has been parked by another vehicle such that there is insufficient space available to automatically move the vehicle out of the parking space based on the safety distances set in the vehicle. However, the built-in KI module estimates the situation incorrectly, so the vehicle is repeatedly back and forth controlled without moving out of the parking space. In this situation that intervenes in 1 illustrated method, which in step 101 starts.

Anhand einer im Fahrzeug implementierten Überwachungssoftware wird in Schritt 102 ein Deadlock des Fahrzeugs während des automatisierten Betriebs detektiert. Das Überwachungsmodul detektiert den Deadlock in diesem Ausführungsbeispiel aufgrund des widerholten Abfahrens derselben Trajektorie innerhalb eine kleinen zeitlichen Abstands. Zudem verändert sich die Position des Fahrzeugs nicht merklich, sodass von einem Fehler oder einer Blockade des Fahrzeugs ausgegangen wird.On the basis of an implemented in the vehicle monitoring software is in step 102 detected a deadlock of the vehicle during automated operation. The monitoring module detects the deadlock in this embodiment due to the repeated departure of the same trajectory within a small time interval. In addition, the position of the vehicle does not change appreciably, so it is assumed that an error or a blockage of the vehicle.

In Schritt 103 werden basierend auf der Detektion des Deadlocks Umfeld-, Fahr- und Fahrzeugdaten an einen Assistenzserver gesendet. Die Daten umfassen hierbei die in den letzten 10 Minuten aufgefahrenen Trajektorien, welche anhand exakter Lokalisierungsverfahren ermittelt werden, für welche GPS-Sensoren, Odometrie und eine Lokalisierung anhand von mittels am Fahrzeug verbauter Umfeldsensorik zum Einsatz kommt, Daten von am Fahrzeug verbauten Kameras, Lidar-, Radar-, Ultraschall- und, GNSS-Sensoren welche das Umfeld des Fahrzeugs beschreiben. Zudem werden die Berechnungsergebnisse des KI-Moduls und Daten über die exakten Außenmaße und die Anbringung der Umfeldsensoren am Fahrzeug an den Assistenzserver übertragen.In step 103 On the basis of the detection of the deadlock, environment, driving and vehicle data are sent to an assistance server. The data here comprise the trajectories ascended in the last 10 minutes, which are determined by means of exact localization methods for which GPS sensors, odometry and localization are used by means of environment sensors mounted on the vehicle, data from cameras installed on the vehicle, lidar , Radar, ultrasonic and GNSS sensors describing the environment of the vehicle. In addition, the calculation results of the AI module and data on the exact external dimensions and the attachment of environmental sensors on the vehicle are transmitted to the assistance server.

In Schritt 104 werden vom Fahrzeug Steuersignale des Assistenzservers empfangen, welche in diesem Ausführungsbeispiel eine von dem Fahrzeug abzufahrende Trajektorie enthält. Basierend auf einer hochpräzisen Auswertung der Umfelddaten und der Fahrzeugdaten wurde im Assistenzserver eine hochpräzise Abstandsbestimmung zwischen Fahrzeug und den das Fahrzeug umgebenden Objekten durchgeführt. Aufgrund dieser Bestimmung steht dem Fahrzeug etwas mehr Bewegungsraum zur Verfügung, sodass eine Trajektorie ermittelt werden kann, anhand welcher das Fahrzeug aus der Parklücke manövriert werden kann.In step 104 are received from the vehicle control signals of the assistance server, which contains a trajectory to be traveled by the vehicle in this embodiment. Based on a high-precision evaluation of the environmental data and the vehicle data, a high-precision distance determination between the vehicle and the objects surrounding the vehicle was carried out in the assistance server. Due to this determination, the vehicle has a little more room for movement available, so that a trajectory can be determined by means of which the vehicle can be maneuvered out of the parking space.

In Schritt 105 erfolgt das automatisierte Betreiben des Fahrzeugs basierend auf den empfangenen Steuerungssignalen.In step 105 the automated operation of the vehicle is based on the received control signals.

Das Verfahren endet in Schritt 106.The procedure ends in step 106 ,

In einem weiteren Ausführungsbeispiel ist gleiche automatisiert betriebene Fahrzeug wieder von einem weiteren Fahrzeug eingeparkt, welches hinter dem Fahrzeug positioniert ist. Vor dem Fahrzeug befindet sich ein Hindernis, welches von dem KI-Modul im Fahrzeug nicht mit ausreichender Sicherheit klassifiziert werden kann. Folglich kann im Fahrzeug nicht entschieden werden, ob es sich bei dem vor dem Fahrzeug detektierten Hindernis um ein festes oder bewegliches Hindernis, wie beispielsweise einer Hecke oder einem herausragende Ast eines Busches handelt. Da es ohne diese Information nicht aus der Parklücke herauskommt, sendet das Fahrzeug in Schritt 103 Umfelddaten an den Assistenzserver. Auf dem Assistenzserver ist eine Software implementiert, welche anhand einer Kombination von Ultraschall und Videodaten ermittelt, ob es sich bei dem detektierten Objekt um eine bewegliche Pflanze oder ein festes Hindernis handelt. Das auf dem Assistenzserver ermittelte Ergebnis wird zurück an das Fahrzeug gesendet und von diesem in Schritt 104 empfangen. Basierend auf diesen Informationen, die ebenfalls indirekte Steuersignale darstellen, kann die Trajektorienplanung des automatisierten Fahrzeugs angepasst werden und dieses kann basierend auf den Steuersignalen in Schritt 105 derart angesteuert / betrieben werden, dass es sich selbstständig aus dem Deadlock befreit.In a further embodiment, the same automatically operated vehicle is again parked by another vehicle, which is positioned behind the vehicle. There is an obstacle in front of the vehicle, which can not be classified with sufficient certainty by the AI module in the vehicle. Consequently, it can not be decided in the vehicle whether the obstacle detected in front of the vehicle is a fixed or movable obstacle such as a hedge or a protruding branch of a bush. Since it does not come out of the parking space without this information, the vehicle sends in step 103 Environment data to the assistant server. Software is implemented on the assistance server which determines whether it is due to a combination of ultrasound and video data the detected object is a moving plant or a fixed obstacle. The result found on the assistance server is sent back to the vehicle and from this in step 104 receive. Based on this information, which is also indirect control signals, the trajectory planning of the automated vehicle may be adjusted and this may be based on the control signals in step 105 be controlled / operated so that it frees itself from the deadlock.

In einem weiteren Ausführungsbeispiel erfolgt die Ermittlung, ob ein Deadlock vorliegt, nicht im Fahrzeug selbst, sondern auf einem Überwachungsserver. Der Vorgang des Detektierens eines Deadlocks, welcher ebenfalls in die weiteren in dieser Erfindung beschriebenen Ausführungsbeispiele integrierbar ist und ggf. eine Ermittlung im Fahrzeug ersetzt oder ergänzt, ist in 2 dargestellt.In a further embodiment, the determination as to whether a deadlock is present is not made in the vehicle itself but on a monitoring server. The process of detecting a deadlock, which can likewise be integrated into the further exemplary embodiments described in this invention and, if necessary, replaces or supplements a determination in the vehicle, is disclosed in US Pat 2 shown.

In Schritt 201 werden von einem automatisiert Betriebenen Fahrzeug Umfeld- und Fahr- und Fahrzeugdaten an einen Überwachungsserver gesendet, welcher die Fahrt den Zustand des Fahrzeugs und dessen Aktivitäten und Trajektorien überwacht.In step 201 From an automated operated vehicle environment and driving and vehicle data are sent to a monitoring server, which monitors the driving condition of the vehicle and its activities and trajectories.

In Schritt 202 werden vom Fahrzeug Informationen von dem Überwachungsserver bezüglich eines vorliegenden Deadlocks empfangen.In step 202 The vehicle will receive information from the monitoring server regarding a present deadlock.

Diese Informationen werden in Schritt 203 zur Detektion eines Deadlocks verwendet. Basierend auf dieser Detektion können im Folgenden die in den weiteren Ausführungsbeispielen dargestellten Verfahrensschritte durchgeführt werden.This information will be in step 203 used to detect a deadlock. Based on this detection, the method steps illustrated in the further exemplary embodiments can be carried out below.

In einem weiteren Ausführungsbeispiel läuft im Fahrzeug das in 3 skizzierte Verfahren ab, welches in Schritt 301 startet.In a further embodiment runs in the vehicle in 3 sketched out method, which in step 301 starts.

In Schritt 302 wird vom Fahrzeug ein Deadlocks detektiert.In step 302 the vehicle detects a deadlock.

In Schritt 303 werden vom Fahrzeug in Abhängigkeit des detektierten Deadlocks Umfeld- und/oder Fahr- und/oder Fahrzeugdaten an einen Assistenzserver gesendet. In step 303 Depending on the deadlock detected, the vehicle sends environment and / or driving and / or vehicle data to an assistance server.

In diesem Ausführungsbeispiel enthalten die Fahrzeugdaten ein im Fahrzeug implementiertes KI-Modul.In this embodiment, the vehicle data includes an in-vehicle implemented KI module.

In Schritt 304 werden vom Fahrzeug Steuerungssignale des Assistenzservers empfangen. Zudem empfängt das Fahrzeug eine modifizierte Version des ausgesendeten KI-Moduls, bzw. ein Update, welches das im Fahrzeug implementierte KI-Modul verändert.In step 304 the vehicle receives control signals from the assistance server. In addition, the vehicle receives a modified version of the sent KI module, or an update, which changes the implemented in the vehicle AI module.

In Schritt 305 erfolgt eine Ansteuerung des Fahrzeugs basierend auf den empfangenen Steuersignalen zur Befreiung des Fahrzeugs aus dem Deadlock.In step 305 An actuation of the vehicle takes place based on the received control signals for the release of the vehicle from the deadlock.

Befindet sich das Fahrzeug nicht mehr im Deadlock, erfolgt in Schritt 306 ein automatisiertes Betreiben des Fahrzeugs mittels des modifizierten KI-Moduls.If the vehicle is no longer in the deadlock, it is done in step 306 an automated operation of the vehicle by means of the modified AI module.

Das Verfahren endet in Schritt 307.The procedure ends in step 307 ,

Im Folgenden werden weitere Ausführungsbeispiele beschrieben, welche teilweise eine vom Anspruchswortlaut abweichende Terminologie aufweisen.In the following, further exemplary embodiments are described, which in some cases have terminology that deviates from the claim word.

In einem weiteren Ausführungsbeispiel befindet sich ein vollautomatisiert betriebener Kleinbus in einem Deadlock. Ein in dem Kleinbus implementiertes Fahrsystem zur automatisierten Steuerung des Kleinbusses erkennt von sich aus, dass es nicht in der Lage ist seine Position zu ändern bzw. eine geplante Trajektorie fortzuführen. In diesem Ausführungsbeispiel sendet das Fahrzeug über eine Car-to-X Kommunikationsverbindung eine Nachricht an einen Cloud bzw. einen externen Assistenzserver, zusammen mit der Fahrzeugposition und Fahrzeuglage, sowie der geplanten Trajektorie und den bereits erfolglos durchgeführten Fahrmanövern. Aus der Cloud heraus erfolgt mithilfe einer in der Cloud implementierten künstlichen Intelligenz eine Fernsteuerung des Kleinbusses, indem bestimmte Aktoren des Busses über die Car-to-X Kommunikationsverbindung aus der Cloud heraus angesteuert werden. In diesem Fall befindet sich auf der Cloud eine KI, welche in der Lage ist, die Aktoren von genau diesem Fahrzeug gezielt anzusteuern. Die Cloud ist hierbei dazu in der Lage die Aktoren aus der Lenkeinrichtung, Bremseinrichtung und Beschleunigungseinrichtung, sowie die Beleuchtung, insbesondere die Scheinwerfer des Buses anzusteuern. Während der Steuerung des Buses durch die Cloud erfolgt eine zyklische Positionsübertragung vom Bus an die Cloud (Car-to-X). Auf diese Weise erkennt die Cloud, ob der Bus aus der kritischen Fahrsituationen befreit wurde, welche den Deadlock verursacht hat. In diesem Ausführungsbeispiel übergibt die Cloud die Steuerung wieder an das Fahrsystem des autonomen Fahrzeugs, sodass der Kleinbus seine Fahrt mithilfe einer weiteren neu geplanten Trajektorie automatisiert fortsetzen kann.In another embodiment, a fully automated operated minibus is in a deadlock. An implemented in the minibus driving system for automated control of the minibus recognizes by itself that it is not able to change its position or continue a planned trajectory. In this exemplary embodiment, the vehicle transmits via a car-to-X communication link a message to a cloud or an external assistance server, together with the vehicle position and vehicle position, as well as the planned trajectory and the already unsuccessfully performed driving maneuvers. From the cloud, remote control of the minibus takes place using artificial intelligence implemented in the cloud by controlling certain actuators of the bus via the Car-to-X communication link from the cloud. In this case, there is an AI on the cloud, which is able to control the actuators of exactly this vehicle. The cloud is able to control the actuators from the steering device, braking device and acceleration device, as well as the lighting, in particular the headlights of the bus. During the control of the bus through the cloud, a cyclic position transfer takes place from the bus to the cloud (Car-to-X). In this way, the cloud recognizes whether the bus has been freed from the critical driving situations that caused the deadlock. In this embodiment, the cloud passes the control back to the driving system of the autonomous vehicle, so that the minibus can continue its journey automatically using another newly planned trajectory.

In einem weiteren Ausführungsbeispiel erfolgt innerhalb des Kleinbusses selbst und in der Cloud eine Überwachung der geplanten Trajektorien des automatisiert betriebenen Busses darauf, ob ein Deadlock vorliegt. Hierbei wird die Trajektorie dahingehend untersucht, ob ungewöhnliche Fahrmanöver durchgeführt werden oder wurden, welche einen Hinweis für einen Deadlock sein können. Ungewöhnliche Fahrmanöver sind beispielsweise sich wiederholende Fahrmanöver innerhalb kurzer Abstände, wie zum Beispiel Beschleunigen Bremsen, Beschleunigen, Bremsen, Rückwärtsfahren, Beschleunigen Bremsen, Rückwärtsfahren, usw. Weitere hier nicht näher beschriebene ungewöhnliche Fahrmanöver sind ebenfalls denkbar.In a further embodiment, within the minibus itself and in the cloud, monitoring of the planned trajectories of the automatically operated bus is performed as to whether there is a deadlock. Here, the trajectory is examined to see whether unusual driving maneuvers are or were carried out, which can be an indication of a deadlock. Unusual driving maneuvers are, for example, repetitive driving maneuvers within short distances, such as acceleration braking, acceleration, braking, reverse driving, accelerating braking, reversing, etc. Other unusual driving maneuvers not described here are also conceivable.

In einem weiteren Ausführungsbeispiel tritt bei einem automatisiert betriebenen Fahrzeug ein Deadlock während der Durchführung eines gewöhnlichen Fahrmanövers auf. In diesem Fall führt der Deadlock dazu, dass das Fahrzeug nicht weiter automatisiert betrieben werden kann. In diesem Ausführungsbeispiel wird die Trajektorienberechnung und die Ansteuerung des Fahrzeugs basierend auf einer berechneten Trajektorie unterbrochen bzw. blockiert. Folglich entsteht ein Fehler innerhalb des Systems des automatisiert betrieben Fahrzeugs, welches in diesem Ausführungsbeispiels durch eine KI gebildet wird. Die KI gerät folglich während des automatisierten Betriebs in einen Deadlock und ist folglich nicht mehr ausführbar. In diesem Fall wird das Fahrzeug wie im vorherigen Beispiel beschrieben durch eine Cloud ferngesteuert oder aber in einen sicheren Zustand versetzt (zum Beispiel am Fahrbahnrand geparkt). Hierbei wird die künstliche Intelligenz des Fahrzeugs kurzzeitig außer Kraft gesetzt bzw. deaktiviert.In another embodiment, a deadlock occurs in an automated vehicle while performing an ordinary maneuver. In this case, the deadlock means that the vehicle can not be operated further automated. In this embodiment, the trajectory calculation and the driving of the vehicle is interrupted or blocked based on a calculated trajectory. Consequently, an error arises within the system of the automated operated vehicle, which is formed by an AI in this embodiment. As a result, the AI is deadlocked during automated operation and is therefore no longer executable. In this case, the vehicle is remotely controlled by a cloud as described in the previous example or put in a safe state (for example, parked at the edge of the road). Here, the artificial intelligence of the vehicle is temporarily suspended or disabled.

Optional kann in diesem Ausführungsbeispiel ein Neustart des Fahrsystems des Fahrzeugs notwendig sein bzw. die KI für das automatisierte Fahren neu zu starten bzw. neu zu laden. In dieser Zeit kann das Fahrzeug ggf. manuell betrieben werden oder verbleibt im beschriebenen sicheren Zustand.Optionally, in this embodiment, a restart of the driving system of the vehicle may be necessary or to restart or reload the AI for automated driving. During this time, the vehicle can possibly be operated manually or remains in the described safe state.

In einem weiteren Ausführungsbeispiel wird eine KI, welche auf einem autonomen Fahrzeug ausgeführt wird und in einen Deadlock geraten ist, in eine Cloud hochgeladen und dort auf Fehler analysiert. Eventuell erfolgt auf der Cloud auch ein Update der KI mithilfe einer Simulationsumgebung und eine Rückübertragung der aktualisierten KI in das autonome Fahrzeug (Car-to-X Kommunikationsverbindung). Erst wenn sich auf dem Fahrzeug eine fehlerfreie KI befindet kann dieses Fahrzeug autonom betrieben werden. Solange dies nicht der Fall ist, wird das Fahrzeug manuell durch einen Fahrer gesteuert oder verbleibt in einem sicheren Zustand, bis das Problem behoben wurde.In another embodiment, an AI running on an autonomous vehicle and deadlocked is uploaded to a cloud and analyzed for errors. It may also be done on the cloud, an update of the AI using a simulation environment and a retransfer of the updated AI in the autonomous vehicle (Car-to-X communication link). Only when there is a faultless AI on the vehicle can this vehicle be operated autonomously. Unless this is the case, the vehicle is manually controlled by a driver or remains in a safe state until the problem is resolved.

In einem weiteren Ausführungsbeispiel wird eine KI zur automatisierten Steuerung eines Fahrzeugs, welche in einer bestimmten Fahrsituationen in einen Deadlock geraten ist, für vergleichbare Fahrsituationen deaktiviert. Hierdurch kann eine bereits auf dem Fahrzeug befindliche KI noch für bestimmte Fahrmanöver verwendet werden, wobei weitere Fahrmanöver die einen Deadlock verursachen könnten manuell von einem Fahrer durchgeführt werden müssen. Dies ist solange der Fall bis eine neue Version der KI auf das Fahrzeug geladen wird, welche auch das genannte Deadlock Problem behebt. Diese Implementierung bietet den Vorteil, dass die KI für das automatisierte Fahren nicht komplett abgeschaltet wird, sondern zunächst lediglich die Manöver abgeschaltet werden welche zu einem Deadlock führen könnten.In a further embodiment, an AI for automated control of a vehicle, which has fallen into a certain driving situations in a deadlock, disabled for comparable driving situations. As a result, an AI already on the vehicle can still be used for certain driving maneuvers, with further driving maneuvers that could cause a deadlock to have to be carried out manually by a driver. This is the case until a new version of the AI is loaded on the vehicle, which also fixes the aforementioned deadlock problem. This implementation has the advantage that the AI for automated driving is not completely turned off, but initially only the maneuvers are turned off which could lead to a deadlock.

In einem weiteren Ausführungsbeispiel beobachtet eine in einem Fahrzeug implementierte KI das Verhalten eines Fahrers bzw. eine Steuerung des Fahrzeugs aus einer Cloud heraus und lernt daraus das richtige Verhalten, um aus dem Deadlock herauszukommen. In diesem Fall erfolgt ein Update der KI in dem Fahrzeug selbst, nachdem das Fahrzeug aus dem Deadlock befreit wurde mithilfe der Eingangssignale der manuellen Steuerung bzw. der Steuersignale aus der Cloud. D.h. die KI wird fortan nach dem Lernen des neuen Fahrmanövers nicht mehr in diesen Deadlock geraten. Eventuell erfolgt eine Übertragung des neu gelernten Verhaltens auf weitere automatisiert betriebene Fahrzeuge mit einer ähnlichen oder identischen KI.In another embodiment, an AI implemented in a vehicle observes the behavior of a driver or a controller of the vehicle from a cloud and learns from this the correct behavior to get out of the deadlock. In this case, after the vehicle has been released from the deadlock, the AI in the vehicle itself is updated using the input signals of the manual control or the control signals from the cloud. That the AI will no longer get into this deadlock after learning the new driving maneuver. Eventually, the newly learned behavior is transferred to further automated vehicles with a similar or identical AI.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 8468109 B2 [0002]

Claims

Method for operating a highly automated or fully automated vehicle, comprising the steps: ◯ detecting (102) a deadlock during automated operation of the vehicle; ◯ sending (103) environmental and / or driving and / or vehicle data to an assistance server, depending on the detection of the deadlock; ◯ receiving (104) control signals of the assistance server; Automated operation (105) of the vehicle based on the received control signals.

Method according to one of the preceding claims, characterized in that the detection (102) of the deadlock is based on an evaluation of environment and / or driving data in the vehicle.

Method according to one of the preceding claims, characterized in that the detection (102) of the deadlock is based on information received from a monitoring server, the method comprising the additional step of sending out (201) environmental and / or driving and / or vehicle data to the monitoring server and the additional step of receiving (202) information from the monitoring server regarding a present deadlock.

Method according to one of the preceding claims, characterized in that the control signals on the assistance server by means of an AI module (artificial intelligence module) are determined.

Method according to one of the preceding claims, characterized in that when transmitting (102) the environmental and / or driving and / or vehicle data, a KI module used for the automated operation of the vehicle is transmitted to the assistance server, wherein the method the additional A step of receiving (304) a modified AI module from the assistance server and the additional step of automatically operating the vehicle (306) using the modified AI module.

Method according to one of the preceding claims, wherein the automated control takes place on the basis of an in-vehicle AI module and the method comprises the additional step of modifying, in particular teaching, the AI module based on the received control signals and the additional step of automatically operating the Has vehicle by means of the modified KI module.

Method according to one of the preceding claims, with the additional step of determining the deadlock causing driving situation and the adjustment of the automated operation of the vehicle such that an automated control of the vehicle is limited in corresponding driving situations.

Method according to Claim 7 , characterized in that the operation is restricted such that a deactivation of the automated operation takes place in the corresponding driving situations.

Apparatus arranged to execute steps of a method according to any one of the preceding claims in corresponding units.

Computer program adapted to carry out a method according to one of Claims 1 to 8th perform.

Machine-readable storage medium on which the computer program is based Claim 10 is stored.