-
Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur Erkennung der Umgebung eines Kraftfahrzeugs.
-
Bei teil-autonom und autonom fahrenden Fahrzeugen werden Kamerasysteme eingesetzt, um Informationen über die Umgebung des Fahrzeugs zu gewinnen. Die Entwicklung des hochautomatisierten Fahrens (HAF) geht daher einher mit einer Erhöhung der Anforderungen an Fahrzeugkamerasysteme zur Aufnahme von geeigneten Bilddaten. Zudem müssen die aufgenommen Kameradaten sorgfältig interpretiert werden, um daraus die richtigen Schlussfolgerungen hinsichtlich einer möglichen Gefahrensituation zu gewinnen.
-
Allerdings beschränkt sich die bisherige Verwendung von Parkkameras bei einem Kraftfahrzeug häufig auf eine rein informierende Funktion für den Fahrer während eines Einparkvorgangs. Als Kameras werden in der Regel Videokameras eingesetzt, die eine Folge von Einzelbildern aufnehmen, die ein Videosignal ergeben. Es ist bekannt, die Einzelbilder der Videokamera mittels digitaler Bildverarbeitung zu bearbeiten, wie beispielsweise hinsichtlich der Tiefenschätzung eines auf dem Bild befindlichen Objekts oder einer semantischen Segmentierung. Bei der semantischen Segmentierung wird das Bild in verschiedene Segmente eingeteilt, die hinsichtlich ihres Bedeutungsgehalts klassifiziert werden. Dazu werden häufig tiefe künstliche neuronale Netze eingesetzt. Allerdings besteht bei der Verwendung von neuronalen Netzen oft das Problem, dass trainierte neuronale Netze nur eine Perspektive, wie beispielsweise die Frontansicht, berücksichtigen und andere Perspektiven nicht oder nicht ausreichend betrachten. Zwar kann die Verwendung von parallelen neuronalen Netzen mit unterschiedlichen Parametern und Gewichten eine Verbesserung darstellen, allerdings ist dies mit einer erheblichen Erhöhung der Bearbeitungszeiten und damit der benötigten Rechenleistung von Grafikkarten und/oder Steuergeräten in einem Fahrzeug verbunden. Ein weiterer Nachteil besteht darin, dass Bilder aus unterschiedlichen Perspektiven wie von der Vorderseite und Rückseite eines Fahrzeugs separat betrachtet werden, wodurch Widersprüche bei den Bearbeitungsergebnissen entstehen können. Außerdem kann sich die Bearbeitung der Bildränder schwierig gestalten.
-
Die
DE 10 2018 132 627 A1 beschreibt ein Verfahren zum Erfassen von Objekten in einer Umgebung eines Kraftfahrzeugs. Es werden zumindest zwei Bilder der Umgebung bereitgestellt, wobei die Bilder mit einer selben Kamera des Kraftfahrzeugs zu unterschiedlichen Zeitenpunkten aufgenommen werden. Aus den beiden Bildern werden getrennt voneinander jeweils Bildmerkmale durch einen Eingangsteil eines künstlichen neuronalen Netzes extrahiert und dann mittels einer Verknüpfungseinheit miteinander verknüpft. Durch Auswerten der verknüpften Bildmerkmale durch eine Auswerteeinheit werden Objekte in der Umgebung erfasst.
-
Die
DE 10 2015 016 943 A1 beschreibt ein Verfahren zur Selbstlokalisation eines Fahrzeugs. Eine Bilderfassungseinheit erfasst eine Fahrzeugumgebung und wertet zumindest Abschnitte der erfassten Bodenoberfläche aus. Eine Selbstlokalisierung des Fahrzeugs wird anhand einer Anordnung von Strukturmerkmalen der Bodenoberfläche und einer relativen Anordnung und Ausrichtung von Fahrzeugabschnitten zu diesen Strukturmerkmalen durchgeführt.
-
Die
DE 101 64 516 A1 beschreibt ein elektronisches Fahrzeugrückblicksystem, wobei eine rückwärtige Panorama-Ansicht durch Verknüpfen der Bilder von zwei Videokameras mittels digitaler Bildverarbeitung erstellt wird.
-
Die
DE 102 017 009 145 A1 beschreibt ein System für die Erfassung und Wiedergabe von 360-Grad-Videos, mit dem 360-Grad-Videos erfasst, zusammengefügt, codiert, decodiert, gerendert und wiedergegeben werden können.
-
Eine Aufgabe der vorliegenden Erfindung besteht daher darin, ein Verfahren, ein System und ein Computerprogrammprodukt zur Erkennung der Umgebung eines Kraftfahrzeugs zu schaffen, das sich durch eine hohe Zuverlässigkeit und effiziente Verwendung von Rechenkapazitäten auszeichnet.
-
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 10, und hinsichtlich eines Computerprogrammprodukt durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
-
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zur Erkennung der Umgebung eines Kraftfahrzeugs mittels einer Bildanalyseeinrichtung. Das Verfahren umfasst das Aufnehmen von Bilddaten mittels einer Bildaufnahmeeinrichtung des Kraftfahrzeugs, wobei die Bilddaten Aufnahmen der Umgebung des Kraftfahrzeugs aus unterschiedlichen Aufnahmerichtungen repräsentieren; das Weitergeben der Bilddaten an eine Bildanalyseeinrichtung, die zumindest ein Synthese-Modul, zumindest ein Encoder-Modul und zumindest zwei Decoder-Module umfasst; das Zusammenfügen der Bilddaten in dem Synthese-Modul zu einer Panoramabilddarstellung; das Extrahieren von Bildmerkmalen der Panoramabilddarstellung in dem Encoder-Modul mittels eines neuronalen Netzwerks; das Weitergeben der extrahierten Bildmerkmale an das erste Decoder-Modul und an das zweite Decoder-Modul; das Durchführen einer Objekterkennung in dem ersten Decoder-Modul mittels eines neuronalen Netzes; das Durchführen einer Tiefenschätzung in dem zweiten Decoder-Modul mittels eines neuronalen Netzes; und das Erzeugen von Ausgabedaten, die ein Auswerteergebnis abbilden.
-
In einer Weiterentwicklung ist vorgesehen, dass die Bildaufnahmeeinrichtung mehrere Kameras umfasst, die jeweils Bilddaten aus unterschiedlichen Aufnahmerichtungen, vorzugsweise um 90° versetzt, aufnehmen.
-
In einer Ausführungsform ist vorgesehen, dass es sich bei der Panoramabilddarstellung um eine 360° Zylinderprojektion handelt, bei der die aufgenommenen Bilddaten auf die Innenseite eines Zylinders projiziert werden.
-
Vorteilhaftweise erfolgt die Bearbeitung der Bilddaten und die Erzeugung von Ausgabedaten in Echtzeit.
-
Zweckmäßigerweise ist das neuronale Netzwerk des Encoder-Moduls als gefaltetes neuronales Netzwerk (convolutional neural network) ausgebildet.
-
In einer weiteren Ausführungsform ist vorgesehen, dass das Encoder-Modul eine Klasse von Bildelementen enthält, welche in einer Trainingsphase des Encoder-Moduls bestimmt oder vorab definiert wurden.
-
In einer Weiterbildung ist vorgesehen, dass ein drittes Decoder-Modul vorgesehen ist, das eine semantische Segmentierung der Panoramadarstellung durchführt.
-
Vorteilhafterweise sind die Decoder-Module miteinander verknüpft und tauschen ihre Ergebnisse untereinander aus.
-
In einer weiteren Ausführungsform ist vorgesehen, dass die Bilddaten mittels einer Mobilfunkverbindung an die Bildanalyseeinrichtung übertragen werden, wobei insbesondere 5G-Funkmodule verwendet werden.
-
Gemäß einem zweiten Aspekt betrifft die Erfindung ein System zur Erkennung der Umgebung eines Kraftfahrzeugs. Das System umfasst eine Bildaufnahmeeinrichtung zur Aufnahme von Bilddaten, wobei die Bilddaten Aufnahmen der Umgebung des Kraftfahrzeugs aus unterschiedlichen Aufnahmerichtungen repräsentieren, und eine Bildanalyseeinrichtung mit einem Synthese-Modul, zumindest einem Encoder-Modul und zumindest zwei Decoder-Modulen. Die Bildaufnahmeeinrichtung ist ausgebildet, die Bilddaten an das Synthese-Modul weiterzugeben, und das Synthese-Modul ist ausgebildet, die Bilddaten zu einer Panoramabilddarstellung zusammenzufügen. Das Encoder-Modul ist ausgebildet, Bildmerkmale der Panoramabilddarstellung in dem Encoder-Modul mittels eines neuronalen Netzwerks zu extrahieren und die extrahierten Bildmerkmale an das erste Decoder-Modul und an das zweite Decoder-Modul weiterzugeben. Das erste Decoder-Modul ist ausgebildet, mittels eines neuronalen Netzes eine Objekterkennung durchzuführen, und das zweite Decoder-Modul ist ausgebildet, eine Tiefenschätzung mittels eines neuronalen Netzes durchzuführen zur Erzeugung von Ausgabedaten, die ein Auswerteergebnis abbilden.
-
In einer Weiterentwicklung ist vorgesehen, dass die Bildaufnahmeeinrichtung mehrere Kameras umfasst, die jeweils Bilddaten aus unterschiedlichen Aufnahmerichtungen, vorzugsweise um 90° versetzt, aufnehmen.
-
In einer Ausführungsform ist vorgesehen, dass es sich bei der Panoramabilddarstellung um eine 360° Zylinderprojektion handelt, bei der die aufgenommenen Bilddaten auf die Innenseite eines Zylinders projiziert werden.
-
Vorteilhafterweise ist das neuronale Netzwerk des Encoder-Moduls als gefaltetes neuronales Netzwerk (convolutional neural network) ausgebildet.
-
Zweckmäßigerweise ist ein drittes Decoder-Modul vorgesehen, das eine semantische Segmentierung der Panoramadarstellung durchführt, wobei die Decoder-Module miteinander verknüpft sind und ihre Ergebnisse untereinander austauschen.
-
Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogrammprodukt, umfassend einen ausführbaren Programmcode, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
-
Nachfolgend wird die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.
-
Dabei zeigt:
- 1 eine schematische Darstellung einer Bildaufnahmeeinrichtung zur Aufnahme der Umgebung eines Kraftfahrzeugs;
- 2 eine schematische Darstellung eines erfindungsgemäßen Systems zur Erkennung der Umgebung eines Kraftfahrzeugs;
- 3 ein Ausführungsbeispiel einer Bildanalyseeinrichtung gemäß der Erfindung;
- 4 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
- 5 ein Computerprogrammprodukt gemäß einer Ausführungsform der des dritten Aspekts der Erfindung.
-
Zusätzliche Merkmale, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.
-
In 1 ist eine Bildaufnahmeeinrichtung 30 zur Aufnahme der Umgebung eines Kraftfahrzeugs 10 dargestellt. Die Bildaufnahmeeinrichtung 30 umfasst mehrere, vorzugsweise zumindest vier einzelnen Kameras 32, 34, 36, 38, die jeweils ein Bild 42, 44, 46, 48 aus der Umgebung des Kraftfahrzeugs 10 aufnehmen. Vorzugsweise sind die Kameras 32, 34, 36 38 an der Vorderseite, der Rückseite und an den beiden Seitenflächen des Kraftfahrzeugs 10 angeordnet, so dass die vier Bilder 42, 44, 46, 48 jeweils um 90° versetzt aufgenommen werden. Insbesondere handelt es sich bei den Bildern 42, 44, 46, 48 jeweils um ein Videosignal bestehend aus einer Folge von Einzelbildern. Die Kameras 32, 34, 36, 38 sind insbesondere als RGB-Kameras im sichtbaren Bereich mit den Grundfarben Blau, Grün und Rot ausgebildet. Es kann aber auch noch zusätzlich eine UV-Kamera im ultravioletten Bereich und/oder eine IR-Kamera im infraroten Bereich vorgesehen sein. Die sich durch ihr Aufnahmespektrum unterscheidenden Kameras können somit unterschiedliche Lichtverhältnisse in dem Aufnahmebereich abbilden.
-
Des Weiteren kann die Aufnahmefrequenz der Kameras 32, 34, 36, 38 für schnelle Geschwindigkeiten des Kraftfahrzeugs 10 ausgelegt sein und Bilddaten 42, 44, 46, 48 mit einer hohen Bildaufnahmefrequenz aufzunehmen.
-
Zudem kann vorgesehen sein, dass die Bildaufnahmeeinrichtung 30 automatisch den Bildaufnahmeprozess dann startet, wenn sich eine flächenmäßig signifikante Änderung im Aufnahmebereich der Bildaufnahmeeinrichtung 30 ergibt, beispielsweise wenn ein Objekt wie ein anderes Fahrzeug oder eine Fahrbahnbegrenzung wie Markierungsstreifen im Aufnahmebereich der Bildaufnahmeeinrichtung 30 erscheint. Hierdurch wird ein selektiver Datenerfassungsprozess ermöglicht und nur relevante Bilddaten werden von der Bildaufnahmeeinrichtung 30 aufgenommen. Hierdurch können Rechenkapazitäten effizienter genutzt werden.
-
Insbesondere ist vorgesehen, für die Kameras 32, 34, 36, 38 wetterfeste Action-Kameras zu verwenden, die insbesondere im Außenbereich des Fahrzeugs 10 angeordnet sein können. Action-Kameras verfügen über weitwinkelige Fischaugen-Objektive, wodurch es möglich ist, einen sichtbaren Radius von über 90° zu erreichen. Insbesondere kann der Aufnahmeradius 180° erreichen, so dass zwei Kameras ausreichend sind, um die Umgebung des Fahrzeugs 10 in einem Umkreis von 360° aufzunehmen. Action-Kameras können üblicherweise Videos in Full HD (1.920 x 1.080 Pixel) aufzeichnen, jedoch können auch Action-Kameras in Ultra HD bzw. 4K (mindestens 3.840 x 2.160 Pixel) eingesetzt werden, wodurch sich eine deutliche Qualitätssteigerung in der Bildqualität ergibt. Die Bildaufnahmefrequenz beträgt üblicherweise 60 Bilder pro Sekunde in 4K und bis zu 240 pro Sekunde in Full HD. Außerdem kann noch ein integrierter Bildstabilisator vorgesehen sein. Zudem sind Action-Kameras häufig mit einem integrierten Mikrofon ausgestattet, so dass zusätzlich akustische Signale aufgezeichnet werden können. Um Hintergrundgeräusche gezielt auszublenden, können darüber hinaus Verfahren der differentiellen Signalverarbeitung verwendet werden.
-
Zudem ist vorteilhafterweise eine GPS-Verbindung (Global Positioning System) vorgesehen, um den geographischen Standort zu ermitteln und diesen den aufgenommenen Bilddaten 42, 44, 46, 48 zuzuordnen.
-
In 2 ist ein erfindungsgemäßes System 100 zur Erkennung der Umgebung des Kraftfahrzeugs 10 dargestellt. Die Bildaufnahmeeinrichtung 30 gibt die aufgenommenen Bilder 42, 44, 46, 48 an eine Bildanalyseeinrichtung 50 zur weiteren Verarbeitung weiter. Vorzugsweise werden die von der Bildaufnahmeeinrichtung 30 aufgenommenen Bilddaten 42, 44, 46, 48 über eine drahtlose Mobilfunkverbindung an eine Bildanalyseeinrichtung 50 weitergegeben.
-
Die Bildanalyseeinrichtung 50 weist vorzugsweise einen Prozessor 51 auf, der die Bilddaten 42, 44, 46, 48 verarbeitet. Der Prozessor 51 oder ein weiterer Prozessor ist auch für die Steuerung der Bildaufnahmeeinrichtung 30 ausgebildet. Die Bildanalyseeinrichtung 50 und der Prozessor 51 können im Fahrzeug 10 und/oder in der Bildaufnahmeeinrichtung 50 integriert sein oder als cloudbasierte Lösung mit einer Cloud-Computing-Infrastruktur ausgebildet sein, die über eine Mobilfunkverbindung mit dem Fahrzeug 10 verbunden ist. Es ist aber auch denkbar, dass die Bilddaten 42, 44, 46, 48 zunächst in einer Speichereinheit 72 oder einem Softwaremodul 74 gespeichert und erst zu einem späteren Zeitpunkt von der Bildanalyseeinrichtung 50 verarbeitet werden.
-
Zudem kann die Bildanalyseeinrichtung 50 auf ein oder mehrere weitere Datenbanken 76 zugreifen. In der Datenbank 76 können beispielsweise Extraktionsparameter wie bestimmte Objekte oder Straßenmerkmale zur Analyse der aufgenommenen Bilddaten 42, 44, 46, 48 oder weitere Bilder und/oder Kenngrößen gespeichert sein. Des Weiteren können Zielgrößen und Zielwerte in der Datenbank 76 abgelegt sein, die einen Sicherheitsstandard definieren. Des Weiteren kann eine Benutzerschnittstelle 80 zur Eingabe von weiteren Daten und/oder zur Anzeige der von der Bildanalyseeinrichtung 50 erstellten Berechnungsergebnisse vorgesehen sein. Insbesondere ist die Benutzerschnittstelle 80 als Display mit einem Touchscreen ausgebildet.
-
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung oder ein leistungsfähiger Computer verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Außerdem können hochparallele Recheneinheiten und leistungsfähige Grafikmodule vorgesehen sein.
-
Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form von Arbeitsspeicher (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
-
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist das Modul speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit das Modul ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.
-
Unter aufgenommenen Bilddaten 42, 44, 46, 48 sind im Zusammenhang mit der Erfindung sowohl die Rohdaten als auch bereits aufbereitete Daten aus den Aufnahmeergebnissen der Bildaufnahmeeinrichtung 30 zu verstehen. Die Datenformate der Bilddaten 42, 44, 46, 48 sind vorzugsweise als Tensoren ausgebildet. Es können aber auch andere Bildformate verwendet werden.
-
Insbesondere kann die Bildaufnahmeeinrichtung 30 und/oder eine ihr zugeordnete Steuereinrichtung über Mobilfunkmodule des 5G-Standards verfügen. 5G ist der Mobilfunkstandard der fünften Generation und zeichnet sich im Vergleich zum 4G-Mobilfunkstandard durch höhere Datenraten bis zu 10 Gbit/sec, der Nutzung höherer Frequenzbereiche wie beispielsweise 2100, 2600 oder 3600 Megahertz, eine erhöhte Frequenzkapazität und damit einen erhöhten Datendurchsatz und eine Echtzeitdatenübertragung aus, da bis zu eine Million Geräte pro Quadratkilometer gleichzeitig ansprechbar sind. Die Latenzzeiten betragen wenige Millisekunden bis unter 1 ms, so dass Echtzeitübertragungen von Daten und von Berechnungsergebnissen möglich sind. Die von der Bildaufnahmeeinrichtung 30 aufgenommenen Bilddaten 42, 44, 46, 48 werden in Echtzeit an eine Cloud-Computing-Plattform gesendet, wo die entsprechende Analyse und Berechnung durchgeführt wird. Die Analyse- und Berechnungsergebnisse können an das Fahrzeug 10 in Echtzeit zurückgesandt werden und damit schnell in Handlungsanweisungen an den Fahrer oder in automatisierte Fahrfunktionen integriert werden. Diese Geschwindigkeit bei der Datenübermittlung ist erforderlich, wenn cloudbasierte Lösungen für die Verarbeitung der Bilddaten 42, 44, 46, 48 verwendet werden sollen. Cloudbasierte Lösungen bieten den Vorteil von hohen und damit schnellen Rechenleistungen.
-
Wenn die Bildanalyseeinrichtung 50 in dem Fahrzeug integriert ist, wird für den Prozessor 52 vorteilhaftweise eine Kl-Hardwarebeschleunigung wie das Coral Dev Board verwendet, um eine Bearbeitung in Echtzeit zu ermöglichen. Es handelt sich hierbei um einen Mikrocomputer mit einer Tensorverarbeitungseinheit (engl.: tensor processing unit (TPU)), wodurch eine vortrainierte Softwareapplikation bis zu 70 Bilder pro Sekunde auswerten kann.
-
3 zeigt ein Blockschaltbild der Bildanalyseeinrichtung 50 mit verschiedenen Modulen zur Analyse und Bearbeitung der erfassten und/oder gespeicherten Bilddaten 42, 44, 46, 48. In einem Synthese-Modul 52 werden die Bilder 42, 44, 46, 48, die von den Kameras 32, 34, 36 und 38 vorzugsweise gleichzeitig aufgenommen worden sind, in eine Panoramabilddarstellung 40 überführt. Insbesondere handelt es sich bei der Panoramabilddarstellung 40 um eine 360° Zylinderprojektion, bei der die aufgenommenen Bilddaten 42, 44, 46, 48 auf die Innenseite eines Zylinders projiziert werden. Den einzelnen Bildpunkten kann somit jeweils ein Winkel φ zwischen 0° und 360° sowie eine Höhe h zugeordnet werden.
-
Die in dem Synthesemodul 52 erzeugte Panoramabilddarstellung 40 wird in einem Encoder-Modul 54 weiterverarbeitet. Das Encoder-Modul 54 verwendet vorteilhaftweise ein künstliches neuronales Netzwerk, um relevante Bildmerkmale aus der Panoramabilddarstellung 40 zu extrahieren. Insbesondere handelt es sich bei dem neuronalen Netzwerk um ein gefaltetes neuronales Netzwerk (engl.: convolutional neural networks).
-
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie Feedforward-Netzwerke, Rekurrente Netzwerke oder Convolutional Neural Networks. Die Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainieren
-
Das Convolutional Neural Network ist eine besondere Form eines künstlichen neuronalen Netzwerks. Es besitzt mehrere Faltungsschichten und ist für maschinelles Lernen und Anwendungen mit Künstlicher Intelligenz (KI) im Bereich der Bild- und Spracherkennung sehr gut geeignet. Die Funktionsweise eines Convolutional Neural Networks ist zu einem gewissen Teil biologischen Vorgängen nachempfunden und der Aufbau ist vergleichbar der Sehrinde des Gehirns. Das Training eines Convolutional Neural Networks findet gewöhnlich überwacht statt. Herkömmliche neuronale Netzwerke bestehen aus voll- oder teilverknüpften Neuronen in mehreren Ebenen. Diese Strukturen stoßen jedoch bei der Verarbeitung von Bildern an ihre Grenzen, da eine der Pixelanzahl entsprechende Zahl an Eingängen vorhanden sein müsste. Das Convolutional Neural Network setzt sich aus verschiedenen Schichten zusammen und ist vom Grundprinzip ein zum Teil lokal verknüpftes neuronales Feedforward-Netzwerk. Die einzelnen Schichten des CNN sind die Convolutional-Schicht, die Pooling-Schicht und die vollständig verknüpfte Schicht. Die Pooling-Schicht folgt der Convolutional-Schicht und kann in dieser Kombination mehrfach hintereinander vorhanden sein. Da die Pooling-Schicht und die Convolutional-Schicht lokal verknüpfte Teilnetze sind, bleibt die Anzahl an Verbindungen in diesen Schichten selbst bei großen Eingabemengen begrenzt und in einem beherrschbaren Rahmen. Den Abschluss bildet eine vollständig verknüpfte Schicht. Die Convolutional-Schicht ist die eigentliche Faltungsebene und in der Lage, in den Eingabedaten einzelne Merkmale zu erkennen und zu extrahieren. Bei der Bildverarbeitung können dies Merkmale wie Linien, Kanten oder bestimmte Formen sein. Die Verarbeitung der Eingabedaten erfolgt in Form von Tensoren wie einer Matrix oder Vektoren. Die Pooling-Schicht, auch Subsampling-Schicht genannt, verdichtet und reduziert die Auflösung der erkannten Merkmale durch passende Filterfunktionen. Insbesondere wird hierfür eine Maxpool-Funktion angewendet, die für einen (üblicherweise) nicht überlappenden Teilbereich der Daten den maximalen Wert jeweils berechnet. Neben dem Maximal-Pooling kann aber auch ein Mittelwert-Pooling verwendet werden. Das Pooling verwirft überflüssige Informationen und reduziert die Datenmenge. Die Leistungsfähigkeit beim maschinellen Lernen wird dadurch nicht verringert. Durch das reduzierte Datenaufkommen erhöht sich die Berechnungsgeschwindigkeit. Die Anzahl der Neuronen ist abhängig von den Eingabedaten, die das Convolutional Neural Network bearbeiten soll.
-
Das Convolutional Neural Network (CNN) bietet daher gegenüber herkömmlichen nicht gefalteten neuronalen Netzen zahlreiche Vorteile. Es eignet sich für maschinelles Lernen und Anwendungen der Künstlichen Intelligenz mit großen Mengen an Eingabedaten wie in der Bilderkennung. Das Netzwerk arbeitet zuverlässig und ist gegenüber Verzerrungen oder anderen optischen Veränderungen unempfindlich. Das CNN kann unter verschiedenen Lichtverhältnissen und in unterschiedlichen Perspektiven aufgenommene Bilder verarbeiten. Es erkennt dennoch die typischen Merkmale eines Bildes. Da das CNN in mehrere lokale, teilverknüpfte Schichten aufgeteilt ist, hat es einen wesentlich geringeren Speicherplatzbedarf als vollverknüpfte neuronale Netze. Die Faltungsschichten reduzieren die Speicheranforderungen drastisch. Ebenfalls stark verkürzt ist die Trainingszeit des Convolutional Neural Networks. Mit dem Einsatz moderner Grafikprozessoren lassen sich CNNs sehr effizient trainieren. Das CNN erkennt und extrahiert Merkmale der Eingangsbilder mithilfe von Filtern. Zunächst erkennt das CNN in den ersten Ebenen einfache Strukturen wie Linien, Farbmerkmale oder Kanten. In den weiteren Ebenen lernt das Convolutional Neural Network Kombinationen aus diesen Strukturen wie einfache Formen oder Kurven. Mit jeder Ebene lassen sich komplexere Strukturen identifizieren. Die Daten werden in den Ebenen immer wieder neu abgetastet und gefiltert.
-
Neben der in dem Synthesemodul 52 erzeugten Panoramadarstellung 40 kann das Encoder-Modul 54 auch weitere Eingabedaten wie Daten aus den Datenbanken 70 verwenden. Zudem kann das Encoder-Modul 54 eine Klasse von Bildelementen enthalten, welche in einer Trainingsphase des Encoder-Moduls 54 bestimmt oder vorab definiert wurden.
-
Die in dem Encoder-Modul 54 ermittelten und extrahierten Bildmerkmale werden an zumindest zwei Decoder-Module 56, 58 weitergegeben, um eine weitere Klassifizierung vorzunehmen. Es können aber auch noch weitere Decoder-Module 59 vorgesehen sein. Insbesondere ist das Decoder-Modul 56 ausgebildet, ein Objekt wie ein anderes Fahrzeug oder einen Passanten auf der Panoramabilddarstellung 70 zu erkennen. Für die Objekterkennung kann wiederum ein neuronales Netzwerk eingesetzt werden, das vorteilhaftweist mit bestimmten Objekten trainiert worden ist, um eine möglichst genaue Objekterkennung zu ermöglichen. Ein weiteres Decoder-Modul 58 ist ausgebildet, eine Tiefenschätzung vorzugsweise der auf der Panoramadarstellung 40 erkannten Objekte vorzunehmen. So kann beispielsweise die Länge eines anderen Fahrzeugs abgeschätzt werden. Ein weiteres Decoder-Modul 59 kann für eine semantische Segmentierung der Panoramadarstellung 70 vorgesehen sein, um beispielsweise die Farbe oder den Fahrzeugtyp eines auf der Panoramadarstellung 40 dargestellten Fahrzeugs zu erkennen. Da die Decoder-Module 56, 58, 59 für eine bestimmte Aufgabe ausgelegt sind, benötigen sie weniger Rechenzeit und Speicherbedarf, um ihre jeweilige Aufgabe zu erfüllen. Außerdem ist vorgesehen, dass die Decoder-Module 56, 58, 59 miteinander verknüpft sind, so dass sie auf die Berechnungsergebnisse der jeweils anderen Decoder-Module 56, 58, 59 zugreifen können. Zudem kann vorgesehen sein, das neuronale Netzwerk der Decoder-Module 56, 58, 59 jeweils als flaches neuronales Netzwerk mit mehreren dichten Schichten auszubilden, um kurze Rechenzeiten zu ermöglichen.
-
Die derart bearbeiteten Bilddaten 42, 44, 46, 48 werden vorzugsweise als Ausgabedaten 90 in eine automatisierte Fahrfunktion integriert und/oder an die Benutzerschnittstelle 80 übermittelt. Sie können dort als Handlungsempfehlungen oder Warnhinweise an den Fahrer des Fahrzeugs 10 ausgegeben werden. So kann beispielsweise ein Warnton oder ein optischer Hinweis über die Benutzerschnittstelle 80 angezeigt werden, der den Fahrer zu einem geänderten Fahrverhalten veranlassen soll. Bei einer automatisieren Fahrfunktion kann beispielsweise automatisch das Fahrtempo reduziert werden oder es kann ein automatisches Einparken in eine Parklücke erfolgen.
-
Ein Verfahren zur Erkennung der Umgebung eines Kraftfahrzeugs gemäß der vorliegenden Erfindung umfasst daher die folgenden Schritte:
- In einem Schritt S10 werden Bilddaten 42, 44, 46, 48 von zumindest zwei Kameras 32, 34, 36, 38 einer Bildaufnahmeeinrichtung 30 eines Kraftfahrzeugs 10 aufgenommen, wobei die Bilddaten 42, 44, 46, 48 Aufnahmen der Umgebung des Kraftfahrzeugs 10 aus unterschiedlichen Aufnahmerichtungen repräsentieren.
- In einem Schritt S20 werden die Bilddaten 42, 44, 46, 48 an eine Bildanalyseeinrichtung 50 weitergegeben, die zumindest ein Synthesemodul 52, zumindest ein Encoder-Modul 54 und zumindest zwei Decoder-Module 56, 58 umfasst.
- In einem Schritt S30 werden die Bilddaten 42, 44, 46, 48 in dem Synthesemodul 52 zu einer Panoramabilddarstellung 40 zusammengefügt.
- In einem Schritt S40 werden Bildmerkmale der Panoramabilddarstellung 40 in dem Encoder-Modul 54 mittels eines neuronalen Netzwerks extrahiert.
- In einem Schritt S50 werden die extrahierten Bildmerkmale an das erste Decoder-Modul 56 und an das zweite Decoder-Modul 58 weitergegeben.
- In einem Schritt S60 wird in dem ersten Decoder-Modul 56 eine Objekterkennung mittels eines neuronalen Netzes durchgeführt.
- In einem Schritt S70 wird in dem zweiten Decoder-Modul 58 eine Tiefenschätzung mittels eines neuronalen Netzes durchgeführt.
- In einem Schritt S80 werden Ausgabedaten 90 erzeugt, die ein Auswerteergebnis abbilden.
-
Durch die Erstellung eines Panoramabildes 40 der Umgebung des Kraftfahrzeugs 10 kann ein ganzheitliches Abbild der Umgebung des Kraftfahrzeugs erzeugt werden und an ein Encoder-Modul 54 weitergegeben werden. Hierdurch wird die Extraktion von Bildmerkmalen durch ein neuronales Netzwerk vereinfacht, da das Encoder-Modul 54 nicht auf verschiedene Bilder der Umgebung zurückgreifen muss. Die extrahierten Bildmerkmale werden an zumindest zwei Decoder-Module 56, 58 zur Auswertung weitergegeben. Hierdurch werden die Anforderungen an die Rechenkapazität für die Auswertung der extrahierten Bildmerkmal bezüglich spezifischer Charakteristika wie die Objekterkennung und die Tiefenschätzung reduziert, da die Decoder-Module 56, 58 spezialisiert sind und parallel die jeweilige Auswertung durchführen.
-
Insgesamt kann hierdurch die Umgebung eines Fahrzeugs in Echtzeit analysiert werden und somit für halb-automatische und automatische Fahrfunktionen genutzt werden. Es ist auch möglich, dass das Ergebnis der Analyse als optisches und/oder akustisches Warnsignal auf einer Benutzerschnittstelle 80 des Fahrzeugs 10 ausgegeben wird. Da die Übermittlung und Auswertung der Daten in Echtzeit erfolgt, ist eine schnelle Reaktion im Bereich von Millisekunden möglich. Dies ist insbesondere bei einem hohen Fahrtempo des Fahrzeugs 10 von großer Bedeutung, da nur so sichergestellt werden kann, dass automatische Fahrfunktionen angemessen auf eine aktuelle Fahrsituation reagieren können. Durch die vorliegende Erfindung kann somit die Sicherheit beim Fahren weiter erhöht werden.
-
Bezugszeichenliste
-
- 10
- Kraftfahrzeug
- 30
- Bildaufnahmeeinrichtung
- 32
- erste Kamera
- 34
- zweite Kamera
- 36
- dritte Kamera
- 38
- vierte Kamera
- 40
- Panoramabilddarstellung
- 42
- erste Bilddaten
- 44
- zweite Bilddaten
- 46
- dritte Bilddaten
- 48
- vierte Bilddaten
- 50
- Bildanalyseeinrichtung
- 51
- Prozessor
- 52
- Synthese-Modul
- 54
- Encoder-Modul
- 56
- erstes Decoder-Modul
- 58
- zweites Decoder-Modul
- 59
- drittes Decoder-Modul
- 72
- Speichereinheit
- 74
- Softwaremodul
- 76
- Datenbank
- 80
- Benutzerschnittstelle
- 90
- Ausgabedaten
- 200
- Computerprogrammprodukt
- 250
- Programmcode
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102018132627 A1 [0004]
- DE 102015016943 A1 [0005]
- DE 10164516 A1 [0006]
- DE 102017009145 A1 [0007]