DE102022206892A1

DE102022206892A1 - Method for determining an optimal architecture of an artificial neural network

Info

Publication number: DE102022206892A1
Application number: DE102022206892.0A
Authority: DE
Inventors: Gresa Shala; Frank Hutter; Josif Grabocka
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-07-06
Filing date: 2022-07-06
Publication date: 2024-01-11

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes, wobei das Verfahren folgende Schritte aufweist: Für jede Architektur aus einer Menge an möglichen Architekturen des künstlichen neuronalen Netzes, jeweils Bestimmen einer Unsicherheit für die entsprechende Architektur durch Bestimmen einer Ähnlichkeit der entsprechenden Architektur zu wenigstens einer bekannten Architektur (2); und Bestimmen einer für das künstliche neuronale Netz optimalen Architektur aus der Menge an möglichen Architekturen unter Verwendung einer Nutzenfunktion basierend auf den Unsicherheiten der Architekturen aus der Menge an möglichen Architekturen (3).The invention relates to a method for determining an optimal architecture of an artificial neural network, the method having the following steps: For each architecture from a set of possible architectures of the artificial neural network, determining an uncertainty for the corresponding architecture by determining a similarity of the corresponding one Architecture to at least one known architecture (2); and determining an optimal architecture for the artificial neural network from the set of possible architectures using a utility function based on the uncertainties of the architectures from the set of possible architectures (3).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes, mit welchem schnell und mit geringem Ressourcenverbrauch eine optimale Architektur für ein künstliches neuronales Netz bestimmt werden kann.The invention relates to a method for determining an optimal architecture of an artificial neural network, with which an optimal architecture for an artificial neural network can be determined quickly and with little resource consumption.

Algorithmen des maschinellen Lernens basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.Machine learning algorithms are based on the fact that statistical methods are used to train a data processing system so that it can carry out a specific task without it having originally been explicitly programmed for this purpose. The goal of machine learning is to construct algorithms that can learn from data and make predictions. These algorithms create mathematical models that can be used, for example, to classify data.

Ein Beispiel für derartige Algorithmen des maschinellen Lernens sind künstliche neuronale Netze. Derartige künstliche neuronale Netze orientieren sich an biologischen Neuronen und erlauben es, ein unbekanntes Systemverhalten aus vorhandenen Trainingsdaten anzulernen und anschließend das angelernte Systemverhalten auch auf unbekannte Eingangsgrößen anzuwenden. Dabei besteht das neuronale Netz aus Schichten mit idealisierten Neuronen, welche gemäß einer Topologie des Netzes in unterschiedlicher Weise miteinander verbunden sind. Die erste Schicht, welche auch als Eingangsschicht bezeichnet wird, erfasst und überträgt dabei die Eingangswerte, wobei die Anzahl der Neuronen in der Eingangsschicht der Anzahl an Eingangssignalen, welche verarbeitet werden sollen, entspricht. Die letzte Schicht wird auch als Ausgangsschicht bezeichnet und weist genauso viele Neuronen auf, wie Ausgabewerte bereitgestellt werden sollen. Zwischen der Eingangsschicht und der Ausgangsschicht befindet sich zudem wenigstens eine Zwischenschicht, welche oftmals auch als verborgene Schicht bezeichnet wird, wobei die Anzahl der Zwischenschichten und die Anzahl und/oder der Typ der Neuronen in diesen Schichten abhängig von der konkreten Aufgabe, welche durch das künstliche neuronale Netz gelöst werden soll, ist.An example of such machine learning algorithms are artificial neural networks. Such artificial neural networks are based on biological neurons and allow unknown system behavior to be learned from existing training data and then the learned system behavior to be applied to unknown input variables. The neural network consists of layers with idealized neurons, which are connected to each other in different ways according to a topology of the network. The first layer, which is also referred to as the input layer, records and transmits the input values, whereby the number of neurons in the input layer corresponds to the number of input signals that are to be processed. The last layer is also called the output layer and has as many neurons as the number of output values to be provided. Between the input layer and the output layer there is also at least one intermediate layer, which is often referred to as a hidden layer, whereby the number of intermediate layers and the number and/or type of neurons in these layers depend on the specific task carried out by the artificial neural network is to be solved.

Die Entwicklung der Architektur des künstlichen neuronalen Netzes, das heißt die Bestimmung des Erscheinungsbildes des Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl und/oder des Typs der Neuronen in den einzelnen Schichten ist dabei für gewöhnlich jedoch sehr aufwendig, insbesondere im Hinblick auf den Ressourcenverbrauch. Um die Entwicklung der Architektur zu optimieren, wurde dabei die Neural Architektur Search (NAS) entwickelt, welche automatisiert optimale Architekturen für spezifische Problemstellungen entwickelt. Der NAS-Algorithmus stellt dabei zunächst aus verschiedenen Bausteinen und Konfigurationen eine Architektur für das künstliche neuronale Netz zusammen, welche anschließend mit einem Satz Trainingsdaten trainiert wird, und wobei erhaltene Ergebnisse anschließend im Hinblick auf die Performanz evaluiert werden. Basierend auf dieser Bewertung kann anschließend eine neue, im Hinblick auf die Performanz voraussichtlich optimalere Architektur ermittelt werden, welche anschließend wiederum basierend auf den Trainingsdaten trainiert wird, und wobei die erhaltenen Ergebnisse anschließend wiederum im Hinblick auf die Performanz evaluiert werden. Diese Schritte können dabei so oft wiederholt werden, bis keine Verbesserung mehr durch Veränderungen der Architektur erzielbar ist.However, the development of the architecture of the artificial neural network, that is to say the determination of the appearance of the network or the number of layers in the network as well as the determination of the number and/or type of neurons in the individual layers, is usually very complex, especially in terms of resource consumption. In order to optimize the development of the architecture, the Neural Architecture Search (NAS) was developed, which automatically develops optimal architectures for specific problems. The NAS algorithm first puts together an architecture for the artificial neural network from various building blocks and configurations, which is then trained with a set of training data, and the results obtained are then evaluated with regard to performance. Based on this evaluation, a new architecture that is likely to be more optimal in terms of performance can then be determined, which in turn is then trained based on the training data, and the results obtained are then evaluated again with regard to performance. These steps can be repeated until no further improvement can be achieved through changes to the architecture.

Aus der Druckschrift EP 3 629 246 A1 ist ein Verfahren zur neuronalen Architektursuche bekannt, wobei ein neuronales Netzwerk bereitgestellt wird, das konfiguriert ist, um eine ausgewählte Aufgabe auszuführen, wobei ein Graph erhalten wird, der mehrere Knoten, Kanten und den Knoten/Kanten zugeordnete Gewichtungen enthält, wobei der Graph mehrere Kandidatenmodelle in Form von Teilgraphen des Graphen enthält, wobei ausgewählte Teilgraphen sequentiell trainiert werden, wobei die jedem Teilgraphen entsprechenden Gewichtungen in Reaktion auf das Training aktualisiert werden, wobei für jede Gewichtung in einem Teilgraphen, der mit einem anderen Teilgraphen geteilt wird, Aktualisierungen der Gewichtungen in Reaktion auf das Trainieren dieses Teilgraphen basierend auf einer Angabe, wie wichtig ein dieser Gewichtung zugeordneter Knoten/Kante für den anderen Teilgraphen ist, gesteuert werden.From the publication EP 3 629 246 A1 is known a method for neural architecture search, wherein a neural network is provided configured to perform a selected task, obtaining a graph containing a plurality of nodes, edges and weights associated with the nodes/edges, the graph comprising a plurality of candidate models in the form of subgraphs of the graph, wherein selected subgraphs are trained sequentially, the weights corresponding to each subgraph being updated in response to the training, wherein for each weight in a subgraph that is shared with another subgraph, updates of the weights in response to train this subgraph based on an indication of how important a node/edge associated with this weight is for the other subgraph.

Der Erfindung liegt somit die Aufgabe zugrunde, ein verbessertes Verfahren zum Bestimmer einer optimalen Architektur eines künstlichen neuronalen Netzes anzugeben.The invention is therefore based on the object of specifying an improved method for determining an optimal architecture of an artificial neural network.

Die Aufgabe wird gelöst durch ein Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes gemäß den Merkmalen des Patentanspruchs 1.The task is solved by a method for determining an optimal architecture of an artificial neural network according to the features of patent claim 1.

Die Aufgabe wird zudem auch gelöst durch ein Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes gemäß den Merkmalen des Patentanspruchs 7.The task is also solved by a control device for determining an optimal architecture of an artificial neural network according to the features of patent claim 7.

Offenbarung der ErfindungDisclosure of the invention

Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch ein Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes, wobei für jede Architektur aus einer Menge an möglichen Architekturen des neuronalen Netzes, jeweils eine Unsicherheit für die entsprechende Architektur durch Bestimmen einer Ähnlichkeit der Architektur zu wenigstens einer bekannten Architektur bestimmt wird, und wobei eine für das künstliche neuronale Netz optimale Architektur aus der Menge an möglichen Architekturen unter Verwendung einer Nutzenfunktion basierend auf den Unsicherheiten der Architekturen aus der Menge an möglichen Architekturen bestimmt wird.According to one embodiment of the invention, this object is achieved by a method for determining an optimal architecture of an artificial neural network, for each architecture from a set of possible architectures of the neural network, an uncertainty for the corresponding architecture is determined by determining a similarity of the architecture to at least one known architecture, and wherein an architecture that is optimal for the artificial neural network from the set of possible architectures using a utility function based on the uncertainties of the architectures is determined from the set of possible architectures.

Unter Architektur beziehungsweise Architektur eines künstlichen neuronalen Netzes, welches trainiert ist, eine bestimmte Aufgabe zu lösen, wird dabei die Struktur beziehungsweise das strukturelle Erscheinungsbild des künstlichen neuronalen Netzes verstanden, welches beispielsweise auf der Anzahl der Schichten in dem künstlichen neuronalen Netz und/oder der Anzahl und/oder des Typs der Neuronen in den einzelnen Schichten basiert.The term architecture or architecture of an artificial neural network, which is trained to solve a specific task, is understood to mean the structure or the structural appearance of the artificial neural network, which is based, for example, on the number of layers in the artificial neural network and / or the number and/or the type of neurons in the individual layers.

Unter Menge an möglichen Architekturen des neuronalen Netzes wird weiter die Menge beziehungsweise Gesamtheit aller möglichen Strukturen beziehungsweise strukturellen Erscheinungsbilder des künstlichen neuronalen Netzes verstanden.The set of possible architectures of the neural network is further understood to mean the set or totality of all possible structures or structural appearances of the artificial neural network.

Unter bekannter Architektur wird zudem eine Architektur verstanden, basierend auf welcher bereits ein künstliches neuronales Netz trainiert und ausgewertet wurde, wobei das künstliche neuronale Netz dabei trainiert wurde, zumindest eine ähnliche Aufgabe wie das zu trainierende künstliche neuronale Netz zu lösen.Known architecture is also understood to mean an architecture based on which an artificial neural network has already been trained and evaluated, the artificial neural network being trained to solve at least a similar task to the artificial neural network to be trained.

Unter Unsicherheit wird ferner ein Wert beziehungsweise eine Variable verstanden, welcher beziehungsweise welche die Güte der Ähnlichkeit zwischen wenigstens zwei Architekturen angibt, das heißt wieviel Informationsgehalt der entsprechenden Ähnlichkeit zugrunde liegt bzw. wie ähnlich die wenigstens zwei Architekturen sind.Uncertainty is also understood to mean a value or a variable which indicates the quality of the similarity between at least two architectures, i.e. how much information content the corresponding similarity is based on or how similar the at least two architectures are.

Eine Nutzen- beziehungsweise Utility-Funktion ist weiter eine mathematische Funktion beziehungsweise mathematische Gleichung, welche den Nutzen darstellt, welcher erhalten wird, wenn ein neuronales Netz basierend auf einer bestimmten Architektur trainiert wird.A utility function is also a mathematical function or mathematical equation that represents the utility obtained when a neural network is trained based on a particular architecture.

Dass dabei für jede Architektur aus einer Menge an möglichen Architekturen des künstlichen neuronalen Netzes jeweils eine Ähnlichkeit der Architektur zu wenigstens einer bekannten Architektur bestimmt wird hat den Vorteil, dass für jeden Teil beziehungsweise Aspekt der einzelnen Architekturen jeweils geprüft werden kann, ob dieser bekannt oder unbekannt, das heißt mit einer gewissen Unsicherheit verbunden ist, wobei die Unsicherheit für eine Architektur die Unsicherheiten aller Teile beziehungsweise Aspekte der entsprechenden Architektur umfassen kann, und wobei ein Aspekt beispielsweise die Anzahl der Schichten oder die Anzahl von Neuronen in einzelnen Schichten sein kann.The fact that for each architecture from a set of possible architectures of the artificial neural network a similarity of the architecture to at least one known architecture is determined has the advantage that for each part or aspect of the individual architectures it can be checked whether it is known or unknown , that is, is associated with a certain uncertainty, where the uncertainty for an architecture can include the uncertainties of all parts or aspects of the corresponding architecture, and where an aspect can be, for example, the number of layers or the number of neurons in individual layers.

Dies hat den Vorteil, dass das Verfahren verglichen mit bekannten Verfahren zum Bestimmen einer optimalen Architektur, welche auf lediglich einem Parameter bezüglich der Genauigkeit einzelner Architekturen basieren, effizienter und robuster ist.This has the advantage that the method is more efficient and robust compared to known methods for determining an optimal architecture, which are based on only one parameter regarding the accuracy of individual architectures.

Dadurch, dass das Verfahren effizienter und robuster ist, kann die insgesamt optimalste Architektur zudem schneller gefunden werden beziehungsweise konfiguriert das Verfahren schneller. Da das Verfahren zudem auf einfachen, gebräuchlichen Algorithmen beziehungsweise Funktionen basiert, kann diese optimale Architektur zudem mit vergleichsweise wenig Computerressourcen, beispielsweise vergleichsweise wenig Speicher- und/oder Prozessorkapazitäten bestimmt werden. Insbesondere kann die optimale Architektur dabei auch auf Steuergeräten, welche vergleichsweise wenig Ressourcen aufweisen, beispielsweise einem Steuergerät eines autonom fahrenden Kraftfahrzeuges bestimmt werden.Because the process is more efficient and robust, the most optimal architecture can be found more quickly and the process can be configured more quickly. Since the method is also based on simple, common algorithms or functions, this optimal architecture can also be determined with comparatively few computer resources, for example comparatively little memory and/or processor capacity. In particular, the optimal architecture can also be determined on control devices that have comparatively few resources, for example a control device of an autonomous motor vehicle.

Insgesamt wird somit ein verbessertes Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes angegeben.Overall, an improved method for determining an optimal architecture of an artificial neural network is thus specified.

Dabei kann der Schritt des, für jede Architektur aus einer Menge an möglichen Architekturen des neuronalen Netzes, jeweiligen Bestimmens einer Unsicherheit für die entsprechende Architektur durch Bestimmen einer Ähnlichkeit der entsprechenden Architektur zu wenigstens einer bekannten Architektur weiter ein Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist, Architekturen mit ähnlicher Performanz zu identifizieren, aufweisen.The step of, for each architecture from a set of possible architectures of the neural network, determining an uncertainty for the corresponding architecture by determining a similarity of the corresponding architecture to at least one known architecture can further involve applying a machine learning algorithm that trains is to identify architectures with similar performance.

Unter Performanz wird hierbei weiter die Leistungsfähigkeit der entsprechenden Architektur insgesamt verstanden.Performance is understood to mean the overall performance of the corresponding architecture.

Dass der Algorithmus des maschinellen Lernens dabei trainiert ist, Architekturen mit einer ähnlichen Performanz zu identifizieren, bedeutet dabei insbesondere, dass der Algorithmus des maschinellen Lernens trainiert ist, bei der Bestimmung der Unsicherheit einer Architektur nicht nur jeweils die Unsicherheiten einzelner Aspekte der entsprechenden Architektur, sondern auch Abhängigkeiten beziehungsweise Interaktionen zwischen einzelnen dieser Aspekte zu berücksichtigten. Insgesamt kann somit die Bestimmung der optimalen Architektur des neuronalen Netzes noch weiter optimiert werden.The fact that the machine learning algorithm is trained to identify architectures with a similar performance means in particular that the machine learning algorithm is trained to determine the uncertainty of an architecture not only the uncertainties of individual aspects of the corresponding architecture, but also Dependencies or interactions between individual aspects must also be taken into account. Overall, the determination of the optimal architecture of the neural network can be further optimized.

Weiter kann der Schritt des, für jede Architektur aus einer Menge an möglichen Architekturen des neuronalen Netzes, , jeweiligen Bestimmens einer Unsicherheit für die entsprechende Architektur durch Bestimmen einer Ähnlichkeit der entsprechenden Architektur zu wenigstens einer bekannten Architektur ein Anwenden eines Meta-Learning-Algorithmus aufweisen.Furthermore, the step of, for each architecture from a set of possible architectures of the neural network, determining an uncertainty for the corresponding architecture by determining a similarity of the corresponding architecture to at least one known architecture can include applying a meta-learning algorithm.

Unter einem Meta-Learning-Algorithmus wird dabei ein Algorithmus verstanden, welcher ausgebildet ist, Vorhersagen bezüglich anderer, bereits trainierter künstlicher neuronaler Netze, welche trainiert sind, zumindest eine ähnliche Aufgabe wie das zu trainierende künstliche neuronale Netz zu lösen, bei der Bestimmung der optimalen Architektur zu berücksichtigen.A meta-learning algorithm is understood to be an algorithm that is designed to make predictions regarding other, already trained artificial neural networks that are trained to solve at least a similar task to the artificial neural network to be trained, when determining the optimal ones Architecture to be taken into account.

Dass bei der Bestimmung der optimalen Architektur bereits bekannte Daten berücksichtigt werden, hat den Vorteil, dass die zum Auffinden der optimalen Architektur benötigte Zeit weiter verkürzt und die hierzu benötigten Computerressourcen weiter verringert werden können.The fact that already known data is taken into account when determining the optimal architecture has the advantage that the time required to find the optimal architecture can be further shortened and the computer resources required for this can be further reduced.

Mit einer weiteren Ausführungsform der Erfindung wird auch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes angegeben, wobei das Verfahren ein Bereitstellen von Trainingsdaten, ein Bereitstellen einer optimalen Architektur für das künstliche neuronale Netz, wobei die optimale Architektur durch ein obenstehend beschriebenes Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes bestimmt wird, und ein Trainieren des künstlichen neuronalen Netzes basierend auf den Trainingsdaten und der optimalen Architektur für das künstliche neuronale Netz aufweist.A further embodiment of the invention also specifies a method for training an artificial neural network, the method comprising providing training data, providing an optimal architecture for the artificial neural network, the optimal architecture being determined by a method described above for determining an optimal one Architecture of an artificial neural network is determined, and training the artificial neural network based on the training data and the optimal architecture for the artificial neural network.

Somit wird ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes angegeben, welches auf einer durch ein verbessertes Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes bestimmten optimalen Architektur basiert. Insbesondere ist das Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes dabei verglichen mit bekannten Verfahren zum Bestimmen einer optimalen Architektur, welche auf lediglich einem Parameter bezüglich der Genauigkeit einzelner Architekturen basieren, effizienter und robuster. Dadurch, dass das Verfahren effizienter und robuster ist, kann die insgesamt optimalste Architektur zudem schneller gefunden werden beziehungsweise konfiguriert das Verfahren schneller. Da das Verfahren zudem auf einfachen, gebräuchlichen Algorithmen beziehungsweise Funktionen basiert, kann diese optimale Architektur zudem mit vergleichsweise wenig Computerressourcen, beispielsweise vergleichsweise wenig Speicher- und/oder Prozessorkapazitäten bestimmt werden. Insbesondere kann die optimale Architektur dabei auch auf Steuergeräten, welche vergleichsweise wenig Ressourcen aufweisen, beispielsweise einem Steuergerät eines autonom fahrenden Kraftfahrzeuges bestimmt werden.Thus, a method for training an artificial neural network is provided, which is based on an optimal architecture determined by an improved method for determining an optimal architecture of an artificial neural network. In particular, the method for determining an optimal architecture of an artificial neural network is more efficient and robust compared to known methods for determining an optimal architecture, which are based on only one parameter regarding the accuracy of individual architectures. Because the process is more efficient and robust, the most optimal architecture can be found more quickly and the process can be configured more quickly. Since the method is also based on simple, common algorithms or functions, this optimal architecture can also be determined with comparatively few computer resources, for example comparatively little memory and/or processor capacity. In particular, the optimal architecture can also be determined on control devices that have comparatively few resources, for example a control device of an autonomous motor vehicle.

Die Trainingsdaten können dabei ferner Sensordaten aufweisen.The training data can also include sensor data.

Ein Sensor, welcher auch als Detektor, (Messgrößen- oder Mess-)Aufnehmer oder (Mess-) Fühler bezeichnet wird, ist ein technisches Bauteil, das bestimmte physikalische oder chemische Eigenschaften und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann.A sensor, which is also referred to as a detector, (measurement or measuring) sensor or (measuring) sensor, is a technical component that records certain physical or chemical properties and/or the material properties of its environment qualitatively or quantitatively as a measured variable can.

Folglich können Gegebenheiten außerhalb der eigentlichen Datenverarbeitungsanlage, auf welcher das Trainieren des neuronalen Netzes ausgeführt wird, berücksichtigt werden und in das Verfahren mit einfließen.Consequently, circumstances outside the actual data processing system on which the training of the neural network is carried out can be taken into account and incorporated into the method.

Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein Verfahren zum Klassifizieren von Bilddaten angegeben, wobei Bilddaten unter Verwendung eines künstlichen neuronalen Netzes klassifiziert werden, und wobei das künstliche neuronale Netz unter Verwendung eines obenstehend beschriebenen Verfahrens zum Trainieren eines neuronalen Netzes trainiert wurde.A further embodiment of the invention also provides a method for classifying image data, wherein image data is classified using an artificial neural network, and wherein the artificial neural network was trained using a method for training a neural network described above.

Insbesondere kann das Verfahren dabei verwendet werden, um Bilddaten, insbesondere digitale Bilddaten auf der Grundlage von Low-level-Merkmalen, beispielsweise Kanten oder Pixelattributen, zu klassifizieren. Dabei kann weiter ein Bildverarbeitungsalgorithmus verwendet werden, um ein Klassifizierungsergebnis, welches sich auf entsprechende Low-level Merkmale konzentriert, zu analysieren.In particular, the method can be used to classify image data, in particular digital image data, based on low-level features, for example edges or pixel attributes. An image processing algorithm can also be used to analyze a classification result that focuses on corresponding low-level features.

Insgesamt wird somit ein Verfahren zum Klassifizieren von Bilddaten angegeben, welches auf einem künstlichen neuronalen Netz basiert, das basierend auf einer durch ein verbessertes Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes bestimmten optimalen Architektur trainiert wurde. Insbesondere ist das Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes dabei verglichen mit bekannten Verfahren zum Bestimmen einer optimalen Architektur, welche auf lediglich einem Parameter bezüglich der Genauigkeit einzelner Architekturen basieren, effizienter und robuster. Dadurch, dass das Verfahren effizienter und robuster ist, kann die insgesamt optimalste Architektur zudem schneller gefunden werden beziehungsweise konfiguriert das Verfahren schneller. Da das Verfahren zudem auf einfachen, gebräuchlichen Algorithmen beziehungsweise Funktionen basiert, kann diese optimale Architektur zudem mit vergleichsweise wenig Computerressourcen, beispielsweise vergleichsweise wenig Speicher- und/oder Prozessorkapazitäten bestimmt werden. Insbesondere kann die optimale Architektur dabei auch auf Steuergeräten, welche vergleichsweise wenig Ressourcen aufweisen, beispielsweise einem Steuergerät eines autonom fahrenden Kraftfahrzeuges bestimmt werden.Overall, a method for classifying image data is therefore specified, which is based on an artificial neural network that has been trained based on an optimal architecture determined by an improved method for determining an optimal architecture of an artificial neural network. In particular, the method for determining an optimal architecture of an artificial neural network is more efficient and robust compared to known methods for determining an optimal architecture, which are based on only one parameter regarding the accuracy of individual architectures. Because the process is more efficient and robust, the most optimal architecture can be found more quickly and the process can be configured more quickly. Since the procedure is also based on simple, common ones Based on algorithms or functions, this optimal architecture can also be determined with comparatively few computer resources, for example comparatively little memory and/or processor capacity. In particular, the optimal architecture can also be determined on control devices that have comparatively few resources, for example a control device of an autonomous motor vehicle.

Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes, wobei das Steuergerät eine erste Bestimmungseinheit, welche ausgebildet ist, für jede Architektur aus einer Menge an möglichen Architekturen des künstlichen neuronalen Netzes jeweils eine Unsicherheit für die entsprechende Architektur durch Bestimmen einer Ähnlichkeit der entsprechenden Architektur zu wenigstens einer bekannten Architektur zu bestimmen, und eine zweite Bestimmungseinheit, welche ausgebildet ist, eine für das künstliche neuronale Netz optimale Architektur aus der Menge an möglichen Architekturen unter Verwendung einer Nutzenfunktion basierend auf den Unsicherheiten der Architekturen aus der Menge an möglichen Architekturen zu bestimmen.With a further embodiment of the invention, a control device for determining an optimal architecture of an artificial neural network is also provided, the control device having a first determination unit which is designed to determine an uncertainty for each architecture from a set of possible architectures of the artificial neural network to determine a corresponding architecture by determining a similarity of the corresponding architecture to at least one known architecture, and a second determination unit which is designed to determine an architecture that is optimal for the artificial neural network from the set of possible architectures using a utility function based on the uncertainties of the architectures from the set of possible architectures.

Somit wird ein verbessertes Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes angegeben. Insbesondere wird ein Steuergerät angegeben, welches derart ausgebildet ist, dass die Bestimmung der optimalen Architektur verglichen mit bekannten Verfahren zum Bestimmen einer optimalen Architektur, welche auf lediglich einem Parameter bezüglich der Genauigkeit einzelner Architekturen basieren, effizienter und robuster ist. Dadurch, dass die Bestimmung der optimalen Architektur effizienter und robuster ist, kann die insgesamt optimalste Architektur zudem schneller gefunden werden beziehungsweise konfiguriert das Verfahren schneller. Da die Bestimmung der optimalen Architektur zudem auf einfachen, gebräuchlichen Algorithmen beziehungsweise Funktionen basiert, kann diese optimale Architektur zudem mit vergleichsweise wenig Computerressourcen, beispielsweise vergleichsweise wenig Speicher- und/oder Prozessorkapazitäten bestimmt werden. Insbesondere kann die optimale Architektur dabei auch auf Steuergeräten, welche vergleichsweise wenig Ressourcen aufweisen, beispielsweise einem Steuergerät eines autonom fahrenden Kraftfahrzeuges bestimmt werden.An improved control device for determining an optimal architecture of an artificial neural network is thus specified. In particular, a control device is specified which is designed such that the determination of the optimal architecture is more efficient and robust compared to known methods for determining an optimal architecture, which are based on only one parameter regarding the accuracy of individual architectures. Because the determination of the optimal architecture is more efficient and robust, the overall most optimal architecture can also be found more quickly or the process can be configured more quickly. Since the determination of the optimal architecture is also based on simple, common algorithms or functions, this optimal architecture can also be determined with comparatively few computer resources, for example comparatively little memory and/or processor capacity. In particular, the optimal architecture can also be determined on control devices that have comparatively few resources, for example a control device of an autonomous motor vehicle.

Dabei kann die erste Bestimmungseinheit ausgebildet sein, für jede Architektur aus der Menge an möglichen Architekturen die Unsicherheit der entsprechenden Architektur durch Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist, Architekturen mit ähnlicher Performanz zu identifizieren, zu bestimmen. Dass der Algorithmus des maschinellen Lernens dabei trainiert ist, Architekturen mit einer ähnlichen Performanz zu identifizieren, bedeutet dabei wiederum insbesondere, dass der Algorithmus des maschinellen Lernens trainiert ist, bei der Bestimmung der Unsicherheit einer Architektur nicht nur jeweils die Unsicherheiten einzelner Aspekte der entsprechenden Architektur sondern auch Abhängigkeiten beziehungsweise Interaktionen zwischen einzelnen dieser Aspekte zu berücksichtigten. Insgesamt kann somit die Bestimmung der optimalen Architektur des neuronalen Netzes noch weiter optimiert werden.The first determination unit can be designed to determine the uncertainty of the corresponding architecture for each architecture from the set of possible architectures by using a machine learning algorithm that is trained to identify architectures with similar performance. The fact that the machine learning algorithm is trained to identify architectures with a similar performance means in particular that the machine learning algorithm is trained to determine the uncertainty of an architecture not only the uncertainties of individual aspects of the corresponding architecture but also Dependencies or interactions between individual aspects must also be taken into account. Overall, the determination of the optimal architecture of the neural network can be further optimized.

Zudem kann die erste Bestimmungseinheit auch ausgebildet sein, für jede Architektur aus der Menge an möglichen Architekturen die Unsicherheit der entsprechenden Architektur basierend auf einem Meta-Learning-Algorithmus zu bestimmen. Dass bei der Bestimmung der optimalen Architektur bereits bekannte Daten berücksichtigt werden, hat den Vorteil, dass die zum Auffinden der optimalen Architektur benötigte Zeit weiter verkürzt und die hierzu benötigten Computerressourcen weiter verringert werden können.In addition, the first determination unit can also be designed to determine the uncertainty of the corresponding architecture for each architecture from the set of possible architectures based on a meta-learning algorithm. The fact that already known data is taken into account when determining the optimal architecture has the advantage that the time required to find the optimal architecture can be further shortened and the computer resources required for this can be further reduced.

Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein Steuergerät zum Trainieren eines künstlichen neuronalen Netzes angegeben, wobei das Steuergerät eine erste Bereitstellungseinheit, welche ausgebildet ist, Trainingsdaten bereitzustellen, eine zweite Bereitstellungseinheit, welche ausgebildet ist, eine optimale Architektur für das künstliche neuronale Netz bereitzustellen, wobei die optimale Architektur durch ein obenstehend beschriebenes Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes bestimmt wurde, und eine Trainingseinheit, welche ausgebildet ist, das künstliche neuronale Netz basierend auf den Trainingsdaten und der optimalen Architektur für das künstliche neuronale Netz zu trainieren, aufweist.With a further embodiment of the invention, a control device for training an artificial neural network is also specified, wherein the control device has a first provision unit, which is designed to provide training data, a second provision unit, which is designed to provide an optimal architecture for the artificial neural network , wherein the optimal architecture was determined by a control device described above for determining an optimal architecture of an artificial neural network, and a training unit which is designed to train the artificial neural network based on the training data and the optimal architecture for the artificial neural network, having.

Somit wird ein Steuergerät zum Trainieren eines künstlichen neuronalen Netzes angegeben, welches auf einer durch ein verbessertes Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes bestimmten optimalen Architektur basiert. Insbesondere ist die Bestimmung der optimalen Architektur durch das Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes dabei verglichen mit bekannten Verfahren zum Bestimmen einer optimalen Architektur, welche auf lediglich einem Parameter bezüglich der Genauigkeit einzelner Architekturen basieren, effizienter und robuster. Dadurch, dass die Bestimmung der optimalen Architektur effizienter und robuster ist, kann die insgesamt optimalste Architektur zudem schneller gefunden werden beziehungsweise konfiguriert das Verfahren schneller. Da die Bestimmung der optimalen Architektur zudem auf einfachen, gebräuchlichen Algorithmen beziehungsweise Funktionen basiert, kann diese optimale Architektur zudem mit vergleichsweise wenig Computerressourcen, beispielsweise vergleichsweise wenig Speicher- und/oder Prozessorkapazitäten bestimmt werden. Insbesondere kann die optimale Architektur dabei auch auf Steuergeräten, welche vergleichsweise wenig Ressourcen aufweisen, beispielsweise einem Steuergerät eines autonom fahrenden Kraftfahrzeuges bestimmt werdenA control device for training an artificial neural network is thus specified, which is based on an optimal architecture determined by an improved control device for determining an optimal architecture of an artificial neural network. In particular, the determination of the optimal architecture by the control device for determining an optimal architecture of an artificial neural network is more efficient and robust compared to known methods for determining an optimal architecture, which are based on only one parameter regarding the accuracy of individual architectures. By making the determination of the optimal architecture more efficient and robust, the overall most optimal one can be achieved Architecture can also be found more quickly and the process can be configured more quickly. Since the determination of the optimal architecture is also based on simple, common algorithms or functions, this optimal architecture can also be determined with comparatively few computer resources, for example comparatively little memory and/or processor capacity. In particular, the optimal architecture can also be determined on control devices that have comparatively few resources, for example a control device of an autonomous motor vehicle

Die Trainingsdaten können dabei ferner wiederum Sensordaten aufweisen. Folglich können Gegebenheiten außerhalb der eigentlichen Datenverarbeitungsanlage, auf welcher das Trainieren des künstlichen neuronalen Netzes ausgeführt wird, berücksichtigt werden und in das Verfahren mit einfließen.The training data can also include sensor data. Consequently, circumstances outside the actual data processing system on which the training of the artificial neural network is carried out can be taken into account and incorporated into the method.

Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein Steuergerät zum Klassifizieren von Bilddaten angegeben, wobei das Steuergerät eine Bereitstellungseinheit, welche ausgebildet ist, ein trainiertes künstliches neuronales Netz bereitzustellen, wobei das künstliche neuronale Netz durch ein obenstehend beschriebenes Steuergerät zum Trainieren eines künstlichen neuronalen Netzes trainiert wurde, und eine Steuereinheit, welche ausgebildet ist, Bilddaten basierend auf dem künstlichen neuronalen Netz zu klassifizieren, aufweist.With a further embodiment of the invention, a control device for classifying image data is also specified, wherein the control device is a provision unit which is designed to provide a trained artificial neural network, the artificial neural network being controlled by a control device described above for training an artificial neural network was trained, and has a control unit which is designed to classify image data based on the artificial neural network.

Insbesondere kann das Steuergerät dabei wiederum verwendet werden, um Bilddaten, insbesondere digitale Bilddaten auf der Grundlage von Low-level-Merkmalen, beispielsweise Kanten oder Pixelattributen, zu klassifizieren. Dabei kann weiter ein Bildverarbeitungsalgorithmus verwendet werden, um ein Klassifizierungsergebnis, welches sich auf entsprechende Low-level Merkmale konzentriert, zu analysieren.In particular, the control device can in turn be used to classify image data, in particular digital image data, based on low-level features, for example edges or pixel attributes. An image processing algorithm can also be used to analyze a classification result that focuses on corresponding low-level features.

Insgesamt wird somit ein Steuergerät zum Klassifizieren von Bilddaten angegeben, welches auf einem neuronalen Netz basiert, das basierend auf einer durch ein verbessertes Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes bestimmten optimalen Architektur trainiert wurde. Insbesondere ist die Bestimmung der optimalen Architektur durch das Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes dabei verglichen mit bekannten Verfahren zum Bestimmen einer optimalen Architektur, welche auf lediglich einem Parameter bezüglich der Genauigkeit einzelner Architekturen basieren, effizienter und robuster. Dadurch, dass die Bestimmung der optimalen Architektur effizienter und robuster ist, kann die insgesamt optimalste Architektur zudem schneller gefunden werden beziehungsweise konfiguriert das Verfahren schneller. Da die Bestimmung der optimalen Architektur zudem auf einfachen, gebräuchlichen Algorithmen beziehungsweise Funktionen basiert, kann diese optimale Architektur zudem mit vergleichsweise wenig Computerressourcen, beispielsweise vergleichsweise wenig Speicher- und/oder Prozessorkapazitäten bestimmt werden. Insbesondere kann die optimale Architektur dabei auch auf Steuergeräten, welche vergleichsweise wenig Ressourcen aufweisen, beispielsweise einem Steuergerät eines autonom fahrenden Kraftfahrzeuges bestimmt werden.Overall, a control device for classifying image data is thus specified, which is based on a neural network that was trained based on an optimal architecture determined by an improved control device for determining an optimal architecture of an artificial neural network. In particular, the determination of the optimal architecture by the control device for determining an optimal architecture of an artificial neural network is more efficient and robust compared to known methods for determining an optimal architecture, which are based on only one parameter regarding the accuracy of individual architectures. Because the determination of the optimal architecture is more efficient and robust, the overall most optimal architecture can also be found more quickly or the process can be configured more quickly. Since the determination of the optimal architecture is also based on simple, common algorithms or functions, this optimal architecture can also be determined with comparatively few computer resources, for example comparatively little memory and/or processor capacity. In particular, the optimal architecture can also be determined on control devices that have comparatively few resources, for example a control device of an autonomous motor vehicle.

Mit einer weiteren Ausführungsform der Erfindung wird zudem auch ein Computerprogramm mit Programmcode, um ein obenstehend beschriebenes Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, angegeben.A further embodiment of the invention also provides a computer program with program code for carrying out a method described above for determining an optimal architecture of an artificial neural network when the computer program is executed on a computer.

Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein computerlesbarer Datenträger mit Programmcode eines Computerprogramms, um ein obenstehend beschriebenes Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, angegeben.A further embodiment of the invention also provides a computer-readable data carrier with program code of a computer program in order to carry out a method described above for determining an optimal architecture of an artificial neural network when the computer program is executed on a computer.

Das Computerprogramm und der computerlesbare Datenträger haben dabei jeweils den Vorteil, dass diese ausgebildet sind, ein verbessertes Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes auszuführen. Insbesondere hat das Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes den Vorteil, dass das Verfahren verglichen mit bekannten Verfahren zum Bestimmen einer optimalen Architektur, welche auf lediglich einem Parameter bezüglich der Genauigkeit einzelner Architekturen basieren, effizienter und robuster ist. Dadurch, dass das Verfahren effizienter und robuster ist, kann die insgesamt optimalste Architektur zudem schneller gefunden werden beziehungsweise konfiguriert das Verfahren schneller. Da das Verfahren zudem auf einfachen, gebräuchlichen Algorithmen beziehungsweise Funktionen basiert, kann diese optimale Architektur zudem mit vergleichsweise wenig Computerressourcen, beispielsweise vergleichsweise wenig Speicher- und/oder Prozessorkapazitäten bestimmt werden. Insbesondere kann die optimale Architektur dabei auch auf Steuergeräten, welche vergleichsweise wenig Ressourcen aufweisen, beispielsweise einem Steuergerät eines autonom fahrenden Kraftfahrzeuges bestimmt werden.The computer program and the computer-readable data carrier each have the advantage that they are designed to carry out an improved method for determining an optimal architecture of an artificial neural network. In particular, the method for determining an optimal architecture of an artificial neural network has the advantage that the method is more efficient and robust compared to known methods for determining an optimal architecture, which are based on only one parameter regarding the accuracy of individual architectures. Because the process is more efficient and robust, the most optimal architecture can be found more quickly and the process can be configured more quickly. Since the method is also based on simple, common algorithms or functions, this optimal architecture can also be determined with comparatively few computer resources, for example comparatively little memory and/or processor capacity. In particular, the optimal architecture can also be determined on control devices that have comparatively few resources, for example a control device of an autonomously driving motor vehicle.

Zusammenfassend ist festzustellen, dass mit der vorliegenden Erfindung ein Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes angegeben wird, mit welchem schnell und mit geringem Ressourcenverbrauch eine optimale Architektur für ein künstliches neuronales Netz bestimmt werden kann.In summary, it should be noted that the present invention provides a method for determining an optimal architecture of an artificial neural network, with which an optimal architecture for an artificial neural network can be determined quickly and with low resource consumption.

Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.The configurations and further developments described can be combined with one another as desired.

Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung.Further possible refinements, further developments and implementations of the invention also include combinations of features of the invention described previously or below with regard to the exemplary embodiments that are not explicitly mentioned.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.The accompanying drawings are intended to provide further understanding of embodiments of the invention. They illustrate embodiments and, in connection with the description, serve to explain principles and concepts of the invention.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.Other embodiments and many of the advantages mentioned arise with regard to the drawings. The illustrated elements of the drawings are not necessarily shown to scale to one another.

Es zeigen:

1 ein Flussidagramm eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes gemäß Ausführungsformen der Erfindung; und
2 ein schematisches Blockschaltbild eines Systems zum Trainieren eines künstlichen neuronalen Netzes gemäß Ausführungsformen der Erfindung.

Show it:

1 a flowchart of a method for training an artificial neural network according to embodiments of the invention; and
2 a schematic block diagram of a system for training an artificial neural network according to embodiments of the invention.

In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.In the figures of the drawings, the same reference numerals designate the same or functionally identical elements, parts or components, unless otherwise stated.

1 zeigt ein Flussdiagramm eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes gemäß Ausführungsformen der Erfindung. 1 shows a flowchart of a method for training an artificial neural network according to embodiments of the invention.

Die Entwicklung der Architektur des künstlichen neuronalen Netzes, das heißt die Bestimmung des Erscheinungsbildes des Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl und/oder des Typs der Neuronen in den einzelnen Schichten ist dabei für gewöhnlich jedoch sehr aufwendig, insbesondere im Hinblick auf den Ressourcenverbrauch. Um die Entwicklung der Architektur zu optimieren, wurde dabei die Neural Architektur Search (NAS) entwickelt, welche automatisiert optimale Architekturen für spezifische Problemstellungen entwickelt. Der NAS-Algorithmus stellt dabei zunächst aus verschiedenen Bausteinen und Konfigurationen eine Architektur für das künstliche neuronale Netz zusammen, welche anschließend mit einem Satz Trainingsdaten trainiert wird, und wobei erhaltene Ergebnisse anschließend im Hinblick auf die Performanz evaluiert werden. Basierend auf dieser Bewertung kann anschließend eine neue, im Hinblick auf die Performanz voraussichtlich optimalere Architektur ermittelt werden, welche anschließend wiederum basierend auf den Trainingsdaten trainiert wird, und wobei die erhaltenen Ergebnisse anschließend wiederum im Hinblick auf die Performanz evaluiert werden. Diese Schritte können dabei so oft wiederholt werden, bis keine Verbesserung mehr durch Veränderungen der Architektur erzielbar ist.However, the development of the architecture of the artificial neural network, that is to say the determination of the appearance of the network or the number of layers in the network as well as the determination of the number and/or type of neurons in the individual layers, is usually very complex, especially in terms of resource consumption. In order to optimize the development of the architecture, the Neural Architecture Search (NAS) was developed, which automatically develops optimal architectures for specific problems. The NAS algorithm first puts together an architecture for the artificial neural network from various building blocks and configurations, which is then trained with a set of training data, and the results obtained are then evaluated with regard to performance. Based on this evaluation, a new architecture that is likely to be more optimal in terms of performance can then be determined, which in turn is then trained based on the training data, and the results obtained are then evaluated again with regard to performance. These steps can be repeated as often as necessary until No improvement can be achieved through changes to the architecture.

1 zeigt dabei ein Verfahren 1, welches einen Schritt 2 eines, für jede Architektur aus einer Menge an möglichen Architekturen des künstlichen neuronalen Netzes, jeweiligen Bestimmens einer Unsicherheit für die entsprechende Architektur durch Bestimmen einer Ähnlichkeit der entsprechenden Architektur zu wenigstens einer bekannten Architektur und einen Schritt 3 eine Bestimmens einer für das neuronale Netz optimalen Architektur aus der Menge an möglichen Architekturen unter Verwendung einer Nutzenfunktion basierend auf den Unsicherheiten der Architekturen aus der Menge an möglichen Architekturen aufweist. 1 shows a method 1, which includes a step 2 of, for each architecture from a set of possible architectures of the artificial neural network, determining an uncertainty for the corresponding architecture by determining a similarity of the corresponding architecture to at least one known architecture and a step 3 a determination of an optimal architecture for the neural network from the set of possible architectures using a utility function based on the uncertainties of the architectures from the set of possible architectures.

Dass dabei für jede Architektur aus einer Menge an möglichen Architekturen des neuronalen Netzes jeweils eine Ähnlichkeit der Architektur zu wenigstens einer bekannten Architektur bestimmt wird hat den Vorteil, dass für jeden Teil beziehungsweise Aspekt der einzelnen Architekturen jeweils geprüft werden kann, ob dieser bekannt oder unbekannt, das heißt mit einer gewissen Unsicherheit verbunden ist, wobei die Unsicherheit für eine Architektur die Unsicherheiten aller Teile beziehungsweise Aspekte der entsprechenden Architektur umfassen kann, wobei ein Aspekt beispielsweise die Anzahl der Schichten oder die Anzahl von Neuronen in einzelnen Schichten sein kann.The fact that for each architecture from a set of possible architectures of the neural network a similarity of the architecture to at least one known architecture is determined has the advantage that for each part or aspect of the individual architectures it can be checked whether it is known or unknown. that is, is associated with a certain uncertainty, whereby the uncertainty for an architecture can include the uncertainties of all parts or aspects of the corresponding architecture, whereby an aspect can be, for example, the number of layers or the number of neurons in individual layers.

Dadurch, dass das Verfahren 1 effizienter und robuster ist, kann die insgesamt optimalste Architektur zudem schneller gefunden werden beziehungsweise konfiguriert das Verfahren 1 schneller. Da das Verfahren 1 zudem auf einfachen, gebräuchlichen Algorithmen beziehungsweise Funktionen basiert, kann diese optimale Architektur mit vergleichsweise wenig Computerressourcen, beispielsweise vergleichsweise wenig Speicher- und/oder Prozessorkapazitäten bestimmt werden. Insbesondere kann die optimale Architektur dabei auch auf Steuergeräten, welche vergleichsweise wenig Ressourcen aufweisen, beispielsweise einem Steuergerät eines autonom fahrenden Kraftfahrzeuges bestimmt werden.Because method 1 is more efficient and robust, the overall most optimal architecture can also be found more quickly and method 1 can be configured more quickly. Since method 1 is also based on simple, common algorithms or functions, this optimal architecture can be determined with comparatively few computer resources, for example comparatively little memory and/or processor capacity. In particular, the optimal architecture can also be determined on control devices that have comparatively few resources, for example a control device of an autonomous motor vehicle.

Insgesamt wird somit ein verbessertes Verfahren zum Bestimmen einer optimalen Architektur eines neuronalen Netzes angegeben.Overall, an improved method for determining an optimal architecture of a neural network is thus specified.

Insbesondere zeigt 1 dabei ein Verfahren 1, bei dem bestimmt wird, wie ähnlich ein eine Architektur beschreibender Datensatz zu Datensätzen bezüglich bereits bekannter Architekturen ist, wobei die einzelnen Elemente des Datensatzes jeweils die einzelnen Aspekte der entsprechenden Architektur kennzeichnen können.In particular shows 1 a method 1 in which it is determined how similar a data set describing an architecture is to data sets relating to already known architectures, whereby the individual elements of the data set can each characterize the individual aspects of the corresponding architecture.

Die Ähnlichkeit kann dabei insbesondere durch Anwendung einer Kernel Funktion, beispielsweise einem Gauss-Kernel wie einem Squared Exponential Kernel oder einem Matern-Kernel bestimmt werden.The similarity can be determined in particular by using a kernel function, for example a Gaussian kernel such as a squared exponential kernel or a Matern kernel.

Gemäß den Ausführungsformen der 1 weist der Schritt 2 des, für jede Architektur aus einer Menge an möglichen Architekturen des künstlichen neuronalen Netzes, jeweiligen Bestimmens einer Unsicherheit für die entsprechende Architektur durch Bestimmen einer Ähnlichkeit der entsprechenden Architektur zu wenigstens einer bekannten Architektur ein Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist, Architekturen mit ähnlicher Performanz zu identifizieren, auf.According to the embodiments of 1 Step 2 of, for each architecture from a set of possible architectures of the artificial neural network, each determining an uncertainty for the corresponding architecture by determining a similarity of the corresponding architecture to at least one known architecture involves applying a machine learning algorithm that trains is to identify architectures with similar performance.

Bei dem Algorithmus des maschinellen Lernens kann es sich dabei insbesondere um ein trainierbares künstliches neuronales Netz handeln, wobei die Ähnlichkeit insbesondere durch Anwendung eines durch einen Deep-Kernel-Learning-Algorithmus trainierten Kernel, beispielsweise einem tiefen beziehungsweise deep Gauss-Kernel bestimmt werden kann.The machine learning algorithm can in particular be a trainable artificial neural network, wherein the similarity can be determined in particular by using a kernel trained by a deep kernel learning algorithm, for example a deep Gaussian kernel.

Gemäß den Ausführungsformen der 1 weist der Schritt 2 des, für jede Architektur aus einer Menge an möglichen Architekturen des künstlichen neuronalen Netzes, jeweiligen Bestimmens einer Unsicherheit für die entsprechende Architektur durch Bestimmen einer Ähnlichkeit der entsprechenden Architektur zu wenigstens einer bekannten Architektur zudem ein Anwenden eines Meta-Learning-Algorithmus auf.According to the embodiments of 1 Step 2 of, for each architecture from a set of possible architectures of the artificial neural network, determining an uncertainty for the corresponding architecture by determining a similarity of the corresponding architecture to at least one known architecture also includes applying a meta-learning algorithm .

Insbesondere kann dabei ein tiefer beziehungsweise deep Gauss-Kernel basierend auf Eigenschaften beziehungsweise Meta-Features des die entsprechende Architektur beschreibenden Datensatzes konditioniert werden.In particular, a deep Gaussian kernel can be conditioned based on properties or meta-features of the data set describing the corresponding architecture.

Wie 1 zeigt, weist das Verfahren 1 zudem einen Schritt 4 eines Bereitstellens von Trainingsdaten und einen Schritt 5 eines Trainierens eines künstlichen neuronalen Netzes basierend auf den Trainingsdaten und der bestimmten optimalen Architektur für das künstliche neuronale Netz auf.How 1 shows, the method 1 also has a step 4 of providing training data and a step 5 of training an artificial neural network based on the training data and the determined optimal architecture for the artificial neural network.

Dabei kann das Verfahren 1 gegebenenfalls wiederholt ausgeführt werden, bis sich keine Verbesserung mehr einstellt und eine insgesamt optimalste Architektur gefunden wurde.If necessary, procedure 1 can be carried out repeatedly until there are no verbs The solution is set more and an overall most optimal architecture has been found.

Bei den Trainingsdaten kann es sich zudem insbesondere wiederum um Sensordaten handeln.The training data can also in particular be sensor data.

Dabei kann das künstliche neuronale Netz in Schritt 5 insbesondere basierend auf entsprechenden gelabelten Vergleichsdaten trainiert werden, Bilddaten zu klassifizieren. Ferner kann das künstliche neuronale Netz aber beispielsweise auch trainiert werden, um eine Funktion eines autonom fahrenden Kraftfahrzeuges zu steuern, wobei das autonom fahrende Kraftfahrzeug anschließend basierend auf dem entsprechend trainierten künstlichen neuronalen Netz gesteuert werden kann.The artificial neural network can be trained in step 5 to classify image data, in particular based on corresponding labeled comparison data. Furthermore, the artificial neural network can also be trained, for example, to control a function of an autonomously driving motor vehicle, wherein the autonomously driving motor vehicle can then be controlled based on the correspondingly trained artificial neural network.

2 zeigt ein schematisches Blockschaltbild eines Systems zum Trainieren eines künstlichen neuronalen Netzes 10 gemäß Ausführungsformen der Erfindung. 2 shows a schematic block diagram of a system for training an artificial neural network 10 according to embodiments of the invention.

Wie 2 zeigt, weist das System 10 dabei ein Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes 11 und ein Steuergerät zum Trainieren eines künstlichen neuronalen Netzes 12 auf, wobei das Steuergerät zum Trainieren eines künstlichen neuronalen Netzes 12 ausgebildet ist, ein künstliches neuronales Netz basierend auf einer durch das Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes 11 bestimmten optimalen Architektur des künstlichen neuronalen Netzes zu trainieren.How 2 shows, the system 10 has a control device for determining an optimal architecture of an artificial neural network 11 and a control device for training an artificial neural network 12, the control device being designed to train an artificial neural network 12, an artificial neural network based on to train an optimal architecture of the artificial neural network determined by the control device for determining an optimal architecture of an artificial neural network 11.

Gemäß den Ausführungsformen der 2 weist das Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes 11 dabei eine erste Bestimmungseinheit 13, welche ausgebildet ist, für jede Architektur aus einer Menge an möglichen Architekturen des künstlichen neuronalen Netzes jeweils eine Unsicherheit für die entsprechende Architektur durch Bestimmen einer Ähnlichkeit der entsprechenden Architektur zu wenigstens einer bekannten Architektur zu bestimmen, und eine zweite Bestimmungseinheit 14, welche ausgebildet ist, eine für das künstliche neuronale Netz optimale Architektur aus der Menge an möglichen Architekturen unter Verwendung einer Nutzenfunktion basierend auf den Unsicherheiten der Architekturen aus der Menge an möglichen Architekturen zu bestimmen, auf. According to the embodiments of 2 The control device for determining an optimal architecture of an artificial neural network 11 has a first determination unit 13, which is designed to determine an uncertainty for the corresponding architecture for each architecture from a set of possible architectures of the artificial neural network by determining a similarity of the corresponding architecture to determine at least one known architecture, and a second determination unit 14, which is designed to determine an optimal architecture for the artificial neural network from the set of possible architectures using a utility function based on the uncertainties of the architectures from the set of possible architectures , on.

Die erste Bestimmungseinheit und die zweite Bestimmungseinheit können dabei jeweils beispielsweise basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.The first determination unit and the second determination unit can each be implemented, for example, based on a code stored in a memory and executable by a processor.

Gemäß den Ausführungsformen der 2 ist die erste Bestimmungseinheit 13 weiter ausgebildet, für jede Architektur aus der Menge an möglichen Architekturen die Unsicherheit der entsprechenden Architektur durch Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist, Architekturen mit ähnlicher Performanz zu identifizieren, zu bestimmen.According to the embodiments of 2 the first determination unit 13 is further designed to determine the uncertainty of the corresponding architecture for each architecture from the set of possible architectures by applying a machine learning algorithm that is trained to identify architectures with similar performance.

Gemäß den Ausführungsformen der 2 ist die erste Bestimmungseinheit 13 zudem ausgebildet, für jede Architektur aus der Menge an möglichen Architekturen die Unsicherheit der entsprechenden Architektur basierend auf einem Meta-Learning-Algorithmus zu bestimmen.According to the embodiments of 2 the first determination unit 13 is also designed to determine the uncertainty of the corresponding architecture for each architecture from the set of possible architectures based on a meta-learning algorithm.

Wie 2 weiter zeigt, weist das Steuergerät zum Trainieren eines künstlichen neuronalen Netzes 12 ferner eine erste Bereitstellungseinheit 15, welche ausgebildet ist, Trainingsdaten bereitzustellen, eine zweite Bereitstellungseinheit 16, welche ausgebildet ist, eine optimale Architektur für das neuronale Netz bereitzustellen, wobei die optimale Architektur durch das Steuergerät zum Bestimmen einer optimalen Architektur 11 bestimmt wurde, und eine Trainingseinheit 17, welche ausgebildet ist, das neuronale Netz basierend auf den Trainingsdaten und der optimalen Architektur für das neuronale Netz zu trainieren, auf.How 2 further shows, the control device for training an artificial neural network 12 further has a first provision unit 15, which is designed to provide training data, a second provision unit 16, which is designed to provide an optimal architecture for the neural network, the optimal architecture being determined by the Control device for determining an optimal architecture 11 was determined, and a training unit 17, which is designed to train the neural network based on the training data and the optimal architecture for the neural network.

Bei der ersten Bereitstellungseinheit kann es sich dabei insbesondere um einen Empfänger handeln, welcher ausgebildet ist, Sensordaten zu empfangen. Bei der zweiten Bereitstellungseinheit kann es sich dabei auch um einen Empfänger handeln. Die Trainingseinheit kann ferner beispielsweise basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.The first provision unit can in particular be a receiver which is designed to receive sensor data. The second provision unit can also be a recipient. The training unit can also be implemented, for example, based on code stored in a memory and executable by a processor.

Bei den Trainingsdaten handelt es sich ferner wiederum um Sensordaten.The training data is also sensor data.

Zudem ist das Steuergerät zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes 11 ausgebildet, ein obenstehend beschriebenes Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes auszuführen und ist das Steuergerät zum Trainieren eines künstlichen neuronalen Netzes ausgebildet, ein obenstehend beschriebenes Verfahren zum Trainieren eines künstlichen neuronalen Netzes auszuführen.In addition, the control device for determining an optimal architecture of an artificial neural network 11 is designed to carry out a method described above for determining an optimal architecture of an artificial neural network and the control device is designed to train an artificial neural network, a method described above for training an artificial one to execute a neural network.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

EP 3629246 A1 [0005]

Claims

Method for determining an optimal architecture of an artificial neural network, the method comprising the following steps: - For each architecture from a set of possible architectures of the artificial neural network, determining an uncertainty for the corresponding architecture by determining a similarity of the corresponding architecture to at least one known architecture (2); and - Determining an optimal architecture for the artificial neural network from the set of possible architectures using a utility function based on the uncertainties of the architectures from the set of possible architectures (3).

Procedure according to Claim 1 , wherein the step (2) of, for each architecture from a set of possible architectures of the neural network, determining an uncertainty for the corresponding architecture by determining a similarity of the corresponding architecture to at least one known architecture involves applying a machine learning algorithm, which is trained to identify architectures with similar performance.

Procedure according to Claim 1 or 2 , wherein the step (2) of, for each architecture from a set of possible architectures of the neural network, determining an uncertainty for the corresponding architecture by determining a similarity of the corresponding architecture to at least one known architecture involves applying a meta-learning algorithm having.

Method for training an artificial neural network, the method (1) having the following steps: - Providing training data (4); - Providing an optimal architecture for the artificial neural network, the optimal architecture being determined by a method for determining an optimal architecture of an artificial neural network according to one of Claims 1 until 3 was determined; and - training the artificial neural network based on the training data and the optimal architecture for the artificial neural network (5).

Procedure according to Claim 4 , where the training data includes sensor data.

Method for classifying image data, the image data being classified using an artificial neural network, and the artificial neural network using a method for training an artificial neural network Claim 4 or 5 was trained.

Control device for determining an optimal architecture of an artificial neural network, wherein the control device (11) has a first determination unit (13), which is designed to determine an uncertainty for the corresponding architecture for each architecture from a set of possible architectures of the artificial neural network a similarity of the corresponding architecture to at least one known architecture, and a second determination unit (14), which is designed to select an architecture that is optimal for the artificial neural network from the set of possible architectures using a utility function based on the uncertainties of the architectures to determine the number of possible architectures.

control unit Claim 7 , wherein the first determination unit (13) is designed to determine the uncertainty of the corresponding architecture for each architecture from the set of possible architectures by applying a machine learning algorithm which is trained to identify architectures with similar performance.

control unit Claim 7 or 8th , wherein the first determination unit (13) is designed to determine the uncertainty of the corresponding architecture for each architecture from the set of possible architectures based on a meta-learning algorithm.

Control device for training an artificial neural network, wherein the control device (12) has a first provision unit (15), which is designed to provide training data, a second provision unit (16), which is designed to provide an optimal architecture for the artificial neural network, wherein the optimal architecture by a control device for determining an optimal architecture of an artificial neural network according to one of the Claims 7 until 9 was determined, and a training unit (17) which is designed to train the artificial neural network based on the training data and the optimal architecture for the artificial neural network.

control unit Claim 10 , where the training data includes sensor data.

Control device for classifying image data, wherein the control device is a provision unit which is designed to provide a trained artificial neural network, wherein the artificial neural network by a control device for training an artificial neural network Claim 10 or 11 was trained, and has a control unit which is designed to classify image data based on the artificial neural network.

Computer program with program code to provide a method for determining an optimal architecture of an artificial neural network according to one of the Claims 1 until 3 to execute when the computer program is run on a computer.

Computer-readable data carrier with program code of a computer program in order to provide a method for determining an optimal architecture of an artificial neural network according to one of the Claims 1 until 3 to execute when the computer program is run on a computer.