DE102019106234B3

DE102019106234B3 - Automated calibration of an ECU function

Info

Publication number: DE102019106234B3
Application number: DE102019106234.9A
Authority: DE
Inventors: Matteo Skull
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2019-03-12
Filing date: 2019-03-12
Publication date: 2020-08-27
Anticipated expiration: 2039-03-13
Also published as: DE102020106880A1

Abstract

Verfahren und Vorrichtung (100) zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand, umfassend einen Agenten (102), der ausgebildet ist, eine Steuergröße (104) der Steuergerätefunktion insbesondere mittels eines Markov Entscheidungsprozesses zu bestimmen, eine Umgebung (106), die ausgebildet ist, mittels der Steuergröße (104) angesteuert zu werden, wobei sich in der Umgebung (106) abhängig von der Steuergröße (104) eine Zustandsgröße (108) der Umgebung (106) einstellt, ein Modell (110), das ausgebildet ist, abhängig von Information (112) über die Steuergröße (104) einen Erwartungswert (114) für die Zustandsgröße (108) zu bestimmen, eine Vergleichseinrichtung (116), die ausgebildet ist, abhängig von der Zustandsgröße (108) und dem Erwartungswert (114) eine Abweichung (118) und eine Belohnung (120) zu bestimmen, wobei der Agent (102) ausgebildet ist, die Steuergröße (104) abhängig von einem Parameter und der Abweichung (118) zu bestimmen, und den Parameter für die Bestimmung der Steuergröße (104) abhängig von der Belohnung (120) zu bestimmen.

A method and device (100) for the automated calibration of a control unit function of a vehicle on a test bench, comprising an agent (102) which is designed to determine a control variable (104) of the control unit function, in particular by means of a Markov decision-making process, an environment (106) which is designed to be controlled by means of the control variable (104), a state variable (108) of the environment (106) being set in the environment (106) as a function of the control variable (104), a model (110) which is designed, to determine an expected value (114) for the state variable (108) as a function of information (112) about the control variable (104), a comparison device (116) which is designed as a function of the state variable (108) and the expected value (114) To determine deviation (118) and a reward (120), the agent (102) being designed to determine the control variable (104) as a function of a parameter and the deviation (118), and de To determine n parameters for determining the control variable (104) depending on the reward (120).

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs.The invention relates to a device and a method for the automated calibration of a control device function of a vehicle.

DE 10 2006 048 730 A1 betrifft ein Verfahren und eine Vorrichtung zur Bestimmung der Messgenauigkeit einer Messeinrichtung. DE 10 2006 048 730 A1 relates to a method and a device for determining the measuring accuracy of a measuring device.

AT 010 073 U2 betrifft ein Verfahren zur Analyse und Bewertung von Messdaten eines Messsystems mit zumindest einem Messkanal. AT 010 073 U2 relates to a method for analyzing and evaluating measurement data from a measurement system with at least one measurement channel.

Herkömmliche Steuergerätefunktionen umfassen Modelle, beispielsweise für Motoren von Fahrzeugen, die an einem Prüfstand von einem Applikateur kalibriert werden. Das Model eines Motors wird beispielsweise am Motorprüfstand vom Applikateur so kalibriert, dass ein modelliertes Drehmoment gleich einem am Motorenprüfstand gemessenen Drehmoment ist. Dies erfolgt durch Kalibrierung von Kennfeldern für Steuergrößen des Motors.Conventional control unit functions include models, for example for engines of vehicles, which are calibrated on a test bench by an application engineer. For example, the model of an engine is calibrated by the calibration engineer on the engine test bench so that a modeled torque is equal to a torque measured on the engine test bench. This is done by calibrating characteristic maps for engine control variables.

Das Model muss von dazu von einem Applikateur anhand von sehr vielen Messungen kalibriert werden. Wünschenswert ist es, ein demgegenüber verbessertes Vorgehen anzugeben.For this purpose, the model must be calibrated by an applicator based on a large number of measurements. It is desirable to provide an improved procedure in comparison.

Dies wird durch den Gegenstand der unabhängigen Ansprüche erreicht.This is achieved through the subject matter of the independent claims.

Die Vorrichtung zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand, umfasst einen Agenten, der ausgebildet ist, eine Steuergröße der Steuergerätefunktion insbesondere mittels eines Markov Entscheidungsprozesses zu bestimmen, eine Umgebung, die ausgebildet ist, mittels der Steuergröße angesteuert zu werden, wobei sich in der Umgebung abhängig von der Steuergröße eine Zustandsgröße der Umgebung einstellt, ein Modell, das ausgebildet ist, abhängig von Information über die Steuergröße einen Erwartungswert für die Zustandsgröße zu bestimmen, eine Vergleichseinrichtung, die ausgebildet ist, abhängig von der Zustandsgröße und dem Erwartungswert eine Abweichung und eine Belohnung zu bestimmen, wobei der Agent ausgebildet ist, die Steuergröße abhängig von einem Parameter und der Abweichung zu bestimmen, und den Parameter für die Bestimmung der Steuergröße abhängig von der Belohnung zu bestimmen. Dies ermöglicht es, die Kalibrierung insbesondere der Parameter automatisiert durchzuführen. Mit dem Ausdruck Agent ist im Beispiel eine Funktionalität bezeichnet, die auf einer Recheneinrichtung ablaufen kann.The device for the automated calibration of a control unit function of a vehicle on a test bench comprises an agent which is designed to determine a control variable of the control unit function, in particular by means of a Markov decision process, an environment which is designed to be controlled by means of the control variable, whereby in the environment sets a state variable of the environment depending on the control variable, a model that is designed to determine an expected value for the state variable depending on information about the control variable, a comparison device that is designed to vary depending on the state variable and the expected value and to determine a reward, the agent being designed to determine the control variable as a function of a parameter and the deviation, and to determine the parameter for determining the control variable as a function of the reward. This makes it possible to carry out the calibration in particular of the parameters in an automated manner. In the example, the term agent denotes a functionality that can run on a computing device.

Vorzugsweise ist vorgesehen, dass das Modell ein Regressionsmodell oder ein physikalisches Modell der Umgebung ist. Dies ist ein für die Automatisierung besonders gut geeignetes Modell.It is preferably provided that the model is a regression model or a physical model of the environment. This is a particularly well-suited model for automation.

Vorzugsweise ist vorgesehen, dass der Agent ein Kennfeld oder eine Kennlinie umfasst mit einer Zuordnung einer Vielzahl Parameter für die Bestimmung der Steuergröße abhängig von der Abweichung, wobei wenigstens einer der Parameter in einem Entscheidungsprozess, insbesondere mittels einer Bellman Gleichung, insbesondere mit greedy policy improvement, verkleinert, beibehalten oder vergrößert wird. Die Bellman Gleichung, greedy-, Monte Carlo- und temporal difference learning- policy improvement wird beispielsweise zur iterativen Bestimmung der Parameter eingesetzt. Damit wird die Automatisierung durch reinforcement learning besonders effektiv.It is preferably provided that the agent comprises a map or a characteristic curve with an assignment of a large number of parameters for determining the control variable depending on the deviation, with at least one of the parameters in a decision process, in particular using a Bellman equation, in particular with greedy policy improvement, is reduced, retained, or enlarged. The Bellman equation, greedy, Monte Carlo and temporal difference learning policy improvement is used, for example, to iteratively determine the parameters. This makes automation particularly effective through reinforcement learning.

Vorzugsweise ist vorgesehen, dass die Umgebung ein Motorprüfstand mit einem durch die Steuergröße ansteuerbaren Motor oder eine durch die Steuergröße ansteuerbare elektrische Maschine umfasst, wobei die Umgebung einen Sensor zum Erfassen einer Betriebsgröße dieser als Zustandsgröße umfasst. Die Betriebsgröße des Motors oder der elektrischen Maschine wird so gewählt, dass eine Automatisierung der ansonsten sehr aufwändigen Applikation für die jeweilige Steuergröße möglich ist.It is preferably provided that the environment includes an engine test bench with a motor that can be controlled by the control variable or an electrical machine that can be controlled by the control variable, the environment including a sensor for detecting an operating variable of this as a state variable. The operating variable of the motor or the electrical machine is selected in such a way that automation of the otherwise very complex application for the respective control variable is possible.

Vorzugsweise ist vorgesehen, dass der Sensor ein Drehmomentsensor, ein Drucksensor, ein Temperatursensor, ein Hall-Sensor ist oder eine Spannung, einen Strom bzw. elektrischen Widerstand misst. Diese Sensoren eignen sich besonders für einen Prüfstand für Steuergerätefunktionen für Antriebsaggregate von Fahrzeugen.It is preferably provided that the sensor is a torque sensor, a pressure sensor, a temperature sensor, a Hall sensor or measures a voltage, a current or electrical resistance. These sensors are particularly suitable for a test bench for control unit functions for drive units in vehicles.

Vorzugsweise ist vorgesehen, dass die Steuergröße ein Drehmoment der Brennkraftmaschine oder der elektrischen Maschine definiert, wobei die Zustandsgröße ein Ist-Drehmoment an einer Kupplung oder Antriebswelle definiert, die durch das Drehmoment angetrieben sind. Damit wird eine für die Applikation besonders gut geeignete Größe für das reinforcement learning verwendet.It is preferably provided that the control variable defines a torque of the internal combustion engine or the electrical machine, the state variable defining an actual torque on a clutch or drive shaft that is driven by the torque. This means that a variable that is particularly well suited to the application is used for reinforcement learning.

Ein Verfahren zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand umfasst die Schritt Bestimmen einer Steuergröße der Steuergerätefunktion insbesondere mittels eines Markov Entscheidungsprozesses, Ansteuern einer Umgebung mittels der Steuergröße, wobei sich in der Umgebung abhängig von der Steuergröße eine Zustandsgröße der Umgebung einstellt, Bestimmen eines Erwartungswerts für die Zustandsgröße abhängig von einem Modell das ausgebildet ist, abhängig von Information über die Steuergröße den Erwartungswert zu bestimmen, Bestimmen einer Abweichung und einer Belohnung, abhängig von der Zustandsgröße und dem Erwartungswert, wobei die Steuergröße abhängig von einem Parameter und der Abweichung bestimmt wird, und wobei der Parameter für die Bestimmung der Steuergröße abhängig von der Belohnung bestimmt wird. Dies ist ein für reinforcement learning besonders gut geeignetes Verfahren.A method for the automated calibration of a control unit function of a vehicle on a test bench comprises the steps of determining a control variable of the control unit function, in particular by means of a Markov decision-making process, controlling an environment using the control variable, a state variable of the environment being established in the environment depending on the control variable, determining a Expected value for the state variable depending on a model that is designed to determine the expected value as a function of information about the control variable, determining a deviation and a reward, depending on the state variable and the expected value, the Control variable is determined as a function of a parameter and the deviation, and the parameter for determining the control variable is determined as a function of the reward. This is a particularly well-suited method for reinforcement learning.

Vorzugsweise ist vorgesehen, dass das Modell ein Regressionsmodell oder ein physikalisches Modell der Umgebung ist. Dadurch ist das Verfahren vielseitig einsetzbar.It is preferably provided that the model is a regression model or a physical model of the environment. This makes the process versatile.

Vorzugsweise ist vorgesehen, dass ein Kennfeld oder eine Kennlinie mit einer Zuordnung einer Vielzahl Parameter für die Bestimmung der Steuergröße abhängig von der Abweichung vorgesehen ist, wobei wenigstens einer der Parameter in einem Entscheidungsprozess, insbesondere mittels einer Bellman Gleichung, insbesondere mit greedy-, Monte Carlo- und temporal difference learning- policy improvement, verkleinert, beibehalten oder vergrößert wird. Damit wir das Verfahren besonders effektiv.It is preferably provided that a map or a characteristic curve with an assignment of a large number of parameters is provided for determining the control variable depending on the deviation, at least one of the parameters in a decision process, in particular using a Bellman equation, in particular with greedy, Monte Carlo - and temporal difference learning- policy improvement, is reduced, maintained or enlarged. So that we make the process particularly effective.

Vorzugsweise ist vorgesehen, dass durch die Steuergröße ein Motor oder eine elektrische Maschine angesteuert wird, und eine Betriebsgröße dieser als Zustandsgröße gemessen wird. Dies ermöglicht die Anwendung des Verfahrens in einem Prüfstand für Antriebsaggregate eines Fahrzeugs.It is preferably provided that a motor or an electrical machine is controlled by the control variable, and an operating variable of this is measured as a state variable. This enables the method to be used in a test bench for drive units of a vehicle.

Vorzugsweise ist vorgesehen, dass ein Drehmoment, ein Druck, eine Temperatur, eine Spannung, einen Strom, einen Widerstand oder ein Hall-Effekt gemessen wird. Diese Größen eignen sich besonders in einem Verfahren für reinforcement learning für einen Motorprüfstand.It is preferably provided that a torque, a pressure, a temperature, a voltage, a current, a resistance or a Hall effect is measured. These variables are particularly suitable in a method for reinforcement learning for an engine test bench.

Vorzugsweise ist vorgesehen, dass die Steuergröße ein Drehmoment des Motors oder der elektrischen Maschine definiert, wobei die Zustandsgröße ein Ist-Drehmoment an einer Kupplung oder Kurbelwelle definiert, die durch das Drehmoment angetrieben werden. Mit dieser Größe ist das Verfahren besonders gut in eine Applikation an einem Motorprüfstand integrierbar.It is preferably provided that the control variable defines a torque of the engine or the electrical machine, the state variable defining an actual torque on a clutch or crankshaft that is driven by the torque. With this size, the method can be integrated particularly well into an application on an engine test bench.

Weitere vorteilhafte Ausführungsformen ergeben sich aus der folgenden Beschreibung und der Zeichnung. In der Zeichnung zeigt:

1 eine schematische Darstellung einer Vorrichtung zur Kalibrierung einer Steuergerätefunktion,
2 eine schematische Darstellung von Schritten in einem Verfahren zur Kalibrierung der Steuergerätefunktion.

Further advantageous embodiments emerge from the following description and the drawing. In the drawing shows:

1 a schematic representation of a device for calibrating a control unit function,
2 a schematic representation of steps in a method for calibrating the control unit function.

Im Folgenden wird eine Logik beschrieben, die sowohl eine genaue Modellierung eines Drehmoments an einer Antriebswelle oder einer Kupplung als auch eine autonome Kalibration der Modellierung des Drehmoments an der Antriebswelle oder Kupplung erlaubt. Dies Erfolgt auf Basis von reinforcement learning. Mit reinforcement learning ist ein Vorgehen für bestärkendes Lernen oder verstärkendes Lernen bezeichnet. Reinforcement learning ist eine Methode des maschinellen Lernens, bei der ein Agent selbständig insbesondere iterativ eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Beispielsweise bestimmt der Agent abhängig von bereits erhaltenen Belohnungen für jeden Zustand eine Aktion, die zu einem neuen Zustand führt. Der Agent wird in dem im Folgenden Beispiel ein Vorgehen zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand eingesetzt.In the following, a logic is described which allows both a precise modeling of a torque on a drive shaft or a clutch and an autonomous calibration of the modeling of the torque on the drive shaft or clutch. This is done on the basis of reinforcement learning. Reinforcement learning is a procedure for reinforcement learning or reinforcement learning. Reinforcement learning is a method of machine learning in which an agent independently, in particular iteratively, learns a strategy to maximize the rewards received. For example, depending on the rewards already received, the agent determines an action for each state that leads to a new state. The agent is used in the following example of a procedure for the automated calibration of a control unit function of a vehicle on a test bench.

In 1 ist eine Vorrichtung 100 zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand dargestellt. Die Vorrichtung 100 umfasst einen Agenten 102, der ausgebildet ist, eine Steuergröße 104 der Steuergerätefunktion zu bestimmen.In 1 is a device 100 for the automated calibration of a control unit function of a vehicle shown on a test bench. The device 100 includes an agent 102 that is formed, a control variable 104 to determine the control unit function.

Die Vorrichtung 100 umfasst zudem eine Umgebung 106, die ausgebildet ist, mittels der Steuergröße 104 angesteuert zu werden. In der Umgebung 106 stellt sich abhängig von der Steuergröße 104 eine Zustandsgröße 108 der Umgebung 106 ein. Die Umgebung 106 ist im Beispiel ein Motorprüfstand mit einem durch die Steuergröße 104 ansteuerbaren Motor oder einer durch die Steuergröße 104 ansteuerbare elektrische Maschine. Die Umgebung 106 umfasst beispielsweise eine Kupplung oder Kurbelwelle, die durch den Motor oder die elektrische Maschine angetrieben ist. Die Zustandsgröße 108 beispielsweise eine Betriebsgröße des Motorprüfstands oder des Motors oder der Maschine.The device 100 also includes an environment 106 that is formed by means of the control variable 104 to be controlled. In the neighborhood 106 arises depending on the tax variable 104 a state variable 108 the environment 106 a. The environment 106 in the example is an engine test bench with one controlled by the control variable 104 controllable motor or one by the control variable 104 controllable electrical machine. The environment 106 includes, for example, a clutch or crankshaft that is driven by the engine or the electric machine. The state variable 108 for example an operating variable of the engine test bench or the engine or the machine.

Die Steuergröße 104 definiert beispielsweise ein Drehmoment des Motors oder der elektrischen Maschine. Die Zustandsgröße 108 definiert beispielsweise ein Ist-Drehmoment an einer Kupplung oder Kurbelwelle, die durch das Drehmoment angetrieben ist.The control variable 104 defines, for example, a torque of the motor or the electrical machine. The state variable 108 defines, for example, an actual torque on a clutch or crankshaft that is driven by the torque.

Die Umgebung umfasst im Beispiel einen Sensor zum Erfassen einer Betriebsgröße dieser als Zustandsgröße 108. Der Sensor ist beispielsweise ein Drehmomentsensor, ein Drucksensor, ein Temperatursensor, ein Hall-Sensor oder ein Sensor, der eine Spannung, einen Strom bzw. elektrischen Widerstand misst.In the example, the environment comprises a sensor for detecting an operating variable of this as a state variable 108 . The sensor is, for example, a torque sensor, a pressure sensor, a temperature sensor, a Hall sensor or a sensor that measures a voltage, a current or electrical resistance.

Die Vorrichtung 100 umfasst zudem ein Modell 110, das ausgebildet ist, abhängig von Information 112 über die Steuergröße 104 einen Erwartungswert 114 für die Zustandsgröße 108 zu bestimmen, Das Modell ist beispielsweise ein Regressionsmodell oder ein physikalisches Modell der Umgebung 106.The device 100 also includes a model 110 that is formed depending on information 112 about the control variable 104 an expected value 114 for the state variable 108 to determine, The model is, for example, a regression model or a physical model of the environment 106 .

Die Vorrichtung 100 umfasst zudem eine Vergleichseinrichtung 116, die ausgebildet ist, abhängig von der Zustandsgröße 108 und dem Erwartungswert 114 eine Abweichung 118 und eine Belohnung 120 zu bestimmen. Die Belohnung 120 ist beispielsweise ein Wert im Intervall [-1, 1]. The device 100 also includes a comparison device 116 that is formed depending on the state variable 108 and the expected value 114 a deviation 118 and a reward 120 to determine. The reward 120 is for example a value in the interval [-1, 1].

Der Agent 102 ist ausgebildet, die Steuergröße 104 abhängig von einem Parameter und der Abweichung 118 zu bestimmen, und den Parameter für die Bestimmung der Steuergröße 104 abhängig von der Belohnung 120 zu bestimmen. Beispielsweise wird ein Q-Iearning Algorithmus eingesetzt um einen neuen Wert für einen Parameter zu bestimmen. Mit Q-Iearning Algorithmus ist ein Vorgehen bezeichnet, bei dem eine policy, d.h. Regeln, verwendet wird, die dem Agenten 102 vorgibt, welche Aktion unter welchen Umständen vorzunehmen ist. Dazu ist nicht unbedingt das Modell der Umgebung 106 erforderlich. Vielmehr können Aktionen für stochastische Übergänge aufgrund einer Belohnung ausgelöst werden.The agent 102 is designed to be the control variable 104 depending on a parameter and the deviation 118 to determine and the parameters for determining the control variable 104 depending on the reward 120 to determine. For example, a Q-learning algorithm is used to determine a new value for a parameter. The Q-Learning Algorithm is a procedure in which a policy, ie rules, is used which the agent 102 specifies which action is to be taken under which circumstances. This is not necessarily the model of the environment 106 required. Rather, actions for stochastic transitions can be triggered based on a reward.

Der Agent 102 umfasst beispielsweise ein Kennfeld oder eine Kennlinie mit einer Zuordnung einer Vielzahl Parameter für die Bestimmung der Steuergröße 104 abhängig von der Abweichung 118.The agent 102 includes, for example, a map or a characteristic curve with an assignment of a large number of parameters for determining the control variable 104 depending on the deviation 118 .

Der Agent 102 ist ausgebildet, wenigstens einen der Parameter in einem Entscheidungsprozess zu verkleinern, beizubehalten oder zu vergrößern.The agent 102 is designed to reduce, maintain or increase at least one of the parameters in a decision process.

Der Agent 102 kennt im Beispiel die Logik zur Modellierung des Kurbelwellendrehmoments, beispielsweise $Tcs = Tind Opt * η ign$

mit
Tcs Kurbelwellendrehmoment,
Tind Opt Indiziertes optimales Drehmoment,
ηign Wirkungsgrad.The agent 102 knows in the example the logic for modeling the crankshaft torque, for example

Tcs = Tind Opt * η ign

With
Tcs crankshaft torque,
Tind Opt Indexed Optimal Torque,
ηign efficiency.

Diese Logik ist als Matrizen implementiert. Am Anfang des Kalibrierungsprozesses sind die Werte der Parameter in den Kennfeldern unbekannt. Im Beispiel entspricht ein modelliertes Drehmoment beispielsweise nicht einem am Motorprüfstand gemessenen Drehmoment. Der Agent 102 ist ausgebildet deswegen zunächst Aktionen auszuführen, also selber Werte für Parameter im Kennfeld einzutragen und auf eine Rückmeldung von der Umgebung 106 zu warten, um zu verstehen, ob seine Aktion zielführend war.This logic is implemented as matrices. At the beginning of the calibration process, the values of the parameters in the maps are unknown. In the example, a modeled torque does not correspond to a torque measured on the engine test bench, for example. The agent 102 is therefore designed to carry out actions first, i.e. to enter values for parameters in the map and to respond to feedback from the environment 106 waiting to understand whether his action was effective.

Der Agent 102 trägt im Beispiel in einer Initialisierung Werte für Parameter in die Kennfelder ein. Daraus lasst sich ein modelliertes Drehmoment an der Kupplung oder Kurbelwelle bestimmen. Zum Zeitpunkt der Initialisierung weiß der Agent 102 aber noch nicht, ob er die richtigen Werten im Kennfeld eingetragen hat. Er muss deswegen auf eine Rückmeldung von der Umgebung 106 warten. Im Beispiel ist die Umgebung 106 der Motorenprüfstand, welcher das Drehmoment an der Kupplung oder Kurbelwelle misst. Die Aktion umfasst eine Veränderung eines Parameters und eine Ansteuerung mit der Steuergröße 104, die abhängig vom Parameter bestimmt wird. Diese kann mit oder ohne Markov decision process bestimmt werden. Der Agent 102 verwendet im Beispiel den Markov decision process oder Markov Entscheidungsprozess um eine Steuergröße 104 für eine Aktion zu bestimmen, durch die der Motorenprüfstand von einem Zustand in einen anderen Zustand übergeht. Die Entscheidungen ob ein Wert eines Parameters im Kennfeld gegenüber einem aktuellen Wert des Parameters vergrößert, verkleinert oder beibehalten wird, beruht im Beispiel auf wenigstens einem der folgenden Algorithmen: Bellman expectation equation, Bellman Optimality equation, greedy-, Monte Carlo- oder temporal difference learning- policy improvement. Andere Verfahren des reinforcement learnings können auch angewendet werden.The agent 102 In the example, enters values for parameters in the maps in an initialization. A modeled torque on the clutch or crankshaft can be determined from this. At the time of initialization, the agent knows 102 but not yet whether he has entered the correct values in the map. He therefore has to respond to feedback from the environment 106 waiting. In the example is the environment 106 the engine test bench, which measures the torque on the clutch or crankshaft. The action includes changing a parameter and activating it with the control variable 104 which is determined depending on the parameter. This can be determined with or without the Markov decision process. The agent 102 uses the Markov decision process or Markov decision process for a control variable in the example 104 for an action by which the engine test bench changes from one state to another. The decision as to whether a value of a parameter in the characteristic diagram is increased, decreased or retained with respect to a current value of the parameter is based in the example on at least one of the following algorithms: Bellman expectation equation, Bellman Optimality equation, greedy, Monte Carlo or temporal difference learning - policy improvement. Other methods of reinforcement learning can also be used.

Das Ziel des Agenten 102 ist es im Beispiel, die Summe einer Belohnung zu maximieren. Wenn die Abweichung kleiner wird dann bedeutet es für den Agenten 102, dass für die Parameter gegenüber früheren Werten vernünftigere Werte im Kennfeld eingetragen sind. Dafür wird der Agent 102 belohnt. Wenn die Abweichung grösser wird, dann bekommt der Agent 102 keine Belohnung und muss eine andere Art von Aktion ausführen. Beispielsweise wird der Wert eines Parameters im Kennfeld gegenüber seinem früheren Wert verkleinert anstelle vergrößert.The agent's goal 102 in the example it is to maximize the sum of a reward. If the deviation gets smaller then it means it for the agent 102 that more sensible values are entered in the map for the parameters compared to earlier values. For that the agent will 102 rewarded. If the deviation gets bigger, then the agent gets 102 no reward and needs to do some other type of action. For example, the value of a parameter in the characteristic diagram is reduced instead of increased compared to its previous value.

Die Logik wird für alle Betriebspunkte des Motors oder der elektrischen Maschine wiederholt, insbesondere bis eine Abweichung von gemessenem Drehmoment und modelliertem Drehmoment eine Schwelle unterschreitet.The logic is repeated for all operating points of the motor or the electrical machine, in particular until a deviation between the measured torque and the modeled torque falls below a threshold.

Ein Verfahren zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand wird anhand der 2 erläutert.A method for the automated calibration of a control unit function of a vehicle on a test bench is based on the 2 explained.

Das Verfahren umfasst nach dem Start einen Schritt 202, in dem geprüft wird, ob Parameter in einem Kennfeld oder einer Kennlinie für die Bestimmung der Steuergröße 104 initialisiert werden müssen oder nicht. Wenn die Parameter initialisiert werden müssen, wird eine Schritt 204 ausgeführt. Anderenfalls wird ein Schritt 206 ausgeführt.Once started, the method comprises a step 202 , in which it is checked whether parameters are in a map or a characteristic curve for determining the control variable 104 need to be initialized or not. If the parameters need to be initialized, there will be a step 204 executed. Otherwise it becomes a step 206 executed.

Im Schritt 204 wird wenigstens ein Parameter initialisiert. Anschließend wird der Schritt 206 ausgeführt.In step 204 at least one parameter is initialized. Then the step 206 executed.

Im Schritt 206 wird die Steuergröße 104 der Steuergerätefunktion bestimmt.In step 206 becomes the control variable 104 determined by the control unit function.

Im Schritt 208 wird die Umgebung 106 mittels der Steuergröße 104 angesteuert. Dadurch stellt sich in der Umgebung 106 abhängig von der Steuergröße 104 eine Zustandsgröße 108 der Umgebung 106 ein. Die Steuergröße 104 steuert beispielsweise den Motor oder die elektrische Maschine an. Die Steuergröße 104 definiert im Beispiel das Drehmoment des Motors oder der elektrischen Maschine. Die Zustandsgröße 108 ist im Beispiel ein Ist-Drehmoment an einer Kupplung oder Kurbelwelle, die durch das Drehmoment angetrieben werden. Als Zustandsgröße 108 wird eine Betriebsgrößer dieser gemessen. Beispielsweise wird ein Druck, eine Temperatur, ein Hall-Effekt, eine Spannung, ein Widerstand oder ein Strom gemessen. Anschließend wird ein Schritt 210 ausgeführt.In step 208 becomes the environment 106 by means of the control variable 104 controlled. This arises in the area 106 depending on the tax variable 104 a state variable 108 the environment 106 a. The control variable 104 controls, for example, the engine or the electrical machine. The control variable 104 defines the torque of the motor or the electrical machine in the example. The state variable 108 in the example is an actual torque on a clutch or crankshaft that is driven by the torque. As a state variable 108 an operational value of these is measured. For example, a pressure, a temperature, a Hall effect, a voltage, a resistance or a current is measured. Then there is a step 210 executed.

Im Schritt 210 wird ein Erwartungswert 114 für die Zustandsgröße 108 abhängig vom Modell 110 bestimmt. Das Modell ist im Beispiel das Regressionsmodell oder das physikalische Modell der Umgebung 106. Das Modell 110 ist ausgebildet den Erwartungswert 114 abhängig von Information 112 über die Steuergröße 104 zu bestimmen. Die Information 112 über die Steuergröße 104 kann die Steuergröße 104 selbst oder eine für die Verwendung im Modell angepasste Größe sein.In step 210 becomes an expected value 114 for the state variable 108 depending on the model 110 certainly. In the example, the model is the regression model or the physical model of the environment 106 . The model 110 is trained the expected value 114 depending on information 112 about the control variable 104 to determine. The information 112 about the control variable 104 can control variable 104 itself or a size adapted for use in the model.

Anschließend wird der Schritt 212 ausgeführt.Then the step 212 executed.

Im Schritt 212 wird eine Abweichung 118 und einer Belohnung 120 bestimmt. Die Abweichung 118 und die Belohnung 120 werden im Beispiel abhängig von der Zustandsgröße 108 und dem Erwartungswert 114 bestimmt. Die Abweichung 118 wird beispielsweise als Differenz der Zustandsgröße 108 und des Erwartungswerts 114 bestimmt. Die Belohnung 120 wird beispielsweise abhängig von der Abweichung 118 bestimmt. Beispielsweise wird die Belohnung 120 ausgehend von einem Wert mit zunehmender Abweichung 118 kleiner oder mit abnehmender Abweichung 118 größer.In step 212 becomes a deviation 118 and a reward 120 certainly. The deviation 118 and the reward 120 are dependent on the state variable in the example 108 and the expected value 114 certainly. The deviation 118 is, for example, the difference in the state variable 108 and the expected value 114 certainly. The reward 120 becomes dependent on the deviation, for example 118 certainly. For example, the reward is 120 starting from a value with increasing deviation 118 smaller or with decreasing deviation 118 greater.

Die Steuergröße 104 wird abhängig von einem der Parameter und der Abweichung 118 bestimmt. Der Parameter für die Bestimmung der Steuergröße 104 wird abhängig von der Belohnung 120 bestimmt. Dies kann vor oder nach der Bestimmung der Steuergröße erfolgen. Das Kennfeld oder die Kennlinie mit der Zuordnung der Vielzahl Parameter für die Bestimmung der Steuergröße 104 wird kalibriert, indem wenigstens einer der Parameter in einem Entscheidungsprozess, abhängig von der Belohnung verändert oder beibehalten wird. Insbesondere wird eine Rechenvorschrift gemäße einer Bellman Gleichung, insbesondere mit greedy-, Monte Carlo- oder temporal difference learningpolicy improvement, verwendet, um den Parameter abhängig von einem Wert für die Belohnung zu verkleinern, beizubehalten oder zu vergrößern.The control variable 104 becomes dependent on one of the parameters and the deviation 118 certainly. The parameter for determining the control variable 104 becomes dependent on the reward 120 certainly. This can be done before or after determining the control variable. The map or the characteristic curve with the assignment of the large number of parameters for determining the control variable 104 is calibrated by changing or maintaining at least one of the parameters in a decision-making process depending on the reward. In particular, a calculation rule in accordance with a Bellman equation, in particular with greedy, Monte Carlo or temporal difference learning policy improvement, is used in order to reduce, maintain or increase the parameter depending on a value for the reward.

Anschließend wird der Schritt 206 ausgeführt.Then the step 206 executed.

In dem beschriebenen Verfahren laufen Kalibrierung und Ansteuerung parallel. Das Verfahren endet beispielsweise, wenn ein Abbruchkriterium hinsichtlich der Güte der Kalibrierung erfüllt ist. Damit ist es im Unterschied zu herkömmlichen Vorgehensweisen möglich, das Modell 110 bereits während der Kalibrierung zur Modellierung des Drehmoments einzusetzen.In the process described, calibration and control run in parallel. The method ends, for example, when a termination criterion with regard to the quality of the calibration is met. In contrast to conventional procedures, this makes it possible to use the model 110 to be used during the calibration for modeling the torque.

Die Vorrichtung 100 umfasst beispielsweise eine Recheneinrichtung beispielsweise einen Prozessor sowie einen Speicher mit Instruktionen für den Prozessor bei deren Ausführung das Verfahren abläuft. Ein Microprozessor kann ebenfalls vorgesehen sein.The device 100 For example, a computing device includes, for example, a processor and a memory with instructions for the processor when the method is executed. A microprocessor can also be provided.

Claims

Device (100) for the automated calibration of a control unit function of a vehicle on a test stand, characterized by an agent (102) which is designed to determine a control variable (104) of the control device function, in particular by means of a Markov decision process, an environment (106) which is designed to be controlled by means of the control variable (104), a state variable (108) of the environment (106) being set in the environment (106) depending on the control variable (104), a model (110) which is designed to determine an expected value (114) for the state variable (108) as a function of information (112) about the control variable (104), a comparison device (116) which is designed to determine a deviation (118) and a reward (120) as a function of the state variable (108) and the expected value (114), wherein the agent (102) is designed to determine the control variable (104) as a function of a parameter and the deviation (118), and to determine the parameter for determining the control variable (104) as a function of the reward (120).

Device (100) after Claim 1 , characterized in that the model is a regression model or a physical model (110) of the environment (106).

Device (100) according to one of the preceding claims, characterized in that the agent (102) comprises a map or a characteristic curve with an assignment of a plurality of parameters for determining the control variable (104) depending on the deviation (118), at least one the parameter in a decision-making process, in particular by means of a Bellman equation, in particular with greedy policy improvement, reduced, maintained or enlarged.

Device (100) according to one of the preceding claims, characterized in that the environment (106) comprises an engine test bench with a motor controllable by the control variable (104) or an electrical machine controllable by the control variable (104), the environment (106) a sensor for detecting an operating variable of this as a state variable (108).

Device (100) after Claim 4 , characterized in that the sensor is a torque sensor, a pressure sensor, a temperature sensor, a Hall sensor or sensor for measuring voltage, current or resistance.

Device according to Claim 3 or 4th , characterized in that the control variable (104) defines a torque of the engine or the electric machine, the state variable (108) defining an actual torque on a clutch or crankshaft that is driven by the torque.

A method for the automated calibration of a control unit function of a vehicle on a test bench, characterized by determining (206) a control variable (104) of the control unit function, in particular by means of a Markov decision process, controlling (208) an environment (106) by means of the control variable (104), wherein in the environment (106) sets a state variable (108) of the environment (106) depending on the control variable (104), determining (210) an expected value (114) for the state variable (108) depending on a model (110) that is formed to determine the expected value (114) depending on information (112) about the control variable (104), determining (212) a deviation (118) and a reward (120), depending on the state variable (108) and the expected value (114), wherein the control variable (104) is determined as a function of a parameter and the deviation (118), and wherein the parameter for determining the control variable (104) is determined as a function of the reward (120) becomes.

Procedure according to Claim 7 , characterized in that the model is a regression model or a physical model (110) of the environment (106).

Method according to one of the Claims 7 or 8th , characterized in that a map or a characteristic curve with an assignment of a large number of parameters for determining the control variable (104) depending on the deviation (118) is provided, with at least one of the parameters in a decision process, in particular by means of a Bellman equation, in particular with greedy policy improvement, is reduced, maintained or enlarged.

Method according to one of the Claims 7 to 9 , characterized in that a motor or an electrical machine is controlled by the control variable (104), and an operating variable of this is measured as a state variable (108).

Procedure according to Claim 10 , characterized in that a torque, a pressure, a temperature, a Hall effect, a voltage, a current or a resistance is measured.

Procedure according to Claim 10 or 11 , characterized in that the control variable (104) defines a torque of the engine or the electrical machine, the state variable (108) defining an actual torque on a clutch or crankshaft that is driven by the torque.