-
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs.
-
DE 10 2006 048 730 A1 betrifft ein Verfahren und eine Vorrichtung zur Bestimmung der Messgenauigkeit einer Messeinrichtung.
-
AT 010 073 U2 betrifft ein Verfahren zur Analyse und Bewertung von Messdaten eines Messsystems mit zumindest einem Messkanal.
-
Herkömmliche Steuergerätefunktionen umfassen Modelle, beispielsweise für Motoren von Fahrzeugen, die an einem Prüfstand von einem Applikateur kalibriert werden. Das Model eines Motors wird beispielsweise am Motorprüfstand vom Applikateur so kalibriert, dass ein modelliertes Drehmoment gleich einem am Motorenprüfstand gemessenen Drehmoment ist. Dies erfolgt durch Kalibrierung von Kennfeldern für Steuergrößen des Motors.
-
Das Model muss von dazu von einem Applikateur anhand von sehr vielen Messungen kalibriert werden. Wünschenswert ist es, ein demgegenüber verbessertes Vorgehen anzugeben.
-
Dies wird durch den Gegenstand der unabhängigen Ansprüche erreicht.
-
Die Vorrichtung zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand, umfasst einen Agenten, der ausgebildet ist, eine Steuergröße der Steuergerätefunktion insbesondere mittels eines Markov Entscheidungsprozesses zu bestimmen, eine Umgebung, die ausgebildet ist, mittels der Steuergröße angesteuert zu werden, wobei sich in der Umgebung abhängig von der Steuergröße eine Zustandsgröße der Umgebung einstellt, ein Modell, das ausgebildet ist, abhängig von Information über die Steuergröße einen Erwartungswert für die Zustandsgröße zu bestimmen, eine Vergleichseinrichtung, die ausgebildet ist, abhängig von der Zustandsgröße und dem Erwartungswert eine Abweichung und eine Belohnung zu bestimmen, wobei der Agent ausgebildet ist, die Steuergröße abhängig von einem Parameter und der Abweichung zu bestimmen, und den Parameter für die Bestimmung der Steuergröße abhängig von der Belohnung zu bestimmen. Dies ermöglicht es, die Kalibrierung insbesondere der Parameter automatisiert durchzuführen. Mit dem Ausdruck Agent ist im Beispiel eine Funktionalität bezeichnet, die auf einer Recheneinrichtung ablaufen kann.
-
Vorzugsweise ist vorgesehen, dass das Modell ein Regressionsmodell oder ein physikalisches Modell der Umgebung ist. Dies ist ein für die Automatisierung besonders gut geeignetes Modell.
-
Vorzugsweise ist vorgesehen, dass der Agent ein Kennfeld oder eine Kennlinie umfasst mit einer Zuordnung einer Vielzahl Parameter für die Bestimmung der Steuergröße abhängig von der Abweichung, wobei wenigstens einer der Parameter in einem Entscheidungsprozess, insbesondere mittels einer Bellman Gleichung, insbesondere mit greedy policy improvement, verkleinert, beibehalten oder vergrößert wird. Die Bellman Gleichung, greedy-, Monte Carlo- und temporal difference learning- policy improvement wird beispielsweise zur iterativen Bestimmung der Parameter eingesetzt. Damit wird die Automatisierung durch reinforcement learning besonders effektiv.
-
Vorzugsweise ist vorgesehen, dass die Umgebung ein Motorprüfstand mit einem durch die Steuergröße ansteuerbaren Motor oder eine durch die Steuergröße ansteuerbare elektrische Maschine umfasst, wobei die Umgebung einen Sensor zum Erfassen einer Betriebsgröße dieser als Zustandsgröße umfasst. Die Betriebsgröße des Motors oder der elektrischen Maschine wird so gewählt, dass eine Automatisierung der ansonsten sehr aufwändigen Applikation für die jeweilige Steuergröße möglich ist.
-
Vorzugsweise ist vorgesehen, dass der Sensor ein Drehmomentsensor, ein Drucksensor, ein Temperatursensor, ein Hall-Sensor ist oder eine Spannung, einen Strom bzw. elektrischen Widerstand misst. Diese Sensoren eignen sich besonders für einen Prüfstand für Steuergerätefunktionen für Antriebsaggregate von Fahrzeugen.
-
Vorzugsweise ist vorgesehen, dass die Steuergröße ein Drehmoment der Brennkraftmaschine oder der elektrischen Maschine definiert, wobei die Zustandsgröße ein Ist-Drehmoment an einer Kupplung oder Antriebswelle definiert, die durch das Drehmoment angetrieben sind. Damit wird eine für die Applikation besonders gut geeignete Größe für das reinforcement learning verwendet.
-
Ein Verfahren zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand umfasst die Schritt Bestimmen einer Steuergröße der Steuergerätefunktion insbesondere mittels eines Markov Entscheidungsprozesses, Ansteuern einer Umgebung mittels der Steuergröße, wobei sich in der Umgebung abhängig von der Steuergröße eine Zustandsgröße der Umgebung einstellt, Bestimmen eines Erwartungswerts für die Zustandsgröße abhängig von einem Modell das ausgebildet ist, abhängig von Information über die Steuergröße den Erwartungswert zu bestimmen, Bestimmen einer Abweichung und einer Belohnung, abhängig von der Zustandsgröße und dem Erwartungswert, wobei die Steuergröße abhängig von einem Parameter und der Abweichung bestimmt wird, und wobei der Parameter für die Bestimmung der Steuergröße abhängig von der Belohnung bestimmt wird. Dies ist ein für reinforcement learning besonders gut geeignetes Verfahren.
-
Vorzugsweise ist vorgesehen, dass das Modell ein Regressionsmodell oder ein physikalisches Modell der Umgebung ist. Dadurch ist das Verfahren vielseitig einsetzbar.
-
Vorzugsweise ist vorgesehen, dass ein Kennfeld oder eine Kennlinie mit einer Zuordnung einer Vielzahl Parameter für die Bestimmung der Steuergröße abhängig von der Abweichung vorgesehen ist, wobei wenigstens einer der Parameter in einem Entscheidungsprozess, insbesondere mittels einer Bellman Gleichung, insbesondere mit greedy-, Monte Carlo- und temporal difference learning- policy improvement, verkleinert, beibehalten oder vergrößert wird. Damit wir das Verfahren besonders effektiv.
-
Vorzugsweise ist vorgesehen, dass durch die Steuergröße ein Motor oder eine elektrische Maschine angesteuert wird, und eine Betriebsgröße dieser als Zustandsgröße gemessen wird. Dies ermöglicht die Anwendung des Verfahrens in einem Prüfstand für Antriebsaggregate eines Fahrzeugs.
-
Vorzugsweise ist vorgesehen, dass ein Drehmoment, ein Druck, eine Temperatur, eine Spannung, einen Strom, einen Widerstand oder ein Hall-Effekt gemessen wird. Diese Größen eignen sich besonders in einem Verfahren für reinforcement learning für einen Motorprüfstand.
-
Vorzugsweise ist vorgesehen, dass die Steuergröße ein Drehmoment des Motors oder der elektrischen Maschine definiert, wobei die Zustandsgröße ein Ist-Drehmoment an einer Kupplung oder Kurbelwelle definiert, die durch das Drehmoment angetrieben werden. Mit dieser Größe ist das Verfahren besonders gut in eine Applikation an einem Motorprüfstand integrierbar.
-
Weitere vorteilhafte Ausführungsformen ergeben sich aus der folgenden Beschreibung und der Zeichnung. In der Zeichnung zeigt:
- 1 eine schematische Darstellung einer Vorrichtung zur Kalibrierung einer Steuergerätefunktion,
- 2 eine schematische Darstellung von Schritten in einem Verfahren zur Kalibrierung der Steuergerätefunktion.
-
Im Folgenden wird eine Logik beschrieben, die sowohl eine genaue Modellierung eines Drehmoments an einer Antriebswelle oder einer Kupplung als auch eine autonome Kalibration der Modellierung des Drehmoments an der Antriebswelle oder Kupplung erlaubt. Dies Erfolgt auf Basis von reinforcement learning. Mit reinforcement learning ist ein Vorgehen für bestärkendes Lernen oder verstärkendes Lernen bezeichnet. Reinforcement learning ist eine Methode des maschinellen Lernens, bei der ein Agent selbständig insbesondere iterativ eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Beispielsweise bestimmt der Agent abhängig von bereits erhaltenen Belohnungen für jeden Zustand eine Aktion, die zu einem neuen Zustand führt. Der Agent wird in dem im Folgenden Beispiel ein Vorgehen zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand eingesetzt.
-
In 1 ist eine Vorrichtung 100 zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand dargestellt. Die Vorrichtung 100 umfasst einen Agenten 102, der ausgebildet ist, eine Steuergröße 104 der Steuergerätefunktion zu bestimmen.
-
Die Vorrichtung 100 umfasst zudem eine Umgebung 106, die ausgebildet ist, mittels der Steuergröße 104 angesteuert zu werden. In der Umgebung 106 stellt sich abhängig von der Steuergröße 104 eine Zustandsgröße 108 der Umgebung 106 ein. Die Umgebung 106 ist im Beispiel ein Motorprüfstand mit einem durch die Steuergröße 104 ansteuerbaren Motor oder einer durch die Steuergröße 104 ansteuerbare elektrische Maschine. Die Umgebung 106 umfasst beispielsweise eine Kupplung oder Kurbelwelle, die durch den Motor oder die elektrische Maschine angetrieben ist. Die Zustandsgröße 108 beispielsweise eine Betriebsgröße des Motorprüfstands oder des Motors oder der Maschine.
-
Die Steuergröße 104 definiert beispielsweise ein Drehmoment des Motors oder der elektrischen Maschine. Die Zustandsgröße 108 definiert beispielsweise ein Ist-Drehmoment an einer Kupplung oder Kurbelwelle, die durch das Drehmoment angetrieben ist.
-
Die Umgebung umfasst im Beispiel einen Sensor zum Erfassen einer Betriebsgröße dieser als Zustandsgröße 108. Der Sensor ist beispielsweise ein Drehmomentsensor, ein Drucksensor, ein Temperatursensor, ein Hall-Sensor oder ein Sensor, der eine Spannung, einen Strom bzw. elektrischen Widerstand misst.
-
Die Vorrichtung 100 umfasst zudem ein Modell 110, das ausgebildet ist, abhängig von Information 112 über die Steuergröße 104 einen Erwartungswert 114 für die Zustandsgröße 108 zu bestimmen, Das Modell ist beispielsweise ein Regressionsmodell oder ein physikalisches Modell der Umgebung 106.
-
Die Vorrichtung 100 umfasst zudem eine Vergleichseinrichtung 116, die ausgebildet ist, abhängig von der Zustandsgröße 108 und dem Erwartungswert 114 eine Abweichung 118 und eine Belohnung 120 zu bestimmen. Die Belohnung 120 ist beispielsweise ein Wert im Intervall [-1, 1].
-
Der Agent 102 ist ausgebildet, die Steuergröße 104 abhängig von einem Parameter und der Abweichung 118 zu bestimmen, und den Parameter für die Bestimmung der Steuergröße 104 abhängig von der Belohnung 120 zu bestimmen. Beispielsweise wird ein Q-Iearning Algorithmus eingesetzt um einen neuen Wert für einen Parameter zu bestimmen. Mit Q-Iearning Algorithmus ist ein Vorgehen bezeichnet, bei dem eine policy, d.h. Regeln, verwendet wird, die dem Agenten 102 vorgibt, welche Aktion unter welchen Umständen vorzunehmen ist. Dazu ist nicht unbedingt das Modell der Umgebung 106 erforderlich. Vielmehr können Aktionen für stochastische Übergänge aufgrund einer Belohnung ausgelöst werden.
-
Der Agent 102 umfasst beispielsweise ein Kennfeld oder eine Kennlinie mit einer Zuordnung einer Vielzahl Parameter für die Bestimmung der Steuergröße 104 abhängig von der Abweichung 118.
-
Der Agent 102 ist ausgebildet, wenigstens einen der Parameter in einem Entscheidungsprozess zu verkleinern, beizubehalten oder zu vergrößern.
-
Der Agent
102 kennt im Beispiel die Logik zur Modellierung des Kurbelwellendrehmoments, beispielsweise
mit
Tcs Kurbelwellendrehmoment,
Tind Opt Indiziertes optimales Drehmoment,
ηign Wirkungsgrad.
-
Diese Logik ist als Matrizen implementiert. Am Anfang des Kalibrierungsprozesses sind die Werte der Parameter in den Kennfeldern unbekannt. Im Beispiel entspricht ein modelliertes Drehmoment beispielsweise nicht einem am Motorprüfstand gemessenen Drehmoment. Der Agent 102 ist ausgebildet deswegen zunächst Aktionen auszuführen, also selber Werte für Parameter im Kennfeld einzutragen und auf eine Rückmeldung von der Umgebung 106 zu warten, um zu verstehen, ob seine Aktion zielführend war.
-
Der Agent 102 trägt im Beispiel in einer Initialisierung Werte für Parameter in die Kennfelder ein. Daraus lasst sich ein modelliertes Drehmoment an der Kupplung oder Kurbelwelle bestimmen. Zum Zeitpunkt der Initialisierung weiß der Agent 102 aber noch nicht, ob er die richtigen Werten im Kennfeld eingetragen hat. Er muss deswegen auf eine Rückmeldung von der Umgebung 106 warten. Im Beispiel ist die Umgebung 106 der Motorenprüfstand, welcher das Drehmoment an der Kupplung oder Kurbelwelle misst. Die Aktion umfasst eine Veränderung eines Parameters und eine Ansteuerung mit der Steuergröße 104, die abhängig vom Parameter bestimmt wird. Diese kann mit oder ohne Markov decision process bestimmt werden. Der Agent 102 verwendet im Beispiel den Markov decision process oder Markov Entscheidungsprozess um eine Steuergröße 104 für eine Aktion zu bestimmen, durch die der Motorenprüfstand von einem Zustand in einen anderen Zustand übergeht. Die Entscheidungen ob ein Wert eines Parameters im Kennfeld gegenüber einem aktuellen Wert des Parameters vergrößert, verkleinert oder beibehalten wird, beruht im Beispiel auf wenigstens einem der folgenden Algorithmen: Bellman expectation equation, Bellman Optimality equation, greedy-, Monte Carlo- oder temporal difference learning- policy improvement. Andere Verfahren des reinforcement learnings können auch angewendet werden.
-
Das Ziel des Agenten 102 ist es im Beispiel, die Summe einer Belohnung zu maximieren. Wenn die Abweichung kleiner wird dann bedeutet es für den Agenten 102, dass für die Parameter gegenüber früheren Werten vernünftigere Werte im Kennfeld eingetragen sind. Dafür wird der Agent 102 belohnt. Wenn die Abweichung grösser wird, dann bekommt der Agent 102 keine Belohnung und muss eine andere Art von Aktion ausführen. Beispielsweise wird der Wert eines Parameters im Kennfeld gegenüber seinem früheren Wert verkleinert anstelle vergrößert.
-
Die Logik wird für alle Betriebspunkte des Motors oder der elektrischen Maschine wiederholt, insbesondere bis eine Abweichung von gemessenem Drehmoment und modelliertem Drehmoment eine Schwelle unterschreitet.
-
Ein Verfahren zur automatisierten Kalibrierung einer Steuergerätefunktion eines Fahrzeugs an einem Prüfstand wird anhand der 2 erläutert.
-
Das Verfahren umfasst nach dem Start einen Schritt 202, in dem geprüft wird, ob Parameter in einem Kennfeld oder einer Kennlinie für die Bestimmung der Steuergröße 104 initialisiert werden müssen oder nicht. Wenn die Parameter initialisiert werden müssen, wird eine Schritt 204 ausgeführt. Anderenfalls wird ein Schritt 206 ausgeführt.
-
Im Schritt 204 wird wenigstens ein Parameter initialisiert. Anschließend wird der Schritt 206 ausgeführt.
-
Im Schritt 206 wird die Steuergröße 104 der Steuergerätefunktion bestimmt.
-
Im Schritt 208 wird die Umgebung 106 mittels der Steuergröße 104 angesteuert. Dadurch stellt sich in der Umgebung 106 abhängig von der Steuergröße 104 eine Zustandsgröße 108 der Umgebung 106 ein. Die Steuergröße 104 steuert beispielsweise den Motor oder die elektrische Maschine an. Die Steuergröße 104 definiert im Beispiel das Drehmoment des Motors oder der elektrischen Maschine. Die Zustandsgröße 108 ist im Beispiel ein Ist-Drehmoment an einer Kupplung oder Kurbelwelle, die durch das Drehmoment angetrieben werden. Als Zustandsgröße 108 wird eine Betriebsgrößer dieser gemessen. Beispielsweise wird ein Druck, eine Temperatur, ein Hall-Effekt, eine Spannung, ein Widerstand oder ein Strom gemessen. Anschließend wird ein Schritt 210 ausgeführt.
-
Im Schritt 210 wird ein Erwartungswert 114 für die Zustandsgröße 108 abhängig vom Modell 110 bestimmt. Das Modell ist im Beispiel das Regressionsmodell oder das physikalische Modell der Umgebung 106. Das Modell 110 ist ausgebildet den Erwartungswert 114 abhängig von Information 112 über die Steuergröße 104 zu bestimmen. Die Information 112 über die Steuergröße 104 kann die Steuergröße 104 selbst oder eine für die Verwendung im Modell angepasste Größe sein.
-
Anschließend wird der Schritt 212 ausgeführt.
-
Im Schritt 212 wird eine Abweichung 118 und einer Belohnung 120 bestimmt. Die Abweichung 118 und die Belohnung 120 werden im Beispiel abhängig von der Zustandsgröße 108 und dem Erwartungswert 114 bestimmt. Die Abweichung 118 wird beispielsweise als Differenz der Zustandsgröße 108 und des Erwartungswerts 114 bestimmt. Die Belohnung 120 wird beispielsweise abhängig von der Abweichung 118 bestimmt. Beispielsweise wird die Belohnung 120 ausgehend von einem Wert mit zunehmender Abweichung 118 kleiner oder mit abnehmender Abweichung 118 größer.
-
Die Steuergröße 104 wird abhängig von einem der Parameter und der Abweichung 118 bestimmt. Der Parameter für die Bestimmung der Steuergröße 104 wird abhängig von der Belohnung 120 bestimmt. Dies kann vor oder nach der Bestimmung der Steuergröße erfolgen. Das Kennfeld oder die Kennlinie mit der Zuordnung der Vielzahl Parameter für die Bestimmung der Steuergröße 104 wird kalibriert, indem wenigstens einer der Parameter in einem Entscheidungsprozess, abhängig von der Belohnung verändert oder beibehalten wird. Insbesondere wird eine Rechenvorschrift gemäße einer Bellman Gleichung, insbesondere mit greedy-, Monte Carlo- oder temporal difference learningpolicy improvement, verwendet, um den Parameter abhängig von einem Wert für die Belohnung zu verkleinern, beizubehalten oder zu vergrößern.
-
Anschließend wird der Schritt 206 ausgeführt.
-
In dem beschriebenen Verfahren laufen Kalibrierung und Ansteuerung parallel. Das Verfahren endet beispielsweise, wenn ein Abbruchkriterium hinsichtlich der Güte der Kalibrierung erfüllt ist. Damit ist es im Unterschied zu herkömmlichen Vorgehensweisen möglich, das Modell 110 bereits während der Kalibrierung zur Modellierung des Drehmoments einzusetzen.
-
Die Vorrichtung 100 umfasst beispielsweise eine Recheneinrichtung beispielsweise einen Prozessor sowie einen Speicher mit Instruktionen für den Prozessor bei deren Ausführung das Verfahren abläuft. Ein Microprozessor kann ebenfalls vorgesehen sein.