[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

EP4158427A1 - Steuern eines technischen systems mittels eines datenbasierten regelungsmodells - Google Patents

Steuern eines technischen systems mittels eines datenbasierten regelungsmodells

Info

Publication number
EP4158427A1
EP4158427A1 EP20754664.9A EP20754664A EP4158427A1 EP 4158427 A1 EP4158427 A1 EP 4158427A1 EP 20754664 A EP20754664 A EP 20754664A EP 4158427 A1 EP4158427 A1 EP 4158427A1
Authority
EP
European Patent Office
Prior art keywords
data
model
control model
technical system
based control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20754664.9A
Other languages
English (en)
French (fr)
Inventor
Andrés Botero Halblaub
Tim Schenk
Till Heinzerling
Harald Held
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Industry Software NV
Original Assignee
Siemens Industry Software NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Industry Software NV filed Critical Siemens Industry Software NV
Publication of EP4158427A1 publication Critical patent/EP4158427A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion

Definitions

  • the invention relates to a computer-implemented method and a device for configuring a controller for controlling a technical system, a computer-implemented method and a controller for controlling a technical system using a data-based control model configured in this way, and a computer program product.
  • Efficient operation of a technical system typically takes place via parallel control.
  • Control is usually carried out on the basis of predetermined control parameters or manipulated variables, starting from a detected system state, it being possible for optimal control parameters or manipulated variables to be determined using model predictive control methods.
  • Such an operational control is difficult or even impossible, especially for complex systems due to the higher computing effort.
  • the invention relates to a computer-implemented method for configuring a controller for controlling a technical system, a) reading in a model-predictive control model for the controller, the model-predictive control model being set up
  • the aim is to output optimized control parameters for controlling the technical system as output data as a function of simulated and/or measured status data of the technical system, b) reading in a data-based control model, c) setting configuration parameters of the data-based control model using the model-predictive control model in such a way that that the data-based control model, depending on the status data read from the technical system, reproduces the output data of the model-predictive control model and determines optimized control parameters configured in this way, and d) outputting the data-based control model configured in this way to control the technical system to the controller.
  • the data-based control model configured in this way can in particular be output to a controller for controlling the technical system.
  • the device according to the invention can be coupled to such a controller.
  • the invention relates to a device for configuring a controller for controlling a technical system, comprising
  • model-predictive control model being set up to output optimized control parameters for controlling the technical system as output data, depending on simulated and/or measured status data of the technical system, and import a data-based control model
  • a configurator that is set up to set configuration parameters of the data-based control model using the model-predictive control model in such a way that the data-based control model, depending on read-in status data of the technical system, output data of the model-predictive control model is reproduced and optimized control parameters configured in such a way are determined,
  • An output module that is set up to output the configured data-based control model for controlling the technical system's to the controller.
  • the method according to the invention can be realized in particular with computer support.
  • the terms “perform”, “calculate”, “computer-aided”, “calculate”, “determine”, “generate”, “configure”, “reconstruct” refer and the like, preferably to actions and/or processes and/or processing steps that change and/or generate data and/or convert the data into other data, with the data being represented or being present in particular as physical variables, for example as electrical ones impulses.
  • the term “computer” should be interpreted as broadly as possible, in particular to cover all electronic devices with data processing properties.
  • Computers can thus be, for example, personal computers, servers, programmable logic controllers (PLCs), handheld computer systems, Pocket PC devices, mobile phones and other communication devices that can process computer-aided data, processors and other electronic devices for data processing.
  • the device according to the invention can be configured in hardware and/or software. If the device is configured in hardware, it can in particular include at least one processor.
  • a processor can be understood to mean, for example, a machine or an electronic circuit.
  • a processor can in particular be a central processing unit (CPU), a microprocessor or a microcontroller, for example an application-specific integrated circuit or a digital signal processor, possibly in combination with a memory unit for storing program instructions , etc. act. Also can under one Processor a virtualized processor, a virtual machine or a soft CPU are understood.
  • Provision in particular with regard to data and/or information, can be understood in connection with the invention as computer-aided provision, for example.
  • the provision takes place, for example, via an interface, such as a network interface or an interface to a storage unit
  • Corresponding data and/or information can be transmitted and/or sent and/or called up and/or received via such an interface, for example when it is made available.
  • model predictive control model can in particular be understood as a time-discrete dynamic model of a process of the technical system to be controlled Model-predictive control model/With a model-predictive control, a future process behavior can be calculated as a function of input signals or control parameters.
  • control parameters can thus be understood to mean, in particular, input signals or manipulated variables for regulating/controlling the technical system.
  • a state of the technical system is changed as a function of the control parameters.
  • the model-predictive control model is set up as a function of simulated and/or measured status data of the technical system.
  • the model-predictive control model can be used in particular on the basis of a provided computer-aided simulation model of the technical system. be directed in order to output optimized control parameters for controlling the technical system as output data as a function of status data of the technical system generated by means of the computer-aided simulation model.
  • a technical system can in particular be a plant, a process plant/procedural plant, a power plant, a device, a machine (e.g. a turbine), a robot, a vehicle, an autonomous vehicle or infrastructure networks (e.g. for water, gas, electricity or oil) are understood.
  • a "data-based control model” can in particular be a computer-aided model that is set up in such a way as to output control parameters for controlling the technical system as a function of data, here status data.
  • the data-based control model is preferably based on a machine learning method or artificial intelligence.
  • the data-based control model is an artificial neural network.
  • a data-based control model in particular a reinforcement learning-based model
  • the data-based control model is not trained using training data, or with less computational effort, because the configuration parameters, e.g. weights of an artificial neural network, are set using the model-predictive control model in such a way that the output of the model-predictive control model is reproduced by the data-based control model.
  • the method makes it possible to cover a larger state space or behavior space, since the data-based control model is trained not just in a training data space. In other words, when mapping a model-predictive control model to the data-based control model, a larger behavioral space is required. taken into account, such as extreme scenarios that typically rarely occur in measured data, but in which the control should also function correctly. This is achieved in particular by the fact that a range of validity is covered in the model predictive control if the physics-based equations are valid.
  • the present method thus requires less computing effort than conventional training of a data-based model, such as a reinforcement learning model.
  • Information from the model-predictive control is thus used and extracted in order to configure the data-based control model.
  • this method can be used to determine an initial configuration of the data-based control model.
  • the configuration parameters of the data-based control model can be set by mapping the model-predictive control model onto the data-based control model.
  • the model-predictive control model can be present, for example, as a state space model or in a state space representation. All relationships between the input, output and state variables can be displayed in the form of matrices and vectors. In this way, a mapping, in particular a geometric mapping, of the model-predictive control model onto the data-based control model can be implemented. The configuration parameters of the data-based control model are therefore set by the mapping.
  • the model representation of the data-based control model can be adapted from the information from the model-predictive control, such as state and manipulated variable, so that the output of the data-based control model reproduces the output of the model-predictive control model.
  • a mapping matrix or mapping function can, for example, be based on the model-predictive control model and the targeted output of the data-based control model can be determined.
  • the configuration parameters of the data-based control model are preferably set in such a way that, depending on the input values, the output values of the model-predictive control and the output values of the data-based control model converge.
  • the data-based control model can be set up on the basis of a machine learning method.
  • the data-based control model can be set up as an agent of a reinforcement learning method.
  • model-predictive control model can be mapped onto the agents of the reinforcement learning method, with the configuration parameters being set accordingly in order to reproduce the output of the model-predictive control model.
  • the configuration parameters of the data-based control model can be adjusted using additional status data and using the reinforcement learning method to determine additional optimized control parameters.
  • the configured data-based control model can be viewed as preconfigured or trained, i.e. the configuration parameters are preset using the model-predictive control model.
  • the accuracy of the data-based control model can be improved by means of further training data, i.e. further status data of the technical system.
  • the model-predictive control model can be based on a nes method of model predictive control must be set up.
  • the invention relates to a computer-implemented method for controlling a technical system, comprising the method steps:
  • the method can be carried out in particular by a controller which includes a data-based control model configured according to the invention for controlling the technical system.
  • a controller can be understood in particular as a device which, in technical systems (particularly as part of a control loop), selects the desired gear, the correct level, strength or the like. adjusted or regulated by something.
  • the invention relates to a regulator for controlling a technical system, comprising
  • control module that is set up to receive a data-based control model configured according to the invention and to output optimized control parameters by evaluating the data-based control model using the measured status data of the technical system
  • the invention relates to a computer program product which can be loaded directly into a programmable computer, comprising program code parts which, when the program is executed by a computer, cause the latter to carry out the steps of a method according to the invention.
  • a computer program product can, for example, be stored on a storage medium such as a memory card, USB stick, CD-ROM, DVD, a non-volatile/permanent storage medium (non-transitory storage medium) or in the form of a downloadable file from a server in a network be made available or delivered.
  • a storage medium such as a memory card, USB stick, CD-ROM, DVD, a non-volatile/permanent storage medium (non-transitory storage medium) or in the form of a downloadable file from a server in a network be made available or delivered.
  • FIG. 1 shows an exemplary embodiment of the method according to the invention for configuring a controller for controlling a technical system
  • FIG. 2 shows an exemplary embodiment of the device according to the invention for configuring a controller for controlling a technical system
  • FIG 3 shows an exemplary embodiment of the method according to the invention for controlling a technical system
  • Fig. 4 an embodiment of an inventive
  • Controller for controlling a technical system.
  • FIG. 1 shows an exemplary embodiment of the computer-implemented method according to the invention for configuring a controller for controlling a technical system as a flowchart.
  • the technical system can be a complex technical facility, such as a factory facility.
  • the computer-implemented method includes the following steps:
  • a model-predictive control model is provided, step SO.
  • the model-predictive control model preferably makes it possible to determine and output optimized control parameters for controlling the technical system.
  • the model-predictive control model is thus set up to output optimized control parameters as output data as a function of (computer-based) simulated and/or measured status data of the technical system.
  • the determination of the optimized control parameters is based on an optimization process.
  • model-predictive control model can be generated on the basis of a method of model-predictive control or a Lyapunov function, in particular a target behavior of the system to be controlled by defining formal specifications, such as control quality, time Requirements, prohibited areas of work, and behavioral function, and other restrictions, such as logistics, can be defined.
  • the status data can be measured and made available, for example, using at least one sensor. Additionally or alternatively, the status data can also be determined and made available by means of a computer-aided simulation of the technical system. In this case, the model-predictive control model can be generated on the basis of a computer-aided simulation model of the technical system.
  • the model-predictive control model is read.
  • the model-predictive control model can be used in particular to determine optimized control parameters depending on the status data provided by the technical system. This allows data pairs consisting of status data and associated optimized control parameters to be generated.
  • a data-based control model is read.
  • the data-based control model can be a reinforcement learning model, e.g. implemented as an artificial neural network.
  • the data-based control model can only be preconfigured, i.e. it is suitable for controlling the technical system, for example, but not yet optimized for it. In other words, a form or preconfiguration of the data-based control model can thus preferably be specified.
  • step S3 configuration parameters of the data-based control model are adjusted in order to reproduce the output data of the model-predictive control model.
  • the data pairs consisting of status data and associated optimized control parameters are used, which are provided by the model predictive control. These dates- pairs represent a first feasible result.
  • the data-based control model (the RL algorithm) is now set up in such a way that it reproduces this result.
  • model-predictive control model is mapped onto the data-based control model in order to set the configuration parameters.
  • the mapping can be done analytically or numerically, for example.
  • the internal structure of the model-predictive control model is mapped onto the internal structure of the data-based control model in such a way, e.g. by a geometric mapping, that the data-based control model reproduces the model behavior of the model-predictive control model.
  • the configuration parameters of the data-based control model are set in such a way that this outputs the control parameters determined by the model-predictive control model as a function of input status data. This can be treated like an inverse problem using Bayesian fitting, for example.
  • mapping can be described in other words as follows:
  • the technical system typically has at least one observable, time-dependent state x(t), which depends on a control parameter u(t).
  • the following optimization problem can be solved using model-predictive control: a function J(u,x), which specifies desired requirements for the technical system, is minimized with respect to the control parameter u in order to determine an optimized control parameter u'.
  • the optimization can be solved numerically as well as analytically or using a black box solver. This is preferably carried out for a large number of given initial states x0 in order to obtain optimized control parameters u′(x0) in each case.
  • These data pairs (x0,u'(x0)) can be used for configuring the data-based control model are used.
  • a model underlying the data-based control model such as an artificial neural network, can be denoted as RL(w; x_0), where w represent the configuration parameters of the data-based control model.
  • w represent the configuration parameters of the data-based control model.
  • These parameters can be determined by mapping the model-predictive control model onto the data-based control model, so that the output of the data-based control model matches the output of the model-predictive model within a tolerance range.
  • the configuration parameters w determined in this way can be understood in particular as initial configuration parameters of the data-based control model, ie the data-based control model can be further adapted to the technical system through further training using status data of the technical system.
  • the data-based control model configured in this way is output to the controller.
  • the technical system can be controlled by the controller using the data-based control model. In particular, this is less computationally intensive and thus enables operational control even with complex technical systems.
  • the configured, data-based control model can preferably be further adapted to the technical system using additional training data.
  • the data-based control model can be set up as an agent of a reinforcement learning process and can be adapted using the reinforcement learning process using additional status data, e.g. during ongoing operation of the technical system.
  • the data-based control model/agent can thus be continuously improved.
  • FIG. 2 shows an exemplary embodiment of a computer-implemented method according to the invention for controlling a technical system by means of a configured, data-based control model.
  • the data-based control model is read.
  • the data-based control model is preferably configured according to a method as shown by way of example in FIG. 1, ie the data-based control model is set up to output optimized control parameters for the technical system as a function of given status data of the technical system.
  • the data-based control model configured in this way is, for example, read in by a controller or loaded by it in order to control the technical system.
  • Measured status data of the technical system are read in in the next step S20.
  • the status data is recorded, for example, by means of at least one sensor. Based on this status data, the technical system should be optimally controlled using the controller configured accordingly.
  • step S30 optimized control parameters are determined using the data-based control model.
  • the data-based control model is executed for this purpose, so that optimized control parameters are output depending on the state data read in, step S40.
  • the controller can control the technical system using these optimized control parameters, step S50.
  • FIG. 3 shows an exemplary embodiment of a device 100 according to the invention for configuring a controller for controlling a technical system in a block diagram.
  • the device 100 is preferably coupled to the controller.
  • the device 100 comprises an interface 101, a configurator 102 and an output module 103.
  • the interface 101 is set up to read in a model-predictive control model MPC and a data-based control model RL.
  • the model-predictive control model MPC is preferably generated on the basis of a computer-assisted simulation model SIM and is set up in such a way as to determine optimized control parameters for controlling the technical system as a function of status data generated by the simulation model SIM.
  • the data-based control model RL can in particular be a reinforcement learning model.
  • the configurator 102 is set up to set configuration parameters K of the data-based control model RL using the model-predictive control model, so that the data-based control model RL reproduces the output of the model-predictive control model depending on status data read in.
  • the configuration parameters can be set, for example, by mapping the internal structure of the model-predictive control model MPC to the internal structure of the data-based control model RL. For example, this can be a geo metric mapping.
  • the data-based control model RL(K) configured according to these configuration parameters K is transmitted to the output module 103 .
  • the output module 103 is set up in such a way that it outputs the configured data-based control model RL(K) for controlling the technical system TS to the controller.
  • FIG. 4 shows an exemplary embodiment of the controller R according to the invention for controlling a technical system TS, such as a machine or a factory, in a block diagram.
  • the controller R is preferably coupled to a device 100 according to the invention for configuring the controller, as described by way of example with reference to FIG. 3, or alternatively comprises such a device 100 (not shown).
  • Device 100 provides a configured, data-based control model RL(K) that is set up to output optimized control parameters for controlling technical system TS.
  • the controller R includes a first interface RI, a control module R2 and a second interface R3.
  • the configured, data-based control model RL(K) is received and read in by the device 100 via the first interface RI.
  • measured status data ZD of the technical system TS is read in via the first interface RI.
  • the control module R2 is set up in such a way that it receives the data-based control model RL(K) or, alternatively, stores it in an internal memory (not shown) and retrieves it from there.
  • the control module R2 is also set up to execute the data-based control model RL(K). At least one optimized control parameter RP for controlling the technical system TS is determined and output as a function of the read-in status data ZD.
  • the at least one optimized control parameter RP is output from the second interface R3 to the technical system TS.
  • the technical system TS can consequently be controlled by the controller R according to the control parameter RP.

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Feedback Control In General (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Konfigurieren eines Reglers sowie ein Verfahren und einen Regler zum Steuern eines technischen Systems mittels eines datenbasierten Regelungsmodells, insbesondere einem Modell auf Basis von Reinforcement Learning. Dieses datenbasierte Regelungsmodell (RL) wird anhand eines modellprädiktiven Regelungsmodell (MPC) konfiguriert. Dabei werden Konfigurationsparameter des datenbasierten Regelungsmodells durch eine Abbildung des modellprädiktiven Regelungsmodells auf das datenbasierte Regelungsmodell derart eingestellt, dass das datenbasierte Regelungsmodell in Abhängigkeit von eingelesenen Zustandsdaten des technischen Systems die Ausgabedaten des modellprädiktiven Regelungsmodells reproduziert und derart konfiguriert optimierte Regelparameter bestimmt. Ein rechenintensives Trainingsverfahren zum Konfigurieren des datenbasierten Regelungsmodells kann damit vermieden werden.

Description

Beschreibung
Steuern eines technischen Systems mittels eines datenbasier ten Regelungsmodells
Die Erfindung betrifft ein computerimplementiertes Verfahren und eine Vorrichtung zum Konfigurieren eines Reglers zum Steuern eines technischen Systems, ein computerimplementier tes Verfahren und einen Regler zum Steuern eines technischen Systems mittels eines derart konfigurierten datenbasierten Regelungsmodells, sowie ein Computerprogrammprodukt.
Ein effizienter Betrieb eines technischen Systems, wie z.B. einer verfahrenstechnischen Anlage der Chemieindustrie oder eines Kraftwerks, erfolgt typischerweise über eine betriebs parallele Regelung. Eine Regelung wird meist auf Basis vorbe stimmter Regelparameter bzw. Stellgrößen ausgehend von einem erfassten Systemzustand durchgeführt, wobei dafür optimale Regelparameter bzw. Stellgrößen durch Methoden der Modellprä- diktiven Regelung bestimmt werden können. Allerdings ist ins besondere für komplexe Systeme aufgrund eines höheren Rechen aufwands eine derartige betriebsbegleitende Regelung schwie rig oder sogar unmöglich.
Es ist somit eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit zu schaffen, eine betriebsbegleitende Steuerung eines technischen Systems, insbesondere eines komplexen tech nischen Systems, zu vereinfachen.
Die Aufgabe wird durch die in den unabhängigen Ansprüchen be schriebenen Maßnahmen gelöst. In den abhängigen Ansprüchen sind vorteilhafte Weiterbildungen der Erfindung dargestellt.
Gemäß einem ersten Aspekt betrifft die Erfindung ein compu terimplementiertes Verfahren zum Konfigurieren eines Reglers zum Steuern eines technischen Systems, a) Einlesen eines modellprädiktiven Regelungsmodells für den Regler, wobei das modellprädiktive Regelungsmodell eingerich- tet ist, in Abhängigkeit von simulierten und/oder gemessenen Zustandsdaten des technischen Systems optimierte Regelparame ter zum Steuern des technischen Systems als Ausgabedaten aus zugeben, b) Einlesen eines datenbasierten Regelungsmodells, c) Einstellen von Konfigurationsparametern des datenbasierten Regelungsmodells anhand des modellprädiktiven Regelungsmo dells derart, dass das datenbasierte Regelungsmodell in Ab hängigkeit von eingelesenen Zustandsdaten des technischen Systems die Ausgabedaten des modellprädiktiven Regelungsmo dells reproduziert und derart konfiguriert optimierte Regel parameter bestimmt, und d) Ausgeben des derart konfigurierten datenbasierten Rege lungsmodells zum Steuern des technischen Systems an den Reg ler.
Das derart konfigurierte datenbasierte Regelungsmodell kann insbesondere an einen Regler zum Steuern des technischen Sys tems ausgegeben werden. Somit kann insbesondere die erfin dungsgemäße Vorrichtung mit einem solchen Regler gekoppelt sein.
Gemäß einem weiteren Aspekt betrifft die Erfindung eine Vor richtung zum Konfigurieren eines Reglers zum Steuern eines technischen Systems, umfassend
- eine Schnittstelle, die derart eingerichtet ist, ein mo- dellprädiktives Regelungsmodell für den Regler einzulesen, wobei das modellprädiktive Regelungsmodell eingerichtet ist, in Abhängigkeit von simulierten und/oder gemessenen Zustands daten des technischen Systems optimierte Regelparameter zum Steuern des technischen Systems als Ausgabedaten auszugeben, und ein datenbasiertes Regelungsmodell einzulesen,
- einen Konfigurator, der derart eingerichtet ist, Konfigura tionsparameter des datenbasierten Regelungsmodells anhand des modellprädiktiven Regelungsmodells derart einzustellen, dass das datenbasierte Regelungsmodell in Abhängigkeit von eingelesenen Zustandsdaten des technischen Systems die Aus- gabedaten des modellprädiktiven Regelungsmodells reproduziert und derart konfiguriert optimierten Regelparameter bestimmt,
- ein Ausgabemodul, das derart eingerichtet ist, das konfigu rierte datenbasierte Regelungsmodell zum Steuern des techni schen Systems an den Regler auszugeben.
Das erfindungsgemäße Verfahren kann insbesondere computerge stützt realisiert sein. Sofern es in der nachfolgenden Be schreibung nicht anders angegeben ist, beziehen sich die Be griffe "durchführen", "berechnen", "rechnergestützt", "rech nen", "feststellen", "generieren", "konfigurieren", "rekon struieren" und dergleichen vorzugsweise auf Handlungen und/oder Prozesse und/oder Verarbeitungsschritte, die Daten verändern und/oder erzeugen und/oder die Daten in andere Da ten überführen, wobei die Daten insbesondere als physikali sche Größen dargestellt werden oder vorliegen können, bei spielsweise als elektrische Impulse. Insbesondere sollte der Ausdruck "Computer" möglichst breit ausgelegt werden, um ins besondere alle elektronischen Geräte mit Datenverarbeitungs eigenschaften abzudecken. Computer können somit beispielswei se Personal Computer, Server, speicherprogrammierbare Steue rungen (SPS), Handheld-Computer-Systeme, Pocket-PC-Geräte, Mobilfunkgeräte und andere Kommunikationsgeräte, die rechner gestützt Daten verarbeiten können, Prozessoren und andere elektronische Geräte zur Datenverarbeitung sein. Die erfin dungsgemäße Vorrichtung kann in Hardware und/oder Software ausgestaltet sein. Ist die Vorrichtung in Hardware ausgestal tet, kann sie insbesondere mindestens einen Prozessor umfas sen. Unter einem Prozessor kann im Zusammenhang mit der Er findung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Proces sing Unit, CPU), einen Mikroprozessor oder einen Mikrokon troller, beispielsweise eine anwendungsspezifische integrier te Schaltung oder einen digitalen Signalprozessor, möglicher weise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Ma schine oder eine Soft-CPU verstanden werden.
Unter „bereitstellen", insbesondere in Bezug auf Daten und/oder Informationen, kann im Zusammenhang mit der Erfin dung beispielsweise ein rechnergestütztes Bereitstellen ver standen werden. Das Bereitstellen erfolgt beispielsweise über eine Schnittstelle, wie zum Beispiel eine Netzwerkschnitt stelle oder eine Schnittstelle zu einer Speichereinheit. Über eine solche Schnittstelle können beispielsweise beim Bereit stellen entsprechende Daten und/oder Informationen übermit telt und/oder gesendet und/oder abgerufen und/oder empfangen werden.
Unter einem „modellprädiktivem Regelungsmodell" kann insbe sondere ein zeitdiskretes dynamisches Modell eines zu regeln den Prozesses des technischen Systems verstanden werden. Das modellprädiktive Regelungsmodell kann insbesondere auf Basis eines Verfahrens der modellprädiktiven Regelung (engl. Model Predictive Control; MPC) eingerichtet sein. Mit dem modell prädiktiven Regelungsmodell/Mit einer modellprädiktiven Rege lung kann ein zukünftiges Prozessverhalten in Abhängigkeit von Eingangssignalen bzw. Regelparametern berechnet werden. Damit kann insbesondere ein optimiertes Eingangssignal bzw. optimierte Regelparameter bestimmt werden, um ein optimiertes Ausgangssignal zu erreichen.
Unter „Regelparameter" können somit im Zusammenhang der Er findung insbesondere Eingangssignale oder Stellgrößen zum Re geln/Steuern des technischen Systems verstanden werden. Es wird ein Zustand des technischen Systems in Abhängigkeit der Regelparameter verändert.
Das modellprädiktive Regelungsmodell wird in Abhängigkeit von simulierten und/oder gemessenen Zustandsdaten des technischen Systems eingerichtet. Das modellprädiktive Regelungsmodell kann insbesondere anhand eines bereitgestellten computerge stützten Simulationsmodells des technischen Systems einge- richtet werden, um in Abhängigkeit von mittels des computer gestützten Simulationsmodells generierten Zustandsdaten des technischen Systems optimierte Regelparameter zum Steuern des technischen Systems als Ausgabedaten auszugeben.
Unter einem technischen System kann insbesondere eine Anlage, eine Prozessanlage/verfahrenstechnische Anlage, ein Kraft werk, ein Gerät, eine Maschine (z.B. eine Turbine), ein Robo ter, ein Fahrzeug, ein autonomes Fahrzeug oder Infrastruktur netze (z.B. für Wasser, Gas, Strom oder Öl) verstanden wer den.
Ein „datenbasiertes Regelungsmodell" kann insbesondere ein computergestütztes Modell sein, das derart eingerichtet ist, in Abhängigkeit von Daten, hier Zustandsdaten, Regelparameter zum Steuern des technischen Systems auszugeben. Vorzugsweise basiert das datenbasierte Regelungsmodell auf einem maschi nellen Lernverfahren oder einer künstlichen Intelligenz. Bei spielsweise handelt es sich bei dem datenbasierten Regelungs modell um ein künstliches neuronales Netz.
Es ist ein Vorteil der vorliegenden Erfindung, dass ein da tenbasiertes Regelungsmodell, insbesondere ein Modell auf Ba sis von Bestärkendem/Verstärkendem Lernen (engl. Reinforce ment Learning), auf einfache Weise eingerichtet wird, opti mierte Regelungsparameter auszugeben. Dabei wird das datenba sierte Regelungsmodell nicht oder mit geringerem Rechenauf wand mittels Trainingsdaten trainiert, denn die Konfigurati onsparameter, z.B. Gewichte eines künstlichen neuronalen Net zes, werden anhand des modellprädiktiven Regelungsmodells derart eingestellt, dass die Ausgabe des modellprädiktiven Regelungsmodells vom datenbasierten Regelungsmodell reprodu ziert wird. Außerdem ermöglicht das Verfahren einen größeren Zustandsraum bzw. Verhaltensraum abzudecken, da das datenba sierte Regelungsmodell nicht nur auf einen Trainingsdatenraum beschränkt trainiert ist. In anderen Worten, bei einer Abbil dung eines modellprädiktiven Regelungsmodell auf das datenba sierte Regelungsmodell wird ein größerer Verhaltensraum be- rücksichtigt, wie z.B. auch Extremszenarien, die in gemesse nen Daten typischerweise selten Vorkommen, aber in denen die Regelung ebenfalls korrekt funktionieren soll. Dies wird ins besondere dadurch erreicht, dass ein Gültigkeitsbereich bei der modellprädiktiven Regelung abgedeckt ist, wenn die phy sikbasierten Gleichungen gültig sind.
Das vorliegende Verfahren erfordert somit einen geringeren Rechenaufwand als ein übliches Training eines datenbasierten Modells, wie z.B. eines Reinforcement Learning Modells. Es wird somit Information aus der modellprädiktiven Regelung ge nutzt und extrahiert, um das datenbasierte Regelungsmodell zu konfigurieren. Mit dieser Methode kann insbesondere eine An fangskonfiguration des datenbasierten Regelungsmodell be stimmt werden.
In einer vorteilhaften Ausführungsform des computerimplemen tierten Verfahrens können die Konfigurationsparameter des da tenbasierten Regelungsmodells durch eine Abbildung des mo dellprädiktiven Regelungsmodells auf das datenbasierte Rege lungsmodell eingestellt werden.
Das modellprädiktive Regelungsmodell kann beispielsweise als Zustandsraummodell bzw. in Zustandsraumdarstellung vorliegen. Dabei können sämtliche Beziehungen der Eingangs-, Ausgangs und Zustandsgrößen in Form von Matrizen und Vektoren darge stellt werden. Damit kann eine Abbildung, insbesondere eine geometrische Abbildung, des modellprädiktiven Regelungsmo dells auf das datenbasierte Regelungsmodell realisiert wer den. Die Konfigurationsparameter des datenbasierten Rege lungsmodells werden demnach durch die Abbildung eingestellt. Beispielsweise kann aus der Information der modellprädiktiven Regelung wie Zustand und Stellgröße die Modellrepräsentation des datenbasierten Regelungsmodells angepasst, so dass die Ausgabe des datenbasierten Regelungsmodells die Ausgabe des modellprädiktiven Regelungsmodells reproduziert. Eine Abbil dungsmatrix oder Abbildungsfunktion kann beispielsweise auf Basis des modellprädiktiven Regelungsmodells und der zu er- zielenden Ausgabe des datenbasierten Regelungsmodells ermit telt werden. In anderen Worten, die Konfigurationsparameter des datenbasierten Regelungsmodells werden vorzugsweise so eingestellt, dass in Abhängigkeit der Eingabewerte die Ausga bewerte der modellprädiktiven Regelung und die Ausgabewerte des datenbasierten Regelungsmodells sich annähern.
In einer Ausführungsform des computerimplementierten Verfah rens kann das datenbasierte Regelungsmodell auf Basis eines maschinellen Lernverfahrens eingerichtet werden.
In einer Ausführungsform des computerimplementierten Verfah rens kann das datenbasierte Regelungsmodell als Agent eines Bestärkenden Lernverfahrens (engl. Reinforcement Learning) eingerichtet sein.
So kann beispielsweise das modellprädiktive Regelungsmodell auf den Agenten des Bestärkenden Lernverfahrens abgebildet werden, wobei die Konfigurationsparameter entsprechend ge setzt werden, um die Ausgabe des modellprädiktiven Regelungs modell zu reproduzieren.
In einer Ausführungsform des computerimplementierten Verfah rens können die Konfigurationsparameter des datenbasierten Regelungsmodells anhand weiterer Zustandsdaten und mittels des Bestärkenden Lernverfahrens zum Ermitteln von weiteren optimierten Regelparametern angepasst werden.
Das konfigurierte datenbasierte Regelungsmodell kann insbe sondere als vorkonfiguriert oder trainiert betrachtet werden, d.h. die Konfigurationsparameter sind anhand des modellprä diktiven Regelungsmodells voreingestellt. Mittels weiterer Trainingsdaten, d.h. weiteren Zustandsdaten des technischen Systems, kann die Genauigkeit des datenbasierten Regelungsmo dells verbessert werden.
In einer Ausführungsform des computerimplementierten Verfah rens kann das modellprädiktive Regelungsmodell auf Basis ei- nes Verfahrens der modellprädiktiven Regelung eingerichtet sein.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein compu terimplementiertes Verfahren zum Steuern eines technischen Systems, umfassend die Verfahrensschritte:
- Einlesen eines erfindungsgemäß konfigurierten, datenbasier ten Regelungsmodells,
- Einlesen von gemessenen Zustandsdaten des technischen Sys tems,
- Ermitteln von optimierten Regelparameter zum Steuern des technischen Systems durch Auswerten des konfigurierten daten basierten Regelungsmodells anhand der gemessenen Zustandsda ten,
- Ausgeben der optimierten Regelparameter zum Steuern des technischen Systems und
- Steuern des technischen Systems mittels der optimierten Re gelparameter.
Das Verfahren kann insbesondere durch einen Regler durchge führt werden, der ein gemäß der Erfindung konfiguriertes da tenbasiertes Regelungsmodell zum Steuern des technischen Sys tems umfasst. Unter einem Regler kann insbesondere eine Vor richtung verstanden werden, die bei technischen Systemen (be sonders als Bestandteil eines Regelkreises) den gewünschten Gang, die richtige Stufe, Stärke o. Ä. von etwas einstellt bzw. reguliert.
Gemäß einem weiteren Aspekt betrifft die Erfindung einen Reg ler zum Steuern eines technischen Systems, umfassend
- eine erste Schnittstelle zum Einlesen von gemessenen Zu standsdaten des technischen Systems,
- ein Regelungsmodul, das derart eingerichtet ist, ein erfin dungsgemäß konfiguriertes datenbasiertes Regelungsmodell zu empfangen und durch Auswerten des datenbasierten Regelungsmo dells anhand der gemessenen Zustandsdaten des technischen Systems optimierte Regelparameter auszugeben, und
- eine zweite Schnittstelle zum Ausgeben der optimierten Re gelparameter zum Steuern des technischen Systems.
Des Weiteren betrifft die Erfindung ein Computerprogrammpro dukt, das direkt in einen programmierbaren Computer ladbar ist, umfassend Programmcodeteile, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte eines erfindungsgemäßen Verfahrens auszuführen.
Ein Computerprogrammprodukt kann beispielsweise auf einem Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, ein nichtflüchtiger/dauerhaftes Speichermedium (engl. Non-transitory storage Medium) oder auch in Form einer herun terladbaren Datei von einem Server in einem Netzwerk bereit gestellt oder geliefert werden.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen beispielhaft dargestellt und werden anhand der nachfolgenden Beschreibung näher erläutert. Es zeigen:
Fig. 1: ein Ausführungsbeispiel des erfindungsgemäßen Ver fahrens zum Konfigurieren eines Reglers zum Steuern eines technischen Systems;
Fig. 2: ein Ausführungsbeispiel der erfindungsgemäßen Vor richtung zum Konfigurieren Reglers zum Steuern ei nes technischen Systems;
Fig. 3: ein Ausführungsbeispiel des erfindungsgemäßen Ver fahrens zum Steuern eines technischen Systems; und
Fig. 4: ein Ausführungsbeispiel eines erfindungsgemäßen
Reglers zum Steuern eines technischen Systems.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen. Insbesondere zeigen die nachfolgenden Ausführungsbeispiele lediglich beispielhafte Realisierungsmöglichkeiten, wie ins besondere solche Realisierungen der erfindungsgemäßen Lehre aussehen könnten, da es unmöglich und auch für das Verständ nis der Erfindung nicht zielführend oder notwendig ist, all diese Realisierungsmöglichkeiten zu benennen.
Auch sind insbesondere einem (einschlägigen) Fachmann in Kenntnis des/der Verfahrensanspruchs/Verfahrensansprüche alle im Stand der Technik üblichen Möglichkeiten zur Realisierung der Erfindung selbstverständlich bekannt, sodass es insbeson dere einer eigenständigen Offenbarung in der Beschreibung nicht bedarf.
Figur 1 zeigt ein Ausführungsbeispiel des erfindungsgemäßen, computerimplementierten Verfahrens zum Konfigurieren eines Reglers zum Steuern eines technischen Systems als Ablaufdia gramm. Das technische System kann insbesondere eine komplexe technische Anlage, wie z.B. eine Fabrikanlage, sein. Das com puterimplementierte Verfahren umfasst folgende Verfahrens schritte:
Es wird zunächst ein modellprädiktives Regelungsmodell be reitgestellt, Schritt SO. Das modellprädiktive Regelungsmo dell ermöglicht vorzugsweise, optimierte Regelungsparameter zum Steuern des technischen Systems zu ermitteln und auszuge ben. Das modellprädiktive Regelungsmodell ist somit einge richtet, in Abhängigkeit von (computerbasiert) simulierten und/oder gemessenen Zustandsdaten des technischen Systems op timierte Regelparameter als Ausgabedaten auszugeben. Die Er mittlung der optimierten Regelparameter basiert hierbei auf einem Optimierungsverfahren.
Beispielsweise kann das modellprädiktive Regelungsmodell auf Basis eines Verfahrens der modellprädiktiven Regelung oder einer Lyapunov-Funktion generiert werden, wobei insbesondere ein Zielverhalten des zu steuernden Systems durch Definition von formellen Spezifikationen, wie z.B. Regelgüte, zeitlichen Anforderungen, verbotene Arbeitsgebiete, und Verhaltensfunk tion, und weiterer Einschränkungen, wie z.B. Logistik, defi niert werden kann.
Die Zustandsdaten können beispielsweise mittels mindestens eines Sensors gemessen und bereitgestellt werden. Zusätzlich oder alternativ können die Zustandsdaten auch mittels einer computergestützten Simulation des technischen Systems ermit telt und bereitgestellt werden. In diesem Fall kann das mo- dellprädiktive Regelungsmodell auf Basis eines computerge stützten Simulationsmodells des technischen Systems erzeugt werden.
Im nächsten Schritt S1 wird das modellprädiktive Regelungsmo dell eingelesen. Das modellprädiktive Regelungsmodell kann insbesondere genutzt werden, um abhängig von bereitgestellten Zustandsdaten des technischen Systems optimierte Regelungspa rameter zu ermitteln. Damit können Datenpaare bestehend aus Zustandsdaten und zugeordneten optimierten Regelparametern erzeugt werden.
Im nächsten Schritt S2 wird ein datenbasiertes Regelungsmo dell eingelesen. Das datenbasierte Regelungsmodell kann ins besondere ein Reinforcement-Learning-Modell, z.B. als künst liches neuronales Netz realisiert, sein. Das datenbasierte Regelungsmodell kann insbesondere lediglich vorkonfiguriert sein, d.h. beispielsweise ist es für die Steuerung des tech nischen Systems geeignet, allerdings noch nicht dafür opti miert. In anderen Worten, eine Form oder Vorkonfiguration des datenbasierten Regelungsmodells kann somit vorzugsweise vor gegeben sein.
Im nächsten Schritt S3 werden Konfigurationsparameter des da tenbasierten Regelungsmodells angepasst, um die Ausgabedaten des modellprädiktiven Regelungsmodell zu reproduzieren. Dazu werden die Datenpaare bestehend aus Zustandsdaten und zuge ordneten optimierten Regelparametern genutzt, die durch die modellprädiktive Regelung bereitgestellt werden. Diese Daten- paare stellen ein erstes durchführbare Ergebnis dar. Das da tenbasierte Regelungsmodell (der RL-Algorithmus) wird nun derart eingerichtet, dass es dieses Ergebnis reproduziert.
Das modellprädiktive Regelungsmodell wird insbesondere auf das datenbasierte Regelungsmodell abgebildet, um die Konfigu rationsparameter einzustellen. Die Abbildung kann beispiels weise analytisch oder auch numerisch erfolgen.
In anderen Worten, die interne Struktur des modellprädiktiven Regelungsmodells wird auf die interne Struktur des datenba sierten Regelungsmodells derart abgebildet, wie z.B. durch eine geometrische Abbildung, dass das datenbasierte Rege lungsmodell das Modellverhalten des modellprädiktiven Rege lungsmodells reproduziert. Dazu werden die Konfigurationspa rameter des datenbasierten Regelungsmodells derart einge stellt, dass dieses in Abhängigkeit von eingegebenen Zu standsdaten die durch das modellprädiktive Regelungsmodell bestimmten Regelparameter ausgibt. Dies kann beispielsweise wie ein inverses Problem mittels Bayesian Fitting behandelt werden.
Formal lässt sich diese Abbildung in anderen Worten wie folgt beschreiben:
Das technische System weist typischerweise mindestens einen beobachtbaren, zeitabhängigen Zustand auf x(t), der von einem Regelungsparameter u(t) abhängt. Mittels modellprädiktiver Regelung lässt sich das folgende Optimierungsproblem lösen: eine Funktion J(u,x), die gewünschte Anforderungen an das technische System spezifiziert, wird bezüglich des Regelungs parameters u minimiert, um einen optimierten Regelungsparame ter u' zu bestimmen. Die Optimierung kann sowohl numerisch als auch analytisch oder mittels eines Blackbox-Lösers gelöst werden. Vorzugsweise wird dies für eine Vielzahl von gegebe nen Initialzuständen xO durchgeführt, um jeweils optimierte Regelparameter u'(x0) zu erhalten. Diese Datenpaare (x0,u'(x0)) können für das Konfigurieren des datenbasierten Regelungsmodells genutzt werden. Ein dem datenbasierten Rege lungsmodell zugrundeliegendes Modell, wie z.B. ein künstli ches neuronales Netz, kann als RL(w; x_0) bezeichnet werden, wobei w die Konfigurationsparameter des datenbasierten Rege lungsmodells darstellen. Durch die Abbildung des modellprä- diktiven Regelungsmodells auf das datenbasierte Regelungsmo dell können diese Parameter bestimmt werden, so dass die Aus gabe des datenbasierten Regelungsmodells mit der Ausgabe des modellprädiktiven Modells innerhalb eines Toleranzbereichs übereinstimmt. Die derart bestimmten Konfigurationsparameter w können insbesondere als initiale Konfigurationsparameter des datenbasierten Regelungsmodells verstanden werden, d.h. durch weiteres Training mittels Zustandsdaten des technischen Systems kann das datenbasierte Regelungsmodell weiter an das technische System angepasst werden.
Im nächsten Schritt S4 wird das derart konfigurierte, daten basierte Regelungsmodell an den Regler ausgegeben. Das tech nische System kann mittels des datenbasierten Regelungsmo dells durch den Regler gesteuert werden. Dies ist insbesonde re weniger rechenintensiv und ermöglicht somit auch bei kom plexen technischen Systemen eine betriebsbegleitende Rege lung.
Das konfigurierte, datenbasierte Regelungsmodell kann vor zugsweise mittels weiterer Trainingsdaten weiter an das tech nische System angepasst werden. Beispielsweise kann das da tenbasierte Regelungsmodell als Agent eines Bestärkenden Lernverfahrens eingerichtet sein und anhand weiterer Zu standsdaten, z.B. während des laufenden Betriebs des techni schen Systems, mittels des Bestärkenden Lernverfahrens ange passt werden. Damit kann das datenbasierte Regelungsmo dell/der Agent kontinuierlich verbessert werden.
Figur 2 zeigt ein Ausführungsbeispiel eines erfindungsgemä ßen, computerimplementierten Verfahrens zum Steuern eines technischen Systems mittels eines konfigurierten, datenba sierten Regelungsmodells. Im Schritt S10 wird das datenbasierte Regelungsmodell einge lesen. Das datenbasierte Regelungsmodell ist vorzugsweise ge mäß einem Verfahren wie beispielhaft anhand Figur 1 gezeigt konfiguriert, d.h. das datenbasierte Regelungsmodell ist der art eingerichtet, optimierte Regelparameter für das techni sche System in Abhängigkeit von gegebenen Zustandsdaten des technischen Systems auszugeben. Das derart konfigurierte da tenbasierte Regelungsmodell wird beispielsweise von einem Regler eingelesen oder von diesem geladen, um das technische System zu steuern.
Im nächsten Schritt S20 werden gemessene Zustandsdaten des technischen Systems eingelesen. Die Zustandsdaten werden bei spielsweise mittels mindestens einem Sensor erfasst. Ausge hend von diesen Zustandsdaten soll das technische System op timal mittels des demnach konfigurierten Reglers gesteuert werden.
Dazu werden im nächsten Schritt S30 optimierte Regelparameter mittels des datenbasierten Regelungsmodells ermittelt. Das datenbasierte Regelungsmodell wird dazu ausgeführt, so dass abhängig von den eingelesenen Zustandsdaten, optimierte Re gelparameter ausgegeben werden, Schritt S40. Der Regler kann das technische System mittels dieser optimierten Regelparame ter steuern, Schritt S50.
Figur 3 zeigt ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 100 zum Konfigurieren eines Reglers zum Steuern eines technischen Systems in Blockdarstellung. Die Vorrich tung 100 ist vorzugsweise mit dem Regler gekoppelt.
Die Vorrichtung 100 umfasst eine Schnittstelle 101, einen Konfigurator 102 und ein Ausgabemodul 103.
Die Schnittstelle 101 ist derart eingerichtet, ein modellprä- diktives Regelungsmodell MPC und ein datenbasiertes Rege lungsmodell RL einzulesen. Die beiden Regelungsmodelle MPC, RL können beispielsweise extern gespeichert sein und von dort abgerufen werden.
Das modellprädiktive Regelungsmodell MPC ist vorzugweise auf Basis eines computergestützten Simulationsmodells SIM erzeugt und derart eingerichtet, in Abhängigkeit von durch das Simu lationsmodell SIM generierten Zustandsdaten optimierte Regel parameter zum Steuern des technischen Systems zu ermitteln. Das datenbasierte Regelungsmodell RL kann insbesondere ein Reinforcement-Learning-Modell sein.
Der Konfigurator 102 ist derart eingerichtet, Konfigurations parameter K des datenbasierten Regelungsmodells RL anhand des modellprädiktiven Regelungsmodells einzustellen, so dass das datenbasierte Regelungsmodell RL in Abhängigkeit von eingele senen Zustandsdaten die Ausgabe des modellprädiktiven Rege lungsmodells reproduziert. Die Einstellung der Konfigurati onsparameter kann beispielsweise durch eine Abbildung der in ternen Struktur des modellprädiktiven Regelungsmodells MPC auf die interne Struktur des datenbasierten Regelungsmodells RL erfolgen. Beispielsweise kann es sich hierbei um eine geo metrische Abbildung handeln.
Das gemäß dieser Konfigurationsparameter K konfigurierte da tenbasierte Regelungsmodell RL(K) wird an das Ausgabemodul 103 übermittelt. Das Ausgabemodul 103 ist derart eingerich tet, das konfigurierte datenbasierte Regelungsmodell RL(K) zum Steuern des technischen Systems TS an den Regler auszuge ben.
Figur 4 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Reglers R zum Steuern eines technischen Systems TS, wie z.B. einer Maschine oder einer Fabrikanlage, in Blockdarstellung.
Der Regler R ist vorzugsweise mit einer erfindungsgemäßen Vorrichtung 100 zum Konfigurieren des Reglers, wie beispiel haft anhand Figur 3 beschrieben, gekoppelt oder umfasst al ternativ eine derartige Vorrichtung 100 (nicht dargestellt). Die Vorrichtung 100 stellt ein konfiguriertes, datenbasiertes Regelungsmodell RL(K) bereit, das derart eingerichtet ist, optimierte Regelungsparameter zum Steuern des technischen Systems TS auszugeben.
Der Regler R umfasst eine erste Schnittstelle RI, ein Rege lungsmodul R2 und eine zweite Schnittstelle R3.
Über die erste Schnittstelle RI wird das konfigurierte, da tenbasierte Regelungsmodell RL(K) von der Vorrichtung 100 empfangen und eingelesen. Außerdem werden über die erste Schnittstelle RI gemessene Zustandsdaten ZD des technischen Systems TS eingelesen.
Das Regelungsmodul R2 ist derart eingerichtet, das datenba sierte Regelungsmodell RL(K) zu empfangen oder, alternativ, in einem internen Speicher (nicht dargestellt) zu speichern und von dort abzurufen.
Das Regelungsmodul R2 ist weiter derart eingerichtet, das da tenbasierte Regelungsmodell RL(K) auszuführen. Dabei wird in Abhängigkeit der eingelesenen Zustandsdaten ZD mindestens ein optimierter Regelparameter RP zum Steuern des technischen Systems TS bestimmt und ausgegeben.
Der mindestens eine optimierte Regelparameter RP wird von der zweiten Schnittstelle R3 an das technische System TS ausgege ben. Das technische System TS kann folglich durch den Regler R gemäß dem Regelparameter RP gesteuert werden.
Alle beschriebenen und/oder gezeichneten Merkmale können im Rahmen der Erfindung vorteilhaft miteinander kombiniert wer den. Die Erfindung ist nicht auf die beschriebenen Ausfüh rungsbeispiele beschränkt.

Claims

Patentansprüche
1. Computerimplementiertes Verfahren zum Konfigurieren eines Reglers zum Steuern eines technischen Systems, a) Einlesen (Sl) eines modellprädiktiven Regelungsmodells (MPC) für den Regler, wobei das modellprädiktive Regelungsmo dell eingerichtet ist, in Abhängigkeit von simulierten und/oder gemessenen Zustandsdaten des technischen Systems op timierte Regelparameter zum Steuern des technischen Systems als Ausgabedaten auszugeben, b) Einlesen (S2) eines datenbasierten Regelungsmodells (RL), c) Einstellen (S3) von Konfigurationsparametern (K) des da tenbasierten Regelungsmodells (RL) anhand des modellprädikti ven Regelungsmodells (MPC) derart, dass das datenbasierte Re gelungsmodell in Abhängigkeit von eingelesenen Zustandsdaten des technischen Systems die Ausgabedaten des modellprädikti ven Regelungsmodells reproduziert und derart konfiguriert op timierte Regelparameter bestimmt, und d) Ausgeben (S4) des derart konfigurierten datenbasierten Re gelungsmodells zum Steuern des technischen Systems an den Regler.
2. Computerimplementiertes Verfahren nach Anspruch 1, wobei die Konfigurationsparameter des datenbasierten Regelungsmo dells durch eine Abbildung des modellprädiktiven Regelungsmo dells auf das datenbasierte Regelungsmodell eingestellt wer den.
3. Computerimplementiertes Verfahren nach einem der vorherge henden Ansprüche, wobei das datenbasierte Regelungsmodell auf Basis eines maschinellen Lernverfahrens eingerichtet wird.
4. Computerimplementiertes Verfahren nach einem der vorherge henden Ansprüche, wobei das datenbasierte Regelungsmodell als Agent eines Bestärkenden Lernverfahrens eingerichtet ist.
5. Computerimplementiertes Verfahren nach Anspruch 4, wobei die Konfigurationsparameter des datenbasierten Regelungsmo dells anhand weiterer Zustandsdaten und mittels des Bestär kenden Lernverfahrens zum Ermitteln von weiteren optimierten Regelparametern angepasst werden.
6. Computerimplementiertes Verfahren nach einem der vorherge henden Ansprüche, wobei das modellprädiktive Regelungsmodell (MPC) auf Basis eines Verfahrens der modellprädiktiven Rege lung eingerichtet sein.
7. Vorrichtung (100) zum Konfigurieren eines Reglers zum Steuern eines technischen Systems, umfassend
- eine Schnittstelle (101), die derart eingerichtet ist, ein modellprädiktives Regelungsmodell (MPC) für den Regler einzu lesen, wobei das modellprädiktive Regelungsmodell (MPC) ein gerichtet ist, in Abhängigkeit von simulierten und/oder ge messenen Zustandsdaten des technischen Systems optimierte Re gelparameter zum Steuern des technischen Systems als Ausgabe daten auszugeben, und ein datenbasiertes Regelungsmodell ein zulesen,
- einen Konfigurator (102), der derart eingerichtet ist, Kon figurationsparameter des datenbasierten Regelungsmodells an hand des modellprädiktiven Regelungsmodells derart einzu stellen, dass das datenbasierte Regelungsmodell in Abhängig keit von eingelesenen Zustandsdaten des technischen Systems die Ausgabedaten des modellprädiktiven Regelungsmodells re produziert und derart konfiguriert optimierten Regelparameter bestimmt,
- ein Ausgabemodul (103), das derart eingerichtet ist, das konfigurierte datenbasierte Regelungsmodell zum Steuern des technischen Systems an den Regler auszugeben.
8. Computerimplementiertes Verfahren zum Steuern eines tech nischen Systems, umfassend die Verfahrensschritte:
- Einlesen (S10) eines gemäß einem der Ansprüche 1 bis 6 kon figurierten, datenbasierten Regelungsmodells, - Einlesen (S20) von gemessenen Zustandsdaten des technischen Systems,
- Ermitteln (S30) von optimierten Regelparameter zum Steuern des technischen Systems durch Auswerten des konfigurierten datenbasierten Regelungsmodells anhand der gemessenen Zu standsdaten,
- Ausgeben (S40) der optimierten Regelparameter zum Steuern des technischen Systems und
- Steuern (S50) des technischen Systems mittels der optimier ten Regelparameter.
9. Regler (R) zum Steuern eines technischen Systems, umfas send
- eine erste Schnittstelle (RI) zum Einlesen von gemessenen Zustandsdaten des technischen Systems,
- ein Regelungsmodul (R2), das derart eingerichtet ist, ein gemäß einem der Ansprüche 1 bis 6 konfiguriertes datenbasier tes Regelungsmodell zu empfangen und durch Auswerten des da tenbasierten Regelungsmodells anhand der gemessenen Zustands daten des technischen Systems optimierte Regelparameter aus zugeben, und
- eine zweite Schnittstelle (R3) zum Ausgeben der optimierten Regelparameter (RP) zum Steuern des technischen Systems.
10. Computerprogrammprodukt, das direkt in einen programmier baren Computer ladbar ist, umfassend Programmcodeteile, die dazu geeignet sind, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 6 durchzuführen.
EP20754664.9A 2020-07-29 2020-07-29 Steuern eines technischen systems mittels eines datenbasierten regelungsmodells Pending EP4158427A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2020/071372 WO2022022816A1 (de) 2020-07-29 2020-07-29 Steuern eines technischen systems mittels eines datenbasierten regelungsmodells

Publications (1)

Publication Number Publication Date
EP4158427A1 true EP4158427A1 (de) 2023-04-05

Family

ID=72050818

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20754664.9A Pending EP4158427A1 (de) 2020-07-29 2020-07-29 Steuern eines technischen systems mittels eines datenbasierten regelungsmodells

Country Status (4)

Country Link
US (1) US20230221686A1 (de)
EP (1) EP4158427A1 (de)
CN (1) CN116113893A (de)
WO (1) WO2022022816A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023203744A1 (de) 2023-04-24 2024-10-24 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Trainieren eines maschinellen Lernsystems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016010601A2 (en) * 2014-04-23 2016-01-21 The Florida State University Research Foundation, Inc. Adaptive nonlinear model predictive control using a neural network and input sampling
EP3404497B1 (de) * 2017-05-15 2021-11-10 Siemens Aktiengesellschaft Verfahren und system zur bereitstellung einer optimierten steuerung eines komplexen dynamischen systems
DE102017115497A1 (de) * 2017-07-11 2019-01-17 Liebherr-Transportation Systems Gmbh & Co. Kg Kühlsystem mit modellprädiktiver Regelung
US10935940B2 (en) * 2017-08-03 2021-03-02 Johnson Controls Technology Company Building management system with augmented deep learning using combined regression and artificial neural network modeling
US10755200B2 (en) * 2017-09-22 2020-08-25 International Business Machines Corporation Automated control of circumferential variability of blast furnace
US11511745B2 (en) * 2018-04-27 2022-11-29 Huawei Technologies Co., Ltd. Method and system for adaptively controlling object spacing
JP7206874B2 (ja) * 2018-12-10 2023-01-18 富士電機株式会社 制御装置、制御方法及びプログラム
CN109886342A (zh) * 2019-02-26 2019-06-14 视睿（杭州）信息科技有限公司 基于机器学习的模型训练方法和装置
CN111365828A (zh) * 2020-03-06 2020-07-03 上海外高桥万国数据科技发展有限公司 结合机器学习实现数据中心节能温控的模型预测控制方法

Also Published As

Publication number Publication date
CN116113893A (zh) 2023-05-12
US20230221686A1 (en) 2023-07-13
WO2022022816A1 (de) 2022-02-03

Similar Documents

Publication Publication Date Title
DE102007017039B4 (de) Robuste Prozessmodellidentifikation bei modellbasierten Steuerungstechniken
EP3650970B1 (de) Verfahren und vorrichtung zum computergestützten simulieren eines modularen technischen systems
EP1906377A1 (de) System und Verfahren zur Integration eines Prozessleitsystems in einen Trainingssimulator
EP3379351B1 (de) Verfahren zum betreiben einer automatisierungseinrichtung sowie automatisierungseinrichtung
DE112020006576T5 (de) Numerisches Steuergerät
EP3916493B1 (de) Prognose eines systemzustands eines technischen systems
EP4158427A1 (de) Steuern eines technischen systems mittels eines datenbasierten regelungsmodells
EP4179395B1 (de) Steuerung eines technischen systems mit einer recheneinheit für künstliche intelligenz
EP3252549A1 (de) Verfahren zum betreiben einer automatisierungseinrichtung sowie automatisierungseinrichtung
WO2016095993A1 (de) Überprüfen eines funktionsmoduls einer automatisierungsanlage
EP3617912A1 (de) Verfahren und vorrichtung zum rechnergestützten generieren einer komponente für ein technisches system
WO2021104778A1 (de) Verfahren und testanordnung zum testen einer autonomen verhaltenssteuerung für ein technisches system
WO2020216553A1 (de) Verfahren und vorrichtung zum generieren eines computerlesbaren modells für ein technisches system
Bohlin Grey-box model calibrator and validator
WO2022228763A1 (de) Generieren eines computergestützten simulationsmodells für eine automatisierungsanlage
EP4109194B1 (de) Sensordatengenerierung zum steuern eines autonomen fahrzeugs
WO2020207728A1 (de) Verfahren und vorrichtung zum generieren eines computergestützten simulationsmodells für ein technisches system
DE102010014720A1 (de) Verfahren zum Verifizieren eines aus einem Quellmodell generierten Zielprogramms
EP4425385A1 (de) Ein überwachtes maschinelles lernen eines computerimplementierten verfahrens zur durchführung eines technischen prozesses
EP4381354A1 (de) Verfahren und anordnung zur analyse eines feldgeräts
EP4198802A1 (de) Computergestützte simulation eines modularen systems
EP4425390A1 (de) Ein überwachtes maschinelles lernen eines computerimplementierten verfahrens zur durchführung eines technischen prozesses
CN117836726A (zh) 控制装置、控制系统以及控制方法
EP4293563A1 (de) Anordnung und verfahren zum kalibrieren eines computergestützten simulationsmodells für ein technisches system sowie computerprogrammprodukt
EP4016202A1 (de) Verfahren zum nachbilden von rauschanteilen von verlustbehaftet aufgezeichneten betriebssignalen sowie steuereinrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221228

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RIC1 Information provided on ipc code assigned before grant

Ipc: G05B 13/04 20060101ALI20240119BHEP

Ipc: G05B 13/02 20060101AFI20240119BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20240313