Titel

Verfahren zum Ermiteln eines zeitlichen Verlaufs einer Messgröße. Prognosesvstem. Aktorsteuerungssvstem. Verfahren zum Trainieren des Aktorsteuerungssvs- tems.Trainingssvstem. Computerprogramm und maschinenlesbares Speichermedium

Stand der Technik

Aus„Variational Gaussian Process State-Space Models“, arXiv preprint ar- Xiv:l406.4905v2, 2014, Roger Frigola, Yutian Chan und Carl E. Rasmussen ist ein Ver fahren zum variationalen bayes’ sehen Lernen eines nichtlinearen Zustandsraummodells (Englisch: state-space model ) mittels spärlicher Gaußprozesse (Englisch: sparse Gaussian processes) bekannt.

Aus„Identification of Gaussian Process State Space Models”, arXiv preprint ar

Xiv: 1705.10888v2, 2017, Stefanos Eleftheriadis, Thomas F.W. Nicholson, Marc Peter Deisenroth und James Hensman sowie„A flexible state space model for leaming nonli near dynamical Systems”, arXiv preprint arXiv: 1603.05486v2, 2017, Andreas Svensson und Thomas B. Schön sind weitere Verfahren zum Lernen von Zustandsraummodellen bekannt.

Vorteil der Erfindung

Das Verfahren mit den Merkmalen des unabhängigen Anspruch 1 hat demgegenüber dem Vorteil, dass eine besonders effiziente und robuste Methode ist, nichtlineare Zustands raummodelle auch bei hochdimensionalen latenten Zustandsräumen zu lernen.

Vorteilhafte Weiterbildungen sind Gegenstand der unabhängigen Ansprüche.

Offenbarung der Erfindung

In einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Ermitteln eines zeitli chen Verlaufs einer Messgröße y, die durch einen Aktor einstellbar ist, wobei auf den Ak tor ein zeitlicher Verlauf einer Steuergröße u aufgebracht wird. Das Ermitteln erfolgt mittels eines Gaußprozess-Zustandsmodells (Englisch: Gaussian process state space model, kurz GP-SSM), welches ein Verhalten des Aktors beschreibt. Hierbei wird eine Steuergröße des Aktors abhängig von einer parametrierbaren Familie von Funktionen q(xi _:T , f _2:T , z) ermittelt.

Zustandsraummodelle, auch Zustandsmodelle genannt, beschreiben das Verhalten eines Systems mittels einer latenten Variable x unter einem Übergangsmodell f und Prozess rauschen (Englisch: process noise) s _x . Abhängig von der latenten Variable x wird eine Messgröße y mittels einer Beobachtungsfunktion g mit Messrauschen s _y ermittelt. Mittels eines Subscripts„t“ kann wie üblich eine zeitliche Entwicklung beschrieben werden. Ein Zustandsraummodell ist dann gegeben als

Mit Gaußprozessen können Verteilungen über Funktionen dargestellt werden. Dies er laubt es, a-priori-Annahmen über das Verhalten eines Systems zu berücksichtigen. Hier bei wird für einen Satz an Beobachtungen X = [x ₁ ... , x _N ] die korrespondierenden Funk tionswerte f = [/(x i), ... , f(x _N )] als gemeinsam Gaußverteilt angenommen, also p{f\X) = N(f\m _x , K _XX ), (2)

Mit Mittelwertvektor m _x mit Einträgen Gh _; =hi(c;) und einer Kovarianzmatrix K _xx mit Elementen K _J J = k(x _; ,Xj). K bezeichnet wie üblich eine Normalverteilung. Die Einträge des Mittelwertvektors m _x können beispielsweise gleich Null gewählt werden. Die Funk tion k(x _; , X _j ) kann mit geeigneten Hyperparametem oj, A = diag(l ... i _j ) z.B. gegeben sein durch

Bei gegebenen Funktionswerten f an Beobachtungen X lässt sich die bedingte Wahr scheinlichkeitsverteilung an einer neuen Beobachtungsstelle x * schreiben als p(f ^* \x ^* , f, X) = AG(G |m, s ² ) (3) schreiben, mit wobei k _{A B} einen Skalar bzw. Vektor von Kovarianzen für jedes Paar von Elementen in A, B be- zeichnet. Wichtig ist hier, dass der Kemel so gewählt ist, dass die Funktionen m, s nach x ^* differenzierbar sind.

Mit der Abkürzung x _t = (x _t , u _t ) lässt sich das Übergangsmodell auch schreiben als f _t+1 = f(x _t ). Eine Zeitreihe von beobachteten Messgrößen y von einem Zeitpunkt a bis zu einem späteren Zeitpunkt b wird als y _a:b abgekürzt (analog für andere Größen).

Vorteilhafterweise kann der beschreibende Gaußprozess als spärlicher Gaußprozess im plementiert sein. Hierzu können induzierende Gaußprozess-Zielzustände (Englisch: indu- cing Gaussian process targets ) z=[zi,.. ,z _P ] an vorgebbaren pseudo-Eingabepunkten (Englisch: pseudo input points ) z=[zi,.. ,z _R ] vorgesehen sein. Dies verringert den Re chenaufwand der Anpassung der Parameter des Gaußprozesses, insbesondere bei großen T rainingsdatensätzen.

Ein Gaußprozess kann sowohl für das Übergangsmodell f als auch für die Beobachtungs funktion g gewählt werden. Es ist für die ldentifikation der den Gaußprozess charakteri sierenden Parameter allerdings hilfreich, ein bekanntes parametrisches Beobachtungsmo dell zu wählen, beispielsweise p(yt \xt) = w(yt \g(.xt . R ( ⁴ ) mit diagonaler Kovarianzmatrix R = diag (s _1; ... , _{y Dy} ) und Beobachtungsfunktion g(x _t ) = Cx _t , (5) wobei die Matrix C so gewählt ist, dass sie die D _y ersten Einträge der latenten Variable x _t auswählt, also C = [I, 0] e ^Dy,Dx , wobei / die Einheitsmatrix ist. Mit D, wird hierbei die Dimension des Raums der latenten Variablen x bezeichnet, mit D _y die Dimension des Raums der Messgröße y. Dieses Modell ist besonders passend, wenn D _y < D _x ist, was üblicherweise in Systemen mit einer begrenzten Anzahl physikalischer Sensoren, bei spielsweise bei Robotern, der Fall ist. Die Beobachtungsfunktion g kann aber auch durch eine andere parametrische, differenzierbare Abbildung gegeben sein. Für hochdimensio nale Beobachtungsräume, also großes D _y , kann beispielsweise als Beobachtungsfunktion g auch eine andere differenzierbare Funktion, z.B. ein neuronales Netzwerk, eingesetzt werden. Die gemeinsame Verteilungsfunktion der Variablen des GP-SSM lässt sich dann schrei ben als

Hierbei bezeichnet = P^=i Vif _t.d IW-i, ^z _d ) und z = \z _x , ... , z _D . .

Das Prozessrauschen kann als p(x _t |/ _t ) = N ( x _t \f _t , Q) mit diagonaler Kovarianz Q = diag(a ₁ , ... , ^ _X,Dx ) gewählt werden. Die initiale Verteilung der latenten Zustände p(x-i ) ist unbekannt.Die Übergangsdynamik wird für jede latente Dimension d unabhän gig durch p(/ _{t d} \x _t -i , z _d )p(z _d ) beschrieben. Diese Wahrscheinlichkeit kann durch die spärliche Gauß’sche a-posteriori Wahrscheinlichkeitsverteilung analog zu Gleichung (3) gewählt werden. Die a-priori- Wahrscheinlichkeitsverteilung p(z _d ) der induzierenden Zielzustände z _d kann ebenfalls normalverteilt mit geeigneten Parametern m _z , K _{z z} gewählt werden:

(8)

Die Integration, die notwendig ist, um eine log-likelihood oder eine a-posteriori Wahr scheinlichkeitsverteilung für das durch Gleichung (6) gegebene Modell zu ermitteln, ist nur sehr schwer lösbar. Daher gibt es Ansätze, eine Variationsfunktion zu verwenden.

Aus„Recurrent Gaussian processes”, arXiv preprint arXiv: l5l l.06644.v6, 2016, Cesar Lincoln C. Mattos, Zhenwen Dai, Andreas Damianou, Jeremy Forth, Guilherme A. Bar- reto, Neil D. Lawrence ist beispielsweise bekannt, eine sogenannte niean field approxi- mation für die latenten Zustände x _1;T einzuführen. Hierbei wird die a-posteriori Wahr scheinlichkeitsverteilung r(c _ΐ: t, f2 _:T , z | yi _:T ) eines durch Gleichung (6) gegebenen Mo dells durch eine Familie von faktorisierten Näherungsfunktionen q der Form approximiert. Durch Variation der diese Familie parametrierenden Parameter kann dann versucht werden, die tatsächliche a-posteriori Wahrscheinlichkeitsverteilung bestmöglich anzunähem.

Um die im Modell (6) vorhandenen zeitlichen Korrelationen zwischen Zuständen besser beizubehalten, kann statt des oben genannten Ansatzes die parametrierbare Familie von Funktionen q(xi _:T , f _2:T , z) derart gewählt werden, dass eine zeitliche Abhängigkeit der zeitlich aufeinander folgenden latenten Zustände x des Aktors erhalten bleibt. D.h. die Abhängigkeit eines zeitlich nachfolgenden latenten Zustand x _t des Aktors (der beispiels weise mit einer Übergangsfunktion ermittelt wurde) von einem zeitlich vorhergehenden, insbesondere unmittelbar vorhergehenden latenten Zustand x des Aktors und einer zeit lich vorhergehenden, insbesondere unmittelbar vorhergehenden Steuergröße u des Aktors soll gleich der entsprechenden Abhängigkeit des Gaußprozess-Zustandsmodell, insbeson dere gemäß Gleichung (6), sein. D.h., die durch den Term p(f _t \X _t -i ) t> ^zw · (im Fall der spärlichen Formulierung) p( _t |x _t-1 z) in Gleichung (6) formulierte Abhängigkeit soll in der parametrierbaren Familie von Funktionen q(xi _:T , f _2:T , z) ebenfalls so erhalten bleiben.

Insbesondere kann vorgesehen sein, dass die parametrierbare Familie von Funktionen q(xi _:T , f _2:T , z) eingerichtet ist, eine a-posteriori Wahrscheinlichkeitsverteilung p(x _{1 :T} , f _2:T , z | yi _:T ) für einen ermittelten Trainingsdatensatz y _mess möglichst gut zu approximieren.

Der Trainingsdatensatz y _mess wird vorteilhafterweise ermittelt, indem der Aktor mit einem vorgebbaren Trainingsverlauf u _1;n der vorgebbaren Steuergröße u angesteuert wird und ein sich ergebender zeitlicher Trainingsverlauf y _1;n der Messgröße y ermittelt wird. Der Trainingsdatensatz y _mess kann dann durch (y _1;n , u _{1 :n} ) gegeben sein.

Vorteilhafterweise die Abhängigkeit der parametrierbaren Familie von Funktionen q(xi _:T , f _2:T , z) von einem initialen latenten Zustands Xi des Aktors durch einen Faktor gegeben ist, der von diesem initialen latenten Zustand Xi abhängt (insbesondere nur von diesem abhängt), wobei dieser Faktor durch eine parametrierbare Variationsfunktion q(xi), insbe sondere durch eine Normalverteilung N (jn _xi , S _xl ) gegeben ist.

Alternativ oder zusätzlich kann eine Abhängigkeit der parametrierbaren Familie von Funktionen q(xi _:T , f _2:T , z) von Gaußprozess-Zielzuständen z _d jeweils durch einen zweiten Faktor gegeben ist, wobei dieser zweite Faktor jeweils eine zweite parametrierbare Varia tionsfunktion q(z _d ) ist, die als Argument den jeweiligen Gaußprozess-Zielzustand z _d hat

Hierbei kann die zweite parametrierbare Variationsfunktion q(z _d ) durch eine Normal Ver teilungsfunktion J\f(z _d | m _d , S _d ), gegeben sein.

Die parametrierbare Familie von Funktionen hat dann die Form

Die Parameter, mit denen diese parametrierbare Familie von Funktionen parametriert wird, sind dann gegeben durch

Prozessrauschen

Sensorrauschen

Variationsparameter für die induzierenden Gaußprozess-Zielzustände

Vorgebbare Pseudo-Eingabepunkte

Kemel-Hyperparameter.

Mit dieser parametrierbaren Familie von Funktionen kann nun vorgesehen sein, dass eine prognostizierte zeitliche Entwicklung des latenten Zustand x _t des Aktors ermittelt wird, indem rekursiv eine Stichprobe der prognostizierten zeitlichen Entwicklung des latenten Zustands zu einem nachfolgenden Zeitpunkt x _t+1 aus der parametrierbaren Variations- funktion des prognostizierten latenten Zustands zum nachfolgenden Zeitpunkt gegeben den prognostizierten latenten Zustand zu einem vorherigen Zeitpunkt q(x _t+1 \x _t ) ermittelt wird, wobei die Steuergröße des Aktors abhängig von der prognostizierten zeitlichen Entwicklung des latenten Zustands gewählt wird.

Dies ermöglicht, wie in den Ausführungsbeispielen ausführlicher dargestellt, eine einfa che Ermittlung einer unteren variationalen Schranke, die auch als ELBO bekannt ist.

Durch die Marko v- Struktur der latenten Zustände x und die spärliche Gaußprozess- Näherung ist die (marginalisierte) approximierte Verteilung des latenten Zustands zu ei nem Zeitpunkt t, q(xJ bei gegebener Verteilung zu einem vorhergehenden Zeitpunkt l-l konditional unabhängig von vorherigen Zeitschritten. Dies erlaubt das oben beschriebene rekursive Vorgehen.

Es ist allerdings notwendig, einen initialen latenten Zustand x ₁ vorzugeben. Es ist entwe der möglich, dass der initiale latente Zustand x der prognostizierten zeitlichen Entwick lung des latenten Zustands fest vorgegeben, insbesondere zufällig vorgegeben wird. Dies ist besonders einfach.

Es ist allerdings auch möglich, dass der initiale latente Zustand (c ) aus der parametrier- baren Variationsfunktion q(xi) durch eine Verteilungsfunktion des initialen Zustands Xi gegeben den ermittelten Trainingsdatensatz q(xi|yi _:n , Ui _:n ) ) ermittelt wird, deren charakte risierende Parameter durch Rückpropagation trainiert werden.

In einem weiteren Aspekt betrifft die Erfindung ein Verfahren, bei dem eine optimale Steuergröße u _opt , mit der der Aktor angesteuert werden kann, abhängig von einem mittels eines der vorgenannten Verfahrens ermittelten Verlaufs der Messgröße y ermittelt wird. Dies ermöglicht auf besonders einfache Weise eine optimale Ansteuerung des Aktors.

In einem weiteren Aspekt betrifft die Erfindung ein Verfahren zum Lernen einer Regel strategie, was auch unter dem Begriff„policy leaming“ bekannt ist. Hierbei kann vorge sehen sein, dass wenigstens ein optimaler Parameter x _or1 ermittelt wird. Dieser optimale Parameter x _or1 , charakterisiert eine Regelstrategie eines Aktorsteuerungssystems. Dieses ist eingerichtet abhängig von dieser Regelstrategie den Aktor mit einer Steuergröße u an- zusteuem. Die Steuergröße u kann also abhängig von der Regelstrategie und damit ab hängig vom optimalen Parameter x _or1 ermittelt. Ein sich bei Anwendung der Regelstrate gie ergebender zeitlicher Verlauf der Messgröße y wird mittels eines der vorgenannten Verfahrens ermittelt wird, und abhängig von dem so ermittelten Verlauf der Messgröße y wird der wenigstens eine optimale Parameter x _or1 ermittelt.

In einem weiteren Aspekt betrifft die Erfindung ein Verfahren zum Trainieren eines Ak torsteuerungssystems, das eingerichtet ist, eines der vorgenannten Verfahren auszuführen, wobei Parameter, die die parametrierbare Familie von Funktionen q(xi _:T , fV, , z) charakte risieren und/oder deterministische Modell-Parameter derart angepasst werden, dass sie die a-posteriori Wahrscheinlichkeitsverteilung r(ci _: t, fV, , z | yi _:T ) von zumindest zeitli chen Verläufen mindestens des latenten Zustands des Aktors Xi _:T und der Übergangsfunk tion f _2:T , gegeben den zeitlichen Verlauf der Messgröße yi _:T des Aktors für einen ermittel- ten Trainingsdatensatz möglichst gut approximiert.

Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die bei liegenden Zeichnungen näher erläutert ln den Zeichnungen zeigen:

Figur 1 schematisch einen Aufbau von Ausführungsformen der Erfindung;

Figur 2 schematisch einen Aufbau weiterer Ausführungsformen der Erfindung;

Figur 3 in einem Flussdiagramm den Ablauf eines Verfahrens gemäß einem Aspekt der Erfindung;

Figur 4 in einem Flussdiagramm den Ablauf eines Verfahrens gemäß einem weite ren Aspekt der Erfindung;

Figur 5 in einem Flussdiagramm den Ablauf eines Verfahrens gemäß einem noch weiteren Aspekt der Erfindung.

Beschreibung der Ausführungsbeispiele

Figur 1 illustriert einen Aufbau möglicher Ausführungsformen der Erfindung. Figur 1 zeigt in einer Ausführungsform einen Aktor 10 in seiner Umgebung 20 in lnteraktion mit einem Aktorsteuerungssystem 40. Aktor 10 und Umgebung 20 werden gemeinschaftlich nachfolgend auch als Aktorsystem bezeichnet ln beispielsweise regelmäßigen zeitlichen Abständen wird ein Zustand des Aktorsystems mit einem Sensor 30 erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann. Je ein Sensorsignal S des Sensors 30 wird an das Aktorsteuerungssystem 40 übermittelt. Das Aktorsteuerungssystem 40 empfängt somit eine Folge von Sensorsignalen S. Das Aktorsteuerungssystem 40 ermit telt hieraus eine Folge von Ansteuersignalen A, welches der Aktor 10 empfängt.

Bei dem Aktor 10 kann es sich beispielsweise um einen (teil-) autonomen Roboter, bei spielsweise ein (teil-)autonomes Kraftfahrzeug handeln, oder um einen Roboter, der ge zielt erkanntes Unkraut in einem Feld bekämpft, beispielsweise ausreißt oder mit entspre chenden Chemikalien besprüht.

Bei dem Sensor 30 kann es sich beispielsweise um einen oder mehrere Videosensoren und/oder einen oder mehrere Radarsensoren und/oder einen oder mehrere Ultra- schallsensoren und/oder einen oder mehrere Positionssensoren (beispielsweise GPS) han deln. Alternativ oder zusätzlich kann der Sensor 30 auch ein Informationssystem umfas sen, das eine Information über einen Zustand des Aktorsystems ermittelt, wie beispiels weise ein Wetterinformationssystem, das einen aktuellen oder zukünftigen Zustand des Wetters in der Umgebung 20 ermittelt.

In einem anderen Ausführungsbeispiel kann es sich bei dem Aktor 10 um einen Ferti gungsroboter handeln, und bei dem Sensor 30 dann beispielsweise um einen optischen Sensor handeln, der Eigenschaften von Fertigungserzeugnissen des Fertigungsroboters er fasst.

In einem weiteren Ausführungsbeispiel kann es sich bei dem Aktor 10 um ein Freigabe system handeln, welches eingerichtet ist, die Aktivität eines Geräts freizugeben oder nicht. Bei dem Sensor 30 kann es sich beispielsweise um einen optischen Sensor (bei spielsweise zur Erfassung von Bild- oder Videodaten) handeln, der eingerichtet ist, ein Gesicht zu erfassen. Der Aktor 10 ermittelt abhängig von der Folge von Ansteuersignalen A ein Freigabesignal, das benutzt werden kann, um abhängig vom Wert des Freigabesig nals das Gerät freizugeben. Bei dem Gerät kann es sich beispielsweise um eine physische oder logische Zugangskontrolle handeln. Abhängig vom Wert des Ansteuersignals A kann die Zugangskontrolle dann vorsehen, dass Zugang gewährt wird, oder nicht. ln einem weiteren Ausführungsbeispiel kann es sich bei dem Aktor 10 um einen Teil ei ner Gebäudesteuerung handeln, beispielsweise um einen Regler einer Heizung.

Das Aktorsteuerungssystem 40 empfängt die Folge von Sensorsignalen S des Sensors in einer optionalen Empfangseinheit 50, die die Folge von Sensorsignalen S in eine Folge von Messgrößen y umwandelt (alternativ kann auch unmittelbar je das Sensorsignal S als Messgröße y übernommen werden). Die Messgröße y kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Sensorsignals S sein. Die Messgröße y wird einem ma schinellen Lemsystem 60 zugeführt, dessen Funktionsweise unten im Zusammenhang mit Figur 4 näher erläutert wird.

Das maschinelle Lemsystem 60 ermittelt aus den Messgrößen y eine Steuergröße u. Die se Ermittlung erfolgt abhängig von Parametern f, die in einem Parameterspeicher P abge legt sind. Diese Parameter f können insbesondere Parameter x _or1 umfassen, die eine Re gelstrategie des Aktorsteuerungssystems 40 charakterisieren. Der Parameterspeicher P kann in das Aktorsteuerungssystem 40 integriert sein, er kann allerdings auch räumlich getrennt vom Aktorsteuerungssystem 40 ausgebildet sein, und beispielsweise über eine Netzwerkverbindung mit dem Aktorsteuerungssystem 40 verbunden sein. Die Steuergrö ße u wird einer optionalen Umformeinheit 80 zugeführt, die hieraus Ansteuersignale A ermittelt, welche dem Aktor 10 zugeführt werden.

In weiteren Ausführungsformen umfasst das Aktorsteuerungssystem 40 den Aktor 10.

In weiteren bevorzugten Ausführungsformen umfasst das Aktorsteuerungssystem 40 eine Ein- oder Mehrzahl von Prozessoren 45 und wenigstens ein maschinenlesbares Spei chermedium 46, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Pro zessoren 45 ausgeführt werden, das Aktorsteuerungssystem 40 veranlassen, das Verfah ren zum Ansteuem des Aktors 10 auszuführen.

Figur 2 illustriert ein maschinelles Trainingssystem 140, mit der das maschinelle Lemsys- tem 60 des Aktorsteuerungssystems 40 trainiert werden kann.

Eine Messwertvorrichtung 150 ermittelt einen Trainingsdatensatz y _mess , der sowohl Steu ergrößen u als auch zugehörige Messgrößen y umfasst. Diese können beispielsweise durch Ansteuerung des Aktors 10 mittels der Steuergrößen u und Ermittlung der sich er gebenden Messgrößen y ermittelt worden sein, und auf einem Datenträger (nicht darge stellt) abgespeichert sein, der Teil der Messwertvorrichtung 150 sein kann. Zur Ermitt lung des Trainingsdatensatzes y _mess kann die Messwertvorrichtung 150 aus dem Datenträ ger auslesen.

Der Trainingsdatensatz y _mess wird einem Trainingsblock 190 zugeführt, der abhängig von dem im Parameterspeicher P gespeicherten Parametern f mittels des in Figur 3 illustrier ten Verfahrens optimierte Parameter |‘ ermittelt, die im Parameterspeicher P die gespei cherten Parameter f ersetzen.

Alternativ oder zusätzlich können mittels des in Figur 5 illustrierten Verfahrens optimier te Parameter x _or1 ermittelt werden, die Teil der optimierten Parameter f sein können, und ebenfalls im Parameterspeicher P hinterlegt werden.

In weiteren bevorzugten Ausführungsformen umfasst das Trainingssystem 140 eine Ein oder Mehrzahl von Prozessoren 200 und wenigstens ein maschinenlesbares Speicherme- dium 210, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozesso ren 200 ausgeführt werden, das Trainingssystem 140 veranlassen, das Verfahren zum Trainieren des maschinellen Lemsystems 60 auszuführen.

Figur 3 illustriert eine Ausführungsform eines Verfahrens zum Trainieren des maschinel len Lemsystems 60. Zunächst (1000) werden die Parameter f initialisiert und ein Trai ningsdatensatz mit zeitlichen Verläufen der Steuergröße u und der Messgröße y bereitge stellt. Die entsprechenden zeitlichen Verläufe werden mit Ui _:T bzw. yi _:T bezeichnet.

Dann (1100) werden diese zeitlichen Verläufe optional in Unterverläufe vorgebbarer Länge T _sub zerteilt.

Anschließend wird für den Verlauf bzw. einen oder mehrere der Unterverläufe eine Mehrzahl von Unterverläufen jeweils eine Ein- oder Mehrzahl zugehöriger Trajektorien prognostizierter latenter Variablen x ermittelt. Hierzu wird jeweils zunächst ein initialer prognostizierter latenter Zustand x ₁ ermittelt, beispielsweise aus der parametrierten Ver teilungsfunktion q(xi) gezogen. Die Parameter dieser Verteilungsfunktion sind dann vor zugsweise ebenfalls Teil der zu optimierenden Parameter f, da etwaige Fehler, die durch den initialen latenten Zustand hervorgerufen werden, insbesondere bei kurzen zeitlichen Verläufen u.U. nicht hinreichend schnell abklingen. Anschließend erfolgt je nach Länge des zeitlichen Verlaufs eine rekursive Ermittlung der weiteren prognostizierten latenten Zustände x _t .

Dann werden jeweils Stichproben x _t aus der Verteilungsfunktion q(xj gezogen. Hierzu werden beispielsweise Stichproben e~K (0,1) gezogen, und anschließend für alle d und alle Zeitpunkte t>l gezogen. Hierbei ist x _t = ( x _t , u _t ).

Anschließend sollen die Parameter f derart angepasst werden, dass die Kullback-Leibler- Divergenz KL(q(x _1.T , f2. _T , z) \ \p(x _1.T ,f2. _T , z\y _1.T )) minimiert wird, wobei die Länge T im Falle der Unterteilung in Unterverläufe selbstverständlich durch T _sub ersetzt wird. Mit der üblichen unteren variationalen Schranke (Englisch: evidence lower bound, kurz: ELBO) ist das Minimieren dieser KL-Divergenz äquivalent zur Maximierung des ELBO, der gegeben ist durch

Daher wird nun (1200) der ELBO gemäß Gleichung (13) geschätzt. Hierzu wird der erste Term der rechten Seite aus Gleichung (13) mittels der prognostizierten zeitlichen Verläu fe der latenten Variable x mittels

E _q( x _t) [log p(y _t |x _t )] * ^E =i log p(y _t |x (14) geschätzt, wobei N die in Schritt 1100 generierten prognostizierten zeitlichen Verläufe der latenten Variable x bezeichnet.

Ausgehend von dieser stochastischen Ermittlung des ELBO werden Gradienten der Funk tion E _GP-SSM ermittelt, und ein stochastischer Gradientenaufstieg der Parameter f durch- geführt, um neue Parameter |‘ zu ermitteln (1300).

Nun (1400) wird überprüft, ob ein Konvergenzkriterium erfüllt ist. Ist dies der Fall (1500), ersetzen die neuen Parameter |‘ die im Parameterspeicher P gespeicherten Para meter f, und das Verfahren endet. Andernfalls wird zurückverzweigt zu Schritt 1150.

Figur 4 illustriert eine Ausführungsform eines Verfahrens zum Ansteuem des Aktors 10. Optional wird zunächst (2000) das in Figur 3 illustrierte Trainingsverfahren durchgeführt. Anschließend (2010-2050) wird eine modellprädiktive Regelung auf der Steuergröße u für einen vorgebbaren Prädiktionshorizont T _pred durchgeführt.

Hierzu wird zunächst (2010) ein zeitlicher Verlauf der Steuergröße u generiert.

Dann (2020) wird der initiale latenter Zustand x _t ermittelt, beispielsweise zufällig ge wählt oder gleich 0 gewählt. Dies ist möglich, da für stabile transiente Dynamik transien te Effekte, die durch einen falsch gewählten initialen latenten Zustand x ₁ hervorgerufen werden, exponentiell abklingen. Dann wird der latente Zustand Xi-.T _pred beispielsweise mittels Gleichung (11) ermittelt, und mittels der Beobachtungsfunktion g (z.B. durch Gleichung (5) gegeben) auch die Messgröße yi _:Tpred ermittelt. Anschließend (2030) wird abhängig vom ermittelten Verlauf der Messgröße yi _:Tpred eine Kostenfunktion ermittelt.

Dann (2040) wird überprüft, ob ein Konvergenzkriterium der Kostenfunktion erreicht ist. Ist dies der Fall (2050), wird der aktuell ermittelte Verlauf der Steuergröße u als optimale Steuergröße u _opt übernommen, und der Aktor 10 wird entsprechend des Verlaufs der op timalen Steuergröße u _opt angesteuert.

Ist dies nicht der Fall (2060), wird der Verlauf der Steuergröße u variiert. Beispielsweise kann ein Gradientenabstiegsverfahren eingesetzt werden, wobei die Gradienten bei spielsweise numerisch mit Auswertungs schritten analog zu Schritt (2020) ermittelt wer den können, oder auch analytisch vorgegeben sein können. Dann wird mit verändertem Verlauf der Steuergröße u zurückverzweigt zu Schritt 2020.

Figur 5 illustriert eine Ausführungsform des Verfahrens zum Ermitteln des Parameters xo _r1 . Optional wird zunächst (3000) das in Figur 3 illustrierte Trainingsverfahren durchge führt.

Dann (3010) wird ein initialer Wert der Steuergröße u und ein initialer Wert des Parame ters x _or1 generiert. Ebenso wird analog zu Schritt (2020) ein initialer Wert des latenten Zustands x ermittelt. Dann (3020) wird mittels Gleichungen (5) und (11) sowie der durch den Parameter x _or1 charakterisierten aktuellen Regelstrategie ein zeitlicher Verlauf des la tenten Zustands u, der Messgröße y und der Steuergröße u ermittelt. Anschließend (4030) wird abhängig vom ermittelten Verlauf der Messgröße eine Kostenfunktion ermit telt.

Dann (3040) wird überprüft, ob ein Konvergenzkriterium der Kostenfunktion erreicht ist. Ist dies der Fall (3050), wird der aktuell ermittelte Parameter x _or1 als optimaler Parameter x _or1 übernommen.

Ist dies nicht der Fall (3060), wird der Parameter x _or1 variiert. Beispielsweise kann ein Gradientenabstiegsverfahren eingesetzt werden. Dann wird mit verändertem Verlauf des Parameters x _or1 zurückverzweigt zu Schritt 3020.

Selbstverständlich können alle Verfahren nicht nur in Software, sondern auch in Hard ware implementiert sein, oder in einer Mischform aus Hardware und Software.