Computerimplementiertes Verfahren zum Abschätzen eines technischen Verhaltens einer Vorrichtung

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Abschätzen eines technischen Verhaltens einer Vorrich tung, eine Steuereinheit, die ausgebildet ist, das Verfahren auszuführen, und ein Computerprogrammprodukt.

Aus EP 2 112 569 Bl ist ein Verfahren zum rechnergestützten Lernen einer Steuerung und/oder Regelung eines technischen Systems bekannt. Dabei wird basierend auf im Betrieb des technischen Systems erfassten Trainingsdaten eine Qualitäts funktion und eine Aktionsauswahlregel gelernt, wobei die Qua- litätsfunktion einen optimalen Betrieb des technischen Sys tems modelliert und die Aktionsauswahlregel im Betrieb des technischen Systems für einen jeweiligen Zustand des techni schen Systems die bevorzugt auszuführende Aktion angibt. Wäh rend des Lernens der Qualitätsfunktion und der Aktionsaus wahlregel wird ein Maß für die statistische Unsicherheit der Qualitätsfunktion mittels einer Gaußschen Fehlerfortpflanzung ermittelt. In Abhängigkeit von dem Maß für die statistische Unsicherheit und einem Sicherheitsparameter, der einer sta tistischen Mindestanforderung an die Qualitätsfunktion ent spricht, wird eine modifizierte Qualitätsfunktion bestimmt.

Aus DE 10 2016 224 207 Al sind ein Verfahren und eine Steuer einrichtung zum Steuern eines technischen Systems bekannt.

Zum Steuern des technischen Systems wird ein Systemzustand des technischen Systems fortlaufend erfasst. Mittels eines trainierten ersten Steuermodells wird anhand eines erfassten Systemzustandes ein Folgezustand des technischen Systems prä- diziert. Daraufhin wird ein Abstandswert für einen Abstand zwischen dem prädizierten Folgezustand und einem tatsächlich eintretenden Systemzustand ermittelt. Weiterhin wird ein zweites Steuermodell mittels des trainierten ersten Steuermo dells darauf trainiert, anhand eines erfassten Systemzustan- des und einer Steueraktion zum Steuern des technischen Sys tems den Abstandswert zu prädizieren. Ein durch das erste Steuermodell prädizierter Folgezustand wird dann anhand eines durch das trainierte zweite Steuermodell prädizierten Ab standswerts modifiziert. Der modifizierte Folgezustand wird zum Steuern des technischen Systems ausgegeben.

Die Aufgabe der Erfindung besteht darin, ein verbessertes computerimplementiertes Verfahren zum Abschätzen eines tech nischen Verhaltens einer Vorrichtung bereitzustellen.

Die Aufgabe der Erfindung wird durch die unabhängigen Pa tentansprüche gelöst.

Ein Vorteil des beschriebenen Verfahrens besteht darin, dass das technische Verhalten der Vorrichtung auch mit weniger Da ten über die Vorrichtung selbst abgeschätzt werden kann. Dazu wird ein Quellmodell einer Quellvorrichtung verwendet. Das Quellmodell beschreibt ein technisches Verhalten der Quell vorrichtung. Das Quellmodell weist wenigstens zwei Funktionen auf. Die zwei Funktionen beschreiben ein technisches Verhal ten der Quellvorrichtung mit einer statistischen Ungenauig keit. Die Funktionen des Quellmodells werden mit einem gemes senen technischen Verhalten der Vorrichtung verglichen. Bei dem Vergleich kann das Verhalten der Vorrichtung für eine vorgegebene Ansteuerung gemessen und mit dem Verhalten des Quellmodells bei der gleichen Ansteuerung verglichen werden. Für jede Funktion können mehrere Vergleiche für verschiedene Ansteuerungen verglichen werden. Aufgrund der Vergleiche kann ein Bewertungsfaktor ermittelt werden, der angibt, wie gut das Quellmodell mit den zwei Funktionen das tatsächliche technische Verhalten der Vorrichtung abbildet.

Das technische Verhalten der Vorrichtung ist durch Zustände charakterisiert, die die Vorrichtung im Betrieb einnehmen kann. Die Vorrichtung wird durch einen Steuerwert (Aktion), der während des Betriebes zum Steuern der Vorrichtung vorge geben wird, von einem Zustand in einen folgenden Zustand übergeführt. Ein Zustand der Vorrichtung weist wenigstens ein Beobachtungsdatum auf. Eine Funktion eines Quellmodelles weist wenigstens ein Quellbeobachtungsdatum für den gleichen Steuerwert auf, der auf die Quellvorrichtung einwirkt. Ein erster Bewertungsfaktor für eine Funktion des Quellmodelles wird beispielsweise dadurch ermittelt, dass mehrere ermittel te Quellbeobachtungsdaten der Funktionen mit gemessenen Be obachtungsdaten der Vorrichtung verglichen werden. Aus dem Vergleich wird für jedes Quellbeobachtungdatum der Funktion ein Bewertungsfaktor ermittelt. Der Bewertungsfaktor für die Funktion wird durch eine Mittelung der Bewertungsfaktoren er mittelt. Somit kann die Funktion abhängig von dem Vergleich der ermittelten Quellbeobachtungsdaten mit den gemessenen Be obachtungsdaten abgeschätzt werden.

Die Quellfunktion weist wenigstens vorgegebene ähnliche Ei genschaften im Aufbau und/oder in einer technischen Funkti onsweise wie die Vorrichtung auf. Dadurch wird ein relativ ähnliches technisches Verhalten der Quellvorrichtung und der Vorrichtung erreicht. Somit weichen die Funktionen des Quell modells wenig von der Funktion der Vorrichtung ab.

Anschließend wird mithilfe der mit den Bewertungsfaktoren be werteten Funktionen wenigstens ein Wert des technischen Ver haltens der Vorrichtung abgeschätzt. Die Abschätzung des Wer tes des technischen Verhaltens kann beispielsweise für einen Bereich erfolgen, in dem bisher keine Messung des technischen Verhaltens der Vorrichtung durchgeführt wurde, oder für einen technischen Bereich, in dem die Vorrichtung noch nicht be trieben wurde. Somit kann ohne Messwerte des tatsächlichen technischen Verhaltens der Vorrichtung das technische Verhal ten der Vorrichtung mithilfe der mit den Bewertungsfaktoren bewerteten Funktionen des Quellmodelles abgeschätzt werden.

Die Funktionen des Quellmodelles können mit verschiedenen Verfahren ermittelt werden. Beispielsweise können die Funkti onen des Quellmodelles mithilfe eines Bayes Netzes ermittelt werden. Das Bayes Netz wird beispielsweise anhand von Messda ten der Quellvorrichtung trainiert. Die Quellvorrichtung kann eine reale Vorrichtung sein, die wenigstens in einer techni schen Funktion, insbesondere in mehreren oder allen techni schen Funktionen im Wesentlichen dem technischen Verhalten der Vorrichtung entspricht. Beispielsweise kann der Fall vor liegen, dass zu der Quellvorrichtung bereits eine Vielzahl von Messdaten vorliegt, mit der das Bayes Netz trainiert wer den kann. Dies ist insbesondere dann von Vorteil, wenn zu der Vorrichtung selbst weniger Messdaten oder keine Messdaten für das technische Verhalten der Vorrichtung vorliegen.

In einer weiteren Ausführungsform können die Funktionen des Quellmodells mithilfe eines Gaußschen Prozesses anhand von Messdaten der Quellvorrichtung ermittelt werden. Auch mit diesem Verfahren werden wenigstens zwei Funktionen ermittelt, die mit einer statistischen Ungenauigkeit das technische Ver halten der Quellvorrichtung beschreiben.

Mithilfe der Bewertungsfaktoren wird eine Bewertung der sta tistischen Ungenauigkeit der Funktionen ermöglicht.

In einer weiteren Ausführungsform wird nicht nur ein Quellmo dell verwendet, sondern es werden Funktionen eines zweiten Quellmodelles verwendet. Das zweite Quellmodell beschreibt eine zweite Quellvorrichtung, die beispielsweise als reale Vorrichtung existiert und für die ein zweites Quellmodell er stellt wurde, das wenigstens zwei Funktionen aufweist. Auch diese zwei Funktionen beschreiben das technische Verhalten der zweiten Quellvorrichtung mit einer statistischen Ungenau igkeit. Die wenigstens zwei Funktionen des zweiten Quellmo dells werden mit dem gemessenen technischen Verhalten der Vorrichtung verglichen. Für jede Funktion des zweiten Quell modells wird aus dem Vergleich ein Bewertungsfaktor ermit telt. Die zwei Funktionen des zweiten Quellmodells werden mit den zwei Bewertungsfaktoren bewertet. Mithilfe der bewerteten Funktionen des zweiten Quellmodells und mithilfe der bewerte- ten Funktionen des ersten Quellmodells wird wenigstens ein Wert des technischen Verhaltens der Vorrichtung abgeschätzt.

Durch die Verwendung des zweiten Quellmodells der zweiten Quellvorrichtung stehen weitere Daten zur Verfügung, die eine Beschreibung des technischen Verhaltens der Vorrichtung ver bessern. Beispielsweise können die Daten der zweiten Quell vorrichtung, die für die Erstellung der zwei Funktionen des zweiten Quellmodells verwendet wurden, umfangreicher sein oder andere technische Bereiche abdecken als die Funktionen des Quellmodells der ersten Quellvorrichtung.

Zudem kann abhängig von der gewählten Ausführungsform die zweite Quellvorrichtung sich in einzelnen technischen Funkti onen gegenüber der ersten Quellvorrichtung unterscheiden. Beispielsweise kann abhängig von der Ausführungsform der Vor richtung und der Quellvorrichtungen das technische Verhalten der Vorrichtung zwischen dem technischen Verhalten der Quell vorrichtung und dem technischen Verhalten der zweiten Quell vorrichtung liegen. Somit kann durch die Berücksichtigung der Funktionen der zwei Quellmodelle das technische Verhalten der Vorrichtung besser abgeschätzt werden als durch die Berück sichtigung nur eines Quellmodells.

Abhängig von der gewählten Ausführungsform wird mithilfe der bewerteten Funktionen des wenigstens einen Quellmodells ein technisches Verhalten der Vorrichtung für eine vorgegebene Anzahl von aufeinander folgenden Steuerwerten, mit denen die Vorrichtung gesteuert wird, abgeschätzt. Zudem kann abhängig von der gewählten Ausführungsform nicht nur ein einzelnes technisches Verhalten oder ein Wert eines technischen Verhal tens der Vorrichtung mithilfe der bewerteten Funktionen des wenigstens einen Quellmodelles abgeschätzt werden, sondern es kann ein Modell für das technische Verhalten der Vorrichtung ermittelt werden. Somit können nicht nur einzelne Teilberei che des technischen Verhaltens, sondern auch ein komplexes Verhalten der Vorrichtung mithilfe des Modells abgeschätzt oder überprüft werden. In einer weiteren Ausführungsform wird mithilfe der bewerte ten Funktionen des wenigstens einen Quellmodells und mithilfe eines Lernverfahrens ein Steuerverfahren für ein gewünschtes technisches Verhalten der Vorrichtung ermittelt. Somit kann beispielsweise ein optimiertes Verhalten der Vorrichtung we nigstens unter Berücksichtigung der bewerteten Funktionen des wenigstens einen Quellmodells ermittelt werden. Dies kann beispielsweise dann von Vorteil sein, wenn für die Vorrich tung selbst zu wenig oder nicht ausreichend viele Messwerte des technischen Verhaltens der Vorrichtung vorliegen, um mit hilfe eines Lernverfahrens auf Basis einer Simulation das technische Verhalten der Vorrichtung zu ermitteln.

Als Lernverfahren kann beispielsweise ein verstärkendes Lern verfahren eingesetzt werden, mit dem mit weniger Iterations schritten und/oder ein genaueres Steuerverfahren für ein ge wünschtes technisches Verhalten der Vorrichtung ermittelt werden kann.

In einer Ausführungsform wird die statistische Unsicherheit der Funktionen des wenigstens einen Quellmodells beim Lern verfahren berücksichtigt. Insbesondere kann die statistische Unsicherheit als Steuerwert berücksichtigt werden, um bei spielsweise die statistische Unsicherheit auf einen vorgege benen Wertebereich zu optimieren, um das gewünschte Steuer verfahren zu ermitteln.

Die Unsicherheit der Funktionen kann beispielsweise dabei so berücksichtigt werden, dass eine Verringerung der Unsicher heit die Belohnungsfunktion des Lernverfahrens erhöht. Dies bedeutet, dass alle Steuerwerte (Aktionen) belohnt werden, die kurz- oder langfristig zu einer Verringerung der Unsi cherheit führen. Dies ist dann von Vorteil, da angenommen wird, dass die Unsicherheit eine gewisse Übereinstimmung mit der wahren Unsicherheit aufweist und somit zu einer gestei gerten Robustheit des Steuerverfahrens führt, wenn die Unsi cherheit abnimmt. Somit lässt sich bei gleicher Datenmenge eine Steuerung be ziehungsweise Regelung erlernen, deren Wahrscheinlichkeit für einen Misserfolg geringer ist. Man erhält also einen verbes serten Erwartungswert der Leistungsfähigkeit des Steuerver fahrens. Somit kann beispielsweise bei gleicher Datenmenge eine Steuerung oder Regelung erlernt werden, die mit größerer Wahrscheinlichkeit die gewünschte Optimierung des technischen Verhaltens der Vorrichtung erreicht.

In einer weiteren Ausführungsform kann die Unsicherheit beim Lernverfahren so berücksichtigt werden, dass eine Erhöhung der Unsicherheit die Belohnungsfunktion des Lernverfahrens erhöht. Somit werden alle Steuerungen (Aktionen) der Vorrich tung, die kurz- oder langfristig zu einer Erhöhung der Unsi cherheit der Funktionen führen, belohnt. Dieses Verfahren kann dann eingesetzt werden, wenn eine Information über das technische Verhalten der Vorrichtung in Bereichen ermittelt werden soll, in denen die Abschätzung des technischen Verhal tens der Vorrichtung eine große Unsicherheit aufweist. Somit lässt sich bei gleicher Datenmenge eine Steuerung oder Rege lung erlernen, mit der möglichst effektiv Schätzwerte für das technische Verhalten erzeugt werden, die das Lernen begünsti gen .

In einer Ausführungsform weisen die statistischen Unsicher heiten der Funktionen eines Quellmodells eine Gaußverteilung auf. Die Gaußverteilung wird durch einen vorgegebenen Mittel wert und durch eine vorgegebene Standardabweichung festge legt .

In einer Ausführungsform wird die Vorrichtung mit den ermit telten Steuerwerten gesteuert. Zudem kann das technische Ver halten der Vorrichtung mit einem Modell abgeschätzt werden.

In einer weiteren Ausführungsform wird das Modell für das technische Verhalten der Vorrichtung als neuronales Netz si- muliert. Anhand von Daten der Funktionen des wenigstens einen Quellmodells und anhand von gemessenen Beobachtungsdaten der technischen Funktion der Vorrichtung wird das neuronale Netz trainiert. Da die Funktionen des Quellmodells berücksichtigt werden, kann mit weniger gemessenen Beobachtungsdaten der Vorrichtung eine gute Abschätzung des technischen Verhaltens der Vorrichtung ermittelt werden.

In einer weiteren Ausführungsform weist der Bewertungsfaktor eine Funktion auf. Die Funktion kann von einer Abweichung des Quellbeobachtungsdatums des Quellmodells von einem gemessenen Beobachtungsdatum der Vorrichtung abhängen. Insbesondere kann die Funktion des Bewertungsfaktors den Wert 1 aufweisen, wenn die Abweichung des Quellbeobachtungsdatums von dem gemessenen Beobachtungsdatum kleiner ist als ein vorgegebener Schwell wert. Zudem kann die Funktion des Bewertungsfaktors den

Wert 0 aufweisen, wenn die Abweichung des Quellbeobachtungs datums von dem gemessenen Beobachtungsdatum größer ist als der Schwellwert. In einer weiteren Ausführungsform kann die Bewertungsfunktion exponentiell von der Abweichung des Quell beobachtungsdatums von dem gemessenen Beobachtungsdatum ab hängen. Mithilfe der Funktionen kann der Bewertungsfaktor präziser eingestellt werden.

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusam menhang mit der folgenden Beschreibung der Ausführungsbei spiele, die im Zusammenhang mit den Zeichnungen näher erläu tert werden, wobei

FIG 1 eine schematische Darstellung eines Programmablaufes zur Durchführung des Verfahrens zur Abschätzung des technischen Verhaltens der Vorrichtung,

FIG 2 eine schematische Darstellung eines Bayes Netzes mit

Wichtungsfaktoren, die eine Gaußsche Verteilung aufwei sen, und FIG 3 eine schematische Darstellung einer Steuereinheit, das ein Lernverfahren ausführt, mit dem ein Modell für die Beschreibung des technischen Verhaltens der Vorrichtung erlernt werden kann, zeigt .

Nachfolgend wird die Vorrichtung am Beispiel eines techni schen Systems erläutert, welches durch einen Zustandsraum S und einen Aktionsraum A charakterisiert ist. Der Zustandsraum stellt eine Vielzahl von diskreten bzw. kontinuierlichen Zu ständen in der Form von Parametern des technischen Systems dar, welche das technische System während seines Betriebs charakterisieren. Bei einer Gasturbine können diese Parameter beispielsweise die Menge an zugeführtem Treibstoff oder das Brummen der Turbine sein. Der Aktionsraum bezeichnet die mög lichen, am technischen System durchführbaren Aktionen, d.h. Vorgabe von Steuerwerten, wobei mit den Aktionen die Zustände des technischen Systems verändert werden können. Eine Aktion kann die Veränderung einer Stellgröße des technischen Systems sein, beispielsweise eine Veränderung der Position von Leit schaufeln einer Gasturbine, eine Veränderung der Treibstoff zufuhr und dergleichen.

Die Dynamik des technischen Systems wird in der hier be schriebenen Ausführungsform als Markov-Entscheidungs-Prozess durch eine Transitions-Wahrscheinlichkeitsverteilung

PrSxAxS— _[0,1] charakterisiert, welche vom aktuellen Zustand des technischen Systems, der im aktuellen Zustand durchgeführten Aktion sowie des daraus resultierenden Folgezustands des technischen Systems abhängt.

FIG 1 zeigt bei Programmpunkt 100 einen Verfahrensstand, bei dem wenigstens zwei Funktionen eines ersten Quellmodells be reitgestellt werden . Das Quellmodell beschreibt das techni sche Verhalten einer Quell _V orrichtung . Die Quell _V orrichtung kann einer realen Vorrichtung entsprechen, deren technische Funktion ähnlich der technischen Funktion der Vorrichtung o- der identisch der technischen Funktion der Vorrichtung ist . Die QuellVorrichtung kann zudem einer realen Vorrichtung ent sprechen, deren technischer Aufbau ähnlich dem technischen Aufbau der Vorrichtung oder identisch dem technischen Aufbau der Vorrichtung ist . Zudem kann die Quell _V orrichtung auch ein Simulationsmodell darstellen, das den technischen Aufbau und/oder die technische Funktion einer Quell _V orrichtung simu liert, deren technische Funktion und/oder technischer Aufbau ähnlich oder identisch der technischen Funktion oder dem technischen Aufbau der Vorrichtung ist .

Die zwei Funktionen beschreiben ein technisches Verhalten der Quell _V orrichtung mit einer statistischen Ungenauigkeit . Dies bedeutet, dass das technische Verhalten der Quell _V orrichtung, d.h. der Übergang von einem Zustand der Quell _V orrichtung bei Vorgabe wenigstens eines Steuerwertes (Aktion) zu einem fol genden Zustand mithilfe der zwei Funktionen ermittelt wird . Mithilfe der zwei Funktionen wird der folgende Zustand der Quell _V orrichtung bestimmt . Jede Funktion kann ein Quellbe- obachtungsdatum für einen Zustand der Quell _V orrichtung ermit teln . Die zwei Quellbeobachtungsdaten weisen eine statisti sche Ungenauigkeit gegenüber einem präzisen Wert des Zustan des der Quell _V orrichtung auf .

Bei einem folgenden Verfahrensschritt 110 werden die zwei Quellbeobachtungsdaten der zwei Funktionen mit einem gemesse nen technischen Verhalten der Vorrichtung verglichen . Dazu werden die zwei Quellbeobachtungsdaten der zwei Vorrichtungen mit einem gemessenen Beobachtungsdatum der Vorrichtung ver glichen, das dem gleichen Zustandsübergang entspricht Unter dem gleichen Zustandsübergang wird der gleiche Ausgangszu stand der Vorrichtung und der Quell _V orrichtung und das Vorge ben des gleichen Steuerwertes beziehungsweise des gleichen Steuer _V erfahrens verstanden . Dieser Vergleich kann für mehre re Steuerwerte eines Steuer _V erfahrens und somit für mehrere Quellbeobachtungsdaten durchgeführt werden . Aus dem Vergleich von wenigstens jeweils einem Quellbeobach tungsdatum der zwei Funktionen mit einem gemessenen Beobach tungsdatum wird j eweils eine Abweichung zwischen dem Quellbe- obachtungsdatum einer Funktion und dem Beobachtungsdatum er mittelt . Somit werden Abweichungen der Quellbeobachtungsdaten der Funktionen zu den gemessenen Beobachtungsdaten ermittelt .

Bei einem folgenden Programmpunkt 120 wird für j ede Funktion aus der Abweichung des wenigstens einen Quellbeobachtungsda- tums und dem korrespondierenden Beobachtungsdatum der Vor richtung ein Bewertungsfaktor ermittelt . Dazu können Abwei chungen mehrere Quellbeobachtungsdaten j eder der zwei Funkti onen zu den korrespondierenden Beobachtungsdaten der Vorrich tung verwendet werden, um für j ede Funktion nach einer vorge gebenen Formel oder Funktion einen Bewertungsfaktor zu ermit teln . In einem einfachen Fall können die Abweichungen der Quellbeobachtungsdaten einer Funktion zu den korrespondieren den Beobachtungsdaten der Vorrichtung gemittelt werden und aus der gemittelten Abweichung nach einer vorgegebenen Formel oder Funktion ein Bewertungsfaktor ermittelt wird .

Wir betrachten die Situation, dass wir N QuellVorrichtungen, zum Beispiel N Windturbinen nutzen können, für die j eweils eine vergleichsweise große Anzahl Z___i von gemessenen Beobach tungsdaten vorliegen und wir ein Modell für Prognose oder Systemidentifikation für eine weitere Vorrichtung, d.h. eine weitere Windturbine N+l erstellen wollen . Für die Vorrich tung, d.h. die Windturbine N+l liegt eine vergleichsweise ge ringe Anzahl von gemessenen Beobachtungsdaten vor, so dass ein Modell , d.h. eine Beschreibung des technischen Verhaltens der Windturbine N+l , welches nur anhand dieser Beobachtungs- daten erstellt wird, eine geringe Genauigkeit aufweisen wür de .

Als Beobachtungsdaten können beispielsweise gemessene Windge schwindigkeiten, Windrichtungen, Rotordrehzahl , Anstellwinkel der Rotorblätter und erzeugte elektrische Leistung für alle Sekunden der letzten fünf Minuten betrachtet werden . Es kön- nen jedoch auch andere technische Parameter der Windturbine verwendet werden.

Als Optimierungsziel könnte gemäß dem folgenden Beispiel eine möglichst genaue Prognose der produzierten mittleren elektri schen Leistung in den nächsten fünf Minuten betrachtet wer den .

Das Verfahren kann mit folgenden Schritten durchgeführt wer den :

1. Schritt :

Für die Vorrichtungen 1 bis N, im Folgenden Anlagen genannt, wird j eweils ein Bayes ' sches neuronales Netz BNN_i trainiert (siehe „Weight Uncertainty in Neural Networks" ; Blundell , Charles ; Cornebise, Julien; Kavukcuoglu, Koray; Wierstra, Daan; eprint arXiv:1505.05424; 05/2015 ; ARXIV; In Procee- dings of the 32nd International Conference on Machine Learn- ing; ICML 2015) , wobei j eweils nur die Beobachtungsdaten D___i verwendet werden, die von der Anlage i stammen . Die j eweili- gen BNN___i parametrieren als Ergebnis der Trainings je eine Wahrscheinlichkeitsverteilung über Funktionen F____I , aus der Instanzen F___i___j gezogen werden können .

2. Schritt :

Für j ede der Anlagen 1 bis N wird eine vorher festgelegte Anzahl M von Instanzen F___i_j aus den Wahrscheinlichkeitsver teilungen F___i gezogen . Jede dieser M * N Funktionen wird für die weitere Anlage N+l auf den Beobachtungsdaten D_N+1 der Anlage N+l ausgewertet . Dazu werden alle gezogenen Funktionen F__i____j auf allen Z__N+1 Beobachtungsdaten D_N+1 der Anlage N+l ausgewertet und das Resultat der Auswertung R___i___j ____ k mit den gemessenen Werten Y___k verglichen .

Dazu wird ein Fehlermaß E__i___j berechnet, zum Beispiel

E _i_j = 1 / Z_N+1 * „Summe von 1 bis Z_N+1" (R_i_j_k-Y_k) ² .

3. Schritt : Alle gezogenen Funktionen F_i_j werden mit einer Funktion des Fehlermaßes E_i_j gewichtet. Die Funktion für diese Wichtung W kann zum Beispiel sein:

W_i_j = 0 für alle Funktionen F_i_j , bei denen E_i_j größer als das 10-Prozent-Perzentil aller E_i_j und 1 sonst

oder

W_i_j = exp(-E_i_j / T) , wobei T>0 ein geeignet zu wählender Parameter ist.

Die Wichtungen W_i_j werden danach nicht mehr verändert.

4. Schritt:

Für eine Prognose oder eine Systemidentifikation für eine neue Beobachtung z an der Anlage N+l werden alle Funktionen F_i_j auf dieser Beobachtung ausgewertet, die Resultate wer den R_i_j_z genannt.

Das Modell für die Anlage N+l ist dann die gewichtete Summe aller Funktionen F_i_j , das heißt, das Resultat R_z ist die gewichtete Summe der Resultate R_i_j_z:

R z = „Summe von 1 bis N" („Summe von 1 bis M" (W i j * R i j z) ) /

„Summe von 1 bis N" („Summe von 1 bis M" (W_i_j ) )

Jedes neuronale Bayes Netz (BNN) F_i definiert eine Wahr scheinlichkeitsverteilung über neuronale Netze.

In einer möglichen Ausführung, wird jedes Gewicht innerhalb eines F_i als eine Gauß-Verteilung über Gewichte mit Mittel wert w und Standardabweichung s betrachtet. D.h. dort, wo klassische neuronale Netze ein Gewicht haben, hat das BNN nun zwei Zahlen, Mittelwert und Standardabweichung.

Um eine Instantiierung F_i_j aus F_i zu ziehen, wird aus all den Gauß-Verteilungen der Gewichte des F_i jeweils ein Ge wicht eines klassischen neuronalen Netzes gezogen.

Abhängig von der gewählten Ausführungsform können auch andere Verfahren verwendet werden, wobei die Ähnlichkeit des techni- sehen Verhaltens der Quellmodelle im Vergleich zu dem gemes senen Verhalten der Vorrichtung zu berücksichtigen ist.

Im Folgenden wird ein weiteres Beispiel für ein Verfahren zur Ermittlung von Funktionen anderer Vorrichtungen erläutert, mit denen eine technische Funktion der Vorrichtung abge schätzt werden kann.

Es wird eine erste Funktion bereitgestellt, die ein techni sches Verhalten einer ersten Vorrichtung beschreibt. Die ers te Funktion ermittelt abhängig von einem technischen Aus gangszustand der Vorrichtung und dem Ausführen wenigstens ei ner Aktion, d.h. z.B. Vorgabe eines Steuerbefehls, der we nigstens einen technischen Parameter beim Betreiben der ers ten Vorrichtung ändert, wenigstens ein erstes Beobachtungsda tum für einen Folgezustand, in den die erste Vorrichtung übergeht. Das erste Beobachtungsdatum beschreibt wenigstens einen Aspekt oder Parameter des technischen Folgezustandes der ersten Vorrichtung, in den die erste Vorrichtung nach der Aktion übergeht.

Die erste Funktion kann ausgebildet sein, um für die Aktion weitere erste Beobachtungsdaten des Folgezustandes der ersten Vorrichtung zu ermitteln. Die weiteren ersten Beobachtungsda ten beschreiben weitere Aspekte des technischen Folgezustan des der ersten Vorrichtung nach Ausführen der Aktion. Zudem kann die erste Funktion ausgebildet sein, das technische Ver halten der ersten Vorrichtung bei Ausführen verschiedener Ak tionen, insbesondere bei zeitlich nacheinander ausgeführten Aktionen in Form von weiteren ersten Beobachtungsdaten zu be schreiben .

Es wird eine festgelegte Anzahl von weiteren ersten Funktio nen bereitgestellt, die das technische Verhalten der ersten Vorrichtung durch Ermittlung von weiteren ersten Beobach tungsdaten in Abhängigkeit von Aktionen, die auf die erste Vorrichtung einwirken, beschreiben. Die weiteren ersten Funk tionen sind in der Weise ausgebildet, dass die ersten Be- obachtungsdaten der ersten Funktionen bei gleicher Aktion o- der bei gleichen Aktionen, die auf die erste Vorrichtung ein wirken, eine vorgegebene statistische Verteilung aufweisen.

Die ersten Funktionen können beispielsweise durch ein abhän gig von gemessenen ersten Beobachtungsdaten trainiertes ers tes Bayes Netz bereitgestellt werden. Dabei können die ersten Beobachtungsdaten Gewichtungen des Bayes Netzes darstellen und z.B. mit einer Gauß-Funktion variieren. Entsprechend va riieren auch die vom ersten Bayes Netz ermittelten ersten Be obachtungsdaten für den gleichen Zustand der ersten Vorrich tung und die gleiche Aktion, die auf die erste Vorrichtung einwirkt .

Es wird eine zweite Funktion bereitgestellt, die ein techni sches Verhalten einer zweiten Vorrichtung beschreibt. Die zweite Funktion ermittelt abhängig von wenigstens einer Akti on, d.h. z.B. einem Steuerbefehl, der auf die zweite Vorrich tung einwirkt, wenigstens ein zweites Beobachtungsdatum für einen Folgezustand, in den die zweite Vorrichtung durch die Aktion übergeht. Das zweite Beobachtungsdatum beschreibt we nigstens einen Aspekt oder Parameter eines technischen Folge zustandes der zweiten Vorrichtung nach Einwirken der Aktion. Die zweite Funktion kann ausgebildet sein, um für die Aktion weitere zweite Beobachtungsdaten der zweiten Vorrichtung zu ermitteln. Die weiteren zweiten Beobachtungsdaten beschreiben weitere Aspekte des technischen Zustandes der zweiten Vor richtung nach der Aktion. Zudem kann die zweite Funktion aus gebildet sein, das technische Verhalten der zweiten Vorrich tung bei Einwirken verschiedener Aktionen, d.h. Steuerbefeh le, die z.B. zeitlich nacheinander ausgeführt werden, in Form von weiteren zweiten Beobachtungsdaten zu beschreiben.

Es wird eine festgelegte Anzahl von weiteren zweiten Funktio nen bereitgestellt, die das technische Verhalten der zweiten Vorrichtung durch Ermittlung von weiteren zweiten Beobach tungsdaten in Abhängigkeit von Aktionen, die auf die zweite Vorrichtung einwirken, beschreiben. Die weiteren zweiten Funktionen sind in der Weise ausgebildet, dass die zweiten Beobachtungsdaten der zweiten Funktionen bei gleicher Aktion oder bei gleichen Aktionen, die auf die zweite Vorrichtung einwirken, eine vorgegebene statistische Verteilung aufwei sen. Die zweiten Funktionen können beispielsweise durch ein abhängig von gemessenen Beobachtungsdaten der zweiten Vor richtung trainiertes zweites Bayes Netz bereitgestellt wer den. Dabei können die zweiten Beobachtungsdaten, die die Ge wichtungen des Bayes Netzes darstellen, z.B. mit einer Gauß- Funktion variieren. Entsprechend variieren auch die vom zwei ten Bayes Netz ermittelten zweiten Beobachtungsdaten für den gleichen Zustand der zweiten Vorrichtung und die gleiche Ak tion, die auf die zweite Vorrichtung einwirkt.

Es werden Beobachtungsdaten der Vorrichtung in Abhängigkeit von Aktionen, d.h. z.B. Vorgabe von Steuerwerten gemessen, die auf die Vorrichtung einwirken. Die Vorrichtung ist bei spielsweise wenigstens teilweise in der technischen Funktion ähnlich oder identisch zu der technischen Funktion der ersten Vorrichtung und/oder zu der technischen Funktion der zweiten Vorrichtung .

Die gemessenen Beobachtungsdaten der Vorrichtung werden mit den ermittelten ersten Beobachtungsdaten einer ersten Funkti on verglichen, die für den gleichen Ausgangszustand der ers ten Vorrichtung und der Vorrichtung und für die gleiche Akti on ermittelt wurden. Im einfachsten Fall kann der Vergleich in dem Bilden einer Differenz zwischen einem gemessenen Be obachtungsdatum der Vorrichtung und einem ermittelten ersten Beobachtungsdatum der ersten Funktion liegen.

Es wird ein Bewertungsfaktor für das erste Beobachtungsdatum in Abhängigkeit vom Vergleich ermittelt. Der Bewertungsfaktor gibt einen Wert an, wie gut das gemessene Beobachtungsdatum der ersten Funktion der ersten Vorrichtung das technische Verhalten der Vorrichtung beschreibt. Auf diese Weise kann für eine Vielzahl von ersten Beobachtungsdaten der ersten Funktion jeweils ein Bewertungsfaktor ermittelt werden. Aus den Bewertungsfaktoren der ersten Beobachtungsdaten wird ein gemittelter Bewertungsfaktor gebildet. Mit dem gemittelten Bewertungsfaktor wird die erste Funktion bewertet.

In analoger Weise werden die gemessenen Beobachtungsdaten der Vorrichtung mit den ermittelten ersten Beobachtungsdaten von weiteren ersten Funktionen verglichen. Im einfachsten Fall kann der Vergleich in dem Bilden einer Differenz zwischen ei nem gemessenen Beobachtungsdatum und einem ermittelten ersten Beobachtungsdatum liegen. Es wird ein Bewertungsfaktor für das erste Beobachtungsdatum in Abhängigkeit vom Vergleich er mittelt. Der Bewertungsfaktor gibt einen Wert an, wie gut die erste Funktion der ersten Vorrichtung für das betrachtete Be obachtungsdatum das technische Verhalten der Vorrichtung be schreibt. Auf diese Weise kann für eine Vielzahl von ersten Beobachtungsdaten von weiteren ersten Funktionen jeweils ein Bewertungsfaktor ermittelt werden. Aus den Bewertungsfaktoren der ersten Beobachtungsdaten wird ein gemittelter Bewertungs faktor für jede weitere erste Funktion gebildet. Mit den ge mittelten Bewertungsfaktoren werden die weiteren ersten Funk tionen bewertet.

In einer Ausführung werden für eine Abschätzung eines Be obachtungsdatums der Vorrichtung für eine vorgegebene Aktion bei einem vorgegebenen Zustand der Vorrichtung wenigstens die mit dem jeweiligen Bewertungsfaktor bewerteten ersten Be obachtungsdaten von zwei ersten Funktionen der ersten Quell vorrichtung für die vorgegebene Aktion summiert und der arithmetische Mittelwert gebildet. Beispielsweise können für die Ermittlung eines Beobachtungsdatums der Vorrichtung für eine vorgegebene Aktion bei einem vorgegebenen Zustand der Vorrichtung die mit dem jeweiligen Bewertungsfaktor bewerte ten ersten Beobachtungsdaten aller ersten Funktionen summiert werden und der arithmetische Mittelwert gebildet werden.

In einer Ausführung werden für eine Abschätzung einer techni schen Funktion der Vorrichtung wenigstens zwei mit den gemit telten Bewertungsfaktoren bewerteten ersten Funktionen gemit- telt und als gemittelte erste Funktion verwendet. Beispiels weise können für die Ermittlung einer technischen Funktion der Vorrichtung mehrere, insbesondere alle mit den gemittel ten Bewertungsfaktoren bewerteten ersten Funktionen gemittelt werden und als gemittelte erste Funktion verwendet werden.

Die gemessenen Beobachtungsdaten der Vorrichtung werden mit den ermittelten zweiten Beobachtungsdaten einer zweiten Funk tion der zweiten Quellvorrichtung für die gleichen Aktionen bei den gleichen Zuständen der Vorrichtung und der zweiten Quellvorrichtung verglichen. Im einfachsten Fall kann der Vergleich in dem Bilden einer Differenz zwischen einem gemes senen Beobachtungsdatum und einem ermittelten zweiten Be obachtungsdatum liegen.

Es wird ein Bewertungsfaktor für das zweite Beobachtungsdatum in Abhängigkeit von dem Ergebnis des Vergleichs ermittelt.

Der Bewertungsfaktor gibt einen Wert an, wie gut die zweite Funktion der zweiten Quellvorrichtung für das betrachtete Be obachtungsdatum das technische Verhalten der Vorrichtung be schreibt. Auf diese Weise kann für eine Vielzahl von zweiten Beobachtungsdaten der zweiten Funktion jeweils ein Bewer tungsfaktor ermittelt werden. Aus den Bewertungsfaktoren der zweiten Beobachtungsdaten wird ein gemittelter zweiter Bewer tungsfaktor gebildet. Mit dem gemittelten Bewertungsfaktor wird die zweite Funktion bewertet. Die Berechnungen und Er mittlungen werden analog zu den ersten Funktionen ausgeführt.

In analoger Weise werden die gemessenen Beobachtungsdaten der Vorrichtung mit den ermittelten zweiten Beobachtungsdaten von weiteren zweiten Funktionen für die gleichen Aktionen ausge hend von den gleichen Zuständen der Vorrichtung und der zwei ten Quellvorrichtung verglichen. Im einfachsten Fall kann der Vergleich in dem Bilden einer Differenz zwischen einem gemes senen Beobachtungsdatum und einem ermittelten zweiten Be obachtungsdatum liegen. Es wird ein Bewertungsfaktor für das zweite Beobachtungsdatum in Abhängigkeit von dem Ergebnis des Vergleichs ermittelt.

Der Bewertungsfaktor gibt einen Wert an, wie gut die zweite Funktion der zweiten Quellvorrichtung für das betrachtete Be obachtungsdatum das technische Verhalten der Vorrichtung be schreibt. Auf diese Weise kann für eine Vielzahl von zweiten Beobachtungsdaten von weiteren zweiten Funktionen jeweils ein zweiter Bewertungsfaktor ermittelt werden. Aus den Bewer tungsfaktoren der zweiten Beobachtungsdaten wird ein gemit telter zweiter Bewertungsfaktor für jede weitere zweite Funk tion gebildet. Mit den gemittelten zweiten Bewertungsfaktoren werden die weiteren zweiten Funktionen bewertet.

In einer Ausführung werden für eine Abschätzung eines Be obachtungsdatums der Vorrichtung für eine vorgegebene Aktion wenigstens die mit dem jeweiligen Bewertungsfaktor bewerteten zweiten Beobachtungsdaten von zwei zweiten Funktionen für die vorgegebene Aktion bei gleichem Zustand der Vorrichtung und der zweiten Quellvorrichtung summiert und der arithmetische Mittelwert gebildet. Beispielsweise können für die Ermittlung eines Beobachtungsdatums der Vorrichtung für eine vorgegebene Aktion bei einem vorgegebenen Zustand der Vorrichtung die mit dem jeweiligen Bewertungsfaktor bewerteten zweiten Beobach tungsdaten aller zweiten Funktionen für die gleiche vorgege bene Aktion bei gleichem Zustand summiert werden und der arithmetische Mittelwert gebildet werden.

In einer Ausführung werden für die Abschätzung einer techni schen Funktion der Vorrichtung wenigstens zwei mit den gemit telten Bewertungsfaktoren bewerteten zweiten Funktionen ge mittelt und als gemittelte zweite Funktion verwendet. Bei spielsweise können für die Ermittlung einer technischen Funk tion der Vorrichtung mehrere, insbesondere alle mit den ge mittelten zweiten Bewertungsfaktoren bewerteten zweiten Funk tionen gemittelt werden und als gemittelte zweite Funktion verwendet werden. In einer Ausführung werden für die Abschätzung einer techni schen Funktion der Vorrichtung wenigstens die mit dem gemit telten Bewertungsfaktor bewertete erste Funktion und die we nigstens mit dem gemittelten zweiten Bewertungsfaktor bewer tete zweite Funktion gemittelt und als gemittelte gemeinsame Funktion verwendet. Beispielsweise können für die Abschätzung einer technischen Funktion der Vorrichtung mehrere, insbeson dere alle mit den gemittelten Bewertungsfaktoren bewerteten ersten Funktionen des ersten Quellmodells und mehrere, insbe sondere alle mit den gemittelten zweiten Bewertungsfaktoren bewerteten zweiten Funktionen des zweiten Quellmodells gemit telt werden und als gemittelte gemeinsame Funktion verwendet werden .

Bei Programmpunkt 130 wird mithilfe der bewerteten Funktionen des wenigstens einen Quellmodells wenigstens ein Beobach tungsdatum des technischen Verhaltens der Vorrichtung abge schätzt. Abhängig von der gewählten Ausführungsform kann eine Vielzahl von Beobachtungsdaten des technischen Verhaltens der Vorrichtung mithilfe der Funktionen des wenigstens einen Quellmodells abgeschätzt werden.

Zudem können abhängig von der gewählten Ausführungsform nicht nur zwei Funktionen einen Quellmodells, sondern mehrere oder eine Vielzahl von Funktionen eines Quellmodelles verwendet werden, die mehrere oder eine Vielzahl von Quellbeobachtungs daten für einen Zustandsübergang von einem Ausgangszustand nach einer Steuerung (Aktion) in einen Folgezustand beschrei ben. Die Quellbeobachtungsdaten einer Funktion weisen die vorgegebene statistische Ungenauigkeit auf. Die vorgegebene statistische Ungenauigkeit kann beispielsweise eine Gaußver teilung aufweisen, wobei die Gaußverteilung durch einen vor gegebenen Mittelwert und eine vorgegebene Standardabweichung festgelegt ist.

Abhängig von der gewählten Ausführungsform können nicht nur Funktionen eines Quellmodelles einer Quellvorrichtung, son dern Funktionen mehrerer Quellmodelle mehrerer Quellvorrich- tungen verwendet werden. Durch die Verwendung mehrerer Quell modelle gleicher oder verschiedener Quellvorrichtungen können mehr Quellbeobachtungsdaten und/oder verschiedene technische Verhalten der Quellvorrichtungen berücksichtigt werden, um das technische Verhalten der Vorrichtung abzuschätzen.

Das zweite Quellmodell weist wenigstens zwei Funktionen auf, die ein technisches Verhalten einer zweiten Quellvorrichtung mit einer statistischen Ungenauigkeit beschreiben. Die sta tistische Ungenauigkeit kann gleich oder unterschiedlich zu der statistischen Ungenauigkeit der Funktionen des ersten Quellmodells sein. Die Funktionen des zweiten Quellmodelles werden in der gleichen Weise wie die Funktionen des ersten Quellmodells mit einem gemessenen technischen Verhalten der Vorrichtung verglichen. Ebenso wird für jede Funktion des zweiten Quellmodells aufgrund des Vergleichs ein Bewertungs faktor ermittelt.

Folglich kann mithilfe der bewerteten Funktionen des zweiten Quellmodells und mithilfe der bewerteten Funktionen des ers ten Quellmodells bei Programmpunkt 130 wenigstens ein Be obachtungsdatum des technischen Verhaltens der Vorrichtung abgeschätzt werden.

Weiterhin kann abhängig von der gewählten Ausführungsform nicht nur ein Beobachtungsdatum der Vorrichtung bei Programm punkt 130 abgeschätzt werden, sondern es kann mithilfe der bewerten Funktionen des wenigstens einen Quellmodells, insbe sondere von mehreren Quellmodellen ein technisches Verhalten der Vorrichtung für eine vorgegebene Folge von Steuerwerten (Aktionen) , die auf die Vorrichtung einwirken, abgeschätzt werden. Somit kann eine Steuerpolicy, d.h. eine Abfolge von Steuerwerten, für ein gewünschtes technisches Verhalten der Vorrichtung ermittelt werden. Der wenigstens eine Steuerwert oder die Steuerpolicy kann zur Steuerung der Vorrichtung ver wendet werden. Zudem kann abhängig von der gewählten Ausführungsform mithil fe der bewerteten Funktionen des wenigstens einen Quellmo dells ein Modell für ein technisches Verhalten der Vorrich tung ermittelt werden. Beispielsweise kann das Modell für das technische Verhalten der Vorrichtung mithilfe eines neurona len Netzes ermittelt werden.

In einer Ausführungsform kann mithilfe der bewerteten Funkti onen des wenigstens einen Quellmodells bei einem folgenden Programmpunkt 140 mithilfe eines Lernverfahrens ein Steuer verfahren für ein gewünschtes technisches Verhalten der Vor richtung ermittelt werden. Das Lernverfahren kann beispiels weise als verstärkendes Lernverfahren ausgebildet sein.

Bei dem verstärkenden Lernverfahren kann die statistische Un sicherheit der Funktionen des wenigstens einen Quellmodells als Steuerwert berücksichtigt werden. Insbesondere kann die statistische Unsicherheit auf einen vorgegebenen Wertebereich hin optimiert werden, um ein gewünschtes Steuerverfahren zu ermitteln .

FIG 2 zeigt in einer schematischen Darstellung ein Beispiel für ein neuronales Bayes Netz, mit dem ein Quellmodell einer Quellvorrichtung simuliert werden kann. Das Bayes Netz ist eine spezielle Ausführung eines neuronalen Netzwerkes, bei dem für ein technisches Verhalten einer Vorrichtung bei einem Eingangsvektor xl, x2 mithilfe von Gewichtsverteilungen wll, wl2, wl3, w21, w22, w23, w3, w4, w5, wobei jede Gewichtsver teilung eine statistische Verteilung aufweist, über wenigs tens eine verdeckte Schicht mit Knoten hl, h2, h3 wenigstens ein Quellbeobachtungsdatum y ermittelt werden kann. Das Bayes Netz wird anhand von vorgegebenen, insbesondere gemessenen Daten einer Quellvorrichtung trainiert, um die Gewichtsver teilungen wll, wl2, wl3, w21, w22, w23, w3, w4, w5 zu ermit teln. Die Gewichtsverteilungen können unterschiedliche Funk tionen für die Verteilung des Gewichtes aufweisen, wobei die Gewichtsverteilungen in der Weise gewählt sind, dass das Mo- dell den Ausgangsvektor y bei Vorliegen eines Eingangsvektors x mit der Wahrscheinlichkeitsverteilung w festlegt.

Die Wahrscheinlichkeitsverteilung wird mit folgender Formel bestimmt: P(y|x,w), wobei x ein Eingangsvektor mit Aktionen xl, x2 usw. mit einer Wahrscheinlichkeit w auf einen Aus gangsvektor y abbildet. Die Gewichtsverteilungen können bei spielsweise mithilfe einer Maximum-Likelihood-Estimation mit einem vorgegebenen Satz von Trainingsdaten, die Eingangsvek toren auf Ausgangsvektoren abbilden, wobei durch die Maximum- Likelihood-Estimation Gewichte w(MLE) nach folgender Formel berechnet werden:

w(MLE) = argmaxlogP (D/w)

= argmax logP ( yi /xi , w)

Diese Berechnung kann typischerweise mithilfe eines Gradien tenverfahrens (Gradient Descent) ermittelt werden, wobei an genommen wird, dass logP(D/w) differenzierbar nach w ist. Ei ne genauere Beschreibung einer möglichen Ausführungsform des Bayes Netzwerkes kann dem Artikel „Weight Uncertainty in Neu ral Networks", Charles Blundell et al . arXiv : 1505.05424v2 ,

21. Mai 2015, Google DeepMind entnommen werden.

Gemäß dem beschriebenen Bayes Netz von FIG 2 werden für vor gegebene erste und zweite Quellvorrichtungen jeweils ein ers tes und ein zweites Quellmodell mit wenigstens zwei, insbe sondere mehreren Funktionen ermittelt. Die einzelnen Funktio nen des ersten und des zweiten Quellmodells werden dadurch erhalten, dass von den einzelnen Gewichtsverteilungen wll, wl2, wl3, w21, w22, w23, w3, w4, w5 jeweils bestimmte Werte ausgewählt werden und somit eine bestimmte Anzahl von Funkti onen zur Abbildung des Eingangsvektors x auf den Ausgangsvek tor y erhalten werden.

FIG 3 zeigt in einer schematischen Darstellung ein selbstver stärkendes Lernverfahren. Das Lernverfahren kann eingesetzt werden, um eine Steuerung oder Regelung mit einem gewünschten technischen Verhalten der Vorrichtung zu ermitteln.

Die mit dem Lernverfahren ermittelte Steuerung oder Regelung wird an dem technischen System, d.h. der Vorrichtung einge setzt, um ein gewünschtes technisches Verhalten der Vorrich tung zu erreichen. Beispielsweise kann das gewünschte Verhal ten darin bestehen, eine Windturbine so zu regeln, dass die erzeugte Leistung maximiert wird und gleichzeitig gewisse Be lastungen der Rotorblätter nicht überschritten werden. Es können jedoch auch andere gewünschte technische Verhalten wie z.B. hoher Wirkungsgrad usw. mithilfe der Steuerung oder Re gelung erreicht werden.

Um eine möglichst dem gewünschten technischen Verhalten ent sprechende Steuerung oder Regelung zu erhalten, ist es unter gewissen Umständen vorteilhaft, die Regelung anhand von Be obachtungsdaten der technischen Anlage zu trainieren, d.h. die Regelung von den Beobachtungsdaten lernen zu lassen. Dies ist mit Methoden des Reinforcement Learning möglich. Um die erforderliche Menge an Beobachtungsdaten der technischen An lage möglichst gering zu halten, ist es unter gewissen Um ständen vorteilhaft zusätzliche Beobachtungsdaten ähnlicher technischen Vorrichtungen als Quellvorrichtungen für ein Transfer Learning (auch Transferlernen) zu verwenden.

Neu ist in einem solchen Ansatz, der das Transferlernen nutzt, mit Methoden des Reinforcement Learnings eine Steue rung oder Regelung zu lernen, die eine Unsicherheit eines technischen Verhaltens einer Quellvorrichtung für die Ab schätzung des Verhaltens der Vorrichtung verwendet, um daraus beispielsweise ein Systemmodell oder eine Steuerpolicy für die Vorrichtung zu ermitteln.

Die Unsicherheit ist dabei ein Maß dafür, wie unsicher die Richtigkeit eines technischen Verhaltens der Vorrichtung durch das technische Verhalten der Quellvorrichtung abge schätzt werden kann. Die Unsicherheit schätzt die Wahrschein lichkeit des wahren Wertes eines Beobachtungsdatums der Vor richtung durch die Funktionen des Quellmodells der Quellvor richtung ab.

Die abgeschätzte Unsicherheit kann beim Lernverfahren dabei so berücksichtigt werden, dass eine Verringerung der Unsi cherheit die Belohnungsfunktion (reward function, Reward- Funktion) des Lernverfahrens erhöht. Dies bedeutet, dass alle Aktionen belohnt werden, die kurz- oder langfristig zu einer Verringerung der Unsicherheit führen. Es wird angenommen, dass die Unsicherheit eine gewisse Übereinstimmung mit der wahren Unsicherheit aufweist und dies zu gesteigerter Robust heit der Lösung, da die Wahrscheinlichkeit für das Auftreten eines abweichenden Verhaltens der Realität im Vergleich zu der gelernten Schätzung verringert wird.

Somit lässt sich also bei gleicher Datenmenge eine Steuerung oder Regelung lernen, deren Wahrscheinlichkeit für Misserfolg geringer ist. Man erhält also einen verbesserten Erwartungs wert der Leistungsfähigkeit (Performance) . Dies bedeutet auch, dass bei für einen vorgegeben Wert des Erwartungswertes der Leistungsfähigkeit, der nicht unterschritten werden darf, die Datenmenge kleiner sein darf.

Alternativ kann die Unsicherheit so berücksichtigt werden, dass eine Erhöhung der Unsicherheit die Belohnungsfunktion (reward function, Reward-Funktion) erhöht. Dies bedeutet eine Belohnung aller Aktionen, die kurz- oder langfristig zu einer Erhöhung der Unsicherheit führen. Bei dieser Vorgehensweise wird angenommen, dass die Unsicherheit eine gewisse Überein stimmung mit der wahren Unsicherheit aufweist. Somit wird ei ne Lösung erhalten, die die Wahrscheinlichkeit für das Auf treten eines abweichenden Verhaltens der Realität im Ver gleich zu der gelernten Schätzung erhöht. Eine solche Abwei chung liefert Information über die Realität genau dort, wo die Schätzung verbesserungswürdig ist. Somit lässt sich also bei gleicher Datenmenge eine Regelung oder Steuerung lernen, die dazu führt, dass möglichst effektiv Beobachtungen erzeugt werden, die das Lernen begünstigen. Wenn nun mit den solcher maßen erzeugten Beobachtungsdaten eine Regelung nach dem vor herigen Verfahren gelernt wird, wird eine geforderte Leis tungsfähigkeit (Performance) mit einer möglichst geringen Da tenmenge gelernt.

FIG 3 zeigt in einer schematischen Darstellung ein Grundprin zip für ein Lernverfahren in Form eines verstärkenden Lern verfahrens. Es ist eine Steuereinheit 1 vorgesehen, die eine Steuerung beispielsweise in Form der Vorgabe eines Steuerwer tes 2, d.h. eine Aktion für eine Vorrichtung 3 vorgibt. Zudem werden Zustände der Vorrichtung 3 mithilfe von Sensorsignalen 4 von der Steuereinheit 1 erfasst. In der Steuereinheit 1 ist ein gewünschtes technisches Verhalten der Vorrichtung 3 abge legt. Die Steuereinheit 1 vergleicht den Zustand der Vorrich tung nach der Ansteuerung mit dem Steuerwert, der anhand der Sensorsignale 4 erfasst wurde, mit einem Zustand des ge wünschten Verhaltens. Abhängig von dem Unterschied zwischen dem gemessenen Zustand der Vorrichtung und dem gewünschten Zustand der Vorrichtung wird der Aktion 2 beispielsweise mit hilfe einer Belohnungsfunktion ein spezifischer Wert zugeord net. Basierend auf diesen Werten wird eine Strategie entwi ckelt, mit welchen Aktionen schnellstmöglich oder bestmöglich das gewünschte technische Verhalten der Vorrichtung erreicht wird. Somit können auf einfache und schnelle Weise Steu erstrategien (Policies) erlernt werden, mit denen ein ge wünschtes technisches Verhalten der Vorrichtung erreicht wird .

In der hier beschriebenen Ausführungsform wird rechnerge stützt basierend auf Trainingsdaten eine Aktionsauswahlregel gelernt, wobei eine Aktionsauswahlregel im Allgemeinen an gibt, welche Aktion in einem vorgegebenen Zustand des techni schen Systems bevorzugt auszuführen ist. Die Aktionsauswahl regel kann hierbei deterministisch sein, d.h. es wird eine bestimmte Aktion durch die Regel festgelegt, sie kann jedoch auch stochastisch sein, d.h. die Aktionsauswahlregel gibt ei ne Wahrscheinlichkeitsverteilung der durchzuführenden Aktio nen ausgehend von einem Zustand an. Ziel des Verfahrens ist z.B. das Lernen einer sog. sicherheitsoptimalen Aktionsaus wahlregel, welche nicht notwendigerweise im Hinblick auf die erwartete Performanz optimal ist, sondern einer statistischen Mindestanforderung an die Aktionsauswahlregel genügt. Auf diese Weise können Aktionsauswahlregeln gelernt werden, wel che zwar nicht das Optimalitätskriterium der maximalen erwar teten Performanz erfüllen, jedoch eine garantierte Performanz maximieren .

Es wird ein bestärkendes Lernverfahren verwendet, bei dem die Aktionsauswahlregel basierend auf dem entsprechenden Optima litätskriterium gelernt wird. Das Optimalitätskriterium wird dabei durch eine entsprechende Bewertung R repräsentiert, wo bei die Bewertung für einen Zustand s, die in diesem Zustand s durchgeführte Aktion a und den Folgezustand s' angibt, wie erstrebenswert die durchgeführte Aktion a im Hinblick auf den Optimalbetrieb des technischen Systems ist. Der Optimalbe trieb kann in Abhängigkeit von dem betrachteten technischen System beliebig festgelegt sein. Beispielsweise sind Krite rien für einen solchen Betrieb, dass keine Zustände auftre- ten, die zu einer Beschädigung bzw. Zerstörung des techni schen Systems führen, bzw. dass ein optimaler Wirkungsgrad im Betrieb des technischen Systems erreicht wird. Bei einer Gas turbine könnte der Optimalbetrieb beispielsweise dadurch spe zifiziert sein, dass ein hoher Wirkungsgrad erreicht wird, ohne dass ein Brummen der Turbine auftritt.

Gemäß dem bestärkenden Lernen wird nach einer Aktionsauswahl regel n : S _^ A gesucht, welche unter der Annahme eines Markov- Entscheidungs-Prozesses M:=(S, A, PT , R) mit dem Zustands raum S, dem Aktionsraum A sowie der Wahrscheinlichkeitsver teilung PT:SxAxS _^ [0,1] zu einem optimalen Betrieb des tech nischen Systems führt. Dabei wird jeder Zustand, die in die sem Zustand ausgeführte Aktion und der daraus resultierende Folgezustand mit der Belohnungsfunktion RiSxAxS _^ R bewertet. Der Optimalbetrieb wird dabei durch das Maximum der sog. Va- lue-Funktion beschrieben, welche wie folgt lautet:

Diese Value-Funktion ist die erwartete diskontierte Summe von zukünftigen Bewertungen, wobei g£[0,1] der Diskontierungs faktor ist. Dabei wird in der Regel die sog. Q-Funktion Qn (s, a) verwendet, welche die erwartete diskontierte Belohnung nach der Wahl der Aktion a im Zustand s und dem darauffolgen den Befolgen der Aktionsauswahlregel n repräsentiert. Die Q-Funktion für die optimale Aktionsauswahlregel Qn* = Q* ist dabei durch eine Lösung der sog. Bellman-Optimalitäts- Gleichung gegeben, welche wie folgt lautet:

Q ^* (s, a) = E _s · [R (s, a, s') + yV ^* (s')] = E _s · [ R (s, a, s') + g max Q ^* (s' + a') J

a ^!

Es' ist dabei der Erwartungswert. Ausgehend von Q* gilt für die optimale Aktionsauswahlregel n*(s)=arg maxa Q*(s,a), wo bei n* eine deterministische Aktionsauswahlregel darstellt. Wie bereits oben erwähnt, kann die Aktionsauswahlregel jedoch auch als stochastische Aktionsauswahlregel n(a|s) ausgestal tet sein, welche die Wahrscheinlichkeit für die Wahl der Ak tion a im Zustand s liefert.

Die obige Bellman-Optimalitäts-Gleichung wird durch die Bell- man-Iteration gelöst.

Obwohl die Erfindung im Detail durch das bevorzugte Ausfüh rungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele einge schränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen .