Beschreibung

Verfahren zur rechnergestützten Exploration von Zuständen eines technischen Systems

Die Erfindung betrifft ein Verfahren zur rechnergestützten Exploration von Zuständen eines technischen Systems sowie ein entsprechendes Computerprogrammprodukt .

Aus dem Stand der Technik sind verschiedene Verfahren bekannt, bei denen rechnergestützt das dynamische zeitliche Verhalten eines technischen Systems unter Berücksichtigung vorbestimmter Kriterien optimiert wird. Beispiele solcher Verfahren sind Lernverfahren, welche basierend auf bekannten Daten des technischen Systems eine optimierte Regelung des

Systems lernen. Das technische System wird hierbei durch Zustände beschrieben, welche messbare Zustandsgrößen des technischen Systems darstellen, wie z.B. physikalische Größen, wie Druck, Temperatur, Leistung und dergleichen. Ferner sind in dem technischen System Aktionen definiert, welche die Veränderungen von bestimmten Stellgrößen am technischen System beschreiben, wie z.B. die Veränderung von Ventilstellungen, Erhöhung von Druck und dergleichen. Durch eine Aktion wird der Zustand eines technischen Systems in einen neuen Folgezu- stand überführt. Bekannte Lernverfahren lernen dabei eine optimale Aktionsauswahl-Regel, welche für jeden Zustand des technischen Systems die optimale Aktion zur überführung des Systems in einen neuen Zustand festlegt. Jede Aktion wird hierbei beispielsweise durch eine Belohnung oder Bestrafung, insbesondere unter Einbeziehung einer Kostenfunktion, bewertet, wobei mit Hilfe der Bewertungen ein optimales dynamisches Verhalten des technischen Systems erzielt werden kann.

Grundlage zur geeigneten Bestimmung eines optimalen Verhal- tens eines technischen Systems ist hierbei eine gute Datenbasis in der Form eines gut explorierten Zustandsraums des technischen Systems. Es muss somit eine Vielzahl von geeigneten Daten über das technische System in der Form von Zustän-

den, Aktionen und Folgezuständen vorliegen. Es besteht hierbei das Problem, dass bei der Exploration des Zustandsraums zur Ermittlung einer geeigneten Datenbasis Zustände eingenommen werden können, welche als unsicher einzustufen sind, d.h. welche unter Umständen unmittelbar bzw. mittelbar zu einer Beschädigung des technischen Systems bzw. zu dessen Fehlbetrieb führen können.

Aufgabe der Erfindung ist es deshalb, ein Verfahren zur rech- nergestützten Exploration von Zuständen eines technischen Systems zu schaffen, mit dem das Einnehmen von unsicheren Zuständen vermieden wird und gleichzeitig der Zustandsraum so durchlaufen wird, dass eine gute Datenbasis für die Durchführung eines anschließenden Verfahrens zur Ermittlung einer op- timalen Regelung des technischen Systems geschaffen wird.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.

In dem erfindungsgemäßen Verfahren werden aufeinander folgend Zustände des technischen Systems durchlaufen, indem in einem jeweiligen Zustand des technischen Systems eine Aktion ausgeführt wird, welche zu einem neuen Zustand führt. Dabei werden eine Sicherheitsfunktion und eine Rückführungsregel verwendet. Mit Hilfe der Sicherheitsfunktion wird vor dem Ausführen von Aktionen, welche zu unbekannten, vormals noch nicht durchlaufenen Zuständen führen, bestimmt, ob die jeweilige Aktion eine zulässige oder unzulässige Aktion im technischen System ist, wobei die Aktion nur ausgeführt wird, wenn sie zulässig ist. Die Sicherheitsfunktion gewährleistet somit, dass unbekannte Zustände nur dann exploriert werden, wenn sie gemäß vorgegebenen Kriterien als sicher eingestuft werden. Neben einer Sicherheitsfunktion wird in dem erfindungsgemäßen Verfahren ferner eine Rückführungsregel verwendet, wobei bei Erreichen von unbekannten, vormals noch nicht durchlaufenen Zuständen des technischen Systems die nachfolgenden Aktionen basierend auf dieser Rückführungsregel ausgewählt werden. Die

Rückführungsregel dient dazu, die Zustände des technischen Systems auf bekannte Zustände zurückzuführen. Mit dieser Rückführungsregel wird gewährleistet, dass die Zustände des technischen Systems von einem neuen unbekannten Zustand wie- der zurück in einen bekannten Zustandsbereich laufen. Hierdurch wird vermieden, dass sich die Zustände des technischen Systems durch Aktionen in Zustandsgebiete bewegen, welche zu einer Beschädigung des technischen Systems führen können.

Das erfindungsgemäße Verfahren hat den Vorteil, dass durch die Verwendung einer Sicherheitsfunktion und einer Rückführungsregel geeignete Mechanismen bereitgestellt werden, mit denen eine umfassende Exploration des Zustandsraums erreicht wird, wobei die Gefahr, dass unzulässige Aktionen ausgeführt werden, weitestgehend vermieden wird.

In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens sind die unzulässigen Aktionen derart charakterisiert, dass beim Ausführen einer unzulässigen Aktion das technische System mit einer Wahrscheinlichkeit von eins oder mit einer Wahrscheinlichkeit größer null in einen Zustand gelangt, der zu einem unerwünschten bzw. fehlerhaften Betriebszustand des technischen Systems entweder unmittelbar nach Ausführen der unzulässigen Aktion oder mittelbar nach Ausfüh- ren weiterer Aktionen führt. Ein unerwünschter bzw. fehlerhafter Betriebszustand ist dabei insbesondere ein Zustand, der eine Beschädigung bzw. eine Zerstörung des technischen Systems zur Folge hat.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird die Rückführungsregel auch dann angewendet, wenn in dem technischen System Zustände erreicht werden, bei denen eine auszuführende Aktion gemäß der Sicherheitsfunktion als unzulässig eingestuft wird. Hierdurch wird die sichere Explo- ration des Zustandsraums weiter verbessert.

In einer weiteren Ausführungsform werden die ausgeführten Aktionen jeweils in Abhängigkeit von dem Zustand, in dem die

Aktion ausgeführt wird, und dem durch die Aktion erreichten neuen Zustand mit einer Bewertung bewertet, wobei diese Bewertungen insbesondere auch dazu verwendet werden, um nach der Exploration der Zustände ein Verfahren zur Regelung bzw. Steuerung des technischen Systems basierend auf den durchlaufenen Zuständen und den bewerteten Aktionen zu lernen. Vorzugsweise wird eine Aktion mit Hilfe dieser Bewertung auch als unzulässig kategorisiert, wobei Aktionen, deren Bewertungen kleiner als ein vorbestimmter Wert sind, als unzulässig eingestuft werden.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird auch die Sicherheitsfunktion basierend auf den ermittelten Bewertungen der Aktionen gelernt. Vorzugsweise wer- den dabei durchlaufenen Paaren aus Zustand und in dem Zustand ausgeführter Aktionen jeweils die minimale Bewertung zugewiesen, welche nach dem Ausführen der Aktion und beim anschließenden Durchlaufen der Rückführungsregel für eine Aktion auftritt, wobei basierend auf der minimalen Bewertung die Si- cherheitsfunktion bestimmt wird und wobei die Sicherheitsfunktion eine unzulässige Aktion dann feststellt, wenn die minimale Bewertung kleiner als ein vorbestimmter Wert ist. Hierdurch wird in geeigneter Weise sichergestellt, dass in einem Zustand ausgeführte Aktionen weder unmittelbar noch mittelbar zu einem unerwünschten bzw. fehlerhaften Betriebszustand des technischen Systems führen.

Die Sicherheitsfunktion wird in einer bevorzugten Variante der Erfindung mit einem Funktionsapproximator bestimmt, der die minimalen Bewertungen basierend auf einer lokalen Extrapolation um den gerade mit einer Aktion zu verändernden Zustand approximiert. Insbesondere führt der Funktionsapproximator eine lokal-lineare und/oder lokal-quadratische Extrapolation durch.

Die gemäß der Erfindung verwendete Rückführungsregel kann in einer Ausführungsform eine für das technische System vorgegebene Regel sein. Insbesondere kann die Rückführungsregel auf

einem bereits vorhandenen Regler des technischen Systems basieren .

Anstatt bzw. zusätzlich zu einer vorgegebenen Regel kann die Rückführungsregel auch mit einem bestärkenden, die Bewertungen der Aktionen berücksichtigenden Lernverfahren bestimmt werden. Das bestärkende Lernverfahren basiert dabei vorzugsweise auf einem Optimalitätskriterium, gemäß dem das Minimum des Erwartungswerts aller zukünftigen Bewertungen maximiert wird. Auf diese Weise wird sichergestellt, dass mit der Rückführungsregel schnell zu den Zuständen zurückgegangen wird, welche bekannt und sicher sind.

Um eine im Wesentlichen vollständige Exploration von Zustän- den durch Ausführen aller möglichen Aktionen in den Zuständen zu erreichen, werden in einer besonders bevorzugten Ausführungsform den Zuständen bei deren Durchlaufen aufeinander folgende Kategorien wie folgt zugewiesen:

i) Falls die Zustände basierend auf der Rückführungsregel verändert werden, wird einem durch eine Aktion erreichten unbekannten, vormals noch nicht durchlaufenen Zustand die Kategorie zugeordnet, welche dem Zustand vor dem Durchführen der Aktion zugeordnet ist. ii) In allen anderen Fällen wird einem durch eine Aktion erreichten unbekannten, vormals noch nicht durchlaufenen Zustand eine Kategorie zugeordnet, welche der Kategorie folgt, die dem Zustand vor dem Durchführen der Aktion zugeordnet ist.

Die Zustände werden vorzugsweise nach Kategorien derart durchlaufen, dass in einer Kategorie zunächst alle möglichen auszuführenden Aktionen exploriert werden und anschließend zur nächsten Kategorie übergegangen wird. Der Begriff „Explo- rieren einer Aktion" bedeutet hierbei, dass die Aktion entweder ausgeführt oder als unzulässig eingestuft wird.

In einer bevorzugten Ausführungsform wird bei der Verwendung von Kategorien ein graph-basiertes Wegfindungs-Verfahren zum Durchlaufen der Zustände und möglichen Aktionen verwendet. Bei diesem Verfahren wird während des Durchlaufens der Zu- stände ein Graph aufgebaut, dessen Knoten den durchlaufenen Zuständen und dessen Kanten den ausgeführten Aktionen entsprechen und in welchem für jeden Knoten die Kategorie des entsprechenden Zustands hinterlegt ist, wobei bei Erreichen eines Zustands, in dem bereits alle möglichen Aktionen explo- riert, d.h. ausgeführt und/oder mit der Sicherheitsfunktion als unzulässig eingestuft wurden, in dem Graphen nach einem Weg zu einem Zustand in der gleichen Kategorie gesucht wird, in dem noch Aktionen exploriert werden können, und bei Auffinden eines derartigen Wegs zu dem Zustand über diesen Weg gegangen wird. Im Falle, dass kein Weg zu einem Zustand in der gleichen Kategorie gefunden wird, in dem noch Aktionen exploriert werden können, werden die Zustände der darauffolgenden Kategorie durchlaufen.

Alternativ bzw. zusätzlich zu einem graph-basierten Wegfin- dungs-Verfahren kann auch ein bestärkendes Lernverfahren zur Wegfindung verwendet werden. Dabei werden die Zustände einer Kategorie mit dem bestärkenden Lernverfahren basierend auf einer Belohnungsfunktion durchlaufen, wobei gemäß der Beloh- nungsfunktion einer Aktion eine Belohnung zugewiesen wird, wenn sie zu einem Zustand in der gerade durchlaufenen Kategorie führt, in dem noch die Exploration zumindest einer Aktion möglich ist. Vorzugsweise wird in dem bestärkenden Lernverfahren eine Aktionsauswahl-Regel nach Durchlaufen einer vor- bestimmten Anzahl an Zuständen aktualisiert, wobei bei der

Aktualisierung die neu hinzukommenden Aktionen und der jeweilige Zustand, in dem die jeweilige neu hinzukommende Aktion ausgeführt wird, sowie der durch die Aktion erreichte neue Zustand berücksichtigt werden.

Um auch große Zustandsräume mit dem erfindungsgemäßen Verfahren zu verarbeiten, werden in einer bevorzugten Ausführungsform in dem graph-basierten Lernverfahren und/oder in dem be-

stärkenden Lernverfahren ähnliche Zustände des technischen Systems in gemeinsame Cluster zusammengefasst .

Bei der Verwendung von Kategorien wird die Rückführungsregel vorzugsweise nicht nur bei Erreichen von unbekannten Zuständen angewendet, sondern auch bei Erreichen von Zuständen einer auf die gerade zu durchlaufenden Kategorie folgende Kategorie. In einer weiteren Ausgestaltung werden die Zustände gemäß der Rückführungsregel so lange durchlaufen, bis ein Zu- stand der gerade zur durchlaufenden Kategorie erreicht ist.

Bei der Verwendung von Kategorien wird das Verfahren vorzugsweise derart initiiert, dass zunächst ohne Berücksichtigung der Sicherheitsfunktion die Zustände gemäß der Rückführungs- regel durchlaufen werden und dabei den Zuständen die gleiche Kategorie zugeordnet wird, wobei die Zustände so lange durchlaufen werden, bis eine bestimmte Menge von Zuständen nicht mehr verlassen wird, und wobei anschließend unter Berücksichtigung der Sicherheitsfunktion zu einem unbekannten, vormals noch nicht durchlaufenen Zustand gegangen wird, wobei dieser Zustand der darauf folgenden Kategorie zugeordnet wird.

Das erfindungsgemäße Verfahren wird insbesondere im Realbetrieb des technischen Systems eingesetzt. Gegebenenfalls kann das Verfahren auch bei einer Simulation des Betriebs des technischen Systems verwendet werden.

In einer besonders bevorzugten Ausführungsform wird das Verfahren zur Exploration von Zuständen einer Gasturbine einge- setzt. Die Zustände der Gasturbine und/oder die den Zuständen zugeordneten Aktionen umfassen vorzugsweise eine oder mehrere der folgenden Größen:

Gesamtleistung der Gasturbine; Kraftstoffzufuhr zur Gasturbi- ne; ein oder mehrere Drucke und/oder Temperaturen in der Gasturbine oder in der Umgebung der Gasturbine; das Brummen der Gasturbine; Brennkammerbeschleunigungen in der Gasturbine; einen oder mehrere Einstellparameter an der Gasturbine, ins-

besondere Ventileinstellungen und/oder Kraftstoffverhältnisse und/oder Einstellungen der Vorleitschaufein .

Neben dem oben beschriebenen Verfahren umfasst die Erfindung ferner ein Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Programm auf einem Rechner abläuft.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.

Es zeigen:

Fig. 1 eine schematische Darstellung, welche mögliche Kombinationen von Ausführungsformen des erfindungsgemäßen Verfahrens verdeutlicht;

Fig. 2 eine dreidimensionale Darstellung einer Bewertungs- Funktion, welche zum Testen einer Ausführungsform des erfindungsgemäßen Verfahrens basierend auf einem Benchmark-Problem verwendet wird;

Fig. 3 ein Diagramm, welches das Lernen einer Backup- Policy gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens verdeutlicht; und

Fig. 4 ein Diagramm, welches die Ergebnisse des erfindungsgemäßen Verfahrens basierend auf einem Bench- mark-Problem verdeutlicht.

Die nachfolgend beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens betreffen die Exploration eines Zu- standsraums aus einer Vielzahl von Zuständen eines techni- sehen Systems, wobei basierend auf sog. Reinforcement-

Learning anhand von vorgegebenen Zuständen eine optimale Aktionsauswahl-Regel gelernt werden soll. Gemäß dieser Regel wird bei der Simulation des Betriebs des technischen Systems

oder im Realbetrieb in geeigneter Weise ausgehend von einem Zustand des technischen Systems eine optimale Aktion ausgewählt, welche zum nächsten Zustand des technischen Systems führt. Mit der Aktionsauswahl-Regel werden die Betriebszu- stände des technischen Systems gemäß vorgegebenen Kriterien optimal gewählt, beispielsweise können die Zustände so gewählt sein, dass der beste Wirkungsgrad des technischen Systems oder der geringste Verschleiß des technischen Systems auftritt .

In den hier beschriebenen Ausführungsformen wird die optimale Aktionsauswahl-Regel mit Hilfe einer sog. Reward-Funktion beschrieben, welche der ausgeführten Aktion in Abhängigkeit von dem Zustand, in dem die Aktion ausgeführt wird, sowie von dem pa daraus resultierenden Folgezustand einen Reward ^lx _s „s' zuweist, welcher einer Bewertung im Sinne der Ansprüche entspricht .

Reinforcement-Learning ist hinlänglich aus dem Stand der Technik bekannt und stellt einen Ansatz des maschinellen Lernens zur Lösung von Optimalsteuerungsproblemen dar. Wie bereits oben ausgeführt, wird mit diesem Reinforcement-Learning (im Folgenden auch als RL-Verfahren bezeichnet) eine Aktionsauswahlregel (im Folgenden auch als Policy bezeichnet) iden- tifiziert, die einen sog. Agenten, der die Aktionen ausführt, optimal innerhalb einer vorgegebenen Umgebung steuert. In der hier beschriebenen Ausführungsform wird die Policy in einem Markov-Entscheidungsprozess definiert, welcher aus einem Zu- standsraum S, einer Menge von Aktionen A und einer Dynamik besteht. Letztere ergibt sich aus den Transitionswahrscheinlichkeiten * _Sts < iι3 XAX J > [V'IJ von dem aktuellen Zustand s zu dem neuen Folgezustand s' sowie der Aktion a, die zu dem Folgezustand s' führt. Bei jeder entsprechenden Transition erhält der Agent den bereits oben erwähnten Reward. Die Re- wards folgen ebenfalls einer Verteilung und sind nur im Spe- zialfall deterministisch, so dass R eine Funktion darstellt.

In der Regel ist man daran interessiert, die diskontierende Value Function

mit dem Diskontierungsfaktor 0<^<l für alle Zustände s über dem Policy-Raum π e Y\,π : S —> A zu maximieren. Als Zwischenschritt verwendet man sog. Q-Funktionen

die von Zustand und Aktion abhängen. Es wird hierbei

V — V als die optimale Value Function definiert und entsprechend

ß ^* ( ^5,fl ) = ^E _J ^, (^ ^,+ ^ ^* (4= ^E _J .(^. ⁺ r^ö ^* (*\ ^fl ')j

als die optimale Q-Funktion. Die vorangegangene Gleichung stellt die dem Fachmann bekannte Bellman-Optimalitäts- Gleichung dar, deren Lösung die optimale Policy π(s)= argmax _a Q* (s, a) liefert.

Die oben beschriebenen RL-Verfahren sind in der Lage, komplexe technische Anlagen, wie z.B. Gasturbinen, anhand einer vertretbaren Anzahl von Interaktionen zu optimieren. Zur Umsetzung der obigen RL-Verfahren ist es notwendig, dass zum Lernen des Verfahrens bereits eine vorbestimmte Menge an Datensätzen in der Form von Tupeln umfassend Zustand, Aktion, Folgezustand und Bewertung vorliegen, um basierend auf diesen Datensätzen das Lernen durchzuführen. Das erfindungsgemäße

Verfahren beschäftigt sich damit, in geeigneter Weise Datensätze für dieses Lernen zu generieren, wobei diese Generierung durch eine Exploration des Zustandsraums der Zustände des technischen Systems durch Ausführen entsprechender Aktio-

nen erreicht wird. Da bei der Exploration des Zustandraums die Eigenschaften des technischen Systems noch nicht bekannt sind, ist sicherzustellen, dass keine unzulässigen Aktionen ausgeführt werden, welche in dem technischen System uner- wünscht sind und insbesondere zu einer Beschädigung des Systems führen können. Darüber hinaus sollte mit dem Explorati- ons-Verfahren ein Durchlaufen des Zustandsraums ermöglicht werden, bei dem eine große Anzahl von sicheren Zuständen eingenommen wird, die nicht zur Beschädigung des technischen Sy- stems führen. Die nachfolgend beschriebenen Ausführungsformen ermöglichen eine solche sichere Exploration des Zustandsraums eines technischen Systems.

Zwei wesentliche Bestandteile der nachfolgend beschriebenen Verfahren sind eine Sicherheitsfunktion und eine Backup-

Policy. Die Sicherheitsfunktion hat die Aufgabe zu bestimmen, ob ein Zustands-Aktions-Paar sicher ist, während die Backup- Policy von kritischen oder unbekannten Zuständen in sichere und bereits bekannte zurückführen soll. Um diese beiden Kom- ponenten zu verbinden, wird in der nachfolgend beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens ein sog. Level-basiertes Explorations-Schema verwendet, welche die Zustände in Levels einer Folge von aufeinander folgenden Levels einteilt .

Die in dem Verfahren verwendete Sicherheitsfunktion muss für ein Zustands-Aktions-Paar eine Aussage über ihren Sicherheitsstatus treffen, der sich in die Kategorien „sicher", „kritisch" und „überkritisch" einteilen lässt. Darüber hinaus kann eine Aktion in die Kategorien „fatal" und „nicht fatal" eingeteilt werden. Eine nicht fatale Aktion zum übergang von einem Zustand s in einen Zustand s' liegt dann vor, wenn gilt: ¹ ^s,s' t wobei τ ein vorbestimmter Grenzwert ist.

Demgegenüber ist eine Aktion fatal, wenn gilt: ^lv _s ,s' •

Ein Zustand wird als sicher kategorisiert, wenn für alle in einem Zustand ausführbaren Aktionen a eine Policy P exis-

tiert, für die gilt: "Z ^• ^ . Ein kritischer Zustand ist ein Zustand, bei dem es eine Aktion gibt, so dass mit ei- ner Wahrscheinlichkeit von *ps ^a ,s' ^n ein überkritischer Folgezustand s' erreicht wird. Ein überkritischer Zustand ist hierbei ein Zustand, bei dem für alle Aktionen, die in dem Zustand ausgeführt werden, auch alle nachfolgenden Policies, mit denen die Zustände durchlaufen werden können, an irgendeiner Stelle zu einer fatalen Transition führen. Das heißt, für alle Aktionen a in einem überkritischen Zustand gilt:

Aus den obigen Definitionen von sicher, kritisch und überkritisch ergibt sich, dass ein Agent aus kritischen Zuständen - bei sicheren Ausführungen von nachfolgenden Aktionen - wieder in sichere Zustände überführt werden kann. Ferner kann eine Aktion, die als sicher eingestuft wird (d.h. deren Folgezustand sicher ist) , in der Exploration des Zustandsraums immer ausgeführt werden, da sie immer einen Reward hat, der größer als T ist. Treten Rewards mit Werten unterhalb des Grenz- werts τ auf, führt dies im Regelfall zur Beschädigung oder zu einem fehlerhaften Betrieb des technischen Systems.

Eine triviale Lösung des Problems der Sicherheitsfunktion besteht darin, sie im Vorhinein zu definieren. Dies würde je- doch detailliertes Wissen über die RL-Umgebung voraussetzen, das meistens jedoch nicht vorhanden ist. Daher ist es erforderlich, die Sicherheitsfunktion aus bereits vorhandenen Ex- plorationsdaten, d.h. aus Beobachtungen von Zustandsübergän- gen in der Form von (s, a, r, s')~Tupeln zu lernen. Dabei be- zeichnet r den Reward, der für die Aktion a vergeben wird, welche den Zustand s in den Zustand s' überführt.

In den nachfolgend beschriebenen Ausführungsformen der Erfindung wird eine Sicherheitsfunktion verwendet, welche unsiche- re Aktionen vermeidet, die unmittelbar bzw. mittelbar nach

deren Ausführung in einen fatalen Zustand führen. Hierzu wird die weiter unten noch beschriebene Backup-Policy berücksichtigt. Diese Policy kommt immer dann zum Einsatz, wenn bei der Exploration des Zustandsraums ein unbekannter, vormals noch nicht durchlaufener Zustand des technischen Systems erreicht wird. In diesem Fall werden basierend auf der Backup-Policy, welche in den Ansprüchen allgemein als Rückführungsregel bezeichnet ist, Aktionen derart ausgeführt, dass wieder in einen bekannten, vormals durchlaufenen Zustand zurückgegangen wird.

Die Sicherheitsfunktion wird in den nachfolgend beschriebenen Ausführungsformen als eine Minimum-Schätzung der Rewards umgesetzt (Min-Reward-Schätzung) . Diese Schätzung besteht dar- in, den minimalen Reward zu schätzen, den man erhält, nachdem man in einem Zustand s die Aktion a ausgeführt hat und der Backup-Policy folgt. Insbesondere wird die Sicherheitsfunktion basierend auf den nachfolgenden zwei Schritten ermittelt:

1. Während der Exploration werden Min-Reward-Samples der

Form (s, a, r _min ) gesammelt. Dabei bezeichnet (s, a) das Ausführen der Aktion a im Zustand s und r _min den minimalen beobachteten Reward auf der Backup-Trajektorie, die im Anschluss an diese Transition von der Backup-Policy generiert wird.

2. Auf der Basis der während der Exploration gesammelten

Samples wird ein Funktionsapproximator gelernt, der von einem Zustands-Aktions-Paar auf den minimalen zu erwar- tenden Reward abbildet: Rmm-.SxA→Vl.

Die Min-Reward-Samples hängen von der verwendeten Backup- Policy ab. ähnlich wie die Werte einer Q-Funktion Q {$,&) die erwartete (diskontierte) Summe der zukünftigen Rewards liefert, wenn man in dem Zustand s Aktion a ausführt und anschließend der Policy π folgt, liefert ^HninY^'^ _/ den minima-

len zu erwartenden Reward, wenn man in dem Zustand s Aktion a ausführt und danach der Backup-Policy folgt.

Die Backup-Policy hat die Aufgabe, den bei der Durchführung des Verfahrens verwendeten Agenten in einen bekannten Bereich zurückzuführen, wenn der Agent keine abgesicherte Entscheidung mehr treffen kann, weil er in einen neuen Zustand geraten ist, in dem er die Sicherheit einzelner Aktionen nicht hinreichend gut einschätzen kann. Die Backup-Policy darf da- bei selbst nicht in kritische Zustände führen. Dies wird beispielsweise dadurch erreicht, dass die Backup-Policy einen eventuellen stationären Punkt anfährt oder versucht, sich in einem bestimmten Bereich des Zustandsraums aufzuhalten.

Für technische Systeme im Real-Betrieb, die bereits ohne

Reinforcement-Learning betrieben werden, ist oftmals bereits ein Regler vorhanden, der als vorweg spezifizierte Backup- Policy verwendet werden kann, sofern sich dieser Regler sicher verhält und nicht zu fatalen Transitionen führt. Wenn ein solcher Regler noch nicht vorhanden ist, ist es notwendig, eine Backup-Policy aus bereits vorhandenen Explorations- daten, also aus bereits vorhandenen (s, a, r, s')-Tupeln, zu lernen .

Wie oben ausgeführt, wird die Sicherheit von Aktionen über den entsprechenden Reward ausgedrückt, wobei Aktionen mit Re- wards kleiner als der Grenzwert τ einer fatalen Transition entsprechen. Beim Lernen der Backup-Policy aus Explorations- daten muss die Backup-Policy somit den Reward berücksichti- gen. In einer möglichen Variante der Erfindung wird die Backup-Policy mittels einem konventionellen RL-Verfahren bestimmt, wobei nunmehr jedoch nicht die eingangs definierte Value Function verwendet wird, da die daraus ermittelte optimale Policy im Allgemeinen nicht auch gleichzeitig sicher ist. Darüber hinaus kann eine vermeintlich optimale und sichere Policy durch Fehler in der Generalisierung unsicher sein. Um dies abzusichern, wird anstelle des Erwartungswerts der Summe der Rewards der Erwartungswert des Minimums der Re-

wards maximiert. Die entsprechende Bellman-Optimalitäts- Gleichung lautet dann wie folgt:

Auf den Diskontierungsfaktor γ wurde dabei verzichtet, weil durch die Umformulierung der Zielfunktion das Problem einer divergierenden Summe nicht mehr besteht.

Wenn man für ein gegebenes RL-Problem ein Q ^m* ermittelt, das diese Gleichung geeignet erfüllt, lässt sich daraus eine be- züglich (J greedy Policy 71 bestimmen, die bestrebt ist, niedrige Rewards zu vermeiden. Eine Policy ist dabei greedy (gierig), falls sie in jedem Zustand die Aktion mit maximalem Q-Wert ausführt.

Eine solche Max-Min-Q-Funktion, die obige Gleichung (1) erfüllt, lässt sich z.B. mit der aus dem Stand der Technik bekannten dynamischen Programmierung bestimmen, analog wie auch die Q-Funktion der optimalen Policy ermittelt werden kann. Jedoch existiert hier kein eindeutiger Fixpunkt, da etwa

Q = —∞ eine zwar unerwünschte, aber zulässige Lösung ist. Die Initialisierung mit Q=∞ garantiert das Erreichen einer korrekten Lösung, da im ersten Iterationsschritt die Rewards am Minimum verwendet werden und nicht die initialen Q-Werte.

Zur Ermittlung der oben beschriebenen Backup-Policy können beliebige aus dem Stand der Technik bekannte RL-Verfahren verwendet werden, insbesondere die bereits oben erwähnte dynamische Programmierung, eine Neural Fitted Q-Iteration (NFQ) sowie auf rekurrenten neuronalen Netzen basierende Verfahren, welche beispielsweise in der Patentanmeldung DE 10 2007 001 025.9 beschrieben sind.

Um eine möglichst breite Datenbasis in der Form einer Viel- zahl von Explorationsdaten zu schaffen, wird eine sog. Level-

basierte Exploration eingesetzt. Es handelt sich hierbei um eine graduelle Exploration, die den ausführenden Agenten von einem als sicher bekannten Bereich des Zustandsraums langsam entfernt und zunächst versucht, möglicht viele lokale Beo- bachtungen zu sammeln. Dazu wird jedem Zustand s ein Level IeN (N = Menge der natürlichen Zahlen) zugewiesen. Davon ausgehend, dass die Exploration im sicheren Bereich startet, wird für den Ausgangszustand So der Level l(s _o ) = 0 gesetzt.

Wird während der Exploration ein bisher unbekannter Zustand S ₁ betreten, so wird sein Level als /(^) = /(^ ₁ )+ 1 gesetzt, wobei /(-V ₁ ) dem Level des Vorgängerzustands entspricht. Wird beim Verfolgen der Backup-Policy ein neuer Zustand S ₁ betreten, wird sein Level 1[S ₁ ) von dem des Vorgängerzustands S ₁ ^ übernommen, d.h. es gilt: . Dies wird dadurch moti- viert, dass das Verfolgen der Backup-Policy nicht zu einer Verschlechterung der Sicherheit führt. Basierend auf diesem Level-Konzept läuft die Exploration wie folgt ab:

Beginnend mit dem Level l(s _o )=O wird jedem im technischen System bekannten Zustand ein Level zugewiesen.

Es wird ein aktuell zu explorierender Level I ₀ vorgehalten, wobei zu Beginn I ₀ = 0 initialisiert wird. Ziel der Exploration ist jeweils für einen Level I ₀ , in allen Zuständen, deren Level I ₀ entspricht, alle dort möglichen Aktionen auszuführen, sofern das Ausführen der Aktion als sicher eingeschätzt wird. Sind alle Zustände des aktuellen Levels vollständig exploriert, wird I ₀ erhöht. Die Exploration wird so lange fortgesetzt, bis ein Abbruchkriterium erfüllt ist, wie z.B. die vollständige Exploration des gesamten sicher explorierbaren Bereiches. In der Praxis wird dies jedoch häufig kaum umsetzbar sein, weshalb das Erreichen einer gewünschten Mindestperformance zweckmäßiger ist.

Um auf diese Art und Weise explorieren zu können, braucht man eine Möglichkeit, Zustände gezielt anzufahren. Nachdem der das Verfahren ausführende Agent nach Erreichen eines neuen Zustands mit erhöhtem Level der Backup-Policy folgt, gelangt

dieser früher oder später wieder in einen bekannten Zustand. Von dort aus muss die Möglichkeit bestehen, einen Zustand des aktuellen Levels zu erreichen.

Im Folgenden werden zwei Verfahren beschrieben, wie in geeigneter Weise alle bekannten Zustände eines Levels erreicht werden können und somit alle möglichen Aktionen in einem Level ausgeführt werden können.

Das erste Verfahren ist eine graph-basierte Wegfindung, welche in deterministischen RL-Problemen einen beliebigen bekannten Zustand auffinden kann. Diesem Verfahren liegt die Idee zu Grunde, während der Exploration einen Graphen aufzubauen, dessen Knoten Zustände und dessen Kanten ausgeführte Aktionen repräsentieren. Neben dem Zustand ist an einem Knoten der Level des Zustands vermerkt. Das Verfahren zeichnet sich durch die folgenden Schritte aus:

Wenn im aktuellen Zustand keine Aktion mehr zu explorie- ren ist, wird im Graph nach einem Zustand gesucht, dessen Level dem aktuell zu explorierenden entspricht und für den noch sicher explorierbare Aktionen existieren. Wird kein solcher Zustand gefunden, wird der aktuell zu explorierende Level erhöht und die Exploration angehal- ten.

Um einen Weg vom aktuellen Zustand zu einem zu explorierenden Zustand zu finden, wird eine Breitensuche auf dem Graphen durchgeführt. Durch das Ausführen der Aktionen, mit denen die Kanten entlang des gefundenen Weges be- schriftet sind, gelangt man vom aktuellen Zustand zum Zielzustand.

Das obige Verfahren eignet sich nicht für technische Systeme, welche mehr als einige tausend Zustände umfasst. In vertret- barer Rechenzeit können nur niedrige zweistellige Levels vollständig exploriert werden. Deshalb werden in einer bevorzugten Ausführungsform der graph-basierten Wegfindung benachbarte Zustände geeignet zu einem Cluster zusammengefasst . In

dem Kontext dieses graph-basierten Ansatzes entspricht ein Cluster somit einem Knoten im Graphen. Im Allgemeinen wird dabei die Markov-Bedingung verletzt, so dass je nach Anwendungsfall ein geeigneter Kompromiss zwischen Rechenaufwand und Lösbarkeit des Problems gefunden werden muss.

Das zweite Verfahren zur Exploration der Zustände eines Le- vels besteht in der Wegfindung mittels Reinforcement- Learning. Dieser Ansatz kann auch im stochastischen Fall ein- gesetzt werden, und es können hierbei konventionelle RL-

Verfahren verwendet werden, beispielsweise eines der, in Bezug auf das Lernen der Backup-Policy genannten Verfahren. Dazu wird ein Markov-Entscheidungsprozess definiert, dessen Zustände den zuvor definierten Clustern entsprechen. Nun defi- niert man die Reward-Funktion R'" _s , = l, falls R' der angestreb-

T)\cι r\ te Zustand ist und ¹ ^ _s^s < — V sonst. Für das so definierte RL-

Problem ermittelt man eine optimale Policy und folgt dieser so lange, bis der gewünschte Cluster erreicht ist. Es ist auch möglich, mehrere Cluster als Ziel zu definieren. In die- sem Fall würde die Policy versuchen, den zum aktuellen Cluster nächstgelegenen Cluster zu erreichen.

Nachfolgend wird eine Ausführungsform eines Algorithmus beschrieben, welche das gesamte Vorgehen der Wegfindung mittels Reinforcement-Learning wiedergibt. Es wird hierbei die Policy des Reinforcement-Learning gelernt und aktualisiert, wobei die Aktualisierung der Policy nach der Durchführung einer bestimmten Anzahl von Aktionen erfolgt.

Der Algorithmus zum Reinforcement-Lernen umfasst die nachfolgenden Schritte:

Voreinstellungen :

Anfangs liegt eine Liste O von Beobachtungen in der Form von (s, a, s')-Tupel vor. Z bezeichnet die Menge der Ziel-

Cluster, d.h. diejenigen Cluster, welche durch die Wegfindung zu erreichen sind und Zustände enthalten, in denen noch mög-

liehe Aktionen ausgeführt werden können, n bezeichnet die Anzahl an Aktionen, nach denen die Policy zur Wegfindung zu aktualisieren ist. m ist die maximale Anzahl an Aktionen, nach denen ein Ziel-Cluster erreicht sein muss (Abbruchkriterium) ,

Zunächst wird das Verfahren wie folgt initialisiert:

ι _a _ {\Jallss'e Z , ,

Bestimme Reward-Funktion ^ s,s' ⁼ ] _λ , V[S, Cl,S Je S ^X A ^X S _#

[0, sonst

Bestimme Schätzung T der übergangswahrscheinlichkeiten aus O. Löse das durch T und R definierte RL-Problem, woraus die Policy TZ _ω erhalten wird.

Anschließend erfolgt die Policy-Anwendung zur Wegfindung basierend auf folgenden Schritten:

Es wird gesetzt: c := 0

Es werden folgende Schritte in einer Wiederhol-Schleife durchgeführt :

Wiederhole fal l s c > ö λ cmod« = 0 dann

Aktualisiere Schätzung T basierend auf O;

Löse das durch T und R definierte RL-Problem und erhalte hieraus aktualisierte Policy ^ _ω Ende der Falls-Bedingung

(Mit der obigen Falls-Bedingung wird die Policy aktualisiert . )

Es werden folgende Definitionen festgelegt: s := aktueller Zustand; a:=π _ω (s) _;

Führe die Aktion a aus und aktualisiere wie folgt: s' := aktueller Zustand;

hänge ( s , a, s ' ) an O an ; : c := c + l ; überprüfe, ob die maximale Anzahl an Aktionen erreicht ist, und zwar wie folgt: Falls c = m, dann gebe „false" zurück (d.h. die Wegfindung war erfolglos); Ende der Falls-Bedingung

Wiederhole obige Schritte der Wiederholschleife, bis gilt: s'eZ

Ist die Bedingung s'eZ erfüllt, war die Wegfindung erfolgreich und es wird der Wert „true" zurückgegeben.

Die oben beschriebenen, möglichen Varianten zur Durchführung des erfindungsgemäßen Explorations-Verfahrens werden nochmals in dem Diagramm gemäß Fig. 1 verdeutlicht. Das Verfahren wird durch einen Agenten AG ausgeführt, und es wird zur Durchführung des Verfahrens sowohl eine Sicherheitsfunktion SF, eine Explorations-Strategie ES sowie eine Backup-Policy BP verwendet. Die Sicherheitsfunktion wird dabei mit der oben beschriebenen Min-Reward-Schätzung approximiert, wobei insbesondere eine lokal-quadratische Approximation verwendet wird. Gegebenenfalls könnte diese Approximation auch mit einem neu- ronalen Netz, beispielsweise einem Mehrschicht-Perzeptron, durchgeführt werden. Die Explorations-Strategie ES versucht, innerhalb eines Levels alle möglichen Aktionen auszuführen. Es kann dabei die oben beschriebene graph-basierte Wegfindung bzw. die Wegfindung mittels Reinforcement-Learning verwendet werden. Als Backup-Policy BP kann ein vorhandener Regler eingesetzt werden oder die Backup-Policy kann mit einem Reinfor- cement-Learning-Verfahren gelernt werden. Ausführungsformen des erfindungsgemäßen Verfahrens wurden durch die Erfinder implementiert und an einer beispielhaften Testumgebung in der Form des bekannten Benchmark-Problems BurnSim getestet. Die Umgebung BurnSim ist in Fig. 1 durch das Bezugszeichen BS verdeutlicht. Beispielhaft werden dabei die Zustände des BurnSim-Problems als s, s' und die durchgeführten Aktionen

als a bezeichnet, s' ist dabei der Folgezustand, der bei der Durchführung einer Aktion a aus dem Zustand s hervorgeht.

Nachfolgend wird das zum Test des erfindungsgemäßen Verfah- rens verwendete Benchmark-Problem BurnSim erklärt. Ausführungsformen des erfindungsgemäßen Verfahrens wurden für dieses Problem implementiert und experimentell untersucht. Das BurnSim-Problem ist motiviert durch ein real auftretendes Problem bei der Regelung von Gasturbinen. Eine Turbine opti- mal zu betreiben heißt, sie mit möglicht hoher Leistung zu fahren. Im Hochleistungsbereich einer Turbine kommt es jedoch zu einer unerwünschten Dynamik in der Brennkammer, welches auch als „Brummen" (englisch: humming) bekannt ist. Wenn dieses Brummen zu stark wird, kann es zu einer Beschädigung der Turbine führen. Aus diesem Grund ist es das Ziel, die Gasturbine mit möglichst hoher Leistung zu betreiben und gleichzeitig darauf zu achten, dass das Brummen nicht zu stark wird. Der Zustandsraum des technischen Systems im BurnSim-Problem ist zweidimensional und lautet wie folgt:

S:={{f,h}f≡[0,l),h≡[0,∞)}

Dabei bezeichnet f die Treibstoffzufuhr, welche direkt der Leistung der Turbine entspricht, h steht für das Brummen. Es sind drei Aktionen erlaubt, nämlich Treibstoffzufuhr verringern, beibehalten und erhöhen, welche nachfolgend mit den englischen Begriffen decrease (entspricht verringern) , keep (entspricht beibehalten) und increase (entspricht erhöhen) bezeichnet werden. Der Aktionsraum lautet somit wie folgt:

A := {decrease, keep, increase)

Die Aktionen decrease und increase verändern dabei f um 0,05, jedoch muss f in den Grenzen [0, 1) bleiben. Die Systemdyna- mik, also die Veränderungen des Zustands von einem Zeitschritt zum nächsten bei Ausführungen der Aktion a, ist gegeben durch:

f _t - 0.05, falls a = decrease A f - 0.05 > 0 f _t+\ ⁼ _l f _t ⁺ 0-05, falls a = increase A f + 0.05 < 1 f, sonst

_h \2f _t+l h _t ,falls 2f _t+l h _t > fj5

Die Reward-Funktion ist nur vom Folgezustand abhängig und lautet wie folgt:

Der Grenzwert der Sicherheit wird gesetzt als:

τ = -I

Somit ergibt sich der Status der Sicherheit als:

r _t < -1 => Zustand ^ ist fatal, r _t > -l ^> Zustand ^ ist nicht fatal.

Das Ziel besteht darin, die erwartete Summe der Rewards zu maximieren, ohne jemals einen Reward kleiner als -1 zu beobachten. Offenbar wird ein möglichst hoher Reward erreicht, wenn f möglichst hoch und gleichzeitig h möglichst niedrig ist .

Fig. 2 veranschaulicht die verwendete Reward-Funktion. Entlang der Achse f ist die Treibstoffzufuhr und entlang der Achse h das Brummen aufgetragen, wobei höhere Werte für eine höhere Treibstoffzufuhr bzw. ein höheres Brummen stehen. Entlang der Achse r ist der Reward wiedergegeben. Die gekrümmte Gitterebene El stellt dabei die Reward-Funktion in Abhängig-

keit von der Treibstoffzufuhr und von dem Brummen dar. Ferner ist eine Grenzwertebene E2 wiedergegeben, auf der alle Re- wards den Wert -1 aufweisen. Die Rewards der Reward-Funktion dürfen niemals Werte unterhalb dieser Grenzebene annehmen, da dies zu einem fatalen Zustand der Gasturbine führen würde. In der Ebene der Reward-Funktion ist ein Bereich ElO durch die Linie Ll abgegrenzt, wobei dieser Bereich der Reward-Funktion nie erreicht wird, weil aufgrund der Systemdynamik eine hohe Treibstoffzufuhr in Kombination mit niedrigem Brummen nicht möglich ist. Ferner ist durch eine Linie L2 ein Bereich Ell der Reward-Funktion abgegrenzt, wobei dieser Bereich ein unsicherer Bereich von Zuständen ist, d.h. die Einnahme von Zuständen in dem unsicheren Bereich führt zwangsläufig zu einem späteren Zeitpunkt in fatale Zustände.

Die Linie Ll in Fig. 2 erhält man dadurch, dass man bei f = 0 beginnend wiederholt die Aktion increase ausführt. Wie man der Fig. 2 entnehmen kann, erhöht sich dabei auch der Reward. Allerdings kommt es auch zu einer Erhöhung des Brummens, was sich negativ auf den Reward auswirkt. Im Sinne einer sicheren Exploration wäre der Zustand am Ende der Trajektorie (f = 0,95; h = 3,35) bereits überkritisch, denn selbst wenn man die Treibstoffzufuhr sofort verringert, wird ein Reward von -138,45 nicht zu vermeiden sein, da das Brummen trotz der Treibstoff-Verringerung bis auf 59,14 steigt. Wie bereits erwähnt, markiert die Trajektorie Ll auch die Grenze des erreichbaren Bereichs des Zustandsraums . Der Bereich unterhalb dieser Grenze kann aufgrund der Systemdynamik nicht erreicht werden. Durch die Trajektorie Ll wird eine grundlegende Schwierigkeit der sicheren Exploration bereits deutlich: Es muss ein Zustand als unsicher erkannt werden, selbst wenn dieser zwangsläufig, aber nur mittelbar in einen fatalen Zustand führt.

Wie bereits erwähnt, ist die Grenze des sicheren Bereichs in Fig. 2 als Linie L2 markiert. Von jedem Zustand oberhalb dieser Grenze, also bei höherer Treibstoffzufuhr und/oder höherem Brummen, ist es nicht möglich, Rewards kleiner als den

Grenzwert von -1 zu vermeiden. Sollte sich der Agent also während der Exploration dorthin bewegen, hat er das Ziel der sicheren Exploration verfehlt. Die BurnSim-Umgebung besitzt einen stationären Bereich bei f = 0,5. An dieser Stelle wird das Brummen nicht verändert. Wenn dort die Aktion keep ausgeführt wird, verändern sich weder Zustand noch Reward.

Bei der Implementierung des erfindungsgemäßen Verfahrens für das BurnSim-Problem sind für die Sicherheitsfunktion, die Ex- plorations-Strategie und die Backup-Policy verschiedene Varianten implementiert worden. Der Agent, mit dem die einzelnen Zustände erfindungsgemäß exploriert werden, hält die einzelnen Komponenten zusammen und koordiniert das Zusammenspiel. Der Gesamtprozess der sicheren Exploration kann wie folgt zu- sammengefasst werden:

1. Initialisierung:

Es wird davon ausgegangen, dass sich der Agent zu Beginn der Exploration in einem sicheren Bereich des Zustandsraums befindet. Die Liste der Beobachtungen wird als leer initialisiert, ebenso die Menge der Zustände mit noch zu explorieren- den Aktionen, der aktuelle Level wird auf 0 gesetzt.

2. Initiales Folgen des Backup-Policy:

Der Backup-Policy wird so lange gefolgt, bis diese einen stationären Punkt oder einen bestimmten Bereich des Zustandsraums erreicht und nicht mehr verlässt. Alle dabei besuchten Zustände erhalten Level 0 und werden in die Liste der Zustände mit noch zu explorierenden Aktionen eingetragen, sofern die Backup-Policy nicht bereits alle möglichen Aktionen in einem Zustand ausgeführt hat.

3. Explorationsschritt :

Die Explorations-Strategie wählt eine zu explorierende Aktion aus. Falls im aktuellen Zustand keine Aktion zu explorieren

ist (entweder, weil bereits alle exploriert wurden, oder das Level des aktuellen Zustands nicht dem aktuell zu explorie- renden Level entspricht) , generiert sie die nötigen Aktionen, durch die der Agent in einen Zustand mit aktuell zu explorie- renden Aktionen gelangt, um anschließend die dort zu explo- rierende Aktion zu wählen. Vor dem Ausführen der Aktion prüft der Agent mit Hilfe der Sicherheitsfunktion ihre Sicherheit. Wird die Aktion als sicher eingeschätzt, wird sie ausgeführt. Andernfalls wird sie als unsicher markiert und die Backup- Policy genutzt, um in den sicheren Bereich zurückzukehren. Für den Fall, dass beim Ausführen des Explorations-Schritts ein neuer, bisher unbekannter Zustand oder ein bekannter Zustand mit höherem Level als dem aktuell zu explorierenden erreicht wurde, wird ebenfalls die Backup-Policy genutzt.

4. Rückkehr mittels der Backup-Policy:

Wurde ein neuer Zustand oder ein Zustand mit höherem als dem aktuell zu explorierenden Level betreten, wird die Backup- Policy genutzt, um in den bekannten Bereich zurückzukehren.

Im einfachsten Fall wird dabei die Backup-Policy so lange genutzt, bis ein Zustand mit Level 0 erreicht wurde.

5. Level-Erhöhung:

Wenn alle sicheren Aktionen in allen Zuständen des aktuellen Levels exploriert wurden, wird der Level erhöht und die Exploration mit Schritt 3 fortgesetzt.

6. Explorations-Ende :

Die Exploration ist beendet, wenn sämtliche sicheren Aktionen in allen Zuständen ausgeführt wurden oder wenn ein Abbruch- Kriterium erfüllt ist. Dies kann das Erreichen eines Maximal- Levels sein. Ebenso ist es möglich, auf Basis der bereits gesammelten Beobachtungen eine optimale Policy zu bestimmen und deren Performance zu ermitteln. Wenn die Policy die gewünschte Qualität erreicht hat oder sich mit weiteren Beobachtungen

nicht mehr wesentlich ändert, kann die Exploration beendet werden .

Nachfolgend wird beschrieben, wie für das BurnSim-Problem die Sicherheitsfunktion bestimmt wird. Für die Realisierung der Sicherheitsfunktion wird die Min-Reward-Funktion lokalquadratisch approximiert. Aus diesem Grund wurde die Schätzung der Min-Reward-Funktion linear im Merkmalsraum

^ ^. =(/ ^.,A , ^, /; ^2,λ , ^2, A ^,I ) mit f _x als Treibstoffzufuhr und h _x als Brummen der jeweiligen Transitionen i realisiert. Die dabei entstehende Merkmals- Matrix

wird schließlich mit der Methode der kleinsten Quadrate W = (X Xj X y an die beobachteten Min-Rewards

approximiert. Standardmäßig wurden die zehn nächsten Nachbarn herangezogen. Wird der Merkmalsraum nicht vollständig aufgespannt, d.h. ist X ^T X nicht regulär, werden weitere Nachbarn hinzugezogen. Die Singularität von X wurde bei überschreiten von cond(x ^τ x)> 1000 angenommen ,

In dem BurnSim-Problem wurde in einer Ausführungsform ein im Vorhinein bekannter Standard-Regler als Backup-Policy ge- nutzt. Dieser Regler liefert folgende Backup-Policy:

increase, falls f < 0,425 π ^backup (s = {f,h)) = decrease, falls f > 0,425 keep, sonst

Der Regler strebt einen Zustand unterhalb des stationären Be- reichs bezüglich Treibstoffzufuhr an und führt damit zu einer permanenten Reduktion des Brummens.

Falls eine Backup-Policy im Vorhinein nicht bekannt ist, muss sie unter Verwendung des im Vorangegangenen beschriebenen RL- Verfahrens, welches anstelle des Erwartungswerts der Summe der Rewards den Erwartungswert des Minimums der Rewards maxi- miert, aus bereits vorhandenen Beobachtungen gelernt werden. In einer für das BurnSim-Problem implementierten Ausführungsform werden dabei inspiriert von der Idee des sog. Apprenti- ceship Learning die Beobachtungen aus einer Trajektorie gewonnen, die ein sog. Lehrer vorgegeben hat. Diese Lehrer- Trajektorie stellt somit einen anfänglichen Datensatz aus (s, a, r, s')~Tupeln dar, mit dem die Backup-Policy durch ein RL- Verfahren gelernt wird.

Fig. 3 zeigt ein Diagramm, auf dem entlang der Abszisse die Treibstoffzufuhr f und entlang der Ordinate das Brummen h aufgetragen ist. In dem Diagramm ist die Lehrer-Trajektorie T wiedergegeben. Diese Trajektorie umfasst alle für eine siche- re Backup-Policy benötigten Beobachtungen. Insbesondere sind Beobachtungen im Bereich rechts von f = 0,5 wichtig, damit gelernt werden kann, dass dort eine Treibstoffzufuhr- Verringerung (decrease) die sichere Aktion ist. Darüber hinaus ist in Fig. 3 auch die gelernte Backup-Policy durch ent- sprechende, in den jeweiligen Zuständen durchzuführende Aktionen eingezeichnet. Hierbei stehen die nach links gerichteten Dreiecke D für ein Herabsetzen des Treibstoffs, die Kreise K stehen für ein Beibehalten des Treibstoffs und die nach rechts zeigenden Dreiecke I für eine Erhöhung des Treib- Stoffs.

Da nur eine überschaubare Anzahl von Zuständen in der Lehrer- Trajektorie vorkommt, war es möglich, diese Zustände als diskret aufzufassen und tabellenbasiert eine Q-Funktion unter Anwendung der Variation der Bellman-Optimalitäts-Gleichung (siehe Gleichung (I)) zu bestimmen. Nicht-determinierte Q- Werte, deren Transitionen vom Lehrer nicht durchgeführt wurden, werden darüber hinaus im Nachhinein auf —<X> gesetzt, so dass auch eine auf der resultierenden Q-Funktion basierende Policy diese Aktion niemals ausführen kann. Dies ist erforderlich, um Sicherheit garantieren zu können.

Die Q-Funktion enthält nur für einige Zustände des Zustands- raums Einträge. Eine Backup-Policy muss jedoch für alle Zu- stände des gesamten Zustandsraums eine Aktion liefern können. Dies wurde durch eine einfache Nächster-Nachbar-Generalisierung erreicht, für die zu einem gegebenen Zustand s der Zustand s in Q gesucht wird, dessen euklidischer Abstand zu s minimal ist.

Wie bereits erwähnt, zeigt Fig. 3 sowohl die verwendete Leh- rer-Traj ektorie als auch die resultierende Policy. Lediglich für die Punkte der Trajektorie enthält die Q-Funktion Einträge, für alle anderen Punkte wird die Aktion anhand der Q- Werte des nächsten Nachbars gewählt. Man erkennt, dass in fast allen Fällen die Aktion gewählt wird, welche die Treibstoffzufuhr in Richtung 0,5 verändert. Wenn die Lehrer- Trajektorie für einen Zustand nur eine Aktion enthält, so wählt auch die gelernte Policy für diesen Zustand und seine Nachbarn diese Aktion, selbst wenn sie nicht optimal im Sinne der Maximierung des minimalen Rewards ist. Dieser Effekt ist insbesondere im Bereich von f ≤ 0,3 und h ~ 0,4 (Aktion keep) sowie im Bereich von 0,65 ≤ f ≤ 0,85 und h ≤ 0,1 (Aktion inc- rease) zu beobachten. In beiden Fällen ist das Fehlverhalten jedoch unkritisch: Das Ausführen von keep in Bereichen von f < 0,5 führt zur Verringerung des Brummens; das erwünschte in- crease im anderen genannten Bereich ist unproblematisch, weil dieser Bereich des Zustandsraums nie betreten werden kann.

Bei der Implementierung des erfindungsgemäßen Verfahrens für das BurnSim-Problem wurden zwei Realisierungen der für die Explorations-Strategie notwenigen Wegfindung eingesetzt. Zum einen wurde eine graph-basierte Wegsuche durch eine Breitensuche in einem Graphen verwendet und zum anderen wurde die Suche durch Definition und Lösung eines Wegfindungs-RL- Problems durchgeführt.

Für den graph-basierten Ansatz wurde der Zustandsraum künstlich verkleinert, indem in der BurnSim-Implementierung nach jedem Schritt das Brummen auf die Genauigkeit von 1/50 gerundet wurde. Es wurde somit das RL-Problem selbst verändert. Bei realen Problemen ist die Verkleinerung des Zustandsraums in dieser Form nicht möglich.

Alternativ zur graph-basierten Wegsuche wurde der Wegfin- dungsansatz mittels Reinforcement-Learning verfolgt, bei dem Zustände zu Clustern aggregiert werden. Die Aggregation wurde dabei wie folgt vorgenommen:

Da die Treibstoffzufuhr nur um 0,05 erhöht und verringert werden kann und immer im Intervall [0,1) gehalten wird, kann der Zustand der Treibstoffzufuhr nur 20 dis- krete Werte annehmen.

Das Brummen nimmt hingegen kontinuierliche Werte an. Zur Aggregation von Zuständen wurde das Brummen auf eine Genauigkeit von 1/50 gerundet. Dabei handelt es sich nicht um eine änderung des RL-Problems, das BurnSim-Problem selbst bleibt nämlich unverändert. Beispielsweise sind die Zustände Si = (f = 0,25; h = 0,1239) und S ₂ = (f = 0,25; h = 0,1277) zwei unterschiedliche Zustände in BurnSim. Beide gehören jedoch zum aggregierten Zustand Si= (f = 0,25; h = 0, 12) .

Die Exploration wurde auf den so aggregierten Zuständen nach dem gleichen Prinzip wie die graph-basierte Variante durchgeführt.

Fig. 4 zeigt Ergebnisse der basierend auf BurnSim durchgeführten Simulationen zur Exploration des Zustandsraums . Dabei ist in Fig. 4 entlang der Abszisse die Treibstoffzufuhr f und entlang der Ordinate das Brummen h wiedergegeben. Durch die Linie LIl wird die Explorationsgrenze der Wegfindung basierend auf Reinforcement-Learning wiedergegeben, durch die Linie LI2 die Explorationsgrenze basierend auf graph-basierter Wegfindung und durch die Linie L3 die Grenze der Rewards τ = —1. Die unterhalb der Linien LIl und LI2 liegenden Zustände sind Zustände, welche mit den entsprechenden Wegfindungs- Verfahren erreicht werden. Die Zustände unterhalb der Grenze gemäß der Linie LI3 stellen die maximal sicher explorierbaren Zustände dar. Darüber hinaus ist als gepunktete Linie LI4 die Erreichbarkeitsgrenze wiedergegeben, d.h. alle Zustände rechts der Linie sind in dem BurnSim-Problem nicht erreichbar. Die Linie LI4 ist hierbei die Projektion der Linie Ll der Fig. 2 in die durch die Achsen f und h aufgespannte Ebene .

Bei der Verwendung der graph-basierten Exploration wurde die lokal-quadratische Approximation verwendet und als Backup- backup

Policy kam der oben beschriebene Standard-Regler 71 zum Einsatz. Wie sich aus Fig. 4 ergibt, wurde während der Explo- ration die Grenze für τ=—\ nicht überschritten, so dass die Exploration das Kriterium der sicheren Exploration erfüllt.

Bei der Exploration mit Zustands-Aggregation und RL- Wegfindung wurde wie bei der graph-basierten Exploration die lokal-quadratische Approximation als Sicherheitsfunktion verwendet. Bei der Backup-Policy handelte es sich um eine Policy, die, wie oben beschrieben, aus der Lehrer-Trajektorie T der Fig. 3 ermittelt wurde. Der bei dieser Wegfindung explo- rierte Bereich ist kleiner als der durch die graph-basierte Exploration abgedeckte Bereich, da die Linie LIl unterhalb der Linie LI2 liegt.

In manchen Bereichen des Zustandsraums enthält die zum Lernen verwendete Lehrer-Trajektorie keine alternativen Aktionen, sondern nur eine nicht optimale. Mangels Alternativen in den Trainingsdaten wählt die resultierende Policy auch diese Ak- tion. Das Ergebnis ist eine Backup-Policy, die das Brummen langsamer senkt als der Standard-Regler. Dadurch werden auf den Backup-Trajektorien dieser Policy geringere Rewards beobachtet als auf denen des Standard-Reglers. Als Folge stuft die Sicherheitsfunktion früher Aktionen als unsicher ein.

Trotz des gegenüber der graph-basierten Exploration kleineren abgedeckten Bereichs wurden Informationen aus dem gesamten Bereich des Zustandsraums gewonnen, der von der Trajektorie der optimalen Policy betreten wird. Somit sind die Beobach- tungen in diesem Fall ausreichend, um daraus die optimale Policy abzuleiten. Die optimale Policy ist hierbei diejenige Aktionsauswahl-Regel, welche im Durchschnitt die höchsten Rewards liefert. Diese Policy ist für das BurnSim-Problem bekannt .

Die graph-basierte Exploration benötigte ca. 52000 Schritte, bis keine weitere Exploration mehr möglich war. Im Falle der Exploration auf aggregierten Zuständen mit RL-Wegfindung wurden dagegen ca. 98000 Schritte benötigt. Die größere Zahl an Explorationsschritten begründet sich durch die für die Exploration weniger geeignete gelernte Backup-Policy sowie der Unsicherheit in der Wegfindung aufgrund der Verletzung der Mar- kov-Bedingung durch die Zustands-Aggregation .

Um die Performanz des Verfahrens nachzuweisen, wurden die mit den oben beschriebenen Explorations-Verfahren ermittelten Daten zum Lernen der optimalen Policy verwendet. Zu diesem Lernen wurden verschiedene RL-Verfahren eingesetzt. Insbesondere wurde die Neural Fitted Q-Iteration, dynamische Programmie- rung mit Nächster-Nachbar-Generalisierung und die bekannte optimale Policy verglichen. Aus nachfolgender Tabelle 1 ergeben sich die erreichten Durchschnitts-Rewards von zwei RL- Verfahren im Vergleich zur optimalen Policy, wobei beide RL-

Verfahren sowohl mit graph-basierter als auch mit RL- Wegfindung durchgeführt wurden.

Tabel le 1

Durchschnittlicher Reward

RL-Verfahren Graph-basiert RL-Wegfindung

Dynamische Programmierung 1.164 1.132 Neural Fitted Q-Iteration 1.166 1.166 Optimale Policy 1.166

Man erkennt aus der Tabelle 1, dass sowohl die Exploration mit graph-basierter Wegfindung als auch mit RL-Wegfindung zu Policies mit Rewards führt, die nahe am Reward der optimalen Policy liegen bzw. diesem sogar entsprechen. Insbesondere wurde mit der Neural Fitted Q-Iteration sowohl für die graphbasierte als auch für die RL-Wegfindung die optimale Policy ermittelt .

Aus den obigen Ausführungen ergibt sich, dass mit den verschiedenen Ausführungsformen des erfindungsgemäßen Verfahrens sehr gut die Zustände eines technischen Systems dahingehend exploriert werden können, dass eine gute Datenbasis erreicht wird, mit der ein entsprechendes Steuerungs- bzw. Regelverfahren für das technische System gelernt werden kann. Dabei wird bei der Exploration insbesondere vermieden, dass Zustän- de erreicht werden, welche unmittelbar bzw. mittelbar zu einer Beschädigung des technischen Systems führen können.