Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems

Die Erfindung betrifft ein Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems sowie ein Verfahren zur Prädiktion der Observablen eines dynamischen Systems basierend auf einem gelernten rekurrenten neuronalen Netz und ein entsprechendes Computerprogrammprodukt .

Rekurrente neuronale Netze werden heutzutage in verschiedenen Anwendungsgebieten dazu verwendet, um die zeitliche Entwicklung eines dynamischen Systems in geeigneter Weise derart zu modellieren, dass ein mit Trainingsdaten des dynamischen Systems gelerntes rekurrentes neuronales Netz gut die Obser ^¬ vablen (beobachtbaren Zustände) des betrachteten Systems vorhersagen kann. Dabei werden durch das rekurrente neuronale Netz als Zustände des dynamischen Systems neben den Observablen auch unbekannte versteckte Zustände modelliert, wobei in der Regel ein kausaler, d.h. zeitlich vorwärts gerichteter, Informationsfluss zwischen zeitlich aufeinander folgenden Zuständen betrachtet wird.

Im Rahmen des Lernens von rekurrenten neuronalen Netzen sind sog. Teacher-Forcing-Verfahren bekannt, bei denen ein zu einem jeweiligen Zeitpunkt mittels des rekurrenten neuronalen Netzes ermittelter Observablenvektor durch einen bekannten, aus Trainingsdaten stammenden Observablenvektor ersetzt wird. Da für zukünftige Zeitpunkte keine Trainingsdaten existieren, wird das mit dem rekurrenten neuronalen Netz modellierte dynamische System ohne Teacher-Forcing iteriert, um hierdurch mehrere Zeitschritte in die Zukunft reichende Vorhersagen über die Zustände des modellierten dynamischen Systems zu erhalten. Hierdurch entsteht das Problem, dass durch das Teacher-Forcing ein Symmetriebruch zwischen der Vergangenheit und der Zukunft verursacht werden kann, so dass langfristige Vorhersagen zu den Zuständen des dynamischen Systems nicht möglich bzw. nicht korrekt sind.

Aufgabe der Erfindung ist es deshalb, ein Verfahren zum Lernen eines rekurrenten neuronalen Netzes zu schaffen, mit dem dynamische Systeme für längerfristige Prognosen besser model liert werden können.

Diese Aufgabe wird durch unabhängige Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.

Das erfindungsgemäße Verfahren dient zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems, das zu jeweiligen Zeitpunkten durch einen Observablenvektor umfassend eine oder mehrere Ob servablen (d.h. beobachtbare Zustände des dynamischen Sys ^¬ tems) als Einträge charakterisiert ist. Das Verfahren ist da bei auf beliebige dynamische Systeme anwendbar, beispielswei se kann mit dem Verfahren die Entwicklung von Energiepreisen und/oder Rohstoffpreisen modelliert werden. Ebenso kann mit dem Verfahren jedes beliebige, sich dynamisch über die Zeit verändernde technische System basierend auf entsprechenden beobachtbaren Zustandsgrößen des technischen Systems modelliert werden, um hierdurch Observablen des technischen Systems mit einem entsprechend gelernten Netz vorherzusagen. Beispielsweise kann mit dem Verfahren eine Gasturbine und/oder eine Windkraftanlage geeignet modelliert werden.

Das in dem erfindungsgemäßen Verfahren verwendete rekurrente neuronale Netz umfasst ein erstes kausales Netz, welches ei ^¬ nen zeitlich vorwärts gerichteten Informationsfluss von der Vergangenheit in die Zukunft beschreibt. Das erste kausale Netz koppelt dabei erste Zustandsvektoren des dynamischen Systems zu aufeinander folgenden Zeitpunkten über eine Gewichtsmatrix, d.h. ein erster Zustandsvektor zu einem jeweiligen Zeitpunkt wird unter Verwendung der Gewichtsmatrix in einen ersten Zustandsvektor zum nächsten Zeitpunkt überführt wobei die Gewichtsmatrix für alle Kopplungen zwischen Zu- standsvektoren die gleiche Matrix ist. In dem ersten kausalen Netz umfasst ein erster Zustandsvektor zu einem jeweiligen Zeitpunkt einen oder mehrere erste Einträge, welche jeweils einem Eintrag des Observablenvektors entsprechen, sowie einen oder mehrere versteckte Zustände des dynamischen Systems. Beim Lernen des rekurrenten neuronalen Netzes wird dabei jeder erste Zustandsvektor, der zum jeweiligen Zeitpunkt durch das erste kausale Netz ermittelt wird und für den ein bekann- ter Observablenvektor aus Trainingsdaten existiert, im Rahmen der Kopplung mit dem ersten Zustandsvektor zum darauf folgenden Zeitpunkt mittels eines ersten Differenzvektors korri ^¬ giert, welcher den Unterschied zwischen den ersten Einträgen des zum jeweiligen Zeitpunkt ermittelten ersten Zustandsvek- tors und dem bekannten Observablenvektor beschreibt. Das erste kausale Netz wird somit mit einem des Teacher-Forcing ge ^¬ lernt, bei dem berechnete Observablenvektoren durch bekannte Observablenvektoren über einen Differenzvektor ersetzt werden. Dieses Teacher-Forcing wird auch als architektonisches Teacher-Forcing bezeichnet.

Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass das rekurrente neuronale Netz neben dem ersten kausalen Netz ferner zumindest ein zweites kausales Netz umfasst, wel- ches zweite Zustandsvektoren des dynamischen Systems zu aufeinander folgenden Zeitpunkten mit der gleichen Gewichtsmatrix wie das erste kausale Netz koppelt. In Analogie zu den ersten Zustandsvektoren umfasst ein zweiter Zustandsvektor zu einem jeweiligen Zeitpunkt eine oder mehrere zweite Einträge, welche jeweils einem Eintrag des Observablenvektors entspre ^¬ chen, sowie einen oder mehrere versteckte Zustände des dyna ^¬ mischen Systems. Dabei wird beim Lernen des rekurrenten neuronalen Netzes nur ein Teil der zweiten Zustandsvektoren, die zum jeweiligen Zeitpunkt durch das zumindest eine zweite kau- sale Netz ermittelt werden und für welche ein bekannter Observablenvektor aus Trainingsdaten existiert, im Rahmen der Kopplung mit dem zweiten Zustandsvektor zum darauf folgenden Zeitpunkt mittels eines zweiten Differenzvektors korrigiert, welcher den Unterschied zwischen den zweiten Einträgen des zum jeweiligen Zeitpunkt ermittelten zweiten Zustandsvektors und dem bekannten Observablenvektor beschreibt. Das erfindungsgemäße Verfahren koppelt somit über die Verwen ^¬ dung der gleichen Gewichtsmatrix ein erstes, an sich bekanntes kausales Netz, in dem zu jedem Zeitschritt eine Korrektur über einen Differenzvektor und damit ein Teacher-Forcing durchgeführt wird, mit zumindest einem zweiten kausalen Netz in dem nur für einen Teil der Zeitschritte ein Teacher- Forcing durchgeführt wird. Auf diese Weise wird ein zusätzli ^¬ cher Teacher-Forcing-Zweig geschaffen, in dem zu bestimmten Zeitpunkten keine Korrektur des Zustandsvektors mittels Tea ^¬ cher-Forcing erfolgt. Auf diese Weise wird das rekurrente neuronale Netz weniger abhängig von dem Teacher-Forcing, wodurch das Lernen des rekurrenten neuronalen Netzes dahingehend verbessert wird, dass genauere langfristige Prognosen über Zustände des mit dem Netz modellierten dynamischen Systems gemacht werden können. Dies konnte durch die Erfinder mittels entsprechender Simulationen nachgewiesen werden.

In einer bevorzugten Aus führungs form des erfindungsgemäßen Verfahrens wird in dem zumindest einen zweiten kausalen Netz in der Reihenfolge der aufeinander folgenden Zeitpunkte nur jeder n-te Zustandsvektor mittels des zweiten Differenzvektors korrigiert, wobei n eine natürliche Zahl größer gleich 2 ist, wobei vorzugsweise n=2 gilt. Mit dieser Variante werden gute Ergebnisse für langfristige Prognosen erreicht. In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens umfasst das rekurrente neuronale Netz mehrere zweite kausale Netze, welche alle die gleiche Gewichtsmatrix wie das erste kausale Netz verwenden. Insbesondere ist für jedes zweite kausale Netz dabei der Wert von n unterschiedlich ge- wählt, wobei die Werte von n vorzugsweise in aufeinanderfol ^¬ gender Reihenfolge beginnend mit n=2 an die zweiten kausalen Netze vergeben sind. D.h., eines der zweiten kausalen Netze führt nur in jedem zweiten Zeitschritt ein Teacher-Forcing durch, wohingegen ein weiteres zweites kausales Netz nur in jedem dritten Zeitschritt ein Teacher-Forcing vorsieht. Ein noch weiteres zweites kausales Netz sieht dann nur in jedem dritten Zeitschritt ein Teacher-Forcing vor usw. Diese Variante der Erfindung kann als architektonisches Teacher-Forcing höherer Ordnung bezeichnet werden.

In einer weiteren, besonders bevorzugten Aus führungs form werden das erste kausale Netz und das zumindest eine zweite kau ^¬ sale Netz basierend auf einer Fehler-Rückpropagation mit geteilten Gewichten gelernt. Dieses auch unter dem englischen Begriff "error backpropagation with shared weights" bekannte Verfahren ist dem Fachmann hinlänglich geläufig und wird häufig in rekurrenten neuronalen Netzen beim Lernen eingesetzt. Durch die Verwendung dieses Verfahrens wird ein einfaches und effizientes Lernen des rekurrenten neuronalen Netzes erreicht .

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird in dem ersten kausalen Netz ein erster Zustandsvek- tor zu einem jeweiligen Zeitpunkt in einen ersten Zustands- vektor zu einem darauf folgenden Zeitpunkt durch eine Multi ^¬ plikation mit der Gewichtsmatrix und das Anwenden einer Aktivierungsfunktion überführt. In einer besonders bevorzugten Variante wird dabei zunächst die Aktivierungsfunktion auf den ersten Zustandsvektor zu dem jeweiligen Zeitpunkt angewendet und erst anschließend erfolgt eine Multiplikation mit der Ge ^¬ wichtsmatrix. Hierdurch wird sichergestellt, dass Observablen beschrieben werden können, welche nicht durch den Wertebereich der Aktivierungsfunktion beschränkt sind.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird auch in dem zumindest einen zweiten kausalen Netz ein zweiter Zustandsvektor zu einem jeweiligen Zeitpunkt in einen zweiten Zustandsvektor zu einem darauf folgenden Zeitpunkt durch eine Multiplikation mit der Gewichtsmatrix und das Anwenden einer Aktivierungsfunktion überführt. Vorzugsweise wird wiederum zunächst die Aktivierungsfunktion auf den zweiten Zustandsvektor zu dem jeweiligen Zeitpunkt angewendet und erst anschließend erfolgt eine Multiplikation mit der Ge ^¬ wichtsmatrix. Hierdurch wird auch für das zumindest eine zweite kausale Netz sichergestellt, dass die Observablen nicht durch den Wertebereich der Aktivierungsfunktion beschränkt sind.

In einer besonders bevorzugten Variante sind die oben be ^¬ schriebenen Aktivierungsfunktionen tanh-Funktionen (tangens hyperbolicus ) , welche häufig in rekurrenten neuronalen Netzen zum Einsatz kommen.

Neben dem oben beschriebenen Verfahren umfasst die Erfindung ein Verfahren zur Prädiktion von Observablen eines dynamischen Systems, bei dem die Prädiktion mit einem rekurrenten neuronalen Netz durchgeführt wird, welches mit dem erfin ^¬ dungsgemäßen Lernverfahren basierend auf Trainingsdaten umfassend bekannte Observablenvektoren des dynamischen Systems gelernt ist.

Die Erfindung betrifft darüber hinaus ein Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung der oben beschriebenen Verfahren, wenn das Programm auf einem Rechner abläuft.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.

Es zeigen:

Fig. 1 und Fig. 2 zwei Varianten von bekannten rekurrenten neuronalen Netzen zur Modellierung eines dynamischen Systems;

Fig. 3 eine auf Fig. 2 basierende Variante eines rekurrenten neuronalen Netzes, welches erfindungsgemäß als erstes kausales Netz zum Einsatz kommt; Fig. 4 bis Fig. 6 Varianten des Lernens des kausalen Netzes der Fig. 3, welche aus dem Stand der Technik bekannt sind; und

Fig. 7 eine Variante des erfindungsgemäßen Lernens eines rekurrenten neuronalen Netzes.

Rekurrente neuronale Netze zur Modellierung des zeitlichen Verhaltens eines dynamischen Systems sind hinlänglich aus dem Stand der Technik bekannt. Diese Netze umfassen in der Regel mehrere Schichten, welche eine Mehrzahl von Neuronen beinhalten und in geeigneter Weise basierend auf Trainingsdaten aus bekannten Zuständen des dynamischen Systems derart gelernt werden können, dass zukünftige Zustände des dynamischen Sys ^¬ tems prädiziert werden können. In allen nachfolgenden Figuren sind entsprechende Neuronencluster, welche Zustandsvektoren bzw. Observablenvektoren bzw. Differenzvektoren modellieren, durch Kreise wiedergegeben.

Fig. 1 zeigt eine aus dem Stand der Technik bekannte Variante eines neuronalen Netzes, welches ein offenes dynamisches Sys ^¬ tem modelliert. Das Netz umfasst dabei eine Eingangsschicht I mit zeitlich aufeinander folgenden Zustandsvektoren u _t -3, Ut-2 _/ Ut-i und u _t , welche entsprechende Eingangsgrößen des dynami ^¬ schen Systems darstellen. Diese Eingangsgrößen können beispielsweise Stellgrößen eines mit dem neuronalen Netz modellierten technischen Systems sein. Die einzelnen Zustandsvektoren der Eingangsschicht I sind über Matrizen B mit entspre- chenden versteckten Zustandsvektoren st-2 _/ St-i, usw. einer versteckten Schicht verbunden. Die versteckten Zustandsvektoren umfassen eine Mehrzahl von versteckten Zuständen des dynamischen Systems und bilden den (nicht beobachtbaren) Zu- standsraum des dynamischen Systems. Die einzelnen versteckten Zustandsvektoren sind über Matrizen A miteinander verbunden. Das Netz umfasst ferner eine Ausgangsschicht 0 mit Ausgangs ^¬ größen in der Form von Zustandsvektoren y _t -2, y _t -i, y _t+4 , welche mit entsprechenden versteckten Zustandsvektoren st-2 _/ St-i, s _t +4 über die Matrix C gekoppelt sind. Die Zustände der Ausgangsschicht sind dabei Zustände des dynamischen Sys ^¬ tems, welche sich aus den entsprechenden Eingangsgrößen der Eingangsschicht I ergeben. Basierend auf Trainingsdaten, wel- che aus bekannten Eingangsgrößen und sich daraus ergebenden bekannten Ausgangsgrößen bestehen, kann das neuronale Netz der Fig. 1 in geeigneter Weise mit bekannten Verfahren, wie z.B. Fehler-Rückpropagation, gelernt werden und anschließend dazu eingesetzt werden, um basierend auf vergangenen Ein- gangsgrößen u _t -3, Ut-2 _/ - Ut-i sowie der gegenwärtigen Eingangs ^¬ größe Ut in der Eingangsschicht I zukünftige Ausgangsgrößen Yt+i, Yt+2r usw. in der Ausgangsschicht 0 vorherzusagen. Das Netz der Fig. 1 beruht dabei auf einer Modellierung des betrachteten dynamischen Systems in der Form einer Überlagerung eines autonomen und eines extern getriebenen Teilsystems.

Fig. 2 zeigt eine weitere Variante eines rekurrenten neurona ^¬ len Netzes, welches in der weiter unten beschriebenen Ausführungsform des erfindungsgemäßen Verfahrens zum Einsatz kommt. Dieses Netz modelliert ein geschlossenes dynamisches System und unterscheidet sich von dem Netz der Fig. 1 darin, dass nicht mehr zwischen Eingangsgrößen u _T und Ausgangsgrößen y _T unterschieden wird, wobei τ im Folgenden einen beliebigen Zeitpunkt bezeichnet. Vielmehr werden sowohl die Eingangsgrö- ßen als auch die Ausgangsgrößen als Observablen, d.h. beobachtbare Zustände eines Observablenvektors des dynamischen Systems, betrachtet. Das Netz der Fig. 2 umfasst eine erste Schicht LI und eine zweite Schicht L2, wobei die erste

Schicht LI einen zeitlich vorwärts gerichteten Informations- fluss zwischen einzelnen Zustandsvektoren St-2 _/ St-i, ■-, s _t +3 des modellierten dynamischen Systems darstellt. Im Unterschied zu Fig. 1 enthält in der Aus führungs form der Fig. 2 ein Zustandsvektor s _T zunächst als Einträge die beobachtbaren Observablen, welche den Zustandsvektoren y _t und u _t der Fig. 1 entsprechen, und anschließend die nicht beobachtbaren versteckten Zustände, wobei die Anzahl an versteckten Zuständen in der Regel wesentlich größer ist als die Anzahl der Observablen. Die einzelnen Zustandsvektoren in der Schicht LI wer- den durch Matrizen A ineinander überführt, welche basierend auf Trainingsdaten in geeigneter Weise gelernt werden. Zu Beginn des Lernens wird dabei ein geeigneter Bias in der

Schicht LI vorgegeben, der in Fig. 2 und auch in allen nach- folgenden Figuren mit So bezeichnet ist.

Ein geeignet gelerntes rekurrentes neuronales Netz der Fig. 2 liefert in der zweiten Schicht die Observablen yt-i, Ut-2 _/ Yt-i, u _t -i, ... usw. zu den jeweiligen Zeitpunkten. Dabei werden über die Matrix [Id, 0] diejenigen Einträge der entsprechenden Zu- standsvektoren s _T erhalten, welche Observablen entsprechen. Die Matrix [Id, 0] weist für die Spalten die Dimension des Zustandsvektors s _T auf und für die Zeilen die Dimension gemäß der Anzahl von Observablen. Der linke Teil der Matrix bildet eine quadratische Identitätsmatrix und für die restlichen Spalten enthält die Matrix nur Nullen, wodurch die Filterung der Observablen aus dem Zustandsvektor s _T erreicht wird. Mit dem Netz der Fig. 2 werden die Observablen in einem großen Zustandsvektor s _T eingebettet. Es wird dabei eine dynamisch konsistente und in allen Variablen symmetrische Modellierung eines dynamischen Systems erreicht, wobei die Zeit keine spe ^¬ zielle Rolle spielt. Das Netz der Fig. 2 stellt ferner ein kausales Netz dar, da der Informationsfluss zwischen den Zu ^¬ ständen der Schicht LI zeitlich vorwärts gerichtet von der Vergangenheit in die Zukunft erfolgt.

Fig. 3 zeigt ein auf der Fig. 2 basierendes rekurrentes neu ^¬ ronales Netz, wobei nunmehr alle Observablen durchgängig als Observablenvektoren y _t -6r Yt-5, ■■·, yt+3 bezeichnet werden. Die Notation y _T umfasst somit sowohl die Ausgangsgröße y _T als auch die Eingangsgröße u _T aus Fig. 2. Diese Notation wird im Folgenden auch bei allen weiteren beschriebenen Varianten von rekurrenten neuronalen Netzen verwendet. Darüber hinaus sind in Fig. 3 zur Verdeutlichung die mit dem Netz vorherzusagen- den Observablenvektoren y _t +i, y _t +2, und y _t +3 durch gestrichelte Kreise angedeutet. Das heißt, der gegenwärtige Zeitpunkt wird in Fig. 3 und auch in allen weiteren Figuren mit t bezeichnet. Vergangene Zeitpunkte sind somit die Zeitpunkte t-1, t-2 usw. und zukünftige Zeitpunkte sind die Zeitpunkte t+1, t+2, t+3 usw.

Fig. 4 zeigt eine bekannte Variante des Lernens des rekurren ^¬ ten neuronalen Netzes der Fig. 3, wobei y ^d t-3, y ^d t-2, y ^d t-i und y ^d _t bekannte Observablenvektoren gemäß vorgegebenen Trai ^¬ ningsdaten des zu modellierenden dynamischen Systems darstellen. Die Matrix [Id, 0] entspricht der oben erläuterten Matrix zur Filterung der Observablen aus dem entsprechenden Zu-

Id standsvektor s _T . Demgegenüber wird durch die Matrix eine

0

Umwandlung des bekannten Observablenvektors y _τ in einen Ob- servablenvektor erreicht, der neben den Einträgen für die bekannten Observablen auch Einträge für die weiteren versteckten Zustände enthält, welche jedoch alle auf Null gesetzt

Id

sind. Die Matrix umfasst dabei eine der Anzahl der Ob-

0

servablen entsprechende Anzahl an Spalten und eine der Dimension des Zustandsvektors s _T entsprechende Anzahl an Zeilen. Im oberen Teil bildet die Matrix eine quadratische Identi ^¬ tätsmatrix und die restlichen Zeilen der Matrix enthalten ausschließlich Nullen. Das Netz der Fig. 4 enthält ferner die Matrix C, mit der ein Zustand s _T in einen Zustand r _T überführt wird. Der Zustand r _T stellt dabei einen gefilterten Zu ^¬ stand dar, der nur die versteckten Zustände des Vektors s _T enthält. Demzufolge ist die Matrix C eine Matrix, welche an den Diagonalelementen, die den entsprechenden Zeilen bzw.

Spalten der versteckten Zustände entsprechen, Einsen enthält und deren restliche Einträge auf Null gesetzt sind.

Durch die in Fig. 4 gezeigte Kopplung der bekannten Zustände y ^d _T mit dem Zustand r _T wird erreicht, dass die durch das neu ^¬ ronale Netz ermittelten Werte der Observablen durch die Observablen y ^d _T gemäß den Trainingsdaten ausgetauscht werden. Somit wird in jedem Zeitschritt τ < t ein Ersetzen der ermittelten Observablen durch die tatsächlichen Observablen ge- mäß den Trainingsdaten erreicht. Ein derartiges Lernverfahren ist auch unter dem Begriff "Teacher-Forcing" bekannt. Gemäß der Darstellung der Fig. 4 werden mit dem rekurrenten neuronalen Netz die folgenden Zusammenhänge modelliert, wobei - wie oben erwähnt - der Zeitpunkt t dem aktuellen Gegenwarts ^¬ zeitpunkt entspricht:

τ > ί : s _T+l = tan (As _T ) _{( 2} ) für alle T \ y _r = [ld,Q ⁾ ]s _T (3)

Das Lernen beruht dabei auf dem folgenden Optimierungsziel:

Das heißt, es wird nach der Matrix A gesucht, welche den über die Zeitpunkte t-m < τ < t summierten quadratischen Fehler zwischen über das Netz ermittelten und bekannten Observablen- vektoren minimiert.

Auch in dem rekurrenten neuronalen Netz, welches in dem erfindungsgemäßen Verfahren verwendet wird, kommt das oben beschriebene Teacher-Forcing zum Einsatz, jedoch in abgewandelten Varianten, welche in Fig. 5 und 6 für das kausale Netz der Fig. 3 verdeutlicht sind. Es werden dabei die analogen Notationen (bis auf etwaige Vorzeichen) wie in Fig. 4 beibehalten. Die zusätzlich in Fig. 5 hinzukommende Matrix Id bezeichnet eine entsprechende Identitätsabbildung für den Zu- standsvektor, an dem der mit der Matrix bezeichnete Pfeil beginnt. Im Unterschied zur Aus führungs form der Fig. 4 wird nunmehr in Fig. 5 eine Zielgröße bzw. ein Targetwert tar eingeführt, welcher den Differenzvektor zwischen dem durch das rekurrente neuronale Netz ermittelten Observablenvektor y _T innerhalb des Zustandsvektors s _T und dem bekannten Obser ^¬ vablenvektor y ^d _T darstellt. Dieser Targetwert, der im Ideal ^¬ fall Null ist, dient wiederum dazu, um die entsprechenden ermittelten Observablen in den Vektoren s _T durch die bekannten Observablen gemäß den Trainingsdaten zu ersetzen, was durch

Id

die Kopplung über die Matrix zum Ausdruck gebracht

0

wird. Der auf dem Targetwert basierende Differenzvektor wird in der weiter unten beschriebenen Fig. 7 auch mit D bzw. D' bezeichnet .

Mit der Struktur des Netzes gemäß Fig. 5 werden folgende Gleichungen modelliert:

T>t: s _T+1 =tan (As _T )

Das Optimierungsziel ist dabei analog zu dem Netz der Fig. gegeben durch:

Mit der Architektur gemäß Fig. 5 können aufgrund der verwendeten tanh-Funktion nur Observablen zwischen -1 und +1 modelliert werden, da zunächst die Matrixmultiplikation mit der Matrix A und erst anschließend das Anwenden der tanh-Funktion erfolgt, welche einen Wertebereich zwischen -1 und +1 auf- weist. In einer abgewandelten Variante des Lernens gemäß Fig. 5 wird nunmehr zunächst die tanh-Funktion auf den entspre ^¬ chenden Zustand r _T bzw. s _T angewendet, und erst anschließend erfolgt die Matrixmultiplikation mit der Matrix A. Eine solche Variante des Netzes ist in Fig. 6 verdeutlicht, wobei das Anwenden der tanh-Funktion vor der Matrixmultiplikation mit der Matrix A dadurch verdeutlicht wird, dass in den Kreisen, welche in Fig. 5 die Zustände r _T enthalten, sowie zwischen den Zuständen s _t +i und s _t +2 nunmehr die tanh-Funktion wiederge ^¬ geben ist. Gemäß dieser Variante können auch Observablen außerhalb des Wertebereichs zwischen -1 und +1 modelliert wer ^¬ den. Fig. 6 stellt dabei eine bevorzugte Variante eines Ler ^¬ nens dar, welche auch in der weiter unten beschriebenen erfindungsgemäßen neuronalen Netzstruktur eingesetzt wird. Mathematisch äußert sich der Unterschied zwischen dem rekurrenten neuronalen Netz der Fig. 6 gegenüber dem rekurrenten neuronalen Netz der Fig. 5 darin, dass in den obigen Gleichungen (5) und (6) die Position der Matrix A mit der Position der Funktion tanh vertauscht wird.

Die in Fig. 5 und Fig. 6 gezeigten neuronalen Netze berücksichtigen beim Lernen alle vergangenen Zustandsvektoren, für welche Observablenvektoren aus Trainingsdaten vorliegen, wobei der initiale Zustand basierend auf dem Biasvektor so zu ^¬ sammen mit der Gewichtsmatrix A gelernt wird. Diese Netzstruktur eignet sich beispielsweise zur rechnergestützten Vorhersage von Energiepreisen bzw. Rohstoffpreisen. Bei der Modellierung des dynamischen Verhaltens eines technischen Systems, welches durch eine Anzahl von Observablen beschrie ^¬ ben ist, werden beim Lernen des Netzes nicht alle Trainings ^¬ daten auf einmal berücksichtigt, sondern das Lernen beruht immer auf einem Ausschnitt der Netzstruktur für eine Anzahl von aufeinander folgenden Zustandsvektoren, für welche bekannte Observablenvektoren aus Trainingsdaten vorliegen. Das Netz wird dabei in Zeitfenstern gelernt, welche verschiedene Ausschnitte aus aufeinander folgenden Observablenvektoren der Trainingsdaten repräsentieren. Dabei besteht das Problem, dass kein initialer Zustand existiert. In manchen Lernverfah- ren wird die sich aus dem fehlenden initialen Zustand erge ^¬ bende Inkonsistenz vernachlässigt. Vorzugsweise wird anstatt des Biasvektors So jedoch ein initialer verrauschter Zustand verwendet. Um den initialen verrauschten Zustand geeignet zu modellieren, kann insbesondere das in der Druckschrift DE 10 2008 014 126 B4 beschriebene Verfahren verwendet werden, welche das Netz gegen die Unsicherheit der unbekannten, weit zu ^¬ rückliegenden Vergangenheit versteift.

Auch in den weiter unten beschriebenen Varianten des erfindungsgemäßen Verfahrens kann je nach Anwendungsfall eine Netzstruktur mit der gesamten Vergangenheit gemäß den Trai ^¬ ningsdaten beim Lernen berücksichtigt werden bzw. eine verkürzte Netzstruktur, bei der immer nur ein Ausschnitt aus aufeinander folgenden Zustandsvektoren mit zugeordneten Ob- servablenvektoren gemäß den Trainingsdaten einfließt. Im ersten Fall wird der initiale Zustand durch den Bias So reprä ^¬ sentiert, wohingegen im zweiten Fall vorzugsweise ein ent ^¬ sprechender Rauschterm verwendet wird. In Analogie zu den oben beschriebenen kausalen Netzen kann auch in den weiter unten beschriebenen retro-kausalen Netzen ein entsprechender initialer (zukünftiger) Zustand durch einen Biasvektor oder durch ein Rauschen repräsentiert werden.

Die rekurrenten neuronalen Netze der Fig. 5 und Fig. 6 wurden von den Erfindern zur Modellierung der Entwicklung des Strompreises basierend auf einer Mehrzahl von Observablen verwendet. Die Observablen umfassen dabei neben dem Strompreis noch weitere Größen, u.A. den Gaspreis, den Aluminiumpreis und dergleichen. Basierend auf entsprechenden Trainingsdaten wurden die rekurrenten neuronalen Netze gelernt und dann zur Vorhersage des Strompreises in der Zukunft eingesetzt. Dabei hat sich gezeigt, dass das Teacher-Forcing, gemäß dem die Netze der Fig. 5 und Fig. 6 gelernt werden, für längerfristi ^¬ ge Vorhersagen in der Zukunft zum Teil schlechte Ergebnisse liefert. Dies liegt daran, dass das Teacher-Forcing einen Symmetriebruch zwischen der Vergangenheit und der Zukunft hervorrufen kann und somit langfristige Vorhersagen nicht richtig repräsentiert. Nichtsdestotrotz wird Teacher-Forcing zum Lernen der Netzstrukturen gemäß Fig. 5 und Fig. 6 benötigt .

Um langfristige Vorhersagen zu verbessern, kann beispielsweise die Dimension des versteckten Zustandsvektors erhöht werden, was dazu führt, dass der Targetwert bzw. Differenz ^¬ vektor tar gemäß Fig. 5 und Fig. 6 kleiner wird. Dies führt jedoch zu einem erhöhten Rechenaufwand. Ebenso können ggf. die Iterationsschritte beim Lernen erhöht werden, was den Fehler ebenfalls vermindert, jedoch zu großen Gewichten und sog. deterministischem Chaos führt. Da die beiden oben beschriebenen Maßnahmen somit zum Verbessern des Lernens ungeeignet sind, wurden im Rahmen der Erfindung andere Überlegungen berücksichtigt, um das Lernen zu verbessern. Dabei wurde die Fragestellung betrachtet, wie die Abhängigkeit des Ler ^¬ nend rekurrenten neuronalen Netzes von dem Teacher-Forcing vermindert werden kann.

Zur Lösung dieser Problemstellung wurde im Rahmen des Lernens des rekurrenten neuronalen Netzes die in Fig. 7 gezeigte Netzstruktur verwendet, welche im unteren Teil das kausale Netz der Fig. 6 als erstes Teilnetz Nl umfasst und im oberen Teil ein zweites kausales Teilnetz N2 beinhaltet. Das zweite kausale Netz N2 weist dabei die gleiche Struktur wie das kau ^¬ sale Netz Nl auf und wird auch mit den gleichen Trainingsda ^¬ ten y _t -4 ^d , y _t -3 ^d usw. gelernt. Die entsprechenden Zustände des zweiten kausalen Netzes sind dabei mit s ' _t - _r s ' _t -3, ■-, bis s' _t bezeichnet. Ferner sind die im Rahmen der Teacher-Forcing verwendeten Differenzvektoren im kausalen Netz Nl mit D und im kausalen Netzt N2 mit D' bezeichnet.

Die Kopplung zwischen dem Netz Nl und Netz N2 wird durch die gemeinsame Verwendung der gleichen Gewichtsmatrix A erreicht, welche im Rahmen des Lernens der dargestellten Netzstruktur gleichzeitig in beiden Netzen gelernt wird. Erfindungswesent ^¬ lich ist dabei, dass im zweiten kausalen Netz N2 - im Unterschied zum ersten kausalen Netz Nl - nicht mehr in jedem Zeitschritt ein Teacher-Forcing durch die Kopplung des Diffe renzvektors mit der rekurrenten Schicht über die Matrix

erreicht wird, sondern das Teacher-Forcing nur in jedem zweiten Teilschritt realisiert wird. In der Darstellung der Fig. 7 erfolgt im Netz N2 kein Teacher-Forcing in den Zeitschritten t-4 und t-2, wohingegen in den Zeitschritten t-3 und t-1 ein Teacher-Forcing durchgeführt wird. Das Lernen erfolgt vorzugsweise wiederum basierend auf Fehler-Rückpropagation mit geteilten Gewichten. Die Erfinder konnten nachweisen, dass basierend auf dem anhand von Fig. 7 erläuterten Lernen mit Hilfe eines zweiten kausalen Netzes, bei dem das Teacher- Forcing nicht in jedem Zeitschritt durchgeführt wird, für ein dynamische System, mit dem Strompreise modelliert werden, verbesserte Langzeitvorhersagen erreicht werden können.

Das anhand von Fig. 7 erläuterte Lernverfahren kann in geeigneter Weise abgewandelt werden. Insbesondere kann als erstes kausales Netz anstatt des Netzes der Fig. 6 auch das Netz der Fig. 5 verwendet werden, bei dem zunächst die Multiplikation mit der Matrix A erfolgt und erst anschließend die tanh-

Funktion angewendet wird, was der Dynamik der obigen Gleichungen (5) bis (7) entspricht. Darüber hinaus kann das Weg ^¬ lassen des Teacher-Forcings in dem kausalen Netz N2 auch anders ausgestaltet sein. Beispielsweise kann das Teacher- Forcing auch nur jeden dritten, oder vierten, usw. Zeitschritt durchgeführt werden. Allgemein kann das Teacher- Forcing immer nur jeden n-ten Zeitschritt durchgeführt werden, wobei n eine natürliche Zahl größer gleich zwei ist. Darüber hinaus besteht die Möglichkeit, neben dem zweiten kausalen Netz N2 weitere zweite kausale Netze mit dem ersten kausalen Netz Nl zu koppeln. Die weiteren zweiten kausalen Netze weisen die gleiche Struktur wie das Netz N2 auf, unterscheiden sich von dem Netz N2 jedoch darin, dass das Teacher- Forcing auf andere Weise weggelassen wird. Insbesondere wird für die weiteren zweiten kausalen Netze das Teacher-Forcing häufiger weggelassen. Beispielsweise kann die Netzstruktur derart ausgestaltet sein, dass neben dem in Fig. 7 gezeigten Netz N2 ein weiteres zweites Netz verwendet wird, bei dem nur jeden dritten Zeitschritt ein Teacher-Forcing ausgeführt wird. Ferner können auch noch zusätzliche zweite kausale Net ^¬ ze eingesetzt werden, bei denen nur jeden dritten bzw. vier- ten bzw. fünften usw. Zeitschritt das Teacher-Forcing durchgeführt wird. Bei allen zweiten kausalen Netzen wird die gleiche Gewichtsmatrix A verwendet, wodurch das erste kausale Netz und alle zweiten kausalen Netze miteinander gekoppelt sind .

Das im Vorangegangenen beschriebene erfindungsgemäße Verfah ^¬ ren weist den Vorteil auf, dass eine verbesserte Langzeit ^¬ prognose von dynamischen Systemen erreicht wird, welche mit dem gelernten rekurrenten neuronalen Netz modelliert wird. Das Verfahren kann dabei für unterschiedliche dynamische Sys ^¬ teme eingesetzt werden. Beispielsweise kann das dynamische System die zeitliche Entwicklung von Energiepreisen bzw.

Strompreisen und/oder Rohstoffpreisen darstellen, wobei als Observablen verschiedene Arten von Energie (z.B. Gas, Öl) und/oder Rohstoffe sowie weitere wirtschaftliche Faktoren, wie z.B. die Umrechnung verschiedener Währungen und Aktienindizes, berücksichtigt werden können. Mit einem durch entspre ^¬ chende Trainingsdaten gelernten rekurrenten neuronalen Netz können dann geeignete Vorhersage über zukünftige Preisent- Wicklungen für Energie und/oder Rohstoffe getroffen werden. Ein anderer Anwendungsbereich ist die Modellierung des dynamischen Verhaltens eines technischen Systems. Beispielsweise kann das erfindungsgemäße rekurrente neuronale Netz zur Prä ^¬ diktion der beobachtbaren Zustände einer Gasturbine und/oder einer Windkraftanlage oder auch beliebiger anderer technischer Systeme eingesetzt werden.