Titel

Bestimmung einer Übertragungsfunktion eines technischen Systems

Die vorliegende Erfindung betrifft ein System, ein Verfahren, eine Verwendung, ein Computerprogramm sowie eine Vorrichtung zur Bestimmung einer Übertragungsfunktion für ein technisches System.

Stand der Technik

Herkömmlicherweise werden dynamische technische Systeme (z. B. elektrische Schaltungen, Hydrauliksysteme etc.) in der Systemtheorie und der Regelungstechnik mithilfe von parametrisierten Differenzialgleichungssystemen abgebildet. Die genauen Gleichungsparameter werden, falls unbekannt, über Versuche bestimmt.

Es ist bei komplexen Systemen mit diesem Verfahren oft nicht möglich, Übertragungsfunktionen nur über das Aufbringen einer Last und die Beobachtung der Systemantwort aufzustellen. Es ist für die erfolgreiche Systembeschreibung stets notwendig, die Struktur des zu modellierenden Systems im Vornherein zu kennen und so genau wie möglich zu modellieren.

Systeme des maschinellen Lernens, darunter insbesondere künstliche neuronale Netze, sind ein verbreitetes Verfahren um datenbasiert komplexe Systeme zu modellieren. Bisher bekannte Architekturen zur Abbildung von Signalreihen auf Signalreihen, also zur Bestimmung der Übertragungsfunktion (Systemfunktionsbestimmung), lernen jedoch laut Stand der Technik bei dieser Problemstellung für den Menschen nicht verständliche Modelle. Aus diesem Grund werden in der Praxis Systeme des maschinellen Lernens meist verwendet, um den Fehler bereits vorhandener Simulationsmodelle zu verringern. Gründe dafür sind, dass zum einen aufgrund der hohen Dimensionalität nicht nachvollzogen werden kann, welche Funktion durch das System erlernt wurde: Es existiert bisher kein Verfahren, die Modelle auf grundlegende aus der Systemtheorie bereits bekannte Bausteine für die Systemdimensionierung (z. B. P-, I-, D-, PT1-Glieder etc.) oder auch polynomielle Funktionen abzubilden. Zum anderen, ist die Interpretierbarkeit dieser Netze für den Menschen nicht ohne Weiteres möglich, sondern benötigt zusätzliche anwendungsfallabhängige Verfahren. Durch das Verwenden der Systeme für die Verbesserung der Simulation wird der maximale Einfluss der Systeme auf das Endergebnis und somit der maximale Fehler zwar begrenzt, kann aber nicht völlig ausgeschlossen werden.

Vorteile der Erfindung

Vor diesem Hintergrund schafft die vorliegende Erfindung ein System des maschinellen Lernens zum Bestimmen einer Übertragungsfunktion eines technischen Systems.

Das System umfasst dabei mindestens eine künstliche neuronale Schicht.

Das System zeichnet sich dabei dadurch aus, dass eine der mindestens einen künstlichen neuronalen Schicht parallel mindestens zwei Differenzengleichungen abbildet.

Die Erfindung basiert dabei auf der Erkenntnis, dass zur Abbildung von dynamischen Systemen eine Schicht für ein System des maschinellen Lernens, insbesondere ein künstliches neuronales Netz, derart aufgebaut sein kann, dass intern mindestens zwei Differenzengleichungen parallel zueinander abgebildet werden können.

Eine solche Schicht eignet sich zum Aufbau von rekurrenten künstlichen neuronalen Netzen. Künstliche neuronale Netze dieser Art können eingesetzt werden, um Zeitreihen (Sollwert | y) in Abhängigkeit von Zeitreihen (Eingabe | x) vorherzusagen. Abhängig davon, welche Arten von Systemverhalten erwartet werden, kann die künstliche neuronale Schicht gemäß der vorliegenden Erfindung entsprechende Differenzformeln umfassen.

So kann die allgemeine Differenzenformel y(k) = f(y(k — 1), y(k — 2), ... , y(k — n), x(k — 1), y(k — 2), ... , y(k — n) ) für diskrete dynamische Systeme verwendet werden.

Ferner können die aus der Systemtheorie bekannten Differenzengleichungen verwendet werden.

Dadurch, dass mittels der aus der Systemtheorie bekannten Differenzgleichungen, insbesondere der Gleichen zu den Grundgliedern, nämlich derjenigen zu P-, I-, D-, PT1- oder PD- Gliedern, im Wesentlichen alle linearen Systeme beschreibbar sind, werden bei Einsatz dieser Differenzengleichungen im Rahmen des Trainingsprozesses der Beitrag von im Modell ggf. nicht benötigter Funktionen minimiert. Diese führt wiederrum zu vergleichsweise kleinen und wenig komplexen Netzen, die zur Inferenzzeit auf einfacher Hardware ausgeführt werden können. Dies ermöglicht eine einfache und kostengünstige Umsetzung der Erfindung.

Zudem ist es denkbar, dass anstelle der Grundglieder eine Konkatenation von Grundgliedern, bspw. ein PID-Glied, verwendet wird. Die kennzeichnende Schicht des Systems des maschinellen Lernens gemäß der vorliegenden Erfindung kann dazu eine entsprechende Abbildung aufweisen.

Unter einem System des maschinellen Lernens kann vorliegend ein künstliches neuronales Netz verstanden werden.

Bei dem System kann es sich um ein Recurrent Neural Networks handeln.

Ein technisches System kann dabei u. a. ein System zum zumindest teilweise automatisierten Fahren, ein System zur automatisierten Inspektion bspw. eines Produktionsprozesses. Ferner kann vorliegend ein technisches System ein industrielles mechanisches, hydraulisches und elektrisches System auf Basis von Analogen Eingangs- und Ausgangssignalen sein Insbesondere Bremssysteme (hydraulisch, elektrisch).

Mittels des Systems des maschinellen Lernens gemäß der vorliegenden Erfindung lassen sich Übertragungsfunktionen eines technischen Systems bestimmen, ohne dass vorher die Aufstellung von Systemgleichungen erfolgen muss.

Mithilfe der vorliegenden Erfindung können automatisiert Systemmodelle auf Basis ihrer Eingangs- und Ausgangsmessreihen ohne (oder zur Ergänzung von) nummerischen Simulationsmodelle aufgebaut und automatisch parametrisiert werden.

Die resultierenden Modelle sind für den Fachmann leichter verständlich. Die gelernten Parameter können mithilfe von bisher bekannten Techniken aus der Systemtheorie validiert werden. So lassen sie sich bspw. im Gegensatz zu herkömmlichen Systemen des maschinellen Lernens in die bekannten Laplace- oder z-Darstellung überführen. Somit ist es zudem möglich, die Stabilität des Systems oder ähnliche Eigenschaften mit den bereits bekannten Verfahren herzuleiten.

Die vorliegende Erfindung und deren Einsatz bieten demnach eine ganze Reihe von Vorteilen.

So, muss das Systemmodell nicht mehr explizit vorgegeben werden, da die Parameter nummerisch bestimmt werden.

Im Vergleich zu üblichen Parameter-basierten Systemen des maschinellen Lernens, insbesondere künstlichen neuronalen Netzen, kann die Anzahl an zu erlernenden Parametern kleiner sein. Dadurch kann das resultierende System des maschinellen Lernens zur Inferenz mit einfacher Hardware verwendet werden. Dies ermöglicht eine einfache und kostengünstige Umsetzung der Erfindung. Das System des maschinellen Lernens gemäß der vorliegenden Erfindung lässt sich mittels der von Recurrent Neural Network bekannten Schnittstellen umsetzen. Dies führt dazu, dass das System des maschinellen Lernens gemäß der vorliegenden Erfindung auf einfache Art und Weise als Teil eines umfassenden Systems des maschinellen Lernens, bspw. eines künstlichen neuronalen Netzes verwendet werden kann.

Im Falle, dass die kennzeichnende Schicht des Systems des maschinellen Lernens gemäß der vorliegenden Erfindung die aus der Systemtheorie bekannten Grundglieder abbildet, so gilt für die Ausgabe y(t) in Abhängigkeit von der Eingabe x(t):

Die Bildung der Differenzengleichung der Glieder erfolgt über eine Diskretisierung, beispielsweise über Euler 1. Ordnung. Dieser Schritt ist abhängig von der Abtastrate, wodurch diese als Δ _t Teil des künstlichen neuronalen Netzes wird. Für die Modellierung von Multi-Input-Multi-Output Systemen werden die konstanten Faktoren K und Zeitkonstanten T als Matrizen formuliert und stellen die trainierbaren Gewichte in der Schicht dar.

Da im Gegensatz zu bisherigen sequentiellen Modellen in den Differenzengleichungen der Parameter Δ _t (Abtastrate) vorkommt, kann das resultierende Modell auf einer ersten Abtastrate trainiert und auf einer zweiten, von der ersten verschiedenen, Abtastrate zur Inferenz verwendet werden Ferner kann verwendete Abtastrate zwischen Trainingsschritten verändert werden.

Dabei wurde beobachtet, dass Menge der Unterschiede im Ergebnis bei geänderter Abtastrate auf die Stabilität des Modells schließen lässt.

Dies führt zu dem weiteren Vorteil, dass das System des maschinellen Lernens gemäß der vorliegenden Erfindung mit einer ersten, vergleichsweise groben, Abtastrate trainiert werden kann und zur Inferenzzeit auf einer zweiten, vergleichsweise feinen, Abtastrate ausgeführt werden kann. Durch diese Eigenschaft des Systems des maschinellen Lernens gemäß der vorliegenden Erfindung lässt sich die Trainingszeit des Systems signifikant reduzieren.

Nach einer Ausführungsform des Systems gemäß der vorliegenden Erfindung repräsentiert eine der mindestens zwei Differenzengleichungen ein P-Glied bzw. ein I-Glied bzw. ein D-Glied bzw. ein PT1-Glied bzw. ein PD-Glied, welche aus der Systemtheorie bzw. der Regelungstechnik bekannt sind.

Nach einer Ausführungsform des Systems gemäß der vorliegenden Erfindung weist das System mindestens eine künstliche neuronale Netzschicht zum Zusammenführen der Ausgaben der mindestens einen künstlichen neuronalen Schicht auf, d. h. eine Schicht eines künstlichen neuronalen Netzes, die dazu geeignet ist, die Ausgabedimensionen zu verkleinern. Eine solche Schicht kann beispielsweise eine Fully Connected Schicht, eine Convolutional Neural Network Schicht oder eine Recurrent Neural Network Schicht sein.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Verfahren zum Bestimmen einer Übertragungsfunktion eines technischen Systems in Abhängigkeit von einer ersten Reihe an Eingangsdaten und einer zweiten Reihe an Ausgangsdaten, mittels eines Systems gemäß der vorliegenden Erfindung.

Dieser Aspekt der vorliegenden Erfindung basiert auf der Erkenntnis, dass durch das Training des Systems des maschinellen Lernens gemäß der vorliegenden Erfindung die Übertragungsfunktion des technischen Systems erlernt und somit bestimmt wird. Anhand der erfindungsgemäßen Gestaltung der kennzeichnenden Schicht des Systems gemäß der vorliegenden Erfindung kann die Übertragungsfunktion abgeleitet werden.

Ein weiterer Aspekt der vorliegenden Erfindung ist die Verwendung eines Systems des maschinellen Lernens gemäß der vorliegenden Erfindung zur Zustandsüberwachung des technischen Systems.

Dieser Aspekt basiert auf der Erkenntnis, dass die durch das erfindungsgemäße System des maschinellen Lernens erlernte Übertragungsfunktion des zu überwachenden technischen Systems die korrekten Zustandsübergänge wiederspiegelt.

Zur Überwachung des technischen Systems können nunmehr die Eingangsdaten sowohl dem technischen System als auch dem zu seiner Überwachung eingesetzten, entsprechende trainierten System des maschinellen Lernens zugeführt werden. Über einen Abgleich der Ausgangsdaten und ggf. dem Vorsehen eines Toleranzbereichs für etwaige Abweichungen kann der Zustand des technischen Systems mittels des Systems des maschinellen Lernens überwacht werden.

Ein weiterer Aspekt der vorliegenden Erfindung ist die Verwendung eines Systems des maschinellen Lernens gemäß der vorliegenden Erfindung als digitaler Regler.

Dieser Aspekt basiert auf der Erkenntnis, dass ein System des maschinellen Lernens gemäß der vorliegenden Erfindung eine Übertragungsfunktion eines technischen Systems erlernt. Dies kann genutzt werden, um ein trainiertes System des maschinellen Lernens gemäß der vorliegenden Erfindung mit Eingangsdaten zu beaufschlagen und die Ausgangsdaten als Steuergrößen für einen digitalen Regler zu verwenden.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, welches eingerichtet ist alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen. Ein weiterer Aspekt der vorliegenden Erfindung ist ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gemäß einem Aspekt der vorliegenden Erfindung gespeichert ist.

Ein weiter Aspekt der vorliegenden Erfindung ist eine Vorrichtung, welche eingerichtet ist alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen.

Nachfolgend werden Ausführungsformen der vorliegenden Erfindung anhand von Zeichnungen näher erläutert.

Es zeigen

Fig. 1 eine schematische Darstellung einer Schicht für ein künstliches neuronales Netz gemäß der vorliegenden Erfindung;

Fig. 2 eine schematische Darstellung von Schichten für ein künstliches neuronales Netz gemäß der vorliegenden Erfindung;

Fig. 3 eine schematische Darstellung einer Architektur eines künstlichen neuronalen Netzes;

Fig. 4 eine schematische Darstellung eines trainierten künstlichen neuronalen Netzes.

Figur 1 zeigt eine schematische Darstellung einer Schicht für ein künstliches neuronales Netz, die das Verhalten von P-, I-, D-, PT1- und PD-Gliedern aus der Systemtheorie abbildet.

Im Zeitbereich würde für die Ausgabe y(t) der Schicht in Abhängigkeit von der Eingabe x(t) folgendes gelten:

Die Bildung der Differenzengleichung der Glieder, wie sie in Fig. 1 zu sehen sind, erfolgt über eine Diskretisierung, beispielsweise über Euler 1. Ordnung.

Dazu wird wie im Ingenieursbereich üblich ersetzt durch:

Dieser Schritt ist abhängig von der Abtastrate Δt, wodurch diese als Δt Teil des künstlichen neuronalen Netzes wird.

Im Ergebnis werden die nachstehenden aufgeführten diskreten rekurrenten Gleichungen mit einem Sample k als Eingabe und einem Zeitschriften zwischen den Sampeln von Δ _t :

Wobei alle K, T > 0 seien.

Für die Modellierung von Multi-Input-Multi-Output Systemen werden die Faktoren K und T als Matrizen formuliert und stellen die trainierbaren Gewichte in der Schicht dar.

Die Werte des Modells können wie bei künstlichen neuronalen Netzen üblich mittels bspw. des Gradientenabstiegsverfahrens (z. B. über einen Adam- Optimierer oder Stochastic Gradient Descent) erlernt werden. Auch das Training über mehrere Batches zugleich ist denkbar. Figur 2 zeigt eine schematische Darstellung eines künstlichen neuronalen Netzes bzw. eines Teiles eines künstlichen neuronalen Netzes, in dem Schichten für ein künstliches neuronales Netz gemäß der vorliegenden Erfindung zu Anwendung kommen.

Konkret zeigt Figur 2 dabei die Aneinanderreihung von zwei Schichten für ein künstliches neuronales Netz gemäß der vorliegenden Erfindung.

Die Darstellung verdeutlicht, dass sich die Schicht für ein künstliches neuronales Netz gemäß der vorliegenden Erfindung auf einfache Art und Weise aneinanderreihen lassen. Dabei werden die jeweiligen Ausgaben der parallelen Abbildungen als Eingaben für eine weitere Schicht behandelt. Es wird dadurch deutlich, dass dadurch die Dimensionen entsprechend auffächern.

Je nach Anwendungsfall sind daher geeignete Maßnahmen zu treffen, um der Auffächerung der Dimensionen entgegenzuwirken. Bspw. können dafür die bekannten Fully Connected (FC) Schichten eingesetzt werden.

Ferner können nichtlineare Aktivierungsfunktionen in der Architektur eines entsprechenden künstlichen neuronalen Netzes anwendet werden. Dadurch kann eine Architektur erreicht werden, die von den Hammerstein-Wiener Modellen zur Modellierung von statischen Nicht-Linearitäten in Daten bekannt ist.

Ist mit verrauschten Eingangsdaten zu rechnen, bspw. aufgrund von Rauschbehafteten Sensordaten, so können zusätzlichen Convolutional Schichten eingesetzt werden.

Figur 3 zeigt eine schematische Darstellung eines künstlichen neuronalen Netzes bzw. eines Teiles eines künstlichen neuronalen Netzes umfassend eine Kaskade von Schichten für ein künstliches neuronales Netz gemäß der vorliegenden Erfindung.

Die Ausgabe der Kaskade von Schichten für ein künstliches neuronales Netz gemäß der vorliegenden Erfindung wird dabei in ein Fully Connected künstliches neuronales Netz überführt. Figur 4 zeigt eine schematische Darstellung eines künstlichen neuronalen Netzes bzw. eines Teiles eines künstlichen neuronalen Netzes umfassend eine Kaskade von Schichten für ein künstliches neuronales Netz gemäß der vorliegenden Erfindung.

Die Ausgabe der Kaskade von Schichten für ein künstliches neuronales Netz gemäß der vorliegenden Erfindung wird dabei in ein Fully Connected künstliches neuronales Netz überführt.

Die Darstellung zeigt dabei ein resultierendes künstliches neuronales Netz nach dem Training. Zu diesem Zeitpunkt liegen die Gewichte der Aktivierungsfunktionen. Anhand der Auswertung der Gewichte bzw. deren Verteilung lassen sich Informationen über das modellierte dynamische System ableiten, anhand deren das resultierende künstliche neuronale Netz interpretiert werden kann.

Die Interpretierbarkeit rührt daher, dass die Schichten für ein künstliches neuronales Netz gemäß der vorliegenden Erfindung das zeitabhängige Systemverhalten des modellierten Systems repräsentieren, während der Fully Connected Teil des resultierenden künstlichen neuronalen Netzes den relevanten Einfluss auf die Dynamik des Models repräsentiert.

Umso höher das entsprechende Gewicht der Fully Connect Schicht bzw. des Fully Connected Teils des resultierenden künstlichen neuronalen Netzes ausfällt, umso höher ist der signifikante Einfluss der entsprechenden Abbildung für die Modellierung des dynamischen Systems.

Aufgrund der Tatsache, dass die Gewichte der Fully Connect Schicht bzw. des Fully Connected Teils des resultierenden künstlichen neuronalen Netzes global und in zeitunabhängiger Weise zu interpretieren sind, können die jeweiligen Kantengewichte als globale Bedeutung des entsprechenden Pfads des Teils des resultierenden künstlichen neuronalen Netzes interpretiert werden. In dem bspw. künstlichen neuronalen Netz dargestellt in Figur 4 haben die P-, I- und PT1-Glieder mit 0,5, 1,5 und 0,8 einen signifikanten höheren Einfluss auf das modellierte System als die D- und I-Glieder mit lediglich 0,1, und 0,2. Daraus kann abgleitet werden, dass das modellierte System vorwiegend die Eigenschaften von P-, I- und PT1-Gliedern aufweist.