Aus [5] ist eine Steuervorrichtung bekannt, bei der in Abhängigkeit von den ermittelten Zuständen eines Verkehrssystems die in dem Verkehrssystems vorhandenen Ampeln gesteuert werden.

Bei dieser Vorgehensweise wird ein Verkehrssystem, bei dem mittels Sensoren Verkehrskenngrößen, beispielsweise die Belegung des Verkehrssystem, erfasst werden, mittels eines zentralen Steuerrechners gesteuert, indem Ampeln des Verkehrssystems gesteuert werden.

Die Steuergrößen, d. h. die Ansteuerung der Grünphase, der Gelbphase sowie der Rotphase erfolgt unmittelbar abhängig von einer Steuerungsstrategie, die mittels eines Reinforcement- Lernverfahrens abhängig von den ermittelten Verkehrskenngrößen ermittelt wird.

Nachteilig an dieser Vorgehensweise ist insbesondere, dass eine Steuerung mit einem bekannten Reinforcement- Lernverfahren nur für ein sehr einfaches Verkehrssystem, d. h. ein sehr einfaches Verkehrsnetz gelernt werden kann. Bei einem komplexeren Verkehrssystem konvergiert ein übliches Reinforcement-Lernverfahren nicht.

Soll ein komplexeres Verkehrssystem gesteuert werden, so ist dies somit aufgrund der nicht mehr simulierbaren Komplexität des Problems insbesondere mit dem aus [5] bekannten Verfahren nicht möglich.

Ferner ist eine Fuzzy-Steuervorrichtung aus [1] bekannt.

Bei der aus [1] bekannten Fuzzy-Steuervorrichtung wird ein zu beschreibendes und zu steuerndes technisches System als Fuzzy-System und mit Fuzzy-Partitionen beschrieben.

Aus [4] ist es ferner bekannt, ein zu beschreibendes und zu steuerndes technisches System, welches ursprünglich mit einem kontinuierlichen Zustandsraum und einem kontinuierlichen Aktionsraum beschrieben wird, diskretisiert und mittels eines Reinforcement-Lernverfahrens gesteuert.

Auf der Basis des diskretisierten Zustandsraums und des diskretisierten Aktionsraums wird das Reinforcement- Lernverfahren gemäß dem Prinzip des sogenannten"Prioritized Sweeping", welches ferner in [3] beschrieben ist, durchgeführt.

Die aus [3] oder [4] bekannten Vorgehensweise hat insbesondere den Nachteil, dass entweder eine sehr feine Partitionierung des kontinuierlichen Raums erforderlich ist, woraus sich eine große Komplexität des zu lösenden diskreten Problems mit dem daraus resultierenden sehr großen Rechenzeitbedarf und dem damit ferner verbundenen erheblichen Speicherplatzbedarf im Rahmen der Steuerung eines technischen Systems ergibt.

Ist die Partitionierung jedoch gröber, so wird die Approximation des zu steuernden technischen Systems sehr ungenau. Dies führt zu einer suboptimalen, das heißt zu einer relativ schlechten Steuerstrategie, die gemäß dem Reinforcement-Lernen ermittelt wird.

Um die erreichbare Approximationsgenauigkeit zu verbessern, ist es aus [4] bekannt, eine Interpolationsstrategie zu verwenden, was grundsätzlich dem Einsatz eines sogenannten, in [1] beschriebenen Takagi-Sugeno-Systems mit konstanten Konsequenzen in den Regeln entspricht.

Bei dem aus [4] bekannten Verfahren wird jedoch zum Training der Werte in den Zentren des Interpolationsschemas eine harte Partitionierung des Zustandsraums und des Aktionsraums durchgeführt, weshalb sich wieder die oben zuvor dargestellten Nachteile ergeben.

Weiterhin ist es aus [2] bekannt, Fuzzy-Partitionen mittels eines Fuzzy-C-Means-Clustering-Verfahrens zu bestimmen.

Somit liegt der Erfindung das Problem zugrunde, ein komplexeres Verkehrssystem unter Einsatz eines Reinforcement- Lernverfahrens steuern zu können, als dies mit dem bekannten Verfahren möglich ist.

Bei einem Verfahren zum rechnergestützten Ermitteln einer optimierten Auswahl eines Rahmensignalplans aus einer Menge mehrerer Rahmensignalpläne für ein Verkehrssystem wird das Verkehrssystem mit einem Zustandsraum und einem Aktionsraum beschrieben. Der Zustandsraum weist Zustände auf, die das Verkehrssystem annehmen kann und der Aktionsraum weist Aktionen auf, die ausgeführt werden, um einen Zustandsübergang von einem Vorgängerzustand des Zustandsraum in einen Nachfolgezustand des Zustandsraums zu erzeugen.

Eine Aktion des Aktionsraums ist beispielsweise die Auswahl eines Rahmensignalplans zu sehen. Ferner ist ein Zustand des Zustandsraums ein oder mehrere Messwerte in dem Verkehrssystem, d. h. eine oder mehrere Verkehrskenngrößen, beispielsweise eine oder mehrere Verkehrsdichten, die von Sensoren erfasst werden oder auch simuliert werden.

Ein Reinforcement-Lernverfahren wird unter Berücksichtigung, d. h. unter Verwendung des Aktionsraums und des Zustandsraums durchgeführt, wodurch jeweils eine Auswahlgröße ermittelt wird, mit der für einen Zustand des Zustandsraums und/oder für eine Aktion des Aktionsraums angegeben wird, welcher Rahmensignalplan hinsichtlich des Reinforcement- Lernverfahrens als optimaler Rahmensignalplan auszuwählen ist. Der optimale Rahmensignalplan kann ausgewählt werden und abhängig von dem ausgewählten Rahmensignalplan kann das Verkehrssystem gesteuert werden, beispielsweise indem Ampeln des Verkehrssystems mit Steuersignalen von der Steuervorrichtung gesteuert wird abhängig von dem ausgewählten Rahmensignalplan.

In anderen Worten ausgedrückt wird mittels des Reinforcement- Lernverfahrens eine Abbildung aus dem Zustandsraum in den Aktionsraum gelernt, d. h. er wird eine verkehrsabhängige Auswahl von Rahmensignalplänen gelernt.

Anschaulich kann die Erfindung darin gesehen werden, dass ein Verkehrssystem gesteuert werden kann unter Verwendung eines Reinforcement-Lernverfahrens während einer Trainingsphase, mittels dem das Verhalten des Verkehrssystems während der Trainingsphase modelliert wird, wobei die Steuerung auf der Abstraktionsebene der Rahmensignalpläne erfolgt und nicht unmittelbar auf der Basis der direkten Steuerung der einzelnen Ampeln ohne anschaulich globale Rahmenbedingungen, wie durch Rahmensignalpläne, wie gemäß dem Stand der Technik.

Es ist in diesem Zusammenhang anzumerken, dass selbstverständlich auch in der Anwendungsphase, d. h. beim tatsächlichen Steuern des Verkehrssystems, weiter online trainiert wird mittels eines Reinforcement-Lernverfahrens.

Die durch das Reinforcement-Lernverfahren ermittelte Abbildung aus dem Zustandsraum in den Aktionsraum zum

Ermitteln der optimalen Aktion wird in der Anwendungsphase eingesetzt zum Steuern des Verkehrssystems.

Es wurde erfindungsgemäß erkannt, dass die Ebene der Rahmensignalpläne sich sehr gut eignet, um selbst ein komplexeres Verkehrssystem mit grundsätzlich einer beliebigen Anzahl von Straßen, Kreuzungen, Ampeln, etc. zu steuern.

Allgemein kann jedes bekannte Reinforcement-Lernverfahren im Rahmen der Erfindung eingesetzt werden zum Ermitteln der Abbildung aus dem Zustandsraum in den Aktionsraum, mittels der in der Anwendungsphase die optimale Auswahl eines Rahmensignalplans abhängig von dem jeweils erfassten Verkehrszustand, d. h. den erfassten Verkehrskenngrößen, beispielsweise den Verkehrsdichten, ermittelt wird.

Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Bei einem Verfahren zum rechnergestützten Verfahren Ermitteln einer Steuerungsstrategie für ein technisches System wird das technische System mit einem kontinuierlichen Zustandsraum und einem kontinuierlichen oder diskretisierten Aktionsraum beschrieben. Der Zustandsraum weist Zustände auf, die das technische System grundsätzlich annehmen kann. Ferner weist der Aktionsraum Aktionen auf, die ausgeführt werden, um einen Zustandsübergang von einem Vorgängerzustand des Zustandsraum in einen Nachfolgezustand des Zustandsraums zu erzeugen. Mit Trainingsdaten, die das technische System beschreiben, wird ein Modell des technischen Systems ermittelt und in Fuzzy- Partitionen gruppiert, indem Fuzzy-Zugehörigkeitsfunktionen zu den Fuzzy-Partitionen gebildet werden, mit denen zumindest der Zustandsraum beschrieben wird.

Die Trainingsdaten beschreiben somit anschaulich die beobachteten Zustandsübergänge des Verkehrssystems und die zugehörigen Gewinne.

Der Aktionsraum ist beispielsweise eine vorgegebene Menge von Rahmensignalpläne, von denen jeweils einer aufgrund einer Aktion ausgewählt werden kann.

Unter Verwendung der Fuzzy-Zugehörigkeitsfunktionen wird ein Reinforcement-Lernverfahren durchgeführt, wodurch jeweils eine Steuerungsstrategie ermittelt wird für jeden Zustand des Zustandsraums und die jeweiligen Aktionen des Aktionsraums, d. h. es wird eine optimale Aktion pro Zustand ermittelt. Das technische System wird unter Berücksichtigung der Steuerungsstrategie mittels Steuergrößen, die beispielsweise abhängig von der Steuerungsstrategie ausgewählt bzw. gebildet werden, gesteuert.

Die einzelnen Partitionen werden im weiteren auch als Cluster bezeichnet.

Durch die Erfindung wird insbesondere erreicht, dass die Approximationsgenauigkeit und damit das Ermitteln der Steuerungsgrößen erheblich beschleunigt, das heißt mit verringertem Rechenzeitbedarf durchführbar wird.

Ferner wird die ermittelte Steuerungsstrategie hinsichtlich des Gewinns als Optimierungsgröße innerhalb des Reinforcement-Lernverfahrens erheblich gegenüber dem Stand der Technik verbessert.

Auch werden die Anzahl der zur Approximation des technischen Systems erforderlichen Partitionen, insbesondere die zur Beschreibung der Partitionen verwendeten Zentren einer Partition erheblich verringert.

Aufgrund der Verringerung der benötigten Anzahl an Partitions-Zentren wird eine schnellere Berechnung der Q- Funktion im Rahmen des Reinforcement-Lernverfahrens bei höherer Genauigkeit ermöglicht.

Ferner wird gemäß einer weiteren Ausgestaltung der Erfindung mit Trainingsdaten, die das Verkehrssystem beschreiben, ein Modell des Verkehrssystems ermittelt. Das Reinforcement- Lernverfahren wird unter Berücksichtigung des Modells durchgeführt.

Für jeden Zustand des Zustandsraums und die entsprechenden Aktionen des Aktionsraums kann jeweils ein Q-Wert ermittelt wird. Aus den ermittelten Q-Werten wird eine optimale Steuerungsstrategie abgeleitet.

Ferner können in den Konklusionen der Fuzzy-Regeln des Fuzzy- Systems, welches gemäß dem Reinforcement-Lernverfahrens gebildet wird, lineare Terme verwendet werden. Damit beschreibt dieses System die Q-Funktion.

Auf diese Weise wird ein schnell und dennoch exaktes Ermitteln der Steuerungsstrategie möglich, das das Modell sehr genau wiedergibt.

Gemäß einer weiteren Ausgestaltung der Erfindung wird das Reinforcement-Lernverfahren durchgeführt, indem aus den Trainingsdaten diejenigen Trainingsdaten ausgewählt werden, die ein vorgegebenes Kriterium erfüllen.

Anschaulich kann diese Vorgehensweise darin gesehen werden, dass zwar alle Trainingsdaten verwendet werden. Der Zustandsraum wird partitioniert und es werden solche Experimente, d. h. Aktionen, ausgeführt, die das vorgegebene Kriterium erfüllen, d. h. von denen man sich beispielsweise einen Gewinn an Information erwartet.

Auf diese Weise wird eine optimierte Auswahl von Trainingsdaten möglich, wodurch die benötigte Anzahl von Clustern und Cluster-Zentren erreicht.

Das Kriterium kann ein zu erwartender Informationsgewinn über die bedingten Zustandsübergangs-Wahrscheinlichkeiten innerhalb des Reinforcement-Lernverfahrens sein.

Die Erfindung kann vorteilhaft eingesetzt werden allgemein zur Steuerung eines Verkehrssystems als technisches System, insbesondere zur Steuerung, d. h. zur Auswahl eines Rahmensignalplans zur Steuerung von Ampeln innerhalb eines Verkehrsnetzes. Somit kann beispielsweise aufgrund der Steuerungsstrategie ein Rahmensignalplan ausgewählt werden und aufgrund des ausgewählten Rahmensignalplans können entsprechende Steuersignale an Ampeln eines Verkehrsnetzes übermittelt werden, die die Ampeln gemäß dem ausgewählten Rahmensignalplan ansteuern.

Für jede Fuzzy-Partition im Zustandsraum und/oder in dem Aktionsraum kann ein Informationsgewinn ermittelt werden, der aus früheren Ausführungen von zu dieser entsprechenden Fuzzy- Partition gehörenden Aktionen in die entsprechenden Zustände resultierte.

Gemäß einer weiteren Ausgestaltung der Erfindung sind Zähler vorgesehen, mit denen die Anzahl von Ausführungen von Aktionen in einem Zustand des technischen Systems und die Anzahl von Zustandsübergängen von einem Anfangszustand, d. h. einen Vorgangerzustand in einen Nachfolgezustand aufgrund der Aktion bis zu der Iteration angegeben wird. Die den Zählern zugeordneten Werte werden bei Ermitteln eines neuen Zustandsübergangs abhängig von dem Grad der Zugehörigkeit der Zustände bzw. der Zustandsübergänge zu den jeweiligen Fuzzy- Clustern aktualisiert.

Die Zustandsübergangs-Wahrscheinlichkeiten können im Rahmen des Reinforcement-Lernverfahrens abhängig von den Zählern ermittelt werden.

Ferner werden gemäß einer weiteren Weiterbildung der Erfindung zu Beginn des Verfahrens Fuzzy-Partitionen gebildet, indem in einem iterativen Verfahren ausgehend von einer vorgegebenen Menge von Ausgangs-Partitionen diese aufgeteilt werden in mehrere Fuzzy-Partitionen oder zusammengeführt werden aus mehreren Fuzzy-Partitionen in eine Fuzzy-Partition, abhängig von den ermittelten Trainingsdaten.

Zu Beginn des Verfahrens können alternativ die Fuzzy- Partitionen gemäß dem Fuzzy-C-Means-Clustering-Verfahren gebildet werden.

Anschaulich kann die Erfindung darin gesehen werden, dass zur Steuerung eines technischen Systems die Systembeschreibung mittels Fuzzy-Partitionen und entsprechend mit Fuzzy- Zugehörigkeitsfunktionen diskretisiert werden und in dem diskretisierten Modell unter Verwenden von Reinforcement- Lernens eine Steuerungsstrategie zum Steuern des technischen Systems ermittelt wird.

Eine Steuervorrichtung weist einen Prozessor auf, der derart eingerichtet ist, dass die oben beschriebenen Verfahrensschritte durchführbar sind.

In einem Computerlesbaren Speichermedium ist ein Programm gespeichert, das bei dessen Ausführung die Verfahrensschritte des oben beschriebenen Verfahrens aufweist. Ferner weist ein Computerprogramm-Element bei dessen Ausführung durch einen Prozessor ebenfalls die Verfahrensschritte des oben beschriebenen Verfahrens auf.

Die Erfindung kann sowohl als Computerprogramm, also in Software, als auch mittels einer speziellen elektronischen Schaltung, also in Hardware, realisiert werden.

Ausführungsbeispiele der Erfindung sind in den Figuren dargestellt und werden im weiteren näher erläutert.

Es zeigen Figur 1 ein Ablaufdiagramm, in dem die einzelnen Verfahrensschritte des Verfahrens gemäß einem Ausführungsbeispiel der Erfindung dargestellt sind ; Figur 2 eine Skizze eines Verkehrsnetzes, anhand dem ein Ausführungsbeispiel der Erfindung dargestellt wird ; Figur 3 eine Skizze eines zentralen Steuerrechners, der mit einzelnen Sensoren in dem Verkehrsnetz gekoppelt ist ; Figuren 4a bis 4d eine Vielzahl von Signalbildern gemäß unterschiedlichen Rahmensignalplänen für verschiedene Kreuzungen des Verkehrsnetzes aus Figur 2 ; Figur 5 eine Skizze eines Rahmensignals ; Figur 6 eine Darstellung von Fuzzy-Partitionen und deren Zugehörigkeitsfunktionen ; Figuren 7a und 7b Darstellungen von unterschiedlichen Clustern.

Fig. 2 zeigt ein Verkehrsnetz 200, anhand dessen im folgenden das Training und die Auswahl einer verkehrsabhängigen Auswahl eines Rahmensignalplans aus einer Vielzahl gespeicherter Rahmensignalpläne erläutert wird.

Das Verkehrsnetz 200 weist eine erste Straße 201 auf, die von einem Wohngebiet 202 zu einem Gewerbegebiet 203 führt. Das Wohngebiet 202 befindet sich im Westen einer Stadt 204 und das Gewerbegebiet 203 liegt im Osten der Stadt 204.

Eine zweite Straße 205 führt von einem sich im Norden der Stadt 204 befindenden ersten Einkaufsgebiet 206 zu einem

zweiten Einkaufsgebiet 207 mit Freizeitzentrum, welches im Süden der Stadt 204 liegt.

Die erste Straße 201 und die zweite Straße 205 kreuzen einander an einer ersten Kreuzung 208.

Weiterhin weist das Verkehrsnetz 200 eine dritte Straße 209 auf, die sich von der ersten Straße 201 aus von einer zweiten Kreuzung 210 bis zu einer dritten Kreuzung 211, die sich an der zweiten Straße 205 befindet, erstreckt. Anschaulich stellt somit die dritte Straße 209 eine Diagonalverbindung von der ersten Straße 201 zu der zweiten Straße 205 dar, wobei die zweite Kreuzung 210 westlich von der ersten Kreuzung 208 liegt, das heißt die zweite Kreuzung 210 liegt näher an dem Wohngebiet 202 als an dem Gewerbegebiet 203.

Weiterhin führt eine vierte Straße 212 von der dritten Kreuzung 211 zu einer vierten Kreuzung 213, wobei die vierte Kreuzung 213 auf der ersten Straße 201 östlich von der ersten Kreuzung 208 liegt, das heißt näher an dem Gewerbegebiet 203 als an dem Wohngebiet 202.

An jeder Kreuzung sind für jede Richtung, die ein Fahrzeug auf der Straße fahren kann, Ampeln vorgesehen, die den Verkehrsfluss an der jeweiligen Kreuzung 208,210,211,213, steuern.

Die Ampeln werden von einer im Weiteren beschriebenen zentralen Steuereinheit gesteuert.

Ferner sind auf den Straßen Sensoren 215 vorgesehen, mit dem die Anzahl der an dem Sensor vorbeifahrenden oder über den Sensor fahrenden Fahrzeuge erfasst werden können.

Ein solcher Sensor 215 kann beispielsweise eine Leiterschleife sein, die in die jeweilige Straße eingebracht ist oder auch eine Lichtschranke oder ein Ultraschallsensor,

mit denen jeweils das Vorbeifahren eines Fahrzeugs an dem jeweiligen Sensor in einer vorgegebenen Richtung, für die der Sensor 215 vorgesehen ist, sein.

Jedes Mal, wenn ein Fahrzeug den Sensor 215 passiert, wird von dem Sensor 215 ein Erfassungssignal an einen im weiteren beschriebenen zentralen Rechner 301 übertragen.

Alternativ kann in dem Sensor 215 auch ein Zähler vorgesehen sein, der für eine vorgegebene Zeitdauer für jedes den Sensor 215 passierende Fahrzeug den Zähler inkrementiert wird und nach Ablauf der vorgegebenen Zeitdauer wird der Zählerstand an den zentralen Steuerrechner 301 übermittelt und anschließend wird der Zähler auf einen vorgegebenen Zählerstand zurückgesetzt.

In der Stadt 204 ergeben sich zu unterschiedlichen Tageszeiten unterschiedliche Anforderungen an die Schaltung, d. h. die Steuerung der Ampeln 214, da unterschiedliche Arten von Verkehrsströmen und unterschiedliche Hauptbelastungen zu unterschiedlichen Tageszeiten innerhalb des Verkehrsnetzes 200 auftreten.

So kommt es an einem Morgen eines Tages, das heißt im wesentlichen in einer Zeit von 6.00 Uhr bis 9.30 Uhr, vornehmlich zu Berufsverkehr, der vom Wohngebiet 202 in das Gewerbegebiet 203, das erste Einkaufsgebiet 206 und das zweite Einkaufsgebiet 207 führt.

Vormittags, das heißt im wesentlichen in einer Zeit von 9.30 Uhr bis 12.00 Uhr eines Tages kommt es zu einer Hauptverkehrsrichtung gerichtet von dem Wohngebiet 202 zu dem ersten Einkaufsgebiet 206 und dem zweiten Einkaufsgebiet 207, wobei der Verkehrsfluss einem Einkaufsverkehr der Bewohner der Stadt 204 entspricht.

Nachmittags, das heißt im wesentlichen in einer Zeit von 12.00 Uhr bis 16.00 Uhr, kommt es neben dem Einkaufsverkehr wiederum zu Berufsverkehr, hauptsächlich von dem Gewerbegebiet 203 gerichtet zu dem Wohngebiet 202.

Abends, das heißt im wesentlichen in einer Zeit von 16.00 Uhr bis 21.00 Uhr, ist der hauptsächliche Verkehr zwischen dem Wohngebiet 202 und dem Freizeitzentrum in dem zweiten Einkaufsgebiet 207 zu verzeichnen.

Gemäß diesem Ausführungsbeispiel wird von den Sensoren 215 die Sensorbelegung B, die definiert ist als Zeit, in der der Sensor 215 belegt ist im Verhältnis zu der Zeitdauer, während der die Belegung erfasst wird, erfasst. Die Sensorbelegung B kann beispielsweise mittels einer Induktionsschleife als Sensor 215 ermittelt werden. Alternativ, beispielsweise bei einem Erfassen einer Verkehrskenngröße mittels eines visuellen Sensors, kann die Verkehrsdichte p gemessen werden.

Die Belegung B, die zumeist ähnlich ist der Verkehrsdichte p ergibt sich somit jeweils an einem Sensor 215 gemäß folgender Vorschrift : <BR> <BR> <BR> <BR> <BR> <BR> <BR> tt-,AnzahlFahrzeuge<BR> <BR> <BR> t Streckenlänge wobei mit tb die Zeit bezeichnet wird, während der der Sensor belegt ist, d. h. während der sich ein Fahrzeug über dem Sensor befindet, und t die Zeitdauer bezeichnet wird, während der die Anzahl m der Fahrzeuge ermittelt wird.

Gemäß diesem Ausführungsbeispiel wird jeweils an jedem Sensor 215 für eine Zeitdauer t von 15 Minuten die mittlere Belegung B des Sensors 215 ermittelt und anschließend wird die gemäß Vorschrift (1) ermittelte mittlere Belegung B an den im

weiteren beschriebenen zentralen Steuerrechner 301 übermittelt.

Fig. 3 zeigt den zentralen Steuerrechner 301, der mit den Sensoren 215 beispielsweise über eine Funkverbindung oder eine leitungsgebundene Verbindung 302 gekoppelt ist.

Der Steuerrechner 301 weist eine Eingangs-/Ausgangs- Schnittstelle 303 sowie eine zentrale Prozessoreinheit 304 und einen Speicher 305 auf, die jeweils über einen Computerbus 306 miteinander gekoppelt sind.

Ferner ist über die Eingangs-/Ausgangs-Schnittstelle 303 über eine erste Verbindung 307, z. B. über ein Kabel oder eine Infrarot-Funkverbindung eine Computermaus 308 mit dem Steuerrechner 301 gekoppelt.

Über eine zweite Verbindung 309 ist ein Bildschirm 310 mit der Eingangs-/Ausgangs-Schnittstelle 303 gekoppelt.

Ferner ist mit der Eingangs-/Ausgangs-Schnittstelle 303 eine Tastatur 312 über eine dritte Verbindung 311 gekoppelt.

Gemäß diesem Ausführungsbeispiel ist in dem Speicher 305 des Steuerrechners 301 eine Vielzahl von Rahmensignalplänen 313 gespeichert.

Die Vielzahl der Rahmensignalpläne 313 ist in der folgenden Tabelle dargestellt, wobei mit A1, A2, B1, B2, B3, Cl, C2, D1, D2, D3 jeweils Signalbilder für die erste Kreuzung 208 (B1, B2, B3), die zweite Kreuzung 210 (A1, A2), die dritte Kreuzung 211 (D1, D2, D3) sowie die vierte Kreuzung 213 (C1, C2), wie sie in Fig. 4 dargestellt sind, bezeichnet werden.

Gemäß dem Ausführungsbeispiel sind drei Rahmensignalpläne RSP1, RSP2, RSP3 in dem Speicher 305 gespeichert, wie in der folgenden Tabelle dargestellt : RSP AI A2 El B2 B3 Cl C2 Dl D2 D3 RSP1 60 30 60 30 0 60 30 30 0 60 RSP2 45 45 45 45 0 45 45 45 0 45 RSP3 45 45 20 20 50 45 45 15 65 10

Ein Rahmensignalplan weist eine Menge sogenannter Rahmensignale auf, die jeweils einen Verkehrsstrom bestimmen, in welchen zeitlichen Beschränkungen welche Zustände der auf diesen Verkehrsstrom wirkenden Lichtsignale an den Ampeln 214 erlaubt sind.

Ein Beispiel-Rahmensignal ist in Fig. 5 dargestellt. Eine Periode eines Lichtsignals 501 des Rahmensignals 500 weist einen Anforderungsbereich 502 und einen Verlängerungsbereich 503 auf.

Innerhalb dieses zeitlichen Rahmens kann eine lokale Optimierung hinsichtlich der im weiteren genannten Ziele, insbesondere einer Optimierung des Verkehrsstroms, durchgeführt werden, beispielsweise durch Ausdehnung von Grünphasen oder eine Bevorrechtigung des öffentlichen Nahverkehrs.

Innerhalb des Anforderungsbereichs 502 können insbesondere bei anstehendem Verkehr, das heißt bei an der Ampel 214 stehenden oder sich einer jeweiligen Ampel 214 nähernden Fahrzeugen, Grünphasen der Ampel 214 eingeleitet werden, die innerhalb des Verlängerungsbereichs 504 beendet werden müssen.

In den Fig. 4a bis Fig. 4d sind durch die Pfeile jeweils die während der Dauer, das heißt der Gültigkeit des jeweiligen

Signalbildes zulässigen Fahrrichtungen der Fahrzeuge an der jeweiligen Kreuzung dargestellt.

Die Zahlen in der oben dargestellten Tabelle zu einem jeweiligen Signalbild, wie es in den Fig. 4a bis Fig. 4d dargestellt ist, entsprechen der Dauer der Gültigkeit des jeweiligen Signalbildes pro Periode des jeweiligen Rahmensignalplans.

So gibt beispielsweise der erste Rahmensignalplan RSP1 an, dass ein in Fig. 4a dargestelltes erstes Signalbild 401 aufgrund der Zahl 60 verglichen mit dem zweiten Signalbild 402 (zugeordnete Wertezahl 30) eine doppelt so lange Gültigkeitsdauer aufweist.

Gemäß dem zweiten Rahmensignalplan RSP2 und dem dritten Rahmensignalplan RSP3, haben das erste Signalbild 401 und das zweite Signalbild 402 jeweils die gleiche Gültigkeitsdauer (jeweils beiden Signalbildern 401,402 ist die gleiche Wertezahl 45 zugeordnet).

Anschaulich bedeutet dies, dass an der zweiten Kreuzung 205 aufgrund der Ampelschaltung die Ampeln 214 derart geschaltet sind, dass der in dem ersten Signalbild 401 bzw. dem zweiten Signalbild 402 dargestellte Verkehrsstrom jeweils in gleicher Gewichtung möglich ist.

Der erste Rahmensignalplan RSP1 gibt für die erste Kreuzung 208 in einem in Fig. 4b dargestellten dritten Signalbild 403, vierten Signalbild 404 und fünften Signalbild 405 vor, dass das dritte Signalbild 403 doppelt so lange Gültigkeit pro Periode hat wie das vierte Signalbild 404 und dass das fünfte Signalbild 405 aufgrund der Ampelschaltung der Ampel 214 an der ersten Kreuzung 208 gar nicht gebildet wird (Wertezahl drittes Signalbild 403 : 60, Wertezahl viertes Signalbild 404 : 30, Wertezahl fünftes Signalbild 405 : 0).

Gemäß dem zweiten Rahmensignalplan RSP2 sind das dritte Signalbild 403 und das vierte Signalbild 404 gleich gewichtet und das fünfte Signalbild 405 wird aufgrund der Ampelsteuerung nicht gebildet (Wertezahl drittes Signalbild 403 : 45, Wertezahl viertes Signalbild 404 : 45, Wertezahl fünftes Signalbild 405 : 0).

Gemäß dem dritten Rahmensignalplan RSP3 ist das fünfte Signalbild 405 durch die Ampelschaltung der Ampeln 214 an der ersten Kreuzung 208 erheblich stärker gewichtet als das dritte Signalbild 403 und das vierte Signalbild 404 (Wertezahl drittes Signalbild 403 : 20, Wertezahl viertes Signalbild 404 : 20, Wertezahl fünftes Signalbild 405 : 50).

An der dritten Kreuzung 211 erfolgt gemäß dem ersten Rahmensignalplan RSP1 die Ampelschaltung der Ampeln 214 derart, dass das in Fig. 4c dargestellte sechste Signalbild 406 halb so stark gewichtet wird, das heißt eine verglichen mit dem achten Signalbild 408 nur eine halbe Gültigkeitsdauer aufweist. Das siebte Signalbild 407 wird gemäß dem ersten Rahmensignalplan RSP1 überhaupt nicht erzeugt (Wertezahl sechstes Signalbild 406 : 30, Wertezahl siebtes Signalbild 407 : 0, Wertezahl achtes Signalbild 408 : 60).

Gemäß dem zweiten Rahmensignalplan RSP2 sind das sechste Signalbild 406 und das achte Signalbild 408 gleich gewichtet (Wertezahl sechstes Signalbild 406 : 45, Wertezahl siebtes Signalbild 407 : 0, Wertezahl achtes Signalbild 408 : 45) und gemäß dem dritten Rahmensignalplan RSP3 ist das siebte Signalbild 407 erheblich stärker gewichtet als das sechste Signalbild 406 und das achte Signalbild 408 (Wertezahl sechstes Signalbild 406 : 15, Wertezahl siebtes Signalbild 407 : 65, Wertezahl achtes Signalbild 408 : 10).

An der vierten Kreuzung 213 wird gemäß dem ersten Rahmensignalplan RSP1 das in Fig. 4d dargestellte neunte Signalbild 409 doppelt so stark gewichtet, das heißt es weist

eine doppelt so lange Gültigkeitsdauer auf, als das zehnte Signalbild 410 (Wertezahl neuntes Signalbild 409 : 60, Wertezahl zehntes Signalbild 410 : 30).

Gemäß dem zweiten Rahmensignalplan RSP2 und dem dritten Rahmensignalplan RSP3 weisen die beiden Signalbilder 409,410 jeweils eine gleiche Gültigkeitsdauer pro Periode auf (Wertezahl neuntes Signalbild 409 : 45, Wertezahl zehntes Signalbild 410 : 45).

Wie aus der oben dargestellten Tabelle ersichtlich ist, stellt der erste Rahmensignalplan RSP1 eine hinsichtlich des Berufsverkehrs optimierte Ampelschaltung der Ampeln 214 in dem Verkehrsnetz 200 dar.

Der zweite Rahmensignalplan RSP2 gewichtet alle Verbindungen in dem Verkehrsnetz weitgehend gleichmäßig, so dass auch zwischen dem ersten Einkaufsgebiet und dem zweiten Einkaufsgebiet 207 eine gute Verbindung, das heißt ein guter Verkehrsfluss hinsichtlich der jeweiligen Anforderungen möglich ist.

Der dritte Rahmensignalplan RSP3 ist hinsichtlich des Verkehrs zwischen dem Wohngebiet 202 und dem südlich gelegenen zweiten Einkaufsgebiet 207 optimiert, das heißt es bevorzugt den Verkehrsfluss zwischen dem Wohngebiet 202 und dem zweiten Einkaufsgebiet 207.

Von dem zentralen Steuerrechner 301 wird gemäß dem im weiteren beschriebenen Reinforcement-Lernverfahren unter Verwendung von Fuzzy-Zugehörigkeitsfunktionen und Fuzzy- Partitionen eine optimierte Auswahl der Rahmensignalpläne zum Gewährleisten eines maximalen Gewinns, der gemäß diesem Ausführungsbeispiel als Summe der quadrierten mittleren relativen Verkehrsdichten pro Strecke 1, beispielsweise vor einer Kreuzung, verwendet wird, das heißt der Gewinn g des im weiteren beschriebenen Reinforcement-Lernverfahrens zur

Ermittlung der optimierten Kontrollstrategie, das heißt Steuerungsstrategie, die gebildet wird durch die entsprechende Auswahl des für die ermittelten Verkehrsdichten p, die mit den mittleren Belegungen B angenähert werden, im Zusammenhang mit dem Reinforcement-Lernverfahren optimierte Auswahl des Rahmensignalplans RSP1, RSP2, RSP3 gemäß folgender Vorschrift : wobei mit Pl, max die maximal mögliche Verkehrsdichte und mit pal die mittlere Verkehrsdichte an der Strecke 1 am Ende einer Periode von 15 Minuten bezeichnet wird.

Anschaulich hat der Steuerrechner 301 somit eine Strategie zu lernen, die die Summe der Gewinne g minimiert.

Die Grundidee der Vorschrift (2) kann darin gesehen werden, dass durch die Auswahl der Rahmensignalpläne die mittlere Verkehrsdichte in dem Verkehrsnetz 200 minimiert werden soll, wobei durch die Quadratur der Terme bezüglich der einzelnen Strecken 1 ein homogener Netzzustand mit mittleren Verkehrsdichten an allen Strecken 1 besser bewertet wird, als ein Zustand mit sehr geringen Verkehrsdichten an einigen Strecken 1 bei gleichzeitigen Staus an anderen Strecken 1.

Bei den im weiteren beschriebenen Ausführungsbeispielen sind für alle Lernverfahren, die über einen Zeitraum von jeweils 90 Sekunden gemittelten relativen Fahrzeugdichten, die gemäß folgender Vorschrift gebildet werden an den Stellen des

Verkehrsnetzes, an denen Sensoren 215 vorhanden sind, ermittelt : Prel = (3) Pmax In Fig. 2 ist dies jeweils durch Darstellungen von einzelnen Verkehrsdichtenverläufen 216,217,218 symbolisch dargestellt.

Die relativen Verkehrsdichten werden nichtlinear gemäß folgender Vorschrift : Prel (Prel) = 1-e 0. 15 verzerrt, so dass sich im Bereich kleiner Verkehrsdichten grundsätzlich eine höhere Auflösung ergibt als im Bereich hoher Verkehrsdichten.

Im weiteren wird eine Modell-Beschreibung des Verkehrsnetzes 200 und dessen Steuerung als technisches System in allgemeiner Form als endlicher Zustandsautomat mit einer Menge kontinuierlicher Zustände und kontinuierlicher Aktionen, aufgrund derer ein Zustandsübergang von einem Vorgängerzustand in einen Nachfolgezustand ausgelöst wird, beschrieben.

Der Aktionsraum kann sowohl kontinuierlich als auch diskret sein.

Allgemein wird das zu steuernde technische System erfindungsgemäß unter Verwendung folgender Komponenten beschrieben : Das technische System weist einen kontinuierlichen Zustandsraum R der Dimension d auf.

Ferner weist das technische System einen kontinuierlichen Aktionsraum A der Dimension dA auf oder einen diskreten Raum U.

Mit bedingten Wahrscheinlichkeitsdichtefunktionen p (y, x, a) wird die Wahrscheinlichkeit für einen Übergang von einem Zustand x in einen Zustand y bei Ausführung der Aktion a beschrieben.

Mit einem Gewinn g (x, a, y) im Sinne eines Reinforcement- Lernens wird ein Gewinn g a, y) beschrieben bei Ausführung einer Aktion a in dem Vorgängerzustand x, wenn das technische System aufgrund der Steuerung in einen Nachfolgezustand y aufgrund der Aktion a übergeht.

Der Zustandsraum R ist in Fuzzy-Partitionen mit Fuzzy- Zugehörigkeitsfunktionen gruppiert, für die gilt : Die Fuzzy-Partitionen werden mit bezeichnet und weisen jeweils ein Fuzzy-Zentrum auf, das mit bezeichnet wird.

Ferner ist auch der Aktionsraum A in Fuzzy-Partitionen mit Zugehörigkeitsfunktionen gruppiert, für die gilt : Die Fuzzy-Partitionen des Aktionsraums A werden mit {Au}u=1,...,NA (9) bezeichnet und weisen jeweils Fuzzy-Zentren auf.

Erfindungsgemäß sind unterschiedliche Möglichkeiten zum Bilden der Fuzzy-Partitionen des Zustandsraums R vorgesehen.

Es werden somit Fuzzy-Partitionen ci# # Ck# (11) gebildet.

Gemäß einer Alternative kann zur Bildung der Fuzzy- Partitionen des Zustandsraums N ein Fuzzy-C-Means- Clustering, wie es in [2] beschrieben ist, durchgeführt werden.

Gemäß einer weiteren Alternative ist es vorgesehen, die Fuzzy-Partitionen auf eine Weise zu bilden, wie sie in Fig. 6 dargestellt ist.

Die relative Verkehrsdichte ist in einem Intervall von"0" bis #1" in vier Partitionen 601,602,603s 604 gruppiert, denen jeweils über einen vorgegebenen Intervall Zugehörigkeitsfunktionen 605,606,607,608 zugeordnet sind.

Eine erste Fuzzy-Zugehörigkeitsfunktion 605 beschreibt eine sehr geringe Verkehrsdichte"very small", eine zweite Fuzzy- Zugehörigkeitsfunktion 606 eine geringe Verkehrsdichte "small", eine dritte Fuzzy-Zugehörigkeitsfunktion 607 eine hohe Verkehrsdichte"high"und eine vierte Fuzzy- Zugehörigkeitsfunktion 608 eine sehr hohe Verkehrsdichte "very high".

Die in Fig. 6 dargestellten Fuzzy-Zentren und Grenzen der einzelnen Fuzzy-Zugehörigkeitsfunktionen und Fuzzy- Partitionen können alternativ gemäß folgender Vorgehensweise bestimmt werden.

Zustandsübergänge des oben dargestellten technischen Systems (#k, uk, #k+1, #k) können durch Vektoren (#k, #k+1, #k) in einem Zustandsübergangs-Raum T : = 8'x Rrx S beschrieben werden, wobei N'und N'den gleichen Zustandsraum R bezeichnen.

Im weiteren wird ein Clustering der Fuzzy-Cluster durchgeführt in dem Zustandsübergangs-Raum T aufgrund der beobachteten Zustandsübergänge während einer Lernphase unter Verwendung von Trainingsdaten, die aus einem technischen System ermittelt werden, beispielsweise durch Messung oder auch durch Simulation des technischen Systems, gemäß diesem Ausführungsbeispiel mit den ermittelten Verkehrsdichten als Trainingsdaten.

Für jede Aktion u e U werden separate Cluster, das heißt Fuzzy-Partitionen, verwendet.

Ferner wird ein Clustering in dem Zustandsraum durchgeführt unter Verwendung der beobachteten Zustände während der oben beschriebenen Lernphase.

Es ist anzumerken, dass gemäß dem im weiteren beschriebenen Verfahren das Clustern der Zustände und der Zustandsübergänge inkrementell durchgeführt wird, so dass keine Zustandsübergänge explizit gespeichert werden müssen, wie dies gemäß dem Fuzzy-C-Means-Clustering, das jedoch ohne weiteres gemäß einer weiteren Alternative durchgeführt werden kann, erforderlich wäre.

Ergebnis des Fuzzy-Clusterings, das heißt des Bildens der Fuzzy-Partitionen mit den zugehörigen Fuzzy- Zugehörigkeitsfunktionen sind unmittelbar die Fuzzy- Partitionen des Zustandsraums X, die in dem im weiteren beschriebenen Reinforcement-Lernverfahrens und der sich daraus ergebenden Steuerungsstrategie verwendet werden.

Die Cluster in dem Zustandsübergangs-Raum dienen als kompakte Beschreibung der beobachteten Zustandsübergänge, aus dem das Modell, das heißt die bedingten Zustandsübergangswahrscheinlichkeiten, wie sie oben beschrieben worden sind, und die Gewinne g, wie im weiteren beschrieben, ermittelt werden können.

Außerdem werden die Cluster in dem Zustandsübergangs-Raum verwendet zum Bestimmen von im weiteren beschriebenen optional vorgesehenem Aufspalten und Vereinigen von Clustern während des Bildens der Fuzzy-Partitionen im Rahmen des inkrementellen Verfahrens.

Das Aufspalten bzw. Vereinigen von einem Fuzzy-Cluster wird anhand der Fig. 7a und Fig. 7b beschrieben.

Gemäß der in Fig. 7a beschriebenen Situation wird angenommen, dass ein Zustandsübergang von einem Zustand

x1 = 4.3 (12) in einen Zustand <BR> <BR> <BR> <BR> <BR> <BR> yT = 2.8 (13)<BR> <BR> -1 und von ferner von einem Zustand #2T = 5.8 (14) in einen Zustand <BR> <BR> <BR> <BR> <BR> <BR> yT = 7. 9 (15)<BR> <BR> -2 mit einem identischen Gewinn von 4 = r2 = 1. 25 (16) beobachtet wird.

Das mittlere Cluster 701 der drei in Fig. 7a dargestellten Cluster 701,702,703 würde es bei dessen Aufspalten ermöglichen, im Rahmen des Lernens zwischen diesen zwei Klassen von Zustandsübergängen in dem diskretisierten Modell zu unterscheiden.

In dem in Fig. 7b dargestellten Beispiel, bei dem alle Zustandsübergänge in einem Bereich des mittleren Clusters 701 beginnen und in einem ähnlichen Endzustand yet _ #2T t 5.2 (17) enden, wobei jedoch zwei unterschiedliche Klassen von Gewinnen

rlT = 0. 5 (18) und -T = 0. 5 (19) in der Trainingsphase beobachtet werden, würde eine Aufspaltung des mittleren Clusters 701 eine verbesserte Unterscheidung dieser Klassen in den Zustandsübergängen ermöglichen.

Somit ist ersichtlich, dass in den in Fig. 7a und in Fig. 7b dargestellten Fällen jedes Mal ein Aufspalten des mittleren Clusters 701 eine Verbesserung des Lernverfahrens und des durch das Lernverfahren gebildeten Fuzzy-Sets von Fuzzy- Partitionen erzielen würde.

Eine entsprechende Vorgehensweise kann gemäß einer optionalen Erweiterung der Vorgehensweise durch Vereinigen von einzelnen Fuzzy-Partitionen, das heißt von Clustern, erreicht werden, wobei beim Vereinigen grundsätzlich eine analoge Vorgehensweise gewählt wird verglichen mit dem Aufteilen der Partitionen.

Im weiteren werden die einzelnen Abschnitte des Verfahrens zum Bilden der Fuzzy-Partitionen, das heißt das Clustering des Zustandsraums R und in dem Zustandsübergangs-Raum T, das Erhöhen der Genauigkeit der Cluster in dem Zustandsraum aufgrund der Cluster in T und schließlich das Ableiten des diskretisierten Modells aus den geclusterten Zustandsübergängen beschrieben.

Das Clustern des Zustandsraums N in Fuzzy-Partitionen wird verwendet zum Beschreiben einer im weiteren beschriebenen Q-

Funktion im Zusammenhang mit einem Reinforcement- Lernverfahren.

Die Cluster werden auf inkrementelle Weise erzeugt.

Jedes Cluster c-wird zu der jeweiligen Iteration k gekennzeichnet durch das jeweilige Cluster-Zentrumx", einen Zählerwert M"zum Zählen der Anzahl der Zustände, die dem Cluster c aufgrund der vorangegangenen Verfahrensschritte, das heißt Iterationen, zugeordnet worden sind und einer Diagonalmatrix A".. die im weiteren auch als Skalierungsmatrix bezeichnet wird, durch die die Größe des jeweiligen Clusters bestimmt wird.

Im weiteren wird die Gesamtheit aller Cluster in dem Zustandsraum N zu einer Iteration k bezeichnet mit Ck.

Ein Abstand dist8 ; cR) eines Zustands x e N zu einem Cluster ci# ist gegeben durch folgende Vorschrift: Aufgrund der gemäß diesem Ausführungsbeispiel, allgemein nicht erforderlichen, vorgesehenen Diagonalform der Skalierungsmatrix A".,sind alle Cluster in allen Dimensionen symmetrisch. Jedoch kann die Skalierung der Dimensionen variiert werden.

Zu Beginn des Verfahrens werden alle Cluster mit der gleichen Skalierungsmatrix AN initialisiert.

Wie im weiteren noch näher erläutert wird, wird aufgrund eines Aufteilens eines Clusters in zwei Cluster hinsichtlich

einer Dimension d eine Reduzierung der Größe des jeweiligen Clusters in der jeweiligen Dimension d erreicht.

Wird während der Lernphase ein neuer Zustand xk ermittelt, so wird der Abstand des neu ermittelten Zustands xk zu allen existierenden Clustern bestimmt.

Wenn kein Cluster c existiert, zu dem der Abstand distk#(#, ci#) des neuen Zustands xk kleiner ist als ein vorgegebener maximaler Abstand donax, so wird ein neues Cluster ci, mit einem neuen Zentrum bk (21) und einem auf den Wert"0"initialisierten neuen Zähler <BR> <BR> <BR> <BR> <BR> <BR> MR k : = ° (22)<BR> Mi,k#, : und einer neuen Skalierungsmatrix #i,k#, := ## (23) erzeugt.

Der maximale Abstand dmax kann von dem Benutzer vorgegeben werden und hängt üblicherweise ab von der Initialisierungs- Diagonalmatrix A",und der gewünschten Größe der initialisierten Cluster. <BR> <BR> <BR> <BR> <BR> <BR> <P>Das Cluster ci## # ck#, zu dem der neue Zustand #k den<BR> <BR> <BR> in k geringsten Abstand aufweist, wird in einem weiteren Schritt in Richtung des neu ermittelten Zustands xk innerhalb des Zustandsraums # verschoben.

Die Schrittgröße des jeweiligen Verschiebeschritts wird bestimmt durch die Fuzzy-Zugehörigkeitsfunktion gemäß folgender Vorschrift : des neuen Zustands xk in dem Cluster c'und der Anzahl von Zuständen, die zuvor dem Cluster c'zugeordnet worden sind, <BR> <BR> bezeichnet mit M.,, womit sich ein neuer Zählerwert<BR> <BR> <BR> <BR> i0,k<BR> <BR> <BR> <BR> <BR> <BR> <BR> MR und ein neues, aktualisiertes Zentrum des<BR> <BR> <BR> io, k+l io, k+l jeweils ausgewählten Clusters c-ergeben gemäß folgenden Vorschriften : <BR> <BR> <BR> <BR> <BR> <BR> <BR> # # M# , + u#, (xk), (25<BR> <BR> io, k+l F io, k lo, kLxk), Diese alternative Vorgehensweise kann anschaulich als eine inkrementelle Variante des in [2] beschriebenen Fuzzy-C- Means-Clustering-Verfahrens angesehen werden.

Gemäß diesem Ausführungsbeispiel wird ein Fuzzifizierungswert m in Vorschrift (24) mit dem Wert 2 verwendet.

In einer alternativen Vorgehensweise ist es möglich, an Stelle lediglich des ausgewählten Zentrums xiR k+1 die

Zentren aller Cluster in Richtung des neu ermittelten Zustands xk zu verschieben.

Ziel des im weiteren beschriebenen Clusterings des Zustandsübergangs-Raums T ist es, eine kompakte Beschreibung der beobachteten Zustandsübergänge während der Lernphase zu erzeugen.

Wie im weiteren beschrieben wird, wird diese Beschreibung eingesetzt, um sinnvolle Aufteilungen von Clustern in dem Zustandsraum # und zum Abschätzen der durchschnittlichen Zustandsübergangs-Wahrscheinlichkeiten, die oben beschrieben worden sind, abzuschätzen sowie zum Abschätzen der Gewinne g verwendet.

Ein Cluster ctfu in dem Zustandsübergangs-Raum T ist gekennzeichnet durch seine Cluster-Zentren #j,kt,u, die sich gemäß folgender Vorschrift ergeben : Mit MD'kU wird ein Zähler bezeichnet, mit dem die Anzahl der Zustandsübergänge angegeben werden, die diesem jeweiligen Cluster zugeordnet sind.

Mit einer Skalierungsmatrix ATru und mit einem Index u für die jeweilige Aktion, die den jeweiligen Zustandsübergang erzeugt hat, welcher Zustandsübergang dem jeweiligen Cluster zugeordnet ist.

Die Gesamtheit der Cluster der Zustandsübergänge zu einer Aktion u e U wird mit Ck'U bezeichnet.

Die Skalierungsmatrix AjT'kU weist drei voneinander unabhängige Diagonalmatrizen BT, #j,kT,u, bj,kt,u auf, wobei eine erste Diagonalmatrix #j,kT,u den jeweiligen Vorgängerzustand, eine zweite Diagonalmatrix _T'kU einen Nachfolgezustand und eine dritte Diagonalmatrix bjT'kU den Gewinn, der durch den Zustandsübergang erzeugt wird, beschreiben.

Es ergibt sich somit für die Skalierungsmatrix #j,kt,u folgende Vorschrift : Um zu ermitteln, ob ein Aufteilen eines Clusters in zwei Cluster entlang einer Dimension d in dem Zustandsraum sinnvoll ist, sollte die Auflösung der Clusterung in dem Zustandsübergangs-Raum T in Abhängigkeit der Auflösung der Clusterung in dem Zustandsraum # gewählt werden.

Es wird angenommen, dass ci0,# ein Cluster in dem Zustandsraum ist, welches Cluster der Komponente RTIU des Cluster- am nachsten ist und das mit ci,, <BR> <BR> das Cluster bezeichnet wird, welches der Komponente yT'kU am<BR> -J k nächsten liegt.

Gemäß der heuristischen Vorgehensweise in diesem Ausführungsbeispiel hat es sich als vorteilhaft herausgestellt, die Größe des Clusters cjT'U in der Richtung

halb so groß zu machen wie die Größe des Clusters cit und die Größe des Clusters cT'U in Richtung N'so grob zu wählen wie die Größe des Clusters c.,.

Auf diese Weise ergeben sich die erste Diagonalmatrix #j,kT,u und die zweite Diagonalmatrix #jkT,u, des Clusters c/ gemäß folgenden Vorschriften : <BR> <BR> <BR> <BR> <BR> <BR> ,, := 4##i0k#,, (29)<BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> T,u # ##<BR> <BR> <BR> , #i0"k',<BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> wobei mit Ai'0k# und Ai"0,k# die Skalierungsmatrizen des Clusters ci, bzw. ciff bezeichnet werden.

Die Skalierungsmatrizen #i'0k'# #i"0,k# hänge von der Anzahl der Aufteilungen der Cluster c.,# und c. 8, bis zu der 10 10 Iteration k ab.

Die dritte Diagonalmatrix bjT'kU wird konstant gewählt, beispielsweise gemäß folgender Vorschrift : <BR> <BR> <BR> <BR> <BR> <BR> bT,u :- 1<BR> <BR> <BR> bzkU #2' (31) wenn Gewinne mit einem Abstand b unterschieden werden sollen.

Auf der Basis der oben dargestellten Skalierungsmatrizen <BR> <BR> Aj,kT,u wird ein Abstandsmaß distkT(z, cjT,u) ermittelt gemäß<BR> <BR> <BR> folgender Vorschrift : Wird ein neuer Zustandsübergang (#k, ks #k+1, gk) ermittelte so wird geprüft, ob zumindest ein Cluster UkU], existiert, zu dem der Vektor #k : (#k,#k+1,#k)T (34) einen Abstand aufweist, der kleiner ist als ein vorgegebener maximaler Zustandsübergangs-Abstand dmaX.

Ist dies nicht der Fall, so wird ein neues Cluster c T, uk mit einem Cluster-Zentrum <BR> <BR> <BR> <BR> <BR> <BR> <BR> T,uk := z#, (35)<BR> <BR> 'k-' einem mit dem Wert"0"initialisierten neuen Zähler Mj,kT,uk := 0, (36) <BR> <BR> <BR> <BR> <BR> <BR> <BR> und einer neuen Skalierungsmatrix A.,T,uk in der Gesamtheit<BR> <BR> <BR> @j,k aller Cluster gebildet.

Der maximale Zustandsübergangs-Abstand dmax kann, muss jedoch nicht, den gleichen Wert aufweisen wie der maximale Abstand dmax hinsichtlich des Zustandsraums N Je kleiner der maximale Zustandsübergangs-Abstand dmax gewählt wird, um so feiner wird der Zustandsübergangs-Raum T geclustert.

Für dmax 0 (37) wird jeder Zustandsübergang in dem Zustandsübergangs-Raum T explizit in dem Speicher des Steuerrechners 301 gespeichert.

In einem weiteren Schritt werden alle Cluster c'k E Ck'k in Richtung des Vektors zk gemäß ihrer jeweiligen Zugehörigkeit, die sich gemäß folgender Vorschrift ergibt : verschoben und der Zähler des jeweiligen Clusters wird erhöht, so dass sich aktualisierte Werte des Zählers M'i <BR> <BR> und des jeweiligen Cluster-Zentrums z\gemäßfolgenden<BR> <BR> #j,k+1 Vorschriften ergeben :

Anschaulich ist das Aufteilen eines Clusters ci# # Ck# in Dimension d in dem Zustandsraum # sinnvoll, wenn es eine detailliertere Modellierung der Zustandsübergangs- Wahrscheinlichkeiten oder der Gewinne ermöglicht.

Dies ist der Fall, wenn zwei Cluster cjT'U und clT'u in dem Zustandsübergangs-Raum T existieren, die beide einen hohen Zugehörigkeitswert vd,j,l,ku(ci#) zu dem Cluster, das aufgeteilt werden soll, aufweist und deren Zentren einen deutlichen Abstand zueinander hinsichtlich der Richtung R"xS aufweisen.

Somit wird ein Cluster ci# s Ck# in Richtung der Dimension d während einer Iteration k aufgeteilt, wenn der Wert vd,j,l,ku(ci#), der gemä# folgender Vorschrift gebildet wird : einen vorgebbaren Schwellenwert vin für mindestens ein Paar von Clustern cjT'U, clT'u E CT'U und eine Aktion u E U überschreitet, das heißt, dass gilt : In der Vorschrift (41) zeigt die Sigmoid-Funktion

de cd, k k Ic : = (43) T, ul (i1"-Ydec 'ffxl- 1. f-v" Xl, k d-Ei, kldi, kldd oder 1 + e CT dec an, (Xlsk gd gr°ßer ist als 4 k) Entsprechend zeigt die Vorschrift decd8'k-T, u 1 1 (44) (, l dec 1+e'o ffdec 1 + e an, ob RT, u) kleiner ist als ($iS kl Mit der Funktion wird angezeigt, ob die Cluster cjT,u und clT,u einen deutlichen Abstand zueinander in Richtung der Dimension #"#r aufweisen, wobei der Abstand distk#"##(cjT,u,clT,u) gegeben ist gemäß folgender Vorschrift : k 1) S tkW St9kl (CjT'U'ClT'U) (46) Mit dem Abstand distknCc'u, ciul K 3 1 in dem Zustandsraum und dem Abstand dist, c J in dem Raum der Gewinne, die durch die Zustandsübergänge generiert werden.

Gemäß dem Ausführungsbeispiel hat es sich als vorteilhaft herausgestellt, die einzelnen Parameter gemäß folgender Vorschriften zu wählen : <BR> <BR> <BR> <BR> <BR> dec _ 0. 125#dmax#, adec = 0.025#dmax#, (50) <BR> <BR> <BR> <BR> <BR> diff d T (51)<BR> (51)<BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> #diff = 0.2#dmaxT. (52) diff = 0.2#dmaxT.<BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <P>Ist das Kriterium gemäß (41) durch das Cluster ci# und der<BR> <BR> <BR> in<BR> <BR> <BR> <BR> Dimension do erfüllt, so wird das Cluster c durch zwei<BR> <BR> 10 neue Cluster cif und ci,, ersetzt.

Die Dimension do der Cluster-Zentren der Cluster cit und ci8 werden jeweils in entgegengesetzte Richtungen bezüglich der Dimension do um den halben Radius

des Clusters cR verschoben, wobei die anderen Dimensionen des ursprünglichen Clusters ciR auch bei den neuen Clustern ci#, und ci"# unverändert erhalten bleiben.

Es ergeben sich somit für die neuen Cluster cit und ci, folgende Aktualisierungsvorschriften : Die Größe der neuen Cluster ci, und ci"# in Richtung der Dimension do wird halbiert, das heißt es ergeben sich hinsichtlich der Größe, das heißt der Skalierungsmatrix der neuen Cluster cif und ci, folgende Aktualisierungsvorschriften :

Die Zähler der neuen Cluster ci, und ci, werden auf den gleichen Wert gesetzt, den der Zähler des ursprünglichen Clusters c aufgewiesen hat.

Es ergeben sich somit folgende Aktualisierungsvorschriften für die Zähler der neuen Cluster ci, und ci <BR> <BR> <BR> <BR> <BR> <BR> -,k<-o,k'<'<BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> mi",k# # Mi0,k#, (63) so dass die neuen Cluster sich an neu ermittelte Zustände xk in gleicher Geschwindigkeit anpassen wie es das ursprüngliche Cluster cR getan hätte.

Aufgrund der Anpassung der Größe der einzelnen Cluster in dem Zustandsübergangs-Raum T an die Größe der benachbarten Cluster in dem Zustandsraum N führt ein Aufteilen der Cluster in dem Zustandsraum N auch zu einer höheren Auflösung der Clusterung in dem Zustandsübergangs-Raum T.

Dies kann zu weiteren Aufteilungen der Cluster führen.

Somit kann die Fuzzy-Partitionierung des Zustandsraums grundsätzlich beliebig genau gewählt werden, wenn jede

Aufteilung eines Clusters zu einer genaueren internen Modellbeschreibung führt.

Jedoch kann das Erzeugen von Clustern auf zwei Wegen beschränkt werden.

Zum einen kann eine maximale Anzahl von Aufteilungen, die auf ein Cluster angewendet werden darf, vorgegeben werden.

Weiterhin kann der Schwellenwert v, mit dem das Aufteilen der Cluster gesteuert wird, entsprechend der Anzahl existierender Cluster erhöht werden.

Wie im weiteren noch detailliert erläutert wird, kann auf der Grundlage der ermittelten Cluster ci'u E Ck'U und der dem jeweiligen Cluster cl zugeordneten Zähler Ml'k, mit dem die Anzahl der Zustandsübergänge, die diesem jeweiligen Cluster zugeordnet sind, ermittelt werden.

Mit kann abgeschätzt werden, wie oft die Aktion a durchgeführt worden ist in dem Zustand c und wie oft der Zustandsübergang beobachtet worden ist, der durch das Cluster cl'u beschrieben wird.

Somit wird durch den Quotienten qil,, (u)/der gemäß folgender Vorschrift gebildet wird :

die Wahrscheinlichkeit abgeschätzt, dass das Ausführen der Aktion u in dem Zustand ciS in einem Zustandsübergang, der durch das Cluster clT'u beschrieben wird, resultiert.

Deshalb kann die durchschnittliche Wahrscheinlichkeit Pi1k () eines Zustandsübergangs von einem Vorgängerzustand ci# in einen Nachfolgezustand cjR durch eine angenäherte Wahrscheinlichkeit #i,j,k(u), gebildet gemäß folgender Vorschrift : abgeschätzt werden.

Entsprechend kann der durchschnittliche Gewinn für das Ausführen der Aktion u in dem Zustand ci# und einem Zustandsübergang zu dem Zustand c angenähert werden gemäß folgender Vorschrift : Es ist in diesem Zusammenhang anzumerken, dass das oben beschriebene Verfahren zum Bilden von Fuzzy-Clustern auch unabhängig von dem im weiteren beschriebenen Reinforcement- Lernverfahren im Zusammenhang mit der Auswahl von

Rahmensignalplänen, allgemein im Zusammenhang mit der Steuerung eines technischen Systems, eingesetzt werden kann.

Anschaulich kann das oben beschriebene Vorgehen darin gesehen werden, dass ein Cluster eines Zustandsraums oder eines Zustandsübergangs-Raums in mindestens zwei oder mehr Cluster aufgeteilt wird, wenn aus den geclusterten Zustandsübergängen ersichtlich ist, dass durch das Aufteilen verschiedener Gruppen von Zustandsübergängen, beispielsweise unterschiedliche Nachfolgezustände und/oder unterschiedliche Gewinne erzeugt werden, die voneinander unterschieden werden können.

Anschaulich kann diese Vorgehensweise somit als eine Art Mittelweg zwischen einer expliziten Speicherung aller Zustandsübergänge und dem bloßen Zählen von Zustandsübergänge zwischen gegebenen Partitionen des Zustandsraums angesehen werden.

Auf diese Weise werden die Vorteile einer expliziten Speicherung, nämlich eine sehr gute Partitionierung des Zustandsraums und dem Zählen von Zustandsübergängen, das heißt eine sehr kompakte Repräsentation eines Modells des technischen Systems, gemäß der oben beschriebenen Vorgehensweise vereint werden.

Es ist darauf hinzuweisen, dass die auf die oben beschriebene Weise ermittelte Partitionierung gegenüber einer ebenfalls alternativ möglichen festgelegten, d. h. manuellen Partitionierung der Fuzzy-Partitionen das Reinforcement- Lernen, wie es im weiteren beschrieben wird, erheblich beschleunigt.

Unter Verwendung von ermittelten Trainingsdaten sowie der auf die oben beschriebene Weise ermittelten Fuzzy-Partitionen, das heißt den Fuzzy-Clustern, wird ein im weiteren beschriebenes Reinforcement-Lernverfahren durchgeführt.

Zur Erleichterung des Verständnisses wird im weiteren ein kurzer Überblick über Grundlagen des Reinforcement-Lernens gegeben.

Die Grundidee des modellbasierten Reinforcement-Lernens ist es, zu Beginn des Lernverfahrens eine Maximum-Likelihood- Schätzung des Modells des zu steuernden Systems durchzuführen und die optimierte Kontrollstrategie, das heißt das optimierte Steuern durch Auswahl von Steuergrößen (indirekt) basierend auf der zuvor ermittelten Modellbeschreibung zu trainieren.

Diese zwei Phasen können einander überlappen, das heißt zuvor trainierte Strategien können von der zu Beginn ermittelten Modellbeschreibung abgeleitet werden, basierend auf beobachteten Zustandsübergängen während einer Lernphase und die Information für eine zukünftig Ableitung der Steuerstrategie, das heißt der Auswahl der Steuergrößen kann mittels dieser Kontrollstrategien gewonnen werden.

Bei einem diskreten indirekten Reinforcement-Lernverfahrens erfolgt eine Maximum-Likelihood-Schätzung des Modells des technischen Systems auf der Grundlage von diskreten Zählern, mit denen die Anzahl ausgeführter Aktionen und der sich daraus ergebenden Zustandsübergänge und auf der Grundlage von Variablen für die beobachteten Gewinne.

Die Zähler und Variablen werden im weiteren näher erläutert.

Mit NY und M ? i = 1, NN. u = 1,..., NA j = 1S..., N8, k E N, werden Zähler bezeichnet, mit denen die Anzahl durchgeführter Fuzzy-Aktionen Au in einem Fuzzy- Zustand Xi und die Anzahl von Zustandsübergängen von einem Zustand Xi in einen Nachfolgezustand Xj aufgrund der Aktion Au bis zu einer Iteration k bezeichnet.

Wird ein Zustandsübergang (#k, #k, #k+1, gk) beobachtet, <BR> <BR> xk # #, xk+1 # #, ak # A, gk # R, werden die Zähler Ni,u,k0<BR> und M'i,u,j,k0 gemäß dem Grad der Zugehörigkeit zu den entsprechenden Cluster-Zentren gemäß folgender Vorschriften erhöht : Anschließend werden die Zähler Ni u k und M ? verwendet, um darauf basierend die durchschnittlichen bedingten Wahrscheinlichkeiten für einen Zustandsübergang von einem Zustand Xi in einen Nachfolgezustand Xz aufgrund der Aktion Au geschätzt gemäß folgender Vorschrift : Im weiteren wird mit r der durchschnittliche Gewinn bezeichnet, den man erhält, wenn in dem Vorgängerzustand Xi aufgrund des Ausführens der Aktion Au der Nachfolgezustand X in dem Zustandsraum # eingenommen wird.

Der Gewinn ergibt sich somit gemäß folgender Vorschrift :

Eine Schätzung des jeweiligen Gewinns riuj0, das heißt ein geschätzter Gewinn ri°uj, wird gemäß folgender Aktualisierungsvorschrift ermittelt : Mit i = 1,..., N#, u = 1,..., NA, j = 1,..., NR (74) bei Beobachten eines Zustandsübergangs (#k, #k, #k+1,gk), bk E K, k+1k9k* Für dieses diskrete Modell kann eine optimale Steuerungsstrategie gemäß dem Reinforcement-Lernverfahren ermittelt werden.

Mit Q x, a) wird der wahre, kontinuierliche Q-Wert im Rahmen des Reinforcement-Lernverfahrens bezeichnet, der gebildet wird gemäß folgender Vorschrift :

Auf der Grundlage des wahren, kontinuierlichen Q-Werts Q (_, _) ergibt sich ein geschätzter Q-Wert #iu0 der durchschnittlichen Q-Werte gemäß folgender Vorschrift : der sich ergibt aus der Fixpunkt-Lösung des folgenden Gleichungssystems : (78) Die kontinuierlichen Q-Werte Q (x, a) werden gemäß diesem Ausführungsbeispiel durch ein sogenanntes Takagi-Sugeno- Fuzzy-System, wie es in [3] beschrieben ist, mit linearen Termen in den Konsequenzen der Fuzzy-Regeln angenähert gemäß folgender Vorschrift : if x is Xi and a is Au (79) mit i = 1, ... N#, u = 1,..., NA, wobei gilt : Qiu : Q(#i,#u), (80) <BR> <BR> <BR> <BR> Qiux1 := #Q/#xl (#i,#u), (81)

und <BR> <BR> <BR> <BR> <BR> <BR> (u).''<BR> <BR> <BR> iu #- #a1 Aufgrund der Orthogonalität der Fuzzy- Zugehörigkeitsfunktionen kann Vorschrift (79) geschrieben werden als folgende Vorschrift : Die Terme Qu können durch Ermitteln der Fixpunkt-Lösung der Gleichungssysteme (78) mit den Abschätzungen der durchschnittlichen bedingten Zustandsübergangswahrscheinlichkeiten gemäß Vorschrift (70) und Schätzwerten rl°uj der durchschnittlichen Gewinne gemäß Vorschrift (72) ermittelt werden.

Für den diskreten Fall ist in [3] eine spezielle Implementierung der oben beschriebenen Vorgehensweise zur rekursiven Lösung der sogenannten Bellmann-Gleichung (78) beschrieben.

Die Grundidee des aus [3] bekannten Ansatzes ist es, das rekursive Aktualisieren der Q-Werte entsprechend der Änderung der Q-Werte zu priorisieren, wie sie aus der Aktualisierung resultieren.

Aufgrund dieser Vorgehensweise wird die Geschwindigkeit der Konvergenz der Fixpunkt-Lösung deutlich erhöht verglichen mit einer Aktualisierung gemäß einer festen Reihenfolge.

Da außerdem die Interpretation der Variablen pij (u) und -0. der Bellmann-Gleichung (78) in dem diskreten Fall gleich ist, kann dieser vorteilhafte Aktualisierungsmechanismus auch für den gemäß diesem Ausführungsbeispiel der Erfindung vorgesehenen Ansatz unter Verwendung von Fuzzy-Partitionen im Rahmen des Reinforcement- Lernverfahrens eingesetzt werden.

Die konstante Terme Q werden durch Lösen der Bellmann- Gleichung (78) ermittelt.

Die zugehörigen partiellen Ableitungen Qiu und Qu können durch Bilden von Durchschnittswerten und partiellen Ableitungen der Gewinnfunktion und der bedingten Zustandsübergangs-Wahrscheinlichkeiten ermittelt werden.

Die partiellen Ableitungen Qiu werden gemäß folgender Vorschrift gebildet :

mit den Abkürzungen :

die in dem vorangegangenen Schritt verwendet worden sind.

Das Ersetzen des Integrals durch die Summe lokaler Integrale gemäß den Vorschriften (86) und (87) und den Durchschnittswerten (88), (89) ist in dem Sinne konsistent, dass mit Erhöhen der Genauigkeit der Partitionierung des Zustandsraums diese immer besser werden.

In analoger Weise kann gezeigt werden, dass gilt :

Der durchschnittliche lokale Gewinn rl°ui und die durchschnittlichen lokalen Ableitungen riul und al-der <BR> <BR> <BR> Gewinnfunktion g kann durch Anpassen der Parameter ri°Ui,<BR> <BR> j #iujxl, #iujal und #iujyl der folgenden linearen Funktion abgeschätzt werden abhängig von den Gewinnen in der näheren Umgebung der Cluster-Zentren (#i,#u,#j), gemä# folgender Vorschrift : Diese Anpassung kann erfolgen mittels eines bekannten Gradientenabstiegs unter Berücksichtigung einer Fehlerfunktion E, die sich ergibt gemäß folgender Vorschrift :

E := 1/2(gk - #(#k,#k'#k+1))2 (94) bei Beobachten eines Zustandsüberganges (#k, #k, #k+1,gk).

Somit ergeben sich gemäß diesem Ausführungsbeispiel folgende Aktualisierungsvorschriften : wobei eine mögliche Wahl für die Schrittgröße rliuj, k innerhalb der Aktualisierung gegeben sein kann gemäß folgender Vorschrift : so dass die Schrittgröße iuk jeweils"abhängig von dem Grad der Zugehörigkeit eines beobachteten Zustandsübergangs zu einem Cluster-Zentrum gewählt wird und mit fortlaufender Zeit verringert wird.

Die durchschnittlichen bedingten Wahrscheinlichkeiten pij0(u) können gemäß Vorschrift (71) geschätzt werden.

Die durchschnittlichen partiellen Ableitungen können gemäß folgenden Vorschriften approximiert werden :

(101) wobei mit ed ein Vektor der Dimension d mit Vektorkomponenten ed 6ilbezeichnet wird.

Mit Nlu'wird ein Zähler bezeichnet, mit dem die Anzahl von Ausführungen einer Aktion Au in einem Fuzzy-Zustand gezählt wird, der entsteht, indem Zustand Xi entlang der Dimension 1 um einen vorgebbaren Wert s verschoben wird.

Mit wird ein weiterer Zähler bezeichnet, mit dem die Anzahl von Zustandsübergängen von dem um s entlang der Dimension 1 verschobenen Zustand Xi zu einem Nachfolgezustand Xj aufgrund der Aktion Au gezählt wird.

Zusätzlich wird mit ein Zähler bezeichnet, mit dem die Anzahl durchgeführter Aktionen Au in dem Zustand angegeben wird, der durch Verschieben von dem Zustand Xi entlang der Dimension 1 um einen negativen Wer, t-s entsteht und mit wird ein weiterer Zähler bezeichnet, mit dem die Anzahl von Zustandsübergängen in den Zustand Xj von diesem Zustand aufgrund der Aktion Au angegeben wird.

Bei Ermitteln eines Zustandsübergangs (#, #k, #k+1, gk) werden die einzelnen Zähler gemäß folgenden Aktualisierungsvorschriften aktualisiert : Entsprechend werden Zähler Niual,+, Mjuial,+ Njual,-, und Mjuia1,-<BR> <BR> <BR> <BR> lu iuj , Niu iuj für den Aktionsraum gemäß folgenden Aktualisierungsvorschriften aktualisiert :

Anschließend werden die lokalen partiellen Ableitungen piuj,k+1xl und piuj,k+1al ermittelt gemäß folgenden Vorschriften : Mit den geschätzten Wahrscheinlichkeiten #iuj,k+10, #iuj,k+1xl <BR> <BR> <BR> <BR> und #iuj,k+1al für die Wahrscheinlichkeiten piuj0, piujxl und<BR> <BR> j' Piuj pal und der Schätzungen #iuj,k+10, #iuj,k+1xl und #ijk,k+1al für die Gewinne r1°uj, riujxl und riujal kann nunmehr die jeweilige lokale partielle Ableitung Qiu und Qau gemäß den Vorschriften (85) und (90) ermittelt werden.

Zusammenfassend kann das Reinforcement-Lernverfahren in Form eines Pseudo-Codes beschrieben werden wie folgt : 1. Initialisierung : for i = 1,..., N#, u = 1,..., NA do (a) Niu0 -0 Niuxl,+ # 0, Niuxl,- # 0, 1 = 1, ... , d#

(c) Niual,+ # 0, Niual,- # 0, 1 = 1, ... , dA (d) Miuj <-ol = 1, ... , N# (e) Miujxl,+ # 0, Miujxl,- # 0, j = 1, ... , N#, 1 = 1,, d (f) Miujal,+ # 0, Miujal,- # 0, j = 1, ... , N#, 1 = 1, ... , dA (g) riuj0 32 0, j = 1,..., NR (h) rujxl,+ # 0, riujyl # 0, j = 1, ... , N#, 1 = 1, ... , d# (i) riujal,+ # 0, riujyl # 0, j = 1, ... , N#, 1 = 1,, dA (j) PQueue <-empty (k) Beobachte Ausgangszustand xo od 2. Hauptprogramm : for k = 0,1,2,... do (a) Wähle Fuzzy-Aktion uk in dem aktuellen Zustand xi entsprechend der Explorationsstrategie aus (z. B.

Boltzmann-Exploration/F-ISE-Exploration). Wähle kontinuierliche Aktion ak aus der Menge der Zustände, die zu Auk Zugehörigkeit 0 haben.

(b) Führe Aktion ak aus und beobachte Nachfolgezustand Xk+ und gk = g #k, #k+1) (c) for i = 1, ... , N#, j = 1, ... , N# do (i) Zählen der Zustandsübergänge

(ii) Schätzen der Zustandsübergangs-Wahrscheinlichkeiten (iii) Schätzen der partiellen Ableitungen der Zustandsübergangs-Wahrscheinlichkeiten (iv) Berechnen der Abweichung von dem erwarteten lokalen Gewinn

(v) Aktualisieren der Schätzungen für den durchschnittlichen Gewinn und die durchschnittlichen Abweichungen VI = 1, ... , d# od (d) for i = 1,..., N# do (i) Berechnen der Priorität des Sicherns für (i, u) : (ii) if P > Ok then füge (i, Uk) zu PQueue mit Priorität P hinzu fi od (e) while PQueue # empty do (i) (i, u) <-first (PQueue) (iii) for alle Vorgänger (1, w) von i, d. h. alle Paare (1, w) mit Mini > 0 do (B) if P > 4zk then füge (l, w) zu PQueue mit Priorität P hinzu fi od (e) Schätzen der Ableitungen der Q-Werte Die optimale Steuerungsstrategie, das heißt die optimale Auswahl eines Rahmensignalplans aufgrund der ermittelten, gemessenen relativen Verkehrsdichte an den jeweiligen Sensoren 215, allgemein formuliert als optimale Kontrollstrategie u : N--> A, wird dadurch erreicht, dass in dem jeweiligen Zustand x die Aktion a ausgewählt wird, das heißt beispielsweise gemäß dem Ausführungsbeispiel derjenige Rahmensignalplan ausgewählt wird, der einen Gewinn gemäß Vorschrift (79) verspricht, der maximal ist, das heißt bei dem gilt : argmaxQ (x, a). (112) _sA Das oben beschriebene Verfahren kann weiterhin gemäß der im weiteren beschriebenen Ausgestaltung der Erfindung weiter verbessert werden.

Um die Anzahl der benötigten Trainingsschritte im Rahmen des Reinforcement-Lernverfahrens zu verringern ist es nützlich, gezielt den erwarteten Gewinn im Sinne eines

Informationsgehalts der Trainingsdaten über das technische System zu nutzen, das heißt in anderen Worten, in jedem Zustand diejenige Aktion auszuführen, durch entweder ein großer unmittelbarer, das heißt sofortiger Gewinn an Information erwartet werden kann oder durch die ein Bereich in dem Zustandsraum erreicht wird, in dem hohe Gewinne an Information erwartet werden können.

Gemäß diesem Ausführungsbeispiel wird eine modellbasierte Explorationsstrategie vorgesehen.

Die im weiteren beschriebenen vorgehensweise basiert auf A- Werten Aiu, i = 1, ... , N#, u = 1, ... , NA, mit denen die "Attraktivität"des Ausführen der jeweiligen Fuzzy-Aktion Au in dem Zustand Xi bezeichnet wird.

Das Ausführen einer Aktion in einem Zustand des Zustandsraums führt dann mit einer großen Wahrscheinlichkeit zu einem hohen Informationsgewinn, wenn ein großer sofortiger Gewinn an Information erwartet werden kann aufgrund der Ausführung der Aktion Au, oder dann, wenn das zu steuernde technische System aufgrund der Aktion in Zustände übergeht, in denen ein großer Informationsgewinn erwartet werden kann.

Somit ist die Relation zwischen den A-Werten Aiu sehr ähnlich der der Q-Werte im Zusammenhang mit dem Q-Lernverfahren.

Im folgenden wird mit aiu der sofortige Informationsgewinn bezeichnet, der aus einer einzigen Ausführung der Aktion Au in dem Zustand Xi resultiert.

Anschließend wird ein geschätzter A-Wert Aiu abgeleitet, mit dem der erwartete sofortige Informationsgewinn bezeichnet wird, der resultiert aus zukünftigen Ausführungen der Aktion Au in dem Zustand Xi.

Schließlich wird eine Gesamt-Attraktivität Aiu auf der Grundlage der ÂiU in rekursiver Weise ermittelt.

Der sofortige Informationsgewinn kann durch die Menge an Wissen gemessen werden, die das lernende System über die Zustandsübergangs-Wahrscheinlichkeiten zwischen den Fuzzy- Partitionen aufgrund einer Beobachtung eines Zustandsübergangs erhält.

Eine maximale Änderung in den Zustandsübergangs-Wahrscheinlichkeiten von einem Zustand Xi und einer Aktion Au, die aufgrund eines beobachteten Zustandsübergangs (kt-kt xk+l, gk) resultieren, ist gegeben durch die Zugehörigkeit von (k-k) zu den einzelnen Fuzzy-Partitionen, bezeichnet durch : Auf diese Weise wird die Änderung der Wahrscheinlichkeiten mit einer oberen Grenze, die gebildet wird gemäß µi#(#k)µuA(#k) skaliert, um das Maß des sofortigen Informationsgewinns unabhängig zu machen von der Position von (xi,, ak) innerhalb der jeweiligen Fuzzy-Partition.

Somit ergibt sich für die Aktualisierung des sofortigen Informationsgewinns von einer Iteration k zu der nächsten Iteration k+1 :

if µi#(#k)µuA(#k) > 0. sonst (115) Aus den gemäß Vorschrift (115) ermittelten sofortigen Informationsgewinnen aufgrund Durchführen der Aktion Au in dem Zustand Xi ist es möglich, Schlussfolgerungen hinsichtlich zu erwartender zukünftiger Informationsgewinne zu ziehen.

Es hat sich als vorteilhaft herausgestellt, eine gewichtete Summe aller vorangegangenen ermittelten sofortigen Informationsgewinne zu berechnen.

Der Einfluss eines Informationsgewinns für einen Zustand Xi und einer Aktion Au auf die sofortige"Attraktivität"sollte durch die Zugehörigkeit des entsprechenden Zustandsübergangs in die jeweilige Fuzzy-Partitionen beschränkt werden.

Dies kann dadurch erreicht werden, dass vorangegangene Informationsgewinne entsprechend der Summe der Grade der Zugehörigkeiten nachfolgender Beobachtungen gewichtet werden : Im folgenden Algorithmus wird die sofortige Attraktivität beschrieben als ein Quotient der gewichteten Summe der sofortigen Informationsgewinne und der Summe der Gewichte,

das heißt die sofortige Attraktivität A ergibt sich gemäß folgender Vorschrift : s A = zum (117) w iu Eine totale Attraktivität ÃiU eines Zustand-Aktions-Paars (Xi, Au) wird auf rekursive Weise gemäß folgender Vorschrift ermittelt : mit dem räumlichen Dämpfungsfaktor # e [0 ; 1] und der Attraktivität Ãj der Partitions-Untermenge Xj, gegeben gemäß folgender Vorschrift : Zusammenfassend kann die Explorationsstrategie durch folgende, in einem Pseudo-Code dargestellte Vorgehensweise beschrieben werden : 1. Initialisierung : (a) NiU <-0, i = 1,..., N8, u = 1,..., NA (b) Miuj0 # 0, i = 1,..., N#, u = 1, ... , NA, j = 1, ... , N# (c) Initialisiere die Komponenten der unmittelbaren Attraktivität derart, als ob in jeder vorangegangenen Iteration der maximale unmittelbare Informationsgewinn mit maximalem Zugehörigkeitsgrad erreicht worden wäre : <BR> <BR> (i) AT # 1, i = 1, ... , N#, u = 1,..., NA<BR> <BR> <BR> 1 - #

(ii) #iuW # 1, i = 1, ... , N#, u = 1, ... , NA<BR> <BR> <BR> <BR> <BR> 1 - # Somit ist jedes Zustands-Aktions-Paar (Xi, Au) mit der maximalen unmittelbaren Attraktivität #iu = 1 initialisiert.

(d) Initialisiere totale Attraktivität <BR> <BR> <BR> 1<BR> <BR> <BR> 1 - # (e) Bestimme Ausgangszustand xo 2. Hauptprogramm for k = 0, 1, 2,... do (a) Sei AUk die Partitions-Untermenge (Fuzzy-Aktion) des Aktionsraums, bei der die Attraktivität Au u (#k) im aktuellen Zustand xk maximiert ist, wobei die <BR> <BR> Attraktivität Au (x-k) gegeben sei durch<BR> <BR> <BR> <BR> <BR> if x is Xi then Ãu (x) = 7u D. h. es gilt : Uk : = arg maxu NA AuCxk)<BR> <BR> u=1,...,N Zufälliges Auswählen einer Aktion ak, aus {a#a # A # µukA (a)#0} aus Auk (b) Ausführen Aktion ak und Beobachten des Nachfolgezustands xk+l und des Gewinns g(#k, #k, #k+1) (c) Ausführen einer Iteration eines beliebigen Reinforcement- Lernverfahrens, beispielsweise des oben beschriebenen F- PS-Lernverfahrens oder des F-Q-Lernverfahrens (d) for i = 1,..., N# do (i) Zählen der Zustandsübergänge : (A) Niuk0 # Niuk0 + µi# (#k)µukA (#k) <BR> <BR> Miukj0 # Miukj0 + µi#(#k)µukA (#k)µj#(#k+1),<BR> <BR> <BR> <BR> <BR> <BR> <BR> (B)<BR> #j = 1, ... , N# (ii) Berechnen des unmittelbaren Informationsgewinns resultierend aus dem Zustandsübergang : MOukJ MoukJ u Xk''-uk =k''J Xk+1 kk) , -) | Ui (k huk Wki j= 1,, NR | Nlu k Niu k aUi (k huk (Rk) a <-. if).'k<äk) > ° 0, sonst (iii) Erneutes Berechnen der unmittelbaren Attraktivität für (Xi, Auk) <BR> <BR> (A) #iuks # # + # µi#(#k)µukA(#k)#iuks<BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> <BR> W )µA (a#)<BR> (B) Aiukw # 1 + # µi#(xk)µukA (ak)Aiukw (iv) Erneutes Schätzen der Zustandsübergangs- Wahrscheinlichkeiten : od (e) for i = 1,..., N# do (i) Berechnen der Priorität des Sicherns für (Xi, Auk) : (ii) if P > Ok then füge (i, uk) zu PQueue mit Priorität P hinzu fi (f) while PQueue # empty do (i) (i, u) # first (PQueue) (iii) for alle Vorgänger (l, w) von i, d. h. alle (1, w) mit Mowi > 0 do

(B) if P > Ok then füge (1, w) zu PQueue mit Priorität P hinzu fi od od od Zusammenfassend wird das oben beschriebene Verfahren noch einmal anhand Fig. 1 erläutert.

In einem ersten Schritt werden Daten über das technische System, bei einem Verkehrsnetz 200 die jeweilige Verkehrsdichte an einem Sensorpunkt mittels eines Sensors, ermittelt (Schritt 101).

In einem weiteren Schritt werden Fuzzy-Partitionen des Zustandsraums und/oder des Aktionsraums ermittelt (Schritt 102).

In einem weiteren Schritt wird ein Reinforcement- Lernverfahren durchgeführt unter Verwendung der ermittelten Daten über das technische System sowie unter Verwendung der ermittelten Fuzzy-Partitionen (Schritt 103).

In einem weiteren Schritt (Schritt 104) wird auf die oben beschriebene Weise gemäß dem Reinforcement-Lernverfahren eine optimale Steuerungsstrategie ermittelt, das heißt es wird ein optimaler Ausgangswert ermittelt, mit dem angegeben wird, welcher Rahmensignalwert für die jeweilige Iteration auszuwählen ist (Schritt 104).

Wie in Fig. 1 weiter dargestellt ist, wird in einem weiteren Schritt (Schritt 105) der gemäß dem Reinforcement- Lernverfahren ermittelte optimale Rahmensignalplan ausgewählt, ausgelesen und abhängig von dem Rahmensignalplan

werden die Ampeln 214 an den jeweiligen Kreuzungen, das heißt allgemein das technische System, das gesteuert werden soll, unter Berücksichtigung der ausgewählten optimierten Steuerungsstrategie und dem ausgewählten Rahmensignalplan, gesteuert (Schritt 106).

Es ist darauf hinzuweisen, dass die oben beschriebene Erfindung nicht auf die Steuerung von Ampeln in einem Verkehrsnetz beschränkt ist, sondern dass sich die Fuzzy- Partitionierung eines kontinuierlichen Zustandsraums und/oder eines kontinuierlichen Aktionsraums für ein beliebiges technisches System eignet, das mit einem kontinuierlichen Zustandsraum und/oder kontinuierlichen Aktionsraum beschrieben wird und mittels eines Reinforcement- Lernverfahrens gesteuert werden soll.

In diesem Dokument sind folgende Veröffentlichungen zitiert : [1] H. Takagi und M. Sugeno, Fuzzy Identification of Systems and its Application to Modelling and Control, IEEE Transactions on Systems, Man and Cybernetics, Vol. 15, S. 116-132,1985 [2] J. C. Bezdek, Pattern Recognition with Fuzzy Objective Function Algorithms, Plenum Press, New York, ISBN 0-306- 40671-3,1981 [3] A. Moore und C. Atkeson, Efficient Memory Based Reinforcement-Learning : Efficient Computation with Prioritized Sweaping, Information Processing, Vol. 5, S. 263-270,1992 [4] S. Davies, Multi Dimensional Triangulation and Interpolation for Reinforcement-Learning, Advances in Neural Information Processing Systems, NIPS'9, S. 1005- 1011,1996 [5] H. Appl und R. Palm, Fuzzy Q-learning in nonstationary environments, Proceedings of the 7 European Congress on Intelligent Techniques and Soft Computing, 1999