Beschreibung

Verfahren zum rechnergestützten Lernen eines neuronalen Netzes und neuronales Netz

Die Erfindung betrifft die dynamische Selektion von Informationen. Systeme der Datenverarbeitung, insbesondere intelligente Agenten oder Systeme zur Auswertung von Daten, erhalten Eingabeinformationen. Hierzu muss das System die Eingabein- formationen nach bestimmten Kriterien aufbereiten und ausgeben oder aus den Eingabeinformationen eine Handlung ableiten und ausführen. Der Aufbereitung der Eingabeinformationen im Hinblick auf eine zu lösende Aufgabe kommt hierbei besondere Bedeutung zu. So existieren zahlreiche Klassifikationsverfah- ren, um Eingabeinformationen bestimmten Klassen zuzuordnen. Ziel ist es hierbei, eine für die zu lösende Aufgabe möglichst optimale Repräsentation der Eingabeinformationen zu gewinnen .

Anwendungsgebiete von Klassifikationsverfahren betreffen im medizinischen Bereich die Einteilung von Patienten in Gruppen mit verschiedenen Diagnosen und Medikamentenverträglichkeiten. Ein andere Anwendung ist beispielsweise die Verkehrstechnik, bei der Sensormesswerte in verschiedene Kategorien eingestuft werden. Ferner werden Klassifikationsverfahren in der industriellen Automation verwendet, um beispielsweise eine zu erwartende Produktqualität auf der Basis von Sensorwerten des industriellen Prozesses zu klassifizieren.

Zur Aufbereitung von Eingabeinformationen sind zahlreiche mathematische Klassifikationsverfahren bekannt, z. B. maschinelle Lernverfahren mit sog. "Support Vector Machines". Hierbei werden aus den Eingabeinformationen zunächst Merkmale extrahiert, welche jeweils in einer bestimmten Merkmalsaus- prägung vorkommen können. Als Merkmal wird eine bestimmte Eigenschaft der Eingabeinformationen verstanden. Unter Merkmalsausprägung wird verstanden, ob, in welchem Umfang oder auf welche Art ein bestimmtes Merkmal in den

Eingabeinformationen gegeben ist. Die Ausprägung kann hierbei lediglich das Vorhandensein oder das Nichtvorhandensein eines Merkmals angeben, die Ausprägung kann aber auch beliebige Zwischenstufen beschreiben. Im Bereich der Sprachverarbeitung könnte ein Merkmal beispielsweise angeben, ob bei der

Digitalisierung eines akustischen Sprachsignals Informationen abgeschnitten wurden (Clipping) oder nicht. Im Bereich der Bildverarbeitung könnte ein Merkmal eine Grauwertverteilung von Pixeln eines Bildes angeben. Die Ausprägung kann hierbei z. B. für jede von 256 Graustufen angeben, wie häufig sie vorkommt. Weitere Merkmale könnten die Lautstärke eines Sprachsignals, die Volatilität eines Aktienkurses, die Geschwindigkeit eines Fahrzeugs, die Unebenheit einer Oberfläche, sowie die Strukturen eines Röntgenbildes sein. Die angegebenen Beispiele zeigen, dass die Extraktion von Merkmalen in unterschiedlichsten Bereichen der Datenverarbeitung zum Einsatz kommt.

Im Rahmen der bekannten mathematischen Verfahren wird nach Extraktion unterschiedlicher Merkmale der Eingabeinformationen eine Klassifikation der extrahierten Merkmale vorgenommen. Werden als Merkmale Kanten in einem Bild extrahiert, so kann in einem zweiten Schritt klassifiziert werden, ob die Kanten beispielsweise zu der Abbildung eines Gesichts oder eines Gebäudes gehören. Nachteilig wirkt sich hierbei aus, dass die meisten Verfahren nicht selbst entscheiden können, welche Merkmale für die spätere Klassifikation wichtig und welche unwichtig sind. Eine solche Unterscheidung von Merkmalen im Hinblick auf eine zu lösende Aufgabe muss dann von Hand erfolgen und dem System in irgendeiner Form vorgegeben werden. Bekannt sind schließlich auch Verfahren, die Merkmale gezielt auswählen können. Die Extraktion der Merkmale bzw. ihre Ausprägung bleibt hiervon jedoch unberührt.

Aus der Schrift [1] ist ein neuronales Netz bekannt, welches eine selektive Repräsentation der Ausprägung von Merkmalen von Eingabeinformationen in Abhängigkeit eines Aufmerksamkeitsfilters erlaubt. Ein Merkmal ist hierbei der Ort eines

Objektes, welcher in den Ausprägungen links und rechts vorkommt; ein anderes Merkmal ist die Art des Objektes, welche in den Ausprägungen "Zielobjekt" und "anderes Objekt" vorkommt. Die Repräsentation der Ausprägungen dieser Merkmale wird durch einen Aufmerksamkeitsfilter selektiv beeinflusst.

Durch die Repräsentation der Ausprägungen der Merkmale wird es möglich, bestimmte Merkmale bzw. ihre Ausprägung zu verstärken, zu filtern, auszublenden, zu differenzieren, zu be- tonen, zu gewichten und zu bewerten. Dies erfolgt, indem die einzelnen Ausprägungen der Merkmale in der Repräsentation ge- wichtet werden. Wenn zum Beispiel ein Merkmal "Grauwert" nur in den Ausprägungen "Schwarz" und "Weiß" vorkommt, so kann eine tief-schwarze Eingabeinformation dadurch repräsentiert werden, dass der Ausprägung "Schwarz" ein besonders hohes Gewicht im Vergleich zu anderen Merkmalen verliehen wird. In der Schrift [1] wird ein solches großes Gewicht einer Ausprägung durch einen Pool von Neuronen mit hoher Aktivität repräsentiert .

Nachteilig wirkt sich jedoch auch hier wieder aus, dass der Aufmerksamkeitsfilter, d. h. die Information über die Bedeutung der einzelnen Merkmale, von Hand von außen zugeführt werden muss. Es ist hier nicht möglich, das neuronale Netz automatisiert in Abhängigkeit der Bedeutung der Merkmale entsprechend zu generieren.

Das Dokument [Richard P. Lippmann: An Introduction to Computing with Neural Nets, IEEE ASSP MAGAZINE APRIL 1987, S. 4- 22] betrifft eine allgemeine Einführung in die Berechnungsverfahren von neuronalen Netzen. Es wird in dem Artikel auch die Verwendung von neuronalen Netzen zur Klassifizierung von Mustern erwähnt. Nichtsdestotrotz kann dieser Druckschrift nicht eine belohnungsbasierte Lernregel entnommen werden. Insbesondere ist in dem Dokument nicht das Merkmal gezeigt, dass vorwärts- und rückwärtsgerichtete Gewichte in Abhängigkeit davon verstärkt bzw. abgeschwächt werden, ob zuvor eine

korrekte Kategorisierung von Eingabeinformationen vorgenommen wurde .

Auch die Druckschrift [Michael Esslinger und Ingo Schaal: OCR mit SNNS, Mustererkennung mit neuronalen Netzen, Praktikumsbericht zum Vortrag Künstliche Intelligenz SS 2004 am 02.07.2004, 16 Seiten] beschäftigt sich mit der Mustererkennung in neuronalen Netzen. In der Druckschrift werden im Abschnitt 4. auch verschiede Lernregel beschrieben, wobei je- doch die Anpassung der Gewichte nicht in der Weise erfolgt, wie es gemäß der Erfindung festgelegt ist. Die Druckschrift [Siegfried Macho : Modelle des Lernens: Neuronale Netze, Uni- versitas Friburgensis mai 93, 6 Seiten] betrifft ebenfalls einen allgemein gehaltenen Artikel über Lernmodelle mit neu- ronalen Netzen. Es wird in dem Artikel zwar die Anpassung von assoziativen Verbindungen erwähnt, jedoch findet sich auch in diesem Dokument kein Hinweis auf das spezielle belohnungsba- sierte Hebb'sche Lernverfahren gemäß der Erfindung.

Aufgabe der Erfindung ist es, ein Verfahren zum Lernen eines neuronalen Netzes zu generieren, welches automatisiert das neuronale Netz der Bedeutung der dem Netz zugrunde liegenden Merkmalsausprägungen und Kategorien anpasst und dabei den Lernvorgang von höheren Lebewesen rechnergestützt nachbildet.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.

Das erfindungsgemäße Verfahren generiert ein neuronales Netz, bei dem die Neuronen des neuronalen Netzes in wenigstens zwei Schichten umfassend eine erste Schicht und eine zweite, mit der ersten Schicht vernetzten Schicht eingeteilt werden, wobei die Vernetzung zwischen der ersten und zweiten Schicht des neuronalen Netzes durch synaptische Verbindungen zwischen Neuronen repräsentiert und die Stärke einer Verbindung durch ein Gewicht wiedergegeben wird. Es wird somit auf bekannte Strukturen von neuronalen Netzen zurückgegriffen, um auf ein-

fache Weise das erfindungsgemaße Verfahren umzusetzen. Hierbei umfassen die synaptischen Verbindungen zwischen einem ersten und einem zweiten Neuron eine vorwartsgerichtete Verbindung von dem ersten zum zweiten Neuron und eine ruckwarts- gerichtete Verbindung vom zweiten zum ersten Neuron.

In der ersten Schicht werden Eingabeinformationen jeweils durch eine oder mehrere Merkmalsauspragungen von einem oder mehreren Merkmalen repräsentiert, wobei jede Merkmalsauspra- gung ein oder mehrere Neuronen der ersten Schicht umfasst, und in der zweiten Schicht eine Mehrzahl von Kategorien gespeichert sind, wobei jede Kategorie ein oder mehrere Neuronen der zweiten Schicht umfasst. In dem erfindungsgemaßen Verfahren wird für eine oder mehrere Eingabeinformationen je- weils wenigstens eine Kategorie in der zweiten Schicht den Merkmalsauspragungen der Eingabeinformation in der ersten Schicht zugeordnet. Schließlich wird in die erste Schicht eine Eingabeinformation eingegeben und anschließend wenigstens eine Zustandsgroße des neuronalen Netzes ermittelt und mit der zugeordneten wenigstens einen Kategorie dieser Eingabeinformation verglichen, wobei bei dem durchgeführten Vergleich ermittelt wird, ob für die Eingabeinformation eine übereinstimmung zwischen der wenigstens einen Zustandsgroße des neuronalen Netzes und der zugeordneten wenigstens einen Katego- rie der Eingabeinformation vorliegt. Hierdurch wird ein einfaches Kriterium geschaffen, um einen schnell durchzuführenden Vergleich zwischen Zustandsgroßen des neuronalen Netzes und Zuordnungen von Kategorien zu Merkmalsauspragungen der Eingabeinformation durchzufuhren .

Anschließend wird die Aktivität der Neuronen im neuronalen Netz ermittelt und die Neuronen in Abhängigkeit von ihrer Aktivität jeweils als aktiv oder inaktiv eingestuft. Die Aktivität der Neuronen liefert wichtige Aufschlüsse über die Funktionsweise des neuronalen Netzes, und es ist deshalb vorteilhaft, die Aktivität der Neuronen als Parameter im neuronalen Netz zu berücksichtigen.

Gemäß der Erfindung werden die Gewichte der synaptischen Verbindungen zwischen aktiven Neuronen der ersten Schicht und aktiven Neuronen der zweiten Schicht verstärkt, wenn beim Vergleich der Zustandsgroßen des neuronalen Netzes für eine Eingabeinformation mit der zugeordneten wenigstens einen Kategorie der Eingabeinformation eine übereinstimmung festgestellt wird. Das Verfahren ist somit eine vorteilhafte Abwandlung des aus dem Stand der Technik bekannten Hebb ' sehen Lernverfahrens, wonach Verbindungsstarken zwischen aktiven Neuronen verstärkt werden. Die Abwandlung besteht darin, dass die Verstärkung nur dann vorgenommen wird, wenn der Zustand des neuronalen Netzes darauf hindeutet, dass das neuronale Netz eine richtige Kategorisierung liefert.

Ferner werden erfindungsgemaß beim Vorliegen einer übereinstimmung der Zustande des neuronalen Netzes für eine Eingabeinformation mit der zugeordneten wenigstens einen Kategorie die Gewichte der vorwartsgerichteten synaptischen Verbindungen von ersten aktiven Neuronen aus einer der ersten und zweiten Schicht zu zweiten inaktiven Neuronen aus der anderen der ersten und zweiten Schicht abgeschwächt. Derartige synaptische Verbindungen deuten darauf hin, dass eine nicht korrekte Vernetzung zwischen den Neuronen vorliegt, so dass eine Abschwachung von derartigen Verbindungen vorgenommen wird, um das Netz schnell und effektiv zu lernen.

Im umgekehrten Fall, wenn keine übereinstimmung zwischen dem Zustand des neuronalen Netzes und der zugeordneten Kategorie der Eingabeinformation vorliegt, werden gemäß der Erfindung die Gewichte der synaptischen Verbindungen zwischen aktiven Neuronen der ersten Schicht und aktiven Neuronen der zweiten Schicht abgeschwächt. Hierdurch wird in effektiver Weise verhindert, dass in dem neuronalen Netz falsche Kategorien gelernt werden. Vorzugsweise werden im Falle, dass keine Uber- einstimmung vorliegt, die Gewichte von allen synaptischen

Verbindungen, die nicht abgeschwächt werden, nicht verändert.

Durch das erfindungsgemaße Verfahren kann auf einfache Weise dynamisch die Vernetzung zwischen Neuronen aus einer ersten und einer zweiten Schicht entsprechend den Gegebenheiten des zugrunde liegenden Klassifikationssystems angepasst werden. Es ist somit nicht mehr erforderlich, dass das neuronale Netz per Hand an die unterschiedlichen Merkmalsauspragungen und entsprechenden Kategorisierungen angepasst wird.

In einer bevorzugten Ausfuhrungsform der Erfindung stellen die Kategorien der zweiten Schicht Losungen einer Aufgabe dar, wobei die Losung der Aufgabe von den Eingabeinformationen abhangt. Mit einem derartigen Verfahren kann das neuronale Netz auf einfache Weise an verschiedene Aufgabenstellungen angepasst werden.

In einer besonders bevorzugten Ausfuhrungsform des Verfahrens wird erreicht, dass das gelernte Netz Merkmale nach ihrer Relevanz im Hinblick auf die gestellte Aufgabe unterscheiden kann. Hierbei sind die Merkmale unterteilt in diagnostische Merkmale, welche für die Losung der Aufgabe relevant sind, und in nicht-diagnostische Merkmale, welche für die Losung der Aufgabe nicht relevant sind. Vorzugsweise ist hierbei jede zugeordnete wenigstens eine Kategorie einer Eingabeinformation eine richtige Losung der Aufgabe. Hierdurch wird in vorteilhafter Weise erreicht, dass mit dem neuronalen Netz die vorgegebene Kategorisierungsaufgäbe effektiv gelost wird.

In einer weiteren besonders bevorzugten Ausfuhrungsform der Erfindung liegt eine übereinstimmung zwischen einer Zustands- große des neuronalen Netzes für eine Eingabeinformation und der zugeordneten wenigstens einen Kategorie der Eingabeinformation dann vor, wenn die Anzahl der aktiven Neuronen, die zu der zugeordneten wenigstens einen Kategorie dieser Eingabeinformation gehören, eine vorbestimmte Anzahl in Abhängigkeit von der Gesamtanzahl der Neuronen in der wenigstens einen Kategorie und/oder der Anzahl von aktiven Neuronen in anderen Kategorien überschreitet. Hierdurch wird sich in vorteilhafter Weise die biologische Erkenntnis von neuronalen Netzen

zunutze gemacht, gemäß der eine verstärkte Aktivität von Neuronen auf das Vorliegen einer bestimmten Kategorie hindeutet.

Vorzugsweise werden beim Vorliegen einer übereinstimmung des Zustandes des Netzes für eine Eingabeinformation mit der zugeordneten Kategorie der Eingabeinformation keine weiteren Veränderungen der synaptischen Verbindungen vorgenommen.

Das erfindungsgemaße Verfahren wird in einer besonders bevor- zugten Ausfuhrungsform als Iterationsverfahren eingesetzt, bei dem die Schritte der Eingabe von Eingabeinformationen und anschließendem Vergleich sowie der Veränderung der Vernetzung in Abhängigkeit des Vergleichsergebnisses mehrere Male wiederholt werden. Durch eine entsprechend häufige Wiederholung dieser Schritte kann somit ein besonders gut gelerntes neuronales Netz erzeugt werden. Vorzugsweise wird die Iteration nach Erreichung eines Konvergenzkriteriums beendet.

In einer besonders bevorzugten Ausfuhrungsform des erfin- dungsgemaßen Verfahrens wird nach jedem Iterationsschritt eine Normalisierung der Vernetzung des neuronalen Netzes durchgeführt, um die Konvergenz des Verfahrens sicherzustellen.

In einer weiteren Ausgestaltung der Erfindung stellen die miteinander vernetzten Neuronen der ersten und zweiten

Schicht des neuronalen Netzes erregende gepulste Neuronen dar, welche üblicherweise in neuronalen Netzen verwendet werden. Hierbei sind die erregenden gepulsten Neuronen der ersten Schicht zumindest teilweise in Eingabepools gruppiert, wobei jeder Merkmalsauspragung mindestens ein Eingabepool zugeordnet ist. Hierdurch wird die Schnelligkeit des erfin- dungsgemaßen Verfahrens erhöht, da bei den durchgeführten Berechnungen nur noch die Eingabepools und nicht alle Neuronen einzeln berücksichtigt werden müssen.

Vorzugsweise kooperieren die Eingabepools miteinander und die Aktivitäten der Eingabepools repräsentieren jeweils eine Merkmalsauspragung. Hierdurch werden auf einfache Weise die

Merkmalsausprägungen direkt mit Zuständen der Eingabepools in Verbindung gesetzt.

In einer weiteren bevorzugten Ausführungsform der Erfindung sind auch die erregenden gepulsten Neuronen der zweiten

Schicht zumindest teilweise in Kategorie-Pools gruppiert, wobei jeder Kategorie mindestens ein Kategorie-Pool zugeordnet ist. Hierdurch wird die Schnelligkeit es erfindungsgemäßen Verfahrens nochmals erhöht. Im Gegensatz zu den Eingabepools konkurrieren die Kategorie-Pools jedoch vorzugsweise miteinander, und ein aktiver Kategorie-Pool setzt sich in der Konkurrenz durch. Ein Kategoriepool wird hierbei dann als aktiv bezeichnet, wenn er mindestens eine vorbestimmte Anzahl von aktiven Neuronen aufweist.

Wie bei herkömmlichen neuronalen Netzen üblich, umfasst das neuronale Netz in einer bevorzugten Ausführungsform auch hemmende gepulste Neuronen, die zumindest einen hemmenden Pool in der ersten und/oder zweiten Schicht bilden, wobei der hem- mende Pool eine globale Hemmung auf die Eingabe- und/oder Kategorie-Pools ausübt.

Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner ein neuronales Netz mit einer Vielzahl von Neuronen, wobei das Netz derart ausgestaltet ist, dass es mit dem erfindungsgemäßen Verfahren gelernt ist. Ein derart gelerntes Netz hat den Vorteil, dass es automatisiert erzeugt werden kann und effektiv den Gegebenheiten einer gestellten Katego- risierungsaufgäbe angepasst werden kann.

Ausführungsbeispiele der Erfindung werden nachfolgend detailliert anhand der beigefügten Figuren beschrieben.

Fig. 1 zeigt schematisiert die in einer Ausführungsform der Erfindung verwendete Kategorisierungsaufgäbe;

Fig.2 zeigt ein Diagramm, welches eine Ausführungsform des mit dem erfindungsgemäßen Verfahren gelernten neuronalen Netzes zeigt;

Fig.3 zeigt ein Diagramm zur Verdeutlichung des Lernens eines Neurons mit dem erfindungsgemäßen Verfahren;

Fig.4 zeigt ein Diagramm, welches die Veränderung der Aktivität von Neuronen in einem neuronalen Netz während des Lernens mit dem erfindungsgemäßen Verfahren darstellt; und Fig.5 zeigt ein Diagramm, welches die Veränderung der sy- naptischen Gewichte beim Lernen von unterschiedlichen anfänglichen neuronalen Netzen zeigt.

Die im folgenden beschriebene Ausführungsform des erfindungsgemäßen Verfahrens beruht in gering abgewandelter Form auf einem neurophysiologischen Experiment, das in der Druckschrift [2] beschrieben ist. Es wurde hierbei die Aktivität von Neuronen in der inferotemporalen Cortex (ITC) von wachen Affen untersucht, denen eine visuelle Kategorisierungsaufgäbe gestellt wurde. Es wurde gemessen, wie die ITC-Repräsentation der visuellen Stimuli durch die den Affen angelernte Katego- risierung beeinflusst wird. Den Affen wurde gelehrt, einen Satz von Bildern in zwei Kategorien einzuteilen, wobei jede Kategorie mit der linken bzw. rechten Stellung eines Hebels in Verbindung steht. Die Affen mussten den Hebel in die ent- sprechende Richtung ziehen, wenn ein entsprechender Stimulus gezeigt wurde.

Fig. 1 zeigt eine Art des durchgeführten Experiments, bei dem die Affen zehn schematisierte Gesichter Fl bis FlO in zwei Kategorien einteilen mussten. Wie sich aus den unterschiedlichen Gesichtern ergibt, unterscheiden sich diese insbesondere in der Höhe der Augenstellung, der Länge der Nase sowie der Höhe der Mundstellung. Nur ein Merkmal der Gesichter, nämlich die Augenstellung, war für die Lösung der Kategorisierungs- aufgabe relevant. In Fig. 1 sind fünf Gesichter Fl bis F5 mit der Merkmalsausprägung Dl "niedrige Augenstellung" gezeigt, welche gemäß der Aufgabenstellung der Kategorie Cl (entspricht "Hebel nach links") zuzuordnen sind. Ferner sind fünf Gesichter F6 bis FlO mit der Merkmalsausprägung D2 "hohe Augenstellung" gezeigt, welche gemäß der Aufgabenstellung der Kategorie C2 (entspricht "Hebel nach rechts") zuzuordnen sind. Die restlichen Merkmale, das heißt die Länge der Nase und die Stellung des Mundes sind so genannte nichtdiagnostische Merkmale in der gestellten Kategorisierungsauf- gabe, welche keine Informationen für den mit der Kategorie assoziierten Stimulus liefern und für die Kategorisierungs- aufgäbe keine Relevanz haben.

Nachdem die Affen mit den in Fig. 1 gezeigten Gesichtern als Stimuli trainiert wurden, wurden die gelernten Tiere mit Testexemplaren von Gesichtern getestet. Die Tiere mussten hierbei die gelernte Kategorisierungsaufgäbe durchführen. Bei diesen Tests wurde die durchschnittliche Aktivität von allen visuell reagierenden Neuronen in der ITC-Cortex gemessen. Für jedes Neuron wurden die Aktivitätsantworten in Abhängigkeit von den Merkmalen des präsentierten Stimulus sortiert und ü- ber viele Versuche hinweg gemittelt. Als Ergebnis hat man durchschnittliche Aktivitäten erhalten, aus denen sich ergibt, welche Merkmalsausprägungen bestimmte Neuronen am meisten bzw. am wenigsten erregen.

Ausgehend von dem soeben beschriebenen Experiment wird in der hier beschriebenen Ausführungsform des erfindungsgemäßen Verfahrens eine an die biologischen Gegebenheiten angepasste Struktur eines neuronalen Netzes vorgegeben, welches für die

Lösung der obigen Kategorisierungsaufgäbe geeignet ist. Diese Netzwerkstruktur ist in Fig. 2 wiedergegeben. Es wurde hierbei berücksichtigt, dass für die Lösung von Kategorisierungs- aufgaben im Gehirn höherer Lebewesen zwei Gehirnschichten von Relevanz sind. Die erste Schicht Ll ist der bereits im vorangegangenen erwähnte inferotemporale Cortex. Bei der gestellten Kategorisierungsaufgäbe bilden sich hierbei vier so genannte Eingabepools 101, 102, 103 und 104 von spezifischen erregenden gepulsten Neuronen aus. Ein Pool von Neuronen zeichnet sich hierbei insbesondere dadurch aus, dass alle

Neuronen im Pool die gleichen synaptischen Gewichte zu Neuronen anderer Pools aufweisen. Die erste Schicht Ll ist mit einer zweiten Schicht L2 vernetzt, welche einen Kategorie-Pool 201 und einen Kategorie-Pool 202 aus erregenden gepulsten Neuronen umfasst und dem präfrontalen Cortex (PFC) im Gehirn entspricht. Wenn die Neuronen 201 aktiv sind, wird durch das Netzwerk das Vorhandensein der Kategorie Cl signalisiert, und wenn die Neuronen 202 aktiv sind, wird durch das Netzwerk das Vorhandensein der Kategorie C2 signalisiert.

Jeder Eingabepool ist mit entsprechenden Merkmalsausprägungen der Kategorisierungsaufgäbe verknüpft, wobei die Neuronen in den entsprechenden Eingabepools aktiv sind, wenn eine entsprechende Merkmalsausprägung beim präsentierten Stimulus vorliegt. Der Eingabepool 101 steht hierbei für die Merkmalsausprägung D2 "hochgestellte Augen", der Pool 102 steht für die Merkmalsausprägung Dl "tiefgestellte Augen", der Pool 103 betrifft das Merkmal Nl "lange Nase" und der Pool 104 steht für das Merkmal N2 "kurze Nase".

Wie bereits vorher erwähnt, sind in der hier beschriebenen Kategorisierungsaufgäbe nur die Augenstellungen für die Lösung der Aufgabe relevant. Insbesondere ist die Merkmalsausprägung Dl "tiefgestellte Augen" mit der Kategorie Cl und die Merkmalsausprägung D2 "hochgestellte Augen" mit der Kategorie C2 verknüpft. Die Merkmalsausprägungen Nl und N2 betreffen hingegen ein nicht-diagnostisches Merkmal ohne Relevanz bei der Festlegung der Kategorie.

In der Schicht Ll der Fig. 2 existieren ferner noch die Pools 120 und 110. Der Pool 120 stellt einen so genannten nichtspezifischen Neuronenpool dar, der für alle weiteren erregen- den gepulsten Neuronen in der Schicht Ll steht. Der Pool 110 ist hingegen ein Pool, der die hemmenden gepulsten Neuronen in dieser Schicht repräsentiert. Analog umfasst die Schicht L2 einen nicht-spezifischen Pool 220 für alle weiteren erregenden gepulsten Neuronen der Schicht L2 und einen Pool 210 für alle hemmenden Neuronen in dieser Schicht. Die soeben beschriebene Netzwerkstruktur beruht auf der in der Druckschrift [3] beschriebenen Struktur, welche bereits früher verwendet wurde, um verschiedene experimentelle Paradigmen zu erklären (siehe auch Druckschrift [I]) .

In der hier beschriebenen Ausführungsform der Erfindung wird als Modell zur Beschreibung des Verhaltens der Neuronen das hinlänglich aus dem Stand der Technik bekannte Modell von spikenden Integrate-and-Fire-Neuronen (IF-Neuronen) verwen- det. In diesem Modell integriert ein IF-Neuron den äffernten Strom, der von auf das Neuron eintreffenden Spannungs-Spikes erzeugt wird, und das Neuron feuert Spannungspulse, wenn die Depolarisation der Zellmembran in dem Neuron eine Schwelle überschreitet. Das Modell eines Neurons wird durch folgendes Membranpotential V(t) beschrieben:

dV{f)

C \ ^I J m = -gm(V(t)-V _L )-I _syn (t) ⁽ i: dt

Hierbei ist I _sy n(t) der gesamte eingehende synaptische Strom, C _m ist die Membrankapazität, g _m ist die Membran-Leck- Leitfähigkeit und V _L ist das Ruhepotential. Eine genaue Beschreibung der mathematischen Formulierung von derartigen IF- Neuronen findet sich beispielsweise in der Druckschrift [3] .

In dem hier beschriebenen Verfahren besteht jede der Schichten Ll und L2 aus einer großen Anzahl von IF-Neuronen. Die Schicht Ll umfasst N _E i = 800 erregende Neuronen, welche in

Pools von f-N _E i Neuronen für jeden spezifischen Eingabepool sowie von (l-4f) ^# N _E i Neuronen für den nicht-spezifischen Pool eingeteilt sind. Die Schicht Ll umfasst ferner Nn = 200 hemmende Neuronen, welche den hemmenden Pool in der Schicht bil- det. Die zweite Schicht L2 umfasst N _E2 = 520 erregende Neuronen, wobei f *N _E 2 Neuronen für jeden Kategorie-Pool 201 und 202 und (l-2f)-N _E2 Neuronen für den nicht-spezifischen Pool 220 vorgesehen sind. Ferner umfasst die Schicht N12 = 130 hemmende Neuronen in dem hemmenden Pool 210. Aus Vereinfa- chungsgründen wurde das gleiche Verhältnis an Neuronen f = 0,1 für alle Pools von erregenden Neuronen gewählt. Ferner wurde das Verhältnis 80:20 von erregenden Neuronen zu hemmenden Neuronen gewählt, was neurophysiologischen experimentellen Daten entspricht. Bei der Durchführung des erfindungsge- mäßen Verfahrens mussten 1650 gekoppelte Differenzialglei- chungen (1) gelöst werden. Die numerische Integration wurde unter der Verwendung eines Runge-Kutta-Verfahrens mit einer Schrittgröße von 0,1 ms durchgeführt.

Jeder individuelle Pool wurde durch unterschiedliche Eingaben angetrieben. Zunächst erhalten alle Neuronen in dem modulierten Netzwerk eine spontane Hintergrundaktivität durch N _ext = 800 externe erregende Verbindungen erhalten. Jede Verbindung trägt hierbei einen so genannten Poisson-Spike-Train mit ei- ner spontanen Frequenzrate von 3 Hz, welcher ein typischer Wert ist, der im zerebralen Cortex beobachtet wird. Dies führt zu einer externen Hintergrundeingabe mit einer Rate von 2,4 kHz für jedes Neuron. Ferner erhalten die Neuronen in den Pools 101 bis 104 zusätzlich externe Eingaben, welche den speziellen Stimulus codieren. Diese Eingaben sind beispielhaft in Fig. 2 mit I dargestellt, wobei in der Situation der Fig. 2 ein Stimulus eines Gesichtes eingegeben wird, welches eine hohe Augenstellung (Eingabe in den Pool 101) und eine lange Nase (Eingabe in den Pool 103) aufweist. Es wird ange- nommen, dass die Stimuli ihren Ursprung in tieferen Bereichen des Gehirns haben, welche visuelle Information verarbeiten, um visuelle Signale bereitzustellen. Es wird angenommen, dass bei der Weiterleitung der visuellen Signale alle Merkmalsaus-

Prägungen des visuellen Stimulus in gleicher Weise verarbeitet und codiert werden, so dass die so genannten "Bottom-Up- Signale", welche die Schicht Ll erreichen, im Durchschnitt die vorliegenden Merkmalsausprägungen des Stimulus mit der gleichen Stärke codieren. Wenn ein Pool der ITC-Schicht Ll stimuliert wird, ist die Rate des Poisson-Trains hin zu den Neuronen dieses Pools um den festen Wert λ _stim = 150 Hz erhöht.

In dem hier beschriebenen Verfahren werden die Leitfähigkeitswerte der Synapsen zwischen Paaren von Neuronen durch Gewichte moduliert, welche von ihrem Standardwert 1 abweichen können. Die Struktur und die Funktion des Netzwerks werden durch unterschiedliche Modellierung dieser Gewichte innerhalb und zwischen den Neuronenpools erreicht. Es existieren hierbei jeweils vorwärtsgerichtete Gewichte und rückwärtsgerichtete Gewichte zwischen einem Paar von einem ersten und einem zweiten Neuron bzw. zwischen den entsprechenden Neuronenpools. Ein vorwärtsgerichtetes Gewicht ist das Gewicht einer synaptischen Verbindung vom ersten zum zweiten Neuron und ein rückwärtsgerichtetes Gewicht ist das Gewicht der synaptischen Verbindung vom zweiten zum ersten Neuron. In Fig. 2 bezeichnet Wi die Stärke der Gewichte der Verbindungen zwischen den Pools 101 bis 104, welche durch gebogene Pfeile dargestellt sind, sowie auch die Gewichte zwischen den Neuronen innerhalb der Pools, welche jeweils durch kreisförmige Pfeile direkt an den Pools angedeutet sind. Diese Gewichte Wi in der Schicht Ll haben alle den gleichen Wert. Analog bezeichnet w_2 die Stärke der Gewichte zwischen den Pools 201 und 202, und W ₊₂ betrifft die Stärke der Gewichte der Neuronen innerhalb der Pools 201 und 202.

Ferner spielen die folgenden Gewichte von Verbindungen zwischen der Schicht Ll und L2 eine große Rolle, wobei in Fig. 2 die betreffenden Verbindungen (ohne Bezeichnung der entsprechenden Gewichte) durch gestrichelte Doppelpfeile angedeutet sind. Es gelten folgende Definitionen:

^w _D2 -ci/ ^W _CI - _D2 : Gewichte der vorwärtsgerichteten bzw. rück ^¬ wärtsgerichteten synaptischen Verbindung zwischen den Pools 101 und 201;

w _D2 -c ₂ i ^W _C2 - _D2 : Gewichte der vorwärtsgerichteten bzw. rück ^¬ wärtsgerichteten synaptischen Verbindung zwischen den Pools

101 und 202;

w _D i- _C i i ^W _CI - _DI : Gewichte der vorwärtsgerichteten bzw. rück- wärtsgerichteten synaptischen Verbindung zwischen den Pools

102 und 201;

^W _DI - _C2 i ^W _C2 - _DI : Gewichte der vorwärtsgerichteten bzw. rück ^¬ wärtsgerichteten synaptischen Verbindung zwischen den Pools 102 und 202;

^W _NI - _CI / ^W _CI - _NI : Gewichte der vorwärtsgerichteten bzw. rück ^¬ wärtsgerichteten synaptischen Verbindung zwischen den Pools

103 und 201;

^W _NI - _C2 i ^W _C2 - _NI : Gewichte der vorwärtsgerichteten bzw. rück ^¬ wärtsgerichteten synaptischen Verbindung zwischen den Pools

103 und 202;

w _N2 -ci , w _C i_ _N2 : Gewichte der vorwärtsgerichteten bzw. rückwärtsgerichteten synaptischen Verbindung zwischen den Pools

104 und 201;

^W _N2 - _C2 i ^W _C2 - _N2 : Gewichte der vorwärtsgerichteten bzw. rück- wärtsgerichteten synaptischen Verbindung zwischen den Pools 104 und 202.

Strukturell ist das Netzwerk innerhalb der Schichten vollkommen durch erregende und hemmende Synapsen miteinander verbun- den. Zwischen zwei Schichten sind nur Neuronen aus den spezifischen Pools 101 bis 104 und 201, 202 durch erregende Synapsen vollkommen miteinander verbunden.

In der hier beschriebenen Ausführungsform wird davon ausgegangen, dass Verbindungen innerhalb der Schichten Ll und L2 schon gebildet sind, beispielsweise durch Selbstorganisierungsmechanismen. Hierbei werden die Gewichte der Verbindun- gen zwischen und innerhalb der Neuronenpools 101, 102, 103 und 104 in der Schicht Ll auf den Standardwert Wi=I gesetzt. Es wird davon ausgegangen, dass die beiden Aktionen "Ziehe Hebel nach links" und "Ziehe Hebel nach rechts", welche den Kategorien Cl bzw. C2 entsprechen, bereits in der PFC-Schicht L2 codiert sind, und zwar derart, dass der Affe bereits darauf trainiert wurde, dass er nur beim Ziehen des Hebels in eine der Richtungen bei richtig gelöster Aufgabe eine Belohnung erhält. Die Pools, welche diese Aktionen codieren, weisen wahrscheinlich eine so genannte anti-korrelierte Aktivi- tat in ihrem Verhaltenskontext auf, was zu einer unterdurchschnittlichen Verbindungsstärke zwischen ihnen führt. In der hier beschriebenen Ausführungsform wird der Extremfall w_ ₂ = 0 angenommen, d.h., es existiert keine direkte erregende Verbindung zwischen den zwei Kategorie-Pools in der Schicht L2. Innerhalb eines Kategorie-Pools werden die Verbindungen auf den Standardwert W ₊₂ =I gesetzt.

Die Gewichte von den nicht-spezifischen Neuronen in den Pools 120 und 220 weisen in dem hier beschriebenen Verfahren einen Wert von w _n = 0,93 für beide Schichten Ll und L2 auf. Alle

Verbindungen von und zu den hemmenden Pools 110 und 210 sowie die Verbindungen innerhalb der Pools 120, 110, 220 und 210 werden auf den Standardwert w=l gesetzt.

Die Verbindungen zwischen der ITC-Schicht Ll und der PFC- Schicht L2 werden als so genannte plastische Synapsen modelliert. Ihre absoluten Stärken werden erfindungsgemäß mit einem Lern-Algorithmus gelernt, der als belohnungsorientiertes Hebb'sches Lernen bezeichnet werden kann. Zur Analyse des Verhaltens des neuronalen Netzes wurde das so genannte Mean- Field-Modell verwendet, welches ein weithin verwendetes Verfahren darstellt, um das approximative Verhalten eines neuronalen Netzes wenigstens für die stationären Zustände (das

heißt ohne dynamische übergänge) zu analysieren. Das Verfahren stellt sicher, dass die Dynamik des Netzwerks hin zu einem stationären Attraktor konvergiert, der mit dem asymptotischen Verhalten eines asynchron feuernden Spiking-Netzwerks übereinstimmt. Die Mean-Field-Approximation ist beispielsweise in den Druckschriften [3] und [4] beschrieben, deren gesamte Offenbarung durch diesen Verweis Inhalt der vorliegenden Anmeldung wird. In der hier beschriebenen Ausfuhrungsform der Erfindung wird die in der Druckschrift [3] beschriebene Mean-Field-Analyse verwendet.

In dem hier erläuterten erfindungsgemaßen Verfahren wird die im vorangegangenen beschriebenen anfanglichen Netzwerkstruktur gelernt, um die Gewichte innerhalb und zwischen den Neu- ronenpools derart zu modifizieren, dass die experimentellen Daten des in der Druckschrift [2] beschriebenen Experiments korrekt wiedergegeben werden. Das Lernverfahren beruht auf dem hinlänglich aus dem Stand der Technik bekannten Hebb ' - sehen Lernen. Bei diesem Lernen fuhrt eine gleichzeitige Ak- tivitat von über eine synaptische Verbindung miteinander verbundenen Neuronen zu einer Verstärkung dieser synaptischen Verbindung. In dem hier beschriebenen Lernverfahren wird ein so genanntes belohnungsorientiertes Hebb'sches Verfahren verwendet, bei dem die Art und Weise, wie eine synaptische Ver- bindung zwischen zwei Neuronen verändert wird, zum einen vom Aktivitatszustand der Neuronen und zum anderen davon abhangt, ob für das gerade betrachtete simulierte Experiment eine richtige Kategorisierung vorgenommen wurde, das heißt, dass die gestellte Aufgabe richtig gelost wurde. Wurde die Aufgabe richtig gelost, liegt ein so genanntes Belohnungssignal vor, bei dem die Gewichte der synaptischen Verbindungen in anderer Weise verändert werden, als wenn kein Belohnungssignal vorliegt .

In dem hier beschriebenen Verfahren wird ein Experiment durch entsprechende Eingabeinformation in die Schicht Ll simuliert. Die Eingabeinformation fuhrt hierbei zu einer Aktivierung derjenigen Pools, welche den entsprechenden Merkmalsauspra-

gungen der Eingabeinformation zugeordnet sind. Führt ein Experiment zu einer richtigen Kategorisierung, das heißt liegt ein Belohnungssignal vor, wird sowohl die vorwärtsgerichtete als auch die rückwärtsgerichtete synaptische Verbindung zwi- sehen einem ersten präsynaptischen Neuron aus einer der

Schichten Ll und L2 und einem zweiten postsynaptischen Neuron aus der anderen der Schichten Ll und L2 verstärkt, falls beide Neuronen aktiv sind. Demgegenüber wird die vorwärtsgerichtete synaptische Verbindung von einem aktiven präsynaptischen Neuron aus einer der Schichten Ll und L2 zu einem inaktiven postsynaptischen Neuron aus der anderen der Schichten Ll und L2 abgeschwächt. In allen anderen Fällen von Aktivitätszu- ständen wird die synaptische Verbindung nicht verändert.

Im Falle, dass ein Experiment nicht zu einem Belohnungssignal führt, das heißt wenn das neuronale Netz die Kategorisie- rungsaufgabe nicht richtig gelöst hat, wird sowohl die vorwärtsgerichtete als auch die rückwärtsgerichtete Verbindung zwischen einem ersten präsynaptischen Neuron aus einer der Schichten Ll und L2 und einem zweiten postsynaptischen Neuron aus der anderen der Schichten Ll und L2 abgeschwächt, falls beide Neuronen aktiv sind. In allen anderen Fällen wird die synaptische Verbindung nicht verändert.

Fig. 3 zeigt ein Diagramm, welches nochmals die Vorgehensweise des im erfindungsgemäßen Verfahren verwendeten belohnungs- orientierten Hebb ' sehen Lernens zeigt. Das linke Diagramm Dil in Fig. 3 zeigt hierbei den Fall eines Belohnungssignals und das rechte Diagramm DI2 den Fall, dass kein Belohnungssignal vorliegt. In den beiden Diagrammen sind aktive Neuronen durch schraffierte Punkte und inaktive Neuronen durch weiße Punkte wiedergegeben. Die oberen Neuronen in den Diagrammen sind hierbei Neuronen aus der PFC-Schicht L2 und die unteren Neuronen sind Neuronen aus der ITC-Schicht Ll. Durch durchgezo- gene Pfeile wird der Fall einer Verstärkung einer synaptischen Verbindung und durch gestrichelte Pfeile der Fall einer Schwächung einer synaptischen Verbindung dargestellt. Man erkennt, dass im Belohnungsfall die vorwärts- und rückwärtsge-

richteten synaptischen Verbindungen zwischen zwei aktiven Neuronen verstärkt werden. Demgegenüber wird eine vorwartsge- richtete synaptische Verbindung zwischen einem präsynaptischen aktiven Neuron und einem postsynaptischen inaktiven Neuron abgeschwächt. Alle anderen synaptischen Verbindungen werden im Belohnungsfall nicht verändert. Ohne Belohnungssignal werden die vorwärts- und ruckwartsgerichteten synaptischen Verbindungen zwischen zwei aktiven Neuronen aus unterschiedlichen Schichten abgeschwächt. Alle weiteren synapti- sehen Verbindungen zwischen den Neuronen werden nicht verändert .

Zur Durchfuhrung des Hebb ' sehen Lernverfahrens wurde ein sto- chastisches synaptisches Modell mit binaren Zustanden verwen- det, wie es beispielsweise in der Druckschrift [5] beschrieben ist. Zur Auswertung des Lernverhaltens wurde die oben erwähnte Mean-Field-Approximation verwendet.

In der hier beschriebenen Ausfuhrungsform des erfindungsgema- ßen Verfahrens wurden die Stimuli dem neuronalen Netzwerk zufallig präsentiert. Zunächst wurden die internen Variablen des Netzwerks zurückgesetzt und anschließend wurde eine Spike-Dynamik für 500 ms von spontaner Aktivität, gefolgt von 800 ms beim Vorliegen einer einen Stimulus repräsentierenden Eingabeinformation, simuliert. Für eine Zeitperiode, wenn der Stimulus dem neuronalen Netz präsentiert wird, werden die ersten 300 ms als übergangszeit betrachtet und nur die letzten 500 ms werden verwendet, um die zeitgemittelten Spiking- Raten für jedes simulierte Neuron zu ermitteln.

Für typische durchschnittliche Feuer-Raten in den Simulationen führte das Zeitfenster von 500 ms für die Abschätzung dieser Raten zu nicht vernachlassigbaren Fluktuationen in den abgeschätzten Werten. Trotz der vollen synaptischen Konnekti- vitat und des gemeinsamen Werts für die Wirksamkeit der synaptischen Verbindungen in jedem Pool führte dies zu einer breiten Verteilung der abgeschätzten Feuer-Raten in den unterschiedlichen Pools für jedes Experiment. Dies hat nicht-

triviale Konsequenzen beim Lernen auf der Basis der Mean- Field-Approximation . Insbesondere können unerwünschte Verstärkungen oder Abschwächungen zwischen unterschiedlichen Paaren von Puls auftreten, was zu einer falschen Anwendung des oben dargelegten Hebb ' sehen Lernverfahrens führte.

Nichtsdestotrotz wurden die Parameter des obigen Verfahrens nicht verändert, um die Robustheit des Modells im Hinblick auf Effekte zu zeigen, welche die Dynamik des Modells im Falle von weniger Einschränkungen beeinflussen würden.

In jedem Lernschritt der hier beschriebenen Ausführungsform wurde zunächst der Anteil der aktiven Neuronen n ^a _± in jedem Pool i berechnet, und zwar durch den Vergleich der zuvor berechneten zeitgemittelten Spiking-Rate von jedem Neuron in- nerhalb dieses Pools mit einer vorgegebenen Schwelle. Bei einer Spiking-Rate von über 8 Hz für die Schicht Ll und einer Spiking-Rate von 14 Hz für die Schicht L2 wurde ein Neuron als aktiv eingestuft. Wenn der Pool, der gemäß der gestellten Aufgabe die richtige Kategorie darstellt, mehr als die Hälfte der Neuronen im aktiven Zustand aufweist und wenn ferner mehr als doppelt so viele Neuronen in diesem Pool aktiv sind als in dem anderen Kategorie-Pool, wird diesem Experiment eine Belohnung zugewiesen, das heißt es wird ein Belohnungssignal gesetzt. Liegen diese Voraussetzungen nicht vor, wird keine Belohnung vergeben und es liegt kein Belohnungssignal vor. Als nächstes wird für jedes Paar von spezifischen Pools aus unterschiedlichen Schichten der Anteil der zu verstärkenden synaptischen Verbindungen N ^p und der abzuschwächenden synaptischen Verbindungen N ^d als Ergebnis des im Experiment be- reitgestellten Stimulus ermittelt.

Im Falle eines präsynaptischen Pools mit n _pre Neuronen und n ^a _pre aktiven Neuronen und eines postsynaptischen Pools mit n _pθ st Neuronen und n ^a _pO st aktiven Neuronen ergibt sich folgen- des :

Im Falle eines Belohnungssignals werden alle synaptischen Verbindungen zwischen Paaren von aktiven Neuronen verstärkt

und alle vorwärtsgerichteten synaptischen Verbindungen von einem aktiven Neuron zu einem inaktiven Neuron werden abgeschwächt. Der Anteil an synaptischen Verbindungen, die verstärkt und abgeschwächt werden, lautet im Belohnungsfall wie folgt:

^N pre-post = K™ ^' Kost ¹ ^ ¹ pre ^{' n} post ) ( 2 )

^N p ^d re-post = K™ ^' ^ ¹ post ^~ Kost ) ¹ ^ ¹ pre ^{' n} post ) O )

Im Falle, dass kein Belohnungssignal vorliegt, werden alle synaptischen Verbindungen zwischen Paaren von aktiven Neuronen abgeschwächt, und es werden keine synaptischen Verbindungen verstärkt. Dies kann mathematisch wie folgt ausgedrückt werden:

Kre-post = Kre ^' Kost ^{' n} post ) ⁽ 5 ⁾

Im folgenden wird die Variable C ₁₃ als der Anteil der verstärkten Synapsen von einem spezifischen Pool i in einer Schicht zu einem spezifischen Pool j in einer anderen Schicht bezeichnet. Diese Größe wird nach jedem durchgeführten Expe- riment wie folgt aktualisiert:

C _i} (t+\) = C. (t) +(1-C,(t))N;q ₊ -C. (J)Nf ₁ q_ (6)

Hierbei bezeichnen i und j den prä- bzw. postsynaptischen Pool mit (i;y)oder (j;i) e ({Dl,D2,Nl,N2},{Cl,C2}); q ₊ und q_ sind die U- bergangswahrscheinlichkeiten für eine Verstärkung bzw. Abschwächung. (1 -C _y (0) und C _1J (t) sind Anteile von abgeschwächten bzw. verstärken synaptischen Verbindungen und t ist die Nummer des Experiments. Die Gleichung (6) gilt sowohl beim Vor- liegen als auch beim Nichtvorhandensein eines Belohnungssignals, jedoch können auch unterschiedliche Werte für q ₊ und q_

in den beiden Fäl len verwendet werden . In der hier beschriebenen Aus führungs form gi lt q ^r ™ ^ard = q ^r ™ ^ard = 0,01 und _g ^» ~ ^rf = 0,05 .

Das durchschnittliche modifizierte synaptische Gewicht zwi- sehen den Schichten Ll und L2 kann dann für jedes Paar von spezifischen Pools aus unterschiedlichen Schichten Ll und L2 wie folgt berechnet werden:

^W _ύ ^=W+C _ϋ + W(I-C^) (7)

Hierbei sind w ⁺ und w ^" die Werte, die der Verbindungsstärke zwischen zwei Pools entsprechen, wenn alle synaptischen Verbindungen verstärkt bzw. abgeschwächt wurden. Unterschiedliche Werte für Verbindungen von der Schicht Ll nach der Schicht L2 und von L2 nach Ll können ggf. verwendet werden.

Wie oben bereits dargelegt wurde, kann die breite Verteilung der Feuer-Raten zu unerwünschten Verschiebungen beim Lernen der synaptischen Pools führen. Sehr unerwünscht sind solche Effekte, bei denen Gewichte von nicht-diagnostischen Merkmalen, welche im Idealfall um ihren anfänglichen Wert fluktuieren sollten, ihre Aktivität erhöhen und den Lernprozess behindern. Mehrere Regulierungsmechanismen können prinzipiell zur Vermeidung dieses Effekts verwendet werden. In dem hier beschriebenen Verfahren wird eine Normalisierung verwendet, mit der die Summe aller synaptischen Gewichte zu einem postsynaptischen Neuron jeweils konstant gehalten wird.

Es wurde eine subtraktive Normalisierung der gesamten affe- renten synaptischen Konnektivität, berechnet über alle präsynaptischen, jedes vorgegebene postsynaptische Neuron erreichende Eingaben, verwendet. Es wird das durchschnittliche synaptische Gewicht für alle Verbindungen zwischen einem präsynaptischen Pool i und einem postsynaptischen Pool j wie folgt berechnet:

{t -\

Hierbei ist N die Anzahl der präsynaptischen Pools, die mit dem postsynaptischen Pool j verbunden sind. Neue Werte für die Variablen C ₁₃ werden basierend auf den neuen Werten für W ₁ -, nach der Normalisierung berechnet, damit die Gleichung (7) weiterhin gültig ist. Für die nächste Präsentation eines Stimulus während des Lernprozesses werden alle synaptischen Verbindungen zwischen zwei Pools aus unterschiedlichen Schichten Ll und L2 auf die berechneten durchschnittlichen Werte W ₁ -, gesetzt.

Im folgenden wird dargelegt, welche Parameterwerte für w ⁺ und w ^~ zur Verstärkung bzw. Abschwächung der synaptischen Verbin- düng in der hier beschriebenen Ausführungsform des erfindungsgemäßen Verfahrens verwendet wurden. Um die Stabilität des neuronalen Netzes sicherzustellen, wurden die Verbindungsgewichte zwischen den zwei Schichten Ll und L2 nicht zu klein gewählt, so dass ein Informationsaustausch zwischen den beiden Schichten möglich ist. Die Gewichte wurden jedoch auch nicht übermäßig groß gewählt, so dass das neuronale Netz sich nicht übermäßig verstärkt, wodurch die Neuronen ihre Selektivität verlieren würden. Ferner müssen auch biologische Beschränkungen zur Erreichung von realistischen neuronalen Ak- tivitäten für die modulierten Neuronen berücksichtigt werden.

Für synaptische Verbindungen, welche zwei Pools von der Schicht Ll hin zur Schicht L2 verbinden, wurden die Werte w ⁺ _ff = 0,8 und w ^~ _ff = 0 für den verstärkten bzw. abgeschwächten Zu- stand verwendet. Für synaptische Verbindungen von Pools der Schicht L2 hin zur Schicht Ll wurden als Stärken w ⁺ _fb = 0,4 und w ^~ _fb = 0 für die Verstärkung bzw. Abschwächung der synaptischen Verbindung verwendet. Die Verstärkung der Verbindungen von Ll nach L2 wurde im Durchschnitt doppelt so groß ge- wählt wie die der Verbindungen von L2 nach Ll . Dieses Verhältnis trägt der Hypothese Rechnung, dass nach oben gerich-

tete Verbindungen von Ll nach L2 die Aktivität in höheren cortikalen Bereichen antreibt, wohingegen nach unten gerichtete Verbindungen von L2 nach Ll eher modularer Natur sind. Die durchschnittliche synaptische Stärke zwischen zwei Pools zwischen den Schichten Ll und L2 wurde auf (w ⁺ + w ^~ ) /2 gesetzt. Dieser Wert wurde während des Lernverfahrens aufgrund der verwendeten subtraktiven Normalisierung konstant gehalten .

Das Lernverfahren wurde mit einem ausgewogenem anfänglichen Netzwerk gestartet, in dem alle Verbindungen zwischen den beiden Schichten Ll und L2 auf folgende durchschnittliche synaptische Stärke gesetzt wurden:

w _v = 0,4 und w _ß = 0,2 mit (i;j) e ({£>1,£>2,M,λT2},{C1,C2}) .

Im folgenden werden einige Ergebnisse der im vorangegangenen beschriebenen Ausführungsform des erfindungsgemäßen Lernverfahrens anhand der Figuren 4 und 5 dargestellt.

Fig. 4 zeigt die Simulationsergebnisse des erfindungsgemäßen Verfahrens für ein neuronales Netz mit spikenden Neuronen, wobei das Netz mit dem Verfahren in 50 Versuchen gelernt wurde und die Netzwerkaktivitäten über diese 50 Versuche gemit- telt wurden. In allen Diagrammen in Fig. 4 ist auf der Abszisse die Zeit in Millisekunden nach Präsentation eines Stimulus und auf der Ordinate die Aktivität in Hz aufgetragen. Die erste Spalte A der Fig. 4 zeigt die Aktivitäten des Netzes zu Beginn des Lernens, die zweite Spalte B der Fig. 4 zeigt die Aktivitäten des Netzes nach 200 Lernschritten und die dritte Spalte C zeigt die Aktivitäten des Netzes nach 1500 Lernschritten, wenn eine Konvergenz der synaptischen Parameter erreicht ist.

Die erste Zeile in Fig. 4 zeigt die durchschnittliche Spi- king-Rate für auf einen Stimulus reagierende Neuronen. Es wurde hierbei folgende Gruppierung vorgenommen:

die stärksten Antworten von allen spezifischen Neuronen der Ll-Schicht auf das diagnostische Merkmal aus 50 Versuchen wurden gemittelt (Linie BD der Fig. 4);

- die schwächsten Antworten von allen spezifischen Neuronen der Ll-Schicht auf das diagnostische Merkmal aus 50 Versuchen wurden gemittelt (Linie WD der Fig. 4);

die stärksten Antworten von allen spezifischen Neuronen der Ll-Schicht auf das nicht-diagnostische Merkmal aus 50 Versuchen wurden gemittelt (Linie BN der Fig. 4);

die schwächsten Antworten von allen spezifischen Neuronen der Ll-Schicht auf das nicht-diagnostische Merkmal aus 50 Versuchen wurden gemittelt (Linie WN der Fig. 4) .

Die Diagramme in der ersten Zeile der Fig. 4 entsprechen den Berechnungen, die auch in dem Experiment aus dem Dokument [2] durchgeführt wurden.

Die zweite und dritte Zeile der Fig. 4 zeigen die gemittelten Spiking-Raten der spezifischen Pools für diejenigen der 50 Versuche, bei denen als Stimulus die Merkmalsausprägungen Dl ( "tiefgestellte Augen"), und Nl ("lange Nase") präsentiert wurden. Die Kurve Dl ist hierbei die Spiking-Rate für den

Neuronenpool 102, die Kurve D2 ist die Spiking-Rate für den Neuronenpool 101, die Kurve Nl ist die Spiking-Rate für den Neuronenpool 103, die Kurve N2 ist die Spiking-Rate für den Neuronenpool 104, die Kurve Cl ist die Spiking-Rate für den Kategorie-Pool 201 und die Kurve C2 ist die Spiking-Rate für den Kategorie-Pool 202. Darüber hinaus ist in der dritten Zeile der Fig. 4 die Spiking-Rate INH für den hemmenden Pool 210 gezeigt.

Man erkennt aus allen Diagrammen der Fig. 4, dass sich während des Lernens des neuronalen Netzes eine Selektion hinsichtlich der Merkmalsausprägungen und Kategorien ausbildet, welche am Anfang des Lernens nicht vorhanden ist. Insbesonde-

re ist aus der untersten Zeile der Fig. 4 ersichtlich, dass sich eine starke Selektivität im Hinblick auf die Aktivität der Kategorie-Pools Cl und C2 ausbildet. Da die Kategorie Cl die richtige Lösung gemäß dem präsentierten Stimulus dar- stellt, ist die Aktivität dieses Neuronenpools sehr hoch, wohingegen die Aktivität der Kategorie C2 auf Null abfällt. Das Ergebnis der Fig. 4 entspricht den experimentellen Ergebnissen aus der Druckschrift [2], so dass mit dem gelernten neuronalen Netz sehr gut eine dynamische Informationsselektion zur Lösung einer Kategorisierungsaufgäbe vorgenommen werden kann .

Fig. 5 zeigt Diagramme, welche die Gewichte der synaptischen Verbindungen (Ordinate der Diagramme) in Abhängigkeit von der Anzahl an Lernschritten (Abszisse der Diagramme) für unterschiedliche Szenarien wiedergeben. Es werden hierbei die im vorangegangenen definierten Gewichte w _D i_ _C i, w _D i-c2/ w _D 2-ci/ w _D 2- c2, WNI-CI, w _N i-c2, w _N2 - _C i, w _N2 - _C 2 der vorwärtsgerichteten synapti ^¬ schen Verbindungen sowie die entsprechenden Gewichte der rückwärtsgerichteten synaptischen Verbindungen betrachtet. Es werden ferner zwei unterschiedliche anfänglich initialisierte neuronale Netze unterschieden. Die oberen drei Zeilen der Fig. 5 betreffen ein Anfangsnetz, welches zuvor auf das nicht-diagnostische Merkmal "Nasenlänge" als selektives Merk- mal zur Bestimmung der Kategorie eingestellt wurde. Demgegenüber wurde das Anfangsnetz der unteren drei Zeilen der Fig. 5 zuvor sowohl auf das diagnostische Merkmal "Augenstellung" als auch auf das nicht-diagnostische Merkmal "Nasenlänge" als selektive Merkmale zur Bestimmung der Kategorie eingestellt. Wie im vorangegangenen dargelegt wurde, wird das Lernen des Netzes jedoch derart durchgeführt, dass nur das Merkmal "Augenhöhe" ein relevantes Merkmal für die Lösung der Aufgabe ist. Man erkennt aus Fig. 5 deutlich, dass alle vorwärts- und rückwärtsgerichteten synaptischen Verbindungen, welche die korrekte Kategorisierung des diagnostischen Merkmals "Augenhöhe" darstellen, beim Lernen verstärkt werden, wohingegen die Verbindungen, welche die falche Kategorisierung betreffen, auf Null abfallen. Ferner wird ersichtlich, dass alle

Verbindungen von und zu nicht-diagnostischen Merkmalen ihre Selektivität verlieren und alle gegen den gleichen Wert laufen .

Zitierte Literatur:

[1] Szabo, M., Almeida, R., Deco, G. und Stetter, M. (2004): "Cooperation and Biased Competition Model can explain Atten- tional Filtering in the Prefrontal Cortex", Eur. J. Neuro- sci., Vol. 9, S. 1669-1677

[2] Sigala, N. und Logothetis, N. (2002) : "Visual Categori- zation shapes Feature Selectivity in the Primate Temporal Cortex", Nature 415: 318-320

[3] Brunei, N. und Wang, X. J. (2001) : "Effects of Neuro- modulation in a Cortical Network Model of Object Working Memory dominated by Recurrent Inhibition", Comput . Neurosci. 11: 63-85

[4] DE 10 2004 013924 B3

[5] Fusi, S., Annunziato, M., Badoni, D., Salamon, A. and Amit, D. (2000) . "Spikedriven Synaptic Plasticity: Theory, Simulation, VLSI-implementation" , Neural Comput. 12: 2227- 2258