Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DYNAMIC INFORMATION SELECTION USING A NEURONAL NETWORK, AND NEURONAL NETWORK FOR DYNAMIC INFORMATION SELECTION
Document Type and Number:
WIPO Patent Application WO/2006/005663
Kind Code:
A2
Abstract:
The invention relates to an input region of a neuronal network, to which input information is supplied. Furthermore, the input information in the input region of the neuronal network is represented as expressions of characteristics. The neuronal network comprises a category region in which categories can be stored. Said category region is recurrently connected to the input region. The neuronal network now classifies the expressions of the characteristics by identifying at least one category. The at least one identified category exerts, in turn, a selectively optimising influence on the representation of the expressions of the characteristics.

Inventors:
ALMEIDA RITA (PT)
DECO GUSTAVO (IT)
STETTER MARTIN (DE)
SZABO MIRUNA (DE)
Application Number:
EP2005/052802
Publication Date:
January 19, 2006
Filing Date:
June 16, 2005
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SIEMENS AG (DE)
ALMEIDA RITA (PT)
DECO GUSTAVO (IT)
STETTER MARTIN (DE)
SZABO MIRUNA (DE)
International Classes:
G06N3/04
Foreign References:
US6601052B12003-07-29
US5179596A1993-01-12
US6356884B12002-03-12
US6601049B12003-07-29
US5239594A1993-08-24
Other References:
BRADSKI G ET AL: "STORE WORKING MEMORY NETWORKS FOR STORAGE AND RECALL OF ARBITRARY TEMPORAL SEQUENCES" BIOLOGICAL CYBERNETICS, SPRINGER VERLAG, HEIDELBERG, DE, vol. 71, no. 6, January 1994 (1994-01), pages 469-480, XP000477378 ISSN: 0340-1200
SZABO MIRUNA ET AL: "COORPERATION AND BIASED COMPETITION MODEL CAN EXPLAIN ATTENTIANAL FILTERING IN THE PREFRONTAL CORTEX" EUROPEAN JOURNAL OF NEUROSCIENCE, OXFORD UNIVERSITY PRESS, GB, vol. 19, no. 6, April 2004 (2004-04), pages 1969-1977, XP008069137 ISSN: 0953-816X cited in the application
KOERNER E ET AL: "A Cortical-type Modular Neural Network for Hypothetical Reasoning - II. The role of cortico-cortical loop" NEURAL NETWORKS, ELSEVIER SCIENCE PUBLISHERS, BARKING, GB, vol. 10, no. 5, July 1997 (1997-07), pages 791-814, XP004097273 ISSN: 0893-6080
Attorney, Agent or Firm:
SIEMENS AKTIENGESELLSCHAFT (München, DE)
Download PDF:
Claims:
Patentansprüche
1. Verfahren zur dynamischen Informationsselektion mit einem neuronalen Netz (1) , - wobei einem Eingabebereich (6) des neuronalen Netzes (1) Eingabeinformationen zugeführt werden; - wobei Ausprägungen von Merkmalen der Eingabeinformationen in dem Eingabebereich (6) des neuronalen Netzes (1) reprä¬ sentiert werden; - wobei in dem neuronalen Netz (1) mehrere Kategorien gespei¬ chert sind; - wobei das neuronale Netz (1) die Ausprägungen der Merkmale klassifiziert, indem es mindestens eine Kategorie erkennt; - wobei mindestens eine erkannte Kategorie einen selektiv op- timierenden Einfluss auf die Repräsentation der Ausprägun¬ gen der Merkmale ausübt.
2. Verfahren nach Anspruch 1, bei dem die Repräsentation der Eingabeinformationen für eine zu lösende Aufgabe optimiert wird.
3. Verfahren nach einem der vorangegangenen Ansprüche, - bei dem das neuronale Netz (1) erregende gepulste Neuronen enthält, - bei dem die erregenden gepulsten Neuronen Kategoriepools (10) bilden, wobei jeder Kategorie mindestens ein Katego¬ riepool (10) zugeordnet ist.
4. Verfahren nach Anspruch 3, - bei dem die Kategoriepools (10) miteinander konkurrieren, - bei dem sich ein aktiver Kategoriepool (10) in der Konkur¬ renz durchsetzt.
5. Verfahren nach Anspruch 3,
- bei dem das neuronale Netz (1) hemmende gepulste Neuronen enthält, - bei dem die hemmenden gepulsten Neuronen mindestens einen hemmenden Pool (50) bilden, - bei dem der hemmende Pool (50) eine globale Hemmung auf die Kategoriepools (10) ausübt.
6. Verfahren nach Anspruch 3, - bei welchem erregende gepulste Neuronen Eingabepools (110, 120, ...) bilden, - bei dem die Eingabepools (110, 120, ...) Gruppen (21, 22, ...) bilden, welche jeweils ein Merkmal der Eingabeinforma¬ tionen repräsentieren, - bei dem die Aktivität der Eingabepools (110, 120, ...) ei¬ ner Gruppe (21, 22, ...) eine Ausprägung des betreffenden Merkmals repräsentiert, - bei dem mindestens ein Kategoriepool (10) mindestens einen Eingabepool (110, 120, ...) beeinflusst, - bei dem mindestens ein Eingabepool (110, 120, ...) mindes¬ tens einen Kategoriepool (10) beeinflusst.
7. Verfahren nach Anspruch 6, bei dem die Eingabepools (110, 120, ...) miteinander koope¬ rieren.
8. Verfahren nach Anspruch 1, bei dem das neuronale Netz (1) Verschaltungen enthält, welche durch Hebb'sches Lernen ausgebildet werden.
9. Neuronales Netz (1) zur dynamischen Informationsselektion, - mit einem Eingabebereich (6) , dem Eingabeinformationen zu- führbar sind und in dem eine Repräsentation der Eingabein¬ formationen speicherbar ist, - mit einem Kategoriebereich (5) , in dem Kategorien speicher¬ bar sind, wobei der Kategoriebereich (5) rekurrent mit dem Eingabebereich (6) verschaltet ist.
10. Neuronales Netz (1) nach Anspruch 9, - bei dem der Kategoriebereich (5) erregende gepulste Neuro¬ nen enthält, - bei dem der Kategoriebereich (5) mehrere Kategoriepools (10) enthält, welche jeweils aus erregenden gepulsten Neu- ronen bestehen, - bei dem die Kategoriepools (10) mit dem Eingabebereich (6) rekurrent verschaltet sind.
11. Neuronales Netz (1) nach Anspruch 9, - bei dem das neuronale Netz (1) hemmende, gepulste Neuronen enthält, - bei dem das neuronale Netz (1) einen hemmenden Pool (50) enthält, welcher aus den hemmenden gepulsten Neuronen be¬ steht, - bei dem der hemmende Pool (50) mit den Kategoriepools (10) verschaltet ist.
12. Neuronales Netz (1) nach Anspruch 9, - bei dem der Eingabebereich (6) Eingabepools (110, 120, ...) aufweist, welche aus erregenden gepulsten Neuronen beste¬ hen, - bei dem die Eingabepools (110, 120, ...) durch Zufuhr von Eingabeinformationen mit bestimmten Merkmalen aktivierbar sind, - bei dem durch Gruppen (21, 22, ...) von Eingabepools (110, 120, ...) jeweils ein Merkmal einer Eingabeinformation rep¬ räsentierbar ist, - bei dem durch die Aktivität der Eingabepools (110, 120, ...) einer Gruppe (21, 22, ...) eine Ausprägung des betref- fenden Merkmals repräsentierbar ist, - bei dem die Kategoriepools (10) mit den Eingabepools (110, 120, ...) rekurrent verschaltet sind.
13. Neuronales Netz (1) nach Anspruch 12, bei dem die Eingabepools (110, 120, ...) so miteinander ver¬ schaltet sind, dass eine Kooperation zwischen ihnen möglich ist. 14. Neuronales Netz (1) nach Anspruch 10, bei dem die Kategoriepools (10) so miteinander verschaltet sind, dass sie miteinander in Konkurrenz treten können.
15. Neuronales Netz (1) nach Anspruch 9, bei dem der Eingabebereich (6) einen hemmenden Pool (60) auf¬ weist, welcher mit den Eingabepools (110, 120, ....) verschal¬ tet ist.
16. Neuronales Netz (1) nach Anspruch 9, bei dem der Eingabebereich (6) einen nicht-spezifischen Pool (80) aufweist, welcher mit anderen Pools des Eingabebereichs (6) verschaltet ist.
17. Neuronales Netz (1) nach Anspruch 9, bei dem ein erstes Modul den Kategoriebereich (5) und ein zweites Modul den Eingabebereich (6) aufweist.
Description:
Beschreibung

Verfahren zur dynamischen Informationsselektion mit einem neuronalen Netz und neuronales Netz zur dynamischen Informa- tionsselektion

Die Erfindung betrifft die dynamische Selektion von Informa¬ tionen. Systeme der Datenverarbeitung, insbesondere intelli¬ gente Agenten oder Systeme zur Auswertung von Daten, erhalten Eingabeinformationen. Hierzu muss das System die Eingabein¬ formationen nach bestimmten Kriterien aufbereiten und ausge¬ ben oder aus den Eingabeinformationen eine Handlung ableiten und ausführen. Der Aufbereitung der Eingabeinformationen im Hinblick auf eine zu lösende Aufgabe kommt hierbei besondere Bedeutung zu. So existieren zahlreiche Klassifikationsverfah¬ ren, um Eingabeinformationen bestimmten Klassen zuzuordnen. Ziel ist es hierbei, eine für die zu lösende Aufgabe mög¬ lichst optimale Repräsentation der Eingabeinformationen zu gewinnen.

Zur Aufbereitung der Eingabeinformationen sind zahlreiche ma¬ thematische Klassifikationsverfahren bekannt. Hierbei werden aus den Eingabeinformationen zunächst Merkmale extrahiert, welche jeweils in einer bestimmten Ausprägung vorkommen kön- nen. Als Merkmal wird eine bestimmte Eigenschaft der Eingabe¬ informationen verstanden. Unter Ausprägung wird verstanden, ob, in welchem Umfang oder auf welche Art ein bestimmtes Merkmal in den Eingabeinformationen gegeben ist. Die Ausprä¬ gung kann hierbei lediglich das Vorhandensein oder das Nicht- Vorhandensein eines Merkmals angeben, die Ausprägung kann a- ber auch beliebige Zwischenstufen beschreiben. Im Bereich der Sprachverarbeitung könnte ein Merkmal beispielsweise angeben, ob bei der Digitalisierung eines akustischen Sprachsignals Informationen abgeschnitten wurden (Clipping) oder nicht. Im Bereich der Bildverarbeitung könnte ein Merkmal eine Grau¬ wertverteilung von Pixeln eines Bildes angeben. Die Ausprä¬ gung kann hierbei z. B. für jede von 256 Graustufen angeben, wie häufig sie vorkommt. Weitere Merkmale könnten die Laut¬ stärke eines Sprachsignals, die Volatilität eines Aktienkur¬ ses, die Geschwindigkeit eines Fahrzeugs, die Unebenheit ei¬ ner Oberfläche, sowie die Strukturen eines Röntgenbildes sein. Die angegebenen Beispiele zeigen, dass die Extraktion von Merkmalen in unterschiedlichsten Bereichen der Datenver¬ arbeitung zum Einsatz kommt.

Im Rahmen der bekannten mathematischen Verfahren wird nach Extraktion unterschiedlicher Merkmale der Eingabeinformatio¬ nen eine Klassifikation der extrahierten Merkmale vorgenom¬ men. Werden als Merkmale Kanten in einem Bild extrahiert, so kann in einem zweiten Schritt klassifiziert werden, ob die Kanten beispielsweise zu der Abbildung eines Gesichts oder eines Gebäudes gehören. Nachteilig wirkt sich hierbei aus, dass die meisten Verfahren nicht selbst entscheiden können, welche Merkmale für die spätere Klassifikation wichtig und welche unwichtig sind. Eine solche Unterscheidung von Merkma¬ len im Hinblick auf eine zu lösende Aufgabe muss dann von Hand erfolgen und dem System in irgendeiner Form vorgegeben werden. Bekannt sind schließlich auch Verfahren, die Merkmale gezielt auswählen können. Die Extraktion der Merkmale bzw. ihre Ausprägung bleibt hiervon jedoch unberührt.

Aus der Schrift [1] ist ein neuronales Netz bekannt, welches eine selektive Repräsentation der Ausprägung von Merkmalen von Eingabeinformationen in Abhängigkeit eines Aufmerksam¬ keitsfilters erlaubt. Ein Merkmal ist hierbei der Ort eines Objektes, welcher in den Ausprägungen links und rechts vor- kommt; ein anderes Merkmal ist die Art des Objektes, welche in den Ausprägungen "Zielobjekt" und "anderes Objekt" vor¬ kommt. Die Repräsentation der Ausprägungen dieser Merkmale wird durch einen Aufmerksamkeitsfilter selektiv beeinflusst.

Durch die Repräsentation der Ausprägungen der Merkmale wird es möglich, bestimmte Merkmale bzw. ihre Ausprägung zu ver¬ stärken, zu filtern, auszublenden, zu differenzieren, zu be- tonen, zu gewichten und zu bewerten. Dies erfolgt, indem die einzelnen Ausprägungen der Merkmale in der Repräsentation ge¬ wichtet werden. Wenn zum Beispiel ein Merkmal "Grauwert" nur in den Ausprägungen "Schwarz" und "Weiß" vorkommt, so kann eine tief-schwarze Eingabeinformation dadurch repräsentiert werden, dass der Ausprägung "Schwarz" ein besonders hohes Ge¬ wicht im Vergleich zu anderen Merkmalen verliehen wird. In der Schrift [1] wird ein solches großes Gewicht einer Ausprä¬ gung durch einen Pool von Neuronen mit hoher Aktivität reprä- sentiert.

Nachteilig wirkt sich jedoch auch hier wieder aus, dass der Aufmerksamkeitsfilter, d. h. die Information über die Bedeu¬ tung der einzelnen Merkmale, von Hand von außen zugeführt werden muss. Eine dynamische Repräsentation der Ausprägungen der Merkmale bei automatischer Erkennung und Berücksichtigung ihrer Bedeutung ist also auch hier nicht möglich.

Es stellt sich somit die Aufgabe, ein Verfahren bzw. ein Sys- tem zur dynamischen Informationsselektion anzugeben, bei wel¬ chem Ausprägungen von Merkmalen von Eingabeinformationen mit automatischer Erkennung und Berücksichtigung ihrer Bedeutung dynamisch repräsentiert werden.

Diese Aufgabe wird durch den unabhängigen Verfahrensanspruch 1 sowie das neuronale Netz nach dem unabhängigen Patentan¬ spruch 9 gelöst. Bevorzugte Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.

Das Verfahren zur dynamischen Informationsselektion mit einem neuronalen Netz sieht einen Eingabebereich des neuronalen Netzes vor, dem Eingabeinformationen zugeführt werden. Wei¬ terhin werden die Ausprägungen von Merkmalen der Eingabein¬ formationen in dem Eingabebereich des neuronalen Netzes rep- räsentiert. Außerdem sind in dem neuronalen Netz mehrere Ka¬ tegorien gespeichert. Das neuronale Netz klassifiziert nun die Ausprägungen der Merkmale, indem es mindestens eine Kate- gorie erkennt. Die mindestens eine erkannte Kategorie übt ih¬ rerseits einen selektiv optimierenden Einfluss auf die Reprä¬ sentation der Ausprägungen der Merkmale aus.

Vorzugsweise wird das erfindungsgemäße Verfahren eingesetzt, um die Repräsentation der Eingabeinformationen für eine zu lösende Aufgabe zu optimieren.

Gemäß einer Ausführungsform der Erfindung enthält das neuro- nale Netz erregende gepulste Neuronen. Diese bilden Katego¬ riepools, wobei jeder Kategorie mindestens ein Kategoriepool zugeordnet ist.

Gemäß einer Weiterbildung der Erfindung konkurrieren die Ka- tegoriepools miteinander. Hierbei kann sich ein aktiver Kate¬ goriepool in der Konkurrenz durchsetzen.

In einer Weiterbildung der Erfindung enthält das neuronale Netz hemmende gepulste Neuronen. Die hemmenden gepulsten Neu- ronen bilden mindestens einen hemmenden Pool. Der hemmende Pool wiederum übt eine globale Hemmung auf die Kategoriepools aus.

In einer besonderen Ausführungsform der Erfindung bilden er- regende gepulste Neuronen Eingabepools. Die Eingabepools wie¬ derum bilden Gruppen, welche jeweils ein Merkmal der Eingabe¬ informationen repräsentieren. Hierbei repräsentiert die Akti¬ vität der Eingabepools einer Gruppe eine Ausprägung des betreffenden Merkmals. Weiterhin beeinflusst mindestens ein Kategoriepool mindestens einen Eingabepool. Umgekehrt beein¬ flusst mindestens ein Eingabepool mindestens einen Kategorie¬ pool.

In einer Weiterbildung der Erfindung kooperieren die Eingabe- pools miteinander. Gemäß einer Ausführungsform enthält das neuronale Netz Ver¬ schaltungen, welche durch Hebb'sches Lernen ausgebildet wer¬ den.

Das neuronale Netz zur dynamischen Informationsselektion weist einen Eingabebereich auf, dem Eingabeinformationen zu¬ führbar sind. Weiterhin ist in dem Eingabebereich eine Reprä¬ sentation der Eingabeinformationen speicherbar. Zusätzlich weist das neuronale Netz einen Kategoriebereich auf, in dem Kategorien speicherbar sind. Der Kategoriebereich ist hierbei rekurrent mit dem Eingabebereich verschaltet.

In einer Weiterbildung der Erfindung enthält der Kategoriebe¬ reich erregende gepulste Neuronen. Außerdem weist der Katego- riebereich mehrere Kategoriepools auf, welche jeweils aus er¬ regenden gepulsten Neuronen bestehen. Die Kategoriepools sind mit dem Eingabebereich rekurrent verschaltet.

In einer besonderen Ausführungsform enthält das neuronale Netz hemmende gepulste Neuronen. Weiterhin enthält das neuro¬ nale Netz einen hemmenden Pool, welcher aus den hemmenden ge¬ pulsten Neuronen besteht. Der hemmende Pool ist hierbei mit den Kategoriepools verschaltet.

In einer besonderen Weiterbildung der Erfindung weist der Eingabebereich Eingabepools auf, welche aus erregenden ge¬ pulsten Neuronen bestehen. Die Eingabepools sind durch Zufuhr von Eingabeinformationen mit bestimmten Merkmalen aktivier¬ bar. Weiterhin ist durch Gruppen von Eingabepools jeweils ein Merkmal einer Eingabeinformation repräsentierbar. Insbesonde¬ re ist durch die Aktivität der Eingabepools einer Gruppe eine Ausprägung des betreffenden Merkmals repräsentierbar. Weiter¬ hin sind die Kategoriepools mit den Eingabepools rekurrent verschaltet. In einer Weiterbildung der Erfindung sind die Eingabepools so miteinander verschaltet, dass eine Kooperation zwischen ihnen möglich ist.

In einer anderen Weiterbildung sind die Kategoriepools so miteinander verschaltet, dass sie miteinander in Konkurrenz treten können.

In einer besonderen Ausführungsform weist der Eingabebereich einen hemmenden Pool auf, welcher mit den Eingabepools ver¬ schaltet ist.

In einer anderen Ausführungsform weist der Eingabebereich ei¬ nen nicht-spezifischen Pool auf, welcher mit anderen Pools des Eingabebereichs verschaltet ist.

Gemäß einer weiteren Ausführungsform weist ein erstes Modul den Kategoriebereich und ein zweites Modul den Eingabebereich auf.

Anschaulich gesehen kann die Erfindung darin gesehen werden, dass die Repräsentation der Ausprägung der Merkmale der Ein¬ gabeinformationen dynamisch erfolgt. Dynamisch bedeutet hier¬ bei, dass die Repräsentation der Ausprägung der Merkmale in eine Wechselwirkung eintritt. Der Partner der Wechselwirkung ist die Kategorisierung bzw. Klassifikation der Eingabeinfor¬ mationen. Kategorisierung bzw. Klassifikation bedeutet hier¬ bei, dass je nach Ausprägung der Merkmale der Eingabeinforma¬ tionen eine Kategorie bzw. Klasse erkannt wird, welche die Eingabeinformationen am besten beschreibt. Die dynamische Wechselwirkung zwischen Klassifikation und Merkmalsrepräsen¬ tation wirkt jedoch auch auf die Ausprägung der Merkmale zu¬ rück. Dies bedeutet, dass die erkannte Kategorie bzw. Klasse einen selektiv verstärkenden bzw. differenzierenden Einfluss auf die Repräsentation der Ausprägungen der Merkmale ausübt, welche für diese Kategorie bzw. Klasse charakteristisch sind. Anschaulich gesehen kann davon gesprochen werden, dass das neuronale Netz eine Hypothese bildet, wie die Eingabeinforma¬ tionen zu interpretieren sind, indem es eine passende Katego¬ rie bzw. Klasse erkennt, also wählt bzw. aktiviert. Anschlie- ßend werden die Eingabeinformationen im Licht der aktuellen Hypothese (Kategorie / Klasse) neu interpretiert, wobei den für die Hypothese charakteristischen Eigenschaften besonderes Augenmerk geschenkt wird. Die aktuelle Hypothese (Kategorie / Klasse) gibt hierbei an, welche Merkmale von besonderer Be- deutung, d. h. charakteristisch für die aktuelle Kategorie / Klasse sind. Konkret wird dadurch die Ausprägung der betref¬ fenden Merkmale angepasst, z.B. durch Differenzierung oder Verstärkung im Vergleich zu der Ausprägung uncharakteristi¬ scher Merkmale. Dadurch findet eine dynamische Informations- Selektion statt. Die Repräsentation der Merkmale der Eingabe¬ informationen erfolgt unter Erkennung und Berücksichtigung ihrer Bedeutung.

Die Erfindung stellt ein völlig neuartiges Verfahren zur Op- timierung der Auswertung von Eingabeinformationen bereit. Sie erlaubt eine automatische Hypothesenbildung über den Eingabe¬ informationen, welche in einer Wechselwirkung die selektive Anpassung der Auflösung bestimmter Merkmale erlaubt. Die Hypothese, also die aktuelle Kategorie / Klasse, kann jeder- zeit geändert werden, wenn entsprechende Eingabeinformationen vorliegen.

Im Folgenden wird die Erfindung anhand von Ausführungsbei- spielen näher erläutert, die in den Figuren schematisch dar- gestellt sind. Im Einzelnen zeigt:

Figur 1 den Aufbau eines Pools; Figur 2 eine Ausführungsform des neuronalen Netzes.

Figur 1 zeigt den Aufbau eines Pools 100. Der Pool beinhaltet eine Anzahl künstlicher Neuronen 101. Künstliche Neuronen 101 modellieren teilweise oder vollständig jeweils einen bestimm- ten Typ eines aus der Biologie bekannten Neurons. Die Model¬ lierung kann durch eine elektronische Schaltung oder ein ma¬ thematisches Modell erfolgen, welches durch eine Datenverar¬ beitungsanlage berechnet wird.

Die künstlichen Neuronen 101 sind über Verbindungen 102 mit¬ einander vernetzt. Die Verbindungen 102 entsprechen den Sy¬ napsen biologischer Neurone. Die Stärke der Verbindungen 102 wird durch ein Gewicht w beschrieben. Neuronen 101, welche stark koaktiviert sein sollen, d.h. deren Aktivität stark korrelieren soll, werden über Verbindungen 102 verknüpft, welche ein größeres Gewicht w haben als Verbindungen 102 zwi¬ schen Neuronen 101, deren Aktivität nicht korrelieren soll. Da die Aktivität aller Neuronen 101 in dem Pool 100 miteinan- der korrelieren soll, erhalten ihre Verbindungen 102 ein ü- berdurchschnittliches Gewicht w. Dies bedeutet anschaulich, dass die Neuronen 101 in dem Pool 100 ein Team bilden, also zusammenarbeiten.

Ein überdurchschnittliches Gewicht w einer Verbindung 102 ist größer als das durchschnittliche Gewicht anderer Verbindungen 102. Ein unterdurchschnittliches Gewicht w ist kleiner als das durchschnittliche Gewicht anderer Verbindungen 102. Das durchschnittliche Gewicht der Verbindungen 102 in einem neu- ronalen Netz kann je nach Lage, Art und Funktion der betei¬ ligten Neuronen unterschiedliche Werte annehmen.

Die Neuronen 101 des Pools 100 teilen jedoch nicht nur das überdurchschnittliche Gewicht w ihrer Verbindungen 102, son- dern erhalten in der Regel auch die gleichen Eingaben von au¬ ßen. Dies bedeutet, dass die Gewichte der Verbindungen 102 der Neuronen 101 zu einem bestimmten Neuron außerhalb des Pools 100 immer gleich stark ausfallen.

Der beschriebene Pool 100, die Neuronen 101 sowie die be¬ schriebenen Verbindungen 102 innerhalb des Pools 100 stellen einen Idealfall dar. In der Praxis können die Gewichtungen der Verbindungen 102 auch anders ausfallen. Gleiches gilt für die Verbindungen nach außen. Insbesondere kann auch eine Vollvernetzung vorliegen, d. h., dass jedes Neuron 101 mit jedem anderen Neuron 101 desselben Pools 100 oder eines ande- ren Pools verbunden ist.

Figur 2 zeigt ein neuronales Netz 1. Das neuronale Netz 1 stellt eine spezielle Ausführungsform dar. Weiterbildungen der in Figur 2 gezeigten Ausführungsform durch Hinzunahme o- der Fortlassung von Elementen sind wünschenswert und werden an gegebener Stelle jeweils angesprochen und erläutert.

Figur 2 zeigt ein neuronales Netz 1 mit einer Anzahl von Pools. Das neuronale Netz 1 ist gegliedert in einen Eingabe- bereich 6 sowie einen Kategoriebereich 5. Dem Eingabebereich 6 werden Eingabeinformationen zugeführt. Hierbei kann davon ausgegangen werden, dass innerhalb des neuronalen Netzes 1 oder außerhalb bereits eine Vorverarbeitung der Eingabeinfor¬ mationen stattfindet, so dass Eingabepools 110, 120 des Ein- gabebereichs 6 gezielt aktiviert werden können, wenn jeweils eine bestimmte Ausprägung eines bestimmten Merkmals einer zu¬ geführten Eingabeinformation 2 vorliegt. Ein Eingabepool 111 wird z. B. aktiviert, wenn ein erstes Merkmal der Eingabein¬ formation 2 in einer ersten Ausprägung vorliegt. Ein Eingabe- pool 112 könnte aktiviert werden, wenn das erste Merkmal der Eingabeinformation 2 in einer zweiten Ausprägung vorkommen würde. Dies ist in Figur 2 für die Eingabeinformation 2 nicht der Fall.

Analog dazu wird ein Eingabepool 121 aktiviert, da ein zwei¬ tes Merkmal der Eingabeinformation 2 in einer ersten Ausprä¬ gung vorliegt. Ein Eingabepool 122 würde aktiviert werden, wenn das zweite Merkmal der Eingabeinformation 2 in einer zweiten Ausprägung vorkommen würde. Es könnten auch sowohl der Eingabepool 121 als auch der Eingabepool 122 aktiviert werden, wenn das zweite Merkmal der Eingabeinformation 2 z.B. in einer dritten Ausprägung vorkommen würde. Weiterhin ist es auch möglich, dass es nur einen einzigen Eingabepool 120 gibt, z. B. den Eingabepool 121, welcher umso stärker akti¬ viert wird, je stärker das zweite Merkmal der Eingabeinforma¬ tion 2 ausgeprägt ist. Gleiches gilt analog für alle anderen Eingabepools.

Im Gegensatz zu Figur 2 kann das neuronale Netz 1 auch weite¬ re Eingabepools 110 enthalten, z. B. einen Eingabepool 113, einen Eingabepool 114 usw. Gleiches gilt für die Eingabepools 120. Die weiteren Eingabepools 110, 120 können dann weitere Ausprägungen des jeweiligen Merkmals darstellen, z. B. weite¬ re Abstufungen. Eine Gruppe 21 von Eingabepools 110 kann hierbei die Ausprägung eines ersten Merkmals repräsentieren. Eine Gruppe 22 umfasst dagegen die Eingabepools 120, welche ebenfalls weitere Eingabepools 123, 124 usw. enthalten kann. Die Eingabepools 120 der Gruppe 22 sind einem zweiten Merkmal zugeordnet. In gleicher Weise kann der Eingabebereich 6 eine weitere Gruppe 23 enthalten, welche Eingabepools 130 enthält, im Einzelnen Eingabepools 131, 132, ... Diese Gruppe 23 bzw. die Eingabepools 130 stellen dann die Ausprägung eines drit¬ ten Merkmals der Eingabeinformationen dar. Weiterhin kann das neuronale Netz weitere Eingabepools 140, 150, ... bzw. Gruppen 24, 25, ... enthalten, welche dann weiteren Merkmalen der Eingabeinformation zugeordnet sind.

Allgemein gesprochen kann jeweils ein Eingabepool 110, 120, ... eine bestimmte Ausprägungsvariante repräsentieren, es können aber auch unterschiedliche Eingabepools 110, 120, ... in unterschiedlichem oder gleichem Maß zur Repräsentation ei- ner Ausprägung aktiviert werden. Insbesondere ist die Akti¬ vierung der Eingabepools 110, 120, ..., welche jeweils einem Merkmal zugeordnet sind, als die aktuelle Repräsentation der Ausprägung des Merkmals zu verstehen. Weiterhin kann ein Merkmal auch nur durch einen einzigen Eingabepool 110, 120, ... repräsentiert werden. Wenn ein bestimmtes Merkmal in einer bestimmten Ausprägung vorliegt, werden die entsprechenden Eingabepools, z. B. der Eingabepool 111 in Figur 2, aktiviert. Dies kann so erfolgen, dass die Neuronen 101 des jeweiligen Eingabepools über ihre Eingänge von außen gemeinsam aktiviert werden.

Gemäß einer Ausführungsform der Erfindung sind die Gewichte der Verbindungen zwischen den Neuronen unterschiedlicher Ein¬ gabepools 110, 120 etc. durchschnittlich oder überdurch- schnittlich stark ausgeprägt. Dies bedeutet, dass sich die Eingabepools 110, 120, ... gegenseitig nach dem Prinzip der Kooperation unterstützen können. Geeignete Gewichte für die Verbindungen zwischen unterschiedlichen Eingabepools 110, 120, ... sind im Experiment ermittelbar. Ein analoges Vorge- hen in einem anderen Anwendungsfall ist der Schrift [1] zu entnehmen.

Gemäß einer Ausführungsform der Erfindung können sich die Eingabepools 110, 120, ... wie in Figur 2 mit Pfeilen gezeigt, gegenseitig durch Verbindungen mit durchschnittlichen oder überdurchschnittlichem Gewicht unterstützen. Die Unterstüt¬ zung bzw. Kooperation kann innerhalb der Gruppen 21, 22,... erfolgen, aber auch über die Gruppen hinweg.

Anders als in Figur 2 ist es auch möglich, dass sich einzelne Eingabepools 110, 120, ... oder Gruppen 21, 22, ... nicht ge¬ genseitig unterstützen, was bedeutet, dass die Gewichte ihrer Verbindungen unterdurchschnittlich sind. Weiterhin ist es auch möglich, dass die Eingabepools 110, 120, ... bzw. die Gruppen 21, 22, ... miteinander in Konkurrenz treten, d. h. dass die Gewichte der Verbindungen ebenfalls unterdurch¬ schnittlich stark ausgeführt sind. In dem in Figur 2 gezeig¬ ten Ausführungsbeispiel wird jedoch davon ausgegangen, dass alle Eingabepools 110, 120, ... miteinander kooperieren, d. h., dass ihre Neuronen teilweise oder vollständig mit durch¬ schnittlichem oder überdurchschnittlichem Gewicht verbunden sind. Der Eingabereich 6 weist weiterhin einen nicht-spezifischen Pool 80 auf. Der nicht-spezifische Pool 80 ist unabhängig von den Eingabeinformationen. Er ist mit den Eingabepools 110, 120, ... über Verbindungen verknüpft, deren Gewicht so ge¬ wählt wird, dass der nicht-spezifische Pool 80 die Aktivität der Neuronen im Eingabebereich 6 ausbalancieren kann. Optima¬ le Werte wie die Gewichte sind wiederum im Experiment ermit¬ telbar.

Weiterhin weist der Eingabebereich 6 einen hemmenden Pool 60 auf, welcher aus hemmenden Neuronen gebildet wird. Alle ande¬ ren Pools des Eingabebereichs 6 werden dagegen durch erregen¬ de Neuronen, vorzugsweise erregende gepulste Neuronen gebil- det. Der hemmende Pool 60 übt eine globale Hemmung auf die Eingabepools 110, 120, ... sowie den nicht-spezifischen Pool 80 aus.

Der Kategoriebereich 5 enthält eine Anzahl von Kategoriepools 10. In Figur 2 sind ein Kategoriepool 11 und ein Kategorie¬ pool 12 gezeigt. Es sind jedoch beliebig viele Kategoriepools 13, 14 etc. möglich. Diese werden analog zu den gezeigten Ka¬ tegoriepools 11 und 12 in das neuronale Netz 1 eingebunden. Die Kategoriepools 10 stehen miteinander in Konkurrenz. Dies bedeutet, dass die Gewichte der Verbindungen zwischen den Neuronen unterschiedlicher Kategoriepools 10 unterdurch¬ schnittlich hoch gewählt werden. Da sich die Kategoriepools 10 somit nicht gegenseitig unterstützen, kann eine globale Hemmung, welche in diesem Fall durch einen hemmenden Pool 50 ausgeübt wird, die Konkurrenz zwischen den Kategoriepools 10 implementieren. Die Kategoriepools 10 sowie ein nicht¬ spezifischer Pool 70 können wiederum aus erregenden gepulsten Neuronen gebildet werden, wogegen der hemmende Pool 50 aus hemmenden gepulsten Neuronen gebildet werden kann.

Bei der in Figur 2 gezeigten Ausführungsform kann jedes erre¬ gende Neuron mit jedem anderen erregenden Neuron vernetzt sein - auch über den Eingabebereich 6 und den Kategoriebe¬ reich 5 hinweg. Gemäß dieser Ausführungsform sind die hemmen¬ den Neuronen des hemmenden Pools 50 nur mit den erregenden Neuronen des Kategoriebereichs 5 sowie mit sich selbst ver- netzt. Weiterhin sind die hemmenden Neuronen des hemmenden Pools 60 nur mit den erregenden Neuronen des Eingabebereichs 6 sowie mit sich selbst vernetzt.

Es ist auch denkbar, die nicht-spezifischen Pools 70 und 80 bzw. die hemmenden Pools 50 und 60 jeweils zusammenzufassen oder weitere nicht-spezifische Pools oder hemmende Pools hin¬ zuzufügen. Weiterhin können der Eingabebereich 6 und der Ka¬ tegoriebereich 5 zusammengefasst werden, es können jedoch auch weitere Bereiche mit anderen oder den gleichen Funktio- nalitäten hinzugefügt und frei mit den vorhanden Pools ver¬ netzt werden. Auf diese Weise ließen sich zum Beispiel Ge¬ dächtnisfunktionalitäten, Kontextwissen und Entscheidungspro¬ zesse in das neuronale Netz 1 einbinden. Z.B. könnte die Klassifikation der Eingabeinformationen aus der Kategorie- schicht 5 ausgelesen werden und als Grundlage für weitere Verarbeitungsschritte dienen. Ebenso könnte die Aktivität einzelner oder aller Eingabepools 110, 120, ... ausgelesen werden und als Grundlage für weitere Verarbeitungsschritte herangezogen werden.

Ein wesentlicher Aspekt der Erfindung liegt nun im Wechsel¬ spiel zwischen dem Kategoriebereich 5 und dem Eingabebereich 6. Von besonderer Bedeutung sind hierbei die Gewichte W0;, Wj_ und wo der Verbindungen zwischen den Neuronen der Kategorie- pools 10 und den Neuronen der Eingabepools 110, 120,... Der jeweils aktive Kategoriepool 10 repräsentiert eine Kategorie, welche das neuronale Netz 1 einer zugeführten Eingabeinforma¬ tion 2 zuordnet. Die Zuordnung stellt eine Klassifikation der Eingabeinformationen dar. Anschaulich erkennt das neuronale Netz 1 in den Ausprägungen der Merkmale eine Kategorie. Hier¬ bei kann davon ausgegangen werden, dass bestimmte Merkmale der zugeführten Eingabeinformation 2 für die Wahl der richti- gen Kategorie von Bedeutung sind, und andere dagegen nicht. In Figur 2 ist der Fall gezeigt, dass die Eingabepools 110 in der Gruppe 21 für die Wahl der richtigen Kategorie von Bedeu¬ tung sind. Darum existiert eine überdurchschnittlich gewich- tete Verbindung zwischen den Eingabepools 110 und den Katego¬ riepools 10. Das Gewicht dieser überdurchschnittlich starken Verbindung ist mit W^ bezeichnet.

Figur 2 zeigt den Fall, dass die zugeführte Eingabeinformati- on 2 ein erstes Merkmal in einer ersten Ausprägung enthält, wodurch der Eingabepool 111 aktiviert wird. Da dieser den Ka¬ tegoriepool 11 mit einer überdurchschnittlich starken Verbin¬ dung (mit Gewicht w^) unterstützt, gewinnt der Kategoriepool

11 in der Konkurrenz gegenüber dem Kategoriepool 12. Der Ka- tegoriepool 11 unterstützt nun über eine rekurrente Verbin¬ dung mit überdurchschnittlichem Gewicht W1^ seinerseits den

Eingabepool 111, wodurch dessen Aktivität zusätzlich steigt. Weiterhin bremst der Kategoriepool 11 über eine Verbindung mit einem unterdurchschnittlichen Gewicht WJ_ den Eingabepool

112, welcher - sofern aktiviert - eine zweite Ausprägung des ersten Merkmals repräsentieren würde. Die Bremsung beruht auf fehlender Unterstützung. Da der Eingabepool 112 im Vergleich zu anderen Eingabepools 110, 120, ... weniger durch den Kate¬ goriepool 11 unterstützt wird, fällt seine Aktivität aufgrund der globalen Hemmung durch den hemmenden Pool 60 ab. Der ak¬ tive Kategoriepool 11 hat somit selektiv das Trennvermögen der Eingabepools 110 verstärkt.

Da die Eingabepools 120 Ausprägung eines zweiten Merkmals repräsentieren, welches für die Wahl der richtigen Kategorie hier nicht von Bedeutung ist, sind sie mit den Kategoriepools 10 nur über Verbindungen mit durchschnittlichem Gewicht wo

verbunden. Anschaulich bedeutet dies, dass zwischen den Kate¬ goriepools 10 und den Eingabepools 120 keine Wechselwirkung stattfindet. Somit werden nur die relevanten Eingabepools 110 selektiv beeinflusst. Bei einer anderen zugeführten Eingabeinformation könnte der Eingabepool 112 aktiviert werden, wenn eine zweite Ausprägung des ersten Merkmals vorliegt. In diesem Fall würde der Einga¬ bepool 112 über eine überdurchschnittlich starke Verbindung mit dem Gewicht w,^ den Kategoriepool 12 unterstützen, wodurch dieser in der Konkurrenz gegenüber dem Kategoriepool 11 ge¬ winnen kann. In diesem Fall würde der Kategoriepool 12 sei¬ nerseits über eine rekurrente, überdurchschnittlich starke Verbindung mit dem Gewicht w^ den Eingabepool 112 unterstüt- zen und den Eingabepool 111 über eine Verbindung mit unter¬ durchschnittlichem Gewicht W^ bremsen. Auf diese Weise würde erneut eine selektive Steigerung des Trennvermögens der Ein¬ gabepools 110 erreicht.

In analoger Weise könnten die Kategoriepools 11 und 12 auch mit weiteren Eingabepools 130, 140 etc. verschaltet sein, entweder über durchschnittliche Verbindungen mit einem Ge¬ wicht wo oder mit Gewichen wie gegenüber den Eingabepools 110 (W^ und W^) . Weiterhin kann die Kategorieschicht 5 weitere Kategoriepools 10, z. B. einen Kategoriepool 13 enthalten, welcher in analoger Weise mit den Eingabepools 110, 120, ... verschaltet sein kann, wobei die Gruppierungen 21, 22, ... auch jeweils weitere Eingabepools enthalten können. Auf diese Weise ist das neuronale Netz 1 für beliebig viele Kategorien, Merkmale und Ausprägungen erweiterbar.

Optimale Werte für W(J, w-j_, sowie wo sind im Experiment ermit¬ telbar. Ein analoges Vorgehen zur Ermittlung der Werte in ei¬ nem anderen Anwendungsfall ist der Schrift [1] zu entnehmen. Bei der in Figur 2 gezeigten Ausführungsform kann W0^ bei 0,2, wo bei 0,1 und Wj bei Null liegen. Diese Werte stellen jedoch nur ein Beispiel dar.

Die in Figur 2 gezeigte Gewichtung der Verbindungen zwischen dem Kategoriebereich 5 und dem Eingabebereich 6 mit Gewichten W(j, Wi und wo stellt lediglich ein Beispiel dar. Das Gewicht wo stellt ein durchschnittliches Gewicht der Verbindungen des Kategoriebereichs 5 mit dem Eingabebereich 6 dar, wodurch ei¬ ne Wechselwirkung zwischen den betroffenen Pools ausbleibt. Wd ist ein überdurchschnittliches Gewicht, W^ ist ein unter¬ durchschnittliches Gewicht im Vergleich zu dem durchschnitt- liehen Gewicht wo. Das Gewicht einer Verbindung eines Einga¬ bepools 110, 120, ... mit einem Kategoriepool 10 muss nicht in beiden Richtungen gleich hoch sein. Dies gilt insbesondere für Verbindungen mit überdurchschnittlichem oder unterdurch¬ schnittlichem Gewicht. Wenn das durchschnittliche Gewicht zum Beispiel bei 0,1 liegt, so kann das Gewicht der Verbindung von dem Eingabepool 111 zu dem Kategoriepool 11 zum Beispiel 0,2 und in umgekehrter Richtung 0,3 betragen. Gleiches gilt für andere Verbindungen. Die Verbindungen zwischen einem Ka¬ tegoriepool 10 und Eingabepools 110, 120, ..., welche zu un- terschiedlichen Merkmalen gehören, die für den Kategoriepool 10 charakteristisch ist, müssen auch nicht mit homogenen Ge¬ wichten W1^ oder WJ_ ausgeführt sein. Die Gewichte können auch hier variieren, so lange die erfindungsgemäße Wechselwirkung zwischen dem Eingabebereich 6 und dem Kategoriebereich 5 ge- währleistet ist.

Alle Gewichte können so gewählt werden, als ob sie durch Hebb'sches Lernen entstanden wären.

Gemäß einer Ausführungsform der Erfindung kann das neuronale Netz 1 zur Robotersteuerung eingesetzt werden. Bei den Einga¬ beinformationen handelt es sich hierbei z. B. um Kameraauf¬ nahmen des Roboters. Aus dem Kamerabild wird als erstes Merk¬ mal eine Objektform und als zweites Merkmal eine Objektfärbe extrahiert. Der Roboter hat nun die Aufgabe, eine Schraube zwischen anderen Objekten zu erkennen und zu ergreifen. Der Kategoriepool 11 in Figur 2 repräsentiert nun die Objektkate¬ gorie "Schraube", der Kategoriepool 12 die Objektkategorie "anderes Objekt". Da sowohl die Schrauben als auch die ande- ren Objekte in zufälliger Weise verschiedenfarbig sind, kann das zweite Merkmal Farbe, dessen Ausprägung durch die Einga¬ bepools 120 repräsentiert wird, nicht zur Klassifizierung beitragen. Deshalb haben die Verbindungen der Eingabepools 120 mit den Kategoriepools 10 nur ein durchschnittliches Ge¬ wicht wo. Das erste Merkmal, die Form, erweist sich jedoch als hilfreich zur Kategoriebestimmung. So kann der Eingabe- pool 111 aktiviert werden, wenn eine längliche Form vorliegt. Der Eingabepool 112 könnte bei nicht-länglichen Formen akti¬ viert werden. Der Eingabepool 111 ist nun mit einem über¬ durchschnittlichen Gewicht w^ mit dem Kategoriepool 11 ver¬ bunden. Weiterhin ist der Eingabepool 12 mit einem überdurch- schnittlichen Gewicht W1^ mit dem Kategoriepool 12 verbunden. Anschaulich bedeutet dies, dass längliche Objekte als Schrau¬ ben und nicht-längliche Objekte als andere Objekte erkannt werden.

Weiterhin kann das neuronale Netz 1 in dieser Ausführungsform weitere Eingabepools 130 aufweisen, welche dem Merkmal "Ob¬ jektgröße" zugeordnet sind. Ein Eingabepool 131, welcher für kleine Objekte aktiviert würde, könnte ebenfalls über eine Verbindung mit überdurchschnittlichem Gewicht W1^ den Katego- riepool 11 unterstützen.

Sobald der Kategoriepool 11 in der Konkurrenz gewinnt, hat das neuronale Netz 1 anschaulich die Hypothese gebildet, dass der Roboter eine Schraube vor sich hat. Im Licht dieser Hypo- these werden nun die Ausprägungen der charakteristischen Merkmale (Form: länglich statt nicht-länglich, Größe: klein statt groß) selektiv gegenüber den unbedeutenden Merkmalen (Farbe) verstärkt. Dies bedeutet, dass durch den aktiven Ka¬ tegoriepool 11 der Eingabepool 111 und der Eingabepool 131 verstärkt werden, wogegen der Eingabepool 112 und ein Einga¬ bepool 132 (welcher z. B. große Objekte repräsentiert) ge¬ bremst werden. Auf diese Weise hat das neuronale Netz 1 in übereinstimmung mit der Aufgabenstellung ("Schraube finden") und der aktuellen Hypothese ("Schraube im Blickfeld") seine Repräsentation, d. h. die Aktivitäten der Eingabepools 110, 120, und 130 selektiv optimiert. In einem anderen Ausführungsbeispiel kann das neuronale Netz 1 zur Finanzdatenanalyse eingesetzt werden. Als Eingabeinfor¬ mationen können hierbei Kursverläufe von Aktien dienen. Als erstes Merkmal kann nun die Volatilität eines Aktienkurses herangezogen werden. Der Eingabepool 111 würde demnach bei hoher Volatilität aktiviert, der Eingabepool 112 bei mittle¬ rer Volatilität und ein Eingabepool 113 bei geringer Volati¬ lität. Als zweites Merkmal könnte die Kurstendenz des letzten Tages herangezogen werden. Der Eingabepool 121 würde bei ei- nem gefallenen Aktienkurs aktiviert, der Eingabepool 122 bei einem gestiegenen Aktienkurs. Als drittes Merkmal könnte der Börsenumsatz des letzten Tages für die jeweilige Aktie heran¬ gezogen werden. Ein Eingabepool 131 würde bei geringem Umsatz aktiviert, ein Eingabepool 132 bei großem Umsatz. In diesem Szenario könnten die Kategoriepools 10 unterschiedliche Chart-Formationen repräsentieren. Der Kategoriepool 11 könnte für einen aufwärts gerichteten Kanal stehen, der Kategorie¬ pool 12 für einen abwärts gerichteten Kanal und ein Katego¬ riepool 13 für eine Dreiecksformation. Die Kategoriepools 10 können nun so mit den Eingabepools 110, 120 und 130 verschal¬ tet werden, dass zwar die Volatilität und die Tendenz des letzten Tages zur Auswahl der richtigen Kategorie beitragen, nicht aber der Börsenumsatz. Auf diese Weise könnte zum Bei¬ spiel der Kategoriepool 12 aktiviert werden, welcher einen fallenden Kanal repräsentiert. Dieser könnte wiederum über rekurrente Verbindungen mit überdurchschnittlich starken Ge¬ wichten Wζj charakteristische Ausprägungen der Merkmale beto¬ nen (fallender Aktienkurs, geringe Volatilität) und über Ver¬ bindungen mit unterdurchschnittlich starken Gewichten vr± die anderen Ausprägungen der gleichen Merkmale unterdrücken (steigender Aktienkurs, starke und mittlere Volatilität) , in¬ dem die entsprechenden Eingabepools nicht unterstützt werden.

Die Pools sind an der Biologie des menschlichen Gehirns ange- lehnt. Im menschlichen Gehirn bilden große und homogene Popu¬ lationen von Neuronen, die eine ähnliche externe Eingabe emp¬ fangen, gegenseitig verkoppelt sind und wahrscheinlich zusam- men als eine Einheit fungieren, Populationen (Pools) . Diese Pools können eine robustere Verarbeitungs- und Codierungsein¬ heit bilden, weil ihre momentane Populations-Mittelwert- Anwort, im Gegensatz zum zeitlichen Mittel eines relativ sto- chastischen Neurons in einem großen Zeitfenster, besser an die Analyse von schnellen Wechseln in der realen Welt ange- passt ist.

Die künstlichen Pools des neuronalen Netzes 1 der jeweiligen Schicht können künstliche, erregende gepulste Neuronen ent¬ halten. Erregende gepulste Neuronen werden durch Pulse ande¬ rer erregender gepulster Neuronen aktiviert und senden selbst Pulse an weitere Neuronen aus. Die Aktivität eines Pools von gepulsten Neuronen kann unter Verwendung einer Mean-Field- Näherung modelliert werden.

Die Aktivität der Neuronen kann durch mathematische Modelle beschrieben werden. Weitere Informationen zu der mathemati¬ schen Modellierung von Pools bei der Entwicklung neuronaler Netze sowie unterschiedliche mathematische Modelle für ge¬ pulste Neuronen, wie sie im Rahmen der Ausführungsbeispiele zum Einsatz kommen, sind u. a. aus den Schriften [1], [2] und [3] bekannt.

Anstelle der neuronalen Modelle kann auch jedes andere äqui¬ valente mathematische Modell bzw. eine andere Schaltungsart zum Einsatz kommen, sofern diese die gleiche Dynamik abbil¬ det. Entscheidend für die Erfindung ist das Wechselspiel zwi¬ schen der Repräsentation der Eingabeinformationen, welche z. B. durch die jeweilige Aktivität der Eingabepools 110, 120,... gegeben sein kann, mit der Klassifikation der Eingabeinforma¬ tionen bzw. der Repräsentation, welche z. B. durch die Akti¬ vierung der Kategoriepools 10 gegeben sein kann.

Gemäß einer Ausführungsform der Erfindung wird das neuronale Netz 1 durch mindestens einen nicht-spezifischen Pool 70 bzw. 80 angeregt, welcher aus erregenden gepulsten Neuronen be- steht. Dieser erhält keine spezifischen Eingaben von einer der Schichten und trägt mit spontanen Pulsen zur Ausbildung realistischer Pulsverteilungen bei.

Das neuronale Netz 1 kann als Attraktor-rekurrentes autoasso¬ ziatives neuronales Netz ausgeführt sein. Solche Netze sind in den genannten Schriften beschrieben.

Gemäß einer Ausführungsform wird angenommen, dass die synap- tischen Stärken zwischen den Neuronen des neuronalen Netzes 1, also die Gewichte ihrer Verbindungen so ausgeführt sind, als ob sie durch Hebb'sches Lernen ausgebildet worden seien. Dies bedeutet, dass die synaptische Stärke zwischen Neuronen, welche eine korrelierte Aktivität haben, stärker ist als zwi- sehen unkorrelierten Neuronen. Dementsprechend können die sy¬ naptischen Stärken zwischen den erregenden gepulsten Neuronen innerhalb eines der erregenden Pools mit einem starken Ge¬ wicht von z. B. w = 2 ausgeführt sein. Die hemmenden Neuronen in dem hemmenden Pool 50 oder 60 können mit einem Gewicht von w = l miteinander verbunden sein, welches zu einem nicht- oszillierenden Verhalten beiträgt. Die hemmenden Neuronen können außerdem mit allen erregenden Neuronen des jeweiligen Bereichs oder des gesamten neuronalen Netzes 1 mit dem glei¬ chen Gewicht w = 1 verbunden sein.

Das Wechselspiel zwischen den Bereichen entspricht der multi- arealen Verschaltung im menschlichen Gehirn. Das neuronale Netz 1 kann auch weitere Bereiche oder Schichten aufweisen. Diese weiteren Schichten können die Funktionen bestimmter Ge- hirnareale abbilden. Auf diese Weise kann die Funktionalität des neuronalen Netzes 1 erheblich erweitert werden. Denkbar ist z. B. die Filterung von Eingabeinformationen durch Model¬ lierung einer selektiven Aufmerksamkeit, sowie die Implemen¬ tation von Arbeits- oder Langzeit-Gedächtnisfunktionen. Die weiteren Schichten können in beschriebener Weise aufgebaut sein und miteinander wechselwirken, oder auch andere bekannte Verfahren implementieren. Das neuronale Netz 1 kann als neurodynamisch.es Netz ausge¬ führt sein, insbesondere in der Form eines neurodynamisehen Netzes gepulster Neuronen. Dies kann die Verwendung bekannter neuronaler Netze (artificial neural networks) , Multilagenper- ceptronsf SOMs (seif organizing maps) etc. mit einschließen. Die gepulsten Neurone können z. B. als so genannte spikende oder auch als so genannte pulscodierende Neurone ausgebildet sein.

Weitere Hinweise zur Implementation der Bereiche, Pools, der Verbindungen und Neuronen sowie deren Wechselspiel finden sich in den genannten Schriften. Die Dynamik der jeweiligen Neuronen, Pools und Bereiche kann durch eines oder mehrere Konzepte der folgenden Gruppe implementiert werden: Mean- Field-Ansatz, Integrate-and-Fire-Ansatz, Ansatz für pulsco¬ dierende Neurone, Multikompartiment-Ansatz und Hodgkin- Huxley-Ansatz. Hierzu wird auf die genannten Schriften ver¬ wiesen.

Intelligente Agenten, welche das erfindungsgemäße Verfahren bzw. das neuronale Netz einsetzen, können zur neurokognitiven Prozess-Steuerung, insbesondere für technische Vorgänge, zur neurokognitiven Fahrerassistenz sowie zur neurokognitiven Ro- botersteuerung eingesetzt werden.

Anschaulich gesehen ermöglicht die Erfindung einem techni¬ schen System eine menschähnliche, flexible Wahrnehmung, wel¬ che durch Hypothesenbildung geformt und angetrieben wird. Die Wahrnehmung wird durch die Aktivitäten der Eingabepools 110, 120, ... repräsentiert. Die Hypothesenbildung beruht auf einer Klassifikation der Eingabeinformationen. Die Klassifikation beruht auf der Aktivierung eines Kategoriepools.

Ein intelligenter Agent, welcher das erfindungsgemäße Verfah¬ ren bzw. das erfindungsgemäße neuronale Netz implementiert, ist in äußerst vielseitiger Weise einsetzbar. So eignet sich ein Agent mit flexibler, menschähnlicher Wahrnehmung auch als Spielfigur bei Trainingssimulationen oder Computerspielen.

Die Erfindung beruht auf dem Prinzip des beeinflussten Wett- bewerbs und der beeinflussten Kooperation (Biased Competition and Cooperation) . Das neuronale Netz 1 erreicht dadurch eine hohe Dynamik und Selektivität bei der Repräsentation der ein¬ zelnen Merkmale der Eingabeinformationen.

Da das neuronale Netz 1 unmittelbar die neurodynamisehen Pro¬ zesse im menschlichen Gehirn abbildet, ist es von direkter biologischer Relevanz. Dies beruht auf der genauen Simulation der biologischen Prozesse im Gehirn. Beispielsweise können die gepulsten Neuronen als Integrieren-und-Feuern-Neuronen (integrate and fire) implementiert werden. Es kann von neuro- kognitiver Modellierung gesprochen werden, d. h. die mensch¬ liche Wahrnehmung wird unmittelbar durch die beteiligten neu¬ ronalen Prozesse modelliert.

Hieraus ergibt sich eine Anzahl an medizinisch-klinischen An¬ wendungen. So kann das erfindungsgemäße neuronale Netz und Verfahren als Modell für klinische Versuchsergebnisse heran¬ gezogen werden. Durch den Vergleich der Ergebnisse können Hypothesen über die Funktionsweise des Gehirns unmittelbar überprüft werden.

Geeignete Werte für die Gewichte der Verbindungen können von den genannten Werten abweichen und sind im Experiment ermit¬ telbar bzw. optimierbar. Das generelle Vorgehen hierzu ist in der Schrift [1] beschrieben.

Die in den Figuren gezeigten Ausführungsformen sind aus¬ schließlich als mögliche Beispiele angeführt.

Zusätzliche und bestehende Bereiche oder Schichten können so¬ wohl nach dem Prinzip der Konkurrenz als auch nach dem Prin¬ zip der Kooperation organisiert sein. Konkurrenz: Innerhalb einer Schicht treten bestimmte Merkmale oder Merkmalgruppen miteinander in Konkurrenz um Repräsenta¬ tion. Das erzeugt als emergenten Prozess eine Gewichtungskar- te (salicency map) , so dass bestimmte Merkmale intensiver repräsentiert werden als andere. Man erhält eine kontextab¬ hängige InformationsSelektion. Dies wird z.B. durch den Ein- fluss der Kategoriepools 10 auf die Eingabepools 110, 120, ... implementiert.

Kooperation: Merkmale können auch dynamisch zu Merkmalgruppen oder Kategorien gebunden werden. Ein Merkmal kann so die Rep¬ räsentation eines anderen Merkmale begünstigen. Dies kann durch Pools implementiert werden, die mit durchschnittlichen bis überdurchschnittlichen Gewichten untereinander verbunden sind und sich somit gegenseitig unterstützen. Z.B. können so in dem Eingabebereich 6 mehrere Eingabepools 110, 120 ... gleichzeitig aktiviert sein und dadurch mehrere Eigenschaften einer Eingabeinformation gleichzeitig repräsentiert werden, da sich die Eingabepools 110, 120, ... gegenseitig unterstüt¬ zen.

So können Eingabepools 111, 112, 113 und 114 jeweils eine Graustufe auf einer vierstufigen Skala von schwarz bis weiß repräsentieren. Das Merkmal dieser Eingabepools 110 wäre dann die Grauwertverteilung eines Bildes. Da in einem Bild in der Regel nahezu alle Grauwerte vorkommen, ist es nahe liegend, dass alle Eingabepools 110 gleichzeitig aktiviert sind. Dies wird durch die Kooperation zwischen den Eingabepools 110 un- terstützt. Je nach Anteil der Grauwerte im betrachteten Bild, können die Aktivierungen der Eingabepools 110 jedoch vonein¬ ander abweichen. Der Einfluss der Kategoriepools 10 kann die Aktivitäten der Eingabepools 110 weiter differenzieren. Wenn das neuronale Netz I z. B. einen schwarzen Gegenstand er- kennt, so wird der Eingabepool 110, der den Grauwert schwarz repräsentiert durch einen aktiven Kategoriepool 10 unter- stützt, wodurch sich seine Aktivität von den anderen Eingabe¬ pools 110 abhebt.

Ein Bereich, z.B. der Eingabebereich 6 oder der Kategoriebe- reich 5, kann als Schicht ausgeführt sein, er kann aber auch mehrere Schichten umfassen oder anders strukturiert sein.

So kann der Kategoriebereich 5 zum Beispiel so ausgeführt sein, dass er mehrere Kategorien gleichzeitig erkennen kann. Dies kann durch mehrere gleichzeitig aktivierbare Kategorie¬ pools 10 implementiert werden. So kann der Kategoriebereich 5 zum Beispiel durch Kooperation erlauben, dass mehrere Katego¬ riepools 10 gleichzeitig aktiviert sind. Der Kategoriebereich 5 kann aber auch in mehreren Schichten organisiert sein, wo- bei in jeder Schicht Kategoriepools 10 miteinander in Konkur¬ renz treten, wobei sich in jeder Schicht nur ein aktiver Ka¬ tegoriepool 10 durchsetzen kann. In einer ersten Schicht könnte sich ein Kategoriepool 10 durchsetzen, welcher ein be¬ stimmtes Objekt repräsentiert. In einer zweiten Schicht könn- te sich ein Kategoriepool 10 durchsetzen, welcher repräsen¬ tiert, dass die Eingabeinformation ungefährlich ist. In einer dritten Schicht könnte ein Kategoriebereich 10 aktiviert sein, welcher repräsentiert, dass die Eingabeinformation wertvoll ist. Jede dieser Schichten bzw. ihre enthaltenen Ka- tegoriepools 10 könnten in der beschriebenen Weise mit dem Eingabebereich 6 wechselwirken.

Zusätzliche Schichten können nach dem Prinzip des beeinfluss- ten Wettbewerbs und der beeinflussten Kooperation (biased Competition and Cooperation) implementiert werden: Durch die Verbindung zwischen Schichten kann eine Schicht jeweils den Kompetitionsvorgang in einer oder mehreren anderen Schichten lenken. Dieser Vorgang kann rekurrent sein, so dass durch diesen wechselseitigen Lenkvorgang sukzessive und dynamisch ein immer besserer Abgleich von verschiedenen Merkmal-Räumen der verschiedenen Schichten miteinander entsteht. Insbesonde¬ re enthält jede Repräsentation, weil sie nur einen Teilaspekt der Umgebung abdeckt, zwangsläufig Mehrdeutigkeiten. Beein- flusster Wettbewerb stellt einen Mechanismus dar, durch den die verschiedenen Schichten durch die Information ihres spe¬ ziellen Merkmalraums Mehrdeutigkeiten in den jeweils anderen Merkmal-Räumen auflösen können. Jede Repräsentation entwi¬ ckelt sich vor dem Kontext aller anderen Repräsentationen. Kooperation kann dann verschiedene Merkmale zu Gruppierungen binden, das heißt zueinander in Beziehung setzen.

Das Herstellen von Beziehungen kann in dynamischer Weise ge¬ schehen für (a) gegenwärtige Merkmale untereinander, (b) gegenwärtige Merkmale mit anderen Merkmalräumen, (c) gegenwärtige Merkmale mit vergangenen Werten andere Merk¬ male und Merkmalräume, und (d) dem Gesamtzustand mit zukünf- tigen, aber erwarteten Merkmalen. Insbesondere das Miteinbe¬ ziehen der Vergangenheit kann dem kausalen Charakter der Sig¬ nale Rechnung tragen.

Dynamische Daten aus technischen Systemen können nach Vorver- arbeitung ggf. zur Dimensionsreduktion als Eingabeinformatio¬ nen in das neuronale Netz 1 eingespeist werden. Dieses kann verschiedene Merkmale extrahieren (z.B. Independent Compo- nents oder nichtparametrische Merkmalvektoren analog zu selbstorganisierenden Merkmalskarten) in einem oder mehreren Eingabebereichen 6, von denen manche auch mit einer per¬ sistenten Aktivität (Arbeitsgedächtnis-Funktion) ausgestattet sein können. Optimierung des neuronalen Netzes 1 kann durch biologisch motivierte Lernregeln (z.B. Hebb-Regel oder spike time dependent plasticity) geschehen, mit denen sich auch Kostenfunktionen zur Bewertung dessen, wie gut eine Eingabe¬ information repräsentiert wird, aufstellen lassen. Zitierte Literatur

[1] Szabo, M., Almeida, R., Deco, G. und Stetter, M. (2004): "Cooperation and biased competition model can explain atten- tional filtering in the prefrontal cortex", Eur. J. Neuro- sci., Vol. 9, S. 1669-1677.

[2] Brunei, N. und Wang, X. J. (2001) : "Effects of neuro- modulation in a cortical network model of object working mem- ory dominated by recurrent inhibition", Comput. Neurosci. 11: 63-85.

[3] Koch, C. und Segev, I (Hrsg.) (2001) : "Methods in Neu¬ ronal Modeling: From Synapses to Networks", MIT Press, Cam- bridge, MA, Kapitel 1-5.