Es ist jedoch in der Regel gewünscht, daß einem Objekt zugeord- nete Merkmale oder das Objekt selbst unabhängig von seinem Ab- stand und seiner Lage zum bildaufnehmenden System erfaßt wer- den/wird. Eine derartige lagen-und größeninvariante Merkmals- extrahierung bzw. Objekterkennung ist bislang mit neuronalen Netzwerken versucht worden.

Neuronale Netze sind hardware-oder softwareimplementierte ver- netzte Strukturen aus Bauelementen wie z. B. Speichern, Addie- rern, Multipliplizierern, Filtern etc., die aufgrund der Ver- netzung mit einer durch das Netz definierten Anzahl anderer Bauelemente verknüpft sind. Die Stärke dieser Verknüpfungen der Elemente ist entscheidend für die Funktionsfähigkeit des neuro- nalen Netzes, eine gestellte Aufgabe, im vorliegenden Fall die der Merkmalsextraktion bzw. Identifikation, zu lösen. Diese Stärke der Verknüpfung zweier Bauelemente, nachfolgend in Ana- logie zur menschlichen Hirnstruktur auch als Neuronen bezeich- net, gibt der Kopplungskoeffizient wieder.

Eine Stärke des neuronalen Netzes liegt darin, daß es in der Lage ist, in überwachten und/oder unüberwachten Lernvorgängen diese Kopplungskoeffizienten selbst zu bestimmen bzw. zu opti- mieren. Hierzu gibt es eine Reihe theoretischer Ansätze, die sich mit dem Lernverhalten des neuronalen Netzes auseinander- setzen. Ein Ansatz zur lagen-und größeninvarianten Merkmalser- fassung stammt z. B. von Widrow, der ein Mehrlagennetzwerk von adaptiven, linearen Neuronen verwendete. Die in den Lagen be- findlichen Neuronen verknüpfte er durch Gewichtungsfaktoren oder auch Kopplungskoeffizienten, die dem neuronalen Netzwerk gelehrt wurden. Mehrere weitere Ansätze sind in dem Buch "Artificial Neural Networks for Image Understanding"von A. D.

Kulkarni im Verlag Van Nostrand Reinhold, New York, 1994 be- schrieben. Diese Verfahren haben jedoch den Nachteil, daß die Extrahierung entweder nicht vollkommen zufriedenstellend ist oder ein äußerst großer Rechenaufwand erforderlich ist.

Es ist daher Aufgabe der Erfindung, ein Verfahren und eine Vor- richtung zu schaffen, die mit wenig Rechenaufwand eine zuver- lässige lagen-und größenunabhängige Merkmalserfassung erlau- ben.

Diese Aufgabe wird durch das Verfahren des Anspruchs 1 und durch die Vorrichtung des Anspruchs 13 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprü- che.

Die Erfindung beschreibt eine hardwaremäßige Grundstruktur für ein Bilderkennungssystem, das mit vorgegebenen Kopplungskoeffi- zienten zwischen den einzelnen Komponenten arbeiten kann, das jedoch auch in hervorragender Weise dazu ausgebildet ist, die Kopplungsstärke der nachfolgend beschriebenen Komponenten in typischen Lernverfahren für neuronale Netzwerke selbst zu er- lernen bzw. die vorgegebenen Werte zu optimieren.

Die vorliegende Erfindung beschreibt damit ein Verfahren und eine Vorrichtung zur Merkmalserkennung aus Bildern, insbeson- dere digitalisierten Bildern, die mit wenig Zeit und Rechenauf- wand eine sichere Merkmalszuordnung bzw. Objekterkennung auch bei sehr großen Objekt-und/oder Merkmalsbeständen ermöglichen.

Vereinfacht läßt sich das Bilderkennungssystem der Erfindung darstellen als ein mehrlagiges System. Am Anfang liegen Bild- punkte, z. B. aus einem CCD-Chip oder einer Bilddatei vor. Durch Signalerzeugungseinrichtungen wie z. B. Filter werden in einer ersten Lage dem Bild entsprechend zweidimensional zugeordnete Merkmalsinformationen bereitgestellt. Diese Merkmalsinformatio- nen werden durch Addierer und Multiplizierer (bzw. entsprechend verknüpfte Neuronen in einem neuronalen Netzwerk) in einer zweiten Lage zu Merkmalskombinationen verknüpft, die immer noch in Schichten zweidimensional entsprechend dem Bildaufbau zuge- ordnet sind. Die einzelnen Kombinationen werden innerhalb der Schichten (also über die Bildfläche) aufsummiert, wodurch in einer dritten Lage ein Merkmalsvektor erhalten wird, der über die Bildfläche aufsummierte unterschiedliche Merkmalskombina- tionen (z. B. Kantenschnittpunkte, d. h. Ecken, Farbkombinationen etc.) enthält. Dieser Merkmalsvektor wird mit einem Referenz- vektor zum Zwecke einer Merkmals-oder Objektzuordnung bzw.- erkennung verglichen.

Dies wird nun im einzelnen beschrieben. Die Erfindung geht aus von einem Bild, das in Form vorzugsweise digitalisierter Bild- punkte vorliegt. Diese Bildpunkte werden durch eine Signaler- zeugungseinrichtung, z. B. eine Filteranordung auf das Vorlie- gen bestimmter Merkmale untersucht. In Abhängigkeit von dem Vorliegen des Merkmals wird ein Merkmalssignal (erstes Signal) ausgegeben, das mit denselben Merkmalen an anderen Orten des Bildes eine Merkmalsschicht der ersten Lage bildet. Die in die- ser Schicht enthaltene Merkmalsinformation gibt somit die ört- liche Verteilung des entsprechenden Merkmals innerhalb des Bil- des wieder. Derartige Schichten existieren in der ersten Lage für unterschiedliche Merkmale. Die Art der Merkmale wird durch die Signalerzeugungseinrichtung definiert, z. B. durch die Art und Verknüpfung der darin vorhandenen Filteranordnung. Wie be- reits angedeutet, sind zur Extraktion unterschiedlicher Merkma- le aus dem Bild unterschiedliche Signalerzeugungseinrichtungen vorgesehen. Die Ausgangssignale einer Art von Signalerzeu- gungseinrichtungen werden in einer Schicht zusammengefaßt.

Die Signalerzeugungseinrichtung bzw. Filteranordnung soll nach- stehend kurz erläutert werden. Sie kann hard-und/oder softwa- remäßig durch ein neuronales Netz von Digitalverstärkern mit einstellbaren Kopplungskoeffizienten, in Form von Bandpässen, Tief-oder Hochpässen, Integratoren, SC-Filtern oder Differen- zieren, Addierern und/oder Multipliplizierern gebildet sein. Es ist auch jede beliebige Kombination dieser Bauelemente zur Rea- lisierung einer bestimmten Filteranordnung, z. B. eines Kanten- detektors, möglich. Die Signalerzeugungseinrichtung zur Extrak- tion eines bestimmten Merkmals kann nun durch eine hardwaremä- ßig vorgegebene Verknüpfung gebildet sein, die auf ein bestimm- tes Merkmal spezialisiert ist, z. B. die Kantenerfassung. Es ist jedoch auch möglich, die Verknüpfung der Anordnung bestimmter oben aufgeführter Grundelemente zur Bildung einer Filteranord- nung durch das neuronale Netz selber lernen oder optimieren zu lassen. Für unterschiedliche Merkmale, z. B. Kantendetektoren unterschiedlicher Orientierung werden daher unterschiedliche Filteranordnungen vorgesehen, welche die Signalerzeugungsein- richtungen bilden. Im Falle einfachster Informationen wie z. B.

Grau-oder Farbwerte besteht die Signalerzeugungseinrichtung einfach aus einem Signalverknüpfungsgatter zwischen den Bild- punkten und einer Schicht der ersten Lage. D. h. durch dieses Gatter wird die in einem bestimmten Bildbereich enthaltene Bil- dinformation zu einer Merkmalsinformation (erstes Signal) in der ersten Lage zusammengefaßt.

Die Merkmale bzw. ersten Signale aus unterschiedlichen Schich- ten dieser ersten Lage können positiv oder negativ miteinander verkoppelt sein. Eine positive Kopplung bedeutet, daß ein be- stimmtes Merkmal aus der einen Schicht vorzugsweise mit einem Merkmal aus der anderen Schicht gemeinsam auftritt. Derartige Kopplungen können beispielsweise bei Verwendung eines neurona- len Netzwerks selbst erlernt werden. Wenn z. B. bestimmte Merk- male positionsmäßig immer gekoppelt sind, kann dies vom Netz erkannt und durch eine entsprechende positive Kopplung erfaßt werden. Derartige Merkmale sind z. B. Kantendetektoren von 0 und 90 Grad. Negative Kopplungen können dadurch entstehen, daß bestimmte Merkmale örtlich nie miteinander korreliert sind.

Dies betrifft z. B. Kantendetektoren gleicher Orientierung. Die- se sind immer über quer verlaufende Kanten miteinander ver- bunden oder voneinander isoliert, weshalb sie nie gemeinsam auftreten. Das Ausbilden derartiger Verknüpfungen verringert den Rechenaufwand zur Erkennung des Objekts.

Ein weiteres Mittel zur Verringerung des Rechenaufwandes und zur Verbesserung der Merkmals und/oder Objekterkennung besteht darin, daß durch die Signalerzeugungseinrichtungen mehrere Bildpunkte zu einer Merkmalsinformation bzw. einem Merkmalsneu- ron (erstes Signal) zusammengefaßt werden. So kann z. B. aus hundert Bildpunkten am Eingang der Signalerzeugungseinrichtung ein Merkmalspunkt am Ausgang der Signalerzeugungseinrichtung gebildet werden. Die Zusammenfassung erfolgt durch Summation oder Integration. Je nach Merkmal sind jedoch auch andere Ver- knüpfungsmöglichkeiten, wie z. B. Subtraktion, Multiplikation oder Differenzierung möglich. Durch die Zusammenfassung der Bildpunkte zu einem Informationspunkt wird zwar eine gewisse Unschärfe aufgrund der flächigen Integration der diskreten Merkmale der einzelnen Bildpunkte erzielt, andererseits ist dies erwünscht, da die Sicherheit der Merkmalsextraktion oder Objekterkennung durch eine Vielzahl an unscharfen Merkmalsde- tektoren in den verschiedenen Schichten der zweiten Lage sogar erhöht wird. Denn eine zu exakte Aussage eines Merkmals könnte das Gesamtsystem derart beeinflussen, daß das System aufgrund dieses, gegebenenfalls falschen, Merkmals zu einer falschen Merkmalsextraktion gelangen könnte. Für die Sicherheit des Sy- stem ist es positiver, eine größere Anzahl an"unscharfen" Merkmalen zu erhalten, die einzeln aufgrund ihrer Unschärfe keine Fehlbeurteilung auslösen können, in ihrer Gesamtheit je- doch ein Merkmal oder Objekt mit großer Zuverlässigkeit und Si- cherheit erfassen können.

Man kann daher die in den (Merkmals) Schichten der zweiten Lage auch vorhandenen ersten Signale als Kubus einfacher Merkmals- punkte (Neuronen) bezeichnen.

Nachfolgend wird beschrieben, wie aus dem Kubus einfacher Merk- malspunkte (Neuronen) zweite Signale in Form komplexer Merk- malspunkte in der zweiten Lage gewonnen werden. Die komplexen Merkmalspunkte (Neuronen) werden durch Addierer bzw. Multipli- plizierer gebildet, die Merkmalspunkte aus unterschiedlichen Schichten der zweiten Lage verknüpft. Hierbei kann ihr gegen- seitiger Abstand berücksichtigt werden, indem z. B. die Kopp- lungskoeffizienten für die Verknüpfung von Merkmalspunkten aus (wenigstens zwei) unterschiedlichen Schichten um so geringer gewählt werden, je griser deren gegenseitiger Abstand ist. Ein Beispiel hierfür ist die quadratische Summation. Die Höhe des Ausgangssignals der Verknüpfung ergibt sich hierbei aus folgen- der Formel : Asignal 2 = (Asignal 1 zu Merkmal 1 + Asignal 1 zu Merkmal 2)2 mit A = Amplitude. Diese Möglichkeit der Berücksichtigung des wechselseitigen Abstandes beim Bilden der komplexen Merkmale (Signale 2) ist eine erste Möglichkeit, die relative Lage, insb. den Abstand unterschiedlicher Merkmale zu berücksichti- gen. Eine weitere Möglichkeit der positionsabhängigen Merkmals- bewertung besteht später bei der nachfolgend noch beschriebenen Bildung der Merkmalsvektoren. Diese kann alternativ oder zu- sätzlich zur oben beschriebenen Positionswichtung bei der Ver- knüpfung erfolgen. Eine Möglichkeit zur positionsabhängigen Wichtung einer Verknüpfung besteht in allen Arten nicht linea- rer Summationen. In einer funktionellen und sehr einfach struk- turierten Ausführungsform wird jeder Merkmalspunkt einer ersten Merkmalsschicht aus dem einfachen Merkmalskubus mit dem örtlich korrespondierenden Merkmalspunkt wenigstens einer zweiten Schicht linear addiert. Die positionsbezogenen Wichtung erfolgt später bei der Bildung der Merkmaalsvektoren.

Durch die Verknüpfung einfacher Merkmalspunkte werden somit in jeder Schicht dieser zweiten Lage"komplexe"Merkmalspunkte je- weils einer Merkmalskombination erhalten. Man kann daher die unterschiedlichen Schichten der zweiten Lage, die unterschied- liche Merkmalskombinationen beschreiben, als einen Kubus kom- plexer Merkmalspunkte (Neuronen) bezeichnen. Hardwarebezogen sind diese Punkte durch die zweiten Signale, nämlich die Aus- gangswerte bzw.-signale der zugehörigen Addierer bzw. Multi- pliplizierer gegeben. Die komplexen Merkmalspunkte können auch durch Verknüpfung einfacher Merkmalspunkte (erster Signale) aus mehr als zwei Schichten, z. B. vorzugsweise drei Schichten ge- bildet werden. Dies hat den Vorteil, daß eindeutigere Verknüp- fungsergebnisse erhalten werden, die sich zu einer zuverlässi- geren Objekterkennung nutzen lassen. Die komplexen Merkmals- punkte oder auch zweiten Signale einer Schicht geben eine be- stimmte Merkmalskombination in einer dem Bild entsprechenden zweidimensionalen Anordnung wieder.

Wiederum durch Addierer bzw. Multipliplizierer werden aus den komplexen Merkmalspunkten dritte Signale generiert. Alle kom- plexen Merkmalspunkte einer Schicht werden dabei verknüpft, im einfachsten Fall aufsummiert. Dies ist möglich, falls der Ab- stand einfacher Merkmale bereits bei der Bildung der komplexen Merkmale in oben beschriebener Weise berücksichtigt wurde.

Falls dies in jenem Verfahrensschritt nicht geschehen ist, wer- den nun alle komplexen Merkmale einer Schicht durch eine nicht- lineare Verknüpfungsfunktion, z. B. quadratische Summation, mit- einander verknüpft. Aufgrund der Nichtlinearität spiegelt das Verknüpfungsergebnis den wechselseitigen Abstand der verknüpf- ten komplexen Merkmalspunkte in der Schicht wieder. Diese posi- tionsbezogene Verknüpfung kann auch zusätzlich zu der bereits erfolgten positionsbezogenen Verknüpfung zur Bildung der kom- plexen Merkmalspunkte durchgeführt werden. Es kann jedoch auch lediglich eines dieser beiden Verfahren zur positionsabhängigen Merkmalsverknüpfung angewandt werden. Die dritten Signale der unterschiedlichen Schichten bilden in der dritten Lage einen Merkmalsvektor, der schließlich durch Vergleich mit gespeicher- ten Referenz-Merkmalsvektoren zur Objekt-/Eigenschaftserkennung bzw.-zuordnung verwendet wird. Durch die Punkte (dritte Si- gnale) des Merkmalsvektors läßt sich das abgebildete Objekt hinreichend genau charakterisieren, selbst wenn die Anzahl der im Datenbestand befindlichen Objekte, z. B. in einem Supermarkt oder einer Personenkartei sehr hoch ist.

Die Punkte (Neuronen) des Merkmalsvektors werden erhalten, in- dem alle Punkte einer Merkmalskombination in jeder einzelnen Schicht der zweiten Lage aufsummiert werden. Jeder Punkt des Merkmalsvektors enthält somit eine Zusammenfassung bestimmter Merkmalskombinationen, vorzugsweise unter Berücksichtigung ih- rer positionsabhängigen Kopplung, z. B. durch nichtlineare Sum- mation. Dieser Merkmalsvektor wird nun, z. B. durch Vergleich mit einem entsprechenden Referenzvektor zur Identifizierung von Objekten eingesetzt.

Prinzipiell kann ein derartiger Aufbau durch herkömmliche digi- tale Bausteine wie z. B. Filter für die Signalerzeugungsein- richtungen und Addierer und Multipliplizierer für die Verknüp- fungen der einzelnen Lagen realisiert werden. In diesem Fall müßten jedoch die Kopplungskoeffizienten, die die Stärke der Verbindungen der einzelnen Hardware Komponenten angeben vorab durch Versuche und/oder Berechnungen eingestellt werden. Dies läßt sich wiederum am besten mit einem neuronalen Netzwerk un- ter Verwendung eines Lernverfahrens bewerkstelligen, in dem sich die Kopplungsfaktoren zur Verknüpfung der einzelnen Neuro- nen selbständig einstellen.

Für die Erzeugung der Merkmalsdetektoren in den Signalerzeu- gungseinrichtungen werden vorzugsweise konventionelle Filter wie z. B. Bandpaßfilter, Kontrastfilter und Gradientenfilter zusammengefaßt, und aus den zugehörigen Filtermasken die Kopp- lungskoeffizienten berechnet, indem in klassischer Weise die gekoppelten Filtergleichungen aufgestellt werden und die zu den einzelnen Bildpunkten gehörigen Koeffizienten zu einem Zahlen- wert zusammengefaßt werden. Somit können beliebige Filter zur Erhöhung der Rechenleistung zusammengefaßt werden, was, wie be- reits beschrieben, mit einer gewissen beabsichtigten Unschärfe einhergeht. Die Filtercharakteristik wie z. B. Eckfrequenzen der Filter und die Filtermassengröße muß entsprechend an die Problemstellung der aktuellen Bilderkennungsaufgabe angepaßt werden muß. Klassische Filter sind indes nicht gut für die Ver- wendung in einem neuronalen Netz geeignet, da die für die Ver- arbeitung im neuronalen Netzwerk vorteilhafte Unschärfe der Merkmalsextraktion der mathematischen Exaktheit der Filterope- ration widerspricht. Deshalb wird in einer Vorphase vorzugswei- se ein unüberwachter Lernvorgang durchgeführt, bei dem optimal an das Datenmaterial (Supermarkt, Personaldatei etc.) angepaßte rezeptive Filter selbstorganisierend entstehen. Hierzu können bekannte Lernverfahren angewandt werden.

Um zu verhindern, daß identisch Merkmale an unterschiedlichen Signalerzeugungseinrichtungen erzeugt werden, werden vorzugs- weise andere Signalerzeugungseinrichtungen gehemmt, sobald sich eine Signalerzeugungseinrichtung auf die Extraktion eines be- stimmten Merkmals spezialisiert hat. Dadurch setzt sich inner- halb einiger Zeit nur das jeweils aktivste Neuron durch, und dieses spezialisiert sich damit auf das entsprechende Merkmal, z. B. einen bestimmten Kantendetektor.

Neben dieser gelernten Organisation der Erzeugung der Merkmals- punkte (Neuronen) in der ersten Lage kann die Einstellung der Kopplungskoeffizienten für die Erzeugung der komplexen Merk- malspunkte der zweiten Lage erfolgen, die aus den Merkmalspunk- ten des einfachen Merkmalskubus die Merkmalskombinationen des komplexen Merkmalskubus generiert. Hierbei entstehen Merkmals- kombinationen, welche die in einem angebotenen Bild enthaltenen Merkmale oder Objekte am besten beschreiben. Das gleiche gilt für die Erzeugung der Punkte des Merkmalsvektors aus den kom- plexen Merkmalspunkten. Auch diese Verknüpfungen können durch bekannte Lernverfahren selbsttätig generiert werden.

Muster, die zu einem Objekt gehören, werden dem System nach Abschluß der oben beschriebenen Selbstorganisationsphase mit einem überwachten Lernverfahren eintrainiert (z. B. Objekt wird in verschiedenen Abständen und Ansichten aufgenommen und ge- speichert). Dies führt dazu, daß für jedes Objekt eine Reihe von Merkmalsvektoren gespeichert sind, die einen gewissen Wer- tebereich umspannen. Liegt ein extrahierter Merkmalsvektor in diesem Bereich, so wird angenommen, daß das klassierte Objekt vorliegt. Bei einer geringen Anzahl von Objekten können hier alle zu einem Objekt gehörenden Muster auf dasselbe Ausgangs- klassifikatorneuron abgebildet werden. Bei größeren Objektzah- len müssen als Zwischenschritt Unterklassen definiert werden, innerhalb derer mehrere Klassifikatoren für Teilmuster zu einem Objektklassifikator zusammengefaßt werden, z. B. die verschie- denen Seiten einer quaderförmigen Verpackung.

Als Hardware zur Realisierung und Verschaltung der Signalver- arbeitungskomponenten kann vorzugsweise ein digitaler Signal- prozessor verwendet werden oder ein Neurocomputer, dessen Auf- bau einem neuronalen Netz entspricht. Jedoch kann das neuronale Netz auch in Form eines Programms auf jeder entsprechend leis- tungsfähigen herkömmlichen Rechnerarchitektur implementiert werden.

Zusammenfassend läßt sich zur Erfindung sagen, daß aus den di- gitalisierten Bilddaten durch mehrere Signalerzeugungseinrich- tungen Merkmale extrahiert werden, die anschließend unter Be- rücksichtigung ihrer relativen gegenseitigen Position zu kom- plexen Merkmalskombinationen zusammengefaßt werden. Die positi- onsbezogenen Daten, die sich auf eine bestimmte Merkmalskombi- nation beziehen, werden aufsummiert und bilden einen orts-und größenunabhängigen Wert eines Merkmalsvektors, der zur Identi- fizierung des Objekts oder zur Merkmalserkennung verwendet wird, z. B. durch Vergleich mit vorher erhaltenen Referenzwer- ten.