Verfahren und Vorrichtung zur Erfassung von Objektfarben Beschreibung Die Erfindung betrifft Verfahren zur optischen Objekterfassung, insbesondere zur Erfassung von Objekt- und Segmentfarben (im folgenden kurz : Objektfarben), aber auch zur Erfassung geome- trischer Objekteigenschaften, wie z. B. die Größe, Position und Entfernung von Objekten in einer Bildszene, und Vorrichtungen zur Anwendung der Verfahren. Unter Erfassung von Objektfarben wird allgemein die Ermittlung der Wahrnehmung von Objektfarben und somit die Ermittlung einer Farbangabe (z. B. Angabe einer Farbwahrnehmungsklasse) zu einem erfaßten Objekt verstanden, die ein Beobachter des Objekts in der aktuellen Szene bei visueller Betrachtung zur Bezeichnung seiner Farbwahrnehmung nennen würde oder wie sie in anderen psycho-physischen Experi- menten objektiv bestimmt werden können (z. B. Nachmischen von Farben, Detektion, experimentelle Kompensationsexperimente).

Das menschliche visuelle System ist dazu eingerichtet, in Bruchteilen von Sekunden beim Beobachter Eigenschaften einzel- ner Objekte oder Segmente im Gesichtsfeld bewußt werden zu las- sen. Die betrachteten Objekte werden durch Informationen über die Farbe, Größe und Entfernung und dgl. erfaßt, wodurch insbe- sondere ein sicheres Bewegen im Raum ermöglicht wird. Die visuelle Objekterkennung erfolgt durch eine Erfassung von Ob- jekt- oder Segmentgrenzen und eine Zuordnung von Objektfarben, denen auf der Grundlage der Erfahrung eine bestimmte Bezeich- nung zugeordnet wird. Die Wahrnehmung von Objektfarben und - grenzen stehen in gegenseitiger Wechselwirkung. Die exakten Zusammenhänge bezüglich der Funktionsweise dieser Wechselwir- kung im menschlichen Gehirn sind erst teilweise verstanden. Im Falle von Störungen im visuellen System (z. B. bei Blindheit oder Farbenblindheit) wird die Objekterkennung ganz oder teil- weise beeinträchtigt, woraus sich z. B. Orientierungsprobleme ergeben.

Es sind verschiedene Systeme bekannt, um blinden oder sehschwa- chen Personen die Erkennung von Gegenständen oder deren Be- trachtung zu ermöglichen oder zu erleichtern. Auf der Grundlage des Global Positioning System (GPS-System) wurde ein"Personal Guidance System"genanntes, satellitengesteuertes Leitsystem entwickelt, mit dem sich Personen mit Sehstörungen mit Hilfe eines elektronischen Kompaß wichtige Orte wie z. B. Bushalte- stelle oder Telefonzellen orten lassen können. Bei diesem Sy- stem erfolgt keine Objekterkennung. Es ist nur für Objekte an- wendbar, die in den systeminternen Topografien gespeichert sind. Damit ist das GPS-System auf spezielle Anwendungen, z. B. im öffentlichem städtischen Raum, beschränkt und beispielsweise in engen, geschlossenen Räumen mit zahlreichen, ggf. bewegli- chen Gegenständen nicht nutzbar.

Es ist ferner ein als Sehhilfe für Personen mit reduzierter Sehleistung, kommerziell angebotenes Farberkennungsgerät be- kannt ("Color Test 150 ", AnbieterCare Tec Deutschland GmbH), bei dem mit einem Sensor punktweise eine Farbmessung erfolgt, deren Ergebnisse (Farbton, Helligkeit und Sättigung des vermes- senen Punktes) über einen Lautsprecher ausgegeben werden. Die lokale Farbmessung mit einem einzigen Sensor besitzt die fol- genden Nachteile.

Die menschliche oder visuelle Farbwahrnehmung in Bezug auf ei- nen bestimmten Bereich im Gesichtsfeld (Punkt, Objekt, Segment) ist einerseits von rein lokalen Eigenschaften dieses Bereichs abhängig (hauptsächlich vom lokalen Reflexionsgrad und von der spektralen Energieverteilung der Beleuchtung bzw. bei Selbst- leuchtern von der ausgesandten Strahlung). Andererseits ist die menschliche Farbwahrnehmung auch von der Umgebung des betrach- teten Bereiches abhängig. So läßt sich z. B. allein durch Ände- rung der Umgebung die wahrgenommene Farbe beeinflussen, was sich beispielsweise beim simultanen Farbkontrast bzw. bei der Farbinduktion und in extremer Form beim sogenannten Land-Effekt zeigt. Der Umgebungseinfluß auf die wahrgenommenen Farben eines bestimmten Bereiches nimmt mit zunehmenden Abstand ab. Die un- mittelbare Umgebung ist somit von besonderer Bedeutung für die Farbwahrnehmung. In welcher Weise die Gradienten, die durch die Form von Objekten oder durch Inhomogenitäten der Beleuchtung hervorgerufen werden, sich auf die Farbwahrnehmung auswirken, ist bislang nur teilweise geklärt. So ist beispielsweise die Farbkonstanzleistung des Gehirns (Invarianz der wahrgenommenen Objektfarbe bezüglich Beleuchtungsänderungen) erst zum Teil verstanden (siehe Publikation"Computational models of color constancy"A. C. Hurlbert in "Perceptual Constancy", Hrsg. V.

Walsh et al., Cambridge University Press, Cambridge, 1998).

Beim lokal messenden Farberkennungsgerät werden die Umgebungs- farben nicht berücksichtigt, so daß die Farbwahrnehmung im all- gemeinen verfälscht angegeben wird.

Außerdem muß das Farberkennungsgerät in die Nähe des zu messen- den Objektes gebracht werden. Die Messungen beziehen sich nur auf die implementierten Lichtarten, so daß bereits die lokale Farbmessung starken Einschränkungen unterworfen ist. So schließt eine Punktmessung aus, daß zwischen Objekt- und Be- leuchtungsfarbe unterschieden werden kann, sofern nicht eines von beiden bekannt ist. Für Farbwahrnehmungen, die stark von der Umgebung abhängen, wie z. B."Braun"oder"Grau", kann das Gerät bauartbedingt keine richtigen Ergebnisse liefern.

Weitere Nachteile des herkömmlichen Farberkennungsgerätes be- stehen darin, daß keine Angaben über geometrische Objekteigen- schaften wie z. B. die Objektgröße oder die Entfernung bestimm- ter Objekt im Raum geliefert können. Außerdem ist es nicht mög- lich, Farben des Hintergrundes (z. B. des Himmels bzw. von Hin- tergrundsegmenten) zu vermessen.

Das Interesse an einer Farberkennung, mit der die menschliche Farbwahrnehmung simuliert wird, ist nicht auf das Gebiet der Sehhilfen beschränkt. Es besteht vielmehr auch im Bereich der Druck-, Lebensmittel- und Chemieindustrie sowie im Graphik- und Designbereich ein Bedarf an möglichst objektiven Mitteln zur Objekterfassung, insbesondere zur Erfassung der Farbwahrnehmung von farbigen Produkten.

In der Publikation von Q. Chen et al. in, Proc. of IEEE Intern.

Conference on Computer Vision,, Cambridge, MA, USA, 1995, Seite 591 ff., ist ein Verfahren zum Erkennen menschlicher Gesichter in Bildern auf der Grundlage der Erfassung der Gesichtsfarbe bekannt. Dabei wird einzelnen Bildpixeln unter Verwendung einer Fuzzy-Klassifizierung jeweils eine Farbe zugeordnet und diese Farbe in Bezug auf die Zugehörigkeit zu bestimmten Gesichtsfar- ben untersucht. Die pixelweise Klassifizierung erlaubt allge- mein keine Rückschlüsse auf die durch einen Beobachter wahrge- nommmene Farbe. Nur in Kombination mit anderen Eingangsinforma- tionen (geometrische Informationen oder Informationen aus Ver- gleichsbeispielen) ware eine Zuordnung zu Wahrnehmungsklassen möglich. Dies kann fur spezielle Objekte mit bekannten charak- teristischen Eigenschaften sinnvoll sein, besitzt aber in Anbe- tracht der praktisch unendlichen Zahl von Objekten und Betrach- tungsbedingungen eine ungenügende Leistungsfähigkeit. Dies gilt insbesondere bei der Anwendung als Sehhilfe, bei der im allge- meinen keine Zusatzinformationen über Objekte im Sehfeld gege- ben sind. Die Technik gemäß Q. Chen et al. ist für eine allge- mein anwendbare Farberkennung mit Simulierung der menschlichen Farbwahrnehmung somit ungeeignet.

Ein weiteres Farbklassifikationsverfahren ist aus der Publika- tion von K. -H. Franke et al. in"Mustererkennung 1994, 16.

DAGM-Symposium, Wien, Springer-Verlag, Seite 624 ff., bekannt, das speziell auf die Erkennung von Mikrodefekten auf Halblei- teroberflächen zugeschnitten ist. Dieses Verfahren ist im we- sentlichen durch dieselben Beschränkungen nachteilig, die oben unter Bezug auf die Gesichtserkennung genannt wurden. So er- folgt eine Farbauswertung an Einzelpixeln unter der Vorgabe vorbestimmter Modellfarben. Eine Aussage über eine menschliche Farbwahrnehmung ist damit bestenfalls für die bekannten Halb- leiterstrukturen und deren bekannte Fehler möglich. Schon beim Auftreten neuer (unbekannter) Fehler würde dieses herkömmliche Verfahren versagen.

Es ist die Aufgabe der Erfindung, verbesserte Verfahren zur op- tischen Objekterfassung anzugeben, die insbesondere eine Farb- angabe zu einem erfaßten Objekt ermöglichen, die möglichst ge- nau und reproduzierbar an die menschliche Farbwahrnehmung ange- paßt ist und die einen erweiterten Anwendungsbereich in Bezug auf erfaßbare Objekte und/oder die technischen Anwendungsmög- lichkeiten besitzen. Die Aufgabe der Erfindung ist es auch, Vorrichtungen zur Implementierung derartiger Verfahren anzuge- ben.

Diese Aufgabe wird durch ein Verfahren bzw. eine Vorrichtung mit den Merkmalen gemäß Anspruch 1 bzw. 15 gelöst. Ausführungs- formen und Verwendungen der Erfindung ergeben sich aus den ab- hängigen Ansprüchen.

Das erfindungsgemäße Verfahren umfaßt insbesondere eine Daten- oder Bildaufnahme, eine Bildsegmentierung, bei der ein bestimm- tes Objekt oder Bildsegment aufgrund eines für dieses Objekt im wesentlichen unveränderlichen Bildparameters von benachbarten Objekten abgegrenzt wird, und eine Klassifizierung der Objekt- farbe durch Zuordnen von Farbparametern des segmentierten Ob- jekts zu einem bestimmten Farbwert in einem Farbraum. Die Bild- aufnahme erfolgt vorzugsweise mit einer Bildaufnahmeeinrich- tung, die zur Abbildung einer Objektanordnung in einer Szene und zur Bereitstellung vollständiger Bilddaten (Helligkeits- und/oder Farbwerte) des aufgenommenen Bildes, vorzugsweise in digitalisierter Form, eingerichtet ist. Der zur Bildsegmentie- rung bevorzugt herangezogene Bildparameter ist der Farbton. Die Objektklassifizierung erfolgt vorzugsweise unter Verwendung von Methoden der Fuzzy-Logik, wie z. B. Fuzzy-Clustering und/oder Fuzzy-Control.

Gemäß einer bevorzugten Ausführungsform der Erfindung erfolgt nach der Bildsegmentierung eine Segmentreduzierung, die auf ei- ne Vereinfachung der Komplexität der Szene gerichtet ist. Bei der Segmentreduzierung werden die Bildpunkte, die zu dem erfaß- ten Objekt oder Bildsegment gehören und eine fallabhängig kom- plizierte Segmentgeometrie bilden, durch eine Gruppe von Bild- punkten ersetzt, die eine Segmentfläche in Gestalt einer regel- mäßigen, geradlinig oder schwach gekrummten Grundform, (z. B.

Rechteck, Kreis, Ellipse oder dergleichen) bilden. Das redu- zierte Bildsegment wird vorzugsweise derart gewählt, daß es vollständig das ursprüngliche Segment abdeckt. Beispielsweise ist vorgesehen, daß das zunächst erfaßte Objekt oder Bildseg- ment reduziert wird, indem es vollstandig von einem rechtecki- gen Rahmen umgeben und die vom Rahmen eingefaßten Bildpunkte als das reduzierte Bildsegment erfaßt werden. Zur Ermittlung eines für das reduzierte Bildsegment charakteristischen Bildpa- rameters wird über alle Farbwerte gemittelt, die den segmen- tierten Bereich, also im zunächst nicht reduzierten Bildseg- ment, auftreten. Die Segmentreduzierung stellt einen unerwarte- ten und für die folgende Objektklassifizierung wichtigen Vor- teil dar. Es wurde festgestellt, daß das Ergebnis der erfin- dungsgemäßen Farberkennung durch die Segmentreduzierung nicht oder im Rahmen der jeweiligen Anwendung vernachlässigbar gering beeinflußt wird. Außerdem vereinfacht die Segmentreduzierung das im Rahmen der Objektklassifizierung durchgeführte Fuzzy- Control-Verfahren, dem die Zahl der für das Fuzzy-Control- Verfahren abzuarbeitenden Entscheidungen auf eine in der Praxis annehmbare Zahl reduziert wird.

Eine erfindungsgemäße Vorrichtung erfaßt eine Daten- oder Bild- aufnahmeeinrichtung, z. B. eine Digitalkamera, eine Segmentie- rungseinrichtung, eine Klassifizierungseinrichtung und eine Ausgabeeinrichtung. Gemäß einer bevorzugten Anwendung der Er- findung bildet die Vorrichtung ein Hilfsgerät für Sehschwache oder Blinde, das zur Erfassung von Objekten, zur Bestimmung von deren Größe, Entfernung und Farbe und zur hörbaren oder tastba- ren Ausgabe dieser Größen eingerichtet ist.

Unter optischer Objekterfassung wird hier die Erfassung der Farbwahrnehmung, Größe, Position und/oder Entfernung vom Be- trachter bzw. von der Bildaufnahmeeinrichtung für ein Objekt in einer abgebildeten Szene verstanden. Ein Objekt ist ein im zweidimensionalen Bild aufgrund eines bestimmten Bildparameters von der Umgebung unterscheidbarer Ausschnitt (Segment).

Bevorzugte Anwendungen der Erfindung liegen im Bereich der Er- stellung von Sehhilfen und von Meßgeraten für die Druck-, Le- bensmittel- und Chemietechnik sowie im Graphik- und Designbe- reich. Bei der erfindungsgemäß Objekterfassung als Sehhilfe wird neben der genannten Klassifizierung der Objektfarbe auch eine Klassifizierung geometrischer Objektparameter oder eine Objekterkennung (z. B. Schrifterkennung) vorgenommen. Die Ausga- beeinrichtung ist für sehbehinderte Personen vorzugsweise durch einen Lautsprecher gegeben. Die Sehhilfe erlaubt insbesondere die Orientierung und ein sicheres Bewegen im Raum.

Die Erfindung besitzt die folgenden Vorteile. Mit dem erfin- dungsgemäßen System wird reproduzierbar ein Zusammenhang zwi- schen physikalischen (photometrischen) Meßgrößen und der menschlichen Farbwahrnehmung hergestellt. Dabei werden vorteil- hafterweise nicht die Farbmerkmale einzelner Bildpunkte, son- dern ganzer Bildsegmente und die Farbmerkmale des Umfeldes der Bildsegmente erfaßt, die für die Farbwahrnehmung von Bedeutung sind. Erstmalig werden ein Segmentierungsverfahren und Elemente der Fuzzy-Logik (Eingangs- und Ausgangsgrößen für die Fuzzy- Inferenz, Operatoren und Regeln) in einer optimal an die menschliche Farbwahrnehmung von unbekannten Objekten in realen Szenen (z. B. Lebensraum in täglicher Umgebung) angepaßten Weise gewählt Die Erfindung besitzt einen breiten Anwendungsbereich und ist insbesondere gut für Applikationen bei Alltagssituationen an- wendbar. Es wird eine Farberkennungseinrichtung geschaffen, die neben den photometrischen Meßdaten auch erlaubt, Eigenschaften der Neurologie, Physiologie und Psychologie des Sehens sowie linguistische, semantische und kulturelle Aspekte der Farbwahr- nehmung zu berücksichtigen. Es wird eine zuverlässige Sehhilfe für Blinde oder Farbfehlsichtige geschaffen, mit der auch vom Betrachter entfernt angeordnete Objekte sicher erfaßt und klas- sifiziert werden können. Es ist möglich, sowohl die Farbwahr- nehmung als auch die Größen-, Positions- und Entfernungsbestim- mung in einem Gerät zu integrieren. Die mit der Erfindung erst- malig simultan implementierte Erfassung sowohl der Farbwahrneh- mungsinformation als auch der Entfernungsinformation stellt ei- nen wichtigen Vorteil der Erfindung bei Sehhilfeanwendungen dar. Es ist die Erfassung verhältnismäßig komplexer realer Sze- nen, auch in kleinen, geschlossenen Räumen mit einer Vielzahl von Objekten möglich. Die erfindungsgemäße Vorrichtung kann aus an sich, kommerziell verfügbaren Komponenten aufgebaut sein, so daß das System kostengünstig hergestellt werden kann. Die er- findungsgemäße Vorrichtung läßt sich miniaturisieren, so z. B. bis hin zum Aufbau einer wie eine Brille getragenen Sehhilfe, wobei die Ausgabeeinrichtung als Ohrhörer implementiert wird.

Die Erfindung ist in der Farbforschung (Entwicklung von Far- bräumen und Wahrnehmungsmodellen) anwendbar und für spezielle Anwendungen bei Verwendung der Fuzzy-Logik-Methoden optimal adaptierbar.

Im Gegensatz zu herkömmlichen Techniken bietet die Anwendung der Erfindung als Sehhilfe erstmalig die Möglichkeit für die Betroffenen, sich mit Hilfe eines einzigen Gerätes im Raum orientieren zu können. Über die Farbinformation wird die Orien- tierung und damit ein sicheres Bewegen im Raum ermöglicht.

Die erfindungsgemäße Erfassung der Farbwahrnehmung besitzt eine hohe Stabilität dahingehend, daß auf der Grundlage von Ent- scheidungsregeln, die an einfachen Testobjekten ermittelt wur- den, beliebige Bildsituationen der natürlichen Umwelt zuverläs- sig ausgewertet werden können.

Weitere Vorteile und Einzelheiten der Erfindung werden im fol- genden unter Bezug auf die beigefügten Figuren beschrieben. Es zeigen Fig. 1 ein Flußdiagramm zur Illustration des erfindungsgemä- ßen Verfahrens, Fig. 2 ein Flußdiagramm des Ablaufs einer Daten- oder Bilderfassung, Fig. 3 ein Flußdiagramm des Ablaufs einer Segmentierung, Fig. 4 ein Flußdiagramm zur Illustration von Fuzzy-Methoden, Fig. 5 ein Bildbeispiel zur Illustration der Segmentierung, Fig. 6 ein Bildbeispiel zur Illustration der Segmentreduzie- rung, Fig. 7 einen dreidimensionalen RGB-Farbraum mit acht Hy- perspharen und zugehörigen Cluster-Zentren, Fig. 8 eine graphische Illustration einzelner Regelsätze einer Fuzzy-Inferenz, und Fig. 9 eine Blockdarstellung einer erfindungsgemäßen Vor- richtung.

Die Erfindung wird im folgenden am Beispiel eines Systems zur Objekterfassung beschrieben, das als Sehhilfe eingerichtet ist.

Bei anderen Anwendungen der Erfindung werden die erläuterten Verfahrensweisen analog implementiert, wobei jedoch ggf. Modi- fizierungen in Bezug auf die Datenerfassung und die Ergebnis- ausgabe erfolgen.

Entsprechend der Ubersichtsdarstellung gemäß Fig. 1 erfaßt ein erfindungsgemäßes Verfahren die Schritte Datenerfassung 20, Segmentierung 30, Farbklassifizierung 40 und Ergebnisausgabe 50. Vor Beendigung des Verfahrens (Ende 60) erfolgt je nach dem Klassifizierungsergebnis ggf. zeitgleich vor oder simultan zur Ergebnisausgabe ein Rücksprung zur Datenerfassung 20 oder Seg- mentierung 30, um ggf. eine Fokussierung auf ein bestimmtes Ob- jekt oder eine veranderte Segmentierung vorzunehmen. Nach der Segmentierung 30 sollte der Schritt Segmentreduzierung 30a vor- gesehen sein. Die Segmentreduzierung 30a besitzt Vorteile fur die spätere Anwendung der Entscheidungsregeln bei der Fuzzy- Inferenz (Reduzierung der Regelzahl), stellt jedoch kein zwin- gendes Merkmal der Erfindung dar. Einzelheiten der Schritte 20 bis 40 sind in den Figuren 2 bis 4 dargestellt.

Die Datenerfassung 20 (oder Bilderfassung) umfaßt gemäß Fig. 2 zunächst einen Systemabgleich 21, bei dem eine Bildaufnahmeein- richtung (z. B. Digitalkamera oder Scanner) zur folgenden Bild- aufnahme 22 vorbereitet wird. Der Systemabgleich 21 umfaßt bei- spielsweise bei kommerziell verfügbaren Kameras einen automati- schen Weißabgleich (Abstimmung auf die verwendete Lichtart - z. B. Kunst- oder Tageslicht, wobei beispielsweise der hellste Bildpunkt als weiß bzw. als Farbe der Lichtquelle interpretiert wird) oder eine automatische Belichtungsmessung in Kombination mit einer Verstärkungssteuerung (z.B. Abstimmung unter der Vor- aussetzung, daß dem hellsten Bildpunkt die größtmöglichen Farb- werte zugewiesen werden). Mit derartigen Formen des Systemab- gleichs ist in der Regel eine ausreichende Reproduktion der Farben der aufgenommenen Szene möglich. Der Systemabgleich 21 kann jedoch speziell angepaßte Algorithmen oder Kalibrierungen verwenden, um die Bildaufnahme auf konstrastarme Szenen oder auf Bildszenen mit extremer Beleuchtung abzustimmen.

Beim Systemabgleich 21 kann auch eine Entfernungsmessung durch- geführt werden. Hierzu wird beispielsweise ein kamerainternes, auf Kontrastbeziehungen basierendes Autofocus-System oder auch für Präzisionsmessungen eine laser-basierte Entfernungsmessung verwendet.

Nach der eigentlichen Bildaufnahme 22 zur Erstellung eines di- gitalen Farbbildes (Belichtungs- oder Scan-Vorgang) folgt die Bilddatenerzeugung 23 durch Bildung eines Datensatzes, der die Rot-, Grün- und Blauwerte (R-, G-, B-Werte) jedes Pixels des digitalen Farbbildes, die jeweils diskrete Werte zwischen einem minimalen und einem maximalen Wert annehmen können, umfaßt. Die Bilddaten umfassen somit drei Farbebenen mit den R-, G-, B- Werten eines jeden Pixels. Die Pixelzahl eines mit einer Kamera aufgenommenen Digitalbildes beträgt beispielsweise 740 - 568 Pixel. Die Digitalisierungstiefe beträgt z. B. 24 Bit (8 Bit pro Farbkanal), was rund 16, 7 Millionen Farben entspricht. Parame- ter der digitalen Bildverarbeitung wie beispielsweise die Pi- xelzahl oder die Digitalisierungstiefe können jedoch anwen- dungsabhängig variiert werden.

Bei der Segmentierung 30 erfolgt gemäß Fig. 3 zunächst eine Farbtransformation 31 von den einzelnen R-, G- und B-Ebenen des Farbbildes in einen an die weitere Segmentierung (s. unten) an- gepaßten Farbraum. Die Farbtransformation 31 ist anwendungsab- hängig ein fakultativer Schritt, der jedoch aus den folgenden Gründen bei der Implementierung der Erfindung als Sehhilfe be- vorzugt realisiert wird.

Die Betrachtung der einzelnen R-, G- und B-Ebenen eines Farb- bildes zeigt, daß der RGB-Farbraum nur beschränkt zur sprachüb- lichen Charakterisierung von Farben und zur Bildsegmentierung geeignet ist. So kann beispielsweise aus den R-, G- und B- Anteilen eines Objekts nur unter wohldefinierten Bedingungen auf die wahrgenommene Farbe rückgeschlossen werden. Da die im RGB-Bild enthaltenen Informationen die Objekte in Bezug auf die Farbe und (abgesehen von der Dimensionsreduzierung bei 2D- Bildern) auch Geometrie vollständig charakterisieren, besteht das Ziel der Farbtransformation 31 darin, diese Informationen in einen optimalen auswertbaren Parameterraum (Farbraum) zu übertragen.

Die Farbtransformation 31 der RGB-Werte kann beispielsweise ei- ne lineare Transformation z. B. in CIE-XYZ-Werte oder in Farb- werte, die den Zapfensignalen im Auge entsprechen (LMS-Signale) oder nichtlineare Transformationen in Farbräume umfassen, die der menschlichen Wahrnehmung und der ublichen farblichen Be- schreibung der Farbwahrnehmung besser angepaßt sind. Diese Farbräume umfassen beispielsweise den HSL-Raum (Farbton- Sättigung-Helligkeit oder Hue-Saturation-Lightness-Raum), einen HSV-Raum, den CIE-L*a*b*- oder CIE-L*habC*ab -Raum, den CIE- L*u*v*-Raum oder dgl. Die Farbtransformation 31 kann auch in jüngst entwickelte Farbwahrnehmungsräume (entsprechend den sog.

"Color Appearance "-Modellen, wie das CIE-CAM'97 nach R. W. G.

Hunt, oder den RLAB-Raum nach M. D. Fairchild) mit Dimensionen wie"Brightness","Lightness","Colorfullness","Chroma", "Hue", oder"Saturation"fiihren (s. hierzu auch Mark D.

Fairchild"Color Appearance Models ", Edison-Wesley, 1998).

Nach der Farbtransformation 31 erfolgt im Zielfarbraum eine Pa- rameterwahl 32, bei der eine Dimension oder ein Parameter des Zielfarbraumes ausgewählt wird, der innerhalb eines Objekts oder Segments nahezu konstant ist und sich an Objektgrenzen möglichst stark ändert. Diese Parameterwahl 32 erfolgt somit anwendungsabhängig je nach gewähltem Zielfarbraum.

Die Segmentierung 30 erfolgt vorzugsweise mit einer Farbtrans- formation 31 vom RGB-Bild in den HSV- oder L*habC*ab-Raum, wobei als bevorzugter Parameter der H-Wert (Farbton oder Hue-Wert) gewählt wird. Der H-Wert zeigt sich innerhalb eines einfarbigen Objekts in einer dreidimensionalen Szene ausreichend konstant.

Die Segmentierung erfolgt daher vorzugsweise in der Farbton- Ebene, in der sich die Objekte bzw. Hintergrundbereiche beson- ders effektiv voneinander trennen lassen.

Im weiteren Verfahren erfolgt zunächst die Startpixelwahl 33.

Ein bestimmtes Pixel der Szene in der Farbton-Ebene wird als Startpixel für die weitere Segmentierung ausgewählt. Eine typi- sche Wahl ist beispielsweise ein Pixel in der Bildmitte oder in einem vorher ermittelten Bereich. Dieser vorher ermittelte Be- reich zeichnet sich beispielsweise durch besondere Bildmerkmale aus, die eine Unterscheidung eines Objekts von der jeweiligen Umgebung z. B. aufgrund des Farbtons, des Kontrasts, der Hellig- keit oder dergleichen erlauben. Die Segmentierung kann auch da- hingehend modifiziert sein, daß nicht ein bestimmtes Objekt ausgewählt wird, sondern daß das gesamte Bild segmentiert wird.

Das komplette Digitalbild wird wie folgt in relevant Segmente eingeteilt. Das Bild wird vollständig in ein zu bestimmendes Objekt (eine zusammenhangende Pixelflache) und dessen Umge- bungssegmente sowie eventuelle Löcher segmentiert. Mittels Ge- wichtung der Umgebungssegmente und Löcher (hier gehen die Ent- fernung, Größe, Position und Kontrast usw. bezuglich des zu be- stimmenden Objektes ein) wird unter Verwendung von Fuzzy- Control-Klassifizierungsverfahren die wahrgenommene Farbe be- rechnet. Anschließend erfolgt ggf. die Bewertung und Klassifi- zierung jedes weiteren Segments in Bezug auf alle anderen Seg- mente z. B. mit dem Fuzzy-Control-Verfahren, wie es unten erläu- tert wird.

Beim nachfolgenden Segmentwachstum 34 werden zuerst die an das Startpixel angrenzenden Pixel erfaßt, deren H-Wert eine Diffe- renz vom H-Wert des Startpixels zeigt, die kleiner als ein vor- bestimmter Schwellwert ist. Anschließend werden die angrenzen- den Pixel der beim ersten Schwellwertvergleichsschritt ermit- telten Nachbarpixel des Startpixels untersucht, ob der H-Wert innerhalb eines vorbestimmten H-Intervalls um den H-Wert des Startpixels liegen. Durch diese Schwellwertvergleichsschritte erfolgt ausgehend vom Startpixel das Wachstum einer Pixelgruppe bis an die Grenzen des entsprechenden Objekts, in dessen Abbil- dungsbereich der Startpixel liegt, da an den Grenzen die H- Werte stärker als die zugelassene Toleranz (H-Intervall) verlan- derlich sind.

Es wurde festgestellt, daß die beim Segmentwachstum 34 ausge- wählten Bereiche in der Regel gut mit Grenzen oder Segmentgren- zen des Hintergrundes ubereinstimmen. Außerdem hat sich ge- zeigt, daß bei diesem Segmentwachstum Reflexe der Lichtquelle (häufig weiß) nicht mit ausgewählt oder segmentiert werden, selbst wenn sie innerhalb des betrachteten Objektes liegen.

Dies ist ein besonderer Vorteil des erfindungsgemäßen Verfah- rens, da sich die Klassifizierung der Farbwahrnehmung unabhän- gig von Reflexen in vielen Fällen als vorteilhaft erweist, da sich Reflexe nachteilig auf die Mittelwertbildung bzw. Integra- tion über die Objektfläche auswirken. Es ergeben sich zwar Ein- schränkungen bei der Ausgabe der Objektausdehnung, die bei praktischen Anwendungen als Sehhilfe jedoch in der Regel von geringer Bedeutung sind, was im Einzelfall vom Bildinhalt ab- hängen kann.

Bei der folgenden Beurteilung 35 wird das ermittelte Segment oder Objekt in Bezug auf seine geometrischen Eigenschaften be- wertet. Falls ein ausgewähltes Objekt bestimmten Randbedingun- gen nicht genügt, die zuvor festgelegt werden, z. B. wenn der gesamte Bildinhalt oder nur ein Pixel ausgewählt ist, so be- steht die Möglichkeit eines Rücksprungs zur Parameterwahl 32 und/oder zur Startpixelwahl 33. Diese Schritte können mit dem Segmentierungswachstum 34 und einer Beurteilung 35 so oft wie- derholt werden, bis ein ausreichend bestimmtes Ergebnis vor- liegt. Anschließend erfolgt eine Grenzermittlung 36. Dabei wird die äußere bzw. innere Umrandung des gewachsenen Objekts als Datensatz ermittelt. Die Objektsegmentierung umfaßt somit die Ermittlung aller Bildpunkte innerhalb der Umrandung.

Figur 5 zeigt beispielhaft eine bei Abbildung einer Ampel 50 (in der Originalvorlage : rote Farbe des Ampelmännchens) ermit- telte Grenze 51 des durch die Figur gebildeten Bereiches glei- chen Farbtons.

Das hier vorgestellte Segmentierungsverfahren eignet sich vor- teilhafterweise auch für die zweidimensionalen Bilder von rea- len komplexen Szenen mit dreidimensionalen Objekten. Falls die betrachteten Szenen in der Farb-tonebene keine Informationen über die Objektgrenzen liefern, so müssen Informationen aus an- deren Ebenen des jeweiligen Farbraumes oder sogar aus anderen Farbräumen hinzugezogen werden. Hierzu ist beispielsweise ein Rücksprung vom Beurteilungsschritt 35 zur Farbtransformation 31 implementierbar.

Die Objektsegmentierung gemäß Fig. 3 ist kein zwingendes Merk- mal des erfindungsgemäßen Verfahrens. Anwendungsabhängig kann die Segmentierung vollständig unterlassen oder durch einen an- deren Segmentierungsvorgang ersetzt werden, bei dem Objekte und Segmentgrenzen nicht aufgrund der Farbe sondern mit anderen Merkmalen erkannt werden (z. B. Segmentierung durch Beobachtung zeitabhängiger Positionsänderungen von Objekten oder der Kamera oder durch Verwendung von Kanten-Detektionsalgorithmen (z. B.

Gradientenverfahren) ). Bei der Segmentierung könnten dann auch Angaben über die Objektgeschwindigkeit, Bewegungsrichtung, Be- schleunigung und dergleichen als Ergebnis geliefert werden.

Nach der Grenzermittlung 36 erfolgt fakultativ die Segmentredu- zierung 30a (siehe auch Figur 1). Bei der Segmentreduzierung 30a werden die innerhalb der Umrandung ermittelten, zum Segment gehörigen Bildpunkte durch eine größere Bildpunktmenge ersetzt, die die zum Segment gehörigen Bildpunkte und weitere Bildpunkte zur Bildung einer vereinfachten Segmentfläche umfaßt. Bei- spielsweise wird im Rahmen der Segmentreduzierung 30a das in Figur 6 illustrierte, zunächst ermittelte unregelmäßige Bild- segment 61 durch das reduzierte Bildsegment 62 ersetzt. Das re- duzierte Bildsegment 62 ist beispielsweise, wie dargestellt, ein Rechteck mit Seitenlängen, die den maximalen Ausdehnungen des ursprünglichen Bildsegments in zwei zu einer senkrecht ste- henden Richtungen entsprechen. Alternativ kann z. B. auch ein reduziertes Bildsegment 63 in Form einer Ellipse gebildet wer- den. Nach Ermittlung aller zum reduzierten Bildsegment gehöri- gen Bildpunkte wird dem reduzierten Bildsegment ein mittlerer Farbwert zugeordnet, der dem Mittelwert über sämtliche Farbwer- te im ursprünglich segmentierten Bereich entspricht.

Im folgenden wird die Klassifizierung 40 der Objektfarbe (s.

Fig. 1) unter Bezugnahme auf das Flußdiagramm gemäß Fig. 4 und die Darstellung der Cluster-Zentren im RGB-Farbraum gemäß Fig.

6 erläutert. Zur Farbklassifizierung werden Methoden der Fuzzy- Logik verwendet. Hierzu zählen insbesondere die im folgenden als Fuzzy-Clustering bezeichnete einfache Cluster-Zuordnung und die im folgenden Fuzzy-Control bezeichnete komplexere Cluster- Zuordnung.

Ausgangspunkt der Klassifizierung ist das Fuzzy-Clustering. Die Kombination mit Fuzzy-Control oder die iterative, wiederholte Abarbeitung beider Verfahrensweisen (zur Erzeugung von Unter- klassen übergeordneter Hauptklassen) sind fakultativ zur Ver- besserung des Verfahrens realisierbar. Gemäß einer Ausführungs- form der Erfindung ist jedoch auch Fuzzy-Control, das genauere Farbwahrnehmungsangaben ermöglicht, alleine und ohne das vorhe- rige Fuzzy-Clustering implementiert, was zwar schneller Farb- wahrnehmungsangaben ermöglicht, dies jedoch mit einer gröberen Einteilung.

Beim Fuzzy-Clustering werden vorbestimmte Bezugs-Farbraume in unscharfe Hypersphären eingeteilt, in deren Zentren jeweils die wichtigsten Repräsentanten einer Wahrnehmungsklasse liegen.

Dies bezieht sich beispielsweise auf Farbton-, Helligkeits- oder Sättigungsklassen oder auf die von Berlin und Kay ermit- telten elf Farbklassen bezüglich der Benennung von Farben. Ei- nem segmentierten Objekt wird dann ein Farbmerkmal durch dessen Lage in Bezug auf die Hypersphären bzw. die Cluster-Zentren zu- geordnet. Bei der Fuzzy-Control-Klassifizierung erfolgt diese Zuordnung zusätzlich unter Berücksichtigung von weiteren, kom- plexen Merkmalen der Szene, wie z. B. den Farbwerten von Umge- bungsobjekten, Kontrastbeziehungen zu anderen Bildsegmenten, Abhängigkeiten von der Beleuchtung und dgl. Die mathematischen Grundlagen zu den Verfahren Fuzzy-Clustering und Fuzzy-Control sind an sich bekannt und werden beispielsweise in den Büchern von H. Kiendl ("Fuzzy Control methodenorientiert ", Oldenbourg Verlag, 1997), H. R. Tizhoosh ("Fuzzy Bildverarbeitung, Einfüh- rung in Theorie und Praxis "), SpringerVerlag, 1998, und L. A.

Zadeh ("Fuzzy sets", in :"Information and Control"8, 1965, 338-353) beschrieben.

Zusätzlich zu Fuzzy-Clustering und Fuzzy-Control können erfin- dungsgemäß sogenannte neuronale Fuzzy-Systeme implementiert werden, die lernfähig sind und nach entsprechenden Trainings- vergangen Bildszenen verarbeiten können, die nicht vorher ge- lernte Bilddatensätze beinhalten. Der besondere Vorteil der Fuzzy-Control-Klassifizierung besteht darin, daß anwendungsab- hängig eine beliebige Genauigkeit allein durch die Anzahl der berücksichtigten Regeln erzielt werden kann, ohne den bereits erzielten Präzisionsgrad zu verringern. Die Fuzzy-Control- Klassifizierung erlaubt beliebig viele Fallunterscheidungen un- ter Verwendung der unten erläuterten"WENN-DANN-Regeln". Außer- dem erlauben Fuzzy-Control-Verfahren eine Simulation des visu- ellen Wahrnehmungsprozesses analog zum Gehirn, wobei die Verar- beitung in verschiedenen Stufen erfolgt, die im Gehirn der Re- tina, den sogenannten seitlichen Kniehockern, dem primär visu- ellen Cortex, höheren Cortex-Ebenen, mit Modulen für Form, Far- be und Bewegung und dgl. zugeordnet werden können. Zwischen diesen Strukturen bzw. beim Fuzzy-Control-Verfahren zwischen den Merkmalsdimensionen besteht ein ständiger Informationsaus- tausch mit Zugriffen und Rückkopplungen zu den verschiedenen Verarbeitungsstufen.

Gemäß Fig. 4 wird beim Fuzzy-Clustering 41 wie folgt vorgegan- gen. Nachdem wie oben beschrieben zur Segmentierung des digita- len Bildes einer Videokamera unter Verwendung der Farbtonebene die Fläche um einen Startpixel in Richtung aller angrenzenden Pixel ausgedehnt wird, bis ein vorbestimmter Farbtondifferenz- Schwellwert überschritten ist, und damit ein bestimmter, einem Objekt oder Segment zugeordneter Bildbereich festgelegt ist, werden die Bildpunkte dieses segmentierten und ggf. reduzierten Bildbereiches im RGB-Raum betrachtet. Bei der RGB-Mittlung 42 werden alle zum Bildbereich gehörenden RGB-Werte gemittelt und zu einem Tripel aus RGB-Werten zusammengefaßt. Dieses Tripel mittlerer RGB-Werte besitzt eine bestimmte Position im RGB- Farbraum, der wie folgt in acht Objektfarbklassen (Hypersphären eingeteilt ist).

Fig. 7 zeigt beispielhaft den RGB-Farbraum mit den acht Objekt- farbklassen Schwarz, Weiß, Rot, Grün, Gelb, Blau, Cyan und Vio- lett. Die Cluster-Zentren finden sich an den Ecken eines Wür- fels (RGB-Würfel). Bei dem in Fig. 7 gezeigten RGB-Würfel ge- hört z. B. das RGB-Tripel mit den Werten (0/0/0) zu 100 % zur Farbklasse"Schwarz". Dementsprechend wird ein Zugehörigkeits- wert ermittelt, der die Zugehörigkeit eines bestimmten Tripels zu einer Farbklasse mit einer %-Angabe beschreibt. Der Zugehö- rigkeitswert u für das Tripel (0/0/0) beträgt beispielsweise für die Klasse"Schwarz"u=l und für alle anderen Farbklassen u=0. Die Zugehörigkeitswerte u werden beim Fuzzy-Clustering un- ter der Nebenbedingung ermittelt, daß sich die Zugehörigkeits- werte eines Tripels in Bezug auf alle Farbklassen zu 1 addie- ren. Die Berücksichtigung einer solchen Nebenbedingung ist je- doch nicht zwingend erforderlich. Die Zugehörigkeitswertep werden beispielsweise nach dem sogenannten"Fuzzy-c-Means"- Algorithmus (FCM) berechnet, der eine unscharfe Klassifizierung erlaubt (s. R. H. Tizhoosh in"Fuzzy-Bildverarbeitung. Einfüh- rung in Theorie und Praxis ", Springer Verlag 1998, S. 106 ff.).

Bei der Cluster-Ermittlung am RGB-Würfel werden beispielsweise folgende relevante Parameter vorgegeben : - Anzahl der Klassen : 8 (Schwarz, Weiß, Rot, Grün, Blau, Gelb, Cyan, Violett) Alternativ ist eine Entwicklung auf elf Farbklassen (gegebenen- falls unter Berücksichtigung des Umfeldes mit Fuzzy-Control- Klassifizierung) möglich (Schwarz, Weiß, Rot, Grün, Blau, Gelb, Violett, Rosa, Orange, Braun, Grau).

- Anzahl der Merkmale der einzelnen Objekte : 3 (R-, G-, B-Werte) - Wichtungsexponent (Maß für die Unscharfe): 2 - Initialisierungsmatrix : Einheitsmatrix - Abbruchsschwelle : 0. 001 Die Nebenbedingung, daß die Summe aller Zugehörigkeitsgrade u=1 ist, kann bei Modifizierung des Fuzzy-Clustering-Verfahrens (z. B. Ansatz nach dem"Possiblistic c-Means "-Verfahren) fallen- gelassen werden.

Das FCM-Verfahren ist auf kugelförmige Hypersphären beschränkt.

Es können alternativ andere Fuzzy-Clustering-Verfahren vorgese- hen sein, deren Sphären kompliziertere Formen umfassen. Dies ist von Vorteil, da die menschliche Farbwahrnehmung nicht voll- ständig mit kugelförmigen Hypersphären beschrieben werden kann.

Eine weitere Verbesserung der Farbwahrnehmungsangabe wird durch die Implementierung der Fuzzy-Control-Klassifizierung (s. u.) erreicht.

Nach der RGB-Mittlung 42 erfolgt somit die Ermittlung der Zuge- hörigkeitswerte p (43). Ein RGB-Tripel kann beispielsweise für ein konkretes Objekt die folgenden Zugehörigkeitswerte besit- zen: Schwarz: 0,1, Weiß: 0,2, Rot: 0,5, Grun: 0,0, Gelb: 0,1, Blau : 0, 0, Cyan : 0, 0, Violett : 0, 1.

Im weiteren Verfahren erfolgt die Ermittlung des maximalen Zu- gehörigkeitswertes umax (44). Gemäß einer ersten Ausführungsform der Erfindung wird als Ergebnis für die Objektfarbe des segmen- tierten Objekts der Name der Farbklasse mit dem größten Zugehö- rigkeitswert umax angegeben. Dies ist beim o. g. Beispiel der Zu- gehörigkeitswert p = 0, 5, so daß sich die Objektfarbe"Rot"er- gibt. Dieses Ergebnis wird dann mit der Datenausgabe 45a zur weiteren Verarbeitung vorbereitet. Alternativ kann vorgesehen sein, daß zusätzlich die Farbklasse mit dem zweitgrößten Zuge- hörigkeitsgrad u ausgeben wird, falls die Differenz zwischen dem ersten (größten) und zweiten (zweitgroßten) Zugehörigkeits- grad kleiner als ein vorbestimmter Schwellwert ist. Die Ergeb- nisausgabe würde dann beispielsweise lauten "Rot-Weiß".

Gemäß einer zweiten Ausführungsform der Erfindung schließt sich an das Fuzzy-Clustering die weitere Klassifizierung durch Fuz- zy-Control 46 an, wie es unten im einzelnen erläutert wird. Die hier beschriebene Klassen- oder Clusterzuordnung erfolgt unter dem beispielhaften Bezug auf den RGB-Raum. Die Wahl des zum Fuzzy-Clustering herangezogenen Farbraumes ist anwendungsabhän- gig modifizierbar. Entsprechendes gilt für die genaue Lage der Cluster-Zentren (Zentren der Hypersphären oder Farbklassen) im Farbraum. Es ist vorzugsweise vorgesehen, die Lage der Cluster- Zentren auf der Grundlage von Expertenwissen vorzugeben oder anhand von Beispielen zu bestimmen. Ferner muß die exakte Form der Hypersphären im Farbraum anwendungsabhängig gewählt werden.

Es ist möglich, durch Hinzunahme weiterer Dimensionen bzw. durch Verschieben der Cluster-Zentren und durch Verwendung ver- schiedener Clusteralgorithmen im Raum der Hypersphären eine An- passung des Fuzzy-Clustering an die konkrete Wahrnehmungsanwen- dung vorzunehmen. Dabei kann auch iterativ anhand von Bezugsob- jekten mit definierten Farben vorgegangen werden. Die Zahl der Hypersphären läßt sich gegenüber dem Beispielwert 8 erhöhen oder erniedrigen.

Bei der folgenden Fuzzy-Control-Klassifizierung 46 werden wie beim Fuzzy-Clustering 41 die Farbwerte des auswahlten oder seg- mentierten Objekts betrachtet. Im Rahmen der Schritte 47a, 47b, 47c... werden Zusatzparameter ermittelt, die bei der späteren Regelung oder Zuordnung von Farb-Clustern berucksichtigt werden sollen. Zu diesen Zusatzparametern zählen beispielsweise die Umgebungsfarben (47a) (hierzu wird das gesamte Bild segmen- tiert), die Beleuchtung (47b), Positionsparameter (47c), zu- sätzliches Expertenwissen (47d) und dgl. Zu den Beleuchtungspa- rametern (47b) zählen beispielsweise die Beleuchtungsart (Spot- beleuchtung, homogene Beleuchtung, mehrere Lichtquellen o. dgl. ), Farbwerte der Beleuchtung und die Beleuchtungsrichtung.

Die Positionsparameter können sich auf die geometrische Anord- nung der Objekte oder Abstandsinformationen oder dgl. beziehen.

Das zusätzliche Expertenwissen kann beispielsweise aus der Ver- teilung der Farbwerte extrahiert oder uber zusätzliche Geräte erfaßt werden und betrifft z. B. Oberflächeneigenschaften der betrachteten Objekt (Rauheit, Glanz) oder dgl.. Nach der Er- mittlung der Zusatzparameter (47) folgt die eigentliche Rege- lung/Klassifizierung des Fuzzy-Control. Bei der Fuzzy-Inferenz 48 werden die gewünschten Farbmerkmale eines segmentierten Ob- jekts mit Hilfe von"WENN-DANN"-Regeln (Entscheidungsregeln) eines Fuzzy-Reglers berechnet.

Die Implementierung der"WENN-DANN-Regeln"erfolgt beispiels- weise gemäß folgendem Schema (sog. Fuzzy-Inferenz) : WENN Farbwerte des ausgewählten Objektes = (x1/x2/x3) und Kontrastbeziehungen zum Umfeld =...

(z. B. Farbwerte des ersten angrenzenden Objektes = (Y1/Y2/Y3) und Werte der Beleuchtung =... und...

DANN wird das ausgewählte Objekt mit der Farbwahrnehmung (z. B. Blau, Hell, gesättigt usw. ) wahrgenommen und besitzt das Objekt einen Abstand von x Metern und ist y Zentimeter hoch und z breit, usw.

Entscheidungsregeln, die ausschließlich auf die L, a, b-Werte des Objektes (Center) und seines Umfeldes bezogen sind, können bei- spielsweise diese Form besitzen (zur Erläuterung des Term- Begriffes siehe unten) : WENN L-Umfeld = Term 1 und a-Umfeld = Term 2 und b-Umfeld = Term 5 und L-Center = Term 4 und a-Center = Term 5 und b-Center = Term 8 Dann Weiss = Term 1 Bei derartigen Schemata können alle Informationen bekannter Wahrnehmungsmodelle und auch zeitliche Objektänderungen berück- sichtigt werden.

Zur Ermittlung des Expertenwissens bzw. der Entscheidungsregeln (Schritt 47d) können Testreihen mit normalsichtigen Ver- suchspersonen durchgeführt werden. Das Expertenwissen kann in Form von Fuzzy-Regeln (ggf. iterativ) zur Verwendung in der Fuzzy-Inferenz 48 implementiert werden. Im folgenden wird die Fuzzy-Inferenz 48 mit einer Vielzahl von Entscheidungsregeln auf der Grundlage der zuvor bestimmten Objekt- und Umgebungs- farben (Schritt 47a) im einzelnen erläutert. Dabei wird von ei- ner Bildauswertung mit Segmentierung und Segmentreduzierung und direkter Anwendung des Fuzzy-Control-Verfahrens (ohne das Fuzzy-Clustering-Verfahren) ausgegangen.

Bei der Fuzzy-Inferenz 48 werden die vorab ermittelten (gemes- senen) Farbparameterwerte des reduzierten Segments (zum Bei- spiel Segment 62 in Figur 6) und des Umfeldes (siehe Bezugszei- chen 64 in Figur 6) mit einer Vielzahl vorab ermittelter und gespeicherter Entscheidungsregeln ausgewertet. Die Entschei- dungsregeln bilden einen Regelsatz, der wie folgt durch Ver- suchsreihen mit menschlichen Beobachtern erzeugt worden ist.

Die Ermittlung der Entscheidungsregeln erfolgt durch Versuchs- reihen, bei denen Versuchspersonen auf einem Monitor syntheti- sche Farbbilder mit einem mittleren Segment (z. B. 62 in Figur 6) und einem Umfeld (64 in Fig. 6) mit verschiedenen Farbmerk- malen (voreingestellte Farbparameterwerte, z. B. L, a, b-Werte) betrachten und jeweils die subjektive Farbwahrnehmung angeben.

Die Farbmerkmale des Bildes und die Angabe der Versuchsperson werden als Eingangsgrößen bzw. Ausgangsgrößen auf der Basis so- genannter Eingangs- bzw. Ausgangs-Terme für die Entscheidungs- regeln verwendet. Ein Eingangs-Term ist eine Fuzzy-Menge, deren Elemente aus Farbparameterwerten und Zugehörigkeitswerten be- stehen, die jeweils die Zugehörigkeit der Farbparameterwerte zum Term charakterisieren. Ein Ausgangs-Term ist eine Fuzzy- Menge, deren Elemente Farbwahrnehmungswerte (z. B. Rotanteil in %) und entsprechende Zugehörigkeitswerte in Bezug auf den Term umfassen.

Eine Gruppe von Entscheidungsregeln ist in Figur 8 illustriert.

Figur 8 zeigt eine graphische Darstellung der Zuordnung von Ausgangsgrößen entsprechend den in der rechten Spalte angegebe- nen Farbwahrnehmungen zu bestimmten Kombinationen von Eingangs- größen. Die Eingangsgrößen sind für das Segment in der Mitte (Center) für den L-Wert der Term 4 und fur die a- (Abszisse) - Werte ein Term zwischen Term 4 und Term 9 und für die b- Ordinate-Werte ein Wert zwischen Term 4 und Term 8. Für das Um- feld gelten als Eingangsgrößen für a : Term 5, für b : Term 7 und für L : Term 3. Je nach Einstellung der a- und b-Werte des Seg- ments gibt mindestens eine Versuchsperson ihre Farbwahrnehmung an. Beispielsweise wird für a = 6 und b = 7 für das Segment in der Mitte "braun" wahrgenommen, während sich für a = 9 und b = 4 eine Farbwahrnehmung, rosa" ergibt. Nach diesem Schema werden sämtliche, für eine konkrete Anwendung in Frage kommenden Ein- gangs-Term-Kombinationen (Reizkombination) für Versuchszwecke am Monitor dargestellt und die entsprechenden Entscheidungsre- geln als Implikationen entsprechend dem obigen Schema aufgenom- men und gespeichert. Jede vorgegebene Reizkombination führt für jede Farbwahrnehmungsklasse zu jeweils einer neuen Entschei- dungsregel. Beim dargestellten Beispiel ergeben sich für jede Reizkombination 11 Entscheidungsregeln, deren Konklusionen für die wahrgenommene Farbwahrnehmungsklasse beispielsweise (Aus- gangs-)Term 1 und fur alle nicht wahrgenommenen Farbwahrneh- mungsklassen (Ausgangs-) Term 0 lauten. Entsprechendes ist auch für andere Bildmerkmale (Kontrastbeziehungen oder dergleichen) möglich.

Ein für eine zuverlässige Farberkennung ausreichender Regelsatz kann rund 10. 000 bis 100. 000 oder auch mehr einzelne Entschei- dungsregeln umfassen, die hier jedoch nicht im einzelnen aufge- führt werden können. Jede Entscheidungsregel ist entsprechend dem oben genannten Schema gebildet und umfaßt im einfachsten Fall eine Implikation mit zwei UND-verknüpften Eingangsgrößen.

Die Eingangsgrößen umfassen beispielsweise die Farbmerkmale des (reduzierten) Segments und des Umfeldes mit den L-, a- und b- Variablen im oben genannten L*a*b*-Farbraum. Dabei können die Helligkeits- (L) bzw. Farb- (a-, b-) Merkmale durch Fuzzy- Mengen (Zugehörigkeitsverteilungen, Eingangs-Terme) beschrieben werden.

Im Rahmen der Fuzzy-Inferenz 48 erfolgt nach der Messung (ggf. mit Klassifizierung) der Farbmerkmale (Farbparameterwerte) des Segments und des Umfeldes zunächst eine Eingangs-Term- Zuordnung. Der Wertebereich jedes Farbparameterwertes wird durch eine Gruppe von Eingangs-Termen uberdeckt, die sich zu- mindest teilweise überlappen können. Die Zugehörigkeitsfunktio- nen der jeweiligen Eingangs-Terme besitzen beispielsweise die Gestalt einer Dreiecksfunktion. Für einen konkret gemessenen Farbparameterwert ergeben sich bei einfach überlappenden Termen zwei verschiedene Zugehörigkeitswerte zu zwei benachbarten Ein- gangs-Termen.

Es wird beispielsweise ein Farbbild mit einem mittig angeordne- ten Segment und einem farbigen Umfeld betrachtet. Für die L- Eingangsgrößen werden sechs Eingangs-Terme und für die a- und b-Eingangsgrößen jeweils elf Eingangs-Terme (Fuzzy-Mengen) ver- wendet. Das Ziel der Fuzzy-Inferenz 48 besteht nun darin, dem Segment einen Zugehörigkeitswert zu einer bestimmten (Farb-) wahrnehmungsklasse entsprechend der menschlichen Farbwahrneh- mung zuzuordnen. Diese Farbwahrnehmungsklasse wird unter Anwen- dung der unten erläuterten Operatoren aus elf möglichen Aus- gangsgrößen ausgewählt, für die jeweils zwei Ausgangs-Terme verwendet werden. Die Zahl der verwendeten Terme kann anwen- dungsabhängig verändert werden.

Bei einem einfachen Segment-Umfeld-Reiz werden insgesamt sechs Eingangsgrößen (drei Merkmale für das Segment und drei Merkmale für das Umfeld) ausgewertet. Beim folgenden Beispiel werden je- doch aus Ubersichtlichkeitsgründen nur zwei Eingangsgrößen (a, b) und eine Ausgangsgröße ("weiss") betrachtet. Eine Entschei- dungsregel soll z. B. heißen : "WENN a = Term 1 und b = Term 2, DANN"weiss = Term 0.

Der a-Wert (z. B. : 20) hat die Zugehörigkeit p (a = 20) = 0. 5 zum Eingangs-Term l, während der b-Wert (z. B. : 10) eine Zugehö- rigkeit u (b = 10) = 0. 3 zum Eingangs-Term 2 besitzt. Bei die- sem Beispiel werden die Zugehörigkeiten zu weiteren Termen der Einfachheit halber nicht betrachtet.

Zur Auswertung der Entscheidungsregel erfolgt zunächst ein Ag- gregationsschritt auf der Basis eines Minimum-Operators. Das "und" wird als Minimum interpretiert, das bei der beispielhaft angegebenen Entscheidungsregel mit Min (0. 5 und 0. 3) = 0. 3 ge- geben ist. Das Ergebnis des Aggregationsschrittes ist somit ei- ne reine Zahl.

Es schließt sich der Implikationsschritt an, der wiederum auf der Basis eines Minimum-Operators erfolgt. Die Ausgangsgröße "weiss" hat zwei überlappende Fuzzy-Mengen (Ausgangs-Term 0 und 1). Der Minimum-Operator bildet aus den Elementen des Termes 0 und dem Erfüllungsgrad der Regelpråmisse (0.3) jeweils das Mi- nimum (anschaulich bedeutet dies, daß der Term 0 auf der Hohe 0. 3 abgeschnitten wird). Das Ergebnis dieses Schrittes ist eine Fuzzy-Menge, die insbesondere ein Element einer Farbwahrneh- mungs-Ausgangsgröße und einen Zugehörigkeitswert entsprechend dem Minimum-Operator des Implikationsschrittes umfaßt.

Auf diese Weise (Aggregations- und Implikationsschritte) werden sämtliche Entscheidungsregeln durchgearbeitet, so daß sich eine Vielzahl von Fuzzy-Mengen entsprechend der Anzahl von Entschei- dungsregeln ergeben. Im weiteren Verlauf der Fuzzy-Inferenz 48 werden diese Fuzzy-Mengen noch weiterverrechnet.

Hierzu erfolgt zunächst ein Akkumulationsschritt mit einem Ma- ximum-Operator. Bei diesem Schritt wird aus allen Fuzzy-Mengen, die aus den Implikationsschritten gefolgt sind, eine neue Ver- einigungsmenge gebildet, in dem das Maximum der Einzelmengen verwendet wird. Das Ergebnis ist wiederum eine Fuzzy-Menge.

Schließlich folgt zur Ermittlung eines zahlenmäßigen Ergebnis- ses, z. B. eines Zugehörigkeitsgrades zwischen 0 und 1 fur die Ausgangsgroe"weiss"ein Defuzzyfizierungs-Schritt, bei dem nach der Schwerpunktmethode der Schwerpunkt der resultierenden Fuzzy-Menge gebildet wird. Die Schwerpunktmethode wird bei- spielsweise von H. R. Tizhoosh et al. (siehe oben) beschrieben.

Zur Ergebnisausgabe wird die Ausgangsgroße mit dem größten Zu- gehörigkeitsgrad als Ergebnis angegeben, z.B. "grün". Falls die Zugehörigkeitsgrade nahe beieinander liegen, kann auch vorgese- hen sein, daß als Ausgangsgröße zwei Farbwert mit dem größten und dem zweitgrößten Zugehörigkeitsgrad angegeben werden, z. B.

"grün-gelb". Das Ergebnis der Fuzzy-Inferenz 48 wird bei der Datenausgabe 45b zur weiteren Verarbeitung vorbereitet.

Es können auch andere Operatoren und Defuzzyfizierungsmethoden verwendet werden. Die Regelsätze müssen dann ggf. entsprechend angepaßt werden. Die beschriebene Methode besitzt jedoch den Vorteil einer hohen Robustheit und Leistungsfahigkeit. Die ver- wendete Fuzzy-Inferenz ist die sogenannte Mamdani-Inferenz. Er- finsungsgemäß können auch mit anderen Fuzzy-Inferenzen und De- fuzzyfizierungsmethoden Farbwahrnehmungen simuliert werden.

Der in Fig. 4 angegebene Schritt 49 bezeichnet eine weitere Mo- difizierung des erfindungsgemäßen Verfahrens durch die Kombina- tion der Fuzzy-Methoden mit neuronalen Netzwerken (neuronale Fuzzy-Systeme), wodurch eine Lernfähigkeit des Systems erzielt wird. Es kann vorgesehen sein, daß das neuronale Netz zusätz- lich unmittelbar nach der Datenerfassung (Bilderfassung) oder nach der Segmentierung eingebaut wird, um gelernte und nicht gelernte Biddatensätze unterscheiden zu können.

Die Ergebnisausgabe 45b bzw. 50 (s. Fig. 1) erfolgt anwendungs- abhängig in Datenform, als Anzeige oder als Ansage, oder mit mechanischen, durch den Nutzer fühlbaren Mitteln. Im medizini- schen Bereich erfolgt vorzugsweise der Einsatz eines Text- Sprach-Konverters, um die ermittelte Farbwahrnehmung mit einem Kopfhörer oder Lautsprecher hörbar zu machen, so daß die be- troffene Person Informationen über die Farbe, Größe, Position und/oder Entfernung der im Gesichtsfeld befindlichen Objekte erhält. Die Benennung von Farben erfolgt vorzugsweise zu Klas- sen von Farbnamen, die in den meisten Kulturen verwendet werden und z. B. von B. Berlin, P. Kay et al. ("Basic Color Terms. : Their Universality and Evolution ", Berkeley,CA ; University of California Press) und I. C. McManus ("Half-a-Million Basic Color Words - Berlin and Kay and the Usage of Color Words in Litera- ture and Science ", Perception 1997, VL 26 (N3), 367-370) be- schrieben sind. Die Ergebnisausgabe kann auch mit einer mecha- nische wirksamen Orientierungshilfe implementiert werden, wie sie in"Bild der Wissenschaft" (8/1998, S. 10) beschrieben ist.

Eine erfindungsgemäße Vorrichtung umfaßt gemaß der in Fig. 9 dargestellten Ausführungsform eine Datenaufnahmeeinrichtung 1 (z. B. Kamera, Scanner oder spektroskopische Anordnung), eine Datenerfassungs-Einheit 2, in der das RGB-Bild bestimmt wird, eine Transformations- und Recheneinheit 3, in der die Transfor- mation des RGB-Bildes in einem geeigneten Zielfarbraum erfolgt, eine Segmentierungs-Einheit 4 zur Ermittlung des Bildbereiches, für den nachfolgend in der Fuzzy-Einheit 5 die Farbwahrnehmung ermittelt werden soll. Zur Ergebnisausgabe ist die Fuzzy- Einheit mit einer Datenausgabe 6 (z. B. in Form eines Displays, Druckers und/oder Audiogerätes) verbunden. Die Komponenten 2, 3,4 und 5 der erfindungsgemäßen Vorrichtung sind vorzugsweise in einen als Mikrocomputer integriert ausgeführt. Die Transfor- mations- und Recheneinheit 3 ist bei technischen-industriellen Anwendungen vorzugsweise mit einer Anzeigeeinheit 3a verbunden, die zur Darstellung des Bildes der aufgenommenen Szene in der Farbtonebene eingerichtet ist. Die Anzeigeeinheit 3a ist entwe- der ein Zusatzmonitor oder in die Ausgabeeinheit 6 integriert.

Das erfindungsgemäße Farbwahrnehmungssystem kann wie folgt mo- difiziert werden. Es kann vorgesehen sein, beim Fuzzy-Control die einzelnen Pixel nicht als Tripel, sondern allgemein als Merkmalsvektoren zu betrachten, die neben den drei Farbparame- tern weitere, höhere Dimensionen, wie z. B. Wahrnehmungsparame- ter (z.B. Glanz, Oberflächeneigenschaften und dgl. ) enthalten.

Diese Fähigkeit zur Verallgemeinerung bzw. zur Einführung wei- terer Parameter stellt einen besonderen Vorteil der Erfindung dar. Herkömmliche Analysen von Bildszenen in angepaßten Wahr- nehmungsräumen sind häufig an einen bestimmten Effekt bei der Bildwahrnehmung angepaßt und nur beschränkt modifizierbar. Er- findungsgemäß kann hingegen jeder neue Wahrnehmungseffekt durch Erhöhung der Anzahl der"WENN-DANN-Regeln", der linguistischen Terme (Wahrnehmungsbenennungen) und/oder der Parameterzahl oder verschiedene Fuzzy-Regelungsverfahren in den beim Fuzzy-Control eingeführten Vektoren berücksichtigt werden, ohne daß die ur- sprünglichen Parameter verloren gehen und die bis dahin er- reichte Präzision abnimmt.

Wegen der bevorzugten Anwendung als Sehhilfe wurde oben bei der Bildaufnahmeeinrichtung auf eine farbige Bildaufnahme auf der Basis von RGB-Arrays Bezug genommen. Die menschliche Retina enthält drei Zapfenarten mit jeweils breitbandigen, sich über- lappenden Spektren. Bei nicht-medizinischen Anwendungen kann jedoch ein Interesse bestehen, eine höhere Spektral-Auflösung einzuführen, so daß statt einer RGB-Bildaufnahme eine Bildauf- nahme mit Spektren-Arrays mit einer größeren Anzahl spektraler Empfindlichkeitsmaxima durchgeführt wird. Ferner kann statt der zweidimensionalen Bildaufnahme eine dreidimensionale Bildabta- stung oder analog zur menschlichen Wahrnehmung die Bildaufnahme mit zwei Kameras unterschiedlicher Positionen (Paralaxe) vorge- sehen sein. Dadurch wird bei der Objekterfassung die Tiefenin- formation berücksichtigt. Bei der sprachkonvertierten Ergebnis- ausgabe können Zusatzinformationen zu den betrachteten Objek- ten, wie z. B."links","rechts","oben","unten","Mitte", oder Informationen zur Beleuchtung (Richtung etc. ), zu Objektmaßen, Entfernungen oder Flächenanteilen von Objekten ausgegeben wer- den.

Die erfindungsgemäße Farberkennung kann mit einer Schrifterken- nung kombiniert werden, z. B. unter Verwendung des Programms "Corel OCR-Trace". In diesem Fall erfolgt neben der Farbwahr- nehmungsausgabe auch eine Sprachausgabe erfaßter Worte in einer Bildszene (z. B. Schilder o. dgl.).