Für die dreidimensionale Vermessung von Gegenständen wird seit vielen Jahren das Prinzip des"codierten Lichtansatzes" (CLA) verwendet. Dabei beleuchtet ein Projektor ein Objekt nacheinander mit verschiedenen Lichtmustern, mit strukturier- tem Licht. Eine Kamera nimmt Bilder des so beleuchteten Ob- jektes auf. Projektor, Kamera und Objektpunkt bilden dabei ein Dreieck. Zur Berechnung der Punktkoordinaten auf der Ob- jektoberfläche wird die Triangulation eingesetzt. Vorausset- zung dafür ist, daß die räumlichen Positionen von Projektor und Kamera in einem festen Koordinatensystem vorher bekannt sind. Außerdem muß für jeden Punkt des Objektbildes ein Win- kel bekannt sein, unter dem der Projektor den Objektpunkt beleuchtet (Fig. 2). Die anfangs bekannten Positionsdaten werden durch einen Kalibriervorgang gewonnen, der zu einem Objektpunkt zugehörige Kamerawinkel K des Sichtstrahles der Kamera ist durch die Bildpunktkoordinaten und durch die Daten aus der optischen Kamerakalibrierung bekannt.

Der"Codierte Lichtansatz"löst die Bestimmung des Winkels C dadurch, daß nacheinander eine Reihe von streifenförmigen Lichtmustern mit variierender Streifenbreite auf das ruhende Objekt projiziert wird und davon jeweils Bilder aufgenommen werden und daß die hellen und dunklen Bildpunkte des so be- leuchteten Objektes für jeden Bildpunkt getrennt zu einer Co- dierung zusammengesetzt werden, so daß aus der Codierung auf den Projektionswinkel geschlossen werden kann.

Weil bei diesem Verfahren jeder Objektpunkt während sämtli- cher Bildaufnahmen mit den verschiedenen projizierten Mustern seine Lage beibehalten muß, eignet dieses Verfahren sich gut für statische, unbewegte Objekte, jedoch nicht für bewegte oder sich verformende Objekte. Demnach ist der Einsatz bei der Personenidentifizierung für Gesichter oder andere Körper- teile oder bei bewegten Objekten auf einer Transporteinrich- tung nicht zu empfehlen. Zur Verbesserung des Verfahrens wur- den verschiedenartige Vorschläge gemacht.

In der Literaturstelle [1] wird vorgeschlagen, nur ein einzi- ges Muster zu projizieren und dieses Muster aus Gruppen von farbigen vertikalen Streifen zusammenzusetzen, die aus Teil- gruppen bestehen, welche im gesamten Muster einzigartig sind und dadurch im Bild einer Farbkamera identifiziert werden können. Wenn diese Teilgruppen nicht gestört oder beschädigt werden, kann aus ihnen für jeden Farbstreifen die Projektor- Lichtebene bestimmt und die Triangulation durchgeführt wer- den. Je länger jedoch die Teilgruppen sind, um so wahrschein- licher sind Störungen, die beispielsweise durch Tiefensprünge oder Verdeckungen am Objekt entstehen. Dies führt zu nicht oder falsch identifizierten Gruppen und damit zu Fehlern bei der dreidimensionalen Koordinatenbestimmung.

In der Literaturstelle [2] ist bei Untersuchungen bei Gruppen der Länge 6 mit vier Farben bei simulierten Störungen der Mu- ster herausgefunden worden, daß bis zu 20% aller Streifen nicht bestimmt werden konnten und bis zu ca. 8% falsch ent-

schieden wurden. Daher muß diese Methode der Bestimmung der Streifennummer aus horizontalen Gruppen von vertikalen Farbstreifen als nicht zufriedenstellend bewertet werden.

Allgemein kann gesagt werden, daß zur Bestimmung des Projek- tionswinkels eines Oberflächenpunktes eines Objektes dessen Umgebung betrachtet werden muß, wenn nur ein einziges Muster projiziert werden soll. Je größer die Umgebung eines Bild- punktes ist, die zur Bestimmung (Decodierung) des Projekti- onswinkels nötig ist, desto größer ist das Risiko der Bescha- digung der Codierung durch Tiefensprünge oder Verdeckungen.

Eine Übersicht über bekannte Verfahren zur dreidimensionalen Vermessung bietet die Literaturstelle [3].

Der Erfindung liegt die Aufgabe zugrunde, eine zuverlässige Lichtcodierung zur dreidimensionalen Bestimmung von Oberflä- chenkoordinaten eines Objektes bei Verwendung nur eines ein- zigen projizierten Musters bereitzustellen, womit Verfäl- schungen durch fehlerhafte Auswertung der Codierung oder durch eine Bewegung des Objektes eliminiert sind.

Die Lösung dieser Aufgabe geschieht durch die Merkmalskombi- nation entsprechend Anspruch 1.

Vorteilhafte Ausgestaltungen können den Unteransprüchen ent- nommen werden.

Die Erfindung beruht darauf, daß zweidimensionale Farbmuster aus einzelnen Musterelementen zusammengesetzt werden können, die sich farblich oder in ihrer spektralen Zusammensetzung in einer vorgegebenen Art unterscheiden lassen und bei denen der Projektionswinkel im aufgenommenen Bild des mit dem Farb- muster beleuchteten Objektes eindeutig rekonstruiert und je- dem Musterelement zugeordnet werden kann. Dies geschieht, in- dem die Farbe bzw. die spektrale Zusammensetzung eines ausge- wählten Musterelementes gemessen wird und indem diese Farbe

oder spektrale Zusammensetzung mit einem der in einer Zeile, welche beispielsweise ungefähr horizontal ausgerichtet ist, benachbarten Musterelemente und mit einem der in einer Nach- barzeile befindlichen benachbarten Musterelemente verglichen wird. Die Codierung für ein Musterelement besteht dabei also aus der Farbe des Musterelementes selbst und aus dem Farb- oder Spektral-Unterschied zu einem seiner Nachbarn in vor- zugsweise horizontaler Richtung und einem seiner Nachbarn in einer Richtung, die ungefähr senkrecht dazu liegt. Damit ist die zur Codierung nötige lokale Umgebung auf ein Minimum, nämlich auf zwei der unmittelbaren Nachbarn beschränkt. Die Codierung ist derart ausgelegt, daß in einem Farbmuster die Kombination des einen aktuell betrachteten Musterelementes mit einem seiner unmittelbar benachbarten Elemente in der Zeile und mit einem seiner unmittelbar benachbarten Elemente aus einer Nachbarzeile in Richtung der Zeile einzigartig ist.

Die geometrische Form der Musterelemente kann beliebig sein, beispielsweise polygonförmig (Dreieck, Viereck, Sechseck...) oder auch kreisförmig. Die Richtungen der vorzugsweise hori- zontalen Nachbarschaft innerhalb einer Zeile und der vorzugs- weise vertikalen Nachbarschaft in Richtung auf eine Nachbar- zeile müssen nicht aufeinander senkrecht stehen, können sich jedoch um 90° unterscheiden. Es ist vorteilhaft, ein Farbmu- ster aus Musterelementen zusammenzusetzen, die längliche Rechtecke darstellen. Insbesondere werden kurze, vertikal stehende Streifen eingesetzt, die sich in horizontaler und in vertikaler Richtung systematisch in ihren Farben oder in ih- rer spektralen Zusammensetzung unterscheiden. Werden z. B. acht verschiedene Farben verwendet, beispielsweise additiv aus den drei Grundfarben rot, grun, blau zusammengesetzte, die mit den Zahlen 0,1,2,... 7 bezeichnet werden, so kann ein Teil des Farbmusters aus der horizontalen Anordnung von acht vertikalen Streifenabschnitten mit den Farben 0,1,2, 3,4,5,6,7 bestehen, und ein anderer Teil des Farbmusters aus der Anordnung 0,7,6,5,4,3,2,1. Diese beiden Teile lassen sich alleine durch einen Vergleich mit einem der hori-

zontalen Nachbarn unterscheiden, weil bei der ersten Gruppe der Unterschied der Fa-bnummern aufsteigend und bei der zwei- ten Gruppe (modulo 8 !) absteigend ist. Nebeneinander angeord- net ergibt sich z. B. die Farbsequenz der Länge 16 :"0,1,2, 3,4,5,6,7,0,7,6,5,4,3,2,1". Diese kann periodisch mehrmals nebeneinander, also in einer Zeile wiederholt wer- den. Um die verschiedenen Perioden des gesamten Farbmusters voneinander unterscheiden zu können, wird oberhalb und unter- halb dieser Streifensequenz, d. h. in benachbarten Zeilen ei- ne andere Streifensequenz angeordnet, deren Farbnummern sich in vertikaler Richtung durch verschiedene Differenzen der Farbnummern unterscheiden lassen.

Um die Anzahl der Musterelemente bzw. deren Größe an die Oberflächenstruktur und an die geforderte Genauigkeit der Auflösung anzupassen, wird das Farbmuster mit entsprechend langen Zeilen mit wiederholten Sequenzen und aus einer Viel- zahl von zumindest zwei unterschiedlich ausgebildeten Nach- barzeilen aufgebaut. Aus dem zweidimensionalen Farbmuster läßt sich im aufgenommenen Kamerabild innerhalb der Sequen- zen, also innerhalb einer Zeile die horizontale Position ei- nes Oberflächenpunktes innerhalb der Sequenz und damit der Projektionswinkel bestimmen. Die horizontale Position ei- nes Musterelementes ist also direkt umrechenbar auf den Pro- jektionswinkel 4). Insgesamt ist jede Farbe eindeutig klassi- fizierbar und von jeder anderen unterscheidbar.

Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, zwi- schen zwei Zeilen einen Trennstreifen mit einer von sämtli- chen Musterfarben unterschiedlichen Farbe oder spektralen Zu- sammensetzung zu plazieren. In dieser Variante ist die Farbgleichheit zweier in Nachbar-Zeilen unmittelbar benach- barter Musterelemente zugelassen.

Im folgenden werden anhand von schematischen Figuren Ausfüh- rungsbeispiele beschrieben.

Figur 1 zeigt Mustersequenzen S1 und S2 sowie ein daraus auf- gebautes Farbmuster, Figur 2 zeigt ein Schema zur Berechnung von dreidimensionalen Koordinaten an einer Objektoberfläche mit einer Farb- musterprojektion, Figur 3 zeigt einen Ausschnitt aus einem Farbmuster, Figur 4 zeigt einen Ausschnitt aus einem Farbmuster, wobei zwischen den Zeilen Trennstreifen vorhanden sind.

In der Figur 1 sind im oberen Teil zwei Mustersequenzen Sl und S2 dargestellt. Die Sequenz Sl besteht hier aus zwei gleichen Hälften 7,8. Die Sequenz S2 besteht aus zwei unglei- chen Teilen 71,81. Die Zahlen entsprechen jeweils einer im Farbmuster vorhandenen Farbe, wie es im unteren Teil der Fi- gur 1 dargestellt ist. In dem im mittleren Teil der Figur 1 dargestellten Farbmuster 9 sind die Mustersequenzen S1 und S2 als Doppelzeile insgesamt viermal untereinander gereiht. In dieser Mustersequenz ist die horizontale Differenz zwischen zwei benachbarten Musterelementen 10 größer als l. Die verti- kale Differenz ist für die erste Hälfte (7,71) entweder 1 oder-7, was bei 8 verschiedenen Farben gleichwertig ist. Die in Figur 1 dargestellten Teilsequenzen 7,8 der Mustersequenz S1 enthalten alle Variationen, d. h. Teilmengen unter Beach- tung der Reihenfolge, von zwei aus acht Ziffern mit horizon- talen Differenzen, die t 1 sind. Auch die um in der vertika- len Differenz 1, 2 oder 3 (modulo 8) erhöhten Nummern haben die genannten Eigenschaften, so daß sich die Mustersequenz S2 als Nachbarzeile zur Sequenz S1 eignet, damit sich durch den Vergleich eines Musterelementes mit unmittelbar benachbarten Musterelementen aus benachbarten Zeilen ein Farbunterschied ergibt, mit dessen Hilfe sich die erste Hälfte 7,71 der Se-

quenzen S1 und S2 von der zweiten Hälfte 8,81 unterscheiden läßt, so daß trotz der Wiederholung der Teilsequenz 7,8 jedes Musterelement durch Vergleich der Elemente in der Nachbarzei- le in der Gesamtsequenz in Zeilenrichtung eindeutig lokali- sierbar ist. Das Farbmuster 9 kann um weitere Sequenzen in Zeilenrichtung erweitert werden, welche andere vertikale Farbnummerndifferenzen, z. B. 0,3 und 4, aufweisen. Nachdem in einem Farbmuster 9 jeweils unterschiedliche Farben anein- anderstoßen und Grenzbereiche oder Grenzzonen bilden, kommt es darauf an, die Farbunterschiede zu detektieren. Soll bei- spielsweise anstelle der vertikalen Differenz von 1 oder-7 die vertikale Differenz = 0 sein, d. h. die Farbgleichheit zwischen vertikal benachbarten Musterelementen 10 wird zuge- lassen, so müssen in vorteilhafter Weise horizontale Trenn- streifen 13 zwischen den Zeilen 4 eingefügt sein. Diese Trennstreifen weisen eine zu sämtlichen Farben der Musterele- mente 10 unterschiedliche Farbe auf. Die Farbe der Trenn- streifen kann vorzugsweise schwarz sein. In diesem Fall kann beispielsweise, wenn der vertikale Unterschied zwischen be- nachbarten Musterelementen = 0 ist, die Unterscheidung zwi- schen den Musterelementen benachbarter Zeilen vorgenommen werden, weil beispielsweise schwarze Trennstreifen 13 die Grenzen zwischen Musterelementen in vertikaler Richtung dar- stellen.

Zur Decodierung der absoluten Position eines Musterelementes 10 innerhalb einer Sequenz im Kamerabild ist zunächst seine Farbe zu bestimmen. Das Ziel ist, die Bestimmung des Projek- tionswinkels O. Um im Bild seine Nachbarn zu finden, sind die Konturen des am Objekt 3 projizierten und durch die Kame- raoptik abgebildeten Musterelementes zu bestimmen. Dieses ist im Bild allgemein nicht rechteckig und nicht genauso wie im projizierten Muster ausgerichtet. Die zu detektierenden Kon- turen sind die Grenzen zu den benachbarten Musterelementen 10. Durch eine vorausgegangene Kalibrierung von Projektor 1 und Kamera 2 und durch die vorzugsweise horizontale Ausrich- tung der Zeilen im Projektionsmuster kann die Ausrichtung der

Musterlelemente und Sequenzzeilen im Bild rekonstruiert wer- den. Wenn eine der Konturen des Musterelementes überschritten wird, verändert sich der Farbwert bzw. die spektrale Zusam- mensetzung. Dieser bzw. diese kann zum Vergleich der Farb- nummern mit dem Nachbarelement gemessen werden.

Bei Störungen und bei Fällen unsicherer Entscheidung kann auch der Vergleich der berechneten dreidimensionalen Koordi- naten mit denen der Umgebung eines Objektpunktes 6 zur Ver- meidung oder Korrektur von Fehlern beitragen. Dies entspricht einem Abgleich der errechneten Oberfläche im dreidimensiona- len Modell.

Anstelle eines herkömmlichen Projektors mit Diapositiv kann auch ein steuerbarer Bildmatrix-Projektor verwendet werden, welcher durch ein Videosignal gesteuert wird und mit einer aktiven Matrix von Lichtmodulatoren das im Videosignal ent- haltene Musterbild erzeugt und mit einer Optik auf das Objekt 3 projiziert. Die Lichtmodulatoren der bilderzeugenden ge- steuerten Matrix können LCD-Elemente für Durchlichtdämpfung oder solche mit reflektierenden Schichten sein. Es können auch Matrizen von Mikrospiegeln, Laserdioden oder anderen lichterzeugenden Elementen eingesetzt werden. Schließlich kann ein flächiges Farbmuster 9 auch durch das zeilenweise Bewegen, Scannen, wie beim Fernsehen, einer einzigen Licht- quelle über einen Raumsektor erzeugt und projiziert werden.

Die verschiedenen Technologien zur Lichtmodulation können in solche mit Lichterzeugung, mit Lichtdampfung beim Durchgang von Licht, mit Lichtreflexion oder durch zweidimensionales Scannen unterteilt werden.

Ein Vorteil der Mustererzeugung mit einem steuerbaren Matrix- projektor im Vergleich zur Projektion eines festen Diapositi- ves liegt darin, daß nach Auswertung eines zuerst aufgenomme- nen Referenzbildes das anschließend erzeugte Muster in seiner lokalen Helligkeit, seinem Kontrast oder in der Anzahl oder Auswahl der Farben gesteuert und damit optimal an die Eigen-

schaften des Objektes 1-n Bezug beispielsweise auf seine Hel- ligkeit oder Farbe angepaßt werden kann.

Figur 2 zeigt ein Schema für eine dreidimensionale Koordina- tenvermessung durch Triangulation mit Farbprojektion. Zur Triangulation sind der Projektor 1, die Kamera 2 und das Ob- jekt 3 an den Ecken eines Dreiecks angeordnet. Die Strecke zwischen Projektor 1 und Kamera 2 wird als Basis 14 bezeich- net und ist bekannt. Der Projektor 1 bildet ein Farbmuster 9 auf der Oberfläche eines Objektes 3 ab. Zu vermessen sind ei- ne Vielzahl von Oberflächenpunkten 6 des Objektes 3, wobei jeweils die dreidimensionalen Koordinaten des Objektpunktes ermittelt werden. Zur Berechnung wird vorzugsweise das Ver- fahren der Triangulation eingesetzt. Bei diesen Berechnungen sind zum einen der Kamerawinkel K und zum anderen der Projek- tionswinkel wichtig. Durch den Winkel kann jedem Objekt- punkt 6 eine Position relativ zu Projektor 1 und Kamera 2 zu- geordnet werden. Der zugehörige Winkel K des Sichtstrahles der Kamera ist durch die Bildpunktkoordinaten und die Daten aus der optischen Kamerakalibrierung bekannt. Die in Figur 2 durch ein Farbmuster 9 in Form einer aufeinander folgenden Reihe verschiedener Farben angegebene Beleuchtung stellt eine Codierung dar, mittels der die Position eines Musterelementes in dieser Sequenz eindeutig ermittelbar ist. Die Buchstaben R-G-B stehen für Rot-Grün-Blau.

Figur 3 zeigt einen Ausschnitt entsprechend dem Ausschnitt III-III in Figur l. Dabei sind die entsprechend der Codierung in Bezug zu bringenden Elemente des Farbmusters 9 gekenn- zeichnet. Ein aktuell betrachtetes Musterelement 10 ist be- nachbart von Musterelementen 11, die in diesem rechtwinkligen System horizontal benachbart sind und von Musterelementen 12, die vertikal benachbart sind, also in benachbarten Zeilen auftreten. Die Zeilen 4 stehen ungefähr senkrecht zu Spalten 5.

Figur 4 zeigt einen Ausschnitt aus einem Farbmuster 9 mit Zeilen 4 und Spalten 5, wobei Musterelemente 10 markiert sind. Durch die zwischen den Zeilen 4 vorhandenen Trennstrei- fen 13 mit einer zu den Farbelementen unterschiedlichen Farbe wird die Variante der Erfindung angedeutet, die auch eine Farbgleichheit von in Spalten 5 benachbarten Musterelementen zuläßt.

Entsprechend der Erfindung wird ein zweidimensionales Farbmu- ster, bestehend aus farbigen Musterelementen 10, verwendet, das außer in der Farbe eines Musterelementes auch in den Be- ziehungen zu den unmittelbaren Nachbarn dieses Musterelemen- tes Informationen enthält, d. h. codiert ist. Durch die Be- stimmung dieser Farben zusammen mit den Nachbarschaftsbezie- hungen kann auf die Position im Farbmuster zurückgeschlossen werden. Es gelingt damit ein äußerst kompaktes und daher sto- rungssicheres Muster für die Codierung des Projektionswinkels C für die dreidimensionale Vermessung durch die aktive Tri- angulation herzustellen. Somit ist es möglich, durch ein ein- ziges Muster, das mit einem Projektor 1, üblicherweise einem Diaprojektor, auf ein zu vermessendes Objekt projiziert wird, eine Codierung zur Positionserkennung von Objektpunkten 6 aufzubringen. Somit entfällt das Erfordernis, entsprechend dem codierten Lichtansatz mehrfache Belichtungen mit wech- selnden Mustern durchzuführen. Entsprechend der Erfindung ist eine einzige Beleuchtung mit diesem einzigen Muster ausrei- chend. Falls zur Erhöhung der Erkennungssicherheit ein Refe- renzbild bei gleichmäßiger weißer bzw. spektral gleich ver- teilter Objektbeleuchtung aufgenommen werden soll, wären ma- ximal zwei Beleuchtungen erforderlich. Die Aufnahme eines Re- ferenzbildes, eines normalen Farbbildes, das die Eigenfarben des Objektes wiedergibt, ist zur Bestimmung der Farben im Bild insbesondere bei farbigen Objekten hilfreich. Bei Objek- ten mit schwacher Farbvariation, zum Beispiel bei grauen oder weißen Objekten, genügt eine Bildaufnahme des Objektes mit projiziertem Muster für die Ermittlung der dreidimensionalen Koordinaten.

Anwendungsfälle für die Erfindung sind insbesondere die Er- fassung der Gesichtsform einer Person, die Gesichtserkennung oder auch die Erkennung von Gesten. Eine Zusammenfassung der Vorteile ergibt folgendes : -es ist lediglich die Projektion eines einzigen Musters not- wendig, -die Codierung ist durch die Beschränkung auf die allernäch- sten Nachbarschaftsbeziehungen durch Vergleich in horizon- taler und vertikaler Richtung äußerst störungsfrei, -die horizontale und vertikale Codierung geschieht gleich- zeitig, -durch die Verwendung der waagerecht und senkrecht benach- barten Musterelemente eines aktuell zu detektierenden Mu- sterelementes geschieht weiterhin eine Minimierung des Ortsbereiches bei der Codierung, da diagonal benachbarte Elemente nicht berücksichtigt werden, -die Codierung ergibt die eindeutige Bestimmung eines Mu- sterelementes im projizierten Farbmuster in Zeilenrichtung und damit die Bestimmung des Projektionswinkels @, wobei anschließend durch Triangulation die dreidimensionalen Ko- ordinaten dieses Objektpunktes 6 berechenbar sind, -die Aufnahme eines Referenzbildes ermöglicht eine Störlicht- kompensation, wobei das Referenzbild ohne Einfarbmuster mit gleichmäßiger Beleuchtung aufgenommen wird.

Literaturhinweise : [1] K. L. Boyer, A. C. Kak,"Color-Encoded Structured Light for Rapid Active Ranging", IEEE PAMI 9 (1), 1987 [2] H. Hügli, G. Maitre,"Generation and Use of Color Pseudo Random Sequences for Coding Structured Light in Active Ranging", SPIE Vol. 1010 Industrial Inspection, 1988 [3] X. Jiang, H. Bunke,"Dreidimensionales Computersehen", Springer Verlag 1997