Farbkodierung für 3D-Messung insbesondere bei transparenten streuenden Oberflächen

Gebiet der vorliegenden Erfindung sind Vorrichtungen zur Ermittlung von dreidimensionalen Oberflächenkoordinaten eines Objektes mittels optischer Farbtriangulation und entsprechende Verfahren.

Die Messung der dritten Dimension einer Oberfläche wird in vielen Bereichen der Medizintechnik zunehmend wichtig. Beispielsweise muss in der minimal invasiven Chirurgie das Fehlen der Größen- und Abstandseinschätzung über den direkten Blick durch messende Verfahren ersetzt werden. Darüber hinaus können Oberflächendaten ,die zum Beispiel innerhalb des Bauchraums während einer Operation gewonnen werden, mit Daten, die durch andere diagnostische Verfahren aufgenommen wurden, wie dies beispielsweise die Magnetresonanz, die Com- putertomographie oder Ultraschallverfahren sind, abgeglichen werden, um Organe oder erkranktes Gewebe besser zu erkennen oder zu lokalisieren. Es sollen ebenso Veränderungen durch eine "neue" Lage des Patienten während einer Operation oder durch periodische Lageveränderungen, die beispielsweise durch die Atmung verursacht werden, berücksichtigt werden. Herkömmlicherweise gibt es zahlreiche 3D-Messverfahren, wie beispielsweise die phasenkodierte aktive Triangulation oder das Laserscanning, welche prinzipiell für die beschriebene Anwendung geeignet sind. Jedoch sind diese Verfahren auf die Mes- sung von nicht transparenten Oberflächen, wie sie häufig in der industriellen Messtechnik vorkommen, zugeschnitten. Organische Gewebe weisen jedoch eine wesentlich komplexere Wechselwirkung mit Licht auf, sind teilweise wellenabhängig transparent und besitzen ein Lichtstreuvermögen im Volumen, welches die Struktur eines projizierten Musters deutlich verändert und seine Wiedererkennung in einem Kamerabild zu SD- Datenrekonstruktion bei aktiven Triangulationsverfahren er- schwert. Dadurch entstehen Lücken in der 3D-Oberflache oder die Messunsicherheit kann stark ansteigen.

Im Bereich der dentalen Medizin wird herkömmlicherweise mono- chromatisches Licht für die Phasentriangulation eingesetzt und zur Vermeidung des Eindringens von Licht in den Zahnschmelz eine weiße Farbe aufgesprüht. Dies ist für den Patienten ein unangenehmer zusätzlicher Prozessschritt, der die Akzeptanz des Verfahrens beeinträchtigt.

Ein für medizintechnische 3D-Anwendungen besser geeignetes Verfahren offenbart die WO 01/48438. Diese Offenbarung schlägt vor, dass durch die Ausgestaltung eines zweidimensionalen Farbmusters bestehend aus farbigen Musterelementen ein besonders kompaktes und daher störungssicheres Farbmuster für eine Kodierung bereitzustellen. Ziel ist die Ermittlung einer Verschiebeposition für ein Musterelement in der Bildaufnahme des zweidimensionalen auf ein Ojekt projizierten Farbmusters. Durch anschließende Triangulation bei bekannter Position des Projektors in einer Kamera können die dreidimensionalen Daten eines Objektpunktes berechnet werden.

Ursprünglich wurde die farbkodierte Triangulation (Colour co- ded Triangulation; CCT) ebenso für medizintechnische Applika- tionen entwickelt und weist deutliche Vorteile bei der Messung von halbtransparenten diffus streuenden Medien auf. Applikationen können eine dreidimensionale Messung des menschlichen Gesichts für den biometrischen Einsatz in der kosmetischen Industrie, ein dreidimensionales Scannen von Ohrabdrü- cken sein, um mittels dieser Daten optimal angepasste Hörgeräte zu produzieren, oder ein direktes Scannen der Oberfläche des Gehörgangs mit einem speziell entwickelten CCT-Scanner. Der Vorteil dieses Messverfahrens ist, dass es viele Vorteile der 3D-Messung mittels aktiver Triangulation aufweist und darüber hinaus sehr schnell und vergleichsweise robust ist. Schnell bedeutet, dass es in der Lage ist, in Echtzeit zu messen, da nur eine Bildaufnahme für die Rekonstruktion der dreidimensionalen Datensätze erforderlich ist. Robust heißt, dass es durch die Verwendung der Farbkodierung des projizierten Musters eine verhältnismäßig gute Datenrekonstruktion auch bei biologischen Oberflächen ermöglicht, da es bei der Dekodierung Farbübergänge beziehungsweise Farbkanten sucht und auf die rein intensitätsbasierte Datenrekonstruktion verzichtet .

Bei der Farbtriangulation CCT werden bisher Farbstreifenmuster mit identischen Streifenbreiten für alle Farben gewählt. Dies ist ein sinnvoller Ansatz bei Objekten, die keine oder eine sehr geringe Eindringtiefe in das Objektmedium besitzen und der Wert der Modulationstransferfunktion für alle Farben (Lichtwellenlängen) nahezu gleich ist. Bei biologischen Objekten bricht die Modulationstransferfunktion (MTF) mit dem Grad der Volumenstreuung insbesondere bei hohen Ortsfrequenzen ein. Tendenziell erhöht sich die Volumenstreuung mit der Wellenlänge. Tatsächlich hängt der Effekt auch vom Schicht - aufbau beispielsweise der menschlichen Haut ab. Für das Design herkömmlicher Farbmuster werden entsprechende Streuungen nicht berücksichtigt.

Im Dentalbereich wird die Oberfläche von Zähnen zur Anpassung von passgenauen Kronen usw. gescannt. Auch hierbei hat sich gezeigt, dass die Volumenstreuung die Registrierung von gül- tigen Messpunkten erschwert.

Es ist Aufgabe der vorliegenden Erfindung eine Vorrichtung und ein Verfahren zur dreidimensionalen Messung beziehungsweise 3D-Messung von transparenten, insbesondere teiltranspa- renten, und streuenden, insbesondere diffus streuenden, Oberflächen mit wirksam verringerter Kontrastminderung und wirksam vergrößerter Messgenauigkeit im Vergleich zu herkömmlichen Lösungen bereit zu stellen. Insbesondere sollen hierzu - beispielsweise bei biologischem Gewebe - wellenlängenabhängi- ges Eindringvermögen in die Oberflächen ausbildende Materialien und sich daraus resultierende Volumenstreuungen berücksichtigt sein. Die Aufgabe wird durch eine Vorrichtung gemäß dem Hauptanspruch und ein Verfahren gemäß dem Nebenanspruch gelöst.

Gemäß einem ersten Aspekt wird eine Vorrichtung zur Ermitt- lung von dreidimensionalen Oberflächenkoordinaten eines Objektes mittels optischer Farbtriangulation beansprucht, aufweisend eine Projektoreinrichtung zur Beleuchtung des Objekts mit einem eingestellten Farbstreifenmuster, wobei das Farbstreifenmuster sich entlang einer Achse erstreckt und aus zu dieser senkrechten Linien mit einer jeweils zu benachbarten Linien unterschiedlichen Auswahl von Spektralanteilen des projizierten Lichts besteht; eine in bekannter Relativposition zur Projektoreinrichtung angeordneten Erfassungseinrichtung zur Aufnahme eines Bildes des Objektes, auf das das Farbstreifenmuster einmalig projiziert wurde; eine Rechnereinrichtung zur Berechnung der dreidimensionalen Oberflächenkoordinaten mittels Erkennen der Auswahl der Spektralanteile einer jeweiligen Linie und Erfassung eines jeweiligen Übergangs zweier aneinander angrenzenden Linien, wobei für alle Linien, mittels der Projektoreinrichtung die Breite einer jeweiligen projizierten Linie entsprechend der Volumenstreueffekte der für die Linie ausgewählten Spektralanteile derart eingestellt wird, dass im aufgenommenen Bild der Linie alle Kontrastmaxima aller Spektralanteile dieser Linie gleich ei- nem Kontrastmindestwert sind.

Gemäß einem zweiten Aspekt wird ein Verfahren zur Ermittlung von dreidimensionalen Oberflächenkoordinaten eines Objektes mittels optischer Farbtriangulation mit den folgenden Schrit- ten beansprucht. Mittels einer Projektoreinrichtung ausgeführtes Beleuchten des Objektes mit einem eingestellten Farbstreifenmuster, wobei das Farbstreifenmuster sich entlang einer Achse erstreckt und aus zu dieser senkrechte Linien mit einer jeweils zu benachbarten Linien unterschiedlichen Aus- wähl von Spektralanteilen des projizierten Lichts besteht; mittels einer in bekannter Relativposition zur Projektoreinrichtung angeordneter Erfassungseinrichtung ausgeführtes Aufnehmen eines Bildes des Objektes, auf das das Farbstreifen- muster einmalig projiziert wurde; mittels einer Rechnereinrichtung ausgeführtes Berechnen der dreidimensionalen Oberflächenkoordinaten mittels Erkennen der ausgewählten Spektralanteile einer jeweiligen Linie und Erfassen eines jeweili- gen Übergangs zweier aneinander angrenzender Linien und Einstellen für alle Linien, mittels der Projektoreinrichtung der Breite einer jeweiligen projizierten Linie entsprechend den Volumenstreueffekten der für die Linie ausgewählten Spektralanteile derart, dass im aufgenommenen Bild der Linie alle Kontrastmaxima aller Spektralanteile dieser Linie gleich einem Kontrastmindestwert sind. Es ist vorteilhaft erkannt worden, dass mittels der Auslegung der Breite der Farbstreifen beziehungsweise Linien nach dem Grad der Volumenstreuung diese kompensiert werden kann. Auf diese Weise erzielt man für alle verwendeten Farben oder Spektralanteile den gleichen

Kontrastwert. Vorteilhaft ist hierbei, dass die Zahl der als gültig erkennbaren Messwerte bei biologischen Objekten steigt. Es werden Lochbereiche im 3D-Bild vermieden. Dies betrifft Pixel entlang einer kritischen lediglich schwach er- kennbaren Linie.

Weitere Ausgestaltungen werden in Verbindung mit den Unteransprüchen beansprucht . Gemäß einer vorteilhaften Ausgestaltung kann für Linien mit jeweils mindestens zwei ausgewählten Spektralanteilen, mittels der Projektoreinrichtung die Breite der jeweiligen Linie den Volumenstreueffekten der für die Linie ausgewählten Spektralanteile entsprechend derart eingestellt werden, dass im aufgenommen Bild der Linie Bereiche maximaler Steigung der Kontrastverläufe dieser Spektralanteile zusammentreffen.

Gemäß einer weiteren vorteilhaften Ausgestaltung kann der Kontrastmindestwert der Wert der Kontrastübertragungsfunktion einer Musterlinie mit einer unveränderlichen kleinsten Breite und einem einzigen Spektralanteil bestehend aus einer einen relativ kleinsten Volumenstreueffekt bewirkenden kurzwelligen Farbe sein. Gemäß einer weiteren vorteilhaften Ausgestaltung können ausgehend von der unveränderlichen kleinsten Breite der Musterlinie die Breiten der anderen Linien ausgehend von dieser kleinsten Breite unverändert verbleiben oder vergrößert worden sein.

Gemäß einer weiteren vorteilhaften Ausgestaltung kann die einen relativ kleinsten Volumenstreueffekt bewirkende Farbe blau sein.

Gemäß einer weiteren vorteilhaften Ausgestaltung kann mindestens ein Spektralanteil einer Einzelfarbe entsprechen. Gemäß einer weiteren vorteilhaften Ausgestaltung kann die

Projektoreinrichtung die ausgewählten Spektralanteile mittels Mischen der Einzelfarben Rot, Grün, Blau erzeugen.

Gemäß einer weiteren vorteilhaften Ausgestaltung kann die Er- fassungseinrichtung einen Rot -Grün-Blau- Filter aufweisen.

Gemäß einer weiteren vorteilhaften Ausgestaltung kann die unveränderliche kleinste Breite mindestens —mm sein.

12 Die vorliegende Erfindung wird anhand von Ausführungsbeispielen in Verbindung mit den Figuren näher beschrieben. Es zei- gen :

Figur 1 ein Ausführungsbeispiel eines herkömmlichen Farbstreifenmusters ;

Figur 2 Modulationstransferfunktionen unterschiedlicher

Systeme ; Figur 3a ein weiteres Ausführungsbeispiel eines herkömmlichen Farbstreifenmusters; Figur 3b ein Ausführungsbeispiel eines erfindungsgemäßen Farbstreifenmusters ;

Figur 4 Modulationstransferfunktionen verschiedener Einzel- färben;

Figur 5a Kontrastverläufe einer herkömmlichen Linie bestehend aus Mischfarben; Figur 5b eine Abbildung (farbabhängige Verbreiterung) der

Linie im Auge nach Streuung an einem Volumen mit farbabhängigem Streuvermögen;

Figur 5c Kontrastverläufe der erfindungsgemäß eingestellten

Linie.

Figur 1 zeigt ein Ausführungsbeispiel eines herkömmlichen Farbstreifenmusters 1. Voraussetzung bei der Triangulation ist, dass ein auf eine Oberfläche projiziertes Muster ledig- lieh durch die Oberflächenform verformt wird, da lediglich in dieser Verformung die Information über die dreidimensionale Form steckt und nicht zusätzlich durch das Eindringen in Materialien in seiner Struktur und seinem Kontrast verändert wird. Dies bewirkt eine erhöhte Messunsicherheit, fehlende Pixel sowie eine erhöhte Störanfälligkeit hinsichtlich Fremdlicht. Figur 1 zeigt ein herkömmlicherweise verwendetes farbkodiertes Muster für die CCT. Das Farbstreifenmuster 1 erstreckt sich entlang einer Achse x. Das Farbmuster 1 besteht aus zu dieser Achse x senkrechten Linien 3 mit einer jeweils zu benachbarten Linien unterschiedlichen Auswahl von Spektralanteilen des projizierten Lichts. Dreidimensionale Oberflächenkoordinaten können mittels Erkennen der Auswahl der Spektralanteile einer jeweiligen Linie und Erfassen eines jeweiligen Übergangs 5 zweier aneinander angrenzender Linien 3 ermittelt werden. Herkömmlicherweise wurden Farbstreifenmuster mit identischen Streifenbreien für alle Farben gewählt. Würde man ein derartiges Farbstreifenmuster 1 mit jeweils identischen Linienbreiten auf eine Oberfläche projizieren, welche das Licht farbneutral in alle Raumrichtungen streut, dann wäre der Kontrast in einem mit einer Erfassungseinrichtung beziehungsweise Kamera aufgenommenen Bild für alle Wellenlängen und Farben gleich gut, wobei die Farbübergänge 5 einfach detektiert werden könnten. Farbselektives unterschiedliches Eindringen von Licht in einen Körper sowie unterschiedliches Streuvermögen verändern jedoch das abzubildende Muster in Schärfe und Kontrast. Figur 2 zeigt diese Einflüsse. Auf der linken Seite der Figur 2 ist in Pfeilrichtung dargestellt, wie ein Linienmuster auf einem Objekt im aufgenommenen Bild erfasst wird. Ein Streifenmuster 1 wird in ein entsprechendes Bild 7 transformiert. Bezugszeichen 9 zeigt die entsprechende Signalmodulation durch das Objekt. Bezugszeichen 11 zeigt die sich infolge der Kontrastverluste ergebene Modulation im aufgenommenen Bild 7. Technisch bedeutet das, dass eine ursprüngliche Modulation infolge der Modulationstransferfunktion (MTF) beispielsweise von biologischem Gewebe, verschlechtert wird. Figur 2 zeigt auf der rechten Seite zwei Modulationstransferfunktionen, die einmal für ein gutes System 15 und zum anderen für ein verschlechtertes System 17 Kontrastverläufe in Abhängigkeit von der Ortsfrequenz darstellt. Die Ortsfrequenz ist durch die Anzahl von Linienpaaren pro mm definiert. Eine Modulations- transferfunktion MTF kann ebenso als Kontrastübertragungs - funktion benannt werden.

Figur 2 zeigt als Funktionen rechts die Modulationstransferfunktion 15 eines guten Systems und links eine Modulations- transferfunktion 17 die infolge Volumenstreuung gegenüber der Modulationstransferfunktion 15 verschlechtert ist.

Die folgenden Figuren erklären anhand von Ausführungsbeispielen die Idee der vorliegenden Erfindung. Für die Entwicklung neuer Farbcode-Muster für eine optische Triangulation insbesondere bei biologischen Oberflächen ist eine genaue Kenntnis der optischen Parameter und eine Beschreibung der Lichtausbreitungen im Gewebe notwendig. Die optischen Parameter von Gewebe sind wellenlängenabhängig und umfassen einen Absorptionskoeffizienten, einen Streukoeffizienten, eine Winkelverteilung der Streuung und einen Brechungsindex . Die Winkelverteilung der Streuung ist beispielsweise durch einen g-Faktor und eine Phasenfunktion charakterisiert. In grober Näherung kann jedoch gesagt werden, dass in homogenen diffus streuenden Medien langwelliges Licht stärker in das Material eindringt und einen größeren Volumenstreueffekt bewirkt. Dies bedeutet, dass wenn ein infinitesimal kleiner Lichtfleck auf das Objekt projiziert wird, so dringen die nicht unmittelbar elastisch reflektierten Photonen in das Medium ein, unterliegen einer Vielzahl von Photonenstreuprozessen, die sowohl elastisch auch inelastisch sein können, und erreichen die Oberfläche an anderen Orten. Es findet eine Verbreiterung des sichtbaren Lichtflecks statt, und zwar umso mehr, je länger die Wellenlänge des Lichts ist. Entscheidend bei der SD- Messung (dreidimensionalen Erfassung) mittels Farbtriangulation ist jedoch in erster Linie die Erkennung der Farbe beziehungsweise Linie und die Detektion des Farbüberganges be- ziehungsweise der jeweiligen Farbkante. Dies wird durch den Volumenstreueffekt teilweise verhindert, da der Kontrast aus ( (Max - Min) / (Max + Min) ) abnimmt und entsprechend das Signal-Rausch-Verhältnis geringer wird. Figur 3a zeigt ein weiteres Ausführungsbeispiel eines herkömmlichen Farbstreifenmusters. Es sind abwechselnd rote Linien R und blaue Linien B hintereinander angeordnet. Jede der Linien 3 weist jeweils eine einheitliche Breite Br auf die für alle Linien 3 gleich ist. Darunter sind Kontrastverläufe für jede der Linien 3 nach der Streuung an einem Volumenstreuer dargestellt. Diese Kontrastverläufe können mittels einer Erfassungseinrichtung der erfindungsgemäßen Vorrichtung erfasst werden. Jeder dieser Kontrastverläufe C zeigt einen Anstieg des Kontrastes bis zu einem Kontrastmaxima CMax und ein sich daran anschließendes Abfallen einer jeweiligen Kontrastkurve. Die Kontrastkurven sind achsensymmetrisch. Figur 3a zeigt deutlich, dass ein Volumenstreueffekt für die Farbe Blau B kleiner ist als der Volumenstreueffekt der Farbe Rot R. Entsprechend weist der Kontrastverlauf 19 der Farbe Blau B ein größeres Kontrastmaxima CMax auf als der Kontrastverlauf 19 der Farbe Rot R. Figur 3 zeigt nun eine Vorgehensweise gemäß der vorliegenden Erfindung. Es wird die Breite der projizierten Linien 3 dem jeweiligen Volumenstreueffekt der jeweiligen Farbe angepasst. Gemäß Figur 3b wird die Breite einer Linie 3 mit roter Farbe R derart vergrößert, dass das Kontrastmaxima CMax des Kon- trastverlaufes 19 der roten Linie 3 vergrößert wird. Diese Verbreiterung kann solange ausgeführt werden, bis das Kontrastmaximum CMax der roten Linie dem Kontrastmaximum CMax der blauen Linie entspricht. Die Breite einer jeweiligen blauen Linie verbleibt unverändert.

Figur 4 zeigt eine Darstellung der Modulationstransferfunktionen von Linien der Farbe Blau B und der Farbe Rot R. Ausgehend von der Farbe Blau wird für diese bei einer der Farbe Blau B zugeordneten Breite ein bestimmter Kontrastwert er- reicht. Dieser wird nun als Kontrastmindestwert CMin festgelegt. Damit eine rote Linie ebenso den gleichen Kontrastmindestwert CMin im aufgenommenen Bild bewirkt muss die Breite für jede rote Linie größer gemacht werden, um den gleichen Kontrast wie bei dem blauen Streifen zu erhalten. Gemäß die- sem Ausführungsbeispiel eines erfindungsgemäßen Farbmusters 1 wurden die Breiten der roten Linien 3 verdoppelt. Die Rechts - wertachse des Koordinatensystems gemäß Figur 4 bezeichnet die Anzahl von Linienpaaren pro mm. Linienpaare sind mit dem Buchstaben P bezeichnet.

Figuren 5a bis 5c zeigen eine erfindungsgemäße Lösung für den Fall, dass eine jeweilige Farbe einer Linie 3 mittels einer Projektoreinrichtung als Mischfarbe erzeugt ist. Die Bildaufnahme bei der CCT erfolgt beispielsweise mittels Ein-Chip- Kameras oder Drei-Chip-Kameras. Das heißt, wird ein Farbmuster lediglich durch Mischen der Farben Rot, Grün und Blau gebildet (RGB-Mischung) wird durch die RGB-Filter der Erfassungseinrichtung beziehungsweise Kamera das Farbmuster wieder entmischt. Diesbezüglich stört eine Kantenüberlappung bei der Detektion des Farbüberganges nicht, da im Prinzip für jede Farbe eine Farbkante eindeutig bestimmt werden kann. Figuren 5a bis 5c zeigen nun ein zweites Ausführungsbeispiel eines erfindungsgemäßen Farbmusters. Das Farbmuster weist hier lediglich einen Beleuchtungsfleck auf, der ebenso als Linie 3 bezeichnet werden kann. Die Zusammensetzung der Spektralanteile dieser Linie wird hier mittels Mischfarben erzeugt. Figur 5a zeigt den Kontrastverlauf im aufgenommenen Bild nach der Volumenstreuung wobei der Beleuchtungsfleck beziehungsweise die Linie 3 mittels Mischen der Farbe Rot R und Blau B erzeugt wurde. Bei derartigen Mischfarben kann der Volumenstreueffekt die beteiligten RGB-Anteile im biologischen Medium räumlich entmischen. Dies bedeutet, dass Kantenübergänge jeweils eine chromatische Aberration aufweisen (Bildung eines Färbsaumes) .

Figur 5b zeigt wie der sehr kleine violette Fleck 3, der gemäß Figur 5a durch Mischen von Rot und Blau erzeugt und auf ein zu messendes Objekt projiziert wurde, von einem Auge erkannt wird. Die entsprechende Beobachtung mit dem Auge gemäß Figur 5b, zeigt, dass das Auge den violetten Fleck 3 in seinem Farbton ändert und links und rechts dazu einen roten Farbsaum erzeugt. Bei Verwendung einer Kamera mit RGB-Filter als Erfassungseinrichtung wird die Mischfarbe violett entmischt und würde als ein blauer und ein dunkelroter Fleck de- tektiert werden, wobei der rote Fleck einen größeren Durchmesser aufweisen würde. Figur 5c zeigt nun eine erfindungsgemäße Anpassung der ursprünglichen Linie gemäß Figur 5a. Die Breite des Streifens beziehungsweise der Linie 3, die mit Mischfarben erzeugt wurde, wird derart gewählt, dass die Modulationstransferfunktionen MTF für beide Farben - die hier Rot und Blau sind - nahe- zu gleich hoch ist, einen Minimalwert übersteigt und zusätzlich die Bereiche maximaler Steigung der Kontrastverläufe 19 in dem aufgenommenen Bild zusammentreffen. Die Bereiche maximaler Steigung sind mit SMax gekennzeichnet. Mittels den er- findungsgemäßen Lösungen wird eine dreidimensionale Messung mittels CCT wirksam verbessert.

Es werden eine Vorrichtung und ein Verfahren zur Ermittlung von dreidimensionalen Oberflächenkoordinaten eines Objektes mittels optischer Farbtriangulation vorgeschlagen, wobei alle Linien eines Farbstreifenmusters jeweils eine Breite derart eingestellt aufweisen, dass in einem aufgenommen Bild der Linie alle Kontrastmaxima CMax aller Spektralanteile einer Li- nie 3 gleich einem Kontrastmindestwert CMin sind. Ausgehend von einer unveränderlichen kleinsten Breite einer Musterlinie 3a mit einem Spektralanteil größten Kontrastes können weitere Linien 3 entsprechend verbreitert werden. Die Erfindung eignet sich besonders vorteilhaft für eine 3D-Messung bei biolo- gischem Gewebe, das transparent und streuend sein kann.