Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
3D DIGITALIZATION SYSTEM AND 3D DIGITALIZATION METHOD
Document Type and Number:
WIPO Patent Application WO/2019/201836
Kind Code:
A1
Abstract:
The invention relates to a 3D digitalization system comprising a first sensor head (2, 3) which has at least one first and a second camera (12, 13) and a projector (15), a mounting (5) for supporting an object (8) to be digitalized, a positioning device (6) with which different relative positions between the first sensor head (2, 3) and the mounting (5) can be set, and a control unit (7) which actuates the first sensor head (2, 3) and the positioning device (6) such that the following steps are carried out: A) setting the different relative positions, wherein in each of the relative positions, A1) a pattern is projected onto a section of the object (8) to be digitalized by means of the projector (15), and the section with the projected pattern is captured using the first and the second camera (12, 13) and A2) capturing the section together with at least one calibration mark (9, 10), which is arranged on the mounting (5) and/or object (8), using the first and second camera (12, 13; 4, 14); and B) calibrating at least one property of the camera (12-14, 4) by carrying out the following steps: B1) selecting at least two cameras, the captured images of which have a correspondence and B2) calibrating the at least one property of the cameras selected in step B1; and C) generating a 3D model of the object (8) to be digitalized using the captured images while taking into consideration the calibration which is carried out.

Inventors:
KÖHLER JOHANNES (DE)
NÖLL TOBIAS (DE)
BRATTKE SIMON (DE)
FUCHS JOCHEN (DE)
Application Number:
PCT/EP2019/059629
Publication Date:
October 24, 2019
Filing Date:
April 15, 2019
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZEISS CARL AG (DE)
International Classes:
G01B11/25; G06T7/80
Foreign References:
CN101995231B2012-07-18
US20170319874A12017-11-09
CN103267491B2016-01-20
US20160300383A12016-10-13
US20170188015A12017-06-29
Other References:
JOHANNES KOHLER ET AL: "A full-spherical device for simultaneous geometry and reflectance acquisition", APPLICATIONS OF COMPUTER VISION (WACV), 2013 IEEE WORKSHOP ON, IEEE, 15 January 2013 (2013-01-15), pages 355 - 362, XP032339511, ISBN: 978-1-4673-5053-2, DOI: 10.1109/WACV.2013.6475040
GARRIDO-JURADO S ET AL: "Simultaneous reconstruction and calibration for multi-view structured light scanning", JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION, ACADEMIC PRESS, INC, US, vol. 39, 26 May 2016 (2016-05-26), pages 120 - 131, XP029623969, ISSN: 1047-3203, DOI: 10.1016/J.JVCIR.2016.05.014
JOHANNES DANIEL KÖHLER, ENHANCED USABILITY AND APPLICABILITY FOR SIMULTANEOUS GEOMETRY AND REFLECTANCE ACQUISITION, ISBN: 978-3-8439-2465-8
Attorney, Agent or Firm:
PATENTANWÄLTE GEYER, FEHNERS & PARTNER MBB (DE)
Download PDF:
Claims:
Patentansprüche

1. 3D-Digitalisierungssystem mit

einem ersten Sensorkopf (2, 3), der mindestens eine erste und eine zweite Kamera (12,

13) und einen Projektor (15) aufweist,

einem Halter (5) zum Haltern eines zu digitalisierenden Objektes (8),

einer Positioniereinrichtung (6), mit der verschiedene relative Positionierungen zwischen dem ersten Sensorkopf (2, 3) und dem Halter (5) einstellbar sind,

und einer Steuereinheit (7), die den ersten Sensorkopf (2, 3) und die

Positioniereinrichtung (6) so ansteuert, dass folgende Schritte durchgeführt werden:

A) Einstellen der verschiedenen relativen Positionierungen, wobei in jeder der relativen Positionierungen

A1 ) ein Muster auf einen Abschnitt des zu digitalisierenden Objektes (8) mittels des

Projektors (15) projiziert wird und der Abschnitt mit dem projizierten Muster mit zumindest der ersten und der zweiten Kamera (12, 13) aufgenommen wird,

A2) Aufnehmen des Abschnitts zusammen mit mindestens einer Kalibriermarke (9, 10), die am Halter (5) und/oder Objekt (8) angeordnet ist, mit der ersten und zweiten Kamera (12, 13; 4, 14);

B) Kalibrieren mindestens einer Eigenschaft der Kameras (12-14, 4) durch die folgenden Schritte:

B1 ) Auswahlen von mindestens zwei Kameras, deren Aufnahmen Korrespondenzen

aufweisen,

B2) Kalibrieren der mindestens einen Eigenschaft für die im Schritt B1 ausgewählten

Kameras, und

C) Erstellen eines 3D-Modells des zu digitalisierenden Objektes (8) anhand der Aufnahmen unter Berücksichtigung der durchgeführten Kalibrierung.

2. 3D-Digitalisierungssystem nach Anspruch 1 , bei dem die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass nach dem Schritt

B2 und vor dem Schritt C folgende Schritte ausgeführt werden:

B3) Auswahlen mindestens einer noch nicht kalibrierten Kamera, deren Aufnahme(n)

Korrespondenzen zu mindestens einer Aufnahme mindestens einer der bereits kalibrierten Kameras aufweist, B4) Kalibrieren der mindestens einen Eigenschaft für die mindestens eine ausgewählte und nicht kalibrierte Kamera,

B5) Wiederholen der Schritte B3 und B4 bis für alle Kameras des 3D-Digitalisierungssystems (1 ) die mindestens eine Eigenschaft kalibriert ist.

3. 3D-Digitalisierungssystem nach Anspruch 1 oder 2, das eine dritte Kamera (4, 14)

aufweist, wobei mit der Positioniereinrichtung (6) verschiedene relative Positionierungen zwischen der dritten Kamera (4, 14) und dem Halter (5) einstellbar sind,

und wobei im Schritt A2 der Abschnitt zusammen mit der mindestens einen

Kalibriermarke (9, 10) mit der dritten Kamera (4, 14) aufgenommen wird.

3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem

die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass vor dem Schritt C eine metrische Skalierung unter Berücksichtigung der mindestens eine Kalibriermarke (9, 10) durchgeführt wird.

3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem

die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass vor dem Schritt C eine Kalibrierung des Projektors (15) durchgeführt wird.

3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem

die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass der Schritt B2 und ggf. der Schritt B4 jeweils den Schritt einer globalen Optimierung der Kalibrierung für die zu kalibrierende(n) Kamera(s) und der eventuell schon kalibrierten Kamera(s) aufweist.

3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem mindestens eine Eigenschaft der Kamera ein intrinsischer Parameter und/oder ein extrinsischer Parameter der Kameras ist.

3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem die Schritte A1 und A2 als einzelner Schritt gleichzeitig ausgeführt werden.

9. 3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem

in einem Schritt A3 ein einzigartiges Muster auf den gesamten Abschnitt des Objektes (8) projiziert und mittels aller Kameras (4, 12 - 14) aufgenommen wird,

wobei die Aufnahme des Schrittes A3 in den Kalibrierungsschritten B und/oder im Schritt

C berücksichtigt werden

10. 3D-Digitalisierungssystem nach einer der obigen Ansprüche,

wobei mindestens ein weiterer Sensorkopf (2, 3), der mindestens eine erste und zweite Kamera und einen Projektor aufweist, vorgesehen ist,

wobei die Positioniereinrichtung (6) verschiedene relative Positionierung zwischen dem mindestens einen weiteren Sensorkopf (2, 3) und dem Halter (5) einstellen kann, wobei die Steuereinheit (7) den ersten und den weiteren Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass im Schritt A1 der Abschnitt zusätzlich mit dem projizierten Muster des Projektors des weiteren Sensorkopfes mit der ersten und zweiten Kamera des weiteren Sensorkopfes aufgenommen wird und dass im Schritt A2 der Abschnitt zusätzlich zusammen mit mindestens einer Kalibriermarke mit der ersten und zweiten Kamera des weiteren Sensorkopfes (2, 3) aufgenommen wird.

11 3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem

im Schritt C) alle aufgenommenen Daten entfernt werden, die nicht Teil des zu digitalisierenden Objektes (8) sind.

12. 3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem

im Schritt B2 die Aufnahmen der im Schritt B1 ausgewählten Kameras relativ zueinander ausgerichtet werden, um die unterschiedlichen Aufnahmerichtungen zu kompensieren.

13. 3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem

im Schritt C zusätzlich noch Daten einer vor den Schritten A, A1 und A2 durchgeführten Vorkalibrierung berücksichtigt werden.

14. 3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem

nach Durchführen der Schritte A - C die Schritte A - C beim zu digitalisierendem Objekt oder einem zweiten zu digitalisierenden Objekt erneut durchgeführt werden, wobei bei der erneuten Durchführung im Schritt A2 weniger und/oder kleinere Kalibriermarken (9, 10) eingesetzt werden und im Schritt C zusätzlich noch Daten der Kalibrierung der ersten Durchführung der Schritte A-C berücksichtigt werden.

15. 3D-Digitalisierungsverfahren für ein 3D-Digitalisierungssystem mit

einem ersten Sensorkopf (2, 3), der mindestens eine erste und eine zweite Kamera (12, 13) und einen Projektor (15) aufweist,

einem Halter (5) zum Haltern eines zu digitalisierenden Objektes (8),

einer Positioniereinrichtung (6), mit der verschiedene relative Positionierungen zwischen dem ersten Sensorkopf (2, 3) und dem Halter (5) einstellbar sind, wobei der erste Sensorkopf (2, 3) und die Positioniereinrichtung (6) so angesteuert werden, dass folgende Schritte durchgeführt werden:

A) Einstellen der verschiedenen relativen Positionierungen, wobei in jeder der relativen Positionierungen

A1 ) ein Muster auf einen Abschnitt des zu digitalisierenden Objektes (8) mittels des

Projektors (15) projiziert wird und der Abschnitt mit dem projizierten Muster mit zumindest der ersten und der zweiten Kamera (12, 13) aufgenommen wird,

A2) Aufnehmen des Abschnitts zusammen mit mindestens einer Kalibriermarke (9, 10), die am Halter (5) und/oder Objekt (8) angeordnet ist, mit der ersten und zweiten Kamera (12, 13; 4, 14);

B) Kalibrieren mindestens einer Eigenschaft der Kameras (12-14, 4) durch die folgenden Schritte:

B1 ) Auswahlen von mindestens zwei Kameras, deren Aufnahmen Korrespondenzen

aufweisen,

B2) Kalibrieren der mindestens einen Eigenschaft für die im Schritt B1 ausgewählten

Kameras, und

C) Erstellen eines 3D-Modells des zu digitalisierenden Objektes (8) anhand der Aufnahmen unter Berücksichtigung der durchgeführten Kalibrierung. 16. 3D-Digitalisierungsverfahren nach Anspruch 15, bei dem nach Schritt B2 und vor dem

Schritt C folgende Schritte durchgeführt werden:

B3) Auswahlen mindestens einer noch nicht kalibrierten Kamera, deren Aufnahme(n)

Korrespondenzen zu mindestens einer Aufnahme mindestens einer der bereits kalibrierten Kameras aufweist,

B4) Kalibrieren der mindestens einen Eigenschaft für die mindestens eine ausgewählte und nicht kalibrierte Kamera,

B5) Wiederholen der Schritte B3 und B4 bis für alle Kameras des 3D-Digitalisierungssystems (1 ) die mindestens eine Eigenschaft kalibriert ist.

Description:
3D-Diqitalisierunqssvstem und 3D-Diqitalisierunqsverfahren

Die vorliegende Erfindung betrifft ein 3D-Digitalisierungssystem sowie 3D- Digitalisierungsverfahren.

Ein solches 3D-Digitalisierungssystem muss üblicherweise vorab kalibriert werden, bevor es zur Digitalisierung von dreidimensionalen Objekten genutzt werden kann. Sobald die Kalibrierung durchgeführt wurde, dürfen sich die für die Kalibrierung relevanten Hardwareteile (z.B.

Kameraposition) nicht mehr ändern. Erschütterungen, Erwärmung oder Veränderungen des Messfeldes machen daher eine erneute Kalibrierung notwendig. Wenn Objekte verschiedener Größe gescannt werden sollen und dafür die Anordnung des 3D-Digitalisierungssystems verändert werden muss, ist eine erneute Kalibrierung notwendig.

Ausgehend hiervon ist daher Aufgabe der Erfindung, ein verbessertes 3D- Digitalisierungssystem sowie ein verbessertes 3D-Digitalisierungsverfahren zur Verfügung zu stellen.

Die Erfindung ist in den unabhängigen Ansprüchen 1 und 15 definiert. Vorteilhafte

Weiterbildungen sind in den abhängigen Ansprüchen angegeben.

Mit dem erfindungsgemäßen 3D-Digitalisierungssystem wird eine dynamische Kalibrierung bereitgestellt, die eine vor der Messung durchzuführende Kalibrierung überflüssig macht. Es können daher die Aufnahmen zur Digitalisierung des Objektes durchgeführt werden und im Anschluss an die Aufnahmen kann dann die notwendige dynamische Kalibrierung realisiert werden, sodass das 3D- Digitalisierungssystem äußerst flexibel einsetzbar ist.

Es wird somit ein variables 3D-Digitalisierungssystem bereitgestellt.

Ferner ermöglicht das erfindungsgemäße 3D-Digitalisierungssystem ein zu digitalisierendes Objekt aus allen Raumrichtungen zu scannen, ohne das Objekt umlegen zu müssen, um den Boden des Objektes erfassen zu können.

Die Position jeder Komponente (z.B. Kamera und/oder Projektor) kann bevorzugt flexibel im Raum relativ zu allen anderen Komponenten verändert werden. Die Positioniereinrichtung kann beispielsweise als beweglicher Arm realisiert sein, an dem der erste Sensorkopf montiert ist. Es ist jedoch auch jede andere Art der Positioniereinrichtung möglich. Insbesondere kann die Positioniereinrichtung so ausgebildet sein, dass sie den Sensorkopf, ggf. weitere Kameras, ggf. weitere Sensorköpfe und/oder den Halter bewegt. So kann die Positioniereinrichtung z.B. einen robotischen Arm oder eine ähnliche Vorrichtung aufweisen. Ferner ist es möglich, dass der Halter als Drehtisch ausgebildet ist, so dass die Positioniereinrichtung die Drehung des Drehtisches steuert. Insbesondere kann der Drehtisch als Glasdrehtisch ausgebildet sein.

Die erste und zweite Kamera sind insbesondere Geometriekameras, aus deren Aufnahmen die dreidimensionale Form des Objektes ermittelt werden kann. Sofern eine dritte Kamera vorgesehen ist, kann sie z.B. eine Texturkamera sein, die beispielsweise zur Aufnahme von Farbe und weiterer Materialeigenschaften des Objektes dient. Die dritte Kamera kann z.B. dann nicht vorgesehen sein, falls ihre Aufnahmen von einer der Geometriekameras übernommen werden.

Bei dem projizierten Muster im Schritt A1 kann es sich um ein Streifenmuster handeln.

Die Auswahl des Kamerapaars im Schritt B1 kann beispielsweise so durchgeführt werden, dass eine vorbestimmte Anzahl bzw. ein vorbestimmtes Niveau von Korrespondenzen vorliegt. Insbesondere können die mindestens zwei Kameras ausgewählt werden, deren Aufnahmen die meisten Korrespondenzen aufweisen. Natürlich ist es auch möglich, dass im Schritt B1 mehr als zwei Kameras ausgewählt werden, es können beispielsweise drei oder vier Kameras ausgewählt werden. In diesem Fall erfolgt die Kalibrierung im Schritt B2 für alle ausgewählten Kameras. Falls das 3D-Digitalisierungssystem nur zwei Kameras aufweist, werden natürlich diese zwei Kameras im Schritt B1 ausgewählt.

Die Auswahl im Schritt B3 kann so erfolgen, dass die mindestens eine noch nicht kalibrierte Kamera eine vorbestimmte Anzahl bzw. ein vorbestimmtes Niveau von Korrespondenzen zu mindestens einer Aufnahme von mindestens einer der bereits kalibrierten Kameras aufweist. Insbesondere kann auch die Kamera ausgewählt werden, die die meisten Korrespondenzen zu der mindestens einen Aufnahme der bereits kalibrierten Kamera(s) aufweist. Wenn mehr als eine Kamera im Schritt B3 ausgewählt wird, können z.B. die Kameras ausgewählt werden, die mehr Korrespondenzen aufweisen als noch verbleibende nicht kalibrierte Kameras. Das 3D- Digitalisierungssystem kann weitere Sensoren aufweisen, wie zum Beispiel

Ultraschallsensoren, Time-Of-Flight-Sensoren (ToF), Multisprektralsensoren, wie zum Beispiel IR-Kameras, etc.

Mit den Kalibrierschritten B könne insbesondere intrinsische und/oder extrinsische

Kameraparameter kalibriert werden. Ferner ist es möglich, intrinsische und/oder extrinsische Projektorparameter zu kalibrieren. Auch können die einzelnen Teilscans (die Aufnahmen der einzelnen Abschnitte) zueinander ausgerichtet werden. Ferner können Metainformationen (unter Verwendung mindestens einer Kalibriermarke) ermittelt werden. Dabei kann es sich insbesondere um Lageinformationen, den interessierenden Bereich im Messvolumen und/oder eine metrische Skalierung handeln.

Alle Parameter werden bevorzugt in einem gemeinsamen, globalen Koordinatensystem bestimmt. Der Rückprojektionsfehler (Rückprojektion von rekonstruierten 3D-Punkten in das Ursprungsbild) liegt dabei bevorzugt im Bereich von 0,1 bis 0,5 Pixel.

Bevorzugt weist das 3D-Digitalisierungssystem n Sensorköpfe auf, wobei n eine ganze Zahl größer oder gleich 1 ist. Bevorzugt ist n = 1 , 2, 3, 4, 5, 6, 7, 8, 9 oder 10. Die Sensorköpfe können gleich oder verschieden ausgebildet sein. Ferner kann das 3D-Digitalisierungssystem noch mindestens eine weitere (oder mehrere weitere) Kameras aufweisen, die nicht Teil eines Sensorkopfes sind, aber mit kalibrierbar sind.

Jede der Kalibriermarken, die nachfolgend auch Kalibriermarker, Marker oder Marken genannt werden, kann z.B. gedruckt ausgebildet sein, kann ein eindeutig unterscheidbares Muster aufweisen und/oder kann als 3D-Körper ausgebildet sein. Ferner können z.B. schaltbare Kalibriermarker eingesetzt werden. Sie können aus elektrochromen Beschichtungen oder Folien hergestellt sein. Diese können z.B. aus einem Polymer-Flüssigkristall-Film oder aus

Wolframtrioxid- und/oder Polyanilin-Beschichtungen gebildet sein. Die Schichten bzw. Folien können durch Anlegen von Strom bzw. Spannung zwischen einem opaken und einem transparenten Zustand reversibel hin und her geschaltet werden Die Marker können z.B. auch mit Hilfe von im Glas integrierten Mikrostrukturen ein- bzw. ausgeblendet werden. Die

Kalibriermarken dienen z.B. zum Erzeugen optischer Korrespondenzen zum Zusammenfügen einzelner Teilscans im Rahmen des Structure-from-Motion-Verfahrens und/oder dienen z.B. zum Festlegen des Tiefenschärfebereiches der Kameras.

Im Schritt C) können alle aufgenommenen Daten entfernt werden, die nicht Teil des zu digitalisierenden Objektes sind. Somit können automatisch alle Daten entfernt werden, die nicht zum zu digitalisierenden Objekt gehören. Ferner können im Schritt B2 die Aufnahmen der im Schritt B1 ausgewählten Kameras relativ zueinander ausgerichtet werden, um die unterschiedlichen Aufnahmerichtungen zu

kompensieren. Es kann somit ein vollautomatisches Ausrichten aller Aufnahmen bzw. Teilscans durchgeführt werden, die aus verschiedenen Richtungen und gegebenenfalls mit verschiedenen Sensorköpfen aufgenommen wurden.

Beim erfindungsgemäßen 3D-Digitalisierungssystem können im Schritt C zusätzlich noch Daten einer vor den Schritten A, A1 und A2 durchgeführten Vorkalibrierung berücksichtigt werden. In diesem Fall kann das erfindungsgemäße 3D-Digitalisierungssystem ausgehend von der Vorkalibrierung eine Feinkalibrierung durchführen. Eine solche Feinkalibrierung kann extrem schnell durchgeführt werden, z.B. vor jeder folgenden Messung.

Beim erfindungsgemäßen 3D-Digitalisierungssystem können nach Durchführen der Schritte A - C die Schritte A - C beim zu digitalisierendem Objekt oder einem zweiten zu digitalisierenden Objekt erneut durchgeführt werden, wobei bei der erneuten Durchführung im Schritt A2 weniger und/oder kleinere Kalibriermarken eingesetzt werden können und im Schritt C zusätzlich noch Daten der Kalibrierung der ersten Durchführung der Schritte A-C berücksichtigt werden.

Ferner wird ein entsprechendes 3D-Digitalisierungsverfahren bereitgestellt. Das 3D- Digitalisierungsverfahren kann weitere Schritte aufweisen, die im Zusammenhang mit dem 3D- Digitalisierungssystem beschrieben sind.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen

Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen, die ebenfalls erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines

Ausführungsbeispiels mit einer Vielzahl von Elementen oder Komponenten nicht dahingehend auszulegen, dass alle diese Elemente oder Komponenten zur Implementierung notwendig sind. Vielmehr können andere Ausführungsbeispiele auch alternative Elemente und Komponenten, weniger Elemente oder Komponenten oder zusätzliche Elemente oder Komponenten enthalten. Elemente oder Komponenten verschiedener Ausführungsbespiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Modifikationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein. Zur Vermeidung von Wiederholungen werden gleiche oder einander entsprechende Elemente in verschiedenen Figuren mit gleichen Bezugszeichen bezeichnet und nicht mehrmals erläutert. Von den Figuren zeigen:

Fig. 1 eine schematische Ansicht eines Ausführungsbeispiels des erfindungsgemäßen 3D- Digitalisierungssystems, und

Fig. 2 eine schematische Ansicht des ersten Sensorkopfes 2.

Bei dem in Fig. 1 gezeigten Ausführungsbeispiel umfasst das 3D-Digitalisierungssystem 1 einen ersten Sensorkopf 2, einen zweiten Sensorkopf 3, eine IR-Kamera 4, einen als Glasplatte ausgebildeten Halter 5, eine Positioniereinrichtung 6 sowie eine Steuereinheit 7. Auf dem Halter 5 ist ein zu digitalisierendes Objekt 8 positioniert.

Ferner sind auf dem Halter 5 mehrere Kalibriermarken 9 aufgebracht. Sie können z.B. fest aufgebracht oder nur aufgelegt sein. Optional kann das Objekt 8 selbst mindestens eine Kalibriermarke 10 aufweisen. Um ein möglichst gutes 3D-Modell des Objektes 8 zu erhalten, werden mit den Sensorköpfen 2, 3 sowie der IR-Kamera 4 immer nur Abschnitte des Objektes 8 aufgenommen. Daher ist die Positioniereinrichtung 6 vorgesehen, mit der die relative

Positionierung zwischen dem entsprechenden Sensorkopf 2, 3 und dem Halter 5 änderbar ist. Beispielshalber sind weitere Positionen der Sensorköpfe 2 und 3 gestrichelt in Fig. 1 dargestellt. Natürlich ist es auch möglich, dass die IR-Kamera 4 mittels der Positioniereinrichtung 6 entsprechend bewegt wird. Ferner kann auch der Halter 5 selbst bewegt werden. So kann der Halter 5 beispielsweise drehbar sein. Auch in diesem Fall wird die Drehstellung bevorzugt mittels der Positioniereinrichtung 6 eingestellt.

Die Sensorköpfe 2, 3 können gleich ausgebildet sein. In Fig. 2 ist eine beispielhafte

Ausgestaltung des ersten Sensorkopfes 2 gezeigt. Der Sensorkopf 2 kann eine Platte 1 1 aufweisen, auf der eine erste und eine zweite Kamera 12, 13 befestigt sind, die insbesondere für sogenannte Geometrieaufnahmen eingesetzt werden. Aus den Geometrieaufnahmen kann die dreidimensionale Struktur des Objektes 8 abgeleitet werden.

Ferner umfasst der erste Sensorkopf 2 eine dritte Kamera 14, die beispielsweise eine

Texturkamera 14 sein kann. Mit der dritten Kamera 14 kann das optische Erscheinungsbild der Oberfläche des Objektes 8 erfasst werden. Ferner weist der erste Sensorkopf 2 noch einen Projektor 15 auf, der zur Projektion eines Musters auf den aufzunehmenden Abschnitt des Objektes 8 projiziert werden kann. Dabei wird häufig ein Streifenmuster projiziert, da dann aus den Aufnahmen der ersten und zweiten Kamera 12, 13 mit bekannten Verfahren die dreidimensionale Form des aufgenommenen Abschnittes ermittelt werden kann.

Um gute Ergebnisse zur Erstellung des gewünschten 3D-Modells zu erzielen, ist es notwendig, dass das 3D-Digitalisierungssystem kalibriert wird. Eine solche Kalibrierung ist in der Regel aufwendig und setzt voraus, dass sich die Positionen der Kameras 12 - 14 und die Positionen der Sensorköpfe relativ zueinander auch während der Messung nicht ändern. Die dazu notwendige Stabilität der Sensorköpfe 2, 3 ist in der Praxis kaum zu gewährleisten.

Insbesondere wenn die Sensorköpfe 2, 3 noch bewegt werden, wie dies in Fig. 1 schematisch dargestellt ist.

Auch treten Schwierigkeiten auf, wenn Abschnitte des Objektes 8 durch den Halter 5 hindurch aufgenommen werden, da dann durch den Halter 5 selbst, der hier als Glasplatte ausgebildet ist, der optische Strahlengang verändert wird, was eine erneute Kalibrierung notwendig machen würde.

Daher ist das erfindungsgemäße 3D-Digitalisierungssystem so ausgebildet, dass eine dynamische Kalibrierung erfolgt, bei der die benötigten Parameter im Anschluss an die Messung des Objektes 8 aus den aufgenommenen Messdaten (insbesondere den Aufnahmen) extrahiert wird.

Durch eine derartige dynamische Kalibrierung können Positionsänderungen automatisch ausgeglichen werden und kann ein zuverlässiger Betrieb auch bei größeren Erschütterungen oder Temperaturschwankungen gewährleistet werden. Zusätzliche Kameras und Sensoren können einfach in das 3D-Digitalisierungssystem 1 integriert werden. Es ist somit keine Vorkalibrierung mittels üblicher Kalibrierplatten mehr notwendig unddie Anordnung der Sensorköpfe 2, 3 kann beispielsweise ohne eine zusätzliche Kalibrierung einfach verändert werden.

Das dynamische Kalibrierverfahren der vorliegenden Erfindung basiert auf dem Structure-from- Motion-Ansatz (SfM-Ansatz). Dieser Ansatz wird beispielsweise in der Fotogrammetrie (3D- scannnen mit nur einer Kamera) eingesetzt. Eine detaillierte Beschreibung zu dem SfM-Ansatz bzw. zu dem SfM-Verfahren findet sich in der Dissertation„Enhanced Usability and Applicability for Simultaneous Geometry and Reflectance Acquisition“ von Johannes Daniel Köhler (ISBN 978-3-8439-2465-8), nachfolgend Köhler genannt. Der Inhalt von Köhler wird hiermit hier aufgenommen (insbesondere das Kapitel 4„Camera and Projector Calibration“). Erfindungsgemäß wird zunächst die Datenaufnahme durchgeführt. Dabei wird das zu digitalisierende Objekt 8 in mehreren Positionen relativ zu den (unkalibrierten) Sensorköpfen 2,

3 und der (unkalibrierten) IR-Kamera 4 aufgenommen. Die Positionen bzw. die entsprechenden relativen Positionierungen können mittels der Positioniereinrichtung 6 eingestellt werden.

Bei jeder Aufnahme liegt mindestens eine der Kalibriermarken 9 und das Objekt 8 teilweise und somit ein Abschnitt des Objektes 8 im Sichtfeld der Kameras 12-14, 4. Pro relativer

Positionierung werden dabei folgende Daten bzw. Aufnahmen aufgenommen.

Die Geometriekameras 12, 13 nehmen ein oder mehrere mit dem Projektor 15 projizierte Muster auf. Jedes Muster kann dabei einmal oder mehrmals aufgenommen werden.

Die Texturkamera 14 nimmt ein oder mehrere Farbbilder des Abschnittes des Objektes 8 auf (gegebenenfalls mit wechselnder Beleuchtung). Bei der Aufnahme mittels der Texturkamera 14 wird bevorzugt kein Muster mittels des Projektors 15 auf den Abschnitt des Objektes 8 projiziert.

Ferner wird eine Aufnahme mittels der IR-Kamera 4 durchgeführt.

Schließlich kann auf den aufzunehmenden Abschnitt des Objektes (den gesamten Abschnitt des Objektes) ein eindeutig unterscheidbares Muster projiziert und mittels der Kameras 12-14 und 4 aufgenommen werden. Dadurch kann insbesondere bei 3D-Digitalisierungssystemen mit mehreren Sensorköpfen 2 und 3 die Kalibrierbarkeit aller Kameras 12 - 14, 4 relativ zueinander vereinfacht werden.

Nachdem für alle relativen Positionierungen die oben beschriebenen Aufnahmen durchgeführt wurden, erfolgt die Kalibrierung mindestens einer Eigenschaft der Kameras. Dabei kann es sich um einen intrinsischen Kameraparameter, wie z.B. die Fokallänge, die Verzeichnung, den Hauptpunkt, etc., und/oder einen extrinsischen Kameraparameter, wie z.B. die Kameraposition, Kameraausrichtung, etc., handeln.

Bei der Kalibrierung wird das Kamerapaar bevorzugt ausgesucht, das die meisten

Korrespondenzen enthält (in deren Aufnahmen die meisten Korrespondenzen gefunden werden konnten). Bei den Korrespondenzen kann es sich um mit dem Projektor 15 generierte

Korrespondenzen (z.B. mittels Streifenprojektion oder Projektion des oben genannten eindeutig unterscheidbaren Musters) handeln. Es kann sich jedoch auch um vom Erscheinungsbild des Objekts abgeleitete Korrespondenzen handeln, die z.B. mittels sogenannter

Merkmalsdeskriptoren wie z.B. den bekannten KAZE-Merkmalen ermittelt werden. Ferner können von den Kalibriermarken 9 Korrespondenzen abgeleitet werden, die beispielsweise wiederum mittels Merkmalsdeskriptoren (wie z. B. KAZE-Merkmale) bestimmt werden.

Mit dem Projektor generierte Korrespondenzen finden sich in der Regel zwischen

Geometriekameras 12, 13 einer relativen Positionierung und KAZE-Korrespondenzen finden sich in der Regel zwischen verschiedenen Objekt-Sensorkopf-Positionen. Wenn mehrere Sensorköpfe 2, 3 eingesetzt werden, können Projektorkorrespondenzen auch zwischen den verschiedenen Sensorköpfen 2, 3 erzeugt werden, sofern die Aufnahmen beider Sensorköpfe derselben Objektpositionierung mittels der Positioniereinrichtung 6 zugeordnet sind.

Nachdem nun bevorzugt das Kamerapaar mit den meisten Korrespondenzen ausgewählt wurde, wird die mindestens eine Eigenschaft für die beiden Kameras kalibriert. Dabei kann beispielsweise eine Triangulierung aller Korrespondenzen zwischen dem Kamerapaar zu SD Punkten durchgeführt werden. Alle Punkte, deren Reprojektionsfehler hinreichend gering ist, werden beibehalten, wohingegen alle anderen Punkte verworfen werden. Bevorzugt wird dann für alle gerade kalibrierten und eventuell schon kalibrierten Kameras die Kalibrierung global optimiert.

Danach wird bevorzugt die nächste noch nicht kalibrierte Kamera ausgewählt, deren

Aufnahmen zu den Aufnahmen der bereits kalibrierten Kameras die die meisten

Korrespondenzen enthält. Wenn möglich, werden vom Projektor generierte Korrespondenzen bei der Auswahl bevorzugt.

Die neu ausgewählte Kamera wird nun in gleicher Weise wie das erste Kamerapaar hinsichtlich der mindestens einen Eigenschaft kalibriert.

Dieses Vorgehen wird so lange durchgeführt, bis alle Kameras des 3D-Digitalisierungssystems 1 kalibriert sind.

Danach wird anhand der Aufnahmen unter Berücksichtigung der durchgeführten Kalibrierung das gewünschte 3D-Modell des zu digitalisierenden Objektes 8 erstellt.

In einer Weiterbildung kann man eine Vorabkalibrierung durchführen und dann kann mittels des erfindungsgemäßen Verfahrens eine dynamische Feinkalibrierung mit weniger Merkmalen und sehr schnell für jeden Scan durchführen. Dazu kann eine Vorkalibrierung mit dem bereits beschriebenen Structure-from-Motion-Ansatz (SfM-Ansatz) berechnet werden. Die

Vorkalibrierung kann anschließend als Startwert für ein Feinkalibrierung verwendet werden. In diesem Fall sind allerdings keine größeren Änderungen der Positionen und Einstellungen der Komponenten mehr möglich. Diese Feinkalibrierung kann Fehler der Vorabkalibrierung ausgleichen, die mit der Zeit durch Ungenauigkeiten im Drehtisch oder leichten Veränderungen der Kamerapositionen entstehen. Der Vorteil dieser Art der Kalibrierung liegt in der sehr schnellen Berechnung der Feinkalibrierung und einer deutlich reduzierten Anzahl bzw.

reduzierten Größe von Kalibriermarken.

Optional kann vor der Erstellung des 3D-Modells noch eine metrische Skalierung mit Hilfe bekannter Kalibriermarken durchgeführt werden. Ferner können optional alle Projektoren 15 kalibriert werden, sofern aus den verwendeten Projektionsverfahren Korrespondenzen zum Projektor abgeleitet werden können.

Optional kann eine Feinkalibrierung für jedes erstellte 3D Modell berechnet werden. Die Feinkalibrierung setzt eine Kalibrierung wie oben beschreiben voraus und geht davon aus, dass sich die Positionen der einzelnen Komponenten des Systems nur geringfügig ändern. Aus gehend von der bestehenden Kalibrierung wird eine neue Kalibrierung mit den Startwerten der bestehenden Kalibrierung berechnet. Hierzu sind weniger Merkmale bzw. auch kleinere Merkmale als für die ursprüngliche Kalibrierung notwendig, was die Berechnungszeit deutlich verkürzt.

Die Kalibriermarken 9 und 10, die nachfolgend auch Kalibriermarker, Marker oder Marken 9, 10 genannt werden, die z.B. gedruckt ausgebildet sein können und ein eindeutig unterscheidbares Muster aufweisen, haben insbesondere die folgenden Funktionen. Die Kalibriermarken erzeugen optische Korrespondenzen zum Zusammenfügen einzelner Teilscans im Rahmen des Structure-from-Motion-Verfahrens. Die Kalibriermarken können auch als 3D Körper ausgeführt sein. Ohne diese Kalibriermarken 9 können z.B. einfarbige Objekte und zur Drehachse symmetrische Objekte nur schwer gescannt werden. Kalibriermarken können alternativ oder ergänzend auch mittels einer oder mehrerer Projektionseinheiten (nicht gezeigt) im Bereich des aufzunehmenden Abschnittes (inkl. Objekt) projiziert werden. Diese Projektionseinheiten sind während des Scanprozesses (während der Aufnahmen) relativ zum Objekt 8 fixiert und bewegen sich bei einer Lageveränderung des Objektes 8 mit, so dass projizierte Merkmale ihre Position auf der Objektoberfläche bei unterschiedlicher Objektpositionierung nicht verändern.

Mittels der Kalibriermarken 9 können Bereiche im Messvolumen identifiziert werden und es können durch ihre räumliche Anordnung zusätzliche Metainformationen generiert werden, wie z.B. die Lage des Halters 5. Dies kann genutzt werden, um das Objekt 8 in den Aufnahmen automatisch freizustellen. Durch Kenntnis der Größe der Kalibriermarker 9 ist der Maßstab in den Aufnahmen festgelegt. Ferner können sie zur Schätzung der Brennweite der Kameras herangezogen werden, wenn kein Startwert vorhanden ist (Autokalibrierung).

Wenn der Halter 5 als Glastisch oder -platte ausgebildet ist, sind die Kalibriermarker 9 bevorzugt doppelseitige Marker 9. Die Größe der Kalibriermarker 9 und die Anzahl der Kalibriermarker 9 ist an das aufnehmbare Messvolumen bzw. die Größe des aufzunehmenden Objekts 8 angepasst.

Ferner können schaltbare Kalibriermarker wie z.B. der Kalibriermarker 10 oder 9 vorgesehen werden. Sie können aus elektrochromen Beschichtungen oder Folien hergestellt sein. Diese können z.B. aus einem Polymer-Flüssigkristall-Film oder aus Wolframtrioxid- und/oder Polyanilin-Beschichtungen gebildet sein. Die Schichten bzw. Folien können durch Anlegen von Strom bzw. Spannung zwischen einem opaken und einem transparenten Zustand reversibel hin und her geschaltet werden.

Die Schichten oder Folien können auch auf dem Halter 5 aufgebracht werden, so dass eindeutige Kalibriermarker vorgesehen sind, die an- und ausgeschaltet werden können. Damit kann z.B. ein Verdecken des Objektes 8 durch die Kalibriermarker verhindert werden. In diesem Fall können dann z.B. Aufnahmen mit angeschalteten und ausgeschalteten Kalibriermarkern nacheinander gemacht werden, um Verdeckungen bei den Aufnahmen von unten zu vermeiden. Bei Aufnahmen von oben können die Marker angeschaltet werden oder kann die gesamte Glasplatte 5 auf opak geschaltet werden, um unerwünschte Reflexionen zu verhindern, die die Aufnahmen stören könnten.

Diese Marker können dazu genutzt werden, um Bereiche im Messvolumen zu identifizieren und sie können durch ihre räumliche Anordnung zusätzliche Metainformationen generieren, wie z.B. die Lage des Halters 5. Damit kann z.B. eine Freistellung des Objektes 8 automatisch durchgeführt werden.

Ferner legen sie durch ihre Größe den Maßstab der Szene bzw. Aufnahme fest und können zur Schätzung der Brennweite herangezogen werden, wenn kein Startwert vorhanden ist

(Autokalibrierung).

Die Kalibriermarker 9, 10 können auch als UV-sensitive und/oder IR-sensitive Kalibriermarker ausgebildet sein. Sie können z.B. mit Hilfe von UV-sensitiven Farben oder Schichten oder IR- sensitiven Farben oder Schichten auf den Halter 5 aufgebracht werden. Die Marker sind dann so lange unsichtbar, so lange sie nicht durch eine entsprechende UV-Strahlung oder IR- Strahlung aktiviert werden und dann z.B. fluoreszieren oder phosphoreszieren.

Auch in diesem Fall können Aufnahmen mit aktivierten und nicht-aktivierten Kalibriermarkern nacheinander durchgeführt werden, um z.B. Verdeckungen bei den Aufnahmen von unten zu vermeiden.

Die Kalibriermarker können z. B. ein Relief und/oder Aussparungen aufweisen und mittels eines Ultraschallsensors detektiert werden.

Aufgrund der Nutzung der Kalibriermarker 9, 10 können zusätzliche Korrespondenzen generiert werden, die das Zusammenfügen der Teilscans (der einzelnen Aufnahmen in unterschiedlichen relativen Positionierungen) wesentlich robuster macht. Es wird damit praktisch immer möglich, alle Aufnahmen aus den verschiedenen relativen Positionierungen automatisiert

zusammenzufügen. Außerdem legen die Kalibriermarker den Maßstab fest und ermöglichen durch ihre Lageinformation automatisch das Freistellen des Objektes 8 und können zusätzliche Anhaltspunkte für die Autokalibrierung (Schätzung der Brennweite) liefern, die ansonsten unrobust bzw. nicht eindeutig bestimmt werden kann.

Die Ausbildung der Kalibriermarker als schaltbare Marker führt insbesondere zu dem Vorteil, dass Verdeckungen des Objektes 8 sicher vermieden werden können.

Da der beschriebene Sensorkopf 2, 3 die beiden Geometriekameras 12 und 13 einerseits und die Texturkamera 14 andererseits aufweist, können optimal an die Aufgabe angepasste Kameras ausgebildet und eingesetzt werden. So sind die Geometriekameras 12, 13 so gewählt, dass mit ihnen schnell eine hohe Anzahl von Aufnahmen durchgeführt werden kann. Die Texturkamera 14 ist hingegen so ausgebildet, dass sie eine möglichst gute Auflösung aufweist, wobei die Aufnahmegeschwindigkeit zwar abnimmt, jedoch mehr Details aufnehmbar sind.

Trotz dieses unterschiedlichen Einsatzes der Kameras 12-14 ist z.B. für die Kamera 14 aufgrund des erfindungsgemäßen Verfahrens eine robuste Kalibrierung möglich, da die beschriebenen Korrespondenzen in den Aufnahmen genutzt werden, wie bereits beschrieben wurde.

Ferner bringt der Einsatz der Kalibriermarker 9, 10 den Vorteil mit sich, dass mehrere

Sensorköpfe 2, 3 und weitere Kameras 4 immer zuverlässig zusammen kalibriert werden können. Korrespondenzen zwischen den einzelnen Komponenten der Sensorköpfe 2 und 3 (Kameras, 12, 13, 14) und der Kamera 4 können dabei insbesondere durch die projizierten eindeutigen Muster erzeugt werden. Korrespondenzen eines Sensorkopfes 2, 3 in Abhängigkeit der relativen Positionierung zum Objekt 8 kann insbesondere durch die Kalibriermarken 9 erzielt werden. Somit können immer alle Kameras kalibriert werden, wobei z.B. die in Köhler beschriebene obligatorische Ausrichtung über die Geometrie für manche Datensätze entfällt. Dies gilt insbesondere bei der Nutzung des Halters 5 in Form eines Glastisches.

Ferner ist es nicht mehr wie in Köhler notwendig, für jede im Sensorkopf 2, 3 benutzte Kamera pro relativer Positionierung des Sensorkopfs zum Objekt eine eigene virtuelle Kamera mit eigenen Parametern zu erzeugen. Die Kameras 12 bis 14 eines Sensorkopfes 2, 3 können sich nun z.B. die Fokallänge teilen, was die Kalibrierung robuster macht.

Auch ist es nun möglich, eine globale Optimierung auf einer Teilpunktmenge durchzuführen. Bei Köhler werden die Parameter einschließlich der Positionen aller 3D-Punkte stets global optimiert. Im vorliegenden erfindungsgemäßen Verfahren können nun Superpixel definiert werden, die jeweils eine größere Sensorfläche abdecken. Pro Superpixel werden nicht alle Korrespondenzen verarbeitet, was die Kalibrierungsgeschwindigkeit wesentlich erhöht, da weniger 3D-Punkte optimiert werden müssen.