Beschreibung

Die Erfindung betrifft ein Verfahren zum Erzeugen einer 3D-Rekonstruktion eines Objekts, umfassend das Beleuchten des Objekts, das Erfassen von Bild daten zu dem Objekt und das Berechnen der 3D-Rekonstruktion des Objekts aus den Bilddaten, wobei die Bilddaten erste Bilddaten und zweite Bilddaten umfassen, und wobei die ersten Bilddaten aus unterschiedlichen Aufnahme richtungen bei Beleuchten des Objekts mit Beleuchtungslicht erfasst werden, das in Bezug auf einen Objektabbildungsstrahlengang wenigstens teilweise das Objekt beleuchtendes Auflicht ist. Die Erfindung betrifft auch eine Vorrich tung zum Erzeugen einer 3D-Rekonstruktion eines Objekts mit einer Einrich tung für das Beleuchten des Objekts mit Beleuchtungslicht, mit einer Einrich tung für das Erfassen von Bilddaten zu dem Objekt und mit einer Einrichtung für das Berechnen der 3D-Rekonstruktion des Objekts aus den erfassten Bild daten, wobei die erfassten Bilddaten erste Bilddaten und zweite Bilddaten ent halten, und wobei die ersten Bilddaten aus unterschiedlichen Aufnahmerich tungen bei Beleuchten des Objekts mit Beleuchtungslicht erfasst sind, das in Bezug auf einen Objektabbildungsstrahlengang wenigstens teilweise das Ob jekt beleuchtendes Auflicht ist. Die Erfindung betrifft außerdem ein Computer programm.

In„Zhen, Liu et al. , A Novel Stereo Vision Measurement System Using Both Line Scan Camera and Frame Camera“ sind ein Verfahren und eine Vorrich tung der eingangs genannten Art beschrieben. Dort wird vorgeschlagen, ein Grauwertbild einer Oberfläche und ein Tiefenbild eines Werkstücks gleichzei tig zu erfassen. Bei der Erfassung des Tiefenbilds wird das Werkstück mit La serlicht in einer Auflichtkonfiguration beleuchtet und sowohl mit einer Zeilen kamera als auch mit einer Einzelbildkamera aus unterschiedlichen Aufnahme positionen aufgenommen. Aus den auf diese Weise erfassten Bilddaten werden die 3D-Koordinaten des Werkstücks in einem sogenannten Stereo- Modell mittels Triangulation berechnet. Dazu wird anhand von Kalibrierinfor mationen der beiden Kameras zu einem mit der Zeilenkamera aufgenomme nen Bildpunkt p _t eine Epipolarlinie l _r bestimmt, auf welcher der zu dem Bild punkt ₍ gehörende gesuchte 3D-Punkt P liegt. Diese Epipolarlinie l _r wird dann in die Aufnahme der Einzelbildkamera projiziert, wobei der zu dem 3D-Punkt P gehörende Bildpunkt in der Bildebene der Einzelbildkamera auf der projizier ten Epipolarlinie liegen muss. Die Beleuchtung des Werkstücks mit Laserlicht ergibt dann in der Aufnahme der Einzelbildkamera eine schmale Linie, die ein Abbild eines Teils des Werkstücks ist. Durch Analysieren des Grauwertver laufs entlang der projizierten Epipolarlinie in der Aufnahme der Einzelbildka mera wird anschließend ein Bildpunkt mit einem maximalen Grauwert p _r be stimmt. Die Koordinaten des 3D-Punkts P ergeben sich daraus als ein Schnitt punkt der Epipolarlinie l _r zu Punkt p _t und der Epipolarlinie zu Punkt p _r .

Die US 9,357,204 B2 offenbart das Erstellen der 3D-Rekonstruktion einer Brille, indem die Brille auf einem rotierenden Drehteller angeordnet und damit vor mehreren Bilderfassungseinrichtungen bewegt wird, die jeweils als Ka mera ausgebildet sind. Dabei werden Bilder der Brille mit unterschiedlichen Ansichten aufgenommen, die jeweils eine Silhouette der Brille zeigen. Eine Rechnereinheit berechnet dann aus diesen Bildern eine 3D-Rekonstruktion zu der Brille.

In der DE 10 2018 209 570 A1 , die nachveröffentlicht ist und lediglich Stand der Technik nach Art. 54 (3) EPÜ bildet, ist angegeben, für ein Objekt eine 3D- Rekonstruktion zu ermitteln, indem das Objekt relativ zu einer Bilderfassungs einrichtung verlagert und dieses in unterschiedlichen Positionen des Objekts damit aufgenommen wird. Hier werden die erfassten Bilder nach einer Filte rung anhand einer Kodier- und einer Dekodierfunktion auf ein dreidimensiona les Gitter projiziert, dessen Werte die 3D-Rekonstruktion repräsentieren. Marktübliche 3D-Scanner, die mittels Photogrammetrie für ein Objekt eine 3D- Rekonstruktion bereitstellen, eignen sich für das dreidimensionale Vermessen von Brillen und Brillenfassungen nicht, da diese sehr dünne und teilweise re flektierende Strukturen aufweisen. Um Brillen und Brillengläser mittels Strei fenprojektion vermessen zu können, müssen diese in der Regel mit einer Oberflächenbeschichtung versehen werden, die z. B. mittels eines Sprays auf gebracht wird. Das genaue Vermessen von Objekten mittels Laserlinienscan ning erfordert das Bereitstellen von energiereicher Laserstrahlung und hoch auflösenden Kameras, die das Erfassen von Bildern mit großen Helligkeitsun terschieden ermöglichen.

Aufgabe der Erfindung ist es, die 3D-Rekonstruktion eines Objekts, das auch einen für das Licht wenigstens teilweise transparenten, einen das Licht we nigstens teilweise reflektierenden oder auch einen glänzenden Abschnitt ha ben kann, mit einer verbesserten Genauigkeit zu ermöglichen.

Diese Aufgabe wird durch das in Anspruch 1 angegebene Verfahren und die in Anspruch 15 angegebene Vorrichtung gelöst. Vorteilhafte Ausführungsfor men der Erfindung sind in den abhängigen Ansprüchen angegeben.

Das erfindungsgemäße Verfahren zum Erzeugen einer 3D-Rekonstruktion ei nes Objekts umfasst das Beleuchten des Objekts, das Erfassen von Bilddaten zu dem Objekt und das Berechnen der 3D-Rekonstruktion des Objekts aus den Bilddaten. Die Bilddaten umfassen dabei erste Bilddaten und zweite Bild daten, wobei die ersten Bilddaten aus unterschiedlichen Aufnahmerichtungen bei Beleuchten des Objekts mit Beleuchtungslicht erfasst werden, das in Be zug auf einen Objektabbildungsstrahlengang wenigstens teilweise das Objekt beleuchtendes Auflicht ist, wobei die zweiten Bilddaten aus unterschiedlichen Aufnahmerichtungen bei Beleuchten des Objekts mit Beleuchtungslicht erfasst werden, das in Bezug auf einen Objektabbildungsstrahlengang wenigstens teilweise das Objekt beleuchtendes Hintergrundlicht ist, und die 3D- Rekonstruktion des Objekts aus den ersten Bilddaten und den zweiten Bildda ten berechnet wird.

Unter das Objekt beleuchtendem Auflicht wird dabei Licht verstanden, das auf das Objekt einfällt und das von einer optisch wirksamen Fläche des Objekts, d. h. von einer das Licht streuenden oder das Licht reflektierenden Fläche des Objekts in einen das Objekt auf eine Bildebene einer Bilderfassungseinrich tung abbildenden Strahlengang zu der Bildebene gestreut oder reflektiert wird.

Unter das Objekt beleuchtendem Hintergrundlicht wird dabei Licht verstanden, das auf das Objekt einfällt und das von einem Hintergrund des Objekts in einen das Objekt auf eine Bildebene einer Bilderfassungseinrichtung abbildenden Strahlengang gelangt und das in der Bildebene wenigstens teilweise ein Bild einer Silhouette des Objekts, d. h. eines Umrisses des Objekts, hervorruft. In Bezug auf das Objekt beleuchtendes Hintergrundlicht erscheint das Objekt auf der Bildebene also wenigstens teilweise im Gegenlicht.

Das erfindungsgemäße Verfahren zum Erzeugen einer 3D-Rekonstruktion ei nes Objekts kann insbesondere das Beleuchten des Objekts und das Erfassen einer Vielzahl von Bildern des Objekts mit Bilddaten in einem jeweiligen Ob jektabbildungsstrahlengang sowie das Berechnen der 3D-Rekonstruktion des Objekts aus den Bilddaten der erfassten Bilder umfassen. Die Vielzahl der er fassten Bilder des Objekts enthält dabei erste Bilder und zweite Bilder mit Bild daten. Die ersten Bilder werden aus unterschiedlichen Aufnahmerichtungen bei Beleuchten des Objekts mit Beleuchtungslicht erfasst, das in Bezug auf den jeweiligen Objektabbildungsstrahlengang wenigstens teilweise das Objekt beleuchtendes Auflicht ist. Die zweiten Bilder werden aus unterschiedlichen Aufnahmerichtungen bei Beleuchten des Objekts mit Beleuchtungslicht er fasst, das wenigstens teilweise in dem jeweiligen Objektabbildungsstrahlen ganggeführt ist. Die 3D-Rekonstruktion des Objekts wird dann aus den Bild daten der ersten und zweiten Bilder berechnet. Das erfindungsgemäße Verfahren zum Erzeugen einer 3D-Rekonstruktion ei nes Objekts kann auch das Beleuchten des Objekts und das Erfassen einer Vielzahl von Bildern des Objekts mit Bilddaten mittels wenigstens einer Bilder fassungseinrichtung in einem Objektabbildungsstrahlengang bei unterschied lichen Anordnungen des Objekts relativ zu der wenigstens einen Bilderfas sungseinrichtung sowie das Berechnen der 3D-Rekonstruktion des Objekts aus den Bilddaten der erfassten Bilder umfassen, wobei die Vielzahl der er fassten Bilder des Objekts erste Bilder und zweite Bilder mit Bilddaten enthält, wobei die ersten Bilder zu unterschiedlichen Anordnungen des Objekts relativ zu der wenigstens einen Bilderfassungseinrichtung bei Beleuchten des Ob jekts mit Beleuchtungslicht erfasst werden, das in Bezug auf den Objektabbil dungsstrahlengang wenigstens teilweise das Objekt beleuchtendes Auflicht ist, und wobei die zweiten Bilder zu unterschiedlichen Anordnungen des Ob jekts relativ zu der wenigstens einen Bilderfassungseinrichtung bei Beleuchten des Objekts mit Beleuchtungslicht erfasst werden, das wenigstens teilweise in dem Objektabbildungsstrahlengang zu der wenigstens einen Bilderfassungs einrichtung geführt ist. Die 3D-Rekonstruktion des Objekts wird dann aus den Bilddaten der ersten und zweiten Bilder berechnet.

Eine erfindungsgemäße Vorrichtung zum Erzeugen einer 3D-Rekonstruktion eines Objekts enthält eine Einrichtung für das Beleuchten des Objekts mit Be leuchtungslicht, eine Einrichtung für das Erfassen von Bilddaten zu dem Ob jekt und eine Einrichtung für das Berechnen der 3D-Rekonstruktion des Ob jekts aus den erfassten Bilddaten. Die erfassten Bilddaten enthalten erste Bild daten und zweite Bilddaten, wobei die ersten Bilddaten aus unterschiedlichen Aufnahmerichtungen bei Beleuchten des Objekts mit Beleuchtungslicht erfasst sind, das in Bezug auf einen Objektabbildungsstrahlengang wenigstens teil weise das Objekt beleuchtendes Auflicht ist, wobei die zweiten Bilddaten aus unterschiedlichen Aufnahmerichtungen bei Beleuchten des Objekts mit Be leuchtungslicht erfasst sind, das wenigstens teilweise in einem Objektabbil dungsstrahlengang geführt ist, und wobei die 3D-Rekonstruktion des Objekts aus den ersten Bilddaten und den zweiten Bilddaten berechnet ist. Eine erfindungsgemäße Vorrichtung zum Erzeugen einer 3D-Rekonstruktion eines Objekts kann insbesondere eine Einrichtung für das Beleuchten des Ob jekts mit Beleuchtungslicht und eine Einrichtung für das Erfassen einer Viel zahl von Bildern des Objekts mit Bilddaten in einem jeweiligen Objektabbil dungsstrahlengang sowie eine Einrichtung für das Berechnen der 3D-Rekon- struktion des Objekts aus den erfassten Bildern enthalten, wobei die Vielzahl der erfassten Bilder des Objekts erste Bilder und zweite Bilder mit Bilddaten enthält, wobei die ersten Bilder aus unterschiedlichen Aufnahmerichtungen bei Beleuchten des Objekts mit Beleuchtungslicht erfasst sind, das in Bezug auf den jeweiligen Objektabbildungsstrahlengang wenigstens teilweise das Objekt beleuchtendes Auflicht ist, wobei die zweiten Bilder aus unterschiedlichen Auf nahmerichtungen bei Beleuchten des Objekts mit Beleuchtungslicht erfasst sind, das wenigstens teilweise in dem jeweiligen Objektabbildungsstrahlen gang geführt ist, und wobei die 3D-Rekonstruktion des Objekts aus den Bild daten der ersten und zweiten Bilder berechnet ist.

Eine erfindungsgemäße Vorrichtung zum Erzeugen einer 3D-Rekonstruktion eines Objekts kann alternativ hierzu auch eine Einrichtung für das Beleuchten des Objekts mit Beleuchtungslicht enthalten und eine Einrichtung für das Er fassen einer Vielzahl von Bildern des Objekts mit Bilddaten in wenigstens einer Bilderfassungseinrichtung in einem Objektabbildungsstrahlengang bei unter schiedlichen Anordnungen des Objekts relativ zu der wenigstens einen Bilder fassungseinrichtung aufweisen, wobei eine Einrichtung für das Berechnen der 3D-Rekonstruktion des Objekts aus den erfassten Bildern vorgesehen ist und wobei es eine Einrichtung für das Beleuchten des Objekts mit Beleuchtungs licht gibt, das in Bezug auf den Objektabbildungsstrahlengang wenigstens teil weise das Objekt beleuchtendes Auflicht ist, und das auch das Beleuchten des Objekts mit Beleuchtungslicht ermöglicht, das wenigstens teilweise in dem Ob jektabbildungsstrahlengang zu der wenigstens einen Bilderfassungseinrich tung geführt ist. Hier wird die 3D-Rekonstruktion des Objekts aus den Bildda ten erster und zweiter Bilder in einer mittels der Einrichtung für das Erfassen einer Vielzahl von Bildern des Objekts mit Bilddaten erfassten Vielzahl von Bildern berechnet, wobei die ersten Bilder zu unterschiedlichen Anordnungen des Objekts relativ zu der wenigstens einen Bilderfassungseinrichtung bei Be leuchten des Objekts mit Beleuchtungslicht erfasst sind, das in Bezug auf den Objektabbildungsstrahlengang wenigstens teilweise das Objekt beleuchten des Auflicht ist, und wobei die zweiten Bilder zu unterschiedlichen Anordnun gen des Objekts relativ zu der wenigstens einen Bilderfassungseinrichtung bei Beleuchten des Objekts mit Beleuchtungslicht erfasst sind, das wenigstens teilweise in dem Objektabbildungsstrahlengang zu der wenigstens einen Bil derfassungseinrichtung geführt ist.

Das Objekt, zu dem die 3D-Rekonstruktion erzeugt wird, kann insbesondere eine Brillenfassung sein.

Ein Objektabbildungsstrahlengang einer Bilderfassungseinrichtung zu einem Objekt ist vorliegend ein optischer Strahlengang, der das Objekt ganz oder teilweise in einer Bildebene einer Bilderfassungseinrichtung abbildet.

Unter ein Objekt in Bezug auf den Objektabbildungsstrahlengang beleuchten dem Auflicht ist vorliegend Licht zu verstehen, welches das Objekt beleuchtet und dabei an einer das Licht streuenden oder reflektierenden Oberfläche des Objekts in einen das Objekt abbildenden Objektabbildungsstrahlengang ge streut oder reflektiert wird.

Indem Bilder mit Bilddaten zu unterschiedlichen Anordnungen des Objekts re lativ zu einer Bilderfassungseinrichtung nicht nur bei Beleuchten des Objekts mit Beleuchtungslicht erfasst werden, das in Bezug auf den Objektabbildungs strahlengang wenigstens teilweise das Objekt beleuchtendes Auflicht ist, son dern auch bei Beleuchten des Objekts mit Beleuchtungslicht, das wenigstens teilweise in dem Objektabbildungsstrahlengang zu der wenigstens einen Bil derfassungseinrichtung geführt ist, lassen sich transparente Strukturen von Objekten erkennen und in einer 3D-Rekonstruktion des Objekts berücksichti gen.

Von Vorteil ist es, wenn für das Berechnen der 3D-Rekonstruktion des Objekts eine tomografische Rekonstruktion des Objekts ermittelt wird. Auf diese Weise ist es insbesondere möglich, für dünne Objekte eine genaue 3D-Rekonstruk- tion anzugeben.

Unter der tomografischen 3D-Rekonstruktion eines Objekts ist vorliegend ein in der deutschen Patentanmeldung DE 10 2018 209 570.1 beschriebenes Verfahren zur Erzeugung eines dreidimensionalen Abbilds eines Objekts zu verstehen, auf die hiermit Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich einbezogen wird. Dieses Verfahren stellt das dreidimensionale Abbild des Objekts, d. h. die tomografi sche 3D-Rekonstruktion des Objekts als ein 3D-Voxel-Gitter dar, die aus zu dem Objekt vorliegenden, z. B. erfassten Intensitätsbildern berechnet werden.

Intensitätsbilder können grundsätzlich auch farbige Bilder sein. Die oben er wähnte Berechnung kann deshalb auf jedem Farbkanal einzeln sowohl für die ersten Bilder, die zu unterschiedlichen Anordnungen des Objekts relativ zu der wenigstens einen Bilderfassungseinrichtung bei Beleuchten des Objekts mit Beleuchtungslicht erfasst werden, als auch für die zweiten Bilder durchgeführt werden, die zu unterschiedlichen Anordnungen des Objekts relativ zu der we nigstens einen Bilderfassungseinrichtung bei Beleuchten des Objekts mit Be leuchtungslicht erfasst sind, das wenigstens teilweise in dem Objektabbil dungsstrahlengang zu der wenigstens einen Bilderfassungseinrichtung ge führt ist.

Das Verfahren der tomografischen 3D-Rekonstruktion enthält folgende Schritte: Die Intensitätsbilder zu dem Objekt werden vorverarbeitet, z. B. wie in der Publikation„R. Cierniak, X-ray computed tomography in biomedical engineering, Springer Science & Business Media (201 1 )“ beschrieben, auf die hiermit Bezug genommen und deren Offenbarung in diese Erfin dungsbeschreibung vollumfänglich mit einbezogen wird, mittels eines Hochpassfilters, eines Ram-Lak Filters, eines Shepp-Logan-Filters, ei nes Generalized-Hamming Filters, eines Low-Pass-Cosine-Filters, durch Berechnen von Objektmerkmalsbildern oder durch Hervorhebung der Kanten im Bild mittels eines zusätzlichen Filterschritts, damit bei der 3D- Rekonstruktion des Objekts nur dessen Außenkanten sichtbar sind.

Es wird aus den vorbearbeiteten Bildern ein 3D-Voxel-Gitter konstruiert, dessen Auflösung von der geforderten Rekonstruktionsgenauigkeit ab hängt.

Unter einem Voxel ist vorliegend ein Gitterpunkt in einem dreidimensio nalen Gitter zu verstehen. Ein 3D-Voxel-Gitter repräsentiert ein 3D-Ob- jekt in einer Rechnereinheit. Liegt z. B. ein Voxel innerhalb eines Objekts oder auf einer Oberfläche eines Objekts, wird ihm ein Wert größer als 0 und kleiner gleich 1 zugeordnet. Liegt ein Voxel außerhalb eines Objekts, wird ihm der Wert 0 zugeordnet. Bei halbtransparenten Objekten gibt der Wert des Voxels den Grad der Transparenz des Objekts an dieser Stelle an. Bei opaken Objekten werden Werte von 0 außerhalb des Objekts und 1 innerhalb des Objekts angenommen.

Für ein jedes Voxel wird eine Intensität in dem Gitter mittels einer Kodier- und Dekodierfunktion berechnet. Dabei werden die folgenden Schritte angewandt: a. Projektion des Voxeizentrums in jedes vorverarbeitete erfasste Bild mittels der Abbildungsparameter der zugehörigen Bilderfassungsein richtungen; b. Auslesen der Intensität des Pixels;

c. Gewichtung der Intensität mit einem Gewichtungsfaktor, der antipro portional zum Abstand des Voxels zur zugehörigen Bilderfassungs einrichtung ist (Kodierfunktion); und

d. Berechnung der Summe der gewichteten Intensitäten über alle er fassten Bilder (Dekodierfunktion).

Es ergibt sich auf diese Weise ein 3D-Voxel-Gitter mit einer dreidimensi onalen Intensitätsverteilung, deren Maxima den 3D-Objektpunkten ent sprechen.

Von Vorteil ist es, wenn das 3D-Voxel-Gitter mittels eines Filters und/oder ei nes neuronalen Netzes artefaktkorrigiert wird. Auf diese Weise kann die Ge nauigkeit der 3D-Rekonstruktion des Objekts erhöht werden, wobei die 3D- Rekonstruktion des Objekts das Objekt auch bei unterschiedlichen komplizier ten Objektgeometrien präzise wiedergibt. Von Vorteil ist es auch, wenn das Berechnen der 3D-Rekonstruktion des Objekts das Berechnen von Objekt merkmalsbildern zu wenigstens einem Teil der ersten Bilder umfasst. Auf diese Weise lässt sich die 3D-Rekonstruktion auf die gefilterten Merkmale be schränkten und dadurch bei der Berechnung der 3D-Rekonstruktion des Ob jekts eine Verringerung der Rechenzeit und der zu verarbeitenden Daten er reichen.

Ein Objektmerkmalsbild kann z. B. an einem jeden Pixel die Information ent halten, ob ein bestimmtes Merkmal des Objekts an diesem Pixel vorliegt. De- tektierte Merkmale können insbesondere Kanten, Ecken, sogenannte Blobs oder auch bedeutsame Pixel, d. h.„interest points“ sein. Objektmerkmalsbilder können insbesondere Binärbilder mit Bildpixeln sein, die entweder den Wert W=0 oder den Wert W=1 annehmen. Der Wert W=1 bedeutet, dass das ge suchte Merkmal, z. B. eine Kante, an diesem Pixel vorliegt. Der Wert W=0 be sagt, dass dies nicht der Fall ist. Alternativ können Objektmerkmalsbilder auch Werte im Intervall [0, 1 ] enthalten, die eine Wahrscheinlichkeit für das Vorliegen des gesuchten Merkmals repräsentieren. Auch andere Werte, z. B. Vektoren mit Filterantworten bei Faltung der erfassten Bilder mit einem oder mehreren Filterkernen zur Detektion von spezifischen Merkmalen sind möglich, z. B. Garborfilter zur Texturanalyse, SIFT-Features zur Detektion von bedeutsamen Bildpunkten, wie sie in der Publikation„D.G. Lowe, Object recognition from local scale invariant features; Proceedings of the International Conference on Computer Vision, ICCV’99, 1 150-1 157 (1999)“ beschrieben sind, auf die hier mit Bezug genommen und deren Offenbarung in die vorliegende Erfindungs beschreibung vollumfänglich einbezogen wird.

Eingesetzt werden kann auch ein SURF-Feature-Detektor, wie er in der Pub likation„H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, Speeded-Up Robust Features (surf), Comput. Vis. Image Linderst., 1 10 (3), 346-359 (2008)“ be schrieben ist, auf die hiermit Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich einbezogen wird, oder ein AKAZE-Feature-Detektor , wie er in der Publikation„A. B. Pablo Alcantarilla, J. Nuevo: Fast explicit diffusion for accelerated features in nonlinear scale spaces; In Proceedings of the British Machine Vision Conference. BMVA Press, 2013.“ beschrieben ist, auf die hiermit Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich einbe zogen wird, oder ein MSER-Feature-Detektor, wie er aus der Publikation„Ma- tas, O. Chum, M. Urban, T. Pajdla, Robust Wide Baseline Stereo from Maxi- mally Stable Extremal Regions, Proc. BMVC, 36.1-36.10 (2002)“ bekannt ist. Auch auf diese Publikation wird hiermit Bezug genommen und ihre Offenba rung wird in die vorliegende Erfindungsbeschreibung vollumfänglich einbezo gen. Darüber hinaus ist es möglich, mehrere vorstehend beschriebene Detek toren zu kombinieren. Insbesondere ist es möglich, mittels Machine Learning gelernte Filter für anwendungsspezifische Aufgaben wie z. B. die Detektion von Fassungskanten einer Brillenfassung einzusetzen.

Da die Merkmale eines Objekts sich oft nicht auf einen Pixel genau lokalisieren lassen, kann jedes detektierte Merkmal lokal mit einer Gaußfunktion gewichtet werden. Zu bemerken ist, dass die Objektmerkmalsbilder als Merkmal z. B. ein einziges Objektmerkmal oder auch mehrere Objektmerkmale aus der Gruppe Kante, Eckpunkte, Gaborfeature aufweisen können.

Indem die Objektmerkmalsbilder mittels maschinellen Lernens oder mittels ei nes neuronalen Netzes berechnet werden, lässt sich erreichen, dass in einer Einrichtung für das Berechnen der 3D-Rekonstruktion des Objekts aus den erfassten Bildern zu dem Objekt nicht vorab Merkmale festgelegt werden müs sen. Ein Algorithmus in der Einrichtung kann dann selbst lernen, welche Merk male das Objekt hat und wie diese zu detektieren sind. Hierdurch kann die Genauigkeit einer zu einem Objekt berechneten 3D-Rekonstruktion ebenfalls gesteigert werden.

Für das Berechnen der 3D-Rekonstruktion des Objekts kann insbesondere vorgesehen sein, segmentierte Bildmasken zu bestimmen und das Ausschnei den eines Objektteils aus wenigstens einem Teil der ersten und/oder zweiten Bilder mittels der segmentierten Bildmasken vorzusehen.

Unter einer segmentierten Bildmaske ist vorliegend ein Bild zu verstehen, das ein Abbild des Objekts in Form eines Binärbilds ist, in dem genau die Pixel den Wert 1 aufweisen, die zum Abbild des zu rekonstruierenden Objekts gehören, und in dem die Pixel des Hintergrunds den Wert 0 aufweisen.

Segmentierte Bildmasken können insbesondere mittels maschinellen Lernens bestimmt werden, indem die zu segmentierenden Bilder zunächst von Hand durch Setzen von Konturpunkten segmentiert werden und anschließend ein neuronales Netz für die Erkennung der Bildmasken trainiert wird. Alternativ oder zusätzlich können simulierte Bilddaten für bekannte 3D-Objekte und de ren segmentierte Bildmasken generiert werden und diese als Trainingsdaten für das neuronale Netz dienen. Dabei ist es von Vorteil, sowohl erste als auch zweite erfasste Bilder als Eingabe für das neuronale Netz zu verwenden, da die Berechnung der segmentierten Bildmasken auf Basis beider Bilddaten ge nauer ist.

Das Berechnen der 3D-Rekonstruktion des Objekts kann auch das Berechnen von Kanteninformationsbildern aus den ersten und/oder zweiten Bildern um fassen.

Unter Kanteninformationsbildern sind vorliegende Objektmerkmalsbilder für das spezielle Merkmal„Kante“ zu verstehen. Zur Detektion von Kanten können grundsätzlich verschiedene Filter verwendet werden, z. B. wie in der Publika tion„W. Rong, Z. Li, W. Zhang and L. Sun, An Improved Canny Edge Detection Algorithm, IEEE International Conference on Mechatronics and Automation, Tianjin, 577-582 (2014)“ beschrieben, auf die hiermit Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich einbezogen wird, oder wie in der US 2015/362761 A beschreiben, auf die hier mit ebenfalls Bezug genommen und deren Offenbarung in die vorliegende Er findungsbeschreibung vollumfänglich einbezogen wird, oder auch wie in der Publikation„R.C. Bolles, H.H. Baker, D.H. Marimont, Epipolar-Plane Image Analysis: An Approach to Determining Structure from Motion, International Journal of Computer Vision, 1 , 7-55 (1987)“ beschrieben, worauf hiermit ge nauso Bezug genommen und deren Offenbarung in die Erfindungsbeschrei bung vollumfänglich einbezogen wird, Canny-Edge-Detektoren oder, wie in der Publikation„R.O. Duda, P.E. Hart, Use of the Hough Transformation to Detect Lines and Curves in Pictures, Comm. ACM, 15, 1 1-15 (1972)“ ange geben, auf die hiermit ebenfalls Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich einbezogen wird, Houghtransformationen oder auch, wie in der Publikation S. Wanner, B. Gold lucke, Globally Consistent Depth Labeling of 4D Light Fields, Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on, IEEE (2012)“ be schrieben, auf die hiermit genauso Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich einbezogen wird, Struktur-Tensoren. Zu bemerken ist, dass auch mittels sogenanntem Machine Learning gelernte Kantendetektionsfilter zur Detektion von speziellen trainier ten Kanten eingesetzt werden können.

Insbesondere kann das Berechnen der 3D-Rekonstruktion des Objekts an hand des Berechnens von Epipolarebenenbildern aus den Objektmerkmalsbil dern und/oder den Kanteninformationsbildern erfolgen.

Die Fig. 1 ist eine Darstellung der Berechnung eines Epipolarebenenbildes aus erfassten Bildern unter Ausnutzung epipolargeometrischer Zusammenhänge.

Die sogenannte Epipolargeometrie findet Anwendung bei der Berechnung von Tiefenkarten und der 3D-Rekonstruktion von Objekten. Unter Bezugnahme auf die Fig. 1 wird ein 3D-Punkt 5 des Objekts 12 bei jeder Anordnung des Objekts relativ zur Bilderfassungseinrichtung auf einen bestimmten Bildpunkt x ⁽¹⁾ der Bildebene der Bilderfassungseinrichtung abgebildet. Wird umgekehrt ein aus gewählter Bildpunkt x ⁽¹⁾ in einem aufgenommenen Bild betrachtet, so ent spricht diesem Bildpunkt eine ganze Linie in dem 3D-Raum aller 3D-Punkte mit einer unterschiedlichen Tiefe, die auf diesen einen Bildpunkt abgebildet werden. Diese Linie kann aus dem ausgewählten Bildpunkt und den bekann ten Abbildungsparametern der Bilderfassungseinrichtung berechnet werden. In einem zweiten aufgenommen Bild zu einer anderen Anordnung des Objekts relativ zur Bilderfassungseinrichtung wird diese 3D-Linie auf eine 2D-Linie 4 ⁽²⁾ projiziert. Dies ist die sogenannte Epipolarlinie. Auf dieser muss auch das Ab bild des ausgewählten 3D-Objektpunktes liegen. Dadurch wird der Suchbe reich stark eingeschränkt und somit das Problem der Detektion von korrespon dieren Punkten in unterschiedlichen erfassten Bildern durch die Berechnung der Epipolarlinie 4 ⁽²⁾ vereinfacht. Durch die Detektion von korrespondierenden Punkten in zwei mittels der Bilderfassungseinrichtung zu unterschiedlichen Anordnungen des Objekts erfassten Bildern ist es möglich, mit Hilfe der Abbil dungsparameter der Bilderfassungseinrichtung durch Triangulation auf die Tiefe des zugehörigen 3D-Punktes 5 zu schließen. Um die Berechnung der Epipolarlinien 4 ⁽²⁾ , ... ,4 ⁽ⁿ⁾ zu vereinfachen, können Verfahren wie z. B. eine Rektifizierung der Bildpaare relativ zu einem bestimmten Bild in den erfassten Bildern oder eine Bilddrehung angewendet werden, wie dies z. B. beschrieben ist in der Publikation„R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, New York, NY, USA, 2nd ed. (2003)“, auf die hiermit Bezug genommen und deren Offenbarung in die vor liegende Erfindungsbeschreibung vollumfänglich einbezogen wird.

Unter Epipolarebenenbildern E _x,k (y,t) werden unter Bezugnahme auf die Fig. 1 aus Bildpunkten y aufgebaute Bilder 1 verstanden, die auf Basis der Epipo largeometrie aus mehreren, mittels einer Bilderfassungseinrichtung k zu einem Objekt 12 zu verschiedenen Zeiten t erfassten Bildern 2 ⁽¹⁾ , 2 ⁽²⁾ , ... 2 ^(n_1) , 2 ⁽ⁿ⁾ bei unterschiedlichen, bekannten Anordnungen desselben relativ zu der Bilderfas sungseinrichtung k und unter Berücksichtigung bekannter Abbildungseigen schaften der Bilderfassungseinrichtung k berechnet sind.

Dabei wird zu einem jeden ausgewählten Bildpunkt x ⁽¹⁾ ... in einem ersten erfassten Bild 2 ⁽¹⁾ die sogenannte Epipolarlinie 4 ⁽²⁾ , ... 4 ⁽ⁿ⁾ in jedem weiteren erfassten Bild 2 ⁽²⁾ , ... 2 ⁽ⁿ⁾ angegeben. In einem Epipolarebenenbild E _x,k (y,t) gibt es also für verschiedene Anordnungen des Objekts vor der Bilderfassungsein richtung für den ausgewählten Bildpunkt x ⁽¹⁾ in dem erfassten ersten Bild 2 ⁽¹⁾ die zugehörigen Epipolarlinien 4 ⁽²⁾ , ... 4 ⁽ⁿ⁾ in entsprechend weiteren erfassten Bildern 2 ⁽²⁾ , ... 2 ^(n_1) , 2 ⁽ⁿ⁾ . Ein Epipolarebenenbild E _x,k (y,t) enthält damit in jeder Bildzeile mit Bildpunkten y die Intensitäten einer Epipolarlinie 4 ⁽²⁾ , ... 4 ⁽ⁿ⁾ zu dem ausgewählten Bildpunkt x in dem jeweiligen zum Zeitpunkt t erfassten Bild der Bilderfassungseinrichtung k.

Werden das Objekt 12 und die Bilderfassungseinrichtung k beim Erfassen der Bilder 2 ⁽¹⁾ , 2 ⁽²⁾ , ... 2 ^(n_1) , 2 ⁽ⁿ⁾ relativ zueinander auf einer Trajektorie bewegt, die eine Gerade ist, so enthält das Epipolarebenenbild E _x,k (y,t) entsprechend eine Objektpunkttrajektorie in Form einer Geraden 6, welche die Bewegung des zum ausgewählten Bildpunkt gehörenden 3D-Punkts 5 des Objekts 12 be schreibt. Zu bemerken ist, dass es genügt, die mittels der Bilderfassungseinrichtung erfassten Bilder zu entzeichnen, damit in dem Epi polarebenenbild eine Gerade erhalten werden kann.

Aus der Steigung dieser Geraden 6, die dem tiefenabhängigen Versatz ent spricht, der sogenannten„disparity“ bei Stereo-Tiefenschätzungs-Verfahren, wird dann die räumliche Tiefe des 3D-Punktes 5 relativ zu der Bilderfassungs einrichtung bestimmt.

Die Detektion der Objektpunkttrajektorie in Form der Geraden 6 und das Be stimmen von deren Steigung kann grundsätzlich in verschiedenen Bildverar beitungsverfahren durchgeführt werden. Möglich ist die Detektion der Objekt punkttrajektorie und das Bestimmen von deren Steigung z. B. anhand einer Hough-T ransformation, in einer Struktur-Tensor-Berechnung, wie in“K. Po- lisano et al. Convex super-resolution detection of lines in images, Signal Pro cessing Conference (EUSIPCO), 2016 24th European. IEEE, (2016)” be schrieben, auf die hiermit Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich einbezogen wird, mittels konvexer Superauflösung oder, wie in der Publikation„M.W. Tao, S. Hadap, J. Malik, and R. Ramamoorthi, Depth from Combining Defocus and Correspon- dence Using Light-Field Cameras, Proceedings of the 2013 IEEE International Conference on Computer Vision (ICCV ' 13). IEEE Computer Society, Washington, DC, USA, 673-680 (2013)“ angegeben, auf die hiermit ebenfalls Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbe schreibung vollumfänglich einbezogen wird, mittels symmetriebasierter Be rechnungsverfahren wie z. B. Depth-From-Defocus-Berechnung.

Erfindungsgemäß kann eine epipolargeometrische 3D-Rekonstruktion eines Objekts wie folgt durchgeführt werden:

In einem ersten Schritt werden die Bilderfassungseinrichtungen in der Vorrich tung zum Erzeugen einer 3D-Rekonstruktion eines Objekts kalibriert, indem deren intrinsische und extrinsische Abbildungsparameter bestimmt und die Raumposition jeder Bilderfassungseinrichtung relativ zu den jeweils anderen Bilderfassungseinrichtungen ermittelt wird. In einem weiteren Schritt wird dann die Einrichtung zur Bewegung des Objekts relativ zu den Bilderfassungsein richtungen kalibriert. Als Ergebnis dieses Kalibriervorgangs erhält man für jede Anordnung des Objekts relativ zu den Bilderfassungseinrichtungen eine Rota tionsmatrix und einen Translationsvektor.

Die extrinsischen Abbildungsparameter einer Bilderfassungseinrichtung be schreiben Eigenschaften wie die relative Ausrichtung der optischen Achse der Bilderfassungseinrichtung zu einer anderen Bilderfassungseinrichtung oder ei nem vorgegebenen Koordinatensystem. Die intrinsischen Abbildungsparame ter definieren, wie die Koordinaten eines Punktes im Raum in einem zu der entsprechenden Bilderfassungseinrichtung referenziellen Koordinatensys tem, der in die Bildebene des Bildsensors der Bilderfassungseinrichtung ab gebildet wird, in die Koordinaten des in der Bildebene des Bildsensors liegen den Bildpunkts dieses Punkts überführt werden.

Eine ausführliche Erklärung der Kalibrierung von Bilderfassungseinrichtungen in Form von Kameras findet sich z. B. auf S. 8 in dem Lehrbuch " R. Hartley, A. Zisserman, Multiple View Geometry in Computer Vision, 2. Auflage, Cambridge University Press (2004)“, auf das hiermit Bezug genommen und dessen Offenbarung in die vorliegende Erfindungsbeschreibung vollumfäng lich mit einbezogen wird.

Für die epipolargeometrische 3D-Rekonstruktion des Objekts erfolgt dann eine Detektion von Kanten und Merkmalen in den Bilddaten der erfassten Bilder.

Darauf werden Epipolarebenenbilder für jedes detektierte Merkmal berechnet.

Dann erfolgt eine Detektion von Objektpunkttrajektorien in den Epipolarebe nenbildern und es wird die Steigung der Objektpunkttrajektorien berechnet. Darauf wird eine Bestimmung der zugehörigen Tiefe unter Ausnutzung der Ab bildungsparameter der Bilderfassungseinrichtung vorgenommen.

Zu jedem Merkmalspunkt ergibt sich dadurch dann ein 3D-Punkt einer Punk tewolke, die die 3D-Rekonstruktion des Objekts repräsentiert.

Zu bemerken ist, dass durch die Verwendung mehrerer Bilderfassungseinrich tungen gleichzeitig sowie von Verfahren zur Fehlerminimierung, etwa der Mit telung oder robuste Schätzer wie dem sogenannten„Random Sample Con sensus“ (RANSAC) - Verfahren, das z. B. unter https://en. wikipedia. org/wiki/Random_sample_consensus

(Stand 16.1 1 .2017) beschrieben ist, worauf hiermit Bezug genommen und dessen Offenbarung in die vorliegende Erfindungsbeschreibung vollumfäng lich mit einbezogen wird, eine robustere 3D-Rekonstruktion berechnet werden kann.

Von Vorteil ist es, wenn das Berechnen der 3D-Rekonstruktion des Objekts das Berechnen von Objektpunkttrajektorien aus den Epipolarebenenbildern und das Vermessen der Steigung der berechneten Objektpunkttrajektorien und das Schätzen von Tiefeninformationen mittels Triangulation zu einer epi polargeometrischen 3D-Rekonstruktion des Objekts erfolgt. Auf diese Weise lässt sich erreichen, dass keine Tiefenberechnung durch Vergleich von Bild ausschnitten erfolgen muss und es wird hierdurch eine Rekonstruktion von sehr dünnen Strukturen ermöglicht.

Das Berechnen von Objektpunkttrajektorien bewirkt auch eine Robustheit der 3D-Rekonstruktion des Objekts, wenn das Objekt für das Licht transparente Strukturen hat, da sich hier Veränderungen der Farbe eines einzelnen Objekt punktes graduell oder in wenigen Bildern nicht oder nur wenig auswirken. Ob jektpunkttrajektorien werden nämlich als Linien über alle Bilder berechnet. Insbesondere kann vorgesehen sein, dass für das Berechnen der 3D-Rekon- struktion des Objekts eine tomografische Rekonstruktion des Objekts ermittelt wird, indem die Bilddaten der ersten und zweiten Bilder nach einem ortsab hängigen Gewichten und möglicherweise Filtern in ein 3D-Voxel-Gitter rück projiziert werden, wobei die epipolargeometrische 3D-Rekonstruktion des Ob jekts mit dem 3D--Voxel-Gitter zu der 3D-Rekonstruktion des Objekts verrech net wird.

Auf diese Weise lässt sich erreichen, dass die 3D-Rekosntruktion des Objekts auch für unterschiedliche Objektgeometrien zuverlässig und genau ist, weil sich dann Fehler der epipolargeometrischen 3D-Rekonstruktion des Objekts und der tomografischen 3D-Rekonstruktion des Objekts wegmittein.

Indem das 3D-Voxel-Gitter mittels eines Filters und/oder eines neuronalen Netzes artefaktkorrigiert wird, kann die Genauigkeit der 3D-Rekonstruktion des Objekts weiter gesteigert werden.

Bevorzugt wird aus dem 3D-Voxel-Gitter ein Mesh für die Beschreibung der Oberfläche des Objekts berechnet. Damit lässt sich im Vergleich zu einer Punktewolke eine schnellere Verarbeitung der 3D-Daten erreichen. Zu bemer ken ist, dass das Mesh z. B. wie in der Publikation„F. Isgro, F. Odone, W. Saleem and & 0. Schal, Clustering for Surface Reconstruction, I st Internatio nal Workshop towards Semantic Virtual Environments, Villars, Switzerland: MIRALab., 156-162 (2005)” beschrieben, auf die hiermit Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollum fänglich mit einbezogen wird, oder wie in der Publikation“F. Zhou, Y. Zhao, K.-Liu Ma, Parallel mean shift for Interactive volume Segmentation, Machine learning in medical imaging, Lecture notes in Computer Science, 67-75 (2010)” beschrieben, auf die hiermit ebenfalls Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich mit einbezogen wird, mittels eines Mean-Shift-Verfahrens oder mittels eines Marching-Cubes-Verfahrens, oder mittels eines Poisson-Rekonstruktionsver- fahrens, wie es in der Publikation„M. Kazhdan, M. Bolitho, H. Hoppe, Poisson surface reconstruction, Proceedings of the fourth Eurographics Symposium on Geometry Processing (SGP Ό6), Eurographics Association, Aire-Ia-Ville, Switzerland, Switzerland, 61 -70 (2006)“, auf die hiermit Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich mit einbezogen wird, oder in der Publikation„M. Kazhdan, Michael & Bolitho, Matthew & Hoppe, Hugues, Screened Poisson Surface Reconstruction, ACM Transactions on Graphics, 32. 61 -70 (2006)” angegeben ist, auch auf die hier mit Bezug genommen und deren Offenbarung in die vorliegende Erfindungs beschreibung vollumfänglich mit einbezogen wird, aus dem 3D-Voxel-Gitter extrahiert werden kann.

Unter einer Punktwolke wird vorliegend eine Menge von Punkten eines Vek torraums verstanden, die eine unorganisierte räumliche Struktur aufweist. Die Punkte repräsentieren Punkte auf der Oberfläche des 3D-Objekts. Die Punk tewolke ist meist ein Zwischenschritt bei der Berechnung eines 3D-Modells mit Mesh und Textur.

Zu bemerken ist auch, dass das Mesh Knotenpunkte mit Texturkoordinaten aufweisen kann, wobei die Texturkoordinaten in ein Texturbild mit Texturinfor mationen verweisen, welches berechnet wird, indem die erfassten ersten Bil der unter Nutzung der intrinsischen und extrinsischen Abbildungsparameter der Bilderfassungseinrichtungen auf die 3D-Rekosntruktion projiziert und überblendet werden, wie in der Publikation„A. Baumberg, Biending Images for Texturing 3D Models, BMVC (2002)“ auf S. 5 beschrieben, auf die hiermit Be zug genommen und deren Offenbarung in die vorliegende Erfindungsbeschrei bung vollumfänglich mit einbezogen wird.

Unter einem Texturbild ist vorliegend ein Bild zu verstehen, das Eigenschaften der Erscheinung der Oberflächenpunkte einer 3D-Rekonstruktion eines Ob jekts beschreibt, insbesondere die Farbe und die Reflexionseigenschaften. Texturen können aus Farbwerten bestehen, z. B. 2D-Bildern. Zusätzlich kön nen aber auch Reflexionseigenschaften des Objekts in einer Textur gespei chert werden. Das sogenannte„Texture Mapping“ ist eine Abbildung, die je dem 3D-Punkt auf der Oberfläche des Objekts bzw. auf dem Mesh eine oder mehrere Texturkoordinaten zuordnet. Die Texturkoordinaten bestimmen die Zuordnung der Texturpunkte zu den 3D-Punkten der Objektoberfläche.

Um die Reflexionseigenschaften des rekonstruierten Objekts zu schätzen, kann der Intensitätsverlauf entlang der Objektpunkttrajektorien analysiert wer den. Bei rein diffus reflektierenden Oberflächenpunkten ist dieser Intensitäts verlauf über verschiedene Objektanordnungen relativ zur Bilderfassungsein richtung weitgehend konstant. Bei ansteigendem spekularen Anteil weicht die Intensität zunehmend vom konstanten Verlauf ab. Aus dieser Information kann analog zum diffusen Texturbild, d. h. der reinen Farbinformation, ein spekula- res Texturbild erzeugt werden.

Das Texturbild kann z. B. durch Projektion der ersten Bilder auf das Mesh be rechnet werden. Alternativ kann auch der Färb- bzw. Intensitätswert aus dem mehrkanaligen 3D-Voxel-Gitter auf das Mesh übertragen werden, z. B. als Mit telwert der direkten Voxel-Nachbarschaft des jeweiligen Mesh-Knotens. Aus dem 3D-Voxel-Gitter können über Ableitungsfilter Meshnormalen berechnet werden.

Indem aus den zweiten Bildern eine Texturtransparenz berechnet wird, enthält die 3D-Rekonstruktion des Objekts die Information der berechneten Textur transparenz.

Die Texturtransparenz beschreibt die Lichtdurchlässigkeit einer Oberfläche ei nes 3D-Objekts. Diese wird im sogenannten Alpha-Kanal einer Textur zusätz lich zur Farbinformation gespeichert. Der Alpha-Kanal nimmt meist Werte im Intervall [0,1 ] an. Der Wert 1 bedeutet, dass die Textur an dieser Stelle opak ist, der Wert 0 dagegen, dass die Textur unsichtbar ist. Für Zwischenwerte im Bereich [0,1 ] wird die Textur mit dahinter liegenden Texturen linear interpoliert. Um die Texturtransparenz zu bestimmen, kann der sogenannte Alpha-Kanal der Textur aus den erfassten zweiten Bildern geschätzt werden, indem die Knotenpunkte des Meshs in die einzelnen erfassten zweiten Bilder projiziert werden. Je heller der abgebildete Punkt in den erfassten Bildern ist, umso transparenter ist die Textur und umso geringer der Alpha-Wert.

Mit dem Berechnen der Texturtransparenz lässt sich erreichen, dass die Transparenz der Textur aus den zweiten Bildern zu unterschiedlichen Anord nungen des Objekts relativ zu der wenigstens einen Bilderfassungseinrichtung bei Beleuchten des Objekts mit Beleuchtungslicht bestimmt werden kann, das wenigstens teilweise in dem Objektabbildungsstrahlengang zu der wenigstens einen Bilderfassungseinrichtung geführt ist.

Insbesondere kann aus den ersten und/oder zweiten Bildern ein spekulares Texturbild berechnet werden, wobei die 3D-Rekonstruktion des Objekts die Information des berechneten Texturbilds enthält.

Indem die erfassten Bilder Farbbilder sind, lässt sich eine große Genauigkeit der berechneten 3D-Rekonstruktion des Objekts erreichen, weil auf diese Weise die Information von z. B. 3 Farbkanälen und nicht nur die Information eines einzigen Graustufenkanals ausgewertet werden kann.

Von Vorteil ist es insbesondere, die 3D-Rekonstruktion des Objekts durch Ver rechnen von mehreren 3D-Farbkanalrekonstruktionen des Objekts zu bestim men, insbesondere durch Mittelung oder robustes Schätzen, etwa in einem RANSAC-Verfahren, wobei dann eine jede 3D-Farbkanalrekonstruktion aus den Bilddaten der ersten und zweiten Bilder für einen Farbkanal und/oder für einen Textur-Transparenzkanal berechnet wird. Auf diese Weise lässt sich die Genauigkeit einer berechneten 3D-Rekosntruktion des Objekts auch bei un terschiedlichen Objektgeometrien weiter erhöhen. Eine berechnete 3D-Re- konstrutkion des Objekts kann Texturinformationen aufweisen. Indem eine Ansicht des Objekts in die Bilderfassungseinrichtung gespiegelt wird, lässt sich erreichen, dass eine Bilderfassungseinrichtung das Objekt auf unterschiedlichen Seiten erfassen und auch Strukturen aufnehmen kann, die gegebenenfalls verdeckt sind.

Von Vorteil ist es, wenn das Berechnen der 3D-Rekonstruktion des Objekts das Berechnen einer visuellen Hülle, wie in der Publikation„Y. Shuntaro et al., The Theory and Practice of Coplanar Shadowgram Imaging for Acquiring Vi sual Hulls of Intricate Objects, International Journal of Computer Vision 81 , 259-280 (2008)“ beschrieben, auf die hiermit Bezug genommen und deren Of fenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich mit ein bezogen wird, oder in der Publikation„G. Haro, "Shape from Silhouette Con sensus and photo-consistency, 2014 IEEE International Conference on Image Processing (ICIP), Paris, 4837-4841 (2014)” beschrieben, auch auf die hiermit Bezug genommen und deren Offenbarung in die vorliegende Erfindungsbe schreibung vollumfänglich mit einbezogen wird, von aus den Bilddaten der zweiten Bildern berechnete Silhouetten des Objekts umfasst.

Unter der Silhouette eines Objekts ist vorliegend ein Binärbild als Ergebnis einer perspektivischen Projektion des Objekts auf die Bildebene einer Bilder fassungseinrichtung zu verstehen, wobei genau die Punkte der Bildebene zur Silhouette gehören, auf die mindestens ein Objektpunkt abgebildet wird.

Das Berechnen der visuellen Hülle von aus den zweiten Bilddaten bzw. aus den Bilddaten der zweiten Bilder berechneten Silhouetten des Objekts bewirkt eine weitere Steigerung der Genauigkeit einer berechneten 3D-Rekonstruk- tion des Objekts, weil eine visuelle Hülle des Objekts eine gute Näherung des Objekts angibt. Bei dem Berechnen der 3D-Rekonstruktion des Objekts kann insbesondere ein Abstand eines berechneten 3D-Voxels von der visuellen Hülle berücksichtigt werden. Die Erfindung erstreckt sich auch auf das Visualisieren einer in einem vorste henden Verfahren erzeugten 3D-Rekonstruktion eines Objekts, insbesondere eines Brillenglases mit einem Mesh auf einer Anzeigefläche eines Bildanzei gegeräts, insbesondere eines Displays. Darüber hinaus erstreckt sich die Er findung auch auf ein Computerprogramm mit Programmcode zur Durchfüh rung des vorstehend angegebenen Verfahrens insbesondere mittels einer vor stehend angegebenen Vorrichtung zum Erzeugen einer 3D-Rekonstruktion ei nes Objekts.

Vorteilhafte Ausführungsbeispiele der Erfindung sind in der Fig. 2 bis Fig. 5 schematisch dargestellt und werden nachfolgend beschrieben.

Es zeigen:

Fig. 2 eine Seitenansicht einer Vorrichtung zum Erzeugen einer 3D-Re- konstruktion eines Objekts;

Fig. 3 eine Draufsicht der Vorrichtung zum Erzeugen einer 3D-Rekon- struktion eines Objekts;

Fig. 4 einen ersten Algorithmus eines Computerprogramms für eine Rech nereinheit in der Vorrichtung zum Erzeugen einer 3D-Rekosntruk- tion eines Objekts; und

Fig. 5 einen zweiten Algorithmus eines Computerprogramms für die

Rechnereinheit in der Vorrichtung zum Erzeugen einer 3D-Rekos- ntruktion eines Objekts.

Die in der Fig. 2 gezeigt Vorrichtung 10 dient zum Erzeugen einer 3D-Rekon- struktion eines Objekts 12. Das Objekt 12 kann z. B. eine Brillenfassung sein. In der Vorrichtung 10 gibt es eine Einrichtung zur Bewegung des Objekts 12 mit einem an einem Flaltearm 14 aufgenommenen Objektträger 15 in Form eines Hubtisches. Der Haltearm 14 des Objektträgers 15 ist an eine in eine Längsrichtung erstreckte Säule 16 angeschlossen. Die Fig. 3 ist eine Drauf sicht der Vorrichtung 10 aus Fig. 2 auf die dort mittels der Pfeile ll-ll kenntlich gemachte Ebene 18.

Der Haltearm 14 des Objektträgers 15 kann an der Säule 16 in der Richtung des Doppelpfeils 19 parallel zu der Längsrichtung der Säule 16 motorisch ver lagert werden.

Die Vorrichtung 10 enthält eine erste Bilderfassungseinrichtung 20, eine zweite Bilderfassungseinrichtung 22, eine dritte Bilderfassungseinrichtung 24, eine vierte Bilderfassungseinrichtung 26 und eine fünfte Bilderfassungsein richtung 28. Die Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 sind vor liegend als Kameras ausgebildet, die jeweils ein Objektivlinsensystem aufwei sen und einen flächigen Bildsensor in Form eines CCD-Sensors enthalten. Die Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 ermöglichen jeweils das Aufnehmen von Bildern des auf dem Objektträger 15 angeordneten Objekts 12 mit einem Objektabbildungsstrahlengang 30, 32, 34, 36 und 38 aus unter schiedlichen Aufnahmerichtungen 30', 32', 34', 36' und 38' in Bezug auf ein zu der Säule 16 ortsfestes Koordinatensystem 40. Zu dem Objekt 12 kann damit in der Vorrichtung 10 eine Vielzahl von Bildern des Objekts 12 mit Bilddaten bei unterschiedlichen Anordnungen des Objekts 12 relativ zu den Bilderfas sungseinrichtungen 20, 22, 24, 26 und 28 erfasst werden. In der Vorrichtung 10 gibt es einen Spiegel 56, der den Objektabbildungsstrahlengang 34 der Bilderfassungseinrichtung 24 auf eine der Bilderfassungseinrichtung 24 abge wandte Seite 57 des Objekts 12 lenkt.

Die Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 sind für das Erfassen von einfarbigen Bildern, insbesondere Bildern in Schwarz-Weiß ausgelegt. Zu bemerken ist allerdings, dass eine alternative Ausführungsform der Vorrich tung 10 auch für das Erfassen von farbigen Bildern ausgelegte Bilderfassungs einrichtungen 20, 22, 24, 26 und 28 aufweisen kann. Die Vorrichtung 10 enthält mehrere Lichtquellen 42, 44, 46, 48 und 50 als eine Einrichtung für das Beleuchten des Objekts 12 mit Beleuchtungslicht. Die Lichtquellen 42, 44, 46, 48 und 50 haben jeweils einen flächigen Leuchtkörper 52, der für das Bereitstellen von diffusem Beleuchtungslicht 54 dient. In der Vorrichtung 10 ermöglicht die Lichtquelle 42 das Beleuchten des Objekts 12 mit diffusem Licht, das in Bezug auf den Objektabbildungsstrahlengang 30, 32, 34 und 36 wenigstens teilweise das Objekt 12 beleuchtendes Auflicht ist.

Die Lichtquelle 44 stellt in der Vorrichtung 10 Beleuchtungslicht 54 bereit, das in Bezug auf den Objektabbildungsstrahlengang 30, 32, 34 und 36 wenigstens teilweise das Objekt 12 beleuchtendes Auflicht ist. D. h., das von der Licht quelle 44 auf das Objekt 12 einfallende Licht wird wenigstens teilweise von einer optisch wirksamen Fläche des Objekts 12 in den Objektabbildungsstrah lengang 30, 32, 34 und 36 reflektiert oder gestreut und gelangt so auf eine Bildebene des jeweiligen Bildsensors der Bilderfassungseinrichtungen 20, 22, 24 und 26. Auch mittels der Lichtquelle 46 kann in der Vorrichtung 10 Beleuch tungslicht bereitgestellt werden, das in Bezug auf den Objektabbildungsstrah lengang 32, 34, 36 und 38 wenigstens teilweise das Objekt 12 beleuchtendes Auflicht ist. Die Lichtquelle 48 erzeugt in der Vorrichtung 10 ebenfalls Beleuch tungslicht, das in Bezug auf den Objektabbildungsstrahlengang 32, 34, 36 und 38 wenigstens teilweise das Objekt 12 beleuchtendes Auflicht ist.

Unter das Objekt beleuchtendem Hintergrundlicht wird dabei Licht verstanden, das auf das Objekt einfällt und das von einem Hintergrund des Objekts in einen das Objekt auf eine Bildebene einer Bilderfassungseinrichtung abbildenden Strahlengang gelangt und das in der Bildebene ein Bild einer Silhouette des Objekts, d. h. eines Umrisses des Objekts hervorruft.

Die Lichtquelle 50 ermöglicht das Bereitstellen von Beleuchtungslicht 54, das wenigstens teilweise in dem Objektabbildungsstrahlengang 34 zu der dritten Bilderfassungseinrichtung 24 auf eine Bildebene des Bildsensors der Bilder fassungseinrichtung 24 geführt ist, das in Bezug auf die Anordnung der Bilder fassungseinrichtung 24 zu dem Objekt 12 von dem Hintergrund des Objekts 12 herrührt. Das von dem Hintergrund des Objekts 12 herrührende Licht, das auf eine Bildebene des Bildsensors der Bilderfassungseinrichtung 24 gelangt, wird an dem Objekt 12 grundsätzlich weder gestreut noch reflektiert und er zeugt in der Bildebene des Bildsensors der Bilderfassungseinrichtung 24 ein Bild einer Silhouette des Objekts 12, d. h. eines Umrisses des Objekts 12. Das Objekt 12 erscheint dadurch auf der Bildebene der Bilderfassungseinrichtung 24 im Gegenlicht in Bezug auf die Lichtquelle 50.

Die Vorrichtung 10 weist eine Rechnereinheit 58 auf und hat ein Display 60 für das Visualisieren eine 3D-Rekonstruktion 62 des Objekts 12. Die Rechnerein heit 58 ist mit den Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 verbun den. Sie dient einerseits für das Steuern der Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 sowie der Lichtquellen 42, 44, 46, 48 und 50 und der Ein richtung zur Bewegung des Objekts 12. Andererseits dient die Rechnereinheit 58 für das Erfassen und Verarbeiten von aus den Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 zugeführten Bilddaten von Bildern mittels eines Compu terprogramms, die in der Vorrichtung 10 bei unterschiedlichen Anordnungen des Objekts 12 in der Vorrichtung 10 aufgenommen werden, indem das Objekt 12 vorzugsweise gleichzeitig mittels der Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 erfasst und durch Verlagern des Haltearms 14 in dem zu der Säule 16 ortsfesten Koordinatensystem 40 in unterschiedlichen Positionen an geordnet wird. Diese Maßnahme bewirkt, dass das Objekt 12 mittels der Bil derfassungseinrichtungen aus unterschiedlichen Aufnahmerichtungen erfasst wird.

Das Computerprogramm in der Rechnereinheit 58 berechnet aus den Bildda ten der zu dem Objekt 12 mittels der Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 aufgenommenen Bilder eine an dem Display 60 zur Anzeige ge brachte 3D-Rekonstruktion 62 des Objekts 12. Zu bemerken ist, dass bei einer alternativen, modifizierten Ausführungsform der Vorrichtung 10 vorgesehen sein kann, dass die Bilderfassungseinrichtun gen 20, 22, 24, 26 und 28 verlagerbar und der Haltearm 14 mit dem Objektträ ger 15 in dem zu der Säule 16 ortsfesten Koordinatensystem 40 ortsfest ist, um das Erfassen einer Vielzahl von Bildern des Objekts mit Bilddaten bei un terschiedlichen Anordnungen des Objekts 12 relativ zu den Bilderfassungsein richtungen 20, 22, 24, 26 und 28 und der Lichtquelle 50 zu ermöglichen.

Eine zu der vorstehend beschriebenen Bauform der Vorrichtung 10 alternati ven Bauform sieht vor, dass für das Erfassen einer Vielzahl von Bildern des Objekts mit Bilddaten bei unterschiedlichen Anordnungen des Objekts 12 re lativ zu den Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 sowohl der Ob jektträger 15 als auch die Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 der Vorrichtung 10 verlagert werden. Zu bemerken ist, dass alternativ oder zusätzlich auch vorgesehen sein kann, dass der Objektträger 15 in dem zu der Säule 16 ortsfesten Koordinatensystem 40 um eine vertikale Achse relativ zu den Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 gedreht wird. Es ist allerdings auch möglich, die Bilderfassungseinrichtungen 20, 22, 24, 26 und 28 drehbar anzuordnen, damit diese eine Drehbewegung um ein auf dem Ob jektträger 15 angeordnetes Objekt 12 ausführen können.

Die intrinsischen und extrinsischen Abbildungsparameter der Bilderfassungs einrichtungen 20, 22, 24, 26 und 28 sind in der Vorrichtung 10 derart kalibriert, dass die Raumposition des Objektträgers 15 relativ zu den Bilderfassungsein richtungen in dem Koordinatensystem 40 bei dem Erfassen eines einzelnen Bilds des Objekts 12 bekannt ist.

Anhand der Fig. 4 wird nachfolgend der in dem Computerprogramm in der Rechnereinheit 58 für das Berechnen der 3D-Rekonstruktion 62 des Objekts 12 umgesetzte Algorithmus 100 beschrieben. Der Algorithmus 100 ermöglicht die 3D-Rekonstruktion 62 des Objekts 12 als eine tomografische 3D-Rekon- struktion.

In einem ersten Schritt wird eine Vielzahl von ersten Bildern 64 in verschiede nen Anordnungen des zu rekonstruierenden Objekts 12 relativ zu der mindes tens einen Bilderfassungseinrichtung 20, 22, 24, 26, 28 aufgenommen, wobei das Objekt 12 mit Beleuchtungslicht erfasst wird, das in Bezug auf den Objek tabbildungsstrahlengang 30, 32, 34 und 36 wenigstens teilweise das Objekt 12 beleuchtendes Auflicht ist. Gleichzeitig wird zu den gleichen Anordnungen des Objekts relativ zu der mindestens einen Bilderfassungseinrichtung 20, 22, 24, 26, 28 eine Vielzahl von zweiten Bildern 66 erfasst. Hier wird das Objekt 12 mit Beleuchtungslicht aufgenommen, das wenigstens teilweise in dem Ob jektabbildungsstrahlengang 30, 32, 34, 36 zu der wenigstens einen Bilderfas sungseinrichtung 20, 22, 24, 26, 28 geführt ist.

Sowohl die ersten als auch die zweiten Bilder 64, 66 werden gefiltert, insbe sondere um Rauschen zu unterdrücken oder Kanten zu schärfen, z. B. mittels eines Gaussfilters, eines Ram-Lak-Filters oder eines speziellen durch maschi nelles Lernen trainierten Filters. Zu bemerken ist allerdings, dass eine alterna tive Ausführungsform des Algorithmus auch ohne dieses Filtern der ersten und zweiten Bilder 64, 66 ausgebildet sein kann.

In dem Algorithmus 100 werden aus den ersten Bildern 64, bei denen das Objekt 12 wenigstens teilweise in Bezug auf den entsprechenden Objektabbil dungsstrahlengang mit Auflicht beleuchtet wird, zum einen Objektmerkmals bilder 68 und zum anderen Kanteninformationsbilder 70 berechnet.

Für die Merkmalsbilder ist in dem Algorithmus 100 vorgesehen, dass ein jedes detektierte Merkmal als ein rotationssymmetrischer Fleck mit z. B. einem Gaußförmigem Profil eingetragen ist: wobei (x, y) die subpixelgenauen Pixelkoordinaten des jeweiligen Merkmals und (k, l) die ganzzahligen Pixelkoordinaten im Merkmalsbild darstellen. Die Breite s des Gaußflecks kann dabei grundsätzlich frei gewählt werden.

Zu bemerken ist, dass alternativ hierzu auch vorgesehen sein kann, dass ein Merkmalsbild ein Bild sein kann, das aus Filterantworten bei Merkmalserzeu gung mittels Kernel-basierter Detektion hervorgeht, wie dies in dem Buch„B. Jähne, Digitale Bildverarbeitung, Springer Verlag, Berlin (1997)“ beschrieben ist, auf das hiermit Bezug genommen und dessen Offenbarung in die vorlie gende Erfindungsbeschreibung vollumfänglich mit einbezogen wird.

Demgegenüber werden aus den zweiten Bildern 66, die mit Beleuchtungslicht erfasst werden, das wenigstens teilweise in dem Objektabbildungsstrahlen gang zu der entsprechenden Bilderfassungseinrichtung geführt ist, in einem Rechenschritt 72 Bildmasken 74, 76 und 78 mittels Segmentierung berechnet.

Opake Stellen des Objekts 12 erscheinen im Bild bei Beleuchtungslicht, das wenigstens teilweise in dem Objektabbildungsstrahlengang 30, 32, 34 und 36 zu der wenigstens einen Bilderfassungseinrichtung 20, 22, 24, 26, 28 geführt ist, als schwarze Pixel, lichtdurchlässige Stellen dagegen als Grauwerte, deren Intensität von der Lichtdurchlässigkeit des Objekts 12 abhängt. Um die Bild masken 74, 76, 78 zu berechnen, wird deshalb allen Pixeln, deren Intensität signifikant von der des Lichts abweicht, der Wert 1 zugewiesen. Mittels der zugehörigen berechneten Bildmasken 74, 76, 78 wird der Hintergrund der Ob jektmerkmalsbilder 68 und der Kanteninformationsbilder 70 sowie der zweiten Bildern 66 ausmaskiert, die mit Beleuchtungslicht erfasst werden, das wenigs tens teilweise in dem Objektabbildungsstrahlengang zu der entsprechenden Bilderfassungseinrichtung geführt ist. Es werden somit nur die Pixel zur 3D- Rekonstruktion verwendet, die innerhalb einer Bildmaske 74, 76, 78 liegen, d. h. denen der Wert 1 in der Bildmaske 74, 76, 78 zugeordnet wird. In einem nächsten Schritt wird ein dreidimensionales Voxel-Gitter konstruiert, dessen Auflösung, d. h. vorliegend dessen Anzahl Voxel pro Raumrichtung der Zielgenauigkeit für die 3D-Rekonstruktion des Objekts 12 entspricht. Ein jedes Voxel enthält hier zwei Datenkanäle, nämlich einen Datenkanal für In formationen aus den Bilddaten der ersten Bilder 64 und einen Datenkanal für Informationen aus den Bilddaten der zweiten Bilder 66.

Zu bemerken ist, dass in dem Fall einer Vorrichtung, in der es Bilderfassungs einrichtungen für das Erfassen von farbigen Bildern gibt, der in dem Compu terprogramm der Rechnereinheit 58 für das berechnen der 3D-Rekonstruktion 62 des Objekts 12 umgesetzte Algorithmus vorsehen kann, dass ein jedes Vo xel bis zu sechs Datenkanäle enthält. Ein jedes Voxel weist dann erste Daten kanäle für einen jeden der drei Farbkanäle zu Bildern auf, bei denen das Ob jekt 12 wenigstens teilweise in Bezug auf den entsprechenden Objektabbil dungsstrahlengang mit Auflicht beleuchtet wird, und zweite Datenkanäle für einen jeden der drei Farbkanäle zu Bildern, die mit Beleuchtungslicht erfasst werden, das wenigstens teilweise in dem Objektabbildungsstrahlengang zu der entsprechenden Bilderfassungseinrichtung geführt ist.

In dem Algorithmus 100 werden für einen jeden Datenkanal die zu diesem Datenkanal gehörenden Bilddaten in einem Rechenschritt 86 auf das 3D-Vo- xel-Gitter rückprojiziert und dabei gefiltert sowie mittels einer Gewichtungs funktion 80, 82, 84 gewichtet. Dazu wird ein jedes Voxel in alle zu dem Daten kanal gehörenden Bilder auf ein Pixel projiziert. Liegt dabei das Pixel, auf wel ches das Voxel projiziert wird, innerhalb der zum Bild gehörenden Bildmaske 74, 76, 78, so wird seine Intensität mit der Gewichtungsfunktion multipliziert. Die Gewichtungsfunktion 80, 82, 84 kann dabei von dem Ort eines betrachte ten Voxels in dem 3D-Voxel-Gitter und von einem Pixel, auf das das Voxel projiziert wird, abhängen, insbesondere vom Abstand des Voxels zur Bilder fassungseinrichtung 20, 24, 26, 28 bei Erfassung des zugehörigen Bildes. Die mit der Gewichtungsfunktion 80, 82, 84 gewichteten Intensitätswerte wer den aufsummiert und es wird dann der sich ergebende Wert dem betrachteten Voxel des 3D-Voxel-Gitters in dem jeweiligen Datenkanal zugewiesen. Die In formationen aus den bis zu sechs Datenkanälen können dabei zu einem 3D- Voxel-Gitter mit nur einem Datenkanal verrechnet werden.

Zu bemerken ist, dass aufgrund einer Redundanz der miteinander verrechne- ten Daten bei der berechneten 3D-Rekonstruktion Fehler minimiert werden können, indem entsprechende Daten innerhalb eines Datenkanals gemittelt werden.

In einem nächsten Schritt 88 erfolgt dann eine Artefaktkorrektur für das 3D- Voxel-Gitter. Dazu können Filter und/oder neuronale Netze verwendet werden. Darauf wird in einem weiteren Schritt 90 aus dem 3D-Voxel-Gitter ein Mesh berechnet, das Eigenschaften der Oberfläche des 3D-Objekts beschreibt.

Dazu werden Punkte mit lokalem Intensitätsmaximum nach dem Mean-Shift- Verfahren bestimmt, wie es in der Publikation“F. Zhou, Y. Zhao, K.-Liu Ma, Parallel mean shift for Interactive volume Segmentation, Machine learning in medical imaging, Lecture notes in Computer Science, 67-75 (2010)” angege ben ist, auf die hiermit Bezug genommen und deren Offenbarung in die vorlie gende Erfindungsbeschreibung vollumfänglich mit einbezogen wird.

Dabei wird das 3D-Voxel-Gitter mit einer festen Schrittweite abgetastet. In ei nem jeden Schritt wird hierfür ein nächstliegendes Intensitätsmaximum be stimmt. Hierbei kann die visuelle Hülle genutzt werden, um den Suchbereich für die möglichen Intensitätsmaxima einzuschränken. Flierzu wird folgendes iteratives Verfahren gewählt: Es wird eine dreidimensionale Fensterfunktion verwendet, die z. B. unter https://de.wikipedia.org/wiki/Fensterfunktion beschrieben ist, wobei z. B. von einem Gauss-förmigen Fenster Gebrauch ge macht wird. In einem ersten Schritt wird der zweidimensionale Massenschwer punkt der Werte des 3D-Voxel-Gitters innerhalb dieses Fensters bestimmt.

In einem zweiten Schritt wird das Fenster zu dem Massenschwerpunkt hin verschoben. Diese beiden Schritte werden iterativ wiederholt, bis ein stabiler Schwerpunkt erreicht wird, d. h. bis die Bewegung des Fensters betragsmäßig einen Schwellwert unterschreitet. Zu bemerken ist, dass dieser Schwellwert deutlich unterhalb der Zielgenauigkeit liegen sollte. Bei einer Zielgenauigkeit von 0.1 mm kann z. B: ein Schwellwert von 0.01 mm oder darunter, insbeson dere bis zur maximal erreichbaren Rechengenauigkeit gewählt werden. Die erzeugten Punkte in Form lokaler Intensitätsmaxima bilden denn die gesuchte Punktewolke, wie es z. B. in der Buchveröffentlichung„J.A. Sethian, Level Set Methods and Fast Marching Methods Evolving Interfaces in Computational Geometry, Fluid Mechanics, Computer Vision, and Materials Science”; Cambridge University Press (1999)“ beschrieben ist, auf die hiermit Bezug ge nommen und deren Offenbarung in die vorliegende Erfindungsbeschreibung vollumfänglich mit einbezogen wird.

Alternativ hierzu ist es auch möglich, das 3D-Voxel-Gitter unter Verwendung eines Hochpassfilters oder unter Verwendung globaler oder lokal adaptiver Schwellwerte zu binarisieren, so dass ein jedes Voxel den Wert 0 oder 1 auf weist. Die Berechnung des lokal adaptiven Schwellwertes kann auf Basis ei nes lokalen Mittelwerts oder Medians oder Quantils erfolgen. Das binariseirte 3D-Voxel-Gitter kann durch morphologische Filter noch entsprechend opti miert werden, um Fehler zu minimieren. Nach der Binarisierung des 3D-Voxel- Gitters wird die Oberfläche des zu rekonstruierenden Objekts genau durch die 0-1 -Übergänge an benachbarten Voxeln im 3D-Voxel-Gitter beschrieben, da hier der Übergang von außerhalb des Objekts liegenden Voxeln mit Wert 0 zu innerhalb des Objekts liegenden Voxeln mit Wert 1 stattfindet. An diesen 0-1 - Übergängen wird jeweils ein 3D-Punkt generiert. Diese Oberflächenpunkte bil den dann eine die Oberfläche des 3D-Objekts repräsentierende Punktewolke. Für das Abtasten des Voxeivolumens mit einer festen Schrittweite wird in je dem Schritt ein Fenster ausgeschnitten und ein lokaler Schwellwert gebildet, beispielsweise basierend auf dem Mittelwert oder dem Median oder einem Quantil. Hierfür kann beispielsweise das Schwellwertverfahren von Otsu ein gesetzt werden, das in der Publikation„M. Sezgin, B. Sankur, Survey over image thresholding techniques and quantitative performance evaluation, Jour nal of Electronic Imaging. 13 (1 ), 146-165 (2004)“ beschrieben ist. Die Schritt weite und die Fenstergröße kann hier wesentlich größer gewählt werden. Das binarisierte Volumen kann optional auch noch mit sogenannten morphologi schen Filtern verkleinert werden oder skelettiert werden und anschließend die Oberfläche extrahiert werden. Dabei werden 3D-Punkte an den Stellen mit 0->1 Übergang generiert. Insgesamt kann so eine Punktewolke erhalten wer den.

Hierfür werden in einer Berechnungsroutine 92 die Normalenvektoren für die Meshknoten berechnet, insbesondere durch Anwendung von Ableitungsfiltern, die benachbarte Voxel im Gitter betrachten. In einer Rechenroutine 94 wird dann aus den ersten Bildern 64 und dem Mesh eine Textur berechnet. Darüber hinaus wird in dem Algorithmus aus den ersten Bildern 64 und dem Mesh einer Rechenroutine 96 ein spekulares Texturbild berechnet, indem die Verände rung der Intensität der Projektion des Meshpunktes in den verschiedenen er fassten Bildern bzw., wenn farbige Bilder erfasst werden, die Farbe der Pro jektion des Meshpunktes in die verschiedenen erfassten Bilder analysiert und daraus zum einen ein diffuser Farbanteil und zum anderen ein spekularer Farbanteil abgeschätzt wird.

Zu bemerken ist, dass sich bei einem rein diffusen Farbanteil die Farbe fast gar nicht verändert. Bei einem starken spekularen Farbanteil verändert sich jedoch die Farbe deutlich je nach Anordnung des Objekts 12 relativ zu der mindestens einen Bilderfassungseinrichtung 20, 22, 24, 26, 28 und den Be leuchtungseinrichtungen. Aus den zweiten Bildern 66 wird in dem Algorithmus 100 in einer Rechenroutine 98 eine Texturtransparenz berechnet, indem zu jedem Meshpunkt die Intensität der Projektion dieses Punktes in die verschie denen zweiten Bilder 66 analysiert wird. Je heller die Intensität der zugehöri gen Pixel ist, desto lichtdurchlässiger ist die Oberfläche an der Stelle dieses Meshpunkts.

Die sich aus den vorhergehenden Berechnungsschritten ergebende 3D-Re- konstruktion 62 des Objekts 12 umfasst ein 3D-Voxel-Gitter und ein 3D-Mesh mit Normalenvektoren an den Knotenpunkten zusammen mit einer Textur, die ein spekulares Texturbild und eine Texturtransparenz enthält.

Der Algorithmus 100 weist eine Speicherroutine 102 für das Abspeichern der 3D-Rekonstruktion 62 des Objekts 12 auf und enthält eine Anzeigeroutine 104 für das Anzeigen der 3D-Rekonstruktion 62 des Objekts 12 auf dem Display 60 in der Vorrichtung 10. Für das Abspeichern bieten sich hier verschiedene Formate an, um möglichst viel Speicherplatz zu sparen, insbesondere effizi ente Speicherstrukturen wie sogenannte Octrees, Nested Grids oder Bounding Volume Flierarchies, sowie Verfahren wie das sogenannte Binary Space Partitioning. Die Einsparung von Speicherplatz beruht darauf, dass die visuelle Hülle die konvexe Hülle des zu rekonstruierenden Objekts darstellt. Nur Voxel innerhalb der visuellen Hülle können somit den Wert 1 aufweisen. Alle Voxel außerhalb der visuellen Hülle weisen den Wert 0 in allen Datenka nälen auf. Zu bemerken ist, dass sich damit eine Reduktion R des Speicher platzes in Bezug auf eine Ursprungsgröße U hierfür erreichen lässt mit U « 10% und u.A. auch 2 % < U < 5 %.

Die Fig. 5 dient der Erläuterung eines weiteren Algorithmus 100' für ein Com puterprogramm, mittels dessen eine 3D-Rekonstruktion 62 des Objekts 12 in der Rechnereinheit 58 der Vorrichtung 10 berechnet werden kann. Der Algo rithmus 100' ermöglicht eine epipolargeometrische 3D-Rekonstruktion des Ob jekts 12. ln einem ersten Schritt des Algorithmus 100' wird wiederum eine Vielzahl von ersten Bildern 106 in verschiedenen Anordnungen des zu rekonstruierenden Objekts 12 relativ zu der mindestens einen Bilderfassungseinrichtung 20, 22, 24, 26, 28 aufgenommen, wobei das Objekt 12 mit Beleuchtungslicht erfasst wird, das in Bezug auf den Objektabbildungsstrahlengang 30, 32, 34 und 36 wenigstens teilweise das Objekt 12 beleuchtendes Auflicht ist. Gleichzeitig wird zu den gleichen Anordnungen des Objekts 12 relativ zu der mindestens einen Bilderfassungseinrichtung 20, 22, 24, 26, 28 eine Vielzahl von zweiten Bildern 108 aufgenommen, wobei das Objekt 12 mit Beleuchtungslicht erfasst wird, das wenigstens teilweise in dem Objektabbildungsstrahlengang 30, 32, 34 und 36 zu der wenigstens einen Bilderfassungseinrichtung 20, 22, 24, 26, 28 geführt ist. In einem Entzeichnungsschritt 1 10, 1 12 werden dann die ersten und zweiten Bilder anhand bekannter Abbildungsparameter der Bilderfas sungseinrichtungen 20, 22, 24, 26, 28 in der Vorrichtung 10 entzeichnet und gegebenenfalls rektifiziert.

Zu bemerken ist, dass bei einer alternativen Ausführungsform des Algorithmus 100' vorgesehen sein kann, dass sowohl die ersten als auch die zweiten Bilder 106, 108 gefiltert werden, insbesondere um Rauschen zu unterdrücken oder um Kanten zu schärfen.

Aus den ersten Bildern 106 werden wie in dem vorstehend beschriebenen Al gorithmus 100 zum einen Objektmerkmalsbilder 1 14 und zum anderen Kan teninformationsbilder 1 16 berechnet. Aus den zweiten Bildern 108 werden wie derum in einem Rechenschritt 1 1 1 mittels Segmentierung Bildmasken 1 18, 120, 122 berechnet. Mit Hilfe der zugehörigen berechneten Bildmasken 120, 122, 124 wird ein Hintergrund sowohl der ersten als auch der zweiten aufge nommenen Bilder 106, 108 ausmaskiert, sodass nur die Pixel zur 3D-Rekon- struktion verwendet werden, die innerhalb der Bildmaske liegen, d. h. denen der Wert 1 in der Bildmaske zugeordnet wird. Aus den Objektmerkmalsbildern 1 14 und den Kanteninformationsbildern 1 16 werden hier nun Epipolarebenen bilder 126, 128 generiert, in denen Objektpunkttrajektorien 132, 134 detektiert werden. Durch die Berechnung der Steigung dieser Objektpunkttrajektorien 132, 134 kann mittels bekannter Abbildungsparameter der zugehörigen Bilder fassungseinrichtung 20, 22, 24, 26, 28 auf die Tiefe des zugehörigen 3D- Punkts relativ zur Bilderfassungseinrichtung 20, 22, 24, 26, 28 geschlossen werden. Dies ermöglicht, aus den Objektmerkmalsbildern 1 14 und den Kan teninformationsbildern 1 16 jeweils eine Punktewolke 136, 138 zu berechnen. Aufgrund der Verwendung von Merkmalsbildern und Kanteninformationsbil dern ein- und desselben Objekts 12 bestehen vorliegend redundante Informa tionen, die für das Minimieren von Fehlern verrechnet werden.

In dem Algorithmus 100' wird dann aus den Punktewolken 136, 138 ein Mesh 140 berechnet. Wie in dem anhand der Fig. 3 beschriebenen Algorithmus 100 wird in dem Algorithmus 100' aus den maskierten zweiten Bildern 108 nach einer Filterung eine Rückprojektion 142 auf ein 3D-Voxel-Gitter mittels einer Gewichtungsfunktion 130 berechnet.

In einem nächsten Schritt 144 erfolgt eine Artefaktkorrektur des Voxel-Gitters. Dazu können Filter und/oder neuronale Netze verwendet werden. Wie in dem anhand der Fig. 3 beschriebenen Algorithmus 100' werden in einer Berech nungsroutine 146 die Normalenvektoren für die Meshknoten berechnet, insbe sondere durch Anwendung von Ableitungsfiltern, die benachbarte Voxel im Gitter betrachten. In einer Rechenroutine 148 wird dann aus den ersten Bildern 106 und dem Mesh 140 eine Textur berechnet. Darüber hinaus wird in dem Algorithmus 100' aus den ersten Bildern 106 und dem Mesh 140 in einer Re chenroutine 150 ein spekulares Texturbild berechnet, indem hier wiederum die Veränderung der Intensität der Projektion des Meshpunktes in die verschiede nen erfassten Bilder bzw., wenn farbige Bilder erfasst werden, die Farbe der Projektion des Meshpunktes in die verschiedenen erfassten Bilder analysiert wird, um daraus einen diffusen und ein spekularen Farbanteil zu schätzen.

Wie in dem Fall des Algorithmus 100 verändert sich bei rein diffusem Farban teil die Farbe fast gar nicht. Demgegenüber verändert sich die Farbe bei einem starken spekularen Anteil deutlich je nach Anordnung des Objekts in Bezug auf die mindestens eine Bilderfassungseinrichtung 20, 22, 24, 26, 28 und in Bezug auf die Lichtquellen 42, 44, 46, 48 und 50, die eine Einrichtung für das Beleuchten des Objekts 12 mit Beleuchtungslicht in der anhand der Fig. 2 und Fig. 2 beschriebenen Vorrichtung 10 zum Erzeugen einer 3D-Rekonstruktion eines Objekts 12 bilden. Aus den zweiten Bildern 108 wird dann in dem Algo rithmus 100' in einer Rechenroutine 152 eine Texturtransparenz berechnet, indem zu jedem Meshpunkt die Intensität der Projektion dieses Punktes in die verschiedenen zweiten Bilder 108 analysiert wird. Je heller die Intensität der zugehörigen Pixel ist, desto lichtdurchlässiger ist die Oberfläche an der Stelle dieses Meshpunkts.

Die sich aus den vorhergehenden Berechnungsschritten ergebende 3D-Re- konstruktion 62 des Objekts 12 umfasst dann wiederum ein 3D-Voxel-Gitter und ein 3D-Mesh mit Normalenvektoren an den Knotenpunkten zusammen mit einer Textur, die ein spekulares Texturbild und eine Texturtransparenz enthält. Auch der Algorithmus 100' weist eine Speicherroutine 154 für das Abspeichern der 3D-Rekonstruktion 62 des Objekts 12 auf und enthält eine Anzeigeroutine 156 für das Anzeigen der 3D-Rekonstruktion 62 des Objekts 12 auf dem Dis play 60 in der Vorrichtung 10.

Zusammenfassend sind insbesondere folgende bevorzugte Merkmale der Er findung festzuhalten: Das Erzeugen einer 3D-Rekonstruktion 62 eines Objekts 12 umfasst das Beleuchten des Objekts 12, das Erfassen von Bilddaten zu dem Objekt 12 und das Berechnen der 3D-Rekonstruktion 62 des Objekts 12 aus den Bilddaten. Die Bilddaten umfassen erste Bilddaten und zweite Bildda ten, wobei die ersten Bilddaten aus unterschiedlichen Aufnahmerichtungen 30', 32', 34', 36', 38' bei Beleuchten des Objekts 12 mit Beleuchtungslicht 54 erfasst werden, das in Bezug auf einen Objektabbildungsstrahlengang 32, 34, 36, 38 wenigstens teilweise das Objekt 12 beleuchtendes Auflicht ist, wobei die zweiten Bilddaten aus unterschiedlichen Aufnahmerichtungen 30', 32', 34', 36', 38' bei Beleuchten des Objekts 12 mit Beleuchtungslicht 54 erfasst werden, das wenigstens teilweise in einem Objektabbildungsstrahlengang 32, 34, 36, 38 geführt ist, und wobei die 3D-Rekonstruktion 62 des Objekts 12 aus den ersten Bilddaten und den zweiten Bilddaten berechnet wird.

Bezuqszeichenliste

Epipolarebenenbild E _x,k (y,t)

( ¹⁾ , 2 ⁽²⁾ , 2 ^{(n 1)} , 2 ⁽ⁿ⁾ zu verschiedenen Zeiten t erfasste Bilder ⁽²⁾ , 4 ⁽ⁿ⁾ Epipolarlinie

3D-Punkt

Gerade

0 Vorrichtung

2 Objekt

4 Haltearm

5 Objektträger

6 Säule

8 Ebene

9 Doppelpfeil

0, 22, 24, 26, 28 Bilderfassungseinrichtung

0, 32, 34, 36, 38 Objektabbildungsstrahlengang

0', 32', 34', 36', 38' Aufnahmerichtung

0 Koordinatensystem

2, 44, 46, 48, 50 Lichtquelle

2 Leuchtkörper

4 diffuses Beleuchtungslicht

6 Spiegel

7 Objektseite

8 Rechnereinheit

0 Display

2 3D-Rekonstruktion

4 erste Bilder

6 zweite Bilder

8 Objektmerkmalsbilder

0 Kanteninformationsbilder

2 Rechenschritt

4, 76, 78 Bildmaske , 82, 84 Gewichtungsfunktion

Rechenschritt

nächster Schritt weiterer Schritt

Berechnungsroutine, 96, 98 Rechenroutine

0, 100' Algorithmus

2 Speicherroutine

4 Anzeigeroutine

6 erste Bilder

8 zweite Bilder

0 Entzeichnungsschritt1 Rechenschritt

2 Entzeichnungsschritt4 Objektmerkmalsbilder6 Kanteninformationsbilder8, 120, 122, 124 Bildmaske

6, 128 Epipolarebenenbilder0 Gewichtungsfunktion2 Objektpunkttrajektorien4 Objektpunkttrajektorien6, 138 Punktewolke

0 Mesh

2 Rückprojektion

4 Schritt

6 Berechnungsroutine8, 150, 152 Rechenroutine

4 Speicherroutine

6 Anzeigenroutine