Die Erfindung betrifft eine Bilderfassungsvorrichtung, insbesondere eine Bild- erfassungsvorrichtung, die zum Messen mindestens eines Lichtparameters so- wie zum Berechnen einer plenoptischen Funktion auf Grundlage des mindes- tens einen gemessenen Lichtparameters eingerichtet ist. Ferner betrifft die Er- findung ein Verfahren zum Bestimmen einer plenoptischen Funktion von aus einem Objektraum abgestrahltem Licht unter Verwendung einer solchen Bil- derfassungsvorrichtung.

Als plenoptische Funktion wird hierbei eine parametrisierte Darstellung eines Lichtfeldes in einem Raumbereich, d. h. ein Maß für eine lokale (d. h. durch ein Flächenelement tretende) Strahldichte oder Intensität einer elektromag- netischen Strahlung in Abhängigkeit von einer Raumrichtung und einer räumli- chen Position des jeweiligen Flächenelements bezeichnet. Die plenoptische

Funktion kann ferner von einem oder mehreren weiteren Parametern, insbe- sondere einem Zeitparameter und/oder einer Wellenlänge der elektromagne- tischen Strahlung abhängen. Unter dem Bestimmen der plenoptischen Funk- tion kann im Folgenden stets auch ein Bestimmen einer Näherung und/oder Diskretisierung der plenoptischen Funktion verstanden werden.

Aus dem Stand der Technik sind verschiedene Verfahren zum Bestimmen ple- noptischer Funktionen sowie entsprechende Bilderfassungsvorrichtungen, die zur Verwendung im Rahmen solcher Verfahren geeignet sind, bekannt.

Beispielsweise offenbart das Dokument US 2011/0128412 Al eine Kamera, umfassend eine Linse, die angeordnet ist, um ein Bild eines Objekts in einer Bildebene zu erzeugen, eine aktiv ansteuerbare Apertur, die zwischen dem Objekt und der Bildebene angeordnet ist, einen Detektor, der in der Bildebene angeordnet und konfiguriert ist, um zweidimensionale Bilder zu erfassen, die durch die aktiv ansteuerbare Apertur übertragen oder reflektiert werden, und einen Prozessor, der konfiguriert ist, um eine Position, Größe und/oder Form der aktiv ansteuerbaren Apertur zu variieren und basierend auf den mittels des Detektors erfassten zweidimensionalen Bildern eine Darstellung eines vierdimensionalen Lichtfeldes zu erzeugen, das dem Objekt zugeordnet ist.

Bei den aus dem Stand der Technik bekannten Vorrichtungen kann konstrukti- onsbedingt die nutzbare Informationsdichte begrenzt sein. Ferner weisen die bekannten Vorrichtungen häufig einen komplexen optischen Aufbau, etwa ei- nen Aufbau mit einem oder mehreren abbildenden (d. h. zum Erzeugen eines optischen Bildes eines Objektes eingerichteten und angeordneten) Elementen - typischerweise Linsen, wie auch im vorstehenden Beispiel - und einander optisch zugeordneten Objekt- und Bildebenen auf. Solche Aufbauten sind oft aufwändig zu justieren und nehmen relativ viel Platz in Anspruch. Zudem kön- nen das erzielbare Signal-Rausch-Verhältnis sowie die erzielbare Schärfentiefe begrenzt sein und optische Abbildungsfehler (Aberrationen) auftreten.

Eine Aufgabe, die der vorliegenden Anmeldung zugrunde liegt, besteht daher darin, eine Bilderfassungsvorrichtung der eingangs genannten Art vorzuschla- gen, welche die genannten Nachteile vermeidet oder verringert. Ferner soll ein Verfahren zum Bestimmen einer plenoptischen Funktion von aus einem Objektraum abgestrahltem Licht unter Verwendung einer solchen Bilderfas- sungsvorrichtung bereitgestellt werden. Dementsprechend werden hier eine Bilderfassungsvorrichtung nach Anspruch 1 sowie ein Verfahren nach Anspruch 12 vorgeschlagen. Bevorzugte Ausge- staltungen und Weiterbildungen ergeben sich mit den Merkmalen der Unter- ansprüche.

Die vorgeschlagene Bilderfassungsvorrichtung umfasst einen Lichtsensor, umfassend mindestens ein Sensorelement, einge- richtet zum Erfassen eines Messwerts, entsprechend mindestens einem Messparameter von aus einem Objektraum abgestrahltem und auf den Lichtsensor auftreffendem Licht, einen Lichtmodulator, umfassend eine Vielzahl von Blenden (d. h. min- destens zwei Blenden), wobei jede der Blenden dazu eingerichtet ist, mindes- tens einen Modifikationsparameter des aus dem Objektraum abgestrahlten Lichts vor dem Auftreffen auf den Lichtsensor in Abhängigkeit von einem je- weiligen Steuerparameter zu beeinflussen, eine Steuereinheit, eingerichtet zum zeitlich sequentiellen Ansteuern des Lichtmodulators mittels einer Abfolge von Masken, wobei jede der Mas- ken ein Satz der Steuerparameter für jede der Blenden des Lichtmodulators ist, entsprechend derer die Blenden den mindestens einen Modifikationspara- meter beeinflussen, und ferner eingerichtet zum zeitlich sequentiellen Erfas- sen einer Abfolge von Ausgangsbildern, wobei jedes der Ausgangsbilder dem mittels des mindestens einen Sensorelements erfassten Messwerts während des Ansteuerns des Lichtmodulators mit jeweils einer der Masken entspricht und wobei zu jeder der Masken mindestens ein Ausgangsbild erfasst wird, eine Auswerteeinheit, eingerichtet zum Berechnen einer plenopti- schen Funktion des aus dem Objektraum abgestrahlten Lichts auf Grundlage der Abfolge von Masken und der Abfolge von Ausgangsbildern.

Es ist ferner vorgesehen, dass ein Strahlengang, entlang dessen das aus dem Objektraum abge- strahlte Licht zu dem Lichtsensor gelangt, - im Folgenden auch als Detektions- strahlengang bezeichnet - kein abbildendes optisches Element oder unmittel- bar hinter und/oder vor und/oder an jeder Blende jeweils eine Linse und an- sonsten kein abbildendes optisches Element enthält und die Auswerteeinheit dazu eingerichtet ist, die plenoptische Funktion mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern zu berechnen.

Wo in dieser Anmeldung von mindestens einem Element einer bestimmten Art die Rede ist, so kann dies stets eines oder mehrere Elemente der besagten Art umfassen.

Die vorgeschlagene Bilderfassungsvorrichtung zeichnet sich unter anderem durch eine hohe nutzbare Informationsdichte bei zugleich kompaktem opti- schem Aufbau aus. Jede der Blenden des Lichtmodulators (mit oder ohne je- weilige Linse) wirkt hierbei als Lochblende bzw. Lochkamera, durch welche je- weilige Strahlen (bzw. dünne Lichtkegel) des aus dem Objektraum abgestrahl- ten Lichts auf ein oder mehrere Sensorelemente des Lichtsensors fallen. Dadurch enthält jedes der Ausgangsbilder Informationen über mehrere räum- liche Perspektiven, unter welchen jeweilige Anteile des aus dem Objektraum abgestrahlten Lichts erfasst werden. Zudem ist aufgrund der großen effekti- ven Blendenfläche (virtuelle Blendenöffnung, die der Summe der Flächen der einzelnen Blenden entspricht) eine hohe Signalstärke und folglich ein gutes Signal-Rausch-Verhältnis erzielbar.

Ermöglicht werden eine solche Bilderfassungsvorrichtung und ihre Verwen- dung zum Bestimmen einer plenoptischen Funktion durch die Erkenntnis, dass die plenoptische Funktion in diesem Fall mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern berechnet werden kann. Die sequentielle Korrelation ermöglicht es, die innerhalb der Ausgangs- bilder stark überlappenden Anteile, welche jeweiligen Informationen über die mehreren räumlichen Perspektiven entsprechen, voneinander zu trennen, wodurch die hohe Informationsdichte der Ausgangsbilder nutzbar gemacht wird.

In dem Fall, dass der Detektionsstrahlengang kein optisches Element enthält, wird dadurch ein besonders einfacher optischer Aufbau mit geringen opti- schen Abbildungsfehlern, niedrigen Lichtverlusten und hoher Schärfentiefe (d. h. gleichzeitiger scharfer Abbildung von Objekten über einen großen Ent- fernungsbereich) ermöglicht.

Auch in dem Fall, in dem der Detektionsstrahlengang unmittelbar hinter und/oder vor und/oder an jeder Blende jeweils eine Linse enthält, kommen die hohe nutzbare Informationsdichte, der kompakte (jedoch hier gegenüber dem Fall ohne optisches Element etwas komplexere) Aufbau der Bilderfas- sungsvorrichtung sowie die hohe Signalstärke zum Tragen. Zudem wird durch die unmittelbar hinter und/oder vor und/oder an jeder Blende angeordneten Linsen eine besonders hohe Auflösung in einer Ebene im Bereich der Sensorel- emente (Sensorebene) erzielt. Auch werden in diesem Fall für eine vorgege- bene Lichtausbeute und Auflösung auf der Sensorebene weniger Blenden be- nötigt als in dem Fall ohne Linsen. Damit kann auch, falls eine geringere Licht- ausbeute ausreichend ist, die Aufnahmezeit verkürzt werden, weil mit weni- ger Blenden weniger Masken zur Ansteuerung notwendig sind.

Unmittelbar hinter und/oder vor und/oder an jeder Blende angeordnet be- deutet hierbei, dass jede der Linsen bezüglich der jeweiligen Blende so ange- ordnet ist, dass auf jede der Linsen im Wesentlichen nur ein Anteil des aus dem Objektraum abgestrahlten Lichts auftreffen kann, der auch auf die jewei- lige Blende auftrifft. Im Wesentlichen kann dabei bedeuten, dass kein Über- lapp oder ein geringer Überlapp von Linsen mit Anteilen von Licht benachbar- ter Blenden möglich sein kann. Mit Linse kann hier eine Einzellinse oder eine aus mehreren Linsenelementen zusammengesetzte Linse gemeint sein. Die Linsen können Mikrolinsen sein, welche in einer Mikrolinsenmaske angeord- net sein können.

Die sequentielle Korrelation der Abfolge von Masken mit der Abfolge von Aus- gangsbildern kann als diskreter Pearson-Korrelationskoeffizient berechenbar sein, d. h. für jedes Paar aus einer gegebenen Blende und einem gegebenen Sensorelement berechenbar als Summe der Abweichungsprodukte des min- destens einen Modifikationsparameters und der entsprechenden Messwerte eines gegebenen Messparameters über die Abfolge von Ausgangsbildern hin- weg, geteilt (normiert) durch die Quadratwurzel des Produkts der Summe der entsprechenden Abweichungsquadrate. Alternativ und je nach Anwendung kann die sequentielle Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern auch als Korrelationskoeffizient anderer Art, beispielsweise als Spearman- oder Kendall-Korrelationskoeffizient berechenbar sein.

Der mindestens eine Messparameter und/oder der mindestens eine Modifika- tionsparameter kann eine Intensität sein. Alternativ oder zusätzlich können als Messparameter und/oder als Modifikationsparameter eine Polarisation und/oder eine Phase und/oder eine spektrale Eigenschaft und/oder ein sons- tiger Lichtparameter des aus dem Objektraum abgestrahlten Lichts vorgese- hen sein. Der mindestens eine Modifikationsparameter und/oder der mindes- tens eine Messparameter kann von einem weiteren Lichtparameter des aus dem Objektraum abgestrahlten Lichts, insbesondere einer Polarisation und/o- der einer Phase und/oder einer spektralen Eigenschaft, abhängig sein. Durch geeignete Wahl des mindestens einen Messparameters und/oder des mindes- tens einen Modifikationsparameters kann die Bilderfassungsvorrichtung für verschiedene Anwendungen vorteilhaft ausgestaltet werden.

Bei Ausführungsformen, bei denen der mindestens eine Modifikationspara- meter eine Intensität ist, d. h. wenn die Blenden des Lichtmodulators dazu eingerichtet sind, als Modifikationsparameter eine Intensität des aus dem Ob- jektraum abgestrahlten Lichts zu beeinflussen, kann die Auswerteeinheit dazu eingerichtet sein, die plenoptische Funktion gemäß der Gleichung

(Gleichung 1) zu berechnen, welche eine normierte sequentielle Korrelation der Abfolge von Masken (beschrieben durch die mit der Abfolge von Ausgangsbildern (be- schrieben durch die in Form eines diskreten Pearson-Korrelationskoeffi- zienten beschreibt, wobei

N _M eine Anzahl der Masken der Abfolge von Masken ist, i, k, l und n Indizes sind, ein Modifikationskoeffizient ist, gemäß dem die Blende mit Index i eine Transmission des Lichtmodulators linear beeinflusst, während der Licht- modulator mit einer Maske mit Index n aus der Abfolge von Masken ange- steuert wird, ein Mittelwert (arithmetisches Mittel) der Modifikationskoeffizien- ten über alle Werte von n bei gegebenem i ist, ein Messwert eines Messparameters mit Index l ist, der mittels des Sensorelements mit Index k des Lichtsensors erfasst wird, während der Licht- modulator mit der Maske mit Index n angesteuert wird, ein Mittelwert (arithmetisches Mittel) der Messwerte über alle Werte von n bei gegebenen k und l ist und ein Anteil der berechneten (hier diskretisierten) plenoptischen Funktion ist, der ein Maß für den Messparameter mit Index l eines Strahls des aus dem Objektraum abgestrahlten Lichts angibt, der durch die Blende mit In- dex i auf das Sensorelement mit Index k auftrifft. Die sind somit implizit von einer Raumrichtung (definiert durch einen Vektor, der die Blende mit In- dex i und das Sensorelement mit Index k verbindet) und einer räumlichen Po- sition eines Flächenelements, durch welches der besagte Strahl tritt, (definiert durch einen Vektor, der eine Position der Blende mit Index i oder des Senso- relements mit Index k angibt) abhängig.

Eine Beziehung zwischen dem Messwert dem Modifikationskoeffizienten und dem Anteil der plenoptischen Funktion kann darstellbar sein durch die Gleichung

(Gleichung 2), wobei N _B eine Anzahl der Blenden des Lichtmodulators ist.

Im Objektraum können ein oder mehrere Objekte anordenbar oder angeord- net sein. Auf Grundlage der mittels der Bilderfassungsvorrichtung berechen- baren plenoptischen Funktion können dann weitere Verarbeitungsschritte durchführbar sein, anhand derer zum Beispiel optische, strukturelle oder sonstige Eigenschaften des einen Objekts oder der mehreren Objekte erfass- bar sind.

Beispielsweise kann die Auswerteeinheit dazu eingerichtet sein, auf Grund- lage der berechneten plenoptischen Funktion mindestens ein Rekonstrukti- onsbild, vorzugsweise mehrere Rekonstruktionsbilder, mit synthetischem Fo- kus zu erzeugen, und/oder dazu, auf Grundlage der plenoptischen Funktion und/oder dem mindestens einen Rekonstruktionsbild ein Oberflächenprofil mindestens eines Objekts im Objektraum zu bestimmen.

Als Rekonstruktionsbild mit synthetischem Fokus wird hier ein auf Grundlage der berechneten plenoptischen Funktion erzeugtes Bild bezeichnet, in dem eine vorgegebene Ebene im Objektraum scharf abgebildet ist, wobei die vor- gegebene Ebene innerhalb eines Bereichs frei wählbar sein kann. Ein Rekon- struktionsbild mit synthetischem Fokus kann auf Grundlage der plenoptischen Funktion mittels verschiedener aus dem Stand der Technik bekannter Metho- den erzeugt werden (vgl. etwa Xiao et al., Applied Optics, Jg. 52 (2013),

Ausg. 4, S. 546-560, doi: 10.1364/A0.52.000546 - im Folgenden Xiao et al.; dort beispielhaft Gleichung 3).

Als Oberflächenprofil wird hier eine (diskrete oder kontinuierliche) mathema- tische Darstellung der Oberfläche eines Objekts bezeichnet, etwa eine Tiefen- karte, welche die Entfernung verschiedener Punkte der Oberfläche des Ob- jekts bezogen auf eine Referenzebene angibt. Die mathematische Darstellung der Oberfläche des Objekts kann neben räumlichen Positionen von Punkten der Oberfläche des Objekts weitere lokale Oberflächenparameter, etwa Refle- xions- und/oder Streueigenschaften der Oberfläche umfassen.

Die Auswerteeinheit kann dazu eingerichtet sein, das Oberflächenprofil durch künstliche Fokusvariation zu bestimmen. Bei der künstlichen Fokusvariation wird jeweils in einer Umgebung mehrerer Raumpunkte eine Varianz der Hel- ligkeit oder einer anderen räumlich aufgelösten Größe eines Rekonstruktions- bildstapels (d. h. einer Vielzahl von Rekonstruktionsbildern mit jeweils unter- schiedlichem synthetischem Fokus) berechnet und dann Raumpunkte ge- sucht, in deren Umgebung die Varianz gegenüber anderen Raumpunkten ge- ringer ist (beispielsweise anhand eines Schwellwerts oder durch Bestimmung lokaler Minima). Diese Raumpunkte geringerer Varianz werden als Punkte der Oberfläche des Objekts identifiziert.

Die Auswerteeinheit kann ferner dazu eingerichtet sein, ein zuvor aufgrund von ersten Ausgangsbildern bestimmtes Oberflächenprofil durch ein iteratives Verfahren weiter zu verfeinern, wobei in jeder Iteration zunächst auf Grund- lage des zuvor bestimmten Oberflächenprofils und eines optischen und/oder photometrischen Modells der Bilderfassungsvorrichtung ein Satz von zweiten Ausgangsbildern numerisch simuliert und anschließend das Oberflächenprofil variiert und eine Abweichung der zweiten Ausgangsbilder von den ersten Aus- gangsbildern berechnet wird und wobei über mehrere Iterationen die Abwei- chung der zweiten Ausgangsbilder von den ersten Ausgangsbildern minimiert wird.

Sofern der Detektionsstrahlengang unmittelbar hinter und/oder vor und/oder an jeder Blende jeweils eine Linse enthält, kann jede der Linsen so angeordnet sein, dass sie eine vorgegebene Objektebene im Objektraum auf das mindes- tens eine Sensorelement des Lichtsensors optisch abbildet. Die vorgegebene Objektebene kann für jede der Linsen identisch sein oder es können verschie- denen Linsen verschiedene Objektebenen entsprechen. Die vorgegebene Ob- jektebene kann im Unendlichen liegen.

Die Auswerteeinheit kann dazu eingerichtet sein, eine nachträgliche Rich- tungskorrektur aufgrund von optischen Aberrationen abgelenkter Anteile des aus dem Objektraum abgestrahlten Lichts zu berechnen. Eine solche Korrektur ist insbesondere dann vorteilhaft, wenn der Detektionsstrahlengang unmittel- bar hinter und/oder vor und/oder an jeder Blende jeweils eine Linse enthält, da die Linsen zu optischen Aberrationen führen können.

Die Auswerteeinheit kann dazu eingerichtet sein, die nachträgliche Richtungs- korrektur mittels einer Koordinatentransformation zu berechnen, welche ide- ale (nicht durch die optischen Aberrationen beeinflusste) räumliche Koordina- ten in reale (durch die optischen Aberrationen beeinflusste Koordinaten) räumliche Koordinaten überführt. Die Auswerteeinheit kann dazu eingerichtet sein, die nachträgliche Richtungskorrektur beim Berechnen der plenoptischen Funktion und/oder beim Erzeugen des Rekonstruktionsbildes mit syntheti- schem Fokus und/oder beim Bestimmen des Oberflächenprofils anzuwenden. Die Auswerteeinheit kann dazu eingerichtet sein, die nachträgliche Richtungs- korrektur auf Grundlage einer optischen Modellierung und/oder auf Grund- lage einer empirischen Kalibrierung des Detektionsstrahlengangs zur Zuord- nung der idealen und realen räumlichen Koordinaten zu berechnen.

Der Lichtsensor kann ein einziges Sensorelement oder eine Vielzahl von Sen- sorelementen und/oder einen Matrixsensor, insbesondere einen rechteckigen oder polygonalen Matrixsensor, und/oder einen segmentierten Sensor und/o- der einen Multispektralsensor und/oder einen Charge-Coupled-Device-Sensor (CCD-Sensor) und/oder einen Complementary-Metal-Oxide-Semiconductor- Sensor (CMOS-Sensor) umfassen.

Der Lichtmodulator kann räumlich getrennte Blenden und/oder Blenden, die durch eine kontinuierliche, aber segmentierte Blendenfläche gebildet werden, umfassen. Die Blenden können reflektive und/oder transmittierende Ele- mente sein, deren Reflektivität bzw. Transmission von dem jeweiligen Steuer- parameter abhängen kann. Jede der Blenden kann dazu eingerichtet sein, den Modifikationsparameter oder die Modifikationsparameter in Abhängigkeit von jeweils einem oder mehreren Steuerparametern zu beeinflussen. Jede der Blenden kann dazu eingerichtet sein, den oder die Modifikationsparameter in Abhängigkeit von dem jeweiligen Steuerparameter in kontinuierlich oder disk- ret oder binär (an/aus) einstellbaren Schritten zu beeinflussen.

Der Lichtmodulator kann einen Satz von sequentiell austauschbaren stati- schen Blendenmasken und/oder ein rotierbares und/oder verschiebbares Blendenobjekt und/oder eine Blendenmatrix, insbesondere eine rechteckige oder polygonale Blendenmatrix, und/oder einen Spatial Light Modulator (im Folgenden SLM) und/oder ein Digital Mirror Device (im Folgenden DMD) und/oder einen verformbaren Spiegel umfassen.

Umfasst der Lichtmodulator eine Blendenmatrix, insbesondere einen SLM und/oder ein DMD, so kann als Blende ein einzeln ansteuerbares Blendenele- ment der Blendenmatrix (etwa ein Pixel eines SLM oder ein Spiegel eines DMD) und/oder eine aus mehreren Blendenelementen (etwa Pixeln eines SLM oder Spiegeln eines DMD) zusammengesetzte effektive Blende bezeichnet werden.

Der Lichtsensor und/oder der Lichtmodulator kann entsprechend der vorste- henden optionalen Merkmale auf einfache Weise mit gängigen Bauteilen rea- lisiert und an eine Vielzahl möglicher Anwendungen angepasst werden.

Die Abfolge von Masken kann eine Anzahl von Masken umfassen, die mindes- tens einer Anzahl der Blenden des Lichtmodulators multipliziert mit einer An- zahl der von jeder Blende beeinflussten Modifikationsparameter entspricht. Damit kann sichergestellt werden, dass die plenoptische Funktion vollständig und mit gutem Signal-Rausch-Verhältnis berechenbar ist (wie etwa am Bei- spiel der Gleichung 2 ersichtlich ist, welche die Bestimmung der plenoptischen Funktion als lineares Gleichungssystem mit einer Dimension, die der Anzahl der Blenden des Lichtmodulators multipliziert mit der Anzahl der von jeder Blende beeinflussten Modifikationsparameter entspricht, darstellt).

Die Abfolge von Masken kann eine Basis eines durch die Steuerparameter o- der die Modifikationsparameter aufgespannten Vektorraums sein. Beispiels- weise kann die Abfolge von Masken aus der kanonischen Basis bestehen d. h. aus Masken, in denen jeweils einer der Steuerparameter bzw. Modifikations- parameter von Null verschieden ist und die übrigen Steuerparameter bzw. Modifikationsparameter gleich Null sind. Als weiteres Beispiel kann die Ab- folge von Masken mittels des Gram-Schmidt-Orthogonalisierungsverfahrens aus einem Satz von Masken, die Zufallszahlen als Steuerparameter enthalten, erzeugbar sein.

Jedes der Ausgangsbilder kann als Einzelbild, d. h. durch eine einzige Mes- sung, erfasst werden. Jedes der Ausgangsbilder kann als Summe oder Mittel- wert mehrerer nacheinander oder in vermischter Reihenfolge erfasster Einzel- bilder zur selben Maske erfasst werden.

Der Lichtmodulator kann eine erste Modulationseinheit und eine zweite Mo- dulationseinheit umfassen, wobei die erste und zweite Modulationseinheit in verschiedenen Ebenen des Detektionsstrahlengangs angeordnet sind, so dass das aus dem Objektraum abgestrahlte Licht vor Erreichen des Lichtsensors zu- erst die erste und dann die zweite Modulationseinheit passiert. Die Steuerein- heit kann dann dazu eingerichtet sein, die erste Modulationseinheit mit einer ersten Abfolge von Masken, die zweite Modulationseinheit mit einer zweiten Abfolge von Masken zeitlich sequentiell so anzusteuern, dass während des Ansteuerns der ersten Modulationseinheit mit jeder einzelnen der Masken der ersten Abfolge die zweite Modulationseinheit jeweils mit der gesamten zweiten Abfolge angesteuert und zu jeder so erzeugten Maskenkombination mindestens ein Ausgangsbild erfasst wird. Die erste und/oder zweite Modula- tionseinheit kann beispielsweise einen SLM und/oder ein DMD umfassen.

Ein Lichtmodulator mit zwei Modulationseinheiten kann insbesondere in einer Bilderfassungsvorrichtung mit einem einzigen Sensorelement (beispielsweise einem Spektrometer) oder einer sonstigen geringen Anzahl von Sensorele- menten vorteilhaft eingesetzt werden, da auf diese Weise trotz der geringen Anzahl von Sensorelementen eine hohe Informationsdichte erzielt werden kann (im Beispiel mit Spektrometer ist somit auch spektrale Information er- fassbar).

Das aus dem Objektraum abgestrahlte Licht kann sichtbares Licht und/oder ultraviolettes Licht und/oder infrarotes Licht und/oder Terahertzstrahlung und/oder Röntgenstrahlung und/oder Gammastrahlung umfassen. Dement- sprechend kann die Bilderfassungsvorrichtung (insbesondere der Lichtsensor und der Lichtmodulator) für sichtbares Licht und/oder ultraviolettes Licht und/oder infrarotes Licht und/oder Terahertzstrahlung und/oder Röntgen- strahlung und/oder Gammastrahlung ausgelegt sein. Mit Licht können hier also verschiedene Bereiche des elektromagnetischen Spektrums, nicht bloß sichtbares Licht gemeint sein. Somit ist ein breiter Anwendungsbereich der Bilderfassungsvorrichtung möglich.

Die Bilderfassungsvorrichtung kann ferner mindestens eine Lichtquelle zum Erzeugen eines Beleuchtungslichts umfassen, mittels dessen eines oder meh- rere Objekte im Objektraum zum Erzeugen des aus dem Objektraum abge- strahlten und auf den Lichtsensor auftreffenden Lichts beleuchtbar sind. Die Lichtquelle kann eine fest eingestellte oder manuell und/oder oder mittels der Steuereinheit einstellbare Position und/oder Orientierung aufweisen. Das Be- leuchtungslicht kann eine fest eingestellte oder manuell und/oder mittels der Steuereinheit einstellbare Helligkeit und/oder räumliche Intensitätsmodula- tion und/oder zeitliche Intensitätsmodulation aufweisen. Das Beleuchtungs- licht kann kohärent, inkohärent oder teilweise kohärent sein. Das Beleuch- tungslicht kann zufällig polarisiert oder polarisiert, beispielsweise linear oder zirkulär polarisiert, sein.

Es kann vorgesehen sein, dass ein Abstand zwischen dem Lichtsensor und dem Lichtmodulator manuell und/oder mittels der Steuereinheit einstellbar ist. Damit kann eine Art Zoom realisiert werden, durch welchen die Vor- und Nachteile größerer bzw. kleinerer Abstände gegeneinander abgewogen wer- den können (etwa bei großem Abstand: bessere Winkelauflösung, aber gerin- gerer Öffnungswinkel).

Die Bilderfassungsvorrichtung kann ein zur Verringerung von einfallendem Streulicht eingerichtetes Gehäuse aufweisen, wobei der Lichtsensor im Inne- ren des Gehäuses und/oder der Lichtmodulator an einer Öffnung des Gehäu- ses angeordnet sein können.

Die Auswerteeinheit und/oder die Steuereinheit kann einen Mehrzweckcom- puter und/oder eine oder mehrere dedizierte integrierte Schaltungen umfas- sen. Die Auswerteeinheit und die Steuereinheit können als eine einzige Verar- beitungseinheit oder als separate Einheiten gebildet sein. Die Bilderfassungs- vorrichtung kann weiterhin eine Visualisierungseinheit, eingerichtet zum zwei- dimensionalen und/oder dreidimensionalen Visualisieren der Ausgangsbilder und/oder der plenoptischen Funktion und/oder der Rekonstruktionsbilder und/oder des Oberflächenprofils, umfassen. Das vorgeschlagene Verfahren erlaubt ein Bestimmen einer plenoptischen Funktion von aus einem Objektraum abgestrahltem Licht unter Verwendung der vorgeschlagenen Bilderfassungsvorrichtung. Das Verfahren umfasst die Schritte: zeitlich sequentielles Ansteuern des Lichtmodulators mittels der Ab- folge von Masken zum Beeinflussen mindestens eines Modifikationsparame- ter des aus dem Objektraum abgestrahlten Lichts vor dem Auftreffen auf den Lichtsensor in Abhängigkeit von den jeweiligen Steuerparametern,

Erfassen von Messwerten, entsprechend jeweils mindestens einem Messparameter des aus dem Objektraum abgestrahlten Lichts, mittels des mindestens einen Sensorelements des Lichtsensors, zeitlich sequentielles Erfassen einer Abfolge von Ausgangsbildern, wo- bei jedes der Ausgangsbilder dem mittels des mindestens einen Sensorele- ments erfassten Messwert während des Ansteuerns des Lichtmodulators mit jeweils einer der Masken entspricht und wobei zu jeder Maske mindestens ein Ausgangsbild erfasst wird, mittels der Steuereinheit,

Berechnen der plenoptischen Funktion des aus dem Objektraum abge- strahlten Lichts mittels der Auswerteeinheit mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern.

Im Rahmen des vorgeschlagenen Verfahrens entfaltet die vorgeschlagene Bildverarbeitungsvorrichtung unmittelbar ihre Vorteile. Neben den genannten Schritten kann das Verfahren weitere Schritte umfassen, wie sie sich beispiels- weise aus den oben genannten Ausgestaltungen und Weiterbildungen der Bildverarbeitungsvorrichtung ergeben.

Im Folgenden werden die vorgeschlagene Bilderfassungsvorrichtung und das vorgeschlagene Verfahren anhand beispielhafter Ausführungsformen näher erläutert, wobei die beigefügten Abbildungen zum besseren Verständnis der beispielhaften Ausführungsformen samt ihrer oben genannten und sonstigen Vorteile beitragen sollen. Hierbei zeigen

Fig. 1 eine Prinzipskizze einer Bilderfassungsvorrichtung,

Fig. 2 eine schematische Darstellung einer beispielhaften Bilderfassungsvor- richtung, Fig. 3 eine schematische Darstellung einer Bilderfassungsvorrichtung gemäß einem weiteren Beispiel.

Wiederkehrende und ähnliche Merkmale werden in den Abbildungen mit identischen Bezugszeichen versehen, wobei Bezugszeichen bereits in anderen Abbildungen gezeigter Merkmale teilweise ausgelassen sein können. Ebenso kann bei der Beschreibung verschiedener Abbildungen auf die Erwähnung be- reits beschriebener Merkmale verzichtet werden.

Die in Fig. 1 gezeigte Bilderfassungsvorrichtung 1 umfasst einen Lichtsensor 2, der mehrere Sensorelemente 3 umfasst. Jedes der Sensorelemente 3 ist ein- gerichtet zum Erfassen jeweils eines Messwerts, entsprechend einem Messpa- rameter von aus einem Objektraum 4 abgestrahltem und auf den Lichtsensor 2 auftreffendem Licht (im Folgenden auch Detektionslicht) 5. Im Objektraum 4 sind ein oder mehrere Objekte 13 anordenbar oder angeordnet (in Fig. 1 ist ein Objekt 13 gezeigt).

Der abgebildete Lichtsensor 2 ist beispielhaft; der Lichtsensor 2 umfasst allge- mein eines oder mehrere Sensorelemente 3, die jeweils zum Erfassen eines o- der mehrerer Messwerte, entsprechend jeweils einem Messparameter des Detektionslichts 5, eingerichtet sind.

Die Bilderfassungsvorrichtung 1 umfasst weiterhin einen Lichtmodulator 6, umfassend eine Vielzahl von Blenden 7, wobei jede der Blenden 7 dazu einge- richtet ist, einen Modifikationsparameter des Detektionslichts 5 vor dem Auf- treffen auf den Lichtsensor 2 in Abhängigkeit von einem jeweiligen Steuerpa- rameter zu beeinflussen. Alternativ kann jede der Blenden dazu eingerichtet sein, mehrere verschiedene Modifikationsparameter des Detektionslichts 5 zu beeinflussen.

Der mindestens eine Messparameter und/oder der mindestens eine Modifika- tionsparameter kann beispielsweise eine Intensität des Detektionslichts 5 sein. Alternativ oder zusätzlich können als Messparameter und/oder als Modi- fikationsparameter eine Polarisation und/oder eine Phase und/oder eine spektrale Eigenschaft und/oder ein sonstiger Lichtparameter des Detektions- lichts 5 vorgesehen sein. Der mindestens eine Modifikationsparameter und/o- der der mindestens eine Messparameter kann von einem weiteren Lichtpara- meter des Detektionslichts 5, insbesondere einer Polarisation und/oder einer Phase und/oder einer spektralen Eigenschaft, abhängig sein. Die Bilderfassungsvorrichtung 1 umfasst eine Verarbeitungseinheit 8, umfas- send eine Steuereinheit 9, eine Auswerteeinheit 10 sowie eine Visualisie- rungseinheit 11. Die Auswerteeinheit 9, die Steuereinheit 10 und die Visuali- sierungseinheit 11 sind als Teile einer einzigen Verarbeitungseinheit 8 gezeigt, die beispielsweise einen Mehrzweckcomputer mit geeigneter Software umfas- sen kann; Die Auswerteeinheit 9, die Steuereinheit 10 und die Visualisierungs- einheit 11 können auch als separate, mit einander verbundene Einheiten ge- bildet sein. Die Verarbeitungseinheit 8 kann alternativ oder zusätzlich eine o- der mehrere dedizierte integrierte Schaltungen umfassen.

Die Steuereinheit 9 ist eingerichtet zum zeitlich sequentiellen Ansteuern des Lichtmodulators 6 mittels einer Abfolge von Masken, wobei jede der Masken ein Satz der Steuerparameter für jede der Blenden 7 des Lichtmodulators 6 ist, entsprechend derer die Blenden 7 den Modifikationsparameter beeinflussen. Die Steuereinheit 9 ist ferner eingerichtet zum zeitlich sequentiellen Erfassen einer Abfolge von Ausgangsbildern, wobei jedes der Ausgangsbilder den mit- tels der Sensorelement 3 erfassten Messwerte während des Ansteuerns des Lichtmodulators 6 mit jeweils einer der Masken entspricht und wobei zu jeder der Masken mindestens ein Ausgangsbild erfasst wird.

Die Auswerteeinheit 10 ist eingerichtet zum Berechnen einer plenoptischen Funktion des Detektionslichts 5 mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern.

Ferner ist die Auswerteeinheit 10 dazu eingerichtet, auf Grundlage der be- rechneten plenoptischen Funktion ein oder mehrere Rekonstruktionsbilder mit synthetischem Fokus zu erzeugen und dazu, auf Grundlage der Rekon- struktionsbilder ein Oberflächenprofil des Objekts 13 oder der Objekte 13 im Objektraum 4 zu bestimmen.

Die Visualisierungseinheit 11 ist eingerichtet zum zweidimensionalen oder dreidimensionalen Visualisieren der Ausgangsbilder und/oder der plenopti- schen Funktion und/oder der Rekonstruktionsbilder und/oder des Oberflä- chenprofils.

Ein Detektionsstrahlengang 12, entlang dessen das Detektionslicht 5 zu dem Lichtsensor 2 gelangt, enthält kein abbildendes optisches Element, also insbe- sondere keine Linsen oder sonstigen refraktiven abbildenden Elemente. Alternativ kann der Detektionsstrahlengang 12 unmittelbar hinter und/oder vor und/oder an jeder Blende 7 jeweils eine Linse und ansonsten kein abbil- dendes optisches Element enthalten.

Die Bilderfassungsvorrichtung 1 umfasst eine Lichtquelle 14 zum Erzeugen ei- nes Beleuchtungslichts 15, mittels dessen das Objekt 13 oder die Objekte 13 im Objektraum 4 zum Erzeugen des Detektionslichts 5 beleuchtbar sind. Die Lichtquelle 14 weist eine mittels der Steuereinheit 9 einstellbare Position und Orientierung auf. Alternativ kann die Lichtquelle 14 eine fest eingestellte oder manuell einstellbare Position und/oder Orientierung aufweisen. Das Beleuch- tungslicht 15 kann ferner eine fest eingestellte oder manuell und/oder mittels der Steuereinheit 9 einstellbare Helligkeit und/oder räumliche Intensitätsmo- dulation und/oder zeitliche Intensitätsmodulation aufweisen. Das Beleuch- tungslicht 15 kann kohärent, inkohärent oder teilweise kohärent sein. Das Be- leuchtungslicht 15 kann zufällig polarisiert oder polarisiert, beispielsweise li- near oder zirkulär polarisiert, sein.

Das Beleuchtungslicht 15 - und somit das Detektionslicht 5 - kann sichtbares Licht und/oder ultraviolettes Licht und/oder infrarotes Licht und/oder Tera- hertzstrahlung und/oder Röntgenstrahlung und/oder Gammastrahlung umfas- sen. Dementsprechend kann die Bilderfassungsvorrichtung 1 (insbesondere der Lichtsensor 2 und der Lichtmodulator 6) für sichtbares Licht und/oder ult- raviolettes Licht und/oder infrarotes Licht und/oder Terahertzstrahlung und/oder Röntgenstrahlung und/oder Gammastrahlung ausgelegt sein.

Manche Ausführungen der Bilderfassungsvorrichtung 1 umfassen keine ei- gene Lichtquelle 14. Das Beleuchtungslicht 15 wird dann mittels einer separa- ten Lichtquelle, etwa einer Lampe oder eines Lasers, oder als Tageslicht be- reitgestellt.

Auch die in Fig. 2 gezeigte Bilderfassungsvorrichtung 1' weist einen Lichtsensor 2 und einen Lichtmodulator 6 auf.

Der Lichtsensor 2 umfasst eine Vielzahl von Sensorelementen 3, die durch Pi- xel eines Matrixsensors, insbesondere eines CCD-Sensors oder CMOS-Sensors, gegeben sind. Jedes der Sensorelemente 3 ist somit eingerichtet zum Erfassen jeweils eines Messwerts, entsprechend einer Intensität von aus einem Objekt- raum 4 abgestrahltem und auf den Lichtsensor 2 auftreffendem Detektions- licht 5 als Messparameter. Im Objektraum 4 sind ein oder mehrere Objekte 13 anordenbar oder angeordnet (in Fig. 2 ist ein Objekt 13 gezeigt).

Der Lichtmodulator kann einen Satz von sequentiell austauschbaren stati- schen Blendenmasken und/oder ein rotierbares und/oder verschiebbares Blendenobjekt und/oder eine Blendenmatrix, insbesondere eine rechteckige oder polygonale Blendenmatrix, und/oder einen Spatial Light Modulator (im Folgenden SLM) und/oder ein Digital Mirror Device (im Folgenden DMD) und/oder einen verformbaren Spiegel umfassen.

Der Lichtmodulator 6 umfasst eine Vielzahl von Blenden 7, die durch Pixel ei- nes SLM, also als rechteckige Blendenmatrix gegeben sind. Jede der Blenden 7 ist dazu eingerichtet, als Modifikationsparameter eine Intensität des Detekti- onslichts 5 vor dem Auftreffen auf den Lichtsensor 2 in Abhängigkeit von ei- nem jeweiligen Steuerparameter zu beeinflussen.

Die Bilderfassungsvorrichtung 1' umfasst ferner eine Verarbeitungseinheit (nicht abgebildet), umfassend eine Steuereinheit und eine Auswerteeinheit. Die Steuereinheit ist eingerichtet zum zeitlich sequentiellen Ansteuern des Lichtmodulators 6 mittels einer Abfolge von Masken, wobei jede der Masken ein Satz der Steuerparameter für jede der Blenden 7 des Lichtmodulators 6 ist, entsprechend derer die Blenden 7 den Modifikationsparameter beeinflussen. Die Steuereinheit 9 ist ferner eingerichtet zum zeitlich sequentiellen Erfassen einer Abfolge von Ausgangsbildern, wobei jedes der Ausgangsbilder den mit- tels der Sensorelement 3 erfassten Messwerte während des Ansteuerns des Lichtmodulators 6 mit jeweils einer der Masken entspricht und wobei zu jeder der Masken mindestens ein Ausgangsbild erfasst wird.

Die Auswerteeinheit 10 ist eingerichtet zum Berechnen einer plenoptischen Funktion des Detektionslichts 5 mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern. Ferner ist die Auswerteein- heit 10 dazu eingerichtet, auf Grundlage der berechneten plenoptischen Funk- tion ein oder mehrere Rekonstruktionsbilder mit synthetischem Fokus zu er- zeugen und dazu, auf Grundlage der Rekonstruktionsbilder ein Oberflächen- profil des Objekts 13 oder der Objekte 13 im Objektraum 4 zu bestimmen. Die Bilderfassungsvorrichtung 1' umfasst keine eigene Lichtquelle. Ein Be- leuchtungslicht, mittels dessen das Objekt 13 oder die Objekte 13 im Objekt- raum 4 zum Erzeugen des Detektionslichts 5 beleuchtbar sind, wird mittels ei- ner separaten Lichtquelle (nicht abgebildet), etwa einer Lampe oder eines La- sers, oder als Tageslicht bereitgestellt.

Die Bilderfassungsvorrichtung 1' weist ein zur Verringerung von einfallendem Streulicht eingerichtetes Gehäuse 16 auf, wobei der Lichtsensor 2 im Inneren des Gehäuses 16 und der Lichtmodulator 6 an einer Öffnung des Gehäuses an- geordnet ist.

Ein Abstand 20 zwischen dem Lichtsensor 2 und dem Lichtmodulator 6 ist mit- tels eines durch die Steuereinheit 9 ansteuerbaren Aktuators (nicht gezeigt) einstellbar. Der Abstand 20 kann alternativ fest eingestellt oder manuell (etwa mittels einer Mikrometerschraube und/oder einer Schiebevorrichtung) ein- stellbar sein.

Die in Fig. 3 gezeigte Bilderfassungsvorrichtung 1" gleicht der Bilderfassungs- vorrichtung 1' in weiten Teilen, weshalb im Folgenden nur die Unterschiede dargestellt werden.

Bei der Bilderfassungsvorrichtung 1" umfasst der Detektionsstrahlengang 12 unmittelbar hinter jeder Blende 7 (d. h. zwischen dem Lichtmodulator 6 und dem Lichtsensor 2) jeweils eine Linse 17. Die Linsen 17 sind den Dimensionen der Blenden 7 angepasste Mikrolinsen, welche in einer Mikrolinsenmaske 18 angeordnet sind. Jede der 17 Linsen ist so angeordnet, dass sie eine vorgege- bene Objektebene 19 im Objektraum 4 auf die Sensorelemente 3 des Lichtsensors 2 optisch abbildet, wobei die Objektebene im Unendlichen liegen kann. Die Linsen 17 können alternativ andere Arten von Linsen, also keine Mikrolinsen, etwa gewöhnliche Singlett- oder Dublettlinsen sein.

Die Auswerteeinheit (nicht gezeigt) der Bilderfassungsvorrichtung 1" ist ferner dazu eingerichtet, eine nachträgliche Richtungskorrektur aufgrund von durch die Linsen 17 verursachten optischen Aberrationen abgelenkter Anteile des Detektionslichts zu berechnen.

Im Folgenden wird ein Verfahren zum Bestimmen einer plenoptischen Funk- tion von aus einem Objektraum abgestrahltem Licht beschrieben. Das Verfah- ren kann unter Verwendung einer Bilderfassungsvorrichtung der vorgeschla- genen Art ausgeführt werden und wird hier am Beispiel der in Fig. 2 beispiel- haft dargestellten Bildverarbeitungsvorrichtung 1' erläutert.

Ein erster Schritt des Verfahrens umfasst ein Erzeugen einer Abfolge von Mas- ken mittels der Steuereinheit, wobei eine Anzahl der Masken der Abfolge von Masken mit N _M bezeichnet sei. N _M entspricht dabei einer Anzahl der Blenden 7 des Lichtmodulators 6 multipliziert mit der Anzahl der von jeder Blende be- einflussten Modifikationsparameter (letztere Anzahl ist hier 1, da - wie oben erwähnt - nur die Intensität beeinflusst wird). N _M kann alternativ größer (etwa zum Verbessern des Signal-Rausch-Verhältnisses) oder kleiner (etwa bei Verwendung von Compressive Sensing) sein.

Die Masken selbst können durch Werte des Modifikationskoeffizienten dar- gestellt werden, gemäß derer eine Transmission der Blende 7 mit Index i (mit Werten von 1 bis zur Anzahl der Blenden) die Intensität des Detektionslichts 5 linear beeinflusst, wenn der Lichtmodulator 6 mit einer Maske mit Index n (mit Werten von 1 bis N _M ) aus der Abfolge von Masken angesteuert wird. In bestimmten Ausführungsformen erfolgt die Intensitätsmodulation nicht li- near, sondern wird durch die Vorschrift mit der Intensität I, ei- ner Konstanten c und einer nichtlinearen Funktion / beschrieben. In diesem Fall muss die folgende Umrechnung der Maskenwerte in die Ansteuerungs- werte erfolgen: wobei eine Um - kehrfunktion von ist.

Zur Vorbereitung des Ansteuerns der Blenden 7 des Lichtmodulators 6 mit der Abfolge von Masken erzeugt die Steuereinheit zu jedem Modifikationskoeffi- zienten jeweils einen Steuerparameter der proportional zu dem jeweili- gen Modifikationskoeffizienten ist.

Die Abfolge von Masken wird als eine Basis eines durch die Modifikationspara- meter der Blenden 7 aufgespannten Vektorraums erzeugt, beispielsweise als kanonische Basis oder mittels des Gram-Schmidt-Orthogonalisierungsverfah- rens (s. o.).

Alternativ kann die Abfolge von Masken fest vorgegeben und in einer mit der Steuereinheit 9 verbundenen Speichereinheit bereitgestellt sein. In diesem Fall kann der vorgenannte Verfahrensschritt ausgelassen werden. Ein weiterer Schritt des Verfahrens umfasst ein zeitlich sequentielles Ansteu- ern des Lichtmodulators 6 mittels der zuvor erzeugten oder in der Speicher- einheit bereitgestellten Abfolge von Masken zum Beeinflussen des Modifikati- onsparameters (Intensität) des Detektionslichts 5 vor dem Auftreffen auf den Lichtsensor 2 in Abhängigkeit von den jeweiligen Steuerparametern. Das beim Ansteuern mit jeder der Masken auf den Lichtsensor 2 auftreffende Detekti- onslicht 5 enthält somit sowohl Information über das Objekt IS bzw. die Ob- jekte 13 als auch (bekannte) Information über die jeweilige Maske.

Ein weiterer Schritt des Verfahrens umfasst ein Erfassen der hier als be- zeichneten Messwerte, entsprechend jeweils der Intensität des Detektions- lichts 5 als Messparameter, mittels der Sensorelemente 3 des Lichtsensors 2. Dabei bezeichnet einen Messwert der Intensität der mittels des Sensorele- ments 3 mit Index k des Lichtsensors 2 erfasst wird, während der Lichtmodu- lator 6 mit der Maske mit Index n angesteuert wird (entsprechend für den hier vorliegenden Spezialfall l = 1 in den obigen Gleichungen 1 und 2). Die enthalten wiederum sowohl Information über das Objekt 13 bzw. die Objekte 13 als auch (bekannte) Information über die jeweilige Maske.

Ein weiterer Schritt des Verfahrens umfasst ein zeitlich sequentielles Erfassen einer Abfolge von Ausgangsbildern mittels der Steuereinheit. Jedes der Aus- gangsbilder entspricht den mittels der Sensorelemente 3 erfassten Messwerte während des Ansteuerns des Lichtmodulators 6 mit jeweils einer der Masken der Abfolge von Masken. Zu jeder Maske wird ein Ausgangsbild erfasst. Es ist auch möglich, zu jeder Maske mehr als ein Ausgangsbild zu erfassen; in die- sem Fall können die mehreren Ausgangsbilder zu jeder Maske im Folgenden einzeln betrachtet oder miteinander kombiniert werden (etwa durch Aufsum- mieren oder Mittelwertbildung).

Ein weiterer Schritt des Verfahrens umfasst ein Berechnen der plenoptischen Funktion als diskrete plenoptische Funktion mittels der Auswerteeinheit mit- tels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern. Die plenoptische Funktion wird dargestellt als Anteile der plenoptischen Funktion, welche jeweils ein Maß für die Intensität eines Strahls des Detektionslichts 5 angeben, der durch die vollständig geöffnete bzw. auf maximale Transmission eingestellte Blende 7 mit Index i auf das Sen- sorelement 3 mit Index k auftreffen würde (da die Blenden 7 und die Senso- relemente 3 eine endliche räumliche Ausdehnung haben, wird hierbei mit Strahl ein entsprechendes Raumwinkelelement bezeichnet).

Hierzu wird in dem beschriebenen Beispiel die Annahme gemacht, dass eine Beziehung zwischen den Messwerten den Modifikationskoeffizienten und den Anteilen der plenoptischen Funktion darstellbar ist durch

(angepasste Form der obigen Gleichung 2).

Die sequentielle Korrelation der Abfolge von Masken mit der Abfolge von Aus- gangsbildern wird dann als diskreter Pearson-Korrelationskoeffizient gemäß folgender Gleichung berechnet:

(angepasste Form der obigen Gleichung 1).

Dabei ist ein Mittelwert (arithmetisches Mittel) der Modifikationskoeffizien- ten über alle Werte von n bei gegebenem ein Mittelwert (arithmeti- sches Mittel) der Messwerte über alle Werte von n bei gegebenem k.

Wie in Fig. 2 illustriert, enthält jedes der Ausgangbilder räumlich überlap- pende Informationen über mehrere räumliche Perspektiven, unter welchen jeweilige Anteile des aus dem Objektraum abgestrahlten Lichts erfasst wer- den. Hier werden zur Illustration zwei Sensorelemente 3a, 3b sowie zwei Blen- den 7a, 7b betrachtet. Das Detektionslicht 5 weist entsprechende Lichtanteile 5aa, 5ab, 5ba, 5bb auf, wobei der Lichtanteil 5aa durch die Blende 7a auf das Sensorelement 3a tritt, der Lichtanteil 5ab durch die Blende 7a auf das Senso- relement 3b tritt, der Lichtanteil 5ba durch die Blende 7b auf das Sensorele- ment 3a tritt, der Lichtanteil 5bb durch die Blende 7b auf das Sensorelement 3b tritt. Am Sensorelement 3a überlappen die Lichtanteile 5ab und 5bb, am Sensorelement 3b überlappen die Lichtanteil 5aa und 5bb.

In den Anteilen der plenoptischen Funktion sind durch die sequentielle Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern die innerhalb der Ausgangsbilder stark überlappenden Lichtanteile, welche jewei- ligen Informationen über die mehreren räumlichen Perspektiven entsprechen, voneinander getrennt.

Neben den genannten Schritten kann das Verfahren weitere Schritte umfas- sen, wie sie sich beispielsweise aus den oben genannten Ausgestaltungen und Weiterbildungen der Bildverarbeitungsvorrichtung ergeben. Die Schritte müs- sen dabei, soweit sie vertauschbar sind, nicht in der angegebenen Reihenfolge ausgeführt werden.

Ein optionaler Schritt des Verfahrens umfasst ein Erzeugen mehrerer Rekon- struktionsbilder (oder alternativ nur eines Rekonstruktionsbildes) mit synthe- tischem Fokus, also ein Bild, in dem eine vorgegebene Ebene im Objektraum scharf abgebildet ist, auf Grundlage der berechneten plenoptischen Funktion mittels der Auswerteeinheit.

Zum Erzeugen jedes Rekonstruktionsbildes wird die Gleichung

(Gleichung 3) verwendet. Gleichung 3 ist eine angepasste Form von Gleichung 3 aus Xiao et al. (s. o.). Dabei sind: x ₁ ,y ₁ ,z ₁ Koordinaten im Objektraum 4 (mit z _i > 0), Koordinaten eines von dem Punkt ausgehenden und durch die Blende mit Index i tretenden Lichtanteils in einer die Sensorele- mente 3 umfassenden und parallel zur Ebene angeordneten Sensor- ebene des Lichtsensors 2, die in den Bildkoordinaten x ₁ ,y ₁ ,z ₁ gemäß dem Strahlensatz durch gegeben sind, d ein Abstand (entlang der z _r Achse) zwischen der Sensorebene und ei- ner die Blendenelemente 7 des Lichtmodulators 6 umfassenden und parallel zur Ebene und an der Stelle z _I = 0 angeordneten Blendenebene, Koordinaten der Blende mit Index i in der Ebene, ein Helligkeitswert eines dem Punkt entsprechen- den Pixels des jeweiligen Rekonstruktionsbildes, ein Flächeninhalt einer Gesamtfläche aller von dem von dem Punkt ausgehenden und durch die Blende mit Index i tretenden Lichtanteils getroffenen Sensorelemente 3 (im Folgenden beitragende Senso- relemente genannt) in der Sensorebene, eine Summe derjenigen Anteile der plenoptischen Funk- tion, welche Strahlen, die durch die Blende mit Index i auf die beitragenden Sensorelemente auftreffen, entsprechen, interpoliert am Punkt (bei- spielsweise mittels linearer Interpolation oder polynomialer Interpolation o- der Spline-Interpolation).

Die Summen in Gleichung 3 laufen jeweils über alle Blenden 7 (gekennzeich- net durch den Index i).

Zum Erzeugen des jeweiligen Rekonstruktionsbildes wird Gleichung 3 an ei- nem Satz von Pixeln, die der vorgegebenen Ebene entsprechen, ausgewertet, wobei die vorgegebene Ebene etwa durch eine feste z _r Koordinate vorgege- ben sein kann. Die feste z _r Koordinate entspricht dann dem synthetischen Fo- kus.

Ein weiterer optionaler Schritt des Verfahrens umfasst ein Bestimmen eines Oberflächenprofils des Objekts 13 bzw. der Objekte 13 im Objektraum 4 auf Grundlage der mehreren Rekonstruktionsbilder mittels der Auswerteeinheit.

Das Oberflächenprofil wird hierbei durch künstliche Fokusvariation bestimmt. Bei der künstlichen Fokusvariation wird jeweils in einer Umgebung mehrerer Raumpunkte eine Varianz der Helligkeitswerte eines im vorherigen Schritt er- zeugten Rekonstruktionsbildstapels (d. h. einer Vielzahl von Rekonstruktions- bildern mit jeweils unterschiedlichem synthetischem Fokus) gemäß der Glei- chung

(Gleichung 4) berechnet. Dabei bezeichnet die Varianz der Helligkeitswerte des jeweiligen Rekonstruktionsbildes im Raumpunkt einen Flä- chennormierungsfaktor, einen Mittelwert, und es gelten

(Gleichung 5),

(Gleichung 6).

Die Summen in Gleichungen 4, 5 und 6 laufen jeweils über alle Blenden 7 (ge- kennzeichnet durch den Index i bzw. j).

Nach Bilden der Varianz werden Raumpunkte gesucht, in deren Umgebung die Varianz gegenüber anderen Raumpunkten geringer ist (beispielsweise anhand eines Schwellwerts oder durch Bestimmung lokaler Minima). Diese Raum- punkte geringerer Varianz werden als Punkte der Oberfläche des Objekts identifiziert und daraus das Oberflächenprofil gebildet.

Ein weiterer optionaler Schritt des Verfahrens umfasst ein zweidimensionales und/oder dreidimensionales Visualisieren der Ausgangsbilder und/oder der plenoptischen Funktion und/oder der Rekonstruktionsbilder und/oder des Oberflächenprofils mittels der Visualisierungseinheit, beispielsweise unter Verwendung eines mit der Visualisierungseinheit verbundenen Bildschirms und/oder einer mit der Visualisierungseinheit verbunden Virtuelle-Realität- Anzeigeeinheit.

Ein weiter optionaler Schritt des Verfahrens umfasst ein Berechnen einer nachträglichen Richtungskorrektur aufgrund von optischen Aberrationen ab- gelenkter Anteile des Detektionslichts 5. Dieser Schritt kann insbesondere in dem Fall ausgeführt werden, dass der Detektionsstrahlengang unmittelbar hinter und/oder vor und/oder an jeder Blende jeweils eine Linse enthält (vgl. die in Fig. 3 beispielhaft dargestellte Bildverarbeitungsvorrichtung 1").

Die nachträgliche Richtungskorrektur wird mittels einer Koordinatentransfor- mation berechnet, welche ideale (nicht durch die optischen Aberrationen be- einflusste) räumliche Koordinaten in reale (durch die optischen Aberrationen beeinflusste) räumliche Koordinaten überführt. Die realen räumlichen Koordi- naten können hierbei - im Fall einer rotationssymmetrischen An- ordnung/Lichtverteilung - aus (ideale räumliche Koordinaten) be- rechnet werden als

(Gleichung 7a) und

(Gleichung 7b), wobei und Einheitsvektorkoordinaten sind, ein auf Grundlage einer optischen Modellierung und/oder auf Grund- lage einer empirischen Kalibrierung des Detektionsstrahlengangs bestimmba- rer Korrekturfaktor ist, ein Einfallwinkel des Detektionslichts 5 ist, für den gilt:

(Gleichung 8).

Im allgemeinen Fall (nicht notwendigerweise rotationssymmetrisch, beliebige Messparameter mit Index l wie etwa oben bei den können die realen räumlichen Koordinaten berechnet werden als

(Gleichung 7a') und

(Gleichung 7b'), wobei und auf Grundlage einer optischen Modellie- rung und/oder auf Grundlage einer empirischen Kalibrierung des Detektions- strahlengangs bestimmbare Korrekturkomponenten sind, ein Azimut aller Einfallwinkel des Detektionslichts 5 ist, für den gilt:

(Gleichungen 8'), und wobei φ ein polarer Einfallswinkel ist, für den gilt: im Fall φ = 0

(Gleichung 9a), im Fall oder

(Gleichungen 9b).

Ein weiter optionaler Schritt des Verfahrens umfasst ein Anwenden der be- rechneten Richtungskorrektur beim Berechnen der plenoptischen Funktion und/oder beim Erzeugen des Rekonstruktionsbildes mit synthetischem Fokus und/oder beim Bestimmen des Oberflächenprofils. Dazu werden jeweils in dem zuvor beschriebenen Schritt des Berechnens der plenoptischen Funktion bzw. Erzeugens des Rekonstruktionsbildes mit synthetischem Fokus bzw. Best- immens des Oberflächenprofils die idealen räumlichen Koordinaten durch die realen räumlichen Koordinaten bzw. ersetzt·

Liste der Bezugszeichen:

1, 1', 1" Bilderfassungsvorrichtung, 2 Lichtsensor,

3, 3a, 3b Sensorelement,

4 Objekt raum,

5, Detektionslicht,

5aa, 5ab, 5ba, 5bb Lichtanteile,

6 Lichtmodulator,

7, 7a, 7b Blende, 8 Verarbeitungseinheit,

9 Steuereinheit,

10 Auswerteeinheit, 11 Visualisierungseinheit,

12 Detektionsstrahlengang,

13 Objekt,

14 Lichtquelle, 15 Beleuchtungslicht,

16 Gehäuse,

17 Linse,

18 Mikrolinsenmaske, 19 Objektebene,

20 Abstand.