Aufnahmeeinrichtung zum Erzeugen eines hochaufgelösten Bildes eines sich durch einen Aufnahmebereich bewegenden Objekts so wie Verfahren

Die vorliegende Erfindung betrifft eine Aufnahmeeinrichtung zum Erzeugen eines hochaufgelösten Bildes eines sich durch ei nen Aufnahmebereich bewegenden Objekts sowie ein entsprechen des Verfahren.

Bekannte Mikroskope weisen eine begrenzte Auflösung auf, wel che insbesondere durch die verwendete Wellenlänge und die nu merische Apertur des verwendeten Objektivs bestimmt wird. Je größer die numerische Apertur, umso besser ist die Auflösung. Allerdings geht eine große Apertur mit einem geringen Tiefen schärfebereich und einem sehr kleinen Gesichtsfeld einher. Um größere dreidimensionale Objekte, deren Ausdehnung in Strahl richtung größer als der Tiefenschärfebereich ist, scharf abzu bilden, kann eine kleine Apertur mit entsprechend hoher Tie fenschärfe verwendet werden, wobei dann die laterale Auflösung zurückgeht .

Es ist bekannt, ein sogenanntes "Fokus-Stacking" durchzufüh ren, wobei mehrere Bilder mit unterschiedlichen Fokusebenen zu einem Gesamtbild kombiniert werden, welches dann einen ent sprechend erhöhten Tiefenschärfebereich aufweist. Während ei ner solchen Aufnahmeserie darf sich das beobachtete Objekt je doch nicht bewegen.

Die Fourier-Ptychografie ist eine Möglichkeit, ein hochaufge löstes Bild einer Probe mit einem großen Gesichtsfeld und ho her Tiefenschärfe zu erzeugen. Dabei wird eine Mehrzahl von Bildern der Probe mit unterschiedlichen optischen Konfigurati onen aufgenommen, wobei bei den unterschiedlichen optischen Konfigurationen jeweils ein anderer Teil des Fourier-Spektrums der Probe aufgenommen wird. Die unterschiedlichen Bilder haben dabei einen - zumindest teilweise - unterschiedlichen Informa tionsgehalt, insbesondere enthalten sie unterschiedliche Raum frequenzen der Probe. Die unterschiedlichen Bilder lassen sich im Fourier-Raum zu einem großen Bild mit einem sehr großen Fourier-Spektrum der Probe zusammenfügen. Durch Rücktransfor mation in den Ortsraum kann so ein hochaufgelöstes Bild der Probe mit einem großen Gesichtsfeld und hoher Tiefenschärfe erzeugt werden.

Beispielsweise beschreiben US 10,176,567 B2, US 94,26455 B2,

EP 2915 180 Bl sowie US 10,228,550 B2 unterschiedliche Vor richtungen und Verfahren der Fourier-Ptychografie. Auch US 2017/0371141 Al, US 2017/0146788 Al, US 2016/0088205 Al be schreiben entsprechende bekannte Vorrichtungen und Verfahren.

Da bei der Fourier-Ptychografie eine Bilderserie aufgenommen werden muss, was eine bestimmte Zeitspanne in Anspruch nimmt, ist diese Methode bislang auf die Abbildung statischer oder quasi-statischer Proben beschränkt. Dynamische Systeme, die sich innerhalb dieser Zeitspanne verändern, lassen sich mit der Fourier-Ptychografie daher bisher nicht abbilden.

Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, das Erzeugen eines hochaufgelösten Bildes ei nes bewegten Objekts zu verbessern.

Gemäß einem ersten Aspekt wird eine Aufnahmeeinrichtung zum Erzeugen eines hochaufgelösten Bildes eines sich durch einen Aufnahmebereich bewegenden Objekts aus einer Mehrzahl von N Bildern vorgeschlagen. Die Aufnahmeeinrichtung umfasst eine Beleuchtungsvorrichtung zum Beleuchten des Aufnahmebereichs und eine Erfassungsvorrichtung zum Erfassen eines mittels ei nes Objektivs erzeugten Abbilds des beleuchteten Aufnahmebe reichs als eines der N Bilder, wobei die Aufnahmeeinrichtung zum Aufnehmen einer Bilderserie umfassend die N Bilder derart eingerichtet ist, dass jedes der N Bilder mit einer jeweiligen optischen Konfiguration aus einer Mehrzahl von N optischen Konfigurationen der Aufnahmeeinrichtung erfasst wird. Weiter hin ist eine Erkennungseinheit zum Erkennen des Objekts und zum Ermitteln einer Position und/oder einer Ausrichtung des erkannten Objekts in jedem der N Bilder vorgesehen. Eine Er zeugungseinheit ist zum Erzeugen von N synthetischen Bildern auf Basis der erfassten N Bilder eingerichtet, wobei die Posi tion des Objekts in jedem der erzeugten N synthetischen Bilder gleich einer vorbestimmten Referenzposition und/oder die Aus richtung des Objekts in jedem der erzeugten N synthetischen Bilder gleich einer vorbestimmten Referenzausrichtung ist. Ei ne Auswerteeinheit ist zum Erzeugen des hochaufgelösten Bildes des Objekts auf Basis der N synthetischen Bilder eingerichtet.

Diese Aufnahmeeinrichtung weist mehrere Vorteile auf. Insbe sondere ermöglicht es diese Aufnahmeeinrichtung, unter Verwen dung von Fourier-ptychografischen Verfahren ein bewegtes Ob jekt mit einer hohen Auflösung und mit einer hohen Tiefen schärfe sowie mit einem großen Gesichtsfeld zu erfassen. Das erzeugte hochaufgelöste Bild des Objekts kann auch als 3D-Bild des Objekts bezeichnet werden, da die hohe Auflösung sowohl in einer Ebene senkrecht zu einer optischen Achse der erfassenden Optik, als auch parallel dazu, also in der Tiefe, vorhanden ist. Es lassen sich daher Bilder von dynamischen Systemen, insbesondere von Suspensionen fester Objekte in Fluiden, mit den genannten Eigenschaften erzeugen. Ein jeweiliges Objekt weist dabei vorzugsweise eine sich über die Dauer einer Auf nahmeserie umfassend die N Bilder feste geometrische Form auf.

Ein Anwendungsbeispiel für die Aufnahmeeinrichtung ist das Aufnehmen von Blut oder Blutbestandteilen, welche durch eine Flusszelle gepumpt werden. Die Aufnahmeeinrichtung ermöglicht es, mittels kontinuierlicher Bildaufnahme und kontinuierlicher Auswertung der Bilderserien, hochaufgelöste Bilder von einer Vielzahl von Blutzellen oder anderen Blutbestandteilen zu er zeugen, was eine medizinische Behandlung deutlich beschleuni gen kann und wodurch sich Kosten einsparen lassen. Weitere Anwendungsgebiete liegen beispielsweise in der Abgasuntersu- chung und in der Qualitätskontrolle von kontinuierlich herge stellten Waren, beispielsweise Meterware.

Die Aufnahmeeinrichtung ist insbesondere als ein Mikroskop ausgebildet, wobei durch unterschiedliche Beleuchtungseinstel lungen die verschiedenen optischen Konfigurationen erzeugt werden. Eine Größe des Aufnahmebereichs der Aufnahmeeinrich tung wird insbesondere durch das verwendete Objektiv bestimmt. Eine hohe Maßstabszahl, auch als Vergrößerung bezeichnet, be dingt dabei einen relativ kleinen Aufnahmebereich, dies wird auch als Gesichtsfeld bezeichnet. Der Aufnahmebereich weist vorliegend vorzugsweise wenigstens einen Durchmesser von einem Millimeter, bevorzugt mehrere Millimeter, weiter bevorzugt ein- oder mehrere Zentimetern, auf.

Die Beleuchtungsvorrichtung umfasst eine oder mehrere Licht quellen. Vorzugsweise ist die Beleuchtungsvorrichtung zum Be leuchten des Aufnahmebereichs mit räumlich kohärentem Licht eingerichtet. Beispielsweise erzeugt die Beleuchtungsvorrich tung monochromatische Strahlung aus einem Wellenlängenbereich von dem nahen Infrarot bis hin zu UV, entsprechend einer Wel lenlänge von 10 pm - 10 nm. Die Strahlung wird vorzugsweise kollimiert, also mit einer ebenen Wellenfront auf den Aufnah mebereich abgestrahlt.

Die Erfassungsvorrichtung umfasst das Objektiv zum Abbilden des Aufnahmebereichs auf eine Detektionsfläche, und einen Bilddetektor, der zum Erfassen einer Intensitätsverteilung auf der Detektionsfläche eingerichtet ist. Ein jeweiliges erfass tes Bild entspricht damit einer zweidimensionalen Intensitäts verteilung, die beispielsweise in einer Matrixdarstellung dar stellbar ist. Das Objektiv weist beispielsweise eine Maßstabs zahl von lOx auf, das heißt, dass das Objektiv einen Bereich des Aufnahmebereichs von 1 mm mit einer Größe von 10 mm auf der Detektionsfläche abbildet. Das Objektiv weist beispiels weise eine numerische Apertur von 0,2 auf, was in Luft einem Akzeptanzwinkel von etwa 23° entspricht. Die numerische Apertur ist definiert als NA = n ^c sin(a), wobei n der Bre chungsindex des das Objektiv umgebenden Mediums ist (für Luft ist n ungefähr gleich eins) und der halbe Akzeptanzwinkel des Objektivs. Je nach eingesetzter Optik, insbesondere in Ab hängigkeit des verwendeten Objektivs, kann ein Tiefenschär febereich im Bereich von mehreren 10 pm bis hin zu 1 mm reali siert werden.

Der Bilddetektor ist beispielsweise in CCD- oder in CMOS- Technik ausgebildet. Der Bilddetektor ist damit zum Erfassen eines digitalen Bildes eingerichtet, welches eine durch die Anzahl an Pixeln bestimmte Auflösung aufweist. Je höher die Pixeldichte, umso höher ist die Auflösung des Bilddetektors. Andererseits sinkt mit zunehmender Pixeldichte zwangsläufig die Größe eines einzelnen Pixels, weshalb eine Lichtempfind lichkeit einzelner Pixel zurückgeht. Der Bilddetektor ist da her vorzugsweise an das Objektiv angepasst, so dass eine Auf lösung des Bildes im Bereich der Auflösung des von dem Objek tiv erzeugten Abbild des Aufnahmebereichs liegt. Die Auflösung des Objektivs kann beispielsweise gemäß dem Abbe-Kriterium als d ~ l/NA ermittelt werden. Dabei ist d der minimale Abstand zweier Strukturen, die in dem erzeugten Bild voneinander ge trennt erkennbar sind, l ist die verwendete Beleuchtungswel lenlänge. In Abhängigkeit eines Empfindlichkeitsverlaufs des Bilddetektors kann die Auflösung mittels d = kl * l/NA berech net werden, wobei kl = 0,61 unter Anwendung des Rayleigh- Kriteriums (logarithmischer Empfindlichkeitsverlauf) oder kl = 0,5 unter Anwendung des Sparrow-Kriteriums (linearer Empfind lichkeitsverlauf) ist.

Die Aufnahmeeinrichtung umfasst weiterhin die für die digitale Bilderfassung benötigten Elemente, also beispielsweise eine Recheneinheit sowie ein Speichermedium. Beispielsweise umfasst die Aufnahmeeinrichtung eine Steuerungsvorrichtung, die als ein Computer oder eine CPU ausgebildet ist. Die Steuerungsvor richtung ist dazu eingerichtet, die Beleuchtungsvorrichtung und die Erfassungsvorrichtung anzusteuern, so dass die N Bil- der einer Bilderserie aufgenommen werden. Dazu gibt die Steue rungsvorrichtung beispielsweise eine der N optischen Konfigu rationen vor und nimmt dann ein Bild auf. Das Bild liegt ins besondere als ein digitaler Datensatz vor, wobei die zur Auf nahme verwendete optische Konfiguration als Metadaten zu dem jedem Bild mit abgespeichert werden. Weiterhin werden für je des der N Bilder vorzugsweise die Belichtungsparameter, wie beispielsweise ein Aufnahmezeitpunkt und eine Belichtungsdau er, mit abgespeichert.

Zwei optische Konfigurationen der N optischen Konfigurationen der Aufnahmeeinrichtung weisen insbesondere einen unterschied lichen Strahlengang auf. Vorzugsweise werden mit den unter schiedlichen optischen Konfigurationen unterschiedliche Infor mationsgehalte des Aufnahmebereichs, und damit auch des sich durch diesen bewegenden Objekts, erfasst. Durch ptychografi- sches Auswerten einer Bilderserie lassen sich die unterschied lichen Informationsgehalte kombinieren und so das hochaufge löste Bild erzeugen.

Die Erkennungseinheit ist vorzugsweise zum Durchführen einer Mustererkennung an jedem der N Bilder ausgebildet, um das Ob jekt in einem jedem der N Bilder zu erkennen. Wenn nachfolgend die Rede davon ist, dass das Objekt in einem Bild enthalten ist, so ist damit insbesondere die Abbildung des Objekts in dem Bild gemeint. Hierunter wird vorzugsweise verstanden, dass die Erkennungseinheit das Objekt in einem jeweiligen Bild lo kalisiert. Beispielsweise gibt die Erkennungseinheit einen Bildbereich des Bildes an, in welchem sich das Objekt befin det.

Vorzugsweise umfasst die Erkennungseinheit ein neuronales Netzwerk, welches anhand von Beispielbildern für eine bestimm te Objektklasse, beispielsweise Blutzellen, trainiert wurde. Die Erkennungseinheit kann aber auch zum Durchführen einer Mustererkennung mittels fest vorgegebener Algorithmen einge richtet sein. Weiterhin kann die Erkennungseinheit Manipulati- onen und/oder Transformationen an einem jeweiligen Bild durch führen.

Die Erkennungseinheit ist zudem dazu eingerichtet, eine Posi tion des Objekts und/oder eine Ausrichtung des Objekts in dem Bild zu ermitteln. Die Position bezieht sich dabei beispiels weise auf ein gedachtes, an einer vorbestimmten Position des Bildes, beispielsweise in der Mitte oder in einer Ecke des Bildes, angeordnetes Koordinatensystem. Das Koordinatensystem ist für jedes der N Bilder identisch, so dass beispielsweise ein Mittelpunkt des Bildes in jedem der N Bilder die gleichen Koordinaten, beispielsweise ein Paar aus Ordinate und Abszis se, aufweist. Damit hat jeder Bildpunkt eindeutige Koordina ten. Die Position kann beispielsweise bezogen auf genau einen Punkt des Objekts, beispielsweise einen Mittelpunkt des Ob jekts, angegeben sein, oder den Bereich angeben, in welchem das Objekt erkannt wurde. Es kann auch eine Aufzählung aller Koordinatenpaare, deren Bildpunkte zu dem Objekt gehören, an gegeben sein. Die Ausrichtung bezieht sich beispielsweise auf eine Drehung des Objekts. Eine Drehachse kann dabei beliebig durch das Objekt liegen. Eine Drehung lässt sich beispielswei se daran erkennen, dass sich charakteristische Merkmale des Objekts senkrecht zu einer Bewegungsrichtung des Objekts und/oder relativ zueinander bewegt oder verschoben haben.

Die Erzeugungseinheit erzeugt die N synthetischen Bilder auf Basis der N erfassten Bilder. Insbesondere erzeugt die Erzeu gungseinheit für jedes der N erfassten Bilder genau ein syn thetisches Bild. Die Erzeugungseinheit verwendet die von der Erkennungseinheit ermittelten Informationen bezüglich des er kannten Objekts, insbesondere der Position des Objekts und der Ausrichtung des Objekts in dem jeweiligen Bild. Die Erzeu gungseinheit erzeugt die synthetischen Bilder insbesondere derart, dass das Objekt in jedem der synthetischen Bilder an der gleichen Position und/oder mit der gleichen Ausrichtung wie in einer vorbestimmten Referenzposition oder Referenzaus richtung angeordnet ist. Die vorbestimmte Referenzposition o- der Referenzausrichtung kann beliebig gewählt werden, es kann aber auch ein Referenzbild aus den N erfassten Bildern festge legt werden, wobei die Position und die Ausrichtung des Ob jekts in dem Referenzbild die Referenzposition bestimmen. Das heißt, dass die Koordinaten des Objekts in jedem der syntheti schen Bilder die gleichen sind. Das Referenzbild kann dabei ein vorbestimmtes Bild aus den N erfassten Bildern sein. Als Referenzbild kann beispielsweise das mit einer vorbestimmten optischen Konfiguration der Aufnahmeeinrichtung erfasste Bild bestimmt sein. Die Referenzposition und Referenzausrichtung können für unterschiedliche Bilderserien unterschiedlich vor bestimmt sein.

Die synthetischen Bilder weisen vorzugsweise mindestens die gleiche Größe und Auflösung auf, wie die erfassten Bilder.

Die N synthetischen Bilder bilden somit eine synthetische Bil derserie, die einer Bilderserie entspricht, die mit den N un terschiedlichen optischen Konfigurationen aufgenommen wurde, wobei sich das Objekt innerhalb der synthetischen Bilderserie scheinbar nicht bewegt, also immer an der gleichen Position und mit der gleichen Ausrichtung erscheint. Man kann auch sa gen, dass das Objekt in der synthetischen Bilderserie als qua si-statisch erscheint. Die synthetische Bilderserie kann daher insbesondere durch Fourier-ptychografische Methoden und Ver fahren ausgewertet werden, um ein hochaufgelöstes Bild des Ob jekts zu erhalten. Nachfolgend kann daher auch von einer pty- chografischen Bilderserie gesprochen werden.

Die Auswerteeinheit ist zum Erzeugen des hochaufgelösten Bil des des Objekts auf Basis der N synthetischen Bilder mittels Fourier-ptychografischen Methoden eingerichtet. Das heißt, dass die Auswerteeinheit beispielsweise jedes der N syntheti schen Bilder, die im Ortsraum vorliegen, mittels einer zweidi mensionalen Fourier-Transformation in den Frequenzraum über führt. Jedes der N synthetischen Bilder umfasst dabei einen etwas unterschiedlichen Frequenzbereich des Aufnahmebereichs oder des Objekts, wobei Überschneidungen zwischen verschiede nen Bildern vorhanden sein können. Die N transformierten syn thetischen Bilder lassen sich im Frequenzraum zu einem großen Bild zusammenfügen, das insbesondere einen viel größeren Fre quenzbereich des Aufnahmebereichs oder des Objekts aufweist. Ein größerer Frequenzbereich im Frequenzraum ist dabei gleich bedeutend zu einer höheren Auflösung im Ortsraum. Durch eine entsprechende Rücktransformation des großen Bilds aus dem Fre quenzraum in den Ortsraum wird daher ein hochaufgelöstes Bild des Objekts erzeugt.

Die jeweilige Einheit, also die Erkennungseinheit, Erzeugungs einheit und/oder die Auswerteeinheit kann als ein separates Bauteil oder als teilweise oder vollständig integriertes Bau teil, beispielsweise als Teil der Steuerungsvorrichtung, im plementiert sein. Weiterhin ist es möglich, die jeweilige Ein heit und/oder die Steuerungsvorrichtung hardwaretechnisch und/oder softwaretechnisch zu implementieren. Bei einer hard waretechnischen Implementierung kann die jeweilige Einheit und/oder die Steuerungsvorrichtung zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer software technischen Implementierung kann die jeweilige Einheit und/oder die Steuerungsvorrichtung als Computerprogrammpro dukt, als eine Funktion, als eine Routine, als Teil eines Pro grammcodes oder als ausführbares Objekt ausgebildet sein.

Die Aufnahmeeinrichtung ist nicht darauf beschränkt, ein hoch aufgelöstes Bild eines einzelnen sich durch den Aufnahmebe reich bewegenden Objekts zu erzeugen. Vielmehr lassen sich mit der Aufnahmeeinrichtung eine Vielzahl von sich durch den Auf nahmebereich bewegenden Objekten erfassen und entsprechende hochaufgelöste Bilder erzeugen. Dabei kann für ein jedes Ob jekt, von dem ein hochaufgelöstes Bild erzeugt werden soll, eine eigene Bilderserie umfassend N Bilder vorliegen. Es ist aber auch möglich, anhand einer Bilderserie mit N Bildern hochauflösende Bilder von zwei oder auch mehr als zwei Objek ten zu erzeugen. Vorzugsweise werden mit der Aufnahmeeinrich- tung kontinuierlich Bilder mit verschiedenen optischen Konfi gurationen erfasst. Dabei werden die N unterschiedlichen opti schen Konfigurationen beispielsweise zyklisch durchlaufen und jeweils ein Bild aufgenommen. Aus dem so entstehenden Bilder strom lässt sich für ein jeweiliges Objekt beispielsweise je weils eine Bilderserie umfassend N erfasste Bilder entnehmen, anhand welcher dann wie beschrieben das hochauflösende Bild des Objekts erzeugt wird. Für zwei unterschiedliche Objekte können die Bilderserien dabei ganz oder teilweise identische Bilder aufweisen.

Insbesondere bei mehreren Objekten im Aufnahmebereich kann es vorteilhaft sein, einem jeweiligen Objekt einen Marker oder eine Nummer zuzuordnen, die diesem Objekt in jedem der N Bil der zugeordnet wird. Damit lässt sich eine fehlerhafte Zuord nung eines Bildes eines Objekts zu einem erkannten Objekt ver meiden. Man kann auch sagen, dass die Erkennungseinheit ein Objekttracking über die N Bilder hinweg durchführt.

In Abhängigkeit einer Bewegungsgeschwindigkeit des Objekts o- der der Objekte sowie einer gewünschten Auflösung des hochauf gelösten Bildes lassen sich Parameter der Aufnahmeeinrichtung festlegen und diese entsprechend konfigurieren. Für eine hohe Auflösung und bei relativ kleiner numerischer Apertur des Ob jektivs ist eine größere Anzahl an unterschiedlichen optischen Konfigurationen vorteilhaft. Je größer die Anzahl an optischen Konfigurationen, umso länger dauert es jedoch, bis eine Bil derserie mit allen unterschiedlichen optischen Konfigurationen aufgenommen ist. Vorzugsweise dauert die Aufnahme einer Bil derserie umfassend die N Bilder nicht länger, als das Objekt benötigt, um sich komplett durch den Aufnahmebereich zu bewe gen.

In Ausführungsformen der Aufnahmeeinrichtung können verschie dene Betriebsmodi vorgesehen sein, die beispielsweise ein schnelleres Erfassen von hochaufgelösten Bildern mit einer re duzierten Anzahl an optischen Konfigurationen der Aufnahmeein- richtung erlauben. Es kann hierzu beispielsweise eine Anzahl von M unterschiedlichen Konfigurationen, mit M < N, ausgewählt werden. Die so erzeugten hochaufgelösten Bilder weisen eine geringere Auflösung auf, als wenn alle N optischen Konfigura tionen verwendet werden, dafür kann eine Bilderserie mit den M Bildern in einer kürzeren Zeit erfasst werden. Es lassen sich daher auch schneller bewegte Objekte erfassen.

Gemäß einer Ausführungsform der Aufnahmeeinrichtung umfasst diese ferner eine Segmentierungseinheit zum Segmentieren des erkannten Objekts in jedem der N Bilder zum Bereitstellen von N Objektsegmenten, wobei ein jeweiliges der N Objektsegmente das Objekt umfasst. Weiterhin ist eine Ermittlungseinheit zum Ermitteln von N Transformationsvorschriften vorgesehen. Jede der N Transformationsvorschriften ist einem der N Objektseg mente zugeordnet. Die jeweilige Transformationsvorschrift wird derart ermittelt, dass durch Anwenden der zugeordneten Trans formationsvorschrift auf das Objektsegment ein transformiertes Objektsegment erzeugt wird, wobei die Position des Objekts in dem transformierten Objektsegment der vorbestimmten Referenz position und/oder die Ausrichtung des Objekts in dem transfor mierten Objektsegment der vorbestimmten Referenzausrichtung entspricht. Hierbei ist die Erzeugungseinheit dazu eingerich tet, durch Anwenden der entsprechenden zugeordneten Transfor mationsvorschrift auf jedes der N Objektsegmente N transfor mierte Objektsegmente zu erzeugen und die N synthetischen Bil der mittels der N transformierten Objektsegmente zu erzeugen.

Die Segmentierungseinheit und/oder die Ermittlungseinheit sind vorzugsweise Bestandteile der Erzeugungseinheit.

Unter einem Objektsegment, das von der Segmentierungseinheit bereitgestellt wird, wird vorliegend insbesondere ein Aus schnitt aus dem jeweiligen der N Bilder verstanden, wobei das Objekt in dem Ausschnitt vorzugsweise vollständig enthalten ist. Man kann daher auch von einem Freistellen des Objekts sprechen. Das Objektsegment selbst ist daher ebenfalls ein Bild, wobei diejenigen Bildbereiche, die das Objekt nicht ent halten, abgeschnitten sind. Ein Objektsegment kann beispiels weise eine quadratische, eine rechteckige, eine runde, eine elliptische und/oder eine Freiform-Begrenzung aufweisen. Das Objektsegment weist insbesondere als ein Attribut die Koordi naten des Objektsegments in dem Koordinatensystem des jeweili gen Bildes auf. Vorzugsweise enthält jeder Bildpunkt des Ob jektsegments die zu dem Bildpunkt gehörenden Koordinaten.

Die Ermittlungseinheit ermittelt die N Transformationsvor schriften insbesondere in Abhängigkeit der ermittelten Positi on des Objekts in dem jeweiligen der N Bilder und der vorbe stimmten Referenzposition und/oder in Abhängigkeit der ermit telten Ausrichtung des Objekts in dem jeweiligen der N Bilder und der vorbestimmten Referenzausrichtung des Objekts. Die Transformationsvorschrift kann im mathematischen Sinne auch als eine Abbildung bezeichnet werden.

Durch Anwenden der einem Objektsegment zugeordneten Transfor mationsvorschrift auf das Objektsegment wird ein transformier tes Objektsegment erzeugt. Das transformierte Objektsegment ist insbesondere dadurch gekennzeichnet, dass eine Position und/oder eine Ausrichtung des Objekts in dem transformierten Objektsegment der Referenzposition und/oder Referenzausrich tung ist. Das heißt, dass die Transformationsvorschrift insbe sondere auf die Koordinaten der Bildpunkte wirkt.

Wenn sich das Objekt zwischen zwei Aufnahmen mit unterschied lichen optischen Konfigurationen linear und gleichförmig durch den Aufnahmebereich bewegt, dann liegt beispielsweise eine Verschiebung des Objekts vor, wobei die entsprechende Trans formationsvorschrift einer linearen Verschiebung entspricht. Bei einer Bewegung in x-Richtung kann diese als x' = x + dx angegeben werden. Bei konstanter Geschwindigkeit v kann dies als x' = x + v x dt, wobei dt der zeitliche Abstand zwischen den beiden Bildern ist, geschrieben werden. Bei komplizierteren als linearen gleichförmigen Bewegungen kann die Transformationsvorschrift insbesondere als eine Transformationsmatrix angegeben werden.

Vorzugsweise ist die Ermittlungseinheit ferner dazu eingerich tet, die Transformationsvorschrift in Abhängigkeit einer Ver zerrung und/oder einer Aberration des Bildes zu ermitteln. Die Verzerrung und/oder Aberration kann für eine jeweilige der N optischen Konfigurationen individuell unterschiedlich sein. Vorzugsweise ist die Verzerrung und/oder Aberration vorbe stimmt, beispielsweise durch entsprechende Kalibration.

In dieser Ausführungsform erzeugt die Erzeugungseinheit die N synthetischen Bilder beispielsweise indem sie die N transfor mierten Objektsegmente erzeugt und diese anschließend in je weils einen synthetischen Bilderrahmen einsetzt. Die Objekt segmente werden dabei gemäß den ihren Bildpunkten zugeordneten Koordinaten in dem Bilderrahmen platziert.

Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung ist die Erzeugungseinheit zum Erzeugen der N synthetischen Bilder in Abhängigkeit einer Korrekturinformation eingerich tet.

Die Korrekturinformation umfasst insbesondere einen Bildhin tergrund für ein jeweiliges der N Bilder. Der Bildhintergrund ist beispielsweise gleichförmig hell oder dunkel. Der Bildhin tergrund kann sich zwischen unterschiedlichen optischen Konfi gurationen unterscheiden. Insbesondere kann für jede der N op tischen Konfigurationen ein Bildhintergrund vorgegeben sein. Der jeweilige Bildhintergrund kann beim Erzeugen der N synthe tischen Bilder beispielsweise von dem Bild "abgezogen" werden, so dass eventuell im Hintergrund vorhandenes Bildrauschen in dem entsprechenden synthetischen Bild entfernt ist.

Für eine jeweilige optische Konfiguration lässt sich der Bild hintergrund beispielsweise in separaten Kalbrationsmessungen ermitteln. Weiterhin kann vorgesehen sein, dass der Bildhin tergrund aus einer Mehrzahl von mit der gleichen optischen Konfiguration erfassten Bildern ermittelt wird. Die sich durch den Aufnahmebereich bewegenden Objekte befinden sich dabei je weils an unterschiedlichen Positionen, so dass es statistisch gesehen jeweils Bereiche mit freiem Hintergrund gibt, die sich zu einem Gesamthintergrund zusammensetzen lassen. Vorzugsweise kann der Hintergrund oder die Korrekturinformation daher fort laufend und auch während laufender Messungen aktualisiert wer den. Man kann auch von einer automatischen Kalibrationsfunkti on sprechen.

In Ausführungsformen kann vorgesehen sein, dass ein jeweiliges transformiertes Objektsegment in ein synthetisches Bild mit einem künstlichen Bildhintergrund, beispielsweise einem voll ständig rauschfreien Bildhintergrund, eingesetzt wird.

Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung ist die Erzeugungseinheit dazu eingerichtet, die N syntheti schen Bilder mittels Interpolation, insbesondere in Bezug auf die Position und/oder die Ausrichtung des Objekts in dem je weiligen der N synthetischen Bilder, zu erzeugen.

Unter einer Interpolation wird vorliegend verstanden, dass zwischen diskreten Werten liegende Zwischenwerte berechnet o- der erzeugt werden. Für bestimmte digitale Bildverarbeitungs schritte ist es hilfreich, eine höhere Auflösung, also eine größere Anzahl an Bildpunkten oder Pixeln, als beispielsweise der Bilddetektor aufweist, zu verwenden. Die zusätzlichen Bildpunkte lassen sich mittels Interpolation erzeugen. Dabei kann beispielsweise ein Mittelwert der benachbarten Bildpunkte bezüglich deren Helligkeitsinformation berechnet werden und das Ergebnis dem "neuen" Pixel als Helligkeitsinformation zu gewiesen werden. Die Interpolation kann mittels verschiedener Funktionen und in Abhängigkeit von vielen oder auch allen Bildpunkten des ursprünglichen Bildes durchgeführt werden. Durch eine solche Interpolation ist insbesondere eine Platzie rung des Objekts auf der Referenzposition und mit der Refe renzausrichtung mit deutlich erhöhter Genauigkeit möglich. Man kann auch sagen, das Objekt wird mit Subpixel-Genauigkeit platziert. Damit lassen sich störende Artefakte in dem erzeug ten hochaufgelösten Bild vermeiden.

Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung ist die Segmentierungseinheit zum Segmentieren des erkannten Objekts in Abhängigkeit eines vorgebbaren Schwellwerts für ei ne Intensitätsfunktion und/oder eine Kontrastfunktion eines Bildpunkts eingerichtet.

Hierbei ist die Segmentierungseinheit vorteilhaft nicht auf eine feste geometrische Begrenzung für die Objektsegmente festgelegt, sondern die Objektsegmente werden gemäß dem Schwellwert der Intensitätsfunktion oder der Kontrastfunktion jeweils individuell bereitgestellt. Die Intensitätsfunktion kann hierbei als ein Wert einer Intensität gegeben sein, vor zugsweise handelt sich bei der Intensitätsfunktion jedoch bei spielsweise um einen Gradienten der Helligkeit über eine An zahl von zu dem Bildpunkt benachbarten Bildpunkten hinweg. Die Kontrastfunktion kann sich beispielsweise auf einen Hellig keitskontrast, Phasenkontrast oder dergleichen beziehen.

Für unterschiedliche optische Konfigurationen kann dabei eine unterschiedliche Intensitätsfunktion und/oder Kontrastfunktion und/oder ein unterschiedlicher Schwellwert vorbestimmt sein.

Der Schwellwert kann vorzugsweise anhand eines entsprechenden Werts der Intensitätsfunktion für ein jeweiliges Hintergrund bild vorbestimmt sein.

Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung ist die Erkennungseinheit zum Erkennen des Objekts in Abhän gigkeit einer Bewegungsinformation für das Objekt und/oder ei nes Objekttyps eingerichtet. Hiermit lässt sich ein rechentechnischer Aufwand zum Erkennen des Objekts reduzieren. Zum Beispiel ist bei Verwendung einer Flusszelle bekannt, dass sich Objekte entlang der vorgegebenen Strömungsrichtung und im Wesentlichen mit der Strömungsge schwindigkeit bewegen. Diese Information kann zielführend ge nutzt werden, indem ausgehend von der Position des Objekts in dem vorhergehenden Bild in den nachfolgenden Bildern insbeson dere derjenige Bereich auf das Objekt hin analysiert wird, in dem das Objekt unter der Annahme einer linearen gleichförmigen Bewegung erwartet wird. Je nach konkreter Anwendung kann die Bewegungsinformation auch komplexere Bewegungsmuster umfassen. Vorzugsweise ist die Bewegungsinformation mit der Bildaufnahme synchronisiert .

Weiterhin kann ein Suchen und Erkennen von neuen Objekten, die in den Aufnahmebereich eintreten, auf einen kleinen Bereich in den Bildern beschränkt werden, da bekannt ist, an welchem Bildrand neue Objekte in den Aufnahmebereich eintreten.

Bei bekannter Anwendung ist ein Objekttyp, der erfasst werden soll, bekannt. In Abhängigkeit des Objekttyps kann ein Er scheinungsbild des Objekts bei einer jeweiligen optischen Kon figuration unterschiedlich sein. Das Erscheinungsbild, nach folgend auch Signatur genannt, lässt sich daher insbesondere vorab ermitteln und beispielsweise als Referenz beim Erkennen von Objekten heranziehen. Weiterhin ist dann beispielsweise auch eine erwartete geometrische Form des oder der Objekte, und damit deren Signatur, bekannt.

In Ausführungsformen der Aufnahmeeinrichtung kann eine Daten bank mit unterschiedlichen Objekttypen und deren Signaturen für die unterschiedlichen optischen Konfigurationen vorgesehen sein, auf welche die Erkennungseinheit zum Erkennen des Ob jekts in den Bildern zurückgreifen kann. Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung ist die Beleuchtungsvorrichtung zum Beleuchten des Aufnahmebe reichs aus unterschiedlichen Winkelpositionen eingerichtet, wobei eine jeweilige Winkelposition einer der N optischen Kon figurationen der Aufnahmeeinrichtung entspricht.

Eine Beleuchtung aus unterschiedlichen Winkeln bedeutet, dass andere optische Winkelbereiche des vorgegebenen Aufnahmebe reichs, und damit auch der sich durch diesen bewegenden Objek te, abgetastet werden. Somit weisen die Bilder unterschiedli cher optischer Konfigurationen unterschiedliche Informations gehalte auf. Vorzugsweise sind Beleuchtungswinkel von bis zu 60° in Bezug auf eine Durchstrahlrichtung möglich.

Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung weist die Beleuchtungsvorrichtung eine Mehrzahl an Beleuch tungseinheiten auf, wobei eine jeweilige der Beleuchtungsein heiten in einer der Winkelpositionen angeordnet ist.

Die Beleuchtungseinheiten sind beispielsweise als LEDs ausge bildet. Die Beleuchtungseinheit ist vorzugsweise als ein LED- Array ausgebildet. Die unterschiedlichen optischen Konfigura tionen der Aufnahmeeinrichtung lassen sich hierbei rein elekt ronisch erzielen, ohne dass eine mechanische Veränderung der Aufnahmeeinrichtung vorzunehmen ist.

Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung ist einer jeweiligen Beleuchtungseinheit eine Kollimationsein- heit zum Kollimieren des von der Beleuchtungseinheit abge strahlten Lichts zugeordnet.

Die Kollimationseinheit kann beispielsweise als eine Linse ausgebildet sein.

Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung umfasst die Erkennungseinheit ein neuronales Netzwerk. Ein neuronales Netzwerk kann vorteilhaft für die Erkennung von Mustern und Strukturen in Bildern trainiert und eingesetzt werden. Ein neuronales Netzwerk ist insbesondere in der Lage, sich mit zunehmender Einsatzdauer fortlaufend zu verbessern.

Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung weist das Objektiv eine Maßstabszahl von 1 - lOx, bevorzugt von 2 - 5x, auf.

Eine kleine Maßstabszahl geht einher mit einem großen Ge sichtsfeld, wodurch - bei gleicher Größe der Detektionsfläche der Erfassungsvorrichtung - ein größerer Aufnahmebereich er fasst werden kann.

Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung weist das Objektiv in Luft eine numerische Apertur von 0,005 - 0,25, bevorzugt von 0,01 - 0,15, auf.

Eine geringe numerische Apertur weist vorteilhaft eine hohe Tiefenschärfe auf und erlaubt zudem einen hohen Arbeitsabstand zu dem Aufnahmebereich. Damit ist auch eine Empfindlichkeit gegenüber einer (Fehl-)Justierung der Aufnahmeeinrichtung re duziert, was die Handhabung erleichtert.

Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung sind in unterschiedlichen optischen Konfigurationen unter schiedliche Belichtungsparameter verwendbar.

Unter Belichtungsparameter werden hierbei insbesondere eine Belichtungsdauer, eine Beleuchtungsstärke und/oder eine Emp findlichkeit des Bilddetektors verstanden. Insbesondere bei einer Beleuchtung von hohen Winkeln aus sinkt die von dem Auf nahmebereich oder dem Objekt in den Akzeptanzwinkel des Objek tivs gestreute Intensität stark ab, was durch anpassen der Be lichtungsparameter zumindest teilweise kompensiert werden kann. Gemäß einer weiteren Ausführungsform der Aufnahmeeinrichtung ist die Erfassungsvorrichtung zum Erfassen eines der N Bilder mittels Stacking einer Mehrzahl von Einzelbildern bei gleicher optischer Konfiguration erzeugbar.

Die Einzelbilder sind hierbei in der gleichen optischen Konfi guration und in einem möglichst kurzen zeitlichen Abstand zu einander zu erfassen.

Diese Ausführungsform ist vorteilhaft, um ein Signal-Rausch- Verhältnis in einem Bild zu verbessern, da sich beispielsweise durch eine Mittelwertbildung ein in den Einzelbildern vorhan denes Rauschen in dem daraus erzeugten Bild reduzieren lässt.

Gemäß einem weiteren Aspekt wird ein Verfahren zum Erzeugen eines hochaufgelösten Bildes eines sich durch einen Aufnahme bereich bewegenden Objekts aus einer Mehrzahl von N Bildern vorgeschlagen. Hierzu ist eine Aufnahmeeinrichtung mit einer Beleuchtungsvorrichtung zum Beleuchten des Aufnahmebereichs und eine Erfassungsvorrichtung zum Erfassen eines mittels ei nes Objektivs erzeugten Abbilds des beleuchteten Aufnahmebe reichs als eines der N Bilder vorgesehen. In einem Schritt A) erfasst die Erfassungsvorrichtung eine Bilderserie umfassend die N Bilder derart, dass jedes der N Bilder mit einer jewei ligen optischen Konfiguration aus einer Mehrzahl von N opti schen Konfigurationen der Aufnahmeeinrichtung erfasst wird. In einem Schritt B) wird das Objekt erkannt und eine Position und/oder eine Ausrichtung des erkannten Objekts in jedem der N Bilder wird ermittelt. In einem Schritt C) werden N syntheti sche Bilder auf Basis der erfassten N Bilder erzeugt, wobei die Position des Objekts in jedem der erzeugten N syntheti schen Bilder gleich einer vorbestimmten Referenzposition und/oder die Ausrichtung des Objekts in jedem der erzeugten N synthetischen Bilder gleich einer vorbestimmten Referenzaus richtung ist. In einem letzten Schritt D) wird das hochaufge löste Bild des Objekts auf Basis der N synthetischen Bilder erzeugt. Dieses Verfahren ist vorteilhaft mit der Aufnahmeeinrichtung gemäß dem ersten Aspekt durchführbar. Die für die vorgeschla gene Aufnahmeeinrichtung beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend. Das Verfahren weist die zur Aufnahmeeinrichtung beschriebenen Vorteile entsprechend auf.

Gemäß einer Ausführungsform des Verfahrens umfasst Schritt C) die folgenden Teilschritte. In einem Schritt CI) erfolgt ein Segmentieren des erkannten Objekts in jedem der N Bilder zum Bereitstellen von N Objektsegmenten, wobei ein jeweiliges der N Objektsegmente das Objekt umfasst. In einem Schritt C2) wer den N Transformationsvorschriften ermittelt. Jede der N Trans formationsvorschriften ist einem der N Objektsegmente zugeord net. Die Transformationsvorschrift wird derart ermittelt, dass durch Anwenden der zugeordneten Transformationsvorschrift auf das Objektsegment ein transformiertes Objektsegment erzeugt wird, wobei die Position des Objekts in dem transformierten Objektsegment der vorbestimmten Referenzposition und/oder die Ausrichtung des Objekts in dem transformierten Objektsegment der vorbestimmten Referenzausrichtung entspricht. In einem Schritt C3) werden N transformierte Objektsegmente durch An wenden der zugeordneten Transformationsvorschrift auf das ent sprechende der N Objektsegmente erzeugt und die N syntheti schen Bilder werden mittels den N transformierten Objektseg mente erzeugt.

Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, wel ches auf einer programmgesteuerten Einrichtung die Durchfüh rung des wie oben erläuterten Verfahrens veranlasst.

Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm- Mittel, kann beispielsweise als Speichermedium, wie z.B. Spei cherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk be reitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt o- der dem Computerprogramm-Mittel erfolgen.

Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Fol genden bezüglich der Ausführungsbeispiele beschriebenen Merk male oder Ausführungsformen. Dabei wird der Fachmann auch Ein zelaspekte als Verbesserungen oder Ergänzungen zu der jeweili gen Grundform der Erfindung hinzufügen.

Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden be schriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.

Fig. 1 zeigt eine schematische Ansicht eines Ausführungsbei spiels einer Aufnahmeeinrichtung;

Fig. 2 zeigt drei schematische Ansichten eines Ausführungsbei spiels einer Aufnahmeeinrichtung in unterschiedlichen opti schen Konfigurationen;

Fig. 3 zeigt ein schematisches Blockdiagramm eines Erzeugens eines hochaufgelösten Bildes eines Objekts aus einer Mehrzahl von N Bildern.

Fig. 4 zeigt schematisch ein Ausführungsbeispiel eines Erzeu gens von synthetischen Bildern auf Basis von erfassten Bil dern;

Fig. 5 zeigt schematisch ein weiteres Ausführungsbeispiel ei nes Erzeugens von synthetischen Bildern mittels Objektsegmen- ten; und Fig. 6 zeigt ein schematisches Blockschaltbild eines Ausfüh rungsbeispiels eines Verfahrens zum Erzeugen eines hochaufge lösten Bildes eines bewegten Objekts.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.

Fig. 1 zeigt eine schematische Ansicht eines Ausführungsbei spiels einer Aufnahmeeinrichtung 100. Die Aufnahmeeinrichtung 100 ist vorliegend als ein optisches Mikroskop in Durchlicht konfiguration ausgebildet. Das optische Mikroskop 100 weist hierfür eine Beleuchtungsvorrichtung 110 auf, die Strahlung 111, vorliegend beispielsweise Licht mit einer Wellenlänge von 500 nm, in Richtung des Aufnahmebereichs A abstrahlt. Die Strahlung 111 ist insbesondere kohärent. Eine Erfassungsvor richtung 120 umfasst ein Objektiv 122 und eine Detektionsflä che 124. Das Objektiv 122 bildet das in dem Aufnahmebereich A angeordnete Objekt 10 auf die Detektionsfläche 124 ab. In der Fig. 1 ist gestrichelt ein Verlauf der von einem Punkt auf dem Objekt 10 ausgehenden Lichtstrahlen, die in dem Akzeptanzwin kel 2a (siehe Fig. 2) des Objektivs 122 liegen, dargestellt. Auf der Detektionsfläche 124 entsteht auf diese Weise ein ge mäß der Maßstabszahl des Objektivs 122 vergrößertes Abbild des Aufnahmebereichs A, umfassend ein entsprechend vergrößertes Abbild des Objekts 10.

Die Aufnahmeeinrichtung 100 umfasst ferner eine Erkennungsein heit 102, eine Erzeugungseinheit 104 und eine Auswerteeinheit 108. Die Erkennungseinheit 102 nimmt von der Erfassungsvor richtung 120 die erfassten Bilder entgegen und erkennt in die sen das Objekt 10 und ermittelt die Position sowie die Aus richtung des Objekts 10. Die Erzeugungseinheit 104 erzeugt auf Basis der Bilder und der von der Erkennungseinheit 102 erkann ten Objekte 10 synthetische Bilder. Die synthetischen Bilder bilden eine Bilderserie, die von der Auswerteeinheit 108 mit- tels Fourier-ptychografischer Methoden ausgewertet werden.

Dies ist nachfolgend anhand der Fig. 2 - 4 näher erläutert.

Fig. 2 zeigt drei übereinander angeordnete schematische An sichten eines Ausführungsbeispiels einer Aufnahmeeinrichtung 100, die drei unterschiedlichen optischen Konfigurationen OC_l, OC_2, OC_N der Aufnahmeeinrichtung 100 darstellen. Aus Gründen der Übersichtlichkeit sind nur einige der Elemente der Aufnahmeeinrichtung 100 dargestellt, diese umfasst aber zumin dest die in der Fig. 1 bereits gezeigten Elemente.

Die Aufnahmeeinrichtung 100 umfasst eine als LED-Array ausge bildete Beleuchtungsvorrichtung 110, die hier ohne Beschrän kung der Allgemeinheit neun Beleuchtungseinheiten 112, die als LEDs ausgebildet sind, aufweist. Für eine verbesserte Über sicht ist nur eine der LEDs 112 mit einem Bezugszeichen ge kennzeichnet. Die Beleuchtungsvorrichtung 110 ist beispiels weise in einem Abstand von 5 - 50 cm, bevorzugt 5 - 20 cm, von dem Aufnahmebereich A entfernt angeordnet. Der Aufnahmebereich A ist hier als eine Öffnung in einem Probentisch dargestellt. In dem Aufnahmebereich A ist die Probe 10 angeordnet.

Oberhalb des Aufnahmebereichs A ist die Erfassungsvorrichtung 120 angeordnet. Die Erfassungsvorrichtung 120 umfasst ein Ob jektiv 122 (siehe Fig. 1), welches durch seinen Akzeptanzwin kel 2a gekennzeichnet ist. Das Licht, das von dem Aufnahmebe reich A ausgehend in den durch den Akzeptanzwinkel 2a bestimm ten Raumwinkel abgestrahlt wird, wird von dem Objektiv 122 er fasst und auf die Detektionsfläche 124 (siehe Fig. 1) abgebil det. Je größer der Akzeptanzwinkel 2a des Objektivs 122, umso größer ist die numerische Apertur des Objektivs 122, und damit auch dessen Auflösungsvermögen. Allerdings sinkt mit steigen der numerischer Apertur sowohl ein Tiefenschärfebereich als auch ein Gesichtsfeld (und damit der erfassbare Aufnahmebe reich A) als auch beispielsweise ein Arbeitsabstand zwischen dem Objektiv 122 und Aufnahmebereich A. Vorliegend weist die Aufnahmeeinrichtung beispielsweise ein Objektiv mit einer Maß- stabszahl von 5x und einer numerischen Apertur von 0,15 auf, wobei der Akzeptanzwinkel 2a beispielsweise etwa 17° beträgt.

Mit gestrichelten Linien ist ein Streuwinkel cp dargestellt.

Der Winkel cp deutet den Raumwinkel an, in den bei der jeweili gen optischen Konfiguration OC_l, OC_2, OC_N Licht von dem im Aufnahmebereich A angeordneten Objekt 10 gestreut, gebeugt, reflektiert oder gebrochen wird, sofern das Objekt 10 eine entsprechende Beschaffenheit aufweist. Alles Licht, das von dem Objekt 10 in den Raumwinkel cp "abgestrahlt" wird, trägt eine Information über das Objekt 10, weshalb es vorteilhaft ist, dieses Licht ebenfalls zu erfassen, was allerdings mit einem einzelnen Bild mit dem verwendeten Objektiv 122 nicht möglich ist. Durch Aufnahme mehrere Bilder in den unterschied lichen optischen Konfigurationen OC_l, OC_2, OC_N und eine computergestützte Bildverarbeitung kann dies dennoch erreicht werden.

Wie in der Fig. 2 dargestellt, unterscheiden sich unterschied liche optische Konfigurationen OC_l, OC_2, OC_N in diesem Aus führungsbeispiel dadurch, dass jeweils eine andere LED 112 zum Beleuchten des Aufnahmebereichs A angesteuert wird. Da die LEDs 112 jeweils eine andere Winkelposition in Bezug auf den Aufnahmebereich A aufweisen, ergeben sich Unterschiede in der Beleuchtung. Insbesondere hat die Beleuchtung aus unterschied lichen Winkelpositionen den Effekt, dass sich eine relative Lage zwischen dem Akzeptanzwinkel 2a und dem Streuwinkel cp verändert. So erfolgt bei der dritten dargestellten optischen Konfiguration OC_N die Beleuchtung aus einer Winkelposition heraus, so dass das Licht, das in einen sehr hohen Raumwinkel bereich gestreut wird, in den Akzeptanzwinkel 2a des Objektivs 122 fällt. Man kann auch sagen, dass der Winkel cp durch die unterschiedlichen optischen Konfigurationen OC_l, OC_2, OC_N abgerastert wird.

Auf diese Weise enthält ein Satz von N erfassten Bildern B_1 - B_N (siehe Fig. 3) daher zumindest die gleiche Informations- menge bezüglich des Objekts 10, wie ein mit einem Objektiv 122 mit großer numerischer Apertur erfasstes Einzelbild. Gegenüber einem solcherart erfassten Einzelbild ist jedoch das Gesichts feld und die Tiefenschärfe in den Bildern B_1 - B_N signifi kant vergrößert. Durch die nachfolgende Fourier- ptychografische Auswertung der N erfassten Bilder B_1 - B_N lässt sich ein hochaufgelöstes Bild des Objekts 10 erzeugen. Dies ist nachfolgend anhand der Fig. 3 näher erläutert.

Es sei angemerkt, dass in der Fig. 2 beispielhaft lediglich eine Reihe von nebeneinander angeordneten LEDs 112 dargestellt ist, die sich auch nur von der Mitte ausgehend in eine Rich tung erstrecken. In tatsächlichen Ausführungen der Aufnahme einrichtung 100 kann das LED-Array 110 eine dreidimensionale Anordnung von LEDs 112 umfassen, welche im Extremfall den ge samten Halbraum unterhalb des Aufnahmebereichs A abdecken. Insbesondere umfasst ein solches LED-Array 110 mehrere hun dert, beispielsweise 200, 300 oder auch bis zu 400 LEDs 112, womit die Aufnahmeeinrichtung 100 auch entsprechend viele op tischen Konfigurationen OC_l - OC_N aufweisen kann. Es kann auch vorgesehen sein, in einer der optischen Konfiguration OC_l - OC_N mehrere der LEDs 112 des LED-Arrays 110 angesteu ert werden, vorzugsweise gemäß einem vorbestimmten Muster.

Eine Dauer eines Aufnehmens einer kompletten Bilderserie hängt insbesondere von der Anzahl der optischen Konfigurationen OC_l - OC_N sowie den Belichtungsparametern, die dabei verwendet werden, ab. Bei gleicher Belichtung in jeder der N optischen Konfigurationen OC_l - OC_N, beispielsweise 10 ms, wobei eine jeweilige der LEDs 112 für 20 ms angesteuert wird, mit bei spielsweise N = 200 LEDs insgesamt, ergibt sich eine Dauer von vier Sekunden. Mit einem Objektiv mit Maßstabszahl 5x, numeri scher Apertur 0,15 und einem Arbeitsabstand von 14 mm ergibt sich ein Gesichtsfeld von etwa 4,2 mm Durchmesser. Hieraus lässt sich eine maximale Bewegungsgeschwindigkeit des sich be wegenden Objekts ableiten, bei der eine komplette Bilderserie erfassbar ist, vorliegend beispielsweise etwa 1 mm/s. Fig. 3 zeigt ein schematisches Blockdiagramm eines Erzeugens eines hochaufgelösten Bildes B_HQ eines Objekts 10 aus einer Mehrzahl von N Bildern B_1 - B_N, die mit jeweils einer unter schiedlichen optischen Konfiguration OC_l - OC_N (siehe Fig.

2) einer Aufnahmeeinrichtung 100 (siehe Fig. 1 oder Fig. 2) erfasst wurden. Die N Bilder B_1 - B_N, von denen in Fig.3 nur drei dargestellt sind, bilden eine Bilderserie, die sich mit tels Fourier-ptychografischen Methoden auswerten lässt. Jedes der N Bilder B_l, B_2, B_N enthält das Objekt 10 mit einer re lativ geringen Auflösung, weshalb das Objekt 10 schematisch als ein Quadrat dargestellt ist. Um die Erklärung der Fig. 3 einfach zu halten, wird hier davon ausgegangen, dass sich das Objekt 10 nicht bewegt.

Zunächst wird aus jedem der N Bilder B_l, B_2, B_N mittels Fourier-Transformation FT eine zugehörige Fourier- Transformierte F_l, F_2, F_N berechnet. Da die N Bilder B_l, B_2, B_N mit unterschiedlichen optischen Konfigurationen OC_l, OC_2, OC_N erfasst wurden, enthalten die Bilder bezogen auf den Fourier-Raum unterschiedliche Bereiche des Fourier- Spektrums des Aufnahmebereichs A mit dem Objekt 10. Daher ent halten die Fourier-Transformierten F_l, F_2, F_N in der Dar stellung der Fig. 3 jeweils nur einen kleinen Bereich mit In formation .

Die N Fourier-Transformierten F_l, F_2, F_N lassen sich zu ei nem großen Fourier-Spektrum F_HQ zusammensetzen, welches bei spielsweise das gesamte Fourier-Spektrum des Aufnahmebereichs A und des Objekts 10 enthält.

Durch eine inverse Fourier-Transformation FTA ¹ lässt sich aus dem großen Fourier-Spektrum F_HQ das hochaufgelöste Bild B_HQ des Objekts 10 berechnen. In dem hochaufgelösten Bild B_HQ weist das Objekt 10 eine hohe Detaildichte im Vergleich zu den Bildern B l, B 2, B N auf. Fig. 4 zeigt schematisch ein Ausführungsbeispiel eines Erzeu gens von N synthetischen Bildern SB_1 - SB_N auf Basis von N erfassten Bildern B_1 - B_N. Die N erfassten Bilder B_1 - B_N werden beispielsweise mit der Aufnahmeeinrichtung 100 der Fig. 1 oder Fig. 2 erfasst. Es sind drei Bilder B_l, B_2, B_N dar gestellt. Die drei Bilder B_l, B_2, B_N wurden insbesondere mit unterschiedlichen optischen Konfigurationen OC_l, OC_2, OC_N, wie anhand der Fig. 2 oder der Fig. 3 erklärt, erfasst.

In diesem Beispiel bewegt sich ein Objekt 10 durch den Aufnah mebereich A (siehe Fig. 1 oder Fig. 2). Beispielsweise handelt es sich um ein rotes Blutkörperchen, das in einer Suspension durch eine Flusszelle geleitet wird, die den Aufnahmebereich A bildet. Das Blutkörperchen 10 ist schematisch als ein Kreis dargestellt. Es weist eine Ausrichtung auf, die mit dem Pfeil in dem Kreis dargestellt ist. Das Blutkörperchen bewegt sich mit einer Geschwindigkeit v durch die Flusszelle und es be sitzt einen Drehimpuls m, weshalb es sich zudem um eine Achse dreht. Die Drehachse ist in diesem Beispiel orthogonal zur Zeichenebene. In dem ersten Bild B_l, das zu einem ersten Zeitpunkt tl erfasst wurde, weist das Blutkörperchen 10 eine Position und Ausrichtung auf, die hier mit den drei Koordina ten (xl, yl, yΐ) angegeben ist. Diese Position und Ausrichtung werden vorliegend als die Referenzposition und Referenzaus richtung bestimmt.

Die weiteren Bilder der Bilderserie werden zu jeweils späteren Zeitpunkten als dem Zeitpunkt tl erfasst, weshalb sich das Blutkörperchen 10 in diesen an anderen Positionen befindet. In dem Bild B_2 zum Zeitpunkt t2 hat sich das Blutkörperchen 10 ein kleines Stück weiterbewegt und ein bisschen gedreht, es weist jetzt die Koordinaten (x2, y2, y2) auf. In dem N-ten Bild B_N, welches zu einem Zeitpunkt tN erfasst wurde und das letzte Bild der Serie darstellt, hat sich das Blutkörperchen 10 fast durch die gesamte Flusszelle bzw. den gesamten Aufnah mebereich A bewegt und weiter gedreht, es weist nun die Koor dinaten (xN, yN, yN) auf. Auf Basis der N erfassten Bilder B_1 - B_N werden nun N syn thetische Bilder SB_1 - SB_N erzeugt. In jedem der N syntheti schen Bilder SB_1 - SB_N weist das Blutkörperchen 10 die Refe renzposition und Referenzausrichtung auf, wie anhand der Koor dinaten ersichtlich ist. Außer dieser "Verschiebung" des Ob jekts 10 auf die entsprechenden Koordinaten kann bei dem Er zeugen des jeweiligen synthetischen Bildes SB_1 - SB_N insbe sondere auch eine Korrekturinformation BKG_1 - BKG_N berück sichtigt werden. Die Korrekturinformation BKG_1 - BKG_N um fasst beispielsweise eine Hintergrundinformation für eine je weilige optische Konfiguration OC_l - OC_N. Dies kann zur Ver besserung eines Signal-Rausch-Verhältnisses sowie zu einem ge steigerten Kontrast in den synthetischen Bildern SB_1 - SB_N beitragen .

Die so erzeugten N synthetischen Bilder SB_1 - SB_N bilden ei ne Bilderserie, bei der das Objekt 10 als statisch gesehen wird, weshalb diese sich zur Auswertung mittels Fourier- ptychografischen Methoden, wie beispielsweise anhand der Fig.

3 beschrieben, eignet.

Fig. 5 zeigt schematisch ein weiteres Ausführungsbeispiel ei nes Erzeugens von N synthetischen Bildern SB_1 - SB_N. Hierbei wird zunächst aus jedem der N erfassten Bilder Bl - B_N ein Objektsegment SEG_1 - SEG_N ausgeschnitten, welches mittels einer entsprechenden ermittelten Transformationsvorschrift TRANS_1 - TRANS_N transformiert wird. Mit den transformierten Objektsegmenten werden dann die entsprechenden synthetischen Bilder SB_1 - SB_N erzeugt.

Es sind drei Bilder B_l, B_2, B_N gezeigt. Jedes der Bilder B_l, B_2, B_N enthält das Objekt 10, wobei hiermit gemeint ist, dass jedes der Bilder eine Abbildung des Objekts 10 ent hält. Die Erkennungseinheit 102 (siehe Fig. 1) erkennt das Ob jekt 10 in jedem der Bilder B_1 - B_N. Bezüglich dem N-ten Bild B_N ist ein Spezialfall dargestellt, bei welchem die Ab- bildung des Objekts 10 in dem Bild verzerrt ist, beispielswei se durch einen Abbildungsfehler des Objektivs 122. Die Erken nungseinheit 102 ist hierbei dazu eingerichtet, das Objekt 10 dennoch zu erkennen.

Eine Segmentierungseinheit, die beispielsweise ein Bestandteil der Erkennungseinheit 102 oder auch der Erzeugungseinheit 104 ist, ist dazu eingerichtet, aus jedem der N Bilder B_1 - B_N ein Objektsegment SEG_1 - SEG_N zu segmentieren. Hierunter wird insbesondere verstanden, dass die Segmentierungseinheit diejenigen Bildpunkte eines Bildes, die eine Intensitätsinfor mation des Objekts 10 enthalten, auszuschneiden. Ein jeweili ges Objektsegment SEG_1 - SEG_N stellt damit selbst ein Bild mit Bildpunkten dar. Die Linie, an der die Segmentierungsein heit das Objektsegment SEG_1 - SEG_N ausschneidet, kann eine vorbestimmte geometrische Form sein oder kann eine Freiformli nie sein, die beispielsweise in Abhängigkeit von Schwellwerten einer Intensitäts- oder Kontrastfunktion für jedes der N Bil der B_1 - B_N individuell ermittelt wird. Dies wird bei einem Vergleich der Objektsegmente SEG_1, SEG_2, SEG_N deutlich, da das N-te Objektsegment SEG_N eine elliptische Form aufweist, die beiden anderen aber jeweils eine runde Form. Es ist eben falls zu erkennen, dass in diesem Beispiel das Objekt 10 mit einem gewissen "Rand" aus dem jeweiligen der N Bilder B_1 - B_N ausgeschnitten wird. Auf diese Weise kann ein Abschneiden von Bildpunkten mit verwertbaren Informationen des Objekts 10 vermieden werden.

Für jedes der Objektsegmente SEG_1 - SEG_N wird durch eine Er mittlungseinheit, die beispielsweise ein Bestandteil der Er zeugungseinheit 104 ist, eine Transformationsvorschrift TRANS_1 -TRANS_N ermittelt. Die jeweilige Transformationsvor schrift TRANS_1 - TRANS_N wird in Abhängigkeit des jeweiligen Objektsegments SEG_1 - SEG_N sowie der vorbestimmten Referenz position und/oder Referenzausrichtung ermittelt. Die Transfor mationsvorschrift TRANS_1 - TRANS_N wird so bestimmt, dass durch Anwenden dieser auf das entsprechende Objektsegment SEG_1 - SEG_N ein transformiertes Objektsegment erzeugt wird, in welchem die Position und/oder die Ausrichtung des darin enthaltenen Objekts 10 der Referenzposition und/oder Ausrich tung entspricht.

Durch Einsetzen der transformierten Objektsegmente in ein künstlich erzeugtes Bild oder Frame werden so die N syntheti schen Bilder SB_1 - SB_N erzeugt, die wie vorhergehend be schrieben ausgewertet werden können.

Fig. 6 zeigt ein schematisches Blockschaltbild eines Ausfüh rungsbeispiels eines Verfahrens zum Erzeugen eines hochaufge lösten Bildes B_HQ (siehe Fig. 3) eines bewegten Objekts 10 (siehe Fig. 1 - 5). Das Verfahren ist vorzugsweise mit der Aufnahmeeinrichtung 100 einer der Fig. 1 oder Fig. 2 durch führbar .

In einem ersten Schritt S1 wird eine Bilderserie umfassend die N Bilder B_1 - B_N (siehe Fig. 3 - 5) derart aufgenommen, dass jedes der N Bilder B_1 - B_N mit einer jeweiligen optischen Konfiguration OC_l - OC_N (siehe Fig. 2) aus einer Mehrzahl von N optischen Konfigurationen OC_l - OC_N der Aufnahmeein richtung 100 erfasst wird. In einem zweiten Schritt S2 wird Objekt 10 in jedem der N Bilder B_1 - B_N erkannt und eine Po sition und/oder eine Ausrichtung des erkannten Objekts 10 in jedem der N Bilder B_1 - B_N ermittelt. In einem dritten Schritt S3 werden N synthetische Bilder SB_1 - SB_N (siehe Fig. 4 oder Fig. 5) auf Basis der erfassten N Bilder B_1 - B_N erzeugt. Die Position des Objekts 10 ist in jedem der erzeug ten N synthetischen Bilder SB_1 - SB_N gleich einer vorbe stimmten Referenzposition und/oder die Ausrichtung des Objekts 10 ist in jedem der erzeugten N synthetischen Bilder SB_1 - SB_N gleich einer vorbestimmten Referenzausrichtung. In einem vierten Schritt S4 wird das hochaufgelöste Bilde B_HQ des Ob jekts 10 auf Basis der N synthetischen Bilder SB_1 - SB_N er zeugt. Obwohl die vorliegende Erfindung anhand von Ausführungsbei spielen beschrieben wurde, ist sie vielfältig modifizierbar. Insbesondere wurde ein optischer Aufbau der Aufnahmeeinrich tung 100 vorliegend nur schematisch und stark vereinfacht be- schrieben. Die Aufnahmeeinrichtung 100 kann darüber hinaus je doch alle möglichen bekannten Varianten aufweisen, wie ver schiedene Linsen oder Linsensysteme, Spiegel oder Spiegelsys teme, Filter, Blenden und dergleichen mehr. Weiterhin kann insbesondere das Verfahren mit einer Aufnahmevorrichtung ver- wendet werden, die eine Auflicht-Geometrie aufweist, wo der Aufnahmebereich also aus dem gleichen Halbraum beleuchtet wird, in dem auch das Objektiv angeordnet ist. Damit lassen sich insbesondere auch lichtundurchlässige oder stark absor bierende Objekte erfassen.

Bezugszeichenliste

10 Objekt

100 Aufnahmeeinrichtung

102 Erkennungseinheit

104 Erzeugungseinheit

108 Auswerteeinheit

110 Beleuchtungsvorrichtung

111 Strahlung

112 Beleuchtungseinheit

114 Kollimationseinheit

120 Erfassungsvorrichtung

122 Objektiv

124 Detektionsfläche

2a Akzeptanzwinkel

F Winkel

Y1 Drehwinkel

Y2 Drehwinkel

YN Drehwinkel

A Aufnahmebereich

BKG_1 Korrekturinformation

BKG_2 Korrekturinformation

BKG_N Korrekturinformation

B_1 Bild

B_2 Bild

B_HQ hochaufgelöstes Bild

B_N Bild

B_REF Referenzbild

F_1 Fourier-Transformierte

F_2 Fourier-Transformierte

F_HQ großes Fourier-Spektrum

F_N Fourier-Transformierte

FT Fourier-Transformation

FT ^-1 inverse Fourier-Transformation

OC_l optische Konfiguration

OC_2 optische Konfiguration OC_N optische Konfiguration tl Zeitpunkt t2 Zeitpunkt tN Zeitpunkt

TRANS_1 Transformationsvorschrift TRANS_2 Transformationsvorschrift TRANS_N Transformationsvorschrift

51 Verfahrensschritt

52 Verfahrensschritt

53 Verfahrensschritt

54 Verfahrensschritt

SB_1 synthetisches Bild

SB_2 synthetisches Bild

SB_N synthetisches Bild

SEG_1 Objektsegment

SEG_2 Objektsegment

SEG_N Objektsegment xl Koordinate yl Koordinate x2 Koordinate y2 Koordinate xN Koordinate yN Koordinate