Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
IMAGE ACQUISITION DEVICE AND METHOD FOR ACQUIRING AN IMAGE SEQUENCE
Document Type and Number:
WIPO Patent Application WO/2014/056991
Kind Code:
A1
Abstract:
2.1. The invention relates to image acquisition devices such as microscopes comprising a control unit, a modulation light source and an optoelectronic converter having a rolling electronic shutter (rolling shutter). Due to the time-shifted readout of the pixel matrix lines the exposure time of the sample has to be prolonged and movements result in artifacts in the image. The aim of the invention is to provide an image acquisition device which reduces the strain on the sample and avoids artifacts. 2.2. For this purpose, a converter with an input for a signal (17) for triggering a simultaneous electric integration in all detection elements is used in a first line of the matrix, the converter independently carrying out a parallel electric integration in the other lines of the matrix, and the control unit is designed to determine an exposure time, a number of lines of the matrix and a readout time of the converter for a single line, to determine, based on the readout time, a line integration time that is longer than the exposure time, to determine, based on the line number and the line readout time, an exposure delay time, to set the input of the converter at least for the line integration time and, after a time period that corresponds at least to the exposure delay time, to control the light source to emit light in a pulsed or continuous manner for the exposure time. 2.3. Light-section microscopy

Inventors:
BECK MARTIN (DE)
Application Number:
PCT/EP2013/071074
Publication Date:
April 17, 2014
Filing Date:
October 09, 2013
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZEISS CARL MICROSCOPY GMBH (DE)
International Classes:
G02B21/00; G02B21/36; H04N5/335
Domestic Patent References:
WO2011150574A12011-12-08
Foreign References:
EP1263215A22002-12-04
DE102009044983A12011-03-31
US20060033987A12006-02-16
US5671085A1997-09-23
US20090095986A12009-04-16
US20010035542A12001-11-01
US20060157758A12006-07-20
Attorney, Agent or Firm:
LORITZ, Rainer (DE)
Download PDF:
Claims:
Patentansprüche

1. Bildaufnahmevorrichtung (1 ), insbesondere Mikroskop, mit einem

Beleuchtungsstrahlengang (B), der eine modulierbare Lichtquelle (2) umfasst, einem Detektionsstrahlengang (A), der einen optoelektronischen Wandler (14) mit einer mindestens zweidimensionalen Matrix von Detektionselementen umfasst, und einer Steuereinheit (15), die mit der Lichtquelle (2) und dem Wandler (14) verbunden ist, dadurch gekennzeichnet, dass der Wandler (14) einen Eingang für ein Signal (17) zum Auslösen und zum Beenden einer simultanen elektrischen Integration in allen Detektionselementen einer ersten Zeile der Matrix umfasst, wobei der Wandler (14) selbständig in den anderen Zeilen der Matrix mit einem jeweiligen Zeitversatz eine parallele elektrische Integration in der betreffenden Zeile durchführt, umfasst und dass die Steuereinheit (15) dazu eingerichtet ist,

- eine Belichtungsdauer, eine Anzahl von Zeilen der Matrix und eine

Auslesedauer des Wandlers für eine einzelne Zeile, insbesondere auch eine von der Zeilenanzahl unabhängige konstante Zusatzauslesedauer, zu ermitteln,

- anhand der Belichtungsdauer, der Zeilenanzahl und der Zeilenauslesedauer eine Zeilenintegrationsdauer zu ermitteln, die länger als die Belichtungsdauer ist,

- anhand der Zeilenanzahl und der Zeilenauslesedauer, insbesondere auch der Zusatzauslesedauer, eine Belichtungsverzögerungsdauer zu ermitteln,

- den Eingang des Wandlers (14) mindestens für die Zeilenintegrationsdauer zu setzen und

- nach einem mindestens der Belichtungsverzögerungsdauer entsprechenden Zeitraum die Lichtquelle (2) zur gepulsten oder kontinuierlichen Emission mindestens einer Wellenlänge für die Belichtungsdauer zu steuern.

2. Bildaufnahmevorrichtung (1) nach dem vorhergehenden Anspruch, wobei die Steuereinheit (15) dazu eingerichtet ist, die Belichtungsverzögerungsdauer als Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer zu ermitteln, insbesondere zuzüglich der Zusatzauslesedauer.

3. Bildaufnahmevorrichtung (1 ) nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (15) dazu eingerichtet ist, die Zeilenintegrationsdauer als Summe aus der Belichtungsdauer und dem Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer zu ermitteln, insbesondere zuzüglich der Zusatzauslesedauer.

4. Bildaufnahmevorrichtung (1 ) nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (15) dazu eingerichtet ist, die Belichtungsverzögerungsdauer anhand einer Ansprechzeit der Lichtquelle (2) zu verkürzen,

5. Bildaufnahmevorrichtung (1 ) nach einem der vorhergehenden Ansprüche, die ein Bedienelement (21) zur Auswahl eines von mehreren von der Steuereinheit (15) bereitgestellten Betriebsmodi bereitstellt, wobei der Wandler (14) und die

Lichtquelle (2) in dem ersten Betriebsmodus gemäß einem der Ansprüche 1 bis 4 gesteuert werden und in dem zweiten Betriebsmodus die ermittelte

Belichtungsdauer vor dem Steuern der Lichtquelle zur Emission um die

Bellchtungsverzögerung vergrößert wird und die Belichtungsverzögerung vor dem Steuern der Lichtquelle zur Emission auf Null gesetzt wird.

6. Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (15) dazu eingerichtet ist, eine (vorgegebene - insbesondere vom Benutzer) Bildfrequenz zu ermitteln, anhand der Bildfrequenz, insbesondere auch anhand der Zeilenauslesedauer und/oder der Zeilenintegrationszeit und/oder der Belichtungsverzögerungszeit, eine Pausendauer zu ermitteln und nach dem Zurücksetzen des Eingangs die Pausendauer abzuwarten und erneut den Eingang des Wandlers (14) zu setzen.

7. Bildaufnahmevorrichtung (1) nach dem vorhergehenden Anspruch, wobei die Steuereinheit (15) die Pausendauer anhand einer vorgegebenen Periodendauer eines periodischen Vorgangs so ermittelt, dass die Pausendauer zuzüglich der ersten Integrationsdauer einem ganzzahligen Vielfachen der Periodendauer entspricht.

8. Mikroskop (1) nach einem der vorhergehenden Ansprüche, wobei der

Beleuchtungsstrahlengang (B) und der Detektionsstrahlengang (A) einander in einer Fokusebene des Detektionsstrahlengangs (A) kreuzen und der

Beleuchtungsstrahlengang (B) einen Strahlformer (4) zur Erzeugung zumindest eines Segments eines Lichtblatts, insbesondere durch Fokussierung auf eine Brennlinie, wobei die Brennlinie in der Fokusebene des

Detektionsstrahlengangs (A) liegt, aufweist.

9. Mikroskop (1 ) nach dem vorhergehenden Anspruch, wobei der

Beleuchtungsstrahlengang (B) eine variabel einstellbare Ablenkeinheit (11 ) zur Verschiebung des Lichtblatts, insbesondere innerhalb der Fokusebene des Detektionsstrahlengangs (A).

10. Mikroskop (1) nach dem vorhergehenden Anspruch, wobei die Steuereinheit (15) dazu eingerichtet ist, die Ablenkeinheit (11 ) zur periodischen Verschiebung des Lichtblatts mit einer vorgegebenen Periodendauer zu steuern, wobei die

Belichtungsdauer einem ganzzahligen Vielfachen der Periodendauer entspricht, insbesondere mit Ausbildung der Steuereinheit (15) zum Modulieren einer Intensität der Emission der Lichtquelle während der jeweiligen Belichtungsdauer.

11. Mikroskop (1 ) nach einem der Ansprüche 1 bis 8, wobei im

Beleuchtungsstrahlengang (B) Mittel (22) zum Erzeugen einer strukturierten Beleuchtung (in der Probe) und Mittel (23) zum räumlichen Manipulieren der Beleuchtungsstruktur angeordnet sind.

12. Verfahren zum Aufnehmen einer Bildersequenz von einer Probe (8) mittels

mindestens eines Beleuchtungsstrahlengangs (B), der eine modulierbare

Lichtquelle (2) umfasst, und eines Detektionsstrahlengangs (A), der einen optoelektronischen Wandler (14) mit einer mindestens zweidimensionalen Matrix von Detektionselementen umfasst, wobei:

- eine Belichtungsdauer, eine Anzahl von Zeilen der Matrix und eine

Auslesedauer des Wandlers (14) für eine einzelne Zeile, insbesondere auch eine von der Zeilenanzahl unabhängige konstante Zusatzauslesedauer, ermittelt wird,

- anhand der Belichtungsdauer, der Zeilenanzahl und der Zeilenauslesedauer eine Zeilenintegrationsdauer ermittelt wird,

- anhand der Zeilenanzahl und der Zeilenauslesedauer, insbesondere auch der Zusatzauslesedauer, eine Belichtungsverzögerungsdauer ermittelt wird,

- der Eingang des Wandlers (14) für die Zeilenintegrationsdauer gesetzt wird und - nach einem der Belichtungsverzögerungsdauer entsprechenden Zeitraum die Lichtquelle (2) zur gepulsten oder kontinuierlichen Emission mindestens einer

Wellenlänge für die Belichtungsdauer gesteuert wird.

13. Verfahren nach dem vorhergehenden Anspruch, wobei die

Belichtungsverzögerungsdauer als Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer ermittelt wird, insbesondere zuzüglich der

Zusatzauslesedauer, insbesondere abzüglich einer Ansprechzeit der Lichtquelle, und die Zeilenintegrationsdauer als Summe aus der Belichtungsdauer und dem Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer ermittelt wird, insbesondere zuzüglich der Zusatzauslesedauer.

14. Computerprogramm oder Steuereinheit (15), eingerichtet zur Durchführung eines Verfahrens nach einem der Verfahrensansprüche.

Description:
Bildaufnahmevorrichtung und Verfahren zur Aufnahme einer Bildersequenz

Die Erfindung betrifft eine Bildaufnahmevorrichtung, insbesondere ein Mikroskop, mit mindestens einem Beleuchtungsstrahlengang (zur Beleuchtung einer Probe), der eine modulierbare Lichtquelle umfasst, einem Detektionsstrahlengang (zur Aufnahme eines Bildes der Probe), der einen optoelektronischen Wandler mit einer mindestens zweidimensionalen Matrix von Detektionselementen („Pixel") umfasst, und einer Steuereinheit, die mit der Lichtquelle und dem Wandler verbunden ist, sowie ein Verfahren zum Aufnehmen einer Bildersequenz von einer Probe mittels mindestens eines Beleuchtungsstrahlengangs (zur Beleuchtung der Probe), der eine

modulierbare Lichtquelle umfasst, und eines Detektionsstrahlengangs (zur Aufnahme eines Bildes der Probe), der einen optoelektronischen Wandler mit einer mindestens zweidimensionalen Matrix von Detektionselementen umfasst.

Im Sinne der Erfindung umfasst der Begriff Licht jede mit optischen Mitteln

manipuiierbare elektromagnetische Strahlung, also insbesondere ultraviolette, sichtbare und infrarote Strahlung. Probenlicht ist im Sinne der Erfindung Licht, das durch Fluoreszenz von der Probe emittiert wird, angeregt durch die beleuchtenden Lichtpulse. Es kann auch Anteile enthalten, die durch Reflexion und/oder Streuung von Beleuchtungslicht an der Probe entstehen. Eine modulierbare Lichtquelle kann direkt modulierbar sein - wie eine Leuchtdiode (LED) oder eine Laserdiode - oder sie kann indirekt modulierbar sein, indem sie einen zusätzlichen Modulator umfasst, beispielsweise ein einstellbares akustooptisches Filter (engl,„tunable acousto-optical filter"; AOTF). Ein optoelektronischer Wandler integriert nach Auslösung einer Bildaufnahme in jedem seiner Detektionselemente eine elektrische Größe wie Ladung oder Spannung.

Im Stand der Technik ist als Bildaufnahmevorrichtung beispielsweise ein

Lichtscheiben-M ikroskop (engl,„light sheet microscope") zur

Einzelebenenbeleuchtung (engl,„single-plane Illumination"; SPI) aus

US 2006/033987 A1 bekannt. Darin wird als Wandler eine zweidimensional ortsauflösende Kamera mit CCD-Sensor (CCD für„charge-coupled device") eingesetzt. Die Beleuchtung mit einer Lichtscheibe (auch als Lichtblatt bezeichnet) hat den Vorteil, dass die Probe nur zu einem kleinen Teil beleuchtet und damit nur geringfügig belastet wird. Die SPI-Mikroskopie (SPIM) wird daher vorzugsweise für lebende Proben verwendet.

Daneben ist aus US 5,871 ,085 als Bildaufnahmevorrichtung beispielsweise ein hochauflösendes Mikroskop mit strukturierter Beleuchtung (engl,„structured

Illumination") bekannt, das entsprechende Bildaufnahmeverfahren wird als SIM bezeichnet. Eine noch höhere Auflösung kann durch ein SPEM-Verfahren (SPEM für „saturated pattern excitation microscopy") erzielt werden.

Zweidimensionale optoelektronische Wandler sind im Stand der Technik

beispielsweise mit einem elektronischen globalen Verschluss (engl,„global shutter" oder "frame shutter") aus US 2009/095986 A1 , wiederum in Form eines CCD- Sensors, oder aus US 2001/035542 A1 in Form eines CMOS-Sensors (CMOS für „complementary metal-oxide semiconductor") bekannt. Daneben sind Wandler mit einem sogenannten elektronischen rollenden Verschluss (engl,„rolling shutter") bekannt, beispielweise aus US 2006/157758 A1. Wandler mit rollendem Verschluss haben den Nachteil, dass das Auslesen ihrer Zeilen zeitversetzt erfolgt, so dass Bewegungen im Bild zu Artefakten führen. Beispielsweise werden dadurch gerade, senkrecht zu den Matrixzeilen verlaufende Kanten bei einer linearen Bewegung der Probe längs der Matrixzeilen schräg (engl,„skew") aufgenommen. Zudem muss die Probe zur Bildaufnahme während der Integration in allen Zeilen beleuchtet werden, was aufgrund des Zeitversatzes zwischen den Zeilen länger dauert als eine vom Benutzer vorgegebene Belichtungsdauer.

Der Erfindung liegt die Aufgabe zugrunde, eine Bildaufnahmevorrichtung der eingangs genannten Art und ein Verfahren zur Aufnahme einer Bildersequenz zu verbessern, so dass eine geringere Probenbelastung ermöglicht wird.

Die Aufgabe wird gelöst durch eine Bildaufnahmevorrichtung, welche die in

Anspruch 1 angegebenen Merkmale aufweist, und durch ein Verfahren, welches die in Anspruch 13 angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben. Erfindungsgemäß ist zum einen vorgesehen, dass ein an sich bekannter (zeitfensterbasierter) Wandler, wie beispielsweise in US 2006/157758 A1

beschrieben, eingesetzt wird, der (zur Bereitstellung eines rollenden elektronischen Verschlusses) einen Eingang für ein Signal zum Auslösen und zum Beenden einer simultanen elektrischen Integration in allen Detektionselementen einer ersten (nicht zwingend äußersten) Zeile der Matrix umfasst, wobei der Wandler (14) selbständig in den anderen Zeilen der Matrix mit einem jeweiligen Zeitversatz (welcher einer Summe der Zeilenauslesedauern aller zuvor - seit dem Setzen des Auslösesignals - ausgelesenen Zeilen entspricht) eine parallele elektrische Integration in der betreffenden Zeile durchführt. Derartige Wandler sind auf bekannte Weise dazu ausgebildet, als Reaktion auf das auslösende Signal, beispielsweise in Form einer steigenden Flanke eines TTL-Pulses, selbständig und unabhängig (insbesondere von einem wandlerexternen Takt) folgende Schritte zeitlich versetzt für alle

Matrixzeilen auszuführen:

- Zurücksetzen der Detektionselemente der betreffenden Zeile vor Beginn der Integration,

- Aufrechterhaltung der Integration über eine Dauer des Auslösesignals und

- Auslesen eines jeweiligen elektrischen Signals aus betreffenden

Detektionselementen nach Ende der Integration und Digitalisieren der ausgelesenen elektrischen Signale, was eine Zeilenauslesedauer in Anspruch nimmt.

Typischerweise geben die beschriebenen Wandler den Status des gesamten Zeiienintegrations- und Auslesevorgangs (dauert an/beendet) über eine Schnittstelle aus.

Es ist zum anderen vorgesehen, dass die Steuereinheit dazu eingerichtet ist,

- eine (vorgegebene - insbesondere vom Benutzer) Belichtungsdauer, eine (für den oder von dem Wandler vorgegebene) Anzahl von Zeilen der Matrix und eine (für den oder von dem Wandler vorgegebene) Auslesedauer des Wandlers für eine einzelne Zeile, insbesondere auch eine von der Zeilenanzahl unabhängige konstante

Zusatzauslesedauer, zu ermitteln,

- anhand der Belichtungsdauer, der Zeilenanzahl und der Zeilenauslesedauer eine Zeilenintegrationsdauer zu ermitteln, die länger als die Belichtungsdauer ist,

- anhand der Zeilenanzahl und der Zeilenauslesedauer eine (von Null verschiedene) Belichtungsverzögerungsdauer zu ermitteln, - den (integrationsauslösenden) Eingang des Wandlers mindestens (vorzugsweise: genau) für die Zeilenintegrationsdauer zu setzen (und nach einem entsprechenden Zeitraum zurückzusetzen) und

- nach einem mindestens der Belichtungsverzögerungsdauer entsprechenden Zeitraum (ab dem Setzen des Eingangs) die Lichtquelle zur (periodisch) gepulsten oder kontinuierlichen Emission mindestens einer Wellenlänge für (mindestens) die Belichtungsdauer zu steuern.

Die Zeilenanzahl und die Zeilenauslesedauer können beispielsweise aus einem Speicher ermittelt werden, in den die Werte bei der Herstellung der

Bildaufnahmevorrichtung einmalig geschrieben werden.

Die Belichtung der Probe erfolgt also gegenüber dem Beginn der Integration in der ersten Zeile um die Belichtungsverzögerungsdauer verzögert. Dabei wird nicht wie im Stand der Technik die Belichtungsdauer (um die Summe der Zeilenauslesezeiten) verlängert, sondern die Zeilenintegrationsdauer (und damit die gesamte

Integrationsdauer für ein Bild) wird verlängert. Dadurch kann die Probenbelastung verringert und eine geometrische Verzerrung (engl,„skew") eines rollenden

Verschlusses vermieden werden.

Besonders bevorzugt sind Ausführungsformen, in denen die Steuereinheit eingerichtet ist, die Belichtungsverzögerungsdauer als Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer zu ermitteln, insbesondere zuzüglich der Zusatzauslesedauer. Dadurch beginnt die Belichtung erst, wenn in allen Zeilen die Integration begonnen hat und in allen Zeilen simultan. Das verhindert bei einer Bewegung (in) der Probe längs den Matrixzeilen eine geometrisch verzerrte

Aufnahme der Probe.

Vorzugsweise ist die Steuereinheit dazu eingerichtet, die Zeilenintegrationsdauer als Summe aus der Belichtungsdauer und dem Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer zu ermitteln, insbesondere zuzüglich der

Zusatzauslesedauer. So kann die Probe ausschließlich in dem Zeitraum belichtet werden, in dem in allen Matrixzeilen die Integration läuft. Das Bild kann auf diese Weise wie mit einem globalen Verschluss aufgenommen werden. Zweckmäßig kann es sein, die Steuereinheit dazu einzurichten, die

Belichtungsverzögerungsdauer anhand einer (von der/für die Lichtquelle

vorgegebenen) Ansprechzeit der Lichtquelle zu verkürzen. Dadurch wird das

Steuersignal an die Lichtquelle rechtzeitig so abgegeben, dass die Emission mit der ursprünglichen Belichtungsverzögerungsdauer beginnt.

Vorteilhafterweise kann die Steuereinheit mehrere Betriebsmodi bereitstellen, wobei der Wandler und die Lichtquelle in dem ersten Betriebsmodus gemäß wie oben beschrieben gesteuert werden und in dem zweiten Betriebsmodus wie im Stand der Technik die ermittelte Belichtungsdauer vor dem Steuern der Lichtquelle zur

Emission um die Belichtungsverzögerung vergrößert wird und die

Belichtungsverzögerung vor dem Steuern der Lichtquelle zur Emission auf Null gesetzt wird, wobei insbesondere die Bildaufnahmevorrichtung ein Bedienelement zur Auswahl eines der Betriebsmodi bereitstellt und/oder den Betriebsmodus in Abhängigkeit einer (vorgegebenen - insbesondere vom Benutzer) Bildfrequenz auswählt (die sie zuvor ermittelt).

Zweckmäßigerweise kann die Steuereinheit dazu eingerichtet sein, eine

(vorgegebene - insbesondere vom Benutzer) Bildfrequenz zu ermitteln, anhand der Bildfrequenz, insbesondere auch anhand der Zeilenauslesedauer und/oder der Zeilenintegrationszeit und/oder der Beüchtungsverzögerungszeit, eine Pausendauer zu ermitteln und nach dem Zurücksetzen des (integrationsauslösenden) Eingangs (des Wandlers) die Pausendauer abzuwarten und erneut den

(integrationsauslösenden) Eingang des Wandlers zu setzen, um ein Bild

aufzunehmen. So kann unter minimaler Probenbelastung eine Bildersequenz aufgenommen werden.

Vorzugsweise ermittelt die Steuereinheit die Pausendauer anhand einer

vorgegebenen Periodendauer eines periodischen Vorgangs so, dass die

Pausendauer zuzüglich der ersten Integrationsdauer einem ganzzahligen Vielfachen der Periodendauer entspricht. Dadurch wird eine Synchronisation mit dem externen Vorgang, beispielsweise einer Abtastung der Probe, erreicht und beispielsweise eine gleiche Helligkeit in allen Bildern der Sequenz ermöglicht. W

6

In einer besonders bevorzugten Ausgestaltung ist die Bildaufnahmevorrichtung ein SPI-Mikroskop, wobei der Beleuchtungsstrahlengang und der

Detektionsstrahlengang einander (zumindest näherungsweise) in einer Fokusebene des Detektionsstrahlengangs kreuzen und der Beleuchtungsstrahlengang einen Strahlformer zur Erzeugung zumindest eines Segments eines Lichtblatts (oder eines vollständigen Lichtblatts) aufweist, insbesondere durch Fokussierung auf eine

Brennlinie, wobei die Brennlinie (zumindest näherungsweise) in der Fokusebene des Detektionsstrahlengangs liegt.

Besonders vorteilhaft ist die Erfindung in einem SPI-Mikroskop mit (schaltbaren) alternativen Beleuchtungsstrahlengängen, in dem die Probe sequentiell von zwei (oder mehr) Seiten („links" und„rechts") beleuchtet und ein jeweiliges Teilbild von ihr aufgenommen werden kann. Die Teilbilder werden zu einem Gesamtbild verrechnet, das eine höhere Bildqualität aufweist als die Teilbilder. Bei zeitlich veränderlichen Proben und/oder einer Bewegung der Probe, beispielsweise zur Aufnahme eines Bildstapels, wird die Bildqualität des Gesamtbildes um so höher, je geringer der zeitliche Abstand zwischen den Teilbildern ist. Durch die erfindungsgemäß

ermöglichte Verringerung der effektiven Belichtungsdauer kann die Bildqualität des Gesamtbildes vergrößert werden.

Vorteilhaft ist die Erfindung auch in Mikroskopen, in denen der

Beleuchtungsstrahlengang eine variabel einstellbare Ablenkeinheit zur Verschiebung des Lichtblatts, insbesondere innerhalb der Fokusebene des

Detektionsstrahlengangs, aufweist. Zweckmäßigerweise kann die Steuereinheit hier dazu eingerichtet sein, die Ablenkeinheit zur periodischen Verschiebung des

Lichtblatts mit einer vorgegebenen Periodendauer zu steuern (und die Pausendauer anhand der Periodendauer zu ermitteln), wobei die (gesamte) Belichtungsdauer einem ganzzahligen Vielfachen der Periodendauer entspricht. Dabei kann die Steuereinheit zum Modulieren einer Intensität der Emission der Lichtquelle während der jeweiligen Belichtungsdauer eingerichtet sein. Beispielsweise kann im Falle einer bewegten Lichtblattanregung in den Umkehrphasen der periodischen Bewegung das Belichtungssignal ausgeschalten werden, wobei die Umkehrphasen vorzugsweise außerhalb des Bildfeldes des Wandlers liegen. So kann die Probenbelastung weiter verringert werden. W

7

Vorteilhaft sind zudem Ausführungsformen des Mikroskops mit einem Probenhalter, wobei die Steuereinheit dazu eingerichtet ist, den Probenhalter während der

Emission der Lichtquelle längs einer optischen Achse des Detektionsstrahlengangs zu verschieben, da so die Bewegungsunschärfe in Bildern einer Sequenz minimiert werden kann.

Vorteilhaft ist die Erfindung zudem in Mikroskopen, in denen im

Beleuchtungsstrahlengang Mittel zum Erzeugen einer strukturierten Beleuchtung (in der Probe) und Mittel zum räumlichen Manipulieren der Beleuchtungsstruktur angeordnet sind. Solche Mittel können insbesondere Mittel zum Erzeugen einer Interferenzstruktur und zum Drehen der Interferenzstruktur oder ein Strahlformer zur linienförmigen Beleuchtung und eine Ablenkeinheit sein. Beispielsweise können ein Gitter und ein variabler Bildfelddreher im Beleuchtungsstrahlengang angeordnet sein. Die Steuereinheit nimmt dann mehrere Bilder mit verschiedenen Lagen des

(nterferenzmusters auf und verrechnet sie zu einem Gesamtbild. Insbesondere bei der linienförmigen Beleuchtung kann die Steuereinheit zum Verstellen der

Ablenkeinheit und Modulieren der Lichtquelle jeweils während der Emission ausgebildet sein, um die strukturierte Beleuchtung sequentiell durchzuführen. Die Modulation erfolgt dann so, dass während der Belichtungsdauer („während der Emission") Hellphasen und Dunkelphasen auftreten, wobei das Verstellen der Ablenkeinheit jeweils in einer Dunkelphase durchgeführt wird.

In dem erfindungsgemäßen Verfahren wird:

- eine Belichtungsdauer, eine Anzahl von Zeilen der Matrix und eine Auslesedauer des Wandlers für eine einzelne Zeile, insbesondere auch eine von der Zeilenanzahl unabhängige konstante Zusatzauslesedauer, ermittelt,

- anhand der Belichtungsdauer, der Zeilenanzahl und der Zeilenauslesedauer eine Zeilenintegrationsdauer ermittelt,

- anhand der Zeilenanzahl und der Zeilenauslesedauer, insbesondere auch der Zusatzauslesedauer, eine Belichtungsverzögerungsdauer ermittelt,

- der (integrationsauslösende) Eingang des Wandlers für die Zeilenintegrationsdauer gesetzt (und nach einem der Zeilenintegrationsdauer entsprechenden Zeitraum zurückgesetzt) und - nach einem der Belichtungsverzögerungsdauer entsprechenden Zeitraum (ab dem Setzen des Eingangs des Wandlers) die Lichtquelle zur (periodisch) gepulsten oder kontinuierlichen Emission mindestens einer Wellenlänge für die Belichtungsdauer gesteuert.

Vorzugsweise wird dabei die Belichtungsverzögerungsdauer als

Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer ermittelt, insbesondere zuzüglich der Zusatzauslesedauer, insbesondere abzüglich einer Ansprechzeit der Lichtquelle » und die Zeilenintegrationsdauer als Summe aus der Belichtungsdauer und dem Multiplikationsprodukt der Zeilenanzahl und der

Zeilenauslesedauer ermittelt, insbesondere zuzüglich der Zusatzauslesedauer.

Die Erfindung umfasst auch ein Computerprogramm und eine Steuereinheit, die jeweils zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet sind.

Die Steuereinheit kann beispielsweise zur Durchführung der beschriebenen Schritte eingerichtet sein, indem sie programmtechnisch entsprechend konfiguriert ist.

Insbesondere kann zu jedem Schritt ein entsprechendes Softwaremodul eingerichtet sein.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen näher erläutert.

In den Zeichnungen zeigen:

Fig. 1 ein SPI-Mikroskop,

Fig. 2 ein Mikroskop für SIM,

Fig. 3 ein erstes Signaldiagramm und

Fig. 4 ein zweites Signaldiagramm.

In allen Zeichnungen tragen übereinstimmende Teile gleiche Bezugszeichen. Fig. 1 zeigt ein Lichtscheibenmikroskop als Bildaufnahmevorrichtung 1 mit einer Lichtquelle 2, welche einen breitbandigen Laser 2.1 und ein akusto-optisches einstellbares Filter 2.2 zur externen Wellenlängenselektion und Intensitätsmodulation aufweist. Beispielsweise kann der Laser 2.1 in einem Wellenlängenbereich von 450 nm bis 700 nm Lichtpulse mit einer Länge von 20 ps erzeugen. Die

Wiederholrate der Pulse liegt beispielsweise bei 40 MHz. Bei der Ausgangsstrahlung des Lasers 2.1 kann es sich um ein Weißlichtkontinuum handeln, aus dem dann die in der Beleuchtungsstrahlung verwendeten Wellenlängen extern herausgefiltert werden, beispielsweise durch das akusto-optische einstellbare Filter 2,2, oder der Laser 2.1 kann selbst ein geeignetes Mittel zur Wellenlängenselektion und

Intensitätsmodulation beinhalten, wie beispielsweise ein internes akusto-optisches einstellbares Filter oder eine Frequenzkonversionseinheit. Bei dem Laser 2.1 kann es sich um einen faserbasierten Superkontinuum-Laser handeln. In dem Fall, dass der Laser 2.1 selbst Mittel zur Wellenlängenselektion und Intensitätsmodulation beinhaltet, kann auf das akusto-optische einstellbare Filter 2.2 verzichtet werden. Ein geeigneter Laser ist beispielsweise über die Firma Fianium Ltd. kommerziell verfügbar.

Die Bildaufnahmevorrichtung 1 umfasst weiterhin einen

Beleuchtungsstrahlengang B, in welchem die von der Lichtquelle 2 erzeugte

Beleuchtungsstrahlung über eine optische Weiche 3, beispielsweise ein

Mikrospiegelfeld, schaltbar entweder in einen linken Zweig B L oder in einen rechten Zweig B R gelangt. In den Beleuchtungsstrahlengangzweigen BR /L ist jeweils ein Strahlformer 4 angeordnet, der eine Zylinderoptik 5 sowie Abbildungsoptiken 6 umfasst, welche eine Formung der Beleuchtungsstrahlung zu einem Lichtblatt 7 bewirken. In alternativen Ausführungsformen (nicht abgebildet) kann stattdessen die Zylinderoptik 5 und/oder die Abbildungsoptik 6 vor der optischen Weiche 3 im konstanten Beleuchtungsstrahlengangabschnitt Β angeordnet sein oder ganz wegfallen, wobei das Lichtblatt 7 dann mittels der Ablenkeinheit 11 erzeugt wird. Insbesondere kann die Zylinderoptik in den Strahlengang ein- und ausschwenkbar sein. Das Lichtblatt 7 ist auf die Probe 8, beispielsweise eine biologische Probe, welche in ein transparentes Gel eingebettet ist, gerichtet und schneidet diese in einer Fokusebene des Beleuchtungsstrahlengangs B. Je nach Stellung der optischen Weiche 3 wird die Probe entweder von der einen Seite (links) oder von der anderen Seite (rechts) beleuchtet.

Die Bildaufnahmevorrichtung 1 umfasst weiterhin einen Detektionsstrahlengang A, in welchem ein Detektionsobjektiv 9 angeordnet ist, über welches von der Probe 8 emittiertes oder gestreutes Probenlicht aufgenommen wird. Die Achse des

Detektionsstrahlengangs A steht im wesentlichen senkrecht auf der Achse des Beleuchtungsstrahlengangs B und insbesondere im wesentlichen senkrecht auf der Schnittebene des Lichtblatts 7 mit der Probe 8. Die Probe 8 wird folglich

näherungsweise nur in einer Ebene beleuchtet. Das Detektionsobjektiv 9 dient der Fokussierung in einer Fokusebene des Detektionsstrahlengangs A. Der

Beleuchtungsstrahlengang B und der Detektionsstrahlengang A sind vollständig voneinander getrennt und kreuzen sich lediglich in der jeweiligen Fokusebene. Es sind auch Anordnungen mit einem abweichenden Winkel zwischen

Detektionsstrahlengang und Beleuchtungsstrahlengang möglich, der beispielsweise zwischen 0° und 90° liegt. Entscheidend für SPIM ist, dass der

Beleuchtungsstrahlengang B und der Detektionsstrahlengang A nicht parallel ausgerichtet sind.

Die Bildaufnahmevorrichtung 1 umfasst weiterhin eine Vorrichtung 10 zur

Positionierung der Probe 8 relativ zu dem Lichtblatt 7 durch Verschiebung des Probenhalters, so dass durch eine Relativbewegung der Probe 8 entlang der Achse des Detektio n sstra h I enga ngs A und/oder relativ zu dem Beleuchtungsstrahlengang B verschiedene optische Schnitte der Probe 8 aufgenommen werden können, welche als Grundlage für dreidimensionale Bilddatensätze dienen können. Die

Relativbewegung kann auch eine Rotation der Probe 8 umfassen. Daneben weist der Beleuchtungsstrahlengang B eine Ablenkeinheit 11 zum Verschieben des Lichtblatts innerhalb der Probe 8 auf, die ebenfalls von der Steuereinheit 15 gesteuert wird.

Der Detektionsstrahlengang A umfasst weiterhin eine Tubuslinse 12, über welche die von dem Detektionsobjektiv 9 erfasste Emissionsstrahlung einem optoelektronischen Wandler 14, beispielsweise ein C OS-Sensor mit einem rollenden elektronischen Verschluss, zugeführt wird. Weiterhin kann in dem Detektionsstrahlengang A ein Emissionsfilter 13 vorgesehen sein, welches über die Probe 8 in den Detektionsstrahlengang A reflektierte oder gestreute Beleuchtungslichtanteile im Probenlicht blockiert. Das Emissionsfilter 13 ist jedoch nicht für alle Betriebsweisen des Mikroskops erforderlich und ist daher bevorzugt herausnehmbar. Bei einigen Betriebsweisen kann die Erfassung von reflektierter oder gestreuter

Beleuchtungsstrahlung über den Wandler 14 sogar wünschenswert sein.

Die Bildaufnahmevorrichtung 1 umfasst weiterhin eine Steuereinheit 15, die über Signalleitungen 16/17/18/19 mit der Lichtquelle 2, mit dem Wandler 14 und mit der Ablenkeinheit 11 verbunden ist. Die Steuereinheit 15 erzeugt Modulationssignale, welche über die Signalleitung 16 an die Lichtquelle 2, dort insbesondere den

AOTF 2.2, übermittelt werden, und Zeitfenstersteuerungssignale zum Auslösen und Beenden der Lichtintegration, welche über die Signalleitung 17 an einen

Signaleingang des Wandler 14 übermittelt werden, und Ablenksignale, welche über die Signalleitung 19 an die Ablenkeinheit 11 übermittelt werden. Der Wandler 14 übermittelt wiederum über die Signalleitungen 18 ein Statussignal über den zuletzt ausgelösten Integrations- und Auslesevorgang und - nach dem Ende des

Auslesevorgangs - die digitalisierten Bilddaten an die Steuereinheit 15.

Anstelle der Umschaltung der Seite über das Signal 19 oder zusätzliche dazu kann die Steuereinheit 15 über das Signal 16 auch zwischen mehreren -Emissionslinien der Lichtquelle 2 umschalten, indem sie dem AOTF 2.2 zum Durchlassen einer entsprechend anderen Wellenlänge steuert.

Fig. 2 zeigt ein als Bildaufnahmevorrichtung 1 ein Wettfeldmikroskop mit

eingespiegeltem Beleuchtungsstrahlengang B, in welchem beispielsweise ein Gitter als Mittel 22 zum strukturierten Beleuchten der Probe 8 und beispielsweise ein Abbe- König-Prisma als variabler Beleuchtungslagenmanipulator 23 angeordnet sind. Die Steuereinheit 15 ist über eine Signalleitung 19 mit dem

Beleuchtungslagenmanipulator 23 verbunden, um verschiedene Lagen der strukturierten Beleuchtung einzustellen und Phasenbilder von der Probe

aufzunehmen, aus denen später ein hochauflösendes Ergebnisbild errechnet werden kann. Der Lagewechsel erfolgt zweckmäßigerweise zwischen zwei Bildaufnahmen, nicht innerhalb einer Bildaufnahme. Er kann bei der Erfindung aber vorteilhafterweise in den Zeiträumen erfolgen, in denen zwar Matrixzeilen integrieren, die Probe jedoch .

12

nicht belichtet wird, also vorzugsweise zwischen dem Zurücksetzen des

Auslösesignals 17 und dem Ende des Integrations- und Auslesevorgangs

(Signal 18).

In anderen Ausführungsformen können die Mittel 22 als Strahlformer für eine linienförmige Beleuchtung und der Beleuchtungslagenmanipulator 23 als

Ablenkeinheit ausgebildet sein, um die Probe 8 sequentiell strukturiert zu beleuchten. Die Steuereinheit 15 kann über das Signal 16 optional zwischen mehreren

Emissionslinien der Lichtquelle 2 umschalten, indem sie dem AOTF 2.2 zum

Durchlassen einer entsprechend anderen Wellenlänge steuert.

In Fig. 3 ist ein Signaldiagramm eines ersten Betriebsmodus der Steuereinheit 15 mit sogenannter globaler Beleuchtung (engl,„global Illumination") dargestellt. In dem Diagramm ist der zeitliche Verlauf der über die Signalleitungen 16/17/18/19/20 übermittelten Signale in einem Mikroskop gemäß Fig. 1 erkennbar. Die einzelnen Spuren enthalten von oben nach unten folgende Angaben:

Mit dem Setzen des Auslösesignals 17 beginnt der Wandler 14 selbständig in seiner ersten Zeile die elektrische Integration, was er durch Setzen des Integrations- und Auslesestatus 18 anzeigt. Nach Ablauf eines Zeitraums, der seiner

Zeilenauslesedauer entspricht, startet der Wandler 14 parallel die Integration in der zweiten Zeile. Mit jedem weiteren Ablauf einer Zeilenauslesedauer startet der

Wandler 14 parallel die Integration in einer weiteren Zeile. Mit dem Zurücksetzen des Auslösesignals 17 beginnt der Wandler selbständig, die Inhalte aller

Detektionselemente der ersten Zeile auszulesen und zu digitalisieren, was die Auslesedauer in Anspruch nimmt. Bis dahin ist die Integration der zweiten Zeile abgeschlossen und sie wird ausgelesen. Anschließend wird die dritte Zeile

ausgelesen.

Die Belichtung (schräg schraffiert) und die Integration (horizontal schraffiert) beginnen und enden zeitversetzt zueinander, wobei die Belichtung mit genau der vom Benutzer vorgegebenen Belichtungsdauer ausschließlich in denjenigen

Zeiträumen erfolgt, in denen in allen Zeilen des Wandlers die Integration aktiv ist. Die Zeilenintegrationsdauer ist zu diesem Zweck gegenüber der Belichtungsdauer um den Zeitraum, in denen mindestens eine Zeile nicht integriert, länger.

Beispielsweise weist der Wandler 14 neunhundertsechzig Matrixzeilen und eine Zeilenauslesedauer von 10 ps auf. Zwischen dem Start der Integration in der ersten Zeile und dem Start der Integration in der letzten Zeile liegen daher

959*10 ps=9,59 ms. Nach dieser Zeit beginnt also der globale Belichtungsbereich. 9,59 ms nach dem Zurücksetzen des Auslösesignals 17 ist die Integration in den restlichen Zeilen noch aktiv. Bei einer vom Benutzer vorgegebenen

Beleuchtungsdauer von 10 ms beträgt die gesamte Integrationsdauer 19,6 ms. Nur in den mittleren 10 ms wird der AOTF 2,2 zur Transmission der gewünschten

Beleuchtungswellenlänge gesteuert.

Zudem sind die einzelnen Bilder durch die Pausen der Dauern D2w a ndier. D3wandier mit der periodischen Bewegung der Ablenkeinheit 11 synchronisiert. Da der AOTF 2.2 eine gewisse Trägheit aufweist, kann sein Steuersignal 18 gegenüber dem im Wandler 14 integrationsauslösenden und integrationsbeendenden Signal 17 um einen konstanten Zeitversatz vorgezogen werden. In anderen Ausführungsformen (nicht abgebildet) können die Signale 17 und 18 auch simultan ausgegeben werden. Das in Fig. 4 dargestellte Signaldiagramm zeigt einen zweiten Betriebsmodus, der in der relativen Beziehung der Belichtungsdauer und der Zeilenintegrationsdauer und der relativen Beziehung des Beginns der Belichtung und des Setzens des

Auslösesignals der herkömmlichen Bildaufnahme entspricht.

Dem Benutzer wird zudem von der Steuereinheit 15 ein Bedienelement 24 zur Vorgabe der gewünschten Belichtungsdauer und der gewünschten Bildfrequenz bereitgestellt. Anhand der Belichtungsdauer, der wandlereigenen Zellenauslesedauer und der Bildfrequenz und unter Berücksichtigung der Perioden(dauer) der

Ablenkeinheit 11 beziehungsweise 23 ermittelt die Steuereinheit 15 beispielsweise die Pausendauern D2 W andier, D3w 3 ndier zwischen dem Zurücksetzen des

Auslösesignals 17 und dem nächsten Setzen des Auslösesignals 17.

Der Benutzer kann den Betriebsmodus mittels eines Bedienelements 21 auswählen. Alternativ kann die Steuereinheit den Betriebsmodus in Abhängigkeit der

gewünschten Bildfrequenz und/oder der gewünschten Belichtungsdauer einstellen. Liegt beispielsweise die Bildfrequenz und/oder die Belichtungsdauer über einem vorgegebenen jeweiligen Grenzwert, so wird der zweiten Betriebsmodus eingestellt, sonst der erste Betriebsmodus.

Die Erfindung ist nicht nur in SPI-Mikroskopen und SIM-Mikroskopen einsetzbar, sondern in beliebigen Bildaufnahmevorrichtungen. Sie ist auch ohne

Ablenkeinheit 11/22 und/oder ohne beidseitige Beleuchtung einsetzbar, wobei die Signale 19 und 20 entfallen und die Periode der Quantisierung der Signale 16 und 18 so klein wie der Systemtakt der Steuereinheit 15 werden können.

Bezuqszeichenliste

1 Bildaufnahmevorrichtung

2 Lichtquelle

2.1 Laser

2.2 AOTF

3 Optische Weiche

4 Strahlformer

5 Zylinderoptik

6 Abbildungsoptiken

7 Lichtblatt

8 Probe

9 Detektionsobjektiv

10 Positioniervorrichtung

11 Ablenkeinheit

12 Tubuslinse

13 Emissionsfilter

14 Wandler

15 Steuereinheit

16 Signal(leitung)

17 Signal(leitung)

18 Signal(leitung)

19 Signal(leitung)

20 Signal(leitung)

21 Bedienelement

22 Mittel zum strukturierten Beleuchten

23 Mittel zum räumlichen Manipulieren

A Detektionsstrahlengang

B Beleuchtungsstrahlengang

Dscanner Verzögerung ab Start der Ablenkeinheit

a Totzeit

D1 wandier Verzögerung bis Auslösen der ersten Integration

Dl AöTF-start Verzögerung bis Einschalten des AOTF für erste Emission DAOTF-ende Verzögerung bis Ausschalten des AOTF D2wandier Verzögerung bis Auslösen der zweiten Integration

D2 A oTF-startVerzögerung bis Einschalten des AOTF für zweite Emission TAOTF Belichtungsdauer

D3wandier Verzögerung bis dritte Integration

D3 A oTF-start Verzögerung bis Einschalten des AOTF für dritte Emission