Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
OPTICAL IMAGE RECORDING AND IMAGE EVALUATING SYSTEM
Document Type and Number:
WIPO Patent Application WO/2003/077537
Kind Code:
A1
Abstract:
The invention relates to an optical image recording and image evaluating system comprising an image beam path, at least two digital cameras and a beam splitter, which splits the light of the image beam path and directs it to both digital cameras. The starting times of the image recording of the digital cameras are synchronized with one another, and the beam splitter is a dichroic beam splitter. The synchronization of the starting times preferably has an accuracy of less than or equal to 1/1000 of the shortest exposure time of the digital cameras so that simultaneous images are recorded in different spectral regions.

Inventors:
DAVIDOVICI DAN (DE)
Application Number:
PCT/EP2003/001702
Publication Date:
September 18, 2003
Filing Date:
February 20, 2003
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZEISS CARL (DE)
CARL SEISS STIFTUNG TRADING AS (DE)
DAVIDOVICI DAN (DE)
International Classes:
G02B21/18; (IPC1-7): H04N5/247; G02B21/36
Foreign References:
US6046431A2000-04-04
DE4408072A11995-08-03
US3908082A1975-09-23
US5365084A1994-11-15
US4862257A1989-08-29
Other References:
ANONYMOUS: "Corin Products, Electronic Imaging Systems", INTERNET ARTICLE, XP002241090, Retrieved from the Internet [retrieved on 20030514]
Download PDF:
Claims:
Patentansprüche :
1. Optisches Bildaufiiahmeund Bildauswertesystem mit einem Abbildungsstrahlengang und mindestens zwei Digitalkameras und einem Strahlteiler, der das Licht des Abbildungsstrahlenganges aufteilt und zu den beiden Digitalkameras führt, wobei der Startzeitpunkt der Bildaufnahme beider Digitalkameras zueinander synchronisiert ist und der Strahlteiler ein dichroitischer Strahlteiler ist.
2. Optisches Bildaufnahmeund Bildauswertesystem nach Anspruch 1, wobei für die Synchronisation eine Triggereinrichtung vorgesehen ist.
3. Optisches Bildaufnahmeund Bildauswertesystem nach Anspruch 1 oder 2, wobei die Synchronisationsgenauigkeit kleiner gleich 1/1000 der kürzesten Belichtungszeit der Digitalkameras ist.
4. Optisches Bildaufnahrneund Bildauswertesystem nach Anspruch 3, wobei die Leitungslängen zwischen der Triggereinrichtung und beiden Digitalkameras bis weniger als 10 % der längeren der beiden Leitungslängen identisch sind.
5. Optisches Bildaufnahmeund Bildauswertesystem nach einem der Ansprüche 14, wobei mindestens eine der Digitalkameras eine hochauflösende monochrome Kamera ist.
6. Optisches Bildaufnahmeund Bildauswertesystem nach einem der Ansprüche 15, wobei eine Beleuchtungseinrichtung zur Anregung von Fluoreszenz in einem Objekt vorgesehen ist.
7. Optisches Bildaufnahmeund Bildauswertesystem nach Anspruch 6, wobei ein vergrößernd abbildendes optisches System vorgesehen ist.
8. Optisches Bildaufnahmeund Bildauswertesystem nach einem der Ansprüche 17, wobei eine der Digitalkameras senkrecht zur optischen Achse des zu ihr führenden Teilstrahlengang justierbar ist.
9. Optisches Bildaufnahmeund Bildauswertesystem nach einem der Ansprüche 18, wobei eine Bildauswerteeinheit zur Kombination der mit den Digitalkameras aufgenommenen Bilder vorgesehen ist.
10. Optisches Bildaufnahmeund Bildauswertesystem nach Anspruch 9, wobei die Bildauswerteeinheit die Bildung von Quotientenbildern ermöglicht.
11. Optisches Bildaufnahmeund Bildauswertesystem nach Anspruch 10, wobei eine Steuereinrichtung zur Aufnahme und Abspeicherung von Bildserien vorgesehen ist.
Description:
Optisches Bildaufiiahme-und Bildauswertesystem Die vorliegende Erfindung betriff ein Optisches Bildaufiiahme-und Bildauswertesystem mit einem Abbildungsstrahlengang und mindestens zwei Digitalkameras und einem Strahlteiler, der das Licht des Abbildungsstrahlenganges aufteilt und zu den beiden Digitalkameras führt.

Ein derartiges System wird von der Firma Cordin unter der Bezeichnung 220-8 angeboten. Das System enthält insgesamt acht Digitalkameras. Die Einstellungen der einzelnen Digitalkameras, z. B. die Belichtungszeiten jeder der Kameras sind unabhängig von einander einstellbar. Das System dient zur Aufnahme von Bildserien mit hoher Geschwindigkeit. Demzufolge wird die Bildaumahme der verschiedenen Kameras zeitlich nacheinander gestartet, so dass durch die Gesamtheit der nacheinander mit den verschiedenen Kameras aufgezeichneten Einzelbilder die gewünschte Bildserie entsteht. Ein Einsatz in der Fluoreszenzanalyse ist nicht vorgesehen.

In der Fluoreszenzanalyse und in der Fluoreszenzmikroskopie sind Anwendungen bekannt, die bisher nur mit Laser-Scan Mikroskopen durchführbar sind. Beispiele hierfür sind Emission-Ration Messungen und Colokalisation von Teilchen. Laser-Scan Mikroskope haben jedoch den Nachteil, dass sie technisch sehr aufwendig sind und sie andererseits für die Aufnahme großer Bildfelder relativ große Aufnahmezeiten haben, die bis zu wenigen Sekunden betragen können. Bei sehr schnellen Diffusionsvorgängen können diese Aufnahmezeiten zu lang sein, um detelctierte Unterschiede zutreffend zu interpretieren. Beispiele für ein Laser Scan Mikroskop und damit durchführbare Fluoreszenzanalysen sind beispielsweise in dem Prospekt "Axiovert 200"der Anmelderin mit dem Druckvermerk 40-085d/01. 01 beschrieben.

Es ist das Ziel der vorliegenden Erfindung, ein optisches Bildaufilahme-und Bildauswertesystem zu schaffen, mit dem bisher nur der Laser-Scan Mikroskopie vorbehaltene Fluoreszenzanwendungen auch mit konventionellen, ganze Bildfelder simultan übertragenden mikroskopischen oder makroskopischen Systemen durchgeführt werden können.

Dieses Ziel wird erfindungsgemäß durch ein optisches Bildaufnahme-und Bildauswertesystem mit den Merkmalen des Anspruches 1 gelöst. Vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Merkmalen der abhängigen Ansprüche.

Das erfindungemäße optische Bildaufnahme-und Bildauswertesystem weist einen Abbildungsstrahlengang, mindestens zwei Digitalkameras und einen Strahlteiler, der das Licht des Abbildungsstrahlenganges aufteilt und jeweils einen Teil davon zu den Digitalkameras fiihrt, auf. Die Startzeitpunkte der Bildaufnahme der Digitalkameras sind zueinander synchronisiert, so dass die Startzeitpunlcte der Belichtungen der Digitalkameras im Rahmen der Synchronisationsgenauigkeit identisch sind. Der Strahlteiler ist als dichroitischer Strahlteiler ausgebildet, so dass die Digitalkameras Licht unterschiedlicher Spektralbereiche detektieren.

Die Digitalkameras sollten zweidimensionales Felder simultan aufzeichnen und dem entsprechend jeweils eine zweidimensionale Anordnung von lichtempfindlichen Pixeln oder einen anderweitig gestalteten zweidimensionalen Sensorchip aufweisen.

Die Synchronisation der Starzeitpunlcte der Belichtung der Kameras sollte mit einer Synchronisationsgenauigkeit erfolgen, die kleiner gleich 1/1000 der kürzesten Belichtungszeit der Digitalkameras ist. Dadurch wird erreicht, dass der Beginn der Bildaufnahme aller Kameras relativ zu den Belichtungszeiten aller Kameras gleichzeitig ist, so dass die aufgezeichneten Bilder gleichzeitig aufgenommenen Bildern entsprechen.

Für die Synchronisation der einzelnen Kameras sollte eine Triggereinrichtung vorgesehen sein.

Weiterhin sollten die Leitungslängen zwischen der Triggereinrichtung und den Digitalkameras- bei mehr als zwei Digitalkameras, die gleichzeitige Bilder aufzeichnen sollen, die Leitungslängen zwischen der Triggereinrichtung und allen diesen Digitalkameras-bis auf weniger als 10 % der längsten der Leitungslängen identisch sein. Durch letzteres wird erreicht, dass auf den Signalwegen zwischen der Triggereinrichtung und den Kameras keine unterschiedlichen, unbekannten Verzögerungen entstehen.

Da der Strahlteiler als dichroitischer Strahlteiler ausgebildet ist, detektieren die verschiedenen Kameras ausschließlich Licht in unterschiedlichen spekträlen Bändern und demzufolge geben die mit unterschiedlichen Kameras aufgezeichneten Bilder die räumliche Verteilung unterschiedlicher fluoreszierender Verbindungen oder Fluoreszenzfarbstoffe wieder. Außerdem ist es möglich, trotz der Anforderung der Aufzeichnung von Bildinformation bei unterschiedlichen Wellenlängen monochrome Kameras mit hoher Pixeldichte und damit hoher digitaler Auflösung einzusetzen. Alternativ können jedoch auch eine oder mehrere Farbkameras eingesetzt werden, um eine Farbaufteilung innerhalb der durch den dichroitischen Farbteiler bereits getrennten Spektralbereiche zu erreichen. Durch die zusätzlich gewonnene Farbinformation kann dann die Farbverschiebung aufgrund biologischer oder chemischer Vorgänge nachgewiesen und ebenfalls als Emission-Ratio dargestellt werden.

Soweit mehr als zwei zu einander synchronisierte Kameras vorgesehen sind, sind auch mehrere dichroitische Strahlteiler mit unterschiedlichen Trennungskanten vor zu sehen.

Für die Anregung von Fluoreszenzen sollte eine geeignete Beleuchtungseinrichtung vorgesehen sein. Bei einer Auflichtbeleuchtung sollte für die Trennung des Messlichts vom Anregungslicht ebenfalls ein weiterer dichroitischer Strahlteiler vorgesehen sein.

Das erfindungsgemäße optisches Bildaufnahme-und Bildauswertesystem kann als makroskopisches oder mikroskopisches, vergrößerndes System ausgebildet sein. Dabei ist die Ausbildung als mikroskopisches System mit einem vergrößernd abbildenden optischen System bevorzugt. Weiterhin ist insbesondere auch die Ausbildung als Zusatzmodul für Mikroskope, z. B. in Form eines an den Photostrahlengang eines Mikroskops ansetzbaren Moduls bevorzugt.

Zur Justierung der einzelnen Digitalkameras relativ zueinander, so dass beide oder sämtliche Kameras identische Bildbereiche abdecken, sollte eine Digitalkamera-bei mehr als zwei Digitalkameras alle bis auf eine Digitalkameras-zur optischen Achse des zu ihr führenden Teilstrahlengangs justierbar sein.

Das optische Bildaufnahme-und Bildauswertesystem sollte eine Bildauswerteeinheit zur Kombination der mit verschiedenen Digitalkameras aufgenommenen Bilder aufweisen. Diese Bildauswerteeinheit kann als Personal Computer mit einer geeigneten Auswertesoftware ausgebildet sein. Die Bildauswerteeinheit sollte die Bildung von Quotientenbildern ermöglichen, . d. h. von Bildern, deren Helligkeits-und/oder Farbwert an einem Ort dem Quotienten der Helligkeitswerte am gleichen Ort von Teilbildern entsprechen, die mit unterschiedlichen Kameras aufgenommen wurden. Auch die Bildung von Quotienten an unterschiedlichen Orten ist sinnvoll, z. B. um Diffusionsprozesse im aufgenommenen Objekt zu analysieren.

Weiterhin sollte eine Steuereinrichtung zur Aufnahme und Abspeicherung von Bildserien gleichzeitig aufgenommener Bilder vorgesehen sein. Dadurch können Serien bei unterschiedlichen Wellenlängen gleichzeitig aufgenommener Bilder online beobachtet werden.

Bei hinreichend schneller Bildverarbeitung können dann auch Quotientenbilder großer Bildfelder online beobachtet werden. Werden die Bildserien abgespeichert, kann die endgültige Auswertung nachträglich anhand von jeweils gleichzeitig aufgenommenen Bildpaaren erfolgen.

Die Aufnahmeparameter, insbesondere z. B. die Belichtungszeiten und ggf. die Empfindlichkeiten der Digitalkameras sind vorzugsweise unabhängig voneinander einstellbar, so daß die Aufnahmebedingungen an unterschiedliche Extinlctionen in verschiedenen Spektralbereichen anpassbar sind. Wenn die Kameras unterschiedliche Belichtungszeiten aufweisen, dann ist die Bildwiederholrate durch die Belichtungszeit der Digitalkamera mit der längsten Belichtungszeit bestimmt, so dass die Gleichzeitigkeit der einzelnen Belichtungen beibehalten wird. Entsprechend ist die Steuereinrichtung ausgelegt, dass alle Digitalkameras mit identischer Bildwiederholrate arbeiten, also die Bildwiederholrate an die längste Belichtungszeit gekoppelt ist.

Weitere Einzelheiten der Erfindung werden nachfolgend anhand des in der Figur dargestellten Ausführungsbeispiels näher erläutert.

In der Figur ist die Erfindung schematisch in Verbindung mit einem Mikroskop dargestellt. Das Mikroskop weist in üblicher Weise ein Stativ (1) auf, an dem der Objekttisch (2) höhenverstellbar aufgenommen ist. Weiterhin ist oberhalb des Objekttisches (2) am Stativ (1) ein Objektivrevolver (3) zur Aufnahme mehrerer Objektive (5,6) aufgenommen.

An der Rückseite des Mikroskopstativs ist eine Beleuchtungseinrichtung (7) aufgenommen, die für eine Beleuchtung eines auf dem Objekttisch (2) aufzunehmenden Präparates im Auflicht dient. Das Licht der Auflichtbeleuchtung (7) wird über einen Auflichtbeleuchtungsstrahlengang (4) durch einen Spiegel (8) oberhalb des Objektivrevolvers (3) in Richtung auf das in den Strahlengang eingeschaltete Objektiv (5) umgelenkt. Der Spiegel (8) ist dabei als dichroitischer Strahlteiler ausgebildet, um das von der Auflichtbeleuchtung (7) kommende Licht und das von einer Probe emittierte Fluoreszenzlicht von einander zu trennen.

Oberhalb des Spiegels (8) verläuft der Beobachtungsstrahlengang (18) zunächst in vertikaler Richtung. Durch ein Strahlteilerprisma (9) wird ein Teil des Beobachtungsstrahlenganges in Richtung auf einen Okulartubus (10) ausgespiegelt.

Der vom Strahlteilerprisma (9) nicht ausgespiegelte Teil des Beobachtungsstrahlenganges verläuft weiter in vertikaler Richtung in einen Kameratubus (19) mit zwei Ausgängen. Im Kameratubus (19) ist ein weiterer dichroitischer Strahlteiler (11) aufgenommen, der das Licht des Beobachtungsstrahlenganges wellenlängenabhängig auf die beiden Ausgänge des Kameratubus aufteilt.

An jeden der beiden Ausgänge des Kameratubus (19) ist jeweils eine Digitalkamera (12, 13) angeschlossen. Jede der beiden Digitalkameras (12,13) hat einen zweidimensionalen Sensorchip und zeichnet dadurch simultan ein zweidimensionales Bildfeld auf. Beide Kameras sind miteinander über eine Synchronisationseinheit synchronisiert. Die Synchronisationseinheit ist dabei als Personal Computer (14) ausgebildet. Um die hinreichend genaue Synchronisation- gemeint ist dabei die Gleichzeitigkeit des Beginns der Belichtung und Bildaufnahme mit beiden Kameras-sicher zu stellen, sind die Leitungsverbindungen (16,17) zwischen dem Personal Computer (14) und den beiden Kameras bis auf weniger als 10 % der längeren der beiden Leitungsverbindungen (16,17) identisch. Dadurch wird sicher gestellt, dass der verbleibende zeitliche Unterschied zwischen dem Beginn der Bildaufzeichnung mit beiden Kameras im Bereich von 50 ns bis 100 ns liegt. Bei Belichtungszeiten der Digitalkameras über 0, 1 ms ist dann gewährleistet, dass die Synchronisationsgenauigkeit unter 1/1000 der Belichtungszeit liegt.

Der Personal-Computer dient gleichzeitig auch zur Auswertung der mit beiden Kameras (12,13) aufgenommenen Bilder und zur Darstellung des so synthetisch aus zwei oder mehr gleichzeitig aufgenommenen Bildern erzeugten Bildes auf einem Monitor (15).

Um zu gewährleisten, dass die mit den beiden Kameras (12,13) aufgenommenen Bilder nicht nur zeitlich sondern auch räumlich überein stimmen, ist eine der Kameras (12) über eine JustiereiWeit (20) senkrecht zur optischen Achse (21) des zu ihr führenden Teils des Beobachtungsstrahlenganges mit Sub-Pixelgenauigkeit justierbar. Dadurch wird erreicht, dass die von beiden Kameras (12, 13) abdeckten Bildfelder mit Sub-Pixelgenauigkeit überein stimmen. Ein entsprechender Tubus ist beispielsweise von dem Doppel-Video-Adapter der Anmelderin, der in dem eingangs genannten Prospekt beschrieben ist, bekannt.

Zwischen dem dichroitischen Strahlteiler (11) und den beiden Kameras (12,13) sind jeweils noch Schieber (22,23) zum Einschwenken von benötigten Farbfiltern vorgesehen. Dadurch können die bereits aufgeteilten Spektralbereiche vor der Detektion noch weiter eingeengt werden.

Dass zuvor beschriebene System kann beispielsweise zur Ca-Messung durch ein Emission-Ratio wie z. B Indo 1 und Indo 2 dienen. Die Fluoreszenzanregung erfolgt dann bei einer Wellenlänge von 340 nm und die Detektion bei 360 und 380 nm. Der dichroitische Strahlteiler (8) zur Trennung des Beleuchtungs-und Beobachtungsstrahlenganges hat dann eine Trenmmgskaante bei einer Wellenlänge von ca. 350 nm und der Strahlteiler (21) zur Aufteilung zwischen beiden Kameras (12,13) eine Trennungskante bei einer Wellenlänge von 370 nm. Nachfolgend bei der Bildauswertung werden an jedem Ort der aufgenommenen Bilder die Quotienten der Helligkeitsbilder beider Kameras (11,12) gebildet und daraus ein Bild der Ca-Konzentration als Funktion des Ortes erzeugt. Da beide Bilder gleichzeitig aufgenommen werden, ist gewährleistet, dass der Quotient der Fluoreszenzintensitäten tatsächlich der Konzentration entspricht und nicht durch anderweitige Prozesse bestimmt ist.

Eine weitere Anwendung ist FRET, ein weiteres Emissions-Ratio, das jedoch auf einem einzigen Farbstoff, z. B. Chamäleon, basiert. Allerdings erfolgt hier die Anregung bei einer Wellenlänge von 480 nm und die Fluoreszenzdetektion bei 520 und 580 nm. Entsprechend sind die Trennungskanten der dichroitischen Strahlteiler (8, 21) zu wählen, so dass eine Kamera nur die Fluoreszenz bei einer Wellenlänge von 520 nm und die andere Kamera nur die Fluoreszenz bei 580 nm detektiert. Da die Extinktionen der Fluoreszenzen bei den verschiedenen Emissionswellenlängen sehr unterschiedlich sind, sollten für diese Anwendung die Einstellungen beider Kameras, insbesondere die Belichtungszeiten, unabhängig von einander wählbar sein.

Eine weitere Anwendung ist die Colocalisation. Bei dieser Anwendung ist es wichtig, ob zwei Proteine, die z. B. mit FITC und Cy3 unterschiedlich markiert sind, an der selben Stelle lokalisiert sind oder nicht. Durch die Gleichzeitigkeit der Bildaufnahme bei verschiedenen Wellenlängen können Diffusionsprozesse erkannt werden. Da auch bei dieser Anwendung in der Regel die Extinktionen der Fluoreszenzen bei den verschiedenen Emissionswellenlängen sehr unterschiedlich sind, sollten auch für diese Anwendung die Einstellungen beider Kameras unabhängig von einander wählbar sein.

Eine weitere vorteilhafte Anwendung ergibt sich, wenn eine der beiden Kameras eine Farbkamera, z. B. die Farbkamera Axiocam Color von der Anmelderin, und die andere Kamera eine monochrome Kamera, z. B. die Kamera Axiocam Mono, der Anmelderin ist. Mit einem Mikroskop, das sowohl eine Auflichtbeleuchtung für die Fluoreszenzanregung und eine Durchlichtbeleuchtung für eine Abbildung im Differential-Interferenz-Kontrast aufweist, wie die meisten konventionellen Mikroskope, lassen sich dann gleichzeitig z. B Fluoreszenz und Infrarot DIC visualisieren.

Weiterhin ist es möglich, zur Auswahl einer geeigneten Anregungswellenlänge eine breitbandige Lichtquelle mit einem nachgeschalteten Monochromator vor zu sehen. Dadurch wird die mit dem erfindungsgemäßen System mögliche hohe Flexibilität ausgenutzt. Entsprechende Monochromatoren könne z. B. einschwenk-oder einschiebbare auswechselbare Fluoreszenz- Anregungsfilter sein.

Die Bildauswerte-Einrichtung kann auch zur Aufnahme sogenannter Mosaikbilder ausgebildet sein, indem mehrere Einzelbilder nachträglich rechnerisch zu einem großen Gesamtbild zusammengesetzt werden, um Übersichtbilder zu erzeugen. Entsprechend ist dann der Objekttisch als motorischere Scanningtisch auszubilden. Durch die gleichzeitige Bildaufnahme der einzelnen Bilder in getrennten Spektralbereichen, lassen sich dann auch als Summen-, Differenz und Quotientenbilder als Mosaik-Übersichtsbilder darstellen.

Gegenüber Laser-Scan-Mikroskopen hat das erfindungsgemäße System den Vorteil, dass mit jeder Bildaufnahme simultan ein großes Bildfeld aufgenommen wird, das z. B. 1000 * 1000 Pixel oder bei Einsatz hochauflösender Digitalkameras 3900* 3090 Pixel umfassen kann.

Außerdem ist das System wesentlich flexibler, da man nicht an spezielle Laserlinien zur Fluoreszenzanregung gebunden ist, sonder aus einer breitbandigen Lichtquelle den für die jeweilige Anwendung günstigen Spektralbereich heraus filtern kann.

Anhand des in den Figuren dargestellten Ausführungsbeispiels wurde die Erfindung am Beispiel eines aufrechten Mikroskopes dargestellt. Sie ist jedoch ebenso gut auch im Verbindung mit einem inversen Mikroskop einsetzbar.