Verfahren zur Video-Stabilisierung bei einem solchen System

Die Erfindung bezieht sich auf ein medizinisches Visualisierungsystem, insbesondere ein OP- Mikroskopsystem, sowie ein Verfahren zur Video-Stabilisierung bei einem solchen System.

Bei medizinischen Visualisierungsystemen, z.B. in der Mikroskopie und insbesondere bei Operationsmikroskopen (OP-Mikroskopen), wird ein stabiles Live-Videobild auf einer Displayeinheit (beispielsweise einem Monitor, einer Mixed-Reality-Brille, einem digitalen Okular, einem Projektor, etc.) benötigt.

Es ist hierzu aus der EP 3437547 A1 bekannt, eine elektronische Bildstabilisierung durchzuführen, wobei als Bewegungserfassungseinrichtung entweder eine Bildauswertung oder ein Beschleunigungssensor eingesetzt wird, um Bewegungen des Operationsmikroskops und daraus erforderlichen Stabilisierungsbedarf zu erkennen.

Die US 2018/0172971 A1 verwendet ebenfalls einen Beschleunigungssensor als Bewegungserfassungseinrichtung, um zu erkennen, ob das Bild stabilisiert werden muss. Sie führt dann eine mechanische Bildstabilisierung durch entsprechende Bewegung eines Optikkopfs des OP-Mik- roskops aus. Es ist vorgesehen, verschiedene Bewegungen zu unterscheiden und insbesondere eine Schwingungserkennung anhand der Signale des Beschleunigungssensors durchzuführen. Anhand einer Frequenzanalyse werden verschiedene Schwingungsmuster unterschieden, beispielsweise Schwingungen, die von Gebäudeschwingungen herrühren, und Schwingungen durch Stöße gegen das OP-Mikroskop.

US 2019/0394400 A1 , die im Oberbegriff der unabhängigen Ansprüche berücksichtigt ist, betrifft ebenfalls die Bildstabilisierung und ordnet dazu einen Schwingungssensor als Bewegungserfassungseinrichtung im Operationsmikroskop an. Aus dessen Signalen wird die Art der Schwingung ermittelt und der Stabilisierungsbedarf festgestellt. Die Bildstabilisierung wird dann als elektronische Bildstabilisierung, d.h. durch geeignete Bearbeitung der Video-Bilddaten, oder als mechanische Bildstabilisierung, d.h. durch geeignete Verschiebung optischer Elemente oder eines Bildsensors, ausgeführt. CN 1 13 132 612 A beschreibt ein Verfahren zur Bildstabilisierung, welches unterschiedliche Stabilisierungsmethoden für verschiedene Bildbereiche, dort Vorder- und Hintergrund, verwendet, um ein Verwackeln der Kamera mittels Bildbearbeitung auszugleichen. Dabei werden, zusätzlich zu Bildbewegungsdaten, auch Gyroskop-Daten der Kamera ausgewertet.

US 8 749 648 B1 offenbart unter anderem ein Verfahren, bei dem aus einem Bewegungssensor gewonnene Bewegungsdaten, die während der Aufnahme aufgezeichnet wurden, in einer nachgelagerten Bildverarbeitung verwendet werden, um das Video zu stabilisieren.

Bei der Operationsmikroskopie wird ein Live-Bild von einem Arzt benutzt. Zeitverzögerungen sind hierbei äußerst störend. Hier erweist sich der Stand der Technik als problematisch, da die Bildstabilisierung relativ rechenaufwendig ist und damit zu Zeitverzögerungen bei der Anzeige des Live-Videos führen kann. Zudem können im Stand der Technik Objektbewegungen schlecht von Mikroskopschwingungen unterschieden werden.

Der Erfindung liegt deshalb die Aufgabe zugrunde, eine verbesserte Bildstabilisierung für die Operationsmikroskopie bereitzustellen, welche die Probleme des Standes der Technik vermeidet.

Die Erfindung ist in den Ansprüchen 1 und 9 definiert. Sie stellt ein medizinisches Visualisierungsystem sowie ein Verfahren zur Video-Stabilisierung bei einem medizinischen Visualisierungsystem bereit. Das medizinische Visualisierungsystem hat einen Bildsensor. Weiter wird eine Bewegungserfassungseinrichtung eingesetzt, welche Bewegungen des Bildsensors erfasst und entsprechende Sensor-Bewegungsdaten erzeugt, während gleichzeitig ein Video-Bild eines Objektes mit dem medizinischen Visualisierungsystem erzeugt wird.

Soweit nachfolgend von einem OP-Mikroskop(system) die Rede ist, geschieht dies exemplarisch für ein medizinisches Visualisierungsystem.

Es ist vorgesehen ein Verfahren zur Video-Stabilisierung bei einem medizinischen Visualisierungsystem umfassend einen Bildsensor, wobei das Verfahren folgende Schritte aufweist: a) Bereitstellen des medizinischen Visualisierungsystems und einer Bewegungserfassungseinrichtung, die eine Bewegung des Bildsensors erfasst und entsprechende Sensor-Bewegungsdaten erzeugt, b) Erfassen eines Objektfeldes und Erzeugen von Video-Daten des Objektfeldes mittels des Bildsensors und Erzeugen von Bild-Bewegungsdaten durch Auswerten der Video-Daten, und c) Korrektur der Video-Daten umfassend c1 ) Berechnen von Verschiebungsvektordaten, die nur oder überwiegend eine Bewegung des Bildsensors, aber nicht oder nur untergeordnet eine Bewegung innerhalb des Objektfeldes wiedergeben, unter kombinierter Verwendung der Sensor-Bewegungsdaten und der Bild-Bewegungsdaten, wobei die Bild-Bewegungsdaten, die Bewegungsveränderungen des Objektfeldes wiedergeben, anhand der Sensor-Bewegungsdaten gewichtet und/oder gefiltert werden, und c2) Korrigieren der Video-Daten mittels der Verschiebungsvektordaten.

Es ist weiter vorgesehen ein medizinisches Visualisierungsystem, umfassend einen Bildsensor zum Erzeugen von Video-Daten für ein Objekt und eine Bewegungserfassungseinrichtung, die eine Bewegung des Bildsensors erfasst und entsprechende Sensor-Bewegungsdaten erzeugt, eine Steuereinrichtung, die einen Prozessor und einen Speicher umfasst, mit dem Bildsensor und der Bewegungserfassungseinrichtung über eine Datenverbindung verbunden ist, eine Anzeige zur Anzeige der Video-Daten, wobei die Steuereinrichtung konfiguriert ist,

Verschiebungsvektordaten, die nur oder überwiegend eine Bewegung des Bildsensors, aber nicht oder nur untergeordnet eine Bewegung innerhalb des Objektfeldes wiedergeben, unter kombinierter Verwendung der Sensor-Bewegungsdaten und der Bild-Bewegungsdaten zu errechnen, wobei die Bild-Bewegungsdaten, die Bewegungsveränderungen des Objektfeldes wiedergeben, anhand der Sensor-Bewegungsdaten gewichtet und/oder gefiltert werden, und die Video-Daten mittels der Verschiebungsvektordaten zu korrigieren und an die Anzeige zu leiten.

Die Erfindung nutzt die Erkenntnis, dass zur Bildstabilisierung mehrere Bewegungen gleichzeitig auftreten können. Es kann eine Bewegung des Mikroskops relativ zum Objekt vorliegen. Dies wäre beispielsweise eine Mikroskopschwingung. Es können aber auch Bewegungen des Objektes vorliegen, die entweder vollflächig oder teilweise im Bild auftreten. Ein Beispiel wären in der Operationsmikroskopie Blutgefäße, die mit der Herztätigkeit eine rhythmische Bewegung ausführen. Weiter kann es extern bewegte Elemente im Objekt geben, die üblicherweise im Vordergrund und damit möglicherweise auch unscharf auftreten. Zu denken ist im Falle der Operationsmikroskopie beispielsweise an Bewegung von chirurgischen Instrumenten oder Werkzeugen. Diese verschiedenen Komponenten bilden einen Bewegungsvektor und können durch eine Bildanalyse nicht voneinander unterschieden werden - dies gilt auch, wenn zusätzlich ein Beschleunigungssensor gemäß dem Stand der Technik verwendet werden soll, um den Bedarf für eine Bildstabilisierung zu erkennen.

Unter dem Begriff „Bewegungsvektor“ wird hier ein Vektor verstanden, der sämtliche Bewegungen in den Video-Daten wiedergibt, unabhängig davon, ob sie durch die Bewegung des Mikroskops relativ zum Objekt, durch Bewegungen des Objektes selbst oder durch Bewegungen im Vordergrund des Bildes verursacht werden. Er lässt sich aus den Bild-Bewegungsdaten ermitteln. Die „Verschiebungsvektordaten“ sind hingegen diejenigen Verschiebungsangaben, die nach der entsprechenden kombinierten Auswertung von Bild-Bewegungsdaten und Sensor-Bewegungsdaten erhalten wurden, und ausschließlich oder zu einem Anteil von mindestens 60 %, bevorzugt 70 %, ganz besonders bevorzugt 80 % und höchst bevorzugt 90 % durch Bewegungen im Objektfeld, also dem gewünschten abseparierten Anteil aus dem Bewegungsvektor, verursacht sind.

Die Korrektur kann sowohl als einfache Korrektur einer lateralen Verschiebung, als auch als komplexere Korrekturen, die unter dem Begriff Warp zusammengefasst werden können, ausgeführt werden. Die Verschiebungsvektoren bilden bevorzugt eine Matrix, welche eine komplexere Korrektur ermöglicht. Im einfachsten Fall wird der Mittelwert als laterale Verschiebung genutzt. In Verbindung mit der dritten Raumrichtung ist eine überlagerte Vergrößerungsänderung mittels Warp die Korrekturmaßnahme.

Die Erfindung kombiniert die Auswertung des Bildes und der Bewegungserfassungseinrichtung, um aus dem Bewegungsvektor diejenigen Anteile abzuseparieren, die durch eine Bewegung des Mikroskops relativ zum Objekt verursacht werden. Der Bewegungsvektor und damit die Bild-Bewegungsdaten zeigen Verschiebungen innerhalb der Video-Daten an, ist/sind also per se noch nicht hinsichtlich der interessierenden Mikroskopbewegung separiert. Durch die kombinierte Verwendung der Sensor-Bewegungsdaten und der Bild-Bewegungsdaten ist es möglich, den Bewegungsvektor anhand der Sensor-Bewegungsdaten zu gewichten und/oder filtern. Auf diese Weise werden die Verschiebungsvektordaten erzeugt, welche nurmehr eine Bewegung des Bildsensors wiedergeben, aber keine Bewegung im Objektfeld. Die Nutzung der Bewegungserfassungseinrichtung im kombinierten Ansatz ermöglicht damit eine Gewichtung bzw. ein Aussortieren von Bewegungsvektoren und damit die Abseparation des Anteils des Bewegungsvektors, der die Bewegung des Mikroskops selbst wiedergibt.

Durch die Kombination ist eine Genauigkeit erreicht, die über die Auflösung der Sensor-Bewegungsdaten hinausgeht.

Dieser Ansatz ist zudem nicht nur besonders rechensparend und mit wenig Zeitverzögerung verbunden, er hat darüber hinaus auch den weiteren Vorteil, dass eine große Vielfalt an Bewegungserfassungseinrichtungen verwendet werden kann, ohne dass die Auswertung anders ausgeführt werden müsste. Die Abseparierung des interessierenden Anteils ist gänzlich unabhängig von der Art der Bewegungserfassungseinrichtung. Damit erreicht man eine leichte Adaptierbarkeit bzw. Nachrüstungsmöglichkeit für bestehende OP-Mikroskope. Die Bewegungserfassungseinrichtung kann einen oder mehrere der folgenden Sensoren/Tech- niken verwenden: a. einen ein- bis sechsachsigen Beschleunigungssensor, der lineare Beschleunigungen entlang drei Achsen misst und sich auf der Bildaufnahmeeinheit oder dem Objekt befindet; b. eine inertialen Messeinheit, welche lineare Beschleunigungen, z.B. entlang drei Achsen sowie Rotationen um drei Achsen misst („Gyroskop“) und ggf. noch das Magnetfeld misst (9DOF-absolute orientation sensors) und sich auf der Bildaufnahmeeinheit oder dem Objekt befindet; c. eine Umfeldkamera mit weitem Blickwinkel, die ebenfalls auf der Bildaufnahmeeinheit sitzt, allerdings ein größeres oder anderes Bildfeld betrachtet (ggf. auch eine andere Richtung); d. eine weiteren Kamera oder allgemeiner ein externes Tracking-System, z.B. ein Laser- Tracking-System, welches nicht auf der Bildaufnahmeeinheit sitzt und die Bewegung der Bildaufnahmeeinheit von außen ermittelt. Hierfür können bei Bedarf auf der Bildaufnahmeeinheit zusätzlich Elemente wie Marker oder Retroreflektoren platziert werden; e. eine Projektion von Markern/Muster ausgehend von der Bildaufnahmeeinheit und die Ermittlung der relativen Position der Marker/Muster zum Bildinhalt. Dabei können die Marker und der restliche Bildinhalt entweder im gleichen oder in einem bewusst trennbaren Spektralbereich (z.B. IR) liegen; f. eine Projektion von Markern/Muster ausgehend von einem externen statischen Objekt; g. ein Tracking von markanten Objektmerkmalen mit einem separatem Trackingsystem, wie beispielsweise ein Pupillentracking bei Operationsmikroskopen in der Ophthalmologie, und h. einen zweiter Bildsensor, wie er ggf. in der Bildaufnahmeeinheit von Stereomikroskopsystemen vorhanden ist.

Bei OP-Mikroskopen ist der Bildsensor üblicherweise an einem Stativ oder Arm befestigt. Es ist dann bevorzugt, ein Schwingungsmodell des Stativs oder Arms zu verwenden, um die Verschiebungsvektordaten zu berechnen. Dieser Einsatz dient dazu, ein typisches Schwingungsverhalten des Bildsensors zugrunde zu legen, um aus diesem den Bewegungsvektor zu fil- tern/gewichten, um die Verschiebungsvektordaten zu ermitteln, die für die Korrektur der Video- Daten verwendet werden können. Das Schwingungsmodell dient nicht dazu, eine Analyse der Schwingungen auszuführen und insbesondere auf Schwingungen mit bestimmten Parametern zu prüfen. In Ausführungsformen wird das Objekt mit einer vorgegebenen Gesamtvergrößerung abgebildet und auf einem Display angezeigt. Bevorzugt wird dabei ein das Verhältnis von optischer Vergrößerung (optischer Zoom) zu digitaler Vergrößerung (digitalem Zoom) ggf. neu eingestellt.

Wurde keine Schwingung in der Ebene parallel zum Bildsensor um eine Ruhelage erkannt, so wird die vom Nutzer gewünschte Vergrößerung primär durch die optische Vergrößerung des Systems eingestellt. Hierdurch ergibt sich eine maximale Bildqualität. Wurde hingegen eine Schwingung parallel zum Bildsensor um eine Ruhelage erkannt, so kann teilweise optisch heraus- und digital hineingezoomt werden. Dadurch steht für den nachfolgenden Zyklus ein größerer Bereich auf dem Bildsensor zur Verfügung, der für nachfolgende Korrekturschritte verwendet werden kann und es ergibt sich eine optimierte Videostabilität trotz sich bewegender Bildaufnahmeeinheit.

Bei Schwingungen, die senkrecht zur Ebene des Bildfeldes, welches der Bildsensor erfasst, verlaufen, könnte eine Defokussierung auftreten. Ausführungsformen stellen deshalb bevorzugt eine Pupillenblende passend ein, denn die Pupillenblende beeinflusst bekanntermaßen die Schärfentiefe der Abbildung. Zieht man die Pupillenblende zu, erhöht sich die Schärfentiefe. Die Bildhelligkeit wird dann fachüblicher Weise durch Anpassen einer elektronischen Verstärkung konstant gehalten, d.h. beim Schließen der Pupillenblende wird die Bildverstärkung erhöht und umgekehrt. Zum Einstellen der Pupillenblende kann nun das Ergebnis der Schwingungsanalyse berücksichtigt werden. Die Blende des optischen Systems und die elektronische Verstärkung bzw. Belichtungszeit wird dann neu eingestellt. Wird keine Schwingung um eine Ruhelage senkrecht zum Bildfeld (entlang der optischen Achse) erkannt, so wird die Blende des Systems weit geöffnet, um eine bestmögliche Bildqualität zu erhalten. Wird hingegen eine Schwingung um eine Ruhelage senkrecht zum Bildfeld erkannt, so wird die Bildblende ggf. auf einen kleineren Wert eingestellt, um die Schärfentiefe zu erhöhen. Um eine ähnliche Bildhelligkeit zu erhalten, wird ggf. die elektronische Verstärkung und/oder die Belichtungszeit adaptiert.

Ähnliches gilt für die Fokusebene des optischen Systems. Auch sie ist von Schwingungen senkrecht zur Ebene des Bildfeldes betroffen, von Schwingungen in der Ebene des Bildfeldes hingegen nicht. Die Fokusebene des optischen Systems wird neu eingestellt. Wird eine Schwingung um eine Ruhelage senkrecht zum Bildfeld (entlang der optischen Achse) erkannt, so wird die Fokusebene entsprechend eines für den nächsten Belichtungszeitraum vorhergesagter Position neu eingestellt und/oder die Schärfentiefe wird durch teilweises Schließen der Blende so eingestellt, dass ein hinreichend großer/der gesamte vertikale Schwingungsbereich hinreichend scharf abgebildet wird. Das beschriebene OP-Mikroskopsystem bzw. das beschriebene Verfahren hat weiter den Vorteil, dass immer nur eine Schwingung des OP-Mikroskops erkannt wird. Eine Bewegung des Objektes wird nicht mehr fälschlich aus dem Bewegungsvektor in die Bewegungsvektordaten übernommen, wie dies beispielsweise bei einer reinen Bildanalyse der Fall sein kann. Weiter ist es nicht erforderlich, dass, wie in EP 3437547 A1 ein Bildsensor verwendet werden muss, der mehr Pixel besitzt, als die Anzeigeeinrichtung, welcher zur Darstellung des Videos verwendet wird. In Ausführungsformen haben Bildsensor und Display die gleiche Pixelzahl.

Das beschriebene Konzept erreicht weiter eine Bildstabilisierung in 3D, d.h. auch längs der optischen Achse. Eine Bildunschärfe, die von Schwingungen erzeugt wird, kann damit korrigiert werden.

Bevorzugt wird eine Filterung anhand der Sensor-Bewegungsdaten vorgenommen. Z.B. kann ein Bewegungsvektor-Bereich definiert werden, und nur Bild-Bewegungsdaten, die innerhalb dieses Bereichs liegen, werden für die Verschiebungsvektordaten verwendet. Dabei ist in der Filterung nicht nur eine Ja/Nein-Auswahl, sondern auch eine Gewichtung der Bild-Bewegungsdaten möglich, z.B. eine Abstands-Gewichtung. Auch machine learning kann zum Einsatz kommen, um die Filterung zu verbessern.

Soweit die Erfindung hier unter Bezugnahme auf ein OP-Mikroskop beschrieben wird, muss das am OP-Mikroskop ausgeführte Verfahren nicht zwingend mit einem chirurgischen oder diagnostischen Verfahren verknüpft sein. In Ausführungsformen wird kein Therapie- oder Diagnoseverfahren am lebenden, menschlichen oder tierischen Körper ausgeführt. Beispiele für solche nicht-therapeutischen und nicht-diagnostischen Einsätze eines OP-Mikroskops finden sich insbesondere in der Ophthalmologie, z.B. bei der Betrachtung des Augenhintergrundes, oder bei der Vor-Abklärung eines späteren Operationsfeldes, z.B. in der Mundhöhle, im Nasen-Rachen- raum oder im Bereich des Ohres. Gleichermaßen kann ein OP-Mikroskop auch zur Präparation eines Transplantats, d.h. am nicht-lebenden menschlichen Körper eingesetzt werden.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen, die ebenfalls erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Elementen oder Komponenten nicht dahingehend auszulegen, dass alle diese Elemente oder Komponenten zur Implementierung notwendig sind. Vielmehr können andere Ausführungsbeispiele auch alternative Elemente und Komponenten, weniger Elemente oder Komponenten oder zusätzliche Elemente oder Komponenten enthalten. Elemente oder Komponenten verschiedener Ausführungsbespiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Modifikationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein. Zur Vermeidung von Wiederholungen werden gleiche oder einander entsprechende Elemente in verschiedenen Figuren mit gleichen Bezugszeichen bezeichnet und nicht mehrmals erläutert. Von den Figuren zeigen:

Fig. 1 eine Schemadarstellung eines OP-Mikroskopsystems,

Fig. 2 ein Blockschaltbild für ein Verfahren zur Video-Stabilisierung,

Fig. 3 eine Schemadarstellung zur Erläuterung einer Erzeugung von Verschiebungsvektordaten, und

Fig. 4 und 5 Abwandlungen des Mikroskops der Fig. 1 .

Fig. 1 zeigt schematisch ein OP-Mikroskop 1 , das zusammen mit einem Beschleunigungssensor und einer Steuereinrichtung ein OP-Mikroskopsystem bildet. Das OP-Mikroskop 1 umfasst einen Mikroskopkopf 2, der an einem Arm 4 befestigt ist. Der Arm 4 ist über Gelenke 6 verstellbar, so dass die Lage des Mikroskopkopfs 2 im 3D-Raum eingestellt werden kann. Die Gelenke 6 verfügen dazu über Antriebe, um einzelne Segmente des Armes 4 gegeneinander verstellen zu können. In der Regel sind beim OP-Mikroskop 1 sechs Freiheitsgrade der Verstellung möglich, nämlich drei der Translation und drei der Rotation. Die Gelenke 6 sind hinsichtlich ihrer Antriebe mit einer Steuereinrichtung 8 verbunden, welche die Stellung des Arms 4 und damit des Mikroskopkopfs 2 einstellt. Der Mikroskopkopf 2 ist ebenfalls mit der Steuereinrichtung 8 verbunden, die einen Prozessor 8.1 sowie einen Speicher 8.2 aufweist. Sie steuert den Betrieb des OP-Mikroskops 1 und führt, wie nachfolgend noch erläutert werden wird, insbesondere eine Bildstabilisierung aus.

Der Mikroskopkopf 2 umfasst einen Bildsensor 10, auf dem mittels eines Objektivs 12, das i.d.R. als Zoom-Objektiv ausgeführt ist, ein Objekt 14, z.B. ein Teil eines Patienten, abgebildet wird, welches sich auf einem Tisch 16 befindet, üblicherweise ein OP-Tisch.

Im Mikroskopkopf 2 ist zur Einstellung eine Blende 20 vorgesehen, die als Pupillenblende ausgeführt ist und die Lichtmenge einstellt, welche durch das Objektiv 12 auf den Bildsensor 10 fällt. Üblicherweise weist das OP-Mikroskop 1 auch noch weitere Elemente auf, beispielsweise eine Beleuchtungsquelle etc. Dies ist in der Schemadarstellung der Fig. 1 nicht eingezeichnet, da für die hierzu beschreibenden Details nicht weiter relevant.

Der Mikroskopkopf 2 ist über eine nicht weiter bezeichnete Steuerleitung mit der Steuereinrichtung 8 verbunden, welche den Betrieb des OP-Mikroskops 1 am Mikroskopkopf 2 steuert, insbesondere die Aufnahme von Bilddaten durch den Bildsensor 10 und die Stellung des Objektivs 12 sowie der Pupillenblende 20. Die Steuereinrichtung 8 liest weiter den Beschleunigungssensor 18 aus, der mit dem Bildsensor 10 starr verbunden ist, so dass er die Beschleunigungen misst, welche am Bildsensor 10 auftreten.

Mit Hilfe dieses OP-Mikroskopsystems werden beim Betrieb des OP-Mikroskops 1 Video-Daten aufgenommen und von der Steuereinrichtung 8 verarbeitet und dann auf einem Display 22 angezeigt. Hierbei wird eine Video-Stabilisierung gemäß dem in Fig. 2 schematisch dargestellten Verfahren ausgeführt. In einem Schritt S1 wird die Bildinformation durch den Bildsensor 10 aufgenommen, d.h. es werden die Video-Daten erfasst, welche das Objekt 14 in einer einstellbaren Vergrößerung zeigen. Aus den Video-Daten werden Bild-Bewegungsdaten durch bekannte Bildauswertung ermittelt. Sie zeigen Bewegungen im Bild an.

Gleichzeitig dazu wird in einem Schritt S2 eine Sensor-Bewegungsinformation gewonnen, indem der Beschleunigungssensor 18 ausgelesen wird. Im Schritt S2 wird die Position des Bildsensors 10 ermittelt und die sich daraus ergebenden Sensor-Bewegungsdaten berechnet.

Im Schritt S3 wird anhand der Kombination von Bild- und Sensor-Bewegungsdaten ein möglichst exakter Verschiebungsvektor ermittelt. Dabei werden nicht nur die reinen Bilddaten aus Schritt S1 verwendet (wie in EP 3 437 547 A1 ). Auch wird die Auswertung der Bilddaten nicht lediglich von einer vorherigen Klassifikation der Sensor-Bewegungsdaten abhängig gemacht, wie es im Stand der Technik bekannt wäre. Vielmehr wird zuerst anhand der Bild-Bewegungsdaten ein Bewegungsvektor berechnet, der dann anhand der Sensor-Bewegungsdaten gewichtet und/oder gefiltert wird. Insbesondere wird in einem Schritt S4 anhand der Sensor-Bewegungsdaten ein Bewegungsvektor-Bereich gefiltert, in dem Bild-Bewegungsdaten liegen können, die wahrscheinlich von einer Bewegung des Mikroskops herrühren. Außerhalb dieses Bereichs liegende Bild-Bewegungsdaten werden unterdrückt und tragen nicht zu den Verschiebungsvektordaten bei.

In diesem Zusammenhang sei darauf hingewiesen, dass die Bild- und Sensor-Bewegungsdaten jeweils in der Regel als Bewegungsvektoren bzw. -vektorgruppe (für verschiedene Bildpunkte oder Teilobjekte) aufgefasst werden können. Die kombinierte Zusammenfassung dieser Daten erlaubt eine Gewichtung und die gewünschte Unterscheidung von Bewegungsvektoren, die nicht durch die Mikroskopbewegung herrühren. Es ist damit z. B. vermieden, dass eine globale Bewegung des beobachtenden Objekts als Bewegung der Bildaufnahmeeinheit interpretiert werden kann.

Als weitere positive Eigenschaft der Einbindung einer zweiten Information (aus einem Sensor oder einer Systeminformation) ergibt sich eine Reduzierung des notwendigen Rechenaufwandes und damit eine Reduktion der Latenz der Videoübertragung.

Im Schritt S4 erfolgt z. B. eine algorithmische Bestimmung, ob eine Schwingung um eine Ruhelage mit zu korrigierender Amplitude vorhanden ist. Die Entscheidung eines solchen Algorithmus kann beispielsweise auf folgende Informationen zurückgreifen: a. der ermittelte Verschiebungsvektor und ggf. weitere Sensordaten werden anhand der Sensor-Bewegungsdaten mit festgelegten Schwellwerten verglichen; b. der Verlauf der Verschiebungsvektoren und ggf. weitere Sensordaten werden aus dem Speicherelement werden mit einem analytischen Modell (z.B. einer exponentiell abfallenden Schwingung) verglichen; und c. der Verlauf der Verschiebungsvektoren und ggf. weitere Sensordaten werden aus dem Speicherelement werden auf bestimmte Muster untersucht, die über Methoden des maschinellen Lernens eine Aussage über das Vorhandensein einer Schwingung erlauben.

Fig. 3 zeigt schematisch eine Auswertung der Bewegungsvektoren auf Basis der Sensor-Bewegungsdaten. Es sind Bewegungswinkel in x- und y-Achse aufgetragen und die einzelnen Messpunkte sind Bewegungsvektoren 28, die sich aus den Bild-Bewegungsdaten ergeben. Nur die innerhalb des Bereiches 30 liegenden Bewegungsvektoren 28 (mit einem „+“ eingetragen) werden zur Ermittlung der Verschiebungsvektordaten herangezogen. Die x- und y-Achsen sind damit die Winkelprojektionen in der zweidimensionalen Objekteebene. Die Unterscheidung der Bewegungsvektoren „+“ und erfolgt aufgrund der Sensor-Bewegungsdaten.

Natürlich ist dieses Vorgehen nicht auf eine zweidimensionale Analyse beschränkt, sondern kann auch die dritte Dimension, d. h. die Tiefendimension eines Objektfeldes berücksichtigen. Insbesondere kann eine Vektorlänge als Maß einer Güte der einzelnen Bewegungsvektoren mit einbezogen werden, um die final zu ermittelnden Verschiebungsvektordaten (z. B. durch Mittelwertbildung) mit möglichst hoher Präzision zu erhalten.

In einem optionalen nachgelagerten Schritt S5 wird das optische System des Mikroskopkopfes 2 optimiert: a. das Verhältnis von optischer Vergrößerung (optischer Zoom 12) zu digitaler Vergrößerung (digitalem Zoom) wird ggf. neu eingestellt. Wurde keine Schwingung in der Ebene parallel zum Bildsensor 10 um eine Ruhelage erkannt, so wird die vom Nutzer gewünschte Vergrößerung primär durch die optische Vergrößerung des Systems eingestellt. Hierdurch ergibt sich eine maximale Bildqualität. Wurde hingegen eine Schwingung parallel zum Bildsensor 10 um eine Ruhelage erkannt, so kann teilweise optisch heraus- und digital hineingezoomt werden. Dadurch steht für den nachfolgenden Zyklus ein größerer Bereich auf dem Bildsensor 10 zur Verfügung, der für nachfolgende Korrekturschritte verwendet werden kann und es ergibt sich eine optimierte Videostabilität trotz sich bewegender Bildaufnahmeeinheit; b. die Blende 20 des optischen Systems und die elektronische Verstärkung bzw. Belichtungszeit wird dann neu eingestellt. Wird keine Schwingung um eine Ruhelage senkrecht zum Bildsensor 10 (entlang der optischen Achse) erkannt, so wird die Blende 20 des Systems weit geöffnet, um eine bestmögliche Bildqualität zu erhalten. Wird hingegen eine Schwingung um eine Ruhelage senkrecht zum Bildsensor 10 erkannt, so wird die Blende 20 ggf. auf einen kleineren Wert eingestellt, um die Schärfentiefe zu erhöhen. Um eine ähnliche Bildhelligkeit zu erhalten, wird ggf. die elektronische Verstärkung und/oder die Belichtungszeit adaptiert; und c. die Fokusebene des Objektivs 12 wird neu eingestellt. Wird eine Schwingung um eine Ruhelage senkrecht zum Bildsensor 10 (entlang der optischen Achse) erkannt, so wird die Fokusebene entsprechend eines für den nächsten Belichtungszeitraum vorhergesagter Position neu eingestellt und/oder die Schärfentiefe wird durch teilweises Schließen der Blende so eingestellt, dass ein hinreichend großer/der gesamte vertikale Schwingungsbereich hinreichend scharf abgebildet wird.

Zur Sensor-Bewegungserkennung kommen in Frage: a. ein ein- bis sechsachsigen Beschleunigungssensor, der lineare Beschleunigungen entlang drei Achsen misst und sich auf der Bildaufnahmeeinheit oder dem Objekt befindet; b. eine inertialen Messeinheit, welche lineare Beschleunigungen, z.B. entlang drei Achsen sowie Rotationen um drei Achsen misst („Gyroskop“) und ggf. noch das Magnetfeld misst (9DOF-absolute orientation sensors) und sich auf der Bildaufnahmeeinheit oder dem Objekt befindet; c. eine Umfeldkamera mit weitem Blickwinkel, die ebenfalls auf der Bildaufnahmeeinheit sitzt, allerdings ein größeres oder anderes Bildfeld betrachtet (ggf. auch eine andere Richtung); d. eine weiteren Kamera oder allgemeiner ein externes Tracking-System, z.B. ein Laser- Tracking-System, welches nicht auf der Bildaufnahmeeinheit sitzt und die Bewegung der Bildaufnahmeeinheit von außen ermittelt. Hierfür können bei Bedarf auf der Bildaufnahmeeinheit zusätzlich Elemente wie Marker oder Retroreflektoren platziert werden; e. eine Projektion von Markern/Muster ausgehend von der Bildaufnahmeeinheit und die Ermittlung der relativen Position der Marker/Muster zum Bildinhalt. Dabei können die Marker und der restliche Bildinhalt entweder im gleichen oder in einem bewusst trennbaren Spektralbereich (z.B. IR) liegen; f. eine Projektion von Markern/Muster ausgehend von einem externen statischen Objekt; g. ein Tracking von markanten Objektmerkmalen mit einem separatem Trackingsystem, wie beispielsweise ein Pupillentracking bei Operationsmikroskopen in der Ophthalmologie, und h. ein zweiter Bildsensor, wie er ggf. in der Bildaufnahmeeinheit von Stereomikroskopsystemen vorhanden ist.

Fig. 4 zeigt exemplarisch die Ausführungsform mit Umfeldkamera 24 bzw. (gestrichelt) mit Tracking-System 26, welches die Bewegung des Mikroskopkopfs 2 und damit des Bildsensors 10 erfasst.

Fig. 5 zeigt exemplarisch die Ausgestaltung des Mikroskops 1 als Stereo-Mikroskop, so dass ein zweiter Bildsensor 10a vorgesehen ist.

Das Verfahren beschränkt sich nicht auf die Anwendung an Operationsmikroskopen, sondern kann allgemein auch auf andere Bereiche angewendet werden, bei denen eine Bildaufnahmeeinheit an einem sich bewegenden oder schwingenden Gegenstand montiert ist und ein sich ggf. bewegendes Objekt betrachtet wird.