Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
IMAGING DEVICE HAVING EXTENDED ZOOM FUNCTIONALITY AND FOCUS TRACKING
Document Type and Number:
WIPO Patent Application WO/2024/008564
Kind Code:
A1
Abstract:
The invention relates to an imaging device (100) for the scalable visual depiction of a region (101) to be observed, in particular an operation region, having: and optical image capture apparatus (102) for capturing a recorded image of the region (101) to be observed, optical and/or electronic scaling means (108, 109) associated with the image capture apparatus (102) for scaling the captured recorded image, and an adjustable focusing apparatus (112) associated with the image capture apparatus, a robotic holding arm (103) for moving the image capture apparatus (102) relative to the region (101) to be observed, wherein the holding arm (103) is designed to provide a mechanical scaling function (110) through adaptation of an axial distance (d) between the image capture apparatus (102) and the region (101) to be observed, an input unit (106) for capturing a user-side input command for scaling the recorded image on a display unit (105), a control apparatus (115) for setting the scaling means (108,109) of the image capture apparatus (102) and the mechanical scaling function (110) of the holding arm, as well as for setting the focusing apparatus (112), wherein the control apparatus (115) is designed to carry out the setting of the mechanical scaling function (110) and the focusing apparatus (112) by controlling the holding arm (103) and the focusing apparatus (112) based only on the input command captured by the input unit (106) for scaling the recorded image.

Inventors:
KIM CHANG-HAE (DE)
KÖHLER BENEDIKT (DE)
SCHRADER STEPHAN (DE)
TODA VALERY (DE)
Application Number:
PCT/EP2023/067941
Publication Date:
January 11, 2024
Filing Date:
June 29, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
STORZ KARL SE & CO KG (DE)
International Classes:
A61B1/00; A61B34/30; A61B90/00
Foreign References:
US20210297560A12021-09-23
US11033338B22021-06-15
US8715167B22014-05-06
Download PDF:
Claims:
Patentansprüche

1. Eine bildgebende Vorrichtung (100) zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs (101 ), insbesondere eines Operationsbereichs, aufweisend: eine optische Bilderfassungseinrichtung (102) zur Erfassung eines Aufnahmebildes des zu betrachtenden Bereichs (101 ), der Bilderfassungseinrichtung (102) zugeordnete optische und/oder elektronische Skalierungsmittel (108,109) zur Skalierung des erfassten Aufnahmebildes, sowie eine der Bilderfassungseinrichtung zugeordnete, einstellbare Fokussiereinrichtung (112), einen robotischen Haltearm (103) zur Bewegung der Bilderfassungseinrichtung (102) relativ zum zu betrachtenden Bereich (101 ), wobei der Haltearm (103) zur Bereitstellung einer mechanischen Skalierungsfunktion (110) durch Adaption einer axialen Entfernung (d) zwischen Bilderfassungseinrichtung (102) und zu betrachtenden Bereich (101 ) ausgebildet ist, eine Eingabeeinheit (106) zur Erfassung eines benutzerseitigen Eingabebefehls für eine Skalierung des Aufnahmebildes auf einer Displayeinheit (105), eine Steuerungseinrichtung (115) zur Einstellung der Skalierungsmittel (108,109) der Bilderfassungseinrichtung (102) und der mechanischen Skalierungsfunktion (110) des Haltearms, sowie der Fokussiereinrichtung (112), dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, die Einstellung der mechanischen Skalierungsfunktion (110) und der Fokussiereinrichtung (112) durch eine Steuerung des Haltearms (103) und der Fokussiereinrichtung (112) lediglich basierend auf dem durch die Eingabeeinheit (106) erfassten Eingabebefehl zur Skalierung des Aufnahmebildes durchzuführen. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, eine Ansteuerung der Skalierungsmittel (108,109), der mechanischen Skalierungsfunktion (110) des Haltearms (103) und der Fokussiereinrichtung (112) basierend lediglich auf dem durch die Eingabeeinheit (106) erfassten Eingabebefehl zur Skalierung des Aufnahmebildes, und insbesondere ohne Auslesen oder Auswerten von Positions- oder Bewegungsdaten des robotischen Haltearms (103) vorzunehmen. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Eingabeeinheit (106) ausgebildet ist, einen Sollwert für die Skalierung des Aufnahmebildes zu erfassen und dass die Steuerungseinrichtung (115) ausgebildet ist, basierend auf dem von der Eingabeeinheit (106) erfassten Sollwert die Skalierungsmittel der Bilderfassungseinrichtung (108,109), die mechanische Skalierungsfunktion (110) des Haltearms (103), sowie die Fokussiereinrichtung (112) anzusteuern. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die mechanische Skalierungsfunktion (110) des Haltearms (103) durch eine Positionsveränderung der Bilderfassungseinrichtung (102) entlang deren optischer Achse (111 ) erfolgt. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass den Skalierungsmitteln (108,109) eine vorzugsweise interne Speicher- und/oder Steuereinheit zur Bereitstellung eines minimalen und maximalen Skalierungsfaktors sowie eines aktuellen Ist-Skalierungsfaktors an die Steuerungseinrichtung (115) zugeordnet ist. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Fokussiereinrichtung (112) eine vorzugsweise interne Speicher- und/oder Steuereinheit zur Bereitstellung eines minimalen und maximalen Fokuswerts/Fokuseinstellung sowie eines aktuellen Ist-Fokus- werts/Fokuseinstellung an die Steuerungseinrichtung (115) zugeordnet ist. Vorrichtung nach einem der vorgehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) und/oder eine der Fokussiereinrichtung (112) zugeordnete, vorzugsweise interne, Speicher- und/oder Steuerungseinheit ausgebildet ist, eine Fokuskennlinie der Bilder- fassungseinrichtung (102) zur Zuordnung einer jeweiligen Fokuseinstellung zu einer jeweiligen Entfernung (d) zum zu beobachtenden Bereich (101 ) bereitzustellen. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, einen durch die Eingabeeinheit (106) erfassten Sollwert für die Skalierung mit einem minimalen und maximalen Skalierungsfaktor, sowie dem Ist-Skalierungsfaktor der Skalierungsmittel (108,109) zu vergleichen und darauf basierend eine selektive oder kombinierte Ansteuerung der optischen und/oder elektronischen Skalierungsmittel (108,109) und des robotischen Haltearms (103) zur Bereitstellung der mechanischen Skalierungsfunktion (110) anzusteuern. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, bis zu einem Erreichen eines minimalen oder maximalen Skalierungsfaktors der Skalierungsmittel (108,109) zunächst die optischen und/oder elektronischen Skalierungsmittel (108,109) anzusteuern und erst anschließend eine weitere Anpassung der Skalierung durch Ansteuerung des robotischen Haltearms (103) auszuführen. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, basierend auf einem Sollwert für die Skalierung des Aufnahmebildes eine notwendige Änderung der Haltearmposition, insbesondere eine Positionsänderung der am Haltearm angeordneten Bilderfassungseinrichtung (102), entlang einer optischen Achse (111 ) der Bilderfassungseinrichtung (102) zu berechnen und basierend auf dieser Änderung der Haltearmposition, insbesondere einer Änderung der axialen Entfernung (d) zum zu betrachtenden Bereich

(101 ), eine Ansteuerung der Fokussiereinrichtung (112) vorzunehmen.

11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, bei einer Skalierung des Aufnahmebildes eine gleichzeitige und/oder nachgelagerte Ansteuerung der Fokussiereinrichtung (112) zur Nachführung des Fokus basierend auf einer hinterlegten Fokuskennlinie der jeweiligen Bilderfassungseinrichtung (102) zu bestimmen.

12. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Eingabeeinheit (106) eine variable, insbesondere auslenkungsabhängige Sollwerterfassung eines Skalierungsfaktors ermöglicht und optional zur selektiven Ansteuerung der Bilderfassungseinrichtung

(102) und/oder des beweglichen Haltearms (103) ausgebildet ist.

13. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungseinrichtung (102) ein Stereo-Exoskop mit vorzugsweise wenigstens optischen Skalierungsmitteln (108) und einer motorgetriebenen Fokussiereinrichtung (112) umfasst.

14. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der bewegliche robotische Haltearm (103) eine eigene Steuereinheit aufweist, welche zur bidirektionalen Datenkommunikation mit der Steuerungseinrichtung (115) der Vorrichtung (100) ausgebildet ist.

15. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, bei Beendi- gung einer Haltearmbewegung eine vorzugsweise einmalige, d.h. nicht kontinuierliche, Autofokusfunktion der Bilderfassungseinrichtung (102) zu aktivieren.

16. Verfahren zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs, insbesondere eines Operationsbereichs, zumindest die folgenden Schritte umfassend:

- Erfassen eines Aufnahmebildes des zu betrachtenden Bereichs (101 ) mit einer optischen Bilderfassungseinrichtung (102) zur Darstellung auf einer Displayeinheit (105),

- initiale Fokuseinstellung des erfassten Aufnahmebildes durch manuelle und/oder automatische Einstellung einer der Bilderfassungseinrichtung zugeordneten Fokussiereinrichtung (112),

- Erfassen eines Eingabebefehls für eine Skalierung des Aufnahmebildes mittels einer Eingabeeinheit (106),

- Skalierung des Aufnahmebildes auf der Displayeinheit (105) durch Einstellung von der Bilderfassungseinrichtung zugeordneten optischen und/oder elektronischen Skalierungsmitteln (108,109) und Einstellung einer mechanischen Skalierungsfunktion (110) durch Bewegung der Bilderfassungseinrichtung (102) entlang einer optischen Achse (111 ) der Bilderfassungseinrichtung (102) mittels eines robotischen Haltearms (103),

- Fokussieren des skalierten Aufnahmebildes durch Einstellung der Fokussiereinrichtung (112), dadurch gekennzeichnet, dass die Einstellung der mechanischen Skalierungsfunktion (110) und der Fokussiereinrichtung (112), durch eine Steuerung des Haltearms (103) und der Fokussiereinrichtung (112) lediglich basierend auf dem durch die Eingabeeinheit (106) erfassten Eingabebefehl zur Skalierung des Aufnahmebildes erfolgt.

17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass bei einer Skalierung des Aufnahmebildes und Einstellung der Fokussiereinrichtung (112) eine Ansteuerung der Skalierungsmittel (108,109), des robotischen Haltearms (103) und der Fokussiereinrichtung (112) lediglich basierend auf dem durch die Eingabeeinheit (106) erfassten Eingabebefehl zur Skalierung des Aufnahmebildes und insbesondere ohne Auslesen oder Auswerten von Positions- oder Bewegungsdaten des robotischen Haltearms (103) erfolgt.

18. Verfahren nach Anspruch 16 oder 17, dadurch gekennzeichnet, dass eine Skalierung des Aufnahmebildes und ein Fokussieren des Aufnahmebildes vorzugsweise gleichzeitig oder sequenziell erfolgen.

19. Verfahren nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass basierend auf einem erfassten Sollwert für eine Skalierung des Aufnahmebildes zunächst eine Skalierung durch Ansteuerung der Skalierungsmittel (108,109) der Bilderfassungseinrichtung (102) und erst bei Überschreiten eines maximalen Skalierungsfaktors der Bilderfassungseinrichtung eine Skalierung durch Veränderung der axialen Entfernung (d) zwischen Bilderfassungseinrichtung (102) und dem zu betrachtenden Bereich (101 ) durch Haltearmpositionsänderung erfolgt.

20. Verfahren nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, dass eine Ansteuerung der Fokussiereinrichtung (112) bei Veränderung der Haltearmposition wenigstens die folgenden weiteren Schritte umfasst:

- Bestimmung einer initialen Fokuseinstellung vor Ausführung einer Bewegung des Haltearms (103),

- Berechnung der notwendigen Veränderung der Haltearmposition entlang der optischen Achse (111 ) der Bilderfassungseinrichtung (102) zur Bereitstellung des erfassten Sollwerts für die Skalierung des Aufnahmebildes,

- Berechnung eines Sollwerts für die Fokuseinstellung basierend auf der berechneten Veränderung der Haltearmposition und auf Basis einer für die Bilderfassungseinrichtung (102) hinterlegten Fokuskennlinie,

- Ansteuerung der Fokussiereinrichtung (112) zur Einstellung des ermittelten Sollwerts.

Description:
Bildgebende Vorrichtung mit erweiterter Zoomfunktionalität und Fokusnachführung

Die vorliegende Erfindung betrifft eine bildgebende Vorrichtung und ein Verfahren zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs, insbesondere eines Operationsbereichs, mit einer erweiterten Zoomfunktionalität und einer optimierten Fokusnachregelung.

Endoskope und Exoskope für den Einsatz bei diagnostischen oder chirurgischen Eingriffen am Patienten sind aus dem Stand der Technik wohl bekannt. Das Endoskop oder Exoskop ist manchmal an einem motorisierten Haltearm angeordnet, welcher durch den Anwender derart platziert wird, dass eine Kameraeinheit des Endoskops oder Exoskops den zu erfassenden Bereich, üblicherweise einen Operationssitus, für den behandelnden Chirurgen geeignet darstellt. Das erfasste Bild wird dann auf einer geeigneten Abbildungseinheit wie einem Bildschirm als Livebild ausgegeben. Ein Abstand zwischen Haltearm und Patient wird im Allgemeinen derart gewählt, dass einerseits der dargestellte Bildausschnitt für den Chirurgen geeignet und gleichzeitig ein guter Zugang zum Patienten gewährleistet ist. Sobald eine geeignete Platzierung und Ausrichtung des Haltearms und daran angeordnetem Endoskop oder Exoskop gefunden ist, wird üblicherweise manuell ein Fokus der Kameraeinheit eingestellt.

Weiterhin ist es Stand der Technik, dass die jeweilige Kameraeinheit des Endoskops oder Exoskops mit Skalierungsmitteln, insbesondere einem optischen oder elektronischen bzw. digitalen Zoom, ausgestattet ist, mit welchen der Anwender vor und/oder während einer Behandlung oder eines Eingriffs eine Abbildung des erfassten Bereichs je nach Bedarf vergrößern oder verkleinern kann. Zur Erweiterung eines Zoombereichs ist es ebenfalls bereits bekannt, zusätzlich zu Skalierungsmitteln der Kameraeinheit eine mechanische Skalierungsfunktion durch eine Veränderung der Haltearmposition entlang einer optischen Achse eines Endoskops und somit durch Veränderung einer Distanz zwischen Kameraeinheit und erfassten Bereich bereitzustellen.

Eine Herausforderung stellt jedoch die Neueinstellung oder Nachführung einer Fokuseinstellung der Kameraeinheit dar, da insbesondere bei mikroskopischen Objektiven die Schärfentiefe sehr gering ist, so dass mithin bereits eine kleine Positionsänderung des Haltearms relativ zum erfassten Bereich bzw. zum Ope- rationssitus zu einer Unschärfe führen kann. So birgt beispielsweise die Bereitstellung eines kontinuierlichen Autofokus das Risiko einer unerwünscht pulsierenden Bildschärfe oder die Scharfstellung eines unerwünschten Teilbereichs innerhalb des erfassten Gesamtbereichs.

Eine manuelle oder anwenderausgelöste Fokuseinstellung ist ebenfalls nachteilig, da der Anwender während eines Eingriffs oder einer Behandlung meist beide Hände an den Instrumenten am Situs hat und eine zusätzliche manuelle Bedienung der Vorrichtung unerwünscht ist.

Die US 11 ,033,338 B2 offenbart beispielsweise ein bildgebendes System, aufweisend ein Endoskop mit einem Kamerakopf zur Bilderfassung und ein damit verbundenes Display zur vergrößerten Darstellung eines erfassten Bildbereichs bei einem endoskopischen Eingriff, wobei das Endoskop an einem beweglichen Haltearm angeordnet ist. Das System weist eine Steuerungseinrichtung zur Ansteuerung des Kamerakopfs am Endoskop und eine Steuerungseinrichtung zur Ansteuerung des Haltearms auf, wobei der Kamerakopf zur Bereitstellung eines optischen und elektronischen Zooms ausgebildet ist. Zusätzlich zur optischen und elektronischen Skalierungsfunktion des Kamerakopfes wird eine mechanische Skalierungsfunktion durch Veränderung der Haltearmposition entlang einer optischen Achse des Endoskops bereitgestellt. Eine jeweilige Anpassung der Fokuseinstellung des Kamerakopfes erfolgt mittels Autofokuseinrichtung, welche die oben ausgeführten Nachteile birgt. Die US 8,715,167 B1 offenbart ein telechirurgisches System für minimalinvasive Eingriffe, umfassend eine Eingabevorrichtung und ein damit verbundenes Robotersystem, aufweisend einen ersten Manipulator mit einem daran befestigten Endoskop zur optischen Bilderfassung, welches mit einer Eingabekonsole des telechirurgischen Systems zur Bilddarstellung verbunden ist, sowie einen zweiten Manipulator, welcher zur Halterung und Führung eines chirurgischen Instruments ausgebildet ist, und welcher mit einem Eingabegerät an der Eingabekonsole verbunden ist. Das telechirurgische System ist zur Änderung eines Fokus und eines Skalierungsfaktors als Reaktion auf eine Bewegung des Robotersystems ausgebildet, beispielsweise um ein Fokussieren der Bilderfassungseinrichtung bei geändertem Abstand zu einem zu erfassenden Objekt aufrechtzuerhalten. Hierbei umfasst das Robotersystem mehrere Sensoren, welche eine Bewegung der Robotersystemelemente überwachen, eine Distanzänderung gegenüber einem initialen Fokuspunkt in einem Koordinatensystem des Robotersystems ermitteln und basierend darauf eine Anpassung der Fokuseinstellung der Bilderfassungseinrichtung vornehmen. Dies ermöglicht zwar einerseits eine genaue Positionserfassung und darauf basierte Anpassung der Fokuseinstellung, andererseits ist hierfür eine Vielzahl von Sensoren am Robotersystem und eine zugehörige Informationsüberwachung jeder dieser Sensoren notwendig, was nicht nur einen erhöhten Hardwareaufwand, sondern auch eine erhöhte Fehleranfälligkeit bei der davon unmittelbar abhängigen Fokuseinstellung mit sich bringt.

Die Aufgabe der vorliegenden Erfindung besteht mithin darin, die vorstehend genannten Nachteile des Standes der Technik wenigstens teilweise zu überwinden. Insbesondere ist es Aufgabe der Erfindung, eine verbesserte bildgebende Vorrichtung und ein entsprechendes Verfahren bereitzustellen, welche bzw. welches eine skalierbare Abbildung eines Operationsbereichs mit erweiterter Zoomfunktionalität unter gleichzeitiger Bereitstellung einer einfachen und effektiven Nachführung der Bildschärfe der Abbildung ermöglicht.

Die vorstehend genannte Aufgabe wird durch eine Vorrichtung mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Ferner wird die Aufgabe durch ein erfindungsgemäßes Verfahren mit den Merkmalen des unabhängigen Anspruchs 16 gelöst.

Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. In den Rahmen der Erfindung fallen sämtliche Kombinationen aus mindestens zwei in der Beschreibung, den Ansprüchen und/oder den Figuren offenbarten Merkmalen. Es versteht sich, dass Ausführungsbeispiele und Ausführungsformen, die in Bezug auf die Vorrichtung gemäß Anspruch 1 beschrieben werden, sich in äquivalenter, wenn auch nicht wortgleicher Form auf das Verfahren nach Anspruch 16 beziehen können, ohne für dieses explizit genannt zu werden. Es versteht sich zudem, dass auch sprachübliche Umformungen und/oder ein sinngemäßes Ersetzen von jeweiligen Begriffl ichkeiten im Rahmen der üblichen sprachlichen Praxis, insbesondere das Verwenden von durch die allgemein anerkannte Sprachliteratur gestützten Synonymen, von dem vorliegenden Offenbarungsgehalt umfasst sind, ohne in ihrer jeweiligen Ausformulierung explizit erwähnt zu werden.

Gemäß einem ersten Aspekt der Erfindung wird eine bildgebende Vorrichtung zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs, insbesondere eines Operationsbereichs, vorgeschlagen. Die Vorrichtung umfasst eine optische Bilderfassungseinrichtung zur Erfassung eines Aufnahmebildes des zu betrachtenden Bereichs, der Bilderfassungseinrichtung zugeordnete optische und/oder elektronische Skalierungsmittel zur Skalierung des erfassten Aufnahmebildes, sowie eine der Bilderfassungseinrichtung zugeordnete, einstellbare Fokussiereinrichtung, einen robotischen Haltearm zur Bewegung der Bilderfassungseinrichtung relativ zum zu betrachtenden Bereich, wobei der Haltearm zur Bereitstellung einer mechanischen Skalierungsfunktion durch Adaption einer axialen Entfernung zwischen Bilderfassungseinrichtung und dem zu betrachtenden Bereich ausgebildet ist, eine Eingabeeinheit zur Erfassung eines benutzerseitigen Eingabebefehls für eine Skalierung des Aufnahmebildes auf einer Displayeinheit, und eine Steuerungseinrichtung zur Einstellung der Skalierungsmittel der Bilderfassungseinrichtung und der mechanischen Skalierungsfunktion des Haltearms, sowie der Fokussiereinrichtung. Erfindungsgemäß ist die Steuerungseinrichtung derart ausgebildet, eine Einstellung der mechanischen Skalierungsfunktion und der Fokussiereinrichtung durch eine Steuerung bzw. Ansteuerung des Haltearms und der Fokussiereinrichtung lediglich basierend auf dem durch die Eingabeeinheit erfassten Eingabebefehl zur Skalierung des Aufnahmebildes, insbesondere einem erfassten Soll-Wert für die Skalierung, durchzuführen.

Gemäß einem zweiten Aspekt der Erfindung wird ein Verfahren zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs, insbesondere eines Operationsbereichs, vorgeschlagen. Das Verfahren umfasst zumindest die Schritte: Erfassen eines Aufnahmebildes des zu betrachtenden Bereichs mit einer optischen Bilderfassungseinrichtung zur Darstellung auf einer Displayeinheit; initiale Fokuseinstellung des erfassten Aufnahmebildes durch manuelle und/oder automatische Einstellung einer der Bilderfassungseinrichtung zugeordneten Fokussiereinrichtung; Erfassen eines Eingabebefehls für eine Skalierung des Aufnahmebildes mittels einer Eingabeeinheit; Skalierung des Aufnahmebildes auf der Displayeinheit durch Einstellung von der Bilderfassungseinrichtung zugeordneten optischen und/oder elektronischen Skalierungsmitteln und Einstellung einer mechanischen Skalierungsfunktion durch Bewegung der Bilderfassungseinrichtung entlang einer optischen Achse der Bilderfassungseinrichtung mittels eines robotischen Haltearms; Fokussieren des skalierten Aufnahmebildes durch Einstellung der Fokussiereinrichtung.

Im Gegensatz zum Stand der Technik erfolgt erfindungsgemäß die Einstellung der mechanischen Skalierungsfunktion durch Bewegung des Haltearms und der Fokussiereinrichtung zur Nachführung eines Fokus bzw. einer Bildschärfe des Aufnahmebildes durch eine Steuerung der Fokussiereinrichtung lediglich basierend auf dem erfassten Eingabebefehl zur Skalierung des Aufnahmebildes. Hierunter wird verstanden, dass abweichend zu einer aus dem Stand der Technik bekannten Regelung von Haltearmbewegung und entsprechender Fokusnach- führung keine weiteren Eingangsgrößen, insbesondere keine Ist-Werte für Positions- oder Bewegungsdaten des Haltearms, als Rückführungswerte für eine darauf basierte Regelung der mechanischen Skalierungsfunktion und der Fokussiereinrichtung erfasst werden. In anderen Worten erfolgt die vorliegende Steuerung bzw. Ansteuerung der mechanischen Skalierungsfunktion und der Fokussiereinrichtung ohne bzw. unabhängig von einer Erfassung von Rückführungswerten, insbesondere ohne Erfassung von weiteren Eingangsgrößen oder -werten, insbesondere ohne Erfassung von beispielsweise durch entsprechende Sensorik detektierbare Ist-Werte für Positions- oder Bewegungsdaten des Haltearms.

Erfindungsgemäß wird hierdurch eine verbesserte bildgebende Vorrichtung und ein entsprechendes Verfahren bereitgestellt, welche bzw. welches eine skalierbare Abbildung eines Operationsbereichs mit erweiterter Skalierungs- bzw. Zoomfunktionalität ermöglicht, und gleichzeitig eine einfache und effektive bzw. effiziente Steuerung der System komponenten und insbesondere Einstellung des Haltearms und Nachführung der Bildschärfe der Abbildung erlaubt. Dabei kann eine deutlich schnellere und hinreichend genaue Nachführung der Fokuseinstellung basierend auf der gemessenen Eingangsgröße erfolgen, ohne dass eine Regelung basierend auf einer Ermittlung von Ist-Werten, insbesondere für Positions- oder Bewegungsdaten des Haltearms, bereitgestellt werden muss.

Dies ist unabhängig von einer möglichen internen Regelung des robotischen Haltearms oder der Fokussiereinheit, die jeweils für sich genommen auch aus Sicherheitsgründen während der Bewegung ihre eigenen Ist- und Soll-Positionen messen und abgleichen können. Eine Verwendung solcher Informationen für die Steuerung der jeweils anderen Komponente findet jedoch nicht statt.

In einer bevorzugten Ausführungsform ist die Steuerungseinrichtung ausgebildet, eine Steuerung bzw. Ansteuerung der Skalierungsmittel der Bilderfassungseinrichtung, der mechanischen Skalierungsfunktion des Haltearms und der Fokussiereinrichtung lediglich basierend auf dem durch die Eingabeeinheit erfassten Eingabebefehl zur Skalierung des Aufnahmebildes und insbesondere ohne Aus- lesen oder Auswerten von Positions- oder Bewegungsdaten des robotischen Haltearms zur Bereitstellung einer Regelungsgröße durchzuführen. Dabei erfolgt eine Ansteuerung sowohl der Skalierungsmittel des robotischen Haltearms und der Fokussiereinrichtung lediglich basierend auf dem erfassten Eingabebefehl und somit nicht basierend auf weiteren Regelungswerten, insbesondere ohne Erfassung von Positions- oder Bewegungsdaten des robotischen Haltearms.

Die Steuerungseinrichtung ist vorzugsweise weiterhin derart ausgebildet, einen Sollwert für die Skalierung des Aufnahmebildes bzw. eine gewünschte Änderung der Skalierung des Aufnahmebildes zu erfassen und basierend auf dem von der Eingabeeinheit erfassten Sollwert die Skalierungsmittel der Bilderfassungseinrichtung, die mechanische Skalierungsfunktion des Haltearms, sowie die Fokussiereinrichtung anzusteuern. Hierbei erfolgt vorzugsweise eine Berechnung von jeweiligen Soll-Werten für die Einstellung der Skalierungsmittel, der mechanischen Skalierungsfunktion und der Fokussiereinrichtung basierend auf dem erfassten Soll-Wert für eine gewünschte Skalierung des Aufnahmebildes, wobei die Steuerungseinrichtung anschließend eine entsprechende Einstellung der einzelnen Komponenten auf Basis der berechneten Soll-Werte durchführt.

In einer bevorzugten Ausführungsform erfolgt die mechanische Skalierungsfunktion des Haltearms vorzugsweise ausschließlich durch eine Positionsveränderung der Bilderfassungseinrichtung entlang deren optischer Achse. Hierbei wird eine axiale Entfernung, d.h. eine Entfernung entlang der optischen Achse der Bilderfassungseinrichtung, zwischen Bilderfassungseinrichtung und dem zu betrachtenden Bereich verändert.

Die Bilderfassungseinrichtung ist vorteilhaft an einem vorzugsweise endseitig angeordneten Halteelement oder Manipulator des robotischen Haltearms angeordnet. Das endseitig angeordnete Halteelement bzw. ein Manipulator des robotischen Haltearms ist dabei vorzugsweise basierend auf einer Benutzereingabe mittels einer zugeordneten Eingabeeinrichtung beweglich. Die zugeordnete Ein- gabeeinrichtung kann die vorrichtungsseitige Eingabeeinheit sein, welche selektiv zur beweglichen Steuerung des robotischen Haltearms, zusätzlich zu einer Ansteuerung der mechanischen Skalierungsfunktion, ausgebildet sein kann. Es versteht sich, dass auch eine separate Eingabeeinheit zur Ansteuerung des Haltearms vorgesehen sein kann.

In einer bevorzugten Ausführungsform ist der Haltearm und/oder die Steuerungseinrichtung derart ausgebildet, dass eine Änderung der axialen Entfernung zwischen Bilderfassungseinrichtung und zu betrachtenden Bereich lediglich bei der Bereitstellung der mechanischen Skalierungsfunktion möglich ist. Mit anderen Worten ist der Haltearm und/oder die Steuerungseinrichtung derart ausgebildet, dass eine Änderung der axialen Entfernung zwischen Bilderfassungseinrichtung und zu betrachtenden Bereich durch die vorrichtungsseitige Eingabeeinheit oder eine separate Eingabeeinheit zur Ansteuerung des Haltearms außerhalb der Ansteuerung zur Bereitstellung der mechanischen Skalierungsfunktion verhindert wird bzw. gesperrt ist. Der Haltearm und/oder die Steuerungseinrichtung sind hierbei vorzugsweise derart ausgebildet, dass ein endseitig angeordnetes Halteelement oder ein Manipulator des robotischen Haltearms, an welchem die Bilderfassungseinrichtung angeordnet ist, durch die Eingabeeinheit in einer oder mehreren Dimensionen um den zu betrachtenden Bereich bewegt und/oder rotiert werden kann, wobei die axiale Entfernung zwischen Bilderfassungseinrichtung und zu betrachtenden Bereich konstant gehalten wird. Der robotische Haltearm und/oder die Steuerungseinrichtung sind dabei vorzugsweise derart ausgebildet, dass die an dem Haltearm angeordnete Bilderfassungseinrichtung insbesondere auf einer beispielsweise kugelförmigen Fläche um den zu betrachtenden Bereich, insbesondere einen Operationssitus oder einen Trokar, bewegt werden kann, unter Beibehaltung einer konstanten axialen Entfernung zwischen Bilderfassungseinrichtung und zu betrachtenden Bereich.

Die Steuerungseinrichtung der Vorrichtung kann eine zentrale Steuerungseinrichtung sein, welche wenigstens mit der Eingabeeinheit, der Bilderfassungseinrichtung und dem robotischen Haltearm verbunden ist. Weiterhin kann die Steu- erungseinrichtung wenigstens eine separate Steuereinheit, insbesondere zur Ansteuerung des robotischen Haltearms, umfassen oder selektiv mit dieser verbindbar sein. Hierbei ist die separate Steuereinheit zur vorzugsweise bidirektionalen Datenkommunikation mit der Steuerungseinrichtung der Vorrichtung ausgebildet.

In einer bevorzugten Ausführungsform ist den Skalierungsmitteln eine vorzugsweise interne Speicher- und/oder Steuereinheit zur Bereitstellung eines minimalen und maximalen Skalierungsfaktors sowie eines aktuellen Ist-Skalierungsfak- tors an die Steuerungseinrichtung der Vorrichtung zugeordnet. Unter Skalierungsfaktor wird vorliegend ein Vergrößerungs- oder Verkleinerungsfaktor bzw. Zoomfaktor des erfassten Aufnahmebildes verstanden.

Ein jeweiliger minimaler und maximaler Skalierungsfaktor kann hierbei für eine jeweilige Bilderfassungseinrichtung in der Speicher- und/oder Steuereinheit hinterlegt sein. Dabei kann ein jeweiliger minimaler und maximaler Skalierungsfaktor insbesondere abhängig von einer jeweiligen Optik der Bilderfassungseinrichtung und/oder eines jeweiligen Bildsensors der Bilderfassungseinrichtung sein. So kann die Bilderfassungseinrichtung beispielsweise eine wechselbare Optik aufweisen, wobei für unterschiedliche Optiken jeweils unterschiedliche Sets für einen minimalen und maximalen Skalierungsfaktor in der Speicher- und/oder Steuereinheit hinterlegt oder hinterlegbar sein können. Die minimalen und/oder maximalen Grenzen können insbesondere einer jeweiligen Unter- und/oder Obergrenze für die Verkleinerung bzw. Vergrößerung eines Zoomobjektivs entsprechen, welche abhängig von den eingesetzten Linsen und deren möglichen Verfahrwegen im Objektiv sind.

Weiterhin kann abhängig von einem jeweiligen Bildsensor und insbesondere abhängig von einer Bildqualität des Bildsensors ein jeweils unterschiedlicher elektronischer bzw. digitaler Skalierungsfaktor hinterlegt oder hinterlegbar sein. In einer weiterhin bevorzugten Ausführungsform können die Werte für einen minimalen und maximalen Skalierungsfaktor für die optischen und/oder elektronischen Skalierungsmittel auch konfigurierbar, insbesondere durch eine Benutzereingabe anpassbar sein.

Die optischen Skalierungsmittel können insbesondere eine motorisch ansteuerbare Vergrößerungsoptik der Bilderfassungseinrichtung umfassen, zur Bereitstellung einer selektiv einstellbaren, optischen Vergrößerung bzw. Zoomfunktionalität der Bilderfassungseinrichtung.

Die elektronischen Skalierungsmittel können insbesondere eine softwarebasierte Vergrößerung und/oder Verkleinerung bzw. Zoomfunktionalität des erfassten Aufnahmebildes, d.h. ein sogenanntes Digitalzoom, umfassen.

Die Fokussiereinrichtung der Vorrichtung ist vorzugsweise eine der Bilderfassungseinrichtung zugeordnete, selektiv und vorzugsweise motorgetrieben einstellbare Fokusoptik zur Einstellung der Bildschärfe des erfassten Aufnahmebildes. In einer bevorzugten Ausführungsform ist der Fokussiereinrichtung eine vorzugsweise interne Speicher- und/oder Steuereinheit zur Bereitstellung eines minimalen und maximalen Fokuswerts bzw. einer Fokuseinstellung sowie eines aktuellen Ist-Fokuswerts bzw. einer Ist-Fokuseinstellung an die Steuerungseinrichtung zugeordnet. Die Fokuseinstellung umfasst hierbei insbesondere eine Position der Fokuslinse in einer Optik der Bilderfassungseinrichtung. Die jeweiligen Werte können hierbei analog zu den obigen Ausführungen für einen Skalierungsfaktor für eine jeweilige Bilderfassungseinrichtung in der Speicher- und/oder Steuereinheit hinterlegt sein. Dabei kann ein jeweiliger minimaler und maximaler Fokuswert bzw. eine Fokuseinstellung insbesondere abhängig von einer jeweiligen Optik der Bilderfassungseinrichtung und/oder eines jeweiligen Bildsensors der Bilderfassungseinrichtung sein.

In einer bevorzugten Ausführungsform ist die der Fokussiereinrichtung zugeordnete, vorzugsweise interne, Speicher- und/oder Steuereinheit ausgebildet, eine Fokuskennlinie der jeweiligen Bilderfassungseinrichtung zur Zuordnung einer je- weiligen Fokuseinstellung zu einer jeweiligen Vergrößerung durch die Skalierungsmittel der Bilderfassungseinrichtung und/oder einer jeweiligen Entfernung zum zu beobachtenden Bereich, insbesondere bei der mechanischen Skalierungsfunktion, bereitzustellen. Die Fokuskennlinie umfasst hierbei vorzugsweise eine Kurve bzw. Kennlinie, aus welcher eine jeweilige Fokuslinsenposition gegenüber einer jeweiligen Distanz zum zu betrachtenden Bereich zur Scharfstellung der Optik bzw. des erfassten Aufnahmebildes hervorgeht. Die jeweilige Fokuskennlinie kann hierbei einer jeweiligen Bilderfassungseinrichtung mit zugeordneter Fokuslinse in der Speicher- und/oder Steuereinheit zugeordnet sein, wobei die jeweiligen Einstellungswerte für eine der Bilderfassungseinrichtung zugeordnete Fokuslinse vordefiniert sein können und/oder basierend auf empirischen Messdaten mit der jeweiligen Bilderfassungseinrichtung und dem damit verbundenen robotischen Halterarm eingelernt bzw. einlernbar sind.

In einer bevorzugten Ausführungsform ist die Steuerungseinrichtung ausgebildet, einen durch die Eingabeeinheit erfassten Sollwert für die Skalierung mit einem minimalen und maximalen Skalierungsfaktor, sowie einem bereitgestellten Ist- Skalierungsfaktor der Skalierungsmittel, d.h. einem derzeitigen Zoomfaktor der Skalierungsmittel, zu vergleichen und darauf basierend eine selektive oder kombinierte Ansteuerung der optischen und/oder elektronischen Skalierungsmittel sowie des robotischen Haltearms zur Bereitstellung der mechanischen Skalierungsfunktion anzusteuern. Hierbei kann die Steuerungseinrichtung weiterhin ausgebildet sein, basierend auf dem erfassten Sollwert für die Skalierung und einem Vergleich mit einem derzeitigen Ist-Skalierungsfaktor der Skalierungsmittel eine präferierte Ansteuerung der optischen und/oder elektronischen Skalierungsmittel und/oder der mechanischen Skalierungsfunktion durchzuführen. In einer besonders bevorzugten Ausführungsform ist die Steuerungseinrichtung ausgebildet, bis zu einem Erreichen eines minimalen oder maximalen Skalierungsfaktors der Skalierungsmittel zunächst die optischen und/oder elektronischen Skalierungsmittel anzusteuern und erst anschließend eine weitere Anpassung der Skalierung durch Ansteuerung des robotischen Haltearms und somit durch die mechanische Skalierungsfunktion auszuführen. Zur Bereitstellung der mechanischen Skalierungsfunktion ist die Steuerungseinrichtung vorzugsweise ausgebildet, basierend auf dem erfassten Eingabebefehl, insbesondere basierend auf einem Sollwert für die Skalierung des Aufnahmebildes, eine notwendige Änderung der Haltearmposition, insbesondere eine Positionsänderung der am Haltearm angeordneten Bilderfassungseinrichtung, entlang einer optischen Achse der Bilderfassungseinrichtung zu berechnen. Hierbei ist die Steuerungseinrichtung vorzugsweise ausgebildet, einen oder mehrere Soll- Werte für eine Bewegung, insbesondere eine Positionsänderung des robotischen Haltearms entlang der optischen Achse der Bilderfassungseinrichtung zu deren Positionsänderung auszugeben. Die jeweilige Positionsänderung kann anschließend durch Ansteuerung des robotischen Haltearms durch die Steuerungseinrichtung selbst oder eine separate Steuereinheit des robotischen Haltearms erfolgen, an welche die Soll-Werte bereitgestellt oder übertragen werden. Weiter bevorzugt ist die Steuerungseinrichtung dabei derart ausgebildet, basierend auf der berechneten Änderung der Haltearmposition, insbesondere einer Änderung der axialen Entfernung zum zu betrachtenden Bereich, eine Ansteuerung der Fokussiereinrichtung und insbesondere eine Einstellung der Position der Fokuslinse der Bilderfassungseinrichtung vorzunehmen. Eine Ansteuerung der Fokussiereinrichtung erfolgt hierbei vorzugsweise unter Auslesen einer hinterlegten Fokuskennlinie der Bilderfassungseinrichtung, wie vorgehend beschrieben.

Die Steuerungseinrichtung kann derart ausgebildet sein, bei einer Skalierung des Aufnahmebildes durch Einstellung der optischen und/oder elektronischen Skalierungsmittel und/oder der mechanischen Skalierungsfunktion eine gleichzeitige und/oder nachgelagerte Ansteuerung der Fokussiereinrichtung zur Nachführung des Fokus und vorzugsweise basierend auf einer hinterlegten Fokuskennlinie der jeweiligen Bilderfassungseinrichtung zu bestimmen.

In einer bevorzugten Ausführungsform ist die Eingabeeinheit der Vorrichtung derart ausgebildet, dass diese eine variable, insbesondere auslenkungsabhängige Sollwerterfassung eines Skalierungsfaktors ermöglicht. Die Eingabeeinheit umfasst vorzugsweise Eingabemittel mit mehreren Freiheitsgraden, welche zur Erfassung einer Auslenkung in eine jeweilige Richtung ausgebildet sind. Insbesondere kann die Eingabeeinheit einen 3D-Joystick umfassen, der neben einer Erfassung von lateralen Eingabebefehlen in einer ersten Bewegungsebene, eine Erfassung von vertikalen Eingabebefehlen in einer Richtung senkrecht zur ersten Bewegungsebene ermöglicht. Weiterhin kann der 3D-Joystick zur Erfassung einer Auslenkung um eine vertikale Rotationsachse und/oder eine vorzugsweise senkrecht dazu angeordnete Kippachse ausgebildet sein. Eine Sollwerterfassung für den Skalierungsfaktor kann vorzugsweise durch Erfassung eines vertikalen Eingabebefehls, insbesondere in eine erste Richtung zur Verkleinerung und in eine zweite, zur ersten entgegengesetzte, Richtung zur Vergrößerung, erfolgen. Die Eingabeeinheit kann von einem Anwender mit der Hand oder mit einem Fuß bedient werden.

Die Eingabeeinheit kann weiterhin zur selektiven Ansteuerung der Bilderfassungseinrichtung und/oder des beweglichen Haltearms ausgebildet sein. Hierbei kann die Eingabeeinheit beispielsweise eine selektive Eingabefunktion aufweisen, beispielsweise eine manuell bedienbare Taste oder Fußschalter, mittels welcher zwischen einer Steuerung des Haltearms durch die Eingabeeinheit, insbesondere zur Lage- und/oder Positionsänderung des Haltearms, und einer Erfassung eines gewünschten Skalierungsfaktors bzw. einer Erfassung einer Anpassung des derzeitigen Skalierungsfaktors unterschieden werden kann.

In einer bevorzugten Ausführungsform ist die Bilderfassungseinrichtung ein an sich bekanntes Stereo-Exoskop. Das Stereo-Exoskop weist vorzugsweise wenigstens optische, ansteuerbare Skalierungsmittel, insbesondere ein optisches Zoom, sowie eine motorgetriebene Fokussteuerung auf. Die Bilderfassungseinrichtung kann weiterhin eine distal angeordnete Spiegeleinheit für eine 90° Umlenkung der Blick- bzw. Erfassungsrichtung aufweisen. Die Spiegeleinheit kann optional beweglich bzw. rotierbar ausgeführt sein. Die Bilderfassungseinrichtung kann beispielsweise zwei bis vier Bildsensoren aufweisen, welche zur Erfassung eines (Stereo-)Aufnahmebildes mit einer Auflösung von vorzugsweise 4K oder höher ausgebildet sind.

In einer weiteren bevorzugten Ausführungsform umfasst die Bilderfassungseinrichtung eine Autofokusfunktion, welche durch die Steuerungseinrichtung aktivierbar und/oder ansteuerbar ist. Beispielsweise kann die Steuerungseinrichtung ausgebildet sein, nach Beendigung einer Haltearmbewegung eine, vorzugsweise einmalige, d.h. nicht kontinuierliche, Autofokusfunktion der Bilderfassungseinrichtung zu aktivieren. Da die vorliegende Ansteuerung der mechanischen Skalierungsfunktion bzw. des Haltearms ohne Rückführung von Sensordaten eines Haltearms erfolgt, ist die Steuerungseinrichtung hierbei beispielweise derart ausgebildet, dass basierend auf den jeweils berechneten Sollwerten für eine Bewegung des Haltearms eine zeitliche Abschätzung erfolgt, wie lange der robotische Haltearm für die Umsetzung der gewünschten bzw. berechneten Bewegung benötigt, und basierend hierauf eine Ansteuerung der Autofokusfunktion nach Ablauf des zuvor berechneten Zeitintervalls erfolgt.

Eine Autofokusfunktion der Bilderfassungseinrichtung kann dabei mit an sich bekannten Mitteln verwirklicht sein, insbesondere kann die Autofokusfunktion eine Kontrastmessung, einen Phasenvergleich oder eine aktive Entfernungsmessung umfassen.

In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens erfolgt eine Skalierung und Einstellung der Fokussiereinrichtung bzw. Fokusnachführung des Aufnahmebildes durch Ansteuerung der Skalierungsmittel, des ro- botischen Haltearms und der Fokussiereinrichtung lediglich basierend auf dem durch die Eingabeeinheit erfassten Eingabebefehl zur Skalierung des Aufnahmebildes und insbesondere ohne Auslesen oder Auswerten von Positions- oder Bewegungsdaten des robotischen Haltearms. Eine Skalierung des Aufnahmebildes und ein Fokussieren des Aufnahmebildes kann gleichzeitig oder sequenziell erfolgen. In einer bevorzugten Ausführungsform des Verfahrens erfolgt basierend auf einem erfassten Sollwert für eine Skalierung des Aufnahmebildes, insbesondere für eine gewünschte Vergrößerung des Aufnahmebildes, zunächst eine Skalierung durch Ansteuerung der Skalierungsmittel der Bilderfassungseinrichtung und erst bei Überschreiten eines maximalen Skalierungsfaktors der Bilderfassungseinrichtung eine Skalierung durch Veränderung der axialen Entfernung zwischen Bilderfassungseinrichtung und dem zu betrachtenden Bereich durch Haltearmpositionsänderung. Weiterhin kann vorteilhaft eine Steuerung derart erfolgen, dass bei einer gewünschten Verkleinerung des Aufnahmebildes, zunächst eine Skalierung durch Veränderung der axialen Entfernung zwischen Bilderfassungseinrichtung und dem zu betrachtenden Bereich durch Haltearmpositionsänderung, insbesondere eine Vergrößerung der axialen Distanz, und erst bei Überschreiten eines vordefinierten Skalierungsfaktors eine Ansteuerung der Skalierungsmittel der Bilderfassungseinrichtung erfolgt.

Es ist jeweils jedoch auch die umgekehrte Reihenfolge möglich, so dass bei einer Skalierung mit gewünschter Vergrößerung zunächst eine mechanische Skalierung durch den Haltearm erfolgt, beispielsweise wenn die Steuerung erkennt, dass eine gewünschte Soll-Skalierung durch die Skalierungsmittel der Bilderfassungseinrichtung alleine nicht möglich ist. Danach erfolgt dann die weitere Skalierung durch die optischen und/oder elektronischen Skalierungsmittel. Bei der Verkleinerung ist die Reihenfolge entsprechend.

In einer weiteren bevorzugten Ausführungsform umfasst eine Ansteuerung der Fokussiereinrichtung bei Veränderung der Haltearmposition wenigstens die folgenden weiteren Schritte: Bestimmung einer initialen Fokuseinstellung vor Ausführung einer Bewegung des Haltearms; Berechnung der notwendigen Veränderung der Haltearmposition entlang der optischen Achse der Bilderfassungseinrichtung zur Bereitstellung des erfassten Sollwerts für die Skalierung des Aufnahmebildes; Berechnung eines Sollwerts für die Fokuseinstellung basierend auf der berechneten Veränderung der Haltearmposition und auf Basis einer für die Bilderfassungseinrichtung hinterlegten Fokuskennlinie; Ansteuerung der Fokussiereinrichtung zur Einstellung des ermittelten Sollwerts. Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung sowie anhand von lediglich schematischen Zeichnungen.

Es zeigen:

Fig. 1 : eine schematische Ansicht eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung;

Fig. 2: eine Seitenansicht eines Ausführungsbeispiels einer erfindungsgemäßen Bilderfassungseinrichtung;

Fig. 3: ein Blockdiagramm der Vorrichtungskomponenten; und

Fig. 4: ein schematisches Flussdiagramm zur Skizzierung der Schritte eines bevorzugten Ausführungsbeispiels bei der Skalierung und Fokusnachführung,

Fig. 5 eine schematische Darstellung der Anwendungsbereiche optischer Skalierung und mechanischer Skalierungsmittel; und

Fig. 6 eine schematische Darstellung einer Fokuskennlinie.

Gleich Elemente beziehungsweise Elemente mit gleicher Funktion sind in den Figuren mit den gleichen Bezugsziffern versehen.

Fig. 1 zeigt in einer schematischen Darstellung ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 100. Die Vorrichtung ist zur skalierbaren visuellen Darstellung, eines zu betrachtenden Bereichs 101 , insbesondere eines Operationsbereichs, hier lediglich beispielhaft schematisch dargestellt, ausgebildet. Der zu betrachtende Bereich 101 kann hierbei ein Operationssitus sein. Die Vorrichtung 100 weist eine Bilderfassungseinrichtung 102 auf, welche zur Erfassung eines Aufnahmebildes, insbesondere eines Live-Videobildes, ausgebildet ist. Die Bilderfassungseinrichtung 102 kann hierbei beispielsweise in einer Entfernung von 20 bis 50cm über einem zu erfassenden Bereich angeordnet bzw. anordenbar sein. Die Bilderfassungseinrichtung 102 ist dabei an einem endseitigen Abschnitt oder Manipulator 103a eines robotischen Haltearms 103 angeordnet. Der robotische Haltearm 103 kann an einem Standelement 104 wie beispielsweise einem selektiv verfahrbaren Wagen angeordnet sein. Alternativ ist auch eine Decken- oder Wandmontage in einem Behandlungsraum möglich. Die Bilderfassungseinrichtung 102 ist weiterhin mit einer Displayeinheit 105 verbunden, an welcher eine Ausgabe des erfassten und selektiv skalierbaren Aufnahmebildes erfolgt. Die Vorrichtung 100 umfasst ferner eine Eingabeeinheit 106 und bevorzugt einen dieser zugeordneten Fußschalter 107. Der Fußschalter 107 kann hierbei zur selektiven Umschalten der Ansteuerung des robotischen Haltearms 103 oder der Bilderfassungseinrichtung 102 ausgebildet sein. Die Eingabeeinheit 106 ist vorzugsweise als 3D-Joystick ausgebildet und ermöglicht vorzugsweise neben der Erfassung von lateralen Eingabebefehlen (Doppelpfeile A,B), die Erfassung einer vertikalen Bewegung (Doppelpfeil C). Weiterhin kann die Eingabeeinheit 106 zur Erfassung einer Rotationsbewegung und/oder einer Kippbewegung des 3D-Joysticks ausgebildet sein (nicht gezeigt). Die Eingabeeinheit 106 ist dabei insbesondere zu einer Erfassung eines Eingabebefehls für eine Skalierung bzw. Änderung der Skalierung des auf der Displayeinheit 105 gezeigten Aufnahmebildes ausgebildet. Hierbei ist die Eingabeeinheit vorzugsweise ausgebildet, eine auslenkungsabhängige Sollwerterfassung des Skalierungsfaktors, insbesondere eine auslenkungsabhängige Änderung eines aktuellen Skalierungsfaktors zu erfassen. Dies bedeutet, dass eine stärkere Auslenkung des 3D-Joysticks entlang des Doppelpfeils C zu einer stärkeren Vergrößerung oder Verkleinerung des Aufnahmebildes auf der Displayeinheit 105 führt. Eine Skalierung, d.h. eine Verkleinerung oder Vergrößerung, des Aufnahmebildes kann dabei mittels der Bilderfassungseinrichtung 102 zugeordneten optischen und/oder elektronischen Skalierungsmittel 108, 109 (vgl. Fig. 3) und/oder mittels einer durch den Haltearm bereitgestellten mechanischen Skalierungsfunktion 110 (vgl. Fig. 3) erfolgen, bei welcher der robotische Haltearm die daran gehalterte Bilderfassungseinrichtung 102 relativ zum zu betrachtenden Bereich 101 entlang einer optische Achse 111 der Bilderfassungseinrichtung 102 zur Adaption einer axialen Entfernung zwischen Bilderfassungseinrichtung und zu betrachtenden Bereich bewegt (Doppelpfeil D).

Fig. 2 zeigt eine seitliche Ansicht eines bevorzugten Ausführungsbeispiels der Bilderfassungseinrichtung 102. Die Bilderfassungseinrichtung ist vorliegend ein an sich bekanntes Stereo-Exoskop. Dieses weist vorzugsweise motorisch ansteuerbare optische Skalierungsmittel, d.h. ein einer Optik des Exoskops zugeordnetes bzw. von dieser umfasstes optisches Zoom 108, sowie eine vorzugsweise motorisch ansteuerbare Fokussiereinrichtung 112, d.h. eine einer Optik des Exoskop zugeordnete bzw. von dieser umfasste Fokuslinse auf. Die Bilderfassungseinrichtung 102 umfasst weiterhin eine distal angeordnete Spiegeleinheit 113 für ein 90° Umlenkung der Blick- bzw. Erfassungsrichtung. Weiterhin kann die Bilderfassungseinrichtung 102 ein Filterrad 114 zur Aufnahme unterschiedlicher, anwendungsspezifischer Farbfilter aufweisen. Die Bilderfassungseinrichtung kann zusätzlich eine nicht gezeigte Beleuchtungseinheit zur Beleuchtung des zu betrachtenden Bereichs aufweisen.

Fig. 3 zeigt ein Blockschaltbild der Vorrichtungskomponenten eines Ausführungsbeispiels der Vorrichtung nach Fig. 1. Die Vorrichtung 100 umfasst eine Steuerungseinrichtung 115, welche mit der Bilderfassungseinrichtung 102, dem robo- tischen Haltearm 103 und der Eingabeeinheit 106 verbunden ist. Die Steuerungseinrichtung 115 kann hierbei eine zentrale Steuerungseinheit mit einem Prozessor und zugeordneten Speichermitteln (nicht gezeigt) umfassen. Die Steuerungseinrichtung ist erfindungsgemäß derart ausgebildet, dass diese die Einstellung der mechanischen Skalierungsfunktion 110 und der Fokussiereinrichtung 112 durch eine Steuerung des Haltearms 103 und der Fokussiereinrichtung 112 ohne Regelung unter Rückgriff auf Sensorwerte des Haltearms 103, insbesondere ohne Ist-Werte für Positions- oder Bewegungsdaten des Haltearms 103 durchführt. Insbesondere soll die Steuerungseinrichtung 115 eine Steuerung des Haltearms 103 und der Fokussiereinrichtung 112 lediglich basierend auf einem durch die Eingabeeinheit 106 erfassten Eingabebefehl zur Skalierung des Aufnahmebildes bzw. zur Veränderung der Skalierung des Aufnahmebildes durchführen. Die Steuerungseinheit 115 ist hierbei zur Ansteuerung der mechanischen Skalierungsfunktion 110 des Haltearms 103 durch Variation einer axialen Entfernung d zwischen Bilderfassungseinrichtung 102 und dem zu betrachtenden Bereich 101 ausgebildet.

Die Steuerungseinrichtung 115 ist derart ausgebildet, dass diese ein optische Skalierungsfunktion 108 der Bilderfassungseinrichtung 102, insbesondere durch ein Verstellen der Linsenoptik, und/oder eine elektronische Skalierungsfunktion 109, insbesondere durch Anzeigen eines Teilausschnitts des digitalen Bildbereichs auf der Displayeinheit 105 ansteuern kann. Hierbei ist die Steuerungseinrichtung 115 vorzugsweise derart ausgebildet, einen jeweiligen Ist-Wert der optischen und/oder elektronischen Skalierungsmittel 108,109, insbesondere einen aktuellen Vergrößerungs- bzw. Zoomfaktor, auszulesen. Die optischen und/oder elektronischen Skalierungsmittel 108,109 können hierfür eine interne Speicher- und/oder Steuereinheit aufweisen, welche neben einem Ist-Wert für einen vorliegenden Skalierungsfaktor einen jeweiligen minimalen und maximalen Skalierungsfaktor gespeichert haben.

Die Steuerungseinrichtung 115 ist weiterhin zur selektiven oder kombinierten Ansteuerung der Skalierungsmittel 108,109 sowie der mechanischen Skalierungsfunktion 110 ausgebildet, um einen erweiterten Skalierungsbereich bzw. einen erweiterten Gesamtzoombereich bereitzustellen (vgl. auch Fig. 5). Hierbei er- möglicht die Steuerungseinrichtung 115 durch vorzugsweise gleichzeitig oder sequenziell erfolgende Ansteuerung der Fokussiereinrichtung 112 eine Fokusnachführung des Aufnahmebildes. Die Fokussiereinrichtung 112 weist hierbei vorzugsweise ebenfalls eine interne Speicher- und/oder Steuereinheit auf, welche einen aktuellen Ist-Wert einer Fokuseinstellung der Fokussiereinrichtung 112 an die Steuerungseinrichtung bereitstellen kann. Weiterhin ist in der Fokussiereinrichtung 112 und/oder in der Steuereinrichtung 115 eine jeweilige Fokuskennlinie 116 für die jeweilige Bilderfassungseinrichtung bzw. eine Optik oder Identifikationsnummer der Bilderfassungseinrichtung 102 gespeichert, aus welcher sich der Zusammenhang einer jeweiligen Fokuseinstellung bzw. einer Position der Fokuslinse Fp in der Optik der Bilderfassungseinrichtung 102 zur jeweiligen Entfernung d der Bilderfassungseinrichtung 102 bzw. der Optik der Bilderfassungseinrichtung 102 zum zu betrachtenden Bereich 101 ergibt. Insbesondere kann aus der hinterlegten Fokuskennlinie ausgelesen werden, auf welche Position der Fokuslinse die jeweilige Fokussiereinrichtung einzustellen ist, um bei einer bestimmten Entfernung d zwischen Erfassungsoptik und zu betrachtendem Bereich 101 eine Scharfstellung des Aufnahmebildes zu erreichen.

Eine Ausführungsform der Schritte zur Skalierung und Fokusnachführung mit der erfindungsgemäßen Vorrichtung wird im Folgenden in Zusammenhang mit Fig. 4 beschrieben.

Fig. 4 zeigt ein Flussdiagramm 200 für eine erfindungsgemäße Ansteuerung von optischen Skalierungsmitteln 108 einer Bilderfassungseinrichtung 102 und der mechanischen Skalierungsfunktion 110 zur Bereitstellung einer erweiterten Skalierung, mit Nachführung einer Fokuseinstellung, beispielhaft für eine Vergrößerung des Aufnahmebildes.

Es wird davon ausgegangen, dass vor einer Verwendung der Vorrichtung eine manuelle und/oder elektronische Einstellung der Position der Bilderfassungseinrichtung 102 zum zu betrachtenden Bereich 101 erfolgt, insbesondere durch eine gewünschte Ausrichtung des robotischen Haltearms 103 und der Bilderfassungseinrichtung 102. Der Benutzer kann hierbei einen gewünschten Betrachtungswinkel und einen gewünschten Abstand d zwischen Bilderfassungseinrichtung 102 und Bereich 101 wählen.

In einem ersten Schritt 201 erfolgt zunächst eine initiale Fokuseinstellung des erfassten Aufnahmebildes durch manuelle und/oder elektronische Einstellung einer der Bilderfassungseinrichtung 102 zugeordneten Fokussiereinrichtung 112. Weiterhin kann zusätzlich eine Einstellung eines initialen Skalierungs- bzw. Vergrößerungsfaktors durch manuelle und/oder elektronische Einstellung, beispielsweise der optischen Skalierungsmittel 108, erfolgen.

In Schritt 202 erfolgt ein Auslesen der Skalierungsmittel 108 und der Fokussiereinrichtung 112 durch die Steuerungseinrichtung 115 zur Bereitstellung von Ist- Werten für einen aktuellen Skalierungsfaktor der Bilderfassungseinrichtung 102 und einer Fokuseinstellung bzw. einer eingestellten Position der Fokuslinse der Optik der Bilderfassungseinrichtung 102. Hierdurch kann mittels der hinterlegten Fokuskennlinie die Fokusdistanz bzw. die Distanz d zwischen Bilderfassungseinrichtung 102 und dem Betrachtungsbereich 101 ermittelt werden (Position Po, vgl. Fig. 6).

Der Schritt 202 kann beispielsweise durch Drücken eines Fußschalters 107 ausgelöst werden, wobei der Fußschalter 107 als Auslöser für eine Veränderungsmöglichkeit einer Skalierung durch Eingabe an der Eingabeeinheit bzw. dem 3D Joystick 106 dienen kann. Alternativ kann der Schritt 202 auch direkt an der Eingabeeinheit 106 ausgelöst werden.

In Schritt 203 erfolgt eine Erfassung der Eingabe eines gewünschten Skalierungsfaktors oder einer gewünschten Veränderung des Skalierungsfaktors mittels der Eingabeeinheit 106. Hierbei kann die Eingabeeinheit 106 einen Sollwert für eine gewünschte Vergrößerung erfassen, welcher an die Steuerungseinrichtung 115 übermittelt wird. In Schritt 204 wird basierend auf der Benutzereingabe bzw. der gewünschten Vergrößerung ein neuer Skalierungs- bzw. Vergrößerungsfaktor berechnet, welcher durch die Vorrichtung eingestellt werden soll. Hierbei erfolgt ein Vergleich mit dem erfassten Ist-Skalierungsfaktor und einem Minimal- und Maximalwert für den Skalierungsfaktor der Skalierungsmittel 108. Eine Vergrößerung mittels der Skalierungsmittel 108 der Bilderfassungseinrichtung 102 kann hierbei bis zu einem Erreichen eines hinterlegten Maximalwerts der Skalierungsmittel 108 erfolgen, ohne dass eine Ansteuerung der mechanischen Skalierungsfunktion 110 erfolgt, vgl. Iterationsschleife 205.

Überschreitet der gewünschte Skalierungswert den Maximalwert der Skalierungsmittel 108 (Prüfung in Schritt 206), wird in Schritt 207 eine notwendige Distanzänderung d1 zum zu betrachtenden Bereich 101 berechnet, welche zur Erzielung der gewünschten verbleibenden Vergrößerung notwendig ist. Basierend hierauf erfolgt dann in Schritt 208 eine Sollwertausgabe zur Ansteuerung des ro- botischen Haltearms 103 und somit zur Veränderung und insbesondere Verkürzung der Distanz d entlang der optischen Achse 111 hin zu einer Position Pi des Haltearms 103.

In Schritt 209 erfolgt eine Ansteuerung der Fokussiereinrichtung 112 durch die Steuerungseinrichtung 115 zur Nachführung der Bildschärfe. Hierbei erfolgt basierend auf dem durch die Eingabeeinheit 106 erfassten Eingabebefehl zur Vergrößerung des Aufnahmebildes eine Einstellung der Fokuslinse anhand der hinterlegten Fokuskennlinie. Insbesondere bestimmt die Steuereinrichtung 115 die notwendige Einstellung der Fokuseinrichtung bzw. der Position Fi der Fokuslinse in der Optik der Bilderfassungseinrichtung 102 basierend auf der zuvor ermittelten Distanzänderung d1 und somit der neuen Position Pi (vgl. Fig. 6).

Soll nun ausgehend von der neuen Position Pi wieder eine Verkleinerung des Skalierungsfaktors erwünscht sein bzw. durch die Eingabeeinheit 106 erfasst werden, erfolgt vorzugsweise eine Ansteuerung durch die Steuerungseinrichtung 115 derart, dass zunächst die mechanische Skalierungsfunktion 110 zur Verkleinerung des Skalierungsfaktors angesteuert wird. Insbesondere erfolgt dabei eine Vergrößerung der axialen Entfernung d, bis die zuvor angesteuerte Distanzänderung d1 erreicht ist. Danach erfolgt eine Ansteuerung der Skalierungsmittel 108 der Bilderfassungseinrichtung 102.

Sollte eine weitere Verkleinerung des Skalierungsfaktors erwünscht sein bzw. durch die Eingabeeinheit 106 erfasst werden, werden die Skalierungsmittel 108 so lange zur Verkleinerung angesteuert, bis ein hinterlegter Minimalwert der Skalierungsmittel erreicht ist. Ab Erreichung des Minimalwertes der Skalierungsmittel 108 erfolgt dann eine Ansteuerung der mechanischen Skalierungsfunktion 110 durch erneute Vergrößerung der axialen Entfernung d, d.h. es erfolgt eine weitere Entfernung der Bilderfassungseinrichtung 102 entlang der optischen Achse 111.

Die vorstehend beschriebene Ansteuerung durch die Steuerungseinrichtung 115 wird nachfolgend nochmals mit Verweis auf die schematische Darstellung in Fig. 5 erläutert, wobei aus dieser ein Skalierungsbereich 120 der beispielhaft optischen Skalierungsmittel 108 der Bilderfassungseinrichtung 102 hervorgeht. Ausgehend von einer initial festgelegten Entfernung dini zwischen Bilderfassungseinrichtung 102 und zu betrachtendem Bereich 101 erfolgt bei einer Vergrößerung (Pfeil 121 ) oder Verkleinerung (Pfeil 122) zunächst eine Ansteuerung der optischen Skalierungsmittel 108, so lange bis ein maximaler Skalierungsfaktor Smax oder ein minimaler Skalierungsfaktor Smin erreicht ist. Ab einer Überschreitung des maximalen Skalierungsfaktors oder einer Unterschreitung des minimalen Skalierungsfaktors erfolgt eine Ansteuerung der mechanischen Skalierungsfunktion 110, entweder zur Vergrößerung durch Verkürzung der axialen Entfernung d zwischen Bilderfassungseinrichtung 102 zum Operationsbereich 101 im Bereich 123 oder zur Verkleinerung durch Vergrößerung der axialen Entfernung im Bereich 124.

Sollte eine jeweilige Rückführung des Skalierungsfaktors erfolgen, d.h. von den Bereichen außerhalb der minimalen und maximalen Skalierungsfaktoren Smin, Smax der Bilderfassungseinrichtung 102 hin zum Bereich 120, wird zunächst die mechanische Skalierungsfunktion so lange zur Reduktion oder Vergrößerung des Skalierungsfaktors angesteuert, bis eine Distanz erreichet ist, welche innerhalb des Bereichs 120 liegt, bei welcher auf die optischen Skalierungsmittel 108 zurückgegriffen werden kann.

Die vorgehend beschriebene Ansteuerung kann von einer Aktivierung eines Fußschalters abhängig sein. Sollte beispielsweise der Fußschalter nach einer Verkleinerung (Pfeil 122) in den Bereich 124 losgelassen worden sein, kann abwei- chend von der vorgehend beschriebenen Ansteuerung und bei beispielsweise einer (erneuten) Vergrößerung eines Skalierungsfaktors aus dem Bereich 124 zunächst eine sofortige Ansteuerung der optischen Skalierungsmittel 108 erfolgen und erst bei Erreichung eines maximal möglichen Skalierungsfaktors der optischen Skalierungsmittel 108 eine Ansteuerung der mechanischen Skalierungs- funktion 110 zur weiteren Vergrößerung erfolgen.

Bezugszeichenliste

100 Vorrichtung

101 zu betrachtender Bereich

102 Bilderfassungseinrichtung

103 robotischer Haltearm

103a endseitiger Abschnitt

104 Wagen

105 Display

106 Eingabeeinheit

107 Fußschalter

108 optisches Skalierungsmittel/Zoom

109 elektronische Skalierungsmittel/Zoom

110 mechanische Skalierungsfunktion

111 optische Achse

112 Fokussiereinrichtung

113 Spiegeleinheit

114 Filterrad

115 Steuerungseinrichtung

116 Fokuskennlinie

120 Zoombereich der opt./elektr. Skalierungsmittel

121 Vergrößerung

122 Verkleinerung

123 Vergrößerungsbereich mechanische Skalierungsfunktion

124 Verkleinerungsbereich mechanische Skalierungsfunktion d axiale Entfernung d1 Distanzänderung dini initiale Entfernung

Smax maximaler Skalierungsfaktor opt. Skalierungsmittel

Smin minimaler Skalierungsfaktor opt. Skalierungsmitte

Po,1 Haltearmpositionen Fp Postion Fokuslinse