Die vorliegende Erfindung betrifft eine Vorrichtung zur Bildgebung in einem Operationssaal.

Kliniken erwirtschaften die Hälfte ihres Umsatzes in Operationssälen. Deshalb werden deren Kosten- und Nutzeneffizienz zunehmend optimiert. Während einer Operation benutzte Bildgebung steigert diese Effizienz, da sie dazu beiträgt, Revisionsoperationen einzusparen. Gleichzeitig verlängert und unterbricht die Anwendung von Bildgebungssystemen jedoch die Operation, wenn auch im günstigsten Fall nur um mehrere Minuten. Die Unterbrechungszeit erhöht sich jedoch drastisch, wenn die Bildgebungssysteme langsam scannen, umständlich zu bedienen sind oder deren Nutzung aufwändig vorzubereiten ist.

Aus dem Stand der Technik sind als Bildgebungssysteme Computertomogra- fen und C-Bögen bekannt. Computertomografen (CT) bestehen aus einem geschlossenen ringförmigen Gehäuse (Gantry), das Röntgenquelle und Rönt- gendetektor aufnimmt und fest in einem Operationssaal installiert ist. Ein zu untersuchender Patient wird in einer Öffnung des Gehäuses positioniert und durch Rotation der Röntgenquelle und des Röntgendetektors Röntgenbildda- ten über einen Rotationsbereich von über 360° akquiriert. CT-Systeme bieten zwar eine sehr hohe Bildqualität, weisen bauartbedingt aber auch einen hohen Raumbedarf auf und versperren während der Bildaufnahme den Zugang zum Patienten. C-Bögen sind flexibler einsetzbar, da an dem eigentlichen C-Bogen die Röntgenquelle und der Röntgendetektor einander gegenüberliegend angeordnet sind. Der C-Bogen wird zur Aufnahme am Patienten positioniert und über einen Winkelbereich von bis zu 200° um den Patienten rotiert. Die erhöhte Flexibilität wird jedoch durch einen geringeren Scanbereich erkauft.

Ein weiteres Problem bei der Verarbeitung derartiger Aufnahmen ergibt sich daraus, dass oftmals nicht alle wesentlichen Informationen verfügbar sind. So werden zwar Operationsmikroskope im Operationssaal zur Vergrößerung von Strukturen im Operationsgebiet eingesetzt. Allerdings muss, um eine zuverläs- sige Navigation erreichen zu können. Die Lage dieses Mikroskops relativ zu einem Patienten jederzeit bekannt sein. Erst dann kann das Suchtfeld des Mikroskops bezüglich des Patienten und somit bezüglich des dreidimensionalen Datensatzes ermittelt werden. Zur Bestimmung von Patienten- und Instrumentenlage ist es (beispielsweise aus DE 10 2015 212 352 AI) bekannt, ein optisches Tracking oder ein elektromagnetisches Tracking durchzuführen. Beim optischen Tracking wird ein externes stereoskopisches Kameramesssystem eingesetzt, das die Anordnung von Reflektorkugeln vermisst und daraus die Lage der Instrumente bzw. des Patienten bestimmt. Deutliche Nachteile dieses Verfahrens sind der eingeschränkte Patientenzugang wegen der zu berücksichtigenden Kamerasichtlinie (Line-of-Sight-Problematik) sowie die hohen Investitionskosten und laufenden Kosten für die erforderlichen Einwegreflektorkugeln. Zudem ist jedem Instrument eine einzigartige Anordnung von Reflektorkugeln zugeordnet, die jeweils eingemessen und spezifiziert werden müssen. Das elektromagnetische Tracking nutzt ein mit einem Feldgenerator erzeugtes Magnetfeld zur Messung der Lage einer Sensorspule am Instrument bzw. Operationsgebiet. Diese Spule ermöglicht es, Aufschluss über die Position und Orientierung zu gewinnen. Wesentliche Nachteile dieses Verfahrens liegen in der hohen Ungenauigkeit und der Störempfindlichkeit gegenüber elektrisch leitfähigen oder ferromagnetischen Materialien.

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, eine Vorrichtung vorzuschlagen, die die genannten Nachteile vermeidet, mit der also eine durch Bildgebungssysteme verursachte Unterbrechungsdauer von Operationen minimiert und gleichzeitig möglichst genaue Informationen erlangt werden können.

Diese Aufgabe wird erfindungsgemäß gelöst durch eine Vorrichtung nach dem unabhängigen Anspruch. Vorteilhafte Ausgestaltungen und Weiterentwicklungen sind in den abhängigen Ansprüchen beschrieben.

Eine Vorrichtung zur Bildgebung in einem Operationssaal weist eine Röntgenstrahlungsquelle, einen Röntgenstrahlungsdetektor, einen Roboterarm, der auch als Manipulator bezeichnet werden kann, und eine Steuereinheit zum Ansteuern des Roboterarms auf. An dem Roboterarm sind die Röntgenstrahlungsquelle und der Röntgenstrahlungsdetektor an einer Halterung des Roboterarms angeordnet und an der Halterung oder in der Halterung bewegbar.

Dies erlaubt einen gleichzeitig kompakten als auch flexibel einsetzbaren Aufbau. Indem der Roboterarm zur Positionierung der Röntgenstrahlungsquelle und des entsprechenden Detektors benutzt wird, kann die Vorrichtung flexibel und schnell in dem Operationssaal eingesetzt werden. Durch die Halterung wird gleichzeitig ein weiter Scanbereich und damit verbunden eine hohe Bildqualität gewährleistet. Unter dem Begriff Röntgenstrahlung soll im Rahmen dieser Schrift elektromagnetische Strahlung im Wellenlängenbereich zwischen 5 und 250 pm verstanden werden. Durch eine Integration in den Operationssaal und eine bedarfsgerechte Verfügbarkeit wird ein Patientenzugang eines Chirurgen nur minimal eingeschränkt. Vorhandene Ausstattung des Operationssaals kann weiter verwendet werden. Eine hohe Flexibilität bei der Positi- onierung reduziert die bei 3D-C-Bögen üblichen Kegelstrahl und Metallartefakte in einer 3D-Rekonstruktion und erhöht das Rekonstruktionsvolumen bedarfsgerecht. Zudem ist die erreichbare Bildqualität bei gleicher Strahlendosis höher.

Die Halterung kann mit einem geschlossenen Gehäuse aus einem für Röntgenstrahlung durchlässigen Werkstoff ausgebildet sein. Durch den Werkstoff kann die Röntgenstrahlung immer noch hindurchtreten, wobei gleichzeitig die Röntgenstrahlungsquelle und der -detektor vor mechanischer Beschädigung und Verschmutzung geschützt sind. Unter dem Begriff "durchlässig" soll im Rahmen dieser Schrift insbesondere verstanden werden, dass mindestens 90 Prozent, vorzugsweise mindestens 95 Prozent einer einfallenden Intensität der Röntgenstrahlung das Gehäuse durchdringen.

Typischerweise ist das Gehäuse ringförmig ausgestaltet, so dass ein zu untersuchender Patient mittig in dem Gehäuse gelagert werden kann und Aufnahmen von allen Seiten gemacht werden können.

Es kann vorgesehen sein, dass der Roboterarm als ein Gelenkarm mit sechs Freiheitsgraden, d. h. drei translatorischen Freiheitsgraden und drei rotatorischen Freiheitsgraden, ausgestaltet ist, um eine maximale Flexibilität zu gewährleisten. Der Roboterarm weist hierzu in der Regel sechs Achsen auf, ist also als Sechsachsroboter ausgebildet.

Vorzugsweise weist der Roboterarm einen Kraftmomentensensor auf, mit dem Kräfte und Drehmomente detektierbar sind. Nach Registrierung entsprechender Kräfte oder Drehmomente und Verarbeitung durch die Steuereinheit kann die Vorrichtung dann infolge des detektierten Signals gesteuert werden.

An der Halterung kann eine Anzeige- und Eingabeeinheit angeordnet sein, die Informationen anzeigen und bzw. oder Eingaben entgegennehmen und an die Steuereinheit weiterleiten kann. Die Informationen können hierbei auch von der Steuereinheit bereitgestellt werden und beispielsweise ausgewertete Aufnahmen umfassen. Die Steuereinheit kann also auch als Steuer- und Auswerteeinheit ausgebildet sein. Ein weiterer Aspekt der Erfindung, der allerdings auch losgelöst von den bisher besprochenen Merkmalen verwirklicht sein kann, betrifft eine optische Aufnahmeeinheit. Sofern diese optische Aufnahmeeinheit gemeinsam mit der zuvor bereits beschriebenen Vorrichtung zum Einsatz kommt, ist sie typi- scherweise an dem Roboterarm angeordnet, besonders vorzugsweise jedoch an der Halterung bzw. dem Gehäuse. Sie kann auch in das Gehäuse integriert sein.

Vorzugsweise weist die optische Aufnahmeeinheit ein Mikroskop auf, um Bil- der mit möglichst hoher Auflösung zu erhalten.

Die Steuereinheit kann dazu ausgebildet oder eingerichtet sein, auf der Anzeige- und Eingabeeinheit zusätzlich zu einer von der optischen Aufnahmeeinheit aufgenommenen Aufnahme weitere Informationen einzublenden, um einem Benutzer möglichst viele Informationen zukommen zu lassen.

Die weiteren Informationen können hierbei ein Schichtbild aus einem von dem Röntgenstrahlungsdetektor aufgenommenen Datensatz, eine Einblendung eines vorab definierten Zielgebiets und bzw. oder eine Struktur eines dreidimensionalen Datensatzes umfassen. Typischerweise sind die weiteren

Informationen mittels markanter Punkte oder Strukturen in der von der optischen Aufnahmeeinheit aufgenommenen Aufnahme ermittelt. In besonders bevorzugter Weise weist die Vorrichtung mindestens einen Marker auf, der einen der markanten Punkte kennzeichnet.

Es kann vorgesehen sein, dass der mindestens eine Marker auf seiner Oberfläche mit einem Muster aus einem aus schwarzen Punkten gebildeten äußeren Rahmen, einem aus weißen Punkten gebildeten inneren Rahmen und einem Punktmuster aus schwarzen und bzw. oder weißen Punkten versehen ist.

Der Marker kann ein symmetrisches aufgebautes Muster aufweisen, um einen Mittelpunkt einfacher bestimmen zu können.

Die beschriebene Vorrichtung kann im Rahmen eines Bildgebungsverfahrens eingesetzt werden bzw. ein entsprechend der zuvor besprochenen Merkmale ausgebildetes Verfahren kann mit der offenbarten Vorrichtung durchgeführt werden.

Ein Computerprogrammprodukt weist eine auf einem maschinenlesbaren Träger, vorzugsweise einem digitalen Speichermedium, gespeicherte Befehls- folge zum Durchführen des beschriebenen Verfahrens und bzw. oder zum

Ansteuern der beschriebenen Vorrichtung auf, wenn das Computerprogrammprodukt auf einer elektronischen Recheneinheit abläuft. Vorzugsweise kann das Computerprogrammprodukt direkt in einen internen Speicher der elektronischen Recheneinheit geladen werden oder ist in diesem bereits ge- speichert und umfasst typischerweise Teile eines Programmcodes zum Durchführen des beschriebenen Verfahrens oder zum Ansteuern der beschriebenen Vorrichtung, wenn das Computerprogrammprodukt auf der elektronischen Recheneinheit abläuft bzw. ausgeführt wird. Das Computerprogrammprodukt kann auch ein Computerprogramm umfassen, das Software mittel zur Durch- führung des beschriebenen Verfahrens und bzw. oder zum Ansteuern der beschriebenen Vorrichtung aufweist, wenn das Computerprogramm in einem Automatisierungssystem oder auf der Steuereinheit ausgeführt wird.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend anhand der Figuren 1 bis 22 besprochen.

Es zeigen:

Fig. 1 eine perspektivische Ansicht der Vorrichtung zur Bildgebung in einem Operationssaal;

Fig. 2 eine Figur 1 entsprechende Ansicht der Vorrichtung mit Röntgenstrahlungsquelle und -detektor; eine Figur 2 entsprechende Ansicht mit einer Anzeige- und Ausgabeeinheit;

Fig. 4 eine perspektivische Ansicht der Anzeige- und Ausgabeeinheit mit verschiedenen Ansteuerarten;

Fig. 5 eine Figur 2 entsprechende Ansicht mit einer Instrumentenhalterung; Fig. 6 eine seitliche Ansicht des über dem Patienten befindlichen Mikroskops;

Fig. 7 eine Figur 6 entsprechende Darstellung des Stands der Technik;

Fig. 8 eine schematische Ansicht der Erkennung markanter Punkte oder Strukturen im Mikroskopbild;

Fig. 9 eine Figur 8 entsprechende Ansicht der Erkennung markanter Punkte oder Strukturen im dreidimensionalen Raum;

Fig. 10 eine schematische Darstellung der Bestimmung einer Kameralage;

Fig. 11 eine schematische Ansicht der Zuordnung von Punkten und Strukturen;

Fig. 12 eine Ansicht der Aufbereitung von Zusatzinformationen;

Fig. 13 eine schematische Darstellung einer Bestimmung markanter Punkte im dreidimensionalen Raum durch Aufnahme mehrerer Videobilder ;

Fig. 14 eine Figur 13 entsprechende Darstellung mit Aufnahme eines Stereobildpaars;

Fig. 15 eine Figur 13 entsprechende Darstellung mit Aufnahme eines Instruments;

Fig. 16 eine Figur 13 entsprechende Darstellung mit Aufnahme eines Instruments in Stereobildern;

Fig. 17 eine schematische perspektivische Ansicht einer Markerdetektion;

Fig. 18 eine Draufsicht auf verschiedene Markerstrukturen;

Fig. 19 eine perspektivische Ansicht der Markerstrukturen bei einer Lungenbi- opsie;

Fig. 20 eine Draufsicht auf einen Patientenkopf mit aufgebrachten Markern; Fig. 21 eine schematische Ansicht einer Ultraschallanwendung samt Markern und

Fig. 22 eine Figur 21 entsprechende Ansicht einer Mikroskopieanwendung. In Figur 1 ist in einer perspektivischen Ansicht eine Vorrichtung zur Bildgebung in einem Operationssaal dargestellt. Der gezeigte neuartige Lösungsansatz kombiniert die Konzepte Computertomografie, Kegelstrahltomografie und Robotik. Ein Roboterarm 1, der als Sechsachsroboterarm ausgestaltet ist, wird über eine Steuereinheit 15 angesteuert und kann in verschiedene Positionen verfahren werden. Mit einem Ende ist der Roboterarm 1 auf einem Boden des

Operationssaals fixiert, kann in weiteren Ausführungsformen jedoch auch auf einer beweglichen Verfahreinheit gelagert sein. An seinem anderen Ende ist eine Halterung 2 angebracht, die aus einem ringförmigen, allseitig bis auf eine Kabeldurchführung zum Roboterarm 1 geschlossenen Gehäuse besteht, das aus einem für Röntgenstrahlung durchlässigen Werkstoff ausgebildet ist. Die

Vorrichtung umfasst in dem in Figur 1 dargestellten Ausführungsbeispiel einen Sockel 3 für einen Patiententisch 6, jedoch können diese beiden Komponenten in weiteren Ausführungsformen auch entfallen. Mit der dargestellten Vorrichtung kann eine Unterbrechungsdauer einer Operation auf unter zwei Mi- nuten reduziert werden.

Sämtliche Bildgebungskomponenten, also eine Röntgenstrahlungsquelle und ein Röntgenstrahlungsdetektor sind auf einer ringförmigen Struktur mit einem Durchmesser von 1,5 m innerhalb des geschlossenen Gehäuses der Halterung 2 angeordnet und dort drehbar beweglich gelagert. Somit wird eine kontinuierliche Rotation und bzw. oder eine freie Positionierung der Bildgebungskomponenten ermöglicht. Verglichen mit C-Bögen wird daher die Patientensicherheit erhöht, da während des Scans keine Teile offen durch die Rotation bewegt werden und somit keine patientengefährdende Kollisionsgefahr be- steht. Ein ringförmiges Lager, insbesondere ein Kugellager, ermöglicht eine

Bewegung unabhängig von dem Gehäuse durch eine elektromagnetische An- triebseinheit, die beispielsweise über einen Zahnkranz an der bewegten Lagerseite eine oder beide Bildgebungskomponenten verfährt.

In weiteren Ausführungsbeispielen können auch mehrere Röntgenquellen und mehrere Röntgendetektoren verbaut werden. Insbesondere für eine Angiographie oder eine röntgenbasierte Navigation können auch mehr als eine Röntgenstrahlungsquelle-Röntgenstrahlungsdetektor-Kombinat ion eingesetzt werden. Die zweite Kombination der Bildgebungskomponenten wird dann auf der ringförmigen Struktur versetzt geführt. Die Röntgenstrahlungsquelle ver- fügt über ein Blendensystem, das den Strahlenbereich einschränken kann.

Der Röntgenstrahlungsdetektor kann als ein Flachdetektor oder Zeilen- bzw. Matrixdetektor ausgebildet sein. Insbesondere beim Einsatz des Flachdetektors kann die Blende der Röntgenstrahlungsquelle derart elektromotorisch verändert werden, dass der Flachdetektor als Liniendetektor fungiert. Somit kann wie bei der Computertomografie eine einzelne Schicht im dreidimensionalen Raum aufgenommen werden, was potentielle Streustrahlung reduziert.

Konzentrisch zur Ringanordnung können weitere positionierbare mechanische Ringe oder Schienen vorhanden sein. An diesen können beispielsweise (Robo- ter-)Systeme für Biopsien, Lasersysteme für die Therapie o.ä. befestigt sein. Diese lassen sich durch die örtliche relative Lage zwischen dem Bildgebungsund Therapiesystem ideal beispielsweise für automatisierte oder semi- automatisierte operative Eingriffe einsetzen.

Der beschriebene Roboterarm 1 kann sowohl auf dem Boden (wie dargestellt), als auch an einer Wand oder einer Decke des Operationssaals oder Untersuchungsbereichs montiert sein. Eine Kombination der Roboterarmbewegung mit der Bewegung der ringförmigen Struktur ermöglicht bekannte oder neue Bildaufnahmebahnen. Auch lässt sich so ein größerer Bildbereich aufnehmen als die starre Kombination aus Röntgenstrahlungsquelle und Röntgenstrahlungsdetektor ohne Bewegung ermöglicht. Der Roboterarm 1 kann das Gehäuse bzw. die Halterung 2 während der Bildaufnahme gezielt bewegen, um so die Bildqualität zu verbessern und verformte Objekte zu scannen. Typischerweise ist das Gehäuse mit Sensoren versehen, die eine Stellung de Objekts erkennen und eine Kollision vermeiden. Die Sensoren können beispielsweise elektromagnetisch, kapazitiv, induktiv, optisch oder auf Basis von Ultraschall ausgebildet sein. Auch an potentiellen Kollisionsobjekten können Sensoren oder Erfassungseinheiten oder Marker integriert bzw. befestigt sein.

Mindestens ein Kraftmomentensensor am Roboterarm 1, insbesondere zwischen einem Endeeffektor und dem Gehäuse, also am Ende des Roboterarms 1, und bzw. oder an jedem Gelenk des Roboterarms 1 ermöglicht eine Reakti- on auf einwirkende Kräfte oder Drehmomente. Die Sensoren erhöhen die Sicherheit der Vorrichtung, können aber auch gezielt zur Interaktion genutzt werden. Mit der beschriebenen Vorrichtung können auch zweidimensionale Röntgenbilder aufgenommen werden. Gleichzeitig kann das System sehr schnell ohne Gefahr seine Bildaufnahmerichtung verändern und so aus unter- schiedlichen Richtungen Bilder aufnehmen.

In Figur 2 ist in einem Ausführungsbeispiel eine Anordnung der Bildgebungskomponenten zur Kegelstrahl-Computertomografie dargestellt. Wiederkehrende Merkmale sind in dieser Figur wie auch in den folgenden Figuren mit identischen Bezugszeichen versehen. Die Röntgenstrahlungsquelle 4 und der

Röntgenstrahlungsdetektor 5 sind nun einander gegenüberliegend angeordnet und werden in dieser Ausrichtung rotiert, so dass sie aus beliebigen seitlichen Blickwinkeln Durchleuchtungen des Patienten aufnehmen. Zusätzlich können auch weitere Bildgebungskomponenten der optischen Tomografie wie Laser und Kameras, insbesondere 3D-Kameras, verwendet werden. Für derartige optische Sensoren oder Aufnahmeeinheit kann, starr verbunden mit der Röntgenstrahlungsquelle 4 oder dem Röntgenstrahlungsdetektor 5, eine entsprechende Aufnahmeeinheit angeordnet sein und eine Innenseite des Gehäuses für elektromagnetische Strahlung im sichtbaren Bereich, d. h. bei Wel- lenlängen zwischen 400 nm und 780 nm durchlässig sein. Alternativ oder zusätzlich kann auch elektromagnetische Strahlung im infraroten Wellenlängenbereich (d. h. für Wellenlängen zwischen 780 nm und 3 μιη) samt einer entsprechenden Ausgestaltung der Vorrichtung verwendet werden.

Vorzugsweise ist der die Bildgebung führende Roboterarm 1 kollaborativ ausgestaltet, d. h. seine Mechanik ist sensitiv gegenüber Kräften oder kontaktlo- sen Eingaben während der Bewegung. Die Vorrichtung kann beispielsweise handgeführt entlang des Patiententischs 6 bewegt und ausgerichtet werden. Eine Umsetzung der Handführung kann mit einer Anzeige der Vorrichtung kombiniert werden. Wie in Figur 3 dargestellt, kann das Gehäuse der Halte- rung 2 mit einer flächigen Anzeige- und Ausgabeeinheit 7 als Visualisierungseinheit versehen werden bzw. von diesem umschlossen werden. Die Anzeige- und Ausgabeeinheit 7 kann sowohl eine Anzeigefunktion als auch eine Registrierung von Berührungen übernehmen, es können außerdem Bedienelemente oder Scanergebnisse dargestellt werden.

Figur 4 zeigt in einer perspektivischen Ansicht die Anzeige- und Ausgabeeinheit 7 mit verschiedenen Ansteuerarten. Durch eine kraftsensorunterstützte Multi-Touch-Eingabe oder kontaktlose Handgesten kann nämlich gleichzeitig zur Anzeige eine bequeme Ausrichtung der Vorrichtung erreicht werden. Je nachdem, mit welcher Geste und mit welcher Kraft ein Anwender agiert, wird die Position und Orientierung des Gehäuses angepasst. Beispielsweise kann ein Ziehen an einer Gehäusekante 8 eine Rotation des Gehäuses um seine Längsachse bzw. ein Gieren bewirken. Ein Berühren von Gehäuseflächen, beispielsweise der Gehäusegrundfläche 9 oder der Gehäusemantelfläche 10, be- wirkt eine horizontale oder vertikale Bewegung, wie in Figur 4 gezeigt. Bei einem kontaktlosen Verfahren muss die Berührung des Gehäuses nur angedeutet werden. Zur Erhöhung der Bediener- und Patientensicherheit können Tot-Mann-Schalter oder Fußschalter die Eingabe bestätigen bzw. freischalten. Die beschriebene Vorrichtung wird zur Bildaufnahme an den Patienten bewegt und laterale sowie anterior-posteriore Aufnahmen zusammen automatisiert aufgenommen. Dabei bewegt sich die innenliegende, ringförmige Struktur mit den Bildgebungskomponenten beispielsweise in die waagrechte Strahlrichtung, macht dort eine Bildaufnahme, und dann in die horizontale Strahlrichtung, und macht dort noch eine Bildaufnahme. Der Vorgang kann sehr schnell und mit verminderter Kollisionsgefahr erfolgen, da die Bewegung nur innerhalb des ringförmigen Gehäuses erfolgt. Über eine Touch-Anzeige kann ein Scanzentrum bei beiden Durchleuchtungen markiert werden. Die Vorrichtung korrigiert ihre Ausrichtung entsprechend selbst und führt danach automatisiert den dreidimensionalen Scan durch. Einmal am Patiententisch 6 positioniert, kann das Gehäuse auch weitere Module aufnehmen. Wie in Figur 5 in einer perspektivischen Darstellung wiedergegeben, kann ein Haltevorrichtungssockel 11 an einem Gehäusedeckel 12 oder einem Gehäuseboden 13 analog zu den Bildgebungskomponenten, also der Röntgenstrahlungsquelle 4 und dem Röntgenstrahlungsdetektor 5, aber unabhängig von diesen kreisförmig um den Patiententisch 6 bewegt und ausgerichtet werden. Auf diesem Haltevorrichtungssockel 11 können weitere externe Messsysteme oder Aktuatoren angebracht werden, wobei der Haltevorrichtungssockel 11 typischerweise als Gelenkarm ausgestaltet ist, der an einem dem Gehäuse abgewandten Ende eine Haltevorrichtung 14 aufweist.

Somit kann ein Roboterassistenzsystem zum Halten und Führen von chirurgischen Instrumenten befestigt werden, das so mit dem Haltevorrichtungssockel 11 interagieren kann, dass sein Tool Center Point (TCP) während einer Bewegung des Haltevorrichtungssockels 11 im Raum fixiert bleibt. Somit bleibt das chirurgische Instrument ortsfest, während der Roboterarm 1 bedarfsgerecht aus- oder umgerichtet werden kann.

Wie zuvor bereits beschrieben und in Figur 5 auf der rechten Seite dargestellt, kann auch eine optische Aufnahmeeinheit 16 an der oder in der Halterung 2 angeordnet sein. In weiteren Ausführungsbeispielen kann diese optische Aufnahmeeinheit 16 aber auch losgelöst von der Halterung 2 positioniert werden. Die feste Verbindung erlaubt eine direkte Navigation in den von der optischen Aufnahmeeinheit 16 getätigten Aufnahmen. Eine bei externen Navigationssystemen übliche Registrierung des Patienten zum Bilddatensatz entfällt daher, was die Handhabung der klinischen Navigation vereinfacht und neue Möglichkeiten der Automatisierung eröffnet. Zum Beispiel kann ein am Ringgehäuse befestigter Gelenkarm oder Roboterarm eine Führung einer Biopsienadel am Patienten ausrichten. Im ersten Schritt würde ein 3D-Röntgenscan vom Patienten aufgenommen und das zu biopsierende Gewebe vom Operateur auf dem Bedienfeld der Anzeige- und Ausgabeeinheit 7 markiert werden. Der Gelenkarm kann die Führung der Biopsienadel so ausrichten, dass das Einbringen der Nadel das markierte Gewebe exakt entfernt.

Die beschriebene Vorrichtung kann sowohl bei einer medizinischen

Bildgebung als auch einer Bildgebung zur zerstörungsfreien Materialprüfung, industriellen Messtechnik, Sicherheitstechnik und Qualitätssicherung von Le- bensmitteln eingesetzt werden. Zum Beispiel können mit einem entsprechend dimensionierten System Winglets eines Flugzeugs gescannt werden.

Die bereits beschriebene optische Aufnahmeeinheit 16 kann wie in Figur 5 dargestellt an dem Gehäuse angebracht sein, in einer weiteren Ausführungsform jedoch auch losgelöst von dem Gehäuse und ohne Benutzung der zuvor beschriebenen Vorrichtung mit anderen Systemen zur Röntgenbildgebung verwendet werden. Es wird daher nachfolgend ein Verfahren zur Navigation eines digitalen Operationsmikroskops auf Basis von Videobilddaten beschrie- ben, mit dem in ein Videobild des Operationsmikroskops Zusatzinformationen mittels Augmented Reality eingeblendet werden können oder chirurgische Instrumente, die sich im Sichtfeld des Mikroskops bewegen, navigiert werden können.

Zusatzinformationen in diesem Sinne können Planungsdaten für die Operation oder Schichtbilder aus einem präoperativ aufgenommenen dreidimensionalen Patientendatensatz sein. Der präoperativ aufgenommene dreidimensionale Patientendatensatz kann aus Röntgencomputertomografie, Magnetresonanztomografie oder einer anderen dreidimensionalen bildgebenden Methode resultieren. Planungsdaten sind Markierungen im Patientendatensatz, die der Arzt oder ein anderer Benutzer vor der Operation im Datensatz vornimmt, um Strukturen einfacher unterscheiden zu können oder einfacher zu finden. Zu den Planungsdaten gehört insbesondere ein Zielgebiet, das die Strukturen definier, an denen der operative Eingriff stattfindet, oder ein Sicherheitsgebiet, das Strukturen definiert, die unter keinen Umständen verletzt werden dürfen. Schichtbilder, die in das Mikroskopbild eingeblendet werden, werden aus dem Patientendatensatz generiert und zeigen die Sicht des Mikroskops auf den Patienten in einer tieferen Ebene des Patienten. Die Lagebestimmung, d. h. Position und Orientierung, des Operationsmikroskops relativ zu dem Patienten erfolgt direkt durch eine Verarbeitung der Videobilddaten des Operationsmikroskops. Optische oder elektromagnetische Trackingsysteme zum Ermitteln der Patientenlage und der Mikroskoplage werden typischerweise nicht verwendet, können in weiteren Ausführungs- formen aber natürlich zum Einsatz kommen. Außerdem wird durch das Verfahren direkt die Transformation zwischen Mikroskopkamera und Patienten ermittelt, wodurch zusätzliche Kalibrierverfahren entfallen.

Operationsmikroskope werden im Operationssaal zur Vergrößerung von Strukturen im Operationsgebiet eingesetzt. Wie nachfolgend noch erläutert, kann der operative Eingriff mit Hilfe des Operationsmikroskops erleichtert werden, indem Zusatzinformationen in das Bild des Operationsmikroskops eingeblendet werde können oder dadurch, dass im Bild des Operationsmikroskops chirurgische oder andere Hilfsinstrumente navigiert werden können. So können beispielsweise Zusatzinformationen aus dem Patientendatensatz wie Schichtbilder aus einem CT- oder Magnetresonanztomografie-Datensatz

(MRT) in das Mikroskopbild eingeblendet werden. Außerdem kann die Operationsplanung, die Markierung markanter Punkte oder segmentierte Strukturen im dreidimensionalen Datensatz auf das Mikroskopbild projiziert und visuell dargestellt werden. Somit können Operationen sicherer und effizienter gestaltet werden. Beispielsweise können Nervenbahnen im Mikroskopbild visuell hervorgehoben werden. Figur 6 zeigt dies in einer schematischen seitlichen Ansicht. Die optische Aufnahmeeinheit 16 mit dem Mikroskopsensor 17 wird über dem Patienten 19 positioniert. Das Sichtfeld 18 der optischen Aufnahmeeinheit 16 erfasst eine Oberflächenkontur, wobei zum Berechnen ein Koordinatenursprung 21 des Mikroskopkoordinatensystems und ein Koordinatenursprung 20 des dreidimensionalen Patientendatensatzes festgelegt werden. Die relative Lage ist dann durch eine Transformation zwischen den beiden Koordinatensystemen ermittelbar. Bei den in Figur 7 in einer seitlichen Ansicht dargestellten bisherigen und aus dem Stand der Technik bekannten Ansätzen zur Mikroskopnavigation wird eine relative Lage zwischen dem Mikroskop in der optischen Aufnahmeeinheit 16 und dem Patienten 19 über Tracker 22 mittels eines optischen Trackingsys- tems erfasst. Hierzu werden die Lage des jeweiligen Trackers 22 am Mikro- skop und die Lage des Trackers 22 am Patienten 19 durch eine Kamera 23 erfasst und die Lage zwischen dem Mikroskoptracker 22 und dem

Mikroskopobjektiv durch eine Hand-Auge-Kalibrierung sowie zwischen dem Patiententracker 22 und dem Patienten 19 mithilfe einer Patientenregistrierung bestimmt.

Das hier vorgestellte Verfahren hat demgegenüber das Ziel, den Mikroskopanwender durch eine Augmented-Reality-Einblendung von Zusatzinformationen wie beispielsweise ein Schichtbild aus einem CT-Datensatz, eine Einblendung eines vorab definierten Zielgebiets oder einer Struktur aus dem dreidimensionalen Datensatz zu unterstützen. Die Berechnung der dafür benötigten Transformation zwischen dem Mikroskopobjektiv und dem Patienten 19 erfolgt durch eine Verarbeitung der Bildsequenz des Mikroskops.

Hierfür sind typischerweise fünf Schritte nötig: In einem ersten Schritt werden markante Punkte oder Strukturen im Mikroskopbild erkannt. Im zweiten Schritt wir die Lage markanter Punkte oder Strukturen im dreidimensionalen

Raum bestimmt. Nachfolgend wird in einem weiteren Schritt die Kameralage bezüglich der Punkte und Strukturen im dreidimensionalen Raum bestimmt sowie in einem nachgelagerten Schritt die Zuordnung markanter Punkte oder Strukturen zu Punkten oder Strukturen im 3d-Datensatz vollzogen. Schließlich erfolgt eine Aufbereitung von Zusatzinformationen und eine Einblendung in das Mikroskopbild.

Figur 8 zeigt in einer schematischen Ansicht die im ersten Schritt erfolgende Erkennung markanter Punkte oder Strukturen. Markante Punkte 25 oder Strukturen werden in einer Bildsequenz 26 aus Mikroskopaufnahmen zuverlässig wiederholt bestimmt. Hierzu werden aus verschiedenen

Mikroskoppositionen 24 immer wieder Aufnahmen des Patienten 19 gemacht, um daraus die markanten Punkte 25 zu ermitteln. Figur 9 zeigt in einer Figur 8 entsprechenden Ansicht eine Bestimmung der markanten Punkte 25 oder Strukturen im dreidimensionalen Raum. Die erkannten Punkte oder Strukturen werden im dreidimensionalen Raum rekonstruiert, um eine Referenz zum Patientendatensatz herzustellen. Die Bestimmung der Kameralage bezüglich der Punkte und Strukturen im dreidimensionalen Raum ist in Figur 10 dargestellt. Zur Bestimmung des Sichtfelds des Mikroskops bezüglich des 3D-Patientendatensatzes wird die Lage der Kamera bezüglich der rekonstruierten Punkte oder Strukturen im dreidimensionalen Raum bestimmt. In einer Bildebene 27 des Mikroskopobjektivs wird eine Abbildung 29 eines Raumpunkts 30 durch ein optisches Zentrum 31, der in der Hauptebene des Mikroskopobjektivs 28 liegt, erzeugt. Figur 11 zeigt in einer schematischen Ansicht, wie eine Zuordnung der markanten Punkte oder Strukturen zu Punkten oder Strukturen im 3D-Datensatze erfolgt. Die Transformation 34 zwischen dem Mikroskop und dem 3D- Datensatz ergibt sich durch Matchen der markanten Punkte 25 oder Strukturen im dreidimensionalen Raum zu den entsprechenden Punkten oder Strukturen im 3D-Datensatz. Ein Registrieralgorithmus berechnet hierzu die relative Transformation 34 (Rotation und Translation) durch Korrespondenzen 32 zwischen rekonstruierten Punkten 33 im dreidimensionalen Raum und Punkten 25 im präoperativ aufgenommenen 3D-Datensatz.

In Figur 12 ist schließlich dargestellt, wie der finale Schritt des Verfahrens, die Aufbereitung von Zusatzinformationen und die Einblendung in das

Mikroskopbild, erfolgt. Da das Sichtfeld der optischen Aufnahmeeinheit 16 bzw. der Kamera auf den präoperativ aufgenommenen 3D-Patientendatensatz bekannt ist, können Zusatzinformationen aus dem 3D-Datensatz in das Mikroskopbild als Unterstützung für den Operateur eingeblendet werden. Der Mikroskopsensor 37 bzw. das Mikroskopbild wird hierbei mit einer Einblendung 36 der Struktur versehen, die beispielsweise die markierte Struktur 35 als Zielstruktur kennzeichnet.

Figur 13 zeigt ein erstes Verfahren in einer schematischen Darstellung, mit dem die Bestimmung der Lage markanter Punkte 25 oder Strukturen im dreidimensionalen Raum erfolgen kann. Hierbei wird eine Rekonstruktion der Oberfläche 39 des Patienten 19 und eine Lokalisierung der optischen Aufnahmeeinheit 16 durch Aufnahme mehrerer Videobilder aus mehreren Positionen erreicht. Wie zuvor wird durch ein Mikroskopobjektiv 38 eine Abbildung auf dem Mikroskopsensor 17 erreicht. Über die als Datenverarbeitungeinheit ausgestaltete Steuereinheit 15 erfolgt dann eine Darstellung des Mikroskopbilds 37 samt einer Augmented-Reality-Visualisierung 41 auf einem Bildschirm 40.

In einer Figur 13 entsprechenden Darstellung ist in Figur 14 eine Variante der Rekonstruktion gezeigt, bei der ein Stereobildpaar aufgenommen wird. Es sind nun zwei Mikroskopsensoren 17 für Stereosehen vorgesehen und entspre- chend ein Mikroskopobjektiv 38 mit zwei optischen Pfaden für Stereosehen. In einer weiteren Variante zeigt Figur 15 die Bestimmung charakteristischer Punkte im Mikroskopkoordinatensystem durch Lokalisierung eines

Pointerinstruments 42 im Mikroskopbild. Hierbei wird den Pointer 42 oder ein anderes Instrument ein Antasten von Merkmalspunkten durchgeführt zur Pa- tientenregistrierung. Eine Lokalisierung des Pointers 42 bzw. Zeigerinstruments erfolgt durch eine Bildverarbeitung.

Schließlich ist in Figur 16 in einer den Figuren 13 bis 15 entsprechenden Darstellung eine weitere Variante gezeigt, bei der das Instrument 42 anhand der Stereobilder lokalisiert wird. Die Referenz zwischen Patientenoberfläche 39 bzw. Punkten auf der Patientenoberfläche 39 und dem 3D-Datensatz des Patienten 19 wird durch einen Registrieralgorithmus umgesetzt. Die Lokalisierung des Zeigerinstruments 42 erfolgt durch eine Stereolokalisierung aus den Stereobildern. Anschließend ist die Transformation34 zwischen dem Mikroskop samt Mikroskopobjektiv 38 und dem 3D-Datensatz des Patienten 19 bekannt

(d. h. Blickrichtung des Mikroskops auf den Patienten 19), wodurch in das Mikroskopbild 37 Zusatzinformationen eingeblendet werden können.

Ein weiterer Aspekt der Erfindung, der allerdings auch losgelöst von den bis- her besprochenen Merkmalen verwirklicht sein kann, betrifft eine Ausgestaltung eines Markers. Im Folgenden wird ein markergestützter Ansatz der Bildverarbeitung zur Navigation medizinischer Instrumente und Geräte beschrieben, der keine externe Trackinghardware benötigt. Wie in Figur 17 in einer schematischen Ansicht dargestellt, werden hierbei künstlich angebrachte Marker 44 detektiert. Eine optische Aufnahmeeinheit 16 als Messkamera, beispielsweise eine kleine Videokamera, befindet sich direkt am zu navigierenden chirurgischen Instrument. Die Lage der optischen Aufnahmeeinheit 16 relativ zum Patienten 19 wird durch eine Verarbeitung von Kamerabilddaten bestimmt. Ein sicheres Tracking garantieren die künstlichen Marker 44, die am oder auf den Patienten 19 geklebt oder anderweitig befestigt wurden. Dadurch ist das gesamte System nicht nur einfacher und schneller anwendbar, sondern auch kostengünstiger.

Die chirurgische Navigation ermöglicht eine Live-Darstellung der Lage, d. h. der Position und Orientierung im Raum, chirurgischer oder medizinischer Instrumente in einem präoperativ aufgenommenen dreidimensionalen Daten- satz eines Patienten 19 (z. B. CT-Volumendaten) während eines operativen Eingriffs oder bei der Diagnose. Weiterhin können durch die Navigation von medizinischen Instrumenten aus 2D-Sensoren 3D-Daten generiert werden oder Daten mehrerer Modalitäten kombiniert werden. Eine Beispielanwen- dung ist ein 2D-Ultraschallkopf, dessen Daten durch eine Navigation zu einem

3D-Volumen kombiniert werden können. Ein weiteres Beispiel sind die bereits beschriebenen Augmented-Reality-Einblendungen (beispielsweise definierter Zielregionen, Patientenstrukturen oder Schichtbilder aus einem 3D-Datensatz) in das Bild optischer Instrumente, die navigiert werden. Durch eine Navigation dieser Instrumente, z. B. Endoskop oder Mikroskop, ist die Lage der Optik relativ zum Patienten 19 und somit die Blickrichtung der Optik auf den Patientendatensatz bekannt.

Ziel des Verfahrens ist daher eine simple und robuste Positionsbestimmung, die keines aufwändigen Systemaufbaus samt umständlicher Registrierungsprozesse bedarf. Der Ansatz basiert auf einer Verarbeitung von Bildern, die entweder direkt vom jeweiligen Instrument oder der am Gerat montierten optischen Aufnahmeeinheit 16 aufgenommen werden. Die Verarbeitung um- fasst dann typischerweise vier Schritte: Aufnehmen einer Bildsequenz, Be- rechnen korrespondierender Feature-Punkte in den Bildern, Errechnen einer

3D-Punktwolke aus den Feature-Punkten sowie Bestimmung der Kameralage zur Punktewolke.

Die Feature-Punkte sind durch die künstlich angebrachten Marker 44 in jedem Bild detektierbar. Spezielle Algorithmen errechnen möglichst eindeutige Eigenschaften dieser Punkte. Anhand dieser Eigenschaften können danach korrespondierende Feature-Punkte in unterschiedlichen Bildern wiederholt de- tektiert werden. Durch Triangulation von in mehreren Bildern wiedergefundenen Punkten wird aus den Feature-Punkten ein 3D-Modell der betrachteten Oberfläche errechnet. Die 3D-Punkte dieses Modells können schließlich genutzt werden, um die jeweilige Lage der optischen Aufnahmeeinheit 16 relativ zu dem 3D-Modell zu errechnen, d. h. die Projektionsmatrix, die die 3D- Punkte an die richtige Position im neuen Bilde projiziert, beschreibt die korrekte Rotation und Translation zwischen den optischen Aufnahmeeinheiten 16. Diese Situation ist auch in Figur 17 dargestellt. Zwei optische Aufnahmeeinheiten 16 detektieren die auf dem Patienten 19 angeordneten Marker 44. In Bildebenen 43 der optischen Aufnahmeeinheiten 16 ist dann eine Projektion 45 der Marker 44 zu ermitteln. Die Funktionalität dieses bildbasierten Ansat- zes zur Positionsbestimmung hängt maßgeblich von der Anzahl und der Qualität markanter Punkte ab. Insbesondere in vielen medizinischen Anwendungsfällen ist es häufig schwer, natürlich robuste Punkte zu bestimmen, da die betrachteten Konturen (z. B. menschliche Haut) nur schlecht differenzierbare Konturen aufweisen. Durch das zusätzliche Bereitstellen markanter und un- terscheidbarer Punkte wird dieses Problem gelöst.

Figur 18 zeigt in einer Draufsicht mehrere Ausführungsbeispiele von Strukturen der Marker 44, die allesamt einen äußeren schwarzen Rand, einen inneren weißen Rand und ein innenliegendes Punktmuster aufweisen. Nach dem inneren weißen Rand kann nochmals ein zusätzlicher schwarzer Rand vorgesehen sein. Das Punktmuster sowie die Ränder können aus quadratischen, kreisförmigen, rechteckigen oder elliptischen Pixeln aufgebaut sein. Die dargestellten Strukturen entsprechen "Finder Patterns", die sich zuverlässig mittels Algorithmen detektieren lassen. Um sicher einen Mittelpunkt bestimmen zu können, ist in den dargestellten Ausführungsbeispielen jedes der Muster symmetrisch aufgebaut.

Durch Verwenden eines Satzes vordefinierter Marker 44, von denen je nach Bedarf eine bestimmte Anzahl an beliebigen Positionen im Sichtfeld der opti- sehen Aufnahmeeinheit 16 platziert wird. Die Markerstrukturen sind angelehnt an die "Finder Patterns" von Q.R-Codes. Die künstlichen Feature-Punkte haben zwei wichtige Eigenschaften: Eine einfache und robuste

Detektierbarkeit und eine eindeutige Unterscheidbarkeit. Die einfache Detektierbarkeit mit Bildverarbeitungsalgorithmen ist durch die Eigenschaften der "Finder Patterns" gegeben, wodurch mittels einer Konturerkennung mehrere ineinanderliegende Konturen gefunden werden können, und die künstlichen Marker so eindeutig festgelegt werden können. Die Unterscheidbarkeit ergibt sich aus den unterschiedlich definierten Strukturen in der Mitte des jeweiligen Markers 44. Die Besonderheit des Verfahrens ist, dass die Marker mittels konventioneller Feature-Deskriptoren unterschieden werden können, da sich die Gradienten im Bild von der Umgebung des Mittelpunkts jedes Markers 44 durch die definierte Struktur unterscheiden. Von jedem gefundenen Marker wird der Mittelpunkt berechnet. Dieser Punkt wird als Feature- Punkt verwendet, so dass sich eine Abfolge von vier Verfahrensschritten ergibt: Finder-Patter-Erkennung durch eine Konturerkennung,

Mittelpunktsbestimmung aus den Konturen (entspricht Featurepunkt), Bestimmung der Feature-Deskriptoren in der Umgebung der Feature-Punkte und Bestimmung korrespondierender Feature-Punkte (Feature-Matching).

Hierbei kann sowohl die Auswahl an Mustern, als auch die Reihenfolge und Anordnung und bis zu einem gewissen Grad auch die Größe der platzierten Punkte beliebig sein, solange stets eine Mindestanzahl an Markern 44 in den aufgenommenen Bildern bzw. Aufnahmen sichtbar ist.

Figur 19 zeigt in einer perspektivischen Ansicht ein Anwendungsbeispiel, bei dem ein Instrumente 42, im dargestellten Fall eine Biopsienadel zum Durchführen einer Lungenbiopsie, mit der optischen Aufnahmeeinheit 16 versehen wurde. Durch die auf dem Patienten 19 aufgebrachten Marker 44 lässt sich jederzeit die Kamera- und Biopsienadelposition bestimmen.

Möglichkeiten zum Anbringen der Punkte sind beispielsweise Unterlagen mit aufgedruckten Mustern oder leicht klebende Punkte, die am Patienten 19 angebracht und nach dem Eingriff einfach wieder entfernt werden können. Die Positionen dieser Punkte sollen sich während der laufenden Anwendung nicht verändern. Mithilfe dieser zusätzlichen Punkte lässt sich eine robustere Positionsschätzung umsetzen, da garantiert werden kann, dass in jedem aufgenommenen Bild entsprechende Punktkorrespondenzen bestimmbar sind.

In Figur 20 ist in einer Draufsicht ein Patientenkopf 46 samt medizinischem Instrument 42 (nun ein Endoskop), den Markern 44 und der an dem Instrument 42 angebrachten optischen Aufnahmeeinheit 16 dargestellt.

In den Figuren 21 und 22 ist jeweils in einer schematischen Ansicht eine navigierte Ultraschallanwendung und eine navigierte Mikroskopie gezeigt. Durch die Positionsbestimmung der an der Ultraschallsonde 47 angeordneten optischen Aufnahmeeinheit 16 lassen sich nach oder bereits bei Abrastern der Patientenoberfläche 39 dreidimensionale Modelle aus mehreren Ultraschall- bildern ableiten.

Ebenso kann auch der Mikroskopsensor 17 dazu benutzt werden, Aufnahmen anzufertigen, die direkt Rückschlüsse auf die Bewegung des Mikroskopsensors 17 erlauben. Somit können dreidimensionale Rekonstruktionen oder eine Einblendung von Zusatzinformationen in die Mikroskopbilder erfolgen.

Lediglich in den Ausführungsbeispielen offenbarte Merkmale der verschiedenen Ausführungsformen können miteinander kombiniert und einzeln beansprucht werden.