Verfahren zum Betreiben eines Endoskops und Endoskop Diese Erfindung betrifft ein Verfahren zum Betreiben eines

Endoskops gemäß dem Gattungsbegriff des Anspruchs 1 sowie ein Endoskop gemäß dem Gattungsbegriff des Anspruchs 15.

Es ist eine bekannte Motivation für einen Patienten den chirurgischen Eingriff so gering belastend wie möglich zu gestalten. Aus dieser Motivation heraus hat sich die so genannte Minimal-invasive Chirurgie entwickelt, die sich durch ein kleinstmögliches Trauma beim operativen Eingriff auszeichnet.

Bei der Minimal-invasiven Chirurgie, die beispielsweise mit Laparoskopen durchgeführt wird, hat der Arzt in der Regel keinen unmittelbaren Einblick in den Situs der OP. Um dennoch eine bestmögliche räumliche Orientierung zu bekommen, können 3D Endoskope eingesetzt werden. Diese Endoskope erlauben es, den Situs in 3D zumindest teilweise zu erfassen und z.B. auch für Dokumentationszwecke aufzunehmen.

Ein bekannter Ansatz ist das so genannte NOTES (Natural

Orifice Transluminal Endoscopic Surgery) , welches als gleich ^¬ bedeutend mit der minimal invasiven Chirurgie ohne Narben zu sehen ist, stellt eine Weiterentwicklung der laparoskopischen Minimal-invasiven Chirurgie dar. Hierbei werden natürliche Körperöffnungen genutzt, um sichtbare Narben nach der OP zu vermeiden.

Für einen Arzt besteht somit das technische Problem, sich im Körper des Patienten nur über den laparoskopischen Einblick zu orientieren, die räumlichen Gegebenheiten sicher zu erfas- sen und unbeabsichtigte Verletzungen von Organen und Gefäßen z.B. mit den scharfen Skalpellklingen möglichst auszuschließen. Bei NOTES wird diese Fragestellung noch verschärft, da dort der Zugang von Stellen gewählt wird, wo man später keine Narben sieht und man somit nicht unbedingt einen kurzen und geradlinigen Zugangsweg zum Situs hat.

Die 3D-Endoskopie ist eine sehr neue Technologie für die Mi- nimal-invasive Chirurgie, die gerade erst vor der Einführung steht. Somit gibt es aktuell keine Lösung, die außerhalb von Versuchslaboren im alltäglichen medizinischen Einsatz ist. Für die Einführung und Akzeptanz der 3D-Endoskopie, d.h. möglichst breiten Ansatz im medizinischen Bereich aber auch ins- besondere für einen Erweiterung des Anwendungsspektrums der Minimal-invasiven Chirurgie auf weitere Krankheitsbilder mit z.B. erschwerter Zugänglichkeit zum Situs oder bei erhöhtem Risikopotential für ungewollte Verletzung von Organen, Gefä ^¬ ßen oder Nervenbahnen, gilt es die resultierenden technischen Herausforderungen zu bewältigen.

Die der Erfindung zugrundeliegende Aufgabe ist es eine Lösung anzugeben, die die aus dem Stand der Technik bekannten Lösungen verbessert, insbesondere in dem sie eine weitergehende Traumareduzierung gewährleistet.

Diese Aufgabe wird durch das Endoskop Verfahren zum Betreiben eines Endoskops gemäß dem Gattungsbegriff des Anspruchs 1 durch dessen Merkmale gelöst sowie durch das Endoskop gemäß dem Gattungsbegriff des Anspruchs 15 durch dessen Merkmale gelöst .

Bei dem erfindungsgemäßen Verfahren zum Betreiben mindestens eines Endoskops erfolgt ein:

a) In situ Erfassen eines Messbereichs mittels mindes ^¬ tens einer zumindest zweidimensionalen Bildaufnahme mindestens eines ersten Gewebeteils eines Patienten b) Analyse des Bildinhalts jeder einzelnen Bildaufnahme,

c) Erfassen von mindestens einer signifikanten Struktur je Bildaufnahme auf Grundlage der Analyse, d) Bestimmen mindestens einer in einer Folge von se- quenziellen Bildaufnahmen fortgesetzt erfassbaren signifikanten Struktur,

e) Generieren eines Bildes durch Zusammenfügen von zu- mindest Teilen, insbesondere mindestens zwei Bild ^¬ aufnahmen, der Folge zu einem Bild größeren Volumens als des Volumens der Bilder der einzelnen Bildaufnahmen, wobei Eigenschaften des Zusammenfügens, insbesondere Ort und/oder Ausmaß und/oder An- zahl von Überlappungen, von Teilbereichen der Bildaufnahmen, insbesondere nach Art eines so genannten „Stitching", auf Grundlage mindestens einer der be ^¬ stimmten signifikanten Strukturen, insbesondere nach Art der so genannten „Registrierung", festge- legt werden.

Durch das erfindungsgemäße Verfahren erfährt der Stand der Technik, bei dem eine externe Lokalisierung des Endoskops zur Unterstützung der Führung des Endoskops erfolgt, dadurch eine Verbesserung, dass dem Operateur bzw. der Gerätesteuerung eine umfassendere interne Sicht am Ort der Operation und des Endoskops geboten wird und so unbeabsichtigte Verletzungen, beispielsweise durch Vermeidung von Kollisionen verhindert werden kann.

Weitere Vorteile sind durch die in den Unteransprüchen ange ^¬ gebenen Weiterbildungen gegeben.

Die erfindungsgemäße Lösung zeichnet sich unter anderem da- durch aus, dass Beschränkungen in der Orientierung dadurch gelöst werden, dass durch die bestimmten signifikanten Strukturen natürliche Marker des Körpers gefunden und verwendet werden, um die Gesichtsfeldbereiche des Endoskops zu einem größeren Volumenbereich zusammen zu fügen. Durch die Erfas- sung und Darstellung des größeren Bereichs wird die Orientie ^¬ rung für den Arzt erleichtert. Erfindungsgemäß können als natürliche Marker dabei Oberflä ^¬ chentexturen von Organen, Gefäße wie Blutgefäße oder Lymphbahnen oder Lymphknoten, Nervenbahnen, Sehnen, Muskelpakete oder Gruppen usf. dienen.

Die Erfindung sieht damit ein Zusammenfügen von einzelnen Bereichen, die in 2D und/oder 3D erfasst werden, zu einem größeren Messvolumen bzw. Volumenbereich vor, also insbesondere nach Art des insbesondere dem aus der Technik als Stitching bekannten Ansatz; sich demgegenüber aber vor Allem dadurch unterscheidend, dass keine starren Marker verwendet werden.

Um 2D bzw. 3D Bilder bzw. Volumenbereiche zusammenfügen zu können, wird gemäß Erfindung vorgesehen, überlappende Teile der zusammenzufügenden Bilder, d.h. der Bildaufnahmen, auf

Grundlage der bestimmten Strukturen, also im Falle der minimal invasiven Chirurgie die natürlichen Marker, vorzunehmen, um die hierfür eindeutig zueinander zuordenbaren Merkmale zu bieten. Das Zusammenfügen der einzelnen Aufnahmen in 2D oder 3D über die ausgezeichneten Merkmale bzw. Marker, erfolgt dabei insbesondere gemäß dem als Registrierung bekannten Vorgang .

Mit der Erfindung wird der Besonderheit, dass das „Messob- jekt" Mensch nicht als starrer Körper angesehen werden kann, sondern sich vielmehr bewegt, sei es durch Pulsschlag, der während der OP auch verlangsamt sein kann, durch Atmung und die Atemexkursion oder durch Muskelbewegungen. Zudem kann sich der Situs auch durch die OP selber verändern, indem der Operateur selber die Organe bewegt oder diese sich z.B. durch Einschnitte in der Topologie verändern. Hier entfaltet also die Erfindung in besonderem Maße ihre Vorteile, weil sie ein zum aus der Technik bekannten Verfahren verbessertes Zusammenfügen erlaubt, denn es wird ein neuer Registrierungspro- zess gelehrt, der auf die besonderen Belange der medizini ^¬ schen Applikation besonders angepasst ist. Dabei wird vorzugsweise mit dem Endoskop eine dreidimensiona ^¬ le Bildaufnahme zumindest versucht. Hierdurch kann eine räum ^¬ liche Darstellung des Situs erfolgen, so dass zusätzliche In ^¬ formationen zur Beurteilung der nötigen und möglichen

Endoskopführung zur Verfügung stehen. Die Formulierung „versucht" bringt dabei zum Ausdruck, dass das Endoskop grund ^¬ sätzlich zur Aufnahme dreidimensionaler Bildaufnahmen verwendet wird, es jedoch aufgrund von örtlichen Gegebenheiten, wie Abschattungen, dazu kommen kann, dass letztlich teilweise als Ergebnis lediglich zweidimensionale Bildaufnahmen vorliegen.

Gemäß einer Weiterbildung wird die Bestimmung derart durchgeführt wird, dass mindestens ein erster Parameter, insbesonde ^¬ re Richtung, Geschwindigkeit, Art, einer Bewegung je bestimm- ter signifikanten Struktur erfasst, um eine möglichst voll ^¬ ständige Erfassung und Beschreibung der Bewegung für jeden der erkannten natürlichen Marker (bestimmte signifikante Struktur) zu erhalten. Alternativ oder ergänzend kann zeitgleich mit jeder Bildaufnahme eine parallele Erfassung von Vitalparameter, beispiels ^¬ weise Herzschlag, Puls, Blutdruck, Atemzustand und/oder Lun ^¬ genfüllung, des Patienten durchgeführt werden sowie eine Ermittlung mindestens eines auf Grundlage der Vitalparameter gegebenen charakteristischen, insbesondere eine Korrelation zu den ersten Parametern widergebenden, Kennwerts je signifikanter Struktur. Hierdurch können die Bewegungen in Bezug zu Körperfunktionen gebracht werden, was unter anderem für akkurate Voraussagen bzgl. einer Kollisionswahrscheinlichkeit hilfreich ist.

Erfolgt gemäß einer Weiterbildung eine Auswahl einer dem Zusammenfügen und Festlegen, insbesondere nach Art der der Registrierung und des Stitching zugrundezulegenden signifikan- ten Struktur aufgrund des mindestens einen ersten Parameters und/oder des charakteristischen Kennwerts wird das Ergebnis auch hier akkurater. Vorzugsweise wird der Erfassungsbereich des Endoskops, insbe ^¬ sondere durch Bewegen des Endoskops, zur Erfassung anderen Bereiche des OP-Situs verändert, um unter anderem das Volumen des erfassten Bereiches zu erhöhen.

Wird bei Vorliegen von einer, insbesondere aufgrund einer ortsimmanenten Degradation der dreidimensionalen Bildaufnahme, sich ergebenden zweidimensionalen Bildaufnahme eine Aufbereitung der zweidimensionalen Bildaufnahmen auf Grundlage von aufeinanderfolgenden zweidimensionalen Bildaufnahmen verwendenden Triangulationsmethoden zu einer dreidimensionalen Bildaufnahme durchgeführt, kann aufgrund der Tatsache, dass erfindungsgemäß die Bewegung des Endoskops zwischen aufeinan ^¬ derfolgenden Bildern aus einem Bereich des OP-Situs bekannt ist, die dreidimensionale Form aus in zeitlichem Abstand auf ^¬ genommenen Bildern auch nachträglich über Triangulationsmethoden berechnet werden, und so die vorstehend genannte Be ^¬ einträchtigung dreidimensionaler Aufnahmen durch Abschattungen, die zur Folge haben, dass nicht alle Bildpunkte im Er- fassungsbereich unmittelbar dreidimensional erfasst werden können, zumindest teilweise aufgehoben werden.

Bevorzugt werden die erfassten Bildaufnahmen auf einem Anzeigegerät zur Anzeige gebracht, so dass das medizinische Perso- nal unmittelbar hierdurch unterstützt agieren kann.

Dabei werden vorzugsweise die, insbesondere gemäß Stitching und Registrierung, zusammenfügten Volumenbereiche zweidimensional und/oder dreidimensional zur Anzeige auf einem Anzei- gegerät gebracht.

Insbesondere zur Dokumentation der OP ist die Weiterbildung geeignet, bei der eine Aufzeichnung von zumindest Teilen der erfassten Bildaufnahmen und/oder zusammengefügten Volumina erfolgt.

Erfolgt ein Erkennen der bei der OP verwendeten Instrumente, insbesondere über Form, Farbe, Lage, Marker, erfolgt zudem eine Darstellung von deren räumlicher Position im OP-Feld, insbesondere in Relation zu Organen, auf einem Anzeigegerät, ist eine bessere Differenzierung der Objekte einer angezeig ^¬ ten Szene und somit auch eine zügige Reaktion für einen Be- trachter, insbesondere Operator, möglich.

Eine weitere Weiterbildung des erfindungsgemäßen Verfahrens ergibt sich, wenn auf Grundlage des Erkennens eine Auswertung hinsichtlich des Vorliegens einer Verletzungsgefahr erfolgt und auf Grundlage der Auswertung ein Ausgeben von Warnmeldungen, wenn das Vorliegen, insbesondere durch Erreichen eines Schwellwerts, bestätigt wird.

Wird gemäß einer weiteren Weiterbildung das Endoskop mit ei- ner Lagesensorik, beispielsweise einer Inertialsensorik und/oder einer Magnetfeldsensorik, funktional verbunden und betrieben, kann eine Bewegung des Systems erkannt werden und von einer Bewegung der Organe und anderer Köperbestandteile im OP-Situs unterschieden werden. Wird die Lagesensorik durch Inertialsensorik und/oder eine Magnetfeldsensorik bereitgestellt, ist diese dann für eine Detektion von Translationen oder Rotationen in mindestens einer Koordinatenrichtung ausgebildet . Bei einer weiteren Weiterbildung des erfindungsgemäßen Verfahrens werden zum Generieren des Bildes von zumindest zwei Endoskopen ermittelte Teilbereiche verwendet. Hierdurch kann das dargebotene Bildvolumen noch einmal deutlich vergrößert werden .

Das erfindungsgemäße Endoskop weist Mittel zur Durchführung des Verfahrens nach einer der vorhergehenden Ausführungsformen auf und ermöglicht durch die Implementierung des Verfahrens die Verwirklichung seiner Vorteile.

Weitere Vorteile und Einzelheiten der Erfindung werden nun ausgehend von dem in der einzigen Figur dargestellten Ausführungsbeispiels der Erfindung näher erläutert. Dabei zeigt die FIGUR ein Ablaufdiagram mit vereinfachter Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Ver ^¬ fahrens

In der FIGUR ist der Ablauf eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens stark vereinfacht dargestellt, anhand dessen auch Merkmale des Endoskops und möglicher Aus ^¬ gestaltungsformen/alternativer oder ergänzender Weiterbildun- gen von beiden näher erläutert werden.

Es ist dort ein Ausführungsbeispiel der Erfindung dargestellt das einen neuartigen Registrierungsprozess offenbart, der auf die besonderen Belange der medizinischen Applikation beson- ders angepasst ist.

Es erfolgt dabei in einem ersten Schritt Sl ein Erfassen ei ^¬ nes Messbereiches mittels 2D/3D-Bildaufnahmen . In einem zweiten Schritt S2 erfolgt ein Bestimmen von natürlichen Markern in dem 2D/3D-Bild und in einem dritten Schritt S3 ein Erfassen der Bewegung der erkannten natürlichen Marker über eine Folge von 2D/3D Bildern. Dies kann ergänzend begleitet sein von einer mit parallelen

Erfassung der Vitalparameter des Patienten, wie beispielsweise Herzschlag, Puls, Blutdruck zum Zeitpunkt der Bildaufnah ^¬ me, Atemzustand/Lungenfüllung etc. um eine möglichst vollständige Erfassung und Beschreibung der Bewegung für jeden der erkannten natürlichen Marker zu erhalten.

Es folgt in einem vierten Schritt S4 eine Bestimmung mindestens einer charakteristischen Kennzahl für die Bewegung für jeden der natürlichen Marker, wie z.B. Amplitude (1D, 2D oder 3D ggf. Richtung), Phasenlage der Bewegung zu Puls oder At ^¬ mung, Frequenz der Bewegung - ggf. in Relation zu Puls- oder Atemfrequenz. Hierauf erfolgt in einem fünften Schritt S5 eine Auswahl der Marker, die für eine Registrierung und ein Stitching verwendet werden sollen, beispielsweise aufgrund der mindestens einen Kennzahl.

Ein Bewegen des Endoskops, so dass im Erfassungsbereich ande- re Bereiche des OP-Situs mittels der 2D/3D Bildaufnahme er- fasst werden, fördert alternativ oder ergänzend den Vorgang.

Aufgrund von Abschattungen kann es sein, dass nicht alle Bildpunkte im Erfassungsbereich unmittelbar in 3D erfasst werden können, sondern lediglich als 2D. Diesen Umstand soll die in dieser Figurenbeschreibung gewählte Formulierung 2D/3D verdeutlichen .

Eine solche Degradation kann aber erfindungsgemäß behoben werden, wenn - wie im Beispiel dargestellt - die Bewegung des Endoskops zwischen aufeinanderfolgenden Bildern aus einem Bereich des OP-Situs bekannt ist. In diesem Fall wird erfin ^¬ dungsgemäß die 3D Form aus in zeitlichem Abstand aufgenomme ^¬ nen Bildern auch nachträglich über Triangulationsmethoden be- rechnet werden. Dies wird durch einen sechsten Schritt S6, in dem eine Prüfung erfolgt, ob eine Bildaufnahme 2D oder 3D ist, und einen siebten Schritt S7, in dem dann die Triangula ^¬ tionsmethode angewandt wird, dargestellt. Vorteilhaft ist es, wenn bei dieser Berechnung auch die vorher erfasste Bewegung der Merkmale bzw. Bereiche im Erfas ^¬ sungsbereich berücksichtigt werden, um eine möglichst hohe Genauigkeit des rekonstruierten 3D Ortes zu erhalten. Die genannten sowie auch folgenden Schritte können als weitere Ausführungsformen der Erfindung teilweise überlappend bzw. parallel ausgeführt werden, so dass der Arzt ungestört arbei ^¬ ten kann und nicht auf die Funktionsweise des 3D-Endskops Rücksicht nehmen muss.

In einem achten Schritt S8 erfolgt dann Stitching der mindestens zwei aufgrund des sechsten und siebten Schritts S6 und S7 nun vorliegenden 3D Bildbereiche, so dass ein größerer zu- sammenhängender Bereich entsteht. Ein Ausführungsvariante oh ^¬ ne den sechsten und siebten Schritt S6 und S7 ist auch denkbar, in so einem Fall erfolgt eine Darstellung/Verarbeitung dessen, was erfassbar ist also eine im oben beschriebenen Sinne 2D/3D Darstellung.

Es erfolgt ansonsten in einem neunten Schritt S9 ein Darstel ^¬ len der, aufgrund des siebten und achten Schritts S7 und S8 nun vorliegenden 3D Bilder für das medizinische Personal bzw. Darstellen der zusammenfügten Volumenbereiche in 3D Darstellung .

Ergänzend kann eine Aufzeichnung der aufgenommen Bilder und/oder der zusammengefügten Volumina zur Dokumentation der OP erfolgen.

Ebenfalls ergänzend kann ein Erkennen der bei der OP verwendeten Instrumente über Form, Farbe, Lage, Marker vorgesehen sein und eine Darstellung von deren räumlicher Position im OP-Feld und insbesondere in Relation zu Organen erfolgen, ggf. Ausgeben von Warnmeldungen, wenn eine Verletzungsgefahr von Organen, Gefäßen, Nerven, Sehnen, etc. besteht.

Bei der Ausführung des Systems kann es vorteilhaft sein, wenn das Endoskop über eine Lagesensorik verfügt, um eine Bewegung des Systems zu erkennen und von einer Bewegung der Organe und anderer Köperbestandteile im OP-Situs unterscheiden können.

Als Lagesensorik können beispielsweise eine Inertialsensorik und/oder eine Magnetfeldsensorik verwendet werden, die für eine Detektion von Translationen oder Rotationen in mindestens einer Koordinatenrichtung ausgebildet sind.

Eine Marktreife ließe sich eventuelle beschleunigen, wenn die Erfindung derart weitergebildet wird, dass für die Instrumen ^¬ tenerkennung und Kollisionswarnung Methoden angewandt werden, wie sie in dem so genannten „3D Mine" Projekt

(http : //www . miti . med . tum. de/index . php?id=120 &L=0 ) vorgeschla- gen werden und/oder bekannte Darstellungsoptimierung der 3D Info angewandt werden.

Besondere Vorteile können durch Kombination des genannten mit sehr kompakten Chip-on-Tip Endoskopen entstehen.

Die Erfindung ist nicht auf das dargestellte Beispiel des Verfahrens, oder beschriebenen (Anordnungs- ) Varianten einge ^¬ schränkt. Vielmehr umfasst sie alle Kombinationen und Ausge- staltungsvarianten, die durch die Ansprüche gegeben sind und dabei eines oder mehrere der folgenden Merkmale/Vorteile auf ^¬ weisen :

Nutzung von köpereigenen Markern, um einzelnen SD- Bildaufnahmen zu größeren Bereichen zusammen zu führen.

Erfassen der Bewegung der natürlichen Marker und bestim men von Kennzahlen für die Güte der Marker im Hinblick auf ein nachfolgendes Stitching.

Einsatzmöglichkeit der Erfindung sowohl für starre wie auch für flexible Endoskope, was es erlaubt, auch in schwer zugänglichen Bereichen mit 3D Endoskopen operieren zu können.

Erfassen der Bewegung in Abhängigkeit von Vitalparame ^¬ tern des Patienten.

Stitching mit Markern, die nicht starr bzw. ortsfest am Objekt sind, da die Organe keine starren Körper sind. Also ein Stitching bei lokaler Unsicherheit der Registrierungspunkte zum Stitching.