Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
TOOL-TYPE AGNOSTIC ASSISTANCE FUNCTIONALITY FOR SURGICAL OPERATIONS
Document Type and Number:
WIPO Patent Application WO/2022/161930
Kind Code:
A1
Abstract:
The invention relates to techniques for controlling an assistance functionality for a surgical operation on a patient. A machine-trained algorithm is used to obtain a map (76) of an operation region. This map can be used to control an assistance functionality in the context of the surgical operation. The map is indicative of one or more activity regions (101-103), which are associated with an increased probability of the presence of surgical instruments.

Inventors:
PHILIPP MARKUS (DE)
SAUR STEFAN (DE)
Application Number:
PCT/EP2022/051576
Publication Date:
August 04, 2022
Filing Date:
January 25, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZEISS CARL MEDITEC AG (DE)
International Classes:
A61B90/20; A61B34/00; A61B90/00; A61B90/90; G01B11/25; G06N3/02; G06T7/521; A61B34/20
Attorney, Agent or Firm:
NEUSSER, Sebastian (DE)
Download PDF:
Claims:
PATENTANSPRÜCHE

1 . Verfahren zur Steuerung einer Assistenzfunktionalität für einen chirurgischen Eingriff an einem Patienten, wobei das Verfahren umfasst:

- basierend auf mindestens zwei Mikroskopiebildern (71 , 72), die mit einem Operationsmikroskop (801 ) erfasst wurden und die eine Eingriffsregion (50) des chirurgischen Eingriffs abbilden und die zu unterschiedlichen Zeitpunkten erfasst wurden, Anwenden eines maschinengelernten Algorithmus (82), um eine Karte (76) der Eingriffsregion (50) zu erhalten, und

- Verwenden der Karte (76), um eine Assistenzfunktionalität im Zusammenhang mit dem chirurgischen Eingriff zu steuern, wobei die Karte (76) indikativ für ein oder mehrere Aktivitätsbereiche (101 , 102, 103) in der Eingriffsregion (50) ist, die eine erhöhte Aktivität aufweisen und durch die erhöhte Aktivität mit einer erhöhten Wahrscheinlichkeit für die Präsenz von Operationsbesteck (51 , 52) assoziiert sind.

2. Verfahren nach Anspruch 1 , wobei die Karte (76) agnostisch betreffend unterschiedliche Typen von Operationsbesteck (51 , 52) ist, wobei die Assistenzfunktionalität agnostisch betreffend den unterschiedlichen Typen von Operationsbesteck (51 , 52) gesteuert wird.

3. Verfahren nach Anspruch 1 oder 2, wobei die Karte (76) für mehrere Bereiche der Eingriffsregion (50) Wahrscheinlichkeitswerte (152) für die Präsenz oder Absenz von Operationsbesteck (51 , 52) beinhaltet, wobei die ein oder mehreren Aktivitätsbereiche (101 , 102, 103) an den Bereichen mit erhöhten Wahrscheinlichkeitswerten (152) lokalisiert sind.

4. Verfahren nach einem der voranstehenden Ansprüche, wobei die Karte (76) eine Maske (151 ) für die ein oder mehreren Aktivitätsbereiche (101 , 102, 103) umfasst.

5. Verfahren nach einem der voranstehenden Ansprüche wobei die Karte (76) ein oder mehrere Merkmale (111 , 112) umfasst, die Kontextinformation für die ein oder mehreren Aktivitätsbereiche (101 , 102, 103) indizieren.

6. Verfahren nach Anspruch 5, wobei die ein oder mehreren Merkmale (111 ), die Kontextinformation für die ein oder mehreren Aktivitätsbereiche (101 , 102, 103) umfassen, indikativ für eine Erfüllung von ein oder mehreren örtlichen Nachbarschaftsbeziehungen durch Gruppen von Aktivitätsbereichen der ein oder mehreren Aktivitätsbereiche (101 , 102, 103) sind; und/oder wobei die ein oder mehreren Merkmale (112) , die Kontextinformation für die ein oder mehreren Aktivitätsbereiche (101 , 102, 103) umfassen, indikativ für eine Erfüllung von ein oder mehreren anatomischen Nachbarschaftsbeziehungen von Aktivitätsbereichen der ein oder mehreren Aktivitätsbereiche (101 , 102, 103) sind; und/oder wobei die ein oder mehreren Merkmale, die Kontextinformation für die ein oder mehreren Aktivitätsbereiche (101 , 102, 103) umfassen, indikativ für eine Anzahl von Operationsbesteck (51 , 52) in den ein oder mehreren Aktivitätsbereichen (101 , 102, 103) sind; und/oder wobei die ein oder mehreren Merkmale, die Kontextinformation für die ein oder mehreren Aktivitätsbereiche (101 , 102, 103) umfassen, indikativ für eine Dynamik in den ein oder mehreren Aktivitätsbereichen (101 , 102, 103) sind.

7. Verfahren nach Anspruch 5 oder 6, wobei das Verfahren weiterhin umfasst:

- Bestimmen einer Reihenfolge der ein oder mehreren Aktivitätsbereiche (101 , 102, 103) basierend auf den ein oder mehreren Merkmalen, die Kontextinformation für die ein oder mehreren Aktivitätsbereiche (101 , 102, 103) umfassen, wobei die Assistenzfunktionalität in Abhängigkeit von der Reihenfolge gesteuert wird.

8. Verfahren nach einem der voranstehenden Ansprüche, wobei der maschinengelernte Algorithmus (82) ein basierend auf einer Kombination der mindestens zwei Mikroskopiebilder (71 , 72) bestimmtes Kombinationsbild (75), das beispielsweise den optischen Fluss kodiert, und/oder die mindestens zwei Mikroskopiebilder (71 , 72) und/oder einen Kontext des chirurgischen Eingriffs als Eingabe erhält.

9. Verfahren nach einem der voranstehenden Ansprüche, wobei das Verwenden der Karte (76), um die Assistenzfunktionalität im Zusammenhang mit dem chirurgischen Eingriff zu steuern, umfasst:

- Anwenden von mindestens einem Steuerungsalgorithmus (83), der die Karte (76) als Eingabe erhält, um Steuerungsdaten (77) für die Assistenzfunktionalität zu erhalten.

10. Verfahren nach Anspruch 9, wobei der Steuerungsalgorithmus (83) einen Kontext des chirurgischen Eingriffs als weitere Eingabe erhält, und/oder wobei der mindestens eine Steuerungsalgorithmus ein vordefiniertes Regelwerk berücksichtigt, welches Randbedingungen für die Wahl der Steuerdaten in Abhängigkeit von ein oder mehreren Merkmalen der Karte (76) definiert.

11 . Verfahren nach einem der voranstehenden Ansprüche, wobei die Assistenzfunktionalität aus einer Gruppe ausgewählt ist, welche die folgenden Elemente umfasst: Umpositionieren des Operationsmikroskops (801 ); Änderung eines Vergrößerungsfaktors des Operationsmikroskops (801 ); Anpassung eines Fokus des Operationsmikroskops (801 ); Anpassen einer Beleuchtung des Eingriffsbereichs durch das Operationsmikroskop (801 ).

12. Verfahren nach einem der voranstehenden Ansprüche, wobei das Verfahren weiterhin umfasst:

- Erkennen der Präsenz von Operationsbesteck in den mindestens zwei Mikro- skopiebildern mit einem Objekterkennungsalgorithmus, wobei die Assistenzfunktionalität nur ausgelöst wird, wenn eine Präsenz von Operationsbesteck in den mindestens zwei Mikroskopiebildern erkannt wird.

13. Verfahren nach Anspruch 12, wobei der Objekterkennungsalgorithmus keine Lokalisierung des Operationsbestecks in den mindestens zwei Mikroskopiebildern durchführt.

14. Steuerungsvorrichtung zur Steuerung einer Assistenzfunktionalität für einen chirurgischen Eingriff an einem Patienten, wobei die Steuerungsvorrichtung eingerichtet ist, um die folgenden Schritte auszuführen:

- basierend auf mindestens zwei Mikroskopiebildern (71 , 72), die mit einem Operationsmikroskop (801 ) erfasst wurden und die eine Eingriffsregion (50) des chirurgischen Eingriffs abbilden und die zu unterschiedlichen Zeitpunkten erfasst wurden, Anwenden eines maschinengelernten Algorithmus (82), um eine Karte (76) der Eingriffsregion (50) zu erhalten, und

- Verwenden der Karte (76), um eine Assistenzfunktionalität im Zusammenhang mit dem chirurgischen Eingriff zu steuern, wobei die Karte (76) indikativ für ein oder mehrere Aktivitätsbereiche (101 , 102, 103) in der Eingriffsregion (50) ist, die eine erhöhte Aktivität aufweisen und durch die erhöhte Aktivität mit einer erhöhten Wahrscheinlichkeit für die Präsenz von Operationsbesteck (51 , 52) assoziiert sind.

15. System, das umfasst:

- die Steuerungsvorrichtung nach Anspruch 14, und

- das Operationsmikroskop (801 ) mit einem Aktuator zum Umpositionieren des Operationsmikroskops, wobei die Assistenzfunktionalität die Umpositionierung des Operationsmikroskops umfasst.

Description:
Tool-Typ-Aqnostische Assistenzfunktionalität bei chirurgischen Eingriffen

TECHNISCHES GEBIET

Verschiedene Beispiele der Offenbarung betreffen Techniken zur Steuerung einer Assistenzfunktionalität im Zusammenhang mit einem chirurgischen Eingriff basierend auf Mikroskopiebildern eines Operationsmikroskops.

HINTERGRUND

Im Stand der Technik sind Operationsmikroskope bekannt, die einem Benutzer, in der Regel dem Operateur (Chirurg), verschiedenste Informationen im Okular darbieten. Die DE 10203215 A1 beschreibt beispielsweise ein Operationsmikroskop, das eine Kamera hat, welche ein elektronisches Bildsignal erzeugt. Das Bildsignal wird auf einem elektronischen Okular angezeigt, das eine entsprechende Anzeigevorrichtung für die elektronischen Bilddaten hat. Dort können auch weitere Informationen ausgegeben werden. Ein Operationsmikroskop ist auch bekannt aus DE 10 2014 113 935 A1 .

Typische Operationsmikroskope (OP-Mikroskope) weisen eine Vielzahl von möglichen Einstellungen auf. Oftmals kann es während der Operation aufwendig sein, eine gute Einstellung auszuwählen.

Bekannt ist unter anderem die Offenbarung der Druckschrift EP3593704, welche ein assistierendes Endoskop zeigt, das basierend auf Bildverarbeitung und einer Datenbank vorheriger Operationen Aktionen ableitet. Dabei kommt eine händisch erstellte Datenbank zum Einsatz. Solche Techniken weisen oftmals eine begrenzte Flexibilität auf und sind damit manchmal ungenau.

KURZE ZUSAMMENFASSUNG DER ERFINDUNG

Deshalb besteht ein Bedarf für verbesserte Techniken, um eine Assistenzfunktionalität im Zusammenhang mit einem chirurgischen Eingriff zu steuern. Insbesondere besteht ein Bedarf, um Assistenzfunktionalitäten im Zusammenhang mit der Steuerung eines Operationsmikroskops, welches beim chirurgischen Eingriff verwendet wird, zu steuern. Diese Aufgabe wird gelöst von den Merkmalen der unabhängigen Patentansprüche. Die Merkmale der abhängigen Patentansprüche definieren Ausführungsformen.

Nachfolgend werden Techniken beschrieben, um mittels computerimplementierter Algorithmen eine Unterstützung bei einem chirurgischen Eingriff - insbesondere bei mikrochirurgischen Eingriffen, beispielsweise im Kopfbereich, Augenbereich. Herzbereich, Wirbelsäule (Neurologie), Hals-Nasen-Ohr-Bereich oder Dentalbereich - bereitzustellen.

Dazu wird eine Assistenzfunktionalität geeignet gesteuert. Die Assistenzfunktionalität kann automatisiert ein oder mehrere Gerätschaften, die während des chirurgischen Eingriffs verwendet werden, steuern. Es könnte ein Operationsmikroskop gesteuert werden. Die Assistenzfunktionalität könnte auch eine Benutzerinteraktion bereitstellen, etwa Anweisungen geben usw.

In den verschiedenen Beispielen könnte zum Beispiel eine oder mehrere Aktionen der Assistenzfunktionalität ausgelöst werden. Es könnte ein Zeitpunkt bestimmt werden, zu welchem die ein oder die mehreren Aktionen ausgelöst werden. Es könnte auch ein Typ der Aktion bestimmt werden.

Zur Steuerung der Assistenzfunktionalität werden Mikroskopiebilder eines Operationsmikroskops verwendet, um eine Karte einer von den Mikroskopiebildern an abgebildeten Eingriffsregion zu erhalten.

Die Karte kann - allgemein formuliert - indikativ für einen zeitlichen Kontext und/oder einen örtlichen Kontext von ein oder mehreren Aktivitätsbereichen sein, die in der Eingriffsregion basierend auf den Mikroskopiebildern erkannt wurden. In den Aktivitätsbereichen kann eine erhöhte Aktivität im Vergleich zu anderen Bereichen innerhalb der Eingriffsregion festgestellt werden. In anderen Worten, die Karte kann eine Vielzahl von Bereichen aufweisen, wobei einige Bereiche als Aktivitätsbereiche bestimmt werden können, wenn sie eine erhöhte Aktivität oder Dynamik im Vergleich zu den übrigen Bereichen der Karte aufweisen. Eine erhöhte Dynamik kann insbesondere durch die Bewegung von Operationsbesteck im entsprechenden Aktivitätsbereich hervorgerufen werden.

Solche Techniken beruhen auf der Erkenntnis, dass Veränderungen über der Zeit in den Mikroskopiebildern insbesondere durch Bewegung von Operationsbesteck (auch als Tools bezeichnet) bewirkt werden können. Verschiedene hierin beschriebenen Beispiele beruhen auf der Erkenntnis, dass es entbehrlich sein kann, explizit einen Typ des verwendeten Operationsbestecks zu erkennen, um eine Assistenzfunktionalitäten im Zusammenhang mit dem chirurgischen Eingriff zu steuern. Vielmehr kann lediglich die Anwesenheit bzw. Abwesenheit von Operationsbesteck in den verschiedenen Gebieten in der Eingriffsregion bestimmt werden, basierend auf einem Vergleich von Mikroskopiebilder - etwa Gemäß dem Grundsatz: „Dort wo sich etwas bewegt, sind potentielle Positionen, an denen sich das Operationsbesteck befindet“. D.h. die Karte kann Tool-Typ-agnostisch sein, d.h. unterscheidet z.B. nicht zwischen unterschiedlichen Typen von Operationsbesteck. Derart kann also basierend auf dem zeitlichen Kontext der Mikroskopiebilder die Karte bestimmt werden, die die ein oder mehreren Aktivitätsbereiche bestimmt. Basierend auf dieser Karte kann dann eine Assistenzfunktionalität gesteuert werden. Insbesondere könnte zum Beispiel das Operationsmikroskop umpositioniert werden. Dies kann unter der Vorbedingung erfolgen, dass im Mikroskopiebild Operationsbesteck erkannt wurde.

Gemäß einem Beispiel umfasst ein Verfahren zur Steuerung einer Assistenzfunktionalität für einen chirurgischen Eingriff an einem Patienten das Anwenden eines maschinengelernten Algorithmus. Das basiert auf mindestens zwei Mikroskopiebildern, die mit einem Operationsmikroskop (OP-Mikroskop) erfasst wurden. Die mindestens zwei Mikroskopiebilder bilden eine Eingriffsregion des chirurgischen Eingriffs ab. Die mindestens zwei Mikroskopiebilder werden zu unterschiedlichen Zeitpunkten erfasst, also z.B. an zwei oder mehr Zeitpunkten. Basierend auf dem Anwenden des maschi- nengelernten Algorithmus wird eine Karte der Eingriffsregion erhalten. Diese Karte ist indikativ für ein oder mehrere Aktivitätsbereichen in der Eingriffsregion. Die ein oder mehreren Aktivitätsbereichen sind mit einer erhöhten Wahrscheinlichkeit für die Präsenz eines Operationsbestecks (OP-Besteck) assoziiert. Das Verfahren umfasst außerdem das Verwenden der Karte, um eine Assistenzfunktionalitäten im Zusammenhang mit dem chirurgischen Eingriff zu steuern.

Als allgemeine Regel wäre es denkbar, dass ein oder mehrere Karten bestimmt werden. Nachfolgend werden die Techniken aus Gründen der Einfachheit für eine einzelne Karte beschrieben. Entsprechende Techniken können aber dupliziert werden für mehrere Karten. Als allgemeine Regel wäre es denkbar, dass mehrere Eingriffsregionen betrachtet werden, indem z.B. mehrere Karten verwendet werden, z.B. eine pro Eingriffsregion.

Die mindestens zwei Mikroskopiebilder können zum Beispiel aus der Gruppe ausgewählt sein, die umfasst: Monobilder; Stereobilder; Bilder die Tiefeninformation kodieren. Stereobilder können eine Tiefeninformation kodieren. Die mindestens zwei Mikroskopiebilder können also, allgemein formuliert, optional weitere Informationen kodieren, etwa Tiefeninformation. Dazu können geeignete Bildgebungsmodalitäten verwendet werden. Zum Beispiel könnte entsprechende Informationen erfasst werden mittels Time-of-Flight-Bildgebung und/oder strukturierter Beleuchtung und/oder Ste- reobildgebung. Bei der strukturierten Beleuchtung können Beleuchtungsmuster auf die Eingriffsregion projiziert werden und basierend auf einer Verzerrung der Beleuchtungsmuster aufgrund der Topographie der Eingriffsregion die Tiefeninformation ermittelt werden. Beispielsweise könnte basierend auf einer solchen kodierten Tiefeninformationen jeweils für jedes Mikroskopiebild in einem Vorverarbeitungsschritt ein entsprechendes Topographiebild erzeugt werden, welches dann als Eingabe für den maschinengelernten Algorithmus verwendet werden kann.

In den verschiedenen hierin beschriebenen Beispielen können unterschiedliche Arten von maschinengelernten Algorithmen verwendet werden. Insbesondere können zum Beispiel tiefe neuronale Netzwerke verwendet werden, zum Beispiel Faltungsnetzwerke (engl. convolutional neural networks).

Ein Zeitabstand zwischen den unterschiedlichen Zeitpunkten, zu denen die Mikroskopiebilder erfasst werden, kann einer Zeitskala entsprechen, auf der OP-Besteck typischerweise von einem Chirurgen bewegt wird. Das bedeutet, dass der Zeitabstand zum Beispiel im Sekundenbereich liegen kann, so zum Beispiel im Bereich von 200 ms bis 5 Sekunden liegen kann.

Die Aktivitätsbereiche können also solche Bereiche bezeichnen, bei denen mit erhöhter Wahrscheinlichkeit - im Vergleich zu anderen Bereichen innerhalb der Eingriffsregion - das OP-Besteck positioniert ist. Solche Techniken beruhen auf der Erkenntnis, dass das OP-Besteck als Funktion der Zeit bewegt wird und damit ein zeitlich veränderlicher Kontrast in den Mikroskopiebilder resultiert. Durch Berücksichtigung des zeitlich veränderlichen Kontrasts können die Aktivitätsbereichen bestimmt werden. Der Hintergrund - anatomische Merkmale des Patienten - kann oftmals typischerweise vergleichsweise statisch sein.

Die Karte kann, allgemein formuliert, bestimmte Merkmale des semantischen Kontexts, der durch die mindestens zwei Mikroskopiebilder abgebildet wird, abstrahiert von der Bildgebungsmodalität des OP-Mikroskops, die zur Erfassung der Mikroskopiebilder verwendet wird, darstellen. Die Karte kann also Merkmale aus den mindestens zwei Mikroskopiebildern - und optional basierend weiteren Eingaben in den maschinengelernten Algorithmus - extrahieren. Die Karte kann zum Beispiel bereinigt sein, so dass Rauschen oder Störungen, die in den mindestens zwei Mikroskopiebil- dern beinhaltet sind, nicht als Merkmale der Karte verwendet werden. Der Kontrast von Mikroskopiebildern hängt typischerweise ab von der verwendeten Bildgebungsmodalität. Die Karte kann den Kontrast abstrahieren.

Die Karte und die mindestens zwei Mikroskopiebilder können in einem gemeinsamen Referenzkoordinatensystem definiert sein. Dadurch kann eine Zuordnung zwischen den Positionen der durch die Karte indizierten Merkmalen - etwa den Aktivitätsbereichen - und den entsprechenden Positionen in den mindestens zwei Mikroskopiebil- dern erfolgen. Die Mikroskopiebilder bilden einen Sichtbereich des OP-Mikroskops ab. Dieser kann die Eingriffsregion umfassen.

Solche Techniken beruhen auf der Erkenntnis, dass es hilfreich sein kann, die Assistenzfunktionalitäten basierend auf einer Kennzeichnung der ein oder mehreren Aktivitätsbereiche zu steuern. Häufig ist es für die Steuerung der Assistenzfunktionalitäten besonders hilfreich, wenn die Präsenz und insbesondere Positionierung von OP- Besteck in der Eingriffsregion als Entscheidungsgrundlage verwendet wird. Verschiedene Beispiele beruhen insbesondere auf der Erkenntnis, dass die Präsenz von OP- Besteck in bestimmten Aktivitätsbereichen in der Eingriffsregion zur genauen Steuerung der Assistenzfunktionalität wichtiger sein kann, als eine Unterscheidung zwischen unterschiedlichen Typen von OP-Besteck. Insoweit kann es in verschiedenen Beispielen möglich sein, dass die Karte agnostisch betreffend unterschiedlichen Typen von OP-Besteck ist, d.h. nicht zwischen unterschiedlichen Typen von OP-Besteck unterscheidet (Tool-Typ-agnostische Karte). Der Typ des OP-Bestecks bedeutet dabei z.B. die Geometrie, das Erscheinungsbild und die vom OP-Besteck ermöglichte Funktionalität. Typen von OP-Besteck können zum Beispiel sein: Messer; Scheren; Klammem; Skalpell; Sauger; Pinzette; ClISA; Knochenstanze; usw. Der Typ von OP-Besteck soll aber nicht vom Operateur abhängen. Das bedeutet also, dass der Typ von OP-Besteck nicht von der spezifischen Rolle des OP-Bestecks in einer konkreten Instanz einer Operation abhängen soll. Zum Beispiel kann ein bestimmter Typ von OP-Besteck, zum Beispiel ein Messer, auf unterschiedlichste Arten und Weisen von unterschiedlichen Operateuren verwendet werden; zum Beispiel könnte ein Messer von unterschiedlichen Operateuren unterschiedlich gehalten werden, unterschiedlich bewegt werden, das heißt mit unterschiedlichen Bewe- gungsmustern, usw. Eine solche Verwendung des OP-Besteck kann aber die Aktivitätsbereiche definieren und insoweit durch die Karte abgebildet werden.

Das bedeutet also, dass die Aktivitätsbereiche zwar die Präsenz von OP-Besteck anzeigen können, die Karte aber keine entsprechenden Merkmale beinhaltet, die zwischen unterschiedlichen Typen von OP-Besteck unterscheiden würde.

Es wurde festgestellt, dass eine robuste Steuerung von Assistenzfunktionalitäten insbesondere dann möglich ist, wenn nicht zwischen den unterschiedlichen Typen von OP-Besteck unterschieden wird. Dies kann insbesondere daran liegen, dass das Erscheinungsbild von OP-Besteck signifikant variieren kann, selbst für OP-Besteck desselben Typs. Beispielsweise kann die Färb- und Formgebung von OP-Besteck je nach Hersteller stark variieren. Es wurde beobachtet, dass die Zuverlässigkeit der Steuerung der Assistenzfunktionalität leidet, wenn eine Unterscheidung zwischen unterschiedlichen Typen von OP-Besteck berücksichtigt wird, da derart eine weitere Fehlerquelle generiert wird. Der maschinengelernte Algorithmus kann robuster trainiert werden, wenn keine Unterscheidung zwischen den unterschiedlichen Typen von OP-Besteck gefordert wird. Deshalb ist es in den verschiedenen Beispielen möglich, dass die Assistenzfunktionalität agnostisch betreffend den unterschiedlichen Typen von OP-Besteck gesteuert wird, d.h. nicht in Abhängigkeit von den unterschiedlichen Typen von OP-Besteck gesteuert werden soll. Die Aktivitätsbereiche können auf unterschiedliche Arten und Weisen in der Karte wiedergegeben werden.

Zum Beispiel wäre es denkbar, dass die Karte für mehrere Bereiche der Eingriffsregion Wahrscheinlichkeitswerte für die Präsenz oder die Absenz von OP-Besteck beinhaltet. Dies entspräche einer Wahrscheinlichkeitskarte. Derart können die Aktivitätsbereiche indiziert werden. Dabei können dann die ein oder mehreren Aktivitätsbereiche an solchen Bereichen lokalisiert sein, die erhöhte Wahrscheinlichkeitswerte aufweisen.

Es wäre möglich, dass die Anwesenheit von OP-Besteck überprüft wird, ohne das OP-Besteck zu lokalisieren. In Abhängigkeit davon, ob OP-Besteck erkannt wird, könnte dann selektiv eine Assistenzfunktionalität ausgelöst werden; oder es könnten unterschiedliche Assistenzfunktionalitäten ausgelöst werden, je nachdem, ob oder ob nicht OP-Besteck erkannt wird. Eine solche Variante beruht auf der Erkenntnis, dass OP-Besteck robust erkannt werden kann; eine Lokalisierung ist nicht benötigt, da für eine örtliche Komponente der Assistenzfunktionalität die Karte, die indikativ für die Aktivitätsbereiche ist, verwenden werden kann. Dem liegt die Erkenntnis zugrunde, dass bei Vorhandensein von OP-Besteck in den Mikroskopiebildern die erhöhte Aktivität im Regelfall durch das OP-Besteck ausgelöst wird (und somit eine separate Lokalisierung des OP-Bestecks zusätzlich zur Bestimmung der Karte, beispielsweise basierend auf dem optischen Fluss, nicht erforderlich ist). Das bedeutet, dass die Erkennung der Anwesenheit von OP-Besteck zur Plausibilisierung genutzt werden kann, dass eine erhöhte Aktivität im Aktivitätsbereich tatsächlich durch OP-Besteck bedingt ist (und nicht durch andere Störungen).

Der maschinengelernte Algorithmus kann eine Regressionsschicht aufweisen, um kontinuierliche Wahrscheinlichkeitswerte auszugeben.

Derart kann es möglich sein, eine Wahrscheinlichkeitsverteilung für die Positionierung der Aktivitätsbereiche in der Eingriffsregion anzugeben. Derart kann eine differenziertere Steuerung der Assistenzfunktionalität erfolgen.

Zum Beispiel könnten im Zusammenhang mit solchen Wahrscheinlichkeitswerten Techniken im Zusammenhang mit dem maschinengelernten Algorithmus verwendet werden, wie sie im Grundsatz im Zusammenhang mit der sog. „saliency“ -Analyse bekannt sind. Sh. z.B. Reddy, Navyasri, et al. "Tidying deep saliency prediction architectures." arXiv preprint arXiv:2003.04942 (2020). Dabei können z.B. künstliche tiefe neuronale Netze verwendet werden. Diese können einen Kodier-Zweig aufweisen, der die Bildinformation in einen dimensionalitätsreduzierten Merkmalsvektor oder Merkmalsmatrix überführt. Dann kann ggf. eine Dekodierung zum Upsampling auf eine gewünschte Auflösung erfolgen. Die latenten Merkmale der Kodierung können dabei anwendungsspezifisch definiert sein. Alternativ oder zusätzlich zur Verwendung von Wahrscheinlichkeitsverteilungen zur Indizierung von Aktivitätsbereichen könnte auch eine deterministische Lokalisierung erfolgen. Es könnte z.B. eine binäre Unterscheidung erfolgen, ob bestimmte Positionen innerhalb oder außerhalb eines Aktivitätsbereichs lokalisiert sind. Der maschinengelernte Algorithmus kann eine Klassifikationsschicht zur binären Klassifikation umfassen. So könnte eine Maske für die ein oder mehreren Aktivitätsbereiche verwendet werden. Diese Maske kann eine binäre Diskriminierung zwischen unterschiedlichen Positionen in der Eingriffsregion bereitstellen, das heißt jeweils angeben, ob eine bestimmte Position in der Eingriffsregion innerhalb oder außerhalb eines Aktivitätsbereichen befindlich ist.

Die Karte kann also - allgemein formuliert - die Aktivitätsbereiche als entsprechende Merkmale beinhalten. Neben den Merkmalen der Karte, welche die ein oder mehreren Aktivitätsbereiche bezeichnen, könnte die Karte auch noch weitere andere Merkmale beinhalten, etwa Positionen von anatomischen Merkmalen des Patienten, Referenzpunkte im Sichtfeld des OP-Mikroskops - wie beispielsweise das Zentrum des Sichtfelds - usw. Es ist aber alternativ oder zusätzlich zu solchen nicht mit den Aktivitätsbereichen in Zusammenhang stehenden Merkmalen möglich, dass die Karte ein oder mehrere weitere Merkmale umfasst, die Kontextinformationen für die ein oder mehreren Aktivitätsbereiche indizieren.

Es sind dabei unterschiedliche Arten von Merkmalen denkbar. Es wäre möglich, dass die Karte - als weiteres Merkmal neben den ein oder mehreren Aktivitätsbereichen - Merkmale umfasst, die indikativ für eine Erfüllung von ein oder mehreren örtlichen Nachbarschaftsbeziehungen durch Gruppen von Aktivitätsbereichen der ein oder mehreren Aktivitätsbereiche ist. Die Karte könnte zum Beispiel zwei oder mehr Aktivitätsbereiche indizieren. Eine Gruppe von Aktivitätsbereichen kann entsprechend zwei oder mehr Aktivitätsbereiche beinhalten. Es könnte dann mittels des maschinengelernten Algorithmus überprüft werden, ob die Aktivitätsbereiche einer Gruppe bestimmte Kriterien im Zusammenhang mit der relativen örtlichen Anordnung (örtliche Nachbarschaftsbeziehung) erfüllen. Zum Beispiel könnte überprüft werden, ob ein Abstand zwischen den Aktivitätsbereichen einer jeweiligen Gruppe kleiner als ein vorgegebenen Schwellenwert ist, das heißt dass sich die Aktivitätsbereiche vergleichsweise nahe beieinander befinden (was indikativ für nahe nebeneinander positioniertes OP-Besteck sein könnte). Andere Nachbarschaftsbeziehungen beträfen zum Beispiel einen mittleren Abstand zwischen den jeweils nächstgelegenen Aktivitätsbereichen derselben Gruppe.

Durch die zusätzliche Kennzeichnung der Erfüllung von örtlichen Nachbarschaftsbeziehungen durch die Aktivitätsbereiche einer Gruppe im Zusammenhang mit der Karte kann entsprechende Kontextinformation beim Steuern der Assistenzfunktionalität auf Grundlage der Karte berücksichtigt werden. Es wurde zum Beispiel festgestellt, dass es in manchen Varianten hilfreich sein kann, räumliche Cluster von Aktivitätsbereichen, die nahe beieinanderliegen, bei der Steuerung der Assistenzfunktionalität verstärkt zu berücksichtigen, zum Beispiel im Vergleich zu solchen Aktivitätsbereichen, die isoliert in großem Abstand zu anderen Aktivitätsbereichen in der Eingriffsregion angeordnet sind.

Neben solchen Nachbarschaftsbeziehungen, die innerhalb der Menge der Aktivitätsbereiche selbst definiert sind, können alternativ oder zusätzlich auch Nachbarschaftsbeziehungen berücksichtigt werden, die im Zusammenhang mit der Anordnung der ein oder mehreren Aktivitätsbereiche in der Anatomie des Patienten definiert sind. Die Karte könnte entsprechend Merkmale beinhalten, die indikativ für eine Erfüllung von ein oder mehreren anatomischen Nachbarschaftsbeziehungen von Aktivitätsbereichen der ein oder mehreren Aktivitätsbereiche sind. Beispielsweise könnten solche Aktivitätsbereiche gekennzeichnet werden, die vergleichsweise nahe an geschützten anatomischen Regionen - etwa sensiblen Organe - angeordnet sind. Es könnten auch solche Aktivitätsbereiche gekennzeichnet werden, die besonders nahe an einer anatomischen Zielregion - etwa einem zu entfernenden Tumor - positioniert sind.

Es wurde festgestellt, dass ein solcher anatomischer Kontext bei einer zuverlässigen Steuerung einer Assistenzfunktionalität nützlich sein kann. Beispielsweise kann eine erhöhte Aufmerksamkeit des Chirurgen bei solchen Aktivitätsbereichen angenommen werden, die nahe bei sensiblen Organen usw. liegen. Zum Beispiel könnten solche Aktivitätsbereiche stärker berücksichtigt werden bei der Steuerung der Assistenzfunktionalität, die besonders nahe an sensiblen anatomischen Merkmalen des Patienten angeordnet sind, oder die nahe bei der Zielregion des chirurgischen Eingriffs liegen. Dies beruht auf der Erkenntnis, dass solche Aktivitätsbereiche typischerweise die vermehrte Aufmerksamkeit eines Operateurs benötigen. Ferner könnte derart eine Reihenfolge der mehreren Aktivitätsbereiche definiert werden und die Assistenzfunktionalität zielgerichtet im Zusammenhang mit gemäß der Reihenfolge definierten höher hierarchischen Aktivitätsbereichen erfolgen.

Weitere Merkmale, welche die Karte optional beinhalten kann, und die Kontextinformation für Aktivitätsbereiche bereitstellen, beträfen zum Beispiel die Anzahl von OP- Besteck in Aktivitätsbereichen.

Manchmal kann es vorkommen, dass mehrere OP-Bestecke überlagert oder angrenzend zueinander verwendet werden. Es wäre dann möglich, dass die Karte anzeigt, wie viele entsprechende OP-Bestecke vom entsprechenden Aktivitätsbereiche umfasst sind. Der maschinengelernte Algorithmus kann eine entsprechende Klassifikation / Regression vornehmen.

Zum Beispiel könnte ein Aktivitätsbereich, in dem vergleichsweise viel OP-Besteck angeordnet ist, eine erhöhte Aufmerksamkeit des Operateurs benötigen - etwa im Vergleich mit einem Aktivitätsbereich, in dem vergleichsweise wenig OP-Besteck angeordnet ist. Auch basierend auf einer solchen Indikation der Anzahl des verwendeten OP-Besteck pro Aktivitätsbereich könnte eine Reihenfolge der mehreren Aktivitätsbereiche definiert werden. Zum Beispiel wäre es denkbar, dass solche Aktivitätsbereiche, in denen eine größere Anzahl von OP-Besteck positioniert ist, auf einer höheren Hierarchiestufe der Reihenfolge angesiedelt werden.

Die Karte könnte - alternativ oder zusätzlich zu den o.g. Merkmalsklassen - auch indikativ für eine Dynamik, beispielsweise eine erhöhte Aktivität oder erhöhte Dynamik, oder erhöhte/größere Bewegung, insbesondere von BildteilenZ-elementen, in den Aktivitätsbereichen der ein oder mehreren Aktivitätsbereiche sein. Zum Beispiel wäre es denkbar, dass bestimmtes OP-Besteck - etwa Klammem zur Fixierung von Gewebe - vergleichsweise statisch positioniert ist; während anderes OP-Besteck - etwa ein Sauger - händisch geführt wird und damit vergleichsweise dynamisch positioniert ist. Dies kann sich in der Dynamik innerhalb der verschiedenen Aktivitätsbereiche - etwa quantifiziert durch die Stärke des optischen Flusses zwischen den verschiedenen Mikroskopiebildern - ausdrücken, wobei der Typ eines OP-Besteck durch das Modell oder den Algorithmus nicht trainiert und/oder nicht erkannt wird.

Typischerweise kann solches OP-Besteck, welches eine große Dynamik in der Positionierung aufweist, vergleichsweise wichtig für den Operateur sein, etwa bei handgeführtem OP-Besteck. Es wäre denkbar, dass eine Reihenfolge zwischen den Aktivitätsbereiche auch unter Berücksichtigung der Dynamik des OP-Bestecks in den Aktivitätsbereichen bestimmt wird.

Allgemein formuliert wäre es möglich, dass das Verfahren weiterhin das Bestimmen einer Reihenfolge der ein oder mehreren Aktivitätsbereiche umfasst.

Die Reihenfolge kann basierend auf den ein oder mehreren Merkmalen, die Kontextinformation für die ein oder mehreren Aktivitätsbereiche umfassen, bestimmt werden. Dann kann die Assistenzfunktionalität in Abhängigkeit von der Reihenfolge gesteuert werden.

Die Reihenfolge kann also eine Hierarchie zwischen den Aktivitätsbereichen definieren. Höher hierarchische Aktivitätsbereiche können die Steuerung der Assistenzfunktionalität stärker beeinflussen als nieder hierarchische Assistenzbereiche.

Durch solche Techniken können insbesondere Zielkonflikte aufgelöst werden. Gibt es zum Beispiel mehrere unterschiedliche Aktivitätsbereiche, die beabstandet voneinander angeordnet sind, so kann zu einem gegebenen Zeitpunkt jeweils nur einer dieser Aktivitätsbereichen ein Zentrum des Sichtfelds des OP-Mikroskops positioniert werden. Der entsprechende Zielkonflikt kann dann aufgelöst werden, wenn - gemäß der Reihenfolge - der „wichtigste“ Aktivitätsbereich im Zentrum des Sichtfelds positioniert wird. Dies ermöglicht eine besonders gute Steuerung der Assistenzfunktionalität, angepasst an die Erfordernisse des chirurgischen Eingriffs.

Die Reihenfolge könnte zum Beispiel durch den maschinengelernten Algorithmus bestimmt werden. Es wäre aber auch denkbar, dass die Reihenfolge durch einen nachgelagerten Steuerungsalgorithmus bestimmt wird. Voranstehend wurden verschiedene Beispiele im Zusammenhang mit der Karte diskutiert, die basierend auf mindestens zwei Mikroskopiebildern erstellt wird, und die Merkmale beinhaltet, welche mit ein oder mehreren Aktivitätsbereichen assoziiert sind. Der maschinengelernte Algorithmus erstellt diese Karte basierend auf einer Eingabe.

Diese Eingabe basiert auf den mindestens zwei Mikroskopiebildern. In einer Variante wäre es denkbar, dass der maschinengelernte Algorithmus direkt die mindestens zwei Mikroskopiebilder als Eingabe erhält. Zum Beispiel könnten die mindestens zwei Mikroskopiebilder als separate Kanäle an den maschinengelernten Algorithmus übergeben werden. Alternativ oder zusätzlich könnte aber basierend auf den mindestens zwei Mikroskopiebildern auch weitere oder andere Information bestimmt werden, die der maschinengelernte Algorithmus als Eingabe erhält.

Eine Vorverarbeitung der mindestens zwei Mikroskopiebilder, um die Eingabe des maschinengelernten Algorithmus zu erhalten, kann in den verschiedenen Beispielen durch einen computerimplementierten Vorverarbeitungsalgorithmus erfolgen.

Z.B. könnte Tiefeninformation verwendet werden, um ein Topographiebild der Eingriffsregion zu erstellen, etwa mittels des Vorverarbeitungsalgorithmus. Tiefeninformation könnte z.B. durch Stereobildgebung, Time-of-Flight-Bildgebung und/oder strukturierte Beleuchtung erzeugt werden. Eine solche Bestimmung könnte noch vor der Ermittlung eines Kombinationsbilds, wie nachfolgend beschrieben, erfolgen.

Es wäre möglich, dass ein Kombinationsbild basierend auf einer Kombination der mindestens zwei Mikroskopiebilder bestimmt wird und der maschinengelernte Algorithmus dieses Kombinationsbild als Eingabe erhält.

Das Kombinationsbild kann optische Flusswerte als Differenzmaß zwischen den Mik- roskopiebildern der mindestens zwei Mikroskopiebilder umfassen. Bei einem optischen Flussbild sind in der Regel räumliche Informationen entfernt. Der optische Fluss kann die Bewegung von Bildpunkten codieren. Der optische Fluss kann z.B. ein Vektorfeld beschreiben, welches die in die Bildebene projizierte Geschwindigkeit von sichtbaren Punkten des Objektraumes im Bezugssystem der Abbildungsoptik angibt. Ein entsprechender Kombinationsalgorithmus zur Bestimmung eines optischen Flussbilds kann z.B. bildpunktweise oder blockweise arbeiten. Ein beispielhafter Kombinationsalgorithmus zum Erhalten eines optischen Flussbilds als spezielle Form des Kombinationsbilds ist z.B. beschrieben in: Sun, D., Yang, X., Liu, M. Y., & Kautz, J. (2018). Pwc-net: Cnns for optical flow using pyramid, warping, and cost volume.

In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 8934-8943). Ein weiterer beispielhafter Kombinationsalgorithmus zum Erhalten eines optischen Flussbilds als spezielle Form des Kombinationsbilds ist z.B. beschrieben in: Hui, T. W., Tang, X., & Loy, C. C. (2018). Liteflownet: A lightweight convolutional neural network for optical flow estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 8981 -8989). Ein weiterer beispielhafter Kombinationsalgorithmus zum Erhalten eines optischen Flussbilds als spezielle Form des Kombinationsbilds ist z.B. beschrieben in: llg, E., Mayer, N., Saikia, T., Keuper, M., Dosovitskiy, A., & Brox, T. (2017). Flownet 2.0: Evolution of optical flow estimation with deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2462-2470).

Als allgemeine Regel können in den verschiedenen hierin beschriebenen Beispielen also Kombinationsalgorithmen verwendet werden, welche basierend auf zwei oder mehr Mikroskopiebilder ein Kombinationsbild bestimmen, das als Kontrast optische Flusswerte aufweist, d.h. den optischen Fluss angibt. Dabei können solche Kombinationsalgorithmen berücksichtigen, dass - neben dem OP-Besteck - auch der Hintergrund eine gewisse Bewegung aufweisen kann. Dabei ist es aber möglich, dass der maschinengelernte Algorithmus, der die Karte erstellt, basierend auf dem optischen Flussbild zwischen Hintergrund und OP-Besteck unterscheiden kann. Dies liegt daran, dass typischerweise die Charakteristika der optischen Flusswerte für OP-Besteck verschieden sind von den Charakteristika der optischen Flusswerte für Hintergrund. Als Beispiel: Zusammenhängende homogene Flächen im Vektorfeld des optischen Flusses deuten auf OP-Besteck hin; der Hintergrund bewegt sich nicht oder in andere Richtung als Instrumente (z.B. wenn nur 1 von 2 Instrumenten den Hintergrund berührt); Große Differenz bzgl. Magnitude der Bewegung hinsichtlich Instrumente im Vergleich zu Hintergrund, d.h. der Hintergrund bewegt sich oftmals weniger stark; es liegen hohe Gradienten im optischen Fluss für das OP-Besteck vor. Damit der maschinengelernte Algorithmus, der die Karte bestimmt, und ein Kombinationsalgorithmus, der das Kombinationsbild bestimmt, das als Kontrast optische Flusswerte aufweist, gut Zusammenarbeiten, wäre ein Ende-zu-Ende-Training beider Algorithmen denkbar.

In den verschiedenen hierin beschriebenen Beispielen wäre es möglich, dass die mindestens zwei Mikroskopiebilder mit derselben Pose des OP-Mikroskops in Bezug auf die Eingriffsregion - das heißt derselbe Abstand und dieselbe Orientierung einer abbildenden Optik des OP-Mikroskops in Bezug auf die Eingriffsregion - erfasst wurden. In einem solchen Beispiel könnte das Kombinationsbild direkt durch Differenzbildung der mindestens zwei Mikroskopiebilder erhalten werden.

In anderen Beispielen wäre es aber auch denkbar, dass die mindestens zwei Mikroskopiebilder bei unterschiedlichen Posen des OP-Mikroskops in Bezug auf die Eingriffsregion erfasst wurden. In einem solchen Beispiel könnte eine Registrierung der mindestens zwei Mikroskopiebilder auf ein gemeinsames Koordinatensystem erfolgen und anschließend eine Transformation in das gemeinsame Koordinatensystem basierend auf der Registrierung. Die entsprechend transformierten mindestens zwei Mikroskopiebilder können dann miteinander kombiniert werden, um das überlagerte Mikroskopiebild zu erhalten.

Voranstehend wurden verschiedene Varianten beschrieben, bei denen die Eingabe des maschinengelernten Algorithmus auf den mindestens zwei Mikroskopiebildern basiert. Optional können auch eine oder weitere Eingaben verwendet werden, die nicht auf den mindestens zwei Mikroskopiebildern basieren.

Beispielsweise könnte der maschinengelernte Algorithmus einen Kontext des chirurgischen Eingriffs als weitere Eingabe erhalten. Eine entsprechende Kontextinformation könnte zum Beispiel einen Typ der Operation, in den Fortschritt der Operation, einen Operateur der Operation, usw. anzeigen. Solche ergänzende Information kann hilfreich sein, um die Assistenzfunktionalität zielgerichtet zu steuern.

In den verschiedenen hierin beschriebenen Varianten kann mindestens ein Steuerungsalgorithmus verwendet werden, der die Karte - die vom maschinengelernten Algorithmus als Ausgabe bereitgestellt wird - als Eingabe erhält. Der mindestens eine Steuerungsalgorithmus kann dann Steuerungsdaten für die Assistenzfunktionalität als Ausgabe bereitstellen. Die Steuerungsdaten könnten zum Beispiel an ein oder mehrere Aktuatoren von Gerätschaften (z.B. das OP-Mikroskop) übergeben werden, die während des chirurgischen Eingriffs verwendet werden. Die Steuerungsdaten könnten auch an eine Mensch-Maschinen-Schnittstelle übergeben werden, zum Beispiel um eine Benutzerführung an den Operateur des chirurgischen Eingriffs auszugeben.

Allgemein formuliert können die Steuerungsdaten zumindest eines von einem Typ der Assistenzfunktionalität und einem Zeitpunkt der Assistenzfunktionalität definieren.

Beispielsweise wäre es denkbar, dass grundsätzlich unterschiedliche Aktionen der Assistenzfunktionalität ausgeführt werden können und zwischen den unterschiedlichen Aktionen je nach Inhalt der Karte ausgewählt wird. Es wäre alternativ oder zusätzlich möglich, dass eine Aktion früher oder später ausgeführt wird, je nach Inhalt der Karte.

Der Steuerungsalgorithmus erhält als Eingabe die Karte. Es wäre in den verschiedenen Beispielen möglich, dass der Steuerungsalgorithmus ein oder mehrere weitere Eingaben erhält. Zum Beispiel könnte der Steuerungsalgorithmus als weitere Eingabe den Kontext des chirurgischen Eingriffs erhalten. Details im Zusammenhang mit dem Kontext des chirurgischen Eingriffs wurden obenstehend bereits im Zusammenhang mit einer weiteren Eingabe für den maschinengelernten Algorithmus, der die Karte als Ausgabe bereitstellt, beschrieben; entsprechende Details gelten auch im Zusammenhang mit dem Steuerungsalgorithmus.

Der Steuerungsalgorithmus könnte ein vordefiniertes Regelwerk berücksichtigen. Beispielsweise könnte das Regelwerk als weiterer Eingabe an den Steuerungsalgorithmus übergeben werden. Das Regelwerk könnte auch fix vorgegeben sein.

Das Regelwerk kann z.B. Randbedingungen für die Wahl der Steuerdaten in Abhängigkeit von ein oder mehreren Merkmalen der Karte definieren. Derart kann zum Beispiel eine Kontinuität bei der Bereitstellung der Assistenzfunktionalitäten sicherge- stellt werden. Zum Beispiel können abrupte Änderungen der von der Assistenzfunktionalitäten bereitgestellten Aktionen vermieden werden. Es könnten benutzerspezifische Präferenzen berücksichtigt werden.

Das Regelwerk könnte zum Beispiel eine zeitliche Glättung von Aktionen der Assistenzfunktionalitäten definieren. Dazu könnte entweder ausgangsseitig eine Tiefpassfilterung von entsprechenden Aktionen durchgeführt werden. Es könnte auch eingangsseitig eine zeitliche Veränderung von mehreren Karten, die nacheinander vom maschinengelernten Algorithmus erhalten werden, berücksichtigt werden. Zum Beispiel könnte eine entsprechende Tiefpassfilterung auf eine entsprechende Zeitserie von Karten, die nacheinander vom maschinengelernten Algorithmus erhalten werden, angewendet werden.

Beispielhafte Regeln des Regelwerks könnten zum Beispiel sein: „Eine Aktion Assistenzfunktionalität wird nur dann durchgeführt, wenn mehr als ein Instrument des OP- Besteck in den Mikroskopiebildern sichtbar ist“; oder „Der Fokus des OP-Mikroskops wird nicht auf ein OP-Besteck eingestellt, welches beim Auftreten von mehr als zwei OP-Bestecken nicht in der örtlichen Nachbarschaft mit mindestens einem anderen OP-Besteck angeordnet ist“.

Das Regelwerk könnte auch bestimmen, wie eine Reihenfolge von Aktivitätsbereichen zu bestimmen ist, etwa in Abhängigkeit von Merkmalen, die Kontextinformation der Aktivitätsbereiche betreffen, wie bereits obenstehend diskutiert. In Abhängigkeit von einer solchen Reihenfolge kann dann die Assistenzfunktionalität gesteuert werden.

Beispielhafte Regeln, die in Abhängigkeit von einer solchen Reihenfolge berücksichtigt werden können, wären zum Beispiel: „Befinden sich die Werkzeugspitzen mehrerer OP-lnstrumente in räumlicher Nähe, so wird dem entsprechenden Aktivitätsbereich für eine weitere abhängige Entscheidung eine erhöhte Bedeutung beigemessen; oder „Befinden sich zwei OP-lnstrumente im Aktivitätsbereich und liegen damit in räumlicher Nähe, so wird der entsprechende Aktivitätsbereich gegenüber anderen Aktivitätsbereichen stärker gewichtet“. Als allgemeine Regel können in den verschiedenen hierin beschriebenen Beispielen unterschiedlichste Assistenzfunktionalitäten gesteuert werden. Beispielsweise können Assistenzfunktionalitäten gesteuert werden, die mit dem OP-Mikroskop Zusammenhängen, welches die mindestens zwei Mikroskopiebilder erfasst, basierend auf welchen die Karte erstellt wird. Es wäre aber auch denkbar, dass Assistenzfunktionalitäten gesteuert werden, die das OP-Mikroskopen nicht betreffen; zum Beispiel könnten solche Assistenzfunktionalitäten andere Gerätschaften betreffen, die im Zusammenhang mit dem chirurgischen Eingriff verwendet werden, oder auch eine Benutzerführung über eine Mensch-Maschinen-Schnittstelle ermöglichen.

Es wäre zum Beispiel denkbar, dass die Assistenzfunktionalitäten aus einer Gruppe ausgewählt ist, welche die folgenden Elemente umfasst: Umpositionieren des OP- Mikroskops; Änderung eines Vergrößerungsfaktors des OP-Mikroskops; Anpassung eines Fokus des OP-Mikroskops; Anpassen einer Beleuchtung der Eingriffsregion durch eine Beleuchtung des OP-Mikroskops.

Zum Beispiel wäre es denkbar, dass die Assistenzfunktionalitäten das OP-Mikroskop umpositionieren, basierend auf einem Abstand von mindestens einem der ein oder mehreren Aktivitätsbereiche von einem Zentrum des Sichtfelds des OP-Mikroskops. Das bedeutet in anderen Worten, dass ein erkannter Aktivitätsbereich im Zentrum des Sichtfelds des OP-Mikroskops angeordnet werden kann („Auto-Zentrierung“).

Beispielsweise wurden obenstehend Techniken beschrieben, um eine Reihenfolge der Aktivitätsbereiche zu definieren, etwa basierend auf Merkmalen, die eine Kontextinformation der Aktivitätsbereiche beschreiben, also z.B. basierend auf örtlichen und/oder anatomischen Nachbarschaftsbeziehungen zwischen den Aktivitätsbereichen bzw. in Bezug auf die Anatomie des Patienten. Es könnte dann ein entsprechender Aktivitätsbereich basierend auf dieser Reihenfolge ausgewählt werden und eine Zentrierung des OP-Mikroskops in Bezug auf diesen Aktivitätsbereich erfolgen. Solche Techniken beruhen auf der Erkenntnis, dass es für einen Operateur oftmals besonders wichtig ist, einen bestimmten Aktivitätsbereich zentrale im Sichtfeld zu positionieren, um dort gezielt den chirurgischen Eingriff voranzubringen. Die Assistenzfunktionalität kann damit besonders zielgerichtet bereitgestellt werden. Ein Computerprogramm oder ein Computerprogramm-Produkt oder ein computerlesbares Speichermedium umfasst Programmcode. Der Programmcode kann von einem Prozessor geladen und ausgeführt werden. Wenn der Prozessor den Programmcode ausführt, bewirkt dies, dass der Prozessor ein Verfahren zur Steuerung einer Assistenzfunktionalität für einen chirurgischen Eingriff en einem Patienten ausführt. Das Verfahren umfasst das Anwenden eines maschinengelernten Algorithmus, um eine Karte der Eingriffsregion zu erhalten. Dieses Anwenden basiert auf mindestens zwei Mikroskopiebildern. Die mindestens zwei Mikroskopiebilder wurden mit einem OP-Mikroskop erfasst und bilden eine Eingriffsregion des chirurgischen Eingriffs ab. Die mindestens zwei Mikroskopiebilder wurden zu unterschiedlichen Zeitpunkten erfasst. Außerdem umfasst das Verfahren das Verwenden der Karte, um eine Assistenzfunktionalität im Zusammenhang mit dem chirurgischen Eingriff zu steuern. Dabei ist die Karte indikativ für ein oder mehrere Aktivitätsbereiche in der Eingriffsregion, die mit einer erhöhten Wahrscheinlichkeit für die Präsenz von Operationsbesteck assoziiert sind.

Eine Steuerungsvorrichtung zur Steuerung einer Assistenzfunktionalität für einen chirurgischen Eingriff an einem Patienten ist eingerichtet, um basierend auf mindestens zwei Mikroskopiebildern einen maschinengelernten Algorithmus anzuwenden, um derart eine Karte einer Eingriffsregion zu erhalten. Die mindestens zwei Mikroskopiebilder sind mit einem OP-Mikroskop erfasst und bilden die Eingriffsregion ab. Die mindestens zwei Mikroskopiebilder sind zu unterschiedlichen Zeitpunkten erfasst. Außerdem ist die Steuerungsvorrichtung eingerichtet, um die Karte dazu zu verwenden, eine Assistenzfunktionalität im Zusammenhang mit dem chirurgischen Eingriff zu steuern. Die Karte ist indikativ für ein oder mehrere Aktivitätsbereiche in der Eingriffsregion, die mit einer erhöhten Wahrscheinlichkeit für die Präsenz von Operationsbesteck assoziiert sind.

Ein System könnte zum Beispiel die Steuerungsvorrichtung und das OP-Mikroskop umfassen.

Das OP-Mikroskop kann einen Aktuator zum Umpositionieren des OP-Mikroskops aufweisen.

Die Assistenzfunktionalität könnte dann das Umpositionieren des OP-Mikroskops umfassen. Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.

KURZE BESCHREIBUNG DER FIGUREN

FIG. 1 illustriert schematisch ein OP-Mikroskop gemäß verschiedenen Beispielen.

FIG. 2 illustriert schematisch eine Zielregion einer Operation und die relative Positionierung des OP-Mikroskops zur Zielregion gemäß verschiedenen Beispielen.

FIG. 3 illustriert schematisch ein Gerät, welches im Zusammenhang mit den verschiedenen hierin beschriebenen Beispielen verwendet werden kann, um Mikroskopiebilder auszuwerten und/oder eine Assistenzfunktionalität zu steuern.

FIG. 4 illustriert schematisch eine beispielhafte Datenverarbeitung.

FIG. 5 illustriert schematisch Aktivitätsbereiche in einer entsprechenden Karte gemäß verschiedenen Beispielen.

FIG. 6 illustriert weitere Details im Zusammenhang mit einer Kartendarstellung eines Aktivitätsbereichs.

FIG. 7 ist ein Flussdiagramm eines beispielhaften Verfahrens.

FIG. 8 ist ein Flussdiagramm eines beispielhaften Verfahrens.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.

Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich wird. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden o- der drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.

Verschiedene Beispiele der Erfindung betreffen Techniken, um eine Assistenzfunktionalitäten während dem Durchführen eines chirurgischen Eingriffs zu steuern. In den verschiedenen hierin beschriebenen Beispielen können unterschiedlichste Typen von Assistenzfunktionalitäten gesteuert werden.

Beispielsweise könnte eine Assistenzfunktionalität gesteuert werden, die eine Benutzerführung für einen Operateur des chirurgischen Eingriffs bereitstellt. Es wäre auch möglich, dass ein OP-Mikroskops oder andere Gerätschaften, die bei dem chirurgischen Eingriff verwendet werden (z.B. ein Mikroinspektionstool oder ein konfokales Endomikroskop), gesteuert werden. Die Assistenzfunktionalität kann auch unterschiedliche Typen von Aktionen bereitstellen.

Verschiedene Beispiele der Erfindung betreffen die Bestimmung einer Einstellung eines OP-Mikroskops während der Operation. In den verschiedenen hierin beschriebenen Beispielen können unterschiedliche Einstellungen des OP-Mikroskops bestimmt werden, im Rahmen der Assistenzfunktionalität. Beispielsweise wäre es denkbar, dass eine relative Positionierung des OP-Mikroskops in Bezug auf den Patienten der Operation bestimmt wird, d.h. ein Abstand und/oder Orientierung (Pose). Es könnten alternativ oder zusätzlich auch Einstellungen des optischen Systems des OP-Mikroskops bestimmt werden, zum Beispiel eine Vergrößerung (Zoom), eine Beleuchtungsintensität und/oder ein Kontrast. Es könnte auch ein Betriebsmodus bestimmt werden, zum Beispiel die Verwendung von indirekter oder direkter Beleuchtung oder Beleuchtung mit Licht einer bestimmten Wellenlänge. Es könnte ein Fluoreszenzmodus aktiviert werden. Es könnten Videoeinstellungen eingestellt werden. Verschiedene Beispiele beruhen auf der Erkenntnis, dass ein manuelles Bestimmen und Anwenden von Einstellungen - etwa ein handgeführtes Umpositionieren des OP-Mikroskops - eine zusätzliche kognitive und psychische Belastung für den ausführenden Operateur während der Operation darstellen kann. Beispielsweise zum händischen Umpositionieren eine „freie Hand“ erforderlich, so dass der Operateur das OP-Besteck ablegen muss bzw. eine Pause für einen Wechsel des OP-Besteck abwarten muss. Im Fall des dedizierten Ablegens des OP-Besteck führt händisches Umpositionieren zu einer Unterbrechung der Operation. Wartet der Operateur mit dem Umpositionieren ein geeignetes Zeitfenster ab, so besteht die Gefahr, dass der Operateur die Operation zumindest teilweise mit suboptimalen Einstellungen für das OP-Mikroskop durchführt. Häufig kann das Positionieren des OP-Mikroskops viel Erfahrung benötigen. Entsprechend ist es gemäß den verschiedenen hierin beschriebenen Beispielen möglich, die Einstellungen des OP-Mikroskops im Rahmen einer entsprechenden Assistenzfunktionalität automatisch zu bestimmen und damit den Operateur zu entlasten.

Als allgemeine Regel kann das Steuern der Assistenzfunktionalität vollautomatisch oder semi-automatisch erfolgen. Beispielsweise könnten entsprechende Einstellungen, die obenstehend im Zusammenhang mit dem OP-Mikroskop beschrieben wurden, automatisch angewendet werden oder es könnte eine entsprechende Benutzerführung ausgegeben werden.

In den verschiedenen hierin beschriebenen Beispielen wird die Assistenzfunktionalität basierend auf der Erkennung von OP-Besteck in einer Eingriffsregion des chirurgischen Eingriffs gesteuert. Das OP-Besteck kann erkannt werden, muss aber nicht notwendigerweise lokalisiert werden. Der Chirurg arbeitet mit dem OP-Besteck und entsprechend kann die Assistenzfunktionalität abgestimmt sein auf den kognitiven Fokus des Chirurgen bei der Arbeit mit dem OP-Besteck. Durch die Erkennung des OP-Bestecks kann sichergestellt werden, dass eine erhöhte Aktivität nicht durch Artefakte oder Störungen bedingt ist - sondern tatsächlich durch die zielgerichtete Manipulation durch einen Chirurg bedingt ist. Eine kontinuierliche Mensch-Maschine-In- teraktion wird derart möglich.

Es sind Referenzimplementierungen denkbar, die das OP-Besteck in der Eingriffsregion erkennen. Ein Beispiel ist z.B. beschrieben in US10769443B. Beispielsweise basiert eine Referenzimplementierung auf dem Anbringen von Referenzmarkierungen auf dem OP-Besteck. Es ist dann möglich, die Referenzmarkierungen zu verfolgen erkennen. Z.B. elektromagnetisches Tracking oder optisches Tracking wäre denkbar. Ein Nachteil einer solchen Marker-basierten Referenzimplementierung liegt darin, dass es erforderlich ist, die Referenzmarkierungen auf dem OP-Besteck anzubringen. Außerdem kann separater Hardware-Aufwand notwendig sein, um entsprechende Daten zu erfassen, die eine Nachverfolgung der Positionierung auf Grundlage der erkannten Referenzmarkierungen ermöglicht. Eine andere Klasse von Referenzimplementierungen verwendet eine Marker-lose Erkennung von OP-Besteck. Zum Beispiel könnte ein bildverarbeitender Algorithmus verwendet werden, um die verschiedenen Arten von OP-Besteck in Mikroskopiebildern eines OP-Mikroskops zu erkennen. Ein solcher Ansatz kann vergleichsweise wenig robust sein. Dies liegt daran, dass es eine große Variabilität an Farben und Formen von OP-Besteck gibt. Das Parametrisieren oder Trainieren eines entsprechenden Algorithmus zur Erkennung des OP-Besteck ist daher oftmals aufwendig und fehlerbehaftet. Der zu erkennende Parameterraum wird noch erweitert durch die Vielzahl von Typen von OP-Besteck.

Sowohl bei der Marker-basierten Erkennung von OP-Besteck, wie auch bei der Marker-losen Erkennung von OP-Besteck ist es typischerweise notwendig, Variationen in den Bildeigenschaften - etwa Tiefenschärfe, Beleuchtung, Schattierung, Reflexe, Kontrast, unterschiedliche Fluoreszenzlicht - zu berücksichtigen, um eine robuste technische Lösung zu erhalten. Solche Variationen in den Bildeigenschaften können durch unterschiedliche Bildgebungsmodalitäten entstehen, die - je nach Typ des verwendeten OP-Mikroskops - aktiviert oder deaktiviert werden können. Die unterschiedlichen Bildeigenschaften können aber auch dadurch entstehen, dass zum Beispiel eine Hintergrundbeleuchtung unterschiedlich ist, zum Beispiel je nach Operationsraum.

In den verschiedenen hierin beschriebenen Techniken kann die Assistenzfunktionalität robust gesteuert werden, unter Berücksichtigung der wahrscheinlichen Position von OP-Besteck. Dies kann insbesondere Tool-Typ-agnostisch erfolgen. Nachteile, wie sie voranstehend im Zusammenhang mit Referenzimplementierungen geschildert wurden, können behoben werden. Gemäß verschiedenen Beispielen wird - im Gegensatz zu den oben beschriebenen Referenzimplementierungen - also auf eine explizite Erkennung und/oder Lokalisierung von OP-Besteck und Klassifikation von Typen des OP-Bestecks verzichtet. Anstatt einer solchen expliziten Erkennung von OP-Besteck wird ein impliziter Ansatz verwendet, der Aktivitätsbereiche verwendet, die mit einer erhöhten Wahrscheinlichkeit für die Präsenz eines OP-Besteck assoziiert sind. Die Aktivitätsbereiche können abgeleitet werden aus einem Vergleich von mindestens zwei Mikroskopiebildern. Insbesondere können die Aktivitätsbereiche solchen Regionen der mindestens zwei Mikroskopiebilder entsprechen, in denen eine erhöhte Dynamik, beispielsweise erhöhte Aktivität oder erhöhte Bewegung, vorliegt. Solche Techniken beruhen auf der Erkenntnis, dass relevantes OP-Besteck typischerweise bewegt wird und deshalb mit einer erhöhten Dynamik in einer Serie von Mikroskopiebildern aufscheint. Insbesondere ist die Dynamik erhöht gegenüber dem relativ statischen Hintergrund, beispielsweise Gewebe und einmal fixiertem OP-Besteck, wie Klammem usw. Das bedeutet, dass der zeitliche Kontext zur Erkennung der Aktivitätsbereiche ausgenutzt werden kann. In anderen Worten, eine erhöhte Aktivität kann dadurch bestimmt werden, dass in den Aktivitätsbereichen eine erhöhte Dynamik oder eine erhöhte Bewegung bestimmt wird, welche im Vergleich zu den übrigen, d.h. den Bereichen, welche keine Aktivitätsbereiche sind, ein erhöhtes Maß an Dynamik oder Bewegung aufweisen können. Ein Maß für eine erhöhte Aktivität kann beispielsweise ein Maß für eine Dynamik oder eine Bewegung, beispielsweise eine Geschwindigkeit oder Distanz einer Bewegung, oder einen optischen Fluß, im Allgemeinen einen temporalen Kontext und/oder räumlichen Kontext, innerhalb dem Aktivitätsbereich umfassen, welche durch Bewegung eines Operationsbestecks, welche in den mindestens zwei Mikro- skopiebildern abgebildet sein kann, begründet ist. Weiter kann basierend auf der erhöhten Aktivität, in anderen Worten basierend auf dem Bestimmen einer erhöhten Aktivität, eine erhöhte Wahrscheinlichkeit für die Präsenz von Operationsbesteck in dem Aktivitätsbereich bestimmt werden.

Gemäß den verschiedenen Beispielen können solche Aktivitätsbereiche als Merkmale in einer Karte der Eingriffsregion hinterlegt werden. Derart kann insbesondere abstrahiert werden von bestimmten Eigenschaften der Bildgebungsmodalität, wie Kontrast, Beleuchtung, Schattenwurf, usw. Dies wird ermöglicht, durch die Berücksichtigung relativer Veränderungen in einer Serie von mindestens zwei Mikroskopiebildern. Statische Eigenschaften, inklusive Eigenschaften der Bildgebungsmodalität, können dann erkannt werden und bei der Erstellung der Karte unberücksichtigt verbleiben. Dadurch kann die Assistenzfunktionalität besonders robust gesteuert werden.

FIG. 1 zeigt schematisch ein OP-Mikroskop 801 für die Chirurgie. Das OP-Mikroskop 801 verfügt im dargestellten Beispiel über ein Okular 803. Der Operateur kann durch das Okular 803 vergrößerte Bilder von einem Objekt, dass sich in einem Sichtfeld 804 des OP-Mikroskops 801 befindet, betrachten. Im dargestellten Beispiel handelt es sich um einen Patienten 805, der auf einer Patientenliege liegt.

Alternativ oder zusätzlich zu einem optischen Okular könnte auch eine Kamera vorgesehen sein, die Mikroskopiebilder bereitstellt (digitales OP-Mikroskop).

Es ist auch eine Bedieneinrichtung 808 als Mensch-Maschine-Schnittstelle vorgesehen, die beispielsweise als Handgriff oder Fußschalter ausgebildet sein kann. In der dargestellten Ausführungsform der FIG. 1 ist es ein Handgriff. Durch die Bedieneinrichtung 808 kann das an Traversen 850 befestigte Okular 803 bewegt werden. Es können Motoren vorgesehen sein, um die Bewegung basierend auf Steuerdaten automatisch durchzuführen, gemäß einer entsprechenden Einstellung des OP-Mikroskops. Die Motoren könnten die durch den Handgriff 808 veranlasste Bewegung auch unterstützen.

Weiter ist für das OP-Mikroskop 801 eine Steuergerät 809 vorgesehen, die den Betrieb des Kombinationsmikroskops und die Anzeige von Bildern sowie zusätzlichen Informationen und Daten im Okular 803 steuert. Das Steuergerät 809 kann eine Interaktion mit dem Operateur durchführen. Das Steuergerät 809 könnte z.B. eine Einstellung des OP-Mikroskops basierend auf entsprechenden Steuerdaten verändern. Dazu können ein oder mehrere Aktuatoren angesteuert werden, etwa um die Traverse zu bewegen, eine Optik zu wechseln, usw. Die Einstellung kann auch die digitale Nachbearbeitung von Sensordaten umfassen. Die Einstellung könnte auch Parameter zur Datenerfassung etwa für digitale Bilder, die erfasst werden. Es könnten auch zwischen unterschiedlichen Bildquellen oder Bildgebungsmodi umgeschaltet werden, je nach Einstellung. Solche Einstellungen können durch eine Assistenzfunktionalität zumindest teilweise automatisiert vorgenommen werden.

Das OP-Mikroskop 801 kann auch über ein oder mehrere weitere Sensoren 860 verfügen, etwa einen Bewegungssensor oder eine Wärmebildkamera oder ein Mikrofon oder eine Umfeldkamera usw. Auch solche weiteren Sensoren 860 können, je nach Einstellung des OP-Mikroskops, unterschiedlich betrieben werden. Solche Sensoren 860 können Kontextinformation bereitstellen, welche den Kontext eines chirurgischen Eingriffs beschreiben.

OP-Mikroskope werden in der Neurochirurgie zur Visualisierung einer Eingriffsregion verwendet. Eine solche Eingriffsregion ist häufig charakterisiert durch tiefliegende Strukturen in engen Kavitäten. Je nach OP-Typ ist es erforderlich, etwa jede Minute mit dem OP-Mikroskop eine neue Blickrichtung relativ zur Eingriffsregion einzunehmen, da sich z.B. auf Grund geänderter Stellungen der Instrumente eine neue Verdeckungssituation ergibt. In aktuell markterhältlichen OP-Mikroskopen ist es hierzu erforderlich, dass der Chirurg das System handgeführt umpositioniert, d.h. er umgreift z.B. einen Mikroskop-seitig montierten Handgriff und führt das System in eine neue Pose (Position & Orientierung des Mikroskops). In verschiedenen hierin beschriebenen Beispielen kann eine Assistenzfunktionalität eine solche Umpositionierung unterstützen oder sogar automatisieren. Dabei sind die hierin beschriebenen Assistenzfunktionalitäten aber nicht beschränkt auf eine entsprechende Umpositionierung des OP-Mikroskops. Es wäre auch denkbar, alternativ oder zusätzlich andere Einstellungen des OP-Mikroskops zu verändern, etwa den Vergrößerungsfaktor einzustellen, den Fokus anzupassen, die Beleuchtung anzupassen usw. In manchen Beispielen wäre es sogar möglich, dass die Assistenzfunktionalität nicht die Einstellung des OP- Mikroskops betrifft, sondern eine andere Gerätschaft eingestellt wird, etwa ein Operationstisch auf dem der Patient liegt, ein Mikroinspektionstool oder ein konfokales Endomikroskop, usw. Es könnte auch eine Mensch-Maschinen-Schnittstelle im Rahmen der Assistenzfunktionalitäten angesteuert werden, um eine Benutzerführung zu implementieren.

In FIG. 2 ist eine beispielhafte Positionierung einer Optik 806 des OP-Mikroskops 801 in Bezug auf einen Situs 53 innerhalb der Schädeldecke 54 des Patienten dargestellt. All das definiert eine Eingriffsregion 50 (vgl. auch FIG. 1 ). Außerdem ist OP- Besteck 51 , 52 dargestellt, das in der Eingriffsregion 50 angeordnet ist.

FIG. 3 illustriert schematisch ein Gerät 90, dass in den verschiedenen hierin beschriebenen Beispielen für die Datenverarbeitung verwendet werden kann. Das Gerät 90 könnte zum Beispiel ein PC sein oder ein Cloud-Server. Das Gerät 90 könnte eine Steuerungsvorrichtung zur Steuerung einer Assistenzfunktionalität implementieren. Das Gerät 90 könnte Teil des Steuergeräts 809 des OP-Mikroskops 801 sein. Das Gerät 90 umfasst eine Prozessoreinheit 91 und einen nichtflüchtigen Speicher 92. Die Prozessoreinheit 91 kann Programmcode aus dem nichtflüchtigen Speicher 92 laden und ausführen. Dies bewirkt, dass die Prozessoreinheit 91 Techniken gemäß den hierin beschriebenen Beispielen ausführt, zum Beispiel Anwenden eines maschinengelernten Algorithmus, um eine Karte der Eingriffsregion zu erhalten, in der Aktivitätsbereiche markiert sind; Trainieren des maschinengelernten Algorithmus basierend auf Trainingsdaten; Anwenden eines Vorverarbeitungsalgorithmus auf eine Serie von Mikroskopiebildern, wobei einer Ausgabe des Vorverarbeitungsalgorithmus als Eingabe in den maschinengelernten Algorithmus dient; Anwenden eines Steuerungsalgorithmus, der als Eingabe die Karte erhält, um Steuerungsdaten für eine Assistenzfunktionalitäten bereitzustellen; usw.

Details zu einer beispielhaften Implementierung der Verarbeitung von Daten - etwa mittels des Geräts 90 - sind nachfolgend im Zusammenhang mit FIG. 4 illustriert.

FIG. 4 illustriert Aspekte im Zusammenhang mit der Datenverarbeitung zur Steuerung von Assistenzfunktionalitäten gemäß verschiedenen Beispielen der vorliegenden Erfindung. Die Datenverarbeitung gemäß FIG. 4 könnte zum Beispiel von dem Gerät 90 ausgeführt werden, insbesondere von der Prozessoreinheit 91 basierend auf Programmcode, der aus dem nichtflüchtigen Speicher 92 gelesen wird.

In FIG. 4 ist dargestellt, dass zwei Mikroskopiebilder 71 , 72 erhalten werden. Die Mikroskopiebilder 71 , 72 können die Eingriffsregion 50 abbilden und können vom OP-Mikroskop 801 erfasst werden. Die beiden Mikroskopiebilder 71 , 72 werden als Eingabe von einem Vorverarbeitungsalgorithmus 81 verwendet (das ist aber im Allgemeinen optional; es könnte auch eine Vorverarbeitung erfolgen).

Als allgemeine Regel können in den verschiedenen hierin beschriebenen Beispielen auch mehr als zwei Mikroskopiebilder 71 , 72 verwendet werden, um eine Karte zu bestimmen.

Der optionale Vorverarbeitungsalgorithmus 81 stellt eine Ausgabe 75 bereit, die wiederum als Eingabe für einen maschinengelernten Algorithmus 82 dient. Zum Beispiel wäre es möglich, dass der Vorverarbeitungsalgorithmus 81 ein Kombinationsbild basierend auf der Kombination der beiden Mikroskopiebilder 71 , 72 bestimmt. Die Kombination kann zum Beispiel durch eine Differenzbildung oder eine Summenbildung implementiert werden. Das Kombinationsbild bildet die Dynamik zwischen den unterschiedlichen Mikroskopiebildern 71 , 72 ab. Es könnte auch weitere Information aus den Mikroskopiebildern 71 , 72 extrahiert werden, zum Beispiel Tiefeninformation in einem Topographiebild.

Der maschinengelernte Algorithmus 82 erhält die Ausgabe 75 des Vorverarbeitungsalgorithmus 81 - etwa das Kombinationsbild oder ein Topographiebild, wie obenste- hend beschrieben - als Eingabe. Der maschinengelernte Algorithmus könnte auch weitere Eingaben erhalten. In FIG. 4 ist dargestellt, dass der maschinengelernte Algorithmus 82 als weiterer Eingabe auch beide Mikroskopiebilder 71 , 72 empfängt (wenn keine Vorverarbeitung erfolgt, könnte der maschinengelernte Algorithmus 82 auch nur die Mikroskopiebilder 71 , 72 erhalten).

Außerdem könnte der maschinengelernte Algorithmus 82, als weitere Eingaben, Sensordaten 78 von zusätzlichen Sensoren des OP-Mikroskops - vergleiche FIG. 1 : Sensoren 860 - erhalten. Der maschinengelernte Algorithmus 82 könnte alternativ oder zusätzlich auch Zustandsdaten 79 erhalten, die den Kontext des chirurgischen Eingriffs beschreiben. Z.B. könnten noch andere Mikroskopiebilder - etwa mit einem Endoskop erfasst - erhalten werden.

Der maschinengelernte Algorithmus 82 stellt eine Karte 76 bereit. Die Karte 76 kartographiert die Eingriffsregion 50 durch Verwendung von Merkmalen bestimmter vordefinierter Merkmalsklassen. Insbesondere sind in der Karte 76 ein oder mehrere Aktivitätsbereiche verzeichnet, die mit einer erhöhten Wahrscheinlichkeit für die Präsenz von OP-Besteck assoziiert sind. Die Karte kann dann dazu verwendet werden, die Assistenzfunktionalität zu steuern. Dazu können verschiedenen Beispielen, wie auch in FIG. 4 dargestellt, ein Steuerungsalgorithmus 83 auf die Karte 76 angewendet werden, um derart Steuerungsdaten 77 zu erhalten, um das OP-Mikroskop 801 geeignet einzustellen.

In FIG. 4 ist dargestellt, dass der Steuerungsalgorithmus 83 - alternativ oder zusätzlich zu maschinengelernten Algorithmus 82 - die Zustandsdaten 79, die den Kontext des chirurgischen Eingriffs beschreiben, als weiterer Eingabe erhalten könnte. Dadurch kann eine Kontext-abhängige Steuerung der Assistenzfunktionalitäten ermöglicht werden. Allgemein könnte der Steuerungsalgorithmus 83 ein vordefiniertes Regelwerk berücksichtigen, welches Randbedingungen für die Wahl der Steuerdaten in Abhängigkeit von ein oder mehreren Merkmalen der Karte 76 definiert. Das Regelwerk könnte zum Beispiel eine zeitliche Glättung von Aktionen der Assistenzfunktionalitäten definieren. Das Regelwerk könnte z.B. eine Reihenfolge mehrerer Aktivitätsbereiche definieren. Diese Reihenfolge kann dann Auswirkungen auf die Steuerung der Assistenzfunktionalität haben.

Die Datenverarbeitung der FIG. 4 ist grundsätzlich modular strukturiert. Beispielsweise ist der Vorverarbeitungsalgorithmus 81 grundsätzlich optional. Es wäre z.B. denkbar, dass der maschinengelernte Algorithmus 82 direkt die Mikroskopiebilder 71 , 72 als Eingabe erhält. Der Steuerungsalgorithmus 83 könnte in den maschinenge- lernten Algorithmus 82 integriert sein. Insoweit illustriert FIG. 4 lediglich eine beispielhafte Architektur der Datenverarbeitung.

FIG. 5 illustriert Aspekte im Zusammenhang mit der Karte 76. In der Karte 76 sind drei Aktivitätsbereiche 101 -103 verzeichnet (im Beispiel der FIG. 5 sind die Umrisse der Aktivitätsbereich 101 -103 dargestellt). In den Aktivitätsbereichen sind mit erhöhter Wahrscheinlichkeit jeweils ein oder mehrere OP-Bestecke positioniert.

Die Karte 76 unterscheidet aber nicht zwischen unterschiedlichen Typen von OP-Be- steck. Entsprechend werden die Assistenzfunktionalitäten auch nicht in Abhängigkeit von den unterschiedlichen Typen von OP-Besteck gesteuert. Die Karte 76 beinhaltet also Merkmale in Form der Aktivitätsbereiche 101 -103, welche die Präsenz des OP- Besteck an verschiedenen Positionen innerhalb der Eingriffsregion 50 beschreiben. Andererseits muss OP-Besteck nicht basierend auf einer Objekterkennung lokalisiert werden (in anderen Worten: die Karte 76 kann agnostisch betreffend die Ursache einer erhöhten Aktivität erstellt werden, was die Robustheit erhöht).

Neben den Merkmalen der Aktivitätsbereiche 101 -103 beinhaltet die Karte 76 im dargestellten Beispiel auch weitere Merkmale, nämlich in Form der Markierungen 111 - 112. Das ist allgemein optional. Diese Merkmale beschreiben Kontextinformation für die Aktivitätsbereiche. Der Aktivitätsbereich 102 ist mit der Markierung 111 versehen und der Aktivitätsbereich 103 ist sowohl mit der Markierung 111 , wie auch mit der Markierung 112 versehen. Die Markierung 111 kennzeichnet dabei die Erfüllung einer örtlichen Nachbarschaftsbeziehung durch den jeweils markierten Aktivitätsbereich 102, 103. Im dargestellten Beispiel sind die beiden Aktivitätsbereiche 102, 103 nahe beieinander angeordnet - etwa näher als ein bestimmter vorgegebener Schwellenwert - und erfüllen damit die entsprechende örtliche Nachbarschaft Beziehung. Der Aktivitätsbereich 101 hingegen weist keine besonders engen Nachbarn auf und erfüllt die entsprechende örtliche Nachbarschaftsbeziehung damit nicht.

Die Markierung 112 kennzeichnet die Erfüllung einer entsprechenden anatomischen Nachbarschaftsmarkierung durch den entsprechenden Aktivitätsbereich 103. Beispielsweise wäre es denkbar, dass der Aktivitätsbereich 103 besonders nahe bei einer bestimmten anatomischen Struktur angeordnet ist, zum Beispiel besonders nahe beim Situs 53. Beispielsweise könnten anatomische Merkmale als anatomischer Kontext durch den Vorverarbeitungsalgorithmus 81 lokalisiert werden und an den maschinengelernten Algorithmus 82 als weitere Eingabe übergeben werden.

Die Markierungen 111 -112 stellen, allgemein formuliert, Kontextinformation im Zusammenhang mit den Aktivitätsbereichen 101-103 bereit. Solche Kontextinformation kann berücksichtigt werden, wenn die Assistenzfunktionalität gesteuert wird. In den verschiedenen hierin beschriebenen Beispielen ist es denkbar, dass die Aktivitätsbereiche 101 -103 der Karte 76 basierend auf solcher Kontextinformation sortiert werden und eine entsprechende Reihenfolge verwendet wird, um die Assistenzfunktionalität zu steuern. Beispielsweise könnte das Regelwerk des Steuerungsalgorithmus festlegen, wie die Reihenfolge bestimmt wird, d.h. z.B. welche Kontextinformation berücksichtigt wird oder wie unterschiedliche Kontextinformation beschreibende Merkmale der Karte 76 gewichtet werden beim Bestimmen der Reihenfolge.

Obenstehend wurden als Beispiele für die Kontextinformation die örtlichen und anatomischen Nachbarschaftsbeziehungen beschrieben; im Allgemeinen können aber auch andere oder weitere Arten von Kontextinformation berücksichtigt werden. Beispielsweise könnte die Karte 76 weitere Merkmale beinhalten, die indikativ einer Anzahl von OP-Besteck in einem jeweiligen Aktivitätsbereich 101 -103 und/oder eine Dynamik im jeweiligen Aktivitätsbereich 101-103 ist. All solche und weitere Arten von Kontextinformation können zum Beispiel berücksichtigt werden, wenn die Assistenzfunktionalität gesteuert wird, etwa bei der Bestimmung der Reihenfolge. FIG. 6 illustriert Aspekte im Zusammenhang mit den Aktivitätsbereichen 101-103. Insbesondere illustriert FIG. 6 beispielhaft für den Aktivitätsbereich 101 , wie Aktivitätsbereiche in der Karte 76 wiedergegeben werden können. Im Beispiel der FIG. 6 wird einerseits eine Maske 151 für den Aktivitätsbereiche 101 verwendet. Die Maske 151 segmentiert binär in Bereiche innerhalb und außerhalb des Aktivitätsbereichs 101 ; dargestellt ist ein Umriss der Maske 151 .

Alternativ oder zusätzlich zur Verwendung einer solchen Maske 151 könnte die Karte 76 auch Wahrscheinlichkeitswerte 152 - in FIG. 6 durch entsprechende Isolinien dargestellt - für die Präsenz oder die Absenz von OP-Besteck beinhalten. Der Aktivitätsbereich kann dann als derjenige Teil der Eingriffsregion 50 definiert werden, bei dem Wahrscheinlichkeitswerte von größer 50 % (oder ein anderer Schwellenwert) für die Präsenz des OP-Besteck vorliegen.

FIG. 7 illustriert ein beispielhaftes Verfahren. Das Verfahren aus FIG. 7 illustriert die verschiedenen Stufen im Zusammenhang mit dem Betrieb des maschinengelernten Algorithmus 82.

In Box 3005 findet ein Training des maschinengelernten Algorithmus 82 statt. Dazu werden Grundwahrheiten verwendet, um in einem numerischen, iterativen Optimierungsprozess Parameter des maschinengelernten Algorithmus 82 anzupassen.

In Box 3010 wird der dann trainierte maschinengelernte Algorithmus für die Inferenz verwendet, das heißt es erfolgt die Steuerung einer Assistenzfunktionalität während des chirurgischen Eingriffs ohne Verfügbarkeit von Grundwahrheiten.

Das Training in Box 3005 kann überwacht oder semi-überwacht oder unüberwacht erfolgen. Beispielsweise könnten Aktivitätsbereichen und gegebenenfalls weitere Merkmale der Karte händisch annotiert werden - derart werden die Grundwahrheiten erhalten - und basierend auf entsprechenden Labeln kann dann eine Anpassung von Parametern des maschinengelernten Algorithmus 82 erfolgen.

FIG. 8 illustriert ein beispielhaftes Verfahren. Das Verfahren der FIG. 8 kann von einer Datenverarbeitungsanlage ausgeführt werden. Beispielsweise könnte das Verfahren der FIG. 8 vom Gerät 90 ausgeführt werden, etwa von der Prozessoreinheit 91 basierend auf Programmcode, der aus dem Speicher 92 gelesen wird. FIG. 8 illustriert Aspekte im Zusammenhang mit der Inferenz-Phase aus Box 3010 des Verfahrens der FIG. 7. In FIG. 8 sind gestrichelte Boxen optional.

In Box 3050 wird eine Bilderfassung von zwei oder mehr Mikroskopiebildern durchgeführt. Es könnten stereoskopische Mikroskopiebilder erfasst werden.

Dazu könnten zum Beispiel geeignete Steueranweisungen an ein OP-Mikroskop gesendet werden. Die Bilddaten können dann empfangen werden.

Die zwei oder mehr Mikroskopiebildern können bei definierten Posen in Bezug auf eine Eingriffsregion erfasst werden, beispielsweise bei einer fixen Pose.

In Box 3055 erfolgt optional eine Vorverarbeitung der Mikroskopiebilder aus Box 3050. Beispielsweise kann aus den Mikroskopiebildern aus Box 3050 der optische Fluss extrahiert werden. Allgemein formuliert kann ein zeitlicher Kontext zwischen den Mikroskopiebildern bestimmt werden.

Entsprechende Techniken wurden beispielsweise im Zusammenhang mit FIG. 4 und dem Vorverarbeitungsalgorithmus 81 beschrieben.

In Box 3060 wird eine Karte erstellt, die verschiedene Merkmalstypen für die Eingriffsregion kartographiert. Dazu wird der maschinengelernte Algorithmus verwendet. Ein Beispiel wäre ein sog. „saliency“ -Vorhersagealgorithmus. Insbesondere werden Aktivitätsbereiche kartographiert, wie voranstehend im Zusammenhang mit FIG. 5 erläutert.

Allgemein formuliert kann die Karte ortsbezogen kodieren, ob und gegebenenfalls wie wahrscheinlich an einem bestimmten Ortspunkt - etwa einem bestimmten xy-Pi- xel - bzw. allgemein an einem bestimmten Bereich in der Eingriffsregion eine dynamische Aktivität von OP-Besteck vorhanden ist. Zum Beispiel kann eine Wahrscheinlichkeitskarte ausgegeben werden, wie im Zusammenhang mit FIG. 6 diskutiert.

Es kann optional auch Kontextinformation für die Aktivitätsbereiche kartographiert werden. Solche Kontextinformation umfasst zum Beispiel: Dynamik im jeweiligen Aktivitätsbereich; Anzahl von OP-Besteck im jeweiligen Aktivitätsbereich; örtliche Nachbarschaft Beziehungen zwischen den Aktivitätsbereichen; anatomische Nachbarschaftsbeziehungen der Aktivitätsbereiche; usw. Basierend auf der Karte aus Box 3060 kann dann optional in Box 3065 eine Assistenzfunktionalität gesteuert werden. Beispielsweise könnte entschieden werden, ob eine bestimmte Aktion der Assistenzfunktionalität ausgelöst werden soll. Soll eine bestimmte Aktion ausgelöst werden, so kann dies als Empfehlung und/oder Anfrage an den Benutzer, semi-automatische Assistenz oder vollautomatische Assistenz umgesetzt werden.

In manchen Beispielen wäre es möglich, in Box 3060 zu überprüfen, ob ein oder mehrere OP-Bestecke in den Mikroskopiebildern erkannt werden. Dies kann basierend auf einem Objekterkennungsalgorithmus erfolgen. Es muss keine Lokalisierung des OP-Bestecks erfolgen. Sofern ein oder mehrere OP-Bestecke erkannt werden, kann anschließend die Assistenzfunktionalität ausgelöst werden. Beispielsweise könnte der Objekterkennungsalgorithmus „ja“ ausgeben, wenn ein oder mehrere OP- Bestecke in den Mikroskopiebildern erkannt werden. Der Objekterkennungsalgorithmus kann „nein“ ausgeben, wenn keine OP-Bestecke erkannt werden. Das entspricht also einem binären Ergebnis. Es könnte auch die Anzahl der erkannten OP-Bestecke ausgegeben werden. Die Position muss nicht indiziert werden.

In manchen Beispielen wäre es alternativ oder zusätzlich zum Auslösekriterium „OP- Besteck erkannt“ auch denkbar, dass das Auslösen einer Assistenzfunktionalität von ein oder mehreren anderen Auslösekriterien abhängt. Ein Beispiel wäre z.B. ein Sprachbefehl, etwa „Zentrieren“ oder die Betätigung eines Knopfes, etwa eines Fußschalters.

Ein solcher Objekterkennungsalgorithmus kann zeitparallel und beispielsweise unabhängig vom Algorithmus verwendet werden, der die Karte in Box 3060 bestimmt (vgl. FIG. 4: Algorithmus 82).

Der Objekterkennungsalgorithmus kann also zur Plausibilisierung verwendet werden, ob eine erhöhte Aktivität in einem Aktivitätsbereich tatsächlich von der Verwendung von OP-Besteck durch einen Operateur herrührt - oder aber z.B. durch Bildartefakte oder veränderlichen Schattenwurf oder andere Störungen hervorgerufen wird. Nur wenn OP-Besteck erkannt wird, kann davon ausgegangen werden, dass der Aktivitätsbereich durch die Tätigkeit eines Operateurs bestimmt wird. Dies kann als Auslösekriterium für die Assistenzfunktionalität dienen. Im Zusammenhang mit der Assistenzfunktionalität könnte zum Beispiel ein Steuerungsalgorithmus verwendet werden, der die Karte aus Box 3060 als Eingabe empfängt. Entsprechende Techniken wurden zum Beispiel im Zusammenhang mit dem Steuerungsalgorithmus 83 aus FIG. 4 diskutiert.

Die Assistenzfunktionalität könnte z.B. einen Aktivitätsbereich im Zentrum des Sichtfelds des Mikroskops platzieren. Dazu kann z.B. ein Roboterarm zur Umpositionierung des Mikroskops angesteuert werden.

Das Boxen 3050-3065 können wiederholt ausgeführt werden, um die Assistenzfunktionalität jeweils aktuell zu steuern.

Zusammenfassend wurden also Techniken beschrieben, welche die implizite Erkennung von Aktivität in einer Eingriffsregion bei einem chirurgischen Eingriff ermöglichten Es kann die semantische Bedeutung einer entsprechenden Aktivität extrahiert werden, ohne dass es notwendig wäre, explizit zwischen unterschiedlichen Typen von OP-Besteck zu unterscheiden. Eine entsprechende Karte kann Aktivitätsbereiche anzeigen. Es ist dann möglich, eine Assistenzfunktionalität in Abhängigkeit von der Karte zu steuern. Beispielsweise kann überprüft werden, ob ein oder mehrere Aktionen der Assistenzfunktionalität ausgelöst werden sollen oder nicht.

Es wurde beschrieben, wie Mikroskopiebilder mittels eines OP-Mikroskops erfasst werden können. Es können Mikroskopiebildern zu unterschiedlichen Zeitpunkten erfasst werden.

Basierend auf solchen Mikroskopiebildern kann dann ein Kombinationsbild bestimmt werden, welches indikativ für den optischen Fluss als Maß für die Veränderung zwischen den beiden Mikroskopiebildern ist. Die Mikroskopiebilder können auch direkt an den maschinengelernten Algorithmus übergeben werden. Es könnte auch eine Fusionierung der Mikroskopiebilder mit dem Kombinationsbild erfolgen.

Ein Steuerungsalgorithmus kann verwendet werden, um die Assistenzfunktionalität zu steuern. Dieser könnte zum Beispiel ein oder mehrere vorgegebene Regeln berücksichtigen. Beispiele für Regeln wären, dass eine bestimmte Aktion der Assistenzfunktionalität nur dann ausgeführt wird, wenn zwei oder mehr Aktivitätsbereiche erkannt werden, die optional eine bestimmte örtliche Nachbarschaftsbeziehung erfüllen. Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.

Beispielsweise wurden voranstehend Techniken beschrieben, bei denen für eine einzelne Eingriffsregion eine Karte erstellt wird, die indikativ für ein oder mehrere Aktivitätsbereiche ist. Als allgemeine Regel wäre es möglich, für mehrere Eingriffsregionen - die zum Beispiel nebeneinander in Mikroskopiebildern sichtbar sind - mehrere Karten zu erstellen. Dazu können die hierin beschriebenen Techniken jeweils für jede der mehreren Karten angewendet werden.

Ferner wurden voranstehend Techniken beschrieben, bei denen zwei oder mehr Mikroskopiebilder verwendet werden, die zu unterschiedlichen Zeitpunkten erfasst wurden. Es wäre grundsätzlich möglich, dass eine Serie von Mikroskopiebildern verwendet wird, die während eines Zeitbereichs erfasst werden, wobei manche der Mikroskopiebilder zu unterschiedlichen Zeitpunkten innerhalb des Zeitbereichs erfasst werden und optional manche der Mikroskopiebilder zu gleichen Zeitpunkten innerhalb des Zeitbereichs erfasst werden. Das bedeutet, dass zumindest für manche Zeitpunkte innerhalb des Zeitbereichs redundante Information durch mehrere Mikroskopiebilder, die zum Beispiel mittels unterschiedlicher Abbildungsoptiken oder unter Verwendung mehrerer Bildgebungsmodalitäten erfasst werden, vorliegen kann. Multimodale Bild- gebung wäre möglich. Es wäre möglich, dass solche multimodal und/oder redundant erfassten Mikroskopiebilder dann fusioniert werden.