Beschreibung

Die Erfindung betrifft ein Verfahren zur Bildanalyse und Bildoptimierung, ein Steuerungssystem zur Bildoptimierung, ein trainiertes Modell und ein Computerprogrammprodukt zur Ausführung des genannten Verfahrens.

Technologischer Hintergrund

Endoskope sind bekannte medizinische Vorrichtungen zur Untersuchung von Hohlräumen in einem Körper oder von technischen Hohlräumen. Eine häufig eingesetzte Art der Endoskope weist ein optisches System am distalen, d.h. körperzugewandten Endoskopende auf, und ist ausgebildet, Bilder zu erfassen und diese an den Bediener des Endoskops zu übertragen. Optional können weitere Funktionen über einen Arbeitskanal zur Verfügung gestellt werden.

Bekannterweise werden Endoskope in minimalinvasiven chirurgischen Verfahren eingesetzt. Ein Beispiel hierzu ist die Laparoskopie. Hier ist die Sicht auf das zu untersuchende Feld für den Bediener des Endoskops eine entscheidende Voraussetzung, um eine Diagnose, Manipulation oder Operation sicher und schnell durchführen zu können. Es ist wichtig verschiedene Gewebestrukturen der Körperhöhle sicher unterscheiden zu können, um eine korrekte Diagnose zu stellen oder Komplikationen zu vermeiden. Hierzu sind optimale Sichtverhältnisse notwendig.

Bei Eingriffen in einen menschlichen oder tierischen Körper ist das Blickfeld eines Endoskops sehr klein und schon kleinste Verunreinigungen, wie z.B. durch Blutspritzer, Gewebepartikel oder Ablagerung von Dampf oder Rauch bzw. Fett können die Sicht des Bedieners sehr stark beeinträchtigen. Wird zum Beispiel hochfrequenzchirurgisch assistiert (HF-Chirurgie) werden mit dem Einsatz von elektrischer Energie thermisch induzierte Veränderungen von Gewebezellen mit dem Ziel der Blutstillung oder Gewebeversiegelung durchgeführt. Bei dieser Art von medizinischen Verfahren können bei der HF Aktivierung Gewebepartikel entstehen, die das Bild für den Endoskopbediener sehr stark beeinträchtigen. Wird die Sicht des Bedieners derart durch unbeabsichtigten Gewebekontakt oder andere Verunreinigungen gestört, muss das Endoskop extrakorporal gereinigt werden.

Diese extrakorporale Reinigung des Endoskops an seinem distalen Ende ist zum Teil nicht gewünscht, insbesondere, wenn Komplikationen auftreten und der Endoskopbediener dadurch sein medizinisches oder diagnostisches Verfahren unterbrechen muss. Zudem erfordert eine extrakorporale Reinigung auch eine gewisse Zeitdauer, die von der Gesamtdauer einer Operation zu berücksichtigen ist. Wenn zum Beispiel Komplikationen durch die Perforation einer Arterie entstehen, muss in möglichst kurzer Zeit die Blutung gestoppt werden und eine sehr gute Sicht für den Endoskopbenutzer gewährleistet werden. Wenn eine Blutungsstoppung nicht schnell gelingt, sind andere Operationsmethoden, die offenchirurgisch sind, möglicherweise notwendig. Dies sollte unbedingt vermieden werden, um den Eingriff so minimal wie möglich für den Patienten zu halten.

Eine klare und deutliche Visualisierung des zu beobachtenden Objektfeldes ist von großer Bedeutung in endoskopischen Verfahren. Die Bedienperson, die die Visualisierung an einem Monitor verfolgt, kann durch nicht optimale Einstellungen des Monitors oder von Umgebungsparametern wie Raumbeleuchtung negativ beeinflusst werden. Handelt es sich bei der Bedienperson um einen Brillenträger kann in der Regel darauf nicht eingegangen werden. Wenn die Sicht aufgrund der genannten Probleme jedoch behindert wird, muss die Bedienperson des Endoskops gegebenenfalls die Prozedur unterbrechen. Nicht notwendige Unterbrechungen und Ablenkungen während des endoskopischen Verfahrens können in Fehlurteile münden oder die Gesundheit eines Patienten, bei dem das Endoskop eingesetzt wurde, gefährden. Jede Störung der Sicht verlängert auch das gesamte endoskopische Verfahren und erhöht damit die Kosten und senkt die Effizienz.

Es ist Aufgabe der Erfindung die genannten Probleme zu überwinden und den Bedürfnissen einer Bedienperson endoskopischen Verfahren gerecht zu werden, wobei ein geeignetes Verfahren zur Bildanalyse und Bildoptimierung, vorzugsweise mit Hilfe eines Endoskopreinigungsmoduls, eingesetzt werden soll. Dabei soll die Bedienperson möglichst wenig gestört werden, optimal unterstützt werden und eine automatisches Bildoptimierungsverfahren vorgesehen werden. Da aufgrund einer Verschmutzung die Bilderfassung auch bei Einsatz einer leistungsfähigen Bilderfassungseinrichtung nicht mehr mit der erforderlichen Qualität durchgeführt werden kann, besteht zunächst der Bedarf zur automatischen Erkennung von Schmutz oder anderen Störfaktoren. Zudem besteht der Bedarf für Verfahren, die erkannten Störungen zu beheben und/oder die Umgebungsparameter zu verbessern. Es besteht ferner der Bedarf ein System und ein Computerprogrammprodukt zur Verfügung zu stellen, dass mit Hilfe von Automatisierungsprozessen die Sicherheit während eines Endoskopverfahrens für den Anwender und Patienten erhöhen.

Beschreibung der Erfindung

Auf Grundlage der Erfindung sollen die oben genannten Aufgaben besser als in herkömmlichen Verfahren insbesondere für human- oder veterinärmedizinische Anwendungen gelöst werden. Die erfindungsgemäßen Verfahren und Systeme zur Bildanalyse können zur Untersuchung sowohl von Hohlräumen in einem Körper als auch von technischen Hohlräumen wie Rohrleitungen oder Ähnliches verwendet werden. Dabei sollen die Sichtverhältnisse bzw. Qualität für den Bediener des Endoskops optimiert werden.

Diese Aufgaben werden mit einem Verfahren zur Bildanalyse und Bildoptimierung, einem Steuerungssystem und einem Computerprogrammprodukt und einem trainierten Modell gemäß den Merkmalen der unabhängigen und der nebengeordneten Ansprüche gelöst. Bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den sich an den unabhängigen Ansprüchen anschließenden Unteransprüchen.

Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zur Bildanalyse und Bildoptimierung von wenigstens einem am distalen Ende eines Endoskops erfassten Bild, das die folgenden Schritte umfasst:

- Erfassen von Bilddaten mittels einer Bilderfassungseinrichtung eines Endoskops; Empfangen der Bilddaten durch eine Steuereinheit,

- Voranalyse wenigstens einer Teilmenge der Bilddaten eines oder mehrerer nachfolgender Bilder durch eine Steuereinheit zum Bestimmen wenigstens einer Bildstruktur;

- Bestimmen eines Qualitätswertes mittels eines trainingsdatenbasierten, vorzugsweise selbstlernenden, Modules, durch einen Vergleich der wenigstens einen bestimmten Bildstruktur mit Bildstrukturen einer Referenz-Datenbank, die in einer Speichereinheit gespeichert sind; und - auf Grundlage des bestimmten Qualitätswertes manuelles oder automatisches Ausgeben von Steueranweisungen von einer Steuereinheit an eine Einheit zur Aktivierung einer Bildoptimierung.

Wenigstens die Bildanalyse mit der Bestimmung des Qualitätswertes und optional auch die Voranalyse können automatisch in dem trainingsdatenbasierten oder trainingsdatenbasierten selbstlernenden Modul ablaufen. Bei einer Aktivierung nach einer manuellen Freigabe kann eine Bildoptimierung mit dem genannten Verfahren Sichtverhältnisse und Sichtqualität während einer Operation zumindest teilweise automatisiert sicherstellen. Wird der Prozess ohne manuellen Eingriff also vollkommen automatisiert eingestellt, muss eine Bedienperson nicht mehr entscheiden, ob die Bedingungen für eine Aktivierung einer Einheit beispielsweise eines Endoskops zur Bildoptimierung gegeben sind. Durch Bestimmen des Qualitätswerts kann schnell und effizient eine automatisierte Bildoptimierung bereitgestellt werden und es können Unterbrechungen vermieden werden.

Das computerimplementierte Verfahren umfasst als ersten Schritt das Erfassen von Bilddaten mittels einer Bilderfassungseinrichtung eines Endoskops. Die Bilderfassungeinrichtung kann nicht nur medizinische Endoskope umfassen sondern auch Endoskope, die in anderen Situationen zur Untersuchung von nicht einsehbaren Hohlräumen Anwendung finden wie z.B. im Handwerk bei Rohrleitungen und Schächten. Des Weiteren kann als Bilderfassungeinrichtung statt einer Monokamera auch ein Stereo-Endoskop bereitgestellt werden, das zwei optische Systeme aufweist. Von der Bilderfassungseinrichtung können die Daten von einer Steuereinheit kabellos, beispielsweise über Funk oder über ein Kabel empfangen werden. Die Steuereinheit kann entweder lokal im Endoskop oder Kamerakopf bereitgestellt werden oder dezentral in einem Netzwerk. Die Information bzw. Bilddaten können dabei über ein Internet oder ein anderes Netzwerk wie ein OP-Netz oder Krankenhausnetz sowie „remote“ wie z.B. cloudbasiert empfangen bzw. übermittelt werden. Die verschiedenen Verfahrensschritte des erfindungsgemäßen computerimplementierten Verfahrens können an verschiedenen Orten wie das Endoskop selbst, in einem Computer und/oder auf dezentralen Servern ausgeführt werden.

Die Steuereinheit kann Elemente eines Computers wie einen oder mehrere Mikroprozessoren oder Grafikprozessoren enthalten. Ein Grafikprozessor (englisch „graphics processing unit“ GPU) kann beispielweise 2D- oder bei Bereitstellung eines Stereo-Endoskops 3D-Bilder in Echtzeit einem Nutzer an einem Bildschirm oder über einer Brille ein 2D- oder 3D-Bild anzeigen. Zudem hat die Steuereinheit vorteilhafterweise eine Speichereinheit oder ist mit einer Speichereinheit kommunikativ verbunden. Die Speichereinheit, die lokal in der Steuereinheit oder dezentral z.B. über Server oder Netzwerke bereitgestellt werden kann, weist wenigstens eine Datenbank auf. Eine Datenbank umfasst wenigstens eine Referenzdatenbank mit Bilddaten umfassend Bildstrukturen.

Durch eine Voranalyse wenigstens einer Teilmenge der Bilddaten, wie z.B. eines Bildabschnittes kann eine Bildstruktur erkannt werden. In dieser Voranalyse kann vorteilhafterweise eine Objekterkennung oder eine Ist-Datenerfassung erfolgen. Vorzugsweise kann das Bildzentrum als Teilmenge der Bilddaten eines Bildes verwendet werden. Wenn Daten bereits im Speicher vorhanden sind bzw. von einer externen Datenquelle für eine Datenbank zur Verfügung gestellt werden, kann ein Vergleich mit Bilddaten der Datenbank erfolgen.

Der weitere Verfahrensschritt der Qualitätswertbestimmung wird vorteilhafterweise mittels einem trainingsbasierten selbstlernenden Modul wenigstens teilweise automatisiert durchgeführt. Mit Hilfe von Trainingsdaten kann ein Qualitätswert durch Vergleich der in der Voranalyse bestimmten Bildstruktur mit einer Historie von Bildstrukturen aus der Referenzdatenbank bestimmt werden. Hiermit kann eine Klassifizierung der Daten in Abhängigkeit von dem Qualitätswert erfolgen.

Das selbstlernende Modul kann auf maschinellen Lernen beruhen und sich durch die Trainingsdaten und Erfahrung selbst verbessern. Beim maschinellen Lernen kann manuell eine Datenreduktion vorgenommen werden, indem eine Person eine sogenannte Feature- Extraktion durchführt, damit nur eine Teilmenge der verfügbaren Features für das maschinelle Lernen verwendet wird (Vorklassifizierung oder überwachtes Lernen).

In einer bevorzugten Ausführungsform kann das selbstlernende Modul ein sogenanntes Deep Learning Modell verwenden, welches vollkommen selbständig ohne menschlichen Eingriff lernen kann und vorzugweise als Eingabe „Deep Data“ verwenden kann und mit einem neuronalen Netz arbeitet. Beim Deep Learning ist der Eingriff eines Menschen nicht mehr notwendig und das neuronale Netz übernimmt die Feature-Extraktion bzw. Vorklassifizierung, um im Anschluss eine qualitätswertabhängige Klassifizierung vornehmen zu können.

Auf Grundlage des bestimmten Qualitätswertes können manuell oder automatisch Steueranweisungen von einer Steuereinheit an eine Einheit des Endoskops zur Aktivierung einer Bildoptimierung ausgegeben werden.

Gemäß einer bevorzugten Ausführungsform kann eine weitere Datenbank, nämlich eine sogenannte Parameter-Datenbank für Steuerungsanweisungen für weitere Einheiten wie Kamera, Lichtquelle; Insufflator oder ein Reinigungsmodul bereitgestellt werden und umfasst je nach anzusteuernder Einheit angepasste Parameter. Mögliche Parameter können z.B. für eine Lichtquelle ein Emissionsspektrum oder Intensität, für einen Insufflator Insufflationsdruck, Feuchtigkeistgehalt oder Gasaustauschparameter oder für ein Reinigungsmodul Reinigungsparameter sein. Die Anpassung der Parameter kann auch mittels des selbstlernenden Modules erfolgen und optional auf Deep learning in Verbindung mit einem stochastischen Approximationsalgorithmus (Stochastic Approximation Algorithmen) beruhen. Auf diese Weise kann vorteilhaft ein optimales Reinigungsergebnis erzielt werden und der Arbeit des Operateurs wird nicht mehr durch Verschmutzungen oder andere automatisch detektierbare Faktoren beeinträchtigt.

Gemäß einer bevorzugten Ausführungsform ist die zur Bildoptimierung aktivierbare Einheit eine Einheit des Endoskops, wobei die genannte Einheit vorzugsweise ein Reinigungsmodul ist, das zur Reinigung wenigstens eines distalen Fensters mittels wenigstens eines Fluids ausgelegt ist.

Durch das aktivierbare Reinigungsmodul kann eine definierte Spülmenge oder Volumen an Gas oder Flüssigkeit mit einem vorbestimmbaren Spüldruck für wenigstens ein distales Fenster manuell freigegeben oder automatisch angesteuert werden. Wenn beispielsweise in einer vorbestimmten Anzahl von Sekunden (z.B. 2 oder 3 s) kritische Verschmutzungen mittels des Qualitätswertes festgestellt wurden, kann automatisch die Entscheidung zur Reinigung getroffen werden und dem Reinigungsmodul mitgeteilt werden, ein Fluidventil für ein vorbestimmtes Volumen von Gas oder Flüssigkeit (z.B. Kohlenstoffdioxid oder Natriumchlorid) zu öffnen. Nach der Aktivierung kann auch automatisch die Steuerungsanweisung zum Prozessabbruch gegeben werden d.h. zum Schließen des Fluidventils. Durch ein Schließsteuerungssignal wird vermieden, dass die Bedienperson die Reinigungsaktivierung länger als benötigt aktiviert.

Gemäß einer bevorzugten Ausführungsform hängt der Qualitätswert von der erfassten Helligkeit des Bildes und/oder Verschmutzung des wenigstens einem distalen Fenster ab, wobei in dem Schritt des Bestimmens des Qualitätswertes mittels des selbstlernenden Modules eine Klassifizierung in Verschmutzungswahrscheinlichkeiten und/oder Grad der Verschmutzung erfolgt.

Mittels dieser Klassifizierung kann jedes Bild mit kritischen Verschmutzungen klassifiziert werden. Die Klassifizierungshistorie wird in der Speichereinheit gespeichert und steht dem weiteren Lernprozess zur Verfügung. Die Trainingsmethoden des selbstlernenden Moduls sind abhängig von dem gewählten zu trainierenden bzw. trainierten Modell und den Eingabedaten. Als Eingabe bzw. Eingabeschicht des Modells des selbstlernenden Moduls dient eine Teilmenge oder die Gesamtheit der Bilddaten eines endoskopischen Bildes, das in der Regel als eine zwei- oder dreidimensionale Matrix aus Pixeln vorliegt. Dreidimensionale Bilder können von Stereoskopen z,B. 3D-Endoskopen mit zwei CCD Kameras am distalen Ende bereitgestellt werden. Dabei kann ein Stereomesssystem als Eingabedaten für das Modell auch Information bereitstellen, ob und welches der beiden distalen Fenster verschmutzt ist. Als Ausgabe oder Ausgabeschicht des trainierten Modells ergibt sich vorzugsweise eine Wahrscheinlichkeit einer Verschmutzung.

Gemäß einer bevorzugten Ausführungsform umfasst das selbstlernende Modul ein Modell mit einem neuronales Netzwerk, wobei die Eingabedaten die von der Bilderfassungseinrichtung erfassten Bilddaten sind, die als Einzelbilder, Pixel und/oder Bildabschnitte extrahierbar sind; und wobei die Ausgabedaten die Wahrscheinlichkeit einer Verschmutzung oder Blindheit der Bilderfassungseinrichtung umfasst.

Zwischen der Eingabe und Ausgabe erfolgt die Vorklassifizierung und die Klassifizierung. Das selbstlernende Modul hat wenigstens eine Lerneinheit, das zu Beginn des Prozesses als zu trainierendes Modell ausgebildet ist. Das Modell kann dabei auf den Technologiebereich der künstlichen Intelligenz, insbesondere auf maschinelles Lernen bzw. bevorzugt auf ein künstliches neurales Netzwerk beruhen. Eine bevorzugte Ausführungsform eines neuronalen Netzwerk ist ein faltendes neuronales Netzwerk (convolutional neural network; CNN), welches die Bildklassifikation optimal durchführen kann. Grundsätzlich besteht die Systemarchitektur eines klassischen CNNs aus einem oder mehreren Convolutional Layer, gefolgt von einem Pooling Layer, der überflüssige Informationen verwirft. Diese Einheit kann sich prinzipiell beliebig oft wiederholen. Bei einer hohen Anzahl von Wiederholungen spricht man von „Deep Convolutional Neural Networks“, die in den Bereich Deep Learning fallen. Andere Formen des maschinellen Lernens oder Deep Learning Modelle können auch als Systemarchitektur des selbstlernenden und trainingsdatenbasierten Moduls verwendet werden, solange sie geeignet sind eine Bildklassifikation anhand von Endoskopbildern mit schneller Berechnungsgeschwindigkeit und zuverlässig d.h. mit geringen Fehlerquoten von beispielsweise weniger als 3% und einer Richtig-positiv-Rate von wenigstens 97 % durchzuführen.

Bei dem Beispiel eines binären Klassifikators, wobei die Klassifizierungsalgorithmen die Eingabedaten in nur zwei mögliche Klassen einteilen, können in manchen Fällen die verwendeten trainingsbasierten Modelle ein analysiertes Bild einer falschen Klasse zuordnen, wobei die Richtig-positiv-Rate bzw. Sensitivität wenigstens 97%, und vorzugsweise 98 % betragen. Dabei gibt die Richtig-positive-Rate an, mit welcher Wahrscheinlichkeit eine Verschmutzung auch tatsächlich erkannt wurde.

Gemäß einer bevorzugten Ausführungsform umfassen die Trainingsdaten in einer Speichereinheit gespeicherte Bildstrukturen und/oder eine Kennzeichensammlung, die zum Training des selbstlernenden Modules verwendet werden, wobei ein trainiertes Modell des selbstlernenden Modules zur Klassifizierung der Bilddaten in folgende verschmutzungsabhängige Datenbankklassen oder Kategorien trainiert ist:

1. nicht verschmutze Bilder,

2. verschmutzte Bilder, die durch ein Reinigungsmodul reinigbar sind; und

3. verschmutzte oder Kennzeichen aufweisende Bilder, die durch andere Module als das Reinigungsmodul optimierbar sind. Zur Klassifizierung können neben erkannten Bildstrukturen auch Kennzeichen verwendet werden. Vorzugweise wird in wenigstens zwei Kategorien oder Datenbankklassen unterschieden, die von der Verschmutzung abhängen (Beispiel eines binären Klassifikators: Klasse 1. (nicht verschmutzt) und Klasse 2. (verschmutzt)). Die als verschmutzt klassifizierten Bilder können zum einem durch ein Reinigungsmodul reinigbar sein oder durch andere Module wie z.B. ein Insufflator zur Entfernung von Rauch. Ferner kann die Verschmutzung in weitere Kategorien oder Klassen in Abhängigkeit vom Verschmutzungsgrad oder der Art der Verschmutzung wie folgt unterteilt werden: a) gering verschmutzt b) stärker verschmutzt c) sehr stark verschmutzt d) verschmutzt mit Blut e) verschmutzt mit Fett

Mit Hilfe von Fabeln und/oder Kennzeichen kann kontrolliert werden, mit welcher Aufgabe das Modell des selbstlernenden Moduls trainiert wird. Mittels der bereitgestellten Trainingsdaten (z.B. Bilder von zu untersuchenden Objekten wie Gewebestrukturen mit oder ohne Verschmutzung oder Rauch oder Kondensat) und dazugehöriger Eabels (die Kategorie der Verschmutzung bzw. Bildverschlechterung) kann ein Modell wie z.B. ein künstliches neuronales Netzwerk entsprechend lernen.

Gemäß einer bevorzugten Ausführungsform beruht das selbstlernende Modul auf maschinellen Fernen, wobei durch einen Experten oder mehrere Personen eine Vorklassifizierung durchgeführt wird und die anschließende qualitätswertabhängige Klassifizierung durch ein neuronales Netz durchgeführt wird. Die Klassifizierung von digitalen Bildern und die Beurteilung der Qualität eines Teilbildes oder des gesamten Bildes stellt eine technische Anwendungsform von maschinellen Fernen dar. Dabei dienen die verwendeten Klassifizierungsalgorithmen auch dazu den technischen Zweck der Bildoptimierung zu unterstützen. Zusätzlich sind aus den Trainingsdaten abgeleitete Algorithmen für das Modell des selbstlernenden Modules von wenigstens einem Experten überprüfbar und korrigierbar. Auf diese Weise kann optional eine zusätzliche Beurteilung bei der Vorklassifizierung durch wenigstens einen Experten zur Überwachung eingesetzt werden. Hierzu kann ein einzelner oder ein Team von Experten Rohdaten bzw. Trainingsbilder wie Operationsvideos und Operationsbilder über eine geeignete Schnittstelle wie ein Userinterface labeln. Zum Labeln einer Datenbank von Endoskopbildern kann beispielsweise ImageNet eingesetzt werden. Das Labeln der Endoskopbilder kann beispielsweise über einen Web-Service erfolgen, wobei ein entsprechendes Web-Labeling-Tool für alle beteiligten Mitarbeiter bereitgestellt wird. Die Experten von Endoskopbildern liefern somit für das Training des Modells des selbstlernenden Moduls Label, welches kennzeichnen, in welche Klassifikation oder Kategorie das jeweiligen Trainingsbild fällt. Schließlich können Experten, insbesondere bei einem offenen Netzwerk, eine Übersteuerung beispielsweise in der Trainings- oder Anlern- Phase des Modells vornehmen, um Korrekturen frühzeitig durchzuführen.

Es versteht sich, dass der Begriff „offenes neuronales Netzwerk“ im Kontext dieser Offenbarung, ein künstliches Intelligenz- Netzwerk definiert, wobei ein Dritter wie z,B. ein Experte den Lern- oder Trainingsvorgang wenn nötig korrigiert, so das ein überwachtes maschinelles Lernen („supervised learning“) erfolgt. Wenn die Trainingsdaten beispielsweise aus Paaren von Eingabedaten und Ausgabedaten bestehen, kann ein externer Experte dem neuronalen Netz zu jeder Eingabe die korrekte Ausgabe angeben und somit während des Trainings mögliche Fehler und Abweichungen minimiert werden.

Dagegen wird unter dem Begriff „geschlossenes neuronales Netzwerk“ im Rahmen dieser Offenbarung ein neuronales Netzwerk verstanden, das nicht überwacht lernt („unsupervised learning“). Dabei erfolgen Korrekturen automatisch d.h. es werden z.B. ohne Beeinflussung von außen Eingabedaten in Klassen aufgeteilt.

Gemäß einer bevorzugten Ausführungsform weist das selbstlernende Modul als zu trainierendes bzw. trainiertes Modell ein Modell mit einem neuronalen Netz basierend auf maschinellen Lernen oder Deep Learning auf, wobei das neuronale Netz ausgewählt ist aus der Gruppe umfassend: ein offenes neuronales Netz, ein geschlossenes neuronales Netz, ein einschichtiges neuronales Netz, ein mehrschichtiges feedforward Netz mit verdeckten Schichten, ein rückgekoppeltes neuronales Netz und Kombinationen davon. Die oben genannten neuronalen Netze zeichnen sich durch ihre Lernfähigkeit aus, wobei sie eine Aufgabe wie Klassifizierung anhand von Trainingsdaten erlernen können. Dabei können neuronale Netze Bildstrukturen in Bilddaten finden und auf diese Weise Muster erkennen. Mit dem Instrument von künstlichen neuronalen Netzen, vorzugsweise durch die Klassifizierung von Bilddaten, können wesentliche Merkmale extrahiert und funktionale Zusammenhänge zwischen den Bildstrukturen approximiert werden, so dass ein Qualitätswert bestimmt werden kann.

Es können offene oder geschlossene künstlichen Intelligenz- Netzwerke verwendet werden, die einerseits überwachte und andererseits nicht überwachte Verfahren des maschinellen Lernens verwenden. Alternativ kann auch eine Mischform dieser Verfahren, eine sogenannte „semi-supervised“ Lernerfahren Anwendung finden, um die durch einen Experten verursachten Kosten gering zu halten und gleichzeitig kleinere Datensätze im Vergleich zu nicht überwachten Training des selbstlernenden Modules zu erhalten.

Eine Möglichkeit der Überwachung durch Experten oder Anwender ist, mit Hilfe von Labels Operationsbilder oder andere geeignete Datensätzen einen Qualitätswert z.B. in Abhängigkeit von der Störung der Bildqualität zuzuordnen. Solche Experten, Anwender oder extern beauftragte Labelling-Teams, haben Erfahrung Bilddaten qualitativ zu beurteilen und können auf das notwendige Expertenwissen zurückgreifen. Die erzeugten Label können für Trainingsdaten für das selbstlernende Modul und somit für neuronale Netze herangezogen werden. In Abhängigkeit von der Rate der gelabelten Daten liegt entweder ein überwachtes oder ein nur zum Teil überwachtes („semi-supervised“) Lernverfahren vor.

Gemäß einer bevorzugten Ausführungsform stellt die wenigstens eine Bildstruktur wenigstens ein zu untersuchendes Objekt dar, das in dem erfassten Bild abgebildet wird; wobei eine Verschmutzungs-, Verschlechterungs- oder Raucherkennung auf eine Veränderung der Bildstruktur basiert.

In der Voranalyse kann durch den Vergleich der Bildstrukturen eine Objekterkennung erfolgen. Auf diese Weise können Objekte, Organe, zu untersuchende Gewebestrukturen oder andere Strukturen erkannt werden. In einem weiteren Analyseschritt erfolgt eine Klassifizierung, die auf maschinellem Lernen basiert, wobei das trainierte Modell erkennen kann, wenn sich die erkannte Bildstruktur beispielsweise durch Rauch, Kondensat oder Verschmutzung oder andere Störfaktoren verändert hat. Auf Basis der Veränderung kann dann beispielsweise ein Rauchereignis erkannt oder ein Verschmutzungsgrad mit Hilfe des berechneten Qualitätswertes klassifiziert werden.

Gemäß einer bevorzugten Ausführungsform kann im Verfahrensschritt der Voranalyse eine Unterteilung eines erfassten Bildes in Bildabschnitte vorgenommen und/oder es erfolgt auf Grundlage von Analysewerten eine Unterteilung eines erfassten Bildes in einzelne Regionen auf Basis von Pixeln, wobei der Qualitätswert für jede der Bildabschnitte und/oder Bildregionen bestimmt werden kann.

Gemäß einer bevorzugten Ausführungsform ist das Reinigungsmodul ausgebildet, in Abhängigkeit von einer festlegbaren Gewichtung von Regionen und/oder in Abhängigkeit einer zulässigen prozentualen Verschmutzung, eine regional gezielte Reinigung zu aktivieren, wobei vorzugsweise die Region des distalen Fensters, die dem Bildzentrum zuordenbar ist, gezielt gereinigt werden kann.

Auf Basis der Analyse bevorzugter Regionen oder Bildabschnitte kann die Reinigung gezielt für diese Regionen/Abschnitte erfolgen und somit die Effizienz der Reinigung optimiert werden. Als bevorzugt zu reinigende Region gilt das Bildzentrum, da hier sich in der Regel das zu untersuchende Objekt befindet und daher der Anwender ein besonderes Interesse hat, dass ein optimales Bild bereitgestellt wird. Falls ein Stereo-Endoskop bereitgestellt wird, können in Abhängigkeit von der Verschmutzung wahlweise ein oder zwei distale Fenster und damit die zugehörigen Bilderfassungseinrichtungen gereinigt werden.

Gemäß einer bevorzugten Ausführungsform wird nach Aktivierung des Reinigungsmoduls ein Puls eines Fluidstrahls mit einer Dauer von einigen Millisekunden bis maximal 1000 ms und unter hohem Druck (p) von maximal 3 bar auf wenigstens einen Teil des distalen Fensters der Bilderfassungseinrichtung und/oder auf eine oder mehrere distale Beleuchtungsfenster von Lichtquellen gezielt zur Reinigung gerichtet.

Auf diese Weise kann die Reinigung gezielt für bestimmt Teile oder die Gesamtheit des wenigstens einen optischen Fensters einer Bilderfassungseinrichtung erfolgen. Vorteilhafterweise wird die Lichtquelle oder Beleuchtungseinrichtung mitgereinigt, um die Lebensdauer zu verlängern und die Lichtausbeute der Lichtquelle zu optimieren.

Ein Vorteil der Kombination von hohen Druck und kurzen Fluidpulsen ist, dass der Anwender des Endoskops kaum gestört wird, da das Sichtfeld in Art eines Scheibenwischers nur kurzfristig durch das Reinigungsfluid verdeckt wird. Zudem kann vorteilhafterweise die Steuerungsanweisung oder ein entsprechendes Signal zur Reinigung einer anderen Einheit mitgeteilt werden. Beispielsweise kann einem Insufflator mitgeteilt werden, dass die Reinigung aktiviert wurde, damit der Insufflator sich an die damit einhergehende Druckänderung anpassen kann.

Gemäß einer bevorzugten Ausführungsform wird die zur Bildoptimierung aktivierbare Einheit ausgewählt aus der Gruppe umfassend: eine oder mehrere Lichtquellen des Endoskops zur Veränderung der Beleuchtungsstärke; wenigstens ein Filter zur Optimierung eines Kontrastes; Autofokussystem zur Anpassung der Schärfe des Bildes; Farbspektrumsänderungseinheit; Endlinsenbeheizung;Monitor; anwenderabhängige und/oder endoskop- oder lichtleiterabhängige anpassbare Software; Raumbeleuchtung des OP-Saales und Kombinationen davon.

Auf diese Weise kann vorteilhafterweise das Bild auch durch andere OP-Einheiten als ein oder mehrere Reinigungsmodule optimiert werden. Beispielsweise kann durch eine Änderung des Farbspektrums Wellenlängenbereiche zur Beheizung angesteuert werden, um mittels der Bildklassifizierung durch das selbstlernende Modul erkannte Kondensatbildung zu reduzieren bzw. zu entfernen. Wird als Einheit ein Autofokussystem aktiviert, kann die Schärfe des Bildes mit optimierten Parametern als Ausgabe aus dem trainierten Modell eingestellt werden.

Auch Faktoren, die nicht unmittelbar das vom Endoskop zu untersuchende Objekt betreffen, wie z.B. Raumbeleuchtung des OP-Saales kann zur Bildoptimierung verwendet werden. Zum Beispiel kann der Kontrast des Monitors verbessert werden, indem die Störstrahlungen von Raumbeleuchtungen entsprechend gedimmt werden. Gemäß einer bevorzugten Ausführungsform umfasst die Bestimmung eines Qualitätswertes einen Blindheitswert durch Rauch oder Kondensation, wobei mittels der Steuereinheit ein Vergleich von erfassten Kennzeichen für Rauch oder Kondensation mit Kennzeichen einer in der Referenzdatenbank gespeicherten Kennzeichensammlung erfolgt.

Das selbstlernende Modul ist somit ausgebildet, anhand eines sogenannten Blindheits wertes eine Sichtbeeinträchtigung durch Rauch oder Kondensatbildung zu bestimmen. Auf diese Weise können durch die Sichtbeeinträchtigung hervorgerufene Störeinflüsse automatisch erkannt und durch eine Aktivierung einer Einheit wie einer Beheizungseinheit oder eines Reinigungsmoduls eliminiert oder zumindest verringert werden. Auf diese Weise kann die Qualität der in dem erfassten Bild enthaltenen Bildinformation verbessert werden.

Gemäß einer bevorzugten Ausführungsform umfasst das Verfahren ferner eine Steuerungsanweisung zur Aktivierung an einen Rauchgasabsauger und/oder einen Insufflator oder eine Spülpumpe, um das Bild durch eine Rauchgasabsaugung zu optimieren; und/ oder mittels des Insufflators oder der Spülpumpe das Fluidmanagement in der mit dem Endoskop zu untersuchenden Körperhöhle in Abhängigkeit von Fluidflüssen bei einer Rauchgasabsaugung oder Reinigung zu optimieren.

Gemäß einer bevorzugten Ausführungsform wird mit einem Drucksensor der intrakorporale Druck in der Körperhöhle gemessen und die Steuereinheit steuert Ereignis- und/oder Zeitgesteuert wenigstens während der Dauer einer Reinigung den intrakorporalen Druck mittels einer Regelung der wenigstens einen Pumpe oder einer Regelung eines Druckregler so, dass der intrakorporale Druck einen vorbestimmten maximalen Grenzwert nicht überschreitet.

Auf diese Weise kann die Sicherheit während eines endoskopischen Verfahrens für die zu untersuchende Person erhöht werden.

Gemäß einer bevorzugten Ausführungsform ist das Reinigungsmodul ausgelegt in Abhängigkeit der Datenbankklassen und/oder an einen Verschmutzungsgrades die Art der Reinigung mittels Reinigungsparameterveränderung anzupassen, wobei ein oder mehrere Reinigungsparameter ausgewählt sind aus einer Gruppe umfassend: Art des Fluids, Fluidvolumen, Fluidvolumina, Fluidgeschwindigkeit, Druck, Pulsdauer, Pulsanzahl, Puls-Pausenverhältnis und/oder gesamte Reinigungsdauer.

Beispielsweise erfolgt eine Reinigung mittels eines Reinigungsmoduls durch Aufbringen von unter hohem Druck stehenden Fluidstrahlen auf die zu reinigende Oberfläche mit dem Ziel, den zu entfernenden und auf der Oberfläche des wenigstens einen distalen Endfensters des Endoskops anhaftenden Stoff oder Dampf zumindest zu reduzieren. Geeignete Fluide sind vorzugsweise Wasser oder Natriumchlorid oder eine andere physiologische Flüssigkeit. Auch ein gasförmiges Fluid wird so gewählt, dass es physiologisch unbedenklich und biokompatibel ist, und kann z.B. Kohlenstoff dioxid sein. Parameter wie Fluidvolumen, - geschwindigkeit und Reinigungsdauer können vorteilhafterweise an den durch das selbstlernende Modul bestimmten Verschmutzungsgrad angepasst werden.

Die Begrenzung der Reinigung auf eine Pulsdauer von wenigen Millisekunden beispielsweise maximal 2000 ms, oder Festlegung eines Puls-Pausenverhältnis haben den Vorteil, dass der Bediener des Endoskops die Reinigungsfunktion nicht länger als benötigt aktiviert. Daraufhin sammelt sich nicht so viel Flüssigkeit in der Körperhöhle wie z.B. dem Pneumoperitoneum an. Durch die Reduzierung der Flüssigkeit muss auch weniger Flüssigkeit aus der Körperhöhle abgesaugt werden. Mithilfe der Reinigungsdauerbegrenzung kann die Reinigungszeit sowie Reinigungsmenge bzw. Flüssigkeitsmenge effizient automatisiert und abgestimmt werden. Übernimmt das selbstlernende Modul vollständig die Steuerung wie z.B. in einem geschlossenen neuronalen Netzwerk, muss der Anwender nicht mehr entscheiden, ob und wie lange er die Flüssigkeitsreinigungsfunktion aktiviert, und kann sich vollständig auf seine eigentliche Aufgabe konzentrieren. Dies erhöht die Sicherheit des Patienten, der mit dem endoskopischen Verfahren behandelt oder diagnostiziert wird.

Eine Reinigungsparameterveränderung bzw. -anpassung kann mit Hilfe von maschinellem Lernen oder einem Deep Learning Modell des selbstlernenden Moduls automatisiert erfolgen. Beispielsweise ist eine Parameteranpassung mit stochastischen Approximationsalgorithmen (Stochastic Approximation Algorithmen bzw. SA) möglich.

Gemäß einer bevorzugten Ausführungsform weist das selbstlernende Modul auf Grundlage von einer Bild- Analysehistorie einen Reinigungssteuerungsalgorithmus auf, der die Reinigungswirksamkeit vorheriger Zyklen überprüft, um an die Historie angepasste Reinigungsparameter, vorzugsweise basierend auf stochastische Approximationsalgorithmen, auszuwählen, um die höchste Wahrscheinlichkeit eines Bildes mit ausreichend guter Bildqualität zu erzielen.

Gemäß einer bevorzugten Ausführungsform erfolgt die Anpassung der Reinigungsparameter mittels eines Deep Learning Modells des selbstlernenden Modules oder basierend auf einer schrittweisen Erhöhung oder mittels Maximal-Einstellungen.

Gemäß einer bevorzugten Ausführungsform empfängt das selbstlernende Modul zum Aufbau der Referenzdatenbank Trainingsdaten von Bildstrukturen von charakteristischen Bildern von zu untersuchenden Objekten, vorzugsweise Organe oder Gewebestrukturen, und/oder von Rauch über eine Eingabeschnittstelle automatisch oder durch eine Eingabe über einen Benutzer.

Der Empfang der Trainingsdaten kann beispielsweise cloudbasiert erfolgen. Sind mehrerer Krankenhäuser vernetzt können kontinuierlich oder diskontinuierlich aktuelle Datensätze in die Referenzdatenbank hochgeladen werden.

Gemäß einer bevorzugten Ausführungsform des Verfahrens erfolgen vor oder während des Erfassens von Bilddaten folgende Initialisierungsverfahrensschritte:

-Bereitstellen von wenigstens einer weiteren Datenbank mit technischen Daten verwendbarer Bilderfassungseinrichtungen und/oder mit technischen Daten von Reinigungsmodulen;

- Vergleichen der bereitgestellten Bilderfassungseinrichtung mit den technischen Daten und Erkennen der bereitgestellten Bilderfassungseinrichtung und abhängig von der erkannten Bilderfassungseinrichtung Übermitteln von gespeicherten Reinigungsparametern an das Reinigungsmodul für die Reinigungsaktivierung.

Mit Hilfe einer weiteren Datenbank, die als Parameter-Referenzbank dient, kann der Anwender flexible zwischen verschiedenen Endoskopen und Reinigungsmodulen wählen. Durch die automatische Erkennung werden die in der Parameterdatenbank hinterlegten Parameter automatisch bei der Reinigungsaktivierung aufgerufen. Ferner umfasst das Verfahren folgende Schritte:

- Starten einer Erkennungsroutine, um basierend auf den Bilddaten Strukturen einer Körperhöhle oder eines technischen Hohlraumes, vorzugsweise eines zu untersuchenden Bereiches oder Objektes zu erkennen, und basierend auf einem positiven Ergebnis der Erkennungsroutine Fortführen des Verfahrens oder basierend auf einem negativen Ergebnis der Erkennungsroutine Abbrechen des Verfahrens.

Falls das Abbrechen des Verfahrens veranlasst wird, sollten die Anschlüsse zur Steuereinheit und/oder die Stromversorgung überprüft werden, um daraufhin einen Neustart der Erkennungsroutine zu veranlassen.

In einer bevorzugten Ausführungsform umfasst das Verfahren eine Überwachungsroutine mit folgenden Verfahrensschritten:

-Nach der Reinigung mittels des Reinigungsmoduls Analysieren der Bilddaten durch eine Steuereinheit.

-Vergleichen der Bilddaten mit gespeicherten Parametern für ein positives Reinigungsergebnis .

- In Abhängigkeit vom Reinigungsergebnis Abbrechen der Reinigung oder Wiederholen der Reinigung.

Ist das Reinigungsergebnis noch nicht ausreichend und die optimale Bildqualität nicht erreicht, wird automatisch eine weiterer Fluidpuls zur Reinigung und/oder Trocknung aktiviert bis das Reinigungsergebnis positiv ist bzw. den Sollwerten entspricht. Auf diese Weise kann überwacht werden, ob eine optimale Bildqualität (positives Reinigungsergebnis) vorliegt. Bei einer Wiederholung des Reinigungsvorganges kann bei einem geringeren Verschmutzungsgrad eine Anpassung der Reinigungsparameter durch Reduzierung der Reinigungsdauer oder des Fluidvolumens erfolgen. Durch die anpassbare Reinigung ist eine geringere Spülmenge von Gas oder Fluid notwendig und die benötigte Reinigungsspülmenge kann zu einem Minimum reduziert werden, so dass in die Körperhöhle keine unnötigen Flüssigkeitsmengen gelangen. In einer bevorzugten Ausführungsform umfasst das Verfahren weiterhin folgende Verfahrensschritte:

Anpassung der Reinigung an den Grad der Bildverschlechterung, wobei bei einer starken Bildverschlechterung eine Reinigung mit Flüssigkeit aktiviert wird und in Abhängigkeit von dem bereitgestellten Endoskop definierte Reinigungsparameter bereitgestellt werden. Ferner kann bei einer geringen Bildverschlechterung oder ausreichender Wahrscheinlichkeit einer Bildverbesserung nach Flüssigkeitsreinigung eine Reinigung mit Gas aktiviert werden und in Abhängigkeit von dem bereitgestellten Endoskop definierte Reinigungsparameter zur Trocknung bereitgestellt werden.

Falls eine starke Verunreinigung festgestellt wird, ist eine Reinigung mit Flüssigkeit bevorzugt, während bei leichten Verunreinigungen oder Beschlagen des optischen Fensters die Aktivierung einer Reinigung mit Gas oder einer Trocknung mit Gas ausreichend sein kann.

Gemäß einem weiteren Aspekt wird ein Steuerungssystem zur Bildoptimierung von wenigstens einem am distalen Ende eines Endoskops erfassten Bild bereitgestellt, wobei das System eine Bilderfassungseinrichtung, eine Steuereinheit mit einem selbstlernenden Modul in Kommunikation mit der Bilderfassungsvorrichtung zum Empfangen der Bilddaten und einer Speichereinheit umfasst. Dabei ist das selbstlernende Modul ausgebildet, wenigstens einem Qualitätswert basierend auf Trainingsdaten durch einen Vergleich wenigstens einer bestimmten Bildstruktur mit Bildstrukturen einer Referenz-Datenbank, die in der Speichereinheit gespeichert ist, zu bestimmen. Ferner ist die Steuereinheit ausgebildet, auf Grundlage des bestimmten Qualitätswertes automatisch Steueranweisungen an eine Einheit des Endoskops oder eine externe Einheit zur Aktivierung einer Bildoptimierung auszugeben.

Ferner kann das Steuerungssystem ein oder mehrere Verfahrensschritte des oben beschriebenen Verfahrens zur Bildoptimierung ausführen.

Ferner wird ein Computerprogrammprodukt bereitgestellt, das Anweisungen umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte eines der oben beschriebenen Verfahren durchzuführen. Ferner wird ein computerlesbares Medium bereitgestellt, auf dem das genannte Computerprogramm gespeichert ist.

Ferner wird ein trainiertes Modell bereitgestellt, das mit Trainingsdaten trainiert ist, und wobei das trainierte Modell ausgelegt ist, die Schritte wenigstens eines der oben beschriebenen Verfahren durchzuführen.

Dabei umfassen die Trainingsdaten Eingabedaten, die vorzugsweise in einer Speichereinheit gespeichert sind und Bilddaten, optional Bildstrukturen, und/oder eine Kennzeichensammlung umfassen, die zum Training des Modells verwendet werden. Bevorzugt ist das trainierte Modell des selbstlernenden Modules zur Klassifizierung der Bilddaten in folgende verschmutzungsabhängige Datenbankklassen oder Kategorien trainiert:

1. nicht verschmutze Bilder,

2. verschmutzte Bilder, die durch ein Reinigungsmodul reinigbar sind; und

3. verschmutzte oder Kennzeichen aufweisende Bilder, die durch andere Module als das Reinigungsmodul optimierbar sind.

Mit Hilfe von maschinell antrainierten Datenbankklassen oder Kategorien, kann ein trainiertes Modell aktuelle Bilddaten eines untersuchten Objektes zuverlässig und reproduzierbar klassifizieren, wobei das trainierte Modell erkennen kann, wenn sich eine erkannte Bildstruktur beispielsweise durch Rauch, Kondensat oder Verschmutzung oder andere Störfaktoren verändert hat. Ein maschinell trainiertes Modell ist dabei nicht von subjektiven Beurteilungen von Nutzern abhängig. Auf Basis der erkannten Veränderung können manuell oder automatisch Steueran Weisungen von einer Steuereinheit an eine Einheit zur Aktivierung einer Bildoptimierung ausgegeben werden. Durch eine Aktivierung kann eine Bildoptimierung Sichtverhältnisse und Sichtqualität während einer Operation zumindest teilweise automatisiert sichers teilen.

Kurze Figurenbeschreibung

Die Erfindung sowie weitere vorteilhafte Ausführungsformen und Weiterbildungen derselben werden im Folgenden anhand der in den Zeichnungen dargestellten Beispiele näher beschrieben und erläutert. Die Zeichnungen dienen zur Illustration und sind nicht maßstabsgetreu. Begriffe wie oberhalb sind nicht beschränkend zu verstehen. Die in der folgenden Beschreibung und den Zeichnungen zu entnehmende Merkmale können einzeln für sich oder zu mehreren in beliebiger Kombination erfindungsgemäß angewandt werden.

Die Fig. la ist eine perspektivische Ansicht eines distalen Endes eines Endoskops mit einer erfindungsgemäßen Vorrichtung zur Reinigung;

Fig. 1b zeigt eine Explosionsdarstellung und eine Detailansicht der Figur la, wobei die Düse und zwei Fluidkanäle des Reinigungsmodules gezeigt werden;

Figur 2 zeigt eine weitere Ausführungsform eines distalen Endes eines Endoskops mit einer lokalen Steuereinheit;

Fig. 3 zeigt schematisch eine Ausführungsform mit einer Steuereinheit und damit in Kommunikation stehende Einheiten zur Ausführung des erfindungsgemäßen Verfahrens;

Fig. 4 zeigt schematisch die Datenverarbeitung;

Fig. 5 zeigt ein Flussdiagram eines erfindungsgemäßen Reinigungsverfahrens mit Initiali sierungsroutine ;

Fig. 6 zeigt ein Flussdiagram eines automatisierten Prozessablaufes mit automatisierten Analyseschritten und Reinigung;

Fig. 7 zeigt schematisch im Flussdiagramm ein automatisiertes Verfahren zur Anpassung für die Reinigungsparameter bei einem flüssigen Fluid bzw. bei einem gasförmigen Fluid;

Fig. 8 zeigt ein Flussdiagramm zur schematischen Darstellung mit Beispiel einer Klassifizierung in Kombination mit einer Überwachungsroutine; und

Fig. 9 zeigt ein weiteres schematisches Flussdiagramm des erfindungsgemäßen Verfahrens.

Detaillierte Figurenbeschreibung

Figur la ist eine perspektivische Ansicht eines distalen Endes eines Endoskops mit einem distalen Fensters HO, wobei Figur 1b eine detaillierte Explosionsdarstellung der Figur la zeigt. Die Ausführungsform gemäß Figur la und 1b weist ein Reinigungsmodul 130 auf mit einer Düse 140. Das optische Fenster 110 einer Bilderfassungseinrichtung 115 wie ein Endoskop ist oberhalb des Reinigungsmoduls 130 in einem gemeinsamen Schaft 150 angeordnet. Die gezeigten Komponenten zeigen ein modulares System 100, wobei das Reinigungsmodul 130 lösbar oder integral mit den anderen Komponenten und/oder der Bilderfassungseinrichtung verbindbar sind.

Figur 1b zeigt, dass das Reinigungsmodul 130 zwei Fluidkanäle 131, 132 aufweist. Auf diese Weise können Reinigungsfluide wie eine Flüssigkeit und ein Gas getrennt voneinander zum optischen Fenster 110 transportiert werden. Als Flüssigkeit können Wasser oder Kochsalzlösung oder andere physiologische Lösungen verwendet werden. Als Gase finden häufig Luft oder Kohlenstoffdioxid Anwendung. Die Fluidkanäle sind mit den jeweiligen externen Quellen der Fluide verbunden.

Zur Vermeidung einer Vermischung von zwei verschiedenen Fluiden, wird in dieser Ausführungsform vorteilhaft als Düse 140 eine Zweikanaldüse eingesetzt, wobei die Zuläufe sowie die Sprühkanäle bis zum Düsenaustritt getrennt verlaufen. Die Fluidkanäle 131, 132 können getrennt und unabhängig voneinander aber auch gleichzeitig aktiviert werden. Dabei werden starke Verschmutzungen in der Regel mit Hilfe von Flüssigkeiten besser entfernt, während geringe Verschmutzungen oder Kondensat auf dem optischen Fenster mittels Gas entfernt werden kann. Alternative kann das Reinigungsmodul 130 ausgeführt werden mit einer Einkanaldüse in Kombination mit zwei Zufuhr-Kanäler (nicht gezeigt) oder mit einer Einkanaldüse in Kombinationen mit nur einer Zufuhrkanal (nicht gezeigt), der dann intermittierend mit verschiedene Reinigungsfluide zuführt.

Figur 2 zeigt eine schematische Darstellung einer weiteren Ausführungsform eines Systems 100 zur Optimierung eines Bildes, das durch ein optisches Fenster 110 an einem distalen Ende eines Endoskops mittels einer Bilderfassungseinrichtung 115 erfasst wird. Das System umfasst eine Steuereinheit 120, die lokal als Kamerakontrolleinheit 116 (CCU) bereitgestellt werden kann.

Ferner kann eine Speichereinheit 122 bereitgestellt werden, die in dieser Ausführungsform ebenfalls lokal angeordnet ist. Optional kann die Steuereinheit 120 und die Speichereinheit 122 nicht lokal am distalen Ende des Endoskops angeordnet sein, sondern über Kabel oder kabellos außerhalb des Endoskops zur Verfügung gestellt werden. Die lokale oder externe Speichereinheit 122, die eine Vielzahl von bereits erfassten Bilddaten von dieser Bilderfassungseinrichtung 115 (siehe Referenzzeichen 310 in Fig. 2) oder von anderen Bildsensoren, wie sie z.B. bei Stereo-Endoskopen Anwendung finden (nicht gezeigt) speichern kann, können an die Steuereinheit 120 zur weiteren Verarbeitung durch wenigstens einen Prozessor 121 übertragen werden.

Der Prozessor 121 kann ein oder mehrere Mikroprozessoren oder Grafikprozessoren umfassen und zur Bildanalyse 124 und Optikerkennung 123 verwendet werden. Die Optikerkennung 123 kann als Initialisierungsroutine genutzt werden, um die angeschlossene Bilderfassungseinrichtung 115 zu erkennen und abhängig von der erkannten

Bilderfassungsvorrichtung 115 gespeicherte Reinigungsparameter 128 an das

Reinigungsmodul 130 für die Reinigungssteuerung bzw. -aktivierung zu übermitteln. Im Speicher 122 sind für das Reinigungsmodul 130 Reinigungsparameter 128 wie Fluidvolumen V, Druck p und Puls- oder Reinigungsdauer t abgespeichert. Die Reinigungsparameter 128 können weitere Parameter wie Pulsanzahl, Pulsdauer t, gesamte Reinigungsdauer t, Puls- Pausenverhältnis, Art des Fluids, Fluidvolumen V, Fluidvolumina (Flüssigkeits- oder Gasmenge) und/oder Fluidgeschwindigkeit umfassen.

Mit Hilfe der Reinigungsparameter 128 kann vorzugsweise der Druck p und die Pulsdauer t eines Fluidpuls oder einer Mehrzahl von Pulsen im Reinigungsmodul 130 optimal gesteuert werden. Insbesondere sehr kurze Fluidpulse mit einer Dauer in einem Bereich von nur 200- 1000 ms sind nur mit Hilfe einer automatisierten Steuerung zuverlässig realisierbar. Dadurch kann das System wesentlich genauer gesteuert werden als durch eine manuelle Aktivierung und Deaktivierung durch einen Anwender. In Figur 2 kann wie in Figur 1 ein Ausführungsbeispiel eines Reinigungsmoduls 130 mit zwei getrennten Fluidkanälen 131, 132 verwendet werden. Andere Reinigungsmodule 130 wie z.B. mit nur einem Fluidkanal 131, der sowohl Flüssigkeit als auch Gas in einem Kanal zur Reinigungsdüse 140 fördern kann, können ebenfalls mit der Steuereinheit 121 und dem System verbunden und gesteuert werden.

Die Geometrie der Düse 140 kann so konfiguriert werden, dass sie in einem vorbestimmten Abstand relativ zum optischen Fenster 110 und/oder zu wenigstens einem weiteren Fenster für die Beleuchtungseinrichtungen 111 und 112 positioniert ist, dass der Fluidstrahl wenigstens über die gesamte Außengeometrie des einen optischen Fensters 110 oder von wenigstens zwei Fenstern (nicht gezeigt) gerichtet ist. Dies ist mit Hilfe der gestrichelten Trapezfläche schematisch angedeutet. Bei einer weiteren bevorzugten Ausführungsform ist das Reinigungsmodul 130 und die Düse 140 so ausgelegt, dass zusätzlich die seitlichen Beleuchtungseinrichtungen 111 und 112 effizient gereinigt werden können (nicht gezeigt).

Figur 3 zeigt eine schematische Darstellung einer weiteren Ausführungsform eines Systems und Verfahrens zur Optimierung eines Bildes bzw. von Bilddaten 310, die durch eine Bilderfassungseinrichtung 115 an einem distalen Ende eines Endoskops mittels wenigstens einem geeigneten Bildsensor oder wenigstens einer Kameras erfasst werden. Über die Bilderfassungseinrichtung 115 können Bilddaten 310 wenigstens eines extrahierten Einzelbildes an die Steuereinheit eingegeben werden. Weitere Eingaben 300 oder Inputsignale sind möglich und können vorzugsweise über eine Schnittstelle 360 von einem Anwender über ein geeignetes Interface eingegeben werden.

Die Schnittstelle 360 kann hard- und/oder softwaremäßig ausgebildet sein. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System- ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstelle 360 eigene, integrierte Schaltkreise umfasst oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstelle 360 ein oder mehrere Softwaremodule sein, die beispielsweise auf einem Mikrokontroller neben anderen Softwaremodulen vorhanden sind. Um eine Eingabe 300 bzw. Eingabedaten zu erhalten, kann beispielsweise eine Verbindung mit einer Cloud hergestellt werden (siehe auch Figur 4).

Das zentrale Modul des Systems zur Bildoptimierung ist ein selbstlernendes Modul 320. Das selbstlernende Modul basiert insbesondere auf künstlicher Intelligenz. In dem gezeigten Ausführungsbeispiel werden sogenannte Labels 332 als Eingabe 300 herangezogen. Diese können über die Schnittstelle 360 eingegeben werden. Unter den Labels 332 werden vorzugsweise Datenpaare verstanden. Unter dem Label 322 kann beispielsweise verstanden werden, dass ein bekanntes Inputsignal, und damit eine Eingabe 300, einem Ausgangssignal und eine entsprechende Steuerungsanweisung oder Ausgabe 351, 353, 354, 355 zugeordnet werden kann. Um das selbstlernende Modul 320 und das darin enthaltende zu trainierende Modell 322 zu trainieren, können durch einen Anwender oder Experten gelabelte Inputsignale sogenannte Labels 332, d.h. Eingaben 300, sowie bekannte Ausgaben 351, 353, 354, 355 etc. vorgegeben werden. Auf diese Weise lernt sich das selbstlernende Modul 320 bzw. das darin enthaltene zu trainierende Modell 322 derart an, dass bei einer Eingabe 300 mit Labeln 332 aufgrund der Datenverarbeitung eine Steuerungsanweisung oder Ausgabe 351, 352, 353, 354, 355 an eine Einheit zur Bildoptimierung generiert wird. Die Labels 332 können entweder durch eine Simulation generiert werden oder durch Experten mit Hilfe eines firmeninternen Labeltool 333, wie es in der Figur 4 gezeigt wird, bereitgestellt werden. Die manuelle Erzeugung der Labels 332 kann anhand großer Datenbanken von bereits erfassten Bilddaten mit Endoskopen oder anhand einer ausgewählten Teilmenge der verfügbaren Daten erfolgen. Ferner können die Labels 332 auch durch Unternehmen, die auf der Erzeugung von derartigen Labels 332 spezialisiert sind und dabei auf das entsprechende Fachwissen zurückgreifen können, hergestellt werden.

Als grundlegende Eingabe 300 für das selbstlernende Modul 320 werden Bilder bzw. die zugehörigen Bilddaten 310 der Bilderfassungsvorrichtung 115 eines Endoskops bereitgestellt. Aus einer Vielzahl von aufeinanderfolgenden Bildern werden in einem nächsten Schritt 311 Bilddaten 310 von einem Einzelbild oder wenigstens eine Teilmenge der Bilddaten 310 extrahiert. Dieses extrahierte Einzelbild, sowie die gelabelten oder ungelabelten Bilddaten, können als Trainingsdaten für das selbstlernende Modul 320 verwendet werden. Die Bilddatenhistorie sowie die gelabelten Bilddaten können im Speicher 122 gespeichert werden (siehe Labels 332 als Eingabe und Pfeil in Richtung Speicher 122). Auf Basis der zusammengeführten Information aus aktuell erfassten Bilddaten 310, woraus ein Einzelbild 311 und/oder eine Teilmenge wie Bildabschnitte extrahiert werden, und den gespeicherten Trainingsdaten 331 kann sich das Modell 322 selbsttätig trainieren.

Die Informationen des Bildes 310, die in dem Schritt 311 extrahiert wurden, werden vorzugsweise aufbereitet. Unter aufbereiteten Informationen werden hierbei spezielle Informationen zu der aktuellen Bildgebung verstanden. Dabei können die Bilddaten nach unterschiedlichen Kriterien überprüft werden und z.B. eine Objekterkennung durchgeführt werden. Hierbei handelt es sich beispielsweise um erkannte Bildstrukturen, wie beispielsweise Strukturen von Geweben oder Organen, die von der Bilderfassungsvorrichtung 115 erfasst wurden. Es können aber auch Informationen wie Helligkeit oder andere Umgebungsbedingungen aus dem Einzelbild gewonnen werden. Die gewonnenen Informationen können temporär oder langfristig im Speicher 122 gespeichert werden.

Das trainierte Modell 322 ist ausgelegt und trainiert dazu, dass die extrahierten Einzelbilder 311 oder einzelnen Bildabschnitte oder Pixel bewertet werden, ob eine Verschmutzung vorliegt und wie stark diese Verschmutzung ist. Um den Verschmutzungsgrad quantifizieren zu können, wird eine Klassifizierung 315 in entsprechende Kategorien vorgenommen. Die Klassifizierung 315 enthält wenigstens zwei Klassen. Beispielsweise könnten die zwei Klassen eine unzureichende Helligkeit und eine ausreichende Helligkeit umfassen. Bei einer ausreichenden Helligkeit erfolgt keine Ausgabe zur Aktivierung einer Einheit zur Bildoptimierung. Bei einer unzureichenden Helligkeit können wenigstens ein Ausgabesignal oder eine Steuerungsanweisung zur Bildoptimierung ausgegeben werden. Beispielsweise wird an die Bilderfassungsvorrichtung 115 die Ausgabe 352 übermittelt, um die Kamerakontrolleinheit (CCU) entsprechend zu steuern. Alternativ oder zusätzlich kann der Monitor 364 über ein entsprechendes Steuerungssignal angepasst werden. Kann die Helligkeit über Steuerungsanweisungen an wenigstens eine Beleuchtungseinrichtung 111, 112 verbessert werden, indem eine Ausgabesignal 351 an die jeweilige Beleuchtungseinheit 111, 112 ausgegeben wird.

Eine Vielzahl von Klassifizierungen sind möglich. So kann beispielsweise in die Kategorien „scharf ¹ und „unschar ¹ unterschieden werden, und bei Feststellung eines unscharfen Bildes über eine Ausgabe 352 beispielsweise ein Fokussystem durch die Kamerakontrolleinheit aktiviert werden. Weitere Einheiten wie OP-Einheiten 367 wie z.B. ein Insufflator oder andere im OP-Raum befindliche Einheiten, die vorteilhaft zur Bildoptimierung genutzt werden, können, können über die Ausgabe 355 angesteuert werden.

Eine häufige Ursache für eine Bildstörung oder Verschlechterung ist das Vorliegen einer Verschmutzung, die beispielsweise durch Blut oder Fett oder andere Verschmutzungsfaktoren erzeugt werden kann. In dem Schritt der Klassifizierung 315 kann das trainierte Modell 322 den Verschmutzungsgrad feststellen und als Aktivierungssignal in Form der Ausgabe 353 an das Reinigungsmodul 130 ausgegeben werden. Je nach Verschmutzung kann ein Flüssigkeitspuls oder ein Gaspuls aktiviert werden. Auf diese Weise kann ein automatisiertes, selbstlernendes Modul 320 eine Schmutzerkennung erlernen und das trainierte Modell 322 das Reinigungsmoduls 130 mit einer gezielt ausgerichteten Düse 140 (siehe z.B. Figur 2), so aktivieren, dass nicht nur das optische Fenster HO der Bilderfassungsvorrichtung 115 sondern auch die Beleuchtungseinrichtungen 111 und 112 gereinigt werden. Wird wenigstens eine Beleuchtungseinrichtung 111, 112 mitgereinigt, kann sich gleichzeitig vorteilhafterweise die Lebensdauer und die Lichtausbeute erhöhen.

Die Reinigung kann durch das trainierte Modell 322 automatisch erfolgen, so dass der Anwender bei seiner Untersuchung oder Arbeit nicht gestört wird. Dabei ist die Reinigungsdauer so optimiert, dass die Sicht des Anwenders nicht oder nur sehr kurz beeinträchtigt wird. Dies erfolgt bevorzugt durch die Einstellung hoher Drücke, die kurzzeitig z.B. maximal für eine Dauer von 1000 ms eingestellt werden können. Drücke von maximal bis zu 3 bar stellen eine effiziente Reinigung sicher, wobei wie bei einem Scheibenwischer die Sichtbeeinträchtigung nur sehr kurz und damit kaum wahrnehmbar eingestellt werden kann.

Zu Beginn des Trainings kann ein Experte oder der Anwender die Reinigung auch manuell freigeben, bzw. die Schmutzerkennungsroutinen überprüfen. Die digitale Bildauswertung mittels des trainierten Modells 322 kann genutzt werden, die Reinigung halb- oder vollautomatisch auszulösen. Je länger das Modell 322 trainiert ist, desto zuverlässiger sind die Klassifizierungsergebnisse und die Reinigungsfunktion muss nicht mehr manuell freigegeben werden.

Figur 4 zeigt schematisch eine Ausführungsform einer Datenverarbeitung. Die Datenbank 422, die in diesem Beispiel zentralisiert ausgeführt ist und in Form einer Cloud zur Verfügung gestellt werden kann, speichert die Rohdaten 410 für den Prozess. Die Eingabedaten sind mittels Pfeile zu der zentralisierten Datenbank 422 gezeigt. Insbesondere können Kameradaten 361 importiert werden. Diese Kameradaten 361 oder Bilddaten 310 können von einer Mehrzahl von Krankenhausnetzwerken 371 und 372 zur Verfügung gestellt werden. Alternativ kann auch nur ein einziges Kameramodul oder Bilderfassungseinrichtung 115 die Rohdaten 410 zur Verfügung stellen. Weiterhin können automatische Zusatzdaten 362 importiert werden. Diese Daten 362 können Zusatzinformationen aus Überwachungssystem oder verwendeten Robotersystemen enthalten Solche Zusatzdaten 362 können mit dem OP-Raum Zusammenhängen und können die Temperatur des OP-Raums oder Helligkeit des OP-Raums angeben. Weiterhin können Patientendaten 363 wie Vitaldaten aber auch anwenderspezifische Daten für die Rohdatenbank 410 zur Verfügung gestellt werden. Alle Daten können zentralisiert gespeichert werden. Alternativ oder zusätzlich ist auch eine dezentrale Speicherung möglich. Auf die Rohdaten 410 der Referenzdatenbank 422 kann eine weitere Einheit des Netzwerkes, wie ein Labellingeinheit 333, zugreifen. Dieses Labelling-Einheit 333 ist in diesem Ausführungsbeispiel eine Cloud oder ein Webservice, der zum Labeln oder Kennzeichnung der Eingangsinformation geeignet ist.

Die Rohdaten 410 können Operationsvideos ohne Labelling bzw. Kennzeichnung sein und können in der zentralisierten Referenzdatenbank 422 gespeichert werden. Daraufhin kann ein firmeninternes Team oder externe Experten mit dem Weblabelling-Tool bzw. Einheit 333 die Rohdaten 422 labeln. Auf diese Weise können die gelabelten Operationsbilder oder andere geeignete Datensätze beispielsweise Störungen der Bildqualität und Qualitätswerte festlegen.

Das Labelling kann durch verschiedene Personen 301 302 303 durchgeführt werden. Diese können entweder Experten oder Anwender sein oder extern beauftragte Labelling-Teams, die die Operationsbilder qualitativ gut beurteilen können und auf das notwendige Expertenwissen zurückgreifen können. Das erzeugte Label 332 kann für Trainingsdaten 331 (siehe Fig. 3) für das selbstlernende Modul 320 und somit für neuronale Netze herangezogen werden. Die Trainingsdaten 331 oder gelabelten Datensätze 365 sind die Inputdaten für das trainierte Modell 322 (in Fig. 4 nicht gezeigt). Durch das Labellingverfahren kann ein Qualitätswert bestimmt werden, der für einen späteren Vergleich mit einer bestimmten Bildstruktur einer Referenzdatenbank genutzt werden kann.

Grundsätzlich beruht der Lernprozess in dem selbstlernenden Modul 320 auf wenigstens ein Modell 322, das in einer bevorzugten Ausführungsform ein stochastisches Modell ist und auf Wahrscheinlichkeitsbetrachtung, ob die Bildqualität optimiert werden kann, beruht. In anderen Worten, das aktuelle Bild wird mit Datenbankklassen verglichen und es wird vorzugsweise mit Hilfe von gelabelten Datensätzen 365 entschieden, ob das Bild optimierbar ist. Auf Basis von entsprechenden Grenzwahrscheinlichkeiten werden die Entscheidungen getroffen und es kann auch eine neue Datenbankklasse erforderlich sein und durch das selbstlernende Modul 320 hinzugefügt werden.

In der Aufbau- und Trainingsphase des Modells 322 kann bevorzugt ein offenes KI Netzwerk verwendet werden, das auf künstliche Intelligenz basiert. Hier können die Bilddatensätze durch die Experten 301, 302, 303 korrigiert werden. Diese Experten können einen Vergleich bzw. eine Auswertung der bestehenden Bilddatenbanken mit den neuesten Ergebnissen durchführen. Auf diese Weise wird ein bestehender Datensatz korrigiert und zusätzlich kann die Referenzdatenbank um neue Datensätze erweitert werden. Die gelabelten Datensätze 365 können somit die Qualität des Klassifizierungsprozesses sicherstellen.

Figur 5 zeigt schematisch die Verfahrensschritte einer Ausführungsform des erfindungsgemäßen Verfahrens zur Bildoptimierung. Das Verfahren beginnt mit dem Schritt 1 (Start) und startet durch die Steuereinheit eine geeignete Software bzw. ein Computerprogramm, um die Bilderfassung zu starten. Im Schritt 123 erfolgt die Initialisierungsroutine. Diese Initialisierungsroutine startet eine Bilderkennung und/oder eine Optikerkennung. Auf diese Weise erkennt die Software, welche Optik oder Kamerasensor angeschlossen ist. Auch die angeschlossenen Beleuchtungseinrichtungen können durch die Initialisierungsroutine erkannt werden. Die Optikerkennung kann mit Hilfe der Initialisierungsroutine ferner feststellen, welche Art von Endoskop verwendet wird und welche Reinigungsmodule angeschlossen sind.

In dem Entscheidungsschritt 2 wird beispielsweise geprüft, ob ein Videosignal vorhanden ist oder ob eine Optik angeschlossen ist. In dem Fall, dass in dem Schritt 2 keine Optik erkannt wird, wird der Prozessabbruch 3 initiiert (gekennzeichnet durch den Pfeil NEIN im Fließdiagramm). Dieser Prozessabbruch 3 kann dem Anwender über einen Monitor oder ein Alarmsignal gemeldet werden, so dass der Anwender die geeigneten Schritte zur Behebung des Problems einleiten kann. Hierzu können z.B. die Anschlüsse zur Steuereinheit überprüft werden oder die Stromversorgung.

In dem Fall, dass ein positives Ergebnis bei der Optikerkennung festgestellt wird, folgt das Fließschema dem JA Pfeil zur Analyseroutine 124. Die Analyseroutine greift auf ein selbstlernendes Modul 320 (siehe Fig. 3) zurück und wendet künstliche Intelligenz an. Die aktuell erfassten Bilddaten werden hier mit bereits gespeicherten Bilddaten verglichen und es kann ein Qualitätswert basierend auf diesem Vergleich ermittelt werden. Durch diesen Vergleich kann auch eine automatische Erkennung von OP-Umgebung oder Verunreinigung des Sichtfeldes festgestellt werden.

In dem darauffolgenden Schritt 125 wird abgefragt, ob das erfasste Bild ein Objekt erkannt hat oder nicht. Die Objekterkennung kann z.B. ein zu untersuchender technischer Hohlraum, eine zu untersuchende Körperhöhle, Gewebestrukturen oder eine OP Umgebung feststellen. Falls diese Abfrage 125 negativ ist (NEIN bei dem gestrichelten Pfeil), wird der Prozess im Schritt 160 abgebrochen. Ohne eine Objekterkennung ist die Verschmutzung oder eine andere Störung der Bildqualität nicht feststellbar und das Verfahren kann in dem Schritt 161 beendet werden.

Wird die Abfrage in dem Schritt 125 positiv bewertet, wenn beispielsweise eine Verunreinigung oder ein unscharfes oder zu dunkles Bild festgestellt werden, führt der JA Stufenpfeil zu einer weiteren Entscheidungsabfrage. Hier wird nun unterschieden, ob es eine Verunreinigung oder Störung gibt, die man mit dem Reinigungsmodul beheben kann oder ob es sich um andere Störfaktoren handelt, die man mit dem Reinigungsmodul nicht beheben kann. Sind andere Störfaktoren vorhanden, wird die Analyseroutine 124 erneut durchgeführt (siehe gestrichelter NEIN Stufenpfeil zurück zu 124).

Ist das Ergebnis positiv, das heißt dass eine Verunreinigung vorliegt, die man mit Hilfe eines Reinigungsverfahrens beheben kann, ist nun der Entscheidungsbaum so, dass entweder eine Reinigung 126 mit einem flüssigen Fluid oder eine Reinigung 127 mit einem Gas oder beides hintereinander durchgeführt wird. Nach einer Flüssigkeitsreinigung 126 kann die Gasreinigung 127 als Trocknung genutzt werden. Eine ausschließliche Trocknung 127 kann beispielsweise vorteilhaft sein, wenn sich Kondensat auf dem optischen Fenster gebildet hat. Eine Gaszufuhr in dem Schritt 127 kann das Kondensat trocknen und die Bildstörung beheben. Zudem sind auch hier nicht gezeigte Kombinationen von gleichzeitiger Aktivierung von einer Reinigung mit Flüssigkeit (Schritt 126) und Reinigung mit Gas (Schritt 127) möglich. Vorteilhafterweise wird die Reinigung durch Flüssigkeit 126 nur für eine kurze Zeitdauer von wenigen Millisekunden aktiviert, damit der Anwender bei der Operation oder Untersuchung nicht gestört wird. Dieser sogenannte Scheibenwischereffekt kann nur durch eine Softwaresteuerung ausgeführt werden, da solche kurzen Perioden nicht manuell einstellbar sind.

Nach Durchführung der Reinigung wird die Überwachungsroutine 129 gestartet. Die Reinigung kann in Abhängigkeit des Verschmutzungsgrades ausgeführt werden und durch die Überwachungsroutine 129 optimiert werden. In der Regel werden starke Verunreinigungen mit Flüssigkeit gereinigt (Schritt 126). Bei leichten Verunreinigungen oder Beschlagen des optischen Fensters ist eine Reinigung mit Gas und damit eine Trocknung 127 ausreichend. Aktivierung der Reinigungsschritte erfolgt entweder automatisiert oder nach einer Freigabe durch den Anwender.

Die Überwachungsroutine 129 überprüft nach einer Aktivierung, ob das Sichtfeld und die Bildqualität wieder optimal ist. Ist dies der Fall geht es zurück zur Analyseroutine 124 (siehe Pfeil JA). Für die Überwachungsroutine 129 wird ein geschlossener Regelkreis bereitgestellt, der überprüft, ob vorgegebene Sollwerte der Bildqualität durch die aktivierte Reinigung 126 oder Trocknung 127 erreicht werden oder nicht. Durch die Überwachungsroutine 129 kann die Sicherheit für den Patienten erhöht werden. Ist das Reinigungsergebnis nicht optimal, kann zunächst eine Wiederholung der Reinigung 126 oder Trocknung 127 initiiert werden. Wird durch die Überwachungsroutine 129 festgestellt, dass keine Verbesserung der Qualität des Bildes durch die Reinigung 126 oder 127 erfolgt, kann das Optimierungsverfahren mittels Reinigungsmodul in Schritt 160 abgebrochen werden (siehe Ende 161).

Basierend auf dem selbstlernenden Modul 320 und dem darin enthaltenen trainierten Modell 322 (siehe z.B. Figur 3) können nicht nur automatisierte Analyseroutinen 124 und anschließend automatisierte Reinigungsprozesse 126, 127 ablaufen, sondern auch die Reinigungsparameter angepasst werden. Dies wird zu Figur 7 detaillierter ausgeführt.

Figur 6 zeigt eine weitere Ausführungsform des erfindungsgemäßen Verfahrens mit einem schematischen Flussdiagramm. Das Flussdiagramm ist in fünf Bereiche, angedeutet durch Spalten, aufgeteilt: Der Erste Bereich der Eingabe 300, der zweite Bereich der Analyse 301, der dritte Bereich der Prozessdurchführung zur Optimierung vorzugsweise durch Reinigung und der vierte Bereich des Optimierungsergebnis mit Überwachungsroutine 129 und Parameteranpassung 138. Schließlich der mögliche Prozessabbruch 160.

In dem Bereich der Eingabe 300 wird das Verfahren in dem Schritt 401 gestartet. Hier kann als Eingabesignal ein Videosignal eines Endoskops zur Verfügung gestellt werden. Im Schritt 402 wird überprüft, ob ein Videosignal vorhanden ist. Aufgrund dieser Überprüfung wird entweder ein positives Ergebnis (JA) oder ein negatives Ergebnis (NEIN) erhalten. Ergibt diese Abfrage 402 ein NEIN, wird der Prozess im Schritt 403 abgebrochen. Da in dem Fall des Prozessabbruches 403 kein Videosignal vorliegt, sollte nach dem Prozessabbruch 403 überprüft werden, ob alle Verbindungen bestehen bzw. eine Stromversorgung gegeben ist.

Ergibt die Überprüfung 402 ein positives Ergebnis (JA) wird der Prozess in dem Analysebereich 301 weitergeführt. In dem Schritt 311 erfolgt das sogenannte Extrahieren wenigstens eines Bildes. D. h. aus dem Videosignal werden einzelne Bilder extrahiert. In einem Schritt 312 können optional die Bilder in Bildabschnitte unterteilt werden. Auf diese Weise kann das Bild in verschiedene Abschnitte zerlegt werden, z.B. A, B, C, wobei z.B. C eine zentrale Region des Bildes darstellen kann.

Im nächsten Verfahrensschritt 313 findet eine Voranalyse der Bilder bzw. wenn der Schritt

312 angewandt worden ist, eine Voranalyse der Bildabschnitte statt. In dem Verfahrens schritt

313 der Voranalyse werden die Bilder vorverarbeitet und mit einer Datenbank, die im Speicher 122 gespeichert ist, verglichen. Bevorzugt findet ein Vergleich von wenigstens einer bestimmten Bildstruktur mit Bildstrukturen einer Referenzdatenbank statt. Dabei können unterschiedliche Kriterien überprüft werden und eine Objekterkennung erfolgen bzw. eine Ist-Datenerfassung.

Im darauffolgenden Schritt kann die Klassifizierung 315 in verschiedene Klassen bzw. Kategorien stattfinden. Die Bildklassifizierung erfolgt auf Grundlage eines Qualitätswertes der mittels eines trainingsbasierten Modelles (siehe Referenznummer 322 z.B. in Fig. 3) ermittelt werden kann. Dieses Modell 322 ist Teil eines selbstlernenden Moduls 320 in einer Steuereinheit 120 des bildoptimierenden Systems und arbeitet mit der Referenzdatenbank, die in dem Speicher 122 enthalten ist, zusammen. Diese Speichereinheit 122 kann die Historie von vorangegangenen Bilderfassungen speichern. In den Speicher 122 können auch gelabelte Videobilder (siehe 365 in Fig. 4) eines Endoskops gespeichert werden, um damit den Qualitätswert zu bestimmen. Auf diese Weise kann mit hinterlegten Parametern oder Kennzeichen ein erfasstes Bild hinsichtlich der Bildqualität qualifiziert werden.

Die Klassifizierungshistorie ist in dem Speicher 122 gespeichert und wird kontinuierlich um die aktuell erfassten Bilddaten ergänzt. Dabei werden nicht nur die erfassten Bilder aus den vorangegangenen Schritten sondern auch die zugehörigen Bewertungen der Videosignale gespeichert. Die Speicherung in Speichereinheit 122 kann lokal oder dezentralisiert erfolgen. Durch die sogenannte Bildhistorie kann eine fortlaufende Dokumentation erfolgen und das zu trainierende Modell 322 (siehe z.B. Figur 3) weiter kontinuierlich optimiert werden. Je größer die abrufbaren Datensätze desto präziser kann das maschinelle Lernen erfolgen und damit die die Lernfähigkeit des Modells 322 erhöht werden Bei einer ausreichend großen Datensatz kann beispielsweise auf künstliche Intelligenz mit einem Deep Data Modell zurückgegriffen werden.

In dem Schritt der Klassifizierung 315 können einzelne Bildabschnitte oder Pixel bewertet werden, ob eine Verschmutzung vorliegt und wie stark die Verschmutzung ist. Dabei wird auf die vorhandenen Datenbankklassen oder -kategorien zurückgegriffen. So kann z.B. in eine Klasse 1 „OK“ d.h. „optimale Bilder“ und in eine weitere Klasse 2 d.h. „verschmutzte Bilder“ unterschieden werden. Auch andere Klassen wie gut ausgeleuchtete Bilder und schlecht ausgeleuchtete Bilder können in der Datenbankklasse hinterlegt werden. Zusatzinformation über beispielsweise Rauch oder Helligkeit oder Fokuseinstellungen kann für die folgenden Verfahrensschritte und Steuerungsanweisungen bzw. Ausgabe 353 oder Aktivierungssignale 135 genutzt werden, um das Bild zu optimieren. Wird beispielsweise Rauch festgestellt, kann eine Kommunikation mit wenigstens einer anderen OP-Einheit 351 erfolgen, um den Rauch abzusaugen.

Die Analyse 124 bewertet die Art der Verschmutzung anhand der Pixel und optional anhand der Position im Bild. Wird in der Klasse 2 „verschmutzte Bilder“ eine Verschmutzung festgestellt kann ferner darin unterschieden werden, ob diese Verschmutzung reinigbar ist oder nicht. In einer bevorzugten Ausführungsform kann im Analyseschritt 124 beispielsweise der Verschmutzungsgrad aufgrund einer Auswertung der im Speicher 122 gespeicherten Bildhistorie festgestellt werden. Bevorzugt erfolgt in Schritt 124 eine Gesamt- Auswertung der Bildqualität in Abhängigkeit von zulässigen prozentualen „Verschmutzung“-Anteilen. Bildrandbereiche können hierbei weniger gewichtet werden als das Bildzentrum.

In dem Schritt 125 wird festgestellt, ob eine Objekt erkannt worden ist oder nicht. Zudem kann sobald ein Objekt oder eine Bildstruktur erkannt worden ist, festgestellt werden, ob eine Verschmutzung vorliegt oder nicht. Die Art und Grad der Verschmutzung wurde bereits vorab durch eine geeignete Klassifizierung 315 mit Hilfe eines Vergleiches im Klassifizierungsschritt 315 mit der Referenzdatenbank anhand von Algorithmen automatisiert in dem selbstlernenden Modul 322 der Steuereinheit 120 (siehe Fig. 4) festgestellt. In Schritt

125 kann nicht nur eine mögliche Verschmutzung abgefragt werden, sondern es können auch Ausschlüsse von anderen Störfaktoren erfolgen, z.B. der Ausschluss von Rauch oder anderen Bedingungen, wie unzureichender Kontrast, Schärfe oder Licht.

Wird im Schritt 125 festgestellt, dass der Qualitätswert bereits optimal ist, ist eine Optimierung beispielsweise durch eine Prozessdurchführung 835 wie z.B. Reinigung nicht notwendig. Da hier der Zyklus zur optimalen Bildqualität abgeschlossen ist, geht das Verfahren zurück zu einem der Schritte 311 oder 312. Eine nicht vorliegende Verschmutzung wird schematisch mit dem Pfeil NEIN gekennzeichnet, der von dem Schritt 125 zu den Schritten 311 oder 312 führt. Ein Neustart bei 311 kann kontinuierlich erfolgen oder nach festgelegten Zeitabständen.

Wurde in dem Schritt 125 auf Basis der vorangegangenen Analyse 124 die Bildqualität so beurteilt, dass eine Reinigung oder eine Optimierung durch eine Prozessdurchführung 835 erfolgen kann, geht das Verfahren weiter (siehe Pfeil JA in Fig. 6) und es wird ein Aktivierungssignal über eine Ausgabe 353 ausgegeben. Im Bereich der Prozessdurchführung 835 kann beispielsweise ein Reinigungsmodul 130 aktiviert werden, um eine Reinigung 126 oder eine Trocknung 127 durch ein Fluid durchzuführen. Die Prozessdurchführung 835 des Reinigungsvorganges kann automatisiert durch das selbstlernende Modul 320 aktiviert werden oder alternativ, nachdem das selbstlernende Modul 320 eine Reinigung empfohlen hat, manuell aktiviert werden. Die Reinigung kann über eine Düse einerseits mit Flüssigkeit

126 erfolgen oder mit Gas 127, um eine Reinigung oder Trocknung zu initiieren. Diese beiden Reinigungsarten 126 und 127 (nicht in Figur 6 gezeigt siehe z.B. Figur 5 oder 7) können auch kombiniert werden.

In einer bevorzugten Ausführungsform ist bei größeren Verschmutzungen das Fluid flüssig und die Reinigung kann mit wenigstens einem Fluidpuls mit einer Dauer von nur einigen Millisekunden bis maximal tausend Millisekunden erfolgen. Wird zusätzlich oder alternativ beispielsweise das Vorhandensein von Rauch festgestellt, kann durch ein Aktivierungssignal 135 eine Kommunikation 351 mit einer anderen Geräteeinheit erfolgen. Eine andere Geräteeinheit kann eine OP-Geräteeinheit 367 (siehe Fig. 3) sein wie beispielsweise eine Rauchgasabsaugung, die aktiviert wird, wenn durch die vorhergehenden Schritte Rauch erkannt worden ist. Ferner können eine Insufflatorpumpe oder andere Operationseinheiten 367 angesteuert werden, um ein optimales Reinigungsergebnis oder die gewünschte Bildoptimierung zu erhalten.

In dem nächsten Bereich erfolgt die Überwachung 129 des Ergebnisses der Optimierung. Wenn die aktivierte Prozessdurchführung 835 eine Reinigung war, wird in diesem Bereich zunächst das Reinigungsergebnis mit einer Datenbank verglichen. Dies erfolgt in dem Verfahrensschritt 129, der eine Überwachungsroutine 129 umfasst. Mit Hilfe der Überwachungsroutine 129 kann die Reinigungswirksamkeit der vorherigen Zyklen anhand der Auswertung der Bildhistorie aus dem Speicher 122 überprüft werden. Bei einem offenen, künstlichen Intelligenz- Netzwerk kann der Vergleich mit den Referenzdatenbanken durch einen Experten ggf. korrigiert werden. Dabei können die Reinigungsergebnisse oder Optimierungsergebnisse von einem Expertenteam oder einem einzelnen Experten beurteilt werden und damit die verwendeten Algorithmen und das trainierte Modell überprüft werden. Bei einem geschlossenen neuralen Netzwerk können Korrekturen automatisiert durch das selbstlernende Modul 320 erfolgen, während in einem offenen neuralen Netzwerk es durch Experten auch entschieden werden kann, ob eine neue Datenbankklasse erforderlich ist. Gegebenenfalls kann ein Experte nicht nur Korrekturen vornehmen, sondern eine Vorsteuerung vornehmen. Alternativ kann nach einer ausreichenden Anlernphase des Modells 322 auch eine modellbasierte Vorsteuerung eingestellt werden, damit beispielsweise festlegbare Sollwerte des Druckes in der Körperhöhle nicht überschritten werden. Bei einem offenen neuralen Netzwerk oder einem geschlossenen neuronalen Netzwerk oder einer Mischform aus beiden („semi-supervised“) erfolgt vor dem Neustart des Verfahrens (Wiederholung der Schritte 311-315, 124-125) eine Prozessoptimierung und/oder eine Parameteranpassung 138. Damit kann ein zu trainierendes Modell in der Trainingsphase optimiert werden, um die gewünschten optimalen Ergebnisse zu erreichen. Die Reinigungsparameter können beispielsweise durch eine schrittweise Erhöhung der Fluidvolumina im Schritt 138 angepasst werden.

Gemäß einer beispielhaften Ausführungsform der Reinigungsanpassung 138 kann das selbstlernende Modul 320 durch Überprüfung des Reinigungsergebnisses die Dauer der Reinigung verkürzen und die die Reinigungsparameter in Schritt 138 so anpassen, dass die Reinigungsdauer beispielsweise nur zwischen 200 ms bis 800 ms beträgt. Die Reinigungsdauer kann verkürzt werden in Abhängigkeit von dem Verschmutzungsgrad und bei gleichzeitiger Erhöhung des Drucks. Der Druck oder die Fluidmenge bei der Reinigung 126 muss ausreichend eingestellt werden, dass die Verschmutzung effizient entfernt werden kann. Im selbstlernenden Modul 320 erfolgt automatisch eine Optimierung der Druckverläufe, indem Parameter in Schritt 138 durch das angelernte Modell 322 verändert werden. Dabei soll auch das Kriterium erfüllt sein, dass ein minimaler Fluidverbrauch erfolgt.

Vorzugsweise werden folgende Kriterien für die Parameter-Zuordnung und Parameter- Optimierung berücksichtigt:

Hauptkriterium ist die Sauberkeit und vollständige Beseitigung der Verschmutzung. Nebenkriterium ist die minimale Reinigungsdauer und minimaler Fluidverbrauch.

Die Parameteranpassung 138 erfolgt vorzugweise in der Art, dass die Hauptkriterien und vorzugsweise auch die Nebenkriterien mit hoher Wahrscheinlichkeit erfüllt werden. Das Ziel des zu trainierenden Modells 322 ist daher eine optimale Beseitigung der Verschmutzung bei gleichzeitig sehr kurze Reinigungszeit, um den Anwender minimal zu stören.

Grundsätzlich beruht der Prozess auf Wahrscheinlichkeitsbetrachtungen, ob die Bildqualität optimiert werden kann. Die oben genannten Kriterien sollen dabei mit hoher Wahrscheinlichkeit erfüllt werden. Die Vorgehensweise zur Bildoptimierung durch eine Parameterveränderung (Höhe, Reihenfolge etc.) kann für verschiedene Bild-Klassen oder Verschmutzungsgrade unterschiedlich sein und kann in einem Datensatz in einer Parameter- Datenbank im Speicher 122 gespeichert werden. Das selbstlernende Modul 320 ist so konfiguriert, dass eine erstmalige Parametereinstellung und Parameteranpassung 138 automatisch erfolgen kann. Eine Zuordnung und Einstellung der Reinigungsparameter kann anhand der Bildanalyse 124 vorgenommen werden. Auf Basis einer optimalen Parametereinstellung und einer adaptiven und gleichzeitig prädiktiven Steuerung durch das selbstlernende Modul kann die höchste Wahrscheinlichkeit erzielt werden, ein unverschmutztes Bild in ausreichend guter Bildqualität für den Anwender zu erzielen.

In einer bevorzugten Ausführungsform kann beispielsweise der Verschmutzungsgrad gegenüber der Bildhistorie festgestellt werden. Hierbei kann der Verschmutzungsgrad nicht mehr vorliegen oder weniger oder gleichgeblieben sein oder sich verschlechtert haben. Je nach Verschmutzungsgrad kann eine schrittweise Erhöhung erfolgen, beispielsweise eine Erhöhung der Dauer des Reinigungspulses oder des verwendeten Druckes. Andererseits können bei hohen Verschmutzungsgraden Maximaleinstellungen verwendet werden, um das Bild zu optimieren. Diese möglichen Parameteranpassungen werden in dem Flussdiagramm mit dem Referenzzeichen 138 gekennzeichnet. Die angepassten Parameter können an das Reinigungsmodul ausgegeben werden.

Ist das Reinigungsergebnis besser aber noch nicht zufriedenstellend, können die Reinigungen mit veränderten Parametern wiederholt durchgeführt werden. Nach der Reinigungsparameteranpassung 138 wird das Verfahren zurück in dem Bereich der Analyse 301 zu dem Schritt 311 Extrahieren der Bildabschnitte weitergeführt. Darauf folgen die Klassifizierung 315 und weitere Analyseschritte, die in die Verschmutzungserkennung in dem Schritt 125 mündet, um zu entscheiden, ob eine positive Veränderung durch Reinigung erfolgen kann oder nicht. Nach Aktivierung der Reinigungsmoduls 130 wird das Reinigungsergebnis wieder im Schritt 129 überprüft. Ist das Ergebnis sehr gut kann der Prozess der Reinigung abgebrochen werden. Dies wird mit dem JA-Pfeil zum Ende 161 in den Bereich Prozessabbruch 160 gekennzeichnet. Andererseits können die Analyseverfahrensschritte im Bereich 301 erneut wiederholt werden.

Figur 7 zeigt schematisch in einem Flussdiagramm insbesondere ein automatisiertes

Verfahren zur Anpassung von Parametern, das beispielsweise in dem Verfahrens schritt 138 der Figur 6 angewandt werden kann bzw. mittels dem in Figur 3 gezeigten System umfassend eine Steuereinheit 120 einem oder mehreren Prozessoren 121 ausführbar ist.

In dieser Ausführungsform werden Reinigungsparameter 128 für ein zweikanaliges Reinigungsmodul 130, das für eine Reinigung sowohl mit einem flüssigen Fluid und einem gasförmigen Fluid ausgelegt ist, angepasst, um eine optimale Reinigung 126, 127 durchzuführen. Alternativ zu einem zweikanaligen Reinigungsmodul 130 kann auch ein dreikanaliges Reinigungsmodul 130 bereitgestellt werden oder zwei Reinigungsmodule 130, um zwei distale Fenster eines Stereo-Endoskops optimal reinigen zu können.

Zu Beginn des Verfahrens werden die Reinigungsparameter in Abhängigkeit von dem verwendeten Reinigungsmodul 130 ausgewählt bzw. angepasst. Wesentliche Parameter sind die Flüssigkeitsmenge Vn, wie z.B. eine Wassermenge oder physiologische Natriumchloridlösung aus einem Flüssigkeitskanal 131, ein optimaler Druck p und ein Zeitparameter t wie die Reinigungsdauer t oder Intervalle. Andere in Fig. 7 nicht gezeigte Parameter wie Puls-Pazsenverhältnisse, Pulsanzahl etc. sind ebenfalls regelbar. Mit dem zweiten Fluidkanal 132 kann Gas zur Reinigung oder Trocknung verwendet werden, wobei eine Gasmenge Vc>as, der Druck p und die Dauer t des Gaspulses beispielhaft gezeigt werden.

In der Steuereinheit 120 ist das selbstlernende Modul 320 ausgebildet, eine Verschmutzung und vorzugsweise einen Verschmutzungsgrad festzustellen. Wird eine Verschmutzung in dem Schritt 125 festgestellt, kann ein entsprechendes Ausgabesignal 353 an ein Reinigungsmodul 130 ausgegeben werden. Eine Steuerungsanweisung „Strg“ aktiviert über eine Ausgabe 353 eine Reinigung mit einer Flüssigkeit 126 und/oder Gas 127.

Abhängig von dem ermittelten Verschmutzungsgrad können die Parameter 128 für die Reinigung angepasst werden. Die Anpassung der Parameter 138 kann zudem nach Ermittlung des Reinigungsergebnisses erfolgen. Basiert das trainierte Modell 322 auf einem offenen neuronalen Net kann die Optimierung unter Zuhilfenahme einer Klassifizierung 315 in einem Loop durchgeführt werden. Dies wird schematisch mit einem Baumdiagramm und Pfeilen dargestellt und im Folgenden beschrieben. In Schritt 328 wird als erstes eine Abfrage gemacht, ob das Bild nach einer Reinigung eine Veränderung aufweist oder nicht. Die Reinigungsergebnisse werden mit dem selbstlernenden Modul 320 ermittelt. Das Reinigungsergebnis kann dabei in Abhängigkeit von einer Veränderung in beispielsweise in vier Klassen eingeteilt werden:

Klasse 1 umfasst ein gutes Ergebnis d.h. „OK“ nach der Reinigung durch Flüssigkeit oder Gas, so dass hier der Prozess abgebrochen in Schritt 161 beendet werden kann.

Klasse 0, entspricht einem Reinigungsergebnis ohne Veränderung und wird gekennzeichnet durch das Gleichheitszeichen, ,=“ d.h. das Bild ist gleich geblieben ist.

Klasse 3 entspricht einem positiven Reinigungsergebnis, d.h. einer Veränderung (gekennzeichnet durch das Ungleichzeichen , “) zum Besseren „+“ in anderen Worten eine Optimierung des Bildes erfolgte.

Klasse 4 entspricht einem Reinigungsergebnis mit Veränderung wobei das Bild schlechter ist als vorher.

Ergibt sich Klasse 1, Klasse 3 mit einer ausreichenden Bildoptimierung oder Klasse 4, wird der Reinigungsprozess in Schritt 161 „Ende“ abgebrochen, da keine weitere Reinigung notwendig ist oder kein Erfolg durch die Reinigung erzielt werden kann. Im letzteren Fall können gegebenenfalls können andere Optimierungsmethoden anhand von Pixelauswertungen ermittelt werden und daraufhin Parameter wie Farbe, Auflösung, Licht, Kontrast und/oder Schärfe angepasst werden.

Eine Parameteranpassung 138 erfolgt bei der Klassifizierung in Klasse 0 und Klasse 3, wenn eine positive Veränderung festgestellt wird, die noch nicht ausreichend ist. Da hier eine Reinigung und Anpassung der Parameter in dem Reinigungsmodul notwendig ist erfolgt hier eine Parameteranpassung 138 in der Loop, wobei Parameter 128 des Reinigungsmoduls 130. für Flüssigkeit oder Gas angepasst werden, indem die Fluidmenge oder der Druck oder die Pulsdauer t verändert werden.

Wurde das Reinigungsergebnis in eine Kategorie eingeteilt, wo eine Anpassung der Parameter erfolgt, wird wiederum eine im Schritt 328 festgestellt, ob eine positive, negative oder keine Veränderung vorliegt. Ist das Reinigungsergebnis gemäß der Klassifizierung 315 besser aber noch nicht zufriedenstellend, können die Reinigungen mit veränderten Parametern wiederholt durchgeführt werden. Dann wird das Reinigungsergebnis wieder in Schritt 328 überprüft. Ist das Ergebnis schließlich Klasse 1 „OK“ oder gemäß Klasse 0 „=“ gleichbleibend, kann der Prozess der Reinigung im Schritt 161 „ENDE“ abgebrochen werden.

Figur 8 zeigt ein Flussdiagram zur schematischen Darstellung z.B. einer weiteren Ausführungsform umfassend eine Anwendung eines trainierten Modells 322 (Schritt 5) und eine Überwachungsroutine 129. In der Figur 8 wird wie in einem der vorangegangenen Verfahren zunächst in dem Schritt 1 das Videosignal gestartet. Der Prozess beginnt bei Start bei Schritt 1 und es wird in dem anschließenden Schritt 2 überprüft, ob ein Videosignal tatsächlich vorhanden ist. Ist dies nicht der Fall, geht es gemäß dem Pfeil „NEIN“ zu dem Prozessabbruch 160. Hier kann eine Überprüfung der korrekten Anschlüsse erfolgen und dann wieder von vorne mit einem Neustart bei Schritt 801 angefangen werden.

Ist die Abfrage in Schritt 2 positiv und wird mit „JA“ beantwortet. Wird wenigstens ein Bild erfasst. In Figur 8 wird eine Mehrzahl an Bildern i, i+1 und i+2 schematisch dargestellt. In dem nächsten Schritt der Voranalyse wird ein Einzelbild extrahiert, in dem gezeigten Fall wird das Bild i extrahiert (Schritt 4). Dies entspricht dem allgemeinen Verfahrens schritt ein Bild zu extrahieren 311. Auf das extrahierte Bild kann daraufhin das trainierte Modell in dem Schritt 5 angewendet werden. In dem Schritt 5 erfolgt die Klassifizierung die wenigstens drei Klassen umfasst (siehe 501, 502, 503).

In dem gezeigten Ausführungsbeispiel des Optimierungsverfahrens wird das erfasste Bild i in drei verschiedene Klassen eingeordnet.

Im Klassifizierungsschritt 501 wird die Klasse 1 festgestellt, wobei das Bild als nicht verschmutzt erkannt wird und somit als „OK“ klassifiziert wird.

Schritt 502 betrifft die Klasse 2, wobei die Sicht nicht OK ist und eine Verschmutzung oder andere Beeinträchtigung vorliegt. Diese Kategorie wird als „nicht reinigbar“ eingeordnet, da in Klasse 2 die Sichtbeeinträchtigung oder Verschmutzung nicht durch eine Reinigung mit Flüssigkeit und/oder Gas behoben werden kann. Dies kann beispielsweise der Fall sein, wenn eine falsche Fokuseinstellung vorliegt. In diesem Fall kann die Steuereinheit der Kamera beispielsweise angesteuert werden, um den Fokus zur Bildoptimierung anzupassen. Dies wird schematisch dargestellt mit dem Pfeil, der zu der CCU (Camera Control Unit) zeigt. Alternativ oder zusätzlich können in Abhängigkeit von der Störung andere Geräteeinheiten, wie z.B. ein Monitor 364 oder eine OP-Geräteeinheit 367, wie ein Insufflator angesteuert werden. Wird beispielsweise ein unscharfes Bild im Klassifizierungsschritt 502 festgestellt, kann der Kamerafokus durch die CCU so eingestellt werden, dass ein scharfes Bild des zu untersuchenden Objektes entsteht.

Alle während der Anwendung des Modells 322 (Schritt 5) und somit z.B. in den Klassifizierungsschritten 501 oder 502 durch das selbstlernende Modul 320 erfassten Informationen können in dem Speicher in der Speichereinheit 122 in dem Schritt 7 gespeichert werden. Daraufhin wird das nächste Bild i+1 im Schritt 311 extrahiert und das Analyseverfahren beginnt von Neuem bei Schritt 2.

Zudem kann das erfasste Bild nach den Analyseschritten in dem Schritt 503 einer Klasse 3 zugeordnet werden. Die Klasse 3 bedeutet, dass das Bild verschmutzt ist und durch ein Reinigungssystem oder Reinigungsmodul 130 reinigbar ist (dies ist hier schematisch mit einem „nicht OK“ und einem Pfeil zu 130 d.h. dem Reinigungsmodul dargestellt). In dem Schritt 6 können die klassifizierten Bilder nun weiter beurteilt und analysiert werden. Dabei kann eine Überprüfung, Priorisierung und/oder Bewertung der Verschmutzung erfolgen. Optional kann das Bild in Abschnitte unterteilt werden, um eine Lokalisierung der jeweiligen Verschmutzung vornehmen zu können.

Mit Hilfe des trainierten Modells 322 können Gewebestrukturen, Objekte, Organe oder auch andere zu untersuchenden Objekten erkannt werden und von Verschmutzungen oder Rauch unterschieden werden. Es können auch weitere Klassen als die oben angegebenen hinzugefügt werden, entweder durch einen Experten oder dem selbstlernenden Modul.

Nach einer Voranalyse und Klassifizierung 5 durch das trainierte Modell 322 kann noch eine weiterführende Analyse in dem Schritt 8 erfolgen. Hier kann eine Auswertung der Bildhistorie stattfinden, sowie das Vorhandensein und die Art einer Verschmutzung festgestellt werden. Hierbei sind viele Kategorien denkbar und nicht nur die oben angegebenen. Es kann der Grad der Verschmutzung weiter abgestuft werden und Kategorien wie gering verschmutzt „x“ stärker verschmutzt „xx“ oder sehr stark verschmutzt „xxx“ spezifiziert werden. Auch andere Kategorien sind denkbar verschmutzt mit Blut, Fett oder andere Störfaktoren, wie Kondensat oder Rauch. Ferner kann durch eine weitergehende Analyse auch eine Gewichtung der Bildareale stattfinden, die das trainierte Modell selbst festlegen kann. Jedem Bildbereich kann eine zulässige prozentuale Verschmutzung zugeordnet werden. Eine bevorzugte Ausführungsform eines selbstlernenden Verfahrens ist, dass eine höhere Priorität dem Bildzentrum zugeordnet wird und hier bessere Qualitäts werte als außenliegende Bereiche gefordert werden.

In dem Verfahrensschritt 8 wird entschieden, ob eine Reinigung notwendig ist oder nicht. Ist keine Reinigung oder Optimierung notwendig, wird der Zyklus für optimale Bildqualität abgebrochen und beendet. Das Verfahren kann kontinuierlich bei Schritt 2 wiederholt werden oder nach festgelegten Zeitabständen durch einen Neustart 801 wieder begonnen werden. Bei der Verwendung des trainierten Moduls, umfassend ein offenes Netzwerk, erfolgt vor dem Neustart 801 vorzugsweise ein zusätzlicher Schritt zur kontinuierlichen Prozessoptimierung, der mit Hilfe von Experten durchgeführt wird. Auf diese Weise kann kontinuierlich der Prozess optimiert werden.

Wird in Schritt 8 entschieden, dass eine Reinigung erfolgen soll, erfolgt eine Aktivierung des Reinigungsmoduls 130 über ein Aktivierungssignal oder Ausgabesignal 353. Nach der Aktivierung des Reinigungsschrittes kann ein Vergleich mit der Datenbank mittels einer Überwachungsroutine 129 erfolgen.

Alle Ergebnisse können in einem Speicher 122 in dem Schritt 7 gespeichert werden. Wird nach Schritt 6 bzw. nach Schritt 8 ein verschmutztes Bild als Ergebnis festgestellt, erfolgt eine Anpassung der Reinigungsparameter bevorzugt mit dem Modell 322 basierend auf einem offenen neuralen Netz mit Hilfe von Klassifizierungsschritten und einer Optimierung 9 in einer Loop. Dieses Prinzip wurde schematisch und in mehr Detail bereits zu Figur 7 in Zusammenhang mit einer Parameteranpassung 138 beschrieben.

Nach Abschluss der oben genannten Verfahrensschrittes 9 erfolgt eine Extrahierung eines neues Bild i+1 und eine neuer Zyklus der Analyseschritte 2 kann bei Schritt beginnen. Dies wird durch die nach oben gerichteten Pfeilen zu dem Schritt 2 angezeigt. Dann beginnt der Prozess von Neuem und die Bildoptimierung kann wieder. Figur 9 zeigt ein weiteres schematisches Flussdiagramm des erfindungsgemäßen Verfahrens zur Bildoptimierung. Der Prozess wird begonnen in dem Punkt, der gekennzeichnet ist mit START bzw. 801. Ist ein Videosignal vorhanden kann die Datenerfassung in dem Schritt 310 beginnen. In dem Schritt 311 werden Bilder extrahiert. Nach der Extrahierung 311 werden Einzelbilder weitergegeben, die auch in Bildabschnitte zerlegt werden können. Das Extrahieren 311 wird von einer Datenaufbereitung gefolgt, wobei der Ist-Datensatz festgestellt wird und ein Vorbearbeitung der Bilder erfolgen kann.

In dem anschließenden Schritt 124 werden die Daten mittels einer Datenanalyse beurteilt. Diese Datenanalyse 124 erfolgt mit Hilfe eines selbstlernenden Moduls 320 und einer Referenzdatenbank, die in dem Speicher 122 gespeichert wird. Dabei ist das selbstlernende Modul ausgelegt, durch einen Vergleich wenigstens einer bestimmten Bildstruktur mit Bildstrukturen einer Referenzdatenbank einen Qualitätswert zu ermitteln. Das Zusammenspiel mit der Referenzdatenbank während der Qualitätswertbestimmung wird durch den Doppelpfeil zwischen der Datenanalyse 124 und der Speichereinheit 122 angedeutet. Der gefundene Ist-Zustand kann in einer temporären Datenbank „122tmp“ gespeichert werden. Bei einem Ergebnis, dass keine Optimierung möglich ist oder keine Reinigung erforderlich ist, kann dieses temporäre Bild später wieder gelöscht werden. Werden jedoch verschmutzte oder anderweitig beeinträchtigte Bilder durch die Analyse festgestellt, ist es vorteilhaft, dass diese Daten als Trainingsdaten für ein Modell 322 des selbstlernenden Moduls 320 in der Referenzdatenbank im Speicher 122 gespeichert werden.

Die Referenzdatenbank in der Speichereinheit 122 besteht aus einer Mehrzahl von Datenbänken wie Bildparameterdatensätzen basierend auf eine Bilddatenbank und einer Parameterdatenbank, wie beispielsweise Reinigungsparameter oder Monitorparameter. In den Referenzdatenbänken der Speichereinheit 122, können gute bzw. verschmutzte Bilder anhand von Bildausschnittsdaten, Pixelauswertung, Kontrast, Farbe, Schärfe, Auflösung, Helligkeit, Erkennung von Rauch und/oder Objekten eingeordnet werden.

Zudem ist das Speichern von Zusatzinformationen oder Zusatzauswertungen 366 vorteilhaft. Eine mögliche Zusatzinformation 366 ist z.B. ein erfasstes Bild mit Rauch. Es können zudem eine Vielzahl von Objekten, die zu untersuchen sind, als Zusatzinformation gespeichert werden: Gewebe, Adern, Sehnen oder Knochen. Zusatzinformationen können ebenfalls den Beleuchtungszustand betreffen und sich z.B. auf bestimmte Wellenlängen des Lichtes beziehen. Jede Information ist als Zusatzinformation geeignet, wenn das Ziel, die Bildqualität von den erfassten Bildern der Endoskopeinheit zu optimieren erfüllt ist. Eine Optimierung kann dabei nicht nur durch einen Reinigungsprozess erfolgen, sondern auch durch andere Optimierungsprozesse, wie z.B. eine Änderung der Einstellungen zur Wiedergabe auf einen Monitor wie z.B. ein LCD-Display.

Die im Sichtfeld zu untersuchenden Strukturen können beispielsweise besser oder differenzierter erkannt werden, wenn bestimmte Fluoreszenzbildgebungstechniken eingesetzt werden. Beispielsweise kann durch die Verwendung von Indocyaningrün (ICG) mittels Licht mit Wellenlängen im Nahinfrarot (NIR) besser anatomische Strukturen sichtbar gemacht werden. Hierzu kann mittels der Steuereinheit 120 das Licht optimal in der entsprechenden Wellenlänge eingestellt werden. Außerdem können auch 3D Technologien verwendet werden und hierfür optimierte Parameter angepasst werden. Wird z.B. eine Fluoreszenstechnik eingesetzt, kann der Wellenbereich der Beleuchtungseinrichtung entsprechend angepasst werden. Für die Fluoreszenstechnik werden dann auch entsprechende Videosignale gespeichert und eine Datenbank der Zusatzinformation 366 im Speicher 122 für diese besondere Technologie zur Verfügung gestellt. Genannte und andere Zusatzinformationen können verwendet werden, um das Bild je nach den eingesetzten Technologien zu verbessern.

Eine weitere Zusatzinformation kann Parameter enthalten, um eine Farbverfälschung in der Bildwiedergabe eines Monitors entgegenwirken zu können. Ein Kriterium für eine gute farbtreue Bildwiedergabe am Monitor sind beispielsweise korrekt eingestellten Farbräume. Geeignete Parameter sind hier Helligkeit, Einstellung zur Farbsättigung oder auch Fokuseinstellungen. Da die Bildqualität auch durch das Display oder den Monitor moduliert werden kann, ist es wichtig auch hier die optimalen Einstellungen abzuspeichern und anzupassen, je nachdem ob Veränderungen in den Grundbedingungen stattgefunden haben. Es kann auch ein Monitor an den Anwender angepasst werden. 1st der Anwender beispielsweise Brillenträger oder hat eine Rot-Grün Schwäche können anwenderspezifische Einstellungen als Zusatzinformation abgespeichert werden und bei Erkennung des Anwenders durch hinterlegte Daten (siehe Referenznummer 363) aktiviert werden. Die Zusatzinformation kann auch eine Endoskopeinheit umfassend eine elektronische Bilderfassungseinrichtung wie CCD oder CMOS Systeme oder wenigstens zwei Bilderfassungseinrichtungen für Stereo-Systeme betreffen, die an der Spitze des Endoskops angeordnet sind. Entscheidende Parameter sind hier optimale Lichtstärke, Tiefenschärfe und Kontrast, sowie ggf. Vergrößerungsmöglichkeiten. Dabei ist es Hauptaufgabe Störungen wie Verschmutzung oder Kondensat zu verhindern oder zu beseitigen sowie die erkannten Oberflächen oder Strukturen innerer Organe in höchster Abbildungstreue wiederzugeben.

Auf Basis der in dem Speicher 122 gespeicherten Referenzdatenbanken kann das trainierte Modell 322 nun in dem Schritt 825 entscheiden, ob eine Optimierung des erfassten Bildes erfolgen kann oder nicht. Ist das Bild nicht optimierbar, geht es zurück zu START zu Schritt 801 und der Prozess beginnt von vorne.

Ist eine Optimierung möglich, geht der Entscheidungsweg nicht entlang des NEIN-Pfeiles, sondern entlang des JA-Pfeiles, um den nächsten Verfahrensschritt 835 der Prozessdurchführung zu aktivieren. Zur Aktivierung einer Bildoptimierung steht wenigstens eine Geräteeinheit von einer Vielzahl von Geräteeinheiten, wie das Reinigungsmodul 130, ein Monitor 364 oder ein OP-Gerät 367 zur Verfügung. Die Vielzahl an Geräteeinheiten steht in Kommunikation sowohl mit der Speichereinheit 122 als auch mit der Steuereinheit 120 (hier nicht gezeigt). Steuerungsanweisungen werden abhängig von einem in der Analyse bestimmten Qualitätswert an wenigstens eine der Geräteeinheiten übermittelt, um die Optimierung schließlich in dem Schritt 835 durchzuführen.

Ein Beispiel zur Optimierung ist die Aktivierung eines OP-Gerätes 367 wie ein Insufflator oder die Aktivierung wenigstens einer Beleuchtungseinrichtung 111 oder 112. Dabei kann eine Erhöhung der Lichtstärke oder Veränderung der Lichtverhältnisse durch Anpassung der Parameter der Beleuchtungseinrichtung erfolgen. Alternativ oder zusätzlich kann eine Aktivierung einer Reinigung durch ein Reinigungsmodul 130 erfolgen, um eine erkannte Verschmutzung auf dem Sichtfeld oder auf einer Beleuchtungseinrichtung 111 zu entfernen oder wenigstens zu reduzieren. Alternativ sind andere aktivierbare Prozessdurchführungen 835 möglich, wie Anpassungen der Monitorparameter eines Monitors 364. Nach der Prozessdurchführung (Schritt 835) geht der Prozess wieder zurück zur Datenerfassung 310 und beginnt die einzelnen Schritte der Datenaufbereitung (siehe Schritt 311) und anschließender Datenbeurteilung (siehe Schritt 124) wieder von neuem.

In dem Speicher 122 kann entsprechend den anzu steuernden Geräteeinheit eine Vielzahl von Datenbänke hinterlegt sein. Vorzugsweise gibt es wenigstens eine Parameterdatenbank, die für die Prozessdurchführung 135 Anwendung findet, wenn in der Optimierungsabfrage (Schritt 825) verschmutzte Bilder festgestellt worden sind. Je nach der Kategorie der verschmutzten Bilder gibt es entsprechend hinterlegte angepasste Reinigungsparameter, wie z.B. die Gas- oder Flüssigkeitsspülmenge, der Druck, die Pulsdauer, die Intervalle zwischen den Pulsen und das Pulspausenverhältnis oder andere.

Folgende Kriterien können für die Parameteroptimierungen in der Speichereinheit bzw. in dem selbstlernenden Modul hinterlegt werden. Das Hauptkriterium für die Parameterzuordnung und Optimierung ist die Sauberkeit und die Bildqualität, d.h. die möglichst vollständige Beseitigung von Verschmutzungen. Ein Nebenkriterium für die Parameterzuordnung und Optimierung ist die minimale Reinigungsdauer. Es soll der Anwender minimal gestört werden analog zu einer kurzen Scheibenwischerbewegung. Ein weiteres Nebenkriterium ist der minimale Fluidverbrauch z.B. von Flüssigkeit wie Wasser oder Natriumchlorid oder andere physiologisch gut verträgliche Fluide. Schließlich kann ein minimaler Gasverbrauch die Parameterbildung eingehen.

Das selbstlernende Modul ist so ausgebildet, dass die Parameteranpassung, wie z.B. eine Druckerhöhung oder eine Pulsverlängerung, vorzugsweise in der Art erfolgt, dass die Hauptkriterien und Nebenkriterien mit hoher Wahrscheinlichkeit erfüllt werden. Dabei kann die Art bzw. die Vorgehens weise zur Optimierung, d.h. die Höhe und Reihenfolge der Parameterveränderung, zu verschiedenen Bildklassenverschmutzungsgraden unterschiedlich sein. Dies bedeutet, dass für die einzelnen Bildklassen bzw. Verschmutzungsgrade auch weitere Datensätze bzw. eine weitere Parameterdatenbank im Speicher 122 zugeordnet werden können. Dabei beruht das Verfahren auf Wahrscheinlichkeitsbetrachtungen und das trainierte Modell beruht auf einem stochastischen Modell. Andere mögliche Modelle können als Grundlage für die Parameteranpassung dienen wie z.B. ein empirisches Modell, wobei Messdaten von wenigstens einem Sensor einfließen, beruht. Die Bilder können auch durch ein geeignetes Modell selbst trainiert werden, Labels oder Kennzeichen für die zur Verfügung gestellten Rohdaten zu generieren. Auf diese Weise können gelabelte Bilddatensätze, das Anlernen des Trainingsmodells erleichtern und beschleunigen. Zusätzlich oder als Korrektur können weiterhin Experten gelabelte Bilder erzeugen.

Wenn das trainierte Modell auf einem offenen neuralen Netzwerk beruht, können Korrekturen durch Experten vorgenommen werden. Durch das sogenannte Labelling kann ein Experte oder ein anderer entsprechend ausgebildeter Anwender ein vorhandenes Bild aus den Rohdaten mit einem Kennzeichen, das eine Optimierungsbedarf angibt, markieren oder mit einem Symbol wie OK, das bedeutet, dass keine Optimierung nötig ist. Diese gelabelten Bilder können dann als Trainingsdaten für das zu trainierende Modell verwendet werden. Hierbei können wenigstens ein Satz von Trainingsdaten, vorzugsweise mehrere Sätze von Trainingsdaten, vorbereitet werden und dann durch das zu trainierende Modell 322 der maschinellen Lernvorrichtung (siehe selbstlernendes Modul 320 z.B. in Fig. 3) zum Lernen zur Verfügung gestellt werden. Insbesondere wenn für jede Klasse eine möglichst große Anzahl von Trainingsbildern, die durch Experten vorgelabelt worden sind, bereitgestellt werden, kann die Lernphase des Modells auf vorteilhafte Weise verkürzt werden,

Die durch das maschinelle Lernen erzeugten Trainingsdaten werden wiederum in der Referenzdatenbank gespeichert. Das selbstlernende Modul 320 kann durch ein neuronales Netz, wie etwa ein mehrschichtiges neuronales Netz, ein trainiertes Modell 322 bilden, das als Eingabeschicht Bilddaten mit entsprechenden Markierungen, Kennzeichen oder Labeln aufweist und als Ausgabeschicht klassifizierte Bilder ausgibt. Ein derartiges neuronales Netz hat auch eine Zwischenschicht und kann beispielsweise ein Convolutional Neural Network (CNN) anwenden.

Die vorzugsweise gelabelten Trainingsdaten sind in der Speichereinheit 122 gespeichert und das trainierte Modell 322 des selbstlernenden Moduls 320 lernt unter Verwendung dieser Trainingsdaten 331. Das mit Trainingsdaten 331 trainierte Modell 322 führt basierend auf einem durch die Bilderfassungseinrichtung 1115 erfassten Bildes (siehe Schritt 310) bzw. einem Bildabschnitt dieses Bildes (siehe Schritt 311), eine Bestimmung eines Qualitätswertes (siehe Schritt 124) durch und gibt dann das Bestimmungsergebnis aus (Schritt 825). Ergibt das Bestimmungsergebnis bzw. der Qualitätswert, dass keine Optimierung notwendig ist oder keine Verschmutzung feststellt wurde, wird das Verfahren sofort oder in vorgegebenen Zeitabständen neu gestartet (siehe NEIN Pfeil zu Schritt 801).

Ergab der Entscheidungsschritt 825 eine Prozessdurchführung 835 zur Optimierung des Bildes, kann das Optimierungsergebnis mit dem selbstlernenden Modul anhand von Pixelauswertungen mit Parametern wie Farbe, Auflösung, Licht, Kontrast und/oder Schärfe gewertet werden. Dabei werden die Pixel vorzugsweise so ausgewertet, dass Organe oder zu untersuchende Gewebe von einer Verschmutzung unterschieden werden können. Dies kann mit dem Vergleich von Bilddaten aus der Datenbank im Speicher 122 erfolgen und wird angedeutet durch Doppelpfeil zwischen den jeweiligen Geräteeinheiten 111, 130, 365 und 367 und dem Speicher 122.

Die Erfindung kann für eine Vielzahl der auf dem Markt etablierten endoskopischen Systeme Anwendung finden, um das jeweilige Untersuchungsobjekt präziser und sicherer diagnostizieren und trotz Störungen schnellstmöglich am Situs schnellstmöglich Weiterarbeiten zu können. Das erfindungsgemäße Optimierungsverfahren und Optimierungssystem kann hierbei im Schritt 825 automatisiert Entscheidungen treffen, ob eine Optimierung notwendig ist und ob eine Bildoptimierung durch die ansteuerbaren Geräte durchführbar ist. Beispielsweise kann eine automatisierte Schmutzerkennung erfolgen und automatisiert eine Reinigung erfolgen. Insbesondere in der Medizintechnik sind schnelle Reinigungsergebnisse sehr wichtig. Dabei soll wird vorteilhafter Weise vermieden, dass der Anwender lange gestört wird und die Verschmutzung oder Bildstörung so schnell wie möglich behoben wird. Durch die kontinuierliche Bereitstellung von Trainingsdaten wird die Qualität der Kl-Algorithmen laufend verbessert und durch fortlaufende Parameteranpassungen erfolgt ein optimales „Tuning“ der Prozessdurchführungen 835.

Eine Software oder Computerprogrammprodukt zur Durchführung des Bildoptimierungsverfahrens ist konfiguriert mit Hilfe von Bildanalysealgorithmen nicht optimale Bilder oder Störungen wie z.B. Bildverschmutzungen mit ausreichender Wahrscheinlichkeit erkennen. Mittels der Bildanalyse kann ein Qualitätswert und bestehende Bilddaten (Bildhistorie) oder Parameterdaten ausgewertet und mit den neuesten Bilddaten und vorangegangenen Optimierungsergebnissen verglichen werden. Neben einem statistischen Modell können die Algorithmen eines stochastischen Modells verwenden und Steuerungsanweisungen auf Basis von entsprechenden Grenzwahrscheinlichkeiten, ob das aktuelle Bild optimierbar ist oder nicht, ausgeben. In einem offenen künstlichen Netzwerk können bestehende Datensätze neben automatischen Verfahren durch Experten korrigiert werden und eine Erweiterung der Referenzdatenbank in dem Speicher 122 um neue Datensätze automatisch oder manuell erfolgen. Eine kontinuierliche halbautomatische oder automatische Überprüfung des Optimierungsverfahrens führt zu einer Erhöhung der Sicherheit für den Anwender und somit für die mit dem endoskopischen Verfahren untersuchte Person.

Referenzliste

1 Start

2 Abfrage Videosignal

3 Prozessabbruch

4 Extrahieren Einzelbild i

5 Anwenden trainiertes Modell

6 Überprüfung, Priorisierung und Bewertung einer Verschmutzung

7 Speichern in einem Speicher 122

8 Analyse, Gesamtauswertung mit anschließender Entscheidung zur Optimierung

9 Optimierung durch Klassifizierung im Loop

100 trainingsbasiertes automatisiertes System

110 optisches Fenster

111 erste Beleuchtungseinrichtung

112 zweite Beleuchtungseinrichtung

115 Bilderfassungseinrichtung/Kameraeinheit

116 CCU (camera control unit)

120 Steuereinheit

121 Prozessor

122 Speicher

123 Initialsierungsroutine

124 Analyse basierend auf Trainingsdaten und/oder Vergleich mit gespeicherten Daten

125 Verfahrensschritt umfassend Optimierumgs- oder Verschmutzungserkennung 126 Reinigung mit Flüssigkeit

127 Reinigung mit Gas oder Trocknung

128 Reinigungsparameter

129 Überwachungsroutine

130 Reinigungsmodul

131 erster Fluidkanal

132 zweiter Fluidkanal

133 Zuführkanal

135 Aktivierungssignal

138 Anpassung der Reinigungsparameter in Abhängigkeit vom Reinigungsergebnis oder von ermittelten Endoskoptyp

140 Düse

150 Schaft

152 Hülse

160 Prozessabbruch

161 Ende

300 Eingabe

301 , 302, 303 Experte oder Anwender

310 Bild bzw. Bilddaten

311 Extrahieren eines oder mehrerer Bilder

312 Unterteilung in Bildabschnitte

313 Voranalyse/Vorverarbeitung der Bilder (Objekterkennung; Ist-Datenerfassung)

315 Klassifizierung

320 selbstlernendes Modul unter Anwendung von künstlicher Intelligenz wie maschinelles Lernen oder Deep Learning

322 zu trainierendes bzw. trainiertes Modell

328 Feststellung, ob Veränderung A nach Reinigung 331 Trainingsdaten

332 Labels oder Kennzeichen

333 Cloud oder Webservice für Labelling

351 Ausgabe an Beleuchtung seinrichtung(en)

352 Ausgabe an Steuereinheit (CCU) der Bilderfassungeinrichtung

353 Ausgabe an Reinigungsmodul

354 Ausgabe an Monitor

355 Ausgabe an Geräteeinheit z.B. OP-Einheit

360 Schnittstelle

361 Import Kameradaten

362 Import von automatischen Überwachungsdaten

363 Import Patientendaten oder Anwenderdaten

364 Monitor

365 Gelabelter Datensatz

366 Zusatzanalyse und/oder Information

367 OP-Einheit

371, 372 erstes und zweites Krankenhausnetz

401, 402, 403 Verfahrensschritte

410 Rohdaten

422 zentralisierte Speichereinheit

501, 502, 503 Klassifizierungsschritte in jeweilige Datenbankklasse

801 Neustart

825 Optimierungserkennung bzw. Entscheidung/ Abfrage ob Optimierung

835 Prozessdurchführung

P Druck t Reinigungsdauer V Fluidvolumen

Strg Steuerung