Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
IMAGE ANALYSIS METHOD IN MICROSCOPY
Document Type and Number:
WIPO Patent Application WO/2021/228894
Kind Code:
A1
Abstract:
The invention relates to an image analysis method in microscopy, in which method a first image (IA) of a specimen is recorded with a first image recording type and the image data is stored, wherein an image (IA→B) of the specimen with a second image recording type is simulated using the image data. The method also records a second image with the second image recording type and stores same. The method compares the simulated image of the second image recording type and the second recorded image to find differences which are captured, analysed and evaluated.

Inventors:
AMTHOR MANUEL (DE)
HAASE DANIEL (DE)
Application Number:
PCT/EP2021/062539
Publication Date:
November 18, 2021
Filing Date:
May 11, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZEISS CARL MICROSCOPY GMBH (DE)
International Classes:
G06T7/00
Domestic Patent References:
WO2019172901A12019-09-12
Other References:
LAHIANI AMAL ET AL: "Perceptual Embedding Consistency for Seamless Reconstruction of Tilewise Style Transfer", 10 October 2019, ADVANCES IN INTELLIGENT DATA ANALYSIS XIX; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, PAGE(S) 568 - 576, ISBN: 978-3-540-28540-3, ISSN: 0302-9743, XP047522564
OUNKOMOL ET AL., NATURE METHODS, vol. 11, 2018, pages 917
Attorney, Agent or Firm:
MEYER, Jork (DE)
Download PDF:
Claims:
Patentansprüche

1. Bildauswertungsverfahren in der Mikroskopie, bei dem mit einer ersten Bildaufnahmeart ein erstes Bild ( ) einer Probe aufgenommen wird und die Bildwerte gespeichert werden; anhand der Bildwerte mittels eines Simulationsmodells ein simuliertes Bild (IA^B) der Probe in einer zweiten Bildaufnahmeart vorhergesagt wird, und entweder in einer ersten Alternative ein zweites Bild (lB) mit der zweiten Bildaufnahmeart aufgenommen und gespeichert wird, das simulierte Bild (IA^B) der zweiten Bildaufnahmeart und das mit der zweiten Bildaufnahmeart aufgenommene zweite Bild (lB) miteinander verglichen werden, um Unterschiede zwischen diesen aufzufinden, und aufgefundene Unterschiede erfasst, analysiert und bewertet werden.; oder in einer zweiten Alternative ausgehend von einem Bild ( ) der ersten Bildaufnahmeart ein simuliertes Bild ( ^B) der zweiten Bildaufnahmeart vorhergesagt wird, ausgehend von dem simulierten Bild ( ^B) der zweiten Bildaufnahmeart ein simuliertes Bilde ( ^B)>IA der ersten Bildaufnahmeart vorhergesagt wird, das Bild ( ) der ersten Bildaufnahmeart mit dem simulierten Bild (IA^B)>IA der ersten Bildaufnahmeart verglichen wird, um Unterschiede zwischen diesen aufzufinden, und aufgefundene Unterschiede erfasst, analysiert und bewertet werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Bilddaten der Bilder ( ;IB) in den mindestens zwei Bildaufnahmearten und/oder Bilddaten des simulierten Bildes (IA^B) der zweiten Bildaufnahmeart und/oder des simulierten Bildes (IA^B)>IA der ersten Bildaufnahmeart als gespeicherte Daten vorgehalten und auf Anforderung abgerufen und verarbeitet werden.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die aufgefundenen Unterschiede zuvor festgelegten Kategorien zugewiesen werden.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als Kategorien Simulationsfehler, simulierte, jedoch in der ersten Alternative im zweiten Bild (lB) beziehungsweise in der zweiten Alternative im Bild ( ) der ersten Bildaufnahmeart nicht erfasste Strukturen und/oder das Vorhandensein wenigstens einer vorab definierten Struktur im zweiten Bild (lB) beziehungsweise im ersten Bild ( ) festgelegt sind.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bildaufnahmearten unterschiedliche Kontrastverfahren und/oder verschiedene Kanäle eines Kontrastverfahrens verwendet werden.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste simulierte Bild ( ^B) mit dem Bild (lB) der zweiten Bildaufnahmeart beziehungsweise das zweite simuliertes Bild (IB^A) mit dem Bild ( ) der ersten Bildaufnahmeart beziehungsweise das erste Bild ( ) mit dem simulierten Bild (IA^B)>IA der ersten Bildaufnahmeart unter Berücksichtigung einer ausgewählten Metrik verglichen wird.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Analyse der Unterschiede und/oder eine Kategorisierung aufgefundener Unterschiede mittels maschinellen Lernens erfolgt.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorhersage des ersten simulierten Bildes (IA^B) der zweiten Bildaufnahmeart und/oder des zweiten simulierten Bildes (IB^A) der ersten Bildaufnahmeart oder des simulierten Bildes (IA^B)>IA der ersten Bildaufnahmeart mittels maschinellen Lernens erfolgt.

9. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass eine Analyse und/oder Kategorisierung mittels mindestens eines Verfahrens aus einer Gruppe umfassend Klassifikation, Segmentierung, Detektion und Regression als Methoden des überwachten maschinellen Lernens und Cluster-Analyse und klassische Anomaliedetektion als Methoden des unüberwachten Lernens ausgeführt wird.

10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zusätzlich oder alternativ zur Erfassung, Analyse und Bewertung aufgefundener Unterschiede anhand des Vergleichs des simulierten Bildes (IA^B) der zweiten Bildaufnahmeart mit dem Bild (lB) der zweiten Bildaufnahmeart beziehungsweise anhand des Vergleichs des simulierten Bildes (IA^B)>IA der ersten Bildaufnahmeart mit dem Bild ( ) der ersten Bildaufnahmeart eine Bewertung der Güte des Simulationsmodells vorgenommen wird, indem eine Erfüllung vorbestimmter Gütekriterien überprüft wird.

Description:
Bildauswertungsverfahren in der Mikroskopie

Die Erfindung betrifft ein Bildauswertungsverfahren in der Mikroskopie entsprechend dem Oberbegriff des unabhängigen Anspruchs.

Bildauswertungsverfahren werden in der Mikroskopie unter anderem zum Auffinden interessierender und/oder ungewöhnlicher Bereiche und von Unterschieden in Mikroskopbildern angewendet.

Beispielsweise können anhand von Unterschieden fehlerhafte Probenpräparationen erkannt oder eine untypische Reaktion (Anomalien) gewisser Probenbereiche erfasst werden. Bekannt sind dazu beispielsweise Ansätze wie Novelty Detection oder Autoencoder.

Aus dem Stand der Technik ist ebenfalls bekannt, dass auf der Grundlage von Bilddaten einer Bildaufnahmeart ein Bild der Probe in einer anderen Bildaufnahmeart simuliert werden kann. So beschreiben Ounkomol et al. (2018; Nature methods 11: 917) eine Simulation eines 3D- Fluoreszenbildes ausgehend von einem Durchlichtbild oder die Vorhersage eines Immunofluoreszenzbildes basierend auf einem Elektronenmikroskopiebild. Die Qualität der Simulationsergebnisse wird anhand des Grads der Übereinstimmung eines simulierten Bildes mit einem tatsächlichen Bild der anderen Bildaufnahmeart bewertet.

Der Erfindung liegt die Aufgabe zugrunde eine Möglichkeit vorzuschlagen, mittels der Abweichungen von Strukturen einer Probe und deren Abbildungen erkannt werden können.

Die Aufgabe wird in einer ersten Alternative mit einem Bildauswertungsverfahren in der Mikroskopie gelöst, bei dem mit einer ersten Bildaufnahmeart ein erstes Bild einer Probe aufgenommen wird und die Bildwerte gespeichert werden. Anhand der Bildwerte wird ein Bild der Probe beziehungsweise des gleichen Probenbereichs in einer zweiten Bildaufnahmeart vorhergesagt. Zudem wird ein zweites Bild der Probe beziehungsweise des gleichen Probenbereichs mit der zweiten Bildaufnahmeart aufgenommen und gespeichert.

Gekennzeichnet ist das Verfahren dadurch, dass das vorhergesagte (fortan auch: simulierte) Bild der zweiten Bildaufnahmeart und das mit der zweiten Bildaufnahmeart aufgenommene zweite Bild miteinander verglichen werden, um Unterschiede zwischen diesen aufzufinden. Die aufgefundenen Unterschiede werden erfasst, analysiert und bewertet.

Das mit der ersten Bildaufnahmeart aufgenommene erste Bild dient als Ausgangsdatensatz für die Erzeugung eines vorhergesagten oder simulierten Bildes. Die Begriffe der Vorhersage oder Simulation werden im Zusammenhang mit der Erfindung gleichbedeutend im Sinne einer Abbildung oder einer virtuellen Projektion unter Anwendung einer mathematischen Funktion verstanden. Die Reihenfolge der Erfassung von erstem beziehungsweise zweitem Bild ist nicht entscheidend. Die der Vorhersage oder Simulation zu Grunde liegenden Funktionen, Regeln beziehungsweise mathematischen und/oder logischen Modelle werden auch unter dem Begriff der Simulationsmodelle zusammengefasst.

Es wurde erkannt, dass sich Unterschiede zwischen dem simulierten zweiten Bild und dem zweiten Bild besser oder sogar überhaupt erst erkennen lassen, wenn zwischen mindestens zwei Bildaufnahmearten bestehende Gemeinsamkeiten und Unterschiede ausgenutzt und berücksichtigt werden. Unterschiede können beispielsweise auf dem üblicherweise in der Bild- und Signalverarbeitung auftretendem Rauschen beruhen. Artefakte der Probenbehandlung, beispielsweise der Probenpräparation, der Probenfärbung oder der Probenmarkierung, stellen ebenfalls Unterschiede dar und werden auch als Anomalien bezeichnet. Anomalien sind zum Beispiel fehlerhaft gefärbte Zellen oder Zellstrukturen. Unterschiede (Anomalien) können auch daher rühren, dass Zellen oder Zellbestandteile in unerwünschter beziehungsweis in unerwarteter Weise Färbung angenommen beziehungsweise nicht angenommen haben. Ferner kann ein verwendeter Farbstoff ein unerwartetes Verhalten zeigen, wie dies beispielsweise durch das Bleichverhalten eines Fluoreszenzfarbstoffes gegeben sein kann.

Unterschiede können auch durch strukturell auffällige Probenbereiche, z. B. verformte Zellbereiche, bedingt sein. Wird das Vorhandensein beziehungsweise Nichtvorhandensein einer bekannten Struktur als Unterschied angesehen, so kann dies mittels des erfindungsgemäßen Verfahrens erkannt und erfasst werden. Dadurch unterscheidet sich das erfindungsgemäße Verfahren vorteilhaft von bekannten Methoden wie zum Beispiel Autoencodern oder One-Class-Classification.

Unterschiede können für den Nutzer von besonderem Interesse sein. Ein Bereich der Probe, in dem Unterschiede auftreten, kann daher auch als sogenannte ROI (region of interest) erkannt und gekennzeichnet werden. Im Rahmen dieser Beschreibung werden Anomalien und ROI vereinfachend als Unterschiede bezeichnet.

Die erste und die zweite Bildaufnahmeart können beispielsweise unterschiedliche Kontrastverfahren und/oder verschiedene Kanäle eines Kontrastverfahrens sein. Unterschiedliche Kanäle können beispielsweise Fluoreszenzkanäle sein, mittels denen unterschiedliche Strukturen abgebildet werden können. So kann beispielsweise ein Bild eines DAPI-Fluoreszenzkanals (DAPI ist die Abkürzung für einen Marker für AT-reiche Region der DNS) als simuliertes zweites Bild ausgehend von einem ersten Bild eines Fluoreszenzkanals erzeugt werden, der fluoreszenzmarkierte Mikrotubuli zeigt.

Die Bildaufnahmearten, von denen ausgehend die Simulation erfolgt, beziehungsweise die ein Ergebnis einer Simulation sind, können beispielsweise die Kontrastverfahren Hellfeld, Dunkelfeld, DIC (differentieller Interferenzkontrast) und Fluoreszenzverfahren sein. In Letzteren werden Strukturen der Probe spezifisch mit Fluoreszenzmarkern versehen und deren Fluoreszenzlicht detektiert.

Die Bilddaten der ersten und zweiten Bildaufnahmearten können zum Beispiel 2D-Daten, 3D-Daten und/oder Zeitreihen-Daten sein.

In einer weiteren Ausführungsmöglichkeit des Verfahrens kann ausgehend von dem ersten Bild ein (erstes) simuliertes Bild erzeugt und bereitgestellt werden. Zusätzlich kann ausgehend von dem Bild der zweiten Bildaufnahmeart ein (zweites) simuliertes Bild erzeugt und bereitgestellt werden. Dabei kann ausgehend von dem zweiten Bild der zweiten Bildaufnahmeart ein simuliertes Bild erzeugt werden, dass dem ersten Bild der ersten Bildaufnahmeart entspricht. Das erste simulierte Bild und das zweite simulierte Bild können auf das Bild der zweiten Bildaufnahmeart beziehungsweise auf das Bild der ersten Bildaufnahmeart abgebildet werden. In dieser Ausgestaltungsmöglichkeit des erfindungsgemäßen Verfahrens werden also ähnlich einer Kreuzkorrelation Analysen ausgehend von dem ersten Bild der ersten Bildaufnahmeart und ausgehend von dem zweiten Bild der zweiten Bildaufnahmeart durchgeführt.

Eine zweite Alternative des erfindungsgemäßen Verfahrens kommt vorteilhaft ohne die Erfassung des Bildes der zweiten Bildaufnahmeart aus. Ausgehend von einem Bild der ersten Bildaufnahmeart wird ein simuliertes Bild der zweiten Bildaufnahmeart vorhergesagt. Diese wiederum wird als Ausgang für die Vorhersage eines simulierten Bildes der ersten Bildaufnahmeart verwendet. Vereinfacht ausgedrückt werden Vorhersagen in einer Schleife vorgenommen. Das als Ausgangsdatensatz dienende Bild der ersten Bildaufnahmeart wird mit dem simulierten Bild der ersten Bildaufnahmeart verglichen. Der Ansatz dieser Ausgestaltung ist, dass die genutzten Simulationsmodelle auftretende Anomalien nicht Vorhersagen können, sodass es beim Vergleich des Bildes der ersten Bildaufnahmeart mit dem simulierten Bild der ersten Bildaufnahmeart zu Unterschieden kommt, die erfasst und ausgewertet werden können. Ergebnisse des Vergleichs können auch für eine Bewertung der Eignung des Simulationsmodells genutzt werden.

Die Bilddaten der Bilder in den mindestens zwei Bildaufnahmearten können auch bereits als gespeicherte Daten vorgehalten und auf Anforderung abgerufen und verarbeitet werden. Das gleiche gilt für ein simuliertes Bild basierend auf dem Bild der ersten Bildaufnahmeart und optional für das simulierte Bild der zweiten Bildaufnahmeart. Die Bilddaten der Bilder in den mindestens zwei Bildaufnahmearten können beispielsweise genutzt werden, um, optional mittels machine learning, verbessert, rekonstruiert oder in einen anderen Kontrast überführt zu werden.

Für die Vorhersage respektive Simulation der Bilder können in weiteren Ausgestaltungen des Verfahrens Kontextinformationen beispielsweise zur Probenart, zur Probenfärbung, zur Kontrastmethode etc. mit einbezogen werden.

Für die Analyse und den Schritt der Ermittlung von Unterschieden kann neben dem Bild der zweiten Bildaufnahmeart und dem simulierten Bild optional auch das Bild der ersten Bildaufnahmeart berücksichtigt werden.

In weiteren Ausgestaltungen des Bildauswertungsverfahrens können auch mehr als zwei Bildaufnahmearten verwendet werden. Auf diese Weise wird die Wahrscheinlichkeit des Auffindens von Unterschieden, insbesondere von Anomalien und/oder interessierenden Bereichen vorteilhaft erhöht beziehungsweise kann durch eine gezielte Auswahl der genutzten Bildaufnahmearten das Vorhandensein spezifischer Anomalien überprüft werden.

Einer der Vorteile des erfindungsgemäßen Verfahrens besteht darin, dass die Probe zwischen den Aufnahmen der Bilder der unterschiedlichen Bildaufnahmearten verändert werden kann. So ist es möglich, dass die Probe zwischenzeitlich unterschiedlich, beispielsweise chemisch, (an-)gefärbt wird. Ein Beispiel kann eine solche Färbung mit Flämatoxylin-Eosin (HE-Färbung) erfolgen.

Werden im Zuge des Vergleichens Unterschiede aufgefunden, so können diese in einer Ausgestaltung des Verfahrens zuvor festgelegten Kategorien zugewiesen werden. Solche Kategorien sind beispielsweise Simulationsfehler; simulierte, jedoch im zweiten Bild nicht erfasste Strukturen; und/oder das Vorhandensein/Nichtvorhandensein wenigstens einer vorab definierten Struktur im zweiten Bild. Wenigstens eine Kategorie kann auch diejenigen Unterschiede beinhalten, die beispielsweise als Rauschartefakte eingeordnet werden und bei den weiteren Analysen nicht mehr berücksichtigt werden sollen.

Aus dem simulierten Bild der zweiten Bildaufnahmeart und dem mit der zweiten Bildaufnahmeart aufgenommenen zweiten Bild kann in einer weiteren Ausgestaltung des Verfahrens ein Differenzbild erzeugt und auf einer Anzeige, z. B. einem Monitor, angezeigt werden. Dieses Differenzbild kann von einem Nutzer hinsichtlich auftretender Unterschiede bewertet werden.

Von Vorteil ist jedoch eine automatisierte Analyse der aufgefundenen Unterschiede und/oder eine Kategorisierung aufgefundener Unterschiede mittels Bildanalyse, insbesondere mittels maschinellen Lernens (engl.: machine learning).

Auch die Vorhersage oder Simulation des simulierten Bildes kann unter Nutzung von Methoden des maschinellen Lernens erfolgen. Dazu können zum Beispiel aus dem Stand der Technik bekannt Bild-zu- Bild-Abbildungen genutzt werden. Eine solche Abbildung wird dabei auf Basis einer Anzahl N korrespondierender Bildpaare beider Bildaufnahmearten gelernt. Dabei bezeichnet ein Bild einer ersten Bildaufnahmeart und l B ein Bild einer zweiten Bildaufnahmeart. Ein auf der Basis eines Bildes simuliertes Bild wird nachfolgend auch mit dem Index bezeichnet. Das trainierte Modell für die Bild-zu-Bild-Abbildung kann anschließend üblicherweise die in den Trainingsdaten vorhandenen Korrespondenzen zwischen den beiden Bildaufnahmearten sehr gut nachahmen, die Vorhersage >B ist also sehr ähnlich dem wahrem Bild IB. Fälle, welche stark von diesen Trainingsdaten abweichen, können im Allgemeinen durch das Modell nicht mehr gut abgedeckt werden, und führen in der Folge zu einer Diskrepanz zwischen dem simulierten Bild >B und dem aufgenommenen Bild IB, was letztendlich die Grundlage des hier vorgestellten erfindungsgemäßen Verfahrens bildet.

Wie bereits ausgeführt, kann das Erkennen von Unterschieden, insbesondere von Anomalien, automatisch mittels Bildanalyse erfolgen. So kann ein Quantifizieren von einfachen Metriken zwischen simuliertem Bild >B und zweitem Bild l B beispielsweise anhand der Differenz, des Betrags, wenigstens einer Korrelation, der Varianz, der Anwendung von Schwellenwerten etc. erfolgen. Alternativ kann maschinelles Lernen eingesetzt werden, beispielsweise um Metriken für die Bildauswertung zu verwenden.

Beim maschinellen Lernen sind dabei Methoden des überwachten Lernens und des unüberwachten Lernens zu unterscheiden. Beim überwachten Lernen wird basierend auf einem Lerndatensatz bestehend aus wahren Bildern, (vorhergesagten) simulierten Bildern sowie entsprechenden Annotationen bezüglich vorhandener Unterschiede gelernt, diese und weitere Unterschiede zu erkennen. Dabei können Klassifikationsmodelle und/oder Segmentierungsmodelle verwendet werden. Es können außerdem Unterschiede anhand von Bilddaten oder rechnerisch erkannt werden.

Beispielsweise sind bei der Nutzung eines Klassifikationsmodells Vorhersagen zum Auftreten einer Anomalie/eines Unterschieds in einem Bild (Ja/Nein-Entscheidung) möglich. Es können auch Vorhersagen zur Art des Unterschieds (z. B. kein Unterschied; Typ 1; Typ 2; ...) getroffen werden.

Wird ein Segmentierungsmodell angewandt, sind beispielsweise Segmentierungen des Bildes in Bereiche ohne Unterschiede („normal") und in Bereiche mit Unterschieden („abnormal") möglich. Alternativ kann eine Segmentierung des Bildes in Bereiche erfolgen, die vorbestimmten Kategorien von Unterschieden / Anomalietypen zugeordnet sind (z. B. kein Unterschied; Typ 1; Typ 2; ...).

Unterschiede können als solche oder sogar mit einer feineren Granularität (Typ 1; Typ 2; ...) erkannt werden, wenn zur Auswertung die Bilddaten (Detektion) herangezogen und genutzt werden.

Rechnerisch kann ein Unterschied beispielsweise mittels Berechnung von Regressionen aufgefunden und gegebenenfalls weiter spezifiziert werden. Dabei können zum Beispiel der Anteil der Zellen, welche von einer Anomalie betroffen sind oder Bild-Koordinaten der Unterschiede genutzt werden.

Beim unüberwachten Lernen können zum Beispiel Clustering-Algorithmen oder eine „klassische" Anomaliedetektion, z. B. durch Autoencoder, welcher als Eingabe das vorhergesagte als auch das wahre Bild verwendet, genutzt werden.

Für die machine-learning-basierten Verfahren können die Daten der simulierten Bilder >B und die Daten der zweiten Bilder l B als Eingabewerte dienen. Optional können außerdem die Daten der ersten Bilder sowie manuell oder automatisch ermittelte Kontextinformationen wie die Art der Probe und Informationen über die Kontrastmethoden (Art, verwendete Farbstoffe, Wellenlängen, etc.) und/oder Informationen über die Aufnahmebedingungen (Objektiv, Immersionsflüssigkeit, etc.) eingegeben werden.

Das erfindungsgemäße Verfahren kann zusätzlich oder alternativ zur Erfassung, Analyse und Bewertung aufgefundener Unterschiede anhand des Vergleichs des simulierten Bildes ( ^B ) der zweiten Bildaufnahmeart mit dem Bild (l B ) der zweiten Bildaufnahmeart für eine Bewertung der Güte des Simulationsmodells genutzt werden. Insbesondere wird eine Eignung des Simulationsmodells für die Vorhersage einer bestimmten Bildaufnahmeart und/oder eine Eignung für die Abbildung einer bestimmten Probenart indem eine Erfüllung vorbestimmter Gütekriterien überprüft wird.

Um einem Nutzer des erfindungsgemäßen Verfahrens eine Interaktion mit dem Verfahrensablauf zu eröffnen, kann in Abhängigkeit eines Ergebnisses der Prüfung zur Einhaltung der Gütekriterien ein aktuell erreichter Trainingszustand des zur Vorhersage des jeweiligen der Prüfung unterzogenen simulierten Bildes verwendeten Simulationsmodells ermittelt werden. Vorteilhaft wird dieser ermittelte Trainingszustand auf einer Anzeige dargestellt. Damit verbunden ist vorzugsweise eine Abfrage nach der Eingabe oder Auswahl mindestens eines Steuerbefehls, mittels dem beispielsweise weitere Iterationen des Trainingsablaufs des betreffenden Simulationsmodells getriggert werden können, wenn der aktuelle Trainingszustand nicht als ausreichend eingeschätzt wird. In weiteren Ausgestaltungen kann der ermittelte aktuelle Trainingszustand dem Nutzer angezeigt und im Falle eines nicht ausreichenden Trainingszustands automatisch erneut Trainingsdaten der aktuellen Probe erfasst und das Simulationsmodell nachtrainiert werden.

Die dem Nutzer zur Verfügung gestellten Informationen können außerdem Hinweise auf zu erwartende Artefakte in den jeweiligen simulierten Bildern geben, insbesondere wenn der Trainingszustand des Simulationsmodells als nicht geeignet oder nur bedingt geeignet eingestuft wird.

Eine derartige Interaktion mit einem Nutzer erlaubt diesem, Modelle selbst zu trainieren. Außerdem können aufgrund der vorgestellten Interaktion auch Nutzer ohne ausgewiesene Expertise auf dem Gebiet des maschinellen Lernens mit entsprechenden Systemen umgehen und werden vor fehlerhaften Ergebnissen aufgrund unzureichend trainierter Simulationsmodelle geschützt.

Um das erfindungsgemäße Bildauswertungsverfahren ausführen zu können, ist ein Mikroskop ausreichend, das Bildaufnahmen mit mindestens zwei Kontrastarten beziehungsweise mit mindestens zwei Kanälen einer Kontrastart erlaubt. Außerdem wird eine Auswerteeinheit, beispielsweise in Form eines Rechners, benötigt, die zur Ausführung des erfindungsgemäßen Bildauswertungsverfahrens konfiguriert ist. Optional kann eine Anzeige (Bildschirm, Monitor, Display) vorhanden sein, auf der beispielsweise das Differenzbild angezeigt wird. Zusätzlich kann eine Möglichkeit zur Eingabe von Daten und Befehlen (Schnittstelle, Tastatur, etc.) vorhanden sein.

Die beschriebene Erfindung betrifft ein Verfahren, welches Anomalien bzw. interessierende Bereiche in Bildern einer Probe automatisch erkennen kann. Mit dem erfindungsgemäßen Verfahren können im Vergleich zu vorbekannten Anomaliedetektionsverfahren (z. B. Autoencoder, One-Class-Classification) beispielsweise auch Fehler im Anfärben der Probe erkannt werden. Das Auffinden und optionale Klassifizieren von Unterschieden wie Anomalien und/oder interessierenden Bereichen ist eine technische Herausforderung, welche aufgrund immer größer werdender Datenmengen in Zukunft noch an Relevanz gewinnen wird.

Ein großer Vorteil des erfindungsgemäßen Verfahrens ist darin zu sehen, dass ein Vergleich der simulierten Bilddaten mit tatsächlich gemessenen Zieldaten stattfindet (sogenannte „Inferenz"). Durch diesen Vergleich jedoch ist die Bewertung der jeweiligen Modellgüte genauer und verlässlicher. Außerdem ist sie unabhängig von der Bewertung einer Zielverteilung. Im Gegensatz zum erfindungsgemäßen Verfahren werden in Verfahren nach dem Stand der Technik Eingabedaten oder Ausgabedaten des Modells direkt bewertet (gemeinhin als „Validierung" bezeichnet). Dabei wird beurteilt, ob diese zur Eingabe- beziehungsweise Ausgabe-Verteilung passen.

Das Auffinden von Unterschieden gemäß des erfindungsgemäßen Verfahrens erfolgt auf der Grundlage von neuen und bis dato nicht bekannten Bilddaten (Inferenz), indem ein zuvor abschließend trainiertes Modell in einem Arbeitsablauf angewendet wird. Das bedeutet auch, dass Bilddaten, in denen im Zuge der Inferenz mittels des erfindungsgemäßen Verfahrens potenzielle Unterschiede entdeckt werden sollen, nicht zuvor zum Training des Simulationsmodells verwendet worden sein dürfen. Im Gegensatz dazu wird bei einer Validierung, wie im Stand der Technik, die Performance eines Simulationsmodells anhand von Daten der Trainingsverteilung bewertet.

Die Erfindung wird nachfolgend anhand zweier Figuren beispielhaft erläutert. Die

Fig. 1 zeigt ein Mikroskop und einen schematischen Ablauf einer ersten Ausgestaltung des erfindungsgemäßen Bildauswertungsverfahrens; und

Fig. 2 zeigt ein Mikroskop und einen schematischen Ablauf einer zweiten Ausgestaltung des erfindungsgemäßen Bildauswertungsverfahrens.

Mittels eines Mikroskops 1, das Bildaufnahmen in mindestens zwei Kontrastarten beziehungsweise zusätzlich oder alternativ in mindestens zwei Kanälen einer Kontrastart erlaubt, wird ein erstes Bild einer ersten Bildaufnahmeart, beispielsweise im Hellfeld, erfasst. Das Mikroskop 1 ist mit einer Auswerteeinheit 2 in Form eines Rechners und einem Monitor als Anzeige 3 verbunden. Die Auswerteeinheit 2 weist zusätzlich einen Datenspeicher (nicht gezeigt) auf und ist derart konfiguriert, dass diese ausgehend von dem ersten Bild ein Bild ^B mittels eines Simulationsmodells derart simuliert, als ob das simulierte Bild I A^B mit einer zweiten Bildaufnahmeart, beispielsweise mit einer zweiten Kontrastart wie z. B. als ein Fluoreszenzbild, aufgenommen worden wäre. Die Daten des simulierten Bildes I A^B werden gespeichert. In Fig. 1 ist angedeutet, dass die im ersten Bild vorhandenen Strukturen mit geringer Punktierung im simulierten Bild I A^B nicht mehr vorhanden sind. Die Entscheidungskriterien, die zum Weglassen dieser Strukturen führen, können auf einem machine- learning-Verfahren (maschinelles Lernen) basieren.

Außerdem wird ein zweites Bild l B der Probe in der zweiten Bildaufnahmeart (z. B. Fluoreszenzbild) erfasst und gespeichert. Anschließend werden das simulierte Bild I A^B und das zweite Bild l B miteinander, beispielsweise mittels der entsprechend konfigurierten Auswerteeinheit 2, verglichen, um Unterschiede zwischen diesen aufzufinden. Aufgrund des Vergleichs wird beispielsweise ein Differenzbild l Diff erzeugt, in dem gegebenenfalls aufgefundene Unterschiede visualisiert sind.

Der im Differenzbild l Diff exemplarisch dargestellte Unterschied zwischen dem simulierten Bild I A^B und dem zweiten Bild l B ist eine mit einer netzartigen Schraffur versehene Struktur im rechten unteren Teil des Differenzbildes l Diff Diese Struktur wurde für das simulierte Bild ^B vorhergesagt, kann aber in dem zweiten Bild l B tatsächlich nicht bestätigt werden.

Die den Unterschied verkörpernde Struktur ist beispielweise aufgrund mangelnder Probenpräparation nicht mit der zweiten Bildaufnahmeart detektierbar. Es könnte sich auch um einen Strukturtyp (in Bild dicht punktiert dargestellt) der Probe handeln, der sich mit der ersten Bildaufnahmeart nicht von anderen (in Bild ebenfalls dicht punktiert dargestellten) Strukturtypen unterscheiden lässt. Eine Kategorisierung des Unterschieds kann anhand vorhandener und abrufbar gespeicherter Vorinformationen und/oder anhand der Charakteristika der Bildaufnahmearten manuell oder - vorzugsweise - automatisiert erfolgen.

Der weitere Umgang mit dem aufgefundenen Unterschied kann in Abhängigkeit seiner Kategorisierung erfolgen. Beispielsweise kann der Unterschied in der weiteren Bildauswertung ignoriert werden, gewichtet in die weitere Auswertung eingehen oder explizit ausgewählt und als interessierender Bereich (ROI) behandelt werden. Eine zweite Alternative des erfindungsgemäßen Verfahrens umfasst die Vorhersage eines simulierten Bildes I A^B der zweiten Bildaufnahmeart mittels eines Simulationsmodells ausgehend von dem Bild der ersten Bildaufnahmeart . Das simulierte Bild I A^B der zweiten Bildaufnahmeart dient wiederum in einem weiteren Schritt als Basis für die Vorhersage eines simulierten Bildes (IA^B)>IA der ersten Bildaufnahmeart. Das so erhaltene simulierte Bild (IA^B)>IA der ersten Bildaufnahmeart wird mit dem Bild I A der ersten Bildaufnahmeart verglichen. Aus dem Vergleich können sowohl vorhandene Unterschiede erfasst und analysiert werden als auch Rückschlüsse auf die Eignung des für die Vorhersage des simulierten Bildes I A^B der zweiten Bildaufnahmeart und des simulierten Bildes ( ^ B)>IA der ersten Bildaufnahmeart verwendeten Simulationsmodells gezogen werden. Als Entscheidungsgrundlage aus einem Vergleich kann das Einhalten beziehungsweise das Verfehlen vorab bestimmter Gütekriterien dienen. Diese Ausgestaltung des Verfahrens erfordert kein tatsächliches Erfassen des zweiten Bildes l B , sondern nutzt vorteilhaft dessen virtuelle Entsprechung.

Bezugszeichen

1 Mikroskop

2 Auswerteeinheit

3 Anzeige

IA erstes Bild (erste Bildaufnahmeart) l B zweites Bild (zweite Bildaufnahmeart)

IA->B simuliertes Bild loi ff Differenzbild