Die Erfindung betrifft ein Bewertungsverfahren für Simulationsmodelle in der Mikroskopie. Auf dem Gebiet der Mikroskopie werden zunehmend sogenannte Bild-zu-Bild-Modelle eingesetzt, um erfasste Bilder zu verbessern oder um aufwändige Kontrastarten zu simulieren. Letzteres kann mit dem Ziel erfolgen, empfindliche Proben zu schonen oder um eine per se nicht verfügbare Kontrastart trotzdem zur Verfügung stellen zu können.

Die hierfür verwendeten Simulationsmodelle können insbesondere Modelle auf der Basis maschinellen Lernens (ML-Modelle) sein. Derartige Simulationsmodelle werden mit Daten eines Trainingsdatensatzes angelernt und trainiert, wobei die dazu zur Verfügung stehenden Datensätze oft stark begrenzt sind und beispielsweise nur eine bestimmte Art von Proben und Aufnahmeparametern umfasst. Wird ein derart trainiertes Simulationsmodell auf vorher ungesehene, d.h. bis dato unbekannte, Bilddaten angewendet, kann es zu einer unzureichenden Qualität der Vorhersage kommen. So können zum Beispiel Artefakte auftreten, wenn sich die verwendeten Eingangsdaten des betreffenden Modells deutlich von den Trainingsdaten unterscheiden.

Bei der Verwendung von Simulationsmodellen ist es daher gewünscht, deren potenzielle Eignung bei einer Anwendung, insbesondere auf einen Datensatz mit unbekannten Eingangsdaten (z.B. out-of- distribution-data), zu prüfen. Es ist beispielsweise möglich, die Eingabe- oder Ausgabedaten eines Simulationsmodells zu bewerten, wie dies in der DE 102019 114012 Al und in der unveröffentlichten Anmeldung DE 102020 126554 beschrieben ist. Dabei wird überprüft, ob die tatsächlichen Eingabe beziehungsweise Ausgabedaten des Modells hinreichend zu erwarteten Eingabe- beziehungsweise Ausgabeverteilungen korrespondieren.

Nachteilig an einem solchen Vorgehen ist, dass Bild-zu-Bild- Anwendungen, beispielsweise beim sogenannten „Virtual Staining", sehr komplexe Anwendungen darstellen. Eine Prüfung der Eingabedaten lässt dabei keine sichere Aussage zum Auftreten von Artefakten zu. In einer Prüfung der Ausgabedaten ist es schwierig zu beurteilen, ob es sich bei ungewöhnlichen Ausgabedaten tatsächlich um Artefakte handelt oder ob lediglich ein seltenes, aber tatsächlich vorliegendes Ereignis abgebildet ist.

Der Erfindung liegt die Aufgabe zu Grunde, Möglichkeiten zur Bewertung von Simulationsmodellen vorzuschlagen, mittels denen Nachteile des Standes der Technik verringert werden.

Die Aufgabe wird dabei mit einem Bewertungsverfahren gemäß dem unabhängigen Anspruch gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.

Um die Erfindung nachfolgend übersichtlich erläutern zu können, sind drei alternative Ausgestaltungen des erfindungsgemäßen Verfahrens aufgeführt, deren jeweiligen Besonderheiten und Überschneidungen aufgezeigt werden. Dabei werden den Bildern und den Simulationsmodellen Indizes zugeordnet, um eine kompakte Beschreibung zu erlauben. Die Begriffe der Vorhersage oder Simulation werden im Zusammenhang mit der Erfindung gleichbedeutend im Sinne einer Abbildung oder einer virtuellen Projektion unter Anwendung einer mathematischen Funktion, eines Simulationsmodells und/oder eines Simulationsmodells des maschinellen Lernens („machine learning") verstanden.

In dem erfindungsgemäßen Bewertungsverfahren für Simulationsmodelle in der Mikroskopie, wird in einer ersten Alternative mit einer ersten Bildaufnahmeart ein erstes Bild einer Probe aufgenommen. Die dabei erfassten Bildwerte werden gespeichert. Ausgehend von dem ersten Bild wird ein simuliertes Bild I _A^B einer zweiten Bildaufnahmeart mittels eines Simulationsmodells SM _A^B vorhergesagt.

Das simulierte Bild _^B der zweiten Bildaufnahmeart dient wiederum als Datengrundlage (Eingangsdaten) eines Simulationsmodells SM( _A^B ) _^C , mittels dem ein simuliertes Bild I( _A^B ) _^C einer dritten Bildaufnahmeart vorhergesagt wird.

Um eine Vergleichsgrundlage für einen nachfolgenden Bildvergleich zu schaffen, wird ein drittes Bild lc der dritten Bildaufnahmeart aufgenommen und gespeichert. Dieses dritte Bild lc der dritten Bildaufnahmeart (nachfolgend auch kürzer: drittes Bild lc), das optional auch in einer Datenbank abrufbar vorgehalten sein kann, wird mit dem simulierten Bild I( _A^B ) _^C der dritten Bildaufnahmeart zur Prüfung der Einhaltung vorab festgelegter Qualitätskriterien (siehe unten) verglichen. Wird im Zuge des Vergleichs festgestellt, dass die Qualitätskriterien eingehalten sind, wird das Simulationsmodell SM _A^B als zulässig eingestuft.

In der ersten Alternative des erfindungsgemäßen Verfahrens werden die Ergebnisse der Vorhersage des simulierten dritten Bildes I( _A^B ) _^C mit dem tatsächlich erfassten dritten Bild lc verglichen. Auf diese Weise kann eine direkte Bewertung des Simulationsmodells SM( _A^B ) _^C vorgenommen werden. Die Bewertung des Simulationsmodells SM _A^B zur Vorhersage des simulierten zweiten Bildes I _A^B erfolgt implizit, da ein korrekt auf der Basis des simulierten zweiten Bildes I _A^B vorhergesagtes drittes Bild I( _{A ^B} ) _^C bedingt, dass auch die Vorhersage des simulierten zweiten Bildes I _A^B korrekt erfolgte.

In einer zweiten Alternative des erfindungsgemäßen Verfahrens wird ebenfalls mit einer ersten Bildaufnahmeart ein erstes Bild einer Probe aufgenommen und die Bildwerte gespeichert. Ausgehend von dem ersten Bild der ersten Bildaufnahmeart (nachfolgend auch kürzer: erstes Bild U) wird mittels eines Simulationsmodells SIVU _^ c ein simuliertes Bild _^ c einer dritten Bildaufnahmeart vorhergesagt. Es wird ein drittes Bild U mit der dritten Bildaufnahmeart aufgenommen und gespeichert. Gleichwertig ist wieder ein bereits zuvor aufgenommenes und beispielsweise in einer Datenbank abrufbar gespeichertes drittes Bild lc.

Das dritte Bild lc wird mit dem simulierten Bild _^ c der dritten Bildaufnahmeart zur Prüfung der Einhaltung vorab festgelegter Qualitätskriterien verglichen. Sind die Qualitätskriterien eingehalten, wird das Simulationsmodell SIVU _^ c zur Vorhersage des simulierten Bildes _^ c der dritten Bildaufnahmeart als zulässig eingestuft. Als Schlussfolgerung kann dabei auch gezogen werden, dass die verwendete Probe keine Besonderheiten aufweist, die nicht mit dem verfügbaren Simulationsmodell SM _A^C vorhergesagt werden können. Es kann daher angenommen werden, dass eine Anwendung eines Simulationsmodells SM _A^B ebenfalls ohne Probleme möglich ist und eine qualitativ hinreichende Vorhersage erfolgen wird.

Die dritte Alternative beinhaltet wieder den Verfahrensschritt der Aufnahme eines ersten Bildes ( ) einer Probe mit einer ersten Bildaufnahmeart und das Speichern der Bildwerte.

In der dritten Alternative sind zwei Vorgehensweise möglich. In der ersten Vorgehensweise wird ausgehend von dem ersten Bild ein simuliertes Bild I _A^B der zweiten Bildaufnahmeart mittels eines Simulationsmodells SM _A^B vorhergesagt. Ausgehend von diesem simulierten Bild I _A^B der zweiten Bildaufnahmeart wird anschließend mittels eines Simulationsmodells SM( _A^B ) _^A ein simuliertes Bild I( _{A ^B} ) _^A der ersten Bildaufnahmeart vorhergesagt und gespeichert.

Die zweite Vorgehensweise beginnt damit, dass ausgehend von dem ersten Bild mittels eines Simulationsmodells SM _A^C ein simuliertes Bild _^ c der dritten Bildaufnahmeart vorhergesagt wird. Dieses simulierte Bild _^ c der dritten Bildaufnahmeart ist nun Basis zur Vorhersage eines simulierten Bildes I( _A^C ) _^A der ersten Bildaufnahmeart mittels eines Simulationsmodells SM( _A ^ _A . Das simulierte Bild I( _A^C ) _^A wird gespeichert.

Um eine Bewertung des Simulationsmodells SM( _A ^ _A durchzuführen, wird das erste Bild ( ) mit dem nach der ersten Vorgehensweise erzeugten simulierten Bild I( _A^B ) _^A beziehungsweise mit dem nach der zweiten Vorgehensweise erzeugten simulierten Bild I( _A^C ) _^A der ersten Bildaufnahmeart zur Prüfung der Einhaltung vorab festgelegter Qualitätskriterien verglichen. Wird festgestellt, dass die Qualitätskriterien eingehalten sind, kann daraus geschlossen werden, dass das in der ersten Vorgehensweise bereits angewendete Simulationsmodell SM _A^B ebenfalls als zulässig eingestuft werden kann. Anderenfalls wären die Qualitätskriterien im Vergleich von simuliertem Bild I( _A^B ) _^A und ersten Bild nicht erfüllt worden.

Wurde die zweite Vorgehensweise gewählt, dann wird bei festgestellter Einhaltung der Qualitätskriterien eine Vorhersage eines simulierten Bildes I _A^B mittels des Simulationsmodells SM _A^B als zulässig angesehen. Diese Bewertung basiert auf der Annahme, dass die Probe keine Eigenschaften aufweist, die nicht mittels eines Simulationsmodells SM _A^B erfasst und entsprechend in der Vorhersage berücksichtigt werden.

In beiden Vorgehensweisen der dritten Alternative wird vorausgesetzt, dass eine Vorhersage auf ein anderes Bild und wieder zurück dann zu erheblichen Fehlern führen sollte, wenn die entsprechenden Eingangs- und/oder Ausgangsdaten nicht durch die jeweiligen Simulationsmodelle (siehe oben), hinreichend korrekt umgesetzt werden würden.

Die dritte Alternative betrifft also eine Ausgestaltung des Verfahrens, gemäß dem mittels der Simulationsmodelle eine Vorhersage in einer Schleife getroffen, wie dies beispielsweise auch in einem sogenannten CycleGAN (Cyclic Generative Adversarial Network) erfolgt.

Die dritte Alternative umfasst auch Sonderfälle beispielsweise der ersten Alternative. Wird zum Beispiel in der ersten Alternative statt des simulierten dritten Bildes der dritten Bildaufnahmeart direkt ein simuliertes Bild der ersten Bildaufnahmeart vorhergesagt, wird also der Kontrast A gleich dem Kontrast C gewählt, entspricht dies der ersten Vorgehensweise der dritten Alternative.

Das erfindungsgemäße Verfahren ermöglicht in allen seinen alternativen Ausgestaltungen, dass ein simuliertes Bild I _A^B einer zweiten Bildaufnahmeart mit einer hohen Vorhersagequalität und einer sehr hohen Vertrauenswürdigkeit bereitgestellt werden kann, ohne dass es erforderlich ist, tatsächlich ein zweites Bild l _B der zweiten Bildaufnahmeart als Referenz- oder Kontrollbild zu erfassen. Dieser Vorteil ist insbesondere dann gegeben, wenn eine Probe aus biologischen, technischen und/oder organisatorischen Gründen nicht mit der zweiten Bildaufnahmeart dargestellt werden kann. Dies kann beispielsweise der Fall sein, wenn die Probe nicht entsprechend gefärbt ist oder weil ein verwendetes Mikroskop die zweite Bildaufnahmeart nicht unterstützt.

Beispielsweise ist es möglich, dass ein Mikroskop keinen DAPI-Kontrast erlaubt, welcher sehr gut für die Darstellung von Zellkernen geeignet ist (DAPI ist die Abkürzung für einen Marker für AT-reiche Regionen der DNS). Ein solcher Kontrast ist aber von Vorteil für die Navigation innerhalb einer Probe, da Nutzer diesen Kontrast bereits von der Benutzung anderer Mikroskope her gewöhnt sind. Mittels eines Simulationsmodells, das beispielsweise mit Methoden des maschinellen Lernens auf typische Proben trainiert wurde, kann ein am Mikroskop verfügbarer Kontrast (Bildaufnahmeart; z. B. Hellfeld- Weitfeld) auf DAPI abgebildet werden. Das erfindungsgemäße Verfahren kann mit einer Vielzahl von Bildaufnahmearten ausgeführt werden. So können die erste, die zweite und die dritte Bildaufnahmeart beispielsweise unterschiedliche Kontrastverfahren und/oder verschiedene Kanäle eines Kontrastverfahrens sein. Unterschiedliche Kanäle können beispielsweise Fluoreszenzkanäle unterschiedlicher Wellenlänge sein, mittels denen unterschiedliche Strukturen abgebildet werden können. So kann beispielsweise ein Bild eines DAPI- Fluoreszenzkanals als simuliertes zweites Bild ausgehend von einem ersten Bild eines Fluoreszenzkanals erzeugt werden, der fluoreszenzmarkierte Mikrotubuli zeigt.

Neben unterschiedlichen Kontrastarten können auch gleiche Kontrastarten als verschiedene Bildaufnahmearten dienen, wenn diese sich hinsichtlich ihrer tatsächlichen Ausprägung hinreichend unterscheiden. Beispielsweise können zwei Bildaufnahmearten realisiert sein, wenn zwar dieselbe Kontrastart verwendet wird, aber unterschiedliche Beleuchtungsleistungen eines Kontrastverfahrens angewendet werden. Zum Beispiel kann für die erste Bildaufnahmeart eine sehr geringe Laserleistung eingesetzt werden, während für die dritte Bildaufnahmeart eine höhere Laserleistung verwendet wird. Eine zweite und/oder dritte Bildaufnahmeart kann auch dadurch gegeben sein, dass ein rekonstruiertes und entrauschtes zweites beziehungsweise drittes simuliertes Bild derselben Kontrastart erzeugt und bereitgestellt wird.

Die Bildaufnahmearten, von denen ausgehend die Simulation erfolgt, beziehungsweise die ein Ergebnis einer Simulation sind, können beispielsweise die Kontrastverfahren Hellfeld, Dunkelfeld, DIC (differentieller Interferenzkontrast) und Fluoreszenzverfahren sein. In Letzteren werden Strukturen der Probe spezifisch mit Fluoreszenzmarkern versehen und deren Fluoreszenzlicht detektiert.

In vorteilhaften Ausgestaltungen des erfindungsgemäßen Verfahrens wird die Vorhersage der simulierten Bilder mittels eines Simulationsmodells des maschinellen Lernens durchgeführt. Dadurch wird zum Beispiel eine Anwendbarkeit des Verfahrens auf verschiedene Proben bei zu erwartend gleichbleibend guten Vorhersagen erreicht.

Wie bereits weiter oben angeführt, müssen die in einer jeweiligen Ausgestaltung des Verfahrens verwendeten Bilddaten der Bilder und lc in der ersten und/oder dritten Bildaufnahmeart und/oder Bilddaten der simulierten Bilder nicht jedes Mal tatsächlich erneut generiert werden, sondern können als gespeicherte Daten vorgehalten und auf Anforderung abgerufen und verarbeitet werden.

Das erfindungsgemäße Verfahren kann vorteilhaft an Bereichen der Probe ausgeführt werden, die abseits derjenigen Bereiche liegen, die während eines nachfolgenden Experiments erfasst werden sollen. Eine tatsächliche Anwendung der als zulässig eingestuften Simulationsmodelle erfolgt also an einem anderen Ort der Probe als dem, an dem die Bewertung des Simulationsmodells vorher durchgeführt wurde. Auf diese Weise kann eine unerwünschte Beeinträchtigung der Probe, beispielsweise ein Bleichen von in der Probe vorhandenen Fluorophoren, vermieden werden.

Die im erfindungsgemäßen Verfahren verwendeten Bilddaten repräsentieren vorzugsweise denselben Bereich der Probe. Die erfassten Bildwerte werden dabei zueinander räumlich zugeordnet d.h. zueinander registriert.

Um die Zulässigkeit der Simulationsmodelle zu überprüfen, werden bei den Vergleichen von simulierten Bildern mit als Referenz dienenden Bildern vorab festgelegte Qualitätskriterien angewendet. Solche Qualitätskriterien können zum Beispiel vorab festgelegte Metriken und/oder strukturbasierte Vergleichswerte sein, die z. B. mittels einer Korrelation, einer loU (intersection over union) und/oder einem Vergleich von (Daten-)Verteilungen ermittelt werden.

Weiterhin können die Vergleiche unter Verwendung von ML-Modellen durchgeführt werden. So kann ein entsprechendes Modell angelernt werden, welche Unterschiede zwischen den verglichenen Bilddaten bewertet und/oder spezifische Anzeichen für eine Eignung beziehungsweise Nichteignung erkennt und auswertet. Es ist auch möglich, dass ML-Modelle auf das Erkennen von Unterschieden (Detektion von Anomalien; Novelty Detection) trainiert werden und diese für einen Vergleich eingesetzt werden.

Ein großer Vorteil des erfindungsgemäßen Verfahrens ist darin zu sehen, dass ein Vergleich der simulierten Bilddaten mit tatsächlich gemessenen Zieldaten stattfindet. Durch diesen Vergleich ist die Bewertung der jeweiligen Modellgüte genauer und verlässlicher als in Verfahren des Standes der Technik sowie unabhängig von der Bewertung einer Zielverteilung. Im Gegensatz zum erfindungsgemäßen Verfahren werden in Verfahren nach dem Stand der Technik Eingabedaten oder Ausgabedaten des Modells bewertet. Dabei wird beurteilt, ob diese zur Eingabedaten beziehungsweise Ausgabedaten-Verteilung passen.

In weiteren Ausgestaltungen des Verfahrens könne alternativ oder zusätzlich als Eingangsvariablen zur Prüfung der Qualitätskriterien situationsabhängige, probenabhängige und/oder nutzerabhängige Kontextinformationen verwendet werden. Derartige Kontextinformationen können beispielsweise Parameter des verwendeten Mikroskops sein, wie zum Beispiel die verwendete Vergrößerung und/oder die numerische Apertur. Weitere Informationen können beispielsweise die verwendeten Beleuchtungswellenlängen und Beleuchtungsintensitäten, die optionale Verwendung eines Immersionsmediums, die Art der Färbung der Probe, die Probenart an sich und/oder die Art und Weise der Präparation der Probe sein. Benutzerbezogene Informationen können in der Person des jeweiligen Benutzers liegen, Informationen über häufig von diesem verwendete Probenarten und/oder Präparationsweisen sein sowie beispielsweise bekannte individuelle Variationen in der Handhabung der Probe.

Um einem Nutzer des erfindungsgemäßen Verfahrens eine Interaktion mit dem Verfahrensablauf zu eröffnen, kann in Abhängigkeit eines Ergebnisses der Prüfung zur Einhaltung der Qualitätskriterien ein aktuell erreichter Trainingszustand des zur Vorhersage des jeweiligen der Prüfung unterzogenen simulierten Bildes verwendeten Simulationsmodells ermittelt werden. Vorteilhaft wird dieser ermittelte Trainingszustand auf einer Anzeige dargestellt. Damit verbunden ist vorzugsweise eine Abfrage nach der Eingabe oder Auswahl mindestens eines Steuerbefehls, mittels dem beispielsweise weitere Iterationen des Trainingsablaufs des betreffenden Simulationsmodells getriggert werden können, wenn der aktuelle Trainingszustand nicht als ausreichend eingeschätzt wird. In weiteren Ausgestaltungen kann der ermittelte aktuelle Trainingszustand dem Nutzer angezeigt und im Falle eines nicht ausreichenden Trainingszustands automatisch erneut Trainingsdaten der aktuellen Probe erfasst und das Simulationsmodell nachtrainiert werden.

Die dem Nutzer zur Verfügung gestellten Informationen können außerdem Hinweise auf zu erwartende Artefakte in den jeweiligen simulierten Bildern geben, insbesondere wenn der Trainingszustand des Simulationsmodells als nicht geeignet oder nur bedingt geeignet eingestuft wird.

Eine derartige Interaktion mit einem Nutzer erlaubt diesem, Modelle selbst zu trainieren. Außerdem können aufgrund der vorgestellten Interaktion auch Nutzer ohne ausgewiesene Expertise auf dem Gebiet des maschinellen Lernens mit entsprechenden Systemen umgehen und werden vor fehlerhaften Ergebnissen aufgrund unzureichend trainierter Simulationsmodelle geschützt.

Alle Alternativen des Verfahrens stellen ein simuliertes Bild _^B der zweiten Bildaufnahmeart zur Verfügung beziehungsweise eröffnen dessen Bereitstellung. Ein simuliertes Bild _^B der zweiten Bildaufnahmeart kann dabei in verschiedener Weise genutzt werden. Eine vorteilhafte Nutzungsmöglichkeit besteht darin, ein solches simuliertes Bild I _A^B in einem Verfahren zur Bildauswertung zu verwenden. In einem solchen Bildauswertungsverfahren, wird ein zweites Bild l _B mit der zweiten Bildaufnahmeart aufgenommen und gespeichert. Das simulierte Bild _^B der zweiten Bildaufnahmeart und das mit der zweiten Bildaufnahmeart aufgenommene zweite Bild l _B werden miteinander verglichen, um Unterschiede zwischen diesen aufzufinden. Dabei aufgefundene Unterschiede werden erfasst, analysiert und bewertet.

Solche Unterschiede zwischen dem simulierten zweiten Bild _^B und dem zweiten Bild l _B können besser oder sogar überhaupt erst erkannt werden, wenn zwischen mindestens zwei Bildaufnahmearten bestehende Gemeinsamkeiten und Unterschiede ausgenutzt und berücksichtigt werden. Unterschiede können beispielsweise auf dem üblicherweise in der Bild- und Signalverarbeitung auftretendem Rauschen beruhen. Artefakte der Probenbehandlung, beispielsweise der Probenpräparation, der Probenfärbung oder der Probenmarkierung, stellen ebenfalls Unterschiede dar und werden auch als Anomalien bezeichnet. Anomalien sind zum Beispiel fehlerhaft gefärbte Zellen oder Zellstrukturen. Unterschiede (Anomalien) können auch daher rühren, dass Zellen oder Zellbestandteile in unerwünschter beziehungsweise in unerwarteter Weise Färbung angenommen beziehungsweise nicht angenommen haben. Ferner kann ein verwendeter Farbstoff ein unerwartetes Verhalten zeigen, wie dies beispielsweise durch das Bleichverhalten eines Fluoreszenzfarbstoffes gegeben sein kann.

Unterschiede können auch durch strukturell auffällige Probenbereiche, z. B. verformte Zellbereiche, bedingt sein. Wird das Vorhandensein beziehungsweise Nichtvorhandensein einer bekannten Struktur als Unterschied angesehen, so kann dies mittels eines solchen Bildauswertungsverfahrens erkannt und erfasst werden. Dadurch unterscheidet sich ein solches Verfahren vorteilhaft von bekannten Methoden wie zum Beispiel Autoencodern oder One-Class-Classification.

Unterschiede können für den Nutzer von besonderem Interesse sein. Ein Bereich der Probe, in dem Unterschiede auftreten, kann daher auch als sogenannte ROI (region of interest) erkannt und gekennzeichnet werden. Anomalien und ROI werden hier vereinfachend als Unterschiede bezeichnet.

Werden im Zuge des Vergleichens Unterschiede aufgefunden, so können diese zuvor festgelegten Kategorien zugewiesen werden. Solche Kategorien sind beispielsweise Simulationsfehler; simulierte, jedoch im zweiten Bild nicht erfasste Strukturen; und/oder das Vorhandensein/Nichtvorhandensein wenigstens einer vorab definierten Struktur im zweiten Bild. Wenigstens eine Kategorie kann auch diejenigen Unterschiede beinhalten, die beispielsweise als Rauschartefakte eingeordnet werden und bei den weiteren Analysen nicht mehr berücksichtigt werden sollen.

Die Erfindung wird nachfolgend anhand von Ausgestaltungsbeispielen und Abbildungen erläutert. Es zeigen:

Fig. 1 ein Mikroskop und einen schematischen Ablauf einer Ausgestaltung des gemäß einer ersten Alternative des erfindungsgemäßen Verfahrens;

Fig. 2 ein Mikroskop und einen schematischen Ablauf einer Ausgestaltung des gemäß einer zweiten Alternative des erfindungsgemäßen Verfahrens;

Fig. 3 ein Mikroskop und einen schematischen Ablauf einer Ausgestaltung des gemäß einer ersten Vorgehensweise einer dritten Alternative des erfindungsgemäßen Verfahrens;

Fig. 4 ein Mikroskop und einen schematischen Ablauf einer Ausgestaltung des gemäß einer zweiten Vorgehensweise einer dritten Alternative des erfindungsgemäßen Verfahrens; und Fig. 5 ein Mikroskop und einen schematischen Ablauf eines Abschnitts des erfindungsgemäßen Verfahrens sowie eine Verwendung eines simulierten zweiten Bildes.

In den Figuren 1 bis 4 werden Alternativen des erfindungsgemäßen Verfahrens zur Bewertung der Güte und Eignung verwendeter Simulationsmodelle dargestellt. Diese Alternativen können in ein Verfahren inkorporiert werden, wie dies zu Fig. 5 erläutert wird.

Mittels eines Mikroskops 1, das Bildaufnahmen in mindestens zwei Kontrastarten beziehungsweise zusätzlich oder alternativ in mindestens zwei Kanälen einer Kontrastart erlaubt, wird ein erstes Bild einer ersten Bildaufnahmeart, beispielsweise im Hellfeld, erfasst (Fig. 1). Das Mikroskop 1 ist mit einer Auswerteeinheit 2 in Form eines Rechners und einem Monitor als Anzeige 3 verbunden. Die Auswerteeinheit 2 weist zusätzlich einen Datenspeicher (nicht explizit gezeigt) auf und ist derart konfiguriert, dass diese unter Anwendung eines Simulationsmodells SM _A^B ausgehend von dem ersten Bild ein Bild I _A^B derart simuliert beziehungsweise simulieren kann, als ob das simulierte Bild I _A^B mit einer zweiten Bildaufnahmeart, beispielsweise mit einer zweiten Kontrastart, z. B: als ein Fluoreszenzbild, aufgenommen worden wäre.

Eine erste Alternative des erfindungsgemäßen Verfahrens ist in der Fig. 1 schematisch dargestellt. Ausgehend von dem ersten Bild der ersten Bildaufnahmeart wird mittels eines Simulationsmodells SM _A^B ein simuliertes Bild I _A^B der zweiten Bildaufnahmeart vorhergesagt. Auf dessen Basis wird mittels eines Simulationsmodells SM( _A^B ) _^C ein simuliertes Bild (I _A^B ) _^C einer dritten Bildaufnahmeart vorhergesagt. Es wird außerdem tatsächlich ein Bild lc der dritten Bildaufnahmeart von dem vorhergesagten Bereich der Probe erfasst und mit dem simulierten Bild (I _A^B ) _^C hinsichtlich der Einhaltung vorab festgelegter Qualitätskriterien verglichen. Sind die Qualitätskriterien eingehalten (Symbol: Y), wird daraus die Schlussfolgerung abgeleitet, dass sowohl das Simulationsmodell SM _A^B als auch das Simulationsmodell SM( _A^B ) _^C hinreichend gut geeignet sind. Sollten während wenigstens einer der Simulationen erhebliche Fehler aufgetreten sein, wird angenommen, dass sich diese in einem entsprechend negativen Ergebnis des Vergleichs von simuliertem Bild (I _A^B ) _^C und Bild lc niederschlagen. Bei einem positiven Ergebnis des Vergleichs kann das bereits simulierte Bild I _A^B der zweiten Bildaufnahmeart für eine weitere Verwendung und/oder Auswertung zur Verfügung gestellt werden (siehe zum Beispiel Fig. 5).

Wird bei dem durchgeführten Vergleich festgestellt, dass die Qualitätskriterien nicht erfüllt sind, können beide Simulationsmodelle SM _A^B und SM( _A^ß ) _^ c mit neuen Daten, insbesondere der Probe, nachtrainiert werden. Lässt das festgestellte Ergebnis des Vergleichs die konkrete Entscheidung zu, welches der Simulationsmodelle SM _A^B und SM( _A ^ _C noch nicht hinreichend trainiert ist, kann ein Nachtrainieren auf dieses Simulationsmodell beschränkt werden. Optional können Informationen zum aktuellen Trainingszustand wenigstens eines der Simulationsmodelle SM _A^B und SM( _A^B ) _^C auf der Anzeige 3 einem Nutzer angezeigt werden. Eine Entscheidung zum Nachtrainieren kann durch den Nutzer aktiv getroffen werden, indem eine entsprechende Eingabe getätigt und daraufhin ein entsprechender Steuerbefehl generiert wird. Die vorstehend getroffenen Aussagen gelten entsprechend für alle Ausführungsbeispiele (Fig. 1 bis 5) und alle Simulationsmodelle.

In der Fig. 2 wird eine zweite Alternative des erfindungsgemäßen Verfahrens illustriert. Ausgehend von einem ersten Bild der ersten Bildaufnahmeart wird mittels eines Simulationsmodells SM _A^C ein simuliertes Bild einer dritten Bildaufnahmeart vorhergesagt. Außerdem wird tatsächlich von dem vorhergesagten Bereich der Probe ein Bild lc der dritten Bildaufnahmeart erfasst und mit dem simulierten Bild _^ c hinsichtlich der Einhaltung vorab festgelegter Qualitätskriterien verglichen. Sind die Qualitätskriterien eingehalten (Symbol Y), wird das Simulationsmodell SM _A^C als anwendbar bewertet. Dieses Ergebnis lässt den Schluss zu, dass die Probe beziehungsweise deren Bilddaten keine unüblichen Werte enthalten oder keine für eine Vorhersage problematische Bereiche der Probe betreffen. Die positive Bewertung des Simulationsmodells SM _A^C erlaubt die Annahme, dass eine Vorhersage eines simulierten Bildes I _A^B der zweiten Bildaufnahmeart ebenfalls hinreichend präzise erfolgen wird. Mittels eines Simulationsmodells SM _A^B wird dann ausgehend von dem ersten Bild das simulierte Bild I _A^B vorhergesagt. Dieses kann bereitgestellt und einer weiteren Verwendung und/oder Auswertung zugeführt werden.

Die Fig. 3 stellt schematisch eine erste Vorgehensweise der dritten Alternative des erfindungsgemäßen Verfahrens dar. Ausgehend von einem ersten Bild der ersten Bildaufnahmeart wird mittels eines Simulationsmodells SM _A^B ein simuliertes Bild I _A^B einer zweiten Bildaufnahmeart vorhergesagt. Die Bilddaten dieses simulierten Bildes I _A^B der zweiten Bildaufnahmeart repräsentieren wiederum die Eingangsdaten eines Simulationsmodells SM( _A^B ) _^A , mittels dem ein simuliertes erstes Bild I( _A^B ) _^A der ersten Bildaufnahmeart vorhergesagt wird.

Das ursprüngliche erste Bild und das simulierte erste Bild I( _A^B ) _^A werden im Zuge einer Prüfung miteinander hinsichtlich der Einhaltung vorbestimmter Qualitätskriterien verglichen. Sind im Ergebnis die Qualitätskriterien erfüllt (Symbol Y) wird geschlussfolgert, dass beide Simulationsmodelle SM _A^B und SM( _A^B ) _^A hinreichend gut trainiert sind.

Das bereits simulierte Bild I _A^B der zweiten Bildaufnahmeart kann gespeichert und weiteren Verwendungen zur Verfügung gestellt werden.

Eine zweite Vorgehensweise der dritten Alternative des erfindungsgemäßen Verfahrens beginnt wieder mit dem Bereitstellen des ersten Bildes der ersten Bildaufnahmeart (Fig. 4). Ausgehend von dem ersten Bild wird mittels eines Simulationsmodells SM _A^C ein simuliertes Bild einer dritten Bildaufnahmeart vorhergesagt.

Die Bilddaten dieses simulierten Bildes _^ c der dritten Bildaufnahmeart repräsentieren wiederum die Eingangsdaten eines Simulationsmodells SM( _A^C ) _^A , mittels dem ein simuliertes erstes Bild I( _A^C ) _^A der ersten Bildaufnahmeart vorhergesagt wird.

Das ursprüngliche erste Bild und das simulierte erste Bild I( _A^C ) _^A werden im Zuge einer Prüfung miteinander hinsichtlich der Einhaltung vorbestimmter Qualitätskriterien verglichen. Sind im Ergebnis die Qualitätskriterien erfüllt (Symbol Y) wird geschlussfolgert, dass die Probe keine Besonderheiten aufweist und die Anwendung des Simulationsmodells SM _A^B ein simuliertes Bild I _A^B der zweiten Bildaufnahmeart erwarten lässt, das die Qualitätskriterien ebenfalls erfüllt. Das simulierte Bild I _A^B kann vorhergesagt und bereitgestellt werden.

In allen zu den Figuren 1 bis 4 erläuterten Ausgestaltungen des erfindungsgemäßen Verfahrens wird entweder ein simuliertes Bild I _A^B der zweiten Bildaufnahmeart vorhergesagt oder kann vorhergesagt werden. In beiden Fällen kann das simulierte Bild I _A^B gespeichert und in einem weiteren Verfahren verwendet werden, wie dies beispielhaft zu Fig. 5 erläutert wird.

In Fig. 5 wird eine solche mögliche Verwendung des erfindungsgemäßen Verfahrens schematisch dargestellt, bei dem Unterschiede zwischen Bildern unterschiedlicher Bildaufnahmearten ermittelt und ausgewertet werden. Dabei ist auf die Verwendung des simulierten Bild I _A^B einer zweiten Bildaufnahmeart abgehoben, welches mittels des erfindungsgemäßen Verfahrens bereitgestellt werden kann beziehungsweise während der Durchführung des erfindungsgemäßen Verfahrens erzeugt und bereitgestellt wird (siehe oben). Mit dem Mikroskop 1 wird ein erstes Bild einer ersten Bildaufnahmeart, beispielsweise im Hellfeld, erfasst. Mittels der entsprechend konfigurierten Auswerteeinheit 2 wird ausgehend von dem ersten Bild unter Verwendung eines Simulationsmodells SM _A^B ein simuliertes Bild _^B vorhergesagt, beispielsweise als ein Fluoreszenzbild. Die Daten des simulierten Bildes _^B werden gespeichert. In Fig. 5 ist angedeutet, dass die im ersten Bild vorhandenen Strukturen mit geringer Punktierung im simulierten Bild _^B nicht mehr vorhanden sind.

Außerdem wird ein zweites Bild l _B der Probe in der zweiten Bildaufnahmeart (z. B. Fluoreszenzbild) tatsächlich erfasst und gespeichert. Anschließend werden das simulierte Bild _^B und das zweite Bild l _B miteinander, beispielsweise mittels der entsprechend konfigurierten Auswerteeinheit 2, verglichen, um Unterschiede zwischen diesen aufzufinden. Aufgrund des Vergleichs wird beispielsweise ein Differenzbild l _Diff erzeugt, in dem gegebenenfalls aufgefundene Unterschiede visualisiert und optional auf der Anzeige 3 dargestellt sind.

Der im Differenzbild l _Diff exemplarisch dargestellte Unterschied zwischen dem simulierten Bild I _A^B und dem zweiten Bild l _B ist eine mit einer netzartigen Schraffur versehene Struktur im rechten unteren Teil des Differenzbildes l _Diff Diese Struktur wurde für das simulierte Bild _^B vorhergesagt, kann aber in dem zweiten Bild l _B tatsächlich nicht bestätigt werden.

Die den Unterschied verkörpernde Struktur ist beispielweise aufgrund mangelnder Probenpräparation nicht mit der zweiten Bildaufnahmeart detektierbar. Es könnte sich auch um einen Strukturtyp (in Bild dicht punktiert dargestellt) der Probe handeln, der sich mit der ersten Bildaufnahmeart nicht von anderen (in Bild ebenfalls dicht punktiert dargestellten) Strukturtypen unterscheiden lässt. Eine Kategorisierung des Unterschieds kann anhand vorhandener und abrufbar gespeicherter Vorinformationen und/oder anhand der Charakteristika der Bildaufnahmearten manuell oder - vorzugsweise - automatisiert erfolgen.

Der weitere Umgang mit dem aufgefundenen Unterschied kann in Abhängigkeit seiner Kategorisierung erfolgen. Beispielsweise kann der Unterschied in der weiteren Bildauswertung ignoriert werden, gewichtet in die weitere Auswertung eingehen oder explizit ausgewählt und als interessierender Bereich (ROI) behandelt werden.