MIKROSKOPBILDERN

TECHNISCHES GEBIET

Die vorliegende Offenbarung bezieht sich auf ein Mikroskopiesystem und ein Verfahren zum Verarbeiten von Mikroskopbildern.

HINTERGRUND

Mit einem Mikroskop aufgenommene Bilder (Mikroskopbilder) werden typischerweise von einem Nutzer ausgewertet, wozu teilweise automatisierte Verarbeitungsschritte genutzt werden können. Beispielsweise werden Maschinenlernalgorithmen, insbesondere Deep-Learning-Algorithmen für verschiedene Aufgaben verwendet, etwa für eine Bildsegmentierung, Detektion, Objektidentifikation, Objekt- oder Bildklassifikation oder eine Bild-zu-Bild-Abbildung. Ein Maschinenlernalgorithmus weist allgemein freie Parameter auf, welche anhand von Trainingsdaten automatisch bestimmt werden. Anschließend kann der Maschinenlernalgorithmus auf die Mikroskopbilder angewandt werden, beispielsweise um die Bilder in Probenbereiche und Hintergrundbereiche zu segmentieren.

Ein Beispiel eines solchen Maschinenlernalgorithmus ist ein faltendes neuronales Netzwerk (englisch: Convolutional Neural Network, CNN), wie etwa beschrieben in „Imagenet Classification with deep convolutional neural networks” von KRIZHEVSKY, Alex; SUTSKEVER, llya; HINTON, Geoffrey E., veröffentlicht in „Advances in neural Information Processing Systems“, 2012, Seiten 1097-1105. Ein CNN besteht aus aufeinanderfolgenden Schichten, welche hauptsächlich Faltungs- und N ichtl inearitäts- Operationen umsetzen. Die Architektur eines CNN ist definiert durch die Anordnung solcher Schichten. Die freien Parameter beispielsweise für die Faltungs-Operationen sind die Werte der Faltungs-Masken. Während die Architektur vorgegeben und für ein CNN fix ist, werden die freien Parameter durch beispielsweise stochastischen Gradientenabstieg mit Hilfe von annotierten Bilddaten (Trainingsdaten) gelernt.

Ein Mikroskop kann prinzipiell mit einem fertig trainierten Modell ausgeliefert werden. Alternativ kann ein Mikroskop auch mit einem noch nicht trainierten Modell ausgeliefert werden, welches sodann durch einen Mikroskopnutzer/Anwender mit eigenen Bildern trainiert wird. Das trainierte Modell kann sodann Verarbeitungs- oder Auswertungsschritte an aufgenommenen Mikroskopbildern durchführen.

Oftmals ist es aber nötig, einen Maschinenlernalgorithmus fortlaufend zu verbessern, beispielsweise falls neuartige Proben oder Probengefäße erkannt werden sollen, die zum Zeitpunkt des ursprünglichen Modell-Trainings noch nicht existierten oder nicht verfügbar waren. Ein solches zusätzliches Training kann prinzipiell beim Mikroskophersteller oder beim Mikroskopnutzer erfolgen.

Erfolgt das Training bei Mikroskopnutzern, wäre es vorteilhaft, wenn die verschiedenen trainierten Modelle mehrerer Mikroskopnutzer zu einem besonders leistungsfähigen Gesamtmodell zusammengeführt werden könnten. Es ist allerdings gegenwärtig kein Verfahren bekannt, wie verschiedene fertig trainierte Modelle effizient zusammengeführt werden könnten.

Alternativ wäre es wünschenswert, wenn die von verschiedenen Mikroskopnutzern aufgenommenen Mikroskopbilder gemeinsam als Trainingsdaten genutzt werden können. Dies erfordert die Übertragung der Mikroskopbilder verschiedener Nutzer an eine zentrale Stelle, beispielsweise an den Mikroskophersteller. An der zentralen Stelle kann ein Gesamtmodell mit Hilfe von Trainingsdaten, welche die Mikroskopbilder zahlreicher Nutzer umfassen, gebildet werden. Anschließend kann dieses Gesamtmodell wieder an alle Mikroskopnutzer verteilt werden, welche sodann von den Verbesserungen des Gesamtmodells profitieren. Dieses Vorgehen erfordert die Weitergabe eigener Mikroskopbilder, was jedoch von manchen Mikroskopnutzern nicht gewünscht ist oder ihnen rechtlich untersagt ist. Mikroskopbilder mit sensiblen Daten können daher gegenwärtig nicht genutzt werden, um ein Gesamtmodell, basierend auf den Daten verschiedener Mikroskopnutzer, zu bilden. Um sensible Informationen aus Bildern zu entfernen, könnten sensible Bildbereiche prinzipiell verpixelt oder verrauscht werden, wie z.B. in EP 3 188 058 A1 beschrieben. Hierdurch werden aber Bilder erzeugt, in denen manche Bildbereiche keine Informationen tragen, womit solche Bilder in der Regel ungeeignet sind, um als Trainingsdaten eines Maschinenlernmodells eingesetzt zu werden. Eine gewisse Verbesserung demgegenüber wird durch ein Verfahren erzielt, das in EP 3 451 209 A1 beschrieben ist: Hier wird zunächst mit Hilfe eines GAN (Generative Adversarial Network) aus Trainingsdaten ein Modell gelernt, welches Informationen eines Eingabebildes durch allgemeine Inhalte ersetzen kann. Wird nun ein Bild mit sensiblen Daten eingegeben, kann hieraus ein Ausgabebild berechnet werden, in welchem die sensiblen Daten durch allgemeine Inhalte ersetzt sind. Das Ausgabebild kann dadurch echt aussehen und ist insbesondere nicht verrauscht oder verpixelt. Allerdings müssen für dieses Vorgehen die Trainingsdaten genügend stark dem Eingabebild ähneln, um realistische Ausgabebilder erzeugen zu können - dies ist jedoch nicht unbedingt gewährleistet, wenn es sich bei den Eingabebildern um neuartige Mikroskopbilder handelt, die von bisherigen Trainingsdaten abweichen. Gerade solche neuartigen Mikroskopbilder, die beispielsweise andere Probenarten oder Probenträgerarten zeigen oder mit anderen Beleuchtungsverhältnissen aufgenommen sind, sind aber vorliegend besonders interessant, um die bisher vorhandenen Trainingsdaten zu ergänzen. Ein weiterer Nachteil der in EP 3 451 209 A1 beschriebenen Vorgehensweise besteht für die vorliegende Aufgabenstellung darin, dass die generierten Bildinhalte allgemeine Informationen darstellen, die das Modell an Hand der bereits vorhandenen Trainingsdaten gelernt hat. Es werden somit Bildinhalte aus einer statistischen Verteilung erzeugt, die bereits im Training des Modells berücksichtigt wurde. Hierdurch sinkt der Wert, den die erzeugten Ausgabebilder als neue Trainingsbilder darstellen können.

Daher ist die Frage offen, wie individuelle Daten oder Modelle verschiedener Mikroskopnutzer zu einem Gesamtmodell zusammengeführt werden können, ohne dass sensible Informationen der Nutzer preisgegeben werden müssen.

Neben dem vorgenannten Anwendungsfall des maschinellen Lernens betrifft die vorliegende Erfindung auch andere Anwendungen, bei denen es möglich sein soll, Bilddaten eines Mikroskopnutzers auszuwerten oder zu verarbeiten, ohne sensible Informationen zu übertragen. KURZFASSUNG

Als eine A u f g a b e der Erfindung kann angesehen werden, ein Mikroskopiesystem und ein Verfahren zum Verarbeiten von Mikroskopbildern anzugeben, wodurch Mikroskopbilder trotz sensibler Informationen effizient genutzt werden können.

Diese Aufgabe wird durch das Verfahren mit den Merkmalen des Anspruchs 1 und durch das Mikroskopiesystem mit den Merkmalen des Anspruchs 14 gelöst.

Bei einem erfindungsgemäßen Verfahren zum Verarbeiten von Mikroskopbildern wird mindestens ein erster Bilddatensatz eines Mikroskops erhalten. Der erste Bilddatensatz kann direkt vom Mikroskop übertragen sein oder vorab mit dem Mikroskop aufgenommen sein und aus einer Datenbank geladen werden. Mittels einer ersten Recheneinrichtung wird nun mindestens ein erstes generatives Modell geschätzt, welches den ersten Bilddatensatz beschreibt. Anschließend wird entweder ein erster generierter Bilddatensatz durch das erste generative Modell erzeugt und an eine Datenauswertungseinrichtung übertragen, oder alternativ wird das erste generative Modell an eine Datenauswertungseinrichtung übertragen und anschließend wird mit dem übertragenen ersten generativen Modell ein erster generierter Bilddatensatz erzeugt. Darauf erfolgt die Auswertung des ersten generierten Bilddatensatzes mit Hilfe der Datenauswertungseinrichtung.

Ein Mikroskopiesystem der Erfindung umfasst eine erste Recheneinrichtung, welche eingerichtet ist zum Erhalten von mindestens einem ersten Bilddatensatz eines Mikroskops und zum Schätzen mindestens eines ersten generativen Modells, welches den ersten Bilddatensatz beschreibt. Das Mikroskopiesystem umfasst außerdem eine Datenauswertungseinrichtung, welche eingerichtet ist zum Auswerten eines ersten generierten Bilddatensatzes. Entweder ist die erste Recheneinrichtung dazu eingerichtet, den ersten generierten Bilddatensatzes durch das erste generative Modell zu erzeugen und an die Datenauswertungseinrichtung zu übertragen, oder die Datenauswertungseinrichtung ist dazu eingerichtet, das erste generative Modell von der ersten Recheneinrichtung zu empfangen und den ersten generierten Bilddatensatz durch das erste generative Modell zu erzeugen.

Durch die Erfindung kann eine Datenauswertungseinrichtung Informationen aus einem Bilddatensatz nutzen, ohne dass der Bilddatensatz selbst an die Datenauswertungs einrichtung übertragen würde. Vielmehr wird lediglich ein Modell, dass die Bilddaten beschreibt, oder alternativ ein aus diesem Modell generierter Datensatz übertragen. Auch bei sensiblen Daten können so Informationen abgeleitet und genutzt werden. Die generierten Bilddaten stellen hierbei keine verarbeiteten, vom Mikroskop aufgenommenen Bilddaten dar (wie beispielsweise in dem Fall, dass vom Mikroskop aufgenommene Bilddaten in der Schärfe reduziert würden oder Bildteile ausgeblendet würden, bevor eine Übertragung an eine Datenauswertungseinrichtung erfolgt). Vielmehr können die generierten Bilddaten vollständig aus dem generativen Modell erzeugte Daten sein. Wird allein das generative Modell übertragen, und keine Bilddaten, so kann die zu übertragende Datenmenge zudem erheblich reduziert werden.

Optionale Gestaltungen

Vorteilhafte Varianten des erfindungsgemäßen Mikroskopiesystems und des erfindungsgemäßen Verfahrens sind Gegenstand der abhängigen Ansprüche und werden in der folgenden Beschreibung erläutert.

Verwenden von generierten Bilddaten für Maschinenlernalgorithmen

Die Auswertung des ersten generierten Bilddatensatzes mit Hilfe der Datenauswertungseinrichtung kann insbesondere umfassen, diesen generierten Bilddatensatz als Trainingsdaten für einen Maschinenlernalgorithmus zu verwenden. In dieser Weise kann ein Maschinenlernalgorithmus passend für eine Art des ersten Bilddatensatzes trainiert werden, ohne dass die Trainingsdaten des Maschinenlernalgorithmus Originalbilder des ersten Bilddatensatzes umfassen müssten. Insbesondere kann hiermit auch ein bereits trainierter Maschinenlernalgorithmus verbessert werden, indem vorhandene Trainingsdaten um den generierten Bilddatensatz ergänzt werden. Der in dieser Weise verbesserte, trainierte Maschinenlernalgorithmus kann anschließend an die erste Recheneinrichtung und/oder andere Recheneinrichtungen übertragen werden. Dadurch können beliebige Recheneinrichtungen von den Bilddaten profitieren, ohne dass diese je preisgegeben werden mussten.

Besondere Vorteile ergeben sich, wenn durch mehrere Mikroskope mit jeweiliger Recheneinrichtung jeweils mindestens ein Bilddatensatz aufgenommen und hieraus jeweils ein generatives Modell geschätzt wird. Mit jedem generativen Modell wird ein jeweiliger generierter Bilddatensatz erzeugt, wobei die Datenauswertungseinrichtung die mehreren generierten Bilddatensätze gemeinsam auswertet. Werden die generierten Bilddatensätze gemeinsam als Trainingsdaten eines Maschinenlernalgorithmus verwendet, können die Informationen aus Bilddaten verschiedener Mikroskope zusammengetragen werden. Hierin liegt ein entscheidender Vorteil zum Stand der Technik, wie er obenstehend diskutiert wurde. Beim Stand der Technik ist es nicht möglich, einen Maschinenlernalgorithmus mit den Bilddaten verschiedener Nutzer bzw. Mikroskope zu trainieren, ohne dass die Bilddaten selbst und damit verbundene sensible Informationen preisgegeben würden oder rechtliche Hindernisse die Bildweitergabe beeinträchtigen. Dieses Problem wird durch die Nutzung generativer Modelle umgangen.

Beispielsweise kann ein Maschinenlernalgorithmus eine Segmentierung eines Mikroskopbildes in verschiedene Bildbereiche durchführen, insbesondere Bildbereiche von Probengefäßen und dazwischenliegende Bildbereiche ohne Probe. Verwendet ein Mikroskopnutzer einen neuartigen Probenträger, in dem mehrere Probengefäße in neuartiger Form angeordnet sind, so kann es sein, dass der Maschinenlernalgorithmus die Bildbereiche der Probengefäße nur fehlerhaft erkennt. Zunächst wird nun ein generatives Modell erzeugt, welches Bilder generieren kann, in denen eine örtliche Verteilung und die Anzahl an Probengefäßen (oder eine Verteilung der Anzahl an Probengefäßen) mit den aufgenommenen Bildern übereinstimmt. Visuelle Details der Proben selbst bleiben hingegen unberücksichtigt. Mit dem generierten Bilddatensatz kann nun die Datenauswertungseinrichtung den Maschinenlernalgorithmus trainieren, so dass dieser auch für die neuartigen Probenträger geeignet ist. Anschließend kann der so trainierte Maschinenlernalgorithmus an zahlreiche Mikroskopnutzer übertragen werden, die nun alle von der Verbesserung profitieren können.

Allgemeiner ausgedrückt, kann der Maschinenlernalgorithmus, der mit den generierten Bilddatensätzen trainiert ist, die auf verschiedene Mikroskope oder Rechen- einrichtungen zurückgehen, an die jeweiligen Recheneinrichtungen übertragen werden, die insbesondere verschiedenen Mikroskopen zugeordnet sein können.

Werden die verschiedenen generativen Modelle von mehreren Mikroskopen bzw. Recheneinrichtungen an die Datenauswertungseinrichtung übertragen, so kann in verhältnismäßig leichter Weise vermieden werden, dass bestimmte Bilddaten überrepräsentiert sind und zu einem Datenbias führen. Denn die Anzahl an Bildern, die mit demselben generativen Modell erzeugt wird und als Trainingsdaten für einen Maschinenlernalgorithmus verwendet wird, kann variabel festgelegt werden. Insbesondere können verschiedene Anzahlen an Bildern aus unterschiedlichen generativen Modellen als Trainingsdaten erzeugt und verwendet werden.

Auswertung eines generierten Bilddatensatzes

Neben der vorgenannten Anwendung, generierte Bilddatensätze zu Trainingszwecken eines Maschinenlernalgorithmus einzusetzen, sind auch alternative oder zusätzliche Auswertungsschritte möglich:

So kann ein generierter Bilddatensatz (insbesondere der erste bzw. jeder Bilddatensatz) als Testdaten für einen (klassischen) Bildverarbeitungsalgorithmus verwendet werden, welcher ohne Maschinenlernalgorithmen arbeitet. Der Bildverarbeitungsalgorithmus erzeugt aus dem generierten Bilddatensatz Verarbeitungsergebnisse und anschließend wird eine Qualität der Verarbeitungsergebnisse bewertet. Beispielsweise kann der Bildverarbeitungs algorithmus dazu eingerichtet sein, Objekte zu lokalisieren oder Schritte einer Autofokussierung durchzuführen. Die Qualitätsbewertung kann durch einen Anwender erfolgen oder durch eine Software, insbesondere auch einen entsprechend trainierten Maschinenlernalgorithmus. Ein Qualitätsmaß ist anwendungsabhängig und kann beispielsweise ein Bildschärfemaß sein oder eine Bewertung der Form eines zusammenhängenden lokalisierten Gebiets, beispielsweise ob im Bild die Form von rechteckigen Deckglaskanten korrekt erkannt wurde. Bei dieser Anwendung können die Bilddaten eines Mikroskopnutzers zur Bewertung oder Verbesserung eines Bildverarbeitungsalgorithmus genutzt werden, ohne dass der Mikroskopnutzer die von ihm aufgenommenen Bilder an sich preisgeben muss. Das Auswerten des ersten generierten Bilddatensatzes mit Hilfe der Datenauswertungseinrichtung kann auch ein Abschätzen einer Qualität des zugehörigen Mikroskops umfassen. In dieser Weise können beispielsweise Fehleinstellungen des Mikroskops erkannt werden, ohne dass der Mikroskopnutzer die von ihm aufgenommenen Bilder weiterleiten oder zeigen muss, was beispielsweise durch rechtliche Regeln beschränkt sein kann. Die Qualitätsabschätzung kann durch einen Menschen, teilweise durch Software oder vollständig durch Software erfolgen. Abhängig von der Qualitätsbewertung kann eine Handlungsanweisung zur Änderung einer Mikroskopeinstellung an den Nutzer des Mikroskops übertragen werden, insbesondere von der Datenauswertungseinrichtung an die zum Mikroskop gehörende Recheneinrichtung.

Generatives Modell

Das generative Modell kann beispielsweise erzeugende gegnerische Netzwerke (englisch: Generative Adversarial Networks, GAN) umfassen. Die GAN ermitteln / berechnen basierend auf einem eingegebenen Bilddatensatz ein zugehöriges generatives Modell. Hierzu umfassen die GAN zwei neuronale Netze, welche auch als Generator und Diskriminator bezeichnet werden. Der Generator erhält den Bilddatensatz als Trainingsdaten, um hieraus zu lernen, vergleichbare Bilder zu generieren, insbesondere aus eingegebenem Rauschen bzw. einem eingegebenen zufälligen Merkmalsvektor oder aus Eingabebildern, die aus Bildrauschen bestehen. Der Diskriminator wird darauf trainiert, zwischen dem Bilddatensatz und den Bildern des Generators zu unterscheiden. Eine Zielgröße des Generators ist es nun, solche Bilder zu erzeugen, die der Diskriminator nicht von Originalbildern des Bilddatensatzes unterscheiden kann. Hierdurch lernen in einer Trainingsphase der Generator und Diskriminator voneinander. Nach Abschluss der Trainingsphase kann der Generator als generatives Modell verwendet werden. Insbesondere können daher der Generator oder dessen erzeugte Bilder an die Datenauswertungseinrichtung übertragen werden.

Grundlagen von Generative Adversarial Networks sind beschrieben von Goodfellow, lan, et al. in „Generative adversarial nets”, veröffentlicht in Advances in neural Information Processing Systems, 2014, Seiten 2672-2680. GAN sind ein konkretes Beispiel eines Lernalgorithmus, welcher mit dem Bilddatensatz als Eingabedaten Parameter eines generativen Modells erlernt. Der Lernalgorithmus kann aber auch durch einen prinzipiell beliebigen Optimierungsprozess Parameter des generativen Modells ermitteln, insbesondere mit Hilfe eines neuronalen Netzes, aber ohne die beschriebenen gegnerischen Netzwerke zu benötigen. Wiederum allgemeiner kann jede Recheneinrichtung ein Programm (Computerprogramm) umfassen, welches basierend auf dem jeweiligen Bilddatensatz das entsprechende generative Modell berechnet. Das Programm muss nicht zwingend einen Maschinenlernalgorithmus umfassen.

Das Berechnen oder Schätzen eines generativen Modells kann so verstanden werden, dass ein Modellrahmen vorgegeben ist und bestimmte Parameter des Modells basierend auf dem Bilddatensatz berechnet oder geschätzt werden. Beispielsweise kann als Modellrahmen eine Simulationssoftware verwendet werden, mit welcher das generative Modell erzeugt wird. Die Simulationssoftware kann beispielsweise als freie Parameter Eigenschaften fluoreszierender Körper (z.B. Dichte und Größe fluoreszierender Zellen) umfassen und dazu gestaltet sein, abhängig von diesen Parametern Bilder zu erzeugen, welche echten Mikroskopbildern zu solchen Körpern/Zellen ähneln. Die Werte für diese Parameter können entweder durch die Simulationssoftware basierend auf dem Bilddatensatz berechnet / erlernt werden, oder alternativ kann ein Eingabewerkzeug für einen Nutzer bereitgestellt werden, so dass der Nutzer Werte manuell eingeben und anschließend visuell bewerten kann, ob hiermit erzeugte Bilder dem Bilddatensatz hinreichend ähneln. Die Simulationssoftware kann insbesondere gestaltet sein wie beschrieben von Lehmussola, Antti, et al. in „Computational framework for simulating fluorescence microscope images with cell populations”, veröffentlicht in IEEE transactions on medical imaging, 2007, 26. Jg. , Nr. 7, Seiten 1010-1016.

Das Programm zum Ermitteln eines generativen Modells kann auch eine Render- Software umfassen. Eine Render-Software ist dazu gestaltet, 2D-Bilder basierend auf bestimmten Parametern und/oder einem 3D-Modell zu erzeugen, wie zum Beispiel die Render-Software Blender®. Bestimmte Parameter bzw. 3D-Modelle können vorgegeben oder auswählbar sein. Beispielsweise kann vorgegeben oder auswählbar sein, dass es sich bei den Proben, zu denen ein Bilddatensatz aufgenommen wurde, um Schliffproben handelt. Bei diesen ist eine Probe in einem zylindrischen Trägermaterial aufgenommen. Als freie Parameter kann ein Nutzer Abmessungen von bspw. dem Zylinder eingeben, anschließend berechnet die Render-Software hierauf basierende Bilder.

Allgemeiner kann das Programm entweder ein generatives Modell vollautomatisch basierend auf dem Bilddatensatz berechnen, oder alternativ ein Eingabewerkzeug umfassen, mit welchem ein Nutzer Modellparameter selbst einstellen kann. Die Modellparameter können zusammen mit einem vorgegebenen Rahmenmodell das generative Modell ergeben. Beispielsweise können als Eingabewerkzeuge bestimmte Zahlenwerte eingebbar sein, z.B. betreffend die Dichte, Intensität und Größe fluoreszierender Körper. Je nach Ausführungsvariante kann hierbei vorgesehen sein, dass der Bilddatensatz an keiner Stelle eine Eingabe in das Programm zum Schätzen eines generativen Modells ist.

Das generative Modell kann auch ein probabilistisches Modell umfassen, z.B. ein Active Appearance Model, wie beschrieben von COOTES, Timothy F.; EDWARDS, Gareth J.; TAYLOR, Christopher J., in „Active appearance models“, veröffentlicht in IEEE Transactions on Pattern Analysis & Machine Intelligence, 2001 , Nr. 6, Seiten 681-685. Alternativ kann es auch ein Mischverteilungsmodell (z.B. ein Gaussian Mixture Model) umfassen.

Das Programm, welches ein generatives Modell basierend auf einem Bilddatensatz berechnet, kann auch dazu gestaltet sein, eine Beschränkung des erzeugten generativen Modells vorzusehen, durch welche das generative Modell bestimmte Informationen des zugrunde liegenden Bilddatensatzes nicht wiedergibt. Insbesondere können bestimmte Bildbereiche verschleiert werden, z.B. schärfereduziert werden oder durch andere Bildinhalte ersetzt werden. Kommt es beispielsweise auf die Identifizierung von Probengefäßen an, kann das generative Modell dazu gestaltet sein, die Ränder, Formen und Anzahlen der Probengefäße möglichst exakt wiederzugeben, während Bildinhalte von Probenbereichen in generierten Bilddaten verschleiert oder unkenntlich werden.

Die erste oder jede Recheneinrichtung kann auch ein jeweiliges Annotationswerkzeug bereitstellen, über welches ein Anwender Annotationen zu Mikroskopbildern oder Bildbestandteilen des jeweiligen Bilddatensatzes vornehmen kann. Beispielsweise können durch das Annotationswerkzeug Bildbereiche markiert oder segmentiert werden. Optional umfasst die Annotation auch einen Syntax, das heißt, ein Mikroskopbild wird nicht nur in verschiedene Bereiche segmentiert, sondern den verschiedenen Segmenten wird auch eine Bedeutung zugeordnet, z.B. „Probenbereich“, „Probengefäßrand“ und „Hintergrund“. Ein geschätztes generatives Modell kann nun dazu eingerichtet ist, auch Annotationen für einen generierten Bilddatensatz mitzuerzeugen. Im vorgenannten Beispiel gibt das generative Modell zu einem erzeugten Bild also auch eine Segmentierung und optional einen Syntax zu den Segmenten an.

In einer Abwandlung der vorgenannten Ausführung stellt ein vom generativen Modell erzeugtes Bild eine Annotation dar. Beispielsweise kann das erzeugte Bild durch Segmente gebildet sein, z.B. die Angabe mehrerer Formen, denen optional eine Bedeutung (z.B. „Probenbereich“) zugeordnet wird. Der generierte Bilddatensatz ist dann durch mehrere Annotationen gebildet, welche als Bilder darstellbar sind. In ähnlicher Weise können die Mikroskopbilder, die den Bilddatensatz ausmachen, durch Annotationen (insbesondere Form-/ oder Grenzangaben in zweidimensionalen Bildern) gebildet sein, welche beispielsweise ein Nutzer basierend auf aufgenommenen Mikroskopbildern erzeugt hat.

Das Merkmal, dass ein geschätztes generatives Modell den zugehörigen Bilddatensatz beschreibt, muss nicht zwingend heißen, dass mit diesem generativen Modell erzeugte Bilddaten für einen Anwender verwechselnd ähnlich zu den ursprünglichen Mikroskopbildern des Bilddatensatzes sind. Gerade bei dem Beispiel von Annotationen oder Segmentierungen können die Bilder optisch klar verschieden sein, aber in bestimmten Informationsgehalten gleich sein, beispielsweise hinsichtlich der Form, Anzahl oder Verteilung bestimmter Bildsegmente wie Zellkerne.

Das generative Modell kann dazu gestaltet sein, eine beliebige Anzahl verschiedener Bilder erzeugen zu können, die sich voneinander unterscheiden, aber in bestimmten ermittelten Eigenschaften oder Parametern dem Bilddatensatz entsprechen. Beispielsweise können die Bilder des ersten Bilddatensatzes eine bestimmte Verteilung in der Anzahl, Größe und/oder Form bestimmter Objekte (z.B. Zellkomponenten) aufweisen, und das generative Modell ist dazu gestaltet, mit der gleichen Verteilung verschiedene Bilder zu erzeugen. Allgemeine Eigenschaften

Unter einem Mikroskop kann insbesondere ein optisches Mikroskop oder auch ein anders gestaltetes Messgerät verstanden werden, welches dazu eingerichtet ist, Bilder (Mikroskopbilder) aufzunehmen. Je nach Ausführungsvariante der Erfindung kann der Bildaufnahmeprozess Teil des Verfahrens sein, oder das Verfahren beginnt mit dem Laden bereits vorhandener Mikroskopbilder.

Mehrere Mikroskopbilder zusammen werden als ein Bilddatensatz bezeichnet. Der erste Bilddatensatz umfasst mehrere Mikroskopbilder, die vom selben Mikroskop stammen oder prinzipiell auch von verschiedenen Mikroskopen stammen können. Mikroskopbilder können sowohl Übersichtsbilder eines Mikroskops als auch Objektbilder sein, die im Vergleich zu Übersichtsbildern mit größerem Abbildungsmaßstab aufgenommen werden.

Eine Recheneinrichtung kann beispielsweise einen Personalcomputer oder einen oder mehrere Prozessoren, insbesondere als Teil eines Mikroskops, umfassen. Dabei kann die Recheneinrichtung auch zum Steuern des Mikroskops eingerichtet sein und insbesondere einem bestimmten Mikroskop zugeordnet sein. Alternativ kann die Recheneinrichtung durch Server oder cloudbasierte Systeme gebildet sein. Eine örtliche oder technische Verbindung zu einem Mikroskop ist nicht zwingend, vielmehr genügt es, wenn die Recheneinrichtung einen Bilddatensatz aus einem Datenspeicher laden kann.

Die Datenauswertungseinrichtung kann beliebige Computer, Server oder cloudbasierte Rechensysteme umfassen. Sie kann insbesondere eine zentrale Recheneinheit darstellen, welche kommunikativ, beispielsweise über das Internet, mit den Recheneinrichtungen verbunden ist. Alternativ kann ein Datentransfer hierzwischen aber auch isoliert, ohne feste Kommunikationsverbindung erfolgen. Die Begriffe Datenauswertungseinrichtung und Recheneinrichtung werden zur besseren sprachlichen Unterscheidung verwendet, wobei in der physischen Gestaltung kein Unterschied vorliegen muss.

Besondere Vorteile ergeben sich im Fall mehrerer voneinander unabhängiger Recheneinrichtungen, mit denen beispielsweise verschiedene Anwender ihre jeweiligen Bilddatensätze aufnehmen oder auswerten. Hierbei können sämtliche Recheneinrichtungen mit der Datenauswertungseinrichtung kommunizieren und beispielsweise ein Bildverarbeitungsprogramm erhalten, welches abhängig vom Bilddatensatz eines Anwenders angepasst ist, wobei dieser Bilddatensatz aber weder an die übrigen Recheneinrichtungen, noch an die Datenauswertungseinrichtung übertragen wurde.

Beschreibungen zur ersten Recheneinrichtung können zusätzlich oder alternativ auch für beliebige andere Recheneinrichtungen gelten. Mehrere Recheneinrichtungen können prinzipiell in gleicher Weise generative Modelle bilden oder auch in verschiedener Weise, beispielsweise kann eine Recheneinrichtung GAN nutzen und ein anderes eine Simulationssoftware, in der ein Anwender selbst Parameterwerte eingeben muss.

Sofern beschriebene Verfahrensschritte eine Reihenfolge implizieren, können auch weitere Vorgänge hierzwischen eingefügt werden. Insbesondere können Datenverarbeitungen und -Veränderungen erfolgen, beispielsweise muss es sich bei dem von einem Mikroskop aufgenommenen Bilddatensatz nicht um Rohbilddaten handeln, vielmehr kann der Bilddatensatz bereits verarbeitete, beschnittene, markierte oder anders ausgewertete Bilder umfassen. Ist ein generatives Modell von einer Recheneinrichtung ermittelt worden, kann auch vorgesehen sein, dass zunächst in weiteren Verarbeitungsschritten das generative Modell verändert wird, ehe es in veränderter Form an die Datenauswertungseinrichtung übertragen wird. In entsprechender Weise kann vorgesehen sein, dass von einer Recheneinrichtung mit Hilfe des generativen Modells erzeugte Bilddaten zunächst bearbeitet werden, ehe sie an die Datenauswertungseinrichtung übertragen werden.

Die Erfindung betrifft auch ein Computerprogramm mit Befehlen, die bei Ausführung des Computerprogramms durch Computer die Ausführung des erfindungsgemäßen Verfahrens veranlassen. Das Computerprogramm kann insbesondere das beschriebene Programm zum Erzeugen eines generativen Modells umfassen. Zudem kann das Computerprogramm Befehle umfassen, durch welche die Funktionen der Datenauswertungseinrichtung realisiert werden. Das Computerprogramm kann durch voneinander unabhängig funktionsfähige Software-Pakete gestaltet sein, wobei die Pakete auf verschiedenen Computern auszuführen sind, beispielsweise auf der (ersten) Recheneinrichtung und der Datenauswertungseinrichtung. Die als zusätzliche Vorrichtungsmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann das Mikroskopiesystem auch zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein.

KURZBESCHREIBUNG DER FIGUREN

Weitere Vorteile und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

Fig. 1 ist eine schematische Darstellung eines Mikroskopiesystems gemäß einem Ausführungsbeispiel der Erfindung;

Fig. 2 ist eine schematische Darstellung eines Mikroskopiesystems gemäß einem weiteren Ausführungsbeispiel der Erfindung;

Fig. 3 ist eine schematische Darstellung eines Mikroskopiesystems gemäß einem weiteren Ausführungsbeispiel der Erfindung und

Fig. 4 ist eine schematische Darstellung eines Mikroskopiesystems gemäß einem weiteren Ausführungsbeispiel der Erfindung.

DETAILLIERTE BESCHREIBUNG VON AUSFUHRUNGSBEISPIELEN

Verschiedene Ausführungsbeispiele werden nachstehend mit Bezug auf die Figuren beschrieben. Gleiche und gleich wirkende Bestandteile sind in der Regel mit denselben Bezugszeichen gekennzeichnet.

Ausführunqsbeisciel der Figur 1

Ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 1 ist schematisch in Fig. 1 gezeigt. Es umfasst mehrere Mikroskope, von denen ein erstes Mikroskop 10 und ein zweites Mikroskop 11 dargestellt ist. Jedem Mikroskop 10, 11 ist eine Recheneinrichtung zugeordnet, von denen in Fig. 1 eine erste Recheneinrichtung 20 und eine zweite Recheneinrichtung 21 dargestellt sind. Jedes Mikroskop 10, 11 nimmt mehrere Mikroskopbilder auf, wobei die Mikroskopbilder des Mikroskops 10 als erster Bilddatensatz 30 und die Mikroskopbilder des Mikroskops 11 als zweiter Bilddatensatz 31 bezeichnet werden. Die Recheneinrichtungen 20, 21 laden den jeweiligen Bilddatensatz 30, 31 , um diesen zu verarbeiten und/oder einem Nutzer anzuzeigen.

Beispielhaft umfasst jede Recheneinrichtung 20, 21 einen Bildverarbeitungs algorithmus 70, der einen trainierten Maschinenlernalgorithmus umfasst. Der jeweilige Bildverarbeitungsalgorithmus 70 verarbeitet den Bilddatensatz 30 oder 31 , wobei die Qualität dieser Verarbeitung davon abhängt, ob Trainingsdaten, die für den Maschinenlernalgorithmus verwendet wurden, passend für den jeweiligen Bilddatensatz 30 oder 31 sind. Unter Umständen ist dies nicht der Fall, wenn ein Mikroskopnutzer einen Bilddatensatz 30 oder 31 von neuartigen Proben oder Probengefäßen aufnimmt.

Herkömmlicherweise könnte die Recheneinrichtung 20 mit Hilfe des ersten Bilddatensatzes 30 als zusätzliche Trainingsdaten den Maschinenlernalgorithmus 70 neu trainieren, damit dieser Bilder in der Art des Bilddatensatzes 30 anschließend besser verarbeiten kann. Dieser verbessert trainierte Maschinenlernalgorithmus wäre aber auf die erste Recheneinrichtung 20 beschränkt. Andere Recheneinrichtungen könnten kaum hiervon profitieren. Wird beispielsweise von der zweiten Recheneinrichtung 21 der zweite Bilddatensatz 31 verwendet, um ihren Maschinenlernalgorithmus besser zu trainieren, so kann die zweite Recheneinrichtung 21 nur entweder den mit dem ersten Bilddatensatz 30 trainierten Maschinenlern algorithmus oder den mit dem zweiten Bilddatensatz 31 trainierten Maschinenlern algorithmus verwenden. Es ist aber nicht möglich, die beiden verschieden trainierten Maschinenlernalgorithmen zu einem verbesserten Algorithmus effizient zusammenzuführen. Damit sowohl der Bilddatensatz 30 als auch der Bilddatensatz 31 in den Trainingsdaten eines Maschinenlernalgorithmus berücksichtigt werden, müssen herkömmlicherweise die beiden Bilddatensätze 30 und 31 zusammen (von insbesondere einer einzigen Recheneinrichtung) als gemeinsame Trainingsdaten verwendet werden. Die Weitergabe der Bilddatensätze 30 und 31 ist aber von vielen Mikroskopnutzern nicht gewünscht oder ihnen untersagt, da die Bilddatensätze 30 und 31 sensible Informationen enthalten können. Dieses Problem wird durch das Ausführungsbeispiel der Figur 1 in der nachfolgend beschriebenen Weise gelöst. Jede Recheneinrichtung 20 und 21 umfasst ein jeweiliges Programm 80, 81 , welches ein generatives Modell 40, 41 erzeugen kann. Ein generatives Modell ist dazu in der Lage, künstliche Bilder zu erzeugen, die den Bildern des jeweiligen Bilddatensatzes 30, 31 ähneln. Beispielsweise kann das Programm 80, 81 eine Simulationssoftware umfassen, welche basierend auf einzustellenden Parametern Mikroskopbilder simuliert. Die einzustellenden Parameter können z.B. eine Zellkernform und -anordnungen betreffen. Die Parameter werden durch das Programm 80, 81 in Abhängigkeit des zugehörigen Bilddatensatzes 30, 31 geschätzt, beispielsweise durch einen Optimierungsprozess, welcher eine Differenz zwischen Bildern des jeweiligen Bilddatensatzes 30 oder 31 und erzeugten Bildern minimiert. Alternativ können die Parameter auch durch einen Nutzer eingegeben werden. Die so eingestellten Parameter stellen in diesem Fall das generative Modell 40 oder 41 dar. Das generative Modell 40 wird vorliegend auch als erstes generatives Modell bezeichnet und das generative Modell 41 wird als zweites generatives Modell bezeichnet.

Als nächstes werden die generativen Modelle 40 und 41 an eine Datenauswertungseinrichtung 60 übermittelt. Die Datenauswertungseinrichtung 60 kann mit jedem generativen Modell 40 und 41 einen jeweiligen generierten Bilddatensatz 50 und 51 erzeugen, welche auch als erster generierter Bilddatensatz 50 und als zweiter generierter Bilddatensatz 51 bezeichnet werden. Im vorgenannten Beispiel umfasst die Datenauswertungseinrichtung 60 also die Simulationssoftware, wie sie auch von den Recheneinrichtungen 20 und/oder 21 genutzt wurde, und empfängt die mit den Recheneinrichtungen 20 und/oder 21 festgelegten Parameter.

Die generierten Datensätze 50, 51 können nun als Trainingsdaten für einen Maschinenlernalgorithmus verwendet werden, wobei in Fig. 1 der so trainierte Maschinenlernalgorithmus mit dem Bezugszeichen 70' gekennzeichnet ist. Um sensible Informationen zu schützen, wurden hierbei die Bilddatensätze 30 und 31 weder unmittelbar noch in bearbeiteter Form an die Datenauswertungseinrichtung 60 übertragen. Vielmehr wurden allein Modelle zum Erzeugen künstlicher Bilder übertragen. Als weitere Trainingsdaten kann die Datenauswertungseinrichtung 60 auch zusätzliche Mikroskopbilder 32 verwenden, welche keine künstlich generierten Bilder sind und insbesondere nicht als sensibel eingestuft wurden. Der trainierte Maschinenlernalgorithmus 70' wird nun an die verschiedenen Recheneinrichtungen 20, 21 übertragen und ersetzt dort den bisherigen

Maschinenlernalgorithmus (Bildverarbeitungsalgorithmus) 70. Von dem verbesserten Maschinenlernalgorithmus 70' können somit mehrere Recheneinrichtungen 20 und 21 profitieren, ohne dass zwischen diesen ein Austausch des jeweiligen Bilddatensatzes 30 oder 31 nötig wäre, und mehr noch, ohne dass die jeweiligen Bilddatensätze 30 oder 31 überhaupt von der zugehörigen Recheneinrichtung 20 oder 21 weitergegeben worden wären.

Bei dem Maschinenlernalgorithmus 70, 70' kann es sich beispielsweise um einen Segmentierungsalgorithmus handeln, welcher ein Eingabebild in bestimmte Bildbereiche segmentiert und diesen insbesondere eine Kategorie zuweist, zum Beispiel „Zellkern“, „Zellorganellen“, „Zytoplasma“ oder „Zellmembran“. Das Programm 80, 81 kann solche Informationen als Annotationen oder Ziel-/Targetgröße berücksichtigen. Insbesondere kann das Programm 80, 81 ein Eingabewerkzeug umfassen, mit dem ein Nutzer Annotationen zu den Bildern des Bilddatensatzes 30 oder 31 eintragen kann. Im vorgenannten Beispiel kann demnach ein Nutzer Segmentierungen per Hand eingeben. Das generative Modell 40, 41 wird vom Programm 80, 81 nun so berechnet, dass es zu generierten Bildern auch jeweilige Annotationen miterzeugt, also beispielsweise ein Bild von Zytoplasma und Zellkern erzeugt und eine Segmentierungsmaske erzeugt, in welcher der Umfang des Zellkerns im Zytoplasma angegeben ist. Als Vorteil kann hierdurch die Datenauswertungseinrichtung 60 mit den generativen Modellen 40, 41 nicht nur Trainingsdaten, sondern auch gleich die zugehörigen Zieldaten erzeugen, die für ein überwachtes Lernen für den Maschinenlernalgorithmus 70' nötig sind. Alternativ ist es aber auch möglich, dass mit der Datenauswertungseinrichtung 60 von einem Anwender die Zieldaten zu generierten Bilddatensätzen 50, 51 manuell eingegeben werden. In wiederum weiteren Varianten ist auch ein unüberwachtes Lernen möglich, wobei keine Zielgrößen explizit vorgegeben werden müssen.

In Abwandlungen des Ausführungsbeispiels von Fig. 1 greifen die Rechen einrichtungen 20, 21 auf bereits vorhandene Bilddatensätze 30, 31 zu, womit keine Mikroskope 10, 11 als Teil des beanspruchten Systems 1 vorhanden sein müssen. Zudem kann prinzipiell auch eine einzige Recheneinrichtung 20 genügen, um die beschriebenen Vorteile zumindest teilweise zu erreichen. Weiterhin ist es nicht nötig, dass jeweils eine Recheneinrichtung 20, 21 einem Mikroskop 10, 11 zugeordnet ist. Vielmehr kann auch dieselbe Recheneinrichtung 20 mehrere Bilder verschiedener Mikroskope, welche zusammen den beschriebenen Bilddatensatz 30 darstellen, empfangen, oder dieselbe Recheneinrichtung 20 kann mehrere Bilddatensätze verschiedener Mikroskope empfangen.

Das Übertragen des generativen Modells 40, 41 soll bedeuten, dass zumindest Modellparameter, die für die entsprechenden Bilddatensätze 30, 31 spezifisch sind, übertragen werden. Ein Modellrahmen, in welchen die Modellparameter eingefügt werden, kann bei der Datenauswertungseinrichtung 60 bereits vorhanden sein und muss nicht von den Recheneinrichtungen 20, 21 übertragen werden.

Die Anzahl an Bildern im generierten Bilddatensatz 50 oder 51 ist unabhängig von der Bilderanzahl des Bilddatensatzes 30 oder 31 und kann insbesondere auch höher als diese sein. Die Anzahl an Bildern im generierten Bilddatensatz 50 oder 51 kann zum Einstellen einer Gewichtung des jeweiligen Bilddatensatzes 50, 51 innerhalb der Trainingsdaten gewählt werden. Dadurch kann insbesondere eine Überrepräsentanz bestimmter Daten vermieden werden, welche zu schlechteren Ergebnissen des Maschinenlernalgorithmus 70' führen könnte.

In weiteren Abwandlungen wird als Bildverarbeitungsalgorithmus anstelle des Maschinenlernalgorithmus 70, 70' ein klassischer Bildverarbeitungsalgorithmus verwendet, der ohne maschinelles Lernen auskommt. In diesem Fall werden mit der Datenauswertungseinrichtung 60 die generierten Bilddatensätze 50, 51 dazu verwendet, eine Qualität eines vorhandenen Bildverarbeitungsalgorithmus zu bewerten; nach einer manuellen Aktualisierung / Verbesserung des Bildverarbeitungsalgorithmus, durch welche dieser besser an eine Auswertung oder Verarbeitung der generierten Bilddatensätze 50, 51 angepasst wird, wird dieser aktualisierte Bildverarbeitungsalgorithmus an die Recheneinrichtungen 20, 21 übertragen, so dass mit diesen Bilddatensätze ausgewertet werden können.

Ausführunqsbeispiel der Figur 2

Die zu Fig. 1 beschriebene Simulationssoftware ist nur ein Beispiel eines Programms 80, 81, das ein generatives Modell erzeugen kann. Andere Beispiele sind in der vorstehenden allgemeinen Beschreibung genannt und können beispielsweise GAN (Generative Adversarial Networks) umfassen, welche mit einem Bilddatensatz 30 oder 31 als Eingabedaten lernen, künstliche Bilder zu erzeugen, die nicht identisch zu den Bildern des Bilddatensatzes 30 oder 31 sind, aber einer gemeinsamen Verteilung zu entstammen scheinen.

Das in Fig. 2 gezeigte Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 1 unterscheidet sich vom vorhergehenden Ausführungsbeispiel darin, dass das Programm 80, 81 zum Erzeugen generativer Modelle GAN umfasst. Dabei sind die GAN der Programme 80, 81 mit Hilfe von Mikroskopbildern vortrainiert. Zudem kann ein Nutzer der Recheneinrichtung 20 oder 21 Annotationen A zu jedem Mikroskopbild des Bilddatensatzes 30 oder 31 eingeben. Die Annotationen A können die Zielgröße des Maschinenlernalgorithmus 70 darstellen. Insbesondere können die Annotationen eine Segmentierung eines Mikroskopbildes sein, beispielsweise eine Aufteilung eines Übersichtsbildes in Probenbereiche und Hintergrundbereiche. Die Annotationen A werden den GAN der Programme 80, 81 zugeführt. Hierdurch können die GAN lernen, als Teil des generierten Bilddatensatzes 50, 51 auch jeweils eine zugehörige Annotation / Zielgröße mitzuerzeugen. Auf Seiten der Datenauswertungseinrichtung 60 kann hierdurch ein Annotationsaufwand für ein überwachtes Lernen unter Umständen entfallen. Die Annotationen A können von der Recheneinrichtung 20 oder 21 auch direkt zusammen mit dem jeweiligen Bilddatensatz 30, 31 zum Nachtrainieren des Maschinenlernalgorithmus 70 oder 71 verwendet werden; hierdurch profitiert ein Nutzer der Recheneinrichtung 20 oder 21 unmittelbar von seinem Annotationsaufwand.

Fig. 2 zeigt zudem eine optionale Erweiterung, gemäß der die Datenauswertungseinrichtung 60 die generierten Bilddaten 50, 51 auch benutzt, um ein GAN vorzutrainieren. Ein in dieser Weise trainiertes GAN 80' wird nun an die Recheneinrichtungen 20, 21 übertragen und ersetzt dort die bisherigen Programme 80, 81. Dadurch können die Recheneinrichtungen 20, 21 aus zukünftigen Bilddatensätzen 30, 31 besser entsprechende generative Modelle 40, 41 berechnen. Ausführungsbeispiel der Figur 3

Ein weiteres Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 1 ist in Fig. 3 gezeigt. Von den oben beschriebenen Beispielen unterscheidet es sich darin, dass kein generatives Modell 40, 41 von den Recheneinrichtungen 20, 21 übertragen wird. Vielmehr erzeugen die Recheneinrichtungen 20, 21 mit ihren jeweils ermittelten generativen Modellen 40, 41 selbst einen jeweiligen generierten Bilddatensatz 50, 51. An die Datenauswertungseinrichtung 60 werden sodann allein die generierten Bilddatensätze 50, 51 übertragen.

Optional kann jede Recheneinrichtung 20, 21 auch dazu eingerichtet sein, eine Anzeige 25 bzw. 26 der generierten Bilddatensätze 50, 51 zu erzeugen und einen Nutzer aufzufordern, die Übermittlung dieser generierten Bilddatensätze 50, 51 freizugeben oder zu verweigern. In dieser Weise kann vermieden werden, dass generierte Bilddatensätze 50, 51 , welche sensiblen Informationen der ursprünglichen Bilddatensätze 30 oder 31 zu stark ähneln, weitergeleitet werden.

Ausführunqsbeispiel der Figur 4

Fig. 4 zeigt ein weiteres Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 1, welches ein einziges (oder allgemeiner mindestens ein) Mikroskop 10 mit zugehöriger Recheneinrichtung 20 umfasst. Die Recheneinrichtung 20 erzeugt einen generierten Bilddatensatz 50 und überträgt diesen an die Datenauswertungseinrichtung 60, wie zu Fig. 3 beschrieben. Bei Fig. 4 wird allerdings der generierte Bilddatensatz 50 nicht zum Trainieren eines Maschinenlernalgorithmus verwendet. Vielmehr erfolgt eine Bildauswertung, beispielsweise durch einen Anwender, im Hinblick darauf, ob im generierten Bilddatensatz 50 Charakteristika erkennbar sind, die auf bestimmte Mikroskopfehleinstellungen hinweisen. Der Anwender der Datenauswertungseinrichtung 60 bzw. die Datenauswertungs einrichtung 60 kann nun eine Steueranweisung 75 erzeugen, in Abhängigkeit des generierten Bilddatensatzes 50. Die Steueranweisung 75 betrifft eine Mikroskopeinstellung und wird an die Recheneinrichtung 20 übertragen. Die Recheneinrichtung 20 kann nun entweder automatisch entsprechend der Steueranweisung 75 eine Mikroskopeinstellung ändern, oder ein Nutzer der Recheneinrichtung 20 wird von dieser aufgefordert, entsprechend der Steueranweisung 75 eine Änderung einer Einstellung des Mikroskops 10 vorzunehmen. Durch das Ausführungsbeispiel der Fig. 4 kann insbesondere ein Kundensupport bereitgestellt werden, bei dem ein Fachmann an der Datenauswertungseinrichtung 60 einem Kunden an der Recheneinrichtung 20 helfen kann, ohne dass der Fachmann die vom Kunden aufgenommenen Mikroskopbilder sehen muss.

Die beschriebenen Erfindungsvarianten ermöglichen eine vielfältige Verwendung von Mikroskopbildern unterschiedlicher Nutzer, ohne dass hierbei sensible Informationen von Nutzern übertragen werden müssten. Die beschriebenen Ausführungsbeispiele sind rein illustrativ und Abwandlungen hiervon sind im Rahmen der beigefügten Ansprüche möglich.

Bezuqszeichenliste

I Mikroskopiesystem

10 (erstes) Mikroskop

I I zweites Mikroskop

20 erste Recheneinrichtung

21 zweite Recheneinrichtung

30 erster Bilddatensatz

31 zweiter Bilddatensatz

32 Bilder / T rainingsdaten

40 erstes generatives Modell

41 zweites generatives Modell

50 erster generierter Bilddatensatz

51 zweiter generierter Bilddatensatz 60 Datenauswertungseinrichtung

70, 70' Bildverarbeitungs-/ Maschinenlernalgorithmus

75 Steueranweisung

80, 80‘, 81 Programm zum Schätzen des generativen Modells, z.B. mittels Generative Adversarial Networks

A Annotationen