Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
THEORY-MOTIVATED DOMAIN CONTROL FOR OPHTHALMOLOGICAL MACHINE LEARNING-BASED PREDICTION METHOD
Document Type and Number:
WIPO Patent Application WO/2022/162013
Kind Code:
A1
Abstract:
The invention relates to a computer-implemented method for determining the refractive power of an intraocular lens to be inserted. The method comprises providing a physical model for determining refractive power and training a machine learning system with clinical ophthalmological training data and associated desired results to form a learning model for determining the refractive power. A loss function for training two components comprises: a first component of the loss function takes into account clinical ophthalmological training data and associated and desired results and a second component of the loss function takes into account limitations of the physical model in that a loss function component value of this second component is greater the further a predicted value of the refractive power during the training is from results of the physical model with the same clinical ophthalmological training data as input values. Moreover, the method comprises providing ophthalmological data of a patient and predicting the refractive power of the intraocular lens to be used by means of the trained machine learning system, wherein the provided ophthalmological data are used as input data.

Inventors:
BURWINKEL HENDRIK (DE)
MATZ HOLGER (DE)
SAUR STEFAN (DE)
HAUGER CHRISTOPH (DE)
Application Number:
PCT/EP2022/051779
Publication Date:
August 04, 2022
Filing Date:
January 26, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZEISS CARL MEDITEC AG (DE)
UNIV MUENCHEN TECH (DE)
International Classes:
G16H50/50; A61F2/16; G16H20/40; G16H50/70
Foreign References:
EP3491996A12019-06-05
US20190099262A12019-04-04
US20200015894A12020-01-16
Other References:
HENDRIK BURWINKEL ET AL: "Domain-specific loss design for unsupervised physical training: A new approach to modeling medical ML solutions", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 9 May 2020 (2020-05-09), XP081999030, DOI: 10.1007/978-3-030-59713-9_52
Attorney, Agent or Firm:
LIFETECH IP (DE)
Download PDF:
Claims:
PATENTANSPRÜCHE

1 . Ein Computer-implementiertes Verfahren (100) zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse, das Verfahren (100) aufweisend

- Bereitstellen (102) eines physikalischen Modells für eine Brechkraftbestimmung für eine Intraokularlinse,

- Trainieren (104) eines maschinellen Lernsystems (310, 412) mit gemessenen klinischen ophthalmologischen Trainingsdaten (304) und zugehörigen gewünschten Ergebnissen (306) zur Bildung eines Lernmodells für die Brechkraftbestimmung, wobei eine Loss-Funktion (312) für das Trainieren zwei Komponenten aufweist, wobei eine erste Komponente der Loss-Funktion entsprechende der gemessenen klinischen ophthalmologischen Trainingsdaten (304) und zugehörige und gewünschte Ergebnisse (306) berücksichtigt, wobei eine zweite Komponente der Loss-Funktion (312) Einschränkungen des physikalischen Modells dadurch berücksichtigt, dass ein Loss-Funktions- komponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells bei gleichen klinischen ophthalmologischen Trainingsdaten (304) als Eingangswerte entfernt,

- Bereitstellen (106) von gemessenen ophthalmologischen Daten eines Patienten,

- Vorhersagen (108) der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems, wobei die bereitgestellten, gemessenen ophthalmologischen Daten als Eingangsdaten für das maschinelle Lernsystem genutzt werden.

28 Das Verfahren (100) gemäß Anspruch 1 , wobei die erste und die zweite Komponenten der Loss-Funktion (312) konfigurierbar gewichtet werden. Das Verfahren (100) gemäß Anspruch 2, wobei eine Gewichtungsfunktion der folgenden Art angewendet wird

W = B * [ a*(Delta) - (1-a)*Phy ], wobei

W = Wert der Loss-Funktion,

B = allgemeine Konstante oder weiterer Funktionsterm der Loss-Funktion (312), a = Gewichtungskonstante, Delta = erste Komponente, und Phy = zweite Komponente. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche,

- wobei die gemessenen ophthalmologischen Daten OCT-Bilddaten sind oder

- wobei die gemessenen ophthalmologischen Daten explizite aus OCT-Bilddaten abgeleitete Werte sind oder

- wobei die gemessenen ophthalmologischen Daten sowohl OCT-Bilddaten als auch aus OCT-Bilddaten abgeleitete Werte ausweisen. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei eine erwartete Position der einzusetzenden Intraokularlinse als zusätzliche Eingangsdaten für das maschinelle Lernsystem (310, 412) genutzt werden. Das Verfahren 8100) gemäß einem der vorangegangenen Ansprüche, wobei das Lernmodell das maschinelle Lernsystem (310, 412) vor dem Training mit gemessenen ophthalmologischen Daten bereits durch künstlich erzeugte Trainingsdaten, die auf Gesetzmäßigkeiten des bereitgestellten physikalischen Modells beruhen, trainiert wurde. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei das physikalische Modell auch Literaturdaten für eine Brechkraftbestimmung für eine Intraokularlinse aufweist. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei es sich bei der einzusetzende Intraokularlinse um eine sphärische, torische oder multifokale einzusetzende Intraokularlinse handelt. Ein System (400) zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse, das System (400) aufweisend

- ein Bereitstellungsmodul (406) in dem ein physikalisches Modell für eine Brechkraftbestimmung für eine Intraokularlinse gespeichert ist,

- ein Trainingsmodul (410), das angepasst ist zum Trainieren eines maschinellen Lernsystems (310, 412) mit gemessenen, klinischen ophthalmologischen Trainingsdaten (304) und zugehörigen gewünschten Ergebnissen (306) zur Bildung eines Lernmodells für die Brechkraftbestimmung, wobei in dem Lernsystem (310, 412) Parameterwerte des Lernmodells gespeichert sind, und wobei eine Loss-Funktion für das Trainieren zwei Komponenten aufweist, wobei eine erste Komponente der Loss-Funktion (312) entsprechende der gemessenen klinischen ophthalmologischen Trainingsdaten (304) und zugehörige und gewünschte Ergebnisse (306) berücksichtigt, wobei eine zweite Komponente der Loss-Funktion (312) Einschränkungen des physikalischen Modells dadurch berücksichtigt, dass ein Loss-Funktions- komponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells bei gleichen gemessenen klinischen ophthalmologischen Trainingsdaten als Eingangswerte entfernt,

- einen Speicher (414) für gemessene ophthalmologische Daten (316) eines Patienten,

- eine Vorhersageeinheit (320, 416), die angepasst ist zum Vorhersagen der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems (314), wobei die gespeicherten, gemessenen ophthalmologischen Daten als Eingangsdaten für das trainierte maschinelle Lernsystem (314, 412) genutzt werden. Ein Computerprogrammprodukt zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse, wobei das Computerprogrammprodukt ein Computer-lesbares Speichermedium aufweist, welches darauf gespeicherte Programminstruktionen aufweist, wobei die Programminstruktionen durch einen oder mehrere Computer (500) oder Steuereinheiten ausführbar sind, und den einen oder die mehreren Computer (500) oder Steuereinheiten dazu veranlasst, das Verfahren entsprechend einem der Ansprüche 1 bis 8 auszuführen.

Description:
B E S C H R E I B U N G

Theorie-motivierte Domänenkontrolle für ophthalmologische Machine-Learning-basierte Vorhersagemethode

Gebiet der Erfindung

[0001] Die Erfindung bezieht sich auf eine Brechkraftbestimmung für eine Intraokularlinse und insbesondere auf ein Computer-implementiertes Verfahren zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse mittels eines Lernmodells mit einer speziellen Loss-Funktion, ein entsprechendes System sowie ein entsprechendes Computerprogrammprodukt zur Ausführung des Verfahrens.

Technischer Hintergrund

[0002] In der Augenheilkunde ist es in den letzten Jahren immer üblicher geworden, die biologische Linse eines Auges gegen eine künstliche Intraokularlinse (IOL) - beispielsweise bei (Alters-) Fehlsichtigkeit oder bei Katarakten - auszutauschen. Dabei wird die biologische Linse durch einen minimalinvasiven Eingriff aus dem Kapselsack herausgelöst und entfernt. Die, im Falle eines Kataraktes, getrübte Linse wird dann durch ein künstliches Linsenimplantat ersetzt. Dieses künstliche Linsenimplantat oder Intraokularlinse wird dabei in den dann leeren Kapselsack eingesetzt. Die Kenntnis der richtigen Position der Intraokularlinse und der erforderlichen Brechkraft bedingen sich gegenseitig.

[0003] In bekannten aktuell verfügbaren IOL-Kalkulationsformeln werden physikalische Modelle unterschiedlicher Komplexität verwendet (z.B. das Vergenz-Prinzip in der bekannten Haigis-Formel). Auf diese Weise ist es möglich, nicht nur datenbasiert, sondern mit Hilfe von physikalischem Vorwissen, eine brauchbare lOL-Brechkraft-Bestimmung durchzuführen. Trotz einer etwas verbesserten Genauigkeit handelt es sich bei diesen Formeln immer um Näherungen, die die komplette, komplexe Realität des biologischen Auges nicht abbilden können. Mithilfe der Nutzung von Ray-Tracing-Verfahren lässt sich die Genauigkeit eines Modells noch weiter verbessern, da viele andere ältere Modelle nur in paraxialer Näherung arbeiten; doch auch hier fließen Näherungen über zum Beispiel die Form der brechenden Grenzflächen in das System ein. Physikalische Modelle lassen sich mit Hilfe diverser Parameter in Bezug auf eine Datenlage feinjustieren bzw. tunen. Ihr Aufbau und die Wahl dieser Parameter ist aber vom jeweiligen Entwickler vorgegeben und daher nicht zwingend die bestmögliche Darstellung. Eine optimale Anpassung des gesamten Systems lässt sich in dieser Form nur sehr bedingt durchführen und ist durch das gewählte Modell in seiner Flexibilität eingeschränkt.

[0004] Ausgehend von den Nachteilen der bekannten Verfahren zur näherungsweisen Bestimmung einer korrekten Brechkraft für eine einzusetzende IOL besteht eine zugrundeliegende Aufgabe für das hier vorgestellte Konzept darin, ein Verfahren und ein System für verbesserte IOL-Brechkraftvorhersagen für eine Intraokularlinse anzugeben.

Übersicht über die Erfindung

[0005] Diese Aufgabe wird durch das hier vorgeschlagene Verfahren, das entsprechende System und das zugehörige Computerprogrammprodukt entsprechend den unabhängigen Ansprüchen gelöst. Weitere Ausgestaltungen werden durch die jeweils abhängigen Ansprüche beschrieben.

[0006] Entsprechend einem Aspekt der vorliegenden Erfindung wird ein Computerimplementiertes Verfahren zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse vorgestellt. Das Verfahren kann dabei insbesondere ein Bereitstellen eines physikalischen Modells für eine Brechkraftbestimmung für eine Intraokularlinse und ein Trainieren eines maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten und zugehörigen gewünschten Ergebnissen zur Bildung eines Lernmodells für die Brechkraftbestimmung aufweisen. Dabei kann eine eingesetzte Loss-Funktion für das Trainieren zwei Komponenten aufweisen: eine erste Komponente der Loss-Funktion kann entsprechende der klinischen ophthalmologischen Trainingsdaten und zugehörige und gewünschte Ergebnisse berücksichtigen und eine zweite Komponente der Loss-Funktion kann Einschränkungen des physikalischen Modells dadurch berücksichtigen, dass ein Loss-Funktionskomponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells bei gleichen klinischen ophthalmologischen Trainingsdaten als Eingangswerte entfernt. Das Verfahren kann weiterhin ein Bereitstellen von ophthalmologischen Daten eines Patienten und eine Vorhersagen der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems aufweisen, wobei die bereitgestellten ophthalmologischen Daten als Eingangsdaten für das maschinelle Lernsystem genutzt werden können.

[0007] Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein System zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse vorgestellt. Das System kann insbesondere ein Bereitstellungsmodul, in dem ein physikalisches Modell für eine Brechkraftbestimmung für eine Intraokularlinse gespeichert ist, und ein Trainingsmodul, das angepasst ist zum Trainieren eines maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten und zugehörigen gewünschten Ergebnissen zur Bildung eines Lernmodells für die Brechkraftbestimmung, aufweisen. Dabei können in dem Lernsystem Parameterwerte des Lernmodells gespeichert sein. Eine genutzte Loss-Funktion für das Trainieren kann insbesondere zwei Komponenten aufweisen: eine erste Komponente der Loss-Funktion kann entsprechende der klinischen ophthalmologischen Trainingsdaten und zugehörige und gewünschte Ergebnisse berücksichtigen, und eine zweite Komponente der Loss-Funktion kann Einschränkungen des physikalischen Modells dadurch berücksichtigen werden, dass ein Loss-Funktionskomponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells bei gleichen klinischen ophthalmologischen Trainingsdaten als Eingangswerte entfernt.

[0008] Außerdem kann das System einen Speicher für ophthalmologische Daten eines Patienten sowie eine Vorhersageeinheit aufweisen, die angepasst ist zum Vorhersagen der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems, wobei die bereitgestellten ophthalmologischen Daten als Eingangsdaten für das maschinelle Lernsystem genutzt werden.

[0009] Darüber hinaus können sich Ausführungsformen auf ein Computerprogrammprodukt beziehen, auf welches von einem Computer-verwendbaren oder Computer-lesbaren Medium zugegriffen werden kann, das Programm-Code zur Nutzung durch, oder in Verbindung mit, einem Computer oder anderen Instruktionsverarbeitungssystemen aufweist. Im Kontext dieser Beschreibung kann ein Computer-verwendbares oder Computer-lesbares Medium jede Vorrichtung sein, die zur Speicherung, zum Kommunizieren, zur Weiterleitung oder zum Transport des Programm-Codes geeignet ist.

[0010] Das Computer-implementierte Verfahren zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse weist mehrere Vorteile und technische Effekte auf, die auch entsprechend für das zugehörige System gelten können: Ein maschinelles Lernsystem für die Brechkraftbestimmung für eine einzusetzende Intraokularlinse, das ausschließlich auf verfügbaren klinischen ophthalmologischen Daten basiert, würde einerseits eine vergleichsweise lange Trainingszeit benötigen, und anderseits würden bekannte Eigenschaften von physikalischen Modellen nicht so elegant berücksichtigt werden können. Außerdem wären bei einer ausschließlichen Nutzung von klinischen Trainingsdaten sehr viele Datenpunkte - d.h. Trainingsdaten - erforderlich, um einen hohe Anzahl von anatomischer Variabilität zu garantieren. Außerdem würde keine aktive Kontrolle darüber bestehen, welche Variabilität bei den rein klinischen - d.h. ophthalmologischen - Trainingsdaten tatsächlich existiert. Durch physikalische Modelle kann der gesamte Parameterraum systematisch gesampelt warden.

[0011] Das hier vorgestellte Verfahren nutzt dagegen das Beste aus beiden Welten: einerseits der Welt der physikalisch-mathematischen Modelle und andererseits aber auch die Welt der klinischen ophthalmologischen Daten. Darüber hinaus kann das maschinelle Lernmodell vor dem Trainieren mit klinischen ophthalmologischen Daten zusätzlich vortrainiert sein. Dazu können automatisch erzeugte Trainingsdaten mittels eines physikalischen Modells erzeugt werden. Dieses physikalische Modell muss nicht zwingend das Gleiche sein, welches die Loss-Funktion beeinflusst. Auf diese Weise ließen sich Einflüsse von unterschiedlichen physikalischen Modellen beim Training berücksichtigen.

[0012] Das vorgestellte Verfahren hat hierbei einen entscheidenden Einfluss auf die Robustheit des Trainings, sowohl für den untrainierten Fall als auch für den Fall eines vortrainierten Systems. Im Falle eines untrainierten neuronalen Netzwerkes sorgt der physikalische Constraint in der Loss-Funktion dafür, dass das System während es auf den realen Daten trainiert wird, keine physikalisch inkonsistenten Vorhersagen lernen kann. Somit wird der Einfluss von Ausreißern im Datensatz abgefangen und das trainierte gesamte Netzwerk kann eine stabilere Prädiktion liefern. Im Fall, dass das maschinelle Lernmodell bereits auf künstlichen Daten mithilfe des physikalischen Constraints vortrainiert wurde und somit physikalisches Wissen enthält, kann die Kontrolle über die Loss-Funktion dazu führen, dass kein „katastrophales Vergessen“ einsetzen kann, dass also das zuvor gelernte Wissen durch das Training auf den ophthalmologischen Daten nicht einfach überschrieben werden kann. Der physikalische Constraint in der Loss-Funktion kann das das Netzwerk zwingen, weiterhin die physikalische Rahmenbedingungen und Grenzen zu berücksichtigen.

[0013] Aufgrund dieses Constraints und der zusätzlichen physikalischen Information, die während des Trainings zur Verfügung gestellt werden kann, können insgesamt deutlich weniger Daten für das Training benötigt werden, da die physikalischen Rahmenbedingungen nicht aus den Daten gelernt werden müssen. Dies kann eine deutlich flexiblere und schnellere Anwendung der Methode ermöglichen, da zuvor keine große Datenmengen (d.h. , klinische Trainingsdaten) gesammelt werden müssen. Des Weiteren ist es möglich, auf Klinikspezifischen Datensätzen zu trainieren, um so das Verfahren und das entsprechende System auf diese genau abzustimmen zu können. Dies wird ermöglicht, da nur vergleichsweise wenige klinische Daten für das Training nötig werden.

[0014] Der physikalische Constraint in der Loss-Funktion selbst kann eine Abdeckung des gesamten Parameterraums darstellen. Für jeden erdenklichen Datenpunkt kann er die korrekte physikalische Lösung liefern und kann damit ermöglichent, den gesamten Parameterbereich systematisch zu repräsentieren. Dies ist gegenüber dem traditionellen Verfahren ein entscheidender Vorteil für einen Trainingsprozess, da unter normalen Umständen durch die vorhandenen realen Daten nur ein kleiner Teil des Parameter-Raums dargestellt werden kann. Dieser kann außerdem immer fehlerbehaftet sein. All dies durch den physikalischen Constraint ausgeglichen werden. Er stellt somit eine entscheidende Erweiterung und Verbesserung des Trainingsprozesses dar.

[0015] Da neben diesem direkten Training mit Hilfe des physikalischen Modells auch immer die realen Daten berücksichtigt werden müssen, kann die korrekte Gewichtung der Komponenten zueinander ein weiterer entscheidender Aspekt des vorgestellten Konzeptes darstellen. Durch die vorgenommene Gewichtung kann erreicht werden, dass das maschinelle Lernmodell einerseits die physikalichen Rahmenbedingungen berücksichtigen kann, und andererseits genug Freiraum hat, sich an die ideale Datensituation anzupassen. Dieses ausgeglichene Zusammenspiel kann einen entscheidenden Vorteil im Trainingsprozess liefern und die finale Vorhersage der IOL Brechkraft für neue ophthalmologische Daten verbessern. [0016] Zusätzlich wäre es auch möglich, theoretische ophthalmologische Daten zu berücksichtigen. Diese können aus Literaturdaten bestehen. Interpolationen zwischen den Literaturdaten - oder Daten aus anderen Quellen - können auch Zwischenwerte generieren. Diese so gewonnenen zusätzlichen Referenzdaten könnten neben oder anstelle des physikalischen Modells in der Loss-Funktion das mathematisch-physikalische Modell ergänzen oder ersetzen.

[0017] Auf diese Weise besteht ein großer Spielraum hinsichtlich der Berücksichtigung von mathematisch-physikalischen Modellen beim Trainieren des mit den klinischen ophthalmo- logischen Daten trainierten maschinellen Lernsystems. Andererseits ergibt sich auch ein großer Quellenpool von zusätzlichen Daten, die nicht in dem gerade genutzten physikalischen Einflussmodell auf die Loss-Funktion genutzt werden.

[0018] Das vorgeschlagene Konzept ließe sich auch dahingehend erweitern, dass nicht nur ein physikalisches Modell bei der Beeinflussung der Loss-Funktion genutzt würde. Vielmehr könnte die Einflussnahme auf die Loss-Funktion auch mindestens ein weiteres physikalisches Modell berücksichtigen. In so einem Fall würde die Loss-Funktion durch einen weiteren Term ergänzt, der mit einem zusätzlichen Gewichtsfaktor eingehen würde. Die sonstige Funktion - insbesondere das Zuführen der Eingangsdaten - würde entsprechend und parallel des ersten physikalischen Modells erfolgen.

[0019] Insgesamt kann ein Geschwindigkeitsvorteil beim Training erreicht werden, der dadurch entstehen kann, dass während des Trainings nicht nur mittels der klinischen ophthalmologischen Daten trainiert wird, sondern dadurch, dass Messausreißer bei den klinischen ophthalmologischen Daten durch das physikalische Modell unmittelbar korrigiert werden. Man könnte auch mit weniger, oder weniger gut, annotierten Daten in die Trainingsphase für das maschinelle Lernsystem gehen Insgesamt könnte deutlich Rechenleistung gespart werden, und somit können die vorhandenen Rechnerkapazitäten besser eingesetzt werden.

[0020] Im Folgenden werden weitere Ausführungsbeispiele vorgestellt, die sowohl im Zusammenhang mit dem Verfahren, wie auch mit dem entsprechenden System, Gültigkeit haben können. [0021] Zusammenfassen lässt sich somit sagen, dass im Gegensatz zu bekannten maschinellen Lernsystemen und entsprechenden Verfahren zur Bestimmung der IOL- Brechkraft, die beim Training realdatenbasiert - d.h. basierend auf ophthalmologischen Daten - arbeiten und somit eine große Trainingsdatenmenge brauchen und keine Möglichkeit von soliden Vorhersagen (d.h. lOL-Brechkraftbestimmungen) außerhalb ihres durch den Trainingsdatensatz abgedeckten Parameterraumes ermöglichen, das hier vorgestellte Verfahren und System die Randbedingungen von physikalischen Modelle und von klinisch, ophthalmologischen Trainingsdaten gleichermaßen und entsprechend gewichtet nutzen kann. Damit kann das hier vorgestellte Konzept über die klassischen Verfahren hinausgehen, bei denen die Anzahl der typischerweise verfügbaren klinischen Trainingsdaten nicht ausreichen, um die Gesamtheit der physikalischen Rahmenbedingungen abzudecken. Außerdem können diese noch mit Messfehlern behaftet sein, was die Situation weiter erschwert. Kurz: (i) Durch das physikalische Modell kann die gesamte erwartete anatomische Variabilität abgedeckt werden, sodass robustere Systeme zur Bestimmung bzw. Vorhersage für die IOL-Brechkraft entstehen. Und (ii) durch die Kombination des physikalischen Modells mit den klinische Daten werden weniger klinische Daten für ein robustes Modell benötigt. Folglich können robuste klinikspezifische, arztspezifische bzw. linsenspezifische Modelle erstellt werden.

[0022] Gemäß einer vorteilhaften Ausführungsform des Verfahrens kann die erste und die zweite Komponenten der Loss-Funktion konfigurierbar gewichtet werden. Damit ist ein Fine- Tuning des Lernmodells des zu trainierenden maschinellen Lernsystems möglich. So ist beispielsweise konfigurierbar, welche der beiden Komponenten der Loss-Funktion mehr Gewicht bekommen sollte: (i) die klinischen ophthalmologischen Trainingsdaten oder (ii) die Einschränkungen durch das physikalische Modell. Auf diese Weise lassen sich ganz individuell, und auch in Abhängigkeit von der gewählten Art des physikalischen Modells, die Einflussparameter justieren. Auf diese Weise ließen sich unterschiedlich starke Gewichtungen, je nach Art des gewählten physikalischen Modells, oder auch andere oder zusätzliche Einschränkungen („constraints“) festlegen. Damit ist einen Motivation für die Einführung der Gewichtung unmittelbar erkennbar, nämlich ein Balance zwischen katastrophalen Interferenzen, die vom physikalischen Modell herrühren können, und der Gefahr durch Over- Fitting auf Basis der klinischen Daten herzustellen. [0023] Gemäß einer weiteren vorteilhaften Ausführungsform des Verfahrens kann eine Gewichtungsfunktion der folgenden Art angewendet werden:

W = B * [ a*(Delta) - (1-a)*Phy ], wobei Folgendes gilt:

W = Wert der Loss-Funktion,

B = allgemeine Konstante oder weiterer Funktionsterm der Loss-Funktion, a = Gewichtungskonstante,

Delta = erste Komponenten, d.h. Ergebnisse einer Abweichungsfunktion (z.B. MSE, mean square error, also das „Mittel der quadratischen Abweichungen“) der Abweichungswerte beim Training; und

Phy = zweite Komponente, d.h., die Einschränkung durch das physikalische Modell.

[0024] Die Werte für die Gewichtung können von Training zu Training (oder Re-Training) neu gesetzt werden. Dafür kann ein explizites User-Interface vorhanden sein, um ein Trainieren unter optimalen Bedingungen zu ermöglichen. Hierdurch ließen sich auch elegant verschiedene physikalische Rahmenbedingungen - d.h. physikalische Modelle - ausprobieren.

[0025] Gemäß einer ergänzenden vorteilhaften Ausführungsform des Verfahrens können die ophthalmologischen Daten OCT-Bilddaten - d.h. komplette „rohe“ Bilddaten oder explizite aus OCT-Bilddaten abgeleitete ophthalmologische Werte oder sowohl OCT-Bilddaten als auch aus den OCT-Bilddaten abgeleitete Werte aufweisen. Weiterhin ist es durchaus möglich, dass die Bilddaten auch biometrische Daten sind. Auf diese Weise besteht eine große Flexibilität in der Nutzung der zu verwendenden Trainingsdaten.

[0026] Gemäß einer weiterentwickelten Ausführungsform des Verfahrens kann eine erwartete Position der einzusetzenden Intraokularlinse als zusätzlicher Eingangsdatenwert für das maschinelle Lernsystem im produktiven Betrieb genutzt werden. Es kann erwartet werden, dass auf diese Weise eine nochmals verbesserte Brechkraftbestimmung der IOL möglich wird.

[0027] Gemäß einer erweiterten Form einer Ausführungsform des Verfahrens kann das Lernmodell des maschinellen Lernsystems vor dem Training mit ophthalmologischen Daten bereits durch künstlich erzeugte Trainingsdaten, die auf Gesetzmäßigkeiten des bereitgestellten physikalischen Modells beruhen, trainiert werden. Die Gesetzmäßigkeiten lassen sich durch ein physikalisches Modell - d.h. Formeln - darstellen. Dabei ist es auch möglich, dass sich das physikalische Modell für das hier angesprochene Vortraining von dem physikalischen Modell während des weiter oben angesprochenen Haupttrainings unterscheidet. Auf diese Weise könnten mindestens zwei unterschiedliche physikalische Modelle berücksichtigt werden: (i) eines beim Vortraining des auf diese Weise implementierten 2-stufigen Trainings des Lernmodells des maschinellen Lernsystems und (ii) ein zweites beim sich anschließenden Haupttraining des Lernmodells des maschinellen Lernsystems. Abhängig von den so gewählten physikalischen Modellen könnte die o.g. Gewichtung der Loss-Funktion über das speziell angepasste User-Interface leicht eingestellt werden. Durch diese Art der Berücksichtigung von zwei unterschiedlichen physikalischen Modellen müsste die Loss- Funktion nicht um einen weiteren Term ergänzt werden. Außerdem kann so die Trainingszeit und/oder die Menge der realen Trainingsdaten reduziert werden. Vorhanden Ressourcen würden besser genutzt.

[0028] Folglich würde hierdurch das zu trainierende Lernmodell von dem Vortraining durch physikalische Modelle zeitlich profitieren. Theoretisch ließen sich immer feinere physikalische Modelle für das Training bzw. zur Erzeugung von Trainingsdaten verwenden.

[0029] Gemäß einer erweiterten Form einer Ausführungsform des Verfahrens kann das physikalische Modell auch Literaturdaten für eine Brechkraftbestimmung für die Intraokularlinse aufweisen. Die Literaturdaten können in tabellarischer Form vorliegen, aus denen als Ergänzung oder Ersatz für das physikalische Modell Wertetupel - z.B. auch durch Interpolation der vorhandenen Werte - bereitgestellt werden könnten. Auf diese Weise ließe sich auf das physikalische Modell verzichten, ohne aber auf den Einfluss von bekannten Grenzwerten („contraints“) verzichten zu müssen.

[0030] Gemäß einer gut nutzbaren Ausführungsform des Verfahrens kann es sich bei der einzusetzenden Intraokularlinse um eine sphärische, torische oder multifokale einzusetzende Intraokularlinse - oder weitere Linsenformen - handeln. Damit wäre das hier vorgestellte Konzept umfassend einsetzbar. Vorteilhafterweise würden auch die Trainingsdaten und das physikalische Modell (oder die phys. Modelle) entsprechend ausgewählt.

[0031] Gemäß einem weiteren Ausführungsbeispiel des Verfahrens kann das maschinelle Lernsystem ein neuronales Netzwerk sein. Dabei kann es sich um ein Convolutional Neural Network (CNN) handeln. CNNs erweisen sich als besonders hilfreich, wenn es um eine Verarbeitung von Bilddaten geht, die zu klassifizieren sind, wie es die Rohdaten der ophthalmologischen Daten sein können.

[0032] Alternativ könnten auch eventuell vorhandene zeitabhängige Daten aus 4D-Scans des Auges (drei Raumrichtungen und Veränderungen der Scan-Daten des Auges abhängig von der Zeit) verwendet werden. In diesem Fall könnte entweder als Ersatz für das oben genannte CNN oder in Ergänzung ein RNN (Recurrent Neural Network) verwendet werden.

[0033] Gemäß einem vorteilhaften Ausführungsbeispiel des Verfahrens können die ophthalmologischen Daten eines Auges mindestens eines aus der Gruppe aufweisen, die besteht aus einer axialen Länge, einer Vorderkammertiefe, einer Linsendicke, einer Hinterkammertiefe, einer Cornea-Dicke, einer Cornea-Keratometrie, einer Linsen- Äquatorialebene, Weiß-zu-Weiß-Abstand und einer Pupillengröße. Dabei versteht es sich, dass jeweilige numerische Werte der genannten Parameter gemeint sind. Diese Augenparameterwerte lassen sich heutzutage elegant mittels eines Augenscans mit hoher Genauigkeit ermitteln.

[0034] Gemäß einem erweiterten Ausführungsbeispiel des Verfahrens kann das zweite physikalische Modell als ein mathematisches Modell oder als ein Ray-Tracing-Modell darstellbar sein. Folglich gibt es auch in der zweiten Stufe der Erzeugung von Trainingsdaten die Optionen unterschiedliche Verfahren einzusetzen, um verbesserte modellbasierte Trainingsdaten verfügbar zu machen. Dies kann den Spielraum bei einer Individualisierung des vorgeschlagenen Verfahrens für bestimmte Einsatzzwecke erweitern.

[0035] Gemäß einem wiederum erweiterten Ausführungsbeispiel des Verfahrens können die klinischen ophthalmologischen Trainingsdaten manuell oder mittels eines dritten maschinellen Lernsystems bestimmt oder erzeugt werden. Manuell würde in diesem Zusammenhang bedeuten, dass sie mittels einer Augen-Scan-Vorrichtung vermessen würden. Im Gegensatz dazu wären die Trainingsdaten, die mittels eines dritten maschinellen Lernsystems erzeugt würden, eher künstlicher Natur, wobei es allerdings auch möglich wäre, eine vergleichsweise geringe Menge an klinischen ophthalmologischen Daten einzusetzen, um mittels des dritten, bereits trainierten, maschinellen Lernsystems eine größere Trainingsdatenmenge für den finalen Lernschritt bereitzustellen. Auf diese Weise wäre das hier vorgestellte Verfahren auch mit einer vergleichsweise geringen Menge an klinischen ophthalmologischen Daten einsetzbar, die normalerweise nicht ausreichen würden, um mittels des zwei-stufigen Trainierens vom(n) physikalischen Modell(en) auf echte klinische Daten präzisiert zu werden. Beispielsweise könnte hierfür ein GAN (generative adversarial network) eingesetzt werden.

Übersicht über die Figuren

[0036] Es sei darauf hingewiesen, dass Ausführungsbeispiele der Erfindung mit Bezug auf unterschiedliche Implementierungskategorien beschrieben sein können. Insbesondere sind einige Ausführungsbeispiele in Bezug auf ein Verfahren beschrieben, während andere Ausführungsbeispiele im Kontext von entsprechenden Vorrichtungen beschrieben sein können. Unabhängig davon ist es einem Fachmann möglich, aus der hier vorstehenden und nachfolgenden Beschreibung - wenn nicht anderweitig darauf hingewiesen - mögliche Kombinationen der Merkmale des Verfahrens sowie mögliche Merkmalskombinationen mit dem entsprechenden System zu erkennen und zu kombinieren, auch, wenn sie zu unterschiedlichen Anspruchskategorien gehören.

[0037] Bereits oben beschriebene Aspekte sowie zusätzliche Aspekte der vorliegenden Erfindung ergeben sich unter anderem aus den beschriebenen Ausführungsbeispielen und aus den zusätzlichen weiteren, durch Bezug auf die Figuren beschriebenen, konkreten Ausgestaltungen.

[0038] Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden beispielhaft und mit Bezug auf die folgenden Figuren beschrieben:

Fig. 1 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des Computer-implementierten Verfahrens zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse dar.

Fig. 2 stellt ein Auge zusammen mit verschiedenen biometrischen Parametern des Auges dar.

Fig. 3 stellt einen schematischen Aufbau wesentlicher Funktionskomponenten des zugrundeliegenden vorgeschlagenen Verfahrens bzw. des zugehörigen Systems dar. Fig. 4 stellt ein Diagramm des erfinderischen Vorhersagesystems dar.

Fig. 5 stellt ein Diagramm eines Computersystems dar, welches zusätzlich das System gemäß Fig. 4 ganz oder teilweise aufweisen kann.

Detaillierte Figurenbeschreibung

[0039] Im Kontext dieser Beschreibung sollen Konventionen, Begriffe und/oder Ausdrücke folgendermaßen verstanden werden:

[0040] Der Begriff „Intraokularlinse“ beschreibt eine künstliche Linse, die operativ anstelle der natürlichen, biologischen Linse in das Auge eines Patienten eingesetzt werden kann.

[0041] Der Begriff „Loss-Funktion“ beschreibt eine Fehlerfunktion, die einen Wert oder einen Satz von Fehlerwerten während des Trainings eines maschinellen Lernsystems ausgibt, welcher normalerweise umso größer ist, je weiter der vorhergesagte Wert und der erwartete Wert des maschinellen Lernsystems bei einem Satz von zugehörigen Eingangswerten auseinander liegen. Zur Bestimmung und Verwendung dieser Differenz sind mehrere Verfahren möglich (z.B. MSE = mean square error oder auch cross-entropy). Der oder die Ausgabewerte der Loss-Funktion werden in das neuronale Netzwerk - bzw. den Knoten oder den Gewichtsfunktionen- zugeführt (Backpropagation). Auf diese Weise konvergieren tatsächlich vorhergesagte Ausgabewerte des maschinellen Lernsystems in Richtung der annotierten - also gewünschten - Ergebniswerte.

[0042] Der Begriff „maschinelles Lernsystem“ beschreibt ein System, das auch typischerweise einem Verfahren zugeordnet ist, welches aus Beispielen lernt. Dazu wird das maschinelle Lernsystem mit annotierten (d.h. auch Metadaten enthaltend) Trainingsdaten gefüttert, um bereits vorher festgelegte Ausgabewerte - im Falle eines Klassifikationssystems Ausgabeklassen - vorherzusagen. Wenn die Ausgabeklassen mit genügender Präzision - d.h. einer vorher bestimmten Fehlerrate - korrekt ausgegeben werden, bezeichnet man das maschinelle Lernsystem als trainiert. Es sind verschiedene maschinelle Lernsysteme bekannt. Dazu gehören neuronale Netzwerke, gefaltete neuronale Netzwerke (CNN = Convolutional Neural Network) oder auch rekurrente neuronale Netzwerke (RNN, Recurrent Neural Network).

[0043] Grundsätzlich ist der Begriff „Machine-Learning“ (bzw. maschinelles Lernen) ein Grundbegriff bzw. eine Grundfunktion aus dem Gebiet der künstlichen Intelligenz, wobei z.B. statistische Verfahren verwendet werden, um Computersystemen die Fähigkeit des „Lernens“ zu geben. Beispielsweise werden dabei bestimmte Verhaltensmuster innerhalb eines spezifischen Aufgabenbereiches optimiert. Die verwendeten Verfahren versetzen trainierte Systeme des maschinellen Lernens in die Lage, Daten zu analysieren, ohne, dass es dazu einer expliziten prozeduralen Programmierung bedarf. Typischerweise handelt es sich z.B. bei einem NN (neuronales Netzwerk) oder CNN (Convolutional Neural Network) um Beispiele für Systeme für maschinelles Lernen, um ein Netzwerk von Knoten zu bilden, welche als künstliche Neuronen agieren, und um künstliche Verbindungen zwischen den künstlichen Neuronen (sogenannte Links), wobei den künstlichen Verbindungen Parameter (z.B. Gewichtsparameter für die Verbindung) zugeordnet werden können. Während des Trainings des neuronalen Netzes passen sich die Gewichtsparameterwerte der Verbindungen automatisch auf Basis von Eingangssignalen zur Erzeugung eines gewünschten Ergebnisses an. Beim überwachten Lernen werden die als Eingabewerte (Trainingsdaten) gelieferten Bilder - allgemein (Eingangs-)Daten - durch gewünschte Ausgabedaten (Annotationen) ergänzt, um einen gewünschten Ausgabewert (gewünschte Klasse) zu erzeugen. Ganz allgemein betrachtet, wird eine Abbildung von Eingangsdaten auf Ausgangsdaten gelernt.

[0044] Der Begriff „neuronales Netzwerk“ beschreibt ein Netzwerk aus elektronisch realisierten Knoten mit einem oder mehreren Eingängen und einem oder mehreren Ausgängen zur Durchführung von Rechenoperationen (Aktivierungsfunktionen). Dabei sind ausgewählte Knoten mittels Verbindungen - sogenannte Links oder Edges - miteinander verbunden. Die Verbindungen können bestimmte Attribute, zum Beispiel Gewichtsparameterwerte, aufweisen, durch die Ausgangswerte von vorangegangenen Knoten beeinflusst werden können.

[0045] Neuronale Netze sind typischerweise in mehreren Schichten aufgebaut. Es ist mindestens eine Eingangsschicht, eine verborgene Schicht und eine Ausgangschicht vorhanden. In einem einfachen Beispiel können Bilddaten der Eingangsschicht zugeführt werden, und die Ausgangsschicht kann Klassifikationsergebnisse bezüglich der Bilddaten aufweisen. Typische neuronale Netze weisen allerdings eine große Vielzahl von verborgenen Schichten auf. Die Art und Weise der Verbindung der Knoten mit Links hängt von der Art des jeweiligen neuronalen Netzes ab. Im vorliegenden Beispiel kann der Vorhersagewert des neuronalen Lernsystems die gesuchte Brechkraft der Intraokularlinse sein.

[0046] Der Begriff „rekurrentes neuronales Netzwerk“ bezeichnet neuronale Netze, die sich im Gegensatz zu den Feed-Forward-Netzen durch Verbindungen von Neuronen (d.h. Knoten) einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnen. Im Gehirn ist dies die bevorzugte Verschaltungsweise neuronaler Netze, insbesondere im Neocortex. In künstlichen neuronalen Netzen werden häufig rekurrente Verschaltungen von Modellneuronen benutzt, um zeitlich kodierte - d.h. dynamische - Informationen in den Daten zu entdecken. Beispiele für solche rekurrenten neuronalen Netze sind das Elman-Netz, das Jordan-Netz, das Hopfield-Netz sowie das vollständig verschaltete neuronale Netz. Sie eignen sich auch für die Untersuchung eines dynamischen Verhaltens in Aufnahmen von Augen, insbesondere für eine Berücksichtigung des Akkommodationsverhaltens des Auges.

[0047] Der Begriff „Convolutional Neural Network“ (CNN) - als ein Beispiel für einen Klassifikator/ein Klassifikatorsystem - beschreibt eine Klasse von künstlichen neuronalen Netzwerken, die auf Feed-Forward-Techniken basieren. Sie werden häufig für Bildanalysen mit Bildern, bzw. deren Pixeln, als Eingangsdaten eingesetzt. Hauptbestandteil von Convolutional Neural Networks sind dabei Faltungsschichten (daher der Name), welche eine effiziente Auswertung durch Parameter-Sharing ermöglicht. Im Gegensatz zum CNN würde in einem klassischen neuronalen Netzwerk typischerweise jeder Pixel des aufgenommenen Bildes einem künstlichen Neuron des neuronalen Netzwerkes als Eingangswert zugewiesen.

[0048] Der Begriff „Parameterwert“ beschreibt geometrische bzw. biometrische Werte, bzw. ophthalmologische Daten eines Auges eines Patienten. Beispiele für Parameterwerte eines Auges werden anhand von Fig. 2 näher diskutiert.

[0049] Der Begriff „Scan-Ergebnis“ beschreibt digitale Daten, z.B. basierend auf digitalen Bildern/Aufnahmen, welche das Ergebnis einer OCT-Untersuchung (optische Kohärenztomographie) an einem Auge eines Patienten darstellt.

[0050] Der Begriff „optische Kohärenztomographie“ (abgekürzt OCT = optical coherence tomopgraphy) beschreibt ein in der Augenheilkunde bekanntes bildgebendes Verfahren, um zwei- und dreidimensionale Aufnahmen (2D oder 3D) aus streuenden Materialien (beispielsweise biologisches Gewebe) in Mikrometerauflösung zu erhalten. Dabei werden im Wesentlichen eine Lichtquelle, ein Strahlenteiler und ein Sensor - beispielsweise in Form eines digitalen Bildsensors - eingesetzt. In der Ophthalmologie werden durch OCT räumliche Unterschiede im Reflexionsverhalten einzelner Netzhautschichten erfasst, und morphologische Strukturen können hochaufgelöst dargestellt werden.

[0051] Der Begriff „A-Scan“ (auch axialer Tiefenscan) beschreibt ein eindimensionales Ergebnis eines Scans eines Patientenauges, welches Aufschluss über geometrische Dimensionen und Orte von Strukturen innerhalb des Auges beschreibt.

[0052] Der Begriff „B-Scan “ beschreibt eine laterale Überlagerung mehrerer der genannten A- Scans, um einen Schnitt durch das Auge zu erzeugen. Durch eine Kombination von mehreren, so erzeugten, Schichten des Auges sind auch Volumenansichten erzeugbar.

[0053] Der Begriff „en-face OCT“ beschreibt hier ein Verfahren zur Herstellung von transversalen Schnittbildern des Auges - im Gegensatz zu longitudinalen Schnittbildern mit den oben genannten A- bzw. B-Scans.

[0054] Der Begriff „dynamische Augendaten“ beschreibt eine Abfolge von 2D-Schnittbildern des Auges - meist an der gleichen Stelle - um dynamische, d.h. , zeitliche Veränderungen - z.B. die Adaptionsfähigkeit des Auges - zu erkennen.

[0055] Der Begriff „digitales Bild“ - z.B. aus einem Scan - beschreibt hier eine Abbildung oder das Ergebnis einer Erzeugung einer Datenmenge in Form von Pixel-Daten eines real existierenden Gegenstandes: hier beispielsweise eine Retina eines Auges. Verallgemeinert kann ein „digitales Bild“ als eine zweidimensionale Signalmatrix verstanden werden. Die Einzelvektoren der Matrix lassen sich auch aneinander fügen, um so einen Eingangsvektor für eine Schicht eines CNN zu erzeugen. Die digitalen Bilder können auch einzelne Frames von Videosequenzen sein.

[0056] Der Begriff „klinische ophthalmologische Trainingsdaten“ - beschreibt Daten über Patientenaugen und bereits bei diesen Patienten in der Vergangenheit eingesetzte Intraokularlinsen. Zu den klinischen ophthalmologischen Trainingsdaten können ermittelte ophthalmologische Parameterwerte, wie auch die Brechkraft und die Position der eingesetzten Linse, gehören. Diese Daten werden zu Trainingszwecken des maschinellen Lernsystems, das bereits vorher auf Basis von Daten aus einem physikalischen Modell trainiert wurde, genutzt. Die klinischen ophthalmologischen Trainingsdaten sind in der Regel annotiert.

[0057] Der Begriff „Trainingsdaten“ beschreibt Daten mit denen das maschinelle Lernsystem trainiert werden kann. Diese Trainingsdaten für das maschinelle Lernsystem sind ophthalmologische Daten und zugehörige Brechkraftwerte von vorangegangenen erfolgreichen Linsentauschoperationen.

[0058] Der Begriff „physikalisches Modell“ bezieht sich auf eine mathematische Formel, welche verschiedene Parameter eines Auges in Beziehung zueinander setzt, um Brechkraftbestimmungen vorzunehmen. Bekannte Formeln sind die von Haigis und die Universal Barrett II Formel. Außerdem ließe sich ein Ray-Tracing-Verfahren verwenden.

[0059] Der Begriff „Brechkraft einer Intraokularlinse“ beschreibt den Brechungsindex der IOL.

[0060] Im Folgenden wird eine detaillierte Beschreibung der Figuren angegeben. Dabei versteht es sich, dass alle Details und Anweisungen in den Figuren schematisch dargestellt sind. Zunächst wird ein Blockdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Computer-implementierten Verfahrens zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse dargestellt. Nachfolgend werden weitere Ausführungsbeispiele, bzw. Ausführungsbeispiele für das entsprechende System beschrieben:

[0061] Fig. 1 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des erfinderischen Computer-implementierten Verfahrens 100 dar. Das Verfahren 100 weist ein Bereitstellen 102 eines physikalischen Modells für eine Brechkraftbestimmung für eine Intraokularlinse auf. Dabei kann es sich um eine Formel für eine Bestimmung einer Brechkraft auf der Basis einer Reihe von Eingangsparametern, Daten aus einem anderen trainierten maschinellen Lernsystem oder um Literaturdaten handeln, z.B. in tabellarisch gespeicherter Form.

[0062] Weiterhin weist das Verfahren 100 ein Trainieren 104 eines maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten und zugehörige gewünschten Ergebnissen zur Bildung eines Lernmodells für die Brechkraftbestimmung auf, wobei eine Loss-Funktion für das Trainieren zwei Komponenten aufweist. Bei den gewünschten Ergebnissen handelt es sich um vorherzusagende Ergebnisse des maschinellen Lernsystems beim Vorhandensein bestimmter Eingangsparameterwerte. Die Kombination aus Eingangsdaten und erwarteten Ergebnisdaten wird auch als ‘Ground-Truth' (Grundwahrheit) im Kontext von maschinellem Lernen bezeichnet. Dies gilt insbesondere für das hier vorgenommene sog. „supervised learning", also beaufsichtigtes Lernen.

[0063] Eine erste Komponente der Loss-Funktion berücksichtigt die entsprechenden der klinischen ophthalmologischen Trainingsdaten sowie zugehörige, gewünschte Ergebnisse. Diese Komponente der Loss-Funktion kann das bekannte Mean-Square-Error-Verfahren nutzen. Dabei wird die Komponente der Loss-Funktion (quadratisch) größer, je weiter der vorhergesagte Wert von dem annotierten zugehörigen Ergebnis-(Vorhersage)-Wert abweicht. Die Nutzung des Quadrats stellt sicher, dass sowohl numerisch positive Werte als auch numerisch negative Abweichungswerte in gleicher weise berücksichtigt werden.

[0064] Durch die zweite Komponente der Loss-Funktion werden Einschränkungen des physikalischen Modells dadurch berücksichtigt, dass ein Loss-Funktionskomponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft durch das maschinelle Lernsystem während des Trainings von Ergebnissen des physikalischen Modells bei gleichen klinischen ophthalmologischen Trainingsdaten als Eingangswerte für das physikalische Modell entfernt.

[0065] Das Verfahren 100 weist weiterhin ein Bereitstellen 106 von ermittelten ophthalmologischen Daten eines Patienten sowie das Vorhersagen 108 der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems auf, wobei die bereitgestellten ophthalmologischen Daten als Eingangsdaten für das maschinelle Lernsystem genutzt werdem

[0066] Optional (deshalb gestrichelt dargestellt) kann auch eine Position der einzusetzenden Intraokularlinse als zusätzlicher Eingabewert für das maschinelle Lernsystem genutzt werden (vgl. 110). [0067] Fig. 2 stellt ein Auge 200 mit verschiedenen biometrischen bzw. ophthalmologischen Parametern eines Auges dar. Insbesondere sind folgende Parameter dargestellt: axiale Länge 202 (AL, axial length), vordere Kammerdicke 204 (ACD, anterior chamber depth), Keratometriewert 206 (K, Radius), Brechkraft der Linse (Power), Linsendicke 208 (LT, lense thickness), zentrale Korneadicke 210 (CCT, central cornea thickness), Weiß-zu-Weiß-Abstand 212 (WTW, white-to-white distance), Pupillengröße 214 (PS, pupil size), hintere Kammertiefe 216 (PCD, posterior chamber depth), Retinadicke 218 (RT, retina thickness). Mindestens einer dieser Parameter ist sowohl in den ophthalmologischen Trainingsdaten als auch in den ophthalmologischen Daten eines Patienten enthalten, die jeweils in dem Gegenstand des hier vorgestellten Konzeptes enthalten sind.

[0068] Fig. 3 stellt einen schematischen Aufbau 300 wesentlicher Funktionsblöcke, die für die Ausführung des vorgeschlagenen Verfahrens nützlich sind, dar. Zunächst wird ein geeignetes physikalisches Modell 302 eines Auges für eine Brechkraftbestimmung ausgewählt und bereitgestellt. Andererseits werden Trainingsdaten 304 für das maschinelle Lernsystem 310 zur Verfügung gestellt. Dabei handelt es sich einerseits um sog. Ground-Truth-Daten, also Ergebniswerte für die Vorhersage der Brechkraftwerte 308 sowie (annotierte) gemessene ophthalmologische Daten 306. Alternativ können statt der gemessenen ophthalmologischen Daten auch zusätzlich oder alternativ die kompletten Bilddaten des entsprechenden Auges genutzt werden (zum Beispiel A-Scan, B-Scan, usw.).

[0069] Gleichzeitig werden die Eingangswerte der Trainingsdaten (gemessene ophthalmologische Daten 306) einem Berechnungsmodul für Ergebniswerte für das physikalische Modell bereitgestellt. Dieses bestimmt parallel zu den gewünschten bzw. annotierten IOL-Brechkraftwerten die Abweichung der Ausgabe des maschinellen Lernsystems 310 (wird im nächsten Absatz genauer beschrieben) von der physikalisch korrekten Lösung und gibt einen Wert zurück, der umso größer wird, je weiter sich die Ausgabe von des maschinellen Lernsystems 310 von dieser Lösung entfernt. Anstelle der errechneten oder anderweitig bestimmten Ausgabe des physikalischen Modells 302 können auch andere Quellen, wie beispielsweise Literaturwerte, genutzt werden.

[0070] Das maschinelle Lernsystem 310 im Training ist als tiefes neuronales Netzwerk (DNN, deep neural network) dargestellt. Dieses weist eine Eingangsschicht von Knoten (links) und eine Ausgangsschicht (rechts) von Knoten auf. Zwar sind nur vier bzw. zwei Knoten dargestellt, bei einem wirklich einsetzbaren neuronalen Netzwerk wäre die Anzahl der Eingangsknoten und Ausgangsknoten allerdings typischerweise deutlich höher. Zwischen der Eingangsschicht und der Ausgangsschicht befindet sich eine Mehrzahl von weiteren Schichten mit Knoten (typischerweise mehr als die beispielhaft dargestellten 2 Innenschichten des DNN), die über jeweilige Gewichtsfunktionen selektiv miteinander verbunden sind.

[0071] Beim Training des maschinellen Lernsystems bzw. dessen Lernmodell werden die Parameter für die Knoten bzw. die entsprechenden Gewichtsfunktionen der Verbindungen zwischen den Knoten iterativ bestimmt. Welche Werte die Gewichtsfunktionen bzw. auch Parameterwerte der Knoten während des Trainings annehmen, wird durch die Loss-Funktion 312 bestimmt. Einfach ausgedrückt, wird das Training so lange fortgesetzt, bis eine Abweichung zwischen der gewünschten IOL-Brechkraft und der durch das maschinelle Lernsystem vorhergesagten IOL-Brechkraft unter einen vorgegebenen Minimalwert fällt.

[0072] Die Besonderheit des hier vorgeschlagenen Verfahrens liegt jetzt allerdings darin, dass der Wert der Loss-Funktion 312 nicht nur auf der oben beschriebenen Differenz beruht, sondern eine zweite - typischerweise additive, z.B. zusätzlich lineare - Komponente aufweist, welche durch die Ergebnisse des Berechnungsmoduls für das zu Grunde liegende physikalische Modell 302 bestimmt wird. Durch die Gewichtung der Komponenten der Loss- Funktion 312 ist eine Feinabstimmung während des Trainings des maschinellen Lernsystems 310 in eleganter und vorteilhafter Weise möglich.

[0073] Um eine synchrone Verfügbarkeit der beiden Komponenten der Loss-Funktion sicherzustellen steht vorteilhafterweise eine Synchronisationseinheit zur Verfügung, die das Zuführen von weiteren Trainingsdaten dahingehend steuert, dass neue Trainingsdaten erst dann verfügbar gemacht werden, wenn vorher beide Komponenten der Loss-Funktion für einen Back-Propagation-Zyklus-Schritt verfügbar waren und so der Trainingsschritt komplette fertiggestellt werden konnte.

[0074] Wenn das Training des maschinellen Lernsystems 310 abgeschlossen ist, kann es produktiv eingesetzt werden. Das dann trainierte maschinelle Lernsystem 314 kann nun ophthalmologische Daten 316 eines Patienten empfangen und durch sein trainiertes maschinelles Lernmodell die Brechkraft 318 mittels der Vorhersageeinheit 320 für eine einzusetzende Intraokularlinse Vorhersagen. Dabei kann zusätzlich die gewünschte Position der einzusetzenden Intraokularlinse als zusätzlicher Eingangsparameterwert für das trainierte maschinelle Lernsystem 314 eingesetzt werden. Außerdem können entweder anstatt oder zusätzlich zu den ophthalmologischen Daten 316 ermittelte Bilddaten des Auges des Patienten als Eingangswerte für das trainierte maschinelle Lernsystem 314 genutzt werden.

[0075] Fig. 4 stellt - der Vollständigkeit halber - ein bevorzugtes Ausführungsbeispiel von Komponenten des Systems 400 zur Brechkraftbestimmung dar, die das Trainieren des maschinellen Lernsystems des vorgeschlagenen Verfahrens 100 unterstützen und die auch in der operativen Phase des Verfahrens zum Einsatz kommen.

[0076] Das System 400 weist einen Prozessor 402 auf, welcher Programmmodule oder Programmcode, die in dem Speicher 404 gespeichert sind, ausführen kann. Dadurch beeinflusst der Prozessor die Funktion der folgenden Komponenten in einer Weise, dass die Elemente des Verfahrens ausgeführt werden können. Insbesondere weist das System 400 dazu ein Bereitstellungsmodul 406 zum Speichern für das physikalische Modell auf. Dabei können beispielsweise auch Literaturwerte für Kombinationen von gemessenen ophthalmologischen Daten und zugehöriger IOL- Brech kraftwerte gespeichert sein, oder das Modell kann in Form einer physikalischen Formel mit entsprechenden Parametern abgespeichert sein. Darüber hinaus kann eine Berechnungseinheit 408 für das physikalische Modell, welches von dem Speicher des Bereitstellungsmoduls 406 für das physikalische Modell Gebrauch macht, vorhanden sein.

[0077] Ergänzend kann auch eine Berechnungseinheit 418 für die Loss-Funktion vorhanden sein, welche die beiden oben beschriebenen Komponenten berücksichtigt.

[0078] Das Trainingsmodul 410, das angepasst ist zum Trainieren eines maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten und zugehörigen gewünschten Ergebnissen zur Bildung eines Lernmodells für die Brechkraftbestimmung der IOL, nutzt die Ergebnisse der Loss-Funktion während des Trainings. Die Loss-Funktion weist dabei folgende Komponenten auf: (i) eine erste Komponente, die entsprechende der klinischen ophthalmologischen Trainingsdaten und zugehörige und gewünschte Ergebnisse berücksichtigt, und (ii) eine zweite Komponente, welche Einschränkungen des physikalischen Modells dadurch berücksichtigt, dass ein zugehöriger Loss-Funktionskomponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells - oder gegebenenfalls anderer Randbedingungen („constraints“) bei gleichen klinischen ophthalmologischen Trainingsdaten als Eingangswerten entfernt. Hierfür kann neben linearen Ansätzen auch z.B. eine Polynom- oder Exponentialfunktion eingesetzt werden.

[0079] Über den Speicher 414 werden die ophthalmologischen Daten eines Patienten schließlich dem maschinellen Lernsystem 412 (welches dem maschinellen Lernsystem 310 von Fig. 3 entspricht) bereitgestellt. Das Vorhersageeinheit 416 (vgl. Fig. 3, 320) gibt die von dem maschinellen Lernsystem 412 ermittelten Vorhersagedaten für die Brechkraft der einzusetzenden Intraokularlinse aus, wobei die bereitgestellten ophthalmologischen Daten als Eingangsdaten für das maschinelle Lernsystem genutzt werden. Der Speicher 414 kann auch für die ophthalmologischen Trainingsdaten einsetzbar sein.

[0080] Es sei ausdrücklich darauf hingewiesen, dass die Module und Einheiten - insbesondere der Prozessor 402, der Speicher 404, das Bereitstellungsmodul 406 für das Speichern des physikalischen Modells, die Berechnungseinheit 408 für das physikalische Modell, die Berechnungseinheit 418 für die Loss-Funktion, das Trainingsmodul 410, das maschinelle Lernsystem 412, der Speicher 416 für die ophthalmologischen Daten sowie die Vorhersageeinheit 416 - mit elektrischen Signalleitungen oder über ein systeminternes Bussystem 420 zum Zwecke des Signal- oder Datenaustausches verbunden sein können. Zusätzlich kann auch eine Anzeigeeinheit an das systeminterne Bussystem 420 oder die Vorhersageeinheit 416 angeschlossen sein, um die Brechkraft auszugeben, anzuzeigen oder anderweitig weiterzuverarbeiten oder weiterzuleiten.

[0081] Wird als maschinelles Lernsystem ein Klassifikationssystem eingesetzt, ergibt sich die vorhergesagte Brechkraft entsprechend der vorhergesagten Klasse, die mit der größten Wahrscheinlichkeit vorhergesagt wird. Alternativ kann die finale Brechkraft der IOL auch mittels eines Regressionssystems als maschinelles Lernsystem mit numerischen Ausgabegrößen implementiert werden.

[0082] Fig. 5 stellt ein Blockdiagramm eines Computersystems dar, welches mindestens Teile des Systems zur Brechkraftbestimmung aufweisen kann. Ausführungsformen des hier vorgeschlagenen Konzepts können grundsätzlich zusammen mit praktisch jedem Typ von Computer, unabhängig von der darin verwendeten Plattform zur Speicherung und/oder Ausführung von Programmcodes, genutzt werden. Fig. 5 stellt beispielhaft ein Computersystem 500 dar, welches zur Ausführung von Programmcode entsprechend des hier vorgestellten Verfahrens geeignet ist, aber auch das Vorhersagesystem ganz oder teilweise enthalten kann.

[0083] Das Computersystem 500 weist eine Mehrzahl von allgemein nutzbaren Funktionen (general purpose functions) auf. Dabei kann das Computersystem ein Tablet-Computer, ein Laptop-ZNotebook-Computer, ein anderes tragbares oder mobiles elektronisches Gerät, ein Mikroprozessorsystem, ein Mikroprozessor-basiertes System, ein Smartphone, ein Computersystem mit speziell eingerichteten Sonderfunktionen, oder auch ein Bestandteil von einem Mikroskopsystem sein. Das Computersystem 500 kann eingerichtet sein zur Ausführung vom Computer-System ausführbaren Anweisungen - wie beispielsweise Programmmodulen - die ausgeführt werden können, um Funktionen der hier vorgeschlagenen Konzepte umzusetzen. Dazu können die Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen usw. aufweisen, um bestimmte Aufgaben oder bestimmte abstrakte Datentypen zu implementieren.

[0084] Die Komponenten des Computersystems können Folgendes aufweisen: einen oder mehrere Prozessoren oder Verarbeitungseinheiten 502, ein Speichersystem 504 und ein Bussystem 506, welches verschiedene Systemkomponenten, inklusive des Speichersystems 504, mit dem Prozessor 502 verbindet. Typischerweise weist das Computersystem 500 eine Mehrzahl von durch das Computersystem 500, zugreifbaren flüchtigen oder nicht-flüchtigen Speichermedien auf. Im Speichersystem 504 können die Daten und/oder Instruktionen (Befehle) der Speichermedien in flüchtiger Form - wie beispielsweise in einem RAM (random access memory) 508 - gespeichert sein, um von dem Prozessor 502 ausgeführt zu werden. Diese Daten und Instruktionen realisieren einzelne oder mehrere Funktionen bzw. Schritte des hier vorgestellten Konzeptes. Weitere Komponenten des Speichersystems 504 können ein Permanentspeicher (ROM) 510 und ein Langzeitspeicher 512 sein, in dem die Programmmodule und Daten (Bezugszeichen 516), wie auch Workflows, gespeichert sein können.

[0085] Das Computersystem weist zur Kommunikation eine Reihe von dedizierten Vorrichtungen (Tastatur 518, Maus/Pointing Device (nicht dargestellt), Bildschirm 520, usw.) auf. Diese dedizierten Vorrichtungen können auch in einem berührungsempfindlichen Display vereint sein. Ein separat vorgesehener I/O-Controller 514 sorgt für einen reibungslosen Datenaustausch zu externen Geräten. Zur Kommunikation über ein lokales oder globales Netzwerk (LAN, WAN, beispielsweise über das Internet) steht ein Netzwerkadapter 522 zur Verfügung. Auf dem Netzwerkadapter kann durch andere Komponenten des Computersystems 500 über das Bussystem 506 zugegriffen werden. Dabei versteht es sich, dass - obwohl nicht dargestellt - auch andere Vorrichtungen an das Computersystem 500 angeschlossen sein können.

[0086] Darüber hinaus können mindestens Teile des Systems 400 für die Brechkraftbestimmung einer IOL (vgl. Fig. 4) an das Bussystem 506 angeschlossen sein.

[0087] Die Beschreibung der verschiedenen Ausführungsbeispiele der vorliegenden Erfindung wurde zum besseren Verständnis dargestellt, dient aber nicht einer unmittelbaren Einschränkung der erfinderischen Idee auf diese Ausführungsbeispiele. Weitere Modifikationen und Variationen erschließt sich der Fachmann selbst. Die hier genutzte Terminologie wurde so gewählt, um die grundsätzlichen Prinzipien der Ausführungsbeispiele am besten zu beschreiben und sie dem Fachmann leicht zugänglich zu machen.

[0088] Das hier vorgestellte Prinzip kann sowohl als System, als Verfahren, Kombinationen davon und/oder auch als Computerprogrammprodukt verkörpert sein. Dabei kann das Computerprogrammprodukt ein (oder mehrere) Computer-lesbare/s SpeichermediumZ-medien aufweisen, welches Computer-lesbare Programminstruktionen aufweist, um einen Prozessor oder ein Steuerungssystem dazu zu veranlassen, verschiedene Aspekte der vorliegenden Erfindung auszuführen.

[0089] Als Medien kommen elektronische, magnetische, optische, elektromagnetische, Infrarot-Medien oder Halbleitersysteme als Weiterleitungsmedium zum Einsatz; beispielsweise SSDs (solid state device/drive als Festkörperspeicher), RAM (Random Access Memory) und/oder ROM (Read-Only Memory), EEPROM (Electrically Eraseable ROM) oder eine beliebige Kombination davon. Als Weiterleitungsmedien kommen auch sich ausbreitende elektromagnetische Wellen, elektromagnetische Wellen in Wellenleitern oder anderen Übertragungsmedien (z.B. Lichtimpulse in optischen Kabeln) oder elektrische Signale, die in Drähten übertragen werden, in Frage. [0090] Das Computer-lesbare Speichermedium kann eine verkörpernde Vorrichtung sein, welche Instruktionen für eine Nutzung durch ein Instruktionsausführungsgerät vorhält bzw. speichert. Die Computer-lesbaren Programminstruktionen, die hier beschrieben sind, können auch auf ein entsprechendes Computersystem heruntergeladen werden, beispielsweise als (Smartphone-) App von einem Service-Provider über eine kabelbasierte Verbindung oder ein Mobilfunknetzwerk.

[0091] Die Computer-lesbaren Programminstruktionen zur Ausführung von Operationen der hier beschriebenen Erfindung können maschinenabhängig sein oder maschinenunabhängige Instruktionen, Microcode, Firmware, Status-definierende Daten oder jeglicher Source-Code oder Objektcode sein, der beispielsweise in C++, Java oder ähnlichen bzw. in konventionellen prozeduralen Programmiersprachen, wie beispielsweise der Programmiersprache „C“ oder ähnlichen Programmiersprachen geschrieben sein. Die Computer-lesbaren Programminstruktionen können komplett durch ein Computersystem ausgeführt werden. In einigen Ausführungsbeispielen können es auch elektronische Schaltkreise, wie beispielsweise programmierbare Logikschaltkreise, Feld-programmierbare Gate Arrays (FPGA) oder programmierbare Logik-Arrays (PLA), sein, die die Computer-lesbaren Programminstruktionen durch Nutzung von Statusinformationen der Computer-lesbaren Programminstruktionen ausführen, um die elektronischen Schaltkreise entsprechend Aspekten der vorliegenden Erfindung zu konfigurieren bzw. zu individualisieren.

[0092] Darüber hinaus ist die hier vorgestellte Erfindung mit Bezug auf Flussdiagramme und/oder Blockdiagramme von Verfahren, Vorrichtungen (Systemen) und Computerprogramm- Produkten entsprechend Ausführungsbeispielen der Erfindung dargestellt. Es sei darauf hingewiesen, dass praktisch jeder Block der Flussdiagramme und/oder Blockdiagramme als Computer-lesbare Programminstruktionen ausgestaltet sein kann.

[0093] Die Computer-lesbaren Programminstruktionen können einem General-Purpose- Computer, einem Spezialcomputer oder einem anderweitig programmierbaren Datenverarbeitungssystem zur Verfügung gestellt werden, um eine Maschine herzustellen, so dass die Instruktionen, welche durch den Prozessor oder den Computer oder andere programmierbare Datenverarbeitungsvorrichtungen ausgeführt werden, Mittel erzeugen, um die Funktionen oder Vorgänge, die in dem Flussdiagramm und/oder Blockdiagrammen dargestellt sind, zu implementieren. Diese Computer-lesbaren Programminstruktionen können entsprechend auch auf einem Computer-lesbaren Speichermedium gespeichert werden.

[0094] In diesem Sinne kann jeder Block in dem dargestellten Flussdiagramm oder den Blockdiagrammen ein Modul, ein Segment oder Anteile an Instruktionen darstellen, welche mehrere ausführbare Instruktionen zur Implementierung der spezifischen Logikfunktion darstellt. In einigen Ausführungsbeispielen können die Funktionen, die in den einzelnen Blöcken dargestellt sind, in einer anderen Reihenfolge - gegebenenfalls auch parallel - ausgeführt werden.

[0095] Die dargestellten Strukturen, Materialien, Abläufe und Äquivalente aller Mittel und/oder Schritte mit zugehörigen Funktionen in den untenstehenden Ansprüchen sind dazu gedacht, alle Strukturen, Materialien oder Abläufe anzuwenden, wie es durch die Ansprüche ausgedrückt ist.

BEZUGSZEICHEN

100 Verfahren zur Brechkraftbestimmung

102 Verfahrensschritt zu 100

104 Verfahrensschritt zu 100

106 Verfahrensschritt zu 100

108 Verfahrensschritt zu 100

110 optionaler Verfahrensschritt zu 100

200 Augenparameter

202 axiale Länge

204 vordere Kammerdicke

206 Keratometriewert

208 Linsendicke

210 zentrale Corneadicke

212 Weiß-zu-Weiß-Abstand

214 Pupillengröße

216 hintere Kammertiefe

218 Retinadicke

300 Funktionsblöcke für die Ausführung des Verfahrens

302 physikalisches Modell

304 Trainingsdaten

306 ophthalmologische Trainingseingangsdaten

308 annotierte Trainingsergebnisdaten

310 maschinelles Lernsystem 312 Loss-Funktion

314 Trainiertes maschinelles Lernsystem

316 ophthalmologischen Daten eines Patienten

318 vorhergesagte Brechkraft der einzusetzenden IOL

320 Vorhersageeinheit

400 System zur Brechkraftvorhersage

402 Prozessor

404 Speicher

406 Speicher für physikalisches Modell

408 Berechnungseinheit für physikalisches Modell

410 Trainingseinheit maschinelles Lernsystem

Speicher für ophthalmologische Daten

Vorhersageeinheit

Berechnungseinheit für Loss-Funktion

Bussystem

Vorhersagesystem

Computersystem

Prozessor

Speichersystem

Bussystem

RAM

ROM

Langzeitspeicher

I/O-Controller

Programmmodule, potenzielle Daten

Tastatur

Bildschirm

Netzwerkadapter