Titel

Verfahren und Vorrichtung zum Bestimmen einer Blickrichtung eines Auges und Datenbrille

Stand der Technik

Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.

Ziel des Eye-Tracking mit tragbaren Geräten, auch als Blickerfassung bezeichnet, ist die präzise Schätzung des Blickwinkels, um daraus Informationen über die Blickrichtung abzuleiten oder Displayinformationen in Abhängigkeit von der Augenstellung anzupassen. Die technischen Realisierungen reichen von Video-Okulographie-Systemen (VOG) bis zu speziellen Tracking-Geräten, die auf dem Verfahren der Pupillen-Hornhaut-Reflexion basieren.

Für die allgemeine Aufgabe der Klassifizierung sind viele Verfahren bekannt, die für eine breite Palette von Anwendungsfällen geeignet sind. Im Vergleich zur verwandten Aufgabe des (unüberwachten) Clustering erfordert die Klassifizierung Aufgabe problembezogenes Wissen darüber, wie die Cluster zu benennen sind.

Offenbarung der Erfindung

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Bestimmen einer Blickrichtung eines Auges, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm sowie eine Datenbrille gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.

Ein Verfahren zum Bestimmen einer Blickrichtung eines Auges umfasst die folgenden Schritte:

Einlesen eines ersten Abstandswertes und eines ersten Geschwindigkeitswertes, wobei der erste Abstandswert einen Abstand zwischen einem ersten Lasersensor zum Aussenden eines ersten Laserstrahls und einem ersten Oberflächenschnittpunkt des Laserstrahls an dem Auge repräsentiert, und wobei der erste Geschwindigkeitswert eine Oberflächengeschwindigkeit an dem ersten Oberflächenschnittpunkt repräsentiert, eines zweiten Abstandswertes und eines zweiten Geschwindigkeitswertes, wobei der zweite Abstandswert einen Abstand zwischen einem zweiten Lasersensor zum Aussenden eines zweiten Laserstrahls und einem zweiten Oberflächenschnittpunkt des Laserstrahls an dem Auge repräsentiert, und wobei der zweite Geschwindigkeitswert eine Oberflächengeschwindigkeit an dem zweiten Oberflächenschnittpunkt repräsentiert, und zumindest eines dritten Abstandswertes und eines dritten Geschwindigkeitswertes, wobei der dritte Abstandswert einen Abstand zwischen einem dritten Lasersensor zum Aussenden eines dritten Laserstrahls und einem dritten Oberflächenschnittpunkt des Laserstrahls an dem Auge repräsentiert, und wobei der dritte Geschwindigkeitswert eine Oberflächengeschwindigkeit an dem dritten Oberflächenschnittpunkt repräsentiert; und

Ermitteln eines die Blickrichtung repräsentierenden Blickrichtungswertes unter Verwendung der Abstandswerte und der Geschwindigkeitswerte.

Das Verfahren kann vorteilhafterweise im Zusammenhang mit einem von einer Person tragbaren Gerät, beispielsweise einer Datenbrille, verwendet werden. Die Lasersensoren können beispielsweise an einem Gestellt des tragbaren Geräts angeordnet sein. Die Abstandswerte und die Geschwindigkeitswerte können Messwerte oder aus Messwerten bestimmte Werte repräsentieren. Beispielsweise kann dazu eine Laufzeitmessung, eine Erfassung einer Dopplerverschiebung oder eine Auswertung einer durch eine Interferenz bedingte Änderung einer Signaleigenschaft durchgeführt werden. Der Oberflächenschnittpunkt kann eine Position an einem Teil des Auges repräsentieren, an der ein Laserstrahl reflektiert wird. Ein solcher Teil kann beispielsweise die Iris oder Retina darstellen. Die Oberflächengeschwindigkeit kann somit aus einer Bewegung des Teils des Auges resultieren, an dem sich der entsprechende Oberflächenschnittpunkt befindet.

Das Verfahren kann einen Schritt des Klassifizierens der Abstandswerte und der Geschwindigkeitswerte umfassen. Durch das Klassifizieren kann ein erste Klassifikationswert erhalten werden, der einen dem ersten Oberflächenschnittpunkt zugeordneten Teil des Auges anzeigt, ein zweiter Klassifikationswert erhalten werden, der einen dem zweiten Oberflächenschnittpunkt zugeordneten Teil des Auges anzeigt, und ein dritter Klassifikationswert erhalten werden, der einen dem dritten Oberflächenschnittpunkt zugeordneten Teil des Auges anzeigt. Im Schritt des Ermittelns kann der Blickrichtungswert unter Verwendung der Klassifikationswerte ermittelt werden. Mithilfe eines geeigneten Klassifikators lässt sich auf einfach Weise ermitteln, wo die einzelnen Laserstrahlen am Auge reflektiert werden. Mögliche Teile des Auges, die durch die Klassifikationswerte angezeigt werden können, umfassen beispielsweise die Sklera, die Regenbogenhaut, die Netzhaut und das Augenlid des Auges oder eine Teilmenge der genannten Teile.

Das Verfahren kann einen Schritt des Bestimmens eines ersten Absolutwertes, der eine Pose des ersten Lasersensors in kopffesten Koordinaten eines kopffesten Koordinatensystems repräsentiert, eines zweiten Absolutwertes, der eine Pose des zweiten Lasersensors in den kopffesten Koordinaten repräsentiert, und eines dritten Absolutwertes, der eine Pose des dritten Lasersensors in den kopffesten Koordinaten repräsentiert umfassen. Dabei können die Absolutwerte Verwendung der Abstandswerte und der Klassifikationswerte bestimmt werden. Optional kann das Verfahren einen Schritt des Schätzens eines ersten Positionswertes, der eine Position des ersten Lasersensors repräsentiert, eines zweiten Positionswertes, der eine Position des zweiten Lasersensors repräsentiert, und eines dritten Positionswertes, der eine Position des dritten Lasersensors repräsentiert, umfassen. Der Schritt des Schätzens kann unter Verwendung der Abstandswerte, der Geschwindigkeitswerte und der Klassifikationswerte durchgeführt werden. Im Schritt des Ermittelns kann der Blickrichtungswert unter Verwendung der Positionswerte, der Abstandswerte und der Geschwindigkeitswerte ermittelt werden. Das Schätzen kann unter Verwendung eines geeigneten Schätzverfahrens durchgeführt werden.

Beispielsweise kann aus den Positionswerten und den Klassifikationswerten anschließend die Position und Orientierung der Sensoren in kopffesten Koordinaten bestimmen. Für diesen optionalen Schritt werden die Abstandsmesswerte verwendet, die als Messpunkte der Sklera und somit der Augenkugel mit bekanntem festen Radius r_sclera zugehörig sind. Aus den bekannten Positionswerten in brillenfesten Koordinaten und der gemessenen Distanz lässt sich der Auftreffpunkt auf der Sklera bestimmen und unter Zuhilfenahme des bekannten Radius r_sclera kann der Augapfel mit seinem Zentrum im Bezug auf die Positionswerte der Lasersensoren ermittelt werden. Dazu wird die Kugel mit r_sclera in einen Batch von Skleramesswerte gefittet.

Vorteilhafterweise kann das Brillen-Koordinatensystem in Bezug zum Kopfkoordinatensystem gesetzt und nachgeführt werden, wodurch die Blickrichtung auch beim Verrutschen der Brille auf der Nase robust und fehlerfrei durchgeführt werden kann.

Das Verfahren kann einen Schritt des Bestimmens von Winkelgeschwindigkeiten umfassen, die eine Augenoberflächengeschwindigkeit des Auges repräsentieren. Die Winkelgeschwindigkeiten können unter Verwendung der Oberflächenschnittpunkte und einer Verknüpfung zwischen dem kopffesten Koordinatensystem und dem Brillenkoordinatensystem bestimmt werden. Ferner kann das Verfahren einen Schritt des Bestimmens einer offsetbehafteten Blickrichtung unter Verwendung der Winkelgeschwindigkeiten umfassen. Somit kann in einem weiteren Schritt für alle Messwerte die Bestimmung der Augenoberflächendeschwindigkeit als Projektion der gemessenen Geschwindigkeit in Laserstrahlrichtung erfolgen. Dazu wird die im vorangegangenen Schritt ermittelte Verknüpfung der Koordinatensysteme verwendet sowie die Oberflächenschnittpunkte. Die Bestimmung der offsetbehafteten Blickrichtung erfolgt anschließend beispielsweise über die Integration der Oberflächengeschwindigkeit.

Um final die offsetfreie und somit korrekte Blickrichtung zu bestimmen wird in einem dritten Schritt optional ein reduziertes Augenmodel hinzugezogen, worüber der Offset des Blickwinkels bestimmt wird. Das Augenmodell wird dabei aus den Abstands- und Geschwindigkeitsmesspunkten sowie den zuvor bestimmten Oberflächenschnittpunkten bestimmt bzw. gefittet. Dabei kann die Iris als eine einfache Ebene mit einem Normalenvektor der dem absoluten Blickwinkel im Augenkoordinatensystem entspricht angesehen werden.

Abschließend kann die Bestimmung der korrekten Blickrichtung über die aus der integrierten Geschwindigkeitsmessung ermittelte offsetbehaftete Blickrichtung und die Korrektur des Offsets über das reduzierte Augenmodell erfolgen.

Somit kann das Verfahren einen Schritt des Ermittelns eines die Blickrichtung repräsentierenden Blickrichtungswertes unter Verwendung der offsetbehafteten Blickrichtung und eines Offsets zum Korrigieren der offsetbehafteten Blickrichtung umfassen.

In einem Schritt des Bestimmens können Parameter der Verknüpfung zwischen dem kopffesten Koordinatensystem und dem Brillenkoordinatensystem unter Verwendung der Positionswerte, der Abstandswerte sowie bekannten geometrischen Annahmen des Auges bestimmt werden. Die geometrischen Annahmen können beispielsweise auf einem Modell des Auges basieren.

Die offsetbehaftete Blickrichtung kann optional durch Integration der Winkelgeschwindigkeiten bestimmt werden. Der Offset kann unter Verwendung eines Augenoberflächenmodels bestimmt werden, das aus den Abstandswerten, den Geschwindigkeitswerte und den Oberflächenschnittpunkten bestimmt wird.

Optional kann das das Augenoberflächenmodell über die Zeit aus Messwerten gelernt werden. Somit kann das Verfahren einen Schritt des kontinuierlichen Lernens des Augenoberflächenmodels über die Zeit aus erfassten Datenpunkten umfassen. Vorteilhafterweise können die Datenpunkte auf Messwerten der Lasersensoren basieren.

Das Verfahren kann einen Schritt des Empfangs eines ersten Reflexionsstrahls, der eine Reflexion oder Streuung des ersten Laserstrahls an dem ersten Oberflächenschnittpunkt repräsentiert, eines zweiten Reflexionsstrahls, der eine Reflexion oder Streuung des zweiten Laserstrahls an dem zweiten Oberflächenschnittpunkt repräsentiert, und eines dritten Reflexionsstrahls, der eine Reflexion oder Streuung des dritten Laserstrahls an dem dritten Oberflächenschnittpunkt repräsentiert, umfassen. Ferner kann das Verfahren einen Schritt des Bestimmens des ersten Abstandswertes und des ersten Geschwindigkeitswertes unter Verwendung einer Schwankung in einer Strahlungsintensität des ersten Reflexionsstrahls, des zweiten Abstandswertes und des zweiten Geschwindigkeitswertes unter Verwendung einer Schwankung in einer Strahlungsintensität des zweiten Reflexionsstrahls und des dritten Geschwindigkeitswertes unter Verwendung einer Schwankung in einer Strahlungsintensität des dritten Reflexionsstrahls umfassen. Vorteilhafterweise können dabei Schwankungen ausgewertet werden, die auf dem Effekt der Interferenz basieren.

Das Verfahren kann einen Schritt des Aussendens des ersten Laserstrahls mit konstanter Wellenlänge, des zweiten Laserstrahls mit konstanter Wellenlänge und des dritten Laserstrahls mit konstanter Wellenlänge umfassen. Im Schritt des Bestimmens kann der erste Geschwindigkeitswert unter Verwendung der Schwankung in der Strahlungsintensität des ersten Reflexionsstrahls bestimmt werden, während der ersten Laserstrahl mit der konstanten Wellenlänge ausgesendet wird, der zweite Geschwindigkeitswert unter Verwendung der Schwankung in der Strahlungsintensität des zweiten Reflexionsstrahls bestimmt werden, während der zweite Laserstrahl mit der konstanten Wellenlänge ausgesendet wird, und der dritte Geschwindigkeitswert unter Verwendung der Schwankung in der Strahlungsintensität des dritten Reflexionsstrahls bestimmt werden, während der dritte Laserstrahls mit der konstanten Wellenlänge ausgesendet wird. Dies ermöglicht eine einfache Bestimmung der jeweiligen Oberflächengeschwindigkeiten.

Entsprechend kann im Schritt des Aussendens der erste Laserstrahls mit verändernder Wellenlänge während eines ersten weiteren Zeitintervalls ausgesendet werden, der zweite Laserstrahls mit verändernder Wellenlänge während eines zweiten weiteren Zeitintervalls ausgesendet werden, und der dritte Laserstrahls mit verändernder Wellenlänge während eines dritten weiteren Zeitintervalls ausgesendet werden. Dabei kann im Schritt des Bestimmens der erste Abstandswert unter Verwendung der Schwankung in der Strahlungsintensität des ersten Reflexionsstrahls bestimmt werden, während der erste Laserstrahls mit der verändernden Wellenlänge ausgesendet wird, der zweite Abstandswert unter Verwendung der Schwankung in der Strahlungsintensität des zweiten Reflexionsstrahls bestimmt werden, während der zweite Laserstrahl mit der verändernden Wellenlänge ausgesendet werden, der dritte Abstandswert unter Verwendung der Schwankung in der Strahlungsintensität des dritten Reflexionsstrahls bestimmt wird, während der dritte Laserstrahls mit der verändernden Wellenlänge ausgesendet wird. Unter einer verändernden Wellenlänge kann eine Wellenlängenvariation der von den jeweiligen Lasersensoren ausgesendeten Laserstrahlung verstanden werden. Somit wird eine einfache Bestimmung der Abstände zwischen den jeweiligen Sensoren und den entsprechenden Reflexionspunkten ermöglicht.

Das Verfahren kann einen Schritt des Bestimmens einer ersten Beatfrequenz unter Verwendung der Schwankungen in der Strahlungsintensität des ersten Reflexionsstrahls, während der erste Laserstrahl mit der konstanten und der verändernden Wellenlänge ausgesendet wird, einer zweiten Beatfrequenz unter Verwendung der Schwankungen in der Strahlungsintensität des zweiten Reflexionsstrahls, während der zweite Laserstrahl mit der konstanten und der verändernden Wellenlänge ausgesendet wird, und einer dritten Beatfrequenz unter Verwendung der Schwankungen in der Strahlungsintensität des dritten Reflexionsstrahls, während der dritte Laserstrahl mit der konstanten und der verändernden Wellenlänge ausgesendet wird, umfassen. In einem Schritt des Bestimmens kann ein Bewegungsrichtungswert, der eine Bewegungsrichtung des Auges repräsentiert, und ein Bewegungsgeschwindigkeitswert, der eine Bewegungsgeschwindigkeit des Auges repräsentiert, unter Verwendung eines Mittelwerts der Beatfrequenzen bestimmt werden. Im Schritt des Ermittelns kann der Blickrichtungswert unter Verwendung des Bewegungsrichtungswerts und des Bewegungsgeschwindigkeitswerts des Auges ermittelt werden. Auf diese Weise können die sich aus konstanter und verändernder Wellenlänge der ausgesendeten Laserstrahlen ergebenden Effekte zur Ermittlung der Blickrichtung sowie der Bewegung des Auges verwendet werden.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung zum Bestimmen einer Blickrichtung eines Auges. Die Vorrichtung ist ausgebildet, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.

Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.

Vorteilhafterweise kann eine entsprechende Vorrichtung im Zusammenhang mit einer Datenbrille realisiert werden, die neben der Vorrichtung zumindest drei Lasersensoren zum Aussenden von Laserstrahlen in Richtung des Auges und zum Empfangen von an dem Auge reflektierten Reflexionsstrahlen umfasst.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.

Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 einen Abschnitt einer Datenbrille gemäß einem Ausführungsbeispiel; Fig. 2 ein Spektrum eines nicht modulierten Sensors bei konstanter Bewegung gemäß einem Ausführungsbeispiel;

Figuren 3a und 3b ein Spektrum für die Bewegung eines streuenden Objekts bei gleichzeitiger Modulation eines Sensors gemäß einem Ausführungsbeispiel;

Fig. 4 ein Modell einer Brille gemäß einem Ausführungsbeispiel;

Fig. 5 einen Klassifikator zur Oberflächenklassifikation gemäß einem Ausführungsbeispiel;

Fig. 6 einen Schätzer zum Schätzen von absoluten Sensorpositionen und Schnittpunkten in kopffesten Koordinaten gemäß einem Ausführungsbeispiel;

Fig. 7 ein Ablaufdiagramm einer Schätzung der Augenposition gemäß einem Ausführungsbeispiel;

Fig. 8 eine Augengeometrie mit dem Offset gemäß einem Ausführungsbeispiel;

Fig. 9 ein Modell eines Auges gemäß einem Ausführungsbeispiel;

Fig. 10 ein Ausführungsbeispiel einer Eye-Tracker-Funktion gemäß einem Ausführungsbeispiel;

Fig. 11 einen deterministischen Automaten für die Differenz der Abstände oder Entfernungen gemäß einem Ausführungsbeispiel;

Fig. 12 ein verborgenes Markov Model gemäß einem Ausführungsbeispiel gemäß einem Ausführungsbeispiel;

Fig. 13 Normalverteilungen für bedingte Abstrahlwahrscheinlichkeiten gemäß einem Ausführungsbeispiel; Fig. 14 eine Matrix mit Übergangswahrscheinlichkeiten gemäß einem Ausführungsbeispiel; und

Fig. 15 ein Ablaufdiagramm eines Verfahrens zum Bestimmen einer Blickrichtung eines Auges gemäß einem Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.

Fig. 1 zeigt einen Abschnitt einer Datenbrille 1 als Ausführungsbeispiel eines tragbaren Geräts. Beispielhaft sind eine Mehrzahl von Lasersensoren 2, 3, 4, 5, 6 gezeigt, die an der Datenbrille 1 angeordnet sind. Die Anzahl der Lasersensoren 2, 3, 4, 5, 6 ist frei wählbar, wobei gemäß einem Ausführungsbeispiel zumindest drei Lasersensoren 2, 3, 4, 5, 6 erforderlich sind. Optional ist an der Datenbrille 1 eine Vorrichtung la angeordnet, die verwendet wird, um unter Verwendung von Sensorwerten der Lasersensoren 2, 3, 4, 5, 6 eine Blickrichtung eines Auges zu bestimmen, auf das Laserstrahlen der Lasersensoren 2, 3, 4, 5, 6 gerichtet sind. Die Vorrichtung 6a stellt somit eine Signalverarbeitungseinheit dar, die signalübertragungsfähig mit den Lasersensoren 2, 3, 4, 5, 6 gekoppelt ist. Die Lasersensoren 2, 3, 4, 5, 6 sind gemäß einem Ausführungsbeispiel als statische Sensoren ausgeführt, die beispielsweise starr an einem Gestell der Datenbrille 1 befestigt sind.

Gemäß einem Ausführungsbeispiel ist jeder der Lasersensoren 2, 3, 4, 5, 6 ausgebildet, um einen einzigen Laserstrahl auszusenden. Ferner sind die Lasersensoren 2, 3, 4, 5, 6 gemäß einem Ausführungsbeispiel separat realisiert und beabstandet voneinander angeordnet, beispielsweise in einem Abstand von mindestens 5 Millimetern.

Mit dem hier beschriebenen Ansatz kann das Eye-Tracking, also die Blickerfassung oder Blickverfolgung, mit einer Anordnung mehrerer statischer Lasersensoren durch einen datenbasierten Ansatz realisiert werden. Dazu kann eine Schätzung durchgeführt werden, die hauptsächlich oder ausschließlich anhand der von den Lasersensoren 2, 3, 4, 5, 6 selbst bereitgestellten Daten durchgeführt wird und nicht anhand von geometrischen Modellen, für die hochwertige Parameter im Voraus bekannt sein müssen, oder die während der Laufzeit sehr genau gelöst werden müssen. Stattdessen benötigt der vorgeschlagene Ansatz, der beispielsweise in Form eines Algorithmus umgesetzt werden kann, keine oder fast keine Vorkenntnisse über die Augengröße des Auges für das die Blickrichtung zu bestimmen ist. Darüber hinaus funktioniert der Ansatz auch bei einem Verrutschen des Messgeräts, hier beispielsweise der Datenbrille 1. Somit ermöglicht der Ansatz ein Eye-Tracking basierend auf statischen Lasersensoren 2, 3, 4, 5, 6 mit unsicherer Position. Vorteilhafterweise ist auch keine Kamera zum Erfassen des Auges erforderlich.

Gemäß einem Ausführungsbeispiel benötigt der vorgeschlagene Ansatz an Hardware nur wenige statische Laser anstelle einer ganzen Kamera oder Laserscannern. Entsprechende Laser sind beispielhaft in den Lasersensoren 2, 3, 4, 5, 6 integriert. Somit ist der vorgeschlagene Ansatz aufgrund der geringeren Hardwareanforderungen kostengünstig und im Vergleich zu scannenden Geräten robuster, da nur statische Laser benötigt werden. Die Lasersensoren 2, 3, 4, 5, 6 sind gemäß einem Ausführungsbeispiel in der Lage Entfernung und Geschwindigkeit mit einer Aktualisierungsrate von mindestens 1 kHz zu messen, so dass die Aktualisierungsrate der Augenposition auf der Grundlage des vorgeschlagenen Algorithmus bei über 1 kHz liegt. Darüber hinaus sind die Sensoren winzig, beispielsweise größer oder kleiner als 2 Millimeter, sodass sie nahtlos in Brillenrahmen, -gläser und -bügel integriert werden können. Darüber hinaus ist der Algorithmus extrem schlank, so dass er auf einem integrierten Gerät mit geringem Stromverbrauch ausgeführt werden kann.

Aus algorithmischer Sicht ist der Ansatz im Vergleich zu modellbasierten Schätzungsansätzen nicht auf zahlreiche höherwertige Parameter angewiesen. Stattdessen wird die Sensorposition der einzelnen Lasersensoren 2, 3, 4, 5, 6 während der Laufzeit geschätzt, ebenso wie die Augenposition selbst. Der Algorithmus selbst lässt sich leicht an eine wechselnde Anzahl von Sensoren anpassen. Dies ist nützlich für unterschiedliche Hardware-Einstellungen mit einer variierenden Anzahl von Sensoren sowie für Fälle, in denen einzelne Sensoren entweder fehlerhaft funktionieren oder nicht genau auf das Auge gerichtet sind. Darüber hinaus ist die Zeit bis zur Konvergenz gering (im Subsekundenbereich), was im Falle eines Abrutschens oder Lidschlags von Vorteil ist.

Das Funktionsprinzip eines für die Lasersensoren 2, 3, 4, 5, 6 verwendeten Lasers basiert auf optischen Resonatoren. Innerhalb des Resonators werden die Elektronen durch externe Energiezufuhr angeregt. Die durch spontane Emission erzeugte Strahlung wird im optischen Resonator hin und her reflektiert und führt zu stimulierter Emission, wodurch die Resonanzmode verstärkt und kohärente Strahlung erzeugt wird. An einer Seite eines solchen Laserresonators kann die Laserstrahlung über einen halbtransparenten Spiegel in den freien Raum einkoppeln. Gemäß einem Ausführungsbeispiel wird für die Lasersensoren 2, 3, 4, 5, 6 ein Oberflächenemitter, ein sogenannter Vertical Cavity Surface Emitting Laser (VCSEL), eingesetzt, bei dem die Spiegelstrukturen als Bragg-Spiegel, einem sogenannten Distributed Bragg Reflectors (DBR), realisiert sind. Der zugrundeliegende physikalische Effekt, der in dem hier beschriebenen Ansatz genutzt wird, ist die sogenannte „Laser-Selbstmischung“. Wenn von außen gestreute Laserstrahlung Reflexionsstrahls in den Laserresonator zurückkoppelt, wird die stimulierte Emission in Abhängigkeit von der Phase der zurückgestreuten Photonen moduliert. Beispielsweise kann es sich bei einer solchen gestreuten Laserstrahlung um einen Reflexionsstrahl handeln, der einen an einem Oberflächenschnittpunkt eines Teils des Auges reflektierten Teil eines von einem der Lasersensoren 2, 3, 4, 5, 6 ausgesendeten Laserstrahl repräsentieren kann. Wenn der doppelte Abstand zwischen Laserresonator und externer Streufläche (hin und zurück) einem ganzzahligen Vielfachen der Wellenlänge entspricht, sind Streustrahlung und Strahlung im Inneren des Laserresonators in Phase. Dies führt zu einer positiven Interferenz, die Laserschwelle wird gesenkt und die Laserleistung leicht erhöht, was von einer, gemäß einem Ausführungsbeispiel in den Lasersensoren 2, 3, 4, 5, 6 jeweils integrierten, Fotodiode erfasst wird. Bei geringfügig größerem Abstand sind beide Strahlungswellen phasenverschoben, und irgendwann kommt es zu einer negativen Interferenz, die die Laserausgangsleistung verringert. Wird der Abstand zur streuenden Oberfläche mit konstanter Geschwindigkeit verändert, schwankt die Laserleistung zwischen einem Maximum bei konstruktiver Interferenz und einem Minimum bei destruktiver Interferenz. Die resultierende Oszillation ist eine Funktion der Geschwindigkeit des Streuers und der Laserwellenlänge. Derselbe Effekt (oszillierende Laserausgangsleistung) ist zu beobachten, wenn der Abstand zwischen Laserresonator und streuender Oberfläche konstant bleibt, aber die Laserwellenlänge verändert wird. Die Phase der Strahlung zwischen dem inneren Hohlraum (innerhalb des Lasers) und dem äußeren Hohlraum (zwischen Laser und Streuung) hängt nun davon ab, wie viele Wellenlängen in den äußeren Hohlraum „passen“. Die Schwingungsfrequenz hängt jedoch vom Abstand zwischen Laser und streuender Oberfläche ab, da die Wellenlänge im nahen Infrarotbereich um 850 nm liegt und die Abstände zum externen Hohlraum mehrere Dutzend Millimeter betragen, so dass eine geringfügige Änderung der Laserwellenlänge zu einer vollständigen Drehung der Laserphase im externen Hohlraum führen kann. Je größer der Abstand, desto geringer ist die Wellenlängenänderung, die zu einer vollständigen Änderung der Phase des Lasers im externen Resonator führt. Wird die Schwankungen der Laserausgangsleistung betrachtet, so zeigt sich, dass die Frequenz der Leistungsschwankungen bei konstanter Änderung der Laserwellenlänge umso höher ist, je größer der Abstand zum Streuer ist. Wenn also die Leistungsüberwachung der Fotodiode im Frequenzbereich abgebildet wird, korreliert die Spitzenfrequenz mit der Entfernung des Streuers. Die Änderung der Laserwellenlänge kann durch Leistungsmodulation des VCSEL erreicht werden. Beispielsweise kann eine lineare Modulation mit einem dreieckigen Laserstrom erreicht werden. Auch andere bekannte Modulationsverfahren wie Quadratur und Sinus können verwendet werden.

Wenn sich beide Effekte überlagern, kommt es zu Schwebungsfrequenzen, wie sie von frequenzmodulierten Dauerstrichradarsystemen (FMCW) bekannt sind. Aufgrund der Dopplerverschiebung der Frequenz ist die resultierende Schwebungsfrequenz für ein Ziel, das sich auf den Sensor zubewegt, beim Hochfahren der Frequenz niedriger und beim Herunterfahren der Frequenz höher. Daher sind die Schwebungsfrequenzen für das steigende und das fallende Modulationssegment einzeln zu berechnen. Der Mittelwert der beiden Frequenzen ist ein Indikator für die Entfernung des Ziels, während die Differenz mit der halben Dopplerfrequenz korreliert.

Bei der in Fig. 1 beispielhaft dargestellten Datenbrille 1 enthalten der Brillenbügel und das Brillenglasgestell in diesem Beispiel die Lasersensoren 2, 3, 4, 5, 6 in Form sogenannter ViP-Komponenten. Die Laserstrahlen der Lasersensoren 2, 3, 4, 5 sind so angeordnet, dass sie vier Punkte auf der Oberfläche des Auges fokussieren.

Die Lasersensoren 2, 3, 4, 5, 6 könnten auch in das Brillenglas oder die Nasenpads integriert sein. In einer weiteren möglichen Ausführungsform sind die Lasersensoren 2, 3, 4, 5, 6 im Brillenbügel angeordnet, strahlen aber zum Glas der Datenbrille 1 hin ab. Ein in das Glas eingebettetes holographisches optisches Element (HOE) ist gemäß einem Ausführungsbeispiel in einem solchen Fall ausgebildet, um die Strahlen zum Auge hin ablenken. Die Anordnung kann in verschiedenen Modalitäten betrieben werden. Erstens wird der Laser mit kontinuierlicher Welle (konstanter Frequenz), also konstanter Wellenlänge, betrieben. Zweitens wird die Frequenz des Lasers zeitlich moduliert, z. B. nach einem dreieckigen Modulationsmuster, wie zuvor beschrieben, sodass eine verändernde Wellenlänge vorliegt.

Fig. 2 zeigt ein Spektrum eines nicht modulierten Sensors bei konstanter Bewegung. Es handelt sich somit um ein Spektrum im Frequenzbereich für den zuvor beschriebenen ersten Fall mit konstanter Frequenz und konstanter Geschwindigkeit des streuenden Objekts. Das streuende Objekt ist hier das Auge oder ein Teil des Auges, an dem die Laserstrahlen reflektiert oder gestreut werden. Gezeigt ist eine Amplitudenachse 8 und eine Frequenzachse 7. Hier bezieht sich die Dopplerfrequenzverschiebung auf eine Spitzenfrequenz 9 des Spektrums.

Fig. 3a und 3b zeigen im Unterschied zu Fig. 2 ein beispielhaftes Spektrum für die Bewegung des streuenden Objekts bei gleichzeitiger Modulation des Sensors. Es handelt sich somit um ein Spektrum für die zuvor genannte zweite, modulierte Betriebsart, wiederum mit konstanter Geschwindigkeit des Streuers. Das Spektrum ist entsprechend zu Fig. 2 mit der Amplitudenachse 8 und der Frequenzachse 7 dargestellt. Der Streuer ist hier das Auge oder ein Teil des Auges, an dem die Laserstrahlen reflektiert oder gestreut werden. Ohne Bewegung ergibt sich ein Spektrum wie in Fig. 2, aber jetzt bestimmt die Spitzenfrequenz 10, 11 den Abstand zwischen Sensor und streuender Oberfläche. Bei zusätzlicher Bewegung verschiebt sich die Spitzenfrequenz 10, 11 nach oben oder unten, je nach Modulationsrampenfolge (aufwärts oder abwärts) und Geschwindigkeitsvektor (zum Sensor hin oder vom Sensor weg). Die resultierenden Spektren für beide Rampensequenzen sind in den Figuren 3a und 3b dargestellt. Anhand der Trennung der Spitzenfrequenz 12 zwischen steigender und fallender Steigung können Richtung und absolute Geschwindigkeit der Bewegung geschätzt werden.

Fig. 4 zeigt ein Modell einer Brille, beispielsweise einer Datenbrille 1, mit sechs auf ein Auge 20 gerichteten Lasersensoren 2, 3, 4, 5, 6, 21. Der beschriebene Ansatz erfordert mehrere statische Laser, die an einem tragbaren Gerät, z. B. einer Brille, angebracht sind. Die Laser sind in der Lage, gleichzeitig die Entfernung zu einem festen Objekt sowie dessen Oberflächengeschwindigkeit entlang der Laserlinie zu messen. Im Folgenden wird davon ausgegangen, dass alle Laser der Lasersensoren 2, 3, 4, 5, 6, 21 entweder auf die Sklera, die Iris oder die Netzhaut des Auges 20 gerichtet sind. Weitere Fälle, wie z. B. Laser, die nicht auf die Augenoberfläche zeigen, Blinzeln der Augenlider usw., werden aus Gründen der Kürze ausgeschlossen, der Ansatz kann jedoch für solche Fälle erweitert werden. Außerdem wird davon ausgegangen, dass alle Lasersensoren 2, 3, 4, 5, 6, 21 fest mit dem tragbaren Gerät verbunden sind, so dass die relative Position zwischen den Lasern sowie ihre Ausrichtung zu einem Grundrahmen, hier der Datenbrille 1, konstant bleiben (z. B. „brillenfeste Koordinaten“).

Die Aufgabe der Schätzung der Augenstellung bei unbekannter Laserposition kann in drei Schritte unterteilt werden:

1. Klassifizierung der Oberfläche

2. Absolute Sensorposition

3. Schätzung der Augenposition

Für die erste Aufgabe wird angenommen, dass die relative Position und Orientierung der Lasersensoren 2, 3, 4, 5, 6, 21 zum Auge 20 unbekannt sind. Dennoch kann die Auswertung der Abstandsmessungen Aufschluss darüber geben, ob der Laser gerade auf die Sklera gerichtet ist und damit einen relativ konstanten Sklera-Radiuswert liefert, ob es einen Abfall auf die Irisscheibe oder einen noch stärkeren Abfall auf die Retina gibt. Eine Klassifikatorfunktion, die auf das Abstandssignal wirkt, liefert somit erste wichtige Informationen über die Stellung zwischen Laser und Auge 20.

Als zusätzliches Merkmal kann das Streuverhalten, das zu einer Variation der Signalqualität führt, von verschiedenen Teilen des Auges 20, z.B. Iris, Sklera, Retina, Augenlider, genutzt werden, um zu bestimmen, auf welchem Teil der Laserstrahl liegt. Zur Klassifizierung des Teils kann eine anfängliche Kalibrierungsgeste des Auges 20 verwendet werden, z. B. Rollen des Auges 20 und Blinzeln, und eine multimodale Verteilung kann an die erfassten SNR- und Abstandsmerkmale angepasst werden, um einen Klassifikator zu trainieren und entsprechende Entscheidungsgrenzen zu erhalten.

Die zweite Aufgabe ist rechnerisch aufwändiger: Basierend auf der oben erwähnten Klassifizierung wird eine Reihe von Messpunkten, die sich auf der Sklera des Auges 20 befinden, verwendet, um die absolute Position der Lasersensoren 2, 3, 4, 5, 6, 21 zu bestimmen. Die Anzahl der verwendeten Stichproben, d.h. die Losgröße, ist ein Designparameter. Die Skleramesspunkte sind in brillenfesten Koordinaten bekannt, d. h.

Xg,j = Sg,j + dip,

(1) wobei Sg,j die Laserposition in Brillenkoordinaten, d; den gemessenen Abstand zwischen Laser und Sklera und pi die Orientierung des Lasers bezeichnet, die ebenfalls in brillenfesten Koordinaten bekannt ist.

Um die Sensorpositionen in kopffesten Koordinaten zu bestimmen, wird eine Transformation

Xh = R(0,cp,p)x _g + t (2) in kopffeste Koordinaten gesucht. Die Transformation beinhaltet die zu bestimmenden Parameter 0, cp, p, t _x , t _y , t _z . Da in dem Stapel nur Sklerapunkte erfasst werden, müssen die notwendigen Bedingungen

II Xh || ^— rsclera (3) erfüllt sein, wobei der Skleraradius r _sc iera ein relativ konstanter Parameter ist, der als bekannt vorausgesetzt werden kann. Diese Gleichung kann in quadratischer Form umgeschrieben werden:

Da R eine unitäre Matrix ist, kann die Gleichung weiter vereinfacht werden zu

Je nach Größe des Stapels stellt dies ein nichtlineares Gleichungssystem dar. Es kann mit Standardmethoden, z.B. einem „Levenberg-Marquardt“-Algorithmus, lokal gelöst werden. Als Ergebnis ergeben sich die Parameter für die affine Transformation von Brillenkoordinaten zu kopffesten Koordinaten und damit die absoluten Sensorpositionen in kopffesten Koordinaten. Damit ist das eigentliche Problem der Augenposenschätzung gelöst.

Fig. 5 zeigt einen entsprechenden Klassifikator 30 zur Oberflächenklassifikation für jeden der Lasersensoren.

Fig. 6 zeigt einen entsprechenden Schätzer 32 zum Schätzen von absoluten Sensorpositionen und Schnittpunkten in kopffesten Koordinaten.

Fig. 7 zeigt ein Ablaufdiagramm einer entsprechenden Schätzung der Augenposition gemäß einem Ausführungsbeispiel. In einem ersten Block 40, der auch als Einrichtung zur Winkelgeschwindigkeitsermittlung bezeichnet werden kann, werden die Winkelgeschwindigkeiten mit Hilfe eines möglichen überbestimmten linearen Gleichungssystems berechnet

Das Ergebnis der Lösung dieses Gleichungssystems sind die Winkelgeschwindigkeiten 0, ( die weiter integriert werden können und §, <p ergeben. Diese Werte sind keine zuverlässige Schätzung für den wahren Blickwinkel, da der Anfangswert der Integration unbekannt ist. Daher kann man zumindest mit einem Offset rechnen.

Um diesen Schätzfehler zu berechnen, werden die gemessenen Schnittpunkte in einem Block 42 unter Verwendung von e, < in augenfeste Koordinaten transformiert. Durch Abspeichern der Datenpunkte oder durch Training eines approximativen Ersatzmodells erhält man als ein reduziertes Augenmodel die äußere Augengeometrie, wie sie in Fig. 6 dargestellt ist. Aus dieser Form kann man den Versatzwinkel ableiten, der bei der Integration entsteht, da die Irisscheibe des Auges zur Bestimmung der ursprünglichen Blickrichtung herangezogen werden kann. Dieser Offset 0o, <po wird dann weiterverwendet, um den anfänglichen Winkelschätzungsfehler zu kompensieren, der durch die Integration entstanden ist. Dazu ist ein Block 44, der eine Einrichtung zum Erlenen eines Modells aus Rohdaten repräsentiert, und ein Block 46 vorgesehen, der eine Einrichtung zum Schätzen der Blickrichtung (offset) repräsentiert.

Fig. 8 zeigt eine entsprechende Augengeometrie 50 mit dem Offset 0o. Der Offset 0o ergibt sich aufgrund der Integration der Winkelgeschwindigkeiten, wie es anhand von Fig. 5 beschrieben ist. Somit wird eine Schätzung der Augenform in augenfesten Koordinaten ermöglicht.

Der beschriebene Ansatz wird gemäß einem Ausführungsbeispiel unter Verwendung von Software realisiert. Als Hardwarevoraussetzung ist eine Brille mit mehr als zwei statischen Lasersensoren pro Auge geeignet. Eine solche Brille enthält eine

Signalverarbeitungseinheit, z.B. Mikrocontroller. Es ist keine Kamera oder ein Laserscanner notwendig, um die Funktionalität zu realisieren. Die Augenposition wird gemäß einem Ausführungsbeispiel als numerischer Wert zurückgegeben oder zur Korrektur der projizierten Netzhautbilder je nach Augenposition verwendet. Das Eye-Tracking funktioniert auch im Falle eines Verrutschens der Brille.

Anhand der nachfolgenden Figuren wird ein Algorithmus zur Klassifizierung von Lasermessungen in Augen- und Tracking-Anwendungen beschrieben, die dem Problem des Abrutschens unterliegen können, wie es beispielsweise bei einer Datenbrille der Fall ist.

Es wird bei der Koordinatentransformation in Kopfkoordinaten von einer kugelförmigen Lederhaut (Sklera) ausgegangen. Ein anderes Modell, beispielsweise ein Rotationsellipsoid, ist genauso denkbar, setzt allerdings mehr zu schätzende bzw. bekannte Parameter voraus. Das Prinzip bleibt aber dasselbe.

Fig. 9 stellt ein Modell 60 eines Auges dar. Ein Laserstrahl wird zur Messung von Entfernung und Oberflächengeschwindigkeit des Auges verwendet.

Bezugnehmend auf Fig. 4 sind brillenfeste Koordinaten y _g , x _g und kopffeste Koordinaten Xh, yh gezeigt. Ferner ist ein Radius r _re tina der Retina sowie ein Radius r _sc iera der Sklera dargestellt.

Gemäß einem Ausführungsbeispiel wird das Problem der Klassifizierung der gemessenen Entfernung und Oberflächengeschwindigkeit eines Auges mit Hilfe der statischen Laserinterferrometrie gelöst. Diese Funktion kann dann als Baustein in einer Eye-Tracker-Funktion verwendet werden.

Fig. 10 zeigt ein Ausführungsbeispiel einer entsprechenden Eye-Tracker- Funktion. Dabei ist lediglich eine mögliche Struktur eines Verfahrens 70 oder einer entsprechenden Vorrichtung zur zum Bestimmen einer Blickrichtung eines Auges gezeigt.

Es wird davon ausgegangen, dass ein auf das Auge gerichteter Lasersensor in der Lage ist, die Entfernung zwischen Sensor und Oberflächenschnittpunkt, der auch kurz als Schnittpunkt bezeichnet wird, sowie die Oberflächengeschwindigkeit am Schnittpunkt projiziert entlang des Laserstrahls bereitzustellen. Ausgehend von diesen beiden Signalen wird in einem Schritt 72 unter Verwendung eines geeigneten Klassifikators klassifiziert, mit welchem Teil des Auges sich der Laser schneidet. Offensichtliche Klassen und somit Teile des Auges sind die Sklera, die Iris und die Netzhaut des Auges. Weitere Klassen werden gemäß unterschiedlicher Ausführungsbeispiele hinzugefügt, wie z. B. Augenlider oder sogar eine Fehlerklasse.

In einem Schritt 74 wird unter Verwendung eines geeigneten Schätzers eine Schätzung der Positionen und Ausrichtungen der Lasersensoren und in einem Schritt 74 unter eine Ermittlung der Blickrichtung durchgeführt, beispielsweise ebenfalls unter Verwendung eines geeigneten Schätzers abgeschätzt.

Das Verfahren 70 ermöglicht die Verwendung eines Eye-Trackers, der ausschließlich auf statischen Lasersensoren basiert. Im Vergleich zu z. B. kamerabasierten Systemen ist ein solcher Ansatz wesentlich schlanker, was sich in geringerem Stromverbrauch, geringerem Gewicht und geringeren Materialkosten niederschlägt. Ein solches System ist vorteilhaft im Vergleich zu einem kamerabasierten System (Video-Okulographie-System (VOG)), das typischerweise eine viel niedrigere Bildwiederholrate hat, während Eye-Tracking eine hohe Bildwiederholrate von mindestens 250 Hz erfordert.

Das beschriebene Klassifizierungsverfahren ermöglicht ein Eye-Tracker-System, wie es anhand der Figuren 1 bis 9 beschrieben ist und, das aufgrund einer selbstkalibrierenden Eigenschaft robust gegen ein Verrutschen des tragbaren Geräts ist, an dem die Lasersensoren angeordnet sind.

Gemäß einem Ausführungsbeispiel wird die Aufgabe den Schnittbereich eines Laserstrahls auf der Augenoberfläche zu klassifizieren mit einem einfachen Ansatz gelöst. Dies kann

1. mit einen einfachen Schwellenwertklassifikator für die Abstandsmessung, und

2. mit einem automatischen Ansatz mit Schwellenwerten für die Differenz des

Abstandssignals, das die Entfernung zwischen Sensor und Oberflächenschnittpunkt anzeigt, durchgeführt werden. Der erste Ansatz erfordert eine genaue Kenntnis der Position und der Ausrichtung des Lasers in Bezug auf das Auge, um Schwellenparameter abzuleiten. Erst dann kann unter Verwendung einer Wenn-Dann-Anweisung klassifiziert werden, wie beispielsweise wenn dl < d < d2 dann Laser auf Sklera.

Ein solcher Ansatz kann anfällig für Ausrutscher sein und eine langwierige Neukalibrierung erfordern.

Die zweite aufgeführte einfache Lösung basiert auf einem auf der Abstandsdifferenz basierenden Automaten.

Fig. 11 zeigt einen entsprechenden deterministischen Automaten für die Differenz der Abstände oder Entfernungen. Schematisch sind eine Iris 80, eine Sklera 82 und eine Retina 84 als Teil eines Auges dargestellt. Ein Pfeil 86 kennzeichnet einen Start des Automaten.

Der beschriebene Ansatz basiert gemäß einem Ausführungsbeispiel darin, einen Flankendetektor für das Abstandsdifferenzsignal zu verwenden, mit dem Diskontinuitäten erkannt werden, wenn der Laser von einem Teil des Auges zu einem anderen übergeht. Obwohl dieser Ansatz im Vergleich zum ersten Ansatz robuster gegen Verrutschen ist, fehlt ihm die Nutzung der absoluten Entfernungsinformation. Außerdem sind beide Ansätze deterministisch und können daher per se nicht mit Unsicherheiten umgehen.

Gemäß einem Ausführungsbeispiel wird daher ein probabilistischer Ansatz verwendet, nämlich ein verborgenes Markov Model (HMM), bei dem die Eigenschaften der Augengeometrie explizit genutzt wird.

Fig. 12 zeigt ein solches verborgenes Markov Model 90 gemäß einem Ausführungsbeispiel als eine Reihe sich entwickelnder verborgener Zustände (Sklera, Iris, Retina) über die Zeit, wobei zu jedem Zeitschrift Lasermessungen vorliegen. Für die Sklera sind Zustände s(0), s(l), s(2), für die Iris sind Zustände i(0), i(l), i(2) und für die Retina sind Zustände r(0), r(l), r(2) gezeigt.

Das Modell verwendet Übergangswahrscheinlichkeiten für die Entwicklung der verborgenen Zustände und Emissionswahrscheinlichkeiten für die tatsächlichen Messungen. Alle Wahrscheinlichkeiten im Bereich von 0,...,l werden in Bezug auf die spezifische Augengeometrie modelliert, während bestimmte Parameter, die von der a priori unbekannten Brillenposition abhängen, während der Laufzeit abgeleitet werden können.

Ein weiterer Vorteil dieses Ansatzes ist, dass, obwohl er auf einem theoretisch fundierten Rahmen basiert, die eigentliche Implementierung auf eine rechnerisch effiziente Weise erfolgen kann, so dass eine echtzeitfähige Implementierung auf Hardware mit begrenzter Rechengeschwindigkeit möglich ist. Dies steht im Einklang mit der Forderung nach Algorithmen mit geringem Energieverbrauch.

Der vorgeschlagene Klassifikator kann Teil eines Eye-Trackers sein, wir er in Fig. 11 beispielhaft dargestellt ist. Für eine detaillierte Beschreibung des Messprinzips selbst wird dabei auf die Beschreibung der Figuren 1 bis 9 verwiesen.

Es wird davon ausgegangen, dass für einen auf das Auge gerichteten Lasersensor i, wie in Fig. 10 dargestellt die Messwerte d; und v; zur Verfügung stehen, wie sie als Eingangswerte des anhand von Fig. 11 gezeigten Verfahrens verwendet werden.

Typische Entfernungen zwischen den Lasersensoren und den Oberflächenschnittpunkten der Laserstrahlen an dem Auge liegen im Bereich von wenigen Zentimetern. Die Wellenlänge des Lasers kann im Bereich von 800 - 1050 nm liegen, typischerweise 850 - 940 nm.

Gemäß einem Ausführungsbeispiel wird erkannt, auf welchen Teil des Auges (Sklera, Iris, Netzhaut) der Laser gerichtet ist. Diese Markierungen werden für die weitere Verarbeitung der Messungen benötigt und entsprechen den verborgen Zuständen z des verborgenes Markov Model, wie es in Fig. 13 gezeigt ist. Die Abstrahlwahrscheinlichkeiten im Bereich von 0,...,l werden als Mischung von Gaußverteilungen modelliert.

Fig. 13 zeigt beispielhafte Normalverteilungen für entsprechende bedingte Abstrahlwahrscheinlichkeiten. Eine Normalverteilung 92 ist der Iris, eine weitere Normalverteilung 94 der Sklera und noch eine weitere Normalverteilung 96 ist der Retina zugeordnet.

Fig. 14 zeigt eine Matrix 100 bei der die Übergangswahrscheinlichkeiten von einem verborgenen Zustand z(k) zum Folgezustand z(k + 1) als konstante Matrix A( d) modelliert werden.

Die oberste Zeile ist dabei der Sklera, die mittlere Zeile der Iris und die untere Zeile der Retina zugeordnet. Die linke Spalte ist einem Übergang zu der Sklera, die mittlere Spalte einem Übergang zu der Iris und die rechte Spalte einem Übergang zu der Retina zugeordnet.

Die unbekannten Parameter des verborgenes Markov Models, d. h. die Parameter der Abstrahlungswahrscheinlichkeiten, werden iterativ unter Berücksichtigung der letzten N Datenpunkte mit Hilfe der folgenden Aktualisierungsgleichungen aktualisiert: Xi stellt einen Vergessensfaktor im Bereich von dar, während N; die Anzahl der effektiven Punkte ist, die ein Cluster unterstützen. bezeichnet ein positives Gewicht eines Clusters innerhalb der Gaußschen Mischungsverteilung, während m der Mittelwert eines Clusters ist, typischerweise im Bereich von wenigen Zentimetern, und Oi seine entsprechende Varianz.

Auf der Grundlage dieser Statistiken ermöglicht die folgende Gleichung die Bewertung der Verantwortung eines Clusters Zj für einen Datenpunkt d(k), d. h. es kann der wahrscheinlichste Cluster bestimmt werden, zu dem eine Lasermessung gehört:

Dieses Schema ist ein typischer Erwartungsmaximierungsansatz und lässt sich wie folgt zusammenfassen:

Algorithmus 1 Klassifizierungsalgorithmus.

Init: N*, zo for k = 1,..., T do

- erhalte Messungen d (k) ; Ad(k)

- aktualisiere die Übergangswahrscheinlichkeitsmatrix A(Ad(k))

- aktualisieren die Statistiken (12)

- sortiere die Cluster nach pi in aufsteigender Reihenfolge

- klassifiziere die Messung d(k) unter Verwendung von (13), wobei d auf die

Interpolationsregion begrenzt ist. end for

Vorteilhafterweise kann dieser Algorithmus online durchgeführt werden und ist daher für sequenzielle Daten geeignet. Darüber hinaus beinhaltet er eine gewisse exponentielle Eigenschaft zum Vergessen, um nur die neuesten und damit relevanten Datenpunkte zu berücksichtigen. Diese Eigenschaft ist wichtig, damit sich der Klassifikator im Falle eines Abrutschens der Brille anpassen kann. Fig. 15 zeigt ein Ablaufdiagramm eines Verfahrens 70 zum Bestimmen einer Blickrichtung eines Auges 20 gemäß einem Ausführungsbeispiel.

In einem Schritt 110 werden bezüglich der verwendeten Lasersensoren Abstandswerte (di) und Geschwindigkeitswerte (vi) eingelesen und in einem Schritt 76 zum Ermitteln eines die Blickrichtung repräsentierenden Blickrichtungswertes (0, <D) verwendet, wie es beispielsweise bereits anhand von Fig. 11 beschrieben ist.

Dazu werden gemäß einem Ausführungsbeispiel die Abstandswerte (dj) und die Geschwindigkeitswerte (vi) in einem Schritt 72 klassifiziert, um Klassifikationswerte (h) zu erhalten, die wiederum im Schritt 76 zum Ermitteln des Blickrichtungswerts (0, <D) verwendet werden können. Dazu werden gemäß einem Ausführungsbeispiel in einem Schritt 74 des Schätzens Positionswert (sh ) geschätzt und im Schritt 76 zum Ermitteln des Blickrichtungswerts (0, <D) verwendet.

Gemäß einem Ausführungsbeispiel werden mindestens drei Lasersensoren verwendet, um eine absolute Position zu bestimmen (Triliteration).

Optional werden in einem Schritt 112 Reflexionsstrahlen empfangen, die an Teilen des Auges reflektierte oder gestreute Anteile der von den Lasersensoren ausgesendeten Laserstrahlen darstellen. In einem Schritt 114 werden die Abstandswerte (dj) und die Geschwindigkeitswerte (vi) unter Verwendung einer Schwankung in einer Strahlungsintensität der Reflexionsstrahlen bestimmt.

Optional werden die genannten Laserstrahlen in einem Schritt 116 mit konstanter Wellenlänge ausgesendet und im Schritt 114 werden die Geschwindigkeitswerte (vi) bestimmt, während die Laserstrahlen mit konstanter Wellenlänge ausgesendet werden.

Die Schwankung der Strahlungsintensität oder der Strahlungsleistung eines Lasers aufgrund konstruktiver und destruktiver Interferenz von einem sich bewegenden Objekt zurückgestrahlter und in den Resonator des jeweiligen Lasersensors rückeingekoppelter Strahlung bei konstanter Wellenlänge der vom Laser erzeugten Strahlung wird somit genutzt um die Geschwindigkeit des Objektes, hier dem entsprechenden Teil des Auges, zu berechnen.

Gemäß einem Ausführungsbeispiel werden die Laserstrahlen in dem Schritt 116 in einem anderen Zeitintervall nicht mit konstanter Wellenlänge, sondern mit verändernder Wellenlänge ausgesendet und im Schritt 114 werden die Abstandswerte (dj) bestimmt, während die Laserstrahlen mit verändernder Wellenlänge ausgesendet werden.

Die Schwankung der Strahlungsintensität oder Strahlungsleistung des Lasers aufgrund konstruktiver und destruktiver Interferenz von einem sich „nicht“ bezüglich des Lasers bewegenden Objekt zurückgestrahlter und in den Resonator rückeingekoppelter Strahlung bei Wellenlängenvariation der vom Laser erzeugten Strahlung durch beispielsweise Laserstrommodulation kann somit genutzt werden, um den Abstand zu dem Objekt zu berechnen. Beispielsweise kann die Berechnung aus der Frequenz der Spitzenamplitude der Strahlungsleistung erfolgen.

Nutzt man beide Effekte zusammen ergibt sich durch die Bewegung des Objektes eine Schwankung der Strahlungsleistung einer ersten Frequenz und durch die Änderung der Wellenlänge der Laserstrahlung eine Schwankung der Strahlungsleistung einer zweiten Frequenz, so dass eine Schwebung entsteht (Beat-Frequenz).

Aus dem Mittelwert der Beat-Frequenzen, beispielsweise bei einer Dreiecksmodulation des Laserstroms mit Anstiegen und Abfällen des Laserstroms, lässt sich der Abstand des Objektes bestimmen. Aus der Differenz der Beat-Frequenzen bei der Dreiecksmodulation des Laserstroms lässt sich die Bewegungsrichtung und die Geschwindigkeit des Objektes bestimmen. Diese vermischte Nutzung von Effekten stellt die Grundlage von einer Vielzahl von Ausführungsbeispielen dar.

Gemäß einem Ausführungsbeispiel werden in einem optionalen Schritt 118 entsprechende Beatfrequenzen unter Verwendung der Schwankungen in den Strahlungsintensitäten der Reflexionsstrahlen bestimmt, während die Laserstrahlen mit der konstanten und der verändernden Wellenlänge ausgesendet werden. In einem optionalen Schritt 120 Schritt wird ein Bewegungsrichtungswert, der eine Bewegungsrichtung des Auges repräsentiert, und eines Bewegungsgeschwindigkeitswert, der eine Bewegungsgeschwindigkeit des Auges repräsentiert, unter Verwendung eines Mittelwerts der

Beatfrequenzen ermittelt. In diesem Fall kann im Schritt 76 der Blickrichtungswert (0, <D) unter Verwendung des Bewegungsrichtungswerts und des Bewegungsgeschwindigkeitswerts des Auges ermittelt werden. Die genannten zwei Effekte können somit gemeinsam oder getrennt genutzt werden. Gemäß einem Ausführungsbeispiel sind beide Effekte erforderlich, da sowohl Distanzmessungen als auch Geschwindigkeitsmessdaten für die Bestimmung der Position des Auges erforderlich sind. Als weitere Ausführung lässt sich die Messung der Distanz zu bzw. abschalten, indem die Modulation des Lasers mittels beispielsweise Dreieck zu oder abgeschaltet wird. Dadurch lässt sich die Geschwindigkeit besser bzw. genauer für die Fälle ermitteln, bei denen die Modulation abgeschaltet ist.