Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DETERMINING A DISTANCE IN A PAIR OF SMART GLASSES, AND SMART GLASSES
Document Type and Number:
WIPO Patent Application WO/2023/174605
Kind Code:
A1
Abstract:
The invention relates to a method at least for determining a distance (10, 12) between a user's eye (18) and an optical element of an optical system (42) of a pair of smart glasses (14) having a virtual retinal display (VNA), comprising at least the following method steps (70, 72, 74, 82, 84, 90, 90', 90'', 96): - generating a scanned laser beam (16); - optically reproducing the scanned laser beam (16); - illuminating a user's eye (18) using the optically reproduced scanned laser beam (16); - detecting a reflection signal (54) reflected by the user's eye (18); - determining pupil positions (20, 22, 86, 88) within the detected reflection signal (54); - determining distances (24, 24', 24'', 26, 26', 26'') of the pupil positions (20, 22, 86, 88) determined from the reflection signal (54) relative to one another and/or to a common origin point (28) and/or to one or more reference points (30, 32, 92, 94); and - calculating a current distance (10, 12) from the determined relative distances (24, 24', 24'', 26, 26', 26'')

Inventors:
FISCHER JOHANNES (DE)
SOFKE SOEREN (DE)
Application Number:
PCT/EP2023/051754
Publication Date:
September 21, 2023
Filing Date:
January 25, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
International Classes:
G02B27/01
Foreign References:
US20150035744A12015-02-05
US20200186787A12020-06-11
US20210141231A12021-05-13
US20180246336A12018-08-30
Download PDF:
Claims:
Ansprüche

1. Verfahren zumindest zu einer Bestimmung eines Augenabstands (10, 12) zwischen einem Nutzer-Auge (18) und einem optischen Element eines optischen Systems (42) einer Datenbrille (14) mit einer virtuellen Netzhautanzeige (VNA), aufweisend zumindest die Verfahrensschritte (70, 72, 74, 82, 84, 90, 90’, 90”, 96):

- Erzeugen eines gescannten Laserstrahls (16),

- optisches Vervielfältigen des gescannten Laserstrahls (16),

- Beleuchten des Nutzer-Auges (18) durch den optisch vervielfältigten gescannten Laserstrahl (16),

- Erfassen eines von dem Nutzer-Auge (18) zurückgeworfenen Reflexionssignals (54),

- Ermitteln von Pupillenpositionen (20, 22, 86, 88) innerhalb des erfassten Reflexionssignals (54),

- Bestimmen von Relativabständen (24, 24’, 24”, 26, 26’, 26”) der aus dem Reflexionssignal (54) ermittelten Pupillenpositionen (20, 22, 86, 88) zueinander und/oder zu einem gemeinsamen Ursprungspunkt (28) und/oder zu einem oder mehreren Referenzpunkten (30, 32, 92, 94) und

- Berechnen eines momentanen Augenabstands (10, 12) aus den bestimmten Relativabständen (24, 24’, 24”, 26, 26’, 26”).

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass durch die optische Vervielfältigung des gescannten Laserstrahls (16) zumindest zwei, vorzugsweise zumindest vier, in einer Bildebene (34), insbesondere in einer Pupillenebene des Nutzer-Auges (18), zueinander verschoben liegende Bildkopien (36, 38, 76, 78) erzeugt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Augenabstand (10, 12) zwischen dem Nutzer-Auge (18), insbesondere einer Pupillenposition des Nutzer-Auges (18), und einem letzten optischen Element (40) des von dem gescannten Laserstrahl (16) durchlaufenen opti- sehen Systems (42) der Datenbrille (14) bestimmt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Augenabstand (10, 12) zwischen dem Nutzer-Auge (18), insbesondere einer Pupillenposition des Nutzer-Auges (18), und einem Brillenglas (44) der Datenbrille (14) bestimmt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der gescannte Laserstrahl (16) durch eine Segmentierungslinse (46) vervielfältigt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Pupillenpositionen (20, 22, 86, 88) aus dem Reflexionssignal (54) unter Ausnutzung des Bright-Pupil- Effekts ermittelt werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Berechnung des Augenabstands (10, 12) zumindest im Betrieb der Datenbrille (14), insbesondere periodisch, vorzugsweise mit Frequenzen von mehr als 1 Hz, wiederkehrend erfolgt. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Ausgabe der virtuellen Netzhautanzeige, insbesondere zumindest ein Fokus zumindest eines sichtbaren Teils des gescannten Laserstrahls (16), anhand des berechneten Augenabstands (10, 12) nachgeführt und/oder optimiert wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erfassung der zurückreflektierten Bilder unabhängig zumindest von einer, von einem Laserprojektor (48) der virtuellen Netzhautanzeige getrennt ausgebildeten Kamera erfolgt. Optisches System (42) zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, zumindest mit einem Laserprojektor (48) zu einer Erzeugung eines gescannten Laserstrahls (16), zumindest mit einem optischen Vervielfältigungselement (50), insbesondere einer Segmentie- rungslinse (46), zur Vervielfältigung des gescannten Laserstrahls (16), und mit zumindest einem Detektor (52) zu einer Erfassung eines Reflexionssignals (54) des gescannten und vervielfältigten Laserstrahls (16). 11. Datenbrille (14) mit einem optischen System (42) nach Anspruch 10, mit einer Auswerteeinheit (56) zu einer Auswertung des von dem Detektor (52) erfassten Reflexionssignals (54) und mit einer Augenabstand- Kompensationseinheit (58) zu einer dynamischen Ansteuerung von Komponenten (66) der Datenbrille (14), insbesondere des optischen Systems (42), mit dem Ziel der Kompensation von Augenabstand-Variationen.

Description:
Beschreibung

Verfahren zu einer Bestimmung eines Augenabstands in einer Datenbrille und Datenbrille

Stand der Technik

Viele bekannte Datenbrillen arbeiten mit einem konstanten Augenabstand und benötigen daher relativ fixe Verbindungen mit deren Nutzern, z.B. über Bänder oder dergleichen.

Offenbarung der Erfindung

Es wird ein Verfahren zumindest zu einer, insbesondere dynamischen, Bestimmung eines, insbesondere sich verändernden, Augenabstands zwischen einem Nutzer-Auge und einem optischen Element eines optischen Systems, insbesondere eines optimalen Augenabstands (Eye Reliefs), einer Datenbrille mit einer virtuellen Netzhautanzeige (VNA), aufweisend zumindest die Verfahrensschritte: a) Erzeugen eines gescannten Laserstrahls, b) optisches Vervielfältigen des gescannten Laserstrahls, c) Beleuchten des Nutzer-Auges durch den optisch vervielfältigten gescannten Laserstrahl, d) Erfassen eines von dem Nutzer-Auge zurückgeworfenen Reflexionssignals, e) Ermitteln von Pupillenpositionen innerhalb des erfassten Reflexionssignals, f) Bestimmen von Relativabständen der aus dem Reflexionssignal ermittelten Pupillenpositionen zueinander und/oder zu einem gemeinsamen Ursprungspunkt und/oder zu einem oder mehreren Referenzpunkten und g) Berechnen eines momentanen Augenabstands aus den bestimmten Relativabständen, vorgeschlagen. Dadurch kann vorteilhaft ein hoher Tragekomfort für den Benutzer der Datenbrille erreicht werden, insbesondere indem auf eine feste Fixierung der Datenbrille verzichtet werden kann und/oder indem eine hohe Darstellungsqualität und/oder -Zuverlässigkeit auch bei einem Verrutschen der Datenbrille gewährleistet werden kann. Vorteilhaft kann ein Bereich geeigneter Einsatzgebiete für Datenbrillen vergrößert werden. Vorteilhaft kann eine hohe Alltagstauglichkeit von Datenbrillen erreicht werden. Unter einem „Augenabstand“ soll insbesondere eine relative Position des Nutzer-Auges in einem optischen System zu einem und einem letzten vor dem Nutzer-Auge angeordneten optischen Element des optischen Systems verstanden werden. Vorzugsweise soll unter dem Augenabstand ein Abstand zwischen dem Nutzer-Auge und dem letzten vor dem Nutzer-Auge angeordneten optischen Element des optischen Systems, insbesondere dem Brillenglas der Datenbrille, verstanden werden. Vorzugsweise wird in dem Verfahren der optimale Augenabstand (auch Eye Relief genannt) bestimmt. Insbesondere entspricht der optimale Augenabstand der Position des Nutzer-Auges in dem optischen System, insbesondere dem Abstand zwischen dem Nutzer-Auge und dem letzten vor dem Nutzer-Auge angeordneten optischen Element des optischen Systems, bei dem der Nutzer ein gesamtes Sehfeld, insbesondere frei von Vignettierungen oder Beschneidungen, deutlich sehen kann. Insbesondere stimmt bei dem, dem optimalen Augenabstand entsprechenden Abstand eine Größe einer Austrittspupille des optischen Systems mit einer Größe einer Pupille des Nutzer-Auges etwa überein oder ist leicht kleiner als die Größe der Pupille. Insbesondere tritt bei dem optimalen Augenabstand (Eye Relief) die gesamte Austrittspupille/ das gesamte Bild der virtuellen Netzhautanzeige in das Nutzer-Auge ein. Bei einem Fernglas oder Teleskop bezeichnet das Eye Relief beispielsweise den optimalen Abstand zwischen Augenlinsen eines Okulars des Fernglases oder Teleskops und der Pupille des Nutzer-Auges. Insbesondere umfasst das Verfahren einen Verfahrensteil, bei dem eine dynamische Korrektur des Eye Reliefs des optischen Systems, insbesondere des optimalen Augenabstands des optischen Systems, in Abhängigkeit von ermittelten Augenabstands-Änderungen vorgenommen wird. In diesem Verfahrensteil wird insbesondere der optimale Augenabstand des optischen Systems und/oder ein Fokuspunkt der Austrittspupille des optischen Systems an einen tatsächlichen ermittelten Abstand zwischen Nutzer-Auge und Brillenglas der Datenbrille angepasst, vorzugsweise durch eine Manipulation des optischen Systems. Unter einer „Datenbrille“ soll insbesondere ein Wearable (Head-Mounted Display) verstanden werden, mittels welchem Informationen zum Sichtfeld eines Nutzers hinzugefügt werden können. Vorzugsweise ermöglichen Datenbrillen Aug- mented-Reality- und/oder Mixed-Reality-Anwendungen. Datenbrillen werden landläufig auch als Smartglasses bezeichnet. Insbesondere weist die Datenbrille eine virtuelle Netzhautanzeige (VNA), auch Retinal Scanning Display (RSD) genannt, auf. Insbesondere umfasst die virtuelle Netzhautanzeige zumindest einen (gescannten) Laserprojektor. Insbesondere ist der Laserprojektor dazu vorgesehen, den gescannten Laserstrahl zur Erzeugung der Bildanzeige, insbesondere der virtuellen Netzhautanzeige, auszugeben. Insbesondere kann der von dem Laserprojektor ausgegebene Laserstrahl einen weiteren Signalanteil aufweisen, welcher unsichtbar für ein menschliches Auge ist und/oder welcher für andere Aufgaben als die Bildanzeige vorgesehen ist. Beispielsweise kann dieser weitere Signalanteil des gescannten Laserstrahls als ein Infrarot-Lasersignal ausgebildet sein. Insbesondere umfasst der gescannte Laserstrahl eine infrarote Strahlkomponente. Unter „vorgesehen“ soll insbesondere speziell programmiert, ausgelegt und/oder ausgestattet verstanden werden. Darunter, dass ein Objekt zu einer bestimmten Funktion vorgesehen ist, soll insbesondere verstanden werden, dass das Objekt diese bestimmte Funktion in zumindest einem Anwendungs- und/oder Betriebszustand erfüllt und/oder ausführt.

Unter einem „optischen Vervielfältigen“ soll insbesondere ein Vervielfältigen unter Verwendung von optischen Elementen und/oder Funktionen, wie beispielsweise Linsen, Spiegeln, Diffraktoren, etc. verstanden werden. Insbesondere ist das optische Vervielfältigen eines Bilds verschieden von einem digitalen Vervielfältigen eines Bilds und einer anschließenden Ausgabe des derart vervielfältigten Bilds durch den Laserprojektor. Insbesondere tritt der gescannte Laserstrahl bei dem Beleuchten des Nutzer-Auges in das Nutzer-Auge ein und beleuchtet zumindest eine Netzhaut des Nutzer-Auges. Insbesondere wechselwirkt die Netzhaut zumindest teilweise reflektierend mit dem gescannten Laserstrahl, insbesondere zumindest mit der infraroten Strahlkomponente des gescannten Laserstrahls. Insbesondere umfasst das Reflexionssignal eine Anzahl Einzelreflexionsbilder, die der Anzahl an Aufspaltungen des Laserstrahls entspricht. Insbesondere können die sich abhängig vom Augenabstand ändernden Pupillenpositionen auf einen gemeinsamen (fixen) Referenzpunkt, z.B. bei vier Bildern auf den Punkt, an dem sich die vier Bilder schneiden, auf jeweils verschiedene (fixe) Referenzpunkte, z.B. eine Kante eines jeweiligen Bilds oder auf (nicht fixe) Referenzpunkte, z.B. die Pupillenpositionen in anderen Bildern, referenziert werden.

Ferner wird vorgeschlagen, dass durch die optische Vervielfältigung des gescannten Laserstrahls zumindest zwei, vorzugsweise zumindest vier, in einer Bildebene, insbesondere in einer Pupillenebene des Nutzer-Auges, zueinander verschoben liegende Bildkopien erzeugt werden. Dadurch kann vorteilhaft eine einfache Überwachung von Änderungen in dem System aus Datenbrille und Nutzer ermöglicht werden. Vorteilhaft kann eine einfache Bestimmung der Relativabstände ermöglicht werden. Vorteilhaft kann ein einfaches Auseinanderhalten der einzelnen durch Vervielfältigung erzeugten Bilder erreicht werden. Vorteilhaft kann eine Auswertung und/oder Berechnung zur Bestimmung des Augenabstands erleichtert werden. Insbesondere sind die Bildkopien zueinander verschoben, aber dennoch teilweise überlappend. Insbesondere existiert ein Bereich in der Bildebene, in dem sich alle vier Bildkopien teilweise überlappen. Alternativ können die Bildkopien jedoch auch überlappungsfrei zueinander sein. Insbesondere wird durch verschoben liegende Bildkopien erreicht, dass zu jedem Zeitpunkt in jeder Bildkopie / in jedem Reflexionsbild die Pupille an einer anderen Bildkoordinate verordnet ist.

Zudem wird vorgeschlagen, dass der Augenabstand zwischen dem Nutzer-Auge, insbesondere einer Pupillenposition des Nutzer-Auges, und einem, insbesondere entlang des Strahlengangs der gescannten Laserstrahlen gesehen, letzten optischen Element des von dem gescannten Laserstrahl durchlaufenen optischen Systems der Datenbrille, vorzugsweise dem Brillenglas der Datenbrille, bestimmt wird. Dadurch kann vorteilhaft eine besonders gute Augenpositionsbestimmung ermöglicht werden, wodurch insbesondere eine besonders effektive und genaue Korrektur vorgenommen werden kann. Insbesondere wird in dem Verfahren ein Abstand zwischen dem die optische Vervielfältigung erzeugenden optischen Element, z.B. einer Segmentierungslinse, und dem Nutzer-Auge gemessen, wobei das die optische Vervielfältigung erzeugende optische Element häufig eine, insbesondere entlang des Strahlengangs der gescannten Laserstrahlen gesehen, vorletzte optische Komponente des optischen Systems darstellt. In der Regel kann jedoch der Abstand zwischen der letzten optischen Komponente und der vorletzten optischen Komponente des optischen Systems als konstant angenommen werden (Ausnahme: starke Biegungs-, Dehnungs- und/oder Stauchungsbeanspruchung der Datenbrille), so dass aus diesem tatsächlich gemessenen Abstand einfach der Augenabstand bestimmt werden kann. Insbesondere ist das letzte optische Element des optischen Systems in ein Brillenglas der Datenbrille eingebettet. Insbesondere ist das letzte optische Element des optischen Systems als ein diffraktives optisches Bauelement (DOE) oder als ein holographisch-optisches Bauelement (HOE) ausgebildet. Unter einem „optischen System“ soll insbesondere eine Anordnung mehrerer optischer Komponenten, insbesondere mit verschiedenen optischen Funktionen, verstanden werden, welches derart aufgebaut ist, dass es von einem einzelnen Lichtstrahl durchlaufen werden kann und/oder dass jedes der optischen Elemente des optischen Systems den gleichen einzelnen Lichtstrahl (zwischen Aussendung und Detektion/Absorption) zumindest einfach, vorzugsweise zumindest zweifach, manipuliert.

Des Weiteren wird vorgeschlagen, dass der gescannte Laserstrahl durch eine Segmentierungslinse vervielfältigt wird. Dadurch kann vorteilhaft eine einfache und/oder kostengünstige Konstruktion erreicht werden. Vorteilhaft ist die Segmentierungslinse von dem Laserstrahl bidirektional durchlaufbar. Insbesondere umfasst die Segmentierungslinse zumindest zwei, vorzugsweise vier, Einzelsegmente, die jeweils in der Bildebene eine der Bildkopien erzeugen. Insbesondere bildet die Segmentierungslinse einen Teil des optischen Systems der Datenbrille. Insbesondere ist die Segmentierungslinse im optischen System der Datenbrille zwischen dem Laserprojektor und dem Brillenglas angeordnet. Prinzipiell sind gleichwirkende Alternativen zu der Segmentierungslinse, wie z.B. geeignete Beamsplitter-Anordnungen, etc., ebenfalls denkbar.

Weiterhin wird vorgeschlagen, dass die Pupillenpositionen aus dem Reflexionssignal unter Ausnutzung des Bright-Pupil-Effekts ermittelt werden. Dadurch kann vorteilhaft eine zuverlässige und/oder einfache Ermittlung der Pupillenposition und damit auch des Augenabstands ermöglicht werden. Der Bright-Pupil- Effekt erzeugt vorteilhaft einen starken Iris/Pupillen-Kontrast, und erlaubt somit eine robuste Augenverfolgung bei allen Irispigmentierungen, welche dadurch insbesondere im Wesentlichen unbeeinflusst durch Störungen durch Wimpern und andere Verdeckungen ist. Der Bright-Pupil-Effekt kommt insbesondere durch das Phänomen zu Stande, dass die Netzhaut einen erhöhten Anteil einfallenden Lichts reflektiert, wenn dessen Wellenlänge im (infraroten) Bereich von etwa 850 nm liegt.

Außerdem wird vorgeschlagen, dass die Berechnung des Augenabstands zumindest im Betrieb der Datenbrille, insbesondere periodisch, vorzugsweise mit Frequenzen von mehr als 1 Hz, wiederkehrend erfolgt. Dadurch kann vorteilhaft eine Dynamik der Augenabstand-Bestimmung und/oder einer Augenabstand- Überwachung erhalten werden. Vorteilhaft kann ein aktives Nachsteuern und/oder eine aktive Korrektur der Austrittspupillenposition, insbesondere des Eye Reliefs, erreicht werden.

Zusätzlich wird vorgeschlagen, dass, insbesondere in dem Verfahrensteil, bei dem die dynamische Korrektur des Eye Reliefs des optischen Systems, insbesondere des optimalen Augenabstands des optischen Systems, in Abhängigkeit von ermittelten Augenabstands-Änderungen vorgenommen wird, eine Ausgabe der virtuellen Netzhautanzeige, insbesondere zumindest ein Fokus zumindest eines sichtbaren Teils des gescannten Laserstrahls, anhand des berechneten Augenabstands, insbesondere dynamisch, nachgeführt und/oder optimiert wird. Dadurch kann vorteilhaft ein hoher Tragekomfort für den Benutzer der Datenbrille erreicht werden, insbesondere indem auf eine feste Fixierung der Datenbrille verzichtet werden kann und/oder indem eine hohe Darstellungsqualität und/oder - Zuverlässigkeit auch bei einem Verrutschen der Datenbrille gewährleitstet werden kann. Insbesondere wird zur Nachführung und/oder Optimierung der Ausgabe der VNA ein Strahlengang des gescannten Laserstrahls dynamisch adaptiv angepasst. Zudem ist denkbar, dass nachgelagerten Systemen der Datenbrille und/oder datenbrillenexternen nachgelagerten Systemen ein Verrutschen (eine Änderung des Augenabstands) mitgeteilt wird. Insbesondere umfasst das optische System dynamisch ansteuerbare Komponenten zur Veränderung eines Fokus des sichtbaren Teils des gescannten Laserstrahls, insbesondere zur Veränderung eines Fokusabstands zwischen dem Fokus des sichtbaren Teils des gescannten Laserstrahls und dem Brillenglas der Datenbrille. Beispielsweise kann das optische System dazu dynamisch ansteuerbare, vorzugsweise dynamisch verfahrbare und/oder verschwenkbare, Linsen oder Linsensysteme umfassen. Wenn die Erfassung der zurückreflektierten Bilder unabhängig zumindest von einer, von einem Laserprojektor der virtuellen Netzhautanzeige getrennt ausgebildeten Kamera erfolgt, kann vorteilhaft eine hohe Kompaktheit für Datenbrillen realisiert werden. Insbesondere umfasst der Laserprojektor zugleich einen Detektor. Insbesondere ist der Detektor in den Laserprojektor integriert ausgebildet. Insbesondere ist der Detektor „on -axis“ mit dem von dem Laserprojektor ausgesandten Laserstrahl angeordnet. Insbesondere sind der Laserprojektor und der Detektor in einem VCESL (vertical-cavity surface-emitting laser) mit integrierter Photodiode (ViP) kombiniert.

Ferner wird das optische System zur Durchführung des vorbeschriebenen Verfahrens vorgeschlagen, aufweisend den Laserprojektor zur Erzeugung des gescannten Laserstrahls, ein optisches Vervielfältigungselement, insbesondere die Segmentierungslinse, zur Vervielfältigung des gescannten Laserstrahls, und den Detektor zu einer Erfassung des Reflexionssignals des gescannten und vervielfältigten Laserstrahls. Vorteilhaft kann ein besonders hoher Tragekomfort für den Nutzer von das optische System umfassenden Datenbrillen erreicht werden.

Zudem wird eine Datenbrille mit dem optischen System und mit einer Auswerteeinheit zu einer Auswertung des von dem Detektor erfassten Reflexionssignals und mit einer Augenabstand-Kompensationseinheit zu einer dynamischen Ansteuerung von Komponenten der Datenbrille, insbesondere des optischen Systems der Datenbrille, wie beispielsweise den dynamisch ansteuerbaren Linsen oder dem dynamisch ansteuerbaren Linsensystem, mit dem Ziel der Kompensation von Einflüssen von Augenabstand-Variationen auf eine Nutzerwahrnehmung , vorgeschlagen. Vorteilhaft kann ein besonders hoher Tragekomfort für den Nutzer von das optische System umfassenden Datenbrillen erreicht werden. Unter einer „Auswerteeinheit“ soll insbesondere eine Einheit mit zumindest einer Auswerteelektronik verstanden werden. Unter einer „Auswerteelektronik“ soll insbesondere eine Einheit mit einem Prozessor und mit einem Speicher sowie mit einem in dem Speicher gespeicherten Betriebsprogramm verstanden werden. Unter einer „Augenabstand-Kompensationseinheit“ soll insbesondere eine Einheit mit zumindest einer Steuerelektronik verstanden werden. Unter einer „Steuerelektronik“ soll insbesondere eine Einheit mit einem Prozessor und mit einem Speicher sowie mit einem in dem Speicher gespeicherten Betriebsprogramm verstanden werden. Insbesondere können die Augenabstand- Kompensationseinheit und die Auswerteeinheit in einem gemeinsamen Rechnersystem kombiniert sein. Insbesondere erzeugt die Augenabstand- Kompensationseinheit Ansteuersignale zur Kompensation der Einflüsse von Augenabstand-Variationen auf eine Nutzerwahrnehmung basierend auf von der Auswerteeinheit empfangenen Signalen / Auswertungen von Detektorsignalen. Insbesondere können die Augenabstand-Kompensationseinheit und/oder die Auswerteeinheit jeweils vollständig oder zumindest teilweise in die Datenbrille integriert sein oder zumindest teilweise in eine Cloud oder dergleichen oder in ein externes mit der Datenbrille verbindbares Nutzergerät, wie ein Smartphone oder dergleichen, ausgelagert sein.

Das erfindungsgemäße Verfahren, das erfindungsgemäße optische System und die erfindungsgemäße Datenbrille sollen hierbei nicht auf die oben beschriebene Anwendung und Ausführungsform beschränkt sein. Insbesondere kann das erfindungsgemäße Verfahren, das erfindungsgemäße optische System und die erfindungsgemäße Datenbrille zu einer Erfüllung einer hierin beschriebenen Funktionsweise eine von einer hierin genannten Anzahl von einzelnen Elementen, Bauteilen und Einheiten sowie Verfahrensschritten abweichende Anzahl aufweisen. Zudem sollen bei den in dieser Offenbarung angegebenen Wertebereichen auch innerhalb der genannten Grenzen liegende Werte als offenbart und als beliebig einsetzbar gelten.

Zeichnung

Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung ist ein Ausführungsbeispiel der Erfindung dargestellt. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen.

Es zeigen: Fig. 1 eine schematische Darstellung einer Datenbrille mit einem optischen System,

Fig. 2 eine schematische Darstellung des optischen Systems,

Fig. 3 ein schematisches Ablaufdiagramm eines Verfahrens zu einer Bestimmung und/oder Korrektur sich verändernder Augenabstände in Datenbrillen mit virtuellen Netzhautanzeigen,

Fig. 4 eine schematische Darstellung einer in dem Verfahren verwendeten Bildebene und

Fig. 5 eine beispielhafte schematische Repräsentation eines in dem Verfahren analysierten Reflexionssignals.

Beschreibung des Ausführungsbeispiels

Die Fig. 1 zeigt eine schematische Darstellung einer Datenbrille 14. Die Datenbrille 14 weist eine virtuelle Netzhautanzeige auf. Die Datenbrille 14 umfasst ein Brillengestell 60. Die Datenbrille 14 umfasst Brillengläser 44. Die Datenbrille 14 ist zu einer dynamischen Bestimmung von, insbesondere sich verändernden, AugenabständenlO, 12 vorgesehen. Die Datenbrille 14 ist zu einer dynamischen Korrektur einer Ausgabe der virtuellen Netzhautanzeige bei sich verändernden Augenabständen 10, 12 vorgesehen. Der Augenabstand 10, 12 wird dabei zwischen einem Nutzer-Auge 18 und dem Brillenglas 44 der Datenbrille 14 bestimmt. In der Fig. 1 sind beispielhaft zwei verschiedene Positionen des Nutzer- Auges 18 dargestellt, welche z.B. durch ein Verrutschen der Datenbrille 14 auf der Nase des Nutzers entstehen können. Ein solches Verrutschen würde ohne eine Nachsteuerung ein Entfernen des Nutzer-Auges 18 von einem Augenabstand eines statischen Systems und somit zumindest einen Sichtfeldverlust bedeuten. Dass die Datenbrille 14 für beide Positionen eine passende Austrittspupille / ein passendes Eye Relief zur Verfügung stellen kann, wird die Ausgabe der virtuellen Netzhautanzeige dynamisch korrigiert. Durch die dynamische Korrektur wandert die Austrittspupille / das Eye Relief sozusagen mit dem Nutzer-Auge 18 mit. Die Datenbrille 14 weist eine Auswerteeinheit 56 auf. Die Datenbrille 14 weist eine Augenabstand-Kompensationseinheit 58 auf. Die Datenbrille 14 weist ein optisches System 42 auf. Die Fig. 2 zeigt schematisch zumindest einen Teil des optischen Systems 42. Das optische System 42 weist einen Laserprojektor 48 auf. Der Laserprojektor 48 ist als ein gescannter Laserprojektor 48 ausgebildet. Der Laserprojektor 48 ist dazu vorgesehen, einen gescannten Laserstrahl 16 zu erzeugen und auszugeben. Der gescannte Laserstrahl 16 erzeugt eine Bildanzeige der Datenbrille 14. Der gescannte Laserstrahl 16 kann zu einer Ermittlung einer Pupillenposition, Pupillenbewegung, Pupillenform und/oder Pupillengröße vorgesehen sein. Der gescannte Laserstrahl 16 umfasst einen sichtbaren Anteil, welcher zur Ausgabe eines Bildes an das Nutzer-Auge 18 vorgesehen ist. Der gescannte Laserstrahl 16 ist dazu vorgesehen, eine Bildanzeige direkt auf eine Netzhaut des Nutzer- Auges 18 auszugeben. Der gescannte Laserstrahl 16 umfasst einen infraroten Anteil, welcher zumindest zu einer Ermittlung einer Pupillenposition des Nutzer- Auges 18 vorgesehen ist. Der Laserprojektor 48 ist zumindest teilweise in das Brillengestell 60 integriert. Der Laserprojektor 48 umfasst ein MEMS- Spiegelsystem 64 zum Scannen des gescannten Laserstrahls 16.

Das optische System 42 umfasst ein optisches Vervielfältigungselement 50. Das optische Vervielfältigungselement 50 wird von dem gescannten Laserstrahl 16 passiert. Das optische Vervielfältigungselement 50 ist als eine Segmentierungslinse 46 ausgebildet. Das optische Vervielfältigungselement 50 ist dazu vorgesehen, zumindest den infraroten Anteil des gescannten Laserstrahls 16 zu vervielfältigen. Das optische Vervielfältigungselement 50 bildet ein vorletztes optisches Element des optischen Systems 42 aus. Die Auswerteeinheit 56 ist dazu vorgesehen, einen Abstand zwischen dem optischen Vervielfältigungselement 50 und dem Nutzer-Auge 18 zu ermitteln. Das optische System 42 ist teilweise von dem Brillenglas 44 gebildet. Das Brillenglas 44 umfasst ein letztes optisches Element 40 des optischen Systems 42. Das letzte optische Element 40 wird von dem gescannten Laserstrahl 16 passiert. Das letzte optische Element 40 ist als ein holographisch-optisches Element (HOE) ausgebildet. Das HOE ist dazu vorgesehen, einen einfallenden gescannten Laserstrahl 16 auf das Nutzer Auge 18 zu reflektieren und zu fokussieren. Das letzte optische Element 40 und das vorletzte optische Element weisen einen zueinander fixen Abstand 62 auf. Durch mechanische Beanspruchungen kann dieser fixe Abstand 62 zwar leicht beeinflusst werden, derartige Abstandsänderungen können jedoch bei der Bestimmung des Augenabstands 10, 12 vernachlässigt werden. Durch eine Berücksichtigung des fixen Abstands 62 ist die Auswerteeinheit 56 dazu vorgesehen, den Abstand zwischen dem letzten optischen Element 40 und dem Nutzer-Auge 18, d.h. insbesondere den AugenabstandlO, 12 zu bestimmen. Das optische System 42 umfasst eine Komponente 66, welche dazu vorgesehen ist, eine Position einer Austrittspupille des optischen Systems zu verändern, insbesondere eine Eye-Relief- Variation zu erzeugen. Beispielhaft könnte diese Komponente 66 als eine beweglich ansteuerbare Linse ausgebildet sein.

Das optische System 42 weist einen Detektor 52 auf. Der Detektor 52 ist zu einem Erfassen eines Reflexionssignals 54 (siehe Fig. 5) des gescannten Laserstrahls 16, welches zudem von dem optischen Vervielfältigungselement 50 vervielfältigt wurde, vorgesehen. Der Detektor 52 ist empfindlich für Infrarotlicht ausgebildet. Der Detektor 52 ist in den Laserprojektor 48 integriert. Der Laserprojektor 48 und der Detektor 52 sind in einem ViP kombiniert. Der Detektor 52 kommuniziert erfasste Reflexionssignale 54 mit der Auswerteeinheit 56. Die Auswerteeinheit 56 ist zur Auswertung des von dem Detektor 52 erfassten Reflexionssignals 54 vorgesehen. Die Auswerteeinheit 56 kommuniziert die Auswerteergebnisse mit der Augenabstand-Kompensationseinheit 58. Die Augenabstand- Kompensationseinheit 58 ist zu einer dynamischen Ansteuerung der Komponente 66 mit dem Ziel der Kompensation von Einflüssen von Augenabstand- Variationen auf eine Nutzerwahrnehmung vorgesehen.

Die Fig. 3 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zu einer Bestimmung von Augenabständen 10, 12 zwischen dem Nutzer-Auge 18 und einem optischen Element des optischen Systems 42 der Datenbrille 14 mit der virtuellen Netzhautanzeige. Das in der Fig. 3 gezeigte Verfahren umfasst ein Verfahren zur Korrektur von Eye Reliefs des optischen Systems 42 und/oder von einer Position der Austrittspupille des optischen Systems 42 in Abhängigkeit von dem ermittelten Augenabstand 10, 12 zur Optimierung einer Nutzerwahrnehmung der Ausgabe der virtuellen Netzhautanzeige. In zumindest einem Verfahrensschritt 68 wird die Datenbrille 14 von dem Nutzer aufgesetzt und aktiviert. In zumindest einem weiteren Verfahrensschritt 70 wird der gescannte Laserstrahl 16 von dem Laserprojektor 48 erzeugt. In zumindest einem weiteren Verfahrensschritt 72 wird zumindest der infrarote Anteil des gescannten Laserstrahls 16 durch ein Durchleuchten des optischen Vervielfältigungselements 50 optisch ver- vielfältig!. Der gescannte Laserstrahl 16 wird dabei durch die Segmentierungslinse 46 vervielfältigt. Durch die optische Vervielfältigung des gescannten Laserstrahls 16 werden beispielhaft vier Bildkopien 36, 38, 76, 78 erzeugt. In zumindest einem weiteren Verfahrensschritt 74 wird der optisch vervielfältigte gescannte Laserstrahl 16 auf das Nutzer-Auge 18 eingestrahlt. Die vier Bildkopien 36, 38, 76, 78 liegen in einer eine Pupillenebene des Nutzer-Auges 18 ausbildenden gemeinsamen Bildebene 34 (vgl. Fig. 4). Die vier Bildkopien 36, 38, 76, 78 liegen zueinander verschoben in der Bildebene 34. Die vier Bildkopien 36, 38, 76, 78 überlappen sich teilweise. Die vier Bildkopien 36, 38, 76, 78 überlappen in einem Zentralbereich. Die vier Bildkopien 36, 38, 76, 78 überlappen in einem Bereich, in dem die Pupille des Nutzer-Auges 18 vermutet wird.

In zumindest einem weiteren Verfahrensschritt 80 wird zumindest der infrarote Anteil des eingestrahlten gescannten Laserstrahls 16 von dem Nutzer-Auge 18 zurückreflektiert. Die Rückreflexion des infraroten Anteils des gescannten Laserstrahls 16 durch eine Netzhaut des Nutzer-Auges 18 ist dabei wesentlich stärker als die Rückreflexion des infraroten Anteils des gescannten Laserstrahls 16 durch von der Netzhaut verschiedene Teile des Nutzer-Auges 18, wie z.B. einer Iris des Nutzer-Auges 18. In zumindest einem weiteren Verfahrensschritt 82 wird das von dem Nutzer-Auge 18 zurückgeworfene Reflexionssignal 54 mittels des Detektors 52 erfasst. Die Erfassung der zurückreflektierten Bilder erfolgt dabei unabhängig von Kameras oder Detektoren, die von dem Laserprojektor 48 getrennt ausgebildet sind. In zumindest einem weiteren Verfahrensschritt 84 werden Pupillenpositionen 20, 22, 86, 88 aus dem erfassten Reflexionssignal 54 ermittelt (siehe Fig. 5). Dabei werden die Pupillenpositionen 20, 22, 86, 88 aus dem Reflexionssignal 54 unter Ausnutzung des Bright-Pupil-Effekts ermittelt. In zumindest einem weiteren Verfahrensschritt 90 werden Relativabstände 24, 26 der aus dem Reflexionssignal 54 ermittelten Pupillenpositionen 20, 22, 86, 88 zueinander bestimmt. In einem alternativen oder zusätzlichen Verfahrensschritt 90’ könnten auch Relativabstände 24’, 26’ zu einem gemeinsamen Ursprungspunkt 28 bestimmt werden. In einem weiteren alternativen oder zusätzlichen Verfahrensschritt 90” könnten auch Relativabstände 24”, 26” zu Referenzpunkten 30, 32, 92, 94 bestimmt werden, wobei jeder Referenzpunkt 30, 32, 92, 94 jeweils einer der Bildkopien 36, 38, 76, 78 zugeordnet sein könnte. In zumindest einem weiteren Verfahrensschritt 96 wird mittels der Auswerteeinheit 56 der mo- mentane Augenabstand 10 aus den bestimmten Relativabständen 24, 24’, 24”, 26, 26’, 26” berechnet. Der Augenabstand 10 wird dabei zwischen dem Nutzer- Auge 18 und dem letzten optischen Element 40, d.h. dem in dem Brillenglas 44 eingebetteten HOE, des von dem gescannten Laserstrahl 16 durchlaufenen optischen Systems 42 bestimmt. In dem Verfahrensschritt 96 wird der Augenabstand 10, 12 in dem optischen System 42 der Datenbrille 14 bestimmt.

Die Berechnung des Augenabstands 10 im Betrieb der Datenbrille 14 erfolgt wiederkehrend. Die Wiederholung der Berechnung des Augenabstands 10 erfolgt periodisch. Die Wiederholung der Berechnung des Augenabstands 10 erfolgt wiederkehrend mit Frequenzen von mehr als 1 Hz. Wenn nun die Datenbrille 14 verrutscht, wird in dem wiederholten Verfahren ein veränderter Augenabstand 12 / eine Notwendigkeit einer Veränderung der Austrittpupille/ des Eye Reliefs 12 detektiert. Beispielsweise verändern sich durch ein Verrutschen der Datenbrille 14 die Pupillenpositionen 20, 22, 86, 88 innerhalb der einzelnen Bildkopien 36, 38, 76, 78 und damit auch innerhalb der Bildebene 34. Wenn sich beispielsweise ein Abstand zwischen Nutzer-Auge 18 und letztem optischen Element 40 des optischen Systems 42 verringert, wandern die Pupillenpositionen 20, 22, 86, 88 in der Bildebene 34 auseinander. Das ist exemplarisch durch die Pfeile 100 in der Fig. 5 dargestellt. Anhand einer Auswertung dieser Veränderung der Pupillenpositionen 20, 22, 86, 88 in der Bildebene 34 wird nun von der Auswerteeinheit 56 der neue (notwendige) Eye-Relief 12 / die neue (notwendige) Position der Austrittspupille des optischen Systems 42 bestimmt. In zumindest einem Verfahrensschritt 98 wird bei einer Detektion einer Veränderung eine Ausgabe der virtuellen Netzhautanzeige der Datenbrille 14 anhand des berechneten Augenabstands 12 / anhand des für eine ordnungsgemäße Operation als notwendig ermittelten neuen Eye Reliefs mittels der Augenabstand-Kompensationseinheit 58 nachgeführt und/oder optimiert. Dabei wird ein Fokus des gescannten Laserstrahls 16 (sichtbarer Anteil und/oder infraroter Anteil) anhand des berechneten Eye Reliefs nachgeführt und/oder optimiert. Dazu kann beispielsweise die dafür vorgesehene Komponente 66 des optischen Systems 42 manipuliert und/oder verfahren werden. In dem Verfahrensschritt 98 wird der Eye Relief des optischen Systems 42 und/oder die Position der Austrittspupille des optischen Systems 42 in Abhängigkeit von dem ermittelten Augenabstand 10, 12 korrigiert. In dem Verfahrensschritt 98 wird der Eye Relief des optischen Systems 42 und/oder die Position der Aus- trittspupille des optischen Systems 42, vorzugsweise der Fokus des gescannten Laserstrahls 16, in Reaktion auf eine Ermittlung einer Abstandsänderung zwischen dem Nutzer-Auge 18 und dem Brillenglas 44 derart (in Richtung einer Nut- zer-Blickachse) manipuliert, insbesondere verschoben, dass auch nach der Ab- Standsänderung der Eye Relief des optischen Systems 42 und/oder die Austrittspupille des optischen Systems 42, vorzugsweise der Fokus des gescannten Laserstrahls 16, mit einer Pupillenposition des Nutzer-Auges 18, und bevorzugt auch mit einer Pupillengröße des Nutzer-Auges 18, überlappt.