AUGMENTED REALITY DARSTELLUNG

Die Erfindung betrifft ein AR (Augmented Reality) -Sys tem, mit einem HMD (Head mounted display) mit einem holographischen Display sowie einer Einrichtung zur Generierung von VR (Virtual Reality) -Lichtfelddaten . Gegenstand der Erfindung ist ferner ein Verfahren zum Darstellen von AR-Darstellungen in bzw. unter Verwendung eines erfindungsgemäßen Systems.

VR (Virtual Reality) -Systeme sind aus offenkundiger Vorbenutzung bekannt. Sie erlauben es, einem Benutzer eine computergenerierte virtuelle Darstellung bzw. Re alität darzustellen.

Ebenfalls bekannt sind AR (Augmented Reality) -Systeme, bei denen der Benutzer einerseits die Umgebung direkt optisch wahrnehmen kann, andererseits zusätzlich VR- Daten in seinem Sichtfeld erscheinen. Diese AR-Systeme erlauben es, einem Benutzer beim Blick auf die Umgebung Zusatzinformationen in Form von VR-Daten zur Verfügung zu stellen. Ein aus offenkundiger Vorbenutzung bekanntes AR-System ist beispielsweise Google Glass ^® .

Aus WO 2015/032828 AI ist ein AR-System bekannt, bei dem eine Korrektur der eingebrachten VR-Daten anhand ophthalmologischer Parameter des Benutzers vorgesehen ist . Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein System und ein Verfahren der eingangs genannten Art zu schaffen, dass eine gute AR-Darstellung bietet und eine einfache Möglichkeit der Anpassung an ver ^¬ schiedene Benutzer erlaubt.

Die Aufgabe wird erfindungsgemäß dadurch gelöst, dass das System weiter aufweist eine Einrichtung zur Auf- nähme von Lichtfelddaten der Umgebung und eine Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Rea- lity) -Lichtfelddaten und Ansteuerung des holographischen Displays, wobei eine Einrichtung zur Korrektur der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers vorgesehen ist.

Zunächst seien einige im Rahmen der Erfindung verwendete Begriffe erläutert.

AR (Augmented Reality) -Systeme erlauben einem Benutzer die gleichzeitige visuelle Wahrnehmung sowohl der Um ^¬ gebung (entweder direkt oder indirekt durch Darstellung einer Kameraaufnahme der Umgebung) als auch op- tisch überlagerter oder eingeblendeter grafischer Zusatzdaten, dabei kann es sich beispielsweise um Bilder, alphanumerische Zeichen oder dergleichen handeln.

HMD (Head mounted displays) sind auf dem Kopf getra ^¬ gene visuelle Ausgabegeräte, die dem Benutzer optische Daten und Bilder präsentieren können. Sie können beispielsweise als Brillen, Masken, Helme, Kontaktlinsen oder dergleichen ausgebildet sein. Im Rahmen der Er findung werden bevorzugt geschlossene HMD verwendet die den Benutzer ausschließlich computergenerierte tische Darstellungen wahrnehmen lassen und keine di rekte visuelle Wahrnehmung der Umgebung ermöglichen

Ein holographisches Display ist eine Einrichtung, die ein computergeneriertes holographisches Interferenz ^¬ musterbild darstellen kann, das in der Wahrnehmung ei nem stereoskopischen Bild entspricht. Holographische Displays sind im Stand der Technik bekannt und bei ^¬ spielsweise in US 2014/0293386 AI beschrieben.

Eine Einrichtung zur Generierung von VR (Virtual Rea- lity) -Lichtfelddaten erzeugt VR-Lichtfelddaten, die mittels eines holographischen Displays eine 3D-Dar- stellung dieser (künstlich erzeugten) grafischen Daten erlauben .

Lichtfelddaten werden beschrieben durch eine Vektor funktion, die für jeden Raumpunkt und jede Raumrich tung die Strahldichte des Lichts beschreibt.

Eine Einrichtung zur Aufnahme von Lichtfelddaten der Umgebung erlaubt die Erfassung des Lichtfelds einer beobachteten Umgebung bzw. Szene. Bevorzugt ist diese Einrichtung erfindungsgemäß als Lichtfeldkamera oder plenoptische Kamera ausgebildet. Grundsätzlich kann die Aufnahme von Lichtfelddaten der Umgebung auch auf andere Art und Weise erfolgen, beispielsweise durch

Mehrfachbelichtung eines regulären Bildsensors mit wechselnder Brennweite. Besonders bevorzugt erlaubt die Einrichtung die Aufnahme und Erstellung von Lichtfelddaten der Umgebung in Echtzeit.

Ein wesentliches Element der Erfindung ist eine Ein ^¬ richtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Rea- lity) -Lichtfelddaten . Erfindungsgemäß ist somit vorge ^¬ sehen, dass die AR-Darstellung keine Mischdarstellung aus einer direkten optischen Wahrnehmung der Umgebung mit hinzugefügten VR-Daten ist, sondern die gesamte AR-Darstellung einschließlich der Darstellung der Umgebung vollständig computergeneriert mittels des holo ^¬ graphischen Displays erfolgt. Diese vollständige com ^¬ putergenerierte Darstellung umfasst bei der Darstel ^¬ lung der Umgebung bevorzugt eine Live-Darstellung der Umgebung bevorzugt aus einer zu diesem Zweck vorgesehenen Kamera wie beispielsweise einer Stirnkamera.

Die mit Lichtfelddaten der Umgebung zusammen geführten VR-Lichtfelddaten können computergenerierte bzw. simulierte Daten aufweisen, sie können auch Daten von einer räumlich entfernt angeordneten Lichtfeldkamera aufweisen, beispielsweise für Telepräsenzanwendungen . Diese erfindungsgemäße Vorgehensweise erlaubt es, sämtliche Möglichkeiten zur Darstellung und gegebenenfalls Korrektur von mittels eines holographischen Displays dargestellter Lichtfelddaten nicht nur auf die VR-Elemente einer gemischten AR-Darstellung mit direk- ter Wahrnehmung der Umgebung anzuwenden, sondern auch auf die Gesamtdarstellung einschließlich der Umgebung und somit der Wahrnehmung der Umgebung. Das System weist eine Einrichtung zur Korrektur der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers auf.

Der Begriff der ophthalmologischen Daten des Benutzers bezeichnet Daten, die Informationen zum individuellen Sehvermögen bzw. den Seheigenschaften eines Benutzers umfassen. Dabei kann es sich bevorzugt um sogenannte Verschreibungsdaten, die definierte Fehlsichtigkeiten des Benutzers erfassen, handeln. Solche Verschrei ^¬ bungsdaten sind beispielsweise Sphäre; Zylinder und Achse (Korrektur des Astigmatismus) ; prismatische Kor ^¬ rektur; Aberrationen höherer Ordnung; Addition (Korrektur der Presbyopie) und dergleichen.

Es kann sich jedoch auch um andere ophthalmologische Daten handeln, beispielsweise vorgegebene Daten im Zuge der Ermittlung von ophthalmologischen Daten eines Benutzers .

Ferner kann es sich um Sensitivitätsdaten handeln, die beispielsweise die spektrale Empfindlichkeit oder Hel ^¬ ligkeitsempfindlichkeit der Augen beschreiben. Die Kenntnis der spektralen Empfindlichkeit ermöglicht er ^¬ findungsgemäß beispielsweise die Korrektur von Farb- sehschwächen . Die Kenntnis der Helligkeitsempfindlichkeit ermöglicht beispielsweise die Anpassung des Kon ^¬ trastes des generierten AR-Bildes an die Eigenschaften der Augen. Weiter kann es sich um biometrische Daten des Benut ^¬ zers handeln, darunter fallen beispielsweise Pupillendistanz, axiale Länge der Augen, Lage des Drehpunktes der Drehung der Augen und dergleichen.

Die Erfindung erlaubt es, einem Benutzer eine AR- Darstellung anzubieten, bei der sowohl die Darstellung der Umgebung als auch die zusätzlichen visuellen VR- Daten gemeinsam korrigiert werden beispielsweise zum Ausgleich von Fehlsichtigkeiten des Benutzers. Es ist erfindungsgemäß nicht mehr erforderlich, die bei AR- Systemen des Standes der Technik vorgesehene doppelte Korrektur vorzusehen, bei der die direkte visuelle Wahrnehmung der Umgebung korrigiert werden muss durch übliche optische Elemente wie beispielsweise Brillen ^¬ linsen, die beispielsweise im Stand der Technik in das verwendete HMD eingesetzt werden können.

Optional erlaubt die erfindungsgemäße Vorgehensweise auch die Simulation der Wirkung eines Brillenglases o- der Brillenglasdesigns, für ein Gleitsichtglasdesign beispielsweise Addition, Länge des Progressionskanals, Lage und Größe von Nah- und Fernbereich oder die Verteilung astigmatischer Restfehler.

Durch sukzessive Simulation verschiedener sphärischer Wirkungen, zylindrischer Wirkungen und Achslagen, ggf. prismatischer Wirkungen etc. kann die erfindungsgemäße Vorgehensweise auch zur subjektiven Refraktion verwen- det werden. Das kann wie bei der klassischen subjektiven Refraktion mit Korrekturgläsern durch abgestufte optische Wirkungen und im Dialog mit einer Fachkraft, etwa einem Augenarzt oder Augenoptiker geschehen, es ist aber auch möglich den Probanden mit einem Eingabegerät, etwa einem Schieberegler oder dergleichen, auszustatten und ihm zu erlauben sich die optimale Wirkung stufenlos selbst einzustellen, und diese in di- versen simulierten oder echten Alltagssituationen (Lesen, Treppensteigen, ...) direkt auszuprobieren.

Bevorzugt ist die Einrichtung zur Aufnahme von Licht ^¬ felddaten der Umgebung als Lichtfeldkamera ausgebil ^¬ det, die eine Aufnahme dieser Lichtfelddaten in Echt ^¬ zeit ermöglicht. Weiter bevorzugt ist die Einrichtung zur Aufnahme von Lichtfelddaten mit der Blickrichtung des Benutzers koordiniert. Auf diese Weise wird die Umgebung realitätsnah unter Berücksichtigung der

Blickrichtung wiedergegeben. Die Lichtfeldkamera kann zu diesem Zweck mechanisch mit dem HMD gekoppelt sein, insbesondere an diesem angebracht sein. Sie folgt da ^¬ mit den Kopfbewegungen des Benutzers. Alternativ oder zusätzlich kann ein Blickrichtungssensor im HMD vorgesehen sein, der Augenbewegungen und die Blickrichtung erfasst und vorzugsweise eine Nachführung der Kamera steuert .

Es ist im Rahmen der Erfindung ebenfalls möglich, die Kamera räumlich entfernt vom HMD bzw. dem Nutzer des

HMD anzuordnen. Eine solche räumlich entfernte Anord ^¬ nung kann insbesondere für Telepräsenzanwendungen vorteilhaft sein. Weiter bevorzugt ist eine solche räum ^¬ lich entfernte Kamera drahtgebunden oder bevorzugt drahtlos dergestalt vom HMD steuerbar, dass die Auf ^¬ nahmerichtung der Kamera mit der Blickrichtung des Benutzers des HMD verknüpft ist bzw. dieser Blickrichtung folgt. Beispielsweise kann das HMD Accelerometer aufweisen, die Kopfbewegungen des Benutzers erfassen und so eine Steuergröße für die Nachführung der ent ^¬ fernten Kamera bereitstellen. Erfindungsgemäß ist es bevorzugt, dass die Einrichtung zur Generierung von VR-Lichtfelddaten mit einer externen Datenquelle verbindbar ist. Es kann sich um eine externe Datenquelle (beispielsweise Datenbanken oder generell das Internet) handeln, die Inhalte für die VR-Darstellungen beisteuert.

Alternativ oder zusätzlich kann vorgesehen sein, dass nicht nur eine Verbindung zu einer externen Datenquelle erfolgt, sondern auch zu einem externen Compu- ter, dessen Rechenleistung genutzt wird beispielsweise zur Verarbeitung von Lichtfelddaten, Ansteuerung des holographischen Displays oder dergleichen. Diese Variante der Erfindung erlaubt es, eine rechenaufwendige Bearbeitung von Lichtfelddaten in leistungsfähige ex- terne Computer zu verlagern.

Die Verbindung von externer Datenquelle bzw. externem Computer und dem erfindungsgemäßen System bzw. HMD erfolgt bevorzugt drahtlos, es können bekannte elektro- magnetische oder optische drahtlose Verbindungstechni ^¬ ken genutzt werden. Sofern in der entsprechenden Umgebung verfügbar, haben optische Verbindungen den Vorteil, dass eine breitbandige Übertragung problemlos möglich ist und eine Belastung mit elektromagnetischer Strahlung im Kopfbereich des Benutzers vermieden werden kann. Erfindungsgemäß kann vorgesehen sein, dass die externe Datenquelle zusätzlich ophthalmologische Daten des Be ^¬ nutzers enthält. Dies kann insbesondere dann vorteil ^¬ haft sein, wenn ein erfindungsgemäßes System von ver- schiedenen Benutzern mit unterschiedlichen Fehlsichtigkeiten verwendet wird. Durch Zugriff auf die ex ^¬ terne Datenquelle kann automatisch eine Anpassung an den jeweiligen Benutzer erfolgen. Alternativ können die entsprechenden ophthalmologischen Daten lokal im erfindungsgemäßen System bzw. dem HMD gespeichert sein .

Eine sehr häufige Ausprägung einer Fehlsichtigkeit ist Kurzsichtigkeit oder Weitsichtigkeit, die eine sphäri- sehe Korrektur der Fokusebene erfordern. Erfindungsge ^¬ mäß kann vorgesehen sein, dass die Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Reality) -Lichtfeld ^¬ daten und Ansteuerung des holographischen Displays dazu ausgebildet ist, aus den AR-Lichtfelddaten für jedes Auge des Benutzers die Fokusebene zu präsentie ^¬ ren, die der sphärischen Fehlsichtigkeit dieses Auges entspricht. Es ist bei dieser Variante der Erfindung möglich, jeweils nur diejenigen Schärfeebenen zu gene- rieren und verwenden, die den Fehlsichtigkeiten des linken bzw. rechten Auges des Trägers entsprechen. Eine solche Vorgehensweise erfordert vergleichsweise weniger Rechenleistung und erleichtert somit die

Durchführung dieser Berechnungen im Sinne des Merkmals d. des Anspruchs 1 lokal im Bereich des Systems bzw.

HMD. Erfindungsgemäß ist es bevorzugt, dass das HMD bzw. dessen holographisches Display einen SLM (spatial light modulator) aufweist. Geeignete SLM sind der Fachwelt geläufig und bedürfen hier keiner näheren Er- läuterung. Eine Offenbarung geeigneter SLM findet sich beispielsweise in der eingangs erwähnten WO

2015/032828 AI.

Der SLM kann erfindungsgemäß beispielsweise als re- flektiver oder transmissiver SLM ausgebildet sein. Ein

Beispiel für einen transmissiven SLM sind gestaffelt angeordnete LC-Displays (stacked LC-Displays, wie sie beispielsweise offenbart sind in der Publikation Huang et. al . , „The Light Field Stereoscope" , abrufbar unter http / /www . co pu tionalimagin . org/publications /1 ~~ light-field- stereoscope / . Auf diese Offenbarung wird Bezug genommen.

Bevorzugt weist das erfindungsgemäße System zusätzlich einen Blickrichtungssensor auf. Die Erfassung der

Blickrichtung kann insbesondere dann sinnvoll oder erforderlich sein, wenn von der Blickrichtung abhängige Fehlsichtigkeiten wie beispielsweise der Astigmatismus erfindungsgemäß korrigiert werden sollen. Somit kann erfindungsgemäß vorgesehen sein, dass die vom Blick ^¬ richtungssensor erfasste Blickrichtung des Benutzers in die Korrektur der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers einfließt. Ein weiterer Gegenstand der Erfindung ist ein Verfahren zum Generieren bzw. Darstellen von AR- Darstellungen unter Verwendung eines bzw. in einem erfindungsgemäßen System, mit den Schritten der Aufnahme von Lichtfelddaten der Umgebung, Generierung von VR- Lichtfelddaten, Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Reality) -Lichtfelddaten, Modifizieren der AR- Lichtfelddaten anhand ophthalmologischer Daten des Benutzers und Darstellung der modifizierten AR- Darstellung im HMD.

Wie bereits im Kontext des erfindungsgemäßen Systems beschrieben, ist es bevorzugt, dass das Modifizieren die Generierung der Schärfeebenen umfasst, die der sphärischen Fehlsichtigkeit des jeweiligen Auges des Benutzers entsprechen.

Weiter ist es bevorzugt, dass das Modifizieren unter Berücksichtigung der vom Blickrichtungssensor erfass- ten Blickrichtung des Benutzers erfolgt.

Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnung beschrieben. Darin zeigen:

Fig. 1: Schematisch als Explosionszeichnung ein HMD eines erfindungsgemäßen Systems;

Fig. 2: Schematisch ein erfindungsgemäßes System mit entfernt angeordneter Kamera.

In einem Gehäuse 1 sind zwei LC-Displays 2, 3 in einem Abstand voneinander angeordnet, der durch den Abstandshalter 4 bestimmt wird. Diese beiden Displays bilden gemeinsam einen SLM wie vorstehend beschrieben. Die Displays werden hinterleuchtet von einer Back ^¬ light-Einrichtung 5.

Die genannten Bauteile sind in dem geschlossenen Ge- häuse 1 angeordnet, das an der Vorderseite eine Öff ^¬ nung bzw. Aussparung 6 aufweist, die in etwa an die Kopfform eines Benutzers angepasst ist und dazu dient, ein vor den Augen eines Benutzers positioniertes HMD im Wesentlichen lichtdicht abzuschließen.

Der Blick des Benutzers auf das von den LC-Displays dargestellter Bild wird durch schematisch bei 7 angedeutete Linsen vermittelt. Je nach Ausführung des Displays sind Vorsatzlinsen nicht zwingend nötig, können aber wünschenswert sein, z.B. als UV-, Blaulicht- oder Kontrastfilter.

Eine physische Trennung der Darstellung für rechtes und linkes Auge kann abhängig vom verwendeten Display sinnvoll, aber u.U. nicht zwingend nötig sein.

Das HMD kann bei einer Ausführungsform der Erfindung eine fest damit verbundene (in der Zeichnung nicht dargestellte) Lichtfeldkamera aufweisen, die bei ^¬ spielsweise an der von den Linsen 7 abgewandten Seite des HMD angeordnet sein kann und durch die feste Ver ^¬ bindung mit dem HMD der Blickrichtung eines Benutzers automatisch folgt.

Bei einer anderen Ausführungsform der Erfindung (Fig. 2) kann die Kamera 9 räumlich getrennt angeordnet sein, vorzugsweise sind dann Einrichtungen vorgesehen, die über eine Datenverbindung 10, 11 dafür sorgen, dass sich diese räumlich entfernt angeordnete Kamera entsprechend den Kopfbewegungen des Benutzers des HMD bewegt und somit dessen (imaginärer) Blickrichtung folgt. Eine solche räumlich entfernt angeordnete Ka ^¬ mera kann beispielsweise dazu dienen, ein erfindungs ^¬ gemäßes System für Telepräsenzveranstaltungen nutzbar zu machen. In der Ausführungsform der Fig. 2 ist schematisch eine

Einrichtung zur Generierung von VR (Virtual Reality) - Lichtfelddaten als externer Computer 8 dargestellt, der über eine Datenverbindung 10 mit dem HMD verbunden ist. Gegebenenfalls kann dieser Computer 8 baulich mit dem HMD 1 verbunden bzw. darin integriert sein.