Verfahren und Vorrichtung zum Bereitstellen von Informationen durch ein Augmented- Reality-Gerät, Verfahren und Vorrichtung zum Bereitstellen von Informationen zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes, Verfahren und Vorrichtung zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes, computerlesbares Speichermedium mit

Instruktionen zur Durchführung der Verfahren

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen von Informationen durch ein Augmented-Reality-Gerät, ein Verfahren und eine Vorrichtung zum Bereitstellen von Informationen zur Steuerung einer Anzeige eines Augmented-Reality- Gerätes und ein Verfahren und eine Vorrichtung zur Steuerung einer Anzeige eines

Augmented-Reality-Gerätes. Die Erfindung betrifft weiterhin ein computerlesbares

Speichermedium mit Instruktionen zur Durchführung der Verfahren sowie ein Augmented- Reality-Gerät, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird. Die Erfindung betrifft zudem ein Kraftfahrzeug mit einem solchen Augmented-Reality-Gerät.

Bereits seit Jahren lässt sich eine zunehmende Verbreitung digitaler Technologien in der Gesellschaft feststellen. Es steht zu erwarten, dass diese Digitalisierung der Gesellschaft im Alltag deutlich zunehmen wird. Virtual- und Augmented-Reality-Technologien

und -Anwendungen stellen eine besondere Ausprägung der Digitalisierung dar. Bei

Augmented Reality (AR), auf Deutsch„erweiterte Realität“, handelt es sich um die

Anreicherung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Da sich in der Fachwelt im deutschsprachigen Raum der Ausdruck„Augmented Reality“ gegenüber dem Ausdruck „erweiterte Realität“ durchgesetzt hat, wird im Folgenden ersterer benutzt. Synonym wird auch der Ausdruck„Mixed Reality“ verwendet. Für die Darstellung von AR-Anzeigen können beispielsweise Augmented-Reality-Brillen genutzt werden. Eine Augmented-Reality-Brille wird wie eine normale Brille getragen, weist aber eine oder mehrere Projektionseinheiten oder Anzeigen auf, mit deren Hilfe dem Träger der Brille Informationen vor die Augen oder direkt auf die Netzhaut projiziert werden können. Die Brille ist dabei so gestaltet, dass der Träger auch die Umgebung wahrnehmen kann. Neue Technologien für Augmented-Reality- Brillen, beispielsweise Lichtfeldtechnologie, Fortschritte in der verwendeten Batterietechnik sowie der Einstieg großer Unternehmen in diese lassen eine steigende Akzeptanz dieser Geräte erwarten. Alternativ können AR-Anzeigen auch mittels Head-up-Displays (HUD) generiert werden, insbesondere im Automobilbereich. Bei einem Head-up Display eines Kraftfahrzeugs werden die Lichtstrahlen eines im Armaturenbrett verbauten Displays über mehrere Spiegel und Linsen gefaltet und über eine Projektionsfläche in das Auge des Fahrers gespiegelt, sodass dieser ein virtuelles Bild außerhalb des Fahrzeugs wahrnimmt. Als Projektionsfläche dient im Automobilbereich oftmals die Frontscheibe, deren gekrümmte Form bei der Darstellung berücksichtigt werden muss. Als Alternative wird zum Teil auch eine zusätzliche Scheibe aus Glas oder Kunststoff genutzt, die zwischen dem Fahrer und der Frontscheibe auf dem Armaturenbrett angeordnet ist.

Insgesamt ist absehbar, dass Augmented-Reality-Brillen, Augmented-Reality-Smartphones und Augmented-Reality-Head-up-Displays bei Endkunden zunehmend stärker im Einsatz sein werden. Vor diesem Hintergrund stellt sich die Frage, in welcher Weise mehrere Anwender gemeinsam eine erweiterte Realität erfahren können, wie sie z.B. eine

augmentierte Information gleichzeitig sehen können.

In diesem Zusammenhang beschreibt die US 2013/0135180 A1 ein System für die verteilte Zusammenarbeit mehrerer Nutzer. Ein aktiver Nutzer trägt eine Datenbrille, die mit einem zentralen Rechner verbunden ist. Der zentrale Rechner empfängt Umgebungsinformationen von der Datenbrille und generiert daraus ein Raummodell. Zudem empfängt der zentrale Rechner Informationen zu einem Objekt, an dem gearbeitet werden soll, sowie Eingaben des aktiven Nutzers sowie weiterer Nutzer. Unter Berücksichtigung der Eingaben der Nutzer wird ein virtuelles Abbild des Objektes in das Raummodell eingefügt und dem aktiven Nutzer angezeigt.

Die US 2014/0098131 A1 beschreibt ein Verfahren zur Nutzung von Augmentationen für Augmented-Reality-Darstellungen. Gemäß dem Verfahren werden Augmentationsdaten empfangen, die einer ersten Augmentation zugeordnet sind, die durch ein entfernt befindliches Augmented-Reality-Gerät für eine Augmented-Reality-Darstellung einer ersten tatsächlichen Situation genutzt wurde. Weiterhin wird eine zweite Augmentation im Rahmen einer Augmented-Reality-Darstellung einer zweiten tatsächlichen Situation genutzt. Die Anzeige der zweiten Augmentation hängt dabei zumindest teilweise von den empfangenen Augmentationsdaten ab. Schließlich werden an das entfernt befindliche Augmented-Reality- Gerät Informationen über die Verwendung oder Nicht-Verwendung der Augmentationsdaten übermittelt. Die US 2015/0178990 A1 beschreibt ein Verfahren zur Interaktion in einem Fahrzeug. Das Fahrzeug weist ein Head-up-Display für den Fahrer sowie ein einfaches Display für den Beifahrer auf. Als Reaktion auf einen Befehl des Fahrers wird ein Augmentationsobjekt basierend auf dem aktuellen Blickpunkt des Fahrers generiert und auf dem Display des Beifahrers dargestellt. Der Beifahrer kann mit dieser Darstellung interagieren. Als Reaktion auf eine solche Interaktion werden Augmentationsobjekte für das Head-up-Display erzeugt und dem Fahrer angezeigt.

Oftmals bleibt für einen Nutzer eines Augmented-Reality-Gerätes unklar, welche Objekte gerade durch Mitmenschen betrachtet werden. Der Nutzer kann beispielsweise nur erahnen, welches Objekt ein anderer Nutzer meint oder worauf er zeigt.

Es ist eine Aufgabe der Erfindung, Lösungen aufzuzeigen, die ein geteiltes Erleben der Umgebung durch eine Vielzahl von Anwendern ermöglichen.

Diese Aufgabe wird durch Verfahren mit den Merkmalen der Ansprüche 1 ,6 und 8, durch ein computerlesbares Speichermedium mit Instruktionen gemäß Anspruch 10 und durch Vorrichtungen mit den Merkmalen der Ansprüche 11 , 12 und 13 gelöst. Bevorzugte

Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Bereitstellen von Informationen durch ein Augmented-Reality-Gerät die Schritte:

- Bestimmen eines Blickpunktes eines Nutzers des Augmented-Reality-Gerätes; und

- Übermitteln von Informationen zumindest zum Blickpunkt des Nutzers an eine an das Augmented-Reality-Gerät angebundene Vorrichtung.

Entsprechend enthält ein computerlesbares Speichermedium Instruktionen, die bei

Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Bereitstellen von Informationen durch ein Augmented-Reality-Gerät veranlassen:

- Bestimmen eines Blickpunktes eines Nutzers des Augmented-Reality-Gerätes; und

- Übermitteln von Informationen zumindest zum Blickpunkt des Nutzers an eine an das Augmented-Reality-Gerät angebundene Vorrichtung.

Analog dazu weist eine Vorrichtung zum Bereitstellen von Informationen durch ein

Augmented-Reality-Gerät auf:

- ein Blickpunktbestimmungsmodul zum Bestimmen eines Blickpunktes eines Nutzers des Augmented-Reality-Gerätes; und - einen Ausgang zum Übermitteln von Informationen zumindest zum Blickpunkt des Nutzers an eine an das Augmented-Reality-Gerät angebundene Vorrichtung.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Bereitstellen von Informationen zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes eines ersten Nutzers die Schritte:

- Ermitteln eines Blickpunktes zumindest eines zweiten Nutzers; und

- Übermitteln von Informationen zum Blickpunkt des zweiten Nutzers an das Augmented- Reality-Gerät des ersten Nutzers.

Entsprechend enthält ein computerlesbares Speichermedium Instruktionen, die bei

Ausführung durch einen Computer den Computer zur Ausführung der folgende Schritte zum Bereitstellen von Informationen zur Steuerung einer Anzeige eines Augmented-Reality- Gerätes eines ersten Nutzers veranlassen:

- Ermitteln eines Blickpunktes zumindest eines zweiten Nutzers; und

- Übermitteln von Informationen zum Blickpunkt des zweiten Nutzers an das Augmented- Reality-Gerät des ersten Nutzers.

Analog dazu weist eine Vorrichtung zum Bereitstellen von Informationen zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes eines ersten Nutzers auf:

- ein Blickpunktermittlungsmodul zum Ermitteln eines Blickpunktes zumindest eines zweiten Nutzers; und

- einen Ausgang zum Übermitteln von Informationen zum Blickpunkt des zweiten Nutzers an das Augmented-Reality-Gerät des ersten Nutzers.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Verfahren zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes eines ersten Nutzers die Schritte:

- Empfangen von Informationen zu einem Blickpunkt zumindest eines zweiten Nutzers; und

- Einblenden des Blickpunktes des zweiten Nutzers in der Anzeige des Augmented-Reality- Gerätes des ersten Nutzers.

Entsprechend enthält ein computerlesbares Speichermedium Instruktionen, die bei

Ausführung durch einen Computer den Computer zur Ausführung der folgende Schritte zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes eines ersten Nutzers

veranlassen:

- Empfangen von Informationen zu einem Blickpunkt zumindest eines zweiten Nutzers; und - Einblenden des Blickpunktes des zweiten Nutzers in der Anzeige des Augmented-Reality- Gerätes des ersten Nutzers.

Analog dazu weist eine Vorrichtung zur Steuerung einer Anzeige eines Augmented-Reality- Gerätes eines ersten Nutzers auf:

- einen Eingang zum Empfangen von Informationen zu einem Blickpunkt zumindest eines zweiten Nutzers; und

- einen Grafikgenerator zum Einblenden des Blickpunktes des zweiten Nutzers in der Anzeige des Augmented-Reality-Gerätes des ersten Nutzers.

Der oben benutzte Begriff Computer ist breit zu verstehen. Insbesondere umfasst er auch Steuergeräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.

Die erfindungsgemäßen Lösungen basieren auf dem Ansatz, dass die Fokuspunkte bzw. Blickpunkte von Nutzern geteilt werden. Dabei können die Nutzer einerseits Anwender eines Augmented-Reality-Gerätes sein, wodurch die Erfassung eines Blickpunktes erleichtert wird. Andererseits kann die Ermittlung des Blickpunktes auch bei Nutzern erfolgen, die kein Augmented-Reality-Gerät benutzen, sofern mittels einer Blickbeobachtung ihre jeweiligen Blickpunkte ermittelt werden können. Die geteilten Informationen können dann als Grundlage für eine Reihe von Anwendungen dienen und ermöglichen die Verwirklichung einer geteilten erweiterten Realität.

Gemäß einem Aspekt der Erfindung wird ein Objekt im Sichtfeld des Nutzers bestimmt. Informationen zum Objekt werden dann an die an das Augmented-Reality-Gerät

angebundene Vorrichtung übermittelt. Durch die kontinuierlich zunehmende verfügbare Rechenleistung in Kraftfahrzeugen oder Smartphones können immer komplexere Ansätze zur Objekterkennung umgesetzt werden. Die Information über Objekte, welche mittels der Objekterkennung erkannt und klassifiziert werden, kann mit der Information über die

Blickrichtung des Anwenders kombiniert werden. Durch diese Fusion lassen sich auch dynamische Objekte, wie zum Beispiel andere Verkehrsteilnehmer, eindeutig identifizieren und gegebenenfalls durch digitale Informationen anreichern.

Gemäß einem Aspekt der Erfindung wird durch Erfassen einer Kopfausrichtung oder mittels Eye-Tracking eine Blickrichtung erfasst. Der Blickpunkt wird dann aus der Blickrichtung bestimmt. Für das Erfassen einer Blickrichtung existieren bereits zahlreiche Lösungen, so dass die Bestimmung des Blickpunktes kostengünstig umgesetzt werden kann.

Beispielsweise können in Kraftfahrzeugen Fahrerbeobachtungskameras oder Innenraumkameras zur Überwachung der Kopfausrichtung genutzt werden. Auch aktuell verfügbare Datenbrillen stellen bereits Sensortechnologie zur Berechnung der Kopfposition und Kopfausrichtung eines Anwenders im Raum bereit. Die Kopfausrichtung entspricht dann zumindest annähernd der Blickrichtung. Als Blickpunkt kann dann z.B. der im Zentrum entlang der Sehachse befindliche Punkt oder ein Schnittpunkt der Sichtachse mit einem entlang der Sichtachse getroffenen Objekt bestimmt werden.

Gemäß einem Aspekt der Erfindung ist die angebundene Vorrichtung ein über ein Netzwerk angebundenes Backend. Die Übermittlung der Informationen an ein Backend ermöglicht eine vielseitige Nutzung der Informationen, beispielsweise für eine unternehmensspezifische Analyse oder für einen nutzerübergreifenden Informationsaustausch. Abhängig vom

Anwendungsfall ist es nicht zwingend erforderlich, den Blickpunkt aller relevanten Nutzer jeweils für alle Anwender bereitzustellen. Es kann auch wünschenswert sein, den Blickpunkt jeweils nur zu bestimmen und zu Zwecken des Mobilitätsanbieters auszuwerten, ihn jedoch nicht den einzelnen Anwendern mitzuteilen.

Gemäß einem Aspekt der Erfindung erfolgt im Backend eine zeitbezogene Auswertung der übermittelten Informationen. Dabei kann beispielsweise der Zeitpunkt der Erfassung den Blickpunktes ausgewertet werden. Diese Art der zeitbezogenen Auswertung erlaubt es beispielsweise, festzustellen, wie sich das Interesse von Nutzern an bestimmten Objekten im Laufe der Zeit entwickelt. Ebenso kann auf diese Weise erfasst werden, ob mehrere Nutzer zur gleichen Zeit oder zumindest innerhalb eines bestimmten Zeitraums ihren Blick auf die gleichen Stelle richten. Alternativ oder zusätzlich kann auch der Zeitraum ausgewertet werden, über den der Blick eines Nutzers in einem bestimmten Bereich verharrt.

Überschreitet dieser Zeitraum eine definierte Mindestdauer, kann dies als Auslöser für weitergehende Schritte genutzt werden.

Gemäß einem Aspekt der Erfindung unterliegt das Übermitteln von Informationen an ein Augmented-Reality-Gerät oder an die an ein Augmented-Reality-Gerät angebundene Vorrichtung Privatsphäreneinstellungen der Nutzer. Vom Nutzer beeinflussbare

Privatsphäreneinstellungen erlauben es, den Datenschutz zu gewährleisten bzw. dem Nutzer die Möglichkeit zu geben, die Verteilung der erfassten Informationen zu kontrollieren.

Beispielsweise kann der Nutzer festlegen, ob und welche Informationen erfasst bzw.

übermittelt werden und in welcher Form und in welchem Umfang diese ausgewertet oder an andere Nutzer weitergegeben werden. Gemäß einem Aspekt der Erfindung wird der Blickpunkt des zweiten Nutzers in der Anzeige des Augmented-Reality-Gerätes des ersten Nutzers salient dargestellt. Durch die saliente Darstellung ist für einen Nutzer sofort ersichtlich, wohin ein anderer Nutzer schaut, auch wenn sich der Blickpunkt lediglich in dessem äußeren Sichtbereich befindet. Alternativ oder zusätzlich dazu werden Elemente in der Anzeige des Augmented-Reality-Gerätes des ersten Nutzers gekennzeichnet, wenn sie auch dem zweiten Nutzer angezeigt werden. Durch diese Kennzeichnung von Elementen in der Anzeige wird der Nutzer deutlich darauf hingewiesen, dass Informationen zu seinem Blickpunkt geteilt werden.

Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Augmented-Reality-Gerät eingesetzt, beispielsweise in einer

Augmented-Reality-Brille, in einem Augmented-Reality-Smartphone oder in einem

Augmented-Reality-Head-up-Display. Ein solches Augmented-Reality-Gerät kann beispielsweise in einem Fahrzeug, insbesondere einem Kraftfahrzeug, eingesetzt werden. Die Nutzung ist aber grundsätzlich bei jeglicher Form der Mobilität möglich, auch bei einer nicht motorisierten Fortbewegung. Bei der motorisierten Fortbewegung ist die Nutzung nicht auf den Fahrer beschränkt, auch Beifahrer, Fahrgäste oder sonstige nicht direkt in die Fahraufgabe eingebundene Personen können Nutzer eines entsprechenden Augmented- Reality-Gerätes sein.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

Fig. 1 zeigt schematisch eine Augmented-Reality-Brille;

Fig. 2 zeigt schematisch einen allgemeinen Aufbau einer Head-up-Display-Vorrichtung für ein Kraftfahrzeug;

Fig. 3 zeigt schematisch ein Verfahren zum Bereitstellen von Informationen durch ein

Augmented-Reality-Gerät;

Fig. 4 zeigt eine erste Ausführungsform einer Vorrichtung zum Bereitstellen von

Informationen durch ein Augmented-Reality-Gerät;

Fig. 5 zeigt schematisch ein Verfahren zum Bereitstellen von Informationen zur

Steuerung einer Anzeige eines Augmented-Reality-Gerätes; Fig. 6 zeigt eine erste Ausführungsform einer Vorrichtung zum Bereitstellen von

Informationen zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes;

Fig. 7 zeigt schematisch ein Verfahren zur Steuerung einer Anzeige eines Augmented- Reality-Gerätes eines ersten Nutzers;

Fig. 8 zeigt eine erste Ausführungsform einer Vorrichtung zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes eines ersten Nutzers;

Fig. 9 zeigt eine zweite Ausführungsform der Vorrichtungen aus Fig. 4, Fig. 6 und

Fig. 8;

Fig. 10 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist;

Fig. 11 zeigt schematisch einen Systemdiagramm der erfindungsgemäßen Lösung; und

Fig. 12 zeigt schematisch ein Anwendungsbeispiel der erfindungsgemäßen Lösung.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.

Fig. 1 zeigt schematisch eine Augmented-Reality-Brille 1 als Beispiel für eine Augmented- Reality-Display-Vorrichtung. Die Augmented-Reality-Brille 1 hat eine Kamera 2 zum Erfassen von Umgebungsdaten einer Umgebung der Augmented-Reality-Brille 1. Mittels einer Schnittstelle 3 besteht eine Verbindung zu einer externen Posenbestimmungsvorrichtung 4 zum Bestimmen einer Pose der Augmented-Reality-Brille 1 anhand der Umgebungsdaten. Die Posenbestimmungsvorrichtung 4 kann dazu beispielsweise Kanten oder markante Punkte in den Bilddaten detektieren und auswerten. Die Posenbestimmungsvorrichtung 4 kann natürlich auch Bestandteil der Augmented-Reality-Brille 1 sein. Mittels einer

Grafikeinheit 5 kann die Anzeige der Augmented-Reality-Brille 1 entsprechend der ermittelten Pose angepasst werden. Dazu können die Posenbestimmungsvorrichtung 4 und die Grafikeinheit 5 miteinander Daten austauschen. Die Grafikeinheit 5 kann, wie im Beispiel dargestellt, Bestandteil der Augmented-Reality-Brille 1 sein oder über die Schnittstelle 3 mit der Augmented-Reality-Brille 1 verbunden sein. Die von der Grafikeinheit 5 generierte Anzeige wird durch eine Projektionseinheit 6 eingeblendet. Im Beispiel in Fig. 1 wird ein monokulares Display genutzt, d.h. nur vor einem Auge des Nutzers ist ein Display angeordnet. Die vorliegend beschriebene Lösung kann selbstverständlich auch mit einer Augmented-Reality-Brille 1 mit einem binokularen Display, bei dem pro Auge ein Display genutzt wird, oder mit einem binokularen Display, bei dem für beide Augen ein gemeinsames Display genutzt wird, realisiert werden.

Fig. 2 zeigt schematisch ein Head-up-Display 10 als Beispiel für eine Augmented-Reality- Display-Vorrichtung für ein Kraftfahrzeug 90. Mit Hilfe des Head-up-Displays 10 können Inhalte auf einer Projektionsfläche 13 des Kraftfahrzeugs 90 angezeigt werden,

beispielsweise auf der Frontscheibe oder auf einer zusätzlichen Scheibe aus Glas oder Kunststoff, die zwischen dem Fahrer und der Frontscheibe auf dem Armaturenbrett angeordnet ist. Die dargestellten Inhalte werden durch eine bildgebende Einheit 11 erzeugt und mit Hilfe eines optischen Moduls 12 auf die Projektionsfläche 13 projiziert.

Typischerweise erfolgt die Projektion dabei in einen Bereich der Frontscheibe oberhalb des Lenkrades. Die bildgebende Einheit 1 1 kann beispielsweise ein LCD-TFT-Display sein. Das Head-up-Display 10 ist in der Regel in einem Armaturenbrett des Kraftfahrzeugs 90 verbaut.

Fig. 3 zeigt schematisch ein Verfahren zum Bereitstellen von Informationen durch ein Augmented-Reality-Gerät. Erfindungsgemäß wird ein Blickpunkt eines Nutzers des

Augmented-Reality-Gerätes bestimmt 21. Dazu kann beispielsweise zunächst durch

Erfassen einer Kopfausrichtung oder mittels Eye-Tracking eine Blickrichtung des Nutzers erfasst werden 20. Der Blickpunkt kann dann aus der Blickrichtung bestimmt werden.

Schließlich werden Informationen zum Blickpunkt des Nutzers an eine an das Augmented- Reality-Gerät angebundene Vorrichtung übermittelt 23. Die angebundene Vorrichtung kann beispielsweise ein über ein Netzwerk angebundenes Backend sein. Zusätzlich kann ein Objekt im Sichtfeld des Nutzers bestimmt werden 22. Informationen zum Objekt können dann ebenfalls an die angebundene Vorrichtung übermittelt werden. Das Übermitteln 23 von Informationen kann dabei Privatsphäreneinstellungen des Nutzers unterliegen.

Fig. 4 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 30 zum Bereitstellen von Informationen durch ein Augmented-Reality-Gerät 1 ,

10. Die Vorrichtung 30 hat einen Eingang 31 , über den beispielsweise Daten zu einer Blickrichtung eines Nutzers des Augmented-Reality-Gerätes 1 , 10 empfangen werden können. Die Vorrichtung 30 hat zudem ein Blickpunktbestimmungsmodul 32 zum Bestimmen eines Blickpunktes des Nutzers. Der Blickpunkt kann beispielsweise aus der Blickrichtung bestimmt werden. Über einen Ausgang 36 der Vorrichtung 30 werden Informationen zumindest zum Blickpunkt des Nutzers an eine angebundene Vorrichtung ausgegeben. Die angebundene Vorrichtung kann beispielsweise ein über ein Netzwerk angebundenes Backend 100 oder ein Augmented-Reality-Gerät eines weiteren Nutzers sein. Das

Übermitteln von Informationen kann dabei Privatsphäreneinstellungen des Nutzers unterliegen, die von einem Datenschutzmodul 33 umgesetzt werden.

Das Blickpunktbestimmungsmodul 32 und das Datenschutzmodul 33 können von einer Kontrolleinheit 34 gesteuert werden. Über eine Benutzerschnittstelle 37 können

gegebenenfalls Einstellungen des Blickpunktbestimmungsmoduls 32, des

Datenschutzmoduls 33 oder der Kontrolleinheit 34 geändert werden. Die in der Vorrichtung 30 anfallenden Daten können bei Bedarf in einem Speicher 35 der Vorrichtung 30 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 30. Das Blickpunktbestimmungsmodul 32, das

Datenschutzmodul 33 sowie die Kontrolleinheit 34 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 31 und der Ausgang 36 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein. Im beschriebenen Beispiel ist die Vorrichtung 30 eine eigenständige Komponente. Sie kann aber ebenso in der Augmented-Reality- Display-Vorrichtung 1 , 10 oder in einem Steuergerät der Augmented-Reality-Display- Vorrichtung 1 , 10 integriert sein.

Fig. 5 zeigt schematisch ein Verfahren zum Bereitstellen von Informationen zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes eines ersten Nutzers. Erfindungsgemäß wird ein Blickpunkt zumindest eines zweiten Nutzers ermittelt 41. Dazu können

beispielsweise Daten zu einer Blickrichtung des zweiten Nutzers empfangen werden 40. Der Blickpunkt kann dann aus der Blickrichtung bestimmt werden. Anschließend werden

Informationen zum Blickpunkt des zweiten Nutzers an das Augmented-Reality-Gerät des ersten Nutzers übermittelt 42. Das Übermitteln 42 von Informationen kann dabei

Privatsphäreneinstellungen des zweiten Nutzers unterliegen. Zur Umsetzung des Verfahrens muss der zweite Nutzer nicht notwendigerweise ebenfalls ein Augmented-Reality-Gerät nutzen. Fig. 6 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 50 zum Bereitstellen von Informationen zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes 1 , 10 eines ersten Nutzers. Die Vorrichtung 50 hat einen Eingang 51 , über den beispielsweise Daten zu einer Blickrichtung einen zweiten Nutzers empfangen werden können. Die Vorrichtung 50 hat zudem ein Blickpunktermittlungsmodul

52 zum Bestimmen eines Blickpunktes des zweiten Nutzers. Der Blickpunkt kann

beispielsweise aus der Blickrichtung bestimmt werden. Über einen Ausgang 56 der

Vorrichtung 50 werden Informationen zumindest zum Blickpunkt des zweiten Nutzers an das Augmented-Reality-Gerät 1 , 10 des ersten Nutzers übermittelt. Das Übermitteln von

Informationen kann dabei Privatsphäreneinstellungen des zweiten Nutzers unterliegen, die von einem Datenschutzmodul 53 umgesetzt werden.

Das Blickpunktermittlungsmodul 52 und das Datenschutzmodul 53 können von einer Kontrolleinheit 54 gesteuert werden. Über eine Benutzerschnittstelle 57 können

gegebenenfalls Einstellungen des Blickpunktermittlungsmoduls 52, des Datenschutzmoduls

53 oder der Kontrolleinheit 54 geändert werden. Die in der Vorrichtung 50 anfallenden Daten können bei Bedarf in einem Speicher 55 der Vorrichtung 50 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 50. Das Blickpunktermittlungsmodul 52, das Datenschutzmodul 53 sowie die Kontrolleinheit

54 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 51 und der Ausgang 56 können als getrennte

Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.

Fig. 7 zeigt schematisch ein Verfahren zur Steuerung einer Anzeige eines Augmented- Reality-Gerätes eines ersten Nutzers. In einem ersten Schritt werden Informationen zu einem Blickpunkt zumindest eines zweiten Nutzers empfangen 60. Aus diesen Informationen wird der Blickpunkt des zweiten Nutzers bestimmt 61 und dann in der Anzeige des

Augmented-Reality-Gerätes des ersten Nutzers eingeblendet 62. Der Blickpunkt des zweiten Nutzers kann dabei in der Anzeige des Augmented-Reality-Gerätes des ersten Nutzers salient dargestellt werden. Ebenso können Elemente in der Anzeige des Augmented-Reality- Gerätes des ersten Nutzers gekennzeichnet werden, wenn sie auch dem zweiten Nutzer angezeigt werden.

Fig. 8 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 70 zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes 1 , 10 eines ersten Nutzers. Die Vorrichtung 70 hat einen Eingang 71 , über den Informationen zu einem Blickpunkt zumindest eines zweiten Nutzers empfangen werden können. Die Vorrichtung 70 hat zudem einen Grafikgenerator 72 zum Einblenden des Blickpunktes des zweiten Nutzers in der Anzeige des Augmented-Reality-Gerätes 1 , 10 des ersten Nutzers. Der Blickpunkt des zweiten Nutzers kann dabei in der Anzeige des Augmented-Reality-Gerätes des ersten Nutzers salient dargestellt werden. Ebenso können Elemente in der Anzeige des

Augmented-Reality-Gerätes des ersten Nutzers gekennzeichnet werden, wenn sie auch dem zweiten Nutzer angezeigt werden. Die vom Grafikgenerator 72 generierte Anzeige wird über einen Ausgang 75 der Vorrichtung 70 an das Augmented-Reality-Gerät 1 , 10 des ersten Nutzers ausgegeben. Alternativ kann auch lediglich eine Anweisung ausgegeben werden, eine entsprechende Anzeige zu generieren.

Der Grafikgenerator 72 kann von einer Kontrolleinheit 73 gesteuert werden. Über eine Benutzerschnittstelle 76 können gegebenenfalls Einstellungen des Grafikgenerators 72 oder der Kontrolleinheit 73 geändert werden. Die in der Vorrichtung 70 anfallenden Daten können bei Bedarf in einem Speicher 74 der Vorrichtung 70 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 70. Der Grafikgenerator 72 sowie die Kontrolleinheit 73 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 71 und der Ausgang 75 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein. Im beschriebenen Beispiel ist die Vorrichtung 70 eine eigenständige Komponente. Sie kann aber ebenso in der Augmented-Reality- Display-Vorrichtung 1 , 10 des ersten Nutzers oder in einem Steuergerät der Augmented- Reality-Display-Vorrichtung 1 , 10 integriert sein.

Fig. 9 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform der Vorrichtungen aus Fig. 4, Fig. 6 und Fig. 8. Die Vorrichtung 80 weist einen Prozessor 82 und einen Speicher 81 auf. Beispielsweise handelt es sich bei der Vorrichtung 80 um einen Computer oder ein Steuergerät. Im Speicher 81 sind Instruktionen abgelegt, die die

Vorrichtung 80 bei Ausführung durch den Prozessor 82 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 81 abgelegten

Instruktionen verkörpern somit ein durch den Prozessor 82 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 80 hat einen Eingang 83 zum Empfangen von Informationen. Vom Prozessor 82 generierte Daten werden über einen Ausgang 84 bereitgestellt. Darüber hinaus können sie im Speicher 81 abgelegt werden. Der Eingang 83 und der Ausgang 84 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.

Der Prozessor 82 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.

Die Speicher 35, 55, 74, 81 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.

Fig. 10 stellt schematisch ein Kraftfahrzeug 90 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Das Kraftfahrzeug 90 weist eine Augmented-Reality-Display-Vorrichtung 1 , 10 mit einem zugehörigen Steuergerät 91 auf. Weiterhin weist das Kraftfahrzeug 90 eine Vorrichtung 30 zum Bereitstellen von Informationen durch das Augmented-Reality-Gerät 1 ,

10 sowie eine Vorrichtung 70 zur Steuerung einer Anzeige des Augmented-Reality-Gerätes 1 , 10 auf. Die Vorrichtungen 30, 70 können natürlich auch in die Augmented-Reality-Display- Vorrichtung 1 , 10 oder in das Steuergerät 91 der Augmented-Reality-Display-Vorrichtung 1 , 10 integriert sein. Weitere Komponenten des Kraftfahrzeugs 90 sind eine Kamera 92 zur Innenraumüberwachung und ein Sensorsystem 93 zur Umgebungserfassung, ein

Navigationssystem 94 sowie eine Datenübertragungseinheit 95. Mittels der

Datenübertragungseinheit 95 kann eine Verbindung zu einem Backend aufgebaut werden. Zur Speicherung von Daten ist ein Speicher 96 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs 90 erfolgt über ein Netzwerk 97.

Nachfolgend sollen eine bevorzugte Ausführungsform der Erfindung anhand der Figuren 11 und 12 beschrieben werden.

Fig. 11 zeigt schematisch einen Systemdiagramm der erfindungsgemäßen Lösung.

Beispielhaft sind drei Nutzer 101 , 102, 107 über ein Netzwerk 106 an ein Backend 100 angebunden. Sowohl der erst Nutzer 101 als auch der zweite Nutzer 102 verwenden ein Augmented-Reality-Gerät 1 , 10. Dementsprechend sind auf Seiten dieser beiden Nutzer 101 , 102 jeweils sowohl eine Vorrichtung 30 zum Bereitstellen von Informationen durch das Augmented-Reality-Gerät 1 , 10 als auch eine Vorrichtung 70 zur Steuerung der Anzeige des Augmented-Reality-Gerätes 1 , 10 vorgesehen. Die Vorrichtungen 30 zum Bereitstellen von Informationen erfassen Daten zur Blickrichtung oder zum Blickpunkt der beiden Nutzer 101 , 102 sowie gegebenenfalls Daten zu Objekten im Sichtfeld der Nutzer 101 , 102 und übermitteln die erfassten Daten über das Netzwerk 106 an das Backend 100. Der weitere Nutzer 107 benutzt selbst kein Augmented-Reality-Gerät, allerdings werden durch eine geeignete Sensorik auch Informationen zu seiner Blickrichtung gesammelt und über das Netzwerk 106 an das Backend 100 übermittelt. Im Backend 100 erfolgt eine Auswertung und Verarbeitung der empfangenen Informationen. Mittels einer Vorrichtung 50 zum Bereitstellen von Informationen zur Steuerung der Anzeigen der Augmented-Reality-Geräte 1 , 10 werden Informationen über die Blickpunkte der verschiedenen Nutzer 101 , 102, 107 an die relevanten Nutzer 101 , 102 übermittelt. Die Vorrichtungen 70 zur Steuerung der Anzeige der Augmented-Reality-Geräte 1 , 10 sorgen dann dafür, dass die Blickpunkte der verschiedenen Nutzer 101 , 102, 107 in den Anzeigen der Augmented-Reality-Geräte 1 , 10 eingeblendet werden.

Fig. 12 zeigt schematisch ein Anwendungsbeispiel der erfindungsgemäßen Lösung. In einem Kraftfahrzeug 90 befinden sich ein erster Nutzer 101 und ein zweiter Nutzer 102. Beide Nutzer verwenden eine Augmented-Reality-Brille 1. Vor dem Kraftfahrzeug 90, im Sichtfeld der beiden Nutzer 101 , 102, befinden sich zwei Objekte 105. Im Beispiel sind dies ein Fußgänger sowie ein weiteres Kraftfahrzeug. Der Blickpunkt 103 des ersten Nutzers 103, dem Fahrer des Kraftfahrzeugs 90, liegt auf dem vorausfahrenden Kraftfahrzeug. Der Blickpunkt 104 des zweiten Nutzers 102 liegt hingegen auf dem Fußgänger.

Im Kraftfahrzeug 90 erfolgt eine Bestimmung der Blickpunkte 103, 104 der beiden Nutzer 101 , 102. Dazu können beispielsweise im Kraftfahrzeug 90 verbaute Beobachtungskameras (nicht dargestellt) genutzt werden, mit denen die Kopfausrichtung der Fahrzeuginsassen erfasst wird. Diese entspricht zumindest annähernd der jeweiligen Blickrichtung. Alternativ oder zusätzlich kann auch eine Sensorik zur Posenbestimmung der Augmented-Reality- Brillen 1 für diesen Zweck genutzt werden. Diese Sensorik kann Bestandteil der Augmented- Reality-Brillen 1 oder auch im Kraftfahrzeug 90 verbaut sein. Die jeweiligen aus der

Blickrichtung ermittelten Blickpunkte werden im lokalen Netzwerk an die angeschlossenen Augmented-Reality-Geräte weitergegeben. Im Beispiel sind dies die Augmented-Reality- Brillen 1 der Fahrzeuginsassen. Jedes der angeschlossenen Augmented-Reality-Geräte empfängt diese Information und blendet die jeweiligen Blickpunkte lagerichtig in das Sichtfeld des Nutzers 101 , 102 ein. Beispielsweise bekommt das vom Blick des jeweils anderen Nutzers 101 , 102 getroffene Objekt 105 ein Highlight. Optionen dafür sind z.B. eine farbliche Hervorhebung mittels Farbton, Sättigung, Helligkeit, usw., eine direkte Anzeige des

Blickpunktes 103,104 auf der Oberfläche des getroffenen Objektes 105, eine an das Objekt 105 angrenzende Markierung oder eine Anzeige eines Texthinweises bzw. einer Annotation. Je nach Anwendungsfall ist es nicht zwingend erforderlich, den Blickpunkt aller an das lokale Netzwerk angebundenen Nutzer jeweils für alle Anwender darzustellen. Es kann auch wünschenswert sein, den Blickpunkt jeweils nur zu bestimmen und zu Zwecken des

Mobilitätsanbieters auszuwerten, ihn dabei jedoch nicht den einzelnen Anwendern mitzuteilen. Hierbei kann durch die Art der Darstellung zwischen Elementen unterschieden werden, welche für mehrere Anwender sichtbar sind, und Elementen, welche nur für einen Anwender sichtbar sind.

Anstelle der Beschränkung auf ein lokales Netzwerk kann auch eine Backend-Funktionalität zum Teilen der jeweiligen Blickrichtungen oder Blickpunkte genutzt werden. Die Anwender können dabei vorzugsweise in ihrer jeweiligen Augmented-Reality-Anwendung in den Einstellungen zu Privatsphäre bestimmen, ob sie ihren Blickpunkt teilen möchten oder nicht. Stimmen sie der Weitergabe zu, übermittelt das zugehörige Augmented-Reality-Gerät fortlaufend die Blickrichtung oder Blickpunkt an das Backend. Dieses wertet die

empfangenen Informationen aus oder teilt den aktuellen Blickpunkt den berechtigten

Augmented-Reality-Geräten in der Nähe des Anwenders mit. Bis zu welcher Entfernung ein Gerät als„in der Nähe“ gilt oder welche Geräte„berechtigt“ sind, kann vorzugsweise durch die Anwender individuell geregelt werden.

Die Auswertung der Blickpunkte im Backend ermöglicht zahlreiche Anwendungen. Während der Fahrt mit einem (autonomen) Taxi können die Blickpunkte anderer Fahrgäste angezeigt werden. Darauf kann ein Spiel aufbauen, welches nur durch gleichzeitiges fokussieren bzw. Ausrichten des Blickes auf denselben Punkt gewonnen werden kann. Der Punkt kann beispielsweise ein bewegliches Objekt sein. Bei einer anderen Anwendung wird erfasst, ob ein Objekt von einer Person oder mehreren Personen betrachtet wird. Schaut ein Betrachter allein auf das Objekt, z.B. eine Sehenswürdigkeit, werden nur ihn allein betreffende Details angezeigt. Schauen zwei oder mehr Betrachter auf das Objekt, werden hingegen Vorschläge für einen gemeinsamen Besuch präsentiert. Entsprechend einer anderen Anwendung wird beim Blick eines Anwenders auf ein (leeres, nicht bestelltes) Taxi jeweils angezeigt, wie viele Personen sich aus dem nahen Umfeld noch für dieses Fahrzeug interessieren.

Die Auswertung der empfangenen Informationen im Backend kann eine zeitliche

Komponente umfassen. Verharrt beispielweise ein Blick in einem bestimmten Bereich mindestens für einen definierten Zeitraum, kann dies im Backend gespeichert werden. Diese Information kann unter anderem für unternehmensspezifische Analysen genutzt werden, z.B. um festzustellen, woran ein Anwender Interesse hat. Die Interessen eines Anwenders sind insbesondere für Werbezwecke relevant. Die Information kann auch als Eingabewert für Augmented-Reality-Anwendungen genutzt werden. Beispielsweise kann dem Anwender mitgeteilt werden, dass am Vortag eine bestimmte Anzahl von Personen ein bestimmtes Objekt betrachtet haben. Ebenso können beim Blick auf eine Sehenswürdigkeit die von anderen Personen meistbetrachteten Stellen eines definierten vergangenen Zeitraums markiert werden.

Bezugszeichenliste

Augmented-Reality-Brille

Kamera

Schnittstelle

Posenbestimmungsvorrichtung

Grafikeinheit

Projektionseinheit

Head-up-Display

Bildgebende Einheit

Optisches Modul

Projektionsfläche

Bestimmen einer Blickrichtung

Bestimmen eines Blickpunktes

Bestimmen eines Objektes im Sichtfeld

Übermitteln von Informationen an angebundene Vorrichtung

Vorrichtung

Eingang

Blickpunktbestimmungsmodul

Datenschutzmodul

Kontrolleinheit

Speicher

Ausgang

Benutzerschnittstelle

Empfangen von Daten zu einer Blickrichtung eines zweiten Nutzers Bestimmen eines Blickpunktes des zweiten Nutzers

Übermitteln von Informationen an ein Augmented-Reality-Gerät eines ersten

Nutzers

Vorrichtung

Eingang

Blickpunktermittlungsmodul

Datenschutzmodul

Kontrolleinheit

Speicher

Ausgang

Benutzerschnittstelle

Empfangen von Informationen zu einem Blickpunkt eines zweiten Nutzers Bestimmen des Blickpunktes des zweiten Nutzers Einblenden des Blickpunktes des zweiten Nutzers Vorrichtung

Eingang

Grafikgenerator

Kontrolleinheit

Speicher

Ausgang

Benutzerschnittstelle

Vorrichtung

Speicher

Prozessor

Eingang

Ausgang

Kraftfahrzeug

Steuergerät der Augmented-Reality-Display-Vorrichtung Kamera

Sensorsystem

Navigationssystem

Datenübertragungseinheit

Speicher

Netzwerk

Backend

Erster Nutzer

Zweiter Nutzer

Blickpunkt des ersten Nutzers

Blickpunkt des zweiten Nutzers

Objekt

Netzwerk

Weiterer Nutzer