Verfahren und Vorrichtung zum Betreiben eines Anzeiqesvstems mit einer

Datenbrille

Technisches Gebiet

Die Erfindung betrifft Anzeigesysteme für Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug.

Technischer Hintergrund

Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen entsprechen Reflexionsflächen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen und können halbtransparent ausgebildet sein, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann. Darüber hinaus sind auch Datenbrillen bekannt, die eine nicht-transparente Anzeige umfassen.

Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass die Information einem bestimmten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Information in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin ist es wünschenswert, die Information so darzustellen, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Information ergänzt wurde.

Um die Information entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Pose der Datenbrille, d.h. die 3D-Position als auch die SD- Ausrichtung der Datenbrille, in Bezug zum Objekt zu kennen. Zur Bestimmung der Pose der Datenbrille kann in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille können basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.

So ist aus der Druckschrift DE 10 2014 206 623 A1 eine Vorrichtung zum Bestimmen der Pose einer Datenbrille bekannt, die eine Anzeige und eine Kamera umfasst. Die Vorrichtung ist ausgebildet, um Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera zu erstellen, die Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera zu erkennen, ein Merkmal in der erkannten Abbildung des Bereiches zu erkennen und die Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen zu bestimmen.

Die für die Posenerkennung genutzte Kamera weist in der Regel eine einstellbare Blendenöffnung auf, die sich an eine Helligkeit anpasst. Herrschen jedoch in der Umgebung der Datenbrille verschiedene Helligkeiten, so kann unter Umständen der Fahrzeuginnenraum nicht wahrgenommen werden. Beispielsweise kann bei einem dunklen Fahrzeuginnenraum und einer hellen Fahrzeugumgebung sich die Blendenöffnung verengen und auf die Helligkeit der Fahrzeugumgebung einstellen, so dass Strukturen des Fahrzeuginnenraums durch die Kamera nicht mehr detektierbar unterschieden werden können.

Für das Tracking, d.h. die Posenerkennung mit Hilfe einer Kamera in der Datenbrille, ist jedoch die Bildinformation über die Fahrzeugumgebung irrelevant, da lediglich Bildinformationen des Fahrzeuginnenraums des Fahrzeugs für die Posenerkennung verwendet werden. Daher muss die Blendenöffnung der für das Tracking benötigten Kamera an der Datenbrille entsprechend an die Helligkeit der Umgebung angepasst werden. Jedoch führt dies dazu, dass gerade bei schwierigen oder wechselnden Lichtverhältnissen bei heller Umgebung und dunklem Fahrzeuginnenraum sich die Blendenöffnung falsch einstellt und somit das Tracking erschwert.

Es ist daher Aufgabe der vorliegenden Erfindung, ein Anzeigesystem mit einer Datenbrille zur Verfügung zu stellen, bei der das Tracking, d.h. die kamerabasierte Posenerkennung der Datenbrille, zuverlässiger und auch bei schwierigen Lichtverhältnissen durchführbar ist.

Offenbarung der Erfindung

Diese Aufgabe wird durch das Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille gemäß Anspruch 1 sowie durch die Datenbrille gemäß dem nebengeordneten Anspruch gelöst.

Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.

Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten: - Übermitteln einer Helligkeitsinformation an eine Datenbrille, insbesondere von einem Fahrerassistenzsystem;

- Anpassen einer Blendenöffnung und/oder einer Belichtungszeit einer Datenbrillenkamera, die für eine Posenerkennung der Datenbrille genutzt wird, abhängig von der übermittelten Helligkeitsinformation.

Eine Idee des obigen Verfahrens besteht darin, Helligkeitsinformationen von einem Fahrerassistenzsystem in dem Kraftfahrzeug an die Datenbrille zu übermitteln, so dass außerhalb der Datenbrille erfasste Helligkeitsinformation in der Datenbrille zur Verfügung steht.

Dadurch ist es möglich, neben der Helligkeitsinformation, die mithilfe der Datenbrille, insbesondere mit einem Helligkeitssensor oder der Kamera der Datenbrille, erfasst wird, eine weitere Helligkeitsinformation zu erhalten, die es ermöglicht, auf den Helligkeitszustand im Fahrzeuginnenraum zu schließen.

Es kann folglich die Blendenöffnung und/oder die Belichtungszeit der Kamera, die für die Posenerkennung der Datenbrille verwendet wird, so eingestellt werden, dass der Fahrzeuginnenraum auch bei ungünstigen Lichtverhältnissen beispielsweise bei einem dunklen Fahrzeuginnenraum und einer sehr hellen Fahrzeugumgebung durch die Kamera erfasst werden kann, dass die Posen der Datenbrille weiterhin zuverlässig bestimmt werden können. Insbesondere können die Blendenöffnung so angepasst werden, dass Strukturen und Merkmale des Fahrzeuginnenraums mit ausreichender Bildschärfe abgebildet werden, und die Belichtungszeit so eingestellt werden, dass die abgebildeten Strukturen und Merkmale in einem geeigneten Helligkeitsbereich dargestellt werden.

Insgesamt ermöglicht dies, dass die Posenerkennung der Datenbrille stabiler ausgeführt wird und insbesondere bei ungünstigen oder schnell wechselnden Beleuchtungssituationen zu weniger fehlerhaften Anzeigen von Informationen in der Datenbrille führen. Durch die verbesserte Berücksichtigung der gesondert ermittelten Helligkeiten innerhalb und/oder außerhalb des Kraftfahrzeugs kann die Fehlerrate bei der Posenerkennung reduziert werden und somit die in der Datenbrille angezeigten Informationen ruckelfreier angezeigt werden.

Weiterhin kann die übermittelte Helligkeitsinformation einer Helligkeitsinformation für den Fahrzeuginnenraum entsprechen, die durch einen Innenraum- Helligkeitssensor erfasst wird. Dies stellt eine Möglichkeit dar, die Lichtverhältnisse im Fahrzeuginnenraum unmittelbar zu erfassen.

Alternativ kann die übermittelte Helligkeitsinformation aus einem Kamerabild einer Kamera in dem Kraftfahrzeug ermittelt werden, die einen Teil der Fahrzeugumgebung erfasst.

Alternativ kann die übermittelte Helligkeitsinformation aus einem Umgebungshelligkeitssensor ermittelt werden.

Es kann vorgesehen sein, dass die Blendenöffnung und/oder die Belichtungszeit der Datenbrillenkamera, die für die Posenerkennung der Datenbrille genutzt wird, abhängig von der übermittelten Helligkeitsinformation und einer mithilfe der Datenbrille erfassten Helligkeitsinformation bestimmt wird.

Gemäß einer Ausführungsform kann die mithilfe der Datenbrille erfasste Helligkeitsinformation aus einem Kamerabild der Datenbrillenkamera ermittelt werden oder mithilfe eines Helligkeitssensors an der Datenbrille bestimmt werden.

Gemäß einem weiteren Aspekt ist eine Datenbrille in einem Kraftfahrzeug vorgesehen, umfassend:

- eine Datenbrillenkamera mit einstellbarer Blendenöffnung und/oder Belichtungszeit;

- eine Posenerkennungseinheit, die ausgebildet ist, um

o eine oder mehrere Helligkeitsinformationen insbesondere von einem Fahrerassistenzsystem zu empfangen; und o eine Blendenöffnung und/oder eine Belichtungszeit einer Datenbrillenkamera, die für eine Posenerkennung der Datenbrille genutzt wird, abhängig von der übermittelten Helligkeitsinformation anzupassen.

Weiterhin kann die obige Datenbrille mit einem Datenbrillen-Helligkeitssensor zum Bereitstellen einer der Helligkeitsinformationen versehen sein.

Gemäß einem weiteren Aspekt ist ein Anzeigesystem mit der obigen Datenbrille und mit einem Fahrerassistenzsystem vorgesehen, das ausgebildet ist, um eine oder mehrere Helligkeitsinformationen an die Datenbrille bereitzustellen.

Weiterhin kann das Fahrerassistenzsystem einen Umgebungshelligkeitssensor und/oder einen Innenraum-Helligkeitssensor zum Bereitstellen einer jeweiligen Helligkeitsinformation umfassen.

Insbesondere kann der Umgebungshelligkeitssensor durch einen Regensensor gebildet sein oder in diesem umfasst sein.

Kurzbeschreibung der Zeichnungen

Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

Figur 1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille zum Einsatz in einem Kraftfahrzeug; und

Figur 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems. Beschreibung von Ausführungsformen

Figur 1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Fahrerassistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal 4 ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen

Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Fahrerassistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung.

Die Datenbrille 3 ist mit zwei transparenten Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.

Die Sichtscheiben 32 sind weiterhin jeweils mit einer transparenten Anzeigefläche 35 versehen, in die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild angezeigt werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, ein elektronisch generiertes Anzeigebild auf die Anzeigefläche 35 einzublenden.

Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden. Weiterhin kann die Datenbrille 3 mit einer Posenerkennungseinheit 37 versehen sein, um eine Pose des Kopfes in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille bezeichnet hierin die räumliche Position der Datenbrille in einem fahrzeugfesten Koordinatensystem sowie deren dreidimensionale Ausrichtung. Die Posenerkennungseinheit 37 kann dazu eine geeignete Datenbrillenkamera 38 aufweisen, die etwa in Blickrichtung des Trägers der Datenbrille 3 gerichtet ist und dazu dient, das Cockpit und markante Punkte innerhalb des Cockpits zu detektieren und daraus die Pose der Datenbrille zu ermitteln.

Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Ausrichtung der Datenbrille 3 entspricht oder davon abgeleitet werden kann.

Das Fahrerassistenzsystem 2 steht mit mindestens einer Umgebungserfassungseinrichtung 21 in Verbindung, durch die Objekte in einer Fahrzeugumgebung wahrgenommen bzw. identifiziert werden können. Beispielsweise kann eine solche Einrichtung eine oder mehrere Kameras, einen oder mehrere LiDAR-Sensoren, einen Radar, einen Ultraschallsensor und dergleichen umfassen. Bei Vorsehen mehrerer Kameras bzw. Sensoren kann ein Gesamtbild durch Zusammensetzung von Einzelbildern erzeugt werden, um eine Rundum-Bildinformation zu erhalten.

Insbesondere durch die Kameras der Umgebungserfassungseinrichtung 21 wird die Fahrzeugumgebung optisch umfasst, und es kann eine Helligkeitsinformation aus der Fahrzeugumgebung ermittelt werden. Die Helligkeitsinformation kann zudem richtungsabhängig bestimmt werden, je nachdem, welche Winkelbereiche durch die optischen Kameras erfasst werden. Alternativ kann ein Umgebungshelligkeitssensor 22 an dem Kraftfahrzeug vorgesehen sein, um eine Umgebungshelligkeit zu bestimmen und die Umgebungshelligkeitsinformation bereitzustellen. Dafür kann beispielsweise auch ein Signal eines optischen Regensensors verwendet werden.

Weiterhin kann das Fahrerassistenzsystem Innenraumkameras aufweisen, um eine Helligkeitsinformation aus dem Fahrzeuginnenraum zu erfassen. Alternativ oder zusätzlich kann die Helligkeit in dem Fahrzeuginnenraum mithilfe eines Innenraum-Helligkeitssensors 23 bestimmt werden. Alternativ oder zusätzlich hierzu kann die Datenbrille 3 auch mit einem Datenbrillen-Helligkeitssensor 39 versehen sein, um eine ungerichtete Helligkeit des Fahrzeuginnenraums an der Position der Datenbrille 3 zu erfassen.

Zur Posenerkennung mit Hilfe einer Datenbrillenkamera 38 ist es notwendig, dass diese die Strukturen bzw. Merkmale des Fahrzeuginnenraums bzw. des Cockpits optisch erfassen kann bzw. erkennen kann. Die Qualität der optischen Abbildung der Datenbrillenkamera 38 und die Erkennbarkeit der Strukturen und Merkmale hängt jedoch maßgeblich von ihrer Blendenöffnung und der gewählten Belichtungszeit ab. Üblicherweise richtet sich die Blendenöffnung und die Belichtungszeit jedoch nach einer Brillenhelligkeitsinformation, der sich aus einer mittleren Helligkeit des von der Datenbrillenkamera 38 aufgezeichneten Bildes oder sich aus einem Signal eines an der Datenbrille angebrachten Helligkeitssensors ergibt. Je nach von der Helligkeit im Fahrzeuginnenraum abweichender Umgebungshelligkeit wird daher die Blende der Datenbrillenkamera 38 zu weit geöffnet oder zu weit geschlossen und/oder die Belichtungszeit falsch gewählt, so dass Konturen im Fahrzeuginnenraum nicht mit ausreichender Schärfe und überbelichtet bzw. zu dunkel abgebildet werden, so dass die Details des Fahrzeuginnenraums nicht zur eindeutigen Erkennung der Pose der Datenbrille 3 verwendet werden können.

Im Flussdiagramm der Figur 2 wird nun ein Verfahren zum Betreiben des Anzeigesystems 1 näher erläutert, das es ermöglicht, die Blendenöffnung optimiert einzustellen und dadurch die Posenerkennung zu verbessern. In Schritt S1 wird mit Hilfe der optischen Kameras der Umgebungserfassungseinrichtung 21 ein Abbild der Fahrzeugumgebung aufgezeichnet, und in Schritt S2 eine entsprechende Umgebungshelligkeitsinformation HU über die Fahrzeugumgebung aus dem Abbild der Fahrzeugumgebung bereitgestellt. Die

Umgebungshelligkeitsinformation HU kann beispielsweise eine gemittelte Helligkeit von Bereichen des Abbilds der Fahrzeugumgebung sein. Die Helligkeitsinformationen werden in dieser Beschreibung als Helligkeitsangaben verstanden, die insbesondere durch eine Helligkeit repräsentierende physikalische Größe bereitgestellt werden können.

Alternativ kann die Umgebungshelligkeit auch durch den Umgebungshelligkeitssensor 22 bestimmt werden, um die Umgebungshelligkeitsinformation HU bereitzustellen. Dafür kann beispielsweise auch ein Signal eines optischen Regensensors oder ein Helligkeitssensor einer Lichtautomatik verwendet werden.

Die so erhaltene Umgebungshelligkeitsinformation HU wird in Schritt S3 an die Datenbrille 3 über die Kommunikationsverbindung 4 übertragen.

In Schritt S4 kann eine Brillenhelligkeitsinformation HB bestimmt werden. Die Brillenhelligkeitsinformation kann aus dem von der Datenbrillenkamera 38 zuletzt aufgezeichneten Bild z.B. als mittlere Helligkeit bestimmt werden. Die Brillenhelligkeitsinformation kann auch durch einen Datenbrillen- Helligkeitssensor 39 erfasst werden.

In Schritt S5 kann die Datenbrille 3 anhand der Umgebungshelligkeitsinformation HU und der Brillenhelligkeitsinformation HB eine entsprechende Blendenöffnung und Belichtungszeiteinstellung der Datenbrillenkamera 38 wählen, so dass für die Posenerkennung eine ausreichende Detailschärfe von Strukturen des Fahrzeugsinnenraums und in einem ausreichenden Helligkeitsbereich erfasst werden kann. Dabei kann die Blendenöffnung so eingestellt werden, dass unter Umständen die Fahrzeugumgebung durch die Datenbrillenkamera 38 nicht erkannt werden kann und lediglich die Abbildung des Fahrzeuginnenraums durch die Mustererkennung verarbeitet werden kann.

Auf diese Weise ist es möglich, die Blendenöffnung und/oder die Belichtungszeit der Datenbrillenkamera 38 bereits vor dem Aufzeichnen des entsprechenden Bildes basierend auf der Umgebungshelligkeitsinformation und der Brillenhelligkeitsinformation anzupassen.

Die Anpassung der Blendenöffnung kann basierend auf einer Ermittlung einer wahren Helligkeitsinformation Hlw für den Fahrzeuginnenraum erfolgen. Die wahre Helligkeitsinformation HW ergibt sich dabei abhängig von der Umgebungshelligkeitsinformation HU und der Brillenhelligkeitsinformation HB. Beispielsweise kann die wahre Helligkeitsinformation Hlw für den Fahrzeuginnenraum sich wie folgt ergeben:

HB=Hlw ^* F+HU ^* (1 -F), wobei F ein fest vorgegebener Faktor (bei separaten Brillenhelligkeitssensor) oder ein blickrichtungsabhängiger bzw. posenabhängiger Faktor (bei Bestimmung der Brillenhelligkeitsinformation aus dem Kamerabild der Datenbrillenkamera 38) ist, der angibt, zu welchem Anteil die erfasste Brillenhelligkeitsinformation durch die Umgebungshelligkeit bestimmt ist. Der blickrichtungsabhängige bzw. posenabhängige Faktor kann entsprechend einer Referenztabelle oder dergleichen vorgegeben sein. Es ergibt sich die für die Einstellung der Blendenöffnung und/oder der Belichtungszeit relevante wahre Helligkeitsinformation als:

Hlw=(HB-HU(1 -F))/F

Alternativ oder zusätzlich kann eine Helligkeitsinformation über den Fahrzeuginnenraum entweder ebenfalls von dem Fahrerassistenzsystem 2 über den Kommunikationskanal 4 übermittelt werden, so dass die Blendenöffnung und/oder die Belichtungszeit der Datenbrillenkamera 38 direkt abhängig von der übermittelten Helligkeitsinformation eingestellt werden kann.

Bezugszeichenliste

1 Anzeigesystems

2 Fahrerassistenzsystem

21 Umgebungserfassungseinnchtung (Kamera)

22 Umgebungshelligkeitssensor

23 Innenraum-Helligkeitssensor

3 Datenbrille

31 Rahmen

32 Sichtscheiben

33 Brillenbügel

35 transparente Anzeigefläche

36 Anzeigeeinrichtung

37 Posenerkennungseinheit

38 Datenbrillenkamera

39 Datenbrillen-Helligkeitssensor

4 Datenübertragungskanal

Hlw wahre Helligkeitsinformation für den Fahrzeuginnenraum

HU Umgebungshelligkeitsinformation

HB Brillenhelligkeitsinformation