(HMD)

BESCHREIBUNG:

Die vorliegende Erfindung betrifft ein System zur Erfassung zumindest eines mobilen Head Mounted Displays (HMD), umfassend zumindest ein Fahrzeug und das zumindest eine HMD, wobei das Fahrzeug zumindest eine Regelungsvorrichtung und zumindest eine Luftschnittstelle umfasst, wobei die Regelungsvorrichtung zur Bereitstellung von Fahrzeugsensordaten eingerichtet ist, und wobei das zumindest eine HMD zumindest eine Kamera, eine Steuereinheit, eine Luftschnittstelle und zumindest eine Applikation umfasst, wobei die Steuereinheit des HMD eingerichtet ist, ein mit Hilfe zumindest eines durch die zumindest eine Kamera aufgezeichneten Kamerabildes ein Inside-Out-Tracking basierend auf einem 6 Degree of Freedom (6DOF)-Algorithmus auszuführen und eine 6DOF-Algorithmus basierte Translation des zumindest einen mobilen HMD zu ermitteln.

Virtual Reality (VR) und Augmented Reality (AR) sind Technologien, welche heute für Gaming und auch Produktivanwendungen bereits verbreitet sind. Dabei trägt ein Nutzer ein sogenanntes Head Mounted Display (HMD). Grundlegend wichtig für die Nutzung von VR- und AR-Headsets ist es, die HMD während der Nutzung genau zu lokalisieren, um den Inhalt visuell richtig für den Nutzer darstellen zu können. Insbesondere wird dabei eine 6DOF-Translation in X-, Y-, Z- Richtung sowie eine Rotation um die voranstehend genannten Achsen ermittelt.

Die Lokalisierung bzw. Erfassung eines HMD wird dabei als Tracking bezeichnet. Dabei wird zwischen Inside-Out- (vom HMD nach außen) und Outside-In-Tracking (von außen zum HMD) unterschieden. Bisher ist Outside-In-Tracking für stationäre Anwendungsfälle mit externen Trackingsensoren, beispielsweise über Infrarot, Stand der Technik.

Zukünftig wird sich die Entwicklung von HMD jedoch ebenfalls auf mobile HMD, ohne externe Tracker, mit Inside-Out-Tracking fokussieren. Heutige Anwendungsfälle beschränken sich dabei jedoch auf statische Umgebungen.

Aus dem Dokument EP 2 491 530 B1 ist beispielsweise ein Verfahren zum Bestimmen einer Pose einer Kamera an einem kopfgetragenen Bildschirmsystem in einem Fahrzeug bekannt. Die Pose der Kamera wird in sechs Freiheitsgraden optisch unter Nutzung eines Kantenmodells aus Umgebungsdaten ermittelt.

Aus dem Dokument US 20 020 105 484 A1 ist ein System zur Kalibrierung einer am Kopf eines Nutzers getragenen Anzeigevorrichtung für eine Darstellung virtueller Objekte in einem realen Umfeld bekannt. Die Anzeigevorrichtung weist eine in sechs Freiheitsgraden operierende Erfassungseinheit zur bilddatenbasierten Erzeugung eines Umfeldmodells auf.

Aus dem Dokument US 20 100 109 976 A1 ist eine Vorrichtung zur Nachverfolgung einer Anzeigeeinheit am Helm eines Fahrzeuginsassen bekannt. Der Helm weist einen optischen Sensor auf, der mit sechs Freiheitsgraden zur Erfassung von Orientierungsmarken eines Fahrzeuginnenraums dient und der für virtuelle Realitätsanwendungen geeignet ist.

Die im Stand der Technik bekannten VR- und AR-HMD setzen Tracking- Algorithmen bereits in der Firmware um, wobei jedoch ein statisches Umfeld angenommen wird. Aufgrund der hardwarenahen Umsetzung der 6DOF- Algorithmen in der Firmware in heutigen HMD ist es nicht möglich, eine Translation des Inside-Out-Trackings zu deaktivieren. Aufgabe der vorliegenden Erfindung ist es, ein System bereitzustellen, das eine Nutzung von mobilen HMD auch in dynamischen Umgebungen ermöglicht.

Diese Aufgabe wird durch ein System mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der Beschreibung und Beschreibung der Figuren.

Die vorliegende Erfindung betrifft ein System zur Erfassung zumindest eines mobilen Head Mounted Displays (HMD), umfassend zumindest ein Fahrzeug und das zumindest eine HMD, wobei das Fahrzeug zumindest eine Regelungsvorrichtung und zumindest eine Luftschnittstelle umfasst, wobei die Regelungsvorrichtung zur Bereitstellung von Fahrzeugsensordaten eingerichtet ist, und wobei das zumindest eine HMD zumindest eine Kamera, eine Steuereinheit, eine Luftschnittstelle und zumindest eine Applikation umfasst, wobei die Steuereinheit des HMD eingerichtet ist, mit Hilfe zumindest eines durch die zumindest eine Kamera aufgezeichneten Kamerabildes ein Inside-Out-Tracking basierend auf einem 6 Degree of Freedom (6DOF)-Algorithmus auszuführen und eine 6DOF-Algorithmus basierte Translation des zumindest einen mobilen HMD zu ermitteln. Das zumindest eine HMD ist in der Regel als Brille ausgebildet. Alternativ ist das zumindest eine HMD als Linse ausgebildet. Der 6DOF-Algorithmus ist in einer Firmware des HMD integriert umgesetzt.

Erfindungsgemäß ist die Applikation zusätzlich eingerichtet, ein Kantenmodell eines Innenraumes des Fahrzeuges bereitzustellen und basierend auf dem Kantenmodell ein automatisiertes Computer-Vision basiertes 6DOF-Tracking des zumindest einen mobilen HMD bereitzustellen. Ein Tracking ist dabei eine Lokalisierung bzw. Erfassung des HMD.

Computer-Vision bedeutetet ein maschinelles Sehen. Das System ist demnach eingerichtet, durch die zumindest eine Kamera des HMD ein maschinelles Sehen in den Innenraum des Fahrzeuges zu ermöglichen. Zudem ist das System eingerichtet, ein Kantenmodell des Innenraumes bereitzustellen.

Das System bietet den Vorteil, dass durch die Einbeziehung des Kantenmodells in das Computer-Vision basierte 6DOF-Tracking eine Berücksichtigung einer dynamischen Umgebung, die beispielsweise durch Fensterscheiben des Fahrzeuges durch die zumindest eine Kamera wahrgenommen wird, korrigiert wird. Dadurch wird einer Fehllokalisierung des FIMD in dem Fahrzeug, die zu einer sprunghaften Änderung einer Blickposition eines Nutzers innerhalb der VR- und AR-Inhalte führen kann, vorgebeugt. Die Blickposition des Nutzers ist dabei auch die Blickposition der zumindest einen FIMD Kamera, die das Computer Vision basierte Sehen bereitstellt.

In einer Weiterbildung ist die Applikation basierend auf dem Computer-Vision basierten 6DOF-Tracking eingerichtet, das Kantenmodell einer Berechnung einer Computer-Vision basierten Translation des FIMD zugrunde zu legen, wobei die Applikation eingerichtet ist, die Computer-Vision basierte Translation des FIMD relativ zu dem Innenraum des Fahrzeuges zu ermitteln. Mit FHilfe des Kantenmodells des Innenraumes eines jeweiligen Fahrzeuges ist das System eingerichtet, eine genaue Position des zumindest einen FIMD in dem Innenraum des Fahrzeuges zu lokalisieren. Dabei wird der Innenraum des Fahrzeuges als Referenzpunkt für die Lokalisierung bzw. die Translation des FIMD bereitgestellt.

In einer weiteren Weiterbildung ist die Applikation eingerichtet, basierend auf der ermittelten Computer-Vision basierten Translation des FIMD eine durch den 6DOF-Algorithmus bereitgestellte Translation des FIMD auszugleichen. Dies bietet den Vorteil, dass eine durch den 6DOF-Algorithmus bestimmte fehlerhaft lokalisierte Position des zumindest einen FIMD in dem Innenraum des Fahrzeuges durch die neue Positionsbestimmung auf Basis des Kantenmodells korrigiert wird. Dadurch können mobile AR- / VR- FIMD während einer dynamischen Fahrt in einer dynamischen Umgebung verwendet werden. Das System verhindert eine Nutzung von VR- und AR- HMD ohne externe Tracker mit Inside-Out Tracking.

In einer Ausgestaltung ist die Applikation eingerichtet, das Kantenmodell basierend auf dem zumindest einen durch die zumindest eine Kamera aufgezeichneten Kamerabild zu erstellen. Das System ist mit Hilfe der zumindest einen Kamera eingerichtet, den Innenraum des Fahrzeuges als Kantenmodell abzubilden. Die Applikation ist in der Regel als VR-/AR- Applikation eingerichtet.

In einer Weiterbildung ist das System eingerichtet, eine durch die zumindest eine Kamera des zumindest einen HMD wahrgenommene Umwelt auszublenden. Beispielsweise ist das System eingerichtet, basierend auf einer Abstands- bzw. Distanzeinstellung Kamerabilder von einer Berücksichtigung in der Berechnung der Erstellung des Kantenmodells auszuschließen.

In einer alternativen Ausgestaltung umfasst die Regelungsvorrichtung des Fahrzeuges ein Kantenmodell, wobei die Regelungsvorrichtung eingerichtet ist, das Kantenmodell bei einer erstmaligen Verbindung mit dem HMD an die Applikation des HMD zu übermitteln, wobei die Applikation eingerichtet ist, das Kantenmodell der Computer-Vision basierten Berechnung der Translation des HMD zugrunde zu legen. Somit ist die alternative Ausgestaltung eingerichtet, anstelle einer dynamischen Erstellung des Kantenmodells des Innenraumes eine Information bzw. das Kantenmodell an das HMD zu übermitteln. In der Regel umfasst die Regelungsvorrichtung zumindest eine Luftschnittstelle, die eingerichtet ist, das Kantenmodell an eine Luftschnittstelle des HMD zu übermitteln. Das Kantenmodell ist dabei in der Regel in einer Fahrzeugmodellinformation eines jeweiligen Fahrzeuges gespeichert.

In einer Weiterbildung ist die Steuereinheit eingerichtet, die von der Regelungsvorrichtung bereitgestellten Fahrzeugsensordaten zur Berechnung einer Eigenbewegung des Fahrzeuges über die zumindest eine Luftschnittstelle des HMD an die Applikation des HMD zu übermitteln, wobei die Applikation eingerichtet ist, die Eigenbewegung des Fahrzeuges zu ermitteln und der Berechnung der Computer-Vision basierten Translation relativ zu dem Innenraum des Fahrzeuges zugrunde zu legen. Dies bietet den Vorteil, dass eine Translation des Fahrzeuges berücksichtigt werden kann, um die durch den 6DOF-Algorithmus berechnete Position des HMD auszugleichen.

Die Fahrzeugsensordaten werden in der Regel von zumindest zwei Sensoren erfasst, die eingerichtet sind, die Fahrzeugsensordaten an zumindest eine Regelungsvorrichtung zu übermitteln, wobei die Regelungsvorrichtung eingerichtet ist, die Fahrzeugsensordaten zu speichern. In der Regel werden die Fahrzeugsensordaten über zumindest einen Kommunikationskanal in dem Fahrzeug, beispielsweise über Flexray, CAN oder Ethernet, an die zumindest eine Regelungsvorrichtung mit der zumindest einen Luftschnittstelle bereitgestellt. Die Regelungsvorrichtung ist eingerichtet, die Fahrzeugsensordaten über die Luftschnittstelle an die Luftschnittstelle des HMD zu übermitteln.

In einer weiteren Weiterbildung ist die zumindest eine Luftschnittstelle der Regelungsvorrichtung und/oder des HMD eine Bluetooth Low Energy (BLE) Verbindung. In einer alternativen Ausgestaltung ist die zumindest eine Luftschnittstelle der Regelungsvorrichtung und/oder des HMD eine lokale WIFI-Verbindung oder eine klassische Bluetooth-Verbindung.

Optional umfasst das zumindest eine HMD zumindest eine inertiale Mess(IMU)-Einheit, die in der Regel zumindest einen Beschleunigungssensor und zumindest einen Drehratensensor umfasst, und eingerichtet ist, Sensordaten zu erfassen. Somit stellt die IMU-Einheit eine sensorische Messeinheit eines Trägheitsnavigationssystems dar.

Des Weiteren betrifft die vorliegende Erfindung ein Verfahren zur Durchführung eines 6DOF-Trackings eines mobilen HMD in einem Fahrzeug während einer dynamischen Fahrt, umfassend ein voranstehend beschriebenes System.

Erfindungsgemäß wird in einem ersten Schritt a ein Kantenmodell eines Innenraumes des Fahrzeuges bereitgestellt. In einem weiteren Schritt b wird ein automatisiertes Computer-Vision basiertes 6DOF-Tracking bereitgestellt. Die Schritte a und b sind dabei hintereinander oder zeitgleich ausführbar. In einem weiteren Schritt c wird eine Computer-Vision basierte Translation des FIMD relativ zu dem Innenraum des Fahrzeuges basierend auf dem Kantenmodell berechnet. In einem weiteren Schritt d wird eine durch ein 6 Degree of Freedom (6DOF)-Algorithmus basiertes Inside-Out-Tracking bereitgestellte Translation des FIMD 11 bereitgestellt. Die Schritte c und d sind dabei hintereinander oder zeitgleich ausführbar. In einem weiteren Schritt e wird die durch 6DOF-Algorithmus basierte Translation des FIMD 11 mit FHilfe der Computer-Vision basierten Translation des FIMD 11 ausgeglichen.

In einer Weiterbildung des Verfahrens wird das Kantenmodell basierend auf zumindest einem durch zumindest eine Kamera des FIMD aufgezeichneten Kamerabild erstellt und bereitgestellt. Das System ist somit eingerichtet, basierend auf den von der zumindest einen Kamera erfassten Kamerabildern, die auch für ein Inside-Out-Tracking verwendet werden, als Grundlage für die Erstellung eines Kantenmodells des Fahrzeuginnenraums heranzuziehen. Das derart erstellte Kantenmodell ist als O-Referenz für die Translation des FIMD verwendbar.

In einer alternativen Weiterbildung wird das Kantenmodell durch eine Regelungsvorrichtung des Fahrzeuges bei einer erstmaligen Verbindung des Fahrzeuges mit dem FIMD an das FIMD übermittelt. Somit ist die alternative Ausgestaltung eingerichtet, anstelle einer dynamischen Erstellung des Kantenmodells des Innenraumes eine Information bzw. das Kantenmodell an das FIMD zu übermitteln. Das Kantenmodell ist dabei in der Regel Teil von Fahrzeugmodellinformationen, die in einer Regelungsvorrichtung des Fahrzeuges hinterlegt sind. Die Erfindung ist anhand von Ausführungsformen in der Zeichnung schematisch dargestellt und wird unter Bezugnahme auf die Zeichnung weiter beschrieben, wobei die gleichen Komponenten mit gleichen Bezugsziffern gekennzeichnet sind. Es zeigt:

Fig. 1 eine Ausführungsform eines erfindungsgemäßen Systems mit einem Kantenmodell basierend auf Kamerabildern von in dem HMD integrierten Kameras,

Fig. 2 eine weitere Ausführungsform des - in Fig. 1 gezeigten -

Systems.

Figur 1 zeigt eine Ausführungsform eines erfindungsgemäßen Systems 10 mit einem Kantenmodell basierend auf Kamerabildern von in einem HMD 11 integrierten Kameras 15. Das System 10 zur Erfassung zumindest eines mobilen Head Mounted Displays (HMD) 11 umfasst dabei zumindest ein Fahrzeug 12 und das zumindest eine HMD 1.

Das Fahrzeug 12 umfasst zumindest eine Regelungsvorrichtung 13 und zumindest eine Luftschnittstelle 14, wobei die Regelungsvorrichtung 13 zur Bereitstellung von Fahrzeugsensordaten eingerichtet ist.

Das zumindest eine HMD 11 umfasst zumindest eine Kamera 15, eine Steuereinheit 16, eine Luftschnittstelle 18 und zumindest eine Applikation 17, wobei die Steuereinheit 16 des HMD 11 eingerichtet ist, mit Hilfe zumindest eines durch die zumindest eine Kamera 15 aufgezeichneten Kamerabildes ein Inside-Out-Tracking basierend auf einem 6DOF-Algorithmus auszuführen und eine 6DOF-Algorithmus basierte Translation des HMD 11 zu ermitteln.

Die Applikation 17 ist eingerichtet, ein Kantenmodell eines Innenraumes des Fahrzeuges 12 bereitzustellen und basierend auf dem Kantenmodell ein automatisiertes Computer-Vision basiertes 6DOF-Tracking bereitzustellen. Dabei ist die Applikation 17 eingerichtet, das Kantenmodell einer Berechnung einer Computer-Vision basierten Translation des HMD zugrunde zu legen, wobei die Applikation 17 eingerichtet ist, die Computer-Vision basierte Translation des HMD 11 relativ zu dem Innenraum des Fahrzeuges 12 zu ermitteln. Zudem ist die Applikation 17 eingerichtet basierend auf der ermittelten Computer-Vision basierten Translation des HMD 11 eine durch den 6DOF-Algorithmus bereitgestellte Translation des HMD 11 auszugleichen.

Die Applikation 17 erstellt dabei das Kantenmodell selbst. Dabei ist die Applikation 17 eingerichtet ist, das Kantenmodell basierend auf dem zumindest einen durch die zumindest eine Kamera 15 aufgezeichneten Kamerabild zu erstellen.

Generell ist die Regelungsvorrichtung 13 des Fahrzeuges 12 eingerichtet, basierend auf Fahrzeugsensoren des Fahrzeuges 12 ermittelte Fahrzeugsensordaten 19 an die Applikation 17 zu übermitteln, wobei die Applikation 17 eingerichtet ist, basierend auf den übermittelten Fahrzeugsensordaten 19 eine Eigenbewegung des Fahrzeuges zu ermitteln. Das System 10 ist eingerichtet, die ermittelte Eigenbewegung des Fahrzeuges 12 der Berechnung des Computer-Vision basierten 6DOF- Trackings des HMD 11 zugrunde zu legen.

Die Figur 1 zeigt zudem das Verfahren zur Durchführung eines 6DOF- Trackings eines mobilen HMD 11 in dem Fahrzeug 12 während einer dynamischen Fahrt mit dem voranstehend beschriebenen System 10.

Das Verfahren umfasst in einem ersten Schritt a das Bereitstellen eines Kantenmodells eines Innenraumes des Fahrzeuges. In einem weiteren Schritt b wird ein automatisiertes Computer-Vision basiertes 6DOF-Tracking bereitgestellt. Die Schritte a und b können dabei wahlweise hintereinander oder zeitgleich ausgeführt werden. In einem weiteren Schritt c wird eine Computer-Vision basierte Translation des HMD 11 relativ zu dem Innenraum des Fahrzeuges 12 basierend auf dem Kantenmodell berechnet. In einem weiteren Schritt wird eine durch ein 6 Degree of Freedom (6DOF)-Algorithmus basiertes Inside-Out-Tracking bereitgestellte Translation des HMD 11 bereitgestellt. Die Schritte a und b können dabei wahlweise hintereinander oder zeitgleich ausgeführt werden. In einem weiteren Schritt e wird die durch ein 6DOF-Algorithmus basiertes Inside-Out-Tracking bereitgestellte Translation des HMD 11 mit Hilfe der Computer-Vision basierten Translation des HMD 11 ausgeglichen.

In der vorliegenden Ausführungsform des Verfahrens wird dabei das Kantenmodell basierend auf einem durch zumindest eine Kamera 15 des HMD 11 aufgezeichneten Kamerabild erstellt und bereitgestellt.

Dabei ist die zumindest eine Kamera 15 eingerichtet, die Umwelt wahrzunehmen und in Kamerabildern festhalten. Diese Kamerabilder werden insbesondere als Grundlage für Computer-Vision basierte Lokalisierungen des zumindest einen HMD 11 verwendet. Basierend auf den Algorithmen wird dabei aus den Kamerabilder der Umgebung ein Kantenmodell erstellt. Dabei kann eine räumliche Begrenzung oder maximale Distanz für die Auswertung dafür Sorge tragen, dass nur Referenzen in dem Innenraum des Fahrzeuges 12 und nicht aus der dynamischen Umgebung für die Erstellung des Kantenmodells herangezogen werden.

Mit Hilfe des berechneten Kantenmodells können basierend auf Algorithmen eine X-, Y-, und Z-Position des HMD 11 relativ zu dem Kantenmodell berechnet werden. Die Translation des HMD 11 relativ zu dem Kantenmodell wird dabei in der Regel als O-Referenz der angestrebten HMD 11 Kameraposition verwendet. In der Applikation 17 wird die Translation des HMD 11 internen 6DOF-Trackings durch eine Transformation auf die 0- Referenz, insbesondere ein 3DOF-Tracking relativ zu dem Kantenmodell, korrigiert. Somit wird die durch die dynamische Umgebung während der Fahrt des Fahrzeuges vom FIMD intern falsch berechnete Position der FIMD Kamera in der Applikation durch die tatsächliche Position des FIMD im Fahrzeug ausgeglichen. Die mathematische Operation dazu ist eine Vektor- Addition eines fehlerhaften Vektors plus einen Delta- Vektor zur O-Referenz.

Figur 2 zeigt eine weitere Ausführungsform des - in Fig. 1 gezeigten - Systems 10. Gezeigt ist dabei das System 10 umfassend das Fahrzeug 12, mit der Regelungsvorrichtung 13 und der Luftschnittstelle 14 sowie das HMD 11 mit der Kamera 15, der Steuereinheit 16, der Luftschnittstelle 18 und der Applikation 17. Bei dieser Ausführungsform wird ein Kantenmodell basierend auf Fahrzeugmodellinformationen durch die Regelungsvorrichtung 13 dem HMD 11 zur Verfügung gestellt.

Während des Entwicklungsprozesses des Fahrzeuges 12 gibt es eine Vielzahl verschiedener Modelle des Fahrzeuges 12. In der Regel ist aus einem dieser Modelle ein Kantenmodell erstellt worden, welches zusammen mit weiteren Fahrzeugmodellinformationen in der Regelungsvorrichtung 13 gespeichert ist. Bei der vorliegenden Ausführungsform wird bei der ersten Verbindung des HMD 11 mit dem Fahrzeug 12 das Kantenmodell über die Luftschnittstelle 14 der Regelungsvorrichtung 13 an das HMD 11 übermittelt.

Die Figur 2 zeigt zudem ebenfalls das in der Figurenbeschreibung zu Fig. 1 beschriebene Verfahren zur Durchführung des 6DOF-Trackings des mobilen HMD 11 in dem Fahrzeug 12 während einer dynamischen Fahrt mit den Schritten a bis e. Dabei ist die Applikation 17 ebenfalls eingerichtet, basierend auf durch die Regelungsvorrichtung 14 übermittelten Fahrzeugsensordaten 19 eine Eigenbewegung des Fahrzeuges 12 zu ermitteln und der weiteren Berechnung zugrunde zu legen. In der vorliegenden Ausführungsform des Verfahrens wird das Kantenmodell jedoch anstelle einer Ermittlung basierend auf Kamerabildern des zumindest einen HMD durch eine Regelungsvorrichtung 13 des Fahrzeuges 12 bei einer erstmaligen Verbindung des Fahrzeuges 12 mit dem HMD 11 an das HMD 11 übermittelt. Bezuqszeichenliste

10 System

11 HMD 12 Fahrzeug

13 Regelungsvorrichtung

14 Luftschnittstelle Regelungsvorrichtung

15 Kamera

16 Steuereinheit 17 Applikation

18 Luftschnittstelle HMD

19 Fahrzeugsensordaten