Inhaltes für eine dynamische Umgebung

BESCHREIBUNG:

Die vorliegende Erfindung betrifft ein System zur Übermittlung zumindest eines ausgewählten Virtual Reality (VR)-Inhaltes für eine dynamische Umgebung umfassend zumindest ein mobiles Head Mounted Display (HMD) in einem Fahrzeug, sowie einen Server und eine Infrastruktur, wobei das Fahrzeug eine Steuereinheit, ein Modem und eine Luftschnittstelle umfasst und das mobile HMD eine Luftschnittstelle und eine Regeleinheit umfasst.

Virtual Reality (VR) ist eine Technologie, welche heute für Gaming- und auch für Produktivanwendungen bereits verbreitet ist. Dabei trägt ein Nutzer ein sogenanntes Head Mounted Display (HMD). Bisher wird VR vor allem im statischen Bereich verwendet. Bei den meisten HMDs ist ein leistungsstarker externer Rechner für die Verarbeitung der Experience bzw. des VR-Inhalts, wie beispielsweise einem Rendering, notwendig. Mobile HMDs, bei denen eine zentrale Recheneinheit (CPU) und eine Grafikeinheit (GPU) direkt in dem HMD verbaut sind, sind momentan auf dem Vormarsch, allerdings ist die Rechenleistung analog zu Smartphones gegenüber Rechnern begrenzt.

Aus dem Dokument EP 3 288 271 A1 ist ein Übertragungs- und Empfangssystem für Bilddaten eines Wiedergabedienstes für virtuelle Realitätsinhalte bekannt. Die Bilddaten werden von einem fahrzeugexternen Zentralrechner mit einem variablen Mobilfunkstandard an eine kopfgetragene Anzeigeeinheit eines Nutzers an Bord eines Kraftfahrzeugs übertragen. Aus dem Dokument US 2017 0 267 099 A1 ist ein Verfahren zum Anzeigen einer virtuellen Realitätsumgebung für einen Nutzer eines Fahrzeugs bekannt. Die virtuelle Realitätsumgebung wird durch eine fahrzeugexterne Recheneinheit generiert und in Form eines Datenstroms an eine kopfgetragene Anzeigeeinheit des Nutzers übertragen.

Aus dem Dokument US 2013 0 257 686 A1 ist ein System zur Generierung eines virtuellen Realitätsinhalts aus Fahrzeug-Bilddaten durch einen Zentralrechner bekannt. Der Zentralrechner dient zur Berechnung und Verteilung des virtuellen Realitätsinhalts an mehrere Datenbrillen.

Aufgabe der vorliegenden Erfindung ist es, ein System bereitzustellen, dass eine Bereitstellung von Virtual Reality (VR)-Inhalten auch in dynamischen Umgebungen ermöglicht.

Diese Aufgabe wird durch ein System mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der Beschreibung und Beschreibung der Figuren.

Gegenstand der vorliegenden Erfindung ist ein System zur Übermittlung zumindest eines ausgewählten Virtual Reality (VR)-Inhaltes für eine dynamische Umgebung umfassend zumindest ein mobiles Flead Mounted Display (FIMD) in einem Fahrzeug, sowie einen Server und eine Infrastruktur, wobei das Fahrzeug eine Steuereinheit, ein Modem und eine Luftschnittstelle umfasst und das mobile HMD eine Luftschnittstelle und eine Regeleinheit umfasst.

Das HMD ist in der Regel eingerichtet durch einen Fahrzeuginsassen bzw. Nutzer nutzbar zu sein. Die Regeleinheit ist dabei in der Regel eine Game Engine, die eingerichtet ist, einen Spiel- bzw. einen Darstellungsverlauf und insbesondere die visuelle Darstellung zu steuern. Die Infrastruktur ist in der Regel ein Funkmastsystem.

Erfindungsgemäß ist das System eingerichtet, über das Modem einen Übermittlungsweg (Z) zur Übermittlung des zumindest einen ausgewählten VR-Inhaltes zwischen dem zumindest einen HMD und dem Server mit dem Cloud VR-Service bereitzustellen, wobei der Übermittlungsweg (Z) umfasst, dass das HMD eingerichtet ist, eine Auswahl eines auf dem HMD ausgewählten VR-Inhaltes über die Luftschnittstelle des HMD an die Luftschnittstelle der Steuereinheit zu übermitteln, wobei die Steuereinheit eingerichtet ist, die Auswahl an das Modem zu übermitteln, wobei das Modem eingerichtet ist, die Auswahl über die Infrastruktur an den Server mit dem Cloud VR-Service zu übermitteln, wobei der Server mit Hilfe des Cloud- VR-Services eingerichtet ist, basierend auf der übermittelten Auswahl VR- Inhalte bereitzustellen und basierend auf den bereitgestellten VR-Inhalten zumindest ein Bild zu berechnen, wobei der Server mit dem Cloud VR- Service eingerichtet ist, das zumindest eine berechnete Bild über den Übermittlungsweg (Z) an das HMD zurück zu übermitteln.

Die Rückübermittlung des zumindest einen berechneten Bildes erfolgt dabei in der Regel als Stream. Insbesondere wird das zumindest eine berechnete Bild von der Luftschnittstelle des Fahrzeuges zu der Luftschnittstelle des HMD und anschließend zu der Regeleinheit gestreamt.

Die Infrastruktur ist in der Regel ein Funkmastsystem, insbesondere ein zumindest 5G Funkmastsystem. Das Modem ist in der Regel austauschbar in dem Fahrzeug angeordnet. Das Modem ist somit variabel. Ein VR-Inhalt ist in der Regel ein VR-Erlebnis, insbesondere eine VR-Anwendung. Zudem ist das HMD in der Regel als Brille ausgestaltet. Alternativ ist das HMD als Linse, beispielsweise Kontaktlinse, ausgebildet.

Das System bietet den Vorteil, dass eine Durchführung ressourcenaufwändiger Berechnung nicht direkt auf dem mobilen HMD, sondern auf einem externen Server durchgeführt wird. Die fertig berechneten bzw. prozessierten und gerenderten VR-Inhalte werden somit nur noch als Bild zur HMD gestreamt.

In Ausgestaltung ist das System eingerichtet, das zumindest eine Bild der Regeleinheit des HMD bereitzustellen. Die Regeleinheit ist eingerichtet, das zumindest eine Bild in die visuelle Darstellung der HMD einzubeziehen. Dies bietet den Vorteil, dass der Regeleinehit zumindest ein fertig prozessiertes und gerendertes Bild zur Verfügung gestellt wird. Das HMD muss somit keine eigene Rechenleistung bereitstellen. Dadurch verbleibt u.a. mehr Platz für die Regeleinheit in dem HMD.

In weiterer Ausgestaltung ist das Modem zumindest ein 5G Modem. Das Modem ist alternativ ein 6G, 7G oder ein Modem mit einem höheren Mobilfunkstandard. In der Regel ist das Modem, insbesondere das 5G Modem an einen aktuellen Mobilfunkstandard anpassbar eingerichtet. Dies bietet den Vorteil, dass das System eingerichtet ist, die hohen Datenraten, die für die Übermittlung des VR-Inhaltes benötigt werden, bereitzustellen, wobei das System zudem an stetig steigende Datenraten anpassbar ist.

In weiterer Ausgestaltung ist die Luftschnittstelle des HMD eine Bluetooth- Low-Energy Verbindung oder eine kabellose lokale Netzwerkverbindung. Dies bietet den Vorteil, dass die Luftschnittstelle des HMD derart ausgestaltet ist, dass diese ein Empfangen von hohen Datenraten der auf das HMD übermittelten bzw. gestreamten VR-Inhalte gewährleisten kann.

In Weiterbildung stellt der Server mit dem Cloud VR-Service eine zentrale Recheneinheit (CPU) und eine Grafikeinheit (GPU) zur Berechnung von VR- Inhalten bereit. Die VR-Inhalte sind dabei in der Regel VR-Anwendungen. Die CPU und die GPU sind ausgelegt, eine Berechnung der VR-Inhalte zu ermöglichen.

In einer weiteren Weiterbildung ist das System eingerichtet, Informationen über eine Bewegung des Fahrzeuges über den Übermittlungsweg (Z) von dem HMD an den Cloud VR-Service zu übermitteln. Die Übermittlung der Informationen erfolgt dabei zusätzlich zu der übermittelten Auswahl. In der Regel ist das System eingerichtet, die Fahrzeugbewegung mit in die Darstellung des zumindest einen übermittelten Bildes auf dem HMD einzubeziehen. In der Regel erfolgt die Übermittlung der Informationen der Bewegung zyklisch. Alternativ erfolgt die Übermittlung kontinuierlich. Durch die Bereitstellung der Fahrzeugeigenbewegungsdaten an den Cloud VR-Service kann eine gestreamte VR-Experience der ausgewählten VR-Inhalte somit auch in dynamischen Umgebungen wie in einem Fahrzeug verwendet werden.

Des Weiteren betrifft die vorliegende Erfindung ein Verfahren zur Übermittlung und Berechnung von VR-Inhalten in einer dynamischen Umgebung mit einem voranstehend beschrieben System.

In einem ersten Schritt A wird ein Virtual Reality (VR)-Inhalt auf einem Flead Mounted Display (FIMD) ausgewählt. In der Regel ist ein VR-Inhalt eine VR- Anwendung. Die gewünschte VR-Anwendung wird durch einen Nutzer bzw. Fahrzeuginsassen ausgewählt.

In einem weiteren Schritt B wird der ausgewählte VR-Inhalt durch eine Luftschnittstelle des HMD an eine Luftschnittstelle einer Steuereinheit eines Fahrzeuges signalisiert. Die Luftschnittstelle des HMD ist in der Regel eine Bluetooth-Low-Energy Verbindung oder eine kabellose lokale Netzwerkverbindung.

Dies bietet den Vorteil, dass die Luftschnittstelle des HMD derart ausgestaltet ist, dass diese ein Übermitteln, d. h. ein Senden und Empfangen von hohen Datenraten der auf das HMD übermittelten bzw. gestreamten VR-Inhalte gewährleisten kann.

In einem weiteren Schritt C wird die signalisierte Auswahl an ein Modem der Steuereinheit weitergeleitet. Die Weiterleitung der Auswahl erfolgt in der Regel über ein zumindest 5G Modem. Optional umfasst die Steuereinheit zumindest zwei Modems, wobei das für die Übermittlung der Auswahl genutzte Modem wählbar ist. Durch das 5G Modem können besonders hohe Datenraten übermittelt werden. Das Modem ist in der Regel austauschbar in dem Fahrzeug angeordnet ist. Das Modem ist somit variabel. In einem weiteren Schritt D wird die Auswahl durch das Modem über eine Infrastruktur an einen Server umfassend einen Cloud VR-Service übermittelt. Die Infrastruktur ist in der Regel ein Funkmastsystem, insbesondere ein zumindest 5G Funkmastsystem.

In einem weiteren Schritt E werden VR-Inhalte durch den Cloud VR-Service basierend auf der übermittelten Auswahl bereitgestellt. Basierend auf der übermittelten Auswahl des ausgewählten VR-Inhaltes bzw. der ausgewählten VR-Anwendung erfolgt durch den Server mit dem Cloud VR-Service eine Bereitstellung der für die jeweilige Anwendung erforderlichen Daten.

In einem weiteren Schritt F wird zumindest ein Bild basierend auf den bereitgestellten VR-Inhalten berechnet. Der Cloud VR-Service berechnet aus den für einen jeweiligen VR-Inhalt bereitgestellten Daten zumindest ein Bild. Das bedeutet die Daten werden zu zumindest einem Bild prozessiert und gerendert.

In einem weiteren Schritt G wird das zumindest eine berechnete Bild über eine Infrastruktur zu dem Modem übermittelt. Das berechnete Bild wird in einer vorteilhaften Ausgestaltung über einen 5G Funkmast an ein 5G Modem in dem Fahrzeug übermittelt.

In einem weiteren Schritt Fl wird das zumindest eine berechnete Bild an eine Luftschnittstelle des Fahrzeuges weitergeleitet. Die Luftschnittstelle der Steuereinheit ist optional eine Bluetooth-Low-Energy Verbindung oder eine kabellose lokale Netzwerkverbindung.

In einem weiteren Schritt I wird das zumindest eine Bild über die Luftschnittstelle des Fahrzeuges an die Luftschnittstelle des HMD übermittelt.

In einem weiteren Schritt J wir das zumindest eine berechnete Bild an die Regeleinheit des HMD weitergeleitet. Das Übermitteln des berechneten Bildes von den Cloud VR-Service auf dem Server zu der Regeleinheit des HMD wird als streamen bezeichnet.

In einem weiteren Schritt K wird das zumindest eine berechnete Bild in der dynamischen Umgebung über das HMD wiedergegeben. Dabei bezieht die Regeleinheit das zumindest eine berechnete Bild in die visuelle Wiedergabe bzw. Darstellung des ausgewählten VR-Inhaltes ein.

In einer Weiterbildung des Verfahrens werden zusätzlich Informationen zu einer Fahrzeugeigenbewegung von dem HMD über das Modem zu dem Server übermittelt und dort mitverarbeitet. In der Regel werden die Informationen zyklisch über das Modem an den Server übermittelt.

Die Übermittlung der Informationen erfolgt zusätzlich zu der übermittelten Auswahl. In der Regel erfolgt die Übermittlung der Informationen zyklisch. Alternativ erfolgt die Übermittlung kontinuierlich. Durch die Übermittlung der Fahrzeugeigenbewegungsdaten an den Cloud VR-Service kann die gestreamte VR-Experience der ausgewählten VR-Inhalte auch in dynamischen Umgebungen wie in einem Fahrzeug verwendet werden.

In einer weiteren Weiterbildung wird die Auswahl der VR-Inhalte über ein 5G Modem und eine 5G Infrastruktur an den Server übermittelt.

In einer weiteren Weiterbildung wird das zumindest eine berechnete Bild über ein 5G Modem und eine 5G Infrastruktur an die Regeleinheit des HMD übermittelt.

Die Erfindung ist anhand von Ausführungsformen in der Zeichnung schematisch dargestellt und wird unter Bezugnahme auf die Zeichnung weiter beschrieben, wobei die gleichen Komponenten mit gleichen Bezugsziffern gekennzeichnet sind. Es zeigt: Fig. 1 eine Ausführungsform eines erfindungsgemäßen Systems zur

Übermittlung zumindest eines ausgewählten Virtual Reality (VR)-Inhaltes für eine dynamische Umgebung,

Fig. 2 eine Ausführungsform eines Verfahrens zur Übermittlung und

Berechnung von VR-Inhalten in einer dynamischen Umgebung mit einem erfindungsgemäßen System zur Übermittlung zumindest eines ausgewählten (VR)-Inhaltes.

Figur 1 zeigt eine Ausführungsform eines erfindungsgemäßen Systems 10 zur Übermittlung zumindest eines ausgewählten Virtual Reality (VR)-Inhaltes für eine dynamische Umgebung. Eine dynamische Umgebung liegt dabei beispielsweise bei einer Fahrt eines Fahrzeuges 12 vor.

Das System 10 umfasst zumindest ein mobiles Flead Mounted Display (FIMD) 11, welches in dem Fahrzeug 12 genutzt wird, wobei das Fahrzeug 12 eine Steuereinheit 15, ein Modem 16 und eine Luftschnittstelle 17 umfasst. Das HMD 11 umfasst eine Luftschnittstelle 18 und eine Regeleinheit 19. Des Weiteren umfasst das System 10 einen Server 13 und eine Infrastruktur 14.

Das System 10 ist eingerichtet, über das Modem 16 einen Übermittlungsweg (Z) zur Übermittlung des zumindest einen ausgewählten VR-Inhaltes zwischen dem zumindest einen HMD 11 und dem Server 13 mit dem Cloud VR-Service 20 bereitzustellen.

Der Übermittlungsweg (Z) zeichnet sich in der vorliegenden Ausführungsform dadurch aus, dass eine Auswahl eines auf dem HMD 11 ausgewählten VR- Inhaltes über die Luftschnittstelle 18 des HMD 11 an die Luftschnittstelle 17 der Steuereinheit 15 des Fahrzeug 12 übermittelt wird.

Die Steuereinheit 15 übermittelt die Auswahl des VR-Inhaltes an das Modem 16, wobei das Modem 16 die Auswahl über die Infrastruktur 14, die in der Regel ein Funkmastsystem ist, an den Server 13 mit dem Cloud VR- Service 20 übermittelt.

Der Server 13 mit dem Cloud VR-Service 20 ist eingerichtet, basierend auf der übermittelten Auswahl des VR-Inhaltes Daten des ausgewählten VR- Inhaltes bereitzustellen und basierend auf diesen Daten zumindest ein Bild zu berechnen. Der Server 13 streamt das zumindest eine berechnete Bild über den Übermittlungsweg (Z) zurück an das HMD 11.

Insbesondere ist das System 10 eingerichtet, das zumindest eine berechnete Bild über das Modem 16 des Fahrzeuges 12 an das HMD 11 zu streamen. Dabei ist das System 10 eingerichtet, das zumindest eine Bild über den Übermittlungsweg (Z) zunächst über die Infrastruktur 14 an das Modem 16 und von dort zu der Luftschnittstelle 17 des Fahrzeuges 12 zu streamen. Die Luftschnittstelle 17 des Fahrzeuges 12 ist eingerichtet, das zumindest eine Bild an die Luftschnittstelle 18 des HMD 11 zu streamen, wobei das zumindest eine berechnete Bild über die Regeleinheit 19 dem HMD 11 zur Darstellung bereitgestellt wird.

Figur 2 zeigt eine Ausführungsform eines Verfahrens zur Übermittlung und Berechnung von VR-Inhalten in einer dynamischen Umgebung mit einem System zur Übermittlung zumindest eines ausgewählten (VR)-Inhaltes.

In einem ersten Schritt A wird ein Virtual Reality (VR)-Inhalt auf einem Head Mounted Display (HMD) ausgewählt. In der Regel ist ein VR-Inhalt eine VR- Anwendung.

In einem weiteren Schritt B wird der ausgewählte VR-Inhalt durch eine Luftschnittstelle des HMD an eine Luftschnittstelle einer Steuereinheit 15 eines Fahrzeuges signalisiert bzw. übermittelt.

In einem weiteren Schritt C wird die signalisierte Auswahl an ein Modem der Steuereinheit weitergeleitet. Die Übermittlung erfolgt dabei in der Regel über einen zumindest 5G Mobilfunkstandard. In einem weiteren Schritt D wird die Auswahl durch das Modem über eine Infrastruktur an einen Server umfassend einen Cloud VR-Service übermittelt. Dabei wird die Auswahl in der Regel über eine Infrastruktur in Form eines 5G Funkmastsystems übermittelt.

In einem weiteren Schritt E werden VR-Inhalte durch den Cloud VR-Service basierend auf der übermittelten Auswahl bereitgestellt. Die für eine VR- Anwendung benötigten Daten werden somit durch den Server bereitgestellt.

In einem weiteren Schritt F wird zumindest ein Bild basierend auf den bereitgestellten VR-Inhalten berechnet. Das bedeutet, dass die bereitgestellten Daten werden zu zumindest einem Bild prozessiert und gerendert werden.

In einem weiteren Schritt G wird das zumindest eine berechnete Bild über die Infrastruktur zu dem Modem übermittelt bzw. gestreamt. Das berechnete Bild wird in einer vorteilhaften Ausgestaltung über den 5G Funkmast an das 5G Modem in dem Fahrzeug übermittelt bzw. gestreamt.

In einem weiteren Schritt Fl wird das zumindest eine berechnete Bild an die Luftschnittstelle des Fahrzeuges weitergeleitet. Die Luftschnittstelle der Steuereinheit ist optional eine Bluetooth-Low-Energy Verbindung oder eine kabellose lokale Netzwerkverbindung.

In einem weiteren Schritt I wird das zumindest eine Bild über die Luftschnittstelle des Fahrzeuges an die Luftschnittstelle des HMD gestreamt bzw. übermittelt.

In einem weiteren Schritt J wir das zumindest eine berechnete Bild an die Regeleinheit des HMD weitergeleitet.

In einem weiteren Schritt K wird das zumindest eine berechnete Bild in der dynamischen Umgebung des Fahrzeuges während einer Fahrt über das HMD wiedergegeben. Dabei bezieht die Regeleinheit das zumindest eine berechnete Bild in die visuelle Wiedergabe bzw. Darstellung des ausgewählten VR-Inhaltes auf dem HMD ein.

Bezuqszeichenliste

10 System

11 HMD 12 Fahrzeug

13 Server

14 Infrastruktur

15 Steuereinheit

16 Modem 17 Luftschnittstelle der Steuereinheit

18 Luftschnittstelle des VR-HMD

19 Steuereinheit

20 Cloud VR-Service