Verfahren und Vorrichtung zur Posenbestimmung in einer Datenbrille

Technisches Gebiet

Die Erfindung betrifft Datenbrillen für eine Augmented-Reality-Anzeige, insbesondere zum Einsatz in einem Kraftfahrzeug. Weiterhin betrifft die Erfindung Maßnahmen zum kontaktanalogen Darstellen von Informationsobjekten auf einer Anzeigefläche der Datenbrille.

Technischer Hintergrund

Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen können Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.

Die Informationen können dem Träger der Datenbrille in der Regel kontaktanalog dargestellt werden, d.h. so dargestellt werden, dass diese als Informationsobjekt einer bestimmten zugeordneten Umgebungsposition in der Realumgebung überlagert ist bzw. an dieser orientiert ist oder dass das anzuzeigende Informationsobjekt in einer bestimmten Ausrichtung der Datenbrille bzw. deren T rägers angezeigt wird. Weiterhin kann das kontaktanaloge Informationsobjekt so dargestellt werden, dass dieses in Bezug auf das Objekt bzw. einer Umgebungsposition in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Umgebungsobjekt der Realumgebung bzw. die Umgebungsposition tatsächlich um das zusätzliche Merkmal des visuellen Informationsobjekts ergänzt wurde.

Um ein Informationsobjekt entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es jedoch notwendig, die Umgebungsposition, bezüglich der das Informationsobjekt dargestellt werden soll, und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille in der Regel fest der Datenbrillenpose zugeordnet, d.h. der Raumposition sowie die räumliche Orientierung der Datenbrille. Insbesondere sind zur ruckeifreien Darstellung von kontaktanalogen Informationsobjekten auf der Anzeigefläche der Datenbrille besondere Anforderungen an die stets zuverlässige Posenbestimmung der Datenbrille notwendig.

Die Bestimmung der Pose der Datenbrille wird aus Gründen einer möglichst latenzarmen Erfassung und schneller Posenaktualisierung in der Datenbrille häufig mithilfe einer brilleninternen Posenerkennungseinheit vorgesehen. Die Posenerkennungseinheit weist in der Regel eine Inertialsensorik und eine Recheneinrichtung, z. B. in Form eines Mikroprozessors, auf. Mithilfe der Inertialsensorik können Bewegungen in Form von Beschleunigungen erfasst und diese durch Integration in eine aktuelle Pose der Datenbrille umgerechnet werden. Derartige in der Datenbrille integrierte Posenerkennungseinheiten weisen integrationsbedingt einen zunehmenden Posenerkennungsfehler auf, der mithilfe einer extern der Datenbrille vorgesehenen Posenerkennung korrigiert werden kann.

Diese externen Posenerkennungen können beispielsweise kamerabasiert und insbesondere eine Innenraumkamera nutzen, die auf den Kopf des Trägers der Datenbrille gerichtet ist. Die Innenraumkamera erfasst den Kopf des T rägers der Datenbrille und durch Auswertung des Kamerabildes kann entweder die Pose des Kopfes ermittelt und davon die Pose der Datenbrille abgeleitet werden oder die Brillenpose der Datenbrille direkt ermittelt werden. Bei diesen sogenannten Outside- In-T racking-Systemen besteht eine Schwierigkeit darin, die außerhalb der Datenbrille ermittelte absolute Posenangabe insbesondere bei einer drahtlosen Kommunikationsverbindung mit einer ausreichend geringen Latenz an die Datenbrille zu übermitteln, sodass die Datenbrille entsprechend kontaktanaloge Darstellungen verzögerungsfrei bzw. mit einer nicht störenden Verzögerung ausgeben kann.

Bei dem Inside-out-Tracking erfasst eine Datenbrillenkamera ein in Blickrichtung des Fahrers bzw. eines Fahrzeuginsassen liegender Umfeldbereich, der Teile des Fahrzeuginnenraums und durch die transparenten Fenster auch die Fahrzeugumgebung umfasst. Inside-out Tracking gehört zu den derzeit gebräuchlichsten Trackingverfahren für Datenbrillen und arbeitet in stationären Umgebungen hinreichend gut.

Zum T racken auf Kanten oder Strukturen mit vorbestimmter fester Position im Fahrzeugkoordinatensystem kann es insbesondere bei einer Bewegung des Fahrzeugs in seiner Umgebung zu einer Fehlerkennung aufgrund sich relativ zum Fahrzeug bzw. relativ zu Teilen des Innenraums bewegenden Umgebungsobjekten kommen, die ähnliche Konturen aufweisen, die die Struktur, auf die das Inside-out- Tracking der Datenbrille ausgelegt ist. Somit ist insbesondere auf beweglichen Plattformen das Kamerabild der Datenbrillenkamera nur mit geringerer Zuverlässigkeit auswertbar, da die Datenbrillenkamera mit Objekten unterschiedliche Bewegungsgeschwindigkeiten auswerten muss, insbesondere wenn der Träger der Datenbrille zu einer Bewegung des Fahrzeugs noch eine Kopfbewegung vornimmt.

Es ist daher Aufgabe der vorliegenden Erfindung, ein Verfahren zur Verbesserung des Inside-out-Tracking der Datenbrille für deren Posenbestimmung in einem Fahrzeuginnenraum zur Verfügung zu stellen, das eine erhöhte Zuverlässigkeit aufweist. Offenbarung der Erfindung

Diese Aufgabe wird durch das Verfahren zur Bestimmung einer Pose einer Datenbrille in einem Fahrzeug gemäß Anspruch 1 sowie durch die Datenbrille gemäß dem nebengeordneten Anspruch gelöst.

Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.

Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben einer Datenbrille für die augmentierte Darstellung von Informationsobjekten auf einer Anzeigefläche abhängig von einer Datenbrillenpose in einem Fahrzeuginnenraum vorgesehen, wobei die Datenbrillenpose durch ein Inside-Out-T racking auf mindestens einen vorgesehenen Marker oder mindestens ein vorgesehenes Objekt erfolgt, wobei der mindestens eine Marker oder das mindestens eine Objekt durch ein com putergestütztes Mustererkennungsverfahren lokalisierbar sind, das auf ein Kamerabild einer Datenbrillenkamera angewendet wird, sodass die Datenbrillenpose relativ zu dem Fahrzeuginnenraum abhängig von einer Position, Größe und/oder Ausrichtung des mindestens einen lokalisierten Markers oder des mindestens einen Objekts die Datenbrillenpose bestimmbar ist, wobei für das Mustererkennungsverfahren das Kamerabild nur außerhalb eines Maskierungsbereichs berücksichtigt wird.

Der Maskierungsbereich kann so ausgebildet sein, dass dieser transparente Scheiben/Fenster und/oder bewegliche Objekte im Fahrzeuginnenraum ausschließt.

Der Maskierungsbereich kann alternativ so ausgebildet sein, dass dieser nur transparente Scheiben/Fenster umfasst.

Das obige Verfahren betrifft ein Inside-out-Tracking, bei dem eine Datenbrillenkamera ein Kamerabild aufzeichnet und dieses mithilfe einer einfachen Bildverarbeitung bzw. Kantenerkennung ausgewertet wird. Obwohl Algorithmen zur Auswertung von Kamerabildern einfache Strukturen von Markern und Objekten quasi in „Echtzeit“ erkennen können, ist die dafür benötigte Rechenkapazität dennoch erheblich, was einen erheblichen Bauraum in der Datenbrille und eine hohe Batteriekapazität erforderlich macht. Um die Verarbeitungsleistung zur Auswertung des Kamerabildes zu reduzieren, ist gemäß dem obigen Verfahren vorgesehen, das Kamerabild nur in bestimmten Bildbereichen auszuwerten. Dazu wird das Kamerabild mit einem Maskierungsbereich maskiert und nur Bilddaten des Kamerabilds aus dem Maskierungsbereich zur Auswertung verwendet.

Insbesondere kann der Maskierungsbereich aus der Innenraumgeometrie des Fahrzeugs abgeleitet werden, die durch Innenraumgeometrie-Daten eines CAD Modells des betreffenden Fahrzeugs zur Verfügung gestellt werden. Das Tracking kann dann lediglich bezüglich Strukturen von Markern und Objekten in ausgewählten Bereichen, wie z.B. im Fahrzeuginnenraum oder in der Fahrzeugumgebung, durchgeführt werden, wodurch der Rechenaufwand für das Mustererkennungsverfahren deutlich sinkt, da die großflächigen Bereiche, wie die transparenten Bereiche (Scheiben und Fenster) oder das Armaturenbrett, bei der Berechnung ausgespart werden.

Der Maskierungsbereich ergibt sich aus der Innenraumgeometrie und einer ungefähren Pose der Datenbrille, die beispielsweise aus einer zuletzt ermittelten Pose der Datenbrille einer initialen Pose und / oder basierend auf der Auswertung von Bewegungsinformationen aus einer Inertialsensorik abgeleitet werden kann.

So kann der Maskierungsbereich transparente Bereiche und bewegliche Objekte, wie z.B. das Lenkrad, im Fahrzeuginnenraum umfassen, sodass das Mustererkennungsverfahren nur feststehende Bereiche im Fahrzeuginnenraum berücksichtigen. Dadurch kann das Inside-out-Tracking die Datenbrillenpose in einem Fahrzeugkoordinatensystem ermitteln. Basierend auf der ungefähren Datenbrillenpose und den Innenraumgeometrie-Daten des Innenraums kann ein Maskierungsbereich für die Auswertung des Kamerabilds der Datenbrillenkamera ermittelt werden, der transparente Scheiben des Fahrzeugs sowie bewegliche Objekte, wie beispielsweise den manuellen Fahrstufenwahlschalter oder das Lenkrad ausblendet, so dass nur ortsfest im Fahrzeuginnenraum angebrachte Objekte für die Posenbestimmung verwendet werden können. Dies ermöglicht eine genaue Bestimmung der Datenbrillenpose zum Zeitpunkt der Erfassung des Kamerabilds bezogen auf ein Fahrzeugkoordinatensystem.

Alternativ kann der Maskierungsbereich alle Strukturen und Objekte im Fahrzeuginnenraum umfassen, so dass das Mustererkennungsverfahren nur Bereiche außerhalb des Fahrzeugs berücksichtigt, die durch Fahrzeugöffnungen und transparente Bereiche, wie Fenster und Scheiben, wahrgenommen werden können. Insbesondere kann dadurch das Inside-out-Tracking die Datenbrillenpose in einem Umgebungskoordinatensystem, d.h. bezogen auf die fahrzeugexterne Umgebung, ermitteln. Somit kann der Maskierungsbereich auch nur die durch die Scheiben des Fahrzeuginnenraums sichtbaren Bereiche der äußeren Fahrzeugumgebung auswählen. Dadurch ist ein Tracking der Datenbrille auf sich im Umgebungsbereich des Fahrzeugs befindliche Marker oder Objekte möglich, sodass ein Tracking eine Datenbrillenpose auf ein umgebungsfestes (weltfestes) Koordinatensystem (Umgebungskoordinatensystem) möglich ist.

Das obige Verfahren ermöglicht eine erhebliche Reduzierung der für die Auswertung des Kamerabilds benötigten Rechenleistung und kann somit dazu beitragen, eine Posenermittlung in der Datenbrille effizienter und zuverlässiger auszubilden.

Es kann vorgesehen sein, dass die Innenraumgeometrie-Daten bei oder unmittelbar nach der Inbetriebnahme der Datenbrille in dem Fahrzeug von einem Assistenzsystem des Fahrzeugs an die Datenbrille übermittelt werden, wobei die Innenraumgeometrie-Daten die Innenraumgeometrie des betreffenden Fahrzeugs angeben.

Der Maskierungsbereich kann basierend auf einer initial vorgegebenen Datenbrillenpose oder einer zuletzt ermittelten Datenbrillenpose auf das Kamerabild angewendet werden. Dazu wird der Maskierungsbereich so über den Umfeldbildausschnitt des Kamerabilds gelegt, wie es dessen Orientierung entspricht. Beispielsweise wird der Teil des Maskierungsbereichs, der ein bewegliches Lenkrad maskieren soll, so über auf das Kamerabild angewendet, dass das in dem Kamerabild dargestellte Lenkrad durch den betreffenden Teil des Maskierungsbereichs maskiert ist.

Gemäß einem weiteren Aspekt ist eine Datenbrille für die augmentierte Darstellung von Informationsobjekten vorgesehen, umfassend: eine Anzeigefläche, die ausgebildet ist, um ein Informationsobjekt augmentiert darzustellen; eine Datenbrillenkamera, die ausgebildet ist, ein Kamerabild mit mindestens einem vorgesehenen Marker oder mindestens einem vorgesehenen Objekt zu erfassen; eine Steuereinheit, die ausgebildet ist, o um das Kamerabild mit einem Maskierungsbereich zu maskieren und das maskierte Kamerabild mithilfe eines com putergestützten Mustererkennungsverfahrens auszuwerten, um mindestens einen Marker oder mindestens ein Objekt zu lokalisierten, o um durch ein Inside-Out-T racking abhängig von einer Position, Größe und/oder Ausrichtung abhängig von dem mindestens einen lokalisierten Marker oder dem mindestens einen lokalisierten Objekt in dem maskierten Kamerabild eine Datenbrillenpose zu ermitteln; wobei für das Mustererkennungsverfahren das Kamerabild nur außerhalb eines Maskierungsbereichs berücksichtigt wird; und o um abhängig von der Datenbrillenpose das Informationsobjekt auf der Anzeigeeinheit auszugeben.

Kurzbeschreibung der Zeichnung

Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen: Figur 1 eine schematische Darstellung eines Anzeigesystems mit einer

Datenbrille zum Einsatz in einem Kraftfahrzeug;

Figur 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum

Bestimmen einer Datenbrillenpose einer Datenbrille;

Figuren 3a und 3b Darstellungen eines Kamerabilds von einem Fahrzeuginnenraum mit entsprechend gekennzeichneten Maskierungsbereichen.

Beschreibung von Ausführungsformen

Figur 1 zeigt eine schematische Darstellung eines Anzeigesystems 1 , insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Assistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Assistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren. Über die Kommunikationsverbindung können beispielsweise Daten über kontaktanalog in der Datenbrille anzuzeigende Informationsobjekte übertragen werden

Das Assistenzsystem 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere ortsfest in dem Kraftfahrzeug vorgesehen sein. Das Assistenzsystem 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und dem Assistenzsystem 2 ermöglicht. Das Assistenzsystem 2 kann weiterhin mit einem Umgebungserfassungssystem 22, das eine oder mehrere Kameras aufweist, verbunden sein. Das Umgebungserfassungssystem 22 kann die Umgebung des Kraftfahrzeugs erfassen. Die eine oder die mehreren Kameras können z. B. eine RGB-, IR-, Fisheye-Kamera, einen Dynamic Vision Sensor und dergleichen umfassen.

Das Assistenzsystem 2 kann eine Prozessoreinheit 23 aufweisen, durch die abhängig von einer geografischen Position des Kraftfahrzeugs und abhängig von einem durch das Umgebungserfassungssystem 22 erfassten Umgebungsabbild in an sich bekannter Weise mindestens ein virtuelles Informationsobjekt zur Anzeige in der Datenbrille 3 generiert und/oder bestimmt werden. Die Position des mindestens einen virtuellen Informationsobjekts kann bezüglich eines fahrzeugfesten oder weltfesten Koordinatensystems (Fahrzeugkoordinatensystem bzw. Umgebungskoordination) angegeben. Zur Darstellung in der Datenbrille 3 wird eine Objektinformation generiert, die entsprechend die Position des mindestens einen virtuellen Informationsobjekts, Objektinhalt und Objektart der Darstellung in der Datenbrille 3 angibt.

Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, sodass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.

Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Informationsobjekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.

Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann ein virtuelles Informationsobjekt, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Grafik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.

Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die transparenten Anzeigeflächen 35 der Sichtscheiben 32, sodass die Blickrichtung des Benutzers, die durch eine Augenposition und eine optische Blickachse (Augenachse) vorgegeben ist, einen festen Bezug zur Ausrichtung der Datenbrille 3 aufweist. Dieser Bezug hängt individuell von dem Träger der Datenbrille 3 ab und wird durch eine Kalibrierungsinformation angegeben.

Zur Anzeige von Informationsobjekten können entsprechende Objektinformationen in Form von Objektdaten von dem Assistenzsystem 2 an die Datenbrille 3 über die Kommunikationsverbindung 4 übermittelt oder in sonstiger Weise in der Datenbrille 3 bereitgestellt werden. Die Objektdaten geben dabei die Art (Form, Größe, Orientierung) des Informationsobjekts, wie z.B. ein Textobjekt, ein Icon, ein Symbol oder eine sonstige Kennzeichnung mit einer Objektposition oder einem Anzeigebereich an, an dem/an denen das Informationsobjekt auf der Anzeigefläche 35 angezeigt werden soll.

Zur Erkennung der Datenbrillenpose der Datenbrille 3 kann eine Datenbrillenkamera 40 vorgesehen sein, die beim Tragen der Datenbrille 3 in Blickrichtung des Trägers der Datenbrille 3 ausgerichtet ist und zumindest einen Teil des Blickfelds des Trägers der Datenbrille 3 erfassen kann. Es kann weiterhin ein Brillen-Inertialsensor 38 vorgesehen sein, der zum Beispiel in Form eines 6-DOF-lnertialsensors ausgebildet ist. Dieser stellt eine Bewegungsangabe in Form von einer bis drei translatorischen und/oder einer bis drei rotatorischen Beschleunigungen zur Verfügung.

Mithilfe einer Steuereinheit 37 werden Objektinformationen über eine Kommunikationseinrichtung 39 von dem Assistenzsystem 2 empfangen und verarbeitet, sodass diese in dem jeweiligen Blickwinkelbereich, in den der Benutzer der Datenbrille 3 blickt, angezeigt werden. Der Blickwinkelbereich wird abhängig von der Datenbrillenpose der Datenbrille 3 bestimmt.

Figur 2 zeigt ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Ausführung in der Datenbrille 3, um eine Datenbrillenpose, basierend auf einem Inside-out-Tracking zu ermitteln.

Beim Inside-out-Tracking wird mit der Datenbrillenkamera 40 ein Kamerabild erfasst, das zumindest teilweise dem Blickfeld in Blickrichtung des T rägers der Datenbrille 3 entspricht. Damit wird eine Posenbestimmung der Datenbrille 3, d. h. eine Position und Orientierung der Datenbrille 3 bezogen auf ein brillenfernes Koordinatensystem durchgeführt. Die Bestimmung der Datenbrillenpose kann relativ zum Fahrzeug, d. h. bezüglich des Fahrzeugkoordinatensystems oder relativ zur Umgebung, d. h. bezüglich des Umgebungskoordinatensystems (weltfesten Koordinatensystem), erfolgen.

In Schritt S1 werden nach dem Koppeln der Datenbrille 3 mit dem Assistenzsystem 2 zunächst die Daten für das betreffende Fahrzeug, in dem sich der Träger der Datenbrille 3 befindet, ausgewählt bzw. bereitgestellt. Die Daten beschreiben die Innenraumgeometrie des Fahrzeugs und können CAD-Daten entsprechen oder aus diesen abgeleitet werden. Diese Innenraumgeometrie-Daten geben die Strukturen im Innenraum des Fahrzeugs an und sind auf den Typ des Fahrzeugs einschließlich Sonderausstattung des betreffenden Fahrzeugs angepasst. Weiterhin geben die Innenraumgeometrie-Daten an, welche der Objekte und Strukturen im Innenraum des Fahrzeugs fest in dem Fahrzeug angeordnet sind und welche beweglich sind. Derartige Strukturen und Objekte können beispielsweise der Gangwahlschalter, das Lenkrad oder ein Innenspiegel sein. Weiterhin geben die Innenraumgeometrie-Daten an, in welchem Bewegungsbereich sich die beweglichen Objekte und Strukturen bewegen können.

In Schritt S2 wird eine ungefähre Datenbrillenpose vorgegeben. Die Datenbrillenpose kann initial einer ungefähren Position der Datenbrille entsprechen, z. B. vorgegeben durch einen auf einem Fahrzeugsitz sitzenden Träger der Datenbrille 3. Weiterhin kann auch eine zuletzt bestimmte Datenbrillenpose verwendet werden. Zusätzlich kann die zuletzt bestimmte Datenbrillenpose mit Bewegungsinformationen z. B. ermittelt mit dem Inertialsensor aktualisiert werden, um eine ungefähre Datenbrillenpose zu erhalten.

In Schritt S3 wird mithilfe der Datenbrillenkamera 40 ein Kamerabild erfasst. Bei üblicher Blickrichtung des Trägers der Datenbrille 3 erfasst die Datenbrillenkamera 40 den Fahrzeuginnenraum mit Objekten und Strukturen des Fahrzeuginnenraums wie beispielsweise das Armaturenbrett das Lenkrad und dergleichen sowie Fenster und Scheiben und durch die Fenster und Scheiben in der Umgebung des Fahrzeugs befindliche Umgebungsobjekte. Die übliche Auswertung des Kamerabilds mithilfe eines com putergestützten Mustererkennungsverfahrens kann bei sich relativ zum Fahrzeug bewegenden Umgebungsobjekten gestört werden und ein Tracking der Datenbrillenpose erschweren.

In Schritt S4 wird basierend auf den Innenraumgeometrie-Daten und der ungefähren Datenbrillenpose ein Maskierungsbereich im Blickfeld der Datenbrille 3 ermittelt, der durch die Fahrzeugkontur des Fahrzeuginnenraums vorgegeben ist. Die Fahrzeugkontur des Fahrzeuginnenraums wird aus den Innenraumgeometrie-Daten bestimmt. Je nach Trackingziel, d. h. ob auf das Fahrzeugkoordinatensystem oder das Umgebungskoordinatensystem getrackt werden soll, kann der Maskierungsbereich transparente Bereiche, wie Scheiben und Fenster, sowie bewegliche Objekte und Strukturen des Fahrzeuginnenraums nebst deren Bewegungsbereichen maskieren bzw. alle Objekte und Strukturen des Fahrzeuginnenraums maskieren. Die maskierten Bereiche werden aus dem Kamerabild entfernt bzw. die Erkennung mithilfe des Mustererkennungsverfahrens für die maskierten Bereiche deaktiviert.

In den Figuren 3a und 3b sind beispielhaft das Blickfeld einer Datenbrillenkamera 40 dargestellt, wobei die jeweiligen Maskierungsbereiche M schraffiert, gekennzeichnet sind. Figur 3a zeigt als schraffierte Bereiche die transparenten Elemente des Fahrzeuginnenraums wie Scheiben und Fenster sowie die beweglichen Objekte und Strukturen des Fahrzeuginnenraums, wie beispielsweise das Lenkrad und der Gangwahlschalter. Die übrigen fest im Fahrzeuginnenraum angeordneten Bereiche werden nicht maskiert und werden damit durch das Mustererkennungsverfahren berücksichtigt. Ein Marker 42, der sich an der A-Säule liegt dann außerhalb des Maskierungsbereichs M und kann zur Posenbestimmung der Datenbrille 3 verwendet werden.

In Figur 3b werden als Maskierungsbereiche alle Elemente des Fahrzeuginnenraums maskiert und lediglich die transparenten Bereiche, wie beispielsweise die Windschutzscheibe und die Seitenscheiben, durch die die Fahrzeugumgebung wahrgenommen werden kann, nicht maskiert. Somit kann ein Inside- Out-Tracking der Datenbrille 3 auf Umgebungsobjekte erfolgen, ohne dass das entsprechende Mustererkennungsverfahren Strukturen und Objekte des Fahrzeuginnenraums berücksichtigt. Ein Umgebungsobjekt 43, das sich in der Fahrzeugumgebung befindet, liegt dann außerhalb des Maskierungsbereichs M und kann zur Posenbestimmung der Datenbrille 3 verwendet werden.

Somit ergibt sich für das Kamerabild des Blickfelds des Benutzers ein Maskierungsbereich, in dem nur Teile für eine nachfolgende Auswertung berücksichtigt werden. In Schritt S5 wird das durch den Maskierungsbereich maskierte Kamerabild mithilfe an sich bekannter com putergestützter Mustererkennungsverfahren ausgewertet. Diese können Strukturen und Kanten von bekannten Objekten oder Markern erkennen und aus dessen Position, Größe und/oder Ausrichtung zu einem Brillenkoordinatensystem auf die Datenbrillenpose in an sich bekannter Weise geschlossen werden. Je nach Anwendung erfolgt die Ermittlung der Datenbrillenpose bezogen auf ein Fahrzeugkoordinatensystem oder ein Umgebungskoordinatensystem entsprechend der Wahl der Maskierungsbereiche M.

Die so ermittelte Datenbrillenpose kann in Schritt S6 zur Positionierung und/oder Ausgestaltung Anzeige von kontaktanalogen Informationsobjekten auf der Anzeigefläche 35 der Datenbrille 3 in an sich bekannter Weise verwendet werden.

Anschließend wird zu Schritt S2 zurückgesprungen und die so ermittelte Datenbrillenpose als Grundlage für die erneute Ermittlung einer Datenbrillenpose für ein nachfolgend erfasstes Kamerabild verwendet werden.

BezugszeichenSiste

Anzeigesystem

Assistenzsystem

Datenbrille

Kommunikationsverbindung

Kommunikationseinheit

Umgebungserfassungssystem

Prozessoreinheit

Rahmen

Sichtscheiben

Brillenbügel

Anzeigefläche

Anzeigeeinrichtung

Steuereinheit

Brillen-Inertialsensor

Kommunikationseinrichtung

Datenbrillenkamera

Fahrzeuginnenraum

Marker

Umgebungsobjekt