Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Segmentierung von Bildern einer beweglichen Kamera und zur Ermittlung der Pose einer beweglichen Kamera.

Tragbare Vorrichtungen zur Erweiterung der Realitätswahrnehmung eines Nutzers, wie z.B. eine Brille mit Einblendungen bezüglich einer durch die Brille betrachteten Umgebung, können auch in einem Fahrzeug verwendet werden, z.B. um einem Insassen des Fahrzeugs weitergehende Informationen bezüglich des Verkehrs, weitergehende Informationen bezüglich des Innenraum des Fahrzeugs und/oder Warnhinweise zu geben. Dabei sollen nach Möglichkeit Informationen und/oder Hinweise ausgegeben werden, die mit ein oder mehreren Objekten in Verbindung stehen, die von dem Nutzer der Vorrichtung tatsächliche betrachtet werden.

Eine Vorrichtung zur Erweiterung der Realitätswahrnehmung, z.B. eine

Datenbrille, umfasst typischerweise eine Kamera, die eine durch den Nutzer betrachtete Umgebung erfasst. Diese Kamera ist meist beweglich angeordnet, so dass unterschiedliche, vom Nutzer betrachtete, Umgebungen erfasst werden können. Beispielsweise umfasst eine Datenbrille typischerweise eine Kamera, die eine Umgebung vor der Datenbrille erfassen kann. Diese Kamera bewegt sich mit dem Kopf des Nutzers der Datenbrille. Um ein Objekt in der betrachteten Umgebung eines Nutzers auf Basis von Bilddaten, die von der Kamera erfasst wurden, eindeutig positionieren und identifizieren zu können, muss typischerweise zunächst die Pose der Kamera, d.h. die Position der Kamera im 3-dimensionalen (3D) Raum und die Orientierung der Kamera im 3D Raum, ermittelt werden. Die Ermittlung der Pose der Kamera kann anhand der Detektion von ein oder mehreren bekannten Objekten innerhalb der Bilddaten erfolgen. Insbesondere können bekannte Merkmale (z.B.: Feature Punkte) oder Objekte im Innenraum eines Fahrzeugs (z.B. ein bekanntes CAD (Computer Aided Design) Modell des Innenraums des Fahrzeugs) dazu verwendet werden, die Pose der Kamera zu ermitteln.

Das vorliegende Dokument befasst sich mit der technischen Aufgabe, die Pose einer beweglichen Kamera in einem Fahrzeug mit einer hohen Genauigkeit zu bestimmen. In diesem Zusammenhang befasst sich das vorliegende Dokument insbesondere mit der technischen Aufgabe, in präziser Weise Bilder, die durch die bewegliche Kamera erfasst wurden, in einen Vordergrund-Bereich und in einen Hintergmnd-Bereich zu segmentieren. Der Vordergrund-Bereich (der primäre den Innenraum des Fahrzeugs umfasst) kann dann für die Ermittlung der Pose der Kamera verwendet werden.

Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben.

Gemäß einem Aspekt wird ein Verfahren zur Segmentierung einer ersten Szene (bzw. eines ersten Bildes) aus einer Sequenz von Szenen (bzw. aus einer Sequenz von Bildern) beschrieben. Insbesondere ist das Verfahren darauf ausgerichtet, die erste Szene in einen Vordergrund- Bereich und in einen Hintergrund-Bereich aufzuteilen. Mit anderen Worten, Pixel oder Bildpunkte der ersten Szene sollen entweder einem Vordergrund- Bereich oder einem Hintergrund-Bereich zugeordnet werden. Dabei kann der Vordergrund-Bereich primär den

Innenbereich eines Fahrzeugs umfassen und der Hintergrund-Bereich kann primär eine äußere Umgebung des Fahrzeugs umfassen. Mit anderen Worten, der Vordergrund-Bereich kann Elemente / Objekte (z.B. Teile des Fahrzeugs) umfassen, die sich mit dem Fahrzeug bewegen. Anderseits kann der

Hintergrundbereich Elemente / Objekte umfassen, die sich nicht mit dem

Fahrzeug bewegen (z.B. eine äußere Umgebung des Fahrzeugs). Die Sequenz von Szenen wurde von einer Kamera (z.B. einer Mono-Kamera oder einer Stereo-Kamera) eines Fahrzeugs, z.B. von einer Kamera in oder an einem Fahrzeug, erfasst. Das Fahrzeug umfasst z.B. ein Straßenfahrzeug, etwa einen Personenkraftwagen oder einen Lastkraftwagen. Die Kamera kann beweglich im Innenraum des Fahrzeugs und/oder hinter einer Windschutzscheibe eines

Fahrzeugs (z.B. eines Motorrads) angeordnet sein. Beispielsweise kann die Kamera an einem Kopf eines Fahrers des Fahrzeugs (z.B. an einer Datenbrille, die der Fahrer des Fahrzeugs trägt) angeordnet sein. Die Kamera kann eingerichtet sein, Szenen bzw. Bilder zu erfassen, die sowohl einen Teil des Innenraums der Fahrzeugs (bzw. einen Teil des Fahrzeugs) als auch einen Teil einer äußeren Umgebung des Fahrzeugs umfassen. Die äußere Umgebung des Fahrzeugs kann z.B. durch ein Fenster (z.B. durch eine Windschutzscheibe) des Fahrzeugs erfasst werden. Die erste Szene kann somit einen inneren Teil-Bereich umfassen, in dem ein Innenbereich des Fahrzeugs und/oder Teile des Fahrzeugs dargestellt sind, und einen äußeren Teil-Bereich umfassen, in dem eine äußerere Umgebung des Fahrzeugs dargestellt ist.

Das Verfahren umfasst das Ermitteln von einem optischen Fluss, insbesondere von optischen Flussvektoren, der ersten Szene, auf Basis der Sequenz von Szenen. Dabei können der optische Fluss, insbesondere die optischen Flussvektoren, der ersten Szene für eine Vielzahl von Features (bzw. für eine Vielzahl von markanten Bildpunkten) der ersten Szene ermittelt werden. Insbesondere können der optische Fluss, insbesondere die Flussvektoren, für sogenannte ORB

(Oriented FAST and Rotated BRIEF) Feature ermittelt werden. Dabei können der optische Fluss, insbesondere die optischen Flussvektoren, der ersten Szene in effizienter und robuster Weise mittels einer hierarchischen Vorgehensweise, z.B. mittels der hierarchischen Lucas-Kanade Methode, ermittelt werden.

Beispielsweise können der optische Fluss, insbesondere die optischen

Flussvektoren, der ersten Szene in hierarchischer Weise für unterschiedliche Auflösungen der Vielzahl von Features ermittelt werden. Dabei kann die Auflösung der Vielzahl von Features nach und nach erhöht werden.

Das Verfahren umfasst weiter das Ermitteln von statistischen Größen des optischen Flusses, d.h. insbesondere der optischen Flussvektoren, in

unterschiedlichen Teil-Bereichen der ersten Szene. Die statistische Größe von optischen Flussvektoren in einem Teil-Bereich kann z.B. einen mittleren Betrag bzw. eine mittlere Größe / Stärke der optischen Flussvektoren in dem Teil-Bereich umfassen. Alternativ oder ergänzend kann die statistische Größe ein

Homogenitätsmaß (z.B. eine Varianz oder eine Standardabweichung) der optischen Flussvektoren in dem Teil-Bereich umfassen. Die Teil-Bereiche können z.B. einem vorläufigen oder einem endgültigen Hintergrund-Bereich und

Vordergrund-Bereich der ersten Szene entsprechen.

Außerdem umfasst das Verfahren das Bestimmen, auf Basis der statistischen Größen und ggf. auf Basis der unterschiedlichen Teil-Bereiche, einer Trennlinie zwischen einem Vordergrund- Bereich und einem Hintergrund- Bereich der ersten Szene. Mit anderen Worten, anhand der statistischen Größen kann der Verlauf einer Trennlinie ermittelt werden, welche die erste Szene in einen Vordergrund- Bereich und in einen Hintergrund- Bereich aufteilt. Dabei umfasst das Bestimmen der Trennlinie das Ermitteln, auf Basis der statistischen Größen, von einem Indikator dafür, dass und/oder ob und/oder in welchem Ausmaß und/oder inwieweit der optische Fluss, d.h. insbesondere die optischen Flussvektoren, im Hintergrund-Bereich auf eine Fortbewegung des Fahrzeugs zurückzuführen ist bzw. sind.

Das Verfahren ermöglicht somit, anhand der Analyse des optischen Flusses (d.h.

insbesondere der Flussvektoren) und anhand der Tatsache, dass einige der Flussvektoren (d.h. insbesondere die Flussvektoren, die auf Feature im äußeren Teil-Bereich der ersten Szene zurückzuführen sind) durch eine Fortbewegung des Fahrzeugs bewirkt werden, eine effiziente und robuste Segmentiemng einer Szene in einen Vordergrund-Bereich und in einen Hintergrund-Bereich. Diese Segmentierung kann z.B. dazu verwendet werden, die Pose der z.B. beweglichen Kamera im Fahrzeuginnenraum in präziser Weise zu bestimmen.

Der Indikator dafür, dass und/oder ob und/oder in welchem Ausmaß und/oder inwieweit der optische Fluss, d.h. insbesondere die Flussvektoren, im

Hintergrund-Bereich auf eine Fortbewegung des Fahrzeugs zurückzuführen ist bzw. sind, kann ein Abstandsmaß umfassen, welches einen Abstand einer statistischen Größe der optischen Flussvektoren im Vordergrund-Bereich von einer entsprechenden statistischen Größe der optischen Flussvektoren im

Hintergrund-Bereich anzeigt. Beispielsweise kann die Trennlinie derart ermittelt werden, dass das Abstandmaß vergrößert (ggf. maximiert) wird. Die Verwendung eines Abstandsmaßes als Indikator dafür, ob die Flussvektoren im Hintergrund- Bereich auf eine Fortbewegung des Fahrzeugs zurückzuführen sind, beruht auf der Beobachtung, dass ein statistisches Verhalten der Flussvektoren im Innenraum des Fahrzeugs bzw. an Teilen des Fahrzeugs signifikant von einem statistischen Verhalten der Flussvektoren in der äußeren Umgebung des Fahrzeugs abweicht. Durch eine Klassifizierung der Flussvektoren und der entsprechenden Bildpunkte in Abhängigkeit von dem Abstandsmaß kann eine robuste und präzise Aufteilung der ersten Szene in einen Vordergrund- Bereich und in einen Hintergrund-Bereich bewirkt werden.

Das Abstandsmaß kann eine Differenz der entsprechenden statistischen Größen umfassen. Beispielsweise kann das Abstandmaß eine Differenz zwischen dem mittleren Betrag der optischen Flussvektoren im (ggf. vorläufigen) Vordergrund- Bereich und dem mittleren Betrag der optischen Flussvektoren im (ggf.

vorläufigen) Hintergrund-Bereich umfassen. Dieses Abstandsmaß nutzt die

Tatsache, dass bei einer Fahrt des Fahrzeugs die Flussvektoren im äußeren Teil- Bereich der ersten Szene typischerweise einen größeren Betrag aufweisen als im inneren Teil-Bereich. Das Abstandsmaß (insbesondere ein Wert des

Abstandsmaßes) ist somit ein Indikator dafür, dass bzw. ob bzw. in welchem Ausmaß die Flussvektoren des (ggf. vorläufigen) Hintergrund-Bereichs auf eine Fortbewegung des Fahrzeugs zurückzuführen sind. Alternativ oder ergänzend kann das Abstandsmaß eine Differenz zwischen dem Homogenitätsmaß der optischen Flussvektoren im (ggf. vorläufigen)

Vordergrund-Bereich und dem Homogenitätsmaß der optischen Flussvektoren im (ggf. vorläufigen) Hintergrund-Bereich umfassen. Dieses Abstandsmaß nutzt die Tatsache, dass bei einer Fahrt des Fahrzeugs die Flussvektoren im äußeren Teil- Bereich der ersten Szene typischerweise substantiell inhomogener sind als im inneren Teil-Bereich. Das Abstandsmaß (insbesondere ein Wert des

Abstandsmaßes) ist somit ein Indikator dafür, dass bzw. ob bzw. in welchem Ausmaß die Flussvektoren des (ggf. vorläufigen) Hintergrund-Bereichs auf eine Fortbewegung des Fahrzeugs zurückzuführen sind.

Das Abstandsmaß kann z.B. eine Kombination (z.B. eine gewichtete Summe) der o.g. Differenzen umfassen. Durch eine solche Kombination kann die Genauigkeit und die Robustheit einer Segmentierung weiter verbessert werden.

Das Verfahren kann das Bestimmen eines vorläufigen Verlaufs der Trennlinie umfassen. Auf Basis des vorläufigen Verlaufs der Trennlinie kann die erste Szene in einen vorläufigen Vordergrund-Bereich und in einen vorläufigen Hintergrund-Bereich aufgeteilt werden. Es können dann eine statistischen Größe der optischen

Flussvektoren im vorläufigen Vordergrund-Bereich und eine entsprechende statistischen Größe der optischen Flussvektoren im vorläufigen Hintergrund- Bereich ermittelt werden. Desweiteren kann ein Wert des Indikators auf Basis der ermittelten statistischen Größen für den vorläufigen Vordergrund-Bereich und für den vorläufigen Hintergrund-Bereich ermittelt werden. Der Verlauf der Trennlinie kann dann derart angepasst werden, dass der Wert des Indikators verbessert (ggf. optimiert, d.h. maximiert oder minimiert) wird. Die (endgültige) Trennlinie zwischen dem (endgültigen) Vordergrund-Bereich und dem (endgültigen) Hintergrund-Bereich kann insbesondere in iterativer Weise (durch Wiederholung der o.g. Schritte) bestimmt werden. Der Indikator kann dabei als

Optimierungskriterium verwendet werden und durch die Iterationen kann ein Wert des Indikators (d.h. ein Wert des Optimierungskriteriums) verbessert (ggf. optimiert) werden. Somit kann eine robuste Segmentierung der ersten Szene erfolgen. Bei der Bestimmung der Trennlinie können ein oder mehrere Bedingungen bezüglich der Trennlinie berücksichtigt werden. Durch die Bedingungen können die Effizienz und die Robustheit des Verfahrens erhöht werden. Durch die Bedingungen kann die Tatsache berücksichtigt werden, dass bei Fahrzeugen eine Trennung zwischen Fenstern (d.h. äußerer Teil-Bereich der ersten Szene) und Innenraum (d.h. innerer Teil-Bereich der ersten Szene) typischerweise horizontal verläuft. Die Trennlinie kann z.B. derart ermittelt werden, dass die Trennlinie für jeden Punkt auf einer horizontalen Achse der ersten Szene genau einen Punkt auf einer vertikalen Achse der ersten Szene aufweist. Mit anderen Worten, die Trennlinie kann derart ermittelt werden, dass die Trennlinie für jeden Wert auf der horizontalen Achse genau einen Wert auf der vertikalen Achse annimmt.

Desweiteren kann die Trennlinie derart ermittelt werden, dass der Betrag einer mittleren Steigung der Trennlinie entlang der horizontalen Achse kleiner als oder gleich wie ein vordefinierter Steigungs-Schwellenwert ist. Der Steigungs- Schwellenwert kann z.B. bei null liegen. So kann eine Trennlinie ermittelt werden, die im Mittel horizontal durch die erste Szene verläuft. Andererseits kann bei der Ermittlung der Trennlinie festgelegt werden, dass die Trennlinie im gesamten Bereich horizontal durch die erste Szene verläuft. Außerdem kann festgelegt werden, dass der Verlauf der Trennlinie zumindest abschnittsweise stetig ist.

Das Verfahren kann weiter umfassen, das Ermitteln einer Fahrgeschwindigkeit des Fahrzeugs. Der Indikator dafür, dass und/oder ob und/oder in welchem Ausmaß und/oder inwieweit die Flussvektoren im Hintergrund-Bereich auf eine Fortbewegung des Fahrzeugs zurückzuführen sind, kann in Abhängigkeit von der Fahrgeschwindigkeit des Fahrzeugs ermittelt werden. Beispielsweise kann eine Gewichtung zwischen dem Abstandsmaß bezüglich des mittleren Betrags und dem Abstandsmaß bezüglich des Homogenitätsmaßes in einem kombinierten Indikator in Abhängigkeit von der Fahrgeschwindigkeit des Fahrzeugs verändert werden. Insbesondere kann mit sinkender Fahrgeschwindigkeit das Gewicht auf das Abstandsmaß bezüglich des Homogenitätsmaßes verlagert werden (und umgekehrt). Durch die Berücksichtigung der Fahrgeschwindigkeit bei der Segmentierung kann die Genauigkeit und die Robustheit der Segmentierung weiter erhöht werden.

Die Trennlinie kann derart bestimmt werden, dass der Vordergrund-Bereich einen kleineren Außen-Anteil aufweist als der Hintergrund-Bereich. Dabei kann der Außen- Anteil den Anteil eines Bereichs der ersten Szene anzeigen, der dem äußeren Teil-Bereich der ersten Szene entspricht. Alternativ oder ergänzend kann der Außen-Anteil den Anteil von Flussvektoren anzeigen, der auf eine

Fortbewegung des Fahrzeugs zurückzuführen ist.

Gemäß einem weiteren Aspekt wird ein Verfahren zur Ermittlung einer Pose einer Kamera beschrieben. Die Kamera ist dabei beweglich im Innenraum eines Fahrzeugs oder am Fahrzeug angeordnet (z.B. in einer Datenbrille eines Fahrers des Fahrzeugs). Insbesondere kann die Kamera derart angeordnet sein, dass eine von der Kamera erfasste Szene Teile des Fahrzeugs und Teile einer Umgebung des Fahrzeugs umfasst.

Das Verfahren umfasst das Erfassen einer Sequenz von Szenen mittels der Kamera. Außerdem umfasst das Verfahren das Ermitteln eines Vordergrund- Bereichs einer ersten Szene aus der Sequenz von Szenen. Der Vordergrund- Bereich kann dabei gemäß des in diesem Dokument beschriebenen Verfahrens zur Segmentierung einer Szene ermittelt werden. Außerdem umfasst das Verfahren das Detektieren von einem oder mehreren Referenzpunkten im Vordergrund- Bereich der ersten Szene sowie das Ermitteln der Pose der Kamera anhand des oder der detektierten Referenzpunkte. Durch die Beschränkung der Recherche von ein oder mehreren Referenzpunkten auf den Vordergrund-Bereich kann die Genauigkeit der ermittelten Pose erhöht werden.

Gemäß einem weiteren Aspekt wird eine Steuereinheit beschrieben, die eingerichtet ist, ein oder mehrere der in diesem Dokument beschriebenen Verfahren auszuführen. Dabei kann es sich z.B. um die Steuereinheit einer

Vorrichtung zur Erweiterung der Realitätswahrnehmung (z.B. einer Datenbrille) handeln. Die Steuereinheit kann dabei eingerichtet sein, zu ermitteln, ob sich die Vorrichtung zur Erweiterung der Realitätswahrnehmung in einem Fahrzeug befindet. Ist dies der Fall, so kann eines der in diesem Dokument beschriebenen Verfahren ausgeführt werden.

Gemäß einem weiteren Aspekt wird eine Vorrichtung zur Erweiterung der Realitätswahrnehmung (z.B. eine Datenbrille) beschrieben, die die in diesem Dokument beschriebene Steuereinheit umfasst.

Gemäß einem weiteren Aspekt wird ein Fahrzeug (z.B. ein Personenkraftwagen, ein Lastkraftwagen oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Steuereinheit umfasst. Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät) ausgeführt zu werden, und um dadurch das in diesem

Dokument beschriebene Verfahren auszuführen. Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das

Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen. Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren,

Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Desweiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtung und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Anspräche in vielfältiger Weise miteinander kombiniert werden.

Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

Figur la eine Frontansicht einer beispielhaften Vorrichtung zur Erweiterung der Realitäts Wahrnehmung in einem Fahrzeug;

Figur lb ein Seitenansicht einer beispielhaften Vorrichtung zur Erweiterung der Realitätswahrnehmung in einem Fahrzeug;

Figur 2 eine beispielhafte Szene, welche durch eine Kamera der Vorrichtung zur Erweiterung der Realitätswahrnehmung erfasst wurde;

Figur 3 beispielhafte optische Flussvektoren einer Sequenz von erfassten Szenen; Figur 4 eine beispielhafte Trennlinie zwischen einem Vordergrund-Bereich und einem Hintergrund-Bereich; und

Figur 5 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Vordergrund / Hintergrund Segmentierung einer erfassten Szene.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der

Ermittlung der Pose einer Kamera einer Vorrichtung zur Erweiterung der Realitätswahmehmung eines Nutzers. In diesem Zusammenhang befasst sich das vorliegende Dokument insbesondere mit der Segmentiemng von Bildern, die von der Kamera erfasst wurden.

Fig. la zeigt eine beispielhafte Vorrichtung 100 zur Erweiterung der

Realitätswahmehmung (Augmented Reality) in einer Frontansicht. Insbesondere zeigt Fig. la eine Datenbrille 100, die von einem Nutzer 110 getragen wird. Die Datenbrille 100 umfasst eine Kamera 102, die typischerweise an der Datenbrille 100 fixiert ist und sich mit dem Kopf des Nutzers 110 bewegt. Die Kamera 102 kann eine Mono-Kamera oder eine Stereo- Kamera umfassen. Die Kamera 102 ist eingerichtet, Bilddaten (z.B. eine zeitliche Sequenz von Bildern bzw. Szenen) einer Umgebung der Datenbrille 100 zu erfassen. Insbesondere können Bilddaten der Umgebung erf asst werden, die von dem Nutzer 110 betrachtet wird.

Die Bilddaten können von einer Steuereinheit 101 der Datenbrille 100 verarbeitet werden. Insbesondere kann die Steuereinheit 101 eingerichtet sein, auf Basis der Bilddaten ein oder mehrere Objekte in der erfassten Umgebung zu detektieren und zu identifizieren. Desweiteren kann die Steuereinheit 101 eingerichtet sein, eine Information bezüglich der identifizierten ein oder mehreren Objekte zu ermitteln (z.B. den Straßennamen einer identifizierten Straße). Außerdem kann die

Steuereinheit 101 eingerichtet sein, die ermittelte Information auf einer

Ausgabeeinheit 103 der Datenbrille 100 (z.B. auf einem transparenten Bildschirm in den Brillengläsern der Datenbrille 100) auszugeben. Somit können dem Nutzer 110 weiterführende Informationen bezüglich der von dem Nutzer 110

wahrgenommenen Umgebung bereitgestellt werden.

Fig. lb zeigt den Nutzer 110 mit der Vorrichtung 100 zur Erweiterung der Realitäts Wahrnehmung in einer Seitenansicht. Der Nutzer 110 befindet sich in einem Fahrzeug 120. Insbesondere sitzt der Nutzer 110 auf einem Fahrersitz 124 und hält ein Lenkrad 122 des Fahrzeugs 120 mit seinen Händen. Desweiteren betrachtet der Nutzer 110 das vordere Umfeld des Fahrzeugs 120 durch die Datenbrille 100 und durch die Windschutz schreibe 121 des Fahrzeugs 120.

Desweiteren zeigt Fig. lb ein Armaturenbrett 123 des Fahrzeugs 120.

Um ein Objekt innerhalb eines erfassten Bildes zuverlässig detektieren und insbesondere identifizieren zu können, ist es vorteilhaft, wenn die Pose der Kamera 102 der Datenbrille 100 bekannt ist. Die Pose umfasst dabei

typischerweise die Position der Kamera 102 und die Orientierung der Kamera 102, d.h. die Pose umfasst typischerweise 6 Freiheitsgrade. Die Pose der Kamera 102 kann sich dadurch verändern, dass der Nutzer 110 die Position seines Kopfes und/oder die Orientierung seines Kopfes (z.B. die Blickrichtung) ändert.

Die Pose der Kamera 102 kann z.B. durch ein oder mehrere geeignete Sensoren ermittelt werden. Beispielhafte Sensoren sind ein Gyrosensor, ein

Beschleunigungssensor und/oder ein Magnetometer. Derartige Sensoren erhöhen jedoch die Kosten einer Vorrichtung 100 zur Erweiterung der

Realitätswahrnehmung. Um Zusatzkosten zu vermeiden, ist es wünschenswert, die Pose der Kamera 102 auf Basis der von der Kamera 102 erfassten Bilddaten zu ermitteln. Zu diesem Zweck können ein oder mehrere bekannte

Referenzpunkte im Innenraum des Fahrzeugs 120 oder am Fahrzeug 120 definiert werden. Beispielsweise kann ein CAD (Computer Aided Design) Modell des Innenraums des Fahrzeugs 120 berücksichtigt werden. Die Bilddaten können dann analysiert werden, um die ein oder mehrere vordefinierte Referenzpunkte in den Bilddaten zu detektieren. Da die Positionierung der Referenzpunkte zueinander bekannt ist, kann so die Pose der Kamera 102 bestimmt werden.

Typischerweise umfassen die von der Kamera 102 erfassten Bilddaten eine Vielzahl von erfassten Objekten bzw. eine Vielzahl von Features. Aus der Vielzahl von erfassten Objekten / Features müssen die ein oder mehreren bekannten Referenzpunkte für die Bestimmung der Pose ermittelt werden. Bei einer großen Anzahl von erfassten Objekten / Features kann dies zu einer relativ hohen Zahl von Fehldetektionen von Referenzpunkten und so zu einer relativ ungenauen Bestimmung der Pose der Kamera 102 führen. Desweiteren wird dadurch ein relativ hoher Rechenaufwand, Energieaufwand und/oder Zeitaufwand verursacht. Um die Qualität der Bestimmung der Pose zu erhöhen und/oder den Aufwand der Bestimmung der Pose zu reduzieren, ist es daher vorteilhaft, die Anzahl der erfassten Objekte / Features, die als Referenzpunkte in Frage kommen, zu reduzieren. Zu diesem Zweck kann ein von der Kamera 102 erfasstes Bild bzw. eine erfasste Szene in einen Vordergrund-Bereich und in einen Hintergrund-Bereich aufgeteilt werden. Dabei umfasst der Vordergrund-Bereich den Bereich einer erfassten Szene, in dem sich die ein oder mehreren Referenzpunkte befinden können (z.B. einen Innenraum des Fahrzeugs oder ein Teil des Fahrzeugs). Der Hintergrund- Bereich umfasst dahingegen den Bereich, in dem keine Referenzpunkte zu erwarten sind (z.B. eine äußere Umgebung des Fahrzeugs).

Für die Verwendung einer Vorrichtung 100 zur Erweiterung der

Realitäts Wahrnehmung in einem Fahrzeug 120 werden die Referenzpunkte typischerweise in dem bekannten Innenraum des Fahrzeugs 120 und/oder an einem sichtbaren Teil des Fahrzeugs definiert. Beispielsweise können sich Referenzpunkte auf dem Lenkrad 122 und/oder auf dem Armaturenbrett 123 des Fahrzeugs 120 befinden. Dabei sind unbewegliche Referenzpunkte (z.B. auf dem Armaturenbrett 123) typischerweise vorteilhaft gegenüber beweglichen

Referenzpunkten (z.B. auf dem Lenkrad 122). Im Fahrzeug 120 stellt somit der Innenraum des Fahrzeugs 120 den Vordergrund-Bereich dar. Andererseits stellt eine durch eine Scheibe 121 des Fahrzeugs 120 betrachtete Umgebung des Fahrzeugs 120 typischerweise einen Hintergrund-Bereich einer erfassten Szene dar.

Die Steuereinheit 101 kann eingerichtet sein, auf Basis der Bilddaten (welche typischerweise eine zeitliche Sequenz von erfassten Szenen umfasst) eine erfasste Szene in einen Vordergrund-Bereich und in einen Hintergrund-Bereich zu segmentieren. Fig. 2 zeigt eine beispielhafte Szene 200, die z.B. von der Kamera 102 einer Datenbrille 100 eines fahrenden Fahrers 110 erfasst wurde. Die Szene 200 umfasst Bereiche, welche im Innenraum des Fahrzeugs 120 liegen.

Beispielsweise umfasst die Szene 200 einen Bereich in dem das Lenkrad 122 dargestellt ist, einen Bereich in dem das Armaturenbrett 123 dargestellt ist, und einen Bereich in dem eine Seite (z.B. eine Tür) des Fahrzeugs 120 dargestellt ist. Desweiteren umfasst die Szene 200 einen Bereich, in dem eine äußere Umgebung des Fahrzeugs 120 dargestellt ist. Dieser Bereich entspricht typischerweise dem Bereich der Windschutzscheibe 121 des Fahrzeugs 120. Fig. 2 zeigt beispielhafte Objekte 211, 212, 213 in der Umgebung des Fahrzeugs 120. Beispielsweise stellt das erste Objekt 211 ein Haus am Straßenrand einer von dem Fahrzeug 120 befahrenen Straße, das zweite Objekt 212 ein vor dem Fahrzeug 120 fahrendes anderes Fahrzeugs und das dritte Objekt 213 ein am rechten Straßenrand parkendes anderes Fahrzeug dar. Außerdem zeigt Fig. 2 einen Rückspiegel 201 des Fahrzeugs 120. Wie aus Fig. 2 ersichtlich, ist es für ein Fahrzeug 120 typisch, dass der

Hintergrund einer Szene 200 (der z.B. dem Bereich der Windschutzscheibe 121 entspricht) durch eine klare Trennlinie von dem Vordergrund der Szene 200 getrennt ist. Dies gilt insbesondere für Fahrzeuge 120, die eine Insassenkabine aufweisen, die einen Insassen von der Umgebung des Fahrzeugs trennt. Der Hintergrund befindet sich bei derartigen Fahrzeugen meist oberhalb und der Vordergrund meist unterhalb von dieser klaren Trennlinie. Die Trennlinie kann eine Gerade sein (wie in Fig. 3 dargestellt) oder die Trennlinie kann eine

Kurvenform aufweisen. Die Trennlinie teilt dabei eine Szene 200 in einen tendenziell oberen Bereich (der den Hintergrund der Szene 200 dargestellt) und in einen tendenziell unteren Bereich (der den Vordergrund der Szene 200 dargestellt).

Fig. 3 zeigt eine beispielhafte Trennlinie 330, durch die die Szene 200 in einen unteren Bereich (Vordergrund) und in einen oberen Bereich (Hintergrund) aufgeteilt wird. Die Trennlinie 330 kann dabei auf Basis des optischen Flusses von Featuren (d.h. von markanten Merkmalen) in der Szene 200 ermittelt werden. Der optische Fluss (insbesondere Flussvektoren von Features einer Szene 200) kann z.B. anhand der Lucas-Kanade Methode ermittelt werden. Dabei kann der optische Fluss zunächst für eine reduzierte Auflösung der Szene 200 ermittelt werden. Dieser optische Fluss kann dann als Ausgangspunkt für die Berechnung des optischen Flusses für eine höhere Auflösung verwendet werden, usw., bis schließlich der optische Fluss für die volle Auflösung der Szene 200 ermittelt wird. Der optische Fluss kann somit in hierarchischer Weise ermittelt werden.

Bei der Ermittlung des optischen Flusses kann die Bewegung eines identifizierten Features (insbesondere eines sogenannten ORB, Oriented FAST and Rotated BRIEF features) zwischen mindestens zwei zeitlich aufeinanderfolgenden erfassten Szenen 200 betrachtet werden. Insbesondere kann so ermittelt werden, wie stark und wohin sich ein identifiziertes Feature bewegt hat. Mit anderen Worten kann für ein identifiziertes Feature ein Flussvektor (mit Betrag und Richtung) ermittelt werden, der anzeigt, wie sich das identifizierte Feature bewegt hat.

Fig. 3 zeigt beispielhafte Flussvektoren 310, 311, 312, 313 für Feature im

Innenraum des Fahrzeugs 120 und für Feature in der äußeren Umgebung des Fahrzeugs 120. Insbesondere zeigt Fig. 3 eine typische Situation bei der das

Fahrzeug 120 fährt und bei der der Fahrer seinen Blick auf die vordere Umgebung des Fahrzeugs 120 fixiert hat.

Eine Kante des Lenkrads 122 kann beispielhaft als Feature im Innenraum des Fahrzeugs 120 betrachtet werden. Die punktförmigen Flussvektoren 310 zeigen an, dass sich dieses Feature im Innenraum nicht bewegt hat (in

aufeinanderfolgenden Szenen 200). Dies liegt insbesondere daran, dass der Fahrer des Fahrzeugs 120 seinen Kopf (und damit die Kamera 102) nicht bewegt hat. In der äußeren Umgebung des Fahrzeugs 120 können z.B. die Objekte 211, 212, 213 (insbesondere deren Kanten) als Feature betrachtet werden. Wie aus Fig. 3 ersichtlich ist, weisen das erste Objekt 211 (z.B. ein Haus am Straßenrand) und das dritte Objekt 213 (z.B. ein am Straßenrand geparktes Fahrzeug) relativ hohe optische Flüsse 311, 313 auf. Andererseits weist das zweite Objekt 212 (z.B. ein vor dem Fahrzeug 120 fahrendes anderes Fahrzeug) einen relativ niedrigen optischen Fluss 312 auf. Insbesondere können die folgenden Beobachtungen gemacht werden:

• Typischerweise weist der optische Fluss 311, 312, 313 von Features 211, 212, 213 in der äußeren Umgebung des Fahrzeugs 120 einen höheren Betrag auf, als der optische Fluss 310 von Features 122, 123, 223 im Innenraum des Fahrzeugs 120.

• Typischerweise weisen die Flussvektoren 311, 312, 313 von Features 211, 212, 213 in der äußeren Umgebung des Fahrzeugs 120 eine höhere Varianz auf, als die Flussvektoren 310 von Features 122, 123, 223 im Innenraum des Fahrzeugs 120.

Auf Basis derartige Beobachtungen können ein oder mehrere Bedingungen festgelegt werden, die dazu verwendet werden können, die Trennlinie 330 zwischen dem Hintergrund und dem Vordergrund zu bestimmen. Insbesondere können Kostenfunktionen oder Indikatoren ermittelt werden, die optimiert werden können um die Trennlinie 330 zu ermitteln.

Beispielsweise kann die Trennlinie 330 derart ermittelt werden, dass eine

Differenz zwischen einem mittleren Betrag der Flussvektoren 311, 312, 313 im Hintergrund-Bereich der Szene 200 und einem mittleren Betrag der Flussvektoren 310 im Vordergrund- Bereich des Szene 200 vergrößert (ggf. maximiert) wird.

Alternativ oder ergänzend kann die Trennlinie 330 derart ermittelt werden, dass eine Differenz zwischen einem Homogenitätsmaß der Flussvektoren 311, 312, 313 im Hintergrund-Bereich der Szene 200 und einem Homogenitätsmaß der Flussvektoren 310 im Vordergrund-Bereich des Szene 200 vergrößert (ggf.

maximiert) wird. Das Homogenitätsmaß kann z.B. die Varianz der Richtungen und/oder der Beträge der Flussvektoren in einem jeweiligen Teil-Bereich der Szene 200 umfassen. Die o.g. Bedingungen können auch kombiniert werden, Beispielsweise kann eine Trennlinie 330 derart ermittelt werden, dass die gewichtete Summe aus der Differenz der Beträge und der Differenz der Homogenitätsmaße vergrößert (ggf. maximiert) wird.

Fig. 4 zeigt eine beispielhafte Aufteilung einer Szene 200 in einen Hintergrund- Bereich 411 und in einen Vordergrund-Bereich 412. Die Szene 200 kann z.B. in Spalten 401 aufgeteilt werden und für jede Spalte 401 kann ein Trennlinien- Segment 430 ermittelt werden (auf Basis der o.g. Bedingungen). Anhand der Trennlinien-Segmente 430 kann dann die Trennlinie 330 ermittelt werden, welche die Szene 200 in einen Hintergrund- Bereich 411 und in einen Vordergrund- Bereich 412 trennt. Beispielsweise können die Trennlinien-Segmente 430 aneinandergereiht werden und/oder interpoliert werden, um die Trennlinie 330 zu ermitteln.

Nach Ermittlung des Vordergrund-Bereichs 412 kann die Suche nach den

Referenzpunkten für die Ermittlung der Pose der Kamera 102 auf den

Vordergrund-Bereich 412 beschränkt werden. So kann die Wahrscheinlichkeit dafür, dass die Referenzpunkt korrekt detektiert werden substantiell erhöht werden. Dadurch wird wiederum die Genauigkeit der Ermittlung der Pose der

Kamera 102 (und damit die Genauigkeit der Identifikation von Objekten (wie z.B. Straßen) in der Szene 200 zur Bereitstellung von erweiterten Informationen) erhöht. Fig. 5 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 500 zur

Segmentierung einer ersten Szene 200 aus einer Sequenz von Szenen 200. Dabei ist die Sequenz von Szenen 200 von einer (typischerweise beweglichen) Kamera 102 in einem Fahrzeug 120 (insbesondere in einem Innenraum des Fahrzeugs 120) erfasst worden. Das Verfahren 500 umfasst das Ermitteln 501 von einem optischen Fluss (insbesondere von optischen Flussvektoren) 310, 311, 312, 313 der ersten Szene 200, auf Basis der Sequenz von Szenen 200. Desweiteren umfasst das Verfahren 500 das Ermitteln 502 von statistischen Größen des optischen Flusses (insbesondere der optischen Flussvektoren) 310, 311, 312, 313 in unterschiedlichen Teil-Bereichen der ersten Szene 200. Außerdem umfasst das Verfahren 500 das Bestimmen 503, auf Basis der statistischen Größen, einer Trennlinie 330 zwischen einem Vordergrund- Bereich 412 und einem

Hintergrund-Bereich 411 der ersten Szene 200. Dabei umfasst das Bestimmen 503 der Trennlinie 330 das Ermitteln, auf Basis der statistischen Größen, von einem Indikator dafür, ob der optische Fluss (d.h. insbesondere die optischen

Flussvektoren) im Hintergrund-Bereich 411 auf eine Fortbewegung des Fahrzeugs 120 zurückzuführen sind.

Das beschriebene Verfahren nutzt die inhärente Bewegung eines Fahrzeugs 120 um eine robuste Trennlinie 330 zwischen Vordergrund-Bereich 412 und

Hintergrund-Bereich 411 zu ermitteln. Die dabei ermittelten Flussvektoren können in späteren Verarbeitungsprozessen wiederverwendet werden.

Beispielsweise kann auf Basis der Flussvektoren im Vordergmnd-Bereich 412 die Eigenbewegung der Kamera 102 ermittelt werden. Desweiteren weist das beschriebene Verfahren einen relativ geringen Rechenbedarf auf (insbesondere bei der Verwendung einer hierarchischen Methode zur Ermittlung der

Flussvektoren). Außerdem kann durch das beschriebene Verfahren die Pose einer beweglichen Kamera 102 im Fahrzeug 120 mit hoher Genauigkeit ermittelt werden (insbesondere bei Verwendung eines Modells des Innenraums des Fahrzeugs 120). Wie in diesem Dokument dargelegt, werden für die Berechnung des optischen Flusses zur Erkennung der Trennlinie 330 zwischen Vordergrund und

Hintergrund typischerweise Features (z.B. ORB-Features) ermittelt. Für die anschließende Bestimmung der Pose der Kamera 102 (d.h. im Anschluss an die Vordergrund - Hintergrund Segmentierung) werden typischerweise erneut Feature Punkte (z.B. ORB-Features) benötigt, sodass die einmal bestimmten Feature Punkte (z.B. ORB-Features) wiederverwendet werden können. Somit kann in Summe Rechenzeit eingespart werden. Damber hinaus sind diese Features bei einem hierarchischen Ermitteln der Trennlinie 330 in verschiedenen

Auflösungen bekannt, so dass ohne großen Mehraufwand auch die Pose in hierarchischer Weise bestimmt werden kann. Insbesondere kann die Pose in einem ersten Schritt durch ein relativ niedrig aufgelöstes Bild (mittels der dazu ermittelten ORB Features) bestimmt werden. Anschließend können je nach Use Case, Zeit und/oder Kritikalität weitere Detailgrade der Pose bestimmt werden (mittels der höher aufgelösten ORB Features).

Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.