Die Erfindung betrifft ein Verfahren zum Bereitstellen von Referenzpunkten in der Umgebung eines Fahrzeugs von dem Fahrzeug an ein mobiles Endgerät sowie entsprechend eingerichtete Fahrzeuge und mobile Endgeräte.

Heutzutage sind Datenbrillen im Forschungsstadium bekannt geworden, die mit durchsichtigen Anzeigen dem Träger die Wahrnehmung des Umfeldes ermöglichen und gleichzeitig die Einblendung von Informationen bieten. Diese Informationen können derart eingeblendet werden, dass sie dem Träger der Datenbrille an gewünschten Orten im Umfeld erscheinen, was häufig augmented reality genannt wird. Eine augmented reality Darstellung ist auch möglich mit Datenbrillen, die nicht-durchsichtige Anzeigen umfassen. In diesem Fall wird auf der Anzeige auch das Umfeld abgebildet und die darzustellende Information zusätzlich eingespielt.

Zur ortskorrekten Platzierung der Information zur Erreichung der augmented reality werden im Umfeld der Datenbrille Marker, sogenannte Referenzpunkte, erkannt. Dies geschieht mithilfe einer Kamera und zugehöriger Bildverarbeitung, die von der Datenbrille mit umfasst sind. Typische Algorithmen zur Erkennung von Referenzpunkten durch die Datenbrille sind dabei vergleichsweise rechenintensiv bezogen auf die Verarbeitungskapazitäten der Datenbrille, weshalb Algorithmen hierfür entsprechend angepasst werden müssen.

Es bestehen Überlegungen Datenbrillen auch in Fahrzeugen einzusetzen, um beispielsweise dem Fahrer des Fahrzeugs mithilfe von augmented reality Informationen zum Umfeld des Fahrzeugs dar zu bieten. Hierbei besteht die Situation, dass das Umfeld des Fahrzeugs für die Kamera der Datenbrille nicht vollständig sichtbar ist, sondern durch die Karosserie des Fahrzeugs (umfassend hierin auch Teile wie die Innenspiegel, Außenspiegel, Scheibenwischer, etc.) teilweise verdeckt wird. Diese Verdeckung führt dazu, dass die Datenbrille im Umfeld befindliche und verdeckte Referenzpunkte nicht mit der Kamera aufnehmen und erkennen kann. Dies bedeutet, dass der von den Algorithmen der Datenbrille für die verdeckten Referenzpunkte aufgewandte Rechenkapazität, Rechenzeit und dafür aufgewandte in Batterien gespeicherte Energie unnötig verwendet wird.

Dem Fachmann stellt sich somit die Aufgabe, die Rechenkapazitäten, Rechenzeiten und den Energieverbrauch von Datenbrillen bei der Erkennung von Referenzpunkten und bei der Verwendung in Fahrzeugen zu optimieren. Die Aufgabe wird durch die Verfahren und Vorrichtungen gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen definiert.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Bereitstellen von Referenzpunkten in der Umgebung eines Fahrzeugs von dem Fahrzeug an ein mobiles Endgerät, insbesondere eine Datenbrille; wobei das Fahrzeug eine Kamera zur Aufnahme von Bereichen des Umfeldes des Fahrzeugs, elektronische Rechenmittel und Kommunikationsmittel umfasst; wobei das mobile Endgerät Kommunikationsmittel, elektronische Rechenmittel und eine Kamera umfasst; wobei das Verfahren folgende Schritte umfasst: Aufnehmen der Umgebung des Fahrzeugs mithilfe der Kamera des Fahrzeugs; Erkennen von Referenzpunkten in den Aufnahmen; Übertragen von einigen oder allen Referenzpunkten vom Fahrzeug an das mobile Endgerät. Die Kamera des Fahrzeugs ist insbesondere in im Außenbereich der Karosserie des Fahrzeugs integriert mit einem Aufnahmebereich bzw. Sicht nach außen, so dass die Sicht der Fahrzeugkamera nur unwesentliche durch Teile der Karosserie eingeschränkt wird.

Hierin wird also vorgeschlagen, eine Kamera des Fahrzeugs zu verwenden, um das Umfeld des Fahrzeugs auf Referenzpunkte zu untersuchen. Diese erkannten Referenzpunkte werden dann an die Datenbrille übertragen. Die Datenbrille erreicht so eine Kenntnis von den Referenzpunkten in der Umgebung des Fahrzeugs, die von der Kamera des Fahrzeugs, und damit ohne Verdeckung durch die Karosserieteile des Fahrzeugs, erkennbar sind. Auf diese Weise erlangt die Datenbrille Kenntnis von der Lage der erkennbaren Referenzpunkte und kann deren mögliche Verdeckung durch Karosserieteile berücksichtigen.

Vorteilhafterweise ist im Verfahren vorgesehen, dass beim Erkennen von Referenzpunkten Informationen bezüglich Referenzpunkten berücksichtigt werden, die zuvor vom mobilen Endgerät zum Fahrzeug übertragen wurden, insbesondere bezüglich des Typs von zu erkennenden Referenzpunkten, und/oder vorbestimmten Referenzpunkten. Dieser Austausch zwischen der Datenbrille und dem Fahrzeug dient dazu, dass nach denselben Referenzpunkten durch die Datenbrille und das Fahrzeug gesucht wird. Auf diese Weise wird besser sichergestellt, dass die vom Fahrzeug erkannten Referenzpunkte durch die Datenbrille weiterverwertet werden können.

Im Verfahren kann vorgesehen sein, dass nur eine Untergruppe von Referenzpunkten übertragen wird oder die Untergruppe als solche gekennzeichnet wird. Dies verringert den Übertragungsbedarf zwischen Fahrzeug und Datenbrille und kann die Übertragung auf die für die Datenbrille relevanten Referenzpunkte beschränken beziehungsweise erlaubt eine Identifizierung der Untergruppe durch die Datenbrille. Weiter kann die Untergruppe von Referenzpunkten abhängig von der Geometrie von Karosserieteilen des Fahrzeugs ausgewählt werden, insbesondere abhängig von der Geometrie von Karosserieteilen, die an die Frontscheibe des Fahrzeugs angrenzen. Es wird als vom Fahrzeug die Auswahl an zu übertragenden Referenzpunkten anhand der Geometrie der Karosserie ausgewählt. Dabei kann berücksichtigt werden, welche Bereiche des Umfeldes durch Karosserieteile für die Kamera des mobilen Endgerätes verdeckt werden, eben gerade durch Karosserieteile, die an die Frontscheibe des Fahrzeugs angrenzen, wie beispielsweise die A-Säule bei der Sicht des Fahrers nach vorne.

Bevorzugt wird die Bestimmung der verdeckten Bereiche anhand der Geometrie von Katrosserieteilen und der Position des mobilen Endgeräts ausgeführt, und insbesondere anhand der Position der Kamera des mobilen Endgeräts, im Fahrzeug. Es wird also die konkrete Sicht der Kamera des mobilen Endgerätes und die resultierende Verdeckung durch Karosserieteile errechnet (durch das Fahrzeug oder das mobile Endgerät).

Die Position des mobilen Endgerätes kann dabei als eine typische vordefinierte Position angenommen werden, oder abhängig von der Einstellung eines Sitzes, Spiegels und/oder Lenkrads bestimmt werden, oder durch das mobile Endgerät und den Aufnahmen der Kamera des mobilen Endgerätes von dem dem mobilen Endgerät bekannten Innenraum des Fahrzeugs bestimmt werden (Rückrechnung aus der Aufnahme von Karosserieteilen auf die Position des mobilen Endgeräts).

Zur Übertragung können nun Referenzpunkte in den verdeckten Bereichen des Umfeldes nicht ausgewählt werden, oder aber nur Referenzpunkte ausgewählt werden, die für die Kamera des mobilen Endgerätes aus dem Fahrzeug heraus sichtbar, d.h. aufnehmbar, sind. Ggf. können auch alle Referenzpunkte ausgwählt werden, und jeweils mit einer Information versehen werden, ob sie für das mobile Endgerät sichtbar oder nicht sichtbar sind.

In dem System mit Datenbrille umfasst das Verfahren einen der folgenden Schritte: Erkennen von Referenzpunkten durch das mobile Endgerät, wobei beim Erkennen von vornherein diejenigen Referenzpunkte von der Erkennung ausgeschlossen werden, die zuvor vom Fahrzeug übertragen wurden; oder Erkennen von Referenzpunkten durch das mobile Endgerät, wobei beim Erkennen zumindest nach denjenigen Referenzpunkte priorisiert (oder nur) gesucht wird, die zuvor vom Fahrzeug übertragen wurden. Die Datenbrille sucht also nicht mehr oder jedenfalls nicht priorisiert, nach Referenzpunkten, von denen der Datenbrille bekannt ist, dass sie schon gar nicht erkennbar sind. Dies ermöglicht eine Einsparung von Rechenzeit und Rechenkapazität und verbessert Darstellungen der augmented reality. Ein anderer Aspekt der Erfindung umfasst ein Fahrzeug, umfassend eine Kamera zur Aufnahme von Bereichen des Umfeldes des Fahrzeugs, elektronische Rechenmittel und Kommunikationsmittel; wobei das Fahrzeug dazu eingerichtet ist, eines der vorstehenden Verfahren auszuführen.

Ein weitere Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen von Referenzpunkten durch ein mobiles Endgerät, umfassend eine Kamera, elektronische Rechenmittel und Kommunikationsmittel; wobei das Verfahren folgende Schritte umfasst: Bestimmen von Informationen bezüglich Referenzpunkten, insbesondere bezüglich des Typs von zu erkennenden Referenzpunkten, und/oder vorbestimmten Referenzpunkten; Übertragen dieser Informationen an ein Fahrzeug; Empfangen von Referenzpunkten von dem Fahrzeug; Erkennen von Referenzpunkten durch das mobile Endgerät, wobei entweder beim Erkennen von vornherein diejenigen Referenzpunkte von der Erkennung ausgeschlossen werden, die zuvor vom Fahrzeug übertragen wurden, oder beim Erkennen zumindest nach denjenigen Referenzpunkte priorisiert oder nur gesucht wird, die zuvor vom Fahrzeug übertragen wurden. Dieses Verfahren ermöglicht eine schnellere und ggf. qualitativ hochwertigere Erkennung von Referenzpunkten durch die Datenbrille und damit eine Verbesserung der Qualität der augmented reality Darstellungen.

Die empfangenen Referenzpunkte können die gemäß einem der vorstehenden Verfahren übertragenen Referenzpunkte sein.

Ein weitere Aspekt betrifft ein mobiles Endgerät mit einer Kamera, elektronischen Rechenmitteln und Kommunikationsmitteln, wobei das mobile Endgerät dazu eingerichtet ist, eines der beiden zuletzt genannten Verfahren auszuführen.

KURZE BESCHREIBUNG DER ZEICHNUNG

Fig. 1 zeigt die Verwendung eines Systems gemäß einem Ausführungsbeispiel.

DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS

Fig. 1 zeigt die Verwendung eines Systems gemäß einem Ausführungsbeispiel. Ein Fahrer befindet sich in einem Fahrzeug mit einer Kamera 50, die das Umfeld des Fahrzeugs aufnimmt, und verwendet eine Datenbrille 20 mit elektronischen Verarbeitungsmitteln und einer Kamera (nicht dargestellt). Die Datenbrille 20 wird zur Darstellung von augmented reality Inhalten bezüglich des Umfeldes des Fahrzeugs verwendet, wozu Referenzpunkte im Umfeld des Fahrzeugs erkannt werden müssen. Das Sichtfeld der Kamera 50 und der Datenbrille 20 ist jeweils angedeutet durch gestrichelte Linien. Im Umfeld des Fahrzeugs befindet sich hier beispielhaft und schemenhaft dargestellt ein Baum und ein Haus, von denen jeweils ein Teil nicht für die Kamera der Datenbrille 20 sichtbar ist, weil die Sicht der Kamera auf das Umfeld durch die Karosserie des Fahrzeugs (Dach, A-Säule, Fronthaube) eingeschränkt ist. Am Baum und am Haus befinden sich Referenzpunkte 41, 42. Die Referenzpunkte 42 sind sowohl für die Kamera 50 des Fahrzeugs, als auch für die Kamera der Datenbrille 20 sichtbar. Die Referenzpunkte 41 sind nur für die Kamera 50 des Fahrzeugs sichtbar, nicht aber für die Kamera der Datenbrille 20, weil sie von der Karosserie des Fahrzeugs verdeckt werden.

Im Fahrzeug befindet sich eine elektronische Verarbeitungseinheit 60 die mit der Kamera 50 verbunden ist und über eine drahtlose Funkverbindung (e.g. Bluetooth, WiFi, etc) auch mit der Datenbrille 20. Die elektronische Verarbeitungseinheit 60 dient dazu, die Aufnahmen der Kamera 50 zu empfangen, zu verarbeiten und darin Referenzpunkte zu erkennen.

Die Datenbrille 20 ist über eine drahtlose Funkverbindung mit der Verarbeitungseinheit 60 und über eine drahtlose Funkverbindung (e.g. Mobilfunk) mit einer Datenbank 70 verbunden. Die Datenbank 70 speichert für verschiedene Positionen in der Welt die detektierbaren Referenzpunkte. Die Datenbrille 20 umfasst auch einen GNSS-Empfänger (e.g. GPS, GLONASS, Galileo), um die eigene Position feststellen zu können. Anhand der bestimmten Position fragt die Datenbrille 20 bei der Datenbank 70 die an dieser Position detektierbaren Referenzpunkte ab.

Im Betrieb sendet die Datenbrille 20 an die Verarbeitungseinheit 60 die an der aktuellen Position detektierbaren Referenzpunkte, in Fig. 1 alle Bezugszeichen 41 und 42. Die Kamera 50 und die Verarbeitungseinheit 60 führen die entsprechenden Algorithmen zur Erkennung der empfangenen Referenzpunkte aus. Ebenfalls empfängt die Verarbeitungseinheit 60 vom Fahrzeug die Sitzeinstellung des Fahrersitzes und berechnet daraus die Position der Datenbrille 20 im Innenraum des Fahrzeugs. Weiterhin berechnet die Verarbeitungseinheit 60 anhand der bekannten Geometrie der Fahrzeugkarosserie, welche Bereiche des Umfeldes für die Kamera der Datenbrille sichtbar sind und welche nicht. Die Verarbeitungseinheit 60 prüft nun, welche der erkannten Referenzpunkte für die Datenbrille 20 sichtbar sind, hier die Punkte mit Bezugszeichen 42, und überträgt diese Untergruppe an Referenzpunkten 42 an die Datenbrille 20.

Die Datenbrille 20 führt nun eine Erkennung der Referenzpunkte in der Umgebung des Fahrzeugs durch, wobei hierfür nur nach den Referenzpunkten 42 gesucht wird. Die Anzahl der Referenzpunkte 42 ist kleiner als die von der Datenbank 70 empfangene Anzahl an Referenzpunkten und so ist die Erkennung von Referenzpunkten durch die Datenbrille 20 schneller abgeschlossen, als wenn nach allen Referenzpunkten gesucht würde. Dies insbesondere deshalb, weil die Suche nach nicht erkennbaren (weil verdeckten) Referenzpunkten vergleichsweise viel Rechenkapazität und Rechenzeit in Anspruch nimmt. Die schnellere Detektion von Referenzpunkten ist vorteilhaft für die Qualität der Darstellung von augmented reality durch die Datenbrille.