Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SHOWING OF COLLISION WARNINGS ON A HEAD-MOUNTED DISPLAY
Document Type and Number:
WIPO Patent Application WO/2015/000693
Kind Code:
A1
Abstract:
The invention relates to a method for outputting a warning on data spectacles, wherein the data spectacles comprise a display means, wherein a road user carries a mobile device and wears the data spectacles, wherein the mobile device is designed for position determination and wireless data communication, said method comprising the following steps: establishing the position of the mobile device; detecting an imminent collision of the road user carrying the mobile device with another road user by means of the mobile device; detecting the direction from which the collision is imminent for the road user carrying the mobile device; displaying a warning on the data spectacles taking into account the direction from which the collision is imminent.

Inventors:
SCHWARZ FELIX (DE)
LAUBER FELIX (DE)
SPIESSL WOLFGANG (DE)
Application Number:
PCT/EP2014/062648
Publication Date:
January 08, 2015
Filing Date:
June 17, 2014
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BAYERISCHE MOTOREN WERKE AG (DE)
International Classes:
G08G1/16; G02B27/01
Foreign References:
DE102011118966A12013-05-23
US20120302289A12012-11-29
US20120268262A12012-10-25
US20110080289A12011-04-07
DE19802220A11999-07-29
US8223024B12012-07-17
DE102006029847A12008-01-03
DE102011118966A12013-05-23
DE102013212359A2013-06-27
Other References:
See also references of EP 3017437A1
Download PDF:
Claims:
ANSPRÜCHE 1. Verfahren zur Ausgabe einer Warnung auf einer Datenbrille, wobei die Datenbrilie eine Anzeige umfasst, wobei ein Verkehrsteilnehmer eine Mobilvorrichtung mitführt und die Datenbrilie trägt, wobei die Mobilvorrichtung zur Positionsbestimmung und drahtlosen Datenkommunikation eingerichtet ist, umfassend:

Feststellen der Position der Mobilvorrichtung;

Erkennen einer drohenden Kollision des die Mobilvorrichtung mitführenden Verkehrsteilnehmers mit einem anderen Verkehrsteilnehmer durch die Mobilvorrichtung;

Erkennen der Richtung, aus der die Kollision für den mitführenden Verkehrsteilnehmer droht;

Anzeigen eines Warnhinweises auf der Datenbrille unter Berücksichtigung der Richtung, aus der die Kollision droht. 2. Verfahren nach Anspruch 1 , ferner umfassend:

Bestimmen der Ausrichtung der Datenbrille im Vergleich zur Richtung, aus der die Kollision droht;

Anzeigen des Wamhinweises derart, dass er für den Träger der Datenbrilie in der Richtung erscheint, aus der die Kollision droht, sofern die Anzeige der Datenbrilie für den Träger der Datenbrille einen Hinweis in dieser Richtung anzeigen kann. 3. Verfahren nach Anspruch 2, wobei der Warnhinweis an einem der Ränder der Anzeige der Datenbrille abhängig von der Richtung, aus der die Koliision droht, angezeigt wird, sofern die Anzeige der Datenbrille für den Träger der Datenbrille einen Hinweis in dieser Richtung nicht anzeigen kann.

4. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend:

In Antwort auf das Erkennen einer drohenden Kollision: Löschen des bisher angezeigten Inhalts auf der Anzeige der Datenbrille und Anzeigen nur des Warnhinweises oder Überdecken des bisher angezeigten Inhalts auf der Anzeige der Datenbrille mit dem Warnhinweis, 5. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Aufzeichnen der Ausrichtung der Datenbrille;

Erkennen, dass der Träger der Datenbrille die drohende Kollision nicht bemerkt hat, anhand der aufgezeichneten Ausrichtung der Datenbrille;

Wobei die Anzeige des Warnhinweises nur in Antwort auf das Erkennen, dass der Träger der Datenbrille die drohende Kollision nicht bemerkt hat, vorgenommen wird. 6. Verfahren nach einem der vorhergehenden Ansprüche, wobei der mitführende Verkehrsteilnehmer ein Fußgänger ist. 7. Vorrichtung zur Ausgabe einer Warnung auf einer Datenbrille, umfassend: eine Mobilvorrichtung, umfassend Mittel zur drahtlosen Datenkommunikation, Mittel zur Positionierung und Rechenmittel; die Datenbrille, umfassend eine Anzeige; wobei die Vorrichtung zur Ausführung eines der Verfahren nach einem der vorhergehenden Ansprüche eingerichtet ist.

Description:
Einblendung von Kollisionswarnungen auf einem Head-mounted Display

Die Erfindung betrifft ein Verfahren zur Ausgabe einer Warnung auf einer Datenbritie und eine Vorrichtung zu demselben Zweck.

Heutzutage sind Datenbrillen, manchmal auch Head-mounted Displays, bekannt, die eine Anzeige umfassen. Eine Datenbrille wird durch einen Benutzer ähnlich einer gewöhnlichen Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Die Anzeige der Datenbrilte befindet sich dabei im Sichtfeld des Trägers. Manche Datenbrillen umfassen eine Anzeige nur für ein Auge, andere Datenbrillen umfassen zwei Teilanzeigen, wobei jedem Auge eine Teilanzeige zugeordnet ist. Weiterhin ist es bekannt, dass Datenbrillen eine halbtransparente Anzeige umfassen können. Eine solche Anzeige ermöglicht es dem Träger sowohl angezeigte Informationen als auch das Umfeld hinter der Anzeige zu erkennen. Diese Art an Anzeige ist besonders gut zur kontaktanalogen Darstellung von Informationen geeignet. Bei der kontaktanalogen Darstellung ist der anzuzeigenden Information ein Ort im Umfeld des Trägers zugeordnet und die Information wird diesem Ort zugeordnet angezeigt, manchmal auch als ortsrichtige Anzeige bezeichnet. Dies kann durch eine für den Träger scheinbare Überlagerung der Information über den zugeordneten Ort geschehen oder eine Darstellung der Information in räumlicher Nähe zu dem zugeordneten Ort, ggf. mit einem Symbol wie einer Linie, um auf den zugeordneten Ort zu deuten. Die Information selbst kann ebenfalls ein Symbol, ein Bild, Text oder ähnliches sein. Die kontaktanaloge Darstellung wird manchmal auch augmented reality genannt.

Darüber hinaus sind auch Datenbrillen bekannt, die eine nicht-transparente Anzeige umfassen. Auch bei diesen ist eine kontaktanaloge Darstellung möglich, wofür ein Videobild oder zumindest ein Kamerabild der Umgebung gemacht wird, in das dann die kontaktanaloge Darstellung eingearbeitet wird, also meist dem aufgenommenen Bild überlagert wird.

Gleichzeitig sind heute Mobilvorrichtungen zur Daten- und Sprachkommunikation über den Mobilfunkstandard 3G oder LTE weit verbreitet, die oft Smartphone ge- nannt werden. Daten- und Sprachkommunikation kann auch über Datenkommunika- tion gemäß dem Bluetooth-Standard oder über Infrarotverbindungen abgewickelt werden. Diese Mobilvorrichtungen sind häufig ebenfalls dazu geeignet ihre Position zu bestimmen, beispielsweise mittels GPS, GLONASS oder Galileo.

Aus der DE 10 2011 118 966 A1 ist ein Kommunikationsgerät für einen Verkehrs- teilnehmen insbesondere für einen Fußgänger bekannt, zur Vermeidung von Kollisionen zwischen dem Verkehrsteilnehmer und einem anderen Verkehrsteilnehmer. Andere Verkehrsteilnehmer werden auf einer Karte auf der Anzeige des Kommunikationsgerätes angezeigt und entsprechend ihrem Gefahrengrad farblich markiert.

Die Wahrnehmung von Gefahren auf der Anzeige des Kommunikationsgeräts erfor- dert jedoch, dass der Verkehrsteilnehmer aktiv auf die Anzeige des Kommunikationsgerätes blickt. Ist dies nicht gegeben, so nimmt der Verkehrsteilnehmer die Gefahr nicht wahr. Außerdem kann die Interpretation der Darstellung auf der Karte komplex sein und relativ viel Zeit in Anspruch nehmen, so dass der Verkehrsteilnehmer nicht schnell genug auf Gefahrensituationen reagieren kann. Die Aufgabe, die der Erfindung zugrundeliegt, ist es für einen Verkehrsteilnehmer die Wahrnehmbarkeit von Warnungen, die von einer Mobilvorrichtung erzeugt werden, zu verbessern.

Die Aufgabe wird durch das Verfahren und die Vorrichtung gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen An- Sprüchen definiert.

In einem Aspekt umfasst ein Verfahren zur Ausgabe einer Warnung auf einer Datenbrilie, wobei die Datenbrille eine Anzeige umfasst, wobei ein Verkehrsteilnehmer eine Mobilvorrichtung mitführt und die Datenbrilie trägt, wobei die Mobilvorrichtung zur Positionsbestimmung und drahtlosen Datenkommunikation eingerichtet ist: Feststellen der Position der Mobilvorrichtung; Erkennen einer drohenden Kollision des die Mobilvorrichtung mitführenden Verkehrsteilnehmers mit einem anderen Verkehrsteilnehmer durch die Mobil Vorrichtung; Erkennen der Richtung, aus der die Kollision für den mitführenden Verkehrsteilnehmer droht; Anzeigen eines Warnhinweises auf der Datenbrille unter Berücksichtigung der Richtung, aus der die Kollisi- on droht. Es wird also vorgeschlagen, den Hinweis auf eine Kollision auf der Anzeige einer Datenbrille anzuzeigen, und zwar abhängig von der Richtung, aus der die Kollision droht. Dies birgt verschiedene Vorteile: Der Verkehrsteilnehmer kann den Warnhinweis unabhängig von seiner derzeitigen Blickrichtung und ob er auf die Anzeige der Mobil Vorrichtung schaut, wahrnehmen. Diese Form der Darstellung ist akustischen oder haptischen Hinweisen überlegen, weil diese aufgrund des Straßenlärms oder fehlendem Körperkontakt der Mobilvorrichtung zum Verkehrsteilnehmer häufig nicht wahrgenommen werden. Durch die richtungsabhängige Anzeige (beispielsweise Hinweispfeil nach rechts), erhält der Verkehrsteilnehmer für ihn intuitive Informatio- nen, die zur Vermeidung der Kollision wichtig sind. Dies wäre bei einer landkartenbasierten Darstellung der Position der Gefahr und des Verkehrsteilnehmers nicht der Fall.

Gerade im Fall, dass der Träger der Datenbriile ein Fußgänger ist, kann die Warnung besonders effektiv sein, da dieser auch beim relativ späten Bemerken der Ge- fahr einer Kollision diese aufgrund seiner Fähigkeit, Bewegungsrichtungen schnell zu ändern, vermeiden kann. Beispielsweise kann der Fußgänger im letzten Moment vermeiden auf die Fahrbahn zu treten. Dasselbe gilt in leicht abgeschwächtem Maß auch für Fahrradfahrer oder Inline-Skater.

In einer Implementierung führt jeder oder zumindest einige der Verkehrsteilnehmer ein Smartphone mit, die an einem System zur Kollisionsvermeidung beteiligt sind. Die Smartphones klassifizieren ihren Träger jeweils als Fahrzeug, Fußgänger, Fahrradfahrer usw. und berechnen jeweils ihre Position, ihre Bewegungstrajektorie für die nähere Zukunft (beispielsweise für 1 s, 2 s, oder 5 s) und fakultativ ihre Position zu einem bestimmten Zeitpunkt in der Zukunft. Diese Daten teilen sich die

Smartphones des Systems untereinander infrastrukturlos mit und bestimmen hiermit drohende Kollisionen.

In einer Weiterbildung umfasst das Verfahren ferner: Bestimmen der Ausrichtung der Datenbrille im Vergleich zur Richtung, aus der die Kollision droht; Anzeigen des Warnhinweises derart, dass er für den Träger der Datenbrille in der Richtung er- scheint, aus der die Kollision droht, sofern die Anzeige der Datenbrille für den Träger der Datenbrille einen Hinweis in dieser Richtung anzeigen kann. Hierfür verfügt die Datenbrille über Sensoren, die die Ausrichtung der Datenbrille bestimmen kön- nen, beispielsweise ein (Laser-) Gyroskop, einen Inertialsensor oder einen Kom- pass. Mithilfe dieser Sensoren kann bestimmt werden, in welcher Ausrichtung sich die Datenbrille im Vergleich zur Richtung (vom Verkehrsteilnehmer aus gesehen) befindet, aus der die Kollision droht. Somit kann der Ort, an dem der Hinweis auf der Anzeige angezeigt wird, derart bestimmt werden, dass er (vom Verkehrsteilnehmer aus gesehen) auf die Richtung hinweist, aus der Gefahr droht. Dies ist eine für den Verkehrsteilnehmer intuitive Anzeige, auf die der Verkehrsteilnehmer schnell reagieren kann, in manchen Ausführungsformen, kann der Verkehrsteilnehmer, von dem die Gefahr ausgeht durch den Hinweis kontaktanalog markiert werden, sofern er sichtbar ist, also beispielsweise nicht hinter einer Häuserwand an einer Kreuzung verdeckt ist.

Der Warnhinweis kann an einem der Ränder der Anzeige der Datenbrille angezeigt werden, abhängig von der Richtung, aus der die Kollision droht, sofern die Anzeige der Datenbrille für den Träger der Datenbrille einen Hinweis in dieser Richtung nicht anzeigen kann. In einem solchen Fall wird also der Bereich des Blickfeldes des Trägers der Datenbrille nicht von der Anzeige abgedeckt, in der der Hinweis angezeigt werden müsste. Dieser Fall kann auch eintreten, wenn der Hinweis außerhalb des Blickfeldes des Trägers der Datenbrille angezeigt werden müsste.

In einer anderen Weiterbildung umfasst das Verfahren ferner: In Antwort auf das Erkennen einer drohenden Kollision: Löschen des bisher angezeigten Inhalts auf der Anzeige der Datenbrille und Anzeigen nur des Warnhinweises oder Überdecken des bisher angezeigten Inhalts auf der Anzeige der Datenbrille mit dem Warnhinweis. Auf diese Weise wird die Anzeige geleert und nur der Warnhinweis angezeigt, so dass der Verkehrsteilnehmer nicht durch andere Informationen auf der Anzeige abgelenkt wird.

In wieder einer anderen Weiterbildung umfasst das Verfahren ferner: Aufzeichnen der Ausrichtung der Datenbrille; Erkennen, dass der Träger der Datenbrille die drohende Kollision nicht bemerkt hat, anhand der aufgezeichneten Ausrichtung der Datenbrille; Wobei die Anzeige des Warnhinweises nur in Antwort auf das Erken- nen, dass der Träger der Datenbrille die drohende Kollision nicht bemerkt hat, vorgenommen wird. Wenn also die Ausrichtung der Datenbrille beispielsweise eine gewisse Zeit lang frontal in die Richtung war, aus der die Kollision droht, so kann davon ausgegangen werden, dass der Träger der Datenbrille die Gefahr bemerkt hat. Auch kann aus Bewegungsmustern der Datenbrille, also einem schnellen Ausrichten der Datenbrille auf die Richtung, aus der die Kollision droht, darauf geschlossen werden, dass die Gefahr bemerkt wurde. In einem solchen Fall wird der Hinweis auf die drohende Kollision unterdrückt, um den Verkehrsteilnehmer nicht zusätzlich mit für ihn unnötigen Warnungen abzulenken. In einer Variante kann der Hinweis nur dann angezeigt werden, wenn der Träger der Datenbrille den anderen Verkehrsteilnehmer, mit dem eine Kollision droht, objektiv nicht wahrgenommen haben kann, weil er sich außerhalb seines Sichtfeldes befindet. In einem anderen Aspekt umfasst eine Vorrichtung zur Ausgabe einer Warnung auf einer Datenbrille: eine Mobilvorrichtung, umfassend Mittel zur drahtlosen Datenkommunikation, Mittel zur Positionierung und Rechenmittel; die Datenbrille, umfassend eine Anzeige; wobei die Vorrichtung zur Ausführung eines der Verfahren nach einem der vorhergehenden Ansprüche eingerichtet ist. KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 zeigt eine beispielhafte Verkehrssituation.

Fig. 2 zeigt die Anzeige einer Datenbrille für die Verkehrssituation gemäß Fig. 1 gemäß einem Ausführungsbeispiel.

DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS Fig. 1 zeigt eine beispielhafte Verkehrssituation. Ein Fußgänger 1 befindet sich an einer Kreuzung und möchte die Straße wie durch den Pfeil angedeutet überqueren. Gleichzeitig nähert sich ein Fahrzeug 2 der Kreuzung und möchte rechts abbiegen, wie durch den Pfeil dargestellt. Im Bereich zwischen Fußgänger und Fahrzeug befinden sich Häuser, die den Blick des Fußgängers auf das Fahrzeug 2 versperren und umgekehrt. Sowohl der Fußgänger 1, ais auch der Fahrer des Fahrzeugs 2 führen ein Smartphone mit sich, die jeweils an einem System zur Kollisionsvermeidung mitwirken. Dazu bestimmt jedes Smartphone seine Position mittels GPS und GLONASS und errechnet seine zukünftige Trajektorie für die nächsten 2 s. Hier wird angenommen, dass zur Trajektorienberechnung fortgeschrittene Algorithmen ver- wendet werden, die auch ein Abbiegen des Fahrzeugs vorhersagen können, wie in der ebenfalls anhängigen deutschen Anmeldung 102013212359 beschrieben. Zur Bestimmung der Trajektorie des Fußgängers kann dessen bisherige Bewegung interpoliert werden. Stand der Fußgänger still kann anhand der Positionierung, der Ausrichtung des Fußgängers und einer Landkarte (die die Information beiträgt, dass der Fußgänger vor einer Straße steht) vorhergesagt werden, dass bei sich der Fußgänger wohl über die Straße bewegen wird. Die errechneten Trajektorien werden von den Smartphones ausgetauscht, gegebenenfalls kann dafür ein zentraler Server verwendet werden. Der Austausch kann aber auch infrastrukturlos geschehen, ins- besondere über Bluetooth oder WLAN. Mithilfe der ausgetauschten Daten ermittelt jedes Smartphone die Kollisionsgefahr und in welcher Richtung sich der Verkehrsteilnehmer befindet, mit dem eine Kollision droht, also die Richtung, aus der die Kollision droht.

Der Fußgänger 1 trägt eine Datenbrille mit Anzeige (nicht dargestellt in Fig. 1). Die Datenbrille umfasst Sensoren, mit deren Hälfe die Ausrichtung der Datenbrille bestimmt werden kann. Die Ausrichtung der Datenbrille wird an das Smartphone übermittelt. Dieses bestimmt anhand eines Vergleiches mit der Richtung, aus der eine Kollision droht, an welchem Ort auf der Anzeige der Datenbrille der Hinweis angezeigt werden müsste, um für den Verkehrsteilnehmer in der Richtung zu er- scheinen, aus der die Kollision droht, in dem Beispiel der Fig. 1 wäre dieser Hinweis bei einer Kopfausrichtung des Fußgängers 1 in Bewegungsrichtung außerhalb des Blickfeldes anzuzeigen (und dementsprechend auch außerhalb der Anzeige der Datenbrille). Folglich wird der Hinweis an dem Rand der Anzeige der Datenbrille angezeigt, der der Richtung am ehesten entspricht, hier also der rechte Rand. Da sich die Richtung, aus der die Kollision droht, außerhalb der anzeigbaren Richtung befindet wird ein Pfeil 4 auf der Anzeige er Datenbrille 3 als Hinweis angezeigt, wie in Fig. 2 dargestellt. In dem Fall, dass der Hinweis für den Verkehrsteilnehmer in der Richtung angezeigt werden kann, aus der die Gefahr droht, kann in dieser Richtung ein roter Punkt oder ein roter Balken oder ähnliches angezeigt werden.