Multisensuelle Aufmerksamkeitslenkung Gebiet der Erfindung

Die vorliegende Erfindung betrifft die Sicherheitstechnik in Fahrzeugen. Insbesondere betrifft die Erfindung eine multi ^¬ sensuelle Aufmerksamkeitslenkungsvorrichtung für ein Fahrzeug, ein Fahrzeug mit einer multisensuellen Aufmerksamkeitslenkungs ^¬ vorrichtung, die Verwendung einer multisensuellen Aufmerksamkeitslenkungsvorrichtung in einem Straßenfahrzeug, ein Verfahren zur multisensuellen Lenkung der Aufmerksamkeit eines Fahrers, ein Programmelement und ein computerlesbares Medium.

Hintergrund

Warnsignale in Fahrzeugen werden optisch über Anzeigen oder akustisch über Warntöne ausgegeben. Beispiele hierfür sind statische oder blinkende Zeichen im Armaturenbrett , Warntexte in Displays, Warntöne, falls beispielsweise der Gurt nicht angelegt ist, Warnansagen über den Verkehrsfunk und auch haptische Signale, wie ein vibrierendes Lenkrad. Warntöne können auch mit Anzeigen kombiniert werden, um die Aufmerksamkeit des Fahrers zu wecken und auf die Anzeige zu lenken. Die Warnsignale sind im Regelfall unspezifisch in Bezug auf die Richtung, aus der die Gefahr kommt. WO 2007/049995 AI beschreibt ein System zur Detektion von

Objekten, welches ein akustisches Signal ausgeben kann, das das natürliche Geräusch des Objektes nachbilden soll . Es sind mehrere Lautsprecher vorgesehen, welche ein Geräusch ausgeben können, das auf die Position des Objektes hinweist. Zusammenfassung der Erfindung

Es ist eine Aufgabe der Erfindung, die Sicherheit im Verkehr weiter zu erhöhen.

Diese Aufgabe wird durch die Merkmale der unabhängigen Pa ^¬ tentansprüche gelöst. Weiterbildungen aus der Erfindung ergeben sich aus den Unteransprüchen und der folgenden Beschreibung. Gemäß einem ersten Aspekt der Erfindung ist eine multisensuelle Aufmerksamkeitslenkungsvorrichtung für ein Fahrzeug angegeben, welche eine Sensoranordnung, eine Warnsignalausgabeanordnung und eine Steuereinheit aufweist. Die Sensoranordnung dient dem Erfassen von Messwerten und die Warnsignalausgabeanordnung dient der Ausgabe von haptischen, akustischen und optischen Warnsignalen an den Fahrer des Fahrzeugs . Die Steuereinheit ist ausgeführt, die erfassten Messwerte zu analysieren und anhand der erfassten Messwerte zu beurteilen, ob eine potenzielle Gefahrensituation, die von einer potenziellen Gefahrenquelle ausgeht, vorliegt oder nicht. Urteilt die Steuer ^¬ einheit, dass eine solche potenzielle Gefahrensituation vor- liegt, kann sie die Warnsignalausgabeanordnung derart steuern, dass diese Warnsignale an den Fahrer des Fahrzeugs ausgibt, die dem Fahrer die Richtung weisen, in welcher sich die potenzielle Gefahrenquelle befindet. Auch kann die Warnsignalausgabeanordnung derart gesteuert werden, dass die ausgegebenen Warn- signale dem Fahrer die Richtung weisen, in welcher sich eine Mensch-Maschine-Schnittstelle im Fahrzeug befindet, deren Bedienung durch den Fahrer eine Gegenmaßnahme zum Vermeiden der potenziellen Gefahrensituation darstellt. Wichtig ist, dass die Vorrichtung die Aufmerksamkeit des Fahrers multisensuell lenkt, indem sie gleichzeitig mehrere Sinne des Fahrers anspricht . Hierdurch kann die Lenkung der Aufmerksamkeit des Fahrers effektiver erfolgen und es kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass der Fahrer auf die Aufmerksamkeitslenkung wunschgemäß reagiert, selbst falls eines seiner Sinnesorgane (Ohren, Augen oder Tastsinn) die an das entsprechende Sinnesorgan gerichteten Warnsignale nicht wahrnehmen sollte.

Durch das Zusammenspiel mehrerer Warnsignale, beispielsweise akustischer Warnsignale in Kombination mit haptischen Warn- Signalen oder akustischer Warnsignale in Kombination mit optischen Warnsignalen oder optischer Warnsignale in Kombination mit haptischen Warnsignalen oder haptischer, akustischer und optischer Warnsignale, werden mehrere Sinnesorgane gleichzeitig angesprochen und es kann auf diese Weise möglich sein, dass die Aufmerksamkeit des Fahrers schneller, effektiver, intuitiver und genauer gelenkt wird, so dass er die potenzielle Gefahrensi ^¬ tuation schneller beurteilen und entsprechende Gegenmaßnahmen einleiten kann. Insbesondere kann vorgesehen sein, dass zumindest ein Teil der Warnsignale die potenzielle Gefahrenquelle simuliert, damit eine möglichst einfache und schnelle mentale Zuordnung zwischen Warnsignal und Ereignis möglich ist. Gemäß einer Ausführungsform der Erfindung ist die multisensuelle Aufmerksamkeitslenkungsvorrichtung zur Durchführung einer akustischen und haptischen oder einer akustischen und optischen Simulation der potenziellen Gefahrenquelle durch die Warnsignalausgabeanordnung ausgeführt .

Gemäß einer weiteren Ausführungsform der Erfindung ist die multisensuelle Aufmerksamkeitslenkungsvorrichtung zur Mitteilung einer möglichen, zu ergreifenden Gegenmaßnahme an den Fahrer ausgeführt, indem die Warnsignalausgabeanordnung die durch eine solche Gegenmaßnahme entstehenden Geräusche simu ^¬ liert, bevor die Gegenmaßnahme von dem Fahrer ergriffen wird. Beispielsweise können Bremsgeräusche eingespielt werden, um dem Fahrer mitzuteilen, dass er nach Möglichkeit bremsen oder ausweichen sollte. Gemäß einer weiteren Ausführungsform der Erfindung ist die multisensuelle Aufmerksamkeitslenkungsvorrichtung zur Durchführung einer optischen Markierung der potenziellen Gefahrenquelle auf einem Head-Up Display des Fahrzeugs ausgeführt. Gepaart mit einer akustischen Lenkung der Aufmerksamkeit des Fahrers kann es dem Fahrer somit erleichtert werden, den genauen Ort der potenziellen Gefahrenquelle zu erkennen.

Gemäß einer weiteren Ausführungsform der Erfindung ist die multisensuelle Aufmerksamkeitslenkungsvorrichtung zur Ausgabe eines akustischen Warnsignals durch die Warnsignalausgabeanordnung ausgeführt, welches eine situationsbezogene Rich ^¬ tungsinformation enthält , indem es dem Fahrer suggeriert , aus der Richtung, in der sich die potenzielle Gefahrenquelle oder die Schnittstelle befindet, zu stammen.

Diese akustischen Warnsignale werden beispielsweise mit Hilfe eines Richtungsmischers erzeugt, der die im Fahrzeug verteilten Lautsprecher entsprechend ansteuert. Gemäß einer weiteren Ausführungsform der Erfindung weist die Sensoranordnung des Fahrzeugs eine Fahrzeugsensorik und eine Umfeldsensorik zum Erfassen von Messwerten auf. Bei den von der Fahrzeugsensorik erfassten Messwerten handelt es sich um Fahrzeugdaten, wie beispielsweise Beschleunigungsdaten, Ge- schwindigkeitsdaten, Positionsangaben, und bei den Umfelddaten handelt es sich um von der Umfeldsensorik gewonnene Messwerte, wie beispielsweise die Distanz zu einem bestimmten Objekt, die Straßenverhältnisse, die Bewegungsrichtung und Geschwindigkeit des Objekts und dergleichen. Gemäß einem weiteren Aspekt der Erfindung ist ein Fahrzeug mit einer oben und im Folgenden beschriebenen multisensuellen Aufmerksamkeitslenkungsvorrichtung angegeben . Bei dem Fahrzeug kann es sich beispielsweise um ein Auto, ein Luftfahrzeug, wie Helikopter, Luftschiff oder Flugzeug, um ein Schienenfahrzeug oder um ein Wasserfahrzeug handeln.

Gemäß einem weiteren Aspekt der Erfindung ist die Verwendung einer oben und im Folgenden beschriebenen multisensuellen

Aufmerksamkeitslenkungsvorrichtung in einem Straßenfahrzeug zur multisensuellen Verstärkung von Warnsignalen, die von einer potentiellen Gefahrenquelle ausgehen, angegeben . Gemäß einem weiteren Aspekt der Erfindung ist ein Verfahren zur multisensuellen Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs angegeben, bei dem Messwerte erfasst und analysiert werden, woraufhin ein Beurteilen anhand der erfassten Messwerte erfolgt, ob eine potenzielle Gefahrensituation, die von einer potenziellen Gefahrenquelle ausgeht, vorliegt oder nicht.

Daraufhin kann eine Warnsignalausgabeanordnung derart gesteuert werden, dass wahlweise zumindest haptische und akustische oder optische und akustische Warnsignale ausgegeben werden, die dem Fahrer die Richtung weisen, in welcher sich die potenzielle Gefahrenquelle befindet und/oder in welcher sich eine

Schnittstelle befindet, deren Bedienung durch den Fahrer eine Gegenmaßnahme zum Vermeiden der potenziellen Gefahrensituation darstellt . Gemäß einem weiteren Aspekt der Erfindung ist ein Programmelement angegeben, das, wenn es auf einem Prozessor einer multisensuellen Aufmerksamkeitslenkungsvorrichtung ausgeführt wird, die multisensuelle Aufmerksamkeitslenkungsvorrichtung veranlasst, die oben und im Folgenden beschriebenen Verfahrensschritte durchzuführen. Gemäß einem weiteren Aspekt der Erfindung ist ein computerlesbares Medium angegeben, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Prozessor einer multi ^¬ sensuellen Aufmerksamkeitslenkungsvorrichtung ausgeführt wird, die multisensuelle Aufmerksamkeitslenkungsvorrichtung veranlasst, die oben und im Folgenden beschriebenen Verfahrensschritte durchzuführen.

Das Programmelement kann Teil einer Software sein, die auf einem Prozessor des Fahrzeugs gespeichert ist. Der Prozessor kann dabei ebenso Gegenstand der Erfindung sein. Weiterhin kann es sich bei dem Programmelement um ein Computerprogramm handeln, welches schon von Anfang an die Erfindung verwendet, als auch ein Computerprogramm, welches durch eine Aktualisierung (Update) ein bestehendes Programm zur Verwendung der Erfindung veranlasst.

Im Folgenden werden mit Verweis auf die Figuren Ausführungs ^¬ beispiele der Erfindung beschrieben. Kurze Beschreibung der Figuren

Fig. 1 zeigt eine multisensuelle Aufmerksamkeitslenkungsvorrichtung für ein Fahrzeug gemäß einem Ausführungsbeispiel der Erfindung .

Fig. 2 zeigt das Bild, das ein Fahrer durch die Windschutzscheibe eines Fahrzeugs mit Head-Up Display gemäß einem Ausführungs ^¬ beispiel der Erfindung sehen kann. Fig. 3 zeigt Einrichtungen eines Fahrzeugs gemäß einem Aus ^¬ führungsbeispiel der Erfindung.

Fig. 4 zeigt verschiedene Fahrzeuge gemäß Ausführungsbeispielen der Erfindung.

Fig. 5 zeigt ein Flussdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung. Detaillierte Beschreibung von Ausführungsbeispielen

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.

Werden in der folgenden Figurenbeschreibung in verschiedenen Figuren die gleichen Bezugszeichen verwendet, so bezeichnen diese gleiche oder ähnliche Elemente. Gleiche oder ähnliche Elemente können aber auch durch unterschiedliche Bezugszeichen bezeichnet sein.

Fig. 1 zeigt eine multisensuelle Aufmerksamkeitslenkungsvorrichtung 100 für ein Fahrzeug. Die Vorrichtung 100 weist eine Steuereinheit 101 in Form eines Prozessors auf, welche mit verschiedenen Einrichtungen des Fahrzeugs verbunden ist.

An dieser Stelle sei darauf hingewiesen, dass die Kommunikation zwischen ausgewählten Einrichtungen des Fahrzeugs in bestimmten Ausführungsbeispielen der Erfindung drahtlos erfolgen kann.

Ebenso kann vorgesehen sein, dass die Kommunikation wahlweise drahtgebunden oder drahtlos oder ausschließlich drahtgebunden erfolgt . Die multisensuelle Aufmerksamkeitslenkungsvorrichtung weist eine Fahrzeugnavigationsvorrichtung 104, eine Fahrzeugassistenzvorrichtung 103 und eine Fahrzeugsensorik 102 auf.

Die Fahrzeugsensorik 102 kann sowohl Umfeldsensoren, wie beispielsweise Radarsensoren, Lidarsensoren, als auch Fahrzeugsensoren, welche fahrzeuginterne Messdaten aufnehmen, aufweisen. Beispiele hierfür sind ESP-Sensoren zur Messung von Beschleunigungen, Drehzahlen, sowie der aktueller Fahrzeugposition und -geschwindigkeit . Weiter ist ein Datenspeicher 105 vorgesehen, auf dem beispielsweise das Programmelement zur Durchführung des erfin ^¬ dungsgemäßen Verfahrens gespeichert sein kann. Die Steuereinheit 101 weist darüber hinaus einen sog. Rich ^¬ tungsmischer 109 auf, der dazu beitragen kann, die akustischen Warnsignale zu erzeugen.

Zur Ausgabe der akustischen Warnsignale sind mehrere Laut- Sprecher 113, 114, 115, 116 vorgesehen, die im Fahrzeug verteilt sind und die die akustische Warnsignalausgabeeinheit 107 ausbilden .

Über die sog. optische Warnsignalausgabeeinheit 108 können mit Hilfe mehrerer visueller Ausgabevorrichtungen 117, 118, 119 optische Warn- und Informationssignale ausgegeben werden.

Über die haptische Warnsignalausgabevorrichtung 106 können haptische Warnsignale ausgegeben werden. Beispiele hierfür sind Vibrationen des Lenkrads über die Vibrationseinheit 110,

Vibrationen des Fahrersitzes über die Sitzvibrationseinheit 111 und Vibrationen eines oder mehrerer der Pedale über die Pedalvibrationseinheit 112. Alle diese verschiedenen Ausgabevorrichtungen können von der Steuereinheit 101 angesprochen und aktiviert werden.

Die Erfindung schlägt nun mehrere Maßnahmen vor, um dem Fahrer eine schnelle und einfache Erfassung der Situation und ent- sprechender Warnhinweise zu ermöglichen.

Beispielsweise können die von der Gefahrenquelle ausgehenden, natürlichen Signale verstärkt oder simuliert werden, um die Aufmerksamkeit des Fahrers zu erregen, ehe die eigentliche Gefahrenquelle an Bedrohlichkeit gewonnen hat. Beispielsweise meldet die Navigation 104 der Steuereinheit 101 eine Schule mit der potenziellen Gefahr plötzlich die Fahrbahn überquerende Kinder voraus. Als Warnsignal wird Kinderlärm erzeugt und in das Cockpit eingespielt. Die Navigation 104 bzw. das Instrumentencluster zeigt dazu das entsprechende Ver ^¬ kehrswarnzeichen, beispielsweise auf dem Head-Up Display 117, an .

Als weiteres Beispiel erwartet die Navigation 104 eine schlechte Fahrbahnstrecke voraus und die aktuelle Geschwindigkeit des

Fahrzeugs ist verhältnismäßig hoch. Als Warnsignal wird starkes Rollgeräusch eingespielt . Die haptische Rückkopplung vom Lenkrad und/oder Sitz simuliert Vibrationen mit einer Statistik

(Frequenzmuster), die der einer schlechten Fahrbahn entspricht.

Als weiteres Beispiel entdeckt ein Abstandsensor der Sensorik 102, dass das vorhergehende Fahrzeug stark bremst. Das Info- tainment reduziert die Lautstärke der aktuellen Tonquelle (z. B. Radio) und mischt ein deutlich hörbares Bremsgeräusch so in die Kanäle der Frontlautsprecher, dass als akustischer Ort für das Bremsgeräusch vom Fahrer ein Ort vor dem Auto empfunden wird.

Auch können akustische Warnsignale derart dargestellt werden, dass sie die Aufmerksamkeit in die gewünschte Richtung lenken. Dazu wird ein Richtungsmischpult 109 eingesetzt, um die über die LautSprecherkanäle des Autos wiederzugebenden Kanäle der Warnmeldungen und -Signale so zu filtern, dass für den Fahrer der subjektive Eindruck entsteht, dass das Warnsignal aus einer bestimmten Richtung kommt. Bei dieser Richtung handelt es sich um diejenige Richtung, in die die Aufmerksamkeit des Fahrers gelenkt werden soll. Die bestimmte Richtung muss nicht mit der Horizontalebene des Fahrzeugs übereinstimmen, sondern kann auch Richtung Boden oder Richtung Himmel des Fahrzeugs gehen. Beispielsweise kann sich der Fall ergeben, dass die Handbremse des Fahrzeugs nicht vollständig gelöst ist. Ein entsprechendes Warnsignal, respektive eine Warnmeldung, wird entsprechend dem binauralen Hörverhalten des menschlichen Ohres so vorgefiltert, dass das Signal so klingt, als käme es aus der Richtung der Handbremse . Auch ist es möglich, dass das Front-Lidar eine Nebelwand vorausdetektiert . Der Fahrtassistent 103 gibt den Hinweis aus: „Der Schalter für Nebelscheinwerfer und Nebelschlussleuchte befindet sich ...". Der Hinweis wird entsprechend dem binauralen Hörverhalten des menschlichen Ohres vorgefiltert, so dass das Signal so klingt, als käme es aus der Richtung des Schalters. Die Beleuchtung des Schalters kann gleichzeitig eingeschaltet werden oder blinken.

Auch können mehrere Modalitäten gleichzeitig genutzt werden, um richtungsbezogene Informationen zu erzeugen und die Aufmerksamkeit des Fahrers in die gewünschte Richtung zu lenken.

Beispielsweise kann zusätzlich zu dem oben beschriebenen Kinderlärm aus Richtung der Schule auch das Head-Up Display den gefährlichen Bereich 201 neben der Straße in der Windschutz- scheibe 204 markieren. Dies ist in der Fig. 2 gezeigt, in welcher der Straßenverlauf 203 durch die Windschutzscheibe 204 zu erkennen ist. Am linken Fahrbahnrand befindet sich ein Schulkind 202, welches von der das Kind umrandenden Markierung 201 des Head-Up Displays visuell hervorgehoben wird.

Auch ist es möglich, dass gleichzeitig zu der oben beschriebenen Ausgabe des Rollgeräusches eine Vibration von Lenkrad und/oder Sitz erzeugt wird, um die Aufmerksamkeit des Fahrers auf die Fahrbahn zu lenken.

Die verschiedenen Warnsignale können so miteinander verknüpft werden, dass der Fahrer Art, Ort und Gefahrenpotenzial der Gefahrenquelle intuitiv erfährt, indem mehrere seiner Sinne auf verschiedene Weise angesprochen werden. Auch ist das System in der Lage, dem Fahrer schnell und effektiv Gegenmaßnahmen mitzuteilen, die er ergreifen kann, um die Gefahrensituation zu vermeiden . Hierzu kann auch das Lenken der Aufmerksamkeit des Fahrers auf den Knopf der Warnblinkanlage gehören, falls eine Staubildung auf der Autobahn droht.

Fig. 3 zeigt das Lenkrad 301 eines Fahrzeugs, das Gaspedal 302 des Fahrzeugs und den Fahrzeugsitz 303. Alle drei Vorrichtungen können über Vibrationssensoren angesprochen und zu Vibrationen angeregt werden, so dass Oberschenkel und Rücken, Hand und Fuß des Fahrers Vibrationsinformationen erhalten können.

Vibration des Gaspedals könnte beispielsweise bedeuten, dass der Fahrer die Geschwindigkeit verringern soll. Somit können vorhandene, schwache Warnsignale, die von einer potentiellen oder tatsächlichen Gefahrenquelle ausgehen, verstärkt werden. Es können also Warnsignale, die vom Fahrer in Verbindung mit der entsprechenden Gefahrenquelle erwartet werden, gespeichert sein und bei Bedarf wiedergegeben werden.

Insbesondere schlägt die Erfindung vor, keine Einzelmaßnahmen zu ergreifen, sondern mehrere Modalitäten zu bündeln, um die Aufmerksamkeitslenkung richtungsbezogen und effektiv durchzuführen. Beispielsweise können gesprochene Meldungen in Ver- bindung mit einer richtungsbezogenen binauralen Verarbeitung erfolgen. Auch ist es möglich, dass ein optisches Signal in Verbindung mit einer richtungsbezogenen binauralen Verarbeitung ausgegeben wird. Auch können optische und/oder akustische Signale in Verbindung mit einem vibrierenden Lenkrad oder einem vibrierenden Sitz ausgegeben werden.

Meldungen oder akustische Warnsignale können mit Hilfe eines Richtungsmischpults erzeugt werden, um die über die Laut ^¬ sprecherkanäle des Autos wiederzugebenden Kanäle der Warn- meidungen und -signale so zu filtern, dass für den Fahrer der subjektive Eindruck entsteht, dass das Warnsignal aus einer bestimmten Richtung entstammt (nämlich der, in die die Auf- merksamkeit des Fahrers gelenkt werden soll) . Die bestimmte Richtung muss nicht mit der horizontalen Ebene des Fahrzeugs übereinstimmen, sondern kann auch in den Boden oder den Himmel des Fahrzeugs weisen. Die Signale können entweder vorgefiltert und mehrkanalig gespeichert oder einkanalig gespeichert und während der Wiedergabe mehrkanalig richtungsabhängig aufbe ^¬ reitet werden.

Fig. 4 zeigt mehrere Fahrzeuge gemäß Ausführungsbeispielen der Erfindung. Bei dem Fahrzeug kann es sich beispielsweise um einen Helikopter 401, ein Kraftfahrzeug 402, ein Schiff 403 oder eine Lokomotive 404 handeln. Sämtliche Fahrzeuge weisen eine mul ^¬ tisensuelle Aufmerksamkeitslenkungsvorrichtung auf. Fig. 5 zeigt ein Flussdiagramm eines Verfahrens gemäß einem

Ausführungsbeispiel der Erfindung. In Schritt 501 erfolgt die Erfassung von Messwerten durch die Umfeldsensorik und die Fahrzeugsensorik . In Schritt 502 werden dann diese erfassten Messwerte analysiert und es wird beurteilt, ob eine potenzielle Gefahrensituation vorliegt. In Schritt 503 wird dann die

Warnsignalausgabeanordnung angesteuert, so dass sie dem Fahrer die Richtung weist, in welcher sich die potenzielle Gefahrenquelle befindet. In Schritt 504 wird dem Fahrer darüber hinaus angezeigt, wo sich die Schnittstelle im Fahrzeug befindet, welche der Fahrer zur Vermeidung der potenziellen Gefahrenquelle bedienen sollte. Hierbei handelt es sich beispielsweise um die Warnblinkanlage oder die Handbremse. Auch kann dem Fahrer in Schritt 505 mitgeteilt werden, welche Maßnahme er als nächstes ergreifen sollte (bremsen, ausweichen, etc.).

Bei den ausgegebenen Signalen kann es sich insbesondere um eine Kombination aus akustischen, haptischen und visuellen Signalen handeln, um die Aufmerksamkeit des Fahrers schnell und effektiv zu lenken.

Ergänzend sei darauf hingewiesen, dass „umfassend" und „auf ^¬ weisend" keine anderen Elemente oder Schritte ausschließt und „eine" oder „ein" keine Vielzahl ausschließt. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen anzusehen.