Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
INTELLIGENT COMMUNICATION SYSTEM FOR CONTROLLING THE OUTPUT OF INFORMATION TO A VEHICLE OCCUPANT
Document Type and Number:
WIPO Patent Application WO/2023/025358
Kind Code:
A1
Abstract:
The invention relates to an intelligent communication system (1, 1a) for controlling an output of information to a vehicle occupant in a vehicle, comprising a state-ascertaining unit (3) for determining a driver state by means of a plurality of vehicle sensors (2) which at least partially capture the driver, a surroundings-ascertaining unit (4) for determining the vehicle surroundings by means of a plurality of vehicle sensors (2), an ascertaining unit (5) for ascertaining the vehicle state by means of a plurality of vehicle sensors (2), an evaluating unit (6) for evaluating the information to be output and for classifying this information into different critical categories, and a multi-modal output system (7) which, for outputting the information, is connected to various output devices (9), at least two of which each communicate with the driver in a different way, wherein the multi-modal output system (7) is designed to select one or more output devices (9) on the basis of the detected driver state, the detected vehicle surroundings, the detected vehicle state and the evaluation of the information, and to use the one or more selected output devices (9) to output the information to be output. The invention also relates to a method.

Inventors:
BÄR DANIEL (DE)
Application Number:
PCT/DE2022/200165
Publication Date:
March 02, 2023
Filing Date:
July 22, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CONTINENTAL AUTOMOTIVE TECH GMBH (DE)
International Classes:
B60K28/06; B60K35/00; B60K28/10; B60K37/06; B60W30/02; B60W50/00; B60W50/14
Foreign References:
DE102017130414A12018-06-21
DE102019118183A12021-01-07
DE102007025404A12007-12-06
DE10338566A12005-03-17
US20170190337A12017-07-06
US20170190337A12017-07-06
Download PDF:
Claims:
Patentansprüche

1. Intelligentes Kommunikationssystem (1 ,1 a) zum Steuern einer Ausgabe von Informationen an einen Fahrzeuginsassen in einem Fahrzeug umfassend eine Zustandsermittlungseinheit (3) zum Bestimmen eines Fahrerzustandes anhand mehrerer, zumindest teilweise den Fahrer erfassender Fahrzeugsensoren (2), und eine Umfeldermittlungseinheit (4) zum Bestimmen des Fahrzeugumfelds anhand mehrerer Fahrzeugsensoren (2), und eine Ermittlungseinheit (5) zum Ermitteln des Fahrzeugzustandes anhand mehrerer Fahrzeugsensoren (2), eine Bewertungseinheit (6) zum Bewerten und Einteilen der auszugebenden Informationen in verschiedene kritische Kategorien, und ein multimodales Ausgabesystem (7), welches zur Ausgabe der Informationen mit verschiedenen Ausgabegeräten (9), von denen zumindest zwei mit dem Fahrer auf unterschiedliche Art kommunizieren, verbunden ist, und wobei das multimodale Ausgabesystem (7) dazu ausgebildet ist, anhand des erfassten Fahrerzustandes und anhand des erfassten Fahrzeugumfelds sowie anhand des erfassten Fahrzeugzustandes sowie anhand der Bewertung der Informationen, ein oder mehrere Ausgabegeräte (9) auszuwählen und eine Ausgabe der auszugebenden Informationen über die eine oder mehreren ausgewählten Ausgabegeräte (9) zu bewerkstelligen.

2. Intelligentes Kommunikationssystem (1 ,1 a) nach Anspruch 1 , dadurch gekennzeichnet, dass das multimodale Ausgabesystem (7) dazu ausgebildet ist, je nach Ausgabegerät (9) eine visuelle oder haptische oder akustische Ausgabe als unterschiedliche Kommunikationsart mit dem Fahrer zu bewerkstelligen.

3. Intelligentes Kommunikationssystem (1 ,1 a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewertungseinheit (6) dazu ausgebildet ist, eine Einteilung der auszugebenden Information in eine zeitkritische und/oder sicherheitskritische Kategorie vorzunehmen.

4. Intelligentes Kommunikationssystem (1 ,1 a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das multimodale Ausgabesystem (7) ein trainiertes maschinelles Lernverfahren aufweist, welches dazu trainiert ist, unter Berücksichtigung des erfassten Fahrerzustandes und des erfassten Fahrzeugumfelds sowie des erfassten Fahrzeugzustandes sowie der Bewertung der Information eine Ausgabe der Information über ein bestimmtes oder mehrere Ausgabegeräte (9) zu bewerkstelligen und wobei das multimodale Ausgabesystem (7) ferner dazu ausgebildet ist, die Information dem oder den ausgewählten Ausgabegeräten (9) bereitzustellen.

5. Intelligentes Kommunikationssystem (1 ,1 a), nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das multimodale Ausgabesystem (7) eine Speichereinheit (10) aufweist zum Zwischenspeichern und nachträglichen Ausgeben der auszugebenden Informationen.

6. Intelligentes Kommunikationssystem (1 ,1 a) nach Anspruch 5, dadurch gekennzeichnet, dass das multimodale Ausgabesystem (7) dazu ausgebildet ist, verschiedene gespeicherte Informationen zumindest in einer Reihenfolge auszugeben, wobei die Reihenfolge durch das multimodale Ausgabesystem (7) anhand der Bewertung der gespeicherten Informationen festgelegt ist.

7. Intelligentes Kommunikationssystem (1 ,1 a) nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das multimodale Ausgabesystem (7) dazu ausgebildet ist, die gespeicherten Informationen nach ihrer Ausgabe zu löschen.

8. Intelligentes Kommunikationssystem (1 ,1 a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das multimodale Ausgabesystem (7) zur Übermittlung von einem vorab festgelegten erfassten Fahrerzustand und einem vorab festgelegten erfassten Fahrzeugumfeld sowie einem vorab festgelegten erfassten Fahrzeugzustand sowie einer vorab festgelegten Bewertung der Information an eine Steuereinheit (11 ) ausgebildet ist. 19

9. Intelligentes Kommunikationssystem (1 ,1 a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das multimodale Ausgabesystem (7) zur Generierung der auszugebenden Information anhand des erfassten Fahrerzustandes und des erfassten Fahrzeugumfelds sowie des erfassten Fahrzeugzustandes ausgebildet ist.

10. Intelligentes Kommunikationssystem (1 ,1a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das multimodale Ausgabesystem (7) zumindest zur unidirektionalen Kommunikation mit einer externen Datenquelle, zum Empfang der auszugebenden Information ausgebildet ist.

11. Intelligentes Kommunikationssystem (1 ,1 a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das intelligente Kommunikationssystem (1 ,1 a) dazu ausgebildet ist, Fahrereingaben, welche über die verschiedenen Ausgabegeräte (9) eingegeben werden, zu empfangen und zu verarbeiten.

12. Intelligentes Kommunikationssystem (1 ,1 a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das intelligente Kommunikationssystem (1 ,1 a) dazu ausgebildet ist, Benutzereingaben, welche über die verschiedenen Ausgabegeräte (9) eingegeben werden zu empfangen und wobei die Bewertungseinheit (6) ferner dazu ausgebildet ist, eine auszugebende Information unter Berücksichtigung der Benutzereingaben zu bewerten.

13. Verfahren zum Steuern einer Ausgabe von Informationen an einen Fahrzeuginsassen in einem Fahrzeug mittels eines intelligenten Kommunikationssystems (1 ,1 a) nach einem der vorhergehenden Ansprüche umfassend der Schritte

- Bestimmen eines Fahrerzustandes anhand mehrerer, zumindest teilweise den Fahrer erfassender Fahrzeugsensoren (2) durch eine Zustandsermittlungseinheit (3) und

- Bestimmen des Fahrzeugumfelds anhand mehrerer Fahrzeugsensoren (2) durch eine Umfeldermittlungseinheit (4) und 20

- Ermitteln des Fahrzeugzustandes anhand mehrerer Fahrzeugsensoren (2) durch eine Ermittlungseinheit (5),

- Bewerten und Einteilen der auszugebenden Informationen in verschiedene kritische Kategorien durch eine Bewertungseinheit (6),

- Bereitstellen eines multimodalen Ausgabesystems (7), welches zur Ausgabe der Informationen mit verschiedenen Ausgabegeräten (9), von denen zumindest zwei mit dem Fahrer auf unterschiedliche Art kommunizieren, verbunden ist,

- Auswahlen ein oder mehrere Ausgabegeräte (9) anhand des erfassten Fahrerzustandes und des erfassten Fahrzeugumfelds sowie anhand des Fahrzeugzustandes sowie anhand der Bewertung der Informationen, und Bewerkstelligen einer Ausgabe der auszugebenden Informationen über die eine oder mehreren ausgewählten Ausgabegeräte (9) durch das multimodale Ausgabesystem (7).

Description:
Beschreibung

Intelligentes Kommunikationssystem zum Steuern der Ausgabe von Informationen an einen Fahrzeuginsassen

Die Erfindung betrifft ein intelligentes Kommunikationssystem zum Steuern einer Ausgabe von Informationen an einen Fahrzeuginsassen sowie ein Verfahren.

Sprachgesteuerte Benutzererfahrungen sind heute mit beliebten Diensten auf jedem modernen Telefon zu finden, haben aber auch mit dem Aufkommen von physischen Geräten Einzug in die Haushalte gehalten.

Typischerweise werden Informationen als Sprachausgabe über beispielsweise ein Mikrofon an den Fahrzeuginsassen kommuniziert.

Vor allem in Fahrzeugen sind solche Kommunikationssysteme mittlerweile tief integriert.

Ein Kommunikationssystem in einem Fahrzeug ist konfiguriert, um auf Interaktionen zu reagieren, die vom Fahrer oder Fahrzeug, initiiert werden. Hierunter fällt auch die Ausgabe von Informationen; beispielsweise eine Staumeldung.

Moderne Tools zur Entwicklung digitaler Assistenten verfolgen in der Regel ein Voice-First- (für Smart Speaker und andere Sprachbefehlsszenarien) oder Text-First- (typischerweise für Chatbots) Interaktionsparadigma.

Die US 2017 190 337A1 offenbart ein Kommunikationssystem zum Steuern der Ausgabe von Nachrichten an einen Fahrzeuginsassen. Das Kommunikationssystem weist einen Prozessor auf, der dazu konfiguriert ist, eine erste Nachricht an den Fahrzeuginsassen auszugeben. Ein Signal wird von einem oder mehreren Sensoren empfangen, die den Fahrzeuginsassen überwachen, wenn die erste Nachricht ausgegeben wird. Das Signal von dem einen oder den mehreren Sensoren wird analysiert, um einen oder mehrere Parameter zu bestimmen, die sich auf die Reaktion des Fahrzeuginsassen auf die erste Nachricht beziehen. Das Kommunikationssystem steuert die nachfolgende Ausgabe mindestens der ersten Nachricht in Abhängigkeit von dem einen oder den mehreren bestimmten Parametern.

Es ist daher eine Aufgabe ein verbessertes Kommunikationssystem und Verfahren zum Steuern einer Ausgabe von Informationen an einen Fahrzeuginsassen in einem Fahrzeug anzugeben.

Die Aufgabe wird gelöst durch ein intelligentes Kommunikationssystem mit den Merkmalen des Anspruchs 1 und ein Verfahren mit den Merkmalen des Anspruchs 13. Weitere vorteilhafte Ausgestaltungen der vorliegenden Erfindung sind in den abhängigen Ansprüchen angegeben.

Die Aufgabe wird gelöst durch ein intelligentes Kommunikationssystem zum Steuern einer Ausgabe von Informationen an einen Fahrzeuginsassen umfassend eine Zustandsermittlungseinheit zum Bestimmen eines Fahrerzustandes anhand mehrerer, zumindest teilweise den Fahrer erfassender Fahrzeugsensoren, und eine Umfeldermittlungseinheit zum Bestimmen des Fahrzeugumfelds anhand mehrerer Fahrzeugsensoren, und eine Ermittlungseinheit zum Ermitteln des Fahrzeugzustandes anhand mehrerer Fahrzeugsensoren, eine Bewertungseinheit zum Bewerten und Einteilen der auszugebenden Informationen in verschiedene kritische Kategorien, und ein multimodales Ausgabesystem, welches zur Ausgabe der Informationen mit verschiedenen Ausgabegeräten, von denen zumindest zwei mit dem Fahrer auf unterschiedliche Art kommunizieren, verbunden ist, und wobei das multimodale Ausgabesystem dazu ausgebildet ist, anhand des erfassten Fahrerzustandes und des erfassten Fahrzeugumfelds sowie des erfassten Fahrzeugzustandes sowie der Bewertung der Informationen, ein oder mehrere Ausgabegeräte auszuwählen und eine Ausgabe der auszugebenden Informationen über die eine oder mehreren ausgewählten Ausgabegeräte zu bewerkstelligen. Dabei versteht man unter einem multimodalen Ausgabesystem ein System, welches anhand verschiedener Ausgangskanäle eine Ausgabe der Informationen auf den verschiedenen Ausgabegeräten bewerkstelligt. Ein Ausgabegerät mit Ausgabekanal bezeichnet dabei die Art und Weise, wie Informationen an den Fahrer weitergegeben werden.

Insbesondere verfügt ein multimodales Ausgabesystem über mehrere Modi, um einem Fahrer eine Ausgabe zu liefern. Solche Ausgabegeräte können beispielsweise ein Lautsprecher, akustische Sensoren oder ein angeschlossenes Headset sein, um eine Sprachausgabe zu bewerkstelligen, ein Display, Lichtsensoren oder die Windschutzscheibe, um eine visuelle Ausgabe zu bewerkstelligen, Rüttelaktoren in Sitzen oder im Lenkrad um eine haptische Ausgabe zu bewerkstelligen.

Unter dem Zustand des Fahrers kann eine Einschätzung verstanden werden, wie sich beispielsweise der Fahrer aktuell fühlt, welche Handlungen der Fahrer gerade ausführt, wie aufmerksam der Fahrer in der gegebenen Situation ist, wie viel Stress er hat etc. Dies kann beispielsweise mit Hilfe von Verhaltensbeobachtung über Kameras und Stimme zusammen mit Algorithmen zur Blickerkennung geschätzt werden. Die aktuellen Aktionen können ebenfalls mit Hilfe von Kameras geschätzt werden. Die Aufmerksamkeit kann beispielsweise mit einer Kombination aus Blick- und Augenbewegungserfassung sowie Kameras und Stimme eingeschätzt werden.

Für den Stresslevel können beispielsweise Sensoren zur Messung der Körpertemperatur, Blutdruck, Sauerstoffsättigung etc. eingesetzt werden. Die kognitive Belastung des Fahrers kann beispielsweise zudem mit einer Aktions-ZKonversationsverfolgung geschätzt werden. Die Bestimmung der kognitiven Belastung des Fahrers kann anhand der oben genannten Daten zusammen beispielsweise mit der Anzahl der Fahrinsassen erfolgen. Die Einschätzung, wie viele Fahrinsassen in dem Fahrzeug sitzen, kann aus den Informationen vorhandener Sitzsensoren und einer Kameraüberwachung abgeleitet werden. Fahrzeugsensoren zum Ermitteln des Umfelds können beispielsweise GPS-Sensoren zusammen mit Navigations- und Verkehrsdaten sein. Ferner kann ein Außenumfeld auch über Kamera- und Lidar-Sensoren erfasst werden.

Der Fahrzeugzustand kann leicht aus den internen Datendarstellungen aller Sensoren und Systeme des Fahrzeugs entnommen werden. Dabei kann dies auch den Betriebsmodus des Fahrzeugs umfassen, beispielsweise, ob sich das Fahrzeug in einem automatisierten Fahrmodus befindet oder nicht, oder beispielsweise wie der aktuelle technische Zustand des Fahrzeugs ist, beispielsweise hinsichtlich des Reifendrucks, Kraftstoffstands etc.

Die Bewertungseinheit kann in das multimodale Ausgabesystem integriert sein. Eine solche Bewertung kann beispielsweise bei einer Warnung vor einem Auffahrunfall als Information eine sehr kritische hohe Bewertung erhalten, während beispielsweise die Information über einen Werkstattbesuch eine sehr unkritische niedrige Bewertung erhalten kann. Eine solche Bewertung kann als Metadaten an die auszugebenden Informationen angehängt sein.

Erfindungsgemäß wurde erkannt, dass Kommunikationssysteme in der Regel über Voice-First d.h. mittels Sprachausgabe kommunizieren. Erfindungsgemäß wurde weiter erkannt, dass es in einem Fahrzeug mehrere Ausgabekanäle und daran angeschlossene Ausgabegeräte gibt, die mit dem Fahrer auf unterschiedlichste Art kommunizieren.

Durch ein erfindungsgemäßes intelligentes Kommunikationssystem werden die verfügbaren Ausgabekanäle für die Ausgabe von Informationen verwendet, wodurch, insbesondere die First-Voice-Ausgabe von Informationen für alle gegebenen Interaktionsszenarien aufgehoben wird. Durch die Erfindung wird abhängig vom Zustand des Fahrers und abhängig vom Umfeld und des aktuellen Konversationskontexts, d.h. des Informationsinhalts die auszugebende Information dynamisch und automatisch an den am besten geeigneten Ausgabekanal weitergeleitet und somit über das am besten geeignete Ausgabegerät ausgegeben. Durch die Erfindung kann die Kritikal ität der auszugebenden Informationen / Nachrichten berücksichtigt werden. Dadurch wird verhindert, dass sicherheitskritische Informationen bzw. System nachrichten auf die gleiche Weise weitergeleitet werden wie komfortbezogene.

Ferner werden zudem durch das erfindungsgemäße intelligente Kommunikationssystem die Umfeldbedingungen berücksichtigt. In einer lauten Umgebung kann eine nicht-kritische System information beispielsweise eher auf unauffällige, nicht-invasive Weise übermittelt werden, z. B. über ein visuelles Signal oder eine Textnachricht, da eine gesprochene Nachricht unter solchen Bedingungen schwer zu verstehen sein kann.

Ferner wird zudem durch das erfindungsgemäße intelligente Kommunikationssystem der aktuelle Zustand des Fahrers berücksichtigt. So kann beispielsweise in einer stressigen Situation beim Autofahren wie beispielsweise bei der Navigation im dichten Verkehr durch ein unbekanntes, dicht besiedeltes Gebiet eine nicht kritische Information zurückgehalten oder unauffällig ausgegeben werden, um den Fahrer nicht zusätzlich kognitiv zu belasten.

In einer Ausbildung ist das multimodale Ausgabesystem ferner dazu ausgebildet, je nach Ausgabegerät eine visuelle oder haptische oder akustische Ausgabe als unterschiedliche Kommunikationsart mit dem Fahrer zu bewerkstelligen. Dadurch kann jeweils mit dem Fahrer auf unterschiedliche Art kommuniziert werden.

In einer weiteren Ausgestaltung weist die Bewertungseinheit ein trainiertes Lernsystem zum Bewerten der auszugebenden Informationen auf.

Die Trainingsdaten können einfach anhand realer oder simulierter Verkehrsszenen erzeugt werden. Zudem oder alternativ kann beispielsweise ein Katalog von kritischen und unkritischen Bewertungen für bestimmte Situationen definiert und angewendet werden. So kann ein Katalog von Bewertungen für bestimmte Informationen definiert und angewendet werden. Auch kann bei Aktion seitens des Fahrers beispielsweise bei einer Rückantwort der Inhalt der Rückantwort weiter hinsichtlich Inhalt und Stimme analysiert werden, so dass ein zweistufiger Kategorisierungsmechanismus eingesetzt werden kann.

In weiterer Ausgestaltung ist die Bewertungseinheit dazu ausgebildet, eine Einteilung der auszugebenden Information in eine zeitkritische und/oder sicherheitskritische Kategorie vorzunehmen.

Die Kategorie kann beispielsweise als Metadaten an die auszugebende Information angehängt werden um die Kategorie anzuzeigen. Dadurch ist eine einfache Umsetzung möglich.

Ferner kann das multimodale Ausgabesystem ein trainiertes maschinelles Lernverfahren aufweisen, welches dazu trainiert ist, unter Berücksichtigung des erfassten Fahrerzustandes und des erfassten Fahrzeugumfelds sowie des erfassten Fahrzeugzustandes sowie der Bewertung der Information eine Ausgabe der Information über ein bestimmtes oder mehrere Ausgabegeräte zu bewerkstelligen und wobei das multimodale Ausgabesystem ferner dazu ausgebildet ist, die Information dem oder den ausgewählten Ausgabegeräten bereitzustellen.

Die Trainingsdaten zum Antrainieren des maschinellen Lernverfahrens können dabei aus realen Verkehrsszenen oder Simulationen leicht gewonnen werden. Ferner kann das maschinelle Lernverfahren durch eine Reaktion auf die Ausgabe auf dem gewählten Ausgabegerät durch den Fahrer trainiert werden.

Alternativ oder zusätzlich kann eine Datenbank bereitgestellt werden, aus welchem das multimodale Ausgabesystem durch Vergleich des erfassten Fahrerzustandes und des erfassten Fahrzeugumfelds sowie des erfassten Fahrzeugzustandes sowie der Bewertung der Information mit einem vorgegebenen Fahrerzustand und einem vorgegebenen Fahrzeugumfeld und einem vorgegebenen Fahrzeugzustand und einer vorgegebenen Bewertung der Information das bzw. die Ausgabegeräte auswählt. Ferner kann das multimodale Ausgabesystem eine Speichereinheit aufweisen zum Zwischenspeichern und nachträglichen Ausgeben der auszugebenden Informationen. Das multimodale Ausgabesystem kann somit alle auszugebenden Informationen in eine Warteschlange stellen, bis der Fahrer beispielsweise eine stressige Verkehrssituation verlassen hat, und sie dann entsprechend über ein gewähltes Ausgabegerät ausgeben.

Alle auszugebenden Informationen können somit in der Warteschlange gespeichert werden, welche vom multimodalen Ausgabesystem verwaltet wird und wobei vom multimodalen Ausgabesystem entschieden wird, wann und wie die Informationen ausgegeben werden.

Damit fungiert das multimodale Ausgabesystem quasi als zentraler Knotenpunkt. Ferner kann das multimodale Ausgabesystem dazu ausgebildet sein, verschiedene gespeicherte Informationen zumindest in einer Reihenfolge auszugeben, wobei die Reihenfolge durch das multimodale Ausgabesystem anhand der Bewertung der gespeicherten Informationen festgelegt ist. Dadurch können beispielsweise hochkritische Informationen sofort ausgegeben werden; komfortbezogene Informationen später.

In weiterer Ausgestaltung werden die gespeicherten Informationen nach ihrer Ausgabe gelöscht. Dadurch wird der Speicherplatz wieder frei und kann für neue Informationen genutzt werden.

Vorzugsweise ist das multimodale Ausgabesystem zur Übermittlung von einem vorab festgelegten erfassten Fahrerzustand und einem vorab festgelegten erfassten Fahrzeugumfeld sowie einem vorab festgelegten erfassten Fahrzeugzustand sowie einer vorab festgelegten Bewertung der Information an eine Steuereinheit ausgebildet.

Dadurch kann mittels der Steuereinheit, beispielsweise wenn der Fahrer in einer Situation mit hohem Verkehrsaufkommen in einem gestressten Zustand ist, an anderer Fahrzeuge eine Warnung übermittelt werden, wenn sie sich in der Nähe befinden oder in Kürze in der Nähe sein werden, so dass sie in dieser bestimmten Situation aufmerksamer sind. Ferner kann die Steuereinheit in kritischen Situationen beispielsweise bei Übermittlung eines kritischen Fahrerzustandes entsprechende Maßnahmen ergreifen. So können beispielsweise in einem Beinahe-Crash-Szenario anstatt oder zusätzlich zu den auszugebenden Informationen wie beispielsweise „Achtung Stauende“, welche an den Fahrer ausgegeben werden, von der Steuereinheit notwendige Aktionen selbst durchgeführt werden basierend auf den übermittelten Daten des Ausgabesystems - in diesem Fall eine Verlangsamung. Die ursprüngliche Information kann anschließend zudem nach der Verlangsamung als Information einschließlich der durchgeführten Aktionen, beispielsweise“ Achtung Stauende, Bremsvorgang ist eingeleitet“ ausgegeben werden.

Ferner ist das multimodale Ausgabesystem zur Generierung der auszugebenden Information anhand des erfassten Fahrerzustandes und des erfassten Fahrzeugumfelds sowie des erfassten Fahrzeugzustandes ausgebildet. Alternativ oder zusätzlich ist das multimodale Ausgabesystem zumindest zur unidirektionalen Kommunikation mit einer externen Datenquelle ausgebildet, zum Empfang der auszugebenden Information.

Dabei können die auszugebenden Informationen vom Fahrzeug selbst generiert (beispielsweise in Form von „Achtung Stauende“ anhand der Umfelddaten) und von diesem bewertet werden oder beispielsweise von anderen Fahrzeugen empfangen und bewertet werden.

Ferner kann das intelligente Kommunikationssystem dazu ausgebildet sein, Fahrereingaben, welche über die verschiedenen Ausgabegeräte eingegeben werden zu empfangen und zu verarbeiten. Dadurch kann zwischen dem Fahrer und dem intelligenten Kommunikationssystem eine Kommunikation entstehen, welche ebenfalls bewertet wird. So können bei panischen Rufen beispielsweise entsprechende Informationen an die Steuereinheit übermittelt werden, zur Einleitung entsprechender Aktionen. In weiterer Ausgestaltung ist die Umfeldermittlungseinheit dazu ausgebildet, sowohl die Fahrzeugumgebung als auch den Fahrzeuginnenraum anhand der mehreren Fahrzeugsensoren, zu bestimmen.

Ferner kann das intelligente Kommunikationssystem dazu ausgebildet sein, Benutzereingaben, welche über die verschiedenen Ausgabegeräte eingegeben werden zu empfangen und wobei die Bewertungseinheit ferner dazu ausgebildet ist, eine auszugebende Information unter Berücksichtigung der Benutzereingaben zu bewerten. Dadurch kann eine verbesserte Kommunikation mit dem Fahrer gewährleistet werden.

In weiterer Ausgestaltung sind die Ausgabegeräte als Lichtsensoren oder ein Display, beispielsweise für eine visuelle Anzeige und/oder ein Mikrofon beispielsweise für eine Sprachausgabe und/oder Aktoren und/oder Sensoren, beispielsweise für eine haptische Ausgabe wie über Rüttelaktoren in Sitzen oder im Lenkrad, ausgebildet.

Ferner wird die Aufgabe gelöst durch ein Verfahren zum Steuern einer Ausgabe von Informationen an einen Fahrzeuginsassen in einem Fahrzeug mittels eines wie oben beschriebenen intelligenten Kommunikationssystems umfassend der Schritte

- Bestimmen eines Fahrerzustandes anhand mehrerer, zumindest teilweise den Fahrer erfassender Fahrzeugsensoren durch eine Zustandsermittlungseinheit und

- Bestimmen des Fahrzeugumfelds anhand mehrerer Fahrzeugsensoren durch eine Umfeldermittlungseinheit und

- Ermitteln des Fahrzeugzustandes anhand mehrerer Fahrzeugsensoren durch eine Ermittlungseinheit,

- Bewerten und Einteilen der auszugebenden Informationen in verschiedene kritische Kategorien durch eine Bewertungseinheit,

- Bereitstellen eines multimodalen Ausgabesystems, welches zur Ausgabe der Informationen mit verschiedenen Ausgabegeräten, von denen zumindest zwei mit dem Fahrer auf unterschiedliche Art kommunizieren, verbunden ist, - Auswahlen ein oder mehrere Ausgabegeräte anhand des erfassten Fahrerzustandes und des erfassten Fahrzeugumfelds sowie anhand des Fahrzeugzustandes sowie anhand der Bewertung der Informationen, und Bewerkstelligen einer Ausgabe der auszugebenden Informationen über die eine oder mehreren ausgewählten Ausgabegeräte durch das multimodale Ausgabesystem.

Die Vorteile des Kommunikationssystems können auch auf das Verfahren angewendet werden.

Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

FIG 1 : ein intelligentes Kommunikationssystem,

FIG 2: ein weiteres intelligentes Kommunikationssystem.

FIG 1 zeigt ein intelligentes Kommunikationssystem 1 in einem Fahrzeug (nicht gezeigt). Dieses ist mit mehreren Fahrzeugsensoren 2 verbunden zum Empfang der aufgenommenen rohen Sensorsignale oder bereits ausgewerteter Sensorsignale als Sensordaten. Die Fahrzeugsensoren 2 können beispielsweise Sensoren/Kameras zur Aufnahme des Fahrers/des Fahrzeuginnenraums oder des Umfelds sein.

Ferner können die Fahrzeugsensoren 2 auch Lidar-/Radarsensoren oder andere Bildsensoren sein. Ferner können die Fahrzeugsensoren 2 auch Sitzsensoren sein, beispielsweise zum Erfassen der Anzahl der Personen im Fahrzeug. Auch kann das Fahrzeug über entsprechende Mittel an externe Quellen wie GPS oder Staumelder angebunden sein, zum besseren Erfassen der aktuellen Verkehrssituation. Das intelligente Kommunikationssystem 1 weist eine Zustandsermittlungseinheit 3 auf. Diese kann beispielsweise als Prozessor mit entsprechender Software ausgebildet sein.

Die Zustandsermittlungseinheit 3 ermittelt anhand der Roh-Sensordaten oder bereits ausgewerteten Sensordaten den Fahrerzustand. So kann die Aufmerksamkeit beispielsweise aus einer Kombination aus Blick- und Augenbewegungserfassung aus Kameradaten mithilfe entsprechender Algorithmen geschätzt werden. Eine Belastung (stress) kann beispielsweise aus gemessener Körpertemperatur, Blutdruck, Sauerstoffsättigung und oder der Fahrweise, welche zusammen mit den oben erwähnten visuellen Kameras als starker Indikator dienen können, geschätzt werden. Die kognitive Belastung des Fahrers kann beispielsweise auch unter Berücksichtigung der Anzahl der Fahrinsassen, welche beispielsweise über die Sitzsensoren erfasst werden, ermittelt werden oder anhand einer Stimmanalyse.

Ferner weist das intelligente Kommunikationssystem 1 eine Umfeldermittlungseinheit 4 zum Bestimmen des Fahrzeugumfelds auf. Das Umfeld, in der sich das Fahrzeug gerade befindet, kann von beispielsweise GPS-Sensoren zusammen mit Navigations- und Verkehrsdaten ermittelt und bewertet werden. So kann beispielsweise ein Stau oder hohes Verkehrsaufkommen erkannt werden, ebenso wie eine Autobahnfahrt und eine Stadtfahrt. Die Umfeldermittlungseinheit 4 kann beispielsweise als Prozessor mit entsprechender Software ausgebildet sein. Die Einschätzung des Umfeldes kann unter Berücksichtigung der aktuellen kognitiven Belastung des Fahrers bestimmt werden.

Ferner weist das intelligente Kommunikationssystem 1 eine Ermittlungseinheit 5 zum Ermitteln des Fahrzeugzustandes auf. Der Fahrzeugzustand kann leicht den internen Datendarstellungen aller Sensoren und Systeme des Fahrzeugs entnommen werden. Der Fahrzeugzustand umfasst ferner den Betriebszustand, beispielsweise, ob sich das Fahrzeug in einem automatisierten Fahrmodus befindet oder nicht, wie der aktuelle Zustand des Fahrzeugs ist, welcher beispielsweise durch Reifendruck, Kraftstoffstand etc. ermittelt werden kann. Die Ermittlungseinheit 5 kann beispielsweise als Prozessor mit entsprechender Software ausgebildet sein.

Ferner ist eine Bewertungseinheit 6 zum Bewerten und Einteilen der auszugebenden Informationen in verschiedene kritische Kategorien vorgesehen. Dabei können die Informationen auch den Fahrerzustand selbst, das Fahrzeugumfeld selbst und den Fahrzeugzustand selbst beispielsweise wie „Reifendruck niedrig“, oder „Achtung Stauende“ betreffen. Auch können die auszugebenden Informationen Antworten auf eine vom Fahrer gestellte Frage sein. In diesem Fall ist das Ausgabegerät auch als Eingabegerät ausgebildet. Die Bewertungseinheit 6 kann beispielsweise als Prozessor mit entsprechender Software ausgebildet sein.

Diese Bewertung kann beispielsweise beinhalten, ob und in welchem Maße die Information sicherheitskritisch, zeitkritisch oder in anderer Hinsicht kritisch ist. Dabei kann die Bewertung der auszugebenden Informationen in Form von Metadaten beigefügt werden.

Für die Bewertung kann ferner zudem ein trainiertes maschinelles Lernverfahren Einsatz finden, welches eine Einteilung der auszugebenden Informationen in eine zeitkritische und/oder sicherheitskritische Kategorie vornimmt. Auch kann ein Katalog von kritischen Informationen für bestimmte Situationen definiert und angewendet werden.

Ferner ist ein multimodales Ausgabesystem 7 vorgesehen. In dieses kann beispielsweise die Zustandsermittlungseinheit 3, die Umfeldermittlungseinheit 4, die Ermittlungseinheit 5 und die Bewertungseinheit 6 integriert sein.

Das multimodale Ausgabesystem 7 ist über entsprechende Ausgabekanäle 8 an verschiedene Ausgabegeräte 9 zur Ausgabe der Informationen verbunden. Ein Ausgabegerät 9 mit einem Ausgabekanal 8 bezeichnet dabei die Art und Weise, wie Informationen an den Fahrer weitergegeben werden. Dabei können die Ausgabegeräte 9 beispielsweise Displays oder Lichtsensoren zur visuellen Ausgabe, Mikrofone oder Lautsprecher oder andere akustische Sensoren oder angeschlossene Headsets für eine Sprachausgabe, oder Aktoren wie Rüttelaktoren in Sitzen oder im Lenkrad, für beispielsweise eine haptische Ausgabe sein.

Ferner weist das multimodale Ausgabesystem 7 eine Speichereinheit 10 auf. Die auszugebenden Informationen werden vom multimodalen Ausgabesystem 7 in die Speichereinheit 10 gespeichert. Dadurch fungiert das multimodale Ausgabesystem 7 als Warteschlange, welches die Ausgabe der Informationen an den Fahrer verwaltet.

Abhängig von beispielsweise der Bewertung der Informationen oder dem Fahrerzustand oder anderen Kriterien kann das multimodale Ausgabesystem 7 entscheiden, wann und wie die Informationen realisiert werden. Das multimodale Ausgabesystem 7 fungiert somit als zentraler Knotenpunkt.

Ferner kann das multimodale Ausgabesystem 7 ein trainiertes Lernverfahren aufweisen um ein oder mehrere Ausgabegeräte zur Ausgabe der Informationen auszuwählen und um die Entscheidung zu treffen, wann die Ausgaben realisiert werden. Dabei bestimmt das multimodale Ausgabesystem 7 diese Ausgabe der Informationen unter Berücksichtigung des erfassten Fahrerzustandes und des erfassten Fahrzeugumfelds sowie des erfassten Fahrzeugzustandes sowie der Bewertung der Informationen.

Dadurch wird verhindert, dass sicherheitskritische System Informationen auf die gleiche Weise weitergeleitet werden wie komfortbezogene.

Ebenso wird bei der Wahl des Ausgabegerätes 9 das Umfeld berücksichtigt. So wird beispielsweise in einer lauten Umgebung eine nicht-kritische Systemantwort beispielsweise eher auf unauffällige, nicht-invasive Weise übermittelt, z. B. über ein visuelles Signal oder eine Textnachricht, da eine Sprachausgabe unter solchen Bedingungen schwer zu verstehen sein kann. Ferner wird bei der Wahl des Ausgabegerätes 9 der aktuelle Zustand des Fahrers berücksichtigt. Dadurch kann zum Beispiel in einer stressigen Situation beim Autofahren wie bei der Navigation im dichten Verkehr durch ein unbekanntes, dicht besiedeltes Gebiet, durch ein Zurückstellen der Information oder durch eine intelligente Wahl des Ausgabegerätes 9 eine zusätzlich kognitive Belastung des Fahrers verhindert werden.

Das intelligente Kommunikationssystem 1 kann z. B. alle Meldungen in eine Warteschlange stellen, bis der Fahrer die stressige Situation verlassen hat, und sie dann entsprechend weiterleiten.

Ebenso wird bei der Wahl des Ausgabegerätes 9 die Bewertung der Information bzw. die Kategorie in Betracht gezogen.

Das intelligente Kommunikationssystem 1 trägt somit zu einem angenehmeren und deutlich sichereren Fahrerlebnis bei, z. B. durch die Berücksichtigung der aktuellen kognitiven Belastung, des Stresslevels und der Handlungen eines Fahrers. Ferner kann zwischen verschiedenen Gruppen von Informationen, z. B. solchen, die sicherheitskritisch sind oder eher Komfortmerkmale betreffen, unterschieden werden.

Ferner kann durch das erfindungsgemäße intelligente Kommunikationssystem 1 die Informationen dynamisch und automatisch durch den am besten geeigneten Ausgabekanal 8 und somit über das am besten geeignete Ausgabegerät 9 ausgegeben werden.

Dabei kann die Information auch eine Antwort auf eine Frage des Fahrers sein oder eine Interaktion des Fahrers mit dem Fahrzeug.

FIG 2 zeigt eine weitere Ausgestaltung eines intelligenten Kommunikationssystems 1 a.

Dieses weist- wie das intelligente Kommunikationssystem 1- die

Zustandsermittlungseinheit 3, die Umfeldermittlungseinheit 4 und die Ermittlungseinheit 5, und die Bewertungseinheit 6 als auch das multimodale Ausgabesystem 7 auf.

Ferner weist das intelligente Kommunikationssystem 1 a eine Steuereinheit 11 auf oder ist zur Kommunikation mit dieser verbunden, zur Übermittlung von einem vorab festgelegten erfassten Fahrerzustand und einem vorab festgelegten erfassten Fahrzeugumfeld sowie einem vorab festgelegten erfassten Fahrzeugzustand sowie einer vorab festgelegten Bewertung der Informationen. Die Steuereinheit 11 kann beispielsweise anhand der Bewertung der Information fahrzeugübergreifend tätig werden, beispielsweise Fahrer anderer Fahrzeuge, welche sich in der Nähe befinden, warnen, wenn ein Fahrer in einer Situation mit hohem Verkehrsaufkommen in einem gestressten Zustand ist. Ferner kann beispielsweise die Steuereinheit 11 bei kritischer Bewertung entsprechende Maßnahmen ergreifen. So kann beispielsweise ein Bremsvorgang eingeleitet werden, um einen Unfall zu verhindern.

Bezugszeichenliste

1 Kommunikationssystem

2 Fahrzeugsensoren

3 Zustandsermittlungseinheit

4 Umfeldermittlungseinheit

5 Ermittlungseinheit

6 Bewertungseinheit

7 multimodales Ausgabesystem

8 Ausgabekanäle

9 Ausgabegeräte

10 Speichereinheit

11 Steuereinheit