Kraftwagen

Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems sowie ein Assistenzsystem für einen Kraftwagen.

Es ist bekannt Fahrzeugfunktionen berührungslos durch Sprache, Blickgesten oder Zeigegesten oder eine Kombination derselben berührungslos zu steuern.

Aus der DE 10 2013 01 1 531 A1 ist ein Verfahren bekannt, bei dem mittels einer optischen Erfassungseinrichtung eine Zeigegeste auf ein Bedienelement erfasst wird.

Eine Ausgabe einer vorbestimmten Information bezüglich des erfassten Bedienelementes erfolgt, sobald ein Nutzer einen vorbestimmten Sprachbefehlt getätigt hat.

Nachteil des Standes der Technik ist, dass die vorbestimmte Information nur ausgegeben wird solange der Fahrzeuginsasse auf das Bedienelement zeigt.

Aufgabe der Erfindung ist es demgegenüber ein Verfahren bereitzustellen, das eine komfortablere Bedienung des Assistenzsystems ermöglicht.

Die Aufgabe wird durch ein Verfahren zum Betreiben eines Assistenzsystems mit den Merkmalen des Anspruchs 1 sowie mit einem System gemäß Anspruch 10 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der vorliegenden Erfindung.

Bei dem erfindungsgemäßen Verfahren wird ein zeitlicher Abstand zwischen der Geste und der Spracheingabe ermittelt, ein Vergleich des zeitlichen Abstands mit einem vorgegebenen Zeitfenster durchgeführt und ein Steuerbefehl ausgegeben, falls der zeitliche Abstand innerhalb dem vorgegebenen Zeitfenster liegt. Zur Bestimmung eines zeitlichen Abstandes werden ein Zeitpunkt der von dem Nutzer ausgeführten Geste und ein Zeitpunkt der vom Nutzer getätigten Spracheingabe herangezogen. Aus den Zeitpunkten der getätigten Geste und der Spracheingabe wird bestimmt, mit welchem zeitlichen Abstand Geste und Spracheingabe ausgeführt worden sind. Solange der zeitliche Abstand bzw. die Zeitpunkte innerhalb einem vorgegebenen Zeitfensters liegen, wird ein Steuerbefehl ausgegeben, ansonsten erfolgt keine Reaktion des Assistenzsystems. Vorzugsweise werden entsprechende Zeitpunkte zur Bestimmung des zeitlichen Abstandes der Geste und der Spracheingabe in einer Speichereinheit abgespeichert, alternativ wird der Zeitpunkt des ersten Ereignisses von Geste oder Sprache abgespeichert, so dass der zeitliche Abstand relativ zu einem entsprechend späteren Ereignis von Sprache oder Geste bestimmt werden kann. Die Zeitpunkte beziehen sich auf eine der möglichen Zeitinformation der Geste und der Spracheingabe. Der zeitliche Abstand referenziert beispielsweise auf die Zeitinformation umfassend die Zeitpunkte einer gültigen Erkennung von Geste und der Spracheingabe. Unter Gesten sind grundsätzlich alle Arten von Gesten, insbesondere Handgesten oder Blickgesten zu verstehen. Im Rahmen vorliegender Anmeldung sind im Wesentlichen unter Handgesten Zeigegesten und unter Blickgesten Blickrichtungsgesten zu verstehen. Die gültige Erkennung der Spracheingabe ist durch ein natürlichsprachliches Verstehen und

Erfassung des Inhaltes der Spracheingabe bestimmt. Die gültige Erkennung der Geste ist eine erfolgreiche Bestimmung des Bereichs im Fahrzeug, auf den die Geste gerichtet ist. Alternativ wird bei der Bestimmung des zeitlichen Abstands auf einen Startpunkt oder einen Endpunkt der Spracheingabe und einen Startpunkt oder einen Endpunkt der Geste referenziert. Der Zeitabstand von Geste und Spracheingabe wird damit beispielsweise bestimmt aus einem Startpunkt der Geste und einem Endpunkt der Spracheingabe oder aus dem Zeitpunkt der gültigen Erkennung der Geste und dem Zeitpunkt der gültigen Erkennung der Spracheingabe oder aus dem Endpunkt der Geste und dem Zeitpunkt der gültigen Erkennung der Spracheingabe. Prinzipiell kann ein Zeitabstand zwischen Geste und Spracheingabe je nach Anwendungsfall aus einer der genannten Zeitinformation der Geste d.h. dem Gestenstartpunkt, dem Gestenendpunkt oder dem Zeitpunkt der gültigen Gestenerkennung und einer der genannten Zeitinformation der Spracheingabe, d.h. dem Startpunkt der Spracheingabe, dem Endpunkt der Spracheingabe oder dem Zeitpunkt der gültigen Erkennung der Spracheingabe ermittelt werden. Die Ausführung der Geste und die Spracheingabe können durch einen Fahrer, einen Beifahrer oder Fondspassagiere in einem Fahrzeug erfolgen. Weiter kann auch eine Geste und Spracheingabe außerhalb eines Fahrzeuges zur Steuerung eines Einpark- oder Rangiervorganges verwendet werden. Eine auf ein Fahrzeug gerichtete Geste und ein Sprachbefehl sind

beispielsweise zum Stoppen oder Bewegen des Fahrzeuges nutzbar.

Ein Bereich eines Fahrzeugs umfasst ein oder mehrere Elemente. Der Bereich kann damit beispielsweise ein Schalter oder eine Schaltfläche mit mehreren Schaltern, ein einzelnes Anzeigeelement oder ein Cockpit mit mehreren Anzeigeelementen aufweisen. Je nach Genauigkeit der ausgeführten Geste, Einsehbarkeit des Bereichs und Auflösung der Kamera sind mit einer Geste einzelne oder mehrere Elemente aufweisende Bereiche auswählbar. Die Elemente umfassen beispielsweise Schalter, Taster, Bedienhebel, Anzeigeleuchten, Anzeigesymbole auf Displays oder akustische Ausgabequellen. Das Spracherkennungssystem wird dabei entweder mit einem durch den Nutzer geäußerten Schlüsselwort oder durch eine Geste, die für eine vorgegebene Verweildauer auf ein Bereich zeigt, aktiviert. In vorteilhafter Weise ermöglicht das Verfahren eine Geste auf einen Bereich zu richten, anschließend die Geste abzuwenden und erst nachfolgend mittels einer Spracheingabe eine Frage zu dem bestimmten Bereich zu stellen, auf den die Geste gerichtet war.

In einer Weiterbildung des Verfahrens wird ein Steuerbefehl erst dann ausgegeben, wenn die Spracheingabe im Kontext zu dem bestimmten Bereich im Fahrzeug steht. Ist beispielsweise der bestimmte Bereich eine Anzeigeleuchte, dann steht eine Frage zur Funktion einer Anzeigeleuchte im Kontext zu dem bestimmten Bereich. Ist ein bestimmter Bereich bekannt, so werden die gängigsten Benennungen oder Bezeichnungen für den Bereich bestimmt. Wird in der Spracheingabe eine dieser Benennungen erkannt, so wird von einem Kontext zu dem bestimmten Bereich zu der Spracheingabe ausgegangen. Ist der Spracheingabe kein Bezug zu dem durch eine Gestenerkennungseinrichtung bestimmten Bereich zuordenbar, beispielsweise eine Frage nach einer Telefonnummer, dann wird kein Steuerbefehl ausgegeben. In vorteilhafter Weise kann damit gewährleistet werden, dass der ausgegebene Steuerbefehl mit hoher Treffsicherheit eine vom Nutzer erwartete Reaktion des Fahrzeugs veranlasst.

In einer weiteren bevorzugten Ausführungsform wird bei einer Geste, die auf einen mehrere Elemente umfassenden Bereich gerichtet ist, ein Steuerbefehl ausgegeben, der an einen Nutzer eine Aufforderung veranlasst. Die Aufforderung informiert den Nutzer, dass eines der mehreren Elemente genauer zu präzisieren ist. Mehrere Elemente umfassende Bereiche sind beispielsweise Schaltertafeln, Bildschirme oder eine Mittelkonsole. Die Aufforderung erfolgt beispielsweise durch eine Sprachausgabe oder eine Anzeige, die Präzisierung kann durch einen genauere Zeige- oder Blickgeste oder eine Spracheingabe erfolgen. In vorteilhafter Weise ermöglicht das Verfahren bei Gesten, die auf einen mehrere Elemente umfassenden Bereich gerichtet sind, durch zusätzliche Eingaben einzelne Elemente iterativ zu bestimmen.

In einer alternativen Ausführungsform ist der Bereich, auf den die Geste gerichtet, ein Anzeigebereich. Eine Ausgabe eines Steuerbefehls wird erst dann ausgegeben, wenn ein Anzeigeereignis in dem Anzeigebereich zeitgleich mit der Geste und/oder der

Spracheingabe ansteht. Der Anzeigebereich umfasst beispielsweise ein Leuchtelement oder ein Display zur Anzeige von Icons. Neben dem Zeitpunkt der Geste und/oder der Spracheingabe werden Zeitinformationen gespeichert, die Anfang- und Endpunkt des Anzeigeereignisses wiedergeben. Der Zeitpunkt der Geste entspricht dabei einer erfolgreichen Bestimmung des Bereichs im Fahrzeug, auf den die Geste gerichtet ist oder alternativ einem Start-oder Endpunkt der Geste. Der Zeitpunkt der Spracheingabe ist entweder durch die Erkennung einer gültigen Erkennung Spracheingabe bestimmt oder alternativ durch ein Start- oder Endpunkt der Spracheingabe. Das Anzeigeereignis umfasst beispielsweise das Aufleuchten eines Leuchtelements oder eines Icons. Anhand der Zeitinformationen des Anzeigeereignisses kann überprüft werden, ob das

Anzeigeereignis in dem Anzeigebereich zeitgleich mit der Geste und/oder der

Spracheingabe ansteht. Erfolgt das Anzeigeereignis zeitgleich mit der Geste und/oder der Spracheingabe ist von einer Kausalität des Anzeigeereignisses mit der Geste und/oder der Spracheingabe auszugehen. In vorteilhafter Weise vermindert die zeitliche Betrachtung des Anzeigeereignisses in Bezug auf die Geste oder Spracheingabe die Ausgabe eines falschen Steuerbefehls. In einer alternativen Ausführungsform kann das Anzeigeereignis eine akustische Warnmeldung sein, beispielsweise ein Piepton.

In einer weiteren Abwandlung des Verfahrens wird ein Steuerbefehl auch ausgegeben, wenn das Anzeigeereignis zum Zeitpunkt der Geste und/oder der Spracheingabe bereits abgeschlossen ist. Beispielsweise leuchtet eine Anzeigeleuchte eines

Fahrdynamiksystems während eines kurzen Eingriffs kurz auf und geht danach wieder aus. Im Anschluss stellt ein Fahrzeuginsasse eine Frage nach der Bedeutung der Anzeigeleuchte. Sofern vorgegebene Bedingungen erfüllt sind, wird ein Steuerbefehl ausgegeben, der zur Beantwortung der Frage führt. Der Steuerbefehl wird unter der Bedingung ausgegeben, dass der zeitliche Abstand von dem Anzeigeereignis zu der Geste und/oder der Spracheingabe innerhalb einem weiteren vorgegebenen Zeitfenster erfolgt. Liegt beispielsweise der Abstand zwischen dem Endzeitpunkt des

Anzeigeereignisses und dem Zeitpunkt der Erkennung der Geste innerhalb dem weiteren vorgegebenen Zeitfenster und liegt beispielsweise der Abstand zwischen dem Zeitpunkt der Erkennung der Geste und dem Zeitpunkt der Spracheingabe in dem vorgegebenen Zeitfenster, nur dann wird ein Steuerbefehl ausgegeben.

In einem weitergebildeten Verfahren wird ein Spracherkennungssystem zur Erkennung und Auswertung einer Spracheingabe eines Nutzers aktiviert, sobald die Geste eine vorgebbare Zeitdauer auf den bestimmten Bereich gerichtet ist. Der aktivierte Zustand des Spracherkennungssystems wird dabei durch eine entsprechende Symbolik, beispielsweise durch ein Mikrofonsymbol angezeigt. In vorteilhafter Weise ist für ein Nutzer die Bedienung des Assistenzsystems erleichtert, da eine Aktivierung durch ein vorgegebenes Schlüsselwort oder durch ein manuelles Einschalten über ein

Schaltelement entfällt.

In einer modifizierten Ausführungsform wird durch den Steuerbefehl ein Aktor aktiviert.

Der Aktor verstellt beispielsweise ein Spiegel, eine Lüftungseinrichtung, ein Ablagefach oder ein Lenkrad. In vorteilhafter Weise sind mittels den Aktoren Fahrzeugkomponenten berührungslos einstellbar, wobei gegenüber einer konventionellen Handbetätigung eine sehr geringe Ablenkung vom Verkehrsgeschehen ermöglicht ist.

In weiterer Ausgestaltung des Verfahrens wird durch den Steuerbefehl eine

Sprachausgabe oder eine Anzeige aktiviert. Die Sprachausgabe oder die Anzeige ermöglicht neben einer Information an den Nutzer die Eröffnung eines Dialoges mit dem Nutzer.

In einem weiteren Ausführungsbeispiel wird die Sprachausgabe oder die Anzeige in Abhängigkeit von Ausstattungsvarianten ausgegeben. Der Nutzer zeigt beispielsweise auf ein Bereich, wobei je nach Ausstattung in dem Bereich verschiedene Schalterelemente oder verschiedene leuchtende Anzeigeelemente angeordnet sind. In vorteilhafter Weise gibt die Sprachausgabe oder Anzeige aus, dass bei einem verbauten System X der Schalter die Funktion a und bei einem verbauten System Y der Schalter die Funktion b aufweist. In einem weiteren Ausführungsbeispiel wird eine Bestimmung des Bereichs im Fahrzeug, auf den die Geste gerichtet ist, nur durchgeführt, wenn die Geste eine Mindestzeitdauer auf den Bereich gerichtet ist. Durch die Vorgabe einer Mindestzeitdauer wird vermieden, dass ein Bereich im Fahrzeug bestimmt wird, auf den ein Nutzer unabsichtlich eine Geste gerichtet hat.

In einer weiteren Ausbildung ist die Geste eine Blickgeste und/oder eine Zeigegeste. Diese Art der Gesten ermöglicht beispielsweise eine Auswahl eines Bereichs oder eine Betätigung eines Elementes, wobei eine Ablenkung von einer Fahraufgabe sehr gering ist. Eine Blick- oder die Zeigegeste wird erkannt und ein Bereich oder ein Element, auf den die Ausrichtung der Blick- oder Zeigegeste erfolgt ist, wird bestimmt. Alternativ kann sowohl die Blick- als auch die Zeigegeste erkannt und ein Bereich bestimmt werden, auf den die Ausrichtung der Blick- und Zeigegeste erfolgt.

In einer weiteren Ausführungsform wird die Blickgeste aus der Kopfhaltung ermittelt. Mit anderen Worten wird aus der Kopfhaltung ermittelt, in welche Richtung der Nutzer seinen Blick richtet. Die Art der Blickrichtungsermittlung ermöglicht beispielsweise einer treffsicheren Unterscheidung, ob der Nutzer seinen Blick auf ein Kombiinstrument oder eine Headunit richtet. Das Verfahren der Blickrichtungsbestimmung über die Kopfhaltung ist sehr robust und arbeitet selbst bei einem eine Sonnenbrille tragenden Nutzer zuverlässig.

In einer Weiterbildung des Verfahrens ist die Größe des vorgegebenen Zeitfensters abhängig von einer Fahrsituation. In einer Fahrsituation, die eine hohe Konzentration des Fahrers auf die Verkehrssituation erfordert, beispielsweise bei hohen Geschwindigkeiten oder bei einem kurvigen Straßenverlauf, kann das Zeitfenster oder das weitere

Zeitfenster gegenüber einer Fahrsituation, die eine geringe Aufmerksamkeit des Fahrers erfordert, beispielsweise bei einem teilautonomen Betrieb oder bei eine verkehrsarmen Autobahnfahrt unterschiedlich ausgelegt werden. Ist eine hohe Konzentration auf den Verkehr erforderlich, wird beispielsweise ein größeres Zeitfenster zugestanden als bei einem autonomen Fährbetrieb.

Das erfindungsgemäße Assistenzsystem weist eine Recheneinheit auf, die einen zeitlichen Abstand zwischen der Geste und der Spracheingabe ermittelt, den zeitlichen Abstand mit einem vorgegebenen Zeitfenster vergleicht und den Steuerbefehl dann ausgibt, falls der zeitliche Abstand der Geste und der Spracheingabe innerhalb dem vorgegebenen Zeitfenster liegt. Die Recheneinheit ist ein Prozessor mit zugeordneten Speichereinheiten zur Speicherung von Zeitinformationen der Geste, d.h. zur

Speicherung eines Start- oder Endpunkts oder des Zeitpunkts einer gültigen Erkennung. Weiter speichert die Recheneinheit Zeitinformationen der Spracheingabe, d.h. den Zeitpunkt einer gültigen Erkennung der Spracheingabe oder den Start-und/oder

Endzeitpunkt der Spracheingabe. Der Prozessor ist ausgelegt mittels den gespeicherten Zeitinformationen einen zeitlichen Abstand zwischen Geste und Spracheingabe zu ermitteln, diesen mit einem vorgegebenen Zeitfenster zu vergleichen und nur für den Fall, dass der zeitliche Abstand innerhalb des vorgegebenen Zeitfensters liegt, einen

Steuerbefehl auszugeben.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der Ausführungsbeispiele im Einzelnen beschrieben sind. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.

Dabei zeigen:

Fig. 1 eine schematische Darstellung eines Fahrzeuginnenraums mit einem

erfindungsgemäßen Assistenzsystem,

Fig. 2 Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Betreiben des

Assistenzsystems,

Fig. 3 ein Ablaufdiagramm eines weiteren Ausführungsbeispiels des

erfindungsgemäßen Verfahrens zum Betreiben des Assistenzsystems.

Die Fig. 1 zeigt ein Fahrzeuginnenraum mit einem erfindungsgemäßen Assistenzsystem und einem Fahrzeugnutzer 1 . Das Assistenzsystem umfasst in vorliegender

Ausführungsform eine Gestenerkennungseinrichtung 3, 5, die als

Blickgestenerkennungseinrichtung 3 und als Handgestenerkennungseinrichtung 5 ausgeführt ist. In der Ausführungsform nach Fig. 1 ist sowohl eine

Blickgestenerkennungseinrichtung 3 als auch eine Handgestenerkennungseinrichtung 5 verbaut, in einer alternativen Ausführungsform kann auch nur eine der beiden

Gestenerkennungseinrichtungen 3, 5 verbaut sein.

Die Blickgestenerkennungseinrichtung 3 zur Erkennung einer Blickgeste 6 bzw. einer Blickrichtung des Fahrzeugnutzers 1 ist als Stereokamera ausgeführt, die

Handgestenerkennungseinrichtung 5 zur Erkennung einer Zeigegeste 4 bzw. einer Zeigerichtung einer Hand ist als Time of Flight Kamera (ToF-Kamera) ausgeführt. ToF- Kameras sind 3D-Kamerasysteme, die mit dem Laufzeitverfahren Distanzen messen.

Das Assistenzsystem umfasst weiter ein Mikrophon 7, das mit einem

Spracherkennungssystem 9 verbunden ist. Eine Spracheingabe 8 des Fahrzeugnutzers 1 wird durch das Mikrophon 7 aufgenommen und an das Sprachenerkennungssystem 9 zur Auswertung weiter geleitet. Das Spracherkennungssystem 9 arbeitet bevorzugt mit einem Natural Language Processing Verfahren (NLP) und ist dazu eingerichtet natürliche Sprachen zu erfassen.

Eine Recheneinheit 19 empfängt Daten von der Gestenerkennungseinrichtung 3, 5 von dem Spracherkennungssystem 9 und/oder zu Anzeigeereignissen im Fahrzeug. Die Daten zu Anzeigeereignissen umfassen neben dem Anzeigeereignis selbst den Ort und/oder Zeitinformationen des Ereignisses. Beispielsweise umfassen die Daten zu Anzeigeereignissen eine Information über ein Anschalten einer Warnlampe im

Kombiinstrument 21 und zughörige Zeitinformationen des An- und Ausschaltzeitpunkts. Die Recheneinheit 19 wertet die empfangenen Daten aus und bestimmt ob die empfangenen Daten einen vorgegebenen zeitlichen Bezug aufweisen.

In einem ersten Fall kann entsprechend der Spracheingabe 8 eine Information zu dem durch die Zeige- oder Blickgeste 4, 6 bestimmten Bereich ausgegeben werden. Der Bereich kann dabei ein oder mehrere Elemente umfassen. Beispielsweise wird erkannt, dass der Nutzer 1 auf ein Schalter eine Zeigegeste 4 oder eine Blickgeste 6 richtet.

Weiter wird die Frage natürlichsprachlich erkannt„wofür ist dieser Schalter“. Erfolgt die Erkennung des Schalters und die Spracheingabe in einem vorgegebenen Zeitfenster, so wird ein Steuerbefehl zur Ausgabe einer Antwort auf die im Kontext zu dem erkannten Bereich stehende Frage ausgegeben. Die von dem Steuerbefehl ausgelöste Antwort wird über Lautsprecher 13 oder einen Bildschirm beispielsweise der Headunit 15 ausgegeben. Ist die Zeige- oder Blickgeste 4, 6 auf ein verstellbares Element gerichtet, kann eine im Kontext der Spracheingabe stehende Verstellung eines Aktors 17, beispielsweise zur Öffnung eines Handschuhfachs oder zur Verstellung eines Spiegels, durch den

Steuerbefehl veranlasst werden.

Weiter ist die Recheneinheit 19 dazu eingerichtet zu ermitteln, ob die vom

Spracherkennungssystem 9 erkannte Nutzereingabe logisch im Kontext zu dem anhand der Zeige- oder Blickgeste 4, 6 des Nutzers 1 bestimmten Bereich und zu

Anzeigeereignissen im Fahrzeug passt.

Im Fall einer blinkenden Lampe zeigt der Nutzer auf die Lampe und fragt„was blinkt da“ oder„was hat da geblinkt“. Das Sprachsystem 9 erkennt anhand einer natürlichen Spracherkennung die Frage nach einem blinkenden Element und gibt diese an die Recheneinheit 19 weiter. Die Handgestenerkennungseinrichtung 5 bestimmt, auf welchen Bereich der Nutzer gezeigt hat und übermittelt diesen gleichfalls an die Recheneinheit 19. Vom Fahrzeug erhält die Recheneinheit 19 die Information über das Anzeigeereignis, dass im Zeitraum x eine Warnlampe geblinkt hat.

Der Recheneinheit 19 liegen somit nachfolgende Informationen vor:

- der Nutzer 1 hat auf die Lampe gezeigt,

- ein Anzeigeereignis einer blinkenden Lampe ist zeitgleich zum Zeigen erfolgt,

- der Kontext der Spracheingabe 8 bezieht sich auf eine blinkende Lampe,

- der zeitliche Abstand der Zeigegeste 7 und der Spracheingabe 8 liegen in dem vorgegebenen Zeitfenster.

Diese Informationen ermöglichen der Recheneinheit 19 mit hoher Zuverlässigkeit einen zu der Spracheingabe 8 passenden Steuerbefehl auszugeben. Der Steuerbefehl löst über ein Lautsprecher 13 und/oder eine Anzeigeeinheit wie beispielsweise einer Headunit 15 eine Informationsausgabe mit Erklärungen zu der blinkenden Lampe aus.

Die Recheneinheit 19, das Spracherkennungssystem 9, und/oder die

Gestenerkennungseinrichtung 3,5 können dabei in einer Recheneinheit zusammen integriert sein. Im Folgenden werden anhand der Figuren 2 und 3 die von dem Assistenzsystem ausführbaren Verfahrensschritte detailliert beschrieben.

Gemäß Fig. 2 wird in einem ersten Schritt S100 der Bereich bestimmt, auf den eine Zeige- oder Blickgeste gerichtet wird. Der Bereich kann dabei ein oder mehrere Elemente umfassen. Hierzu wird die Zeigerichtung oder die Blickrichtung ausgewertet und bestimmt, auf welche Koordinaten diese im Fahrzeug gerichtet sind. Anschließend wird bestimmt, welcher Bereich fahrzeugseitig in diesen Koordinaten angeordnet ist. Die Bestimmung der Zeige- bzw. Blickrichtung erfolgt mit einer Gesten- bzw.

Blickrichtungskamera. Der bestimmte Bereich und der Zeitpunkt der gültigen Erkennung wird in einem Schritt S200 gespeichert. In einem Schritt S300 wird die Spracheingabe durch ein Spracherkennungssystem bestimmt und ausgewertet. Das Ergebnis der gültigen Erkennung der Spracheingabe und zugehöriger Zeitpunkt der Spracherkennung werden in einem Schritt S400 gespeichert. In einem Schritt S500a wird geprüft, ob der zeitliche Abstand zwischen dem in Schritt S200 gespeicherte Zeitpunkt der gültigen Erkennung der Zeige- oder Blickgeste und dem in Schritt S400 gespeicherten Zeitpunkt der gültigen Erkennung der Spracheingabe innerhalb dem vorgegeben Zeitfenster liegen. Liegt der zeitliche Abstand zwischen der Zeige- oder Blickgeste und der Sprecheingabe nicht in dem vorgegebenen Zeitfenster, so wird das Verfahren im Schritt S600 beendet.

In einem optionalen Verfahrensschritt S500b wird geprüft, ob das Ergebnis der

Sprachauswertung im Kontext zu dem bestimmten Bereich steht. Ist beispielsweise kein Kontext erkennbar, wird das Verfahren im Schritt S600 beendet.

Liegt der zeitliche Abstand der gültigen Erkennung der Zeige- oder Blickgeste und der Spracheingabe in dem vorgegebenen Zeitfenster und steht gegebenenfalls das Ergebnis der Sprachauswertung im Kontext zu dem bestimmten Bereich, dann wird im Schritt S700 ein Steuerbefehl bestimmt. Der Steuerbefehl wird anhand dem Ergebnis der

Sprachauswertung und dem durch die Zeige- oder Blickgeste bestimmten Bereich ermittelt. Beispielsweise eine Frage„was ist das für ein Schalter“ wird in den Kontext zu dem durch eine Zeige- oder Blickgeste bestimmten Schalter gesetzt und ein

gespeicherter Steuerbefehl abgerufen oder generiert. Im Schritt S800 erfolgt eine durch den im Schritt 700 bestimmten Steuerbefehl veranlasste Ausgabe. Der Steuerbefehl veranlasst beispielsweise eine Antwort auf die Frage„was ist das für ein Schalter“ mit dem Inhalt„der Schalter ist zum Öffne- und Schließen des Schiebedachs“. Das Spracherkennungssystem wird durch ein Schlüsselwort wie beispielsweise„hallo Auto“ aktiviert. Die Anzeige eines aktivierten Spracherkennungssystems erfolgt grafisch beispielsweise durch Einblendung eines Mikrofon-Icons. In einer alternativen

Ausführungsform wird das Spracherkennungssystem aktiviert, sobald die Zeige- oder Blickgeste eine vorgebbare Zeitdauer auf den im Schritt S100 bestimmten Bereich gerichtet ist. Beispielsweise wird auf einem Bildschirm angezeigt„Alternative Route ist berechnet“. Zeigt oder schaut ein Nutzer auf den Bereich des Bildschirms für die vorgebbare Zeitdauer von beispielsweise 3s, dann wird auf dem Bildschirm das Mikrofon- Icon angezeigt und der Nutzer kann eine Spracheingabe tätigen. Der Nutzer richtet seinen Blick wieder auf die Straße und tätigt die Spracheingabe, beispielsweise„ja, zeige mir die Alternativroute“. Erfolgt die gültige Erkennung des Bildschirms als ausgewählter Bereich und die gültige Erkennung der Spracheingabe in einem vorgegebenen

Zeitfenster, so wird in S700 ein Steuerbefehl ausgegeben, der nach S800 eine Anzeige der Alternativroute veranlasst. Zeigt oder richtet der Nutzer seinen Blick wieder für eine vorgegebene Zeitdauer auf den Bildschirm, dann erscheint wieder das Mikrofon-Icon und erneut kann eine Spracheingabe getätigt werden.

In einem weiteren Beispiel sind in einem Bereich je nach Ausstattungsvariante unterschiedliche Schalter eingebaut. Eine Frage im Kontext mit einer Blick- oder

Zeigegeste, die sich beispielsweise auf einen Bereich der Mittelkonsole bezieht, wird durch Aufzeigen verschiedener Fälle beantwortet, beispielsweise„Wenn der Schalter ein „P“-Symbol aufweist, dann wird mit diesem die Parktronic für das automatisches

Einparken aktiviert, wenn Ihr Fahrzeug eine Anhängerkupplung aufweist, können Sie durch Betätigung des Schalters diese aus- und einklappen“.

In einem anderen Beispiel kann sich die Spracheingabe auf die Verstellung oder

Bedienung eines erkannten Elements beziehen. Beispielsweise lautet eine

Spracheausgabe„ausklappen“ und die Blick- oder Zeigegeste ist auf ein

Fahrzeugaußenspiegel gerichtet. Die Prüfung im Schritt S500b ergibt, dass die

Spracheingabe im Kontext zu dem erkannten Außenspiegel steht. Liegt der zeitliche Abstand zwischen der gültigen Spracheingabe und der Zeitpunkt der gültigen Erkennung des Außenspiegels gemäß Schritt S500a in dem vorgegebenen Zeitfenster, dann wird im Schritt S700 ein Steuerbefehl ausgegeben, der in Schritt S800 ein Ausklappen des Fahrzeugau ßenspiegels veranlasst. Als mögliche Ergänzung überwacht das Assistenzsystem, ob nach dem Ausklappen des Fahrzeugaußenspiegels und vor dem Anfahren ein entsprechender Kontrollblick in den Außenspiegel erfolgt ist. Gegebenenfalls gibt das Assistenzsystem bei Ausbleiben des Kontrollblicks eine Warnung aus. Weiter kann das Assistenzsystem feststellen, dass der Fahrer beispielsweise durch ständige Beobachtung des rückwärtigen Verkehrs im

Außenspiegel eine Gefahrensituation sehr wohl schon selber erkannt haben müsste und dann eine Warnung ganz unterlässt oder in einer weniger eindringlichen Form darstellt.

Kann im Schritt S700 kein Steuerbefehl ermittelt werden, weil beispielsweise die erkannte Blick- oder Zeigegeste auf ein Bereich mit mehreren Elementen oder einen durch andere Bauteile abgedeckten Bereich gerichtet ist, dann erfolgt in einer weitergebildeten

Ausführungsform im Schritt S900 die Ausgabe eines Steuerbefehls zur Auslösung einer Information und/oder Aufforderung an den Nutzer, erneut mit dem Assistenzsystem in Interaktion zu treten und eines der mehreren Elemente durch weitere Eingaben zu präzisieren. Die Präzisierung erfolgt über eine weitere Nutzereingabe. Im Schritt S1000 wird die weitere Nutzereingabe empfangen, im Schritt S1 100 wird die weitere

Nutzereingabe ausgewertet und im Schritt S700 wird ein Steuerbefehl anhand der weiteren Nutzereingabe aus Schritt S1000 bestimmt. Die Aufforderung an den Nutzer erneut mit dem Assistenzsystem in Interaktion zu treten kann durch Sprachausgabe, Anzeige und/oder haptische Rückmeldung erfolgen. Die weitere Nutzereingabe kann eine weitere Spracheingabe oder eine präzisierte Blick- oder Zeigegeste sein. Ist anhand der weiteren Nutzereingabe ein Steuerbefehl nun im Schritt S700 bestimmbar erfolgt im Schritt S800 eine Ausgabe. Ist der Steuerbefehl immer noch nicht bestimmbar, wird erneut im Schritt S900 die Ausgabe eines Steuerbefehls zur Auslösung einer

Aufforderung an den Nutzer ausgegeben. Die Aufforderungen an den Nutzer werden solange gestellt, bis eine im Schritt S1000 eingegebene weitere Nutzereingabe ausreicht, um im Schritt S700 einen Steuerbefehl zu generieren. Wird innerhalb einer Zeitvorgabe im Schritt S1000 keine weitere Nutzereingabe empfangen, wird das Verfahren im Schritt S1200 abgebrochen.

Im Fall, dass beispielsweise eine Zeigegeste in einen Bereich gerichtet ist, der für die das Gestenerkennungseinrichtung nicht sichtbar ist (beispielsweise wegen Abdeckung durch die Lenksäule) oder aber dass die Kamera-Auflösung im Sichtfeld keine eindeutige Zuordnung der Zeigegeste zu genau einem Schalter erlaubt, ist das Assistenzsystem in der Lage, im Schritt S900 die in diesem Bereich befindlichen Bedienelemente sprachlich aufzulisten („Links neben der Lenksäule befindet sich der runde Dreh-Lichtschalter, darunter der Schalter zum Lösend der elektronischen Feststellbremse, noch weiter unten die Entriegelung der Motorhaube.") und anschließend eine weitere, präzisierte

Nutzereingabe anzufordern.

In Fig. 3 ist ein weiteres Verfahren zum Betreiben des Assistenzsystems dargestellt, das gegenüber dem aus Fig.2 weitere Schritte aufweist. Analog dem Ausführungsbeispiel aus Fig. 2 wird im Schritt S100 der Bereich eines Anzeigeelementes, im Folgenden nur Anzeigeelement genannt, auf das eine Blick- oder Zeigegeste gerichtet, ist bestimmt. Das bestimmte Anzeigeelement und der Zeitpunkt der Bestimmung wird in einem Schritt S200 gespeichert. In einem Schritt S300 wird die Spracheingabe bestimmt und ausgewertet. Das Ergebnis der Sprachauswertung und der Zeitpunkt der gültigen Erkennung der Spracheingabe werden in Schritt S400 gespeichert. Im Schritt S150 wird bestimmt, welches Anzeigeereignis an dem bestimmten Anzeigeelement erfolgt, die Art des

Anzeigeereignisses mit zugehörigen Zeitinformation wird im Schritt S250 gespeichert. Ein Anzeigeereignis ist beispielsweise ein Aufleuchten von einem Icon oder einer Warnlampe auf einem Display, die Zeitinformationen beinhalten Start- und Endzeitpunkt.

Im Schritt S500a wird überprüft, ob der Abstand zwischen dem in Schritt S200

gespeicherte Zeitpunkt der Bestimmung des Anzeigeelementes und dem in Schritt S400 gespeicherten Zeitpunkt der gültigen Erkennung der Spracheingabe innerhalb des vorgegeben Zeitfenster liegt und ob das Anzeigeereignis definiert durch den in S250 gespeicherten Start- und Endzeitpunkt zeitgleich mit dem in Schritt S200 gespeicherten Zeitpunkt oder dem in Schritt S400 gespeicherten Zeitpunkt ansteht.

Im Schritt S500b wird überprüft, ob eine Spracheingabe im Kontext steht mit einem Anzeigeereignis auf beispielsweise einem Bildschirm, auf das eine Blick- oder Zeigegeste gerichtet wurde oder wird.

Ergibt beispielsweise die Prüfung in Schritt S500a und S500b

- dass der Abstand zwischen dem in S200 und dem in S400 gespeicherten Zeitpunkt in dem vorgegebenen Zeitfenster liegen,

- dass das Anzeigeereignis zeitgleich mit dem in S200 oder S400 gespeicherten Zeitpunkt ansteht oder anders formuliert, dass die in S200 oder S400 gespeicherten Zeitpunkte zwischen Start- und Endzeitpunkt des Anzeigeereignisses liegen und -dass der Nutzer eine inhaltliche zu dem Anzeigeereignis passende Frage gestellt hat, dann wird im Schritt S700 ein entsprechender Steuerbefehl bestimmt, der im Schritt S800 beispielsweise eine Ausgabe einer sprachlichen Antwort auf die Frage des Nutzers oder eine Herstellung einer Telefonverbindung veranlasst.

Ist der vorgegebene zeitliche Bezug nicht erfüllt oder steht die Frage in keinerlei Kontext zu dem Anzeigeereignis, dann wird das Verfahren im Schritt S600 beendet. Ist die Spracheingabe dem Kontext des Anzeigeereignisses grundsätzlich zuordenbar aber unklar oder ist die Blick- oder Zeigegeste nicht eindeutig einem Element zuordenbar, dann erfolgt eine Aufforderung zur weiteren Konkretisierung analog dem Verfahren aus Fig. 2 mit den Schritten S900 bis S1200.

Die Deaktivierung des Spracherkennungssystems kann automatisch, beispielsweise beim Ausbleiben weiterer Spracheingaben, oder durch eine gesonderte Quittierung erfolgen. Bei einer gesonderten Quittierung kann ein Nutzer beispielsweise gefragt werden„haben Sie die Antwort verstanden?“, wobei eine Antwort„ja“ den Sprachdialog beendet und das Sprachdialogsystem deaktiviert.

In einem nicht dargestellten weiteren Verfahren wird sowohl der Bereich, auf den die Blickgeste gerichtet ist als auch der Bereich auf den die Zeigegeste gerichtet ist, bestimmt. Erfahrungsgemäß ist davon auszugehen, dass ein Nutzer auch seinen Blick auf ein Bereich richtet, auf den er zeigt. In dem anhand Fig. 2 und Fig. 3 beschriebenen Verfahren wird im Schritt S100 dann zusätzlich geprüft, ob die anhand der Blickgeste und der Zeigegeste bestimmten Bereiche übereinstimmen, wobei der Bereich im Schritt S200 nur bei Übereinstimmung gespeichert wird. Das Verfahren ermöglicht dann eine zuverlässigere Bestimmung des durch den Nutzer ausgewählten Bereichs.

Die vorgeschlagenen Verfahren ermöglicht durch Koordinierung von Anzeige,

Zeigegeste, Blickgeste und/oder Sprache einem Nutzer eine zutreffende Rückmeldung auf seine Eingabe zu liefern.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele

eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der

Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion, Reihenfolge oder der Anordnung einzelner, in einer beispielhaften

Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.