Verfahren und Anordnung zur Interaktion mit einem Vorschlagssystem mit automatisierten

Bedienhandlungen

Gebiet der Erfindung

Die vorliegende Erfindung betrifft ein Verfahren und eine Anordnung zur Interaktion mit einem Vorschlagssystem mit automatisierten Bedienhandlungen, das insbesondere bei einer grafischen Benutzerschnittstelle in einem Fahrzeug eingesetzt werden kann. Die vorliegende Erfindung betrifft weiterhin ein Fahrzeug, das eingerichtet ist, ein solches Verfahren auszuführen oder eine solche Anordnung aufweist.

Hintergrund der Erfindung

In vielen Bereichen der Technik werden für eine Interaktion mit Maschinen und Geräten Benutzerschnittstellen (abgekürzt HMI von englisch "Human Machine Interface")

eingesetzten, wobei grafische Benutzeroberflächen bzw. Benutzerschnittstellen (abgekürzt GUI von englisch "Graphical User Interface") mittlerweile weit verbreitet sind. Mit grafischen Benutzerschnittstellen lassen sich grafische Elemente und komplexe Bedienabläufe auf einer Bildschirmoberfläche darstellen. Eine Bedienung kann durch eine Vielzahl verschiedener Eingabegeräte erfolgen, beispielsweise durch Berührung einer berührungsempfindlichen Displayoberfläche, einem sogenannten Touchscreen.

Bei einem HMI mit umfangreichem Funktionsumfang bzw. einer Vielzahl von Funktionalitäten kann die Komplexität so groß sein, dass diese nicht alle gleichzeitig in sinnvoller Weise angezeigt werden können, selbst wenn das HMI mehrere Displays umfassen sollte. Auch besteht die Gefahr, dass durch eine Anzeige einer Vielzahl von Bild- und/oder

Bedienelementen die Übersichtlichkeit und Bedienbarkeit des GUIs leidet.

Dieses kann beispielsweise bei einer Verwendung von GUIs im Automobilbereich, insbesondere wenn sich diese an den Führer eines Fahrzeugs während der Fahrt richten, problematisch sein. In diesem Fall sollte die Darstellung von Informationen und die

Bedienung so einfach und intuitiv wie möglich sein um eine Ablenkung von der Fahraufgabe zu minimieren und so die Fahrsicherheit zu gewährleisten. Die Ablenkung bzw. Störung des Fahrzeugführers kann verringert und der Bedienkomfort erhöht werden, indem das Nutzerverhalten und die Nutzungssituation erfasst werden um basierend hierauf die Bedienung je nach Situation anzupassen bzw. zu automatisieren oder dem Nutzer Empfehlungen für die Bedienung zu unterbreiten.

Ein System und ein Verfahren zum Vorschlagen und Automatisieren von Aktionen in einem Fahrzeug wird in der US 20160068169 A1 beschrieben, wobei Empfehlungen gegeben werden wenn ein verbesserbares Verhalten vorliegt. Ähnlich offenbart die US 20150160019 A1 ein fahrzeuginternes Computersystem, das automatisch Aktionen ausführt um sicherzustellen dass die kognitive Belastung für den Fahrer nicht zu hoch wird. So kann beispielsweise ein eingehender Telefonanruf automatisch abgewiesen werden und dem Fahrer eine Information hierüber angezeigt werden.

Zusammenfassung der Erfindung

Es ist eine Aufgabe der Erfindung, ein Verfahren und eine Anordnung zur Interaktion mit einem Vorschlagssystem mit automatisierten Bedienhandlungen zur Verfügung zu stellen, dass eine geringe Komplexität der Interaktion aufweist und insbesondere in einem Fahrzeug eingesetzt werden kann.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , sowie durch eine entsprechende Anordnung gemäß Anspruch 5 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Das erfindungsgemäße Verfahren zur Interaktion mit einem Vorschlagssystem mit automatisierten Bedienhandlungen umfasst die folgenden Schritte:

- generieren einer Empfehlung für eine Bedienhandlung;

- ermitteln eines Wahrscheinlichkeitswerts für die Ausführung der empfohlenen

Bedienhandlung;

- automatisches ausführen der empfohlenen Bedienhandlung, wenn für diese ein hoher Wahrscheinlichkeitswert ermittelt wird;

- anzeigen einer Information über die automatisch ausgeführte Bedienhandlung sowie eines Bedienelements zum Abbruch oder Rückgängigmachen der automatisch ausgeführten Bedienhandlung;

- erfassen einer Betätigung des angezeigten Bedienelementes durch einen Nutzer; - abbrechen oder rückgängig machen der automatisch ausgeführten Bedienhandlung bei Betätigung des angezeigten Bedienelementes.

Die erfindungsgemäße Interaktion mit einem Vorschlagssystem mit automatisierten

Bedienhandlungen ermöglicht auf einfache und intuitive Weise eine automatisch ausgeführte Bedienhandlung in nur einem Bedienschritt abzubrechen oder rückgängig zu machen und ermöglicht so die Beibehaltung der Kontrolle durch den Nutzer auch bei automatisch ausgeführten Bedienhandlungen.

Gemäß einer Ausführungsform der Erfindung wird die Information über die automatisch ausgeführte Bedienhandlung auf einem ersten Display anzeigt und das Bedienelement zum Abbruch oder Rückgängigmachen der automatisch ausgeführten Bedienhandlung auf einem zweiten Display anzeigt.

Durch die Aufteilung der Anzeige von einerseits einer Information über die automatisch ausgeführte Bedienhandlung und andererseits einem Bedienelement zum Abbruch der automatisch ausgeführten Bedienhandlung auf separate Displays wird die Übersichtlichkeit gesteigert. Ferner erlaubt dieses eine Anzeige der Information auf einem ersten Display, welches im unmittelbaren Blickfeld des Nutzers ist aber gegebenenfalls nicht ohne weiteres zu bedienen ist und die separate Bedienung über ein hierfür besonders geeignetes zweites Display.

Vorteilhafterweise wird der Wahrscheinlichkeitswert für die Ausführung der empfohlenen Bedienhandlung aus dem bisherigen Nutzerverhalten und/oder äußeren Parametern ermittelt.

Vorteilhafterweise können die äußeren Parameter zur Ermittlung des

Wahrscheinlichkeitswerts die aktuelle Zeit und/oder die aktuelle Position des Nutzers umfassen.

Entsprechend umfasst eine erfindungsgemäße Anordnung zur Interaktion mit einem

Vorschlagssystem für Bedienhandlungen eine Steuereinheit, mindestens ein Display und eine Erfassungseinheit, wobei

- die Steuereinheit eine Empfehlung zur Bedienung einer Bedienhandlung generiert, einen Wahrscheinlichkeitswerts für die Ausführung der empfohlenen Bedienhandlung ermittelt und die empfohlene Bedienhandlung automatisch ausführt, wenn für diese ein hoher Wahrscheinlichkeitswert ermittelt wird; - auf dem mindestens einen Display eine Information über die automatisch ausgeführte Bedienhandlung sowie ein Bedienelement zum Abbruch oder Rückgängigmachen der automatisch ausgeführten Bedienhandlung anzeigt wird;

- die Erfassungseinheit eine Betätigung des angezeigten Bedienelementes durch den Nutzer erfasst;

- und die Steuereinheit die automatisch ausgeführte Bedienhandlung bei Betätigung des Bedienelementes abbricht oder rückgängig macht.

Besonders vorteilhaft kann die erfindungsgemäße Anordnung in einem Fahrzeug

vorgesehen sein, wobei das Vorschlagssystem Bedienhandlungen für ein

Infotainmentsystem des Fahrzeugs empfiehlt.

Gemäß einer vorteilhaften Weiterbildung dieser Ausführungsform der Erfindung wird die Information über die automatisch ausgeführte Bedienhandlung auf einem

Kombiinstrument und/oder einer Head-up-Display-Anzeige und das Bedienelement zum Abbruch der automatisch ausgeführten Bedienhandlung auf einem weiteren, insbesondere seitlich vom Lenkrad angeordneten, Display des Fahrzeugs angezeigt.

Weiterhin kann bei dieser Weiterbildung das seitlich vom Lenkrad angeordnete Display als Touchscreen-Display ausgebildet sein und die automatisch ausgeführte Bedienhandlung durch Berührung der berührungsempfindlichen Oberfläche des Touchscreen-Displays an der Position des dargestellten Bedienelementes abgebrochen oder rückgängig gemacht werden.

Vorzugsweise kann die Information über die automatisch ausgeführte Bedienhandlung auf dem Kombiinstrument temporär in einem Teilbereich der Anzeige dem aktuellen Kontext überlagert werden.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.

Kurze Beschreibung der Figuren

Fig. 1 zeigt schematisch das erfindungsgemäße Verfahren zur Interaktion mit einem

Vorschlagssystem für Bedienhandlungen; Fig. 2 zeigt schematisch für eine Ausführungsform eines Vorschlagssystems in einem Fahrzeug eine displayübergreifende grafische Benutzerschnittstelle mit der Möglichkeit der Interaktion durch den Nutzer; und

Fig. 3 zeigt schematisch ein Blockschaltbild einer erfindungsgemäßen Anordnung.

Detaillierte Beschreibung der Ausführungsformen

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.

Figur 1 zeigt schematisch ein Flussdiagramm für eine Ausführungsform des

erfindungsgemäßen Verfahrens. Beispielhaft wird auf eine Verwendung für ein Infotainment- System eines Fahrzeugs Bezug genommen. Das Vorschlagssystem liefert hierbei

Empfehlungen für Bedienhandlungen eines im Fahrzeug integrierten Infotainmentsystems, kann aber beispielsweise ebenso für ein Fahrerassistenzsystem des Fahrzeugs eingesetzt werden.

In einem ersten Schritt 1 wird eine Empfehlung zur Bedienung einer Funktion generiert. Die Empfehlung kann hierbei insbesondere basierend auf dem bisherigen Nutzerverhalten in Korrelation mit äußeren Parametern wie der aktuellen Zeit und dem aktuellen Ort des Nutzers ermittelt werden. Beispiele für solche Empfehlungen im Auto-Infotainmentbereich können beispielsweise sein zur vollen Stunde das Radio einzuschalten und auf einen bestimmten Sender abzustimmen um Nachrichten zu empfangen oder die Musikwiedergabe aus einer Musiksammlung zu starten, sobald das Fahrzeug auf eine Autobahn auffährt. Unabhängig davon, ob eine empfohlene Bedienhandlung später gegebenenfalls automatisch ausgeführt wird, kann diese dem Nutzer angezeigt werden, sodass dieser sich entscheiden kann, ob er dem Vorschlag folgen will und die empfohlene Bedienhandlung manuell auslösen möchte.

In dem darauf folgenden Schritt 2 wird dann ein Wahrscheinlichkeitswert für die situative Relevanz der empfohlenen Bedienhandlung ermittelt und mit einem Schwellwert verglichen. Der Wahrscheinlichkeitswert gibt an, ob der Vorschlag für den Nutzer zu diesem Zeitpunkt passend ist bzw. ob basierend auf dem gelernten bisherigen Nutzerverhalten eine

Bedienhandlung durch den Nutzer wahrscheinlich ist. Für die oben gegebenen Beispiele bedeutet dieses, dass ermittelt wird ob der Nutzer in der Vergangenheit regelmäßig zur vollen Stunde das Radio zum Nachrichtenempfang eingeschaltet und auf einen bestimmten Sender abgestimmt hat oder die Musikwiedergabe bei der Auffahrt auf eine Autobahn gestartet hat. Ebenso kann, falls die jeweilige Bedienhandlung bereits in der Vergangenheit automatisch ausgeführt wurde, berücksichtigt werden ob der Nutzer es bei der

automatischen Ausführung belassen hat oder diese etwa abgebrochen bzw. rückgängig gemacht hat.

Ist der ermittelte Wahrscheinlichkeitswert der Empfehlung größer als ein vordefinierter Schwellwert, so wird die Bedienhandlung dem Nutzer nicht lediglich als Empfehlung vorgeschlagen sondern im darauffolgenden Schritt 3 automatisch ausgeführt, so startet beispielsweise automatisch die oben erwähnte Nachrichten- oder Musikwiedergabe.

Andernfalls geht das Verfahren an den Anfang zurück und generiert gegebenenfalls neue Empfehlungen.

Eine Information über die automatisch ausgeführte Bedienhandlung sowie ein

Bedienelement zum Abbruch oder Rückgängigmachen der automatisch ausgeführten Bedienhandlung wird dann dem Nutzer in Schritt 4 angezeigt.

Im darauffolgenden Schritt 5 wird überprüft, ob das angezeigte Bedienelement durch den Nutzer betätigt wurde. Ist dies der Fall, so wird im darauffolgenden Schritt 6 die automatisch ausgeführte Bedienhandlung abgebrochen oder rückgängig gemacht. Danach wird auch hier das Verfahren mit der Generierung neuer Empfehlungen fortgesetzt.

Figur 2 zeigt schematisch für eine mögliche Ausführungsform eines Vorschlagssystems in einem Fahrzeug eine displayübergreifende grafische Benutzerschnittstelle mit der

Möglichkeit der Interaktion durch den Nutzer.

In Figur 2 a) ist ein frei programmierbares Kombiinstrument 7 dargestellt, dass

typischerweise hinter dem Lenkrad angeordnet ist. Auf dem Kombiinstrument sind zwei, klassischen Rundinstrumenten nachempfundene Anzeigen 8, 9 für Drehzahl und

Geschwindigkeit des Fahrzeugs dargestellt. Neben weiteren Parametern wie Uhrzeit Temperaturen und Kilometerstand wird zwischen Drehzahl- und Geschwindigkeitsanzeige 8, 9 ein Teil einer Navigationskarte 10 wiedergegeben. Unterhalb des Kartenausschnitts wird eine Information 1 1 über eine automatisch ausgeführte Bedienhandlung wiedergegeben, in diesem Fall, dass das "Gebläse auf Stufe 3 gesetzt" wurde. Neben dieser Textmeldung wird ein Bildsymbol 12 in Form einer Wolke aus Kugeln gezeigt, die darauf hinweist, dass das Vorschlagssystem aktiv ist und eine Empfehlung abgegeben bzw. automatisch ausgeführt hat. Zusätzlich kann das Bildsymbol 12 Systemzustände visualisieren. Sowohl die

Textmeldung 1 1 als auch das Bildsymbol 12 können hierbei einen Teilbereich der Anzeige auf dem Kombiinstrument, beispielsweise den Teil der Navigationskarte, überlagern.

Um die automatisch ausgeführte Bedienhandlung abzubrechen oder rückgängig zu machen, wird auf einem weiteren Display 13, das beispielsweise im Bereich der Mittelkonsole zwischen Fahrer und Beifahrer angeordnet sein kann, ein entsprechendes Bedienelement 14 eingeblendet. Das Bedienelement 14 kann hierbei beispielsweise in Form eines Icons oder einer Kachel ausgestaltet sein, wobei der thematische Zusammenhang zu der automatisch ausgeführten Bedienhandlung durch einen Texthinweis, beispielsweise "Gebläse", verdeutlicht wird. Zusätzlich kann, beispielsweise durch ein geeignetes Bildsymbol, illustriert werden, dass durch eine Bedienung des Bedienelement der Abbruch bzw. das

Rückgängigmachen der automatisch ausgeführten Bedienhandlung erfolgen würde.

Zusätzlich zu dieser Kachel können weitere Kacheln mit Empfehlungen in Form einer Empfehlungsleiste dargestellt werden. Diese Empfehlungen können beispielsweise einen Zielort für die Navigation, einen Titel für die Musikwiedergabe oder einen Telefonkontakt betreffen. Weiterhin wird auch auf diesem zweiten Display 13 das auf das aktive

Vorschlagssystem hinweisende Bildsymbol 1 1 angezeigt umso dem Nutzer die

displayübergreifende Anzeige bzw. Bedienung zu verdeutlichen.

Wenn das zweite, im Bereich der Mittelkonsole angeordnete Display 13 als Touchscreen- Display ausgestattet ist, kann die automatisch ausgeführte Bedienhandlung durch Antippen der dargestellten Kachel rückgängig gemacht bzw. abgebrochen werden. Durch ein visuelles Feedback kann dann dem Nutzer dann bestätigt werden, dass die Bedienhandlung tatsächlich rückgängig gemacht bzw. abgebrochen wurde. Hierfür kann auf dem

Kombiinstrument eine entsprechende Textmeldung wiedergegeben werden. Zusätzlich oder stattdessen kann ein entsprechender Hinweis in der Kachel erfolgen. Ebenso kann das auf das aktive Vorschlagssystem hinweisende Bildsymbol in der Darstellung oder Farbe verändert werden.

Die Information über die automatisch ausgeführte Bedienhandlung kann statt auf dem Kombiinstrument auch auf einem anderen Display wiedergegeben werden, beispielsweise auf einem Head-up-Display mit einer auf der Windschutzscheibe oberhalb des Lenkrads projizierten Anzeige. Ebenso kann das Bedienelement zum Abbruch oder Rückgängigmachen der automatisch ausgeführten Bedienhandlung statt auf einem Display im Bereich der Mittelkonsole auf einem Display auf der der Fahrertür zugewandten Seite des Lenkrads angezeigt werden.

Das im Fahrzeug integrierte Vorschlagssystem kann den Nutzer basierend auf

verschiedenartigen Informationen bedarfsgerecht unterstützen. So können Interessen des Nutzers oder frühere Benutzungshandlung des Nutzers ebenso herangezogen werden wie das aktuelle Verhalten des Nutzers, dass durch eine Nutzerbeobachtung mittels geeigneter Sensoren im Fahrzeug erfasst werden kann. Ebenso kann vorgesehen sein, dass bei der Nutzung des Fahrzeugs durch mehrere Nutzer eine Unterscheidung der Nutzer erfolgt um das Nutzerverhalten der verschiedenen Nutzer separat zu erlernen und zukünftig zu berücksichtigen um an den jeweiligen Nutzer angepasste Empfehlungen bereitstellen zu können. Weiterhin kann die aktuelle Fahrsituation, beispielsweise basierend auf

Fahrzeugparametern wie der aktuellen Geschwindigkeit, oder das aktuelle Umfeld des Fahrzeugs durch außen am Fahrzeug angebrachte Sensoren berücksichtigt werden.

Insbesondere kann das Vorschlagssystem auf Basis des Nutzerverhaltens in Kombination mit Zeit und/oder Ort der Bedienung wiederkehrende Routineinteraktionen detektieren und basierend hierauf automatisiert durchführen. Hierbei können bestimmte Funktionen, wie beispielsweise Fahrfunktionen oder Telefonanrufe, von der Automatisierung ausgenommen werden.

Ebenso kann berücksichtigt werden, wenn ein Nutzer eine automatisch ausgeführte Bedienhandlung wieder rückgängig macht, insbesondere wenn dieses mehrfach in der gleichen Situation erfolgt. In diesem Fall kann statt einer automatischen Ausführung der Bedienhandlung lediglich eine Empfehlung für diese Bedienhandlung gegeben werden oder aber auch hiervon gänzlich abgesehen werden.

Figur 3 zeigt eine schematische Darstellung einer erfindungsgemäßen Anordnung. Eine Steuereinheit 15 generiert eine Empfehlung zur Bedienung einer Funktion, ermittelt einen Wahrscheinlichkeitswerts für die Ausführung der empfohlenen Bedienhandlung und führt die empfohlene Bedienhandlung automatisch aus, wenn für diese ein hoher

Wahrscheinlichkeitswert ermittelt wird. So kann die Steuereinheit 15 beispielsweise eine Infotainment-Einrichtung oder auch andere Bauteile eines Fahrzeugs, wie beispielsweise das Gebläse, ansteuern. Der Steuereinrichtung 15 können hierfür verschiedene Parameter 16 wie beispielsweise die aktuelle Zeit oder der aktuelle Ort des Fahrzeugs, die

Innentemperatur des Fahrzeugs, die aktuelle Fahrsituation oder das aktuell erfasste

Nutzerverhalten zugeführt werden. Ebenso kann die Steuereinrichtung auf Informationen zum erlernten Nutzerverhalten zugreifen, die beispielsweise in einer Datenbank in einem fahrzeuginternen Speicher abgelegt sein können.

Wird eine empfohlene Bedienhandlung automatisch ausgeführt, so steuert die Steuereinheit eine Bilderzeugungs- und ausgabeeinheit 17 derart an, dass eine Information hierüber auf einem hinter dem angedeuteten Lenkrad 18 befindlichen Kombiinstrument 7 und/oder einem darüber befindlichen Head-up-Display 19 angezeigt wird. Ebenso veranlasst die

Steuereinheit 15 die Bilderzeugung- und ausgabeeinheit 17 zur Darstellung eines

Bedienelementes 14 zum Abbruch oder Rückgängigmachen der automatisch ausgeführten Bedienhandlung auf einem im Bereich der Mittelkonsole angeordneten Display 13, das als Touchscreen-Display ausgestattet ist. Ein Antippen der berührungsempfindlichen Oberfläche im Bereich des dargestellten Bedienelementes 14 wird durch eine Erfassungseinheit 20 erkannt, die eine Information hierüber der Steuereinheit 15 zuführt. Die Steuereinheit 15 bricht daraufhin die automatisch ausgeführte Bedienhandlung ab oder macht diese rückgängig und steuert die Bilderzeugungs- und ausgabeeinheit 17 derart an, dass die Darstellung der Hinweise auf die automatisch ausgeführte Bedienhandlung und des entsprechenden Bedienelementes angepasst oder ausgeblendet wird.

Die Erfindung kann vorteilhaft im Bereich der Fahrzeugtechnik eingesetzt werden, ist aber keineswegs darauf beschränkt. Vielmehr kann die Erfindung in beliebigen computerbasierten Systemen verwendet werden, bei denen eine Interaktion mit einem Vorschlagssystem für Bedienhandlungen in Kombination mit einer grafischen Benutzerschnittstelle erfolgt.

Bezugszeichenliste Verfahrensschritt mit Generierung einer Empfehlung für eine Bedienhandlung

Verfahrensschritt mit Ermittlung eines Wahrscheinlichkeitswerts und Vergleich mit einem Schwellwert

Verfahrensschritt mit automatischer Ausführung einer empfohlenen Bedienhandlung

Verfahrensschritt mit Anzeige der Bedienhandlung sowie eines Bedienelement zum Abbruch oder Rückgängigmachen der Bedienhandlung

Verfahrensschritt mit Überprüfung einer Betätigung des Bedienelementes

Verfahrensschritt mit Abbruch der automatisch ausgeführten Bedienhandlung

Kombiinstrument

Drehzahlmesser

Tachometer

Kartenausschnitt

Texthinweis auf automatisch ausgeführte Bedienhandlung Bildsymbol für aktives Vorschlagssystem

Zweites Display

Kachel-Symbol für Abbruch der automatisch ausgeführten Bedienhandlung

Steuereinheit

Parameter

Bilderzeugungs- und ausgabeeinheit

Lenkrad

Head-up-Display

Erfassungeinheit