elektronischen Gerätes über einen Touchscreen Beschreibung

Die Erfindung betrifft ein Verfahren sowie eine Bedienvorrichtung zum Bedienen eines elektronischen Gerätes, insbesondere in einem Fahrzeug, über einen Touchscreen.

Zur Entwicklung übersichtlicherer Instrumententafeln in Kraftfahrzeugen ist es bekannt, unter Vermeidung vorgegebener zweckgerichteter Tasten auf dem Armaturenbrett einen berührungsempfindlichen Bildschirm bzw. Touchscreen zu verwenden, welcher je nach der vom Fahrer gewünschten Funktion virtuelle Tasten bzw. Bedienfelder bereitstellt.

So kann sich beispielsweise gemäß Fig. 2 auf einem Touchscreen eine erste Zeile von Tasten zur Auswahl der jeweiligen Funktion (z.B. "Radio", "Navigation" oder "Klimasteuerung") befinden, wobei unterhalb dieser ersten Zeile ein je nach gewählter Funktion veränderlicher Bereich vorgesehen ist, welcher geeignete Informationen bzw. Eingabetasten entsprechend der gewählten Funktion bereitstellt. Hierbei wird der in Fig. 2 gestrichelt umrandete Bereich in Abhängigkeit von der vom Fahrer gerade ausgewählten Funktion angepasst. Hierbei kann in der Praxis das Problem auftreten, dass diese virtuellen Tasten bei großer Auslastung des von dem Touchscreen bereitgestellten bzw. für Eingabefelder zur Verfügung stehenden Bereichs sehr klein sein können, so dass deren exakte Betätigung schwierig werden kann. Das Problem wird dadurch noch verstärkt, dass solche Touchscreens häufig im Mittelbereich des Armaturenbretts (sogenannter "Center Stack" = "zentraler Bedienbereich") angeordnet sind, was zu Parallaxenfehlern führen und zur Folge haben kann, dass der Nutzer den Touchscreen außerhalb der Mitte des eigentlich beabsichtigten Bedienfeldes betätigt. Zur Überwindung dieses Problems kann gemäß der schematischen Darstellung von Fig. 3 eine Vergrößerung des vom Touchscreen angezeigten Bildes im Bereich rings um den Berührungspunkt des Fingers herum erfolgen, so dass der Benutzer ein visuelles Feedback zu dem jeweils betätigten Bereich erhält. Dieses visuelle Feedback tritt an die Stelle des bei herkömmlichen Tasten gewohnten haptischen Feedbacks und bestätigt den Benutzer darin, dass die beabsichtigte Änderung der jeweiligen Einstellungen auch erzielt wird. Auch bei dem unter Bezugnahme auf Fig. 3 beschriebenen Ansatz tritt jedoch das weitere Problem auf, dass während der Fahrt immer auch eine gewisse Bewegung der Hand bzw. des Fingers des Fahrers stattfindet, so dass ein stetiges Ausrichten des Fingers ohne Verwackeln schwierig ist. Ein unstetiges bzw. wackeliges Bewegen des Fingers hat jedoch ein Umherwandern oder Umherspringen des jeweils vergrößerten Bereichs und ein Flackern der Anzeige zur Folge. Dieses Problem wird dadurch vergrößert, dass bei Betätigung eines im zentralen Bedienbereich bzw. "Center Stack" des Armaturenbretts befindlichen Touchscreens der ausgestreckte Arm des Fahrers in anderer Weise bewegt bzw. positioniert wird, als dies etwa bei Betätigung eines in der jeweils anderen Hand gehaltenen Tabletcomputers der Fall ist. Zudem hat auch die Bewegung des Fahrzeuges Relativbewegungen zwischen dem ausgestreckten Finger und dem Touchscreen zur Folge. Die Betätigung eines gewünschten Bedienfeldes auf dem Touchscreen in einem Fahrzeug kann sich daher als wesentlich schwieriger erweisen als die Betätigung eines Tabletcomputers oder eines Smartphones.

Aufgrund der in drei Dimensionen bzw. Raumrichtungen stattfindenden Fingerbewegung kann ferner eine rasche Änderung der Vergrößerung und des vergrößerten Bereichs stattfinden, bevor die auf dem Touchscreen anvisierte Stelle schließlich getroffen wird, was dazu führt, dass die Anzeige scheinbar flackert und das Auffinden und Betätigen des anvisierten Punktes bzw. Bedienfeldes noch erschwert wird. Aus EP 2 587 350 A2 ist u.a. ein Verfahren zur Betätigung eines Touchscreens im Cockpit eines Flugzeuges bekannt, bei dem die Ermittlung gültiger Touchscreen- Eingaben auf Basis des Vergleichs zwischen einer Charakteristik der jeweiligen Eingabe mit einer Referenzcharakteristik erfolgt. Hierbei werden Eingaben beispielsweise während des Auftretens von Turbulenzen als versehentlich eingestuft oder als ungültig angesehen, was beispielsweise auf Basis der Erfassung biomechanischer (z.B. auf Handfläche oder Handgelenk hinweisender) Eigenschaften der Eingabe oder der Größe der betätigten Fläche relativ zur durchschnittlichen Fingerspitzengröße erfolgen kann.

Aus der DE 1 1 2009 002 612 T5 ist es bekannt, dass die Positionseingaben eines Touchscreens einer Tiefpassfilterung mit konstanter Filterkonstante bzw. Grenzfrequenz (z.B. 3 Hz) zur Elimination von Vibrationen unterzogen werden. Eine derartige konstante Tiefpassfilterung führt jedoch zu einer unerwünschten Anzeigeträgheit.

Zum weiteren Stand der Technik wird lediglich beispielhaft auf US 2012/0308204 A1 , US 7 865 838 B2, EP 2 160 675 B1 , US 2010/0328351 A1 und US 8 373 669 B2 verwiesen.

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren sowie eine Bedienvorrichtung zum Bedienen eines elektronischen Gerätes über einen Touchscreen, insbesondere in einem Fahrzeug, bereitzustellen, welche eine exaktere und möglichst fehlerfreie Bedienung auch bei ungleichmäßigen oder abrupten Eingabe- bzw. Fingerbewegungen der Bedienperson ermöglichen, wobei der Eindruck einer trägen Anzeigenreaktion für den Benutzer vermieden werden soll.

Diese Aufgabe wird durch das Verfahren gemäß den Merkmalen des unabhängigen Patentanspruchs 1 sowie die Bedienvorrichtung gemäß den Merkmalen des nebengeordneten Patentanspruchs 1 1 gelöst. Ein erfindungsgemäßes Verfahren zum Bedienen eines elektronischen Gerätes über einen Touchscreen, insbesondere in einem Fahrzeug, wobei die Bedienung auf Basis eines durch eine den Touchscreen berührende Eingabebewegung erzeugten Positionssignals erfolgt, weist folgende Schritte auf: - Durchführung einer Filterung des Positionssignals derart, dass wenigstens eine Bewegungskomponente der Eingabebewegung zumindest teilweise unterdrückt wird, wobei ein gefiltertes Positionssignal erhalten wird; und

Betätigen des elektronischen Gerätes auf Basis dieses gefilterten Positionssignals.

Der Erfindung liegt insbesondere das Konzept zugrunde, die sich aus einer sich dem Touchscreen annähernden und diesen schließlich berührenden Hand- bzw. Fingerbewegung ergebenden Positionssignale (etwa der jeweiligen Fingerposition) einer Filterung zu unterziehen, wobei die hierbei verwendeten Filterparameter in Abhängigkeit vom aktuellen Fahrzeugzustand (z.B. Fahrzeuggeschwindigkeit und -beschleunigung) gewählt werden können. Dabei geht die Erfindung von der Überlegung aus, dass die vom Fahrer beabsichtigte Fingerbewegung durch zufällige bzw. statistische Bewegungskomponenten überlagert wird, wie im Weiteren noch detaillierter beschrieben wird.

Bei dem Touchscreen kann es sich um einen im Fahrzeug eingebauten Touchscreen oder auch um den Touchscreen eines (z.B. an ein Fahrzeug angeschlossenen) Tabletcomputers oder Smartphones handeln. Die Erfindung ist jedoch auch auf diese Anwendungen nicht beschränkt und allgemein in Anwendungen vorteilhaft realisierbar, in denen ein Touchscreen in einer beweglichen Umgebung, ggf. auch in größerem Abstand bzw. mit ausgestrecktem Arm der Bedienperson, betätigt werden soll.

Gemäß einer Ausführungsform umfasst die wenigstens eine Bewegungs- komponente der Eingabebewegung eine unregelmäßige Bewegung (etwa im Sinne einer Hin- und Herbewegung, einer wackelnden Bewegung oder "Brownschen Bewegung") der zur Durchführung der Eingabebewegung ausgestreckten Hand einer Bedienperson. Gemäß einer Ausführungsform umfasst die wenigstens eine Bewegungskomponente der Eingabebewegung vibrationsbedingte Relativbewegungen, insbesondere aufgrund von Vibrationen eines Fahrzeuges, zwischen der zur Durchführung der Eingabebewegung ausgestreckten Hand und dem Touchscreen.

Gemäß einer Ausführungsform umfasst die wenigstens eine Bewegungskomponente der Eingabebewegung Bewegungen aufgrund von Lenk- oder Bremsvorgängen eines Fahrzeuges und/oder aufgrund von Fahrbahnunebenheiten.

Gemäß einer Ausführungsform weist das Positionssignal drei Ortskoordinaten (x, y, z) relativ zum Touchscreen auf, wobei die Filterung des Positionssignals für sämtliche dieser drei Ortskoordinaten erfolgt. Gemäß einer Ausführungsform wird die wenigstens eine Bewegungskomponente auf Basis einer Autokorrelation des Positionssignals ermittelt.

Gemäß einer Ausführungsform wird die wenigstens eine Bewegungskomponente unter Verwendung eines Tiefpassfilters ermittelt.

Gemäß einer Ausführungsform wird die wenigstens eine Bewegungskomponente mit Hilfe wenigstens eines Beschleunigungssensors ermittelt.

Gemäß einer Ausführungsform erfolgt ein Einfrieren des Positionssignals, wenn eine während der Eingabebewegung ermittelte Positionsänderung oder eine während der Eingabebewegung ermittelte Beschleunigung einen vorbestimmten Schwellenwert überschreitet.

Gemäß einer Ausführungsform wird in Reaktion auf eine den Touchscreen berührende Eingabebewegung ein visuelles und/oder haptisches Feedback an eine die Eingabebewegung durchführende Bedienperson übermittelt. Die Erfindung betrifft weiter auch eine Bedienvorrichtung zum Bedienen eines elektronischen Gerätes über einen Touchscreen, insbesondere in einem Fahrzeug, wobei die Bedienung auf Basis eines durch eine den Touchscreen berührende Eingabebewegung erzeugten Positionssignals erfolgt, und wobei die Bedienvorrichtung dazu konfiguriert ist, ein Verfahren mit den vorstehend beschriebenen Merkmalen durchzuführen.

Weitere Ausgestaltungen der Erfindung sind der Beschreibung sowie den Unteransprüchen zu entnehmen.

Die Erfindung wird nachstehend anhand einer beispielhaften Ausführungsform unter Bezugnahme auf die beigefügten Abbildungen näher erläutert.

Es zeigen:

Figur 1 ein Flussdiagramm zur Erläuterung eines beispielhaften Ablaufs des

Verfahrens gemäß der vorliegenden Erfindung; und

Figur 2-3 schematische Darstellungen zur Erläuterung herkömmlicher Ansätze zur Bedienung eines Touchscreens.

Die Erfindung geht von der Überlegung aus, dass bei der Bedienung eines Touchscreens z.B. in einem Fahrzeug die vom Fahrer beabsichtigte Fingerbewegung durch zufällige bzw. statistische Bewegungskomponenten überlagert wird, wobei hinsichtlich der Relativbewegung zwischen Fingerspitze und Touchscreen wenigstens vier Bewegungskomponenten unterschieden werden können: die vom Fahrer beabsichtigte Bewegung, d.h. Annäherung an den Touchscreen und Zeigen auf einen definierten Bereich bzw. Punkt (im Weiteren: "Komponente a"); eine "Brownsche Bewegung" in Form geringfügiger Bewegungen z.B. aufgrund des Umstandes, dass die Hand ausgestreckt und nicht in vollständig gleichbleibender Position gehalten werden kann oder da der Fahrer mit seiner anderen Hand das Lenkrad betätigt und mit der ausgestreckten Hand Ausgleichbewegungen durchführt (im Weiteren: "Komponente b"); zufällige bzw. statistische, geringfügige Bewegungen aufgrund von Vibrationen des Fahrzeuges und deren Auswirkung sowohl auf den

Touchscreen als auch auf den Fahrer (im Weiteren: "Komponente c"); und unbeabsichtigte größere Bewegungen aufgrund abrupter Lenk- oder Bremsvorgänge oder Fahrbahnunebenheiten (im Weiteren: "Komponente d").

Diese Komponenten der insgesamt stattfindenden Relativbewegung können in unterschiedlicher Weise gemessen werden und unterschiedliche Frequenzbereiche sowie unterschiedliche statistische Eigenschaften aufweisen.

Die beabsichtigte Bewegung (= Komponente a)) kann mittels einer "starken" Filterung extrahiert werden, da es sich hierbei um die durchschnittliche bzw. mittlere Bewegungskomponente handelt, um die herum die übrigen Bewegungskomponenten oszillieren. Allerdings treten bei einer herkömmlichen Filterung unter Verwendung eines langsamen Tiefpassfilters zur Eliminierung sämtlicher unerwünschter Bewegungskomponenten Verzögerungen auf, die für den Fahrer lästig sein können und die Anzeige sehr träge erscheinen lassen können.

Die Brownsche Bewegungskomponente (Komponente b)) ist aus der Positionsinformation ersichtlich, welche von dem Touchscreen (z.B. mittels Kameras oder einer anderen Sensortechnologie) erfasst wird. Die statistischen Eigenschaften dieser Brownschen Bewegungskomponente können mit einer Autokorrelation oder einer Kreuzkorrelation ermittelt werden, welche angibt, nach welcher Zeit die Korrelation des Positionssignals mit sich selbst verlorengeht (so dass ein entsprechender Tiefpassfilter die nicht korrelierten, schnelleren Beiträge eliminieren kann). Diese statistischen Eigenschaften sind im Allgemeinen vom Fahrer (z.B. der Muskelanspannung), aber auch von der Beschleunigung abhängig. Mittels einer Anpassung des Filters an die erfassten statistischen Eigenschaften erfolgt eine Anpassung der Filterung an den Fahrer, so dass die vorstehend beschriebenen Beeinträchtigungen vermieden werden können.

Die entsprechende Anpassung des Tiefpassfilters kann dadurch erfolgen, dass der Ausgangswert der Korrelationsberechnung mit einem geeigneten Skalierungsfaktor direkt als Filterkonstante verwendet wird. Dabei wird beispielsweise bei einem schwach autokorrelierten (d.h. in der Regel "sprunghafteren" Positionssignal) vorzugsweise ein schneller reagierender Filter verwendet als bei einem stärker autokorrelierten Signal, bei dem eine stärkere Filterung erfolgt. Vorzugsweise erfolgt - zumindest in dem Betriebsmodus, in dem das Positionssignal nicht "eingefroren" wird - stets eine Filterung mit angepasster Filterkonstante, so dass gleichzeitig eine optimale Unterdrückung der "Brownschen" Bewegungskomponente und eine optimale Reaktionsgeschwindigkeit der Eingabe erzielt wird. Alternativ kann die Anpassung der Filterkonstante nur allmählich sein, d.h., nur mit einer gewissen Verzögerung dem Korrelationssignal folgen. D.h., die Filterkonstante selbst wird wiederum einer zusätzlichen Tiefpassfilterung (diese vorzugsweise mit vorgegebener Filterkonstante) unterzogen, wodurch u.a. Störeffekte bei stark transienten Zuständen eliminiert werden können.

Als Alternative zu der vorbeschriebenen Modifikationen anhand der Korrelation oder Kreuzkorrelation kann die Filterkonstante auch anhand einer Auswertung der Signale eines Beschleunigungssensors modifiziert werden. Ein Parameter bei der Berechnung der Autokorrelation bzw. Kreuzkorrelation zeitabhängiger Funktionen stellt die jeweils betrachtete Zeitverschiebung zwischen den Funktionen dar. Für diese Zeitverschiebung kann der Wert null gewählt werden, oder es kann eine bestimmte Zeitverzögerung vorgegeben werden. Alternativ kann die Auto- oder Kreuzkorrelation auch anstelle einer Tiefpassfilterung direkt zur Bestimmung korrigierter Positionswerte benutzt werden, da mit der Anwendung der Korrelationsoperation auch eine Mittelwertbildung einhergeht. Die geringfügigen, stochastischen bzw. zufälligen Bewegungen (= Komponente c)) können mit Hilfe von Beschleunigungssensoren ermittelt werden, wie sie z.B. in Fahrzeugen sowie zahlreichen anderen, jeweils mit einem Touchscreen versehenen Vorrichtungen verfügbar sind. Die statistischen Eigenschaften des Beschleunigungs-signals können ausgewertet werden, um die Standardabweichung über kurze Zeitfenster zu ermitteln. Diese Information kann bei der nachfolgend beschriebenen Berücksichtigung bzw. Verarbeitung der vierten Bewegungskomponente verwendet werden. Zur meisten Zeit besteht keine Notwendigkeit zur Filterung der dritten Komponente (Komponente c)) mit einem speziell hierfür ausgelegten Filter, da die zwischen Beschleunigungssignal und Positionssignal erfolgende zweifache Integration i.d.R. sämtliche stochastischen Beiträge von hoher Frequenz eliminiert. Falls gleichwohl eine Filterung für diese dritte Bewegungskomponente (Komponente c)) erforderlich ist, kann eine Fourier-Transformation auf das Beschleunigungssignal angewendet werden, um denjenigen Frequenzbereich zu ermitteln, bei dem (abgesehen von dem Beitrag des Gleichgewichtszustandes) der größte Beitrag stattfindet. Dieser Frequenzbereich ist im Allgemeinen abhängig von der Fahrzeuggeschwindigkeit, dem Fahrbahntyp und ggf. (falls einstellbar bzw. verfügbar) der Einstellung der Aufhängung ("hart/sportlich" oder "weich/komfortabel"). Ein Notchfilter kann dazu verwendet werden, den entsprechenden Frequenzbereich aus der Positionsinformation der Fingerspitze zu eliminieren.

Die vierte Bewegungskomponente (= Komponente d)), welche die unbeabsichtigten Bewegungen aufgrund von Fahrbahnunebenheiten betrifft, kann dadurch ermittelt werden, dass das Signal des Beschleunigungssensors mit der zuvor ermittelten Standardabweichung verglichen wird. Wenn das Signal außerhalb eines Bereichs von z.B. ±3 Standardabweichungen liegt, hat eine Fahrbahnunebenheit oder abrupte Lenkbewegung eine signifikante Bewegung der Hand zur Folge. In diesem Falle erfolgt vorzugsweise für eine bestimmte Zeitdauer die Unterdrückung jeglicher Änderungen der Fingerspitzenposition. Die Dauer dieser Unterdrückung kann zeitbasiert sein und beispielsweise 500ms betragen. Alternativ kann die Dauer dieser Unterdrückung von Änderungen der Fingerspitzenposition auch anhand der Beschleunigung selbst ermittelt werden. So kann eine Wiederaufnahme der Positionsermittlung erfolgen, sobald die Beschleunigung sich für eine bestimmte Anzahl von Abtastmomenten in einem kleineren Bereich (z.B. ± 1 Standardabweichungen) befindet. Des Weiteren kann die Unterdrückung auch in Abhängigkeit von der Auswertung der Brownschen Bewegung erfolgen, wenn z.B. die Autokorrelation ihren ursprünglichen Wert wieder erreicht hat. Eine weitere Möglichkeit besteht in der Auswertung der Kreuzkorrelation zwischen der Beschleunigung und der Position, wobei die Positionsverfolgung wieder aufgenommen werden kann, wenn die Kreuzkorrelation eine ausreichende Entkopplung zwischen den beiden Signalen (d.h. eine geringe Kreuzkorrelation) zeigt.

Vorzugsweise wird die erfindungsgemäße Filterung nicht nur in zwei Dimensionen (d.h. für die x- und y-Richtung auf dem Touchscreen), sondern auch für die dritte Dimension bzw. Ortskoordinate oder Raumrichtung (z-Richtung), insbesondere die Annäherung an den Touchscreen, durchgeführt. Insbesondere kann der Fall eintreten, dass eine erstmalige tatsächliche Berührung des Touchscreens durch eine der drei vorstehend beschriebenen, unbeabsichtigten Bewegungskomponenten (Komponenten b)-d)) und nicht durch die beabsichtigte Bewegung (Komponente a) verursacht wird, so dass die mit der Berührung verbundene Aktion ebenfalls in ähnlicher Weise wie für die (x, y-Position) auf dem Touchscreen verzögert werden sollte.

Um den Fahrer zusätzlich bei der Manipulation bzw. Betätigung der auf dem Touchscreen gezeigten Symbole zu unterstützen, erfolgt vorzugsweise zusätzlich die Übermittlung eines Feedbacks, wenn die Berührung erkannt und akzeptiert wurde. Hierbei kann es sich um ein visuelles Feedback (beispielsweise durch Aufleuchten oder Farbveränderung des vom Fahrer berührten Symbols (z.B. Taste oder Schiebeschalter)) handeln. In weiteren Ausführungsformen kann auch ein haptisches Feedback (z.B. in Form einer Vibration der Oberfläche) oder ein akustisches Feedback übermittelt werden, welches angibt, dass die Berührung des Bildschirms erkannt wurde (wobei in diesem Falle keine Information über das betätigte Element übermittelt wird). In alternativen Ausführungsformen kann anstelle der vorstehend unter Bezugnahme auf die dritte und vierte Bewegungskomponente (Komponenten c) und d)) beschriebenen Beschleunigungsmessung eine Auswertung vergleichsweise großer, rascher Änderungen der Position der Fingerspitze erfolgen. Hierdurch wird der Umstand ausgenutzt, dass absichtliche Bewegungen vergleichsweise stetig bzw. allmählich erfolgen, wohingegen unbeabsichtigte Bewegungen relativ abrupt stattfinden. Dabei kann eine ähnliche Statistik wie im Zusammenhang mit dem Beschleunigungssignal beschrieben verwendet werden.

Im Weiteren wird ein möglicher Ablauf des erfindungsgemäßen Verfahrens unter Bezugnahme auf das in Fig. 1 gezeigte Flussdiagramm beschrieben.

Nach Start des Verfahrens (Schritt S10) erfolgt im Schritt S20 eine Initialisierung der Fingerspitzenposition aus einer gespeicherten Position. Im Schritt S30 erfolgt eine Ablesung des Beschleunigungssensors (d.h. des Beschleunigungssignals (a _x , a _y , a _z )).

Im Schritt S40 wird die Standardabweichung der Beschleunigung (sa _x , sa _y , sa _z ) über ein bestimmtes Zeitfenster ermittelt. Wenn gemäß Abfrage im nachfolgenden Schritt S50 wenigstens eine der Beschleunigungskomponenten betragsmäßig größer als das Produkt der jeweiligen Standardabweichung mit einem vorgegebenen Faktor ist, erfolgt eine "Einfrierung" der Fingerspitzenposition (Schritt S55) unter Rückkehr zu Schritt S30, d.h. einer erneuten Ablesung des Beschleunigungssensors. Anderenfalls erfolgt im Schritt S60 ein Ablesen der Fingerspitzenposition in den drei Raumrichtungen, d.h. der Koordinaten (x, y, z). Im nachfolgenden Schritt S70 erfolgt eine Autokorrelation der Fingerspitzenposition sowie eine Ermittlung der Zeitkonstanten für die Filterung. Anschließend erfolgt im Schritt S80 eine Filterung des Positionssignals unter Verwendung eines Tiefpassfilters bei Zugrundelegung der entsprechenden Filterkonstanten. Im Schritt S90 erfolgt eine Aktualisierung der Fingerspitzenposition im Speicher zur Verwendung bei der Touchscreen- Betätigung. Im Schritt S100 endet das Verfahren.