Berührungssensor aufweist, sowie entsprechende Vorrichtung

Beschreibung

Die Erfindung betrifft ein Verfahren zum Betreiben einer Vorrichtung, die eine

Benutzerschnittstelle mit einem Berührungssensor aufweist, gemäß dem Oberbegriff von Anspruch 1, sowie eine Vorrichtung mit einer Benutzerschnittstelle, die einen Berührungssensor aufweist, gemäß dem Oberbegriff von Anspruch 1 1.

Es gibt heutzutage eine Vielzahl rechnergestützt arbeitender Vorrichtungen mit einer

Benutzungsschnittstelle, die einen Berührungssensor aufweist. Bei der Vorrichtung kann es sich beispielsweise um einen stationären oder tragbaren Computer oder um eine computergestützt gesteuerte Maschine handeln. Ein Berührungssensor ist ein Eingabegerät, bei dem durch Berührung bestimmter Bereiche der Oberfläche ein Programmablauf der Vorrichtung gesteuert werden kann. Ein Berührungssensor kann mit einem Bildschirm kombiniert sein. Ein Berührungsbildschirm (touchscreen) kombiniert die elektronische Bilddarstellung eines Bildschirms mit einem

Berührungssensor. Ein Berührungsbildschirm ist daher ein kombiniertes Ein- und Ausgabegerät. Eine mit dem Berührungsbildschirm verbundene Steuerung erzeugt Bildinhalte des

Berührungsbildschirms und dient zum Empfangen und Verarbeiten von Eingabesignalen, die durch Berührung von Berührungsbereichen an der Oberfläche z.B. mittels Fingerdruck erzeugt werden.

Werden Befehlseingaben in Form von Buchstaben- und/oder Ziffernfolgen erwartet, ist die Steuerung in der Regel so konfiguriert, dass in mindestens einem Betriebsmodus an dem

Berührungsbildschirm eine virtuelle Tastatur mit einer Vielzahl virtueller Tasten erzeugt werden kann. Als "Tastatur" wird ein Eingabegerät bezeichnet, welches als Bedienelemente eine Anzahl von mit den Fingern zu drückenden Tasten enthält. Bekannt sind beispielsweise

Schreibmaschinentastaturen mit mechanischen Tasten, die sich beim Drücken bewegen und dadurch Eingabesignale auslösen. Eine„virtuelle Tastatur" hat„virtuelle Tasten". Virtuelle Tasten werden an einem Berührungsbildschirm in der Regel als tastenähnlich erscheinende Symbole (Soft- Tasten oder Icons) elektronisch erzeugt. Virtuelle Tasten können an einem Berührungssensor auch durch Aufdrucken, Aufzeichnen oder auf andere Weise erzeugt werden. Die Tastaturbelegung bzw. das Tastatur-Layout einer mechanischen oder virtuellen Tastatur beschreibt dabei sowohl die Codierung der einzelnen Tasten als auch deren Lage und Anzahl auf der Tastatur.

Es ist seit langem bekannt, dass die Texteingabe mittels einer virtuellen Tastatur auf einem

Berührungsbildschirm normalerweise ungenauer und stärker mit Fehlern behaftet bzw. langsamer ist als auf einer Hardware-Tastatur mit mechanischen Tasten. Im Unterschied zu mechanischen Tastaturen erhält der Benutzer hier kein haptisches Feedback über die Position der Finger auf der Tastatur, da die Kanten der Tasten nicht fühlbar sind und die Fingerstellung nicht ohne visuelle Kontrolle korrigiert werden kann. Schnelles Tippen nach dem Zehn-Finger- System wird dadurch schwierig und auch geübte Benutzer müssen während der Eingabe häufig auf die virtuellen Tasten schauen. Dadurch ergeben sich niedrigere Schreibgeschwindigkeiten bei der Texteingabe und höhere Fehlerraten.

Vor dem Hintergrund dieser Problematik wird in der WO 2012/048380 AI ein Verfahren beschrieben, nach welchem ein an die aufgelegten Finger angepasstes Tastatur-Layout ermittelt werden kann. Dazu wird ein Tastaturmodell erzeugt, in welchem„home keys" der einzelnen Finger sowie verknüpfte Tasten definiert werden. Bei einer englischen QWERTY-Tastaturbelegung oder einer deutschen QWERTZ-Tastaturbelegung stellen beispielsweise die Tasten A-S-D-F und J-K-L für einen versierten Tastaturbenutzer die home keys dar. Wird nun die Hand in der

Ausgangsstellung auf den Berührungsbildschirm aufgelegt und erkannt, bewegen sich die virtuellen Tasten an die entsprechenden Positionen der Fingerspitzen. Je nachdem, wie viele Finger aufgelegt werden, können unterschiedliche Tastatur- Layouts aufgerufen werden. Die virtuelle Tastatur passt sich somit durch Veränderung der Position der einzelnen virtuellen Tasten an die natürlichen Fingerpositionen des jeweiligen Benutzers an.

Die US 2009/023736 AI beschreibt eine andere Möglichkeit zur automatischen Anpassung des Tastatur-Layouts an die persönlichen Eigenheiten eines Benutzers. Der Benutzer legt dabei seine Hand so auf den Berührungsbildschirm, dass ein oder mehrere Finger und der Handballen die Oberfläche des Berührungsbildschirms berühren. Das Tastatur-Layout wird dann mindestens zum Teil anhand des Abstandes zwischen der detektierten Berührungsstelle des Handballens und den Positionen der Fingerberührung ermittelt und entsprechend an den Benutzer angepasst. In der Patentanmeldung US 2010/0259561 AI werden Verfahren beschrieben, die es ermöglichen, dass sich das Tastatur-Layout einer virtuellen Tastatur in einem Lernprozess an den jeweiligen Benutzer anpasst. Das Computersystem erkennt dabei das Tippmuster eines Benutzers und verändert daraufhin die Positionen, die Größen und/oder Orientierungen der virtuellen Tasten so, dass sich für den Benutzer ein bequemes Arbeiten ergibt, wodurch die Tippfehler reduziert werden sollen.

Die Patentanmeldung US 2011/0254772 AI beschreibt Verfahren zum Erkennen von Bewegungen einer oder mehrerer Berührungen im Bereich einer virtuellen Tastatur eines Berührungsbildschirms. Bei dem Verfahren werden gewisse Eigenschaften einer Berührung, wie z.B. die Intensität, die Größe der Kontaktfläche oder der Auflagewinkel genutzt, um Aktionen zusätzlich zur Texteingabe mit der virtuellen Tastatur ausfuhren zu können. Aus aufeinanderfolgenden Berührungen werden Gesten interpretiert. Diese können auch von einem Benutzer selbst erstellt werden und werden von dem System dann erkannt. Die Gestenerkennung erlaubt es unter anderem, zwischen Berührung mittels eines Fingers, eines Daumens oder einem Handballen zu unterscheiden. Das Tastatur- Layout wird bei diesem Verfahren nicht an den Benutzer angepasst.

Der Artikel„Personalized Input: Improving Ten-Finger Touchscreen Typing through Automatic Adaptation" von Findlater, L., und Wobbrock, J. O. in: Proc. CHI ' 12 (2012), ACM Press, 815-824 (im Folgenden kurz als„Findlater et al." bezeichnet) beschreibt ein Verfahren zur Anpassung einer virtuellen Tastatur eines Berührungsbildschirms an das Tippverhalten eines Benutzers. Die

Anpassung kann dabei für den Benutzer sichtbar oder nicht sichtbar erfolgen. Neben der Position der Berührungen auf dem Berührungsbildschirm werden zusätzlich geometrische Eigenschaften der Berührung wie Größe und Ausrichtung der Kontaktzone sowie Bewegung der Berührung während des Tastendrucks ausgewertet, um Tastendrücke einzelnen virtuellen Tasten zuzuordnen. Es konnte gezeigt werden, dass durch die individuelle Anpassung der virtuellen Tastatur an den Benutzer Steigerungen bei der Eingabegeschwindigkeit erzielt werden können.

Es ist eine Aufgabe der Erfindung, die Häufigkeit von Fehleingaben bei der Nutzung einer virtuellen Tastatur an Vorrichtungen, die eine Benutzerschnittstelle mit einem Berührungssensor aufweisen, zu vermindern. Zur Lösung dieser Aufgabe stellt die Erfindung ein Verfahren mit den Merkmalen von Anspruch 1 sowie eine Vorrichtung mit den Merkmalen von Anspruch 11 bereit.

Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben. Der Wortlaut sämtlicher Ansprüche wird durch Bezugnahme zum Inhalt der Beschreibung gemacht.

Bei dem Verfahren wird eine virtuelle Tastatur mit einer Vielzahl von virtuellen Tasten an dem Berührungssensor generiert. Wenn der Berührungssensor mit einem Bildschirm zu einem

Berührungsbildschirm kombiniert ist, werden die virtuellen Tasten in Form von elektronisch erzeugten Symbolen (icons) am Bildschirm erzeugt. Es ist auch möglich, virtuelle Tasten auf andere Weise zu erzeugen, z.B. durch optische Projektion auf eine Oberfläche des Berührungssensors oder in Form von permanenten, unveränderlichen virtuellen Tasten, die z.B. durch Aufdrucken oder Aufzeichnen oder Auflegen auf die Oberfläche des Berührungssensors erzeugt werden können. Ein Beispiel hierfür ist unter der Bezeichnung "Touch Cover" für Tablet-Computer der Firma Microsoft bekannt.

Jede virtuelle Taste hat eine vorgegebene Position und Form. Durch Erfassen des Tippverhaltens eines Benutzers aus einer Vielzahl von Tippaktionen des Benutzers an der virtuellen Tastatur werden benutzer-spezifische Berührungssensor-Daten ermittelt. Diese beinhalten Informationen über individuelle Eigenheiten des Benutzers bei der Tastaturnutzung, beispielsweise über die Art und Weise, wie bestimmte virtuelle Tasten vom Benutzer getroffen werden. Die benutzerspezifischen Berührungssensor-Daten werden dazu verwendet, ein benutzer-spezifisches

(personalisiertes) Tastaturmodell zu generieren. Das Tastaturmodell ist somit das Ergebnis eines Einlern Vorgangs. In Abhängigkeit von dem auf diese Weise generierten Tastaturmodell wird das Ansprechverhalten von virtuellen Tasten derselben virtuellen Tastatur oder einer anderen entsprechenden virtuellen Tastatur an den Benutzer bei der Benutzung angepasst. Das

Tastaturmodell wird also zur Klassifizierung von Tastendrücken beim Einsatz einer virtuellen Tastatur verwendet.

Der Verfahrensschritt der Zuordnung zwischen einer Tippaktion und der durch diese Tippaktion ausgelösten Eingabe, d.h. die Auswahl der als getippt angesehenen virtuellen Taste, wird als „Klassifizierung" bezeichnet. Durch die Klassifizierung wird ein Fingerdruck an einer bestimmten Stelle genau einer bestimmten Taste aus einer Vielzahl von virtuellen Tasten zugeordnet. Die hierfür genutzte Hardware und die dabei aktiven Programmbestandteile (Software) bilden den korrespondierenden„Klassifikator". Der Begriff "Tastaturmodell" ist ein alternativer Begriff für einen Klassifikator. Aufgabe des Tastaturmodells ist es z.B., einen Tastendruck als Eingabe eines bestimmten Buchstabens zu interpretieren. Der Begriff "Ansprechverhalten" bezieht sich auf das Klassifikationsergebnis bzw. auf die "Antwort" der virtuellen Tastatur auf einen Fingerdruck.

Bei der beanspruchten Erfindung werden bei der Ermittlung von benutzer-spezifischen

Tippverhalten-Daten für jeden Tastendruck eines Fingers sowohl Positionsdaten als auch

Fingerabdruckdaten ermittelt.

Der Begriff„Positionsdaten" bezeichnet Daten, die die Position der Kontaktzone eines Fingers mit der Oberfläche des Berührungsbildschirms bei einem Tastendruck repräsentieren.

Der Begriff„Fingerabdruckdaten" bezeichnet Daten, die ein Abbild des Berührungsbereichs zwischen Finger und Oberfläche des Berührungssensors bei einem Tastendruck mit Hilfe eines Fingers repräsentieren. Der durch das Abbild bzw. die Abbildung erfasste Berührungsbereich umfasst die unmittelbare Kontaktzone zwischen Finger und Oberfläche, kann aber auch

angrenzende Bereiche umfassen, in denen kein Berührungskontakt vorliegt. Der erfasste

Berührungsbereich kann z.B. rechteckig oder auf andere Weise polygonal sein. Das Abbild ist vorzugsweise zweidimensional, könnte in bestimmten Fällen aber auch eindimensional sein. Anstatt eines einzelnen Abbildes pro Tastendruck kann bei Bedarf der zeitliche Verlauf der

Fingerabdruckdaten, also eine Folge von mehreren Abbildern, ermittelt werden.

Der Begriff "Abbild" bezeichnet hierbei die im Berührungsbereich erfassten Rohdaten des

Berührungssensors sowie modifizierte Rohdaten, die aus den Rohdaten in der Weise abgeleitet werden, dass die in den Rohdaten enthaltene klassifizierungsrelevante Information im Wesentlichen erhalten bleibt. Bei einem optischen Berührungssensor können die erfassten Rohdaten z.B. die örtliche Verteilung von Lichtintensität im Bereich des Fingerabdrucks repräsentieren. Bei einem kapazitiven Berührungssensor können die erfassten Rohdaten die örtliche Verteilung der gemessenen Kapazität repräsentieren.

"Modifizierte Rohdaten" sind solche Daten, die diese Information im Wesentlichen unverfälscht ebenfalls enthalten, in der Regel aber mit reduzierter Datenmenge. Zu den modifizierten Rohdaten gehören insbesondere solche Daten, die von den Rohdaten durch Kompressionsverfahren (z.B. JPEG-Kompression), Filterung (z.B. Tiefpass) oder Verfahren zur Dimensionsreduktion (z.B. Hauptkomponentenanalyse oder Diskriminanzanalyse) abgeleitet sind. Modifizierte Rohdaten können aus den Rohdaten auch durch Kalibrierung oder Normierung abgeleitet werden.

Modifizierte Rohdaten im Sinne dieser Anmeldung sind zu unterscheiden von solchen Daten, die durch Auswertung von Rohdaten nach bestimmten, vorab definierten, sinnvoll erscheinenden Kriterien durch Merkmalsextraktion erzeugt werden. Bei manchen konventionellen Verfahren werden Rohdaten z.B. im Hinblick auf geometrische Kriterien wie relative Fingerspitzenposition oder relative Fingerabdruckzentrumsposition oder Bewegungsrichtung der Fingerspitze für einen Fingerdruck verarbeitet, bevor die nach vorab definierten Kriterien verarbeiteten Daten zum Trainieren eines Klassifikators genutzt bzw. klassifiziert werden. Nach den Erkenntnissen der Erfinder können solche dem Menschen plausibel erscheinenden Merkmalsextraktionen jedoch zu einem Verlust von klassifizierungsrelevanter Information führen, die in den Rohdaten oder den modifizierten Rohdaten noch enthalten ist. Die beanspruchte Erfindung vermeidet solche

Informationsverluste weitgehend, indem Fingerabdruckdaten in Form von Rohdaten oder modifizierten Rohdaten unmittelbar zur Erzeugung des Tastaturmodells genutzt werden.

Die Fingerabdruckdaten werden einem Klassifikator ohne weitere Vorbearbeitung zugeführt. Somit steht die volle in einem Fingerabdruck liegende primäre Information unverfälscht für die

Klassifikation zur Verfügung.

Die beanspruchte Erfindung beruht unter anderem auf der Erkenntnis, dass im Allgemeinen nicht im Voraus bestimmt werden kann, welche konkrete Information zum besseren Unterscheiden der Fingerabdrücke führt. Der Lernalgorithmus trennt die Daten anhand der in den Rohdaten oder modifizierten Rohdaten gegebenen Information. Die Kriterien der Trennung müssen nicht immer einer beschreibbaren Eigenschaft (z.B. Größe oder Orientierung eines als elliptisch angenommenen Fingerabdrucks etc.) entsprechen. Insoweit arbeitet die Klassifizierung ähnlich wie die menschliche Informationsverarbeitung. Auch hier können nicht immer klare Kriterien angegeben werden, nach denen ein Mensch Objekte unterscheidet.

Vorzugsweise werden auch bei der Anpassung des Ansprechverhaltens der Tastatur im

bestimmungsgemäßen Gebrauch für jeden Tastendruck eines Fingers sowohl Fingerabdruckdaten als auch Positionsdaten ermittelt und mit Hilfe des Tastaturmodells ausgewertet. Das Tastaturmodell könnte sich so auswirken, dass sich das sichtbare Tastaturlayout infolge der Anpassung ändert. Es wird aber als vorteilhaft angesehen, wenn die Anpassung der virtuellen Tastatur an den individuellen Benutzer für den Benutzer unmerklich erfolgt. Bei einer bevorzugten Ausführungsform bleibt das Erscheinungsbild der virtuellen Tastatur, d.h. das sichtbare Tastatur- Layout, unverändert, so dass sich der Benutzer bei Bedarf an den sichtbaren Positionen der virtuellen Tasten orientieren kann. Die virtuelle Tastatur wird durch die Anpassung des

Ansprechverhaltens auf Basis des Tastaturmodells automatisch dafür sorgen, dass die Häufigkeit von Fehleingaben im Vergleich zu Verfahren ohne Nutzung des Tastaturmodells signifikant reduziert wird. Es wird somit eine Verbesserung der Genauigkeit bei der Klassifizierung der Tasten erreicht.

Ein derartiges Verfahren unterscheidet sich von bekannten Verfahren, welche die Tastaturgröße der wahrscheinlich als nächstes zu drückenden Taste mit Hilfe eines Sprachmodells anpassen, dadurch, dass die Anpassung des Ansprechverhaltens der virtuellen Tastatur unabhängig vom Sinngehalt der durch die Tastatureingaben repräsentierten Information erfolgt. Ein Unterschied zu Verfahren, bei denen durch Auflegen von Fingern oder anderen Handteilen auf den Berührungsbildschirm ein in der Form angepasstes Tastatur-Layout erzeugt wird, liegt darin, dass die virtuelle Tastatur keine für den Benutzer sichtbare Veränderung zeigen muss. Ähnlich wie eine Hardware-Tastatur kann die virtuelle Tastatur ein zeitlich unverändertes Erscheinungsbild haben, so dass sich ein Benutzer in einer von mechanischen Tastaturen gewohnten Arbeitssituation befindet. Dadurch wird der Benutzer nicht abgelenkt und es wird vermieden, dass sich der Benutzer an ein geändertes Tastatur- Layout anpasst. In gewissem Umfang kann dadurch vermieden werden, dass das Schreibverhalten des Benutzers sich allmählich verschlechtert. Ähnliche Vorteile ergeben sich auch gegenüber bekannten Verfahren, bei denen die Position und/oder Größe einzelner Tasten an die Tippposition des Benutzers angepasst wird.

Bei bevorzugten Ausführungsformen werden die Positionsdaten aus den Berührungssensor-Daten abgeleitet. Beispielsweise kann der geometrische Schwerpunkt eines Fingerabdrucks oder ein nach bestimmten Kriterien gewichteter Schwerpunkt eines Fingerabdrucks als Position des zugehörigen Tastendrucks ermittelt und weiterverarbeitet werden.

Es hat sich für die Klassifizierung der Positionsdaten als vorteilhaft herausgestellt, die

benutzerspezifische Verteilung von Tastendrücken aus einer Vielzahl von vorherigen

Tastendrücken durch eine zweidimensionale Normalverteilung (bivariate Gaussian function) zu modellieren. Für neue Tastendrücke können diese Normalverteilungen ausgewertet werden, um Wahrscheinlichkeiten für die einzelnen Tasten zu berechnen.

Für die Verarbeitung der Fingerabdruckdaten können unterschiedliche Klassifikationsverfahren genutzt werden, die in der Lage sind, die in den Fingerabdruckdaten codierte Information zu klassifizieren und somit einen bestimmten Tastendruck der mit der höchsten Wahrscheinlichkeit gemeinten virtuellen Taste zuordnen. Bei einer Verfahrens Variante wird zur Klassifizierung der Fingerabdruckdaten eine„Support Vector Machine" (SVM) genutzt. Dabei handelt es sich im Kern um einen Algorithmus zur Mustererkennung, welcher in einem Computerprogramm umgesetzt werden kann und in der Lage ist, die erfassten Fingerdrücke anhand der Finger abdruckdaten zuverlässig in unterschiedliche Klassen bzw. zu unterschiedlichen virtuellen Tasten zuzuordnen. Auch andere Klassifizierungsalgorithmen sind nutzbar, z.B. Neuronale Netze oder Klassifikation mit Gauss'schen Prozessen oder Logistische Regression.

Alternativ zu zwei separaten Klassifikationsverfahren für Positions- und Fingerabdruckdaten können diese beiden Informationen auch kombiniert in einem Klassifikationsverfahren verwendet werden.

Die Nutzung von Fingerabdruckdaten setzt voraus, dass der Berührungssensor so konfiguriert ist, dass innerhalb der typischen Größe Kontaktzone eines Fingers mit der Oberfläche eine Vielzahl von Messpunkten für eine durch Fingerdruck bzw. Fingerkontakt veränderbare physikalische Größe existiert, so dass ein Abbild des Berührungsbereichs unter Verwendung der ortsaufgelöst erfassten Messwerte der Messgröße erzeugt werden kann. Der Begriff "Messpunkt" bezeichnet hier ein Messareal kleiner Ausdehnung, welches nicht im mathematischen Sinne punktförmig ist. Die Ausdehnung eines Messpunkts kann z.B. im Zehntelmillimeterbereich oder darunter liegen.

Bei manchen Ausfuhrungsformen ist der Berührungssensor ein optischer Berührungssensor, bei dem Veränderungen der Sensoreigenschaften im jeweiligen Berührungsbereich ortsaufgelöst optisch mittels eines zweidimensionalen Bildes aus Bildelementen (Pixeln) erfasst werden können. Es kann sich beispielsweise um ein Graustufenbild handeln, bei welchem Messpunkte, die beim Tastendruck einem stärkeren Druck ausgesetzt waren, im rechnergestützt verarbeitbaren Abbild eine andere Graustufe erhalten als schwächer druckbelastete Messpunkte. Mit einem optischen Berührungssensor kann ggf. auch ein Schattenwurf in unmittelbarer Nähe zur Kontaktzone erfasst werden. Es ist auch möglich, das Verfahren bei Verwendung eines kapazitiven Berührungssensors zu nutzen, dessen örtliches Auflösungsvermögen so groß ist, dass innerhalb der typischen Größe eines Fingerabdrucks mehrere Messpunkte liegen, deren Kapazität unabhängig von der Kapazität benachbarter Messpunkte bestimmt werden kann. Die Messpunkte eines kapazitiven

Berührungssensors werden z.B. durch Kreuzungspunkte von senkrecht zueinander in zwei versetzten Ebenen verlaufenden Leiterbahnen gebildet, die an jedem Kreuzungspunkt eine lokale Kapazität bilden, deren Größe sich bei Druckbelastung und/oder Fingerberührung ändert.

Vorzugsweise sollte die räumliche Dichte von Messpunkten bzw. in einer oder mehreren quer zueinander parallel zur Oberfläche des Berührungssensors verlaufenden Richtungen mindestens 0.5/mm betragen, insbesondere 1/mm oder mehr. Dadurch ist eine ausreichend gute Ortsauflösung erzielbar.

Die Funktion des Tastaturmodells kann bei manchen Ausführungsformen so beschrieben werden, dass jeder virtuellen Taste ein durch Bereichsgrenzen definierter aktiver Bereich zugeordnet wird, der für eine oder mehrere virtuelle Tasten eine andere Position und/oder Form hat als die am Berührungssensor sichtbare Fläche der virtuellen Taste.

Der aktive Bereich ist in der Regel größer als die sichtbare Fläche der virtuellen Taste, so dass auch noch Tippaktionen richtig zugeordnet (klassifiziert) werden, die am Rand der sichtbaren virtuellen Taste oder sogar außerhalb der sichtbaren Fläche der virtuellen Taste liegen. Alternativ oder zusätzlich kann der aktive Bereich gegenüber der sichtbaren Fläche der virtuellen Taste in einer bestimmten Richtung lateral verlagert sein, was beispielsweise dann der Fall sein kann, wenn ein Benutzer regelmäßig in einer bestimmten Richtung neben die richtige Position der Taste tippt. Typischerweise haben die aktiven Bereiche jeweils eine irreguläre Form, sind also insbesondere weder kreisförmig noch rechteckförmig. Form und Größe der beim Tastendrücken jeweils wirksamen aktiven Bereiche sowie deren Lage werden unter Verwendung des benutzer-spezifische Tastaturmodells dynamisch bestimmt. Die Erzeugung derartiger aktiver Bereiche erlaubt eine fehlerfreie Eingabe auch bei sehr unpräzisen Tastendrücken, wobei ggf. die durch einen

Tastendruck gewünschte Eingabe auch dann erfolgt, wenn die zugeordnete Taste beim Tippen verfehlt wird. Die Klassifizierung unter Verwendung von Fingerabdruckdaten bietet Vorteile, die über die korrekte Zuordnung von Tastendrücken zu bestimmten virtuellen Tasten hinausgehen. Bei einer Ausführungsform wird ein Benutzer-Klassifikator generiert, der eine Benutzer-Klassifikation in der Weise durchführt, dass ein Tastendruck auf Basis der Fingerabdruckdaten einem bestimmten Benutzer zugewiesen wird. Dann können weitere Aktionen der Vorrichtung in Abhängigkeit vom Ergebnis der Benutzer-Klassifikation gesteuert werden. Beispielsweise kann eine

Eingabeaufforderung zur Eingabe eines Passworts generiert werden und die darauf folgenden Tastendrücke werden unter Verwendung des Benutzer-Klassifikators nicht nur darauf analysiert, ob das erwartete Passwort (z.B. eine vorab definierte und gespeicherte Abfolge von Buchstaben, Ziffern und/oder Zeichen) eingegeben wird, sondern zusätzlich auch darauf, ob das richtige bzw. das erwartete Passwort von einem autorisierten Benutzer eingegeben wird. Die

Sicherheitseinstellungen können so eingerichtet sein, dass eine Freigabe bestimmter oder aller weiteren Aktionen der Vorrichtung nur dann erfolgt, wenn das richtige Passwort von einem autorisierten Benutzer eingegeben wird.

Die Erfindung betrifft auch eine Vorrichtung mit einer Benutzerschnittstelle, die einen

Berührungssensor aufweist. Die Vorrichtung ist zur Durchführung des Verfahrens bei der

Generierung des Tastaturmodells und/oder bei der bestimmungsgemäßen Nutzung unter

Verwendung eines bereits generierten Tastaturmodells konfiguriert.

Gemäß einer Formulierung hat die Vorrichtung eine Benutzerschnittstelle, die einen

Berührungssensor aufweist, der innerhalb einer typischen Größe einer Kontaktzone eines Fingers mit der Oberfläche des Berührungssensors eine Vielzahl von Messpunkten für eine durch

Fingerdruck und/oder Fingerkontakt und/oder Annäherung des Fingers an die Oberfläche veränderbare physikalische Größe aufweist, so dass Berührungssensor-Daten unter Verwendung der ortsaufgelöst erfassten Messwerte der Messgröße generierbar sind. Eine mit dem Berührungssensor verbundene Steuerung ist zum Empfangen und Verarbeiten von Berührungssensor-Daten konfiguriert, die durch Berührung von Berührungsbereichen an der Oberfläche des

Berührungssensors erzeugt werden. Die Vorrichtung ist so konfiguriert, dass in mindestens einem Betriebsmodus an dem Berührungssensor eine virtuelle Tastatur mit einer Vielzahl virtueller Tasten erzeugt werden kann. In diesem Betriebsmodus werden bei der Ermittlung von Berührungssensor- Daten für jeden Tastendruck eines Fingers die oben erläuterten„Positionsdaten" und

„Fingerabdruckdaten" ermittelt. Die die Positionsdaten und Fingerabdruckdaten werden mit einem benutzer-spezifischen Tastaturmodell klassifiziert, wobei jeder der virtuellen Tasten unter Verwendung des benutzer-spezifischen Tastaturmodells ein aktiver Bereich des Berührungssensors zugeordnet wird, der für eine oder mehrere der virtuellen Tasten eine andere Position und/oder Form hat als die am Berührungssensor sichtbare Fläche der virtuellen Taste, wobei eine Berührung an einer Berührungsposition innerhalb eines aktiven Bereichs als Berührung der zugeordneten virtuellen Taste interpretiert und verarbeitet wird.

Die Erfindung kann an unterschiedlichen Vorrichtungen mit Berührungssensor und entsprechender Steuerung umgesetzt werden. Die Fähigkeit zur Ausführung von Ausführungsformen der Erfindung kann in Form zusätzlicher Programmteile oder Programmmodule in die Steuerungssoftware derartiger Steuerungen implementiert werden.

Daher betrifft ein weiterer Aspekt der vorliegenden Erfindung ein Computerprogrammprodukt, welches insbesondere auf einem computerlesbaren Medium gespeichert oder als Signal verwirklicht ist, wobei das Computerprogrammprodukt, wenn es in den Speicher eines geeigneten Computers geladen und von einem Computer ausgeführt ist bewirkt, dass die durch den Computer gesteuerte Vorrichtung ein Verfahren gemäß der Erfindung bzw. einer bevorzugten Ausführungsform hiervon durchführt.

Es ist damit z.B. möglich, das Tastaturmodell an einer ersten Vorrichtung zu erstellen, zu speichern und mithilfe eines Computerprogrammproduktes auf eine zweite Vorrichtung zu übertragen und dort zu implementieren.

Diese und weitere Merkmale gehen außer aus den Ansprüchen auch aus der Beschreibung und den Zeichnungen hervor, wobei die einzelnen Merkmale jeweils für sich allein oder zu mehreren in Form von Unterkombinationen bei einer Ausfuhrungsform der Erfindung und auf anderen Gebieten verwirklicht sein und vorteilhafte sowie für sich schutzfähige Ausführungen darstellen können. Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden im Folgenden näher erläutert.

Fig. 1 zeigt schematisch Komponenten einer Ausführungsform einer Vorrichtung, die eine

Benutzerschnittstelle mit einem optischen Berührungssensor aufweist;

Fig. 2 zeigt in 2A bis 2D Graustufenbilder verschiedener Fingerabdrücke eines bestimmten

Benutzers für unterschiedliche Tastendrücke beim Schreiben der Wortes„BANK"; Fig. 3 zeigt in 3 A zweidimensionale Normalveiteilungsfunktionen von Tastendrücken eines bestimmten Benutzers auf der virtuellen Tastatur zur Ermittlung eines Positionsmodells und in 3B die auf Basis des Positionsmodells ermittelten aktiven Bereiche der virtuellen Tasten;

Fig. 4 zeigt in 4A bis 4D den der Effekt der Anwendung eines Tastaturmodells, das auf einer

Kombination eines Positionsklassifikators und eines Fingerabdruck-Klassifikators beruht, auf die Form und Lage der aktiven Bereiche beim Schreiben der Wortes„BANK"; und

Fig. 5 zeigt ein Diagramm mit einem Vergleich von Fehlerraten, die mit unterschiedlichen

Tastaturmodellen erzielt wurden.

Ausführungsbeispiele

Im Folgenden werden Aspekte der Erfindung am Beispiel eines optischen Berührungssensors beschrieben, der in Kombination mit einem Bildschirm einen optischen Berührungsbildschirm (touchscreen) bildet.

Wesentliche Aspekte der Ausführungsbeispiele beruhen auf den folgenden Überlegungen. Virtuelle Tastaturen bieten im Vergleich zu mechanischen Tastaturen den Vorteil, dass sie zur Laufzeit, also während der Benutzung durch einen Benutzer (User) angepasst werden können. Um die

Texteingabe auf Berührungsbildschirmen (Touchscreens) zu verbessern, sollte sich das

Ansprechverhalten der virtuellen Tastatur dem Tippverhalten des Benutzers anpassen. Die erfassten Eingabedaten mancher Berührungsbildschirme sind im Unterschied zu einer regulären Tastatur, welche aus diskreten Schaltern besteht, sehr viel komplexer. So kann nicht nur die gedrückte Taste ermittelt werden, sondern auch die genaue Position des Tastendrucks. Wird beispielsweise zwischen zwei Tasten gedrückt, können zusätzliche Informationen ausgewertet werden, um die vom Benutzer gewünschte Taste zu ermitteln.

Neben der genauen Position des Berührungsbereiches auf dem Berührungssensor können moderne Berührungssensoren sehr viel mehr Informationen über jeden Berührungspunkt erfassen. Im Falle mancher optischer Berührungssensoren, wie z.B. dem„Microsoft Surface" oder„Samsung

SUR40", kann ein komplettes Graustufenbild der Oberfläche im infraroten Lichtspektrum erfasst werden. Für jede Berührung auf dem Berührungssensor kann ein Abbild des Helligkeitsverlaufs in zwei Dimensionen erfasst werden.

Bei der Texteingabe mit Tastaturen verwenden geübte Benutzer unterschiedliche Finger für unterschiedliche Tasten. Selbst wenn derselbe Finger für eine andere Taste verwendet wird, unterscheiden sich z.B. der Auflagewinkel und evtl. die Druckstärke auf dem

Berührungsbildschirm. Diese Informationen können aus den vom Berührungsbildschirm gelieferten Messwerten bzw. den entsprechenden Rohdaten abgeleitet werden. Die Unterschiede spiegeln sich in den Rohdaten wieder.

Im Folgenden wird beispielhaft dargestellt, auf welche Weise es möglich ist, eine virtuelle Tastatur bereitzustellen, die nicht nur lernt, wo, sondern auch wie ein bestimmter Benutzer die

unterschiedlichen virtuellen Tasten drückt. Dazu werden Algorithmen des maschinellen Lernens verwendet, um ein auf den Benutzer angepasstes (also benutzer-spezifisches bzw. personalisiertes) Tastaturmodell zu berechnen. Die Anpassung der Tastatur an den Benutzer geschieht hier für den Benutzer unsichtbar, um den Benutzer nicht abzulenken und zu vermeiden, dass der Benutzer sein Tippverhalten durch ein sichtbar geändertes Tastaturlayout verändert.

Ein Verfahrensschritt dient dazu, benutzer-spezifische Berührungssensor-Daten durch Erfassen des Tippverhaltens eines Benutzers aus einer Vielzahl von Tippaktionen des Benutzers an der virtuellen Tastatur zu ermitteln. Dieser Einlernvorgang bzw. Trainingsvorgang findet üblicherweise mindestens zum Teil, ggf. auch vollständig, vor der eigentlichen Nutzungsphase statt. Der

Trainingsvorgang kann sich aber auch in die Phase der normalen Nutzung erstrecken, so dass das Tastaturmodell während des bestimmungsgemäßen Gebrauchs erstellt oder verfeinert bzw.

optimiert werden kann. Der Einlernvorgang kann an demselben Berührungssensor durchgeführt werden, an dem auch die spätere bestimmungsgemäße Nutzung erfolgt. Es kann sich auch um einen anderen Berührungssensor handeln, z.B. um eine im Wesentlichen baugleiche, bauähnliche oder funktionsgleiche Variante. Das trainierte Tastaturmodell kann als Computerprogrammprodukt vorliegen, so dass eine Übertragung von einer Vorrichtung zu einer anderen Vorrichtung möglich ist.

Um ein an den jeweiligen Benutzer angepasstes Tastaturmodell zu ermitteln, wurde dass

Tippverhalten von zwölf Testpersonen aufgezeichnet. Jeder Benutzer musste einen vorgegebenen Text tippen. Dadurch war es möglich, eine„perfekte" Tastatur zu simulieren, indem bei ungenauen Eingaben trotzdem der richtige Buchstabe (d.h. derjenige Buchstabe, der in dem vorgegebenen Text als nächstes folgen sollte) als Eingabe gewählt wurde. Auf Basis der Eingaben wurde für jeden Benutzer ein benutzer-spezifisches Tastaturmodell ermittelt bzw. entwickelt.

Die Daten wurden mit einem optischen Berührungsbildschirm aufgezeichnet. Fig. 1 zeigt einen schematischen Schnitt durch den mit einem optischen Berührungssensor 100 ausgestatteten Berührungsbildschirm im Bereich der an dem Bildschirm angezeigten virtuellen Tastatur 150. Eine verwindungssteife planparallele Acrylglasscheibe 102 trägt an ihrer ebenen Oberseite eine dünne Projektionsfolie 104, deren freie Oberfläche 106 die vom Benutzer zu berührende Oberfläche des Berührungssensors des Berührungsbildschirms bildet. Mit Abstand hinter der gegenüberliegenden Rückseite ist eine infrarotempfindliche Kamera (IR-Kamera) 120 angeordnet. Infrarotlampen 122 dienen zur gleichmäßigen Beleuchtung der Acrylglasscheibe.

Die virtuellen Tasten 140 der virtuellen Tastatur 150 wurden auf diesem Berührungsbildschirm dargestellt. Das Layout der Tastatur entsprach einer Standard-QWERTY-Tastatur mit im

Wesentlichen quadratischen Tasten mit ca. 19 mm Kantenlänge. Die virtuelle Tastatur wurde durch ein Computerprogramm erzeugt und mit Hilfe eines Projektors 170 innerhalb des Pults von der Rückseite an die Oberfläche des Berührungsbildschirms projiziert.

Der optische Berührungssensor arbeitet nach dem Prinzip der frustrierten inneren Totalreflexion (FTIR). Im Bereich des Fingerabdrucks, bzw. im Bereich der Kontaktzone zwischen Finger und Oberfläche beim Tastendruck, wird die innere Totalreflexion an der Oberfläche der

Acrylglasscheibe gestört und es entsteht Streulicht 128, welches von der IR-Kamera 120 ortsaufgelöst erfasst wird. Die Intensität des Streulichts - repräsentiert durch die Länge der Pfeile - ist u.a. abhängig vom lokal wirksamen Anpressdruck, so dass sich im mittleren Bereich höheren Anpressdrucks eine höhere Streulichtintensität (längere Pfeile) ergibt als im Randbereich leichteren Anpressdrucks (kürzere Pfeile).

Die infrarotempfindliche Kamera war so angeordnet, dass sie in ihrem Bildfeld die Oberfläche im Bereich der gesamten virtuellen Tastatur von hinten erfasste. Zu jeder Berührung wurde nicht nur die Position, sondern auch ein zweidimensionales Graustufenbild des Berührungsbereichs festgehalten, in welchem die Kontaktzone bzw. Berührungsfläche 132 des Fingers 130 auf der Oberfläche liegt. Die Kamera hatte eine Auflösung von 640 * 480 Pixeln bei 60 Bildern pro Sekunde. Die Bildauswertung war so eingerichtet, dass für jeden Fingerabdruck ein rechteckiges Graustufenbild des Berührungsbereichs mit 42 * 42 Pixeln um ein Berührungszentrum im Bereich der Kontaktzone erfasst wurde.

Die Fig. 2A bis 2D zeigen Graustufenbilder verschiedener Fingerabdrücke eines bestimmten Benutzers an unterschiedlichen virtuellen Tasten beim Schreiben der Wortes„BANK". Dabei entspricht das Graustufenbild in Fig. 2A dem Buchstaben„B", Fig. 2B repräsentiert den Buchstaben „A", Fig. 2C repräsentiert den Buchstaben„N" und Fig. 2D repräsentiert den Buchstaben„K".

Die komplette Information der verschiedenen Tastendrücke jeder Sitzung in der Trainingsphase wurde in einer xml-Datei zusammen mit den aus der Bildverarbeitung erhaltenen

Fingerabdruckdaten gespeichert. Die Information umfasste die Position und einen Zeitstempel für jede Berührung sowie eine Referenz auf die zugehörige Fingerabdruck-Datei. Mit diesen Rohdaten wurde ein in einem Rechner implementierter Lernalgorithmus trainiert, der für jeden Benutzer ein individuelles Tastaturmodell erzeugte.

Wichtig ist hierbei u.a., dass diese vom Berührungssensor bereitgestellten Berührurigssensor-Daten in Form von Rohdaten ohne vorherige Analyse auf bestimmte Merkmale, z.B. geometrische Merkmale wie Form des Fingerabdrucks, Ausrichtung des Fingerabdrucks etc., unmittelbar zum Trainieren (Einlernen) des Klassifikators genutzt wurden.

Bei einer Ausfuhrungsform wurde zur Ermittlung eines benutzer-spezifischen Tastaturmodells eine Kombination aus zwei Klassifikatoren genutzt, um eine mit hoher Wahrscheinlichkeit zutreffende Zuordnung zwischen einem bestimmten Tastendruck eines Benutzers und der durch diesen

Tastendruck wahrscheinlich gemeinten virtuellen Taste zu erzielen. Neben einem Positions- Klassifikator, der Positionsdaten verarbeitet und zur Klassifikation nutzt, wurde ein bildbasierter Fingerabdruck-Klassifikator genutzt, der zur Klassifizierung von Tastendrücken die aus den Fingerabdrücken abgeleitete Bildinformation (Fingerabdruck-Daten) berücksichtigt.

Die Position eines Fingerabdrucks beziehungsweise eines Tastendrucks ist für die

Tastenklassifikation ein wichtiges Merkmal und sollte geeignet in ein Tastaturmodell abgebildet werden, um wirklich nützlich zu sein. Ein Ansatz, der lediglich auf den Grenzen der am Bildschirm sichtbaren Tastaturen beruhen würde, bringt nach Erfahrung der Erfinder nur mäßige Ergebnisse, da Tasten häufig nicht präzise getroffen werden und die tatsächlichen Berührungspositionen einer Taste häufig vom tatsächlichen Zentrum der virtuellen Taste abweichen. Es wurde herausgefunden, dass die räumliche Verteilung der verschiedenen, einer bestimmten Taste zugedachten Tastendrücke einer Person häufig mit einer zweidimensionalen Normalverteilung (bivariate normal distribution) gut beschrieben werden kann. Solche zweidimensionalen

Normalverteilungen wurden bei der Ermittlung eines Positionsmodells verwendet. Fig. 3 A zeigt die Normalverteilungsfunktionen von Tastendrücken eines bestimmten Benutzers auf der virtuellen Tastatur. Es ist erkennbar, dass die lokalen Verteilungsfunktionen nicht bei allen virtuellen Tasten symmetrisch sind und das einige Tasten statistisch betrachtet wesentlich präziser getroffen werden (steilere Verteilung) als andere Tasten (flachere Verteilung). Für die weitere Datenverarbeitung bieten zweidimensionale Normalverteilungen den Vorteil, dass sie natürlicherweise

Wahrscheinlichkeitswerte für eine Klassifikation darstellen. Dies ist besonders vorteilhaft, wenn die Ergebnisse der Positionsklassifikation mit einer Klassifikation nach anderen Kriterien

(Fingerabdruck-Daten) kombiniert werden soll.

Auf Basis der zweidimensionalen Normalverteilungen kann jeder Taste ein aktiver Bereich zugeordnet werden, welcher demjenigen räumlich begrenzten Bereich um eine virtuelle Taste entspricht, in dem ein Tastendruck der jeweiligen Taste auf Basis des Positionsmodells zugeordnet wird. Fig. 3B zeigt in schematischer Darstellung das komplette rechteckförmige Tastaturfeld, welches in irregulär geformte aktive Bereiche (z.B. aktive Bereiche 301 bis 304) unterteilt ist. Direkt benachbarte aktive Bereiche grenzen unmittelbar, d.h. ohne Zwischenräume, aneinander an, so dass es im Rechteckbereich der virtuellen Tastatur keine Stellen ohne eindeutige Zuordnung zu einer virtuellen Taste gibt. In der Tendenz erhalten diejenigen virtuellen Tasten, die vom jeweiligen Benutzer mit hoher Wiederholgenauigkeit präzise getroffen werden, ein relativ kleinen aktiven Bereich, während solche virtuellen Tasten, die mit weniger Präzision und größerer Streuung bei den einzelnen Tastendrücken getroffen werden, einen größeren aktiven Bereich erhalten.

Bei der Ausführungsform wurde als bildbasierter Fingerabdruck-Klassifikator eine so genannte „Support Vector Machine" (SVM) verwendet. Eine SVM ist ein Klassifikator, welcher eine Menge von Objekten so in Klassen unterteilt, dass um die Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt. Eine SVM gehören daher zur Klasse so genannter„Large Margin Classifiers". Ausgangspunkt ist eine Menge von Trainingsobjekten, für die jeweils bekannt ist, zu welcher Klasse sie gehören. Im vorliegenden Fall sind die Trainingsobjekte durch die Tastendrücke beim Einlernen gegeben, während die virtuellen Tasten die Klassen bilden, denen die Tastendrücke zugeordnet werden sollen. Jedes Objekt wird durch einen Vektor in einen Vektorraum repräsentiert. Die SVM arbeitet so, dass sie in diesem Raum eine Hyperebene einpasst, die als Trennfläche fungiert und die Trainingsobjekte in zwei Klassen einteilt, wobei der Abstand derjenigen Vektoren, die der Hyperebene am nächsten liegen, maximiert wird. Durch diesen breiten Rand um die Klassengrenzen kann erreicht werden, dass auch die Tastendrücke, die nicht genau den beim Training erfassten Objekten (Tastendrücken) entsprechen, möglichst zuverlässig klassifiziert (zugeordnet) werden.

Zur Kombination der Klassifikatoren (Positions-Klassifikator und Fingerabdruck- Klassifikator) wurden Entscheidungswahrscheinlichkeiten für einen Tastenanschlag x für jede Klasse berechnet. Für die Positionsdaten x _pos kann die Wahrscheinlichkeit einer Entscheidung für eine bestimmte Taste direkt aus den Normalverteilungsfunktionen erhalten werden als:

Wobei f die normale Dichtefunktion mit Parametern μ und σ der Taste k bei der Koordinate x _pos ist und K die Gesamtanzahl der Tasten repräsentiert.

Für die bildbasierte "Support Vector Machine" wurden Wahrscheinlichkeiten berechnet gemäß dem Artikel J.C.Platt:„Probabilistic Outputs for support vector machines and comparisons to regularized likelihood methods" in: Advanced in Large Margin Classifiers, Seiten 61 to 74, MIT press, 1999. Diese Methode ist bereits in die Matlab-Toolbox libSVM integriert. Die Klasse c mit der höchsten multiplizierten Wahrscheinlichkeit wird als resultierende Entscheidung genommen: arg max( P _pos (A: |Xp _OS ) * P _img (k \x _img ))

wobei Xjmg die Fingerabdruckdaten eines Tastenanschlags x repräsentieren.

Anhand der Figuren 4A bis 4D wird der Effekt der Anwendung einer Kombination dieser beiden Klassifikatoren auf das Tastaturmodell bzw. die damit erzeugbaren aktiven Bereiche erläutert. Wie bereits erwähnt, wird auf Basis des Tastaturmodells jeder virtuellen Taste ein durch Bereichs grenzen definierter aktiver Bereich zugeordnet, wobei die aktiven Bereiche der jeweiligen Tasten in der Regel jeweils eine andere Form und/oder Position haben als die am

Berührungsbildschirm sichtbare Fläche der virtuellen Taste. Fig. 3B zeigt hierzu beispielhaft eine Verteilung von aktiven Bereichen, die ausschließlich auf Basis eines individuellen

Positionsmodells, das heißt nur mit Hilfe der Positionsdaten, für einen bestimmten Benutzer ermittelt wurden.

Wird nun ein Tastaturmodell genutzt, welches sowohl die Positionsdaten als auch die

Fingerabdruckdaten zur Klassifizierung nutzt, ergeben sich beim Tippen dynamisch aktive Bereiche anderer Größe und/oder Form und/oder Position, da zusätzlich zur Positionsinformation mit Hilfe der Fingerabdruckdaten auch Informationen darüber verarbeitet werden, auf welche Weise (z.B. mit welchem Finger) ein Benutzer eine bestimmte Taste drückt oder drücken möchte.

Wie im Beispielsfall der Fig. 2 möchte der Benutzer das Wort„BANK" schreiben. Hierzu wird er zunächst die virtuelle Taste„B" beispielsweise mit dem Zeigefinger drücken. Sobald die

Fingerspitze die Oberfläche des Berührungssensors berührt, werden die Fingerabdruckdaten und die Positionsdaten ermittelt. Das Tastaturmodell erkennt dabei aus den Fingerabdruckdaten, zu welcher Taste der Fingerabdruck gehört. Dabei muss nicht explizit ermittelt werden, welcher Finger genutzt wird. Es wird nur ermittelt, wie weit sich die Sensorinformationen ähneln. Eine Taste, z.B. die Leertaste, kann auch mit zwei Fingern benutzt werden. Der Klassifikator würde dann Tastendrücke des einen als auch des anderen Fingers richtig zuordnen.

Die kombinierte Information führt dazu, dass alle Fingerberührungen, die im grau hinterlegten aktiven Bereich 301 ' (gekennzeichnet mit„B") auf die für den Benutzer übliche Art erfolgen, als Eingabe des Buchstaben„B" interpretiert werden. Beim Vergleich mit Fig. 3B wird erkennbar, dass die Größe und die Form des aktiven Bereichs, der auf Basis der Kombination aus Positionsdaten und Fingerabdruckdaten ermittelt wird, eine andere Form und eine größere Flächenausdehnung hat als derjenige aktive Bereich 301 , der sich ausschließlich auf Basis eines Positionsmodells ergibt. Die zusätzliche Fingerabdruck-Information kann beispielsweise dazu fuhren, dass eine bestimmte Fingerberührung noch als Tippen der Taste„B" interpretiert wird, wenn sie zwar relativ weit neben dem Zentrum der virtuellen Taste„B" liegt, aber mit dem„richtigen" Finger erfolgt, d.h. mit dem Finger, mit dem der Benutzer üblicherweise die Taste "B" drückt. Die Information darüber, wie der Benutzer unterschiedliche Tasten bedient, wird dabei aus den Fingerabdruckdaten abgeleitet, die während der Einlernphase erfasst und ausgewertet wurden.

Eine entsprechende dynamische Definition eines aktiven Bereichs ergibt sich auch bei den nachfolgenden Tastendrücken für die Buchstaben„A",„N" und„K", deren dynamisch während des Tippens erstellte aktive Bereiche 3012', 303' und 304' in den Fig. 4B bis 4D grau hervorgehoben sind.

Es ist jeweils im Vergleich mit Fig. 3B erkennbar, dass sich aktive Bereiche größerer

Flächenausdehnungen und gegebenenfalls auch anderer Formen ergeben, wenn zusätzlich zu der Positionsinformation auch die Fingerabdruckeinformation im Tastaturmodell berücksichtigt und bei der Nutzung der virtuellen Tastatur wirksam wird.

Bei der Ausfuhrungsform ändern sich weder die Positionen noch die Formen der virtuellen Tasten während des Einlernens oder während des bestimmungsgemäßen Gebrauchs, so dass das für den Benutzer sichtbare Erscheinungsbild des Tastaturlayouts unabhängig von Lage und Form der aktiven Bereiche unverändert bleibt. Hierdurch lassen sich hohe Schreibgeschwindigkeiten bei niedrigen Fehlerraten fördern.

Die Zuverlässigkeit der Klassifizierung bei Verwendung der beschriebenen Ausfuhrungsform wurde unter anderem durch einen Vergleich mit einer Klassifizierung, die gemäß dem Vorschlag aus Findlater et al. durchgeführt wurde, evaluiert.

Das vorgeschlagene Verfahren wurde unter Verwendung realer Nutzerdaten entwickelt und getestet. Zunächst wurden von zwölf Benutzern Tippverhaltensdaten aufgezeichnet. Auf dem Berührungsbildschirm wurde eine klassische QWERTZ-Tastatur dargestellt. Zur

Berührungserkennung wurde ein optischer Berührungssensor verwendet. Nach einer

Eingewöhnungsphase von 5 Minuten mussten die Probanden jeweils 3x 10 Minuten lang einen vorgegebenen Text abtippen, wobei auch unpräzise Tastendrücke akzeptiert wurden, um ein möglichst natürliches Tippverhalten zu ermöglichen. Um Daten mit unterschiedlichem

Tippverhalten zu erfassen, wurden drei Benutzer, die mit zwei Fingern tippen, drei Benutzer mit individuellem Tippverhalten mit 3-8 Fingern und drei Benutzer, die nach dem Zehn-Finger-System tippen, gewählt. Für jeden Tastenanschlag wurde sowohl die Position als auch das lokale Sensorbild

(Fingerabdruckdaten) aufgezeichnet. Auf Basis dieser Daten wurden unterschiedliche individuelle Tastaturmodelle entwickelt und evaluiert. Dabei wurde jeweils die erste Hälfte der aufgezeichneten Daten als Trainingdaten zur Modellerstellung verwendet und die andere Hälfte zur Auswertung genutzt. Folgende Tastaturmodelle wurden erstellt und ausgewertet (vgl. Fig. 5):

Modell Ml Ein Modell auf Basis der angezeigten Tastatur

Modell M2 Ein Modell auf Basis von individuellen Tipp-Positionen

Modell M3 Ein Modell auf Basis der gesamten Fingerabdruckdaten in Form von Rohdaten Modell M4 Ein kombiniertes Modell aus individuellen Tipp-Positionen und Fingerabdruckdaten Modell M5 Um das hier vorgestellte Verfahren mit Findlater et al. zu vergleichen, wurde ein zusätzliches Modell mit den dort verwendeten extrahierten geometrischen

Eigenschaften der Fingerabdruckdaten sowie den individuellen Tipp-Positionen ausgewertet.

Die Auswertung ergab signifikante Unterschiede in der Fehlerrate (error rate, ER). Die Fehlerraten ER sind in Fig. 5. als Funktion der Modelle Ml bis M5 graphisch dargestellt sind.

Individuelle positionsbasierte Modelle (Modelle M2, M4 und M5) führen zu einer signifikant geringeren Fehlerrate im Vergleich zu einem statischen Modell nach der tatsächlich dargestellten Tastatur (Modell Ml).

Sogar die reinen Fingerabdruckdaten (ohne Positionsdaten) gemäß Modell M2 liefern brauchbare Ergebnisse.

Die Kombination aus individuellem Positions- und Fingerabdruckdaten-Modell gemäß der hier beschriebenen Ausführungsform der Erfindung (Modell M4) verringert die Fehlerrate im Gegensatz zu den anderen Modellen.

Das Modell M5, welches auf Basis von individuellen Tipp-Positionen und den in Findlater et al. verwendeten extrahierten geometrischen Eigenschaften (diese repräsentieren Größe und

Ausrichtung der Kontaktzone sowie die Bewegung der Berührung während des Tastendrucks) erstellt wurde, führt zu keiner signifikanten Verbesserung der Fehlerrate im Vergleich zu dem auf individuellen Tipp-Positionen basierenden Modell. Es wird derzeit angenommen, dass diese vorab festgelegte Auswahl bestimmter geometrischer Kriterien dazu führt, dass gewisse, für die Tastenklassifizierung relevante Information bei der Verarbeitung der vom Berührungssensor gelieferten Rohdaten verloren geht. Die verlorene Information kann dann bei der Klassifizierung nicht berücksichtigt werden. Werden dagegen Fingerabdruckdaten in Form von Rohdaten unmittelbar zur Tastenklassifizierung verwendet, kann ein entscheidend größerer Teil der in den Rohdaten enthaltenen Information, ggf. die gesamte relevante Information genutzt werden.

Das hier beispielhaft dargestellte Verfahren zur Generierung einer virtuellen Tastatur an einem Berührungsbildschirm kann an Berührungssensoren unterschiedlicher Form und Größe genutzt werden. Da der Nutzen des Verfahrens bei bevorzugten Aüsfuhrungsformen unter anderem davon abhängt, wie unterschiedlich die einzelnen unterschiedlichen virtuellen Tasten gedrückt werden, ist das Verfahren besonders vorteilhaft für größere Berührungssensoren, die mit mehreren Fingern bedient werden können. Beispielsweise können Tablet-Computer, wie beispielsweise das iPad von Apple oder Tablet-Computer auf Basis des Android-Betriebssystems durch Nutzung des Verfahrens im Hinblick auf die Fehlerhäufigkeit beim Tippen optimiert werden.

Ist das Verfahren in einem Gerät implementiert, kann ein Benutzer zügig und fehlerfrei Notizen verfassen. Gerade Tablet-Computer werden üblicherweise auch nur von einer Person über längere Zeit genutzt, so dass die virtuelle Tastatur über einen längeren Zeitraum trainiert werden kann, wodurch sich die Leistungsfähigkeit weiter verbessern lässt.

Eine virtuelle Tastatur der hier dargestellten Art kann auch als Ersatz für mechanische Tastaturen Einsatz finden. Besonders im medizinischen Umfeld oder in Reinräumen ist der Einsatz von mechanischen Tastaturen problematisch, da diese schwierig zu reinigen sind. Ein

Berührungssensor, gegebenenfalls auch ohne Bildschirm, kann bei der Verwendung des Verfahrens vorteilhaft sein. Durch individuelle Anpassung des Ansprechverhaltens von virtuellen Tasten kann die Texteingabe auch für dieses Szenario verbessert werden.

Die Ermittlung von benutzer-spezifischen Berührungssensor-Daten durch Erfassen des

Tippverhaltens eines Benutzers aus einer Vielzahl von Tippaktionen des Benutzers an der virtuellen Tastatur, also der Einlernvorgang bzw. Trainingvorgang zur Stellung des Tastaturmodells, muss nicht auf die Zeit vor der eigentlichen Nutzung beschränkt sein. Das Tastaturmodell kann auch während der Nutzung noch weiter optimiert werden. Die Fingerabdruckdaten und die daraus abgeleiteten Positionsdaten können auch während des normalen Gebrauchs aufgezeichnet und zur Erstellung oder Optimierung des Tastaturmodells genutzt werden. Dies kann beispielsweise in der Weise erfolgen, dass Fingerabdruckdaten und Positionsdaten während des Schreibens eines Textes erfasst und gespeichert werden und nach Erstellung des Textes, das heißt dann, wenn der Benutzer den Text als fehlerfrei abspeichert, die erfassten Tastendrücke den richtigen Buchstaben bzw. virtuellen Tasten zugeordnet werden.

Es kann ausreichen, ausschließlich die Positionsdaten und Fingerabdruckdaten zur Erstellung des Tastaturmodells und bei der späteren Nutzung zur Klassifizierung zu verwenden. Zusätzlich zu Positionsdaten und Fingerabdruckdaten können jedoch auch noch weitere Sensorinformationen zu jedem Tastendruck ermittelt und bei der Klassifizierung verwendet werden, z.B. Daten eines Beschleunigungssensors, der z.B. die Anschlagstärke eines Tastendruckes erfassen kann.

Die Untersuchungen auf Basis der von den Probanden generierten Datensätze haben gezeigt, dass besonders die Fingerabdruckdaten für einzelne Tasten für unterschiedliche Benutzer stark abweichen. Daher können diese Daten auch verwendet werden, um Benutzer auf Basis der

Tastatureingabe an einem Berührungssensor zu unterscheiden. Dazu wird ein Klassifikator erzeugt, welcher auf Basis der Fingerabdruckdaten Tastatureingaben einem Benutzer zuweisen kann. Dieses Verfahren kann insbesondere dazu verwendet werden, um Passworteingaben sicherer zu gestalten. Das Computersystem erwartet dann nicht nur die korrekte Buchstabenfolge, sondern außerdem dem erwarteten Benutzer entsprechende Fingerabdruckdaten des Berührungssensors.