Verfahren zur Bereitstellung einer haptischen Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung

Stand der Technik

Aus der US 2008/0024459 AI ist bereits ein Bedienverfahren für einen

Touchscreen bekannt, bei dem eine Druckmessung zur Feststellung einer Berührung des Touchscreens an einer bestimmen Position erfolgt, wobei abhängig von einer Berührung und abhängig von einem einer Position der Berührung zugeordneten Element einer grafischen Bedienoberfläche eine haptische Rückmeldung an einen Bediener ausgegeben wird. Zudem kann eine haptische Rückmeldung abhängig von demjenigen Druck sein, der bei einer Berührung der Bedienoberfläche an der Stelle des in der der grafischen Bedienoberfläche dargestellten Elements festgestellt wird.

Offenbarung der Erfindung

Vorteile der Erfindung Das erfindungsgemäße Verfahren zur Bereitstellung einer haptischen

Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung hat demgegenüber den Vorteil, dass eine haptische Rückmeldung auch für eine in der berührungssensitiven Anzeigeeinrichtung dargestellte Bedienoberfläche mit in der Bedienoberfläche dargestellten Schaltflächen erfolgen kann, wenn außer einer Bildinformation selbst keine Informationen zur Gestaltung der

Bedienoberfläche und insbesondere zu einer Position von Schaltflächen in der von einer weiteren Recheneinheit an die berührungssensitive Anzeigeeinrichtung mit haptischer Rückmeldung übertragen oder bereitgestellt wurden.

Vorteilhaft soll auch bei einer solchen Ausgangssituation einem Nutzer eine haptische Rückmeldung gegeben werden, wenn er die berührungssensitive Anzeigeeinrichtung im Bereich einer Schaltfläche berührt, damit er eine

Rückmeldung darüber erhält, ob er tatsächlich die Schaltfläche getroffen und betätigt hat oder ob er gegebenenfalls einen Bereich der Oberfläche der berührungssensitiven Anzeigeeinrichtung berührt hat, der keiner Schaltfläche zugeordnet ist und bei dessen Berührung keine Funktion eines zu steuernden elektrischen Geräts ausgelöst wird. So kann eine Bedienung der

berührungssensitiven Anzeigeeinrichtung auch beispielsweise für den Fall durchgeführt werden, dass ein Benutzer die Anzeigeeinrichtung während der Bedienung nicht in seinem Blickfeld hat. Für den Fall, dass er die

Anzeigeeinrichtung in seinem Blickfeld hat, erhält er haptisch eine direkte Rückmeldung über eine erfolgreiche Bedienung. Hierfür muss der

berührungssensitive Anzeigeeinrichtung mit haptischer Rückmeldung aber eine Position bekannt sein, zu der eine haptische Rückmeldung gegeben werden soll, da sonst eine gezielte haptische Rückmeldung nur bei einer Berührung einer Schaltfläche nicht möglich ist.

Unter einer Schaltfläche wird hierbei einerseits eine Fläche verstanden, bei deren Berührung ähnlich einem Drucktaster eine Schaltung durchgeführt wird. Darüber hinaus soll unter einer Schaltfläche jedoch auch eine Fläche für weitere, anders gestaltete Bedienelemente zu verstehen sein, beispielsweise Schieberegler oder Drehelemente.

Um eine Bedienung einer berührungssensitiven Anzeigeeinrichtung mit einer haptischen Rückmeldung für einen Benutzer zielführend und sinnvoll zu gestalten, muss die haptische Rückmeldung zudem möglichst zeitnah nach einer detektierten Berührung erfolgen. Erfolgt die haptische Rückmeldung erst eine oder gegebenenfalls mehrere Sekunden später, so wird eine haptische

Rückmeldung von einem Benutzer möglicherweise nicht mehr als hilfreich empfunden. Wird eine Information, ob eine haptische Rückmeldung auszugeben ist, nach Übermittlung einer erfassten Berührungsposition von einer externen Recheneinheit bereitgestellt, kann die haptische Rückmeldung ggf. nicht mehr rechtzeitig ausgegeben werden. Gemäß der vorliegenden Erfindung wird eine Information über eine haptische

Rückmeldung daher von der berührungssensitiven Anzeigeeinrichtung unmittelbar bereitgestellt, damit eine zeitnahe haptische Rückmeldung erfolgen kann. Hierzu ist es nicht erforderlich, Informationen, beispielsweise über eine Anzeigeposition einer Schaltfläche in einer Anzeige, an die berührungssensitive Anzeigeeinrichtung zusätzlich zu übertragenen Bilddaten zu übermitteln. Denn die Anzeigeeinrichtung ist in der Lage, aus lediglich den übermittelten Bilddaten mögliche Positionen von Schaltflächen in einer darzustellenden Anzeige einer Bedienoberfläche selbst automatisch zu ermitteln. Damit ist es auch möglich, eine haptische Rückmeldung für den Fall bei einer Berührung einer Schaltfläche zu geben, wenn eine Position der Schaltfläche auf einer berührungssensitiven

Anzeige der berührungssensitiven Anzeige nicht extern bereitgestellt wird, z.B. wenn lediglich Bilddaten einer Bedienoberfläche von einer externen

Recheneinrichtung übertragen werden, oder wenn die Position der Schaltfläche auf der berührungssensitiven Anzeigeeinrichtung durch einen Benutzer oder durch eine Anwendung verändert wurde. So kann es beispielsweise möglich sein, dass eine haptische Rückmeldung auch für den Fall gegeben wird, dass eine Recheneinrichtung, die eine Bedienoberfläche bereitstellt, keine Kenntnis darüber hat, dass eine berührungssensitive Anzeigeeinrichtung für eine

Bedienung dieser Recheneinrichtung über die von der externen

Recheneinrichtung zur Verfügung gestellte Bedienoberfläche bei einer Berührung von dargestellten Schaltflächen und bei einer Erfassung einer Berührung einer der Schaltflächen gezielt eine haptische Rückmeldung gibt. Insbesondere kann auf die zusätzliche Übertragung von Ansteuerungsdaten für die

berührungssensitive Anzeigeeinrichtung mit haptischer Rückmeldung von einer weiteren Recheneinrichtung verzichtet werden, da alle für die haptische

Rückmeldung erforderlichen Daten von der berührungssensitiven

Anzeigeeinrichtung selbst bereitgestellt werden.

Die für eine zeitnahe haptische Rückmeldung erforderlichen Daten über in der Anzeige dargestellte Schaltflächen werden dabei mittels einer automatischen Bildanalyse der Bilddaten der Bedienoberfläche gewonnen. Hierbei wird ausgenutzt, dass sich Schaltflächen in grafisch in einer Anzeige dargestellten Bedienoberflächen im Regelfall hinsichtlich ihrer Farbe, ihrer Helligkeit und/oder ihrer Textur von einem Hintergrund in der Anzeige deutlich unterscheiden, da auch bei einer Auswahl ohne haptische Rückmeldung ein Benutzer eine

Schaltfläche leicht erkennen soll. Diese Unterschiede in Parametern der Anzeige werden für die Bildanalyse ausgenutzt, indem nämlich regelmäßige Strukturen, wie beispielsweise begrenzende Linien und sich daraus ergebende Formen, insbesondere auch unter Berücksichtigung einer Mindest- oder Maximalgröße bzw. -fläche, zur Bestimmung einer Position solcher Schaltflächen durch eine Bildanalyse herangezogen werden. Somit kann eine schnelle haptische

Rückmeldung auch für eine Bedienoberfläche ermöglicht werden, wenn ein Layout der Bedienoberfläche und insbesondere Positionen der Schaltflächen zuvor der berührungssensitiven Anzeigeeinrichtung nicht bekannt waren.

Weitere Vorteile ergeben sich aus den abhängigen Ansprüchen. Insbesondere ist es vorteilhaft, eine haptische Rückmeldung dadurch zu geben, dass eine

Oberfläche der berührungssensitiven Anzeigeeinrichtung in eine Vibration versetzt wird. Eine solche haptische Rückmeldung ist verhältnismäßig

aufwandsarm zu erzeugen und von einem Benutzer gut fühlbar.

Weiterhin ist es vorteilhaft, eine Koordinate einer Berührung der

berührungssensitiven Anzeigeeinrichtung an die Recheneinheit zurück zu übertragen, von der die Bilddaten der Bedienoberfläche bereitgestellt worden sind. Diese kann aus der Koordinate eine Zuordnung zu der Bedienoberfläche ermitteln und somit eine Funktion bzw. eine Schaltfläche zuordnen und dann die zugeordnete Funktion auslösen. Damit kann die von einem Benutzer vorgenommene Eingabe insbesondere auch von einer externen

Recheneinrichtung verarbeitet werden.

Insbesondere ist ein Datentransport der Bilddaten über eine drahtlose

Schnittstelle vorteilhaft, da hiermit auch eine Anbindung eines externen Geräts, beispielsweise eines Smartphones, an eine berührungssensitive

Anzeigeeinrichtung ermöglicht wird.

Weiterhin ist es vorteilhaft, dass die gespeicherten Formen von Schaltflächen Vielecke, Ellipsen oder Formen mit vorgegebenen Texturen oder Farben beinhalten, da so eine Vielzahl von möglichen Schaltflächen detektiert werden können. Unter einer Form kann hierbei in einer ersten Ausführungsform die äußere geometrische Form einer Schaltfläche verstanden werden. In einer weiteren Ausführungsform kann unter unterschiedlichen Formen auch eine gleiche Form in einer unterschiedlichen Farbgestaltung verstanden werden. Somit ist es in einer Ausführungsform auch möglich, eine Form einer

Schaltfläche lediglich dadurch zu identifizieren, dass eine von einer

Hintergrundfarbe abweichende Farbgebung oder eine von einer

Hintergrundtextur abweichende Textur vorliegt.

Weiterhin ist es vorteilhaft, dass eine Eigenschaft der haptischen Rückmeldung abhängig von einer Eigenschaft derjenigen als Schaltfläche identifizierten Form gewählt wird, die demjenigen Anzeigebereich der Oberfläche der

berührungssensitiven Anzeigeeinrichtung zugeordnet ist, in dem eine Berührung erfasst wurde. Somit ist es möglich, für unterschiedliche Formen von

Schaltflächen auch unterschiedliche haptische Rückmeldungen vorzusehen, beispielsweise unterschiedliche Frequenzen einer Vibration oder eine unterschiedliche Anzahl von Vibrationen. Damit hat ein Benutzer nicht nur die

Möglichkeit, festzustellen, dass er eine Schaltfläche und nicht eine funktionslose Umgebung einer Schaltfläche berührt hat, sondern ihm kann auch eine

Rückmeldung darüber gegeben werden, welche Schaltfläche er berührt hat. Indem durch einen Vergleich mit einer gespeicherten Menge an Formen jeweils unterschiedliche Anweisungen für eine haptische Rückmeldung automatisch vorgegeben werden, ist es nicht erforderlich, dass durch eine externe

Recheneinrichtung eine solche Formvorschrift zusammen mit den Bilddaten übertragen wird. Vielmehr kann die berührungssensitive Anzeigeeinrichtung eine solche Vorschrift selbst bestimmen.

Weiterhin ist es vorteilhaft, dass für den Fall, dass bei einer Berührung einer ermittelten Form, die bisher aber nicht als eine Form einer Schaltfläche identifiziert wurde, tatsächlich eine Berührung in diesem Bereich festgestellt wird, eine mögliche, bisher in dem Speicher nicht abgelegte Form als eine neue Form festgestellt und dem Speicher als mögliche Form für eine Schaltfläche zugeführt wird. Dies kann beispielsweise auch dann erst erfolgen, wenn die

berührungssensitive Anzeigeeinrichtung in dem Bereich dieser Form mehrfach berührt wurde.

Insbesondere ist es vorteilhaft, die dargestellte Form als eine Schaltfläche zu erkennen, wenn nach Übermittlung einer Koordinate einer Berührung an eine externe Recheneinheit sich diejenigen Bilddaten einer übermittelten

Bedienoberfläche ändern. Denn im Regelfall führt eine erfolgreiche Bedienung einer Schaltfläche dazu, dass sich auch die Gestaltung der Bedienoberfläche ändert, entweder durch Darstellung einer Bestätigung einer Bedienung oder durch Darstellung eines neuen Bedienmenüs. Wenn also ein Benutzer an einer Stelle den Bildschirm berührt und sich anschließend der Bildschirminhalt ändert, vollständig oder teilweise, so kann daraus abgeleitet werden, dass eine

Bestätigung einer Schaltfläche erfolgt ist. Vorteilhaft kann bei einer Berührung einer entsprechenden Fläche zukünftig eine haptische Rückmeldung ausgelöst werden.

Weiterhin ist es vorteilhaft, dass eine Analyse von übertragenen Bilddaten nur dann erfolgt, wenn die Bilddaten für eine vorgegebene Zeitdauer unverändert bleiben. Damit wird sichergestellt, dass es sich bei den übertragenen Bilddaten um Daten einer Bedienoberfläche handelt, die im Regelfall zumindest zur Aufnahme einer Bedienung durch einen Benutzer für einen vorgegebenen Zeitraum von wenigstens 10 Sekunden ungeändert bleiben. Insbesondere ist es damit möglich, Animationen, wie beispielsweise ein Erscheinen eines Bedienfensters durch Einfliegen oder Vergrößern sowie eine Darstellung von bewegten Bildern von einer Darstellung einer Bedienoberfläche für eine Analyse auf mögliche Schaltflächen zur Wiedergabe eines haptischen Feedbacks bei einer Berührung dieser Schaltflächen zu unterscheiden.

Eine solche Unterdrückung einer haptischen Rückmeldung während einer Änderung einer Bilddarstellung ist nicht nachteilig, da im Regelfall, beispielsweise während einer durchgeführten Animation eine Benutzereingabe im Regelfall auch nicht erfolgen soll.

Entsprechende Vorteile ergeben sich bei einer Anzeigeeinrichtung mit einer berührungssensitiven Oberfläche zur Durchführung des Verfahrens sowie einem entsprechenden Computerprogramm bzw. einem computerlesbaren Medium, auf dem das Computerprogramm gespeichert ist.

Zeichnung

Ausführungsformen der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen

Figur 1 eine Anzeigeeinrichtung mit einer berührungssensitiven

Oberfläche in Verbindung mit einer externen Recheneinrichtung,

Figur 2 ein Beispiel für eine Zuordnung einer in der berührungssensitiven

Anzeige gemäß Figur 1 dargestellten Bedienoberfläche zu Flächen, bei denen eine haptische Rückmeldung erfolgen soll,

Figur 3 ein Beispiel für ein Verfahren zur Bereitstellung einer haptischen

Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung.

Ausführungsformen der Erfindung Die vorliegende Erfindung kann für beliebige berührungssensitive

Anzeigevorrichtungen verwendet werden. Insbesondere ist die Verwendung für eine Fahrerinformationseinrichtung in einem Kraftfahrzeug vorteilhaft, da sich der Fahrer in einem Fahrzeug auf das Fahrgeschehen konzentrieren soll und er somit seinen Blick auf eine Verkehrsumgebung des Fahrzeugs lenken soll, das er steuert. Indem ihm vorteilhaft eine haptische Rückmeldung gegeben werden kann, kann er den Blick auf der Straße belassen, während er eine insbesondere blinde Bedienung einer Bedienoberfläche mit verschiedenen Schaltflächen durchführen kann.

Ferner ist es in einem Fahrzeug möglich, ein Mobiltelefon, insbesondere ein sogenanntes Smartphone, durch verschiedene Protokolle mit einer im Fahrzeug verbauten Fahrerinformationsvorrichtung zu verbinden. Hierbei wird eine

Bedienoberfläche des Mobiltelefons in einer berührungssensitiven

Anzeigevorrichtung eines in dem Fahrzeug verbauten

Fahrerinformationssystems dargestellt. Das Bild der Bedienoberfläche wird von dem Mobiltelefon oder der tragbaren Computereinrichtung erzeugt und vorzugsweise gerendert, wobei die somit erzeugten Bilddaten an das

Fahrerinformationssystem im Fahrzeug übertragen werden und von diesem angezeigt werden. Zusätzliche Informationen über einen konkreten Bildinhalt selbst, wie beispielsweise eine Position von Schaltflächen in einer

Bedienoberfläche, werden jedoch nicht mit übertragen. Durch die Anwendung des erfindungsgemäßen Verfahrens kann jedoch das Fahrerinformationssystem aus den übertragenen Bilddaten entscheiden, an welchen Positionen des übertragenen Bildes sich eine Schaltfläche befindet, für die bei einer Berührung an einer entsprechenden Stelle einer berührungssensitiven Anzeigevorrichtung der Fahrerinformationsvorrichtung in dem Fahrzeug eine haptische Rückmeldung gegeben werden soll. Daher wird die vorliegende Erfindung im Folgenden am Beispiel einer Fahrerinformationseinrichtung in einem Fahrzeug erläutert.

In der Figur 1 ist eine berührungssensitive Anzeigeeinrichtung 10 einer

Fahrerinformationseinrichtung in einem Fahrzeug dargestellt. Die

Anzeigeeinrichtung 10 verfügt über eine Anzeigeeinheit 11, die eine

Anzeigefläche 12 aufweist. Die Anzeigeeinheit 11 ist beispielsweise als eine Flüssigkristall-Anzeige oder als eine OLED-Anzeige ausgeführt. Die Anzeigefläche 12 ist berührungssensitiv ausgebildet, so dass eine Koordinate einer Berührung der Anzeigefläche 12 ermittelt und von einer

Verarbeitungseinheit 13 ausgewertet und weiter verarbeitet werden kann.

Insbesondere ist es beispielsweise möglich, kapazitiv oder durch Auswertung einer Druck- Matrix eine Position einer Berührung auf der Oberfläche 12 zu bestimmen.

Ein Bildinhalt, der in der Anzeigefläche 12 dargestellt wird, wird von einer Recheneinheit 14 bereitgestellt. Die Recheneinheit 14 bereitet für die Darstellung in der Anzeigefläche 12 Bilddaten auf, die in der hier gezeigten Ausführungsform über eine Schnittstelle 15 von einer externen Recheneinrichtung 16 über eine Datenverbindung 17 übertragen werden. Für eine Kommunikation über die Datenverbindung 17 weist die Recheneinrichtung 16 ebenfalls eine

korrespondierende Schnittstelle 18 auf. Die Datenverbindung 17 ist

beispielsweise als eine Nahfeld- Kommunikation ausgeführt, wie beispielweise

ZigBee oder Bluetooth. Ferner ist auch eine WLAN-Verbindung oder eine Verbindung nach einem anderen Protokoll für eine drahtlose Datenübertragung möglich. Ferner ist alternativ auch eine drahtgebundenen Datenübertragung möglich, z.B. über eine USB-Schnittstelle. Eine Recheneinheit 19 der

Recheneinrichtung 16, die beispielsweise als ein tragbarer Computer, insbesondere ein Mobiltelefon bzw. ein sogenanntes Smartphone, ausgeführt ist, bestimmt die Bilddaten eines in der Anzeigevorrichtung 12 dargestellten Bildes. Insbesondere bestimmt die Recheneinheit 19 der Recheneinrichtung 16

Bilddaten einer Bedienoberfläche, mit der eine Steuerung von Funktionen der Recheneinrichtung 16 erfolgen soll. Hierzu werden die Daten der

Bedienoberfläche über die Datenverbindung 17 an die Recheneinheit 14 übertragen, die diese Bilddaten aufbereitet und in der Anzeigefläche 12 zur Anzeige bringt. In der Figur 1 ist ein Beispiel für eine Darstellung einer Bedienoberfläche gezeigt.

Hierbei sind ein erstes Symbol 21, ein zweites Symbol 22 und ein drittes Symbol 23 in einer oberen Hälfte der Anzeigefläche 12 dargestellt. Bei einer Berührung der Anzeigefläche 12 wird eine Koordinate der Berührung von der

Verarbeitungseinheit 13 festgestellt und an die Recheneinheit 14 übergeben. Die Recheneinheit 14 überträgt den Koordinaten- Wert über die Datenverbindung 17 an die Recheneinrichtung 16. Insbesondere wird diese Koordinate zusammen mit einer Koordinate bezüglich einer Ausdehnung der gesamten, in der

Anzeigefläche 12 dargestellten Bedienoberfläche übergeben. Beispielsweise wird ein Bezug auf eine linke obere Ecke der dargestellten Bedienoberfläche angegeben. Die Recheneinheit 19 kann somit eine Position der erfassten

Koordinaten in Bezug zu einer Position innerhalb der an die Recheneinheit 14 in Form von Bilddaten übermittelten Bedienoberfläche setzen. Erfolgt

beispielsweise eine Berührung der Bedienoberfläche 12 innerhalb einer Fläche des ersten Symbols 21, so kann die Recheneinheit 19 feststellen, dass eine Berührung innerhalb des ersten Symbols 21 erfolgt ist. In der Recheneinheit 19 läuft nunmehr eine Software ab, gemäß der eine Berührung des ersten Symbols 21 eine bestimmte Funktion der Recheneinrichtung 16 zugewiesen ist, z.B. ein Start einer Fahrtroutennavigation. Die Recheneinrichtung 16 führt nun diese Funktion aus. Gegebenenfalls ändert sich damit eine in der Anzeigefläche 12 darzustellende Bedienoberfläche. Somit werden gegebenenfalls geänderte

Bilddaten zur Darstellung in der Anzeigefläche 12 an die Recheneinheit 14 übertragen.

Dem zweiten und dem dritten Symbol 22, 23 sind gegebenenfalls andere

Funktionen zugeordnet. Erfolgt eine Berührung an einer Stelle der

Bedienoberfläche außerhalb eines der Symbole, beispielsweise an der durch ein X in der Figur 1 gekennzeichneten Stelle 24, so stellt die Recheneinheit 19 der Koordinate fest, dass für diese Position keine Funktion hinterlegt ist und somit die Bilddarstellung in der Anzeigefläche 12 ungeändert bleibt und auch keine Funktion der Recheneinrichtung 16 ausgeführt wird.

In der Anzeigefläche 12 ist ferner eine optische Trennungslinie 25 ohne

Eingabefunktion, eine ovale Schaltfläche 26, Textinformationen 27, 28 ohne Schaltfunktion und ein Schieberegler 29 dargestellt, bei dem ein Regelelement 30 innerhalb der Fläche des Schiebereglers 29 durch einen Benutzer gesteuert und bewegt werden kann, indem eine Berührung der Anzeigefläche 12 erfasst und bei einer anschließenden kontinuierlichen Berührung und Bewegung eines Kontaktpunktes, beispielsweise eines Fingers auf der Anzeigenfläche 12 in Pfeilrichtung 31, das grafische Element 30 ebenfalls in Pfeilrichtung 31 verschoben wird. Wünschenswert ist es nun, dass bei einer Berührung der Symbole 21, 22, 23 bei einer Darstellung in der Anzeigefläche 12 ebenso wie bei einer Berührung der Schaltfläche 26 oder des Schiebereglers 29 eine haptische Rückmeldung an einen Benutzer erfolgen soll. Hierzu ist die Anzeigefläche 12 mit einer

Vibrationseinheit 40 verbunden, die von der Verarbeitungseinheit 13 bzw. der Recheneinheit 14 angesteuert wird. Eine haptische Rückmeldung erfolgt dabei kurzfristig nach einer erfassten Berührung, in Form eines sogenannten„Klicks", so dass eine kurzfristige haptische Rückmeldung einem Benutzer das Gefühl gibt, eine tatsächlich fühlbare Taste betätigt zu haben. Die Frequenz für eine

Vibration und/oder die Anzahl der Klicks können dabei vorgegeben werden und erzeugen je nach Auswahl ggf. eine fühlbare unterschiedliche haptische

Rückmeldung. Für eine Bedienoberfläche, die von der Recheneinheit 14 vollständig berechnet und bereitgestellt wird, beispielsweise für Steuerungen einer Fahrerinformationsfunktion, könnte eine Koordinaten-Tabelle, an welchen

Stellen eine haptische Rückmeldung erfolgen soll, der Verarbeitungseinheit 13 bzw. der Vibrationseinheit 40 zur Verfügung gestellt werden. Vorteilhaft ist eine zusätzliche Recheneinheit 41 vorgesehen, die anhand dieser

Koordinateninformationen eine Ansteuerung der Vibrationseinheit 40 vornimmt, so dass möglichst zeitnah nach einer Erfassung einer Berührung der

Anzeigefläche 12 eine haptische Rückmeldung an einen Benutzer gegeben werden kann. Bei der von der Recheneinrichtung 16 übertragenen

Bedienoberfläche, beispielsweise gemäß der Darstellung in der Figur 1, liegt eine derartige Information der Recheneinheit 14 und damit auch der zusätzlichen Recheneinheit 41 zunächst nicht vor. Daher wird für den Fall, dass eine

Bedienoberfläche ohne eine solche Zusatzinformation von der

Recheneinrichtung 16 übertragen wird, ein Analyseverfahren mittels einer Bearbeitungseinheit 42 gestartet, die die übertragenen Bilddaten analysiert. Anhand der Analyse der Bilddaten werden Bereiche und damit Koordinaten bestimmt, an denen eine haptische Rückmeldung erfolgen soll. Eine solche Analyse findet statt, wenn die übertragenen Bilddaten für einen vorgegebenen Zeitraum, beispielsweise zwei bis fünf Sekunden unverändert bleiben. Damit ist davon auszugehen, dass die Recheneinrichtung 16 nicht beispielsweise einen Film oder eine Animation einer Bedienoberfläche übermittelt, sondern eine konstante Bilddarstellung einer Bedienoberfläche liefert. Die entsprechenden ermittelten Koordinateninformationen für eine Schaltfläche werden nach der Analyse gespeichert und von der Recheneinheit 41 für eine Ansteuerung der Vibrationseinheit 40 herangezogen, bis die Recheneinheit 14 ermittelt, dass sich die von der Recheneinrichtung 16 übermittelten Bildinformationen geändert haben und somit auch eine haptische Rückmeldung gegebenenfalls mit angepasst werden muss.

Im Folgenden wird eine Bestimmung derjenigen Koordinaten durch eine

Bildanalyse erläutert, anhand denen eine haptische Rückmeldung erfolgen soll. Für die Analyse wird insbesondere ausgenutzt, dass Schaltflächen in einer Darstellung einer Bedienoberfläche sich in einer systematischen Weise von ihrer Umgebung unterscheiden. Sie können beispielsweise durch einen Rand von der Umgebung abgegrenzt sein. Ferner können sie sich auch in der Helligkeit und/oder der Farbe der Darstellung von einem Hintergrund unterscheiden. Im Regelfall erfolgt eine Abgrenzung einer Schaltfläche gegenüber dem Hintergrund durch eine gerade oder zumindest teilweise geradlinig oder glatt verlaufende Linie, z.B. einen Bogen. Bei einer Bildanalyse ist es möglich, entsprechende Färb- und/oder Helligkeitsunterschiede, sogenannte Kanten, festzustellen. So ist beispielsweise in der Darstellung gemäß der Figur 1 das erste Symbol 21 durch einen Rahmen 43 von einem Hintergrund der Bedienoberfläche abgegrenzt. Somit ist es in einem ersten Ausführungsbeispiel möglich, durch eine Analyse derartige Kanten und deren Position in einer Bilddarstellung zu ermitteln, bei der ein Helligkeits- und/oder Farbunterschied jeweils um mindestens ein Mindestmaß in einem begrenzten Bereich auftritt. Damit können beispielsweise

Verlaufsdarstellungen für einen Farbverlauf im Hintergrund ausgeblendet und nicht weiter berücksichtigt werden. Ferner ist es vorteilhaft, bei einer Länge einer Kante ein Mindestmaß vorzusehen, so dass beispielsweise Textausgaben, wie die Textdarstellung 27, 28 in der Figur 1, nicht ebenfalls als eine

Begrenzungslinie einer Schaltfläche in einer Anzeige erkannt werden.

In einer ersten Ausführungsform kann beispielsweise auch einer Berührung der optischen Trennungslinie 25 eine haptische Rückmeldung zugeordnet werden, insbesondere aufgrund ihrer Länge. In einer weiteren Ausführungsform wird geprüft, ob mehrere gerade Linien einen Fläche einschließen, wobei in diesem Fall eine Schaltfläche erkannt wird und bei einer Berührung einer Begrenzungslinie der Schaltfläche eine haptische

Rückmeldung ausgegeben wird. Vorteilhaft werden somit die Rahmen der Symbole 21, 22, 23, die Trennlinie 25, ein Rahmen der Schaltfläche 26 und des

Schiebereglers 29 als diejenigen Bereiche erkannt, an denen eine haptische Rückmeldung gegeben werden soll. Vorzugsweise wird eine Mindestbreite für einen jeweiligen Rahmen als Ansteuerungsvorschrift für eine haptische

Rückmeldung vorgesehen. In diesem Ausführungsbeispiel kann ein Benutzer so zumindest die Kanten von Schaltflächen ertasten, die in der Anzeige dargestellt sind. Für die optische Trennungslinie 25 wird keine haptische Rückmeldung ausgegeben, da diese keine Schaltfläche begrenzt. In einer weiteren

Ausführungsform ist es auch möglich, dass Schaltflächen von Hintergründen anhand einer Bildtextur, beispielsweise eines Musters, unterschieden werden, mit dem der Hintergrund und/oder die Schaltflächen hinterlegt sind.

Zur Bestimmung einer eingeschlossenen Fläche es möglich, nach einer

Identifizierung entsprechender Kanten festzustellen, ob Kanten

zusammenhängen und damit ein geschlossener Bereich abgegrenzt wird. Ein solcher abgegrenzter Bereich wird zunächst als eine Form bezeichnet, die eine bestimmte Fläche der Oberfläche der Anzeigenoberfläche 12 mit ihrer

Darstellung abdeckt. Die Recheneinheit 14 vergleicht nun die Größe, die Form und/oder die Abmaße der erfassten Form mit in einem Speicher 44 abgelegten Formen oder Werten. So ist vorteilhaft für eine Erkennung als Schaltfläche eine Mindestgröße vorgesehen, die einer Bedienung durch einen Finger oder durch ein Tastelement entspricht. In dem Speicher 44 sind vorbestimmte Beispiele von Formen für Schaltflächen, beispielsweise Vielecke, insbesondere Rechtecke und Ellipsen, insbesondere Kreise, abgelegt, die üblicherweise von Gestaltern von Bedienoberflächen für eine Funktionssteuerung verwendet werden. Unter einem Vieleck bzw. einem Rechteck sollen hierbei auch Vielecke bzw. Rechtecke verstanden werden, bei denen die Ecken abgerundet sind. An den Koordinaten in denjenigen Flächenbereichen, an denen eine Darstellung einer derartigen Form, die als eine Schaltfläche dienen soll, in der Anzeigefläche 12 ermittelt wird, soll eine haptische Rückmeldung bei einer erfassten Berührung an der jeweiligen Koordinate der Anzeigefläche 12 erfolgen. Entsprechende Koordinateninformationen werden von der Recheneinheit 14 an die zusätzliche Recheneinheit 41 übermittelt. In einer weiteren Ausführungsform kann zudem auch die Farbe der jeweiligen Form, insbesondere die Füllfarbe der Form, ermittelt und für die Erkennung einer Schaltfläche berücksichtigt werden.

In der Figur 2 ist schematisch die Anzeigefläche 12 in einer Darstellung 50 dargestellt, bei der bei einer Berührung einer ersten Fläche 51 des ersten Symbols 21, einer zweiten Fläche 52 des zweiten Symbols 22, einer dritten Fläche 53 des dritten Symbols 23, einer vierten Fläche 54 der Schaltfläche 26 und einer fünften Fläche 55 des Schiebereglers 29 eine haptische Rückmeldung ausgegeben wird. Wird die Bedienoberfläche außerhalb der Flächen 51, 52, 53, 54, 55, beispielsweise an der mit X bezeichneten Position 56 betätigt, erfolgt keine haptische Rückmeldung. In einer Ausführungsform ist es auch möglich, die haptische Rückmeldung, beispielsweise gemäß einer Vibrationsfrequenz oder einer Anzahl von

haptischen Rückmeldungsvorgängen abhängig von denjenigen Formen zu wählen, innerhalb deren zugeordneter Fläche eine Berührung der

Anzeigenoberfläche 12 erfolgt. So erfolgt bei einer Berührung innerhalb eines der Symbole 21, 22, 23 eine erste haptische Rückmeldung gemäß einer in der Figur

2 dargestellten ersten Schraffur der zugehörigen Flächen 51, 52, 53, bei einer Berührung der Schaltfläche 26 eine zweite haptische Rückmeldung, dargestellt durch eine zweite Schraffur der vierten Fläche 54 und bei einer Betätigung des Schiebereglers 29 eine dritte haptische Rückmeldung, dargestellt durch eine dritte Schraffur der fünften Fläche 57. Bei dem Beispiel des Schiebereglers 29 kann zudem unterschieden werden, ob eine Betätigung innerhalb des Bereichs des Schiebereglerelements 30 oder des übrigen Bereichs des Schiebereglers 29 erfolgt, wobei in diesem Fall eine vierte haptische Rückmeldung erfolgt, dargestellt durch einer Schraffur einer sechsten Fläche 58.

In einer weiteren Ausführungsform ist es auch möglich, dass eine Erkennung von Schaltflächen in Form eines lernenden Systems, insbesondere in Form eines sogenannten Deep-Learning-Systems oder eines neuronalen Netzes ausgebildet ist. Ein Lernen kann beispielsweise dadurch erfolgen, dass eine Form, die zunächst nicht als eine Schaltfläche detektiert wird, zukünftig als Schaltfläche erfasst und gespeichert wird. Beispielhaft sei angenommen, dass die elliptisch geformte Schaltfläche 26 zunächst nicht in dem Speicher 44 abgelegt ist. Hier sind in der Ausgangssituation nur rechteckige Schaltflächen abgelegt, beispielsweise gemäß der Symbole 21, 22, 23 und des Schiebereglers 29. Die Recheneinheit 14 stellt zwar bei ihrer Analyse eine geschlossene Form fest, ermittelt aber, dass diese Form nicht als eine Schaltfläche definiert ist. Erfolgt nun im Anschluss eine Berührung der Anzeigevorrichtung innerhalb dieser Schaltfläche, so wird die Berührungs- Koordinate von der Recheneinheit 14 an die Recheneinrichtung 16 weitergegeben. Da eine Berührung innerhalb der elliptischen Fläche 26, jedoch als eine Berührung einer Schaltfläche interpretiert wird, so ändert die Recheneinrichtung 16 in Folge der vorliegenden Bedienung die Bilddarstellung und zeigt beispielsweise ein anderes Bedienmenü. Dies wird von der Recheneinheit 14 detektiert. Sie erfasst diese Änderung der Bilddaten infolge einer Berührung der Bedienoberfläche als eine Berührung einer

Schaltfläche. Damit ordnet die Recheneinheit 14 für zukünftige Bedienungen einer elliptischen Fläche gemäß der Fläche 26 die Funktion einer Schaltfläche zu und legt diese Information in dem Speicher 44 ab.

In einer weiteren Ausführungsform ist es auch möglich, eine Erfassung einer Form nicht bereits bei einer ersten möglichen Erfassung als Schaltfläche zuzuordnen, um Fehlzuordnungen infolge einer zufälligen Bildänderung zu vermeiden.

Weiterhin ist es auch möglich, vertiefte Methoden der Bildanalyse, beispielsweise eine semantische Bildanalyse oder eine Bildanalyse unter Einbeziehung einer Symbol- oder automatisierten Texterkennung für eine Analyse einer zur

Verfügung gestellten Bedienoberfläche zu verwenden.

Für den Start einer solchen Funktion ist es auch möglich, dass ein trainiertes neuronales Netz verwendet wird, das mit einer Vielzahl unterschiedlicher, insbesondere von verschiedenen möglichen Recheneinrichtungen, z.B.

verschiedenen Smartphones, zur Verfügung stellbaren Bedienoberflächen eingelernt wurde. Damit ist es möglich, dass das neuronale Netz jedem Bildpunkt einer zur Verfügung gestellten Bedienoberfläche anhand einer entsprechenden Analyse eine Information zuordnen kann, ob es sich bei diesem Bildpunkt um einen Teil einer Schaltfläche oder um keinen Teil einer Schaltfläche handelt.

Der Speicher 44 kann lokal der Recheneinheit 14 beispielsweise in einem Fahrzeug zugeordnet sein. Ferner ist es jedoch auch möglich, dass der Speicher 44 über ein Datennetz mit der Recheneinheit 14 verbunden ist und einer Vielzahl von Recheneinheiten zur Verfügung steht. Damit kann ein lernender Algorithmus auch als ein cloudbasiertes neuronales Netz ausgebildet sein.

In der Figur 3 ist ein beispielhafter Verfahrensablauf gezeigt. Ausgehend von einem Startschritt 60, beispielsweise von einer Anbindung einer mobilen

Recheneinrichtung an eine Fahrerinformationseinrichtung im Fahrzeug, wird das Verfahren gestartet. In einem Bildübertragungsschritt 61 wird eine Bildinformation an eine Recheneinheit einer berührungssensitiven Anzeigeeinrichtung übertragen. In einem anschließenden ersten Prüfschritt 62 wird überprüft, ob sich die Bilddaten innerhalb eines vorgegebenen Zeitraums von beispielsweise zwei Sekunden geändert haben. Ist dies der Fall, so wird zu dem

Bildübertragungsschritt 61 zurück verzweigt. Ist dies nicht der Fall, d.h. bleiben die Bilddaten zumindest inhaltlich konstant, so wird zu einem Analyseschritt 63 weiter verzweigt, in dem die übertragenen Bilddaten daraufhin analysiert werden, an welchen Stellen sich Kanten bzw. geschlossene Formen befinden.

In einem anschließenden Auswerteschritt 64 wird durch Vergleich von in den übertragenen Bilddaten erfassten Formen mit gespeicherten Formen,

beispielsweise mit gespeicherten Kanten, Vielecken oder Ellipsen oder beliebigen, hinsichtlich ihrer Form und/oder anderer charakteristischer

Eigenschaften wie z.B. Farbe oder Textur ermittelt, welche Elemente in der Bilddarstellung Formen, insbesondere geschlossene Flächen sind, denen eine Schaltfunktion zugeordnet ist. Den diesen Formen zugeordneten Koordinaten der Anzeigefläche, d.h. die von diesen Formen bedeckten Bereiche der

Anzeigefläche, werden für den Fall einer Erfassung einer Berührung an einer solchen Koordinate der Anzeigefläche eine Ausgabe einer haptischen

Rückmeldung zugeordnet. Die entsprechenden Koordinaten, an denen eine haptische Rückmeldung erfolgen soll und die Koordinaten, an denen keine haptische Rückmeldung erfolgen soll, werden in dem Auswerteschritt festgelegt und beispielsweise in geeigneter Form in einem flüchtigen Speicher abgelegt.

In einem anschließenden zweiten Prüfschritt 65 wird überprüft, ob sich die Bilddaten geändert haben. Ist dies der Fall, so wird zu dem

Bilddatenübertragungsschritt 61 zurück verzweigt. Ist dies nicht der Fall, so wird zu einem dritten Prüfschritt 66 weiter verzweigt. In dem dritten Prüfschritt 66 wird überprüft, ob eine Berührung der berührungssensitiven Anzeigevorrichtung an einer Koordinate erfolgt ist, an der eine haptische Rückmeldung erfolgen soll. Ist dies nicht der Fall, so wird zu dem zweiten Prüfschritt 65 zurück verzweigt. Ist dies der Fall, so wird zu einem haptischen Ausgabeschritt 67 weiter verzweigt. Von dem haptischen Ausgabeschritt 67 wird zu dem zweiten Prüfschritt 65 zurück verzweigt. Das Verfahren wird fortgeführt, solange die Recheneinrichtung 16 Informationen über eine Bedienoberfläche an die berührungssensitive Anzeigeeinrichtung ausgibt.