BESCHREIBUNG: Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienschnittstelle eines Geräts, welche eine Handschrifterkennung für eine berührungslose Eingabe von handschriftlich gezeichneten Zeichen aufweist. Zu der Erfindung gehören auch ein Kraftfahrzeug mit einer solchen Bedienschnittstelle, ein Computerprogrammprodukt zum Bereitstellen einer solchen Bedien- schnittsteile in einem mobilen Endgerät, insbesondere einem Smartphone oder einem Tablet-PC, sowie ein solches mobiles Endgerät.

In einem Kraftfahrzeug ist in der Regel vorgesehen, einzelne Funktionen des Kraftfahrzeugs, wie beispielsweise das Eingeben des Navigationsziels in ein Navigationsgerät, durch Betätigung dafür vorgesehener, definierter Funktionstasten aufzurufen. Um solche Tastenbetätigungen zu sensieren, ist heute je Taste ein elektrischer oder kapazitiver Schalter notwendig. Die Tasten sind örtlich begrenzt und fix positioniert. Das Suchen der Tasten bzw. auch das Suchen von Bedienfeldern auf einem berührungsempfindlichen Bedienfeld, beispielsweise einem sogenannten Touchpad oder Touchscreen, kann den Fahrer während einer Fahrt in unerwünschter Weise vom Verkehrsgeschehen ablenken. Zudem benötigt jede Taste eine verhältnismäßig teure Auswertungseinheit. Je unterschiedlicher Ausstattungsvarianten eines Kraftfahrzeugs sein müssen, desto mehr unterschiedliche Taster müssen entspre- chend verbaut und angeschlossen sein. Dies macht Variantenvielfalt kostspielig.

Um eine Eingabe von Text beispielsweise für das Festlegen eines Navigationsziels in einem Navigationsgerät zu vereinfachen, kann anstelle von Hardwaretasten oder emulierten Tasten auf einem Touchscreen auch eine Zeichenerkennung bereitgestellt sein. Ein Benutzer kann hierbei einzelne Zeichen, also Buchstaben, Zahlen oder auch Sonderzeichen, hintereinander auf ein und demselben berührungsempfindlichen Bedienfeld mit einem Finger oder auch mit einem Stift zeichnen. Eine automatische Handschrifter- kennung, auch als Texterkennung oder optische Zeichenerkennung bezeichnet, kann dann beispielsweise auf Grundlage einer Mustererkennung aus der jeweils gezeichneten Zeichenspur den gezeichneten Buchstaben erkennen und eine entsprechende digitale Information, an das Navigationsgerät weiter- geben. Eine automatische Handschrifterkennung ermöglicht das Erkennen einzelner Zeichen oder auch mehrerer nacheinander mit einer einzelnen Zeichenspur oder auch mit Unterbrechungen gezeichneten Zeichen.

Mittels einer automatischen Handschrifterkennung ist es möglich, für die Ein- gäbe von Texten auf einzelne Tasten für die Eingabe der Buchstaben zu verzichten und stattdessen eine einzige berührungsempfindliche Fläche bereitzustellen, auf welcher der Benutzer unterschiedliche Zeichen eingeben kann. Im Zusammenhang mit einer handschriftlichen Texteingabe an einem Arbeitsplatzcomputer ist aus der US 201 1/0254765 A1 ein automatisches Handschrifterkennungssystem bekannt, bei welchem ein Benutzer mit einer Hand unabhängig von einem in der Hand gehaltenen Gegenstand ein Wort frei im Raum, d.h. in der Luft, schreiben kann und diese Bewegung der Hand als 3D-Bewegungstrajektorie von einem optischen Sensor erkannt wird. Die 3D-Bewegungstrajektorie wird auf eine Ebene projiziert. Die so gebildete 2D- Abbildung der 3D-Bewegungstrajektorie wird dann einer automatischen Handschrifterkennung zugeführt. Das System geht davon aus, dass der Benutzer beim Ausführen seiner Handbewegungen frontal vor dem optischen Sensor steht und Schreibbewegungen wie an einer Tafel ausführt. Das System kann anhand einer speziellen Geste erkennen, wann der Benutzer mit einer Eingabe fertig ist. Alternativ zu der speziellen Geste kann bei vollständig geschriebenen Worten mit mehreren Buchstaben anhand einer statistischen Analyse überprüft werden, welcher Teil der 3D-Bewegungstrajektorie zu eigentlichen Zeicheneingabe gehört.

Der Erfindung liegt die Aufgabe zugrunde, eine Bedienschnittstelle für ein Gerät bereitzustellen, mittels welcher Zeichen in das Gerät auf engem Raum eingegeben werden können.

Die Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 , ein Kraftfahrzeug gemäß Patentanspruch 6, ein Computerprogrammprodukt gemäß Patentanspruch 9 und ein mobiles Endgerät gemäß Patentanspruch 10 ge- löst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.

Auch bei dem erfindungsgemäßen Verfahren wird in an sich bekannter Wei- se eine automatische Handschrifterkennung zum Erkennen eines Zeichens genutzt, welches von einem Benutzer mit einem Eingabeelement, also beispielsweise seinem Finger oder auch einem Zeicheninstrument, handschriftlich gezeichnet wurde. Die Zeichenspur stellt dabei in der gewohnten Weise eines oder mehrere Zeichen als zweidimensionales, also flaches Abbild dar, wie es der Benutzer gezeichnet hat. Durch eine Zeichenerkennungseinrichtung wird dann in bekannter Weise in Abhängigkeit von der 2D-Zeichenspur zumindest ein erkanntes Zeichen erzeugt, d.h. also z.B. an einem Ausgang ausgegeben, und die erkannten Zeichen als Zeicheneingabe dem zu bedienenden Gerät bereitgestellt. Die Texteingabe ist per Geste ohne Berührung eines Eingabeelements möglich. Hierzu wird gemäß dem Verfahren durch eine Sensoreinrichtung eine 3D-Bewegungstrajektorie (Bewegungsbahn) des Eingabeelements in einem vorbestimmten Raumbereich erfasst. Bei der 3D- Bewegungstrajektorie können sich die Koordinaten der Punkte, aus denen sich die Beweg ungstrajektorie zusammensetzt, in alle drei Raumrichtungen unterscheiden. Es handelt sich also um ein dreidimensionales Gebilde. Durch die Sensoreinrichtung wird die erfasste 3D-Bewegungstrajektorie dann auf eine zweidimensionale Projektionsebene projiziert und die Projektion der 3D-Bewegungstrajektorie als die 2D-Zeichenspur an die Zeichenerkennungseinrichtung übertragen.

Bei dem erfindungsgemäßen Verfahren wird die 3D-Bewegungstrajektorie nun mit einer TOF-Kamera (TOF - Time of Flight) und aus einer Blickrichtung erfasst, deren Richtungsvektor in der Projektionsebene liegt oder parallel zu ihr oder in einem spitzen Winkel kleiner als 45° zur Projektionsebene, bevorzugt kleiner als 30°, angeordnet ist. Mit anderen Worten beobachtet die TOF-Kamera also beispielsweise den zeichnenden Finger des Benutzers z.B. von oben oder unten, während der Benutzer die Zeichen aufrecht im Raum zeichnet. Bei dieser Anordnung ergibt sich der Vorteil, dass die TOF- Kamera sehr unauffällig in einer Umgebung der Bedienperson angeordnet sein kann. Sie muss sich nicht vor dem Benutzer befinden. Insbesondere in einem Kraftfahrzeug hat es sich als günstig erwiesen, die 3D-Kamera beispielsweise im Dachhimmel des Kraftfahrzeugs anzuordnen und den Fahrer von oben herab mittels der 3D-Kamera abzubilden. Indem die so gezeichnete 3D-Bewegungstrajektorie durch eine TOF-Kamera erfasst wird, muss die Person nicht darauf achten, in welchem Winkel zu der 3D-Kamera sie die Bewegung ausführt. Wie versuche zeigen, erfolgt das Erfassen der 3D- Bewegungstrajektorie mittels der TOF-Kamera in alle drei Raumrichtungen mit ausreichender Zuverlässigkeit.

Es kann bei der Erfindung auch vorgesehen sein, dass eine TOF-Kamera Bestandteil einer Stereo-Kameraanordnung ist. Hierdurch wird in vorteilhafter Weise der für TOF-Kameras bekannte Abschattungseffekt vermieden, der sich ergibt, wenn die TOF-Kamera ein frei im Raum befindliches Objekt nur von einer Seite erfasst und hierdurch die Tiefenabmessungen des Objekts entlang der optischen Achse der TOF-Kamera nicht erfasst werden können. Eine andere Möglichkeit zur Kompensation einer Abschattung ist durch ein Handmodell gegeben, wie es z.B. von dem Produkt„Kinect" ® des Unternehmens Microsoft ® bekannt ist.

Ein weiterer Vorteil ergibt sich, wenn eine Neigung der Projektionsebene im Raum an die jeweils erfasste 3D-Bewegungstrajektorie angepasst wird. Hierzu wird dann eine Hülle der 3D-Bewegungstrajektorie ermittelt. Beispielsweise können hierzu Abmessungen der Kanten eines virtuellen Quaders ermit- telt werden, welcher die 3D-Bewegungstrajektorie vollständig umfasst (einhüllt) und aus welchem bei Verringerung der Abmessung einer der Kanten die 3D-Bewegungstrajektorie aus dem Quader aber herausstehen würde. Es wird dann diejenige Ausdehnungsrichtung ermittelt, entlang welcher die Hülle eine geringste Ausdehnung aufweist und die Projektionsebene senkrecht zu dieser Ausdehnungsrichtung angeordnet. Die Ausdehnungsrichtung kann auch beispielsweise mittels einer Hauptkomponentenanalyse (PCA - Principle Component Analysis) der Koordinaten der die 3D- Bewegungstrajektorie beschreibenden Punkte ermittelt werden. Durch Ausrichten der Projektionsebene ergibt sich der Vorteil, dass die Zeichenerken- nungseinrichtung besonders zuverlässig eine 2D-Zeichenspur erkennen kann.

Ein weiterer Vorteil ergibt sich, wenn für jeweils einen Erkennungsvorgang die Erfassung der 3D-Bewegungstrajektorie begonnen wird, falls durch die Sensoreinrichtung erkannt wird, dass das Eingabeelement in den genannten Raumbereich eindringt, und die Erfassung wieder beendet wird, falls durch die Sensoreinrichtung erkannt wird, dass das Eingabeelement den Raumbereich wieder verlässt. Hierzu kann beispielsweise der Raumbereich als ein quaderförmiges Volumen im Raum definiert sein. Anhand der Koordinaten des Eingabeelements, also beispielsweise einer Fingerspitze, kann dann überprüft werden, ob sich die Fingerspitze innerhalb dieses Quaders befindet oder nicht. Der Benutzer kann dann durch Eintauchen seiner Fingerspitze in das Volumen die Erkennung einer 3D-Bewegungstrajektorie starten und durch Zurückziehen seiner Hand aus dem Volumen dann den Erkennungsvorgang beenden.

Eine andere Möglichkeit, um zuverlässig zwischen einerseits einem Eingabevorgang und andererseits einer Handbewegung, die keine Eingabe bewir- ken soll, unterscheiden zu können, wird gemäß einer Ausführungsform des Verfahrens erreicht, indem die 3D-Bewegungstrajektorie in dem Raumbereich nur erfasst wird, falls durch die Sensoreinrichtung erkannt wird, dass sich eine Hand des Benutzers zumindest teilweise in dem Raumbereich befindet und zumindest ein Finger der Hand eine jeweils vorbestimmte Finger- Stellung aufweist. Mit anderen Worten wird die Erfassung der 3D- Bewegungstrajektorie nur ausgelöst, wenn der Benutzer beim Zeichnen mit der Hand eine bestimmte Fingergeste ausführt.

Wie bereits ausgeführt, gehört zu der Erfindung auch ein Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug weist eine Bedienschnittstelle mit einer Zeichenerkennungseinrichtung, also einer automatischen Handschrifterkennung, für eine handschriftliche Zeicheneingabe in eine Komponente des Kraftfahrzeugs auf. Bei der Komponente kann es sich beispielsweise um ein Navigationsgerät oder ein Infotainmentsystem handeln. Bei der Zeichener- kennungseinrichtung kann es sich um eine an sich bekannte Ausführungsform für eine 2D-Zeichenspurerkennung handeln. Das erfindungsgemäße Kraftfahrzeug zeichnet sich dadurch aus, dass bei der Bedienschnittstelle eine TOF-Kamera für die handschriftliche Zeicheneingabe bereitgestellt ist und die Bedienschnittstelle dazu ausgelegt ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.

Die Kamera ist bevorzugt in einem Dachhimmel des Kraftfahrzeugs angeordnet. Wie bereits beschrieben, ergeben sich hierdurch keine Nachteile bei der Erfassung einer 2D-Zeichenspur für die Zeichenerkennungseinrichtung, wenn das erfindungsgemäße Verfahren genutzt wird. Zudem ergeben sich Vorteile durch die uneingeschränkt freie Sichtbarkeit der Hand, da sich über der Hand in der Regel keine Objekte befinden können. Die berührungslose Texteingabe kann auf der Grundlage der Erfindung aber nicht nur in einem Kraftfahrzeug, sondern auch in einem mobilen Endgerät bereitgestellt werden, also etwa in einem Smartphone oder einem Tablet-PC. Um ein herkömmliches mobiles Endgerät nachrüsten zu können, damit es das erfindungsgemäß Verfahren durchführen kann, ist Bestandteil der Erfindung auch ein Computerprogrammprodukt mit einem auf zumindest einem Speichermedium gespeicherten Programm, welches dazu ausgelegt ist, beim Ausführen des Programms durch eine Prozessoreinrichtung des mobilen Endgeräts auf der Grundlage von Kameradaten einer Kamera des mobi- len Endgeräts eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.

Zu der Erfindung gehört schließlich auch ein mobiles Endgerät, welches eine Ausführungsform des erfindungsgemäßen Computerprogrammprodukts auf- weist. Mit anderen Worten lässt sich das mobile Endgerät in der Weise betreiben, dass berührungslos eine handschriftliche Zeicheneingabe ermöglicht ist.

Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausfüh- rungsbeispiels erläutert. Hierzu zeigt:

Fig. 1 ein Blockschaltbild zu einer optischen Sensoreinrichtung, die in einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs eingebaut sein kann, und

Fig. 2 eine Skizze zu einem Bedienvorgang, wie er einer Bedienperson auf der Grundlage einer Ausführungsform des erfindungsgemäßen Verfahrens ermöglicht wird. Die gezeigten Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar.

In Fig. 1 sind von einem Kraftwagen, beispielsweise einem Personenkraftwagen, eine optische Sensoreinrichtung 10 und eine Wiedereingabeeinrich- tung 12 gezeigt. Bei der Wiedergabeeinrichtung 12 kann es sich beispielsweise um ein Infotainmentsystem, ein Audiosystem, ein Navigationssystem, ein Fernsehsystem, ein Telefon, ein Kombiinstrument oder ein Head-up- Display handeln. Die Sensoreinrichtung 10 umfasst eine Messeinrichtung 14 und eine Berechnungseinheit 16. Die Messeinrichtung 14 umfasst einen op- tischen Sensor 18, der beispielsweise eine TOF-Kamera oder PMD-Kamera (PMD - Photonenmischdetektor) sein kann. Es kann sich bei dem optischen Sensor 18 auch beispielsweise um eine Stereoanordnung handeln. In dem in Fig. 1 gezeigten Beispiel ist davon ausgegangen, dass es sich bei dem opti- sehen Sensor 18 um eine PMD-Kamera handelt. Der optische Sensor 18 kann beispielsweise in einem Dachhimmel des Kraftfahrzeugs angeordnet sein.

Der optische Sensor 18 kann in an sich bekannter Weise ausgestaltet sein, d.h. eine Leuchtquelle 20, z.B. eine Infrarotleuchte, beleuchtet einen Erfassungsbereich 22, beispielsweise einen Raum über einer Mittelkonsole des Kraftfahrzeugs. Befindet sich darin ein Objekt, beispielsweise einer Hand 24 des Fahrers des Kraftfahrzeugs, so wird die von der Leuchtquelle 20 ausgestrahlte elektromagnetische Strahlung von der Hand 24 zu einem Sensorar- ray 26 zurückgeworfen. Mittels des Sensorarrays 26 können dann 3D- Bilddaten erzeugt werden, welche 3D-Koordinaten zu einzelnen Flächenelementen der Hand 24 angeben. Die 3D-Bilddaten werden von der Messeinrichtung 14 an die Berechnungseinheit 16 übertragen. Bei der Berechnungseinheit 16 kann es sich beispielsweise um ein Steuergerät des Kraftfahrzeugs handeln. In der Berechnungseinheit 16 werden die Signale ausgewertet und dann dem Fahrzeug die ausgewerteten Daten zur Verfügung gestellt, indem sie beispielsweise an die Wiedergabeeinrichtung 12 übertragen werden. Durch die Berechnungseinheit 16 können Gliedma- ßen, wie beispielsweise eine Hand, aus den 3D-Bilddaten segmentiert werden, wodurch beispielsweise die Position einer Fingerspitze in dem Erfassungsbereich 22 ermittelt werden kann. Hier können an sich bekannte Segmentierungsalgorithmen zugrunde gelegt werden. Durch die 3D-Bilddaten des Sensorarrays 26 des optischen Sensors 8 kann auch eine Sequenz von aufeinander folgenden 3D-Bildern repräsentiert sein, d.h. mit dem optischen Sensor 18 können auch Bewegungen der Hand 24 erfasst werden. Durch Verfolgen der Trajektorie beispielsweise der Fingerspitze in dieser 3D-Bildsequenz, insbesondere durch Verfolgen der Position und der Geschwindigkeit der Fingerspitze, kann so eine mit der Fingerspitze angedeutete Bewegungsgeste aus der Trajektorie extrapoliert werden.

In Fig. 2 ist ein Innenraum 28 eines Kraftfahrzeugs, beispielsweise eines Personenkraftwagens, dargestellt. Gezeigt sind eine Mittelkonsole 30 mit einem Gangwahlhebel 32 und ein Armaturenbrett 34. Ein Fahrer kann mit seiner Hand 24 in einem Raumbereich über der Mittelkonsole 30 frei im Raum zeichnen und so beispielsweise einen Ortsnamen für eine Auswahl eines Navigationsziels in der Wiedergabeeinrichtung 12 festlegen, die in die- sem Fall ein Navigationsgerät oder ein Navigationsmodul in einem Infotainmentsystem sein kann. Er kann sich dabei voll auf den Verkehr konzentrieren, d.h. er ist nicht von seiner Fahraufgabe abgelenkt. Die Zeicheneingabe erfordert auch keine elektrische Auswerteeinheiten für Tasten oder ein Touchpad.

Die berührungslose automatische Zeichenerkennung wird mittels der optischen Sensoreinrichtung 10 bereitgestellt, welche eine Bedienschnittstelle für die Wiedergabeeinheit 12 darstellt. Der optische Sensor 26 der Sensoreinrichtung 14 kann hierzu beispielsweise in einem Dachhimmel über der Mittelkonsole 30 angeordnet sein. Eine optische Achse einer Kamera des optischen Sensors kann senkrecht oder schrägt nach unten weisen. Ein Richtungsvektor V der optischen Achse ist in Fig. 2 dargestellt.

Der optische Sensor 26 filmt den Innenraum 28 über der Mittelkonsole 30. Aus den so erzeugten 3D-Bilddaten extrahiert die Berechnungseinheit 16 die zur Hand 24 gehörenden Bildinformationen und ermittelt so eine Position P der Fingerspitze der Hand 24. Bei der Position P der Fingerspitze handelt es sich um ein Merkmal, welches durch die Berechnungseinheit 16 über der Zeit verfolgt wird. Der Fahrer hat in dem Beispiel bei ausgestrecktem Finger mit seiner Fingerspitze den Buchstaben A in der Luft gezeichnet. Die Position P der Fingerspitze hat hierdurch eine Trajektorie 36 beschrieben, die von der Berechnungseinheit 16 anhand der 3D-Bilddaten der Sensoreinheit 14 er- fasst worden ist. Durch die Berechnungseinheit wird hierbei überwacht, ob sich die Position P innerhalb eines vorbestimmten Raumbereichs 38 befin- det. Der Raumbereich 38 kann beispielsweise durch Koordinaten seiner Ecken und Kanten in einem Koordinatensystem 40 beschrieben sein. In dem gezeigten Beispiel ist vorgesehen, dass derjenige Teil der Trajektorie 36, welcher sich innerhalb des Raumbereichs 38 befindet, für die Zeichenerkennung verwendet wird. Durch die Berechnungseinheit 16 wird hierbei ein Ein- trittspunkt 40 der Trajektorie 36 und ein Austrittspunkt 42 aus dem Raumbereich 38 beispielsweise durch einen Koordinatenvergleich erkannt. Der innerhalb des Raumbereichs 38 befindliche Anteil der Trajektorie 36 bildet eine 3D-Bewegungstrajektorie 44, auf deren Grundlage die Zeichenerkennung erfolgt. Die 3D-Bewegungstrajektorie 44 wird auf eine Projektionsebene 46 durch die Berechnungseinheit 16 projiziert. Dies findet rechentechnisch innerhalb der Berechnungseinheit 16 statt und ist in Fig. 2 nur der Anschaulichkeit halber auch für den Raumbereich 28 dargestellt. Der Richtungsvektor V der optischen Achse kann in der Projektionsebene 46 oder parallel verschoben zu der Projektionsebene 46 ausgerichtet sein. Ein von dem Richtungsvektor V und der Projektionsebene 46 eingeschlossener Winkel kann auch einen Wert zwischen 0° und 45° aufweisen. In dem in Fig. 2 gezeigten Beispiel handelt es sich bei der Projektionsebene 46 um die y-z-Ebene eines Koordinatensystems K, wie sie auch durch die Fahrzeug-Hochachse und die Fahrzeug- Querachse definiert ist. Eine Ausrichtung der Projektionsebene 46 im Raum kann auch abhängig von der 3D-Bewegungstrajektorie 44 eingestellt werden. Die Projektion der 3D-Bewegungstrajektorie 44 auf die Projektionsebene 46 ergibt eine 2D-Zeichenspur 48, welche einer in der Berechnungseinheit 16 realisierten, sich aus dem Stand der Technik bekannten 2D- Handschrifterkennung zugeführt wird. Durch die Handschrifterkennung wird die 2D-Zeichenspur 48 in an sich bekannter Weise einem erkannten Zeichen 50, hier dem richtig erkannten Buchstaben A, zugeordnet. Das erkannte Zeichen 50 wird dann als Zeicheneingabe an die Wiedergabeeinrichtung 12 ausgegeben.

Durch das Beispiel ist gezeigt, wie durch die physikalisch einwandfreie Ort- barkeit des Insassen durch eine TOF-Kamera bzw. von Körperteilen des Insassen bestimmte Merkmale verfolgt (getrackt) werden können und die hierdurch erhaltene Trajektorie ausgewertet werden kann. Um Texte in ein System des Kraftfahrzeugs eingeben zu können, kann beispielsweise die Spitze des ausgestreckten Fingers verfolgt werden. Die y-z-Ebene der Trajektorie spiegelt dann den gemalten Buchstaben wider.