VERFAHREN ZUM BETREIBEN EINER EINGABEVORRICHTUNG, EINGABEVORRICHTUNG

Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung, insbesondere eines Kraftfahrzeugs, die wenigstens einen Kamerasensor zum berührungsfreien Erfassen der Position und/oder Positionsänderung zumindest eines Fingers einer Hand eines Benutzers aufweist, wobei in Abhängigkeit von der er assten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese ausgeführt wird.

Ferner betrifft die Erfindung eine Eingabevorrichtung mit einer derartigen Vorrichtung sowie ein Kraftfahrzeug

Stand der Technik

Bei heutigen Kraftfahrzeugen werden Bedienkonzepte eingesetzt, bei denen eine Eingabevorrichtung und eine Anzeigevorrichtung nah beieinander angeordnet sind. Üblicherweise werden hierzu sogenannte berührungsempfindliche

Bildschirme beziehungsweise Touchscreens vorgesehen, bei denen Bedienung und Anzeige an der gleichen Stelle erfolgen. Häufig werden

Anzeigevorrichtungen im oberen Bereich einer Bedienkonsole oder eines Armaturenbretts des Kraftfahrzeugs angebracht, damit der Fahrer zum Ablesen seinen Blick nicht zu stark von dem Verkehrsgeschehen abwenden muss.

In anderen Fahrzeugen befinden sich ein Touchpad, also ein

berührungsempfindlicher Sensor, im Bereich der Armauflage des Fahrers, und die Anzeigevorrichtung an gewohnter Stelle im Bereich des Armaturenbretts. Eine visuelle Rückmeldung an den Fahrer bei der Bedienung des Sensors kann dabei in Form von einer angedeuteten durchsichtigen Hand, die durch die Anzeigevorrichtung dargestellt wird, erfolgen. Dadurch kann der Fahrer bequem die Eingabevorrichtung betätigen, während ihm die Anzeige weiterhin in einem vorteilhaften Blickwinkel präsentiert wird. In diesem Fall ist es auch denkbar, die Anzeigevorrichtung nicht als Bildschirm, sondern als Head-Up-Display auszubilden. Während klassische berührungsempfindliche Sensoren

beziehungsweise Touchpads eine Berührung durch den Benutzer zu ihrer Bedienung benötigen, sind auch Eingabevorrichtungen bekannt, die

berührungsfrei Eingaben erkennen beziehungsweise registrieren. Dabei werden beispielsweise mithilfe von Tiefensensoren die Positionen von Hand, Fingern und/oder Arm eines Benutzers im Raum erkannt und für eine Gestikbedienung ausgewertet. Für Fingergesten ist eine hohe Auflösung erforderlich, die mit Sensoren, wie beispielsweise Time-of-Flight-Sensoren, mit Stereokameras, strukturiertem Licht oder ähnlichem erreicht werden kann. Für Hand- oder Körpergesten können auch Sensoren mit einer geringeren Auflösung eingesetzt werden, wie beispielsweise Radarsensoren. Durch einen oder mehrere Sensoren wird also die Position oder Positionsänderung der Hand eines Benutzers erfasst, wobei in Abhängigkeit der erfassten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese durchgeführt wird. Dies wird beispielsweise in der Offenlegungsschrift DE 20 2012 005 255 Ul bereits beschrieben. Der Benutzer zeigt somit mit einer Bewegung seiner Hand beziehungsweise mit zumindest einem Finger seiner Hand der Eingabevorrichtung an, welche Eingabe er vornehmen möchte. Die Eingabevorrichtung erkennt anhand der

Fingerbewegung die gewünschte Eingabe und führt diese aus, indem sie den durch die Bewegung vorgegebenen Befehl umsetzt und beispielsweise einen Betriebsparameter des Kraftfahrzeugs verändert. So kann beispielsweise in Abhängigkeit von der Position und Positionsänderung eines Fingers des

Benutzers auf die Eingabe„Lautstärke erhöhen" erkannt und von der

Eingabevorrichtung ausgeführt werden, indem sie die Lautstärke, beispielsweise eines Unterhaltungssystems des Kraftfahrzeugs, erhöht.

Offenbarung der Erfindung

Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass auf einfache Art und Weise zwischen einer gewünschten Eingabe und einer Rückholbewegung unterschieden werden kann. Bei im Raum durchgeführten Handbewegungen tritt das Problem auf, dass die Ausführung einer beabsichtigten Handbewegung im Allgemeinen mit einer notwendigen Rückführbewegung verknüpft ist. Aufgrund der Ähnlichkeit der Bewegungen ist es schwierig, die vom Benutzer beabsichtigte Geste korrekt zu erkennen.

Insbesondere dann, wenn nur ein Kamerasensor, insbesondere eine Mono¬

Kamera, die keine Tiefeninformationen liefert, zur Erfassung der Handbewegung verwendet wird, ist es nicht möglich, eine virtuelle Ebene im Raum zu definieren, in Bezug auf welche die Handbewegung des Benutzers ausgewertet werden könnte. Durch das erfindungsgemäße Verfahren wird durch Bildauswertung auch nur eines Kamerasensors, der als Mono-Kamera ausgebildet ist, das

Unterscheiden zwischen einer gewollten Eingabe und einer Rückholbewegung der Hand gewährleistet. Hierzu ist erfindungsgemäß vorgesehen, dass, wenn eine Hand mit zumindest im Wesentlichen flach ausgestreckten Fingern erfasst wird, eine Handinnenfläche ermittelt wird, und dass nur dann auf eine Eingabe erkannt wird, wenn die Hand in Richtung der Handinnenfläche bewegt wird. Es ist also vorgesehen, dass zunächst aus dem von dem Kamerasensor erfassten Bild eine Handinnenfläche der Kamera ermittelt und anschließend eine

Bewegung der Hand mit der Ausrichtung der Handinnenfläche zur Hand verglichen wird. Erst dann, wenn die Hand in Richtung der Handinnenfläche bewegt wird, wird auf eine Eingabe erkannt. Wird die Hand in die

entgegengesetzte Richtung bewegt, also in die Richtung der Handrückseite, so wird auf eine Rückholbewegung erkannt, die nicht als Eingabe gewertet und somit bei der Auswertung der Handbewegung ignoriert wird. Dem Benutzer ist es somit durch das vorteilhafte Verfahren möglich, eindeutige Wischgesten mit der Hand im Erfassungsbereich des Kamerasensors durchzuführen.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Handinnenseite in Abhängigkeit von einer Ausrichtung des Daumens der Hand zu den Fingern der Hand ermittelt wird. Bei der Bildauswertung des von dem Kamerasensors zur Verfügung gestellten Bildes, werden somit zunächst bevorzugt einzelne Bestandteile der Hand ermittelt und gegebenenfalls gekennzeichnet. Insbesondere wird der Daumen der Hand ermittelt. In

Abhängigkeit des Daumens und dessen Ausrichtung zur Hand kann die

Ausrichtung der Hand im Erfassungsbereich des Sensors bestimmt werden, wird beispielsweise davon ausgegangen, dass es sich bei der Hand um die rechte Hand des Benutzers handelt, und wird die Hand von oben durch den

Kamerasensor erfasst, so wird darauf erkannt, dass die Handinnenfläche links liegt, wenn die Hand vertikal ausgerichtet ist und der Daumen nach oben weist, dass die Handinnenfläche rechts liegt, wenn die Hand vertikal ausgerichtet ist und der Daumen nicht erkennbar ist, dass die Handinnenfläche nach oben ausgerichtet ist, wenn die Hand horizontal ausgerichtet ist und der Daumen nach rechts weist, und dass die Handinnenfläche nach unten ausgerichtet ist, wenn die Hand horizontal ausgerichtet ist und der Daumen nach links weist. Auf die vertikale oder horizontale Anordnung der Hand wird insbesondere in

Abhängigkeit von der Anordnung der Fingerspitzen der Hand geschlossen. In einer vertikalen Ausrichtung der Hand liegen die Fingerspitzen in dem oben genannten Ausführungsbeispiel untereinander, während sie bei einer horizontalen Anordnung nebeneinander liegen. Dies kann durch die

Bildauswertung auf einfache Art und Weise ermittelt werden. Durch das beschriebene Vorgehen ist es somit möglich, die Ausrichtung der Hand und damit die Lage der Handinnenseite auf einfache Art und Weise zu bestimmen.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass auf die Eingabe nur dann erkannt wird, wenn der Daumen ausgestreckt ist. Bei der Erkennung der Eingabe wird hierbei also vorausgesetzt, dass der Daumen von der Hand abgespreizt, also ausgestreckt ist. Dadurch können beispielsweise Wischgesten von zufällig im Erfassungsbereich des Kamerasensors

durchgeführten Handbewegungen unterschieden werden, sodass eine

Fehlbedienung der Bedienungseinrichtung durch den Benutzer vermieden wird. Insbesondere ist vorgesehen, dass eine Aktivierung der Gestenerfassung durch die Eingabevorrichtung dadurch erfolgt, dass der Benutzer seine Hand in den Erfassungsbereich des Kamerasensors einführt und den Daumen abspreizt. Ist die Hand in dem Erfassungsbereich des Sensors horizontal ausgerichtet beziehungsweise liegen die Fingerspitzen aus Richtung des Kamerasensors gesehen hintereinander, so kann auf das Ausgestrecktsein des Daumens in Abhängigkeit von der Position der Daumenspitze zur Hand und insbesondere zu den übrigen Fingern der Hand und/oder in Abhängigkeit von einer erfassten Bewegung der Daumenspitze, die zu einer Verkürzung des erfassten Daumens in der Draufsicht auf den Daumen führt, geschlossen werden. Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Handinnenfläche in Abhängigkeit von der Sichtbarkeit von Fingernägeln der Hand ermittelt wird. Bei dieser Ausführungsform ist vorgesehen, dass bei der Bildauswertung Fingernägel der Hand ausfindig gemacht werden. Aufgrund typischer Konturverläufe von Fingernägeln an den Fingern lassen sich diese einfach erfassen und deren Position bestimmen. Ist die Hand vertikal

ausgerichtet, sodass die Fingerspitzen aus Sicht des Sensors hintereinander liegen, so kann aufgrund der Anordnung der Fingernägel bezüglich der Finger auf die Ausrichtung der Handinnenfläche geschlossen werden. Insbesondere ist vorgesehen, dass die Anordnung oder Ausrichtung der Handinnenfläche auf der den Fingernägeln gegenüberliegenden Seite der Hand verortet wird. Ist die Hand horizontal ausgerichtet, sodass die Fingerspitzen im Bild des Kamerasensors nebeneinander liegen, so wird darauf erkannt, dass die Handinnenfläche von dem Sensor weg weist, wenn die Fingernägel der Finger erfasst werden, und auf den Sensor zuweist, wenn keine Fingernägel erfasst werden können.

Weiterhin ist bevorzugt vorgesehen, dass auf die Eingabe nur dann erkannt wird, wenn die Finger der Hand in einer Ebene aufgespreizt sind oder werden. Durch das Aufspreizen der Finger der Hand in einer Ebene, sodass die Fingerspitzen beabstandet zueinander liegen, erleichtert das Erkennen einzelner Finger bei der

Bildauswertung, sodass die Auswertung der Handbewegung erleichtert wird. Darüber hinaus wird hierdurch, wie auch schon bei der zuvor beschriebenen Ausführungsform bezüglich des ausgestreckten Daumens, eine Möglichkeit geboten, die die Unterscheidung von im Erfassungsbereich des Kamerasensors durchgeführten Wischgesten, also gewollten Handbewegungen zur Eingabe, von zufällig im Erfassungsbereich ausgeführten Handbewegungen ermöglichen.

Gemäß einer vorteilhaften Weiterbildung ist außerdem vorgesehen, dass auf eine Eingabe nur dann erkannt wird, wenn die Hand aus einer

vorgegebenen/vorgebbaren Eintrittsrichtung in den Erfassungsbereich des

Kamerasensors geführt ist beziehungsweise geführt wird. Hierdurch wird die Möglichkeit geboten, dass erkannt wird, ob eine im Erfassungsbereich des Sensors durchgeführte Bewegung, insbesondere von einem Fahrer des

Fahrzeugs oder von einem Beifahrer desselben Fahrzeugs durchgeführt wird. Dadurch kann vermieden werden, dass vom Beifahrer durchgeführte Handbewegungen im Erfassungsbereich des Kamerasensors als Eingabe gewertet werden. So ist beispielsweise vorgesehen, dass nur dann auf eine Eingabe erkannt wird, wenn die Hand von der Fahrerseite aus in den

Erfassungsbereich des Kamerasensors eingeführt wurde.

Die erfindungsgemäße Vorrichtung mit den Merkmalen des Anspruchs 7 zeichnet sich durch ein Steuergerät aus, das bei bestimmungsgemäßem Gebrauch das erfindungsgemäße Verfahren durchführt. Es ergeben sich hierdurch die bereits genannten Vorteile.

Die erfindungsgemäße Eingabevorrichtung mit den Merkmalen des Anspruchs 8 zeichnet sich durch die erfindungsgemäße Vorrichtung aus, wodurch sich die bereits genannten Vorteile ergeben.

Das erfindungsgemäße Kraftfahrzeug mit den Merkmalen des Anspruchs 9 zeichnet sich durch erfindungsgemäße Eingabevorrichtung aus. Hierdurch ergeben sich die zuvor bereits genannten Vorteile. Insbesondere wird dem Fahrer des Kraftfahrzeugs die Möglichkeit geboten, auf einfache Art und Weise Wischgesten zur Bedienung des Kraftfahrzeugs durchzuführen, wobei die Eingabevorrichtung zwischen gewünschten Handbewegungen und

Rückholbewegungen unterscheidet. Weitere Merkmale und Vorteile ergeben sich aus dem zuvor Beschriebenen sowie aus den Ansprüchen.

Im Folgenden soll die Erfindung anhand der Zeichnung näher erläutert werden. Dazu zeigen

Figur 1 den Innenraum eines Kraftfahrzeugs mit einer

vorteilhaften Eingabevorrichtung und

Figuren 2A bis 2D beispielhafte Eingabe, die von der Eingabevorrichtung erkannt werden.

Figur 1 zeigt eine schematische Darstellung des Innenraums eines hier nicht näher dargestellten Kraftfahrzeugs 1, welches eine Eingabevorrichtung 2 zum berührungslosen Eingeben von Steuerbefehlen aufweist. Die Eingabevorrichtung weist hierzu einen berührungsfrei arbeitenden Sensor 3 sowie eine

Anzeigeeinheit 4 auf. Die Anzeigeeinheit 4 ist in das Armaturenbrett

beziehungsweise in die Bedienkonsole des Kraftfahrzeugs 1 eingebracht angeordnet. Die Anzeigeeinheit 4 ist als Bildschirm, insbesondere Display, ausgebildet und kann beispielsweise Bestandteil eines Navigationssystems oder eines Entertainmentsystems des Kraftfahrzeugs 1 sein. Auch ist es denkbar, die Anzeigeeinheit 4 alternativ oder zusätzlich als Head-Up-Display (HU D) auszubilden. Der berührungsfrei arbeitende Sensor 3 ist bevorzugt als zweidimensional arbeitende Videokamera beziehungsweise Kameraeinrichtung ausgebildet, die den mit gestrichelten Linien dargestellten Erfassungsbereich aufweist. Die Videokamera ist dabei bevorzugt derart ausgerichtet, dass sie auf das frontseitige Ende einer mittleren Armauflage 5 des Kraftfahrzeugs 1 weist. Die Armauflage 5 weist selbst keine reale Eingabeoberfläche auf, auf welcher ein Fahrer mittels einer hier nur schematisch dargestellten Hand 6 durch Berührung der Eingabeoberfläche einen Befehl eingeben könnte.

Die Eingabevorrichtung 2 ist stattdessen dazu ausgebildet, eine Position und/oder Positionsänderung zumindest eines Fingers der Hand 6 im Raum zu erfassen und in Abhängigkeit davon auf eine Eingabe zu erkennen und diese auszuführen. Hierzu ist vorgesehen, dass die Eingabevorrichtung 2 ein

Steuergerät 8 aufweist, welches die von dem Kamerasensor 3 erfassten Daten auswertet und auf eine Eingabe des Fahrers nur unter bestimmten

Voraussetzungen, die im Folgenden erörtert werden sollen, erkennt und entsprechend ausführt.

Es ist dabei vorgesehen, dass die Hand 6 des Fahrers in dem Erfassungsbereich des Sensors 3 darauf überwacht wird, ob die Hand ausgestreckt ist, die Finger also im Wesentlichen in einer Ebene nebeneinander liegen, und ob der Fahrer mit der gesamten Hand 6 eine Bewegung in dem Erfassungsbereich 3 durchführt. Dabei ist vorliegend vorgesehen, dass die Eingabevorrichtung 2 bei erfassten Bewegungen der Hand 6 zwischen einer Eingabe und einer

Rückholbewegung unterscheidet.

Figuren 2A bis 2D zeigen hierzu unterschiedliche Ausführungsbeispiele von Handbewegungen, die als Eingaben erkannt werden. Dabei ist vorgesehen, dass nur dann auf eine Eingabe erkannt wird, wenn die Hand 6 des Benutzers in Richtung ihrer Handinnenfläche 9 bewegt wird, und dass auf ein

Rückholbewegung erkannt wird, wenn die Hand 6 in die entgegengesetzte Richtung bewegt wird.

Figur 2A zeigt hierzu in einem ersten Ausführungsbeispiel eine Hand 6 im

Erfassungsbereich des Kamerasensors 3, wobei die Figur 2A beispielsweise das von dem Kamerasensor erfasste Bild zeigt. Zunächst wird die Handkontur der Hand 6 durch digitale Bildauswertungsverfahren erfasst. Wie im Späteren näher erörtert, werden dazu beispielsweise eine Hintergrundmodellierung zur

Bestimmung des Hintergrund- und des Vordergrunds sowie eine

Handkonturberechnung durchgeführt, um Finger und Fingerspitzen der Hand 6 sowie deren Ausrichtung zu erfassen.

Zunächst wird die Hand 6 darauf geprüft, ob die Hand ausgestreckt ist, sodass die Finger 10, 11, 12, 13 der Hand 6 nebeneinander in einer Ebene liegend ausgerichtet sind, und ob der Daumen 14 ausgestreckt, also von der Hand 6 wegweisend ausgerichtet ist. Insbesondere erst dann, wenn erfasst wird, dass der Daumen 14 nicht an dem Finger 13 anliegt, sondern von diesem abgewinkelt ausgestreckt ist, wird die Eingabevorrichtung 2 zum Erfassen einer Eingabe aktiviert. Die Geste„geöffnete Hand mit ausgestreckten Daumen" wird somit als statische Geste nach kurzer Verweildauer im Erfassungsbereich des

Kamerasensors 3 erkannt, und aktiviert die Gestenerkennung der

Eingabevorrichtung 2. Der aktive Zustand wird dem Benutzer vorzugsweise akustisch oder optisch mitgeteilt.

Die Unterscheidung, ob der Benutzer eine Eingabe oder eine Rückholbewegung mit der Hand 6 durchführt, beruht auf der Erkennung der Handorientierung mit der Handinnenfläche 9 und der ausgeführten Bewegungsrichtung der Hand 6. Dabei ist vorgesehen, dass auf eine Eingabe nur dann erkannt wird, wenn der Benutzer seine Hand 6 in Richtung der Handinnenfläche 9 bewegt. In Figur 2A ist hierzu beispielhaft dargestellt, dass der Benutzer seine Hand 6 im

Erfassungsbereich des Kamerasensors 3 hält, den Daumen 14 abspreizt, die Gestenerkennung also aktiviert, und dann nach unten in Richtung des Pfeils 15 bewegt, sodass er die Hand 6 in Richtung der Handinnenfläche 9 bewegt. Figur 2B zeigt ein Ausführungsbeispiel, bei welchem der Benutzer im

Unterschied zum vorhergehenden Ausführungsbeispiel die Hand 6 nach oben in Richtung der Handinnenfläche bewegt, wie durch einen Pfeil 16 gezeigt. Figur 2C zeigt ein Ausführungsbeispiel, bei welchem der Benutzer seine Hand nach links in Richtung der Handinnenfläche 9 gemäß einem Pfeil 17 bewegt. Figur 2D zeigt ein Ausführungsbeispiel, bei welchem der Benutzer seine Hand 6 in Richtung eines Pfeils 18 nach rechts in Richtung der Handinnenfläche 9 bewegt. Die hier genannten Richtungsangaben oben, unten, links und rechts beziehen sich auf das von dem Kamerasensor erfasste Bild, wie es in den Figuren 2A bis 2D gezeigt ist. In jedem der Ausführungsbeispiele hat der Benutzer 6 seine Hand derart gedreht, dass er die Hand stets in Richtung seiner Handinnenfläche 9 bewegt. Somit werden diese Bewegungen stets als Eingabe erkannt. Würde der Benutzer seine Hand 6 jeweils in die entgegengesetzte Richtung bewegen, würde dies als Rückholbewegung bewertet werden.

Um die Ausrichtung der Handinnenfläche 9 in Bezug zu dem Kamerasensor 3 zu bestimmen, wird bei der Bildauswertung insbesondere die Ausrichtung und Position des Daumens 14 bezüglich der Hand 6 ermittelt. Dabei wird wie folgt vorgegangen: Eine Orientierung der Handinnenfläche 9 nach rechts entspricht einer vertikalen Anordnung der Fingerspitzen der Finger 10 bis 13, wie in Figur 2C und 2D gezeigt, mit einem nach oben weisenden Daumen 14, wie in Figur 2D gezeigt. Eine Orientierung der Handinnenfläche nach links, wie in Figur 2C gezeigt, entspricht einer linearen und vertikalen Anordnung der Fingerspitzen der Finger 10 bis 13 mit einem nach unten weisenden Daumen 14. Dass der

Daumen 14 nach unten weist kann auf einfache Art und Weise dadurch ermittelt werden, dass er durch den Kamerasensor 3 nicht erfassbar ist, weil er von den übrigen Fingern 10 bis 13 der Hand 6 verdeckt wird. Eine Orientierung der Handinnenfläche nach oben entspricht einer linearen horizontalen Anordnung der Fingerspitzen der Finger 10 bis 13, wie in Figur 2B gezeigt, wobei der Daumen nach links weist. Eine Orientierung der Handinnenfläche 9 nach unten, wie in Figur 2A gezeigt, entspricht einer linearen horizontalen Anordnung der

Fingerspitzen der Finger 10 bis 13, mit einem Daumen 14, der nach rechts weist. Unter Berücksichtigung des Daumens 14 lässt sich somit auf einfache Art und Weise die Ausrichtung der Handinnenfläche 9 bestimmen. Alternativ oder ergänzend wird vorteilhafterweise die Orientierung beziehungsweise Ausrichtung der Handinnenfläche 9 nach oben, unten, links und/oder rechts durch eine Erfassung und Auswertung der Lage von Fingernägeln der Hand 6 durchgeführt. Werden Fingernägel bei einer linearen horizontalen Anordnung der Finger beziehungsweise Fingerspitzen erkannt, wie in Figuren 2A gezeigt, ist die Hand nach unten orientiert, die Handinnenfläche 9 weist also nach unten. Werden die Fingernägel in dieser Stellung nicht erkannt, wird davon ausgegangen, dass die Hand 6 nach oben orientiert ist, die Handinnenfläche also nach oben weist, wie in Figur 2 B gezeigt. Entsprechend kann auch vorgegangen werden, wenn die Finger vertikal angeordnet sind, sodass sie aus Sicht des Kamerasensors 9 im Wesentlichen hintereinander liegen, wie in Figur 2C und 2D gezeigt. Werden dann Fingernägel auf der rechten Seite erkannt, wird bestimmt, dass die

Handinnenfläche 9 nach links weist, werden Fingernägel auf der linken Seite erkannt, wird bestimmt, dass die Handinnenfläche 9 nach rechts weist. Dies ist selbstverständlich nur dann möglich, wenn die Fingernägel durch den

Kamerasensor 3 erfasst werden.

Die Interpretation der Handbewegung als Geste beziehungsweise Eingabe basiert auf der Analyse der Bewegungsgeschwindigkeit und Bewegungsrichtung. Schwellwerte für die Erkennung einer beabsichtigten Eingabe können auf die Intensität des optischen Flusses, den die Hand im Kamerabild oder Videobild des Kamerasensors 3 generiert, oder auf den Bewegungsverlauf (linear, rudatorisch, Mindestbewegungsstrecke oder dergleichen), bezogen sein. Die Unterscheidung, ob die erfasste Hand zum Fahrer oder zum Beifahrer des Kraftfahrzeugs 1 gehört, wird vorteilhafterweise in Abhängigkeit der Eintrittsrichtung der Hand 6 in den Erfassungsbereich des Kamerasensors 3 erkannt. Dazu werden

vorteilhafterweise Bewegungsverlaufsdaten der Hand 6 genutzt, oder, bei ausreichend großem Erfassungsbereich des Kamerasensors 3, die relative Position weiterer Armmerkmale, wie beispielsweise des Ellenbogens des die Hand aufweisenden Arms.

Zur Erkennung der Handorientierung können unterschiedliche Verfahren herangezogen werden. Im Folgenden soll die Erfassung und Auswertung der Hand 6 gemäß einem ersten Ausführungsbeispiel erläutert werden: Zunächst erfolgt eine Hintergrundmodellierung nach Zivkovic, Zoran (Zivkovic, Zoran; „Improved Adaptive Gaussian Mixture Model for Background Substration", ICPR, 2004) des durch den Sensor 3 erfassten Bildes. Dadurch werden der Hintergrund und der Vordergrund voneinander getrennt. Als Hintergrund wird dabei das statische beziehungsweise sich nicht verändernde von dem Sensor 3 erfasste Bild in dem Kraftfahrzeug verstanden. Das statische Bild dient als Referenzbild, dass zu jedem Zeitpunkt einer Bildfolge von einem aktuell erfassten Bild abgezogen wird, so dass nur Bildelemente beziehungsweise Pixel im

resultierenden Differenzbild markiert sind, die sich vom vorher definierten/ erfassten statischen Hintergrundbild unterscheiden. Der Vordergrund ist die im Erfassungsbereich des Sensors 3 bewegte Hand 6 eines Benutzers, wie sie in Figur 1 beispielhaft dargestellt ist. Alternativ oder zusätzlich zu der Hintergrundmodellierung ist vorgesehen, dass eine Vordergrundmodellierung nach Dadgostar und Sarrafzadeh (Dadgostar, Farhad und Sarrafzadeh, Abdolhossein:„An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods" Pattern Recognition Letters, 2006, 1342-1352) durchgeführt wird, bei welcher relevante Vordergrundregionen für die Handerkennung durch spezielle

Hautfarbmodelle erfasst werden, wobei aufgrund des Farbunterschieds zwischen der Hand und dem Hintergrund die Hand erkannt wird.

Auf Basis der der durch die Vordergrund- und/oder Hinterdgrundmodellierung gewonnenen Daten wird eine Handkontur der Hand 6 ermittelt und insbesondere auch der Handkonturschwerpunkt berechnet. Vorteilhafterweise wird dazu eine Handkontursegmentierung nach Suzuki und Abe (Suzuki, S. und Abe, K.:

Topological Structural Analysis of Digitized Binary Images by Border Following." CVGIP, 1985, 32-46) durchgeführt. Anschließend werden Fingerspitzen der Hand 6 und damit einzelne Finger erkannt. Dies erfolgt vorzugsweise in

Abhängigkeit von den erfassten Krümmungen der Handkontur, wie

beispielsweise bei Malik (Malik, Shahzad:„Real-time Hand Tracking and Finger Tracking for Interaction", Toronto: CSC2503F Project Report, University of Toronto, 2003) beschrieben wurde. Alternativ kann auch eine Handmodellierung, wie sie von Liu und Lovell (Liu, Nianjun and Lovell, Brian C.„Hand Gesture Extraction by Active Shape Models", Proceedings of the Digital Image Computing on Techniques and Applications, 2005) beschrieben wurde durchgeführt werden, um sowohl die Hand als auch ihre Finger- und Fingerspitzen zu detektieren (Lee, J. und Kunii, T. L.:„Model-Based Analysis of Hand Posture", IEEE Computer Graphics and Applications, 1995, 77-86). Auf Basis der so bestimmten

Fingerspitzen werden erneut geschlossene Konturen, berechnet, wobei deren Schwerpunktzentren die Position der finalen Fingerspitze repräsentieren. Falls mehrere falsche Fingerspitzen durch eine Übersegmentierung detektiert wurden, werden diese anhand von geometrischen Heuristiken und des Abstands zum Handkonturschwerpunkt verworfen. Hierdurch lassen sich auf einfache Art und

Weise einzelne Fingerspitzen der Hand 6 ermitteln.

Sowohl die gesamte Hand 6 als auch deren Fingerspitzen können mit bekannten Trackingverfahren, wie sie beispielsweise von Do, Asfour und Dillmann (Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger:„Particle Filter-Based Fingertip

Tracking with Circular Hough Transform Features" MVA, 2011) beschrieben wurden, verfolgt werden. Die Erkennung statischer Zeigegesten kann durch standartisierte Klassifikationsverfahren und unabhängig zu jedem Bild einer Sequenz erfolgen, wie von Lockton und Fitzgibbon (Lockton, R. und Fitzgibbon, A. W.:„Real-time gesture recognition using deterministic boosting", BMVC, 2002) oder Nagi (Nagi, Jawad et al.„Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition" ICSIPA, 2011, 342-347) beschrieben. Probabilistische Sequenzmodellierungsverfahren erlauben sowohl die Erkennung einfacher statischer (Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann:„Gesture Recognition Using Image Comparision Methods",

International Workshop on Gesture in Human-Computer Interaction and

Simulation, 2005, 124-128) als auch komplexer dynamischer Handgesten (Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann.„Speech Recognition Techniques for a Sign Language Recogntion System", Interspeech, Antwerp, Belgium, 2007, 2513-2516), die nicht

notwendigerweise eine bereits segmentierte Handkontur als Eingabe erwarten, sondern mittels erscheinungsbasierter Merkmale auf dem gesamten Bild arbeiten. Ähnliche Verfahren, die auch angewendet können, basieren auf einer Analyse des optischen Flusses (Cutler, R. und Türk, M.:„View-Based

Interpretation on Real-Time Optical Flow for Gesture Recognition", IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998).

Die Erfassung des Daumens 14 wird vorteilhafterweise durch Vergleich geometrische Merkmale, wie beispielsweise der Richtung und Länge des

Daumens 14 im Vergleich zu den anderen erkannten Fingern 10 bis 13 durchgeführt. Das beschriebene Verfahren eignet sich insbesondere für

Wischgesten, die nach oben und unten durchgeführt werden, wie in Figuren 2A und 2B gezeigt, weil sich die Finger in dem Bild dazu nicht überlappen dürfen. Werden alle fünf Finger 10 bis 14 mit einem Mindestabstand zueinander vorgefunden, so gilt die Gestenerkennung als aktiviert. Alternativ kann auch vorgesehen sein, dass die Finger 10 bis 13 aneinander anliegen und nur der Daumen 14, wie zuvor bereits beschrieben abgespreizt ist. Die Position und Ausrichtung des Daumens 14 ist ausschlaggebend für die mögliche Eingabe, wie zuvor bereits erörtert. Erfolgt nun in Folgebildern eine Bewegung aller fünf

Fingerspitzen in die„erlaubte" Wischrichtung, wird dies als„zulässige" Eingabe erkannt. Erfolgt eine Bewegung aller fünf Fingerfingerspitzen in die

entgegengesetzte Richtung, so wird auf eine Rückholbewegung erkannt, die nicht als Eingabe gewertet wird.

Eine alternative oder zusätzliche Systemausprägung kann alle vier Richtungen erkennen und bietet dazu bevorzugt folgende Arbeitskette an: Zunächst wird in einem Trainingsstadium eine Aufnahme von einer großen Menge von

Trainingsdaten der vier möglichen beziehungsweise zugelassenen Wischgesten sowie anderer Bewegungen, die keine Gesten beziehungsweise Eingaben darstellen, aufgenommen. Anschließend erfolgt eine manuelle Klassifikation der aufgenommenen Trainingsdaten. Aus den aufgenommenen Trainingsdaten und der Klassifikation werden Merkmale herausgefiltert, die für die Wischgesten, die als Eingabe gewertet werden sollen, ausschlaggebend oder bestimmend sind. Diese Merkmale werden in einer Datenbank mit zugeordneten Objektklassen hinterlegt. Im Normalbetrieb der Eingabevorrichtung 2 erfolgt dann eine

Extraktion von Merkmalen aktuell erfasster Wischgesten im Erfassungsbereich des Kamerasensors 3. Die dann aktuell erfassten Merkmale werden mit den im der Datenbank hinterlegten Merkmalen verglichen, um auf eine Geste beziehungsweise Eingabe oder auf eine Rückholbewegung zu erkennen. Die gefundenen Übereinstimmungstreffer stellen dann Übereinstimmungen der Objektklassen dar.

Dabei sind vorteilhafterweise mehrere Ausprägungen möglich, die sich auf die Definition der unterschiedlichen Objektklassen beziehen. So können

beispielsweise Objektklassen auf Basis der Hand vorgesehen werden:

„Handfläche nach oben",„Handfläche nach unten",„Handfläche nach links", „Handfläche nach rechts". Dieser Ansatz ist sehr direkt, erfordert jedoch aufgrund der Vielzahl an möglichen Variationen in der Handhaltung einen großen

Trainingsdatensatz.

Alternativ können Objektklassen auf Basis der Fingerart bestimmt werden:

„Daumen",„kein Daumen". Bei diesem Ansatz wird nicht die gesamte Hand als Objekt betrachtet. Vielmehr wird bei dem Training jeder Finger einzeln markiert und einer der beiden Klassen zugeordnet. Bei diesem Ansatz ergibt sich die

Aktivierung und mögliche Wischgeste/Eingabe nicht direkt aus der Objektklasse. Stattdessen muss ähnlich zu der Erkennung basierend auf der Handkontur anhand von Vorhandensein und geometrischer Konstellation der erkannten Fingerspitzen auf die Geste/Eingabe geschlossen werden.

Weiterhin ist möglich, Objektklassen auf Basis der Fingerrichtung zu bestimmen: „Fingerspitze mit Fingernagel rechts",„Fingerspitze mit Fingernagel Mitte", „Fingerspitze mit Fingernagel links",„Fingerspitze ohne sichtbaren Fingernagel". Dieser Ansatz basiert ebenfalls auf der Betrachtung der einzelnen Fingerspitzen. Entgegen der vorherigen Betrachtung liegt dabei der Fokus auf der Richtung des

Fingernagels des jeweiligen Fingers. Der Fingernagel lässt sich gut

wiedererkennen und ist ein eindeutiges Merkmal für die Richtung des Fingers 10 bis 14. Entsprechend Anzahl und Anordnung der erkannten Fingerspitzen der definierten Eingabe, so kann die Ausrichtung der Handinnenfläche 9 direkt aus der Richtung der Finger 10 bis 14 beziehungsweise Fingernägel abgeleitet werden.