BESCHREIBUNG: Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienstelle eines Geräts. Durch eine optische Sensoreinrichtung der Bedienschnittstelle wird berührungslos eine Position einer Hand einer Person ermittelt und in Abhängigkeit von einer Bewegung der Hand eine Funktion des Geräts ausgewählt und aktiviert. Zu der Erfindung gehört auch eine Kraftfahrzeug mit einer Be- dienschnittstelle zum Aktivieren von zumindest einer Funktion des Kraftfahrzeugs. Des Weiteren gehören zu der Erfindung ein Computerprogrammprodukt, mittels welchem es ermöglicht wird, das erfindungsgemäße Verfahren mit einem mobilen Endgerät, also beispielsweise einem Smartphone oder einem Tablet-PC, durchzuführen, sowie ein entsprechendes mobiles Endge- rät.

Die berührungslose Beobachtung einer Hand einer Bedienperson und das von der Bewegung der Hand abhängige Steuern eines Geräts sind aus der US 2011/0286676 A1 im Zusammenhang mit einer Gestenerkennung be- kannt. Das in dieser Druckschrift beschriebene System erzeugt mittels einer TOF-Kamera (TOF - Time of Flight) 3D-Bilddaten zu einem Körperteil einer in einem Kraftfahrzeug befindlichen Person und führt anhand der 3D- Bilddaten die Gestenerkennung durch. Es wird zwischen dynamischen und statischen Gesten unterschieden. Wird eine Geste durch das System er- kannt, so wird eine dieser Geste zugeordnete Funktion in dem Kraftfahrzeug aktiviert.

Gestenerkennungseinrichtungen weisen den Vorteil auf, dass eine Bedienung eines Geräts ohne Tasten möglich ist. Tasten sind örtlich definiert und müssen meist von einer Bedienperson vor der Betätigung geortet werden. Insbesondere im Zusammenhang mit der Bedienung eines Kraftfahrzeugs während der Fahrt ist dies für einen Fahrer gefährlich, weil er hierbei vom Verkehrsgeschehen abgelenkt ist. Eine Gestenerkennung verringert den Aufmerksamkeitsverlust, da sie das Suchen eines Schalters erübrigt. Nachteil einer Gestenerkennung ist aber, dass die Bedienperson sich die unterschiedlichen Gesten merken muss. Ein weiterer Nachteil ist, dass es schwierig sein kann, eine robuste Gestenerkennung in veränderlichen Lichtverhältnissen sicherzustellen.

Der Erfindung liegt die Aufgabe zu Grunde, eine Bedienschnittstelle für ein Gerät bereitzustellen, mit welcher eine Bedienperson das Gerät auch mit geringer Aufmerksamkeit bedienen kann.

Die Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 , ein Kraftfahrzeug gemäß Patentanspruch 7, ein Computerprogrammprodukt gemäß Patentanspruch 9 sowie ein mobiles Endgerät gemäß Patentanspruch 10 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteran- sprüche gegeben.

Das erfindungsgemäße Verfahren basiert auf dem Eingangs beschriebenen Ansatz, mittels einer optischen Sensoreinrichtung einer Bedienschnittstelle berührungslos eine Position einer Hand einer Bedienperson zu ermitteln und in Abhängigkeit von einer Bewegung der Hand eine Funktion des Gerät auszuwählen und zu aktivieren. Anders als bei einer aufwändigen Gestenerkennungseinrichtung genügt es bei dem erfindungsgemäßen Verfahren aber, dass eine Bedienperson ihre Hand durch einen vorbestimmten Raumbereich z.B. nach links oder rechts hin hindurchschwenkt, um eine be- stimmte Funktion auszuwählen.

Die optische Sensoreinrichtung funktioniert durch das erfindungsgemäße Verfahren sozusagen ähnlich wie eine Lichtschranke. Dies wird folgendermaßen erreicht. Durch die Sensoreinrichtung wird zunächst detektiert, ob die Bedienperson mit ihrer Hand in einen vordefinierten Raumbereich hineinfasst. Nach detektieren der Hand in dem Raumbereich wird dann eine Funktionsauswahl aktiviert. Bei dieser Funktionsauswahl wird eine Wischbewegung der Hand zu einem Rand des Raumbereichs hin erkannt. Durch die Wischbewegung ist eine Bewegungsrichtung definiert. Diese wird durch die Sensoreinrichtung entsprechend ermittelt. In Abhängigkeit von der Bewegungsrichtung wird dann eine bestimmte, der Bewegungsrichtung zugeordnete Funktion ausgewählt. Diese kann dann entweder sofort automatisch oder nach einer Bestätigung durch die Bedienperson aktiviert werden. So kann ein Schwenken der Hand nach links z.B. eine erste Funktion auslösen, z.B. das Annehmen eines Telfonanrufs, und ein Schwenken der Hand nach rechts eine zweite Funktion, z.B. das Ablehnen des Telefonanrufs. Für eine genauere Ermittlung der Bewegungsrichtung kann eine aktuelle Position der Hand in dem Raumbereich als Ausgangsposition festgelegt werden und da- nach eine von der Ausgangsposition ausgehend Wischbewegung der Hand zu einem Rand des Raumbereichs hin erkannt werden. Durch die Ausgangsposition und die von dieser ausgehenden Wischbewegung ist dann die Bewegungsrichtung besonders klar definiert.

Das erfindungsgemäße Verfahren weist den Vorteil auf, dass die Bedienperson ohne Aufmerksamkeitsverlust mit einer einzelnen Wischbewegung eine binäre Auswahl trifft (Funktion aktivieren oder nicht). Ein weiterer Vorteil besteht darin, dass die Bedienung des Geräts beschleunigt wird, wenn die Funktion ansonsten beispielsweise zunächst aus einem Bedienmenü des Geräts herausgesucht werden müsste, um sie dann zu aktivieren. Bei dem erfindungsgemäßen Verfahren kann hierbei die eigentliche Erkennung der Position der Hand und ihrer Bewegung an sich in bekannter Weise durchgeführt werden. So muss ein hierfür verwendetes System nicht in besondere Weise baulich angepasst werden.

Ein weiterer Vorteil ergibt sich, wenn beim Aktivieren der Funktionsauswahl über eine Anzeigeeinrichtung der Bedienschnittstelle der Bedienperson angezeigt wird, durch welche Bewegung, also welche Bewegungsrichtung, welche Funktion auswählt werden kann. Es wird also zumindest eine mögliche Bewegungsrichtung sowie jeweils eine der möglichen Bewegungsrichtung zugeordnete, auswählbare Funktion angezeigt. Die Bedienschnittstelle ist dann ohne Vorkenntnisse und damit besonders intuitiv bedienbar.

Ein weiterer Vorteil ergibt sich, wenn besonders häufig benötigte Funktionen oder Funktionen, die in besonders fahrkritischen Situationen genutzt werden, über eine einfache Wischbewegung der Hand auswählbar gemacht werden können. Hierzu muss durch eine Bedienperson selbst eingestellt werden können, welche Funktion ausgewählt wird, wenn man die Hand in eine bestimmte Bewegungsrichtung innerhalb des Raumbereichs bewegt. Hierzu ist vorgesehen, dass in einem Konfigurationsmodus der Bedienschnittstelle eine Benutzereingabe betreffend eine bestimmte Funktion durch die Bedienschnittstelle empfangen wird und in Abhängigkeit von der Benutzereingabe eine Zuordnung der Funktion zu einer möglichen Bewegungsrichtung festgelegt wird. Eine solche Zuordnung stellt somit eine Abkürzung (Short-Cut) für die Funktionsauswahl dar. Sie ist auch für mehrere Funktionen zu unterschiedlichen Bewegungsrichtungen möglich.

Ein weiterer Vorteil ergibt sich, wenn diejenige ZuOrdnungsvorschrift, durch welche zumindest eine Funktion einer möglichen Bewegungsrichtung zugeordnet wird, in Abhängigkeit von einem aktuellen Betriebszustand des Gerät festgelegt wird. Es werden dann also andere Funktionen angeboten, wenn gerade ein Telefon aktiv ist als wenn gerade eine Musikwiedergabe läuft. Um dies zu ermöglichen, werden mehrere vorbereitete ZuOrdnungsvorschriften bereitgestellt, also z.B. eine für die Telephonie und eine für die Musikwiedergabe, und bei einer Änderung des Betriebszustands eine davon als die aktuelle gültige ZuOrdnungsvorschrift ausgewählt. So wird in vorteilhafter Weise eine kontextabhängige Bedienschnittstelle realisiert. Wird beispielsweise das Verfahren in einer Bedienschnittstelle eines Kraftfahrzeugs durchgeführt, so kann einer Bedienperson für den Fall, dass das Telefon läutet, ermöglicht werden, dass sie mit der Hand in den Raumbereich hineingreift und dann festlegt, ob sie den Telefonanruf annimmt (beispielsweise Verschwenken der Hand nach links in dem Raumbereich) oder das Telefonat ablehnen möchte (Verschwenken der Hand nach rechts in dem Raumbereich). Läutet dagegen nicht das Telefon, sondern wird beispielsweise Musik aus einer Musikdatei wiedergegeben, so kann durch eine entsprechende andere Zuordnungsvor- schrift vorgesehen werden, dass das Verschwenken der Hand nach links ein zuvor abgespieltes Lied und ein Verschwenken der Hand nach rechts das Abspielen eines in der Abspielliste nachfolgenden Liedes auslöst. Durch eine solche kontextabhängige Zuordnung von Funktionen zu Bewegungsrichtungen ergibt sich der Vorteil, dass mit einer einzigen Bedienschnittstelle und gleichbleibenden Bedienbewegungen einer Bedienperson die Steuerung mehrer unterschiedlicher Komponenten eines Geräts ermöglicht wird. Als besonders vorteilhaft hat es sich herausgestellt, wenn die optische Sensoreinrichtung die Hand mittels einer 3D-Kamera beobachtet und eine Position und Bewegung der Hand auf der Grundlage von 3D-Bilddaten der SD- Kamera ermittelt. So ist es möglich, dass als die möglichen Bewegungsrichtungen für die Auswahl von Funktionen alle drei Raumrichtungen ausgewer- tet werden können. Zudem ist die Anordnung der 3D-Kanriera unabhängig von einer Bewegungsebene der Wischbewegungen. Es können insbesondere auch Bewegungen von der 3D-Kamera weg oder zu ihr hin erkannt werden. Ein weiterer Vorteil ergibt sich, wenn durch die Sensoreinrichtung nach dem detektieren der Hand innerhalb des Raumbereichs zusätzlich eine jeweilige Fingerstellung zumindest eines Fingers der Hand erkannt wird und die Funktionsauswahl nur aktiviert wird, falls der zumindest eine Finger eine jeweils vorbestimmte Fingerstellung aufweist. Mit anderen Worten reagiert die Bedienschnittstelle nur dann, wenn die Bedienperson mit ihrer Hand innerhalb des Raumbereichs ein vorbestimmtes Zeichen formt. Hierdurch wird eine versehentliche Funktionsauswahl vermieden. Zusätzlich oder alternativ zur Fingerstellung kann auch die Ausrichtung der Rotation der gesamten Hand daraufhin überprüft werden, ob sie in einer vorgegebenen Weise geneigt ist. Die Erkennung der Fingerstellung und der Neigung der Hand kann auf der Grundlage eines Skelett- oder Handmodells realisiert werden, das an eine in den Bilddaten erkennbare Form der Hand angepasst wird. Bei Übereinstimmung des Modells mit der Form der abgebildeten Hand steht dann mit den Parametern des Modells eine digitale Repräsentation der Fingerstellung und der Lage der Hand zur Verfügung.

Wie bereits ausgeführt, gehört zu der Erfindung auch ein Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug weist eine Bedienschnittstelle zum Aktivie- ren von zumindest einer Funktion des Kraftfahrzeugs auf, wobei die Bedienschnittstelle eine optische Sensoreinrichtung ausweist und dazu ausgelegt ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Insbesondere ist bei dem erfindungsgemäßen Kraftfahrzeugs die Bedienschnittstelle Bestandteil eines Infotainmentsystems des Kraftfahrzeugs. Das erfindungsgemäße Kraftfahrzeug weist den Vorteil auf, dass es auch einem Fahrer ermöglicht wird, die Funktionen des Kraftfahrzeugs während einer Fahrt auszuwählen und zu aktivieren, ohne dass hierbei besonders viel Aufmerksamkeit von dem Fahrer verlangt wird. Bei dem erfindungsgemäßen Kraftwagen hat es sich als besonders vorteilhaft erwiesen, wenn die Sensoreinrichtung eine TOF-Kamera zum Beobachten der Hand aufweist. Veränderliche Lichtverhältnisse haben dann keinen besonders störenden Einfluss auf die Bewegungserkennung. Im Gegensatz dazu kann z.B. die Verwendung einer einfachen Infrarot-Kamera bei Ein- Strahlung von wärmendem Sonnenlicht zu einer Fehlerkennung führen. Die TOF-Kamera nutzt dagegen einen in der Leuchtintensität modulierten Lichtstrahl (z.B. sichtbares Licht oder Infrarot-Licht), so dass fremde Lichtquellen zuverlässig von der Lichtquelle der TOF-Kamera unterschieden werden können. Zu der Erfindung gehört des Weiteren ein Computerprogrammprodukt, d. h. ein auf zumindest einem Speichermedium gespeichertes Programm. Dieses ist dazu ausgelegt, bei Ausführen durch eine Prozessoreinrichtung eines mobilen Endgeräts, also beispielsweise eines Smartphones, eines Tablet- PCs, eines Personal Digital Assistants (PDA) oder eines Notebooks, auf der Grundlage von Kameradaten einer Kamera des mobilen Endgeräts eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Das erfindungsgemäße Computerprogrammprodukt weist somit den Vorteil auf, dass das mobile Endgerät durch einfache Wischbewegungen einer Hand bedient werden kann, wenn diese in einem Erfassungsbereich der Kamera des mobilen Endgeräts durchgeführt werden. Das Computerprogrammprodukt ist bevorzugt in einer Form bereitgestellt, wie sie aus dem Stand der Technik im Zusammenhang mit sogenannten„Apps" (Applikationen - Anwendungspro- gramme) für mobile Endgeräte bekannt ist.

Von der Erfindung ist schließlich auch ein mobiles Endgerät umfasst, in welchem eine Ausführungsform des erfindungsgemäßen Computerprogrammprodukts bereitgestellt ist. Bei dem erfindungsgemäßen mobilen Endgerät kann es sich insbesondere um ein Smartphone, ein Tablet-PC, ein Notebook oder einen Personal Digital Assistant handeln.

Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausführungsbeispiels erläutert. Hierzu zeigt:

Fig. 1 ein Blockschaltbild zu einer Bedienschnittstelle, die in einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs eingebaut sein kann, und Fig. 2 eine Skizze zu einem Bedienvorgang, wie er einer Bedienperson auf der Grundlage einer Ausführungsform des erfindungsgemäßen Verfahrens ermöglicht wird.

Die gezeigten Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar.

In Fig. 1 sind von einem Kraftwagen, beispielsweise einem Personenkraftwagen, eine optische Sensoreinrichtung 10 und eine Wiedereingabeeinrichtung 12 gezeigt. Die optische Sensoreinrichtung 10 bildet eine Bedien- schnittsteile für die Wiedergabeeinrichtung 12. Bei der Wiedergabeeinrichtung 12 kann es sich beispielsweise um ein Infotainmentsystem, ein Audiosystem, ein Navigationssystem, ein Fernsehsystem, ein Telefonsystem, ein Kombiinstrument oder ein Head-up-Display handeln. Die Sensoreinrichtung 10 umfasst eine Messeinrichtung 14 und eine Berechnungseinheit 16. Die Messeinrichtung 14 umfasst einen optischen Sensor 18, der beispielsweise eine TOF-Kamera oder PMD-Kamera sein kann. Es kann sich bei dem optischen Sensor 18 auch beispielsweise um eine Stereokamera handeln. In dem in Fig. 1 gezeigten Beispiel ist davon ausgegangen, dass es sich bei dem optischen Sensor 18 um eine PMD-Kamera handelt. Der optische Sensor 18 kann beispielsweise in einem Dachhimmel des Kraftfahrzeugs angeordnet sein.

Der optische Sensor 8 kann in an sich bekannter Weise ausgestaltet sein, d.h. eine Leuchtquelle 20 für elektromagnetische Strahlung, z.B. eine Infrarotleuchte, beleuchtet einen Erfassungsbereich 22, beispielsweise einen Raum über einer Mittelkonsole des Kraftfahrzeugs. Befindet sich darin ein Objekt, beispielsweise eine Hand 24 des Fahrers des Kraftfahrzeugs, so wird die von der Leuchtquelle 20 ausgestrahlte Strahlung von der Hand 24 zu ei- nem Sensorarray 26 zurückgeworfen. Mittels des Sensorarrays 26 können dann 3D-Bilddaten erzeugt werden, welche 3D-Koordinaten zu einzelnen Flächenelementen der Hand 24 angeben. Die 3D-Bilddaten werden von der Messeinrichtung 14 an die Berechnungseinheit 16 übertragen. Bei der Berechnungseinheit 16 kann es sich beispielsweise um ein Steuergerät des Kraftfahrzeugs handeln. In der Berechnungseinheit 16 werden die Signale ausgewertet und dann dem Fahrzeug die ausgewerteten Daten zur Verfügung gestellt, indem sie beispielsweise an die Wiedergabeeinrichtung 12 übertragen werden. Durch die Berechnungseinheit 16 können Gliedma- ßen, wie beispielsweise die Hand 24, aus den 3D-Bilddaten segmentiert werden, wodurch beispielsweise die Position einer Fingerspitze in dem Erfassungsbereich 22 ermittelt werden kann. Hier können an sich bekannte Segmentierungsalgorithmen zugrunde gelegt werden. Durch die 3D-Bilddaten des Sensorarrays 26 des optischen Sensors 18 kann auch eine Sequenz von aufeinander folgenden 3D-Bildern repräsentiert sein, d.h. mit dem optischen Sensor 18 können auch Bewegungen der Hand 24 erfasst werden. Durch Verfolgen der Trajektorie beispielsweise der Fingerspitze oder des Handschwerpunktes in dieser 3D-Bildsequenz, insbesondere durch Verfolgen der Position und der Geschwindigkeit der Fingerspitze, kann so eine mit der Fingerspitze angedeutete Bewegungsgeste aus der Trajekto- rie extrapoliert werden. In Fig. 2 ist dargestellt, wie mit der in Fig. 1 dargestellten optischen Sensoreinrichtung eine Ausführungsform der erfindungsgemäßen Verfahrens realisiert werden kann. Der optische Sensor 26 ist auf einen Innenraum des Kraftfahrzeugs gerichtet, so dass in einem Erfassungsbereich 28 des optischen Sensors 26 darin befindliche Objekte erfasst werden und zu einzelnen Oberflächenbereichen der Objekte 3D-Bilddaten, also beispielsweise Koordinaten, zu ihrer Lage im Raum durch die Messeinrichtung 14 erzeugt und an die Berechnungseinheit übertragen werden. Der Erfassungsbereich 28 kann beispielsweise einen Raumbereich oberhalb einer Mittelkonsole des Kraftfahrzeugs umfassen.

Eine Bedienperson, beispielsweise der Fahrer des Kraftfahrzeugs, hat ihre Hand 24 in den Erfassungsbereich 28 hinein bewegt. Die Berechnungseinheit 26 erkennt anhand der 3D-Bilddaten des optischen Sensors 26, dass es sich um ein bewegtes Objekt mit der Form einer Hand handelt und verfolgt eine Bewegungstrajektorie der Hand 24 in dem Erfassungsbereich 28. Die Berechnungseinheit 16 überprüft dabei, ob sich die Hand in einem vorbestimmten Raumbereich 30 befindet. Bei dem Raumbereich 30 kann es sich beispielsweise um einen quaderförmigen Volumenbereich handeln, dessen Kanten jeweils unabhängig voneinander Abmessungen aufweisen können, die beispielsweise in einem Bereich von 20 cm bis 50 cm liegen.

Falls die Berechnungseinheit 16 erkennt, dass sich die Hand 24 in dem Raumbereich 30 befindet, wird ein Auswahlmodus für eine Funktionsauswahl aktiviert. Der Bedienperson ist es hierdurch möglich, durch eine Schwenk- bewegung der Hand 24 in mögliche Bewegungsrichtungen 32, 34 (hier z.B. entweder nach rechts oder nach links) eine Funktion des Fahrzeugs auszuwählen, beispielsweise das Annehmen eines Telefonats oder wechseln eines Radiosenders, und diese Funktion dann zu aktivieren. Die Berechnungseinheit erzeugt beim Aktivieren der Funktionsauswahl auf einem Bildschirm 36 eine Anzeige 38, mittels welcher auswählbare Funktionen 40, 42 angezeigt werden. Die Funktionen sind in Fig. 2 durch symbolische Funktionsnamen (F1 , F2) repräsentiert. Zusätzlich kann vorgesehen sein, dass ein Bild eines Schiebeschalters 44 dargestellt wird, was der Bedienperson intuitiv suggeriert, dass von ihr nun eine Bewegung mit der Hand 24 in eine der möglichen Bewegungsrichtungen 32, 34 erwartet wird, um eine der Funktionen 40, 42 auszuwählen.

Das Auswählen ist der Bedienperson durch eine einfache Wischbewegung mit der Hand 24 möglich, nachdem die Funktionsauswahl aktiviert wurde. Die Erkennung der Wischbewegung wird durch die Berechnungseinheit 16 auf Grundlage der 3D-Bilddaten des optischen Sensors 26 durchgeführt. Hierzu wird die aktuelle Position der Hand 24 nach Aktivieren der Funktionsauswahl als Ausgangsposition PO festgelegt. Anschließend wird durch die Berech- nungseinheit 16 eine Veränderung der Koordinaten eines Referenzpunktes auf der Hand 24 beobachtet, z.B. desjenigen Referenzpunktes, dessen Position die Ausgangsposition PO definiert hat. Sobald der Referenzpunkt einen Abstand zur Ausgangsposition PO aufweist, der größer als ein vorbestimmter Schwellenwert ist, so wird dies als Auswahlbetätigung der Bedienperson in- terpretiert, d. h. die durch den Ausgangspunkt PO und die aktuelle Position der Hand 24 beschriebene Bewegungsrichtung wird mit einer der möglichen Bewegungsrichtungen 32, 34 verglichen. Wird durch die Berechnungseinheit erkannt, dass die Hand 24 in einer der möglichen Bewegungsrichtungen 32, 34 bewegt worden ist, so wird die entsprechende Funktion 40, 42 ausgewählt und die Auswahl der Wiedergabeeinrichtung 12 signalisiert. Hierdurch kann in der Wiedergabeeinrichtung 12 dann die ausgewählte Funktion aktiviert werden.

So ist es beispielsweise möglich, dass mit einer Geste nach links für die Be- dienung eines Radios oder Abspielgeräts ein vorheriger Track gespielt wird und mit einer Geste nach rechts ein Track weiter geschaltet wird. Anstelle der gezeigten binären Wischgeste (links/rechts) können auch Wischgesten „hoch'T'runter" oder eine nur einseitige Wischgeste in nur eine Bewegungsrichtung oder aber auch beispielsweise sechs Wischgesten (oben/unten, rechts/links, vor/zurück) als mögliche Bewegungen für eine Funktionsauswahl überwacht werden. Die Zuordnung der möglichen Bewegungsrichtungen 32, 34 zu auswählbaren Funktionen 40, 42 kann auch kontextabhängig erfolgen, d. h. die auswählbaren Funktionen 40, 42 können verändert werden.

Durch das Beispiel ist gezeigt, wie eine eindeutige und intuitive Auswahl von Funktionen ermöglicht werden kann, die nach kurzer Lernphase für einen Insassen auswendig und ohne Ablenkung vom Straßenverkehr durchgeführt werden kann. Der Bediener kann so ohne Aufmerksamkeitsverlust mit einer einzigen Bediengeste eine Auswahl, insbesondere eine binäre Auswahl, treffen. Darüber hinaus kann die Bedienung auch beschleunigt werden.