Verfahren zur Interaktion mit Bildinhalten, die auf einer Anzeigevorrichtung in einem

Fahrzeug dargestellt werden

Gebiet der Erfindung

Die vorliegende Erfindung betrifft ein Verfahren zur Interaktion mit Bildinhalten, die auf einer Anzeigevorrichtung in einem Fahrzeug dargestellt werden und eine Vorrichtung zur

Durchführung des Verfahrens.

Hintergrund der Erfindung

Ein aktueller Trend in der Displaytechnologie ist die„Stereo-3D-Fähigkeit", bei welcher der Betrachter je Auge ein leicht unterschiedliches Bild erhält um damit eine räumliche Tiefe des Bildes zu suggerieren. Hierbei gibt es beim sogenannten Statischen 3D (S3D) einen idealen Betrachtungspunkt für den besten Stereoeindruck, andere Verfahren ermöglichen mehrere ideale Betrachtungspunkte (Multiview 3D) oder sogar im Rahmen der Lichtfeldtechnik eine große Anzahl (idealerweise unendlich viele) Betrachtungspunkte für eine stereoskopische Anzeige.

Verschiedene 3D-Display -Technologien kommen hierbei zum Einsatz. So werden bei autostereoskopischen Displays zur Erzeugung eines dreidimensionalen Eindrucks zwei Bilder gleichzeitig dargestellt, wobei mittels Linsenraster oder Parallaxbarrieren das Licht einzelner Pixel in verschiedene Richtungen vor dem Bildschirm abgelenkt wird und die beiden Augen jeweils ein anderes Bild erreicht. Ebenso können zur Erzeugung eines Tiefeneindrucks andere Displaytypen eingesetzt werden, wie beispielsweise Multi-Layer- Displays, bei denen mehrere Displayebenen übereinander angeordnet sind, oder

Lichtfelddisplays, bei denen ein Mikrolinsenraster genutzt wird um ein Bild in einzelne Lichtstrahlen aufzuteilen und auf unterschiedliche Tiefen fokussieren zu können.

In der Fahrzeugtechnik kommen vermehrt Displays für volldigitale Kombiinstrumente oder auch in der Mittelkonsole angeordnete Multifunktionsdisplays zum Einsatz. Bisher erfolgt hier üblicherweise eine zweidimensionale Darstellung beispielsweise von Rundinstrumenten wie Tacho oder Drehzahlmesser, Anzeigen für Außentemperatur, Uhrzeit, Kilometerstände sowie Warn- und Hinweissymbole aber auch für zusätzliche Funktionen im Infotainmentbereich wie Navigation oder Telefon. Es ist jedoch davon auszugehen, dass zukünftig auch hier SD- Displays Verwendung finden werden, da durch die dann wahrgenommene Tiefe des Bildes visuelle Informationen im Raum verteilt dargestellt werden können. Der Einsatz eines autostereoskopischen Displays für eine dreidimensionale Darstellung einer Kraftfahrzeug- Instrumententafel wird in der GB 2517793 A beschrieben, wobei eine Priorisierung der dargestellten Information in der Form erfolgt, dass für den Fahrer wichtige Informationen im Vordergrund und für den Fahrer nicht so wichtige Funktionen im Hintergrund dargestellt werden.

3D-Displays, die nicht nur zur reinen Informationswiedergabe sondern auch zur Bedienung von Geräten im Fahrzeug dienen könnten, würden durch eine Darstellung von

Bedienelementen in unterschiedlicher Tiefe neue Bedienkonzepte für den Benutzer ermöglichen. Hierfür wäre jedoch eine Interaktion mit den räumlich unterschiedlich weit entfernt dargestellten Bedienelementen erforderlich.

Zusammenfassung der Erfindung

Es ist eine Aufgabe der Erfindung, eine Möglichkeit zur Interaktion mit Bedienelementen, die auf einem 3D-Display in unterschiedlicher Tiefe dargestellt werden, zur Verfügung zu stellen.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , sowie durch eine entsprechende Vorrichtung gemäß Anspruch 9 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Das erfindungsgemäße Verfahren zur Interaktion mit Bildinhalten, die auf einer

Anzeigevorrichtung in einem Fahrzeug dargestellt werden, zeichnet sich durch die folgenden Schritte aus:

- Darstellen von Bildinhalten mit einem räumlichen Eindruck von Tiefe, wobei die Bildinhalte Bedienelemente umfassen, die in mehr als einer Tiefenebene dargestellt werden;

- Erfassen einer Bedienhandlung eines Nutzers mittels mindestens einem im Fahrzeug vorgesehenen Sensor, wobei ermittelt wird, in welcher Tiefenebene ein Bedienelement bedient werden soll;

- Interaktion mit einem dargestellten Bedienelement in der ermittelten Tiefenebene entsprechend der erfassten Bedienhandlung. Gemäß einer ersten Ausführungsform der Erfindung ist für die Bedienhandlung des Nutzers ein Touchscreen vorgesehen. Hierbei wird die durch den Nutzer ausgeübte Druckstärke erfasst und in Abhängigkeit von der erfassten Druckstärke mit Bedienelementen in verschiedenen Tiefenebenen interagiert.

Die Verwendung eines Touchscreens hat den Vorteil, dass sie grundsätzlich dem Nutzer bereits geläufig ist. Lediglich die Abhängigkeit von der vom Nutzer ausgeübten Druckstärke bei der Berührung des Touchscreens ist für diesen neu und damit schnell zu erlernen.

Gemäß einer vorteilhaften Weiterbildung dieser ersten Ausführungsform der Erfindung ist die Anzeigevorrichtung selbst als Touchscreen ausgebildet. Dieses ermöglicht eine besonders intuitive Bedienung durch den Nutzer da die Bedienelemente mittels des Touchscreens dort bedient werden wo sie auch angezeigt werden.

Gemäß einer zweiten Ausführungsform der Erfindung wird für die Bedienhandlung des Nutzers ein Gestensensor verwendet. Hierbei ist mindestens eine virtuelle Fläche im

Fahrzeuginnenraum vorgesehen, die zur Unterscheidung der verschiedenen Tiefenebenen dient, indem detektiert wird, ob sich eine Hand oder ein Handteil des Nutzers vor oder hinter dieser virtuellen Fläche befindet.

Die Verwendung eines Gestensensors hat nicht nur den Vorteil, dass eine Bedienung berührungslos erfolgen kann, sondern auch, dass verschiedene Bedienungsgesten (wie beispielsweise an-und ausschalten, Drehen eines Reglers nach links oder rechts, oder Verschieben eines dargestellten Schiebereglers) verwendet und erkannt werden können.

Gemäß einer vorteilhaften Weiterbildung dieser zweiten Ausführungsform der Erfindung ist als Anzeigevorrichtung ein stereoskopisches Display vorgesehen, dem eine virtuelle Fläche bei der 2D-Nullebene des stereoskopischen Displays zugeordnet ist. Hierbei erfolgt bei Detektion der Hand oder des Handteils des Nutzers zwischen dieser virtuellen Fläche und der Oberfläche des stereoskopisches Displays eine Interaktion mit einem hinter der

Oberfläche des stereoskopisches Displays erscheinenden Bedienelement und bei Detektion der Hand oder des Handteils des Nutzers vor dieser virtuellen Fläche eine Interaktion mit einem vor der Oberfläche des stereoskopisches Displays erscheinenden Bedienelement.

Gemäß einer dritten Ausführungsform der Erfindung sind für die Bedienhandlung des Nutzers Bedienelemente am Lenkrad vorgesehen. Dieses ermöglicht dem Nutzer die Bedienelemente zu bedienen ohne eine Hand vom Lenkrad nehmen zu müssen. Gemäß einer vierten Ausführungsform der Erfindung ist für die Bedienhandlung des Nutzers sowohl ein Touchscreen als auch ein Gestensensor vorgesehen, wobei ein Teil der

Bedienhandlung mittels des Touchscreens und ein weiterer Teil mittels des Gestensensors erfolgt. Dieses kann insbesondere bei komplexen Bedienhandlungen von Vorteil sein.

Vorteilhafterweise kann die Bedienbarkeit für den Nutzer durch ein visuelles und/oder haptisches Feedback, welches die aktuelle Tiefenebene und ggfs. die aktuelle Position innerhalb der Tiefenebene signalisiert, weiter vereinfacht werden.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.

Kurze Beschreibung der Figuren

Fig. 1 zeigt schematisch das erfindungsgemäße Verfahren zur Interaktion mit

Bildinhalten, die auf einer Anzeigevorrichtung in einem Fahrzeug dargestellt werden;

Fig. 2 zeigt schematisch für die Bedienhandlung des Nutzers mittels Geste die

Unterscheidung der Tiefenebene vor der Anzeigevorrichtung;

Fig. 3 zeigt die Anordnung im Fahrzeuginnenraum für das Ausführungsbeispiel aus

Fig. 2.

Detaillierte Beschreibung der Ausführungsformen

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.

Fig. 1 zeigt schematisch ein Verfahren zur Interaktion mit Bildinhalten, die auf einer

Anzeigevorrichtung in einem Fahrzeug dargestellt werden. Bei der Anzeigevorrichtung handelt es sich hierbei um ein 3-D-Display, auf dem in einem ersten Schritt 1 Bildinhalte mit einem räumlichen Eindruck von Tiefe dargestellt werden. Die Bildinhalte umfassen hierbei Bedienelemente, die in mehr als einer Tiefenebene dargestellt werden. In einem zweiten Schritt 2 wird eine Bedienhandlung eines Nutzers mittels mindestens einem im Fahrzeug vorgesehenen Sensor erfasst. Hierbei wird ermittelt, in welcher Tiefenebene ein

Bedienelement bedient werden soll und, falls mehrere Bedienelemente in der ermittelten Tiefenebene vorhanden sind, mit welchem dieser Bedienelemente eine Interaktion erfolgen soll. In einem dritten Schritt 3 erfolgt dann eine Interaktion mit dem ermittelten

Bedienelement in der ermittelten Tiefenebene entsprechend der erfassten Bedienhandlung.

Gemäß einer ersten Ausführungsform erfolgt eine Interaktion mit den Bedienelementen mithilfe eines berührungsempfindlichen Flachbildschirms, auch Touchscreen genannt. Bei einem solchen Touchscreen kann durch Antippen von Teilen eines dargestellten Bildes mit einem Finger ein technischen Gerät gesteuert werden. Bei den aus dem Stand der Technik bekannten Touchscreens ist jedoch eine räumliche Interaktion mit 3D-lnhalten nicht möglich, da eine Bedienung auf der zweidimensionalen Oberfläche des Touchscreens und damit nicht an der räumlichen Koordinate des visuell wahrgenommenen 3D-Objekt.es stattfindet.

Erfindungsgemäß wird nun eine räumliche Interaktion mit 3D-lnhalten ermöglicht, indem der Nutzer in Abhängigkeit von der von ihm ausgeübten Druckstärke auf die Displayoberfläche mit verschiedenen Tiefenebenen interagieren kann. Die Druckstärke kann hierbei

beispielsweise durch Auswertung der Fläche, die der Finger auf dem Touchscreen einnimmt (kleine Fläche: vorn; große Fläche: hinten) ermittelt werden. Ebenso kann die Druckstärke auch durch die Messung von Kapazitätsänderungen durch Abstandsänderung verschiedener Layer des Displays erfolgen. Bei einem Pseudostereo 2-Layer Display kann z.B. bei leichtem Druck mit der ersten Ebene, bei starkem Druck mit der zweiten Ebene interagiert werden. Bei anderen Displaytechnologien ist auch ein fließender Übergang zwischen mehr als 2

Tiefenebenen im dreidimensionalen Raum bei stetiger Zu-/ Abnahme der Druckstärke bzw. Fläche des Fingers auf dem Touchscreen möglich. Statt oder zusätzlich zur Ermittlung der Druckstärke kann auch die zeitliche Länge der Berührung des Touchscreens ausgewertet werden. Ein visuelles Feedback (z.B. in Form eines Pointers) in der entsprechenden Tiefe erhöht die Kontrollierbarkeit der Interaktion. Ebenso ist ein haptisches Feedback mithilfe von einer Displayvibration denkbar.

Gemäß einer zweiten Ausführungsform erfolgt eine Interaktion mit den Bedienelementen mittels eines Gestensensors, der im Fahrzeug angeordnet ist. Hierbei ist, wie in Figur 2 schematisch dargestellt, eine virtuelle Fläche 9 im Fahrzeuginnenraum vor dem Display 10 vorgesehen, die zur Unterscheidung von zwei verschiedenen Tiefenebenen dient. Dieses wird ermöglicht, indem mit dem Gestensensor detektiert wird, ob sich eine Hand oder ein Handteil 5 des Nutzers vor oder hinter dieser virtuellen Fläche 9 befindet. Beispielsweise kann bei einem stereoskopischen Display diese virtuelle Fläche der 2D-Nullebene des stereoskopischen Displays zugeordnet sein. Bei Detektion der Hand oder des Handteils 5 des Nutzers im räumlichen Bereich 8 zwischen dieser virtuellen Fläche und der Oberfläche des stereoskopisches Displays kann eine Interaktion mit einem hinter der Oberfläche des stereoskopisches Displays erscheinenden Bedienelement erfolgen. Bei Detektion der Hand oder des Handteils des Nutzers im räumlichen Bereich 6 vor dieser virtuellen Fläche erfolgt stattdessen eine Interaktion mit einem vor der Oberfläche des stereoskopisches Displays erscheinenden Bedienelement. Im dargestellten Beispiel erscheinen zwei Regler so, als würden sie aus dem Display hervortreten. Die Bedienung des links dargestellten Reglers 7 erfolgt daher in dem Raum vor der virtuellen Fläche 9 an der Position 4.

Figur 3 zeigt schematisch einen Teil des Fahrzeuginnenraums bei Verwendung dieser Ausführungsform. Die virtuelle Fläche befindet sich hierbei in etwa auf Höhe des

Gangwahlhebels 12. Ein Gestensensor 1 1 ist in diesem Beispiel am Dachhimmel im Bereich des Rückspiegels verbaut, kann aber ebenso auch im Armaturenbrett oder der Mittelkonsole angeordnet sein. Ebenso können gegebenenfalls mehrere Gestensensoren vorgesehen sein.

Der Gestensensor 1 1 kann beispielsweise mittels einer Kamera die Position der Hand bzw. Finger des Fahrers detektieren. Hierzu kann auch eine Beleuchtung beispielsweise mit Infrarotlicht erfolgen. Vorzugsweise wird hierbei ein 3D-Kamerasystem, insbesondere eine TOF-Kamera (Time Of Flight) eingesetzt, mit der Distanzen zu den einzelnen Bildpunkten ermittelt werden können. Damit ist es möglich dreidimensionale Bilddaten zu erzeugen und so Handteile wie einzelne Finger der Hand unterscheiden zu können und ihre Position im Raum zu ermitteln.

Die von der Kamera generierten Bild- bzw. Videodaten werden in einer

Videoverarbeitungseinheit zunächst vorverarbeitet und dann einer Bildanalyse-Einheit zugeführt. Im Anschluss erfolgt dann bei Detektion einer Hand bzw. einzelner Finger des Fahrers eine Erkennung der Geste, wobei verschiedene vordefinierte Bediengesten vorgesehen sein können und dann zunächst ermittelt werden muss, welches dieser vordefinierten Bediengesten vorliegt. Hierfür kann ein Vergleich mit den verschiedenen vorgesehenen Bediengesten in einer Datenbank vorgenommen werden, wobei direkt ein Vergleich der Bilddaten der aufgenommenen Hand- bzw. Fingeranordnung mit

entsprechenden Darstellungen in der Datenbank erfolgen kann oder zunächst mithilfe eines Hand- bzw. Fingermodells eine Abstraktion vorgenommen werden kann um dann einen Vergleich durchzuführen. Es kann hierbei insbesondere auch die relative Fingerstellung mehrerer Finger zueinander erkannt und ausgewertet werden. Weiterhin kann vorgesehen sein, dass die Gestenerkennung nur dann aktiviert wird wenn sich die Hand des Nutzers in einem vordefinierten Bereich vor dem 3-D Display findet. Aus der Position der Hand bzw. der Finger der Hand relativ zu der Displayoberfläche kann hierbei im Fall mehrere

Bedienelemente in der gleichen Tiefenebene bestimmt werden, welches der Bedienelemente bedient werden soll. Wenn sowohl die Bediengesten als auch das zu betätigende

Bedienelement ermittelt worden sind kann dann in Abhängigkeit hiervon eine Bedienung eines Gerätes im Kraftfahrzeug wie beispielsweise des Navigationsgeräts, des Telefons oder des Radios erfolgen. Die Bedienung mittels der Gestenerkennung kann dann beispielsweise beendet werden, indem die Hand des Nutzers aus dem vordefinierten Bereich vor dem 3-D Display entfernt wird.

Ebenso ist es möglich, Bedienelemente oder auch eine komplette Interaktionsebene erst bei Detektion einer Annäherung der Hand durch den Gestensensor visuell sichtbar zu machen oder ihre bildliche Darstellung in der Tiefe räumlich zu verschieben. Dadurch kann ein Teil der dargestellten Informationen im Hintergrund verbleiben während die Bedienelemente weiter nach vorn wechseln. Wenn mittels des Gestensensors erkannt wird, dass die Hand wieder aus dem Interaktionsbereich verschwindet, werden die Bedienelemente bzw. die Interaktionsebene wieder ausgeblendet oder es wird die räumliche Verschiebung rückgängig gemacht, sodass die Darstellung wieder am Darstellungsort in der ursprünglichen Tiefe erfolgt werden.

Ein visuelles Feedback für den Nutzer, welches verdeutlicht, in welcher Tiefenebene zur Zeit eine Bedienhandlung des Nutzers erfasst wird, kann die Kontrollierbarkeit der Interaktion erhöhen. Dies kann bei den verschiedenen Ausführungsformen z.B. in Form eines dargestellten Punkts oder Pointers an der aktuellen Position in der entsprechenden Tiefe erfolgen. Im Fall der Gestenerkennung kann ebenso eine schematische Darstellung einer Hand, gegebenenfalls mit den detektierten Fingerpositionen, erfolgen. Auch wenn bei der Gestenerkennung der Nutzer, anders als bei der Bedienung mittels Touchscreens, keinen physischen Kontakt mit der Displayoberfläche hat, ist dennoch statt oder zusätzlich zu einem visuellen Feedback ein haptisches Feedback denkbar. Hierfür können mittels eines

Ultraschallsenders in der Luft kleine, aber spürbare Schwingungen erzeugt werden, mit denen sich Geometrien im Raum erspüren lassen.

Die Interaktion mittels eines Gestensensors ist nicht zwei Tiefenebenen beschränkt, vielmehr können auch Bedienelemente in mehr als zwei Interaktionsebenen angeordnet sein. Hierfür wird der Bereich vor dem 3-D Display durch mehrere virtuelle Flächen in mehrere Teilbereiche unterteilt, wobei mit dem Gestensensor detektiert wird, in welchem Teilbereich sich die Hand oder der Handteil 5 des Nutzers befindet.

Gemäß einer weiteren Ausführungsform kann eine Interaktion mit den Bedienelementen durch Bedienelemente am Lenkrad erfolgen. So kann beispielsweise ein 3D-Cursors mittels Lenkradtasten oder Lenkrad-Touch-Flächen gesteuert werden, wobei die aktuelle

Bedienposition angezeigt wird. Hierbei kann beispielsweise die Position in der X- Y-Ebene mit einem Steuerkreuz angesteuert werden und die Tiefenposition in Z-Richtung mittels eines Schiebereglers eingestellt werden. Ebenso kann beispielsweise durch die Bedienelemente einer Ebene getoggelt werden und durch Druck auf einen Schieberegler oder Knopf durch die Ebenen geschaltet werden. Hierbei erfolgt dann eine visuelle Markierung der jeweils aktiven Ebene.

Schließlich kann auch eine Kombination der oben genannten Bedienmodalitäten vorgesehen sein. So kann beispielsweise eine Bedienhandlung mit einer Betätigung des Touchscreens begonnen und dann mittels Geste im Raum vor der Anzeigevorrichtung fortgeführt werden. Ebenso ist es auch denkbar, die Bedienhandlung zunächst mit einer Geste zu starten und dann mittels des Touchscreens fortzuführen.

Bezugszeichenliste Erster Verfahrensschritt mit Darstellung der Bedienelemente in mehreren Tiefenebenen

Zweiter Verfahrensschritt mit Erfassung der Bedienhandlung mit Ermittlung der Tiefenebene

Dritter Verfahrensschritt mit Interaktion mit Bedienelement in ermittelter Tiefenebene Bedienposition eines dargestellten Reglers

Hand des Nutzers

räumlicher Bereich, in dem mit vor der Displayoberfläche erscheinenden Bedienelementen interagiert werden kann

Anzeigeposition eines dargestellten Reglers

räumlicher Bereich, in dem mit hinter der Displayoberfläche erscheinenden Bedienelementen interagiert werden kann

virtuelle Ebene entsprechend der Nullebene des Displays

Display

Gestensensor

Gangwahlhebel