Beschreibung

Die Erfindung betrifft ein Verfahren zur Kalibrierung einer TOF-Kamera in Bezug auf eine beliebig geformte Oberfläche eines Bauteiles.

Es sind so genannte TOF-Kameras (Time of flight camera) bekannt, die eine Szene aktiv beleuchten, beispielsweise mittels Infrarotlicht, und mittels eines Sensors die Laufzeit des zur Beleuchtung verwendeten Lichtes ermitteln. Auf dieser Grundlage wird dann eine Entfernung des beleuchteten Objekts von der Kamera bestimmt. TOF-Kameras sind heute schon als Bestandteil von Benutzerschnittstellen für Interaktionen mittels Gesten ohne Kontaktierung eines Festkörpers bekannt, wobei die Gesten insbesondere von einer Person in der Luft ausgeführt werden. Dieser Vorgang wird mittels einer TOF- Kamera erfasst, wobei der Körper der die Gesten ausführenden Person oder bestimmte Körperteile der Person und ein Hintergrund als Bezugsbereich für die TOF-Kamera dienen. In einer Anzahl von Anwendungen kann sich der Hintergrund verändern und ist kein wesentlicher Bestandteil eines

Algorithmus zur Erfassung dreidimensionaler Daten.

Aus der US 201 1/0050589 A1 ist ein Verfahren zur Gesten basierenden Informations- und Befehlseingabe für ein Fahrzeug bekannt. Zur

Durchführung des Verfahrens ist eine Oberfläche vorgesehen, die von einer Hand eines Benutzers erreichbar ist, so dass eine Berührung durch den Benutzer erfasst wird. Ein Benutzer schreibt auf der Oberfläche durch Handbewegung, die von einem Gestenerfassungs-Modul, beispielsweise einer Kamera, erfasst wird. Die Oberfläche, auf die geschrieben wird, kann an einem Lenkrad und/oder einer Armlehne des Fahrzeuges angeordnet sein. Darüber hinaus ist in der US 2012/0068956 A1 ein Fingerzeig, Gesten basierende Benutzerschnittstelle für Fahrzeuge beschrieben. Ein adaptives Schnittstellen-System weist eine Benutzschnittstelle zur Steuerung eines Fahrzeugsystems, einen Sensor zur Erfassung einer Position einer

Extremität eines Benutzers auf, wobei ein Sensorsignal erzeugt wird, welches die Position der Extremität repräsentiert. Zudem ist ein Prozessor vorgesehen, welcher mit dem Sensor und der Benutzerschnittstelle verbunden ist. Der Prozessor empfängt das Sensorsignal, analysiert das Sensorsignal nach einer zugrundeliegenden Vorgabe, um einen

Richtungsvektor in Bezug auf das Zeigen der Extremität des Benutzers zu ermitteln und konfiguriert die Benutzerschnittstelle anhand des ermittelten Richtungsvektors. Aufgabe der vorliegenden Erfindung ist es, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Kalibrierung einer TOF-Kamera in Bezug auf eine beliebig geformte Oberfläche anzugeben.

Die Aufgabe wird mit einem Verfahren zur Kalibrierung einer TOF-Kamera in Bezug auf eine beliebig geformte Oberfläche eines Bauteiles gelöst, wobei mittels der TOF-Kamera eine Entfernungsinformation der TOF-Kamera zu der Oberfläche oder zumindest zu einem Abschnitt der Oberfläche erfasst wird. Erfindungsgemäß sind eine Oberflächenform der Oberfläche und eine ideale Position der TOF-Kamera in Bezug auf die Oberflächenform

gespeichert und eine Abweichung der Ausrichtung der TOF-Kamera in

Bezug auf die Oberfläche oder zumindest den Abschnitt der Oberfläche wird ermittelt. Mittels der TOF-Kamera werden Tiefeninformationen im

Erfassungsbereich der TOF-Kamera erfasst und gespeichert. Darauffolgend werden die erfassten Entfernungsinformationen in Form von

Tiefeninformationen mittels linearer Transformation in das

Koordinatensystem der TOF-Kamera übertragen und eine Abweichung zwischen der erfassten Position von einer idealen Position der Oberfläche oder zumindest des Abschnittes der Oberfläche in Bezug zu der TOF- Kamera wird ermittelt. Mittels eines solchen Verfahrens wird die TOF-Kamera kalibriert, wodurch es in besonders vorteilhafter Weise möglich ist, eine im Fahrzeug

implementierte Funktion mittels durch einen Benutzer getätigter Gesten zu steuern. Dabei dient die Oberfläche in Verbindung mit der TOF-Kamera als Benutzerschnittstelle.

Insbesondere wird die Transformation der gespeicherten Daten der

Oberflächenform mit den Tiefeninformationen in einer Anpassung mittels der Methode der kleinsten Quadrate optimiert, wobei freie Parameter dieser Anpassung zumindest ein Drehwinkel und zumindest eine lineare

Verschiebung sind.

Besonders bevorzugt wird die Methode der kleinsten Quadrate zur

Optimierung der linearen Transformation verwendet, wobei es mit dieser Methode möglich ist, die Tiefeninformation in Bezug auf die Oberflächenform auszuwerten.

In einer vorteilhaften Ausgestaltung des Verfahrens wird die Anpassung in Abhängigkeit zumindest eines Drehwinkels und/oder einer linearen

Verschiebung durchgeführt. Vorteilhaft stellen bzw. stellt der Drehwinkel und/oder die lineare Verschiebung freie Parameter in der mittels der Methode der kleinsten Quadrate durchgeführten Anpassung dar.

Ein Ausgangspunkt der Optimierung ist vorzugsweise die gespeicherte ideale Position der Oberfläche in Bezug zu der TOF-Kamera. Diese ideale Position stellt vorteilhaft den Ausgangspunkt zur Optimierung dar, wodurch dieser eine Referenz hinsichtlich einer Abweichung der Ausrichtung der TOF- Kamera bildet.

Insbesondere wird das Ergebnis der Optimierung, eine ermittelte reale Position und eine Ausrichtung der Oberfläche zur Ausführung einer

Interaktion, gespeichert. Die Parameter der realen Position und der

Ausrichtung werden anschließend verwendet, um eine Interaktion eines Fahrzeuginsassen in Bezug auf die Oberfläche zu erfassen. In einer weiteren vorteilhaften Ausgestaltung weist die Oberfläche zumindest eine Kennzeichnung auf, mittels welcher Tiefeninformationen in mittels der TOF-Kamera erfassten Bilddaten bestimmt werden.

Diese Kennzeichnungen bilden Merkmale, die in besonders vorteilhafter Weise zur Erleichterung einer Annäherung des Verfahrens zur Kalibrierung der TOF-Kamera an ein Optimum dienen. Mittels der Kennzeichnungen wird insbesondere ein Wiedererkennen von Tiefeninformationen in mittels der TOF-Kamera erfassten Bilddaten ermöglicht. Alternativ oder zusätzlich ist die Oberfläche mit Kennzeichnungen versehen, mittels derer Licht anders reflektiert wird als von der Oberfläche. D. h., dass die Kennzeichnungen bevorzugt ein Reflexionsverhalten aufweisen, welches sich von einem Reflexionsverhalten der Oberfläche, insbesondere im

Infrarot-Spektrum, unterscheidet. Unter Erfüllung vorgegebener Bedingungen können diese Kennzeichnungen in besonders vorteilhafter Weise dazu verwendet werden, rotatorische und/oder translatorische Freiheitsgrade bei der Optimierung zu eliminieren.

Wiederum alternativ dazu können die Kennzeichnungen zur Reflexion von Infrarot-Strahlung und die Oberfläche das gleiche Reflexionsverhalten im sichtbaren Lichtspektrum aufweisen, so dass die Kennzeichnungen für das menschliche Auge nicht sichtbar sind.

Mittels des Verfahrens ist es in besonders vorteilhafter Weise möglich, eine von einem Fahrzeuginsassen gewünschte Interaktion in Bezug auf eine Oberfläche unabhängig von der Ausgestaltung der Oberflächenform, d. h. unabhängig von der Oberflächengeometrie durchzuführen.

Anhand der beigefügten schematischen Figur wird die Erfindung näher erläutert.

Dabei zeigt die:

Fig. 1 schematisch eine Vorrichtung zur Durchführung eines Verfahrens zur Kalibrierung einer TOF-Kamera in einem Fahrzeuginnenraum.

Figur 1 zeigt eine Vorrichtung zur Kalibrierung einer TOF-Kamera 1 in einem Fahrzeuginnenraum F. Die Vorrichtung weist die TOF-Kamera 1 , deren Erfassungsbereich 2 auf eine dreidimensional gewölbte Oberfläche 3 gerichtet ist, eine

Rechnereinheit 4 und eine mit der Rechnereinheit 4 gekoppelte

Speichereinheit 5 auf. Die TOF-Kamera 1 ist beispielsweise vorgesehen, eine durch die Person ausgeführten Gesten zu erfassen, um eine mit dieser Geste verknüpfte Aktion auszuführen. Hierzu ist die TOF-Kamera 1 mit der Rechnereinheit 4 verbunden, mittels welcher mit der TOF-Kamera 1 erfasste Bilddaten verarbeitet und ausgewertet werden. Mittels der Vorrichtung ist es beispielsweise möglich, durch eine Geste in Bezug auf die in dem Fahrzeuginnenraum F angeordnete gewölbte

Oberfläche 3 die gewünschte Aktion auszulösen und/oder auszuführen. Diese Interaktion mit der Oberfläche 3 erfordert, dass die TOF-Kamera 1 zur Erfassung von Tiefeninformationen in Form von dreidimensionalen Bilddaten in Bezug auf die Oberfläche 3 exakt kalibriert, also ausgerichtet ist. Mittels der Kalibrierung der TOF-Kamera 1 in Bezug auf die Oberfläche 3 kann sichergestellt werden, dass beispielsweise die Interaktion mit der

Oberfläche 3 präzise erfasst wird. Ist die TOF-Kamera 1 in Bezug auf die Oberfläche 3 kalibriert, kann z. B. ein Abstand einer Fingerspitze eines Fahrzeuginsassen zu der Oberfläche 3 ermittelt werden.

Mittels eines in der Rechnereinheit 4 oder der Speichereinheit 5

gespeicherten vorgegebenen Schwellwertes hinsichtlich des ermittelten Abstandes kann bestimmt werden, ob sich der Finger des Fahrzeuginsassen nah oder fern zu der Oberfläche 3 in dem Fahrzeuginnenraum F befindet. Diese somit ermittelten Informationen können anschließend weiterverwendet werden, um beispielsweise eine entsprechende Software-Reaktion in Bezug auf eine mittels der TOF-Kamera 1 und der Oberfläche 3 gebildete

Benutzerschnittstelle hervorzurufen oder auszulösen.

In einem idealen System ist eine Kalibrierung der TOF-Kamera 1 in Bezug auf einen Bezugspunkt, im vorliegenden Fall die Oberfläche 3, nicht erforderlich. Dazu kann die TOF-Kamera 1 in dem Fahrzeuginnenraum F an einer optimalen Position angeordnet werden, wobei der Erfassungsbereich 2 der TOF-Kamera 1 auf die Oberfläche 3 als Bezugspunkt gerichtet ist.

Oftmals entspricht die wirkliche Position der TOF-Kamera 1 aufgrund vorgegebener Bedingungen, wie z. B. einer Fehlanordnung und/oder thermischer Ausdehnungen verschiedener Materialien, nicht der idealen Position der TOF-Kamera 1 in Bezug auf die Oberfläche 3. Zudem sind erfasste räumliche Bilddaten generell abhängig von thermischen

Abweichungen.

Aufgrund dessen können die anhand der mittels der TOF-Kamera 1 erfassten Bilddaten ermittelten Informationen nicht verwendet werden, um eine Berührung der Oberfläche 3 zu erfassen.

Zur Kalibrierung der TOF-Kamera 1 ist vorgesehen, dass mittels der TOF- Kamera 1 eine Tiefeninformation der TOF-Kamera 1 zu der Oberfläche 3 oder zumindest zu einem Abschnitt der Oberfläche 3 erfasst wird, wobei eine Oberflächenform und eine optimale Position, d. h. eine ideale Position der TOF-Kamera 1 in Bezug auf die Oberflächenform 3 vorzugsweise in der Speichereinheit 5, die auch in die Steuereinheit 4 integriert sein kann, gespeichert sind.

Die TOF-Kamera 1 erfasst Tiefeninformationen der sich momentan im Erfassungsbereich 2 der TOF-Kamera befindenden Szene, welche ebenfalls gespeichert werden. Darauffolgend werden Koordinaten der Oberflächenform mittels linearer Transformation in das Koordinatensystem der TOF-Kamera 1 übertragen.

Insbesondere wird die Transformation der gespeicherten Daten der

Oberflächenform mit den Tiefeninformationen in einer Anpassung mittels der Methode der kleinsten Quadrate optimiert, wobei freie Parameter dieser Anpassung zumindest ein Drehwinkel und zumindest eine lineare

Verschiebung sind. Ein Ausgangspunkt der Optimierung ist die gespeicherte ideale Position der Oberfläche 3 in Bezug zu der TOF-Kamera 1 .

Beispielsweise wird das Ergebnis der Optimierung, eine ermittelte reale Position und eine Ausrichtung der Oberfläche 3 zur Ausführung einer Interaktion, gespeichert. Die Parameter der realen Position und der Ausrichtung werden anschließend verwendet, um eine Transformation der Kamera-Koordinaten in das Koordinatensystem der Oberflächenform der Oberfläche 3 durchzuführen. Diese Transformation ist erforderlich, um eine Interaktion des Fahrzeuginsassen in Bezug auf die Oberfläche 3 zu erfassen.

Um eine Annäherung des Verfahrens zur Kalibrierung an ein Optimum zu erleichtern, insbesondere, um eine besonders genaue Kalibrierung zu realisieren, kann vorgesehen sein, dass die Oberfläche 3 eindeutige

Merkmale 6 aufweist, welche ein Wiedererkennen der Tiefeninformationen in den erfassten Bilddaten ermöglicht.

Zwei solcher Merkmale 6 sind ausreichend zueinander beabstandet, und ermöglichen es somit, Parameter zur Optimierung der Anpassung der Methode der kleinsten Quadrate zu beseitigen.

Weiterhin kann vorgesehen sein, dass die Oberfläche 3 mit

Kennzeichnungen versehen ist, welche ein anderes Rexflexionsverhalten im Infrarot-Spektrum aufweisen als das der Oberfläche 3. Diese

Kennzeichnungen sind außerhalb der Oberfläche 3 im Amplitudenimage angeordnet und können dazu verwendet werden, rotatorische und

translatorische Freiheitsgrade bei der Optimierung zu eliminieren.

Solche Kennzeichnungen zur Reflexion von Infrarot-Strahlung können auch das gleiche Reflexionsverhalten aufweisen wie die Oberfläche 3 im

sichtbaren Lichtspektrum, so dass sie für das menschliche Auge nicht sichtbar sind.

Diese Kennzeichnungen können als so genannte Retro-Reflektoren ausgebildet sein und sind vorzugsweise aus einem Material gebildet, welches zumindest größtenteils zur Reflexion eine bestimmte Geometrie anstatt verschiedener Reflexionskoeffizienten nutzt. Das ist dadurch bedingt, dass die Beleuchtung für die TOF-Kamera 1 im Allgemeinen vergleichsweise nah an einer Empfangsoptik der TOF-Kamera 1 angeordnet ist.

Das oben beschriebene Verfahren erfordert nicht, dass die Optimierung in bestimmten Koordinatensystemen ausgeführt wird. Es ist vielmehr möglich, die Optimierung in beliebigen Koordinatensystemen durchzuführen.

Bezugszeichenliste

1 TOF-Kamera 2 Erfassungsbereich

3 Oberfläche

4 Rechnereinheit

5 Speichereinheit

6 Merkmal

F Fahrzeuginnenraum