Die vorliegende Erfindung ein Verfahren zur Kalibrierung eines Gestenerkennungsalgorithmus zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs eines Fahrzeugs. Die Erfindung betrifft ferner ein Verfahren zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs eines Fahrzeugs sowie eine entsprechende Vorrichtung für ein Fahrzeug und ein Computerprogrammprodukt.

Es sind Vorrichtungen bekannt, um Kofferraumdeckel oder Heckklappen von Fahrzeugen automatisch zu öffnen, wenn ein Benutzer beispielsweise ein Bein in einen dafür vorgesehenen Zielbereich in der Umgebung des Fahrzeugs bringt. Dazu werden beispielsweise kapazitive Sensoren eingesetzt, um die Präsenz des Beins in dem Zielbereich zu detektieren.

Ein Nachteil dabei ist es, dass diese Vorrichtungen relativ unspezifisch reagieren und so potentiell die Gefahr von falsch-positiven Detektionen besteht, wenn etwa ein anderes Objekt in den Zielbereich gebracht wird, ohne dass eine entsprechende Intention zum automatischen Öffnen des Kofferraumdeckels oder der Heckklappe durch den Benutzer besteht. Um dem entgegenzuwirken, kann die Vorrichtung beispielsweise derart ausgestaltet werden, dass der Zielbereich entsprechend klein ist, so dass die Wahrscheinlichkeit reduziert wird, dass unbeabsichtigter Weise ein Objekt in den Zielbereich gebracht wird. Dies ist jedoch ebenfalls nachteilhaft, da der Benutzer, sollte ein automatisches Öffnen des Kofferraumdeckels beziehungsweise der Heckklappe tatsächlich erwünscht sein, einen relativ kleinen Zielbereich treffen muss, was wiederum zur Folge hat, dass die Zuverlässigkeit bei der Erkennung der Intention des Benutzers reduziert wird.

Ferner ist es bekannt, Ultraschallsensoren zur Gestenerkennung zu verwenden. Da mittels eines Ultraschallsensors zeitabhängig der Abstand eines Objekts zu dem Ultraschallsensor ausgewertet werden kann, kann auch der zeitliche Verlauf beispielsweise eines Beins des Benutzers und dementsprechend eine Geste, die der Benutzer mit dem Bein durchführt, mittels Ultraschallsensoren erkannt und charakterisiert werden. Auch bei der Verwendung von Ultraschallsensoren zur Gestenerkennung kann es jedoch grundsätzlich vorkommen, dass eine entsprechende Bewegung des Benutzers nicht als Geste erkannt wird, da sich die Bewegung beispielsweise in Details personenabhängig oder benutzerabhängig unterscheiden kann.

Dokument DE 10 2016 013 935 A1 beschreibt ein Verfahren zum automatisierten Durchführen von Fahrzeugfunktionen. Dabei wird ein Nutzer über einen Fahrzeugschlüssel erkannt und anschließend werden Gesten oder Verhaltensmuster über eine oder mehrere Fahrzeugkameras erfasst. Abhängig davon kann eine Fahrzeugeinstellung personalisiert werden, beispielsweise eine Sitzposition entsprechend personalisiert eingestellt werden.

Es ist eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit zum berührungslosen Öffnen eines durch ein bewegliches Bauelement eines Fahrzeugs verschlossenen Bereichs des Fahrzeugs anzugeben, durch welche die Intention des Benutzers zum Öffnen zuverlässiger erkannt werden kann.

Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.

Die Erfindung beruht auf der Idee, einen vorgegebenen Gestenerkennungsalgorithmus zur ultraschallbasierten Gestenerkennung zu kalibrieren, indem abhängig von einem Sensorsignal, das ein Ultraschallsensor des Fahrzeugs erzeugt, während eine Person eine Gestenbewegung durchführt, ein Wert eines vorgegebenen Parameters des Gestenerkennungsalgorithmus bestimmt und gespeichert wird.

Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Kalibrierung eines Gestenerkennungsalgorithmus zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs eines Fahrzeugs, insbesondere Kraftfahrzeugs, angegeben. Dabei wird ein Gestenerkennungsalgorithmus in computerlesbarer Form bereitgestellt. Der Gestenerkennungsalgorithmus ist dabei dazu angepasst, abhängig von einem zeitabhängigen Sensorsignal eines Ultraschallsensors des Fahrzeugs eine vorgegebene Geste zu erkennen. Mittels des Ultraschallsensors wird ein zeitabhängiges erstes Sensorsignal erzeugt, während eine erste Person in einem Sichtfeld des Ultraschallsensors eine Gestenbewegung durchführt. Abhängig wird, insbesondere mittels wenigstens einer Recheneinheit, ein erster Wert eines vorgegebenen Parameters des Gestenerkennungsalgorithmus bestimmt und gespeichert, insbesondere angepasst.

Der Ultraschallsensor sowie gegebenenfalls weitere Ultraschallsensoren des Fahrzeugs können beispielsweise Teil eines Ultraschallsensorsystems des Fahrzeugs sein. Das Ultraschallsensorsystem kann auch wenigstens eine Recheneinheit aufweisen, die den Ultraschallsensor ansteuern kann und abhängig von dem ersten Sensorsignal den ersten Wert des vorgegebenen Parameters bestimmen und speichern kann.

Das Ultraschallsensorsystem kann beispielsweise in einem Kalibriermodus betrieben werden und das erste Sensorsignal kann in dem Kalibriermodus erzeugt werden. Davon abgesehen kann das Ultraschallsensorsystem beispielsweise in einem Gestenerkennungsmodus betrieben werden, insbesondere nachdem der erste Wert des Parameters bestimmt und gespeichert wurde. Der Gestenerkennungsalgorithmus ist insbesondere dazu angepasst, in dem Gestenerkennungsmodus die Geste abhängig von dem Sensorsignal des Ultraschallsensors die Geste zu erkennen.

Die wenigstens eine Recheneinheit kann den Ultraschallsensor zum Emittieren von Ultraschallwellen ansteuern und beispielsweise den Kalibriermodus und/oder den Gestenerkennungsmodus aktivieren beziehungsweise deaktivieren.

Die Ultraschallwellen können von dem Ultraschallsensor beispielsweise in Form eines oder mehrerer Ultraschallimpulse emittiert werden. In der Umgebung reflektierte und von den Ultraschallsensoren detektierte Anteile der emittierten Ultraschallwellen veranlassen den Ultraschallsensor dazu, das Sensorsignal beziehungsweise das erste Sensorsignal zu erzeugen, insbesondere als elektrisches Signal beziehungsweise Spannungssignal oder Stromsignal. Der Ultraschallsensor kann auch als Ultraschallwandler oder Ultraschall-Transducer bezeichnet werden.

Das erste Sensorsignal kann beispielsweise einer Amplitude oder Intensität der jeweils zum bestimmten Zeitpunkt reflektierten und detektierten Ultraschallwellen entsprechen beziehungsweise einer entsprechenden Einhüllenden.

Da sich die erste Person in dem Sichtfeld des Ultraschallsensors befindet und die Gestenbewegung durchführt, spiegelt das erste Sensorsignal also die Gestenbewegung wider beziehungsweise wird abhängig von der Gestenbewegung erzeugt. Die Gestenbewegung kann dabei als Bewegung eines Körperteils, insbesondere eines Beins oder Knies, der ersten Person aufgefasst werden, welche die vorgegebene Geste darstellt oder darstellen soll beziehungsweise nachbilden soll. Die erste Person kann sich bei der Durchführung der Gestenbewegung beispielsweise in einem vordefinierten Gestenerkennungsbereich außerhalb des Fahrzeugs, insbesondere in der unmittelbaren Umgebung des Ultraschallsensors, befinden, wobei das Sichtfeld des Ultraschallsensors den Gestenerkennungsbereich abdeckt.

Nach dem Bestimmen und Speichern des ersten Werts für den Parameter kann der Kalibriermodus beispielsweise deaktiviert werden. Beispielsweise kann dann der Gestenerkennungsmodus aktiviert werden. Das Bestimmen und Speichern, insbesondere Anpassen, des ersten Werts des Parameters des Gestenerkennungsalgorithmus, kann als Kalibrierung des Gestenerkennungsalgorithmus verstanden werden. Nachdem das erfindungsgemäße Verfahren zur Kalibrierung des Gestenerkennungsalgorithmus durchgeführt wurde, kann die Gestenerkennung zur Erkennung der vorgegebenen Geste abhängig von dem ersten Wert des Parameters verwendet werden. In analoger Weise können auch weitere Parameter des Gestenerkennungsalgorithmus abhängig von dem ersten Sensorsignal bestimmt und gespeichert werden und zur weiteren Verwendung des Gestenerkennungsalgorithmus im Gestenerkennungsmodus verwendet werden.

Da der erste Wert des Parameters personenbezogen abhängig von der Gestenbewegung der ersten Person bestimmt wird, können beispielsweise charakteristische Bewegungsmuster oder Eigenschaften der Gestenbewegung der ersten Person zur späteren Gestenerkennung im Gestenerkennungsmodus berücksichtigt werden. Beispielsweise kann der Gestenerkennungsalgorithmus auch vor dem Durchführen des erfindungsgemäßen Verfahrens zur Kalibrierung bereits prinzipiell in der Lage sein, die Geste abhängig von einem Sensorsignal des Ultraschallsensors zu detektieren. Durch das erfindungsgemäße Verfahren werden jedoch personenabhängige Eigenheiten der Gestenbewegung berücksichtigt und der Gestenerkennungsmodus dementsprechend angepasst. Dadurch kann die Zuverlässigkeit der Gestenerkennung im Gestenerkennungsmodus erhöht werden. Mit anderen Worten kann die Wahrscheinlichkeit dafür reduziert werden, dass die erste Person die Geste durchführen möchte, dies aber von dem Gestenerkennungsalgorithmus aufgrund charakteristischer Eigenschaften der Bewegung der ersten Person nicht erkannt wird.

Gemäß zumindest einer Ausführungsform des Verfahrens zur Kalibrierung des Gestenerkennungsalgorithmus wird abhängig von dem ersten Sensorsignal, insbesondere mittels der wenigstens einen Recheneinheit, eine charakteristische Eigenschaft der Gestenbewegung bezüglich der ersten Person bestimmt und der erste Wert des Parameters wird, insbesondere mittels der wenigstens einen Recheneinheit, abhängig von der bezüglich der ersten Person bestimmten charakteristischen Eigenschaft bestimmt.

Bei der charakteristischen Eigenschaft kann es sich beispielsweise um einen initialen Abstand eines bei der Gestenbewegung bewegten Körperteils der ersten Person handeln oder die charakteristische Eigenschaft kann davon abgeleitet werden. So kann mit Vorteil berücksichtigt werden, dass verschiedene Personen typischerweise verschiedene Abstände zu dem Fahrzeug einnehmen, wenn sie die Gestenbewegung durchführen.

Ebenso kann die charakteristische Eigenschaft einem finalen Abstand des Körperteils nach oder bei Abschluss der Gestenbewegung entsprechen oder davon abgeleitet werden.

Die Gestenbewegung kann beispielsweise einer Bewegung des Körperteils, insbesondere des Beins, von einer Ausgangsposition in Richtung des Fahrzeugs beziehungsweise des Ultraschallsensors und zurück bis zu der Ausgangsposition oder näherungsweise bis zu der Ausgangsposition entsprechen. Der Abstand des Körperteils von dem Ultraschallsensor ist also insbesondere bei Beginn der Gestenbewegung gleich dem initialen Abstand, wird dann verringert und danach wieder bis zum Erreichen des finalen Abstands erhöht.

Durch die Berücksichtigung des finalen Abstands kann berücksichtigt werden, dass verschiedene Personen beispielsweise typischerweise eine Bewegung oder einen Schritt auf den Ultraschallsensor zu machen, wenn sie die Gestenbewegung durchführen. Mit anderen Worten führen Personen gegebenenfalls das Bein nicht vollständig bis zur Ausgangsposition und zum initialen Abstand zurück, so dass der finale Abstand nicht mit dem initialen Abstand übereinstimmt. Dies kann zur personenspezifischen Charakterisierung und entsprechenden personenspezifischen Bestimmung des ersten Werts für den Parameter benutzt werden.

Die charakteristische Eigenschaft kann auch einer Distanz zwischen dem finalem Abstand und dem initialem Abstand entsprechen oder davon abgeleitet werden.

Die charakteristische Eigenschaft kann auch einer Bewegungsgeschwindigkeit des Körperteils während der Gestenbewegung entsprechen oder davon abgeleitet werden. So kann mit Vorteil berücksichtigt werden, dass verschiedene Personen typischerweise der Körperteil unterschiedlich schnell bewegen, um die Gestenbewegung durchzuführen.

Die charakteristische Eigenschaft kann einer zeitlichen Dauer der Gestenbewegung entsprechen oder davon abgeleitet werden. Auch über die zeitliche Dauer können personenspezifische Charakteristika der Gestenbewegung abgebildet und berücksichtigt werden, beispielsweise zum einen die unterschiedliche Geschwindigkeit der Gestenbewegung, zum anderen aber auch personenspezifische Körperproportionen wie etwa die Länge des Beins und so weiter.

Die charakteristische Eigenschaft kann auch einer Amplitude, insbesondere einer Maximalamplitude, eines Signalimpulses des ersten Sensorsignals während der Gestenbewegung entsprechen oder davon abgeleitet werden. Die Maximalamplitude kann unter anderem beispielsweise durch die Körpergröße, Statur oder Kleidung der ersten Person beeinflusst werden, was weitere typische Einflussgrößen auf die Charakteristik der Gestenbewegung beziehungsweise den ersten Wert des Parameters sind.

Die charakteristische Eigenschaft ist nicht auf die genannten Beispiele beschränkt. Es können auch mehrere der genannten oder weitere charakteristische Eigenschaften basierend auf dem ersten Sensorsignal bestimmt werden, und der erste Wert des Parameters kann abhängig von diesen bestimmt werden. Zwei oder mehr charakteristische Eigenschaften können auch miteinander kombiniert oder verrechnet werden, um den ersten Wert für den Parameter zu bestimmen.

Im Allgemeinen kann der Parameter direkt einer der charakteristischen Eigenschaften entsprechen oder von einer oder mehreren der charakteristischen Eigenschaften abgeleitet werden.

Indem die charakteristische Eigenschaft der Bestimmung des ersten Werts für den Parameter zugrunde gelegt wird, kann der Gestenerkennungsalgorithmus gezielt beeinflusst werden, um die Zuverlässigkeit der Gestenerkennung zu erhöhen. Dadurch kann der erste Wert des Parameters insbesondere derart bestimmt werden, dass der Gestenerkennungsalgorithmus besonders relevante charakteristische Eigenschaften bei der Gestenerkennung berücksichtigen kann und gegebenenfalls weniger relevanten charakteristischen Eigenschaften kein oder geringeres Gewicht bei der Gestenerkennung beimisst. So kann insbesondere verhindert werden, dass der Gestenerkennungsalgorithmus zu stark spezifiziert wird und gegebenenfalls Abweichungen in der Gestenbewegung bei ein und derselben Person die Zuverlässigkeit der Gestenerkennung beeinflussen könnten.

Gemäß zumindest einer Ausführungsform wird das Erzeugen des ersten Sensorsignals wiederholt, während die erste Person in dem Sichtfeld des Ultraschallsensors die Gestenbewegung wiederholt durchführt. Das Bestimmen der charakteristischen Eigenschaft der Gestenbewegung bezüglich der ersten Person wird basierend auf dem wiederholt erzeugten ersten Sensorsignal ebenfalls wiederholt. Der erste Wert des Parameters wird abhängig von der wiederholt bestimmten charakteristischen Eigenschaft bestimmt, beispielsweise durch Mittelwertbildung oder eine sonstige statistische Verarbeitung.

Auf diese Weise kann Schwankungen der charakteristischen Eigenschaft bei der Durchführung der Gestenbewegung durch ein und dieselbe Person begegnet werden. Dadurch kann die Zuverlässigkeit der Gestenerkennung weiter erhöht werden.

Gemäß zumindest einer Ausführungsform implementiert der Gestenerkennungsalgorithmus eine Zustandsmaschine.

Die Zustandsmaschine stellt einen Algorithmus dar, der abhängig von dem ersten Sensorsignal einen von zwei oder mehr vordefinierten Zuständen, beispielsweise des ersten Sensorsignals oder der Gestenbewegung oder der ersten Person, feststellen kann und insbesondere basierend auf einer zeitlichen Abfolge der so bestimmten Zustände der Vorliegen der Geste detektieren kann.

Beispielsweise können verschiedene Zustände der Zustandsmaschine Situationen entsprechen, in denen sich der Körperteil in bestimmten Abstandsbereichen von dem Ultraschallsensor stationär befindet und/oder Situationen, in denen der Körperteil in eine bestimmte Richtung bewegt wird. In einem nicht beschränkenden Beispiel könnte die Geste also beispielsweise detektiert werden, wenn ein Zustand, in dem sich der Körperteil stationär in dem Gestenerkennungsbereich befindet, gefolgt wird von einem Zustand, in dem der Körperteil auf den Ultraschallsensor zu bewegt wird, dieser Zustand wiederum gefolgt wird von einem Zustand, in dem der Körperteil von dem Ultraschallsensor weg bewegt wird und dieser Zustand wiederum gefolgt wird von einem Zustand, in dem der Körperteil wiederum stationär in dem Gestenerkennungsbereich ist. Zur Identifikation der einzelnen Zustände kann beispielsweise der vorgegebene Parameter und weitere Parameter herangezogen werden. Beispielsweise können eine oder mehrere charakteristische Eigenschaften direkt oder verarbeitet als Parameter für die Zustandsmaschine zum Erkennen der einzelnen Zustände verwendet werden. Auf diese Weise kann durch die personenspezifische Festlegung des ersten Werts für den Parameter direkt auf die Zustandserkennung mittels der Zustandsmaschine Einfluss genommen werden und dementsprechend auf die Gestenerkennung.

Gemäß zumindest einer Ausführungsform wird mittels des Ultraschallsensors ein zeitabhängiges zweites Sensorsignal erzeugt, während eine zweite Person, die insbesondere von der ersten Person verschieden ist, in dem Sichtfeld des Ultraschallsensors die Gestenbewegung durchführt. Abhängig von dem zweiten Sensorsignal wird, insbesondere mittels der wenigstens einen Recheneinheit, die charakteristische Eigenschaft der Gestenbewegung bezüglich der zweiten Person bestimmt. Abhängig von der bezüglich der zweiten Person bestimmten charakteristischen Eigenschaft wird, insbesondere mittels der wenigstens einen Recheneinheit, ein zweiter Wert des Parameters bestimmt und gespeichert.

Es können somit also verschiedene Werte des Parameters oder verschiedene Varianten des Gestenerkennungsalgorithmus gespeichert und vorgehalten werden, die unterschiedlichen Personen zugeordnet sind. Beispielsweise können entsprechende Benutzerprofile angelegt werden für verschiedene Personen, die den jeweiligen Wert für den Parameter oder den entsprechend angepassten Gestenerkennungsalgorithmus speichern. Dadurch kann die Zuverlässigkeit der Gestenerkennung weiter erhöht werden.

Gemäß zumindest einer Ausführungsform enthält der Gestenerkennungsalgorithmus ein trainiertes rekurrentes neuronales Netzwerk RNN, beispielsweise ein langes Kurzzeitgedächtnis, LSTM (Englisch: „long short time memory“)m und der Parameter ist ein Gewichtungsfaktor oder ein Bias-Parameter des RNN.

In solchen Ausführungsformen kann beispielsweise der Gestenerkennungsalgorithmus basierend auf Eingangsdaten, die abhängig von dem Sensorsignal des Ultraschallsensors erzeugt werden, die Geste direkt erkennen, ohne dass der Zwischenschritt zum Bestimmen der charakteristischen Eigenschaft durchgeführt werden muss. Dies hat den Vorteil, dass die personenspezifischen Unterschiede bei der Gestenbewegung und deren Einfluss auf die Gestendetektion nicht notwendigerweise bekannt sein muss. In solchen Ausführungsformen kann das Verfahren zur Kalibrierung des Gestenerkennungsalgorithmus derart verstanden werden, dass das Training des RNN basierend auf dem ersten Sensorsignal verbessert oder verfeinert wird.

Befindet sich beispielsweise das Ultraschallsensorsystem in dem Kalibriermodus, kann davon ausgegangen werden, dass die durchgeführte Gestenbewegung tatsächlich der Geste entspricht. Dementsprechend kann, falls erforderlich, die Parametrisierung des RNN abhängig von dem ersten Sensorsignal angepasst werden, um beispielsweise die Konfidenz, mit der die Geste basierend darauf detektiert wird, zu erhöhen.

Gemäß zumindest einer Ausführungsform wird ein Kalibriermodus des Ultraschallsensorsystems aktiviert, beispielsweise mittels der wenigstens einen Recheneinheit, und das erste Sensorsignal wird in dem Kalibriermodus erzeugt. Der Kalibriermodus kann beispielsweise von der ersten Person initiiert werden.

Beispielsweise kann mittels eines fahrzeugexternen elektronischen Geräts wenigstens ein Funksignal an die wenigstens eine Recheneinheit übermittelt werden und der Kalibriermodus kann abhängig von dem übermittelten wenigstens einen Funksignal aktiviert werden.

Das fahrzeugexterne elektronische Gerät, welches also insbesondere nicht Teil des Fahrzeugs ist, kann beispielsweise einem mobilen elektronischen Endgerät, einem Smartphone, einer Smartwatch oder einem sonstigen so genannten Wearable Device entsprechen oder einem Fahrzeugschlüssel für das Fahrzeug oder einem Schlüsselanhänger oder dergleichen. So kann der Kalibriermodus insbesondere initiiert werden, wenn die erste Person feststellt, dass Bedarf an einer Verbesserung der Zuverlässigkeit der Gestendetektion besteht.

Gemäß zumindest einer Ausführungsform werden anhand des wenigstens einen Funksignals Identifikationsinformationen der ersten Person an die wenigstens eine Recheneinheit übermittelt. Der erste Wert des Parameters wird abhängig von den Identifikationsinformationen in einem Benutzerprofil der ersten Person gespeichert. Analoges gilt in entsprechenden Ausführungsformen beispielsweise für die zweite Person.

Der Kalibriermodus kann in verschiedenen Ausführungsformen auch abhängig von einer mittels eines Benutzereingabegeräts des Fahrzeugs erfassten Benutzereingabe aktiviert werden. Gemäß einem weiteren Aspekt der Erfindung wird auch ein Verfahren zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs eines Fahrzeugs angegeben. Dabei wird ein erfindungsgemäßes Verfahren zur Kalibrierung des Gestenerkennungsalgorithmus durchgeführt. Nach der Durchführung des Verfahrens zur Kalibrierung des Gestenerkennungsalgorithmus wird mittels des Ultraschallsensors ein zeitabhängiges weiteres erstes Sensorsignal erzeugt, während die erste Person in dem Sichtfeld des Ultraschallsensors die Gestenbewegung erneut durchführt, beispielsweise während des Gestenerkennungsmodus. Durch Anwendung des Gestenerkennungsalgorithmus auf von dem weiteren Sensorsignal abhängige Eingangsdaten abhängig von dem gespeicherten ersten Wert wird eine vorgegebene Geste detek- tiert, insbesondere mittels der wenigstens einen Recheneinheit. In Reaktion auf die Detektion der Geste wird das bewegliche Bauelement automatisch bewegt, um den verschlossenen Bereich zu öffnen.

In Reaktion auf die Detektion der Geste kann dabei derart verstanden werden, dass die automatische Bewegung des beweglichen Bauelements nur erfolgt, wenn die Geste de- tektiert wurde. Mit anderen Worten werden die Eingangsdaten abhängig von dem weiteren ersten Sensorsignal erzeugt und der Gestenerkennungsalgorithmus wird abhängig von dem gespeicherten ersten Wert des Parameters auf die Eingangsdaten angewendet, um die Geste zu detektieren.

Der Gestenerkennungsmodus kann beispielsweise aktiviert werden, wenn die erste Person sich in dem Gestenerkennungsbereich befindet. Es können jedoch auch weitere Bedingungen für die Aktivierung des Gestenerkennungsmodus vorgesehen sein.

Da das weitere erste Sensorsignal den Abstand der ersten Person beziehungsweise des Körperteils der ersten Person von dem Ultraschallsensor widerspiegelt, kann die Durchführung der Gestenbewegung also als die Geste erkannt und dementsprechend detektiert werden.

Bei dem beweglichen Bauelement kann es sich je nach Ausgestaltungsform des Verfahrens und des Fahrzeugs beispielsweise um eine Tür, insbesondere eine Seitentür, eine Fahrertür, eine Beifahrertür, eine Fondtür, eine Hecktür, eine Schiebetür, eine Heckklappe oder einen Kofferraumdeckel handeln. Vorzugsweise handelt es sich um eine Heckklappe oder um einen Kofferraumdeckel. In diesem Fall handelt es sich bei dem verschlossenen Bereich des Fahrzeugs beispielsweise um einen Kofferraum oder um einen offenen oder geschlossenen Ladebereich des Fahrzeugs. Ein offener Ladebereich kann dabei insbesondere nach oben hin offen sein, was es nicht ausschließt, dass der offene Ladebereich beispielsweise in Heckrichtung durch die Heckklappe verschlossen ist, wie etwa bei einem Kleintransporter oder einem Pickup mit offener Ladefläche.

Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.

Gemäß einem weiteren Aspekt der Erfindung wird eine Vorrichtung für ein Fahrzeug zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs des Fahrzeugs angegeben. Die Vorrichtung weist ein Ultraschallsensorsystem mit einem Ultraschallsensor auf, wobei das Ultraschallsensorsystem dazu eingerichtet ist, mittels des Ultraschallsensors ein zeitabhängiges erstes Sensorsignal zu erzeugen, während eine erste Person in einem Sichtfeld des Ultraschallsensors eine Gestenbewegung durchführt. Das Ultraschallsensorsystem weist wenigstens eine Recheneinheit auf, die dazu eingerichtet ist, abhängig von dem ersten Sensorsignal einen ersten Wert eines vorgegebenen Parameters eines Gestenerkennungsalgorithmus zu bestimmen und zu speichern.

Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.

Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Sig- nalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.

In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.

Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) o- der statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer programmierbarer Festwertspeicher, EPROM (englisch: „erasable programmable read-only memory“), als elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM (englisch: „electrically erasable programmable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.

Gemäß zumindest einer Ausführungsform weist die Vorrichtung ein Speichermedium auf, das den Gestenerkennungsalgorithmus in computerlesbarer Form speichert. Das Ultraschallsensorsystem ist dazu eingerichtet, nach dem Bestimmen und Speichern des ersten Werts des Parameters mittels des Ultraschallsensors ein zeitabhängiges weiteres erstes Sensorsignal zu erzeugen, während die erste Person in dem Sichtfeld des Ultraschallsensors die Gestenbewegung erneut durchführt. Die wenigstens eine Recheneinheit ist dazu eingerichtet, den Gestenerkennungsalgorithmus abhängig von dem gespeicherten ersten Wert des Parameters auf von dem weiteren ersten Sensorsignal abhängige Eingangsdaten anzuwenden, um eine vorgegebene Geste zu detektieren. Die wenigstens eine Recheneinheit ist dazu eingerichtet, in Reaktion auf die Detektion der Geste wenigstens ein Steuersignal zum automatischen Bewegen des beweglichen Bauelements zu erzeugen. Gemäß zumindest einer Ausführungsform weist die Vorrichtung wenigstens einen Aktuator auf, der dazu eingerichtet ist, das bewegliche Bauelement abhängig von dem Steuersignal automatisch zu bewegen, um den verschlossenen Bereich zu öffnen.

Dabei kann die wenigstens eine Recheneinheit das Steuersignal direkt an den wenigstens einen Aktuator übermitteln oder an eine Steuereinheit für den wenigstens einen Aktuator und die Steuereinheit für den wenigstens einen Aktuator erzeugt ein weiteres Steuersignal, welches sie an den wenigstens einen Aktuator übermittelt, um diesen zum Bewegen des beweglichen Bauelements abhängig von dem weiteren Steuersignal zu veranlassen.

Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente der erfindungsgemäßen Vorrichtung, insbesondere die wenigstens eine Recheneinheit der Vorrichtung dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.

Weitere Ausführungsformen der erfindungsgemäßen Vorrichtung folgen unmittelbar aus den verschiedenen Ausgestaltungen der erfindungsgemäßen Verfahrens und umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen sowie Vorteile bezüglich der verschiedenen Ausführungsformen zu den erfindungsgemäßen Verfahren analog auf entsprechende Ausführungsformen der erfindungsgemäßen Vorrichtung übertragen. Insbesondere ist die erfindungsgemäße Vorrichtung zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet oder programmiert. Insbesondere führt die erfindungsgemäße Vorrichtung ein erfindungsgemäßes Verfahren durch.

Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm mit Befehlen angegeben. Bei Ausführung der Befehle durch eine erfindungsgemäße Vorrichtung, insbesondere durch die wenigstens eine Recheneinheit, veranlassen die Befehle die Vorrichtung dazu, ein erfindungsgemäßes Verfahren zur Kalibrierung des Gestenerkennungsal- gorithmus und/oder ein erfindungsgemäßes Verfahren zum gestengesteuerten Öffnen eines verschlossenen Bereichs eines Fahrzeugs durchzuführen.

Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, welches ein erfindungsgemäßes Computerprogramm speichert.

Das Computerprogramm sowie das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen aufgefasst werden.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.

Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.

In den Figuren zeigen:

Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einer beispielhaften Ausführungsform einer Vorrichtung für ein Fahrzeug zum automatischen Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs des Fahrzeugs gemäß der Erfindung; und

Fig. 2 ein schematisches Ablaufdiagramm einer beispielhaften Ausführungsform eines Verfahrens zum automatischen Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs eines Fahrzeugs gemäß der Erfindung. In Fig. 1 ist schematisch ein Fahrzeug 1 mit einer beispielhaften Ausführungsform einer erfindungsgemäßen Vorrichtung 2 zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement 3 verschlossenen Bereichs des Fahrzeugs 1 dargestellt.

Das bewegliche Bauelement 3 ist vorliegend beispielhaft als Kofferraumdeckel des Fahrzeugs 1 dargestellt, so dass es sich bei dem durch diesen verschlossenen Bereich um einen Kofferraum des Fahrzeugs 1 handelt. In anderen Ausführungsformen kann es sich bei dem beweglichen Bauelement stattdessen auch um eine Heckklappe oder eine Tür des Fahrzeugs 1 handeln.

Das Fahrzeug, beispielsweise die Vorrichtung 2, weist insbesondere einen oder mehrere, im nicht beschränkenden Beispiel der Fig. 1 zwei, Aktuatoren 4a, 4b auf sowie eine Recheneinheit 6. Die Recheneinheit 6 kann dabei stellvertretend für eine oder mehrere Steuer-, Rechen- und/oder Auswerteeinheiten angesehen werden, die zur Vereinfachung der Beschreibung funktional zusammengefasst beschrieben werden. Die Recheneinheit 6 kann insbesondere die Aktuatoren 4a, 4b ansteuern, so dass diese beispielsweise automatisch eine Bewegung des beweglichen Bauelements 3 initiieren und gegebenenfalls eine Verriegelung des beweglichen Bauelements 3 lösen können. Dadurch kann der durch das bewegliche Bauelement 3 verschlossene Bereich des Fahrzeugs also automatisch geöffnet werden, das heißt, ohne dass ein Benutzer das bewegliche Bauelement 3 manuell öffnen muss. Es sind Systeme bekannt, bei denen dies mittels eines Fahrzeugschlüssels für das Fahrzeug 1 ausgelöst werden kann. Dies kann auch bei der vorliegenden Vorrichtung 2 möglich sein, ist aber nicht zwingend erforderlich. Vielmehr kann die Vorrichtung 2 ein erfindungsgemäßes Verfahren zum gestengesteuerten Öffnen des verschlossenen Bereichs durchführen.

Dazu weist die Vorrichtung 2 einen Ultraschallsensor 5 auf, der ein Sichtfeld hat, in dem er Objekte wie eine Person 8 detektieren kann. Insbesondere kann der Ultraschallsensor 5 Ultraschallimpulse aussenden, und von einem Objekt in dem Sichtfeld des Ultraschallsensors 5 reflektierte Anteile der Ultraschallimpulse detektieren und abhängig davon ein entsprechend zeitabhängiges Sensorsignal erzeugen, das die Intensität der de- tektierten Anteile der Ultraschallimpulse wiedergibt. Das Sensorsignal enthält dann typischerweise Signalimpulse, auch als Peaks oder Echos bezeichnet, wobei jeder Signalimpuls auf einen emittierten Ultraschallimpuls zurückgeht. Die zeitliche Position der Signalimpulse erlaubt es, den Abstand des reflektierenden Objekts von dem Ultraschallsensor 5 mittels der Recheneinheit 6 zu bestimmen. Der Ultraschallsensor 5 sowie die Recheneinheit 6 oder Teile der Recheneinheit 6 können, ebenso wie möglicherweise weitere Ultraschallsensoren (nicht gezeigt) als Teile eines Ultraschallsensorsystems der Vorrichtung 2 aufgefasst werden. Das Ultraschallsensorsystem, insbesondere der Ultraschallsensor 5, kann nicht notwendigerweise nur im Sinne der Erfindung verwendet werden, sondern zusätzlich gegebenenfalls auch für andere Funktionen verwendet werden, etwa zur Einparkunterstützung eines Fahrers des Fahrzeugs 1 .

Das erfindungsgemäße Verfahren zum gestengesteuerten Öffnen des durch das bewegliche Bauelement 3 verschlossen Bereichs des Fahrzeugs 1 sieht vor, dass ein erfindungsgemäßes Verfahren zur Kalibrierung eines Gestenerkennungsalgorithmus durchgeführt wird. Der Gestenerkennungsalgorithmus ist dabei insbesondere in computerlesbarer Form auf einem Speichermedium der Recheneinheit 6 gespeichert.

In einem Kalibriermodus, der beispielsweise durch die Person 8 initiiert werden kann, beispielsweise über eine Benutzereingabeschnittstelle des Fahrzeugs 1 oder ein fahrzeugexternes elektronisches Gerät, wie etwa ein Smartphone, kann die Person 8 in dem Sichtfeld des Ultraschallsensors 5 beispielsweise in einem vorgegebenen Gestenerkennungsbereich 7 in der Umgebung des Ultraschallsensors 5 eine Gestenbewegung durchführen, beispielsweise ein Bein aus dem Stand in Richtung des Ultraschallsensors 5 und wieder zurück bewegen. Während die Person 8 die Gestenbewegung durchführt, erzeugt der Ultraschallsensor 5 ein entsprechendes zeitabhängiges Sensorsignal. Abhängig davon bestimmt die Recheneinheit 6 einen Wert eines vorgegebenen Parameters des Gestenerkennungsalgorithmus, insbesondere spezifisch für die Person 8, und speichert diesen.

Dazu kann die Recheneinheit 6 beispielsweise abhängig von dem Sensorsignal eine charakteristische Eigenschaft der Gestenbewegung bezüglich der Person 8 bestimmen und den Wert des Parameters abhängig von der charakteristischen Eigenschaft bestimmen. Gegebenenfalls kann die Person 8 die Gestenbewegung auch wiederholt durchführen, um Schwankungen der charakteristischen Eigenschaft auszugleichen.

Nach Abschluss des Verfahrens zur Kalibrierung des Gestenerkennungsalgorithmus kann sich dieselbe Person 8 zu einem späteren Zeitpunkt in einem Gestenerkennungsmodus wiederum in den Gestenerkennungsbereich 7 begeben und die Gestenbewegung erneut durchführen. Der kalibrierte Gestenerkennungsalgorithmus kann nun abhängig von dem entsprechend erzeugten weiteren Sensorsignal des Ultraschallsensors Eingangsdaten für den Gestenerkennungsalgorithmus erzeugen und den Gestenerkennungsalgorithmus, insbesondere mit dem gespeicherten Wert des Parameters oder abhängig von dem gespeicherten Wert des Parameters, auf die Eingangsdaten anwenden. Als Ergebnis kann der Gestenerkennungsalgorithmus eine vorgegebene Geste detektieren.

Wenn die Geste detektiert wurde, kann die Recheneinheit 6 wenigstens ein Steuersignal zum automatischen Bewegen des beweglichen Bauelements 3 erzeugen und an die Aktuatoren 4a, 4b übermitteln, so dass das Öffnen des verschlossenen Bereichs initiiert wird.

Zur Gestenerkennung selbst kann die Recheneinheit 6 an sich bekannte Verfahren einsetzen. Beispielsweise kann der Gestenerkennungsalgorithmus eine Zustandsmaschine implementieren. Die Recheneinheit 6 kann durch Anwendung des Gestenerkennungsalgorithmus auf die Eingangsdaten also dann erkennen, wenn die durch die Person 8 durchgeführte Gestenbewegung einer vorgegebenen und vordefinierten Abfolge zweier oder mehrerer Zustände entspricht und basierend darauf die Geste detektieren.

Es sind jedoch auch andere Algorithmen zur Gestenerkennung denkbar und einsetzbar. Beispielsweise kann der Gestenerkennungsalgorithmus ein trainiertes rekurrentes neuronales Netzwerk, RNN, beinhalten.

Fig. 2 zeigt ein schematisches Ablaufdiagramm einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement 3 verschlossenen Bereichs des Fahrzeugs 1. Dabei wird gemäß den Schritten S1 , S2 und S3, gegebenenfalls wiederholt für mehrere Personen, eine Ausführungsform eines erfindungsgemäßen Verfahrens zur Kalibrierung des Gestenerkennungsalgorithmus durchgeführt.

Insbesondere wird in Schritt S1 der Gestenerkennungsalgorithmus in computerlesbarer Form bereitgestellt und in Schritt S2 wird, während die Person 8 sich in dem Sichtfeld des Ultraschallsensors 5 befindet und die Gestenbewegung durchführt, das zeitabhängige Sensorsignal erzeugt. In Schritt S3 wird der Wert des Parameters abhängig von dem Sensorsignal bestimmt und gespeichert, beispielsweise indem die charakteristische Eigenschaft der Gestenbewegung bezüglich der Person 8 bestimmt wird. Nach der Durchführung der Schritte S1 bis S3 wird der Kalibriermodus beendet und zu einem späteren Zeitpunkt beispielsweise der Gestenerkennungsmodus aktiviert. In Schritt S4 wird dann, während die Person 8 in dem Sichtfeld des Ultraschallsensors 5 die Gestenbewegung er- neut durchführt, mittels des Ultraschallsensors 5 ein weiteres Sensorsignal erzeugt und in Schritt S5 wird der Gestenerkennungsalgorithmus auf die von dem weiteren Sensorsignal abhängigen Eingangsdaten abhängig von dem gespeicherten Wert des Parameters angewendet und die vorgegebene Geste detektiert. In Schritt S6 wird in Reaktion auf die Detektion der Geste das bewegliche Bauelement 3 automatisch bewegt, um den verschlossenen Bereich zu öffnen.

Dadurch kann eine besonders robuste Gestenerkennung erreicht werden, die verschiedene Arten oder Ausprägungen der Gestenbewegung erkennen kann. Das Sensorsignal kann beispielsweise direkt dem RNN zugeführt werden und dieses kann eine binäre Entscheidung darüber treffen, ob die Gestenbewegung der Geste entspricht oder nicht.

Ein Vorteil des RNN besteht darin, dass es über einen internen Zustand verfügt, der wie ein Speicher für die der vorangegangenen Messungen wirkt, so dass Änderungen zwischen den Messungen erkannt werden können. Dies macht auch einen externen Speicher für Messergebnisse überflüssig, wodurch Speicherplatz eingespart werden kann. Das verwendete RNN kann beispielsweise ein LSTM sein.

Das RNN kann anhand aufgezeichneter Daten trainiert werden, um die internen Parameter zu lernen und zu erkennen, wann die Geste vorliegt. Es kann von Vorteil sein, ein vortrainiertes RNN auf das spezifische Modell des Fahrzeugs 1 abzustimmen, da sich Sensorpositionen und andere und andere Eigenschaften je nach Fahrzeugmodell ändern können. Dies kann erreicht werden, indem ein Datensatz speziell mit diesem Fahrzeugmodell aufgezeichnet wird und das RNN entsprechend weiter trainiert wird.