M 948 PCT

Schließsystem für ein Kraftfahrzeug

Beschreibung:

Die Erfindung betrifft ein Schließsystem für ein Kraftfahrzeug zur insbesondere Gesten basierten Steuerung bzw. Zugangserkennung an einem Kraftfahrzeug sowie ein zugehöriges Verfahren.

Grundsätzlich sind im Stand der Technik und beispielsweise aus den Doku- menten DE 10 2019 008 962 A1 oder DE 43 40 260 A1 Schließsysteme bekannt, welche auf einem mit dem Fahrzeug kommunizierenden Funkschlüssel basieren, durch welchen ein berechtigter Benutzer des Fahrzeugs identifizierbar und das Fahrzeug beispielsweise auf Tastendruck am Funkschlüssel oder am Fahrzeug entriegelbar ist. Die Möglichkeiten zur Steuerung des Kraftfahrzeugs und insbesondere zur Entriegelung des Kraftfahrzeugs sollen durch die vorliegende Erfindung erweitert und vereinfacht sowie auch sicherer werden. Der Erfindung liegt deshalb die Aufgabe zugrunde, die Steuerung eines Kraftfahrzeugs und insbesondere die Zugangserkennung für den Benutzer bequemer, einfacher und sicherer zu gestalten.

Diese Aufgabe wird durch die Merkmalskombination gemäß Patentanspruch 1 gelöst.

Erfindungsgemäß wird daher ein Schließsystem für ein Kraftfahrzeug zur Steuerung des Kraftfahrzeugs vorgeschlagen. Die Steuerung umfasst dabei vorzugsweise auch die Freigabe und/oder das Auslösen einer Funktion des Kraftfahrzeugs und insbesondere auch die Verriegelung und/oder Entriegelung des Kraftfahrzeugs. Das Schließsystem weist hierfür eine Steuereinheit und eine von einem Benutzer tragbare Schlüsseleinheit auf, welche ausgebildet sind, zur Steuerung des Kraftfahrzeugs drahtlos und vorzugsweise verschlüsselt miteinander zu kommunizieren. Bei der Schlüsseleinheit kann es sich beispielsweise um einen Funkschlüssel, einen Schlüsselanhänger (fob), ein Mobiltelefon oder andere hierfür geeignete Gegenstände handeln. Erfindungsgemäß ist zudem vorgesehen, dass das Schließsystem ferner eine Bilderzeugungseinheit und eine mit der Steuereinheit signaltechnisch d.h. einen Datenaustausch ermöglichend verbundene Bildverarbeitungseinheit aufweist. Die Steuereinheit und die Bildverarbeitungseinheit sind ausgebildet, eine insbesondere von der Bilderzeugungseinheit bildtechnisch erfasste Person als den mithin berechtigten Benutzer zu identifizieren, Gestik und/oder Mimik und/oder Körperhaltung und/oder Körperpositionierung des Benutzers zu erfassen sowie diese vorbestimmten Steuerbefehlen zur Steuerung des Kraftfahrzeugs zuzuordnen.

Die grundlegende Idee ist es also, ein Zugangs- bzw. Schließsystem für ein Kraftfahrzeug, welches beispielsweise eine sogenannte „Keyless“- Funktionalität besitzt, dahingehend zu erweitern, dass das Kraftfahrzeug durch den Körper des Benutzers bzw. durch Bewegungsabläufe am Körper des Benutzers gesteuert werden kann. Solche Bewegungen bzw. Bewegungsabläufe können beispielsweise die Gestik und/oder die Mimik und/oder die Körperhaltung und/oder die Körperpositionierung bzw. -Orientierung des Benutzers sein.

In einem einfachen Fall, kann der Benutzer das Kraftfahrzeug beispielsweise durch eine Geste entriegeln, automatisch eine Tür oder einen Kofferraumdeckel öffnen oder eine andere Funktion des Kraftfahrzeugs auslösen.

Weiter wäre auch denkbar, dass die Bewegung des Fahrzeugs gestenkontrolliert gesteuert werden kann. So könnte das Kraftfahrzeug beispielsweise gestengesteuert rückwärts ausgeparkt werden, wobei sich das Fahrzeug bei einem Heranwinken in Bewegung versetzt und bei einem durch die Hand signalisierten Stopp anhält.

Die Steuerung muss dabei nicht auf beispielsweise eine einzelne Geste beschränkt sein. In der Bildverarbeitungseinheit können verschiedene Gesten und/oder Gesichtsausdrücke und/oder Körperhaltungen und/oder Körperpositionierungen bzw. -Orientierungen des Benutzers hinterlegt sein, welchen jeweils eine Funktion bzw. ein Steuersignal zur Steuerung der Funktion des Kraftfahrzeugs zugeordnet ist.

Die Bilderzeugungseinheit kann zur Bilderzeugung zumindest eine Kamera und/oder einen Lidar-Sensor und/oder einen Radar-Sensor aufweisen.

Sieht das Fahrzeug weitere Assistenzsysteme vor, welche eine Bilderzeugungseinheit aufweisen, kann auch deren Bilderzeugungseinheit genutzt werden. Beispielhaft wären hierfür Kameras zu nennen, welche für eine Rundumsicht, Verkehrszeichenerkennung oder automatisiertes Fahren genutzt werden.

Unabhängig davon, welche Komponenten die Bilderzeugungseinheit umfasst, ist diese vorzugsweise ausgebildet, Hände, Körper und Gesicht einer Person bzw. des Benutzers zu erfassen, wie auch deren jeweilige Positionierung und Orientierung sowie daran stattfindende Bewegungsabläufe zu erkennen bzw. zu erfassen.

Die Bildverarbeitungseinheit und die Steuereinheit können zudem auch integral miteinander ausgebildet sein.

Zur Identifikation des Benutzers kann beispielsweise vorgesehen sein, dass die Steuereinheit ausgebildet ist, eine Position und/oder Entfernung der Schlüsseleinheit relativ zu der Steuereinheit oder einem vorbestimmten Punkt zu bestimmen. Bei dem vorbestimmten Punkt kann es sich beispielsweise um den Koordinatenursprung eines gegenüber dem Fahrzeug festes Fahrzeugkoordinatensystems handeln.

Hierfür kann beispielsweise eine Signallaufzeitmessung zwischen der Schlüsseleinheit und der Steuereinheit genutzt werden, wobei die Steuereinheit beispielsweise mehrere Antennen aufweisen kann um aus den Differenzen der Signallaufzeiten zwischen Schlüsseleinheit und den Antennen die Position der Schlüsseleinheit bestimmen zu können.

Weiter kann hierbei vorgesehen sein, dass die Steuereinheit ausgebildet ist, eine Person durch Auswertung der Position und/oder der Entfernung der Schlüsseleinheit und insbesondere durch Vergleich mit einer relativ zu der Steuereinheit oder dem vorbestimmten Punkt vorbestimmten Zugangszone als Benutzer zu identifizieren und/oder eine Bilderzeugung durch Bilderzeugungseinheit zu starten.

Bewegt sich die Schlüsseleinheit bzw. die Person, welche die Schlüsseleinheit mit sich führt, also in einem einfachen Fall in einen als Zugangszone definierten Bereich, bei welchem es sich beispielsweise um einen Bereich angrenzend an eine Tür oder an einen Kofferraum des Fahrzeugs handeln kann, kann die Person als der berechtigte Benutzer angenommen und dessen Bewegungen ausgewertet werden.

Weiter kann die Bildverarbeitungseinheit ausgebildet sein, eine Position und/oder Entfernung einer Person relativ zu der Steuereinheit oder einem vorbestimmten Punkt zu bestimmen.

Die Steuereinheit und die Bildverarbeitungseinheit sind alternativ oder zusätzlich hierzu ausgebildet, Gestik und/oder Mimik und/oder Körperhaltung und/oder Körperpositionierung einer von der Bilderzeugungseinheit bildtechnisch erfassten Person zu erfassen, diese mit einem vorbestimmten und in der Steuereinheit oder der Bildverarbeitungseinheit hinterlegtem Identifikator, also eine als Schlüssel bzw. Identifikator definierte Gestik und/oder Mimik und/oder Körperhaltung und/oder Körperpositionierung des Benutzers zu vergleichen und die Person bei Übereinstimmung des Erfassten mit dem Hinterlegten als Benutzer zu identifizieren. Beispielsweise kann also vorgesehen sein, dass die Person dem Fahrzeug bei der Annäherung an das Fahrzeug zuwinkt oder eine andere Handbewegung ausführt und sich dadurch als Benutzer identifiziert.

Diese Identifikation mittels eines Identifikators kann dabei mit einem Positionsabgleich von Person und Schlüsseleinheit kombiniert werden. Insbesondere kann hierbei die Steuereinheit ausgebildet sein, die Position der Schlüsseleinheit zu ermitteln, und die Bilderfassungseinheit ausgebildet sein, die Position einer Person zu ermitteln, wobei bei einer Übereinstimmung der Positionen in Kombination mit einem durch die Person signalisierten Identifikator die Person als Benutzer identifiziert wird.

Weiter kann die Steuereinheit und die Bildverarbeitungseinheit auch ausgebildet sein, sichtbare Merkmale insbesondere des Gesichts und/oder des frontalen Kopfes einer von der Bilderzeugungseinheit bildtechnisch erfassten Person zu erfassen, diese mit in der Steuereinheit hinterlegten Merkmalen vorbekannter Benutzer zu vergleichen sowie die Person bei Übereinstimmung der Merkmale als Benutzer zu identifizieren. Entsprechend kann hierdurch eine Gesichtserkennung realisiert werden, wobei hierfür die entsprechenden Merkmale der Steuereinheit bereits bekannt sein müssen. Zur Erhöhung der Sicherheit kann die Gesichtserkennung jedoch mit weiteren Varianten zur Identifikation des Benutzers, wie ein Abgleich der Positionen der Person und des Schlüssels und/oder der Identifikation mittels einer Geste, kombiniert werden.

Vorzugsweise ist die Steuereinheit im Weiteren ausgebildet, das Kraftfahrzeug mittels der Steuerbefehle zu steuern und insbesondere Türen oder Deckel des Kraftfahrzeugs zu entriegeln und/oder einen Motor des Kraftfahrzeugs zu starten. Grundsätzlich ist jedoch auch eine Vielzahl weiterer Funktionen des Kraftfahrzeugs steuerbar.

Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Steuerung eines Kraftfahrzeugs mit einem erfindungsgemäßen Schließsystem. Das Verfahren sieht vor, dass eine insbesondere von der Bilderzeugungseinheit bildtechnisch erfasste Person als Benutzer identifiziert wird, wobei Gestik und/oder Mimik und/oder Körperhaltung und/oder Körperpositionierung des Benutzers durch die Bilderzeugungseinheit als Merkmalskombination erfasst und an die Bildverarbeitungseinheit übermittelt werden. Anschließend bestimmt die Bildverarbeitungseinheit, ob es sich bei der Merkmalskombination um eine statische oder eine dynamische Merkmalskombination handelt, wobei als dynamische Merkmalskombination ein Bewegungsablauf und als statische Merkmalskombination eine statische Haltung verstanden wird. Insbesondere bei Gesten kann also zwischen einer statischen Geste, wie eine einzelne Handhaltung, und dynamischen Gesten als Sequenzen von Handhaltungen unterschieden werden. Weiter extrahiert die Bildverarbeitungseinheit vorbestimmte Merkmale aus der Merkmalskombination und vergleicht die Merkmale einer statischen Merkmalskombination mit einer in der Bildverarbeitungseinheit hinterlegten Merkmalsmatrix statischer Merkmale und die Merkmale einer dynamischen Merkmalskombination mit einer in der Bildverarbeitungseinheit hinterlegten Merkmalsmatrix dynamischer Merkmale. Basierend auf dem Vergleich wird von der Bildverarbeitungseinheit dann aus der jeweiligen Merkmalsmatrix ein der Merkmalskombination zugeordneter Steuerbefehl bestimmt.

Anschließend kann die Bildverarbeitungseinheit den Steuerbefehl an die Steuereinheit übermitteln, welche ausgebildet ist, ein Kraftfahrzeug entsprechend dem Steuerbefehl anzusteuern.

Die Bildverarbeitungseinheit kann bei dem Vergleich der Merkmale einer statischen Merkmalskombination mit der in der Bildverarbeitungseinheit hinterlegten Merkmalsmatrix statischer Merkmale und der Merkmale einer dynamischen Merkmalskombination mit der in der Bildverarbeitungseinheit hinterlegten Merkmalsmatrix dynamischer Merkmale zur Zuordnung des Steuerbefehls zudem die Merkmale durch hinterlegte statistische Daten ergänzt oder einen Steuerbefehl nach dem Vergleich anhand statistischer Daten bestimmen. Diese statistischen Daten können auch als ein Modell und insbesondere als ein neuronales Netz in der Steuereinheit oder der Bildverarbeitungseinheit hinterlegt sein, sodass durch ein solches Modell anhand der aus der Merkmalskombination extrahierten Merkmale die wahrscheinlichste Geste und mithin der wahrscheinlichste Steuerbefehl bestimmt bzw. vorhergesagt werden kann.

Werden aus einer Merkmalskombination, d.h. beispielsweise einer Geste, Merkmale extrahiert, welche nicht vollständig einem einzelnen bzw. bestimmten Steuerbefehl zugeordnet werden können, kann anhand der statistischen Daten bzw. des Modells also bestimmt werden, um welche Geste bzw. um welchen Steuerbefehl es sich mit der größten Wahrscheinlichkeit handelt und diese bzw. dieser dann ausgewählt werden. Die vorstehend offenbarten Merkmale sind beliebig kombinierbar, soweit dies technisch möglich ist und diese nicht im Widerspruch zueinander stehen.

Andere vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet bzw. werden nachstehend zusammen mit der Beschreibung der bevorzugten Ausführung der Erfindung anhand der Figuren näher dargestellt. Es zeigen:

Fig. 1 schematische Ansicht eines Schließsystems;

Fig. 2 Ablauf zur Erfassung und Zuordnung einer Geste zu einem Steuerbefehl;

Fig. 3 Ablauf zur Hinterlegung statistischer Daten für statische Gesten;

Fig. 4 Ablauf zur Hinterlegung statistischer Daten für dynamische

Gesten.

In Figur 1 ist beispielhaft und schematisch eine Variante eines Schließsystem 1 für ein Kraftfahrzeug 2 dargestellt, durch welches das Kraftfahrzeug 2 steuerbar ist. Das Schließsystem 1 besitzt hierfür eine Steuereinheit 3 und eine von einem Benutzer 4 tragbare Schlüsseleinheit, welche vorliegend nicht dargestellt ist, jedoch vom Benutzer 4 geführt werden kann. Die Steuereinheit 3 und die Schlüsseleinheit kommunizieren zur Steuerung des Kraftfahrzeugs 2 im Sinne eines Keyless-Go- bzw. Keyless-Entry-Systems drahtlos miteinander, was durch ein Signal 7 angedeutet ist.

Zur Erweiterung der Funktionalität eines solchen Keyless-Go- bzw. Keyless- Entry-Systems weist das Schließsystem 1 ferner eine Bilderzeugungseinheit 5 und eine mit der Steuereinheit 3 und der Bilderzeugungseinheit 5 signaltechnisch verbundene Bildverarbeitungseinheit 6 auf, sodass die Bilderzeugungseinheit 5 ein Bild erzeugen und an die Bildverarbeitungseinheit 5 übermitteln kann, welche das Bild auswertet und das Ergebnis der Auswer- tung an die Steuereinheit 3 übermittelt. Als Bild kann dabei vorliegend ein Einzelbild, eine Sequenz von Einzelbildern oder ein Videostream verstanden werden. Entsprechend sind die Steuereinheit 3 und die Bildverarbeitungseinheit 6 ausgebildet, eine Person insbesondere aus einer Vielzahl von Personen als einen Benutzer bzw. den berechtigten Benutzer 4 zu identifizieren, hier konkret dessen Gestik zu erfassen sowie die erfasste Gestik vorbestimmten Steuerbefehlen zur Steuerung des Kraftfahrzeugs 2 zuzuordnen.

Bei der Annäherung an das Fahrzeug 2 auf der Fahrerseite des Fahrzeugs 2 kann der Benutzer 4 beispielsweise durch eine Geste der Hand die Fahrertür entriegeln. Die Geste 10 kann dabei auch bereits das Heben der Hand zu einem Türgriff 8 der Fahrzeugtür 9 sein. Bei einer Annäherung des Benutzers 4 an die Beifahrerseite des Fahrzeugs 2 kann der Benutzer 4 entsprechend durch die Geste 10 die Beifahrertür 9 entriegeln. Weiter kann der Benutzer 4 durch eine alternative Geste auch alle Türen des Fahrzeugs 2 entriegeln oder andere Funktionen des Fahrzeugs 2 aktivieren.

Die Figuren 2 bis 4 zeigen jeweils durch eine an ein Ablaufdiagramm angelehnte Darstellung der vorgeschlagenen Verfahren.

Zur Wahrung der Übersicht sind die Abschnitte Y und Z des Verfahrens gemäß Fig. 2 in den Figuren 3 und 4 dargestellt, wobei das Verfahren gemäß Figur 2 auch ohne die Abschnitte gemäß den Figuren 3 und 4 verwendet werden kann.

Das Verfahren gemäß Figur 2 umfasst insbesondere die Abschnitte X (Ablauf bildbasierte Gestenerkennung), Y (Trainingsablauf für statische Gesten) und Z (Trainingsablauf für dynamische Gesten). Dabei werden insbesondere die folgenden Schritte durchlaufen:

A Erkennung eines berechtigten Benutzers 4 in einer Zugangszone des Fahrzeugs 2. B Start der Bilderzeugungseinheit 5.

C Übermitteln eines Bildes an die Bildverarbeitungseinheit 6.

D Vorverarbeitung zur Differenzierung statischer oder dynamischer Gesten, insbesondere Erfassen der Geste als Merkmalskombination.

E Handelt es sich bei der durch das Bild erfassten Geste bzw. bei der Merkmalskombination um eine statische Geste (dann s) oder handelt es sich um eine dynamische Geste (dann d). sF Merkmalsextraktion aus der statischen Geste bzw. der Merkmalskombination. dF Merkmalsextraktion aus der dynamischen Geste bzw. der Merkmalskombination. sG Vergleich mit einer Merkmalsmatrix statischer Gesten, in welcher Merkmale für eine Vielzahl von statischen Gesten hinterlegt ist. dG Vergleich mit einer Merkmalsmatrix dynamischer Gesten, in welcher Merkmale für eine Vielzahl von dynamischen Gesten hinterlegt ist. sH Statistische Vorhersage einer statischen Geste. dH Statistische Vorhersage einer dynamischen Geste. sJ Handelt es sich um eine erste vorbestimmte statische Geste? Falls ja (1), dann Übermittlung eines zugehörigen Steuerbefehls sL an die Steuereinheit 3. Falls nein (0), dann weiter zur nächsten statischen Geste. dJ Handelt es sich um eine erste vorbestimmte dynamische Geste? Falls ja (1 ), dann Übermittlung eines zugehörigen Steuerbefehls dL an die Steuereinheit 3. Falls nein (0), dann weiter zur nächsten dynamischen Geste. sK Handelt es sich um eine letzte bzw. n-te vorbestimmte statische Geste? Falls ja (1 ), dann Übermittlung eines zugehörigen Steuerbefehls sM an die Steuereinheit 3. Falls nein (0), dann Übermittlung eines zugehörigen Steuerbefehls sN an die Steuereinheit 3, bei welchem es sich auch um eine Fehlermeldung handeln kann. dK Handelt es sich um eine letzte bzw. n-te vorbestimmte dynamische Geste? Falls ja (1 ), dann Übermittlung eines zugehörigen Steuerbefehls dM an die Steuereinheit 3. Falls nein (0), dann Übermittlung eines zugehörigen Steuerbefehls dN an die Steuereinheit 3, bei welchem es sich ebenfalls um eine Fehlermeldung handeln kann.

In den Schritten sH und dH werden jeweils statistische Daten berücksichtigt, welche durch Trainieren eines Modells erfasst bzw. in die Auswahl der Geste einbezogen werden. Da die beispielhaft dargestellten Abläufe für den Trainingsablauf der dynamischen Gesten Z und den Trainingsablauf der statischen Gesten Y bezüglich ihres Ablaufs identisch sind, werden die Figuren 3 und 4 miteinander beschrieben.

Gemäß den Figuren 3 und 4 ist vorgesehen, dass im Wesentlichen die folgenden Schritte durchlaufen werden:

A Datenakquise spezifischer, statischer Gesten (Figur 3) bzw. dynamischer Gesten (Figur 4) des berechtigten Benutzers 4 insbesondere als Merkmalskombinationen.

B Zusammenstellung von Trainingsdaten.

C Extraktion von Merkmalen zu den einzelnen Gesten bzw. Merkmalskombinationen aus den Trainingsdaten. D Erzeugung einer Merkmalsmatrix aus den extrahierten Merkmalen.

E Zuordnung von Gesten und/oder Steuerbefehle zu den in der Merkmalsmatrix durch deren Merkmale hinterlegte Gesten bzw. Merkmalskombinationen. F Trainieren eines Modells insbesondere eines neuronalen Netzes.

G Erhalten eines trainierten Modells zur Vorhersage einer statischen Geste in Schritt sH (Figur 3) bzw. einer dynamischen Geste in Schritt dH (Figur 4).

H Evaluation des Modells. J Erfassung und Berücksichtigung von im Rahmen der Evaluation extrahierten Metriken.

Die Erfindung beschränkt sich in ihrer Ausführung nicht auf die vorstehend angegebenen bevorzugten Ausführungsbeispiele. Vielmehr ist eine Anzahl von Varianten denkbar, welche von der dargestellten Lösung auch bei grundsätzlich anders gearteten Ausführungen Gebrauch macht.