Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm und ein zur Ausführung des Verfahrens konfiguriertes System, jeweils zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz unter Verwendung eines trainierten Auswertungsmodells. Insbesondere betrifft die Erfindung auch ein Verfahren zum Trainieren eines solchen Auswertungsmodells, insbesondere eines Machine-Learning-Modells.

In verschiedenen Situationen kann es erforderlich sein, automatisiert einen aktuellen Sitzbelegungszustand einer Sitzanordnung mit zumindest einem Sitzplatz festzustellen. Eine solche Situation kann insbesondere in Fahrzeugen auftreten, beispielsweise in Kraftfahrzeugen, wo eine Konfiguration des Fahrzeugs oder ein Aktivieren, Deaktivieren und/oder Steuern einer oder mehrere Fahrzeugfunktionalitäten in Abhängigkeit von einem aktuellen Sitzbelegungszustand erfolgen sollen. Beispielsweise ist es bei Kraftfahrzeugen bekannt, in Abhängigkeit von einem erkannten Sitzbelegungszustand einen akustischen oder optischen Hinweis an Fahrzeuginsassen zum Anlegen von Sitzgurten auszugeben oder ein Aktivieren bzw. Deaktivieren von Airbags zu steuern.

Zum automatisierten Detektieren eines aktuellen Sitzbelegungszustands eines oder mehrerer Sitze, insbesondere einer Anordnung von Fahrzeugsitzen in einem Fahrzeug, sind dazu insbesondere sogenannte Sitzbelegungsmatten bekannt, die in die Sitze integriert sind (meist jeweils eine je Sitz) und druckempfindliche Sensoren zum Detektieren einer Belegung des jeweiligen Sitzes verwenden. Ein Sitzbelegungszustand des Sitzes wird dabei in Abhängigkeit von den Sensorsignalen bzw. Sensordaten dieser Sensoren bestimmt, in der Regel mittels einer Schwellwertprüfung.

Diese bekannten Lösungen setzen somit eine Ausstattung der Sitze mittels einer darin eingebauten Sensorik voraus und sind zudem meist nicht in der Lage, verschiedene Sitzbelegungszustände jenseits von „besetzt“ und „nicht besetzt“ zu unterscheiden. Des Weiteren müssen die Sensoren typischerweise ab Werk bereits in die Sitze integriert werden, sodass ein Nachrüsten schwierig oder unmöglich ist und das Erfassen eines Sitzbelegungszustands von nicht derart ausgerüsteten Sitzen entfällt. Es sind daher auch Verfahren bekannt, welche zum automatisierten Erkennen eines aktuellen Sitzplatzbelegungszustands Radartechnologie einsetzen. Mittels einer Radarabtastung des Fahrzeuginnenraums durch Radarsensoren werden Messdaten in Form von Radarpunktwolken erzeugt. Anhand der gemessenen Radarpunktwolke kann auf eine aktuelle Sitzplatzbelegung geschlossen werden. Dazu kann ein entsprechendes Auswertungsmodell herangezogen werden, welches ein Machine-Learning-Modell sein kann. Dieses Modell kann vor dem eigentlichen Einsatz mit entsprechenden Daten trainiert werden. Um ein zuverlässiges Ergebnis zu erhalten, muss jedoch eine beträchtliche Menge von Trainingsdaten vorliegen, was wiederum mit einem erheblichen Aufwand verbunden ist.

Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Lösung zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz anzugeben. Insbesondere soll eine verbesserte Lösung zum Trainieren eines Auswertungsmodells für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung angegeben werden.

Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.

Ein erster Aspekt der hier vorgestellten Lösung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Trainieren eines Auswertungsmodells, insbesondere eines Machine-Learning-Modells, für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz. Das Verfahren weist auf: (i) Erfassen, insbesondere Empfangen oder Erzeugen, von Messdaten, die eine zugeordnete Radarpunktwolke repräsentieren, wobei die Radarpunktwolke auf Basis einer Radarabtastung eines die Sitzanordnung zumindest abschnittsweise umgebenden Raumbereichs gewonnen wurde bzw. wird und einem von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung zugeordnet ist; (ii) Erzeugen von augmentierten Messdaten, die eine zugeordnete augmentierte Punktwolke repräsentieren, aus den der Radarpunktwolke zugeordneten Messdaten; und (iii) Erzeugen von Trainingsdaten aus den Messdaten und den augmentierten Messdaten, wobei die Trainingsdaten als Eingangsdaten dem Auswertungsmodell zu Verfügung gestellt werden, um als dessen Ausgabe ein Auswertungsergebnis zu erhalten, welches dem Sitzbelegungszustand der Sitzanordnung zugeordnet ist. Das Erzeugen der augmentierten Messdaten umfasst: (i) Bestimmen mehrerer Ankerpunkte innerhalb des Raumbereichs; (ii) Bestimmen einer Transformation bezüglich jedes der Ankerpunkte, wobei jede der Transformation auf zumindest einen Teil der Punkte der Radarpunktwolke angewandt wird, um eine dem jeweiligen Ankerpunkt zugeordnete transformierte Punktwolke zu erhalten; und (iii) Zusammenfügen der den Ankerpunkten zugeordneten transformierten Punktwolken, um die augmentierte Punktwolke zu erhalten, welche den augmentierten Messdaten zugeordnet ist.

Mithilfe des Verfahrens nach dem ersten Aspekt lässt sich ein Auswertungsmodell, welches insbesondere ein Machine-Learning-Modell sein kann, effektiv trainieren, sodass die Genauigkeit beim Erkennen eines Sitzbelegungszustands verbessert werden kann. Mithilfe der Daten-Augmentation kann auf einfache Weise eine vergrößerte Menge an Trainingsdaten erzeugt werden, ohne dass dafür neue tatsächliche Messdaten benötigt werden. Das Trainingsverfahren ist insbesondere für das maschinelle Lernen eines radargestützten Systems zur Erkennung einer Sitzplatzbelegung vorteilhaft. Das Verfahren beinhaltet ein Training für maschinelles Lernen unter paralleler Verwendung von tatsächlich gemessenen Radarpunktwolken und augmentierten Punktwolken. Durch das Augmentieren (auch „Erweitern“ genannt) der Punkte von verschiedenen Ankerpunkten bzw. Ausgangspunkten aus, können auf einfache Weise mehrere Sätze augmentierter (erweiterter) Punktwolken erhalten werden. Diese erweiterten Punktwolken werden zusammengefügt, um die zusätzlichen Trainingsdaten zu erhalten.

Unter dem Begriff „Sitzbelegungszustand“ einer Sitzanordnung mit zumindest einem Sitz, wie hierin verwendet, ist insbesondere eine Information zu verstehen, die angibt, ob oder inwieweit die Sitzanordnung bzw. zumindest einer ihrer Sitze mit einem Objekt, insbesondere einer Sache oder einer Person belegt bzw. besetzt ist. Der Sitzbelegungszustand kann in einem einfachen Beispiel nur das Vorhandensein bzw. die Abwesenheit eines Objekts angeben, oder aber in einem weiterentwickelten Beispiel für den Fall des Vorhandenseins zumindest eines Objekts auf der Sitzanordnung bzw. einem oder mehreren ihrer Sitze, eine Aussage zur Art oder einer anderen Eigenschaft, wie etwa einer räumlichen Ausdehnung, des Objekts angeben.

Unter dem Begriff „Radarpunktwolke“, wie hierin verwendet, ist insbesondere eine mittels Radar-Abtastung zumindest einer Objektoberfläche gewonnenen Menge von Punkten eines Vektorraums zu verstehen, die eine, typischerweise unorganisierte, räumliche Struktur („Wolke“) aufweist. Im Falle einer Radarpunktwolke können die Punkte der Radarpunktwolke als „Radarpunkte“ bezeichnet werden. Eine (Radar- )Punktwolke kann insbesondere durch die in ihr enthaltenen (Radar-)Punkte beschrieben werden. Die Radarpunkte wiederum können jeweils insbesondere durch ihre Raumkoordinaten beschrieben werden, wobei diese je Radarpunkt einen bei der Radarabtastung gemessenen Ort der Reflexion eines ausgestrahlten Radarsignals an einer Objektoberfläche angeben. Zu den Radarpunkten können zusätzlich Attribute, wie z. B. gemessene Dopplergeschwindigkeit oder ein Signal-zu-Rausch-Verhältnis (SNR) erfasst sein.

Unter dem Begriff „Augmentation“ bzw. „Daten-Augmentation“, wie hierin verwendet, ist eine Erweiterung oder Vergrößerung einer Datenmenge zu verstehen, die zu Trainingszwecken für ein Auswertungsmodell, insbesondere Machine-Learning-Modell verwendet wird. Mittels Daten-Augmentation (bzw. Datenerweiterung) wird eine Vergrößerung der Datenmenge durch Hinzufügen leicht veränderter Kopien bereits vorhandener Daten oder neu erstellter synthetischer Daten aus vorhandenen Daten erreicht. Sie fungiert auch als Regulativ beim Trainieren eines Machine-Learning- Modells und hilft dabei, eine Überanpassung (engl. „overfitting“) beim Training eines Machine-Learning-Modells zu reduzieren.

Unter dem Begriff „augmentierte Punktwolke“, wie hierin verwendet, ist insbesondere eine Punktwolke zu verstehen, die durch Daten-Augmentation einer Radarpunktwolke erhalten wurde.

Unter dem Begriff „Ankerpunkt“, wie hierin verwendet, ist insbesondere ein Ausgangspunkt oder Bezugspunkt zu verstehen, der hinsichtlich einer Transformation einer Punktwolke für die zu transformierenden Punkte der Punktwolke verwendet wird. Beispielsweise kann ein Ankerpunkt als Bezugspunkt für eine Messung, wie eine Abstandsmessung, als Zentrum für eine Transformation, wie ein Drehzentrum für eine Rotation dienen. Der Ankerpunkt kann dabei einen Nullpunkt eines Koordinatensystems oder Raums bilden, in dem die Transformation ausgeführt wird. Der Ankerpunkt kann auch selbst der Transformation unterliegen.

Unter dem Begriff „Auswertungsmodell“, wie hierin verwendet, ist ein, insbesondere mathematisches, Modell zu verstehen, das eine Radarpunktwolke oder eine oder mehrere sie charakterisierende Kenngrößen als Eingangsgröße(n) nutzt, um in Abhängigkeit davon ein Auswertungsergebnis zu liefern, vorliegend einen von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung. Das Auswertungsmodell kann insbesondere eine mathematische Schätzfunktion sein, wobei die Radarpunktwolke empirische Daten als Stichprobe darstellt und das Auswertungsergebnis einen in Abhängigkeit davon bestimmten Schätzwert darstellt. Das Auswertungsmodell kann insbesondere ein „Maschinenlern-Modell“ (bzw. gleichbedeutend „Machine-Learning-Modell“) sein, worunter hier insbesondere ein mittels zumindest eines Algorithmus des maschinellen Lernens auf der Grundlage von Beispieldaten, die als Trainingsdaten bezeichnet werden, erstelltes mathematisches, insbesondere statistisches, Modell zum Treffen von Vorhersagen oder Entscheidungen zu verstehen ist, ohne dass der bzw. die Algorithmen explizit für das Treffen solcher Vorhersagen oder Entscheidungen programmiert werden. Insbesondere sind Entscheidungsbaum-basierte Modelle zum maschinellen Lernen (engl. „decision trees“) Machine-Learning-Modelle.

Die hierein gegebenenfalls verwendeten Begriffe „umfasst“, „beinhaltet“, „schließt ein“, „weist auf“, „hat“, „mit“, oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.

Ferner bezieht sich „oder“, sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).

Die Begriffe „ein“ oder „eine“, wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe "ein anderer" und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.

Der Begriff „Mehrzahl“ oder „mehrere“, wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.

Unter dem hierein gegebenenfalls verwendeten Begriffen „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.

Nachfolgend werden verschiedene beispielhafte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der vorliegenden Lösung kombiniert werden können.

Bei einigen Ausführungsformen sind die Ankerpunkte Punkte aus der den Messdaten zugeordneten Radarpunktwolke. Dies vereinfacht die Bestimmung der Ankerpunkte, da keine neuen Punkte in dem Raumbereich erzeugt werden müssen, sondern eine Auswahl aus den vorhandenen Punkten der Radarpunktwolke erfolgen kann.

Bei einigen Ausführungsformen werden die Ankerpunkte derart bestimmt, dass jeder der Ankerpunkte innerhalb des Raumbereichs einen größten Abstand zu den jeweiligen restlichen Ankerpunkten aufweist. Dadurch können die Transformationen bestmöglich auf den Raumbereich verteilt werden. Außerdem erlaubt dies verschiedenartige Transformationen durchzuführen, insbesondere im Vergleich zu dicht beieinander liegenden Ankerpunkten. Die Bestimmung der Ankerpunkte kann dabei so erfolgen, dass ein erster Ankerpunkt zufällig bestimmt oder alternativ auch manuell bestimmt wird. Ein zweiter Ankerpunkt wird dann mit größtmöglichem Abstand zum ersten Ankerpunkt ausgewählt. Alle folgenden Ankerpunkte werden dann jeweils mit größtmöglichem Abstand zu den bereits bestimmten Ankerpunkten bestimmt. Es kann das sogenannte „Farthest Point Sampling“ (FPS) angewandt werden, insbesondere um die Ankerpunkte aus der Menge der Radarpunkte auszuwählen. Alternativ könnten auch alle Ankerpunkte per Zufallsprinzip bestimmt werden, wobei dann jedoch ein größtmöglicher Abstand der Ankerpunkte nicht mehr garantiert ist.

Bei einigen Ausführungsformen umfasst jede der Transformationen zumindest eine aus Rotation, Skalierung und Translation (Verschiebung) bezüglich des jeweiligen Ankerpunkts. Eine Transformation kann eine der genannten oder eine Kombination daraus umfassen. Die Werte der Rotation, Skalierung und Translation können zufällig bestimmt werden. Diese Transformationen lassen sich auf die Punkte der Radarpunktwolke einfach anwenden, beispielsweise mittels entsprechender Matrizen. Optimierte Wertebereiche der Transformationen können mittels Hyperparameteroptimierung, z.B. Bayessche Optimierung, bestimmt werden.

Bei einigen Ausführungsformen wird jede der Transformationen punktweise mit einem Gewichtungsfaktor gewichtet, wobei der Gewichtungsfaktor jeweils von einem Abstand eines zu transformierenden Punkts der Radarpunktwolke und des jeweiligen Ankerpunkts abhängt. Durch die Gewichtung lässt sich die Auswirkung der jeweiligen Transformation auf die einzelnen Punkte der Punktwolke beeinflussen. „Punktweise“ bedeutet hierbei, dass jeder Punkt der Punktwolke einen Gewichtungsfaktor erhält. Vorteilhaft werden die Gewichtungsfaktoren dabei so gewählt, dass die Transformation auf Punkte, die einen größeren Abstand zum entsprechenden Ankerpunkt haben, eine geringere Auswirkung hat als auf Punkte, die näher am Ankerpunkt liegen. Dazu kann ein transformierter Punkt mit dem Gewichtungsfaktor multipliziert oder bei entsprechender Wahl der Gewichtsfaktoren dividiert werden. Auf diese Weise entstehen gewissermaßen lokale Transformationen mit dem jeweiligen Ankerpunkt als Zentrum. Beispielsweise können die Gewichtungsfaktoren entsprechend einer Gaußschen Verteilung abhängig vom Abstand zum Ankerpunkt gewählt werden. Mit anderen Worten erfolgt dadurch eine „Glättung“ mit einem Gauß-Kern. Der Gewichtungsfaktor w kann beispielsweise als w = gewählt werden, wobei d der Betrag des Abstands von einem Punkt zum Ankerpunkt ist. Der Wert o kann beispielsweise 0,5 betragen.

Bei einigen Ausführungsformen erfolgt das Zusammenfügen der den Ankerpunkten zugeordneten transformierten Punktwolken durch Bilden eines punktweisen Mittelwerts der den Ankerpunkten zugeordneten transformierten Punktwolken. Auf diese Weise kann eine augmentierte Punktwolke auf einfache Weise aus den transformierten Punktwolken erzeugt werden. Jedem Punkt der Radarpunktwolke sind mehrere transformierte Punkte zugeordnet, wobei die Anzahl jeweils der Anzahl der Ankerpunkte entspricht, da jedem Ankerpunkt eine transformierte Punktwolke zugeordnet ist.

Bei einigen Ausführungsformen werden die Trainingsdaten durch eine gewichtete Summe der Messdaten und der augmentierten Messdaten erzeugt. Durch Verknüpfung der erhaltenen augmentierten Messdaten mit den eigentlichen Messdaten kann sichergestellt werden, dass die Trainingsdaten einen Bezug zu den eigentlichen Messdaten haben und beispielsweise nicht zu beliebig von den Messdaten abweichen. Es kann eine Gewichtung mit einem Parameter erfolgen, beispielsweise eine Schwierigkeitsparameter a, welcher Werte von 0 bis 1 annehmen kann. Hier können die augmentierten Messdaten mit a gewichtet werden und die eigentlichen Messdaten mit (1 - a). Der Schwierigkeitsparameter kann auch durch entsprechende Hyperparameteroptimierung ermittelt werden.

Die Sitzanordnung kann eine Mehrzahl von Sitzplätzen aufweisen, wobei der Sitzbelegungszustand ein individueller oder kumulativer Sitzbelegungszustand der Sitzplätze sein kann.

Bei einigen Ausführungsformen wird für die Radarpunktwolke die Menge ihrer Radarpunkte mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Radarpunkte in Bezug auf die Sitzplätze in mehrere jeweils eine Untermenge der Radarpunkte enthaltende Cluster unterteilt, um jedem der Sitzplätze einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen, wobei die augmentierten Messdaten für jedes Cluster individuell erzeugt werden. Das Bestimmen des Sitzbelegungszustands der Sitzanordnung, erfolgt für jeden der Sitzplätze in Abhängigkeit von der für den jeweils zugehörigen Cluster bestimmten Radarpunktwolke, um ein einen Sitzbelegungszustand des jeweiligen Sitzplatzes kennzeichnendes Auswertungsergebnis, insbesondere Klassifikationsergebnis, zu erhalten. Die auszugebende Information wird dann in Abhängigkeit von den jeweiligen individuellen Auswertungsergebnissen zu den verschiedenen Sitzplätzen definiert. Werden die augmentierten Messdaten für jedes Cluster individuell erzeugt, kann die Effizienz der Trainingsdaten gesteigert werden, da nicht die gesamte Radarpunktwolke für die Trainingsdaten herangezogen werden muss. Alternativ ist es jedoch auch möglich, die Augmentation auf die gesamte Radarpunktwolke anzuwenden.

Bei einigen Ausführungsformen wird die Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte der jeweiligen Radarpunktwolke in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, dass die Radarpunkte des Clusters in einem definierten geschlossenen, insbesondere quaderförmigen, Raumbereich im Umfeld des Sitzplatzes liegen. Dies ermöglicht eine besonders einfache und wenig rechenintensive Clusterbildung und somit sitzplatzbezogene Sitzbelegungserkennung, wobei die Lage (Position und Orientierung) und die Form des Raumbereichs so definiert ist oder werden kann, dass sie den von einem typischen zu erkennenden Objekt, insbesondere einer Person, auf einem Sitz der Sitzanordnung in der Regel eingenommenen Raumbereich stark überlappt.

Bei einigen Ausführungsformen wird für die augmentierte Punktwolke die Menge ihrer Punkte mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Punkte in Bezug auf die Sitzplätze in mehrere jeweils eine Untermenge der Punkte enthaltende Cluster unterteilt wird, um jedem der Sitzplätze einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen. Mit anderen Worten, das Clustern erfolgt (auch) nach der Augmentation der Radarpunktwolke. Dies kann das Ergebnis weiter verbessern, da einige Punkte nach der Augmentation, d.h. nach den Transformationen, außerhalb eines ursprünglichen Clusters liegen könnten. Solche Punkte werden bei der Clusterung nach der Augmentation dann nicht mehr dem ursprünglichen Cluster zugerechnet. Insbesondere kann wie oben beschrieben ein Cluster mittels entsprechender den einzelnen Sitzplätzen zugeordneten Raumbereichen erfolgen, welche vorzugsweise quaderförmig sind und den Bereich im Wesentlichen abdecken, in dem eine Person auf dem jeweiligen Sitzplatz zu erwarten ist.

Bei einigen Ausführungsformen werden die einzelnen Radarpunkte der Radarpunktwolke jeweils durch eine Position des jeweiligen Radarpunkts im dreidimensionalen Raum sowie durch zumindest einen der folgenden Parameter repräsentiert: (i) einen Doppler-Verschiebungswert des Radarsignals zum jeweiligen Radarpunkt; (iii) einen Signal-zu-Rausch-Abstands-Wert des Radarsignals zum jeweiligen Radarpunkt. Diese Parameter können insbesondere zur Vorfilterung der Radarpunktwolke im Rahmen einer der Merkmalsbestimmung vorangehenden Vorprozessierung genutzt werden.

Ein zweiter Aspekt der hier vorgestellten Lösung betrifft ein, insbesondere computerimplementiertes, Verfahren zum automatisierten Erkennen eines, insbesondere sitzplatzbezogenen, Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz (bzw. gleichbedeutend: Sitz), insbesondere Sitzplatz in oder für ein Fahrzeug, wie etwa ein Automobil (z.B. LKW, PKW oder Bus). Das Verfahren weist auf: (i) Erfassen, insbesondere Empfangen oder Erzeugen, von Messdaten, die eine zugeordnete Radarpunktwolke repräsentieren. Jede Radarpunktwolke wird oder wurde auf Basis einer Radarabtastung eines die Sitzanordnung zumindest abschnittsweise umgebenden Raumbereichs gewonnen; (ii) Bestimmen, insbesondere Schätzen, eines Sitzbelegungszustands der Sitzanordnung anhand eines Auswertungsmodells, das in Abhängigkeit von der Radarpunktwolke einen von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung als Auswertungsergebnis liefert; und (iii) Ausgeben einer in Abhängigkeit von dem Auswertungsergebnis definierten Information. Das Verfahren gemäß dem zweiten Aspekt nutzt ein Auswertungsmodell, insbesondere ein Machine-Learning-Modell, welches mit Hilfe des Verfahrens gemäß dem ersten Aspekt trainiert wurde.

Mithilfe des Verfahrens nach dem zweiten Aspekt lässt sich auf Basis einer Radarpunktwolke, die mittels einer Radarabtastung eines die Sitzanordnung umgebenden Raumbereichs gewonnenen wird, ein Sitzbelegungszustand der Sitzanordnung kennzeichnendes Auswertungsergebnis (insbesondere im Sinne einer Voraussage oder Klassifikation) erhalten. So lassen sich, insbesondere im Fahrzeugkontext (insbesondere für Automobile), radarbasierte Lösungen implementieren, die einen Sitzbelegungszustand (insbesondere ausschließlich) radarbasiert zuverlässig erkennen können und auf Basis davon bestimmte Funktionalitäten oder System, wie etwa einen Gurtwarner oder ein Airbag-System, insgesamt oder selektiv aktivieren, deaktivieren oder steuern/regeln können. Durch das Training mit den augmentierten Messdaten kann die Qualität des Auswertungsergebnisses bei der tatsächlichen Erkennung eines Sitzbelegungszustands verbessert werden, da zum Training eine große Menge von Daten verwendet werden kann.

Die auszugebende Information kann insbesondere das Auswertungsergebnis selbst repräsentieren. Sie kann auch ein, insbesondere mit einem menschlichen Sinn erfassbares, detektierbares Signal sein, wie etwa ein Warnhinweis, oder ein Steuersignal zur Ansteuerung einer Signalquelle oder ein die Information tragendes Datensignal.

Nachfolgend werden verschiedene beispielhafte Ausführungsformen des Verfahrens gemäß dem zweiten Aspekt beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der vorliegenden Lösung kombiniert werden können. Auch können Ausführungsformen des Verfahrens gemäß dem ersten Aspekt auf das Verfahren gemäß dem zweiten Aspekt anwendbar sein und umgekehrt. Mit anderen Worten, Merkmale des Verfahrens, welche beim Trainieren des Auswertungsmodells Anwendung finden, können gleichermaßen bei der Erkennung eines Sitzbelegungszustands Anwendung finden, und umgekehrt. Bei einigen Ausführungsformen weist die Sitzanordnung eine Mehrzahl von Sitzplätzen auf, für die individuell oder kumulativ ein Sitzbelegungszustand im Rahmen des Verfahrens zu bestimmen ist. Für jede (einzelne) Radarpunktwolke wird die Menge ihrer Radarpunkte mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Radarpunkte in Bezug auf die Sitzplätze in mehrere jeweils eine Untermenge der Radarpunkte enthaltende Cluster unterteilt, um jedem der Sitzplätze einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen. Das Bestimmen des Sitzbelegungszustands der Sitzanordnung, erfolgt für jeden der Sitzplätze in Abhängigkeit von der für den jeweils zugehörigen Cluster bestimmten Radarpunktwolke, um ein einen Sitzbelegungszustand des jeweiligen Sitzplatzes kennzeichnendes Auswertungsergebnis, insbesondere Klassifikationsergebnis, zu erhalten. Die auszugebende Information wird dann in Abhängigkeit von den jeweiligen individuellen Auswertungsergebnissen zu den verschiedenen Sitzplätzen definiert.

Bei einigen zugehörigen Ausführungsformen wird jede Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte der jeweiligen Radarpunktwolke in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, dass die Radarpunkte des Clusters in einem definierten geschlossenen Raumbereich, insbesondere einem Quader, im Umfeld des Sitzplatzes liegen. Dies ermöglicht eine besonders einfache und wenig rechenintensive Clusterbildung und somit sitzplatzbezogene Sitzbelegungserkennung, wobei die Lage (Position und Orientierung) und die Form des Raumbereichs so definiert ist oder werden kann, dass sie den von einem typischen zu erkennenden Objekt, insbesondere einer Person, auf einem Sitz der Sitzanordnung in der Regel eingenommenen Raumbereich stark überlappt.

Es wird somit im Falle einer mehrsitzigen Sitzanordnung eine sitzplatzbezogene, d.h. je Sitz individuelle, Sitzplatzbelegungserkennung ermöglicht, was insbesondere dann vorteilhaft oder gar erforderlich ist, wenn sitzplatzbezogen auf die erkannte Sitzplatzbelegung reagiert werden soll, etwa indem für einen bestimmten Sitz in Abhängigkeit von dessen erkannter Sitzplatzbelegung eine bestimmte Funktionalität oder ein bestimmtes System, wie etwa ein sitzplatzbezogenes Airbag-System, eine sitzplatzbezogene Gurtanlegewarnung oder eine sitzplatzbezogene Sitzheizung aktiviert bzw. deaktiviert oder anderweitig gesteuert werden soll. Die Clusterbildung kann bei einigen Ausführungsformen insbesondere so erfolgen, dass die Cluster disjunkt sind, so dass kein Radarpunkt zwei verschiedenen Clustern zugeordnet ist. Bei einigen Ausführungsformen wird die bzw. jede einzelne Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, insbesondere je Radarpunkt eindeutig, dass die Radarpunkte des Clusters in einem definierten geschlossenen, insbesondere quaderförmigen, Raumbereich im Umfeld des Sitzplatzes liegen. Die Zuordnung kann insbesondere so erfolgen, dass jeder Radarpunkt dem Cluster des ihm nächstliegenden Sitzplatzes zugeordnet wird. So lässt sich die Radarpunktwolke in Cluster, d.h. im Umfeld der jeweiligen Sitze lokalisierten, Teilmengen der Radarpunktwolke aufteilen, so dass das Bestimmen von sitzspezifischen Sitzbelegungszuständen gezielt und daher mit hoher Zuverlässigkeit auf Basis des dem jeweiligen Sitz zugeordneten Clusters erfolgen kann.

Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: Bestimmen des jeweiligen Werts zumindest einer definierten Kenngröße zur Charakterisierung von Radarpunktwolken. Das Auswertungsmodell ist oder wird so festgelegt, dass bei dem Bestimmen des Sitzbelegungszustands der Sitzanordnung das Auswertungsergebnis in Abhängigkeit von den jeweiligen Werten der zumindest einen Kenngröße für die Radarpunktwolken bestimmt wird. Auf diese Weise kann das Auswertungsmodell in einer vereinfachten Weise bestimmt und angewandt werden, da anstelle ganzer Radarpunktwolken nur noch die Werte der zumindest eine Kenngröße als Eingangsgrößen berücksichtigt werden müssen. Insbesondere kann so der zeitliche Verlauf der Werte eine Bewegung oder ein bestimmtes Bewegungsmuster eines oder mehrerer Objekte auf der Sitzanordnung widerspiegeln, sodass das Auswertungsmodell auf dieser Basis den Sitzbelegungszustand der Sitzanordnung in besonders zuverlässiger Weise bestimmen kann.

Bei einigen Ausführungsformen wird für zumindest eine der Kenngrößen die Serie ihrer jeweiligen Werte dahingehend analysiert, ob darin ein periodischer Verlauf, insbesondere ein zu einem periodischen Atmungsmuster korrespondierender Verlauf, der Kenngröße detektiert wird. Das Auswertungsergebnis wird dann in Abhängigkeit vom Ergebnis der Analyse bestimmt. So kann insbesondere nicht nur die Anwesenheit irgendeines Objekts auf einem Sitz der Sitzanordnung erkannt werden, sondern sogar mit hoher Zuverlässigkeit eine Unterscheidung von auf der Sitzanordnung vorhandenen lebenden Objekten, vor allem von Personen und Säugetieren wie etwa Haustieren (z.B. Hunden), getroffen werden. Insbesondere ist es möglich, die verfahrensgemäß auszugebende Information in Abhängigkeit vom Erkennen bzw. Nicht-Erkennen eines solchen periodischen Verlaufs zu definieren. Dabei können auch insbesondere eine oder mehrere detektierte Frequenzen des periodischen Verlaufs berücksichtigt werden, insbesondere so, dass die Information in Abhängigkeit davon definiert wird, ob die bzw. eine Frequenz innerhalb eines bestimmten Frequenzbereichs wie etwa eines typischen Atemfrequenzbereichs liegt. So lässt sich insbesondere eine Gurtanlegewarnfunktionalität oder ein Airbag-System in Abhängigkeit davon steuern, ob eine Atemfrequenz und somit mit hoher Wahrscheinlichkeit eine Person auf der Sitzanordnung bzw. einem bestimmten Sitz davon erkannt wurde.

Bei einigen Ausführungsformen ist oder wird die bzw. eine der Kenngrößen durch die Anzahl der Radarpunkte in der Radarpunktpunktwolke oder eine davon abhängige Größe festgelegt. Wenn bei der Radarabtastung die Anzahl der Radarpunkte der dabei erzeugten Radarpunktwolke davon abhängt, in welchem Ausmaß sich das abgetastete Objekt bewegt, lässt sich so in der bzw. den Kenngrößen das Ausmaß der Bewegung abbilden, insbesondere im Hinblick auf das vorgenannte Erkennen einer Atemfrequenz des Objekts. Als Kenngröße können neben der Anzahl der Radarpunkte auch weitere Merkmale der Punktwolke (bzw. eines Clusters) genutzt werden, wie beispielsweise eine Position des Schwerpunkts der Punktwolke (bzw. eines Clusters), die Dichte der Punkte (eines Clusters) und/oder ein mittlerer Doppler-Wert.

Bei einigen Ausführungsformen umfasst das Auswertungsmodell ein trainiertes Machine-Learning-Modell. Daten, die zumindest eine Radarpunktwolke oder Werte von einer oder mehreren dazu bestimmten Kenngrößen repräsentieren, werden dabei als Eingangsdaten dem Machine-Learning-Modell zu Verfügung gestellt, um als dessen Ausgabe das Auswertungsergebnis zu erhalten. Dies erlaubt eine besonders flexible und anpassungsfähige Implementierung des Auswertungsmodells, wobei das Maschinenlernen dazu genutzt werden kann, das Auswertungsmodell und somit die Qualität und Zuverlässigkeit der Sitzbelegungserkennung kontinuierlich zu verbessern. Das Auswertungsergebnis kann dabei insbesondere eine Klasse einer Sitzbelegungszustandsklassifikation angeben. Das Machine-Learning-Modell kann insbesondere Entscheidungsbaum-basiertes Modell oder ein auf einem künstlichen neuronalen Netz beruhendes Modell sein. Wie oben im Zusammenhang mit dem Verfahren nach dem ersten Aspekt erläutert, wird das Auswertungsmodell vor der Verwendung in dem Verfahren nach dem zweiten Aspekt mit Trainingsdaten trainiert, wobei hierfür augmentierte Daten genutzt werden, um die Menge der Daten zu erhöhen, die dem Auswertungsmodell für das Training als Eingangsdaten zur Verfügung gestellt werden können. Bei einigen Ausführungsformen umfasst das Ausgeben der Information ein Ansteuern einer Signalquelle in Abhängigkeit von der Information, um die Signalquelle zu veranlassen, in Abhängigkeit von der Ansteuerung ein definiertes Signal auszugeben. Die Signalquelle kann insbesondere eine Audioquelle, eine optische Signalquelle, insbesondere Anzeigevorrichtung für Bild oder Text, und/oder ein Haptik-Aktuator oder eine Kombination aus zumindest zwei der vorgenannten Signalquellen sein kann. So kann anhand der Signalisierung der erkannte Sitzbelegungszustand einem Benutzer mitgeteilt oder zur Steuerung eines anderen technischen Systems, wie etwa eines Airbagsystems, genutzt werden.

Bei einigen dieser Ausführungsformen wird die Signalquelle so in Abhängigkeit von der Information angesteuert, dass sie ein, insbesondere durch die Ansteuerung definiertes, Signal ausgibt, wenn die Information aus einem Auswertungsergebnis resultiert, demgemäß zumindest ein Sitz der Sitzanordnung belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt.

Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: (i) Detektieren eines Sitzgurtanlegezustands zumindest eines Sitzes der Sitzanordnung oder Empfangen einer diesen Sitzgurtanlegezustand kennzeichnenden Sitzgurtinformation; (ii) wobei die Signalquelle so in Abhängigkeit von der Sitzgurtinformation und der Information aus dem Auswertungsergebnis angesteuert wird, dass sie ein Gurtanlegehinweissignal ausgibt, wenn gemäß der Information zumindest ein Sitz der Sitzanordnung belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt und Sitzgurtinformation angibt, dass der zugehörige Sitzgurt des Sitzes nicht angelegt ist. So lässt sich ein, insbesondere im Hinblick auf die Detektion ausschließlich, radarbasiertes Sitzgurtanlegeprüf- und -warnsystem erreichen.

Bei einigen Ausführungsformen werden die einzelnen Radarpunkte der Radarpunktwolke jeweils durch eine Position des jeweiligen Radarpunkts im dreidimensionalen Raum sowie durch zumindest einen der folgenden Parameter repräsentiert: (i) einen Doppler-Verschiebungswert des Radarsignals zum jeweiligen Radarpunkt; (iii) einen Signal-zu-Rausch-Abstands-Wert des Radarsignals zum jeweiligen Radarpunkt. Diese Parameter können insbesondere zur Vorfilterung der Radarpunktwolke im Rahmen einer der Merkmalsbestimmung vorangehenden Vorprozessierung genutzt werden. Insbesondere kann bei einigen dieser Ausführungsformen das Bestimmen des Sitzbelegungszustands der Sitzanordnung anhand des Auswertungsmodells ausschließlich oder zumindest zahlenmäßig überwiegend auf Basis solcher Radarpunkte erfolgen, deren Doppler-Verschiebungswert bei oder oberhalb einer von Null verschiedenen vorbestimmten Verschiebungsschwelle liegt. So werden nur oder zumindest überwiegend sogenannte dynamische Radarpunkte als Basis für die Auswertung genutzt, also solche Radarpunkte, die eine Bewegung des abgetasteten Objekts anzeigen, deren Doppler-Verschiebungswert bei oder oberhalb der Verschiebungsschwelle liegt. Dies kann insbesondere zur weiteren Erhöhung der Qualität, insbesondere der Zuverlässigkeit des Verfahrens genutzt werden, weil statische, d.h. im Wesentlichen unbewegte Punkte auf den Objektoberflächen, wie etwa Punkte auf einer Sitzfläche eines Sitzes, nicht oder nur in geringerer Anzahl in die Auswertung einfließen als solche Punkte, die eine Dynamik zeigen und somit mit hoher Wahrscheinlichkeit einem Lebewesen, insbesondere einer Person oder einem Tier, zuzuordnen sind. Damit kann die Verwertung der durch die Auswertung gewonnenen, ausgegebenen Information (z.B. zur Airbag-Steuerung oder einem Gurtwarnsystem) insbesondere in Abhängigkeit davon erfolgen, ob ein Lebewesen erkannt wurde oder eine statische Objektoberfläche.

Ein dritter Aspekt der vorliegenden Lösung betrifft ein System, insbesondere eine Datenverarbeitungsvorrichtung, zum automatisierten Erkennen eines, insbesondere jeweiligen, Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz, insbesondere mit zumindest einem Fahrzeugsitz in einem bzw. für ein Fahrzeug. Dabei weist das System eine Datenverarbeitungsvorrichtung auf, die konfiguriert ist, insbesondere mittels eines entsprechenden Computerprogramms, zum Erkennen des Sitzbelegungszustands das Verfahren nach dem zweiten Aspekt auszuführen.

Ein vierter Aspekt der vorliegenden Lösung betrifft ein Computerprogramm oder Computerprogrammprodukt, aufweisend Anweisungen, die bei ihrer Ausführung auf der Datenverarbeitungsvorrichtung des Systems nach dem dritten Aspekt, das System veranlassen, das Verfahren nach dem zweiten Aspekt auszuführen.

Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen. Die Module können insbesondere dazu konfiguriert sein oder jedenfalls so einsetzbar sein, dass sie im Sinne von verteiltem Rechnen (engl. „Distributed computing“ auf verschiedenen Geräten (Computern bzw. Prozessoreinheiten ausgeführt werden, die geografisch voneinander beabstandet und über ein Datennetzwerk miteinander verbunden sind.

Das System nach dem dritten Aspekt kann entsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm abgelegt ist. Alternativ kann das System auch eingerichtet sein, über eine Kommunikationsverbindung auf ein extern, beispielsweise auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten verfügbares Computerprogramm zuzugreifen, insbesondere um mit diesem Daten auszutauschen, die während des Ablaufs des Verfahrens bzw. Computerprogramms Verwendung finden oder Ausgaben des Computerprogramms darstellen.

Ein fünfter Aspekt der vorliegenden Lösung betrifft ein Fahrzeug, aufweisend:(i) eine Sitzanordnung mit zumindest einem Sitzplatz; (ii) einen Radarsensor zur zumindest abschnittsweisen Radarabtastung der Sitzanordnung; und (iii) ein System nach dem dritten Aspekt zum automatisierten Erkennen eines, insbesondere jeweiligen, Sitzbelegungszustands der Sitzanordnung in Abhängigkeit von einer durch den Radarsensor ausgeführten, zumindest abschnittsweisen Radarabtastung der Sitzanordnung, insbesondere gemäß einem Verfahren nach dem zweiten Aspekt.

Die in Bezug auf den ersten und zweiten Aspekt der vorliegenden Lösung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Lösung.

Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Lösung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Zeichnungen.

Dabei zeigt: Fig. 1 schematisch eine beispielhafte Ausführungsform eines Fahrzeugs, das mit einem System zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung im Fahrzeug ausgerüstet ist;

Fig. 2 schematisch das Fahrzeug aus Fig. 1 , wobei hier der Beifahrersitz belegt ist;

Fig. 3A eine beispielhafte zweidimensionale Darstellung einer durch einen Radarsensor des Fahrzeugs aus Fig. 2 aufgenommenen Radarpunktwolke;

Fig. 3B eine beispielhafte Darstellung einer Clusterung der Radarpunktwolke aus Fig. 3A gemäß den Positionen der einzelnen Sitzplätze der Sitzanordnung;

Fig. 4 ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform eines Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung;

Fig. 5 ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform eines Verfahrens zum Trainieren eines Auswertungsmodells für das automatisierte Erkennen eines Sitzbelegungszustands einer Sitzanordnung;

Fig. 6 eine beispielhafte Darstellung von vier Radarpunkten während der Augmentation; und

Fig. 7 eine beispielhafte dreidimensionale Darstellung einer Radarpunktwolke mit einer daraus erhaltenen augmentierten Punktwolke.

In den Figuren bezeichnen gleiche Bezugszeichen gleiche, ähnliche oder einander entsprechende Elemente. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich werden. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können, soweit nicht ausdrücklich anders angegeben, auch als indirekte Verbindung oder Kopplung implementiert werden. Funktionale Einheiten können insbesondere als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden. Die in Fig. 1 schematisch dargestellte beispielhafte Ausführungsform eines Fahrzeugs 100 weist eine Sitzanordnung 105 mit fünf einzelnen Sitzen bzw. Sitzplätzen 105a bis 105e auf. Jeder der Sitzplätze 105a bis 105e ist geeignet, eine Person als Passagier des Fahrzeugs 100 aufzunehmen. Das Fahrzeug 100 weist des Weiteren einen Radarsensor 1 10 auf, der innerhalb der Fahrzeugkabine an deren Decke montiert und so konfiguriert ist, dass er die Sitzanordnung 105, zumindest im Wesentlichen, mithilfe von Radarstrahlen abtasten kann. Dementsprechend liegen die Sitzplätze 105a bis 105e, insbesondere deren Sitzflächen, zumindest jeweils überwiegend, innerhalb eines durch den Radarsensor 110 abtastbaren Beobachtungsfelds 110a. Darüber hinaus weist das Fahrzeug 100 ein System 115 zum automatisierten Erkennen eines Sitzbelegungszustands der Sitzanordnung 105 in Abhängigkeit von einer durch den Radarsensor 110 ausgeführten, zumindest abschnittsweise bezüglich des Beobachtungsfelds 1 10a ausgeführten Radarabtastung der Sitzanordnung 105 auf.

Das System 1 15 weist insbesondere eine Datenverarbeitungseinheit 115a mit zumindest einen Mikroprozessor sowie einen damit signalverbundenen Speicher 1 15b auf, in dem ein zur Durchführung des im Weiteren unter Bezugnahme auf Fig. 4 beschriebenen Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands der Sitzanordnung 105 konfiguriertes Computerprogramm gespeichert ist. Des Weiteren können in dem Speicher 115b die vom Radarsensor 110 bei der Radarabtastung erzeugten Sensordaten oder daraus bereits durch Weiterverarbeitung gewonnene Informationen abgelegt sein oder werden.

Das in Fig. 2 dargestellte Fahrzeug 100 entspricht dem Fahrzeug aus Fig. 1 , wobei hier jedoch der Beifahrersitz 105b durch eine Person P belegt ist. Bei der weiteren folgenden Diskussion der Fig. 3A und 3B wird auf die Konstellation aus Fig. 2 Bezug genommen.

Nachfolgend wird nun auf die Fig. 3A und 3B Bezug genommen, die jeweils eine Radarpunktwolke darstellen, wobei zum Zwecke der Darstellbarkeit die jeweilige, an sich dreidimensionale Radarpunktwolke durch Projektion der Positionen der Radarpunkte der Radarpunktwolke auf eine durch zwei ihrer Dimensionen aufgespannte Ebene auf zwei Dimensionen reduziert wurde.

In Fig. 3A ist eine beispielhafte Radarpunktwolke 305 illustriert, wie sie als Ergebnis einer Radarabtastung der Sitzanordnung 105 durch den Radarsensor 1 10 während eines festgelegten Zeitintervalls (Messzeitraum) erfasst wurde. Die Lage der einzelnen Radarpunkte innerhalb der Radarpunktwolke 305 kann durch Raumkoordinaten dargestellt werden, beispielsweise kann man der Zeichenebene und entsprechend jedem einzelnen Punkte kartesische Koordinaten X und Y zuordnen. Tatsächlich kommt in Wirklichkeit, wenn die Dimensionsreduzierung aufgrund der Zeichnung außer Acht gelassen wird, noch eine dritte Koordinate Z für die dritte Raumdimension zu (vgl. die in Fig. 7 dargestellten Koordinaten X, Y und Z).

Wenn bei der Radarabtastung nicht nur die räumlichen Positionen der Stellen, an denen der Radarstrahl von den abgetasteten Objekten reflektiert wird, als Koordinaten erfasst werden, sondern auch eine jeweilige Dopplerverschiebung gemessen wird, dann können die einzelnen Radarpunkte in Abhängigkeit vom Betrag dieser Dopplerverschiebung klassifiziert, insbesondere in zwei verschiedene Klassen eingeteilt werden. Letzteres kann etwa dadurch erfolgen, dass die Dopplerverschiebung mit einer vordefinierten Verschiebungsschwelle, die zu einer bestimmten Verschiebungsgeschwindigkeit korrespondiert, verglichen werden. In Abhängigkeit vom Ergebnis des Vergleichs können diejenigen Radarpunkte 310, die gemäß dem Wert ihrer zugeordneten Dopplerverschiebung keine Geschwindigkeit oder eine Geschwindigkeit der Objektoberfläche am Reflexionspunkt aufweisen, die unterhalb der Verschiebungswelle liegt, als „statische“ Radarpunkte klassifiziert werden (in den Fig. 3A und 3B jeweils mit einem gefüllten schwarzen Kreis dargestellt). Umgekehrt können diejenigen Radarpunkte 315, die eine Dopplerverschiebung oberhalb der Verschiebungsschwelle aufweisen, als „dynamische“ Radarpunkte 315 klassifiziert werden (in den Fig. 3A und 3B jeweils mit einem schwarzen Ring dargestellt).

Die Klassifizierung der Radarpunkte 310 und 315 entsprechend ihrer Dopplerverschiebung ist nicht zwingend erforderlich, sie kann jedoch genutzt werden, um die Radarpunktwolke 305, insbesondere im Rahmen einer vor ihrer Auswertung erfolgenden Vorprozessierung zu verarbeiten, insbesondere in Abhängigkeit von der Klassifizierung zu filtern. Beispielsweise könnte eine solche Filterung derart erfolgen, dass nur dynamische Radarpunkte 315 für die Auswertung berücksichtigt werden, um etwa nur bewegte Objekte zu erkennen.

In Fig. 3B ist dieselbe Radarpunktwolke 305 wie in Fig. 3A dargestellt. Zusätzlich sind hier jedoch quaderförmige (3D-Fall) bzw. in der vorliegenden 2D-Darstellung rechteckige, ausgewählte Raumbereiche 325a bis 325e eingezeichnet, die räumlich der jeweiligen Lage der einzelnen Sitzplätze 105a bis 105e zugeordnet sind. Die Definition dieser Raumbereiche 325a bis 325e kann nun herangezogen werden, um die Radarpunktwolke 305 zu Clustern, wobei jeder Radarpunkt 310 bzw. 315, soweit möglich, demjenigen Raumbereich 325a bis 325e zugeordnet wird, in dem er liegt. Alle nicht in einem der Raumbereiche 325a bis 325e liegenden Radarpunkte können im Weiteren unberücksichtigt bleiben. Man sieht insbesondere, dass die Bereiche 320 mit besonders hoher Radarpunktdichte im Bereich des Beifahrersitzes 105b liegen, auf dem sich gemäß Fig. 2 die Person P befindet.

Fig. 4 zeigt ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform 400 eines Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung. Das Verfahren kann insbesondere als computerimplementiertes Verfahren ausgebildet sein. Dazu kann es insbesondere im Speicher 1 15b des Systems 1 15 als Computerprogramm abgelegt sein und auf der Datenverarbeitungseinheit 1 15a ablauffähig sein.

Bei dem Verfahren 400 wird eine Radarpunktwolke 305 erfasst, indem in einem Schritt 410 Radarmessdaten, im vorliegenden Beispiel vom Radarsensor 110 des Fahrzeugs 100, empfangen werden und weiterverarbeitet werden, um eine oder mehrere Radarpunktwolken zu bilden.

Die nun vorliegende Radarpunktwolke 305 kann sodann in einem weiteren Prozess 420 geclustert werden, indem für jeden ihrer Radarpunkte geprüft wird, ob er innerhalb von einem der definierten Raumbereiche 325a bis 325e (vgl. Fig. 3B) liegt und gegebenenfalls in welchem. Somit kann jeder der aller Punkte entweder einen der Raumbereiche 325a bis 325e oder dem sonstigen Beobachtungsfeld zugeordnet werden. Alle Radarpunkte, die innerhalb desselben Raumbereichs 325a bis 325e liegen, werden zu einem jeweiligen Cluster zusammengefasst. Im Ergebnis ist somit jedem der Sitzplätze 105a bis 105e ein entsprechendes Cluster der Radarpunktwolke 305 zugeordnet. Dies bildet die Basis dafür, dass im Weiteren je Sitzplatz 105a bis 105e individuell eine Auswertung dahingehend erfolgen kann, ob der jeweilige Sitzplatz 105a bis 105e während die Radarpunktwolke 305 gebildet wurde, belegt ist bzw. war oder nicht.

Um die nachfolgende Auswertung der geclusterten Radarpunktwolke 305 zu erleichtern, kann für jeden der Cluster in einem Prozess 430 eine entsprechende Kenngröße K bestimmt werden, wobei diese Kenngröße K insbesondere als die Anzahl der Radarpunkte in dem Cluster definiert sein kann. Soweit keine Filterung gemäß Dopplerverschiebungswert stattgefunden hat, kann es sich dabei um eine gemeinsame Zählung sowohl der statischen als auch der dynamischen Radarpunkte 310 bzw. 315 handeln. Falls jedoch die statischen Radarpunkte 310 zuvor ausgefiltert wurden, handelt es sich nur noch um eine Zählung der dynamischen Radarpunkte 315. Alternativ oder zusätzlich können auch die statischen Radarpunkte 310 gezählt werden.

Nun kann die Auswertung der Kenngröße K für den Cluster zum Sitz 105b erfolgen (gleiches kann analog für die jeweiligen Cluster zu den anderen Sitzplätzen erfolgen). Dazu wird im Prozess 440 die Kenngröße K (bzw. ein zeitlicher Verlauf der Kenngröße K als Eingangsgröße einem Auswertungsmodell zur Verfügung gestellt. Dies kann insbesondere ein auf maschinellem Lernen beruhendes Modell sein, wie etwa ein künstliches neuronales Netz oder ein Entscheidungsbaum-basiertes Modell (engl. „Decision tree(s)“). Die für das vorausgehende Training benutzten Trainings- und gegebenenfalls Validierungsdaten können dabei so strukturiert sein, dass sie jeweils der Art nach der Kenngröße K für eine Vielzahl verschiedener Radarpunktwolken bzw. Cluster davon sowie je Verlauf von K eine zugeordnete korrekte Klasse einer Klassifizierung möglicher Sitzbelegungszustände enthalten. So kann das Modell im Sinne eines überwachten Lernens (Supervised learning) trainiert und validiert werden. Im einfachsten Fall geben dabei Sitzbelegungszustände an, ob der Sitz belegt ist oder nicht. Es sind jedoch auch weiter entwickelte Klassifikationen denkbar, bei denen im Falle der Anwesenheit eines Objekts zusätzlich durch die jeweilige Klasse angegeben wird, welche Art von Objekt es sich handelt, beispielsweise um ein bewegtes oder um ein unbewegtes, und im Fall eines bewegten Objekts insbesondere, ob es sich um eine Person handelt (grundsätzlich insbesondere anhand eines Atemmusters im Verlauf der Kenngröße K erkennbar).

Wenn im Prozess 440 anhand des Auswertungsmodells ein Sitzbelegungszustand für die Sitzanordnung 105 bestimmt wurde, insbesondere für einen oder mehrere ihrer Sitzplätze 105a bis 105e individuell, kann dieses Ergebnis als entsprechende Information im Prozess 445 ausgegeben werden, beispielsweise an einer Benutzerschnittstelle des Fahrzeugs oder in Form von Daten zur Weiterverarbeitung durch ein oder mehrere andere Systeme, insbesondere Systeme des Fahrzeugs.

Im vorliegenden Beispiel soll diese Information insbesondere dazu verwendet werden, zu prüfen, ob in Abhängigkeit vom Sitzbelegungszustand eines jeweiligen Sitzes 105a bis 105e und dem Ergebnis einer Prüfung dahingehend, ob ein entsprechender Sicherheitsgurt für diesen Sitz angelegt wurde oder nicht, ein Gurtwarnsignal auszugeben oder nicht. Dazu kann im Prozess 450 geprüft werden, ob der Sicherheitsgurt zum betreffenden Sitz (hier beispielsweise zum Sitz 105b) angelegt ist und im Schritt 455 eine Funktionalität des Fahrzeugs 100 in Abhängigkeit vom der im Prozess 445 ausgegebenen Information zum Sitzbelegungszustand und dem im Prozess 450 bestimmten Status des Sicherheitsgurts gesteuert werden. Insbesondere kann dies so erfolgen, dass im Prozess 455 eine Signalquelle zur Ausgabe eines insbesondere optischen und/oder akustischen Gurtstatussignals angesteuert wird, um einem oder mehreren anderen Insassen des Fahrzeugs gegebenenfalls zu signalisieren, dass ein Sitz zwar belegt aber dort der Sicherheitsgurt nicht angelegt ist. Danach verzweigt das Verfahren zurück zum Schritt 410, um einen weiteren Schleifendurchlauf zu starten.

Fig. 5 zeigt ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform 500 eines Verfahrens zum Trainieren eines Auswertungsmodells, welche in dem Verfahren 400 zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung zur Anwendung kommen kann. Das Verfahren 500 wird gleichzeitig mit Bezug auf Fig. 6 anhand von vier beispielhaften Punkten a, b, c und d erläutert.

Zunächst werden in einem Schritt 510 Messdaten erfasst, welche eine zugeordnete Radarpunktwolke repräsentieren, wie beispielsweise die Radarpunktwolke 305. In Fig. 6 sind zur Veranschaulichung des Verfahrens ganz oben vier Radarpunkte a, b, c und d dargestellt. Sodann werden Ankerpunkte aus der Menger der Radarpunkte bestimmt. Beispielsweise kann ein erster Ankerpunkt zufällig bestimmt werden, und alle weiteren Ankerpunkte jeweils mit einem größten Abstand zu den zuvor bestimmten Ankerpunkten. Beispielsweise können 2, 3, 4 oder 5 Ankerpunkte bestimmt werden. Die Anzahl der Ankerpunkte kann je nach Anwendung variieren, wobei sich in einem Beispiel vier Ankerpunkte als optimal erwiesen haben. Dies kann durch Hyperparameteroptimierung ermittelt werden, beispielsweise durch Bayessche Optimierung. In dem in Fig. 6 gezeigten Beispiel wird der Punkt a als Ankerpunkt ausgewählt. Alle Punkte a, b, c und d werden sodann kopiert, um die Punkte a_a, b_a, c_a und d_a zu erhalten.

Es erfolgt nun in Schritt 530 eine zufällige Transformation der Punkte bezüglich des Ankerpunkts a. Dies umfasst eine zufällig ausgewählte Rotation, eine zufällig ausgewählte Skalierung und eine zufällig ausgewählte Translation. So werden die Punkte a_a_aug, b_a_aug, c_a_aug und d_a_aug erhalten. Ein Ausmaß der jeweiligen Transformation kann ebenfalls durch Hyperparameteroptimierung bestimmt werden. Nach der T ransformation erfolgt eine Glättung, beispielsweise mittels eines Gauß-Kerns. Dies sorgt dafür, dass Punkte, die weiter von dem Ankerpunkt entfernt liegen, einer kleineren Transformation unterliegen als solche Punkte, die näher am Ankerpunkt liegen. Dafür können entsprechende Gewichte ausgewählt werden. Es resultieren daraus die Punkte a_a_aug_smooth, b_a_aug_smooth, c_a_aug_smooth und d_a_aug_smooth.

Die Transformation und Glättung wird für jeden der Ankerpunkte wiederholt. Beispielsweise würden sich für den Ankerpunkt c die Punkte a_c_aug_smooth, b_c_aug_smooth, c_c_aug_smooth und d_c_aug_smooth ergeben. In Schritt 550 werden dann alle transformierten und geglätteten Punktwolken vereint. Dies kann beispielsweise durch bilden eines punktweisen Mittels erfolgen, beispielsweise a_aug = (a_a_aug_smooth + a_c_aug_smooth)/2, etc., um daraus Punkte a_aug, b_aug, c_aug und d_aug zu erhalten (nicht dargestellt in Fig. 6).

Die erhaltenen augmentierten Punkte a_aug, b_aug, c_aug und d_aug werden nun in Schritt 560 mittels eines Schwierigkeitsparameters a angepasst. Hierbei werden die erhaltenen augmentierten Punkte an die ursprünglichen Punkte a, b, c und d gekoppelt, damit die resultierende augmentierte Punktwolke nicht zu stark von der ursprünglichen Radarpunktwolke abweicht. Ein Ergebnis kann durch a_result= a_aug * a + a * (1-a) erhalten werden, ebenso für b_result, c_result und d_result. Auf diese Weise kann ein Machine-Learning-Modell erhalten werden, das durch das Training mit den augmentierten Messdaten eine hohe Genauigkeit bei der Erkennung eines Sitzbelegungszustands liefert.

Da sich die Positionen der erhaltenen Punkte a_result, b_result, c_result und d_result von den Positionen der ursprünglichen Punkte a, b, c und d unterscheiden können, wird die augmentierte Punktwolke geclustert (Schritt 570), um dann geeignete Eingangsdaten zum Trainieren des Auswertungsmodells zu erhalten (Schritt 580).

In Fig. 7 ist schließlich ein weiteres Beispiel einer Radarpunktwolke 705 veranschaulicht. Die Darstellung zeigt die Radarpunktwolke 705 als dreidimensionale Punktwolke mit den Koordinaten X, Y und Z. Die Ansicht entspricht einer Sitzplatzbelegung wie der in Fig. 2 gezeigten Sitzplatzbelegung mit einer Person P auf dem Beifahrersitz. Dies ist in Fig. 7 durch die Verdichtung der Radarpunkte 715 oben rechts (was im Fahrzeug vorne rechts entspricht) erkennbar. Die Mehrheit der in Punkte 715 liegt somit in einem Cluster, welches dem Beifahrersitz zugeordnet ist. Außerdem zeigt Fig. 7 eine augmentierte Punktwolke 710 mit den Punkten 720, was durch nicht ausgefüllte Ringe dargestellt ist. Es ist erkennbar, dass die augmentierte Punktwolke 710 leicht von der eigentlichen Radarpunktwolke 705 abweicht. Insbesondere finden sich größere Abweichungen innerhalb des Clusters des Beifahrersitzes, wohingegen die Abweichungen in den Randbereichen kleiner sind (in der Darstellung werden die Punkte 720 der augmentierten Punktwolke 710 meist durch die Punkte 715 der Radarpunktwolke 720 verdeckt und sind daher in Fig. 7 nicht sichtbar).

Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.

BEZUGSZEICHENLISTE

P Person auf dem Beifahrersitz

100 Fahrzeug

105 Sitzanordnung

105a-e Sitze bzw. Sitzplätze

110 Radarsensor

110a Beobachtungsfeld des Radarsensors 110

115 System zum automatisierten Erkennen eine Sitzbelegungszustands

115a Datenverarbeitungseinheit

115b Speicher

305 Radarpunktwolke

310 statische Radarpunkte

315 dynamische Radarpunkte

320 Bereiche der Radarpunktwolke 305 mit hoher Radarpunktdichte

325a-e Raumbereiche zur Clusterdefinition

400 Verfahren zum automatisierten Erkennen eines Sitzbelegungszustands

410-455 einzelne Prozesse oder Verfahrensschritte im Rahmen des Verfahrens 400

500 Verfahren zum Trainieren eines Auswertungsmodells

510-580 einzelne Prozesse oder Verfahrensschritte im Rahmen des Verfahrens 500

705 Radarpunktwolke

710 augmentierte Punktwolke

715 Punkt der Radarpunktwolke 705

720 Punkt der augmentierten Punktwolke 710