SITZBELEGUNGSZUSTANDS EINER SITZANORDNUNG AUF BASIS VON RADARPUNKTWOLKEN

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm und ein zur Ausführung des Verfahrens konfiguriertes System, jeweils zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz.

In verschiedenen Situationen kann es erforderlich sein, automatisiert einen aktuellen Sitzbelegungszustand einer Sitzanordnung mit zumindest einem Sitzplatz festzustellen. Eine solche Situation kann insbesondere in Fahrzeugen auftreten, beispielsweise in Kraftfahrzeugen, wo eine Konfiguration des Fahrzeugs oder ein Aktivieren, Deaktivieren und/oder Steuern einer oder mehrere Fahrzeugfunktionalitäten in Abhängigkeit von einem aktuellen Sitzbelegungszustand erfolgen sollen. Beispielsweise ist es bei Kraftfahrzeugen bekannt, in Abhängigkeit von einem erkannten Sitzbelegungszustand einen akustischen oder optischen Hinweis an Fahrzeuginsassen zum Anlegen von Sitzgurten auszugeben oder ein Aktivieren bzw. Deaktivieren von Airbags zu steuern.

Zum automatisierten Detektieren eines aktuellen Sitzbelegungszustands eines oder mehrerer Sitze, insbesondere einer Anordnung von Fahrzeugsitzen in einem Fahrzeug, sind dazu insbesondere sogenannte Sitzbelegungsmatten bekannt, die in die Sitze integriert sind (meist jeweils eine je Sitz) und druckempfindliche Sensoren zum Detektieren einer Belegung des jeweiligen Sitzes verwenden. Ein Sitzbelegungszustand des Sitzes wird dabei in Abhängigkeit von den Sensorsignalen bzw. Sensordaten dieser Sensoren bestimmt, in der Regel mittels einer Schwellwertprüfung.

Diese bekannten Lösungen setzen somit eine Ausstattung der Sitze mittels einer darin eingebauten Sensorik voraus und sind zudem meist nicht in der Lage, verschiedene Sitzbelegungszustände jenseits von „besetzt“ und „nicht besetzt“ zu unterscheiden. Des Weiteren müssen die Sensoren typischerweise ab Werk bereits in die Sitze integriert werden, sodass ein Nachrüsten schwierig oder unmöglich ist und das Erfassen eines Sitzbelegungszustands von nicht derart ausgerüsteten Sitzen entfällt.

Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Lösung zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz anzugeben. Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.

Ein erster Aspekt der hier vorgestellten Lösung betrifft ein, insbesondere computerimplementiertes, Verfahren zum automatisierten Erkennen eines, insbesondere sitzplatzbezogenen, Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz (bzw. gleichbedeutend: Sitz), insbesondere Sitzplatz in oder für ein Fahrzeug, wie etwa ein Automobil (z.B. LKW, PKW oder Bus). Das Verfahren weist auf: (i) Empfangen oder Erzeugen von Messdaten, die für jeden Messrahmen einer Abfolge aus mehreren zeitlich aufeinanderfolgenden Messrahmen jeweils eine zugeordnete Radarpunktwolke repräsentieren, so dass die Messdaten eine zur Abfolge der Messrahmen korrespondierende Sequenz von Radarpunktwolken repräsentieren. Jede Radarpunktwolke der Sequenz wird oder wurde auf Basis einer zu bzw. während einem dem jeweiligen Messrahmen zugeordneten Messzeitpunkt oder Messzeitraum erfolgenden Radarabtastung eines die Sitzanordnung zumindest abschnittsweise umgebenden Raumbereichs gewonnen; (ii) Akkumulieren von mehreren der Radarpunktwolken der Sequenz, um eine akkumulierte Radarpunktwolke zu erhalten, die Radarpunkte, insbesondere alle Radarpunkte, aus jeder der im Rahmen des Akkumulierens zusammengefassten einzelnen Radarpunktwolken enthält; (iii) Bestimmen, insbesondere Schätzen, eines Sitzbelegungszustands der Sitzanordnung anhand eines Auswertungsmodells, das in Abhängigkeit von der akkumulierten Radarpunktwolke einen von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung als Auswertungsergebnis liefert; und (iv) Ausgeben einer in Abhängigkeit von dem Auswertungsergebnis definierten Information.

Unter dem Begriff „Sitzbelegungszustand“ einer Sitzanordnung mit zumindest einem Sitz, wie hierin verwendet, ist insbesondere eine Information zu verstehen, die angibt, ob oder inwieweit die Sitzanordnung bzw. zumindest einer ihrer Sitze mit einem Objekt, insbesondere einer Sache oder einer Person belegt bzw. besetzt ist. Der Sitzbelegungszustand kann in einem einfachen Beispiel nur das Vorhandensein bzw. die Abwesenheit eines Objekts angeben, oder aber in einem weiterentwickelten Beispiel für den Fall des Vorhandenseins zumindest eines Objekts auf der Sitzanordnung bzw. einem oder mehreren ihrer Sitze, eine Aussage zur Art oder einer anderen Eigenschaft, wie etwa einer räumlichen Ausdehnung, des Objekts angeben.

Unter dem Begriff „Radarpunktwolke“, wie hierin verwendet, ist insbesondere eine mittels Radar- Abtastung zumindest einer Objektoberfläche gewonnenen Menge von Punkten eines Vektorraums zu verstehen, die eine, typischerweise unorganisierte, räumliche Struktur („Wolke“) aufweist. Im Falle einer Radarpunktwolke können die Punkte der Radarpunktwolke als „Radarpunkte“ bezeichnet werden. Eine (Radar- )Punktwolke kann insbesondere durch die in ihr enthaltenen (Radar-)Punkte beschrieben werden. Die Radarpunkte wiederum können jeweils insbesondere durch ihre Raumkoordinaten beschrieben werden, wobei diese je Radarpunkt einen bei der Radarabtastung gemessenen Ort der Reflexion eines ausgestrahlten Radarsignals an einer Objektoberfläche angeben. Zu den Radarpunkten können zusätzlich Attribute, wie z. B. gemessene Dopplergeschwindigkeit oder ein Signal-zu-Rausch-Verhältnis (SNR) erfasst sein.

Unter dem Begriff „akkumulierte Radarpunktwolke“, wie hierin verwendet, ist eine Radarpunktwolke zu verstehen, die sich durch Akkumulation einer Mehrzahl von einzelnen Radarpunktwolken - insbesondere im mathematischen Sinne einer Vereinigungsmenge - ergibt, so dass die akkumulierte Radarpunktwolke Radarpunkte, insbesondere alle Radarpunkte, aus jeder der im Rahmen des Akkumulierens zusammengefassten einzelnen Radarpunktwolken enthält. Eine akkumulierte Radarpunktwolke kann insbesondere mehr Radarpunkte enthalten als jede der in die Akkumulation einbezogenen einzelnen Radarpunktwolken. Unter dem Begriff „akkumulieren“ ist dementsprechend ein solches Zusammenfassen von mehreren einzelnen Radarpunktwolken zu einer akkumulierten Radarpunktwolke zu verstehen.

Unter dem Begriff „Messrahmen“, wie hierin verwendet, ist insbesondere ein Messzeitpunkt oder eine Messzeitraum in einer zeitlichen Abfolge von definierten, insbesondere periodisch, aufeinanderfolgenden Messzeitpunkten oder Messzeiträumen zu verstehen, zu bzw. während denen jeweils eine Messung, vorliegend eine Radarabtastung zumindest einer Objektoberfläche, stattfindet bzw. stattgefunden hat. Jedem Messrahmen ist das Ergebnis der ihm zugehörigen Messung, vorliegend die für den Messrahmen durch Radarabtastung generierte Radarpunktwolke, zugeordnet.

Unter dem Begriff „Auswertungsmodell“, wie hierin verwendet, ist ein, insbesondere mathematisches, Modell zu verstehen, dass eine, insbesondere akkumulierte, Radarpunktwolke oder eine oder mehrere sie charakterisierende Kenngrößen als Eingangsgröße(n) nutzt, um in Abhängigkeit davon ein Auswertungsergebnis zu liefern, vorliegend einen von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung. Das Auswertungsmodell kann insbesondere eine mathematische Schätzfunktion sein, wobei die akkumulierte Radarpunktwolke empirische Daten als Stichprobe darstellt und das Auswertungsergebnis einen in Abhängigkeit davon bestimmten Schätzwert darstellt. Das Auswertungsmodell kann insbesondere ein „Maschinenlern-Modell“ (bzw. gleichbedeutend „Machine-Learning-Modell“) sein, worunter hier insbesondere ein mittels zumindest eines Algorithmus des maschinellen Lernens auf der Grundlage von Beispieldaten, die als Trainingsdaten bezeichnet werden, erstelltes mathematisches, insbesondere statistisches, Modell zum Treffen von Vorhersagen oder Entscheidungen zu verstehen ist, ohne dass der bzw. die Algorithmen explizit für das T reffen solcher Vorhersagen oder Entscheidungen programmiert werden. Insbesondere sind Entscheidungsbaum-basierte Modelle zum maschinellen Lernen („engl. decision trees“) Machine-Learning-Modelle.

Die auszugebende Information kann insbesondere das Auswertungsergebnis selbst repräsentieren. Sie kann auch ein, insbesondere mit einem menschlichen Sinn erfassbares, detektierbares Signal sein, wie etwa ein Warnhinweis, oder ein Steuersignal zur Ansteuerung einer Signalquelle oder ein die Information tragendes Datensignal.

Die hierein gegebenenfalls verwendeten Begriffe "umfasst", "beinhaltet", "schließt ein", "weist auf", "hat", "mit", oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.

Ferner bezieht sich "oder", sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).

Die Begriffe "ein" oder "eine", wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe "ein anderer" und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.

Der Begriff "Mehrzahl", wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen. Unter dem hierein gegebenenfalls verwendeten Begriffen „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.

Mithilfe des Verfahrens nach dem ersten Aspekt lässt sich ein auf Basis von mittels einer zeitlichen Abfolge von jeweils anhand einer tatsächlichen oder simulierten Radarabtastung eines die Sitzanordnung umgebenden Raumbereichs gewonnenen Radarpunktwolken einen Sitzbelegungszustand der Sitzanordnung kennzeichnendes Auswertungsergebnis (insbesondere im Sinne einer Voraussage oder Klassifikation) erhalten. So lassen sich, insbesondere im Fahrzeugkontext (insbesondere für Automobile), radarbasierte Lösungen implementieren, die einen Sitzbelegungszustand (insbesondere ausschließlich) radarbasiert zuverlässig erkennen können und auf Basis davon bestimmte Funktionalitäten oder System, wie etwa einen Gurtwarner oder ein Airbag-System, insgesamt oder selektiv aktivieren, deaktivieren oder steuern/regeln können.

Die Anzahl der erzeugten Radarpunkte je Radarpunktwolke hängt bei vielen Radarmessverfahren, davon ab, ob bzw. auf welche Weise sich ein Objekt bewegt. Die Verwendung zumindest einer durch Akkumulation von mehreren zeitlich aufeinanderfolgenden Radarpunktwolke verdichteten akkumulierten Radarpunktwolke dient insbesondere dazu, die Anzahl der Radarpunkte zu erhöhen, auf deren Basis die Auswertung zur Bestimmung des Sitzbelegungszustand erfolgt. So kann die Qualität der Auswertung erhöht werden, insbesondere deren Fehlerrate reduziert werden. Dies ist insbesondere dann von Bedeutung, wenn die für die einzelnen Messrahmen gewonnenen einzelnen Radarpunktwolken jeweils nur eine geringe Anzahl von Radarpunkten aufweisen (engl. „sparse point cloud“), so dass ohne Akkumulation die Auswertung aufgrund einer ungenügenden Datenbasis ungenau oder fehleranfällig werden könnte. Das kann insbesondere im Falle von unbewegten oder sich nur wenig bewegenden Objekten der Fall sein, z.B. wenn sich eine unbewegte Sache, eine sich kaum bewegende Person oder ein sehr kleines Objekt auf einem Sitz befindet.

Nachfolgend werden verschiedene beispielhafte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der vorliegenden Lösung kombiniert werden können.

Bei einigen Ausführungsformen erfolgt das Akkumulieren von mehreren der Radarpunktwolken der Sequenz mehrfach, um dabei jeweils eine akkumulierte Radarpunktwolke zu erhalten, welche Radarpunkte, insbesondere jeweils alle Radarpunkte, aus jeder der im Rahmen des jeweiligen Akkumulierens zusammengefassten einzelnen Radarpunktwolken enthält, wobei bei jedem Akkumulieren jeweils nur Radarpunktwolken einer ihm zugeordneten individuellen Untermenge der Sequenz akkumuliert werden, sodass zumindest zwei der Untermengen verschieden sind. Das Bestimmen des Sitzbelegungszustands der Sitzanordnung erfolgt hier in Abhängigkeit von zumindest zwei der akkumulierten Radarpunktwolken. Auf diese Weise kann hier insbesondere ein zeitlicher Verlauf der Radarabtastung zur Bestimmung des Sitzbelegungszustands der Sitzanordnung herangezogen werden. Auf Basis eines solchen zeitlichen Verlaufs kann insbesondere eine Bewegung oder ein bestimmtes Bewegungsmuster eines oder mehrerer Objekte auf der Sitzanordnung und somit die Anwesenheit des bzw. der Objekte selbst mit höherer Sicherheit erkannt werden, als dies typischerweise auf Basis einer einzigen akkumulierten Radarpunktwolke möglich wäre. Somit lässt sich die Qualität und Zuverlässigkeit für das automatisierte Erkennen eines Sitzbelegungszustands der Sitzanordnung weiter steigern.

Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: für jede der zumindest zwei im Rahmen des Bestimmens des Sitzbelegungszustands berücksichtigten akkumulierten Radarpunktwolken, Bestimmen des jeweiligen Werts zumindest einer definierten Kenngröße zur Charakterisierung von Radarpunktwolken. Das Auswertungsmodell ist oder wird so festgelegt, dass bei dem Bestimmen des Sitzbelegungszustands der Sitzanordnung das Auswertungsergebnis in Abhängigkeit von den jeweiligen Werten der zumindest einen Kenngröße für die zumindest zwei im Rahmen des Bestimmens des Sitzbelegungszustands berücksichtigten akkumulierten Radarpunktwolken bestimmt wird. Auf diese Weise kann das Auswertungsmodell in einer vereinfachten Weise bestimmt und angewandt werden, da anstelle ganzer akkumulierter Radarpunktwolken nur noch die Werte der zumindest eine Kenngröße als Eingangsgrößen berücksichtigt werden müssen. Insbesondere kann so der zeitliche Verlauf der Werte eine Bewegung oder ein bestimmtes Bewegungsmuster eines oder mehrerer Objekte auf der Sitzanordnung widerspiegeln, sodass das Auswertungsmodell auf dieser Basis den Sitzbelegungszustand der Sitzanordnung in besonders zuverlässiger Weise bestimmen kann.

Insbesondere können bei einigen Ausführungsformen die Untermengen, um eine geordnete Serie von Untermengen zu bilden, rollierend so ausgewählt werden, dass eine erste der Untermengen eine Anzahl N von in der Sequenz aufeinanderfolgenden Punktmengen aufweist und jede nachfolgende weitere Untermenge aus der jeweils vorhergehenden Untermenge hervorgeht, indem die gemäß ihrer Reihenfolge in der Sequenz M führenden Punktmengen der vorhergehenden Untermenge in der ihr nachfolgende Untermenge durch die M in der Sequenz nächstfolgenden Punktmengen ersetzt werden, wobei 0 < M < N mit N, M e N gilt. So lässt sich eine Glättung der dem Auswertemodell zur Verfügung gestellten Eingangsgröße(n) erreichen, was wiederum zur Qualitätserhöhung genutzt werden kann.

Insbesondere hat sich herausgestellt, dass im Sinne einer hohen Qualität des Verfahrens die folgenden Wertebereiche günstig sind: N ist oder wird so gewählt, dass 4 < N < 8 gilt; und/oder M ist oder wird so gewählt, dass M = 1 oder M = 2 gilt.

Eine besonders geeignete Auswahl ist N = 6 und M = 1 . In diesem Falle werden die jeweiligen Radarpunktwolken von jeweils N = 6 zeitlich aufeinanderfolgende Messrahmen zu einer Untermenge bzw. darauf beruhend einer akkumulierten Radarpunktwolke zusammengefasst. Wenn man etwa die Messrahmen entsprechend ihrer zeitlichen Reihenfolge mit 1 , 2, 3 usw. durchnummeriert, dann kann eine erste akkumulierten Radarpunktwolke durch Akkumulieren der einzelnen Radarpunktwolken der Messrahmen 1 bis 6 erzeugt werden. Die nachfolgende zweite akkumulierte Radarpunktwolke kann dann durch Akkumulieren der einzelnen Radarpunktwolken der Messrahmen 2 bis 7 erzeugt werden, usw. Bei diesem Rollieren ist also jeweils der führende Messrahmen der vorausgehenden Untermenge in der zeitlich unmittelbar nachfolgenden Untermenge nicht mehr enthalten, sondern durch einen nachrückenden nächsten Messrahmen ersetzt. Insgesamt ergibt sich so eine zeitliche Abfolge von akkumulierten Radarpunktwolken, die jeweils durch Akkumulation von N einzelnen Radarpunktwolken definiert sind. So lässt sich wieder mit den vorgenannten Vorteilen ein zeitlicher Verlauf von aufeinanderfolgenden akkumulierten Radarpunktwolken erzeugen. Bei einigen Ausführungsformen wird bei dem Bestimmen des Sitzbelegungszustands der Sitzanordnung das Auswertungsergebnis in Abhängigkeit von der je Kenngröße zu der Serie der Untermengen korrespondierenden Serie der jeweiligen Werte der Kenngröße für die Untermengen der Serie bestimmt. So kann wieder die Komplexität der Eingangsgröße(n) für das Auswertemodell reduziert werden. So kann insbesondere Rechenaufwand eingespart und eine hohe Performanz, insbesondere Echtzeitfähigkeit, mit schwächeren Rechenresourcen bzw. geringerem Rechenresourceneinsatz erreicht werden.

Bei einigen Ausführungsformen wird für zumindest eine der Kenngrößen die Serie ihrer jeweiligen Werte dahingehend analysiert, ob darin ein periodischer Verlauf, insbesondere ein zu einem periodischen Atmungsmuster korrespondierender Verlauf, der Kenngröße detektiert wird. Das Auswertungsergebnis wird dann in Abhängigkeit vom Ergebnis der Analyse bestimmt. So kann insbesondere nicht nur die Anwesenheit irgendeines Objekts auf einem Sitz der Sitzanordnung erkannt werden, sondern sogar mit hoher Zuverlässigkeit eine Unterscheidung von auf der Sitzanordnung vorhandenen lebenden Objekten, vor allem von Personen und Säugetieren wie etwa Haustieren (z.B. Hunden), getroffen werden. Insbesondere ist es möglich, die verfahrensgemäß auszugebende Information in Abhängigkeit vom Erkennen bzw. Nicht-Erkennen eines solchen periodischen Verlaufs zu definieren. Dabei können auch insbesondere eine oder mehrere detektierte Frequenzen des periodischen Verlaufs berücksichtigt werden, insbesondere so, dass die Information in Abhängigkeit davon definiert wird, ob die bzw. eine Frequenz innerhalb eines bestimmten Frequenzbereichs wie etwa eines typischen Atemfrequenzbereichs liegt. So lässt sich insbesondere eine Gurtanlegewarnfunktionalität oder ein Airbag-System in Abhängigkeit davon steuern, ob eine Atemfrequenz und somit mit hoher Wahrscheinlichkeit eine Person auf der Sitzanordnung bzw. einem bestimmten Sitz davon erkannt wurde.

Bei einigen Ausführungsformen ist oder wird die bzw. eine der Kenngrößen durch die Anzahl der Radarpunkte in der jeweiligen akkumulierten Radarpunktpunktwolke oder eine davon abhängige Größe festgelegt. Wenn bei der Radarabtastung in einem Messrahmen die Anzahl der Radarpunkte der dabei erzeugten Radarpunktwolke davon abhängt, in welchem Ausmaß sich das abgetastete Objekt bewegt, lässt sich so in der bzw. den Kenngrößen das Ausmaß der Bewegung abbilden, insbesondere im Hinblick auf das vorgenannte Erkennen einer Atemfrequenz des Objekts.

Bei einigen Ausführungsformen ist oder wird die Abfolge der Messrahmen so definiert, dass die darin zeitlich aufeinanderfolgenden Messrahmen periodisch mit einer Frequenz f mit 6 fps < f < 9 fps aufeinanderfolgen, insbesondere hat sich eine Frequenz f mit 7 fps < f < 8 fps als vorteilhaft herausgestellt (fps = frames per second, d.h. Messrahmen pro Sekunde).

Bei einigen Ausführungsformen umfasst das Auswertungsmodells ein trainiertes Machine-Learning-Modell. Daten, die zumindest eine akkumulierte Radarpunktwolke oder Werte von einer oder mehreren dazu bestimmten Kenngrößen repräsentieren, werden dabei als Eingangsdaten dem Machine-Learning-Modell zu Verfügung gestellt, um als dessen Ausgabe das Auswertungsergebnis zu erhalten. Dies erlaubt eine besonders flexible und anpassungsfähige Implementierung des Auswertungsmodells, wobei das Maschinenlernen dazu genutzt werden kann, das Auswertungsmodell und somit die Qualität und Zuverlässigkeit der Sitzbelegungserkennung kontinuierlich zu verbessern. Das Auswertungsergebnis kann dabei insbesondere eine Klasse einer Sitzbelegungszustandsklassifikation angeben. Das Machine-Learning-Modell kann insbesondere Entscheidungsbaum-basiertes Modell oder ein auf einem künstlichen neuronalen Netz beruhendes Modell sein.

Bei einigen Ausführungsformen („erste Gruppe“) weist die Sitzanordnung eine Mehrzahl von Sitzplätzen auf, für die individuell oder kumulativ ein Sitzbelegungszustand im Rahmen des Verfahrens zu bestimmen ist. Für jede (einzelne) Radarpunktwolke wird die Menge ihrer Radarpunkte mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Radarpunkte in Bezug auf die Sitzplätze in mehrere jeweils eine Untermenge der Radarpunkte enthaltende Cluster unterteilt, um jedem der Sitzplätze einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen (Die Clusterung findet somit bereits auf der Ebene der einzelnen Radarpunktwolke(n) statt). Das Akkumulieren von Radarpunktwolken der Sequenz erfolgt clusterweise, wobei je Cluster nur die zu diesem Cluster gehörenden Radarpunkte der jeweils zu akkumulierenden Radarpunktwolken akkumuliert werden, um je Cluster eine jeweilige akkumulierte Radarpunktwolke zu bilden. Das Bestimmen des Sitzbelegungszustands der Sitzanordnung individuelles Bestimmen eines jeweiligen individuellen Sitzbelegungszustands, erfolgt für jeden der Sitzplätze in Abhängigkeit von der für den jeweils zugehörigen Cluster bestimmten akkumulierten Radarpunktwolke, um ein einen Sitzbelegungszustand des jeweiligen Sitzplatzes kennzeichnendes Auswertungsergebnis, insbesondere Klassifikationsergebnis, zu erhalten. Die auszugebende Information wird dann in Abhängigkeit von den jeweiligen individuellen Auswertungsergebnissen zu den verschiedenen Sitzplätzen definiert. Bei einigen Ausführungsformen der ersten Gruppe wird jede Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte der jeweiligen Radarpunktwolke in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, dass die Radarpunkte des Clusters in einem definierten geschlossenen Raumbereich, insbesondere einem Quader, im Umfeld des Sitzplatzes liegen. Dies ermöglicht eine besonders einfache und wenig rechenintensive Clusterbildung und somit sitzplatzbezogene Sitzbelegungserkennung, wobei die Lage (Position und Orientierung) und die Form des Raumbereichs so definiert ist oder werden kann, dass sie den von einem typischen zu erkennenden Objekt, insbesondere einer Person, auf einem Sitz der Sitzanordnung in der Regel eingenommenen Raumbereich stark überlappt.

Auch bei einigen anderen Ausführungsformen („zweite Gruppe“) weist die Sitzanordnung eine Mehrzahl von Sitzplätzen auf, für die individuell oder kumulativ ein Sitzbelegungszustand im Rahmen des Verfahrens zu bestimmen ist. Hier wird jedoch für jede akkumulierte Radarpunktwolke die Menge ihrer jeweiligen Radarpunkte mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Radarpunkte in Bezug auf die Sitzplätze in mehrere jeweils eine Untermenge der Radarpunkte enthaltende Cluster unterteilt, um jedem der Sitzplätze einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen (Die Clusterung findet hier somit erst auf der Ebene der bereits akkumulierten Radarpunktwolke(n) statt). Das Bestimmen des Sitzbelegungszustands der Sitzanordnung umfasst ein individuelles Bestimmen eines jeweiligen individuellen Sitzbelegungszustands für jeden der Sitzplätze in Abhängigkeit von der für den jeweils zugehörigen Cluster bestimmten akkumulierten Radarpunktwolke, um ein einen Sitzbelegungszustand des jeweiligen Sitzplatzes kennzeichnendes Auswertungsergebnis zu erhalten. Die auszugebende Information wird in Abhängigkeit von den jeweiligen individuellen Auswertungsergebnissen zu den verschiedenen Sitzplätzen definiert.

Die Ausführungsformen der zweiten Gruppe stellen somit Alternativen zu den Ausführungsformen der ersten Gruppe dar. In beiden Fällen wird im Falle einer mehrsitzigen Sitzanordnung eine sitzplatzbezogene, d.h. je Sitz individuelle, Sitzplatzbelegungserkennung ermöglicht, was insbesondere dann vorteilhaft oder gar erforderlich ist, wenn sitzplatzbezogen auf die erkannte Sitzplatzbelegung reagiert werden soll, etwa indem für einen bestimmten Sitz in Abhängigkeit von dessen erkannter Sitzplatzbelegung eine bestimmte Funktionalität oder ein bestimmtes System, wie etwa ein sitzplatzbezogenes Airbag-System, eine sitzplatzbezogene Gurtanlegewarnung oder eine sitzplatzbezogene Sitzheizung aktiviert bzw. deaktiviert oder anderweitig gesteuert werden soll.

Bei einigen Ausführungsformen der zweiten Gruppe wird jede akkumulierte Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte der jeweiligen akkumulierten Radarpunktwolke in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, dass die Radarpunkte des Clusters in einem definierten geschlossenen Raumbereich, insbesondere einem Quader, im Umfeld des Sitzplatzes liegen. Dies ermöglicht eine, auch gegenüber der ersten Gruppe vereinfachte, und wenig rechenintensive Clusterbildung und somit sitzplatzbezogene Sitzbelegungserkennung, wobei die Lage (Position und Orientierung) und die Form des Raumbereichs so definiert ist oder werden kann, dass sie den von einem typischen zu erkennenden Objekt, insbesondere einer Person, auf einem Sitz der Sitzanordnung in der Regel eingenommenen Raumbereich stark überlappt.

Die Cluster enthalten somit jeweils eine, insbesondere echte, Teilmenge der Menge der Radarpunkte der betreffenden gesamten (bei der ersten Gruppe) einzelnen bzw. (bei der zweiten Gruppe) akkumulierten Radarpunktwolke. Die Clusterbildung kann bei einigen Ausführungsformen insbesondere so erfolgen, dass die Cluster disjunkt sind, so dass kein Radarpunkt zwei verschiedenen Clustern zugeordnet ist.

Bei einigen Ausführungsformen wird die bzw. jede einzelne oder akkumulierte Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, insbesondere je Radarpunkt eindeutig, dass die Radarpunkte des Clusters in einem definierten geschlossenen, insbesondere quaderförmigen, Raumbereich im Umfeld des Sitzplatzes liegen. Die Zuordnung kann insbesondere so erfolgen, dass jeder Radarpunkt dem Cluster des ihm nächstliegenden Sitzplatzes zugeordnet wird. So lässt sich die Radarpunktwolke in Cluster, d.h. im Umfeld der jeweiligen Sitze lokalisierten, Teilmengen der Radarpunktwolke aufteilen, so dass das Bestimmen von sitzspezifischen Sitzbelegungszuständen gezielt und daher mit hoher Zuverlässigkeit auf Basis des dem jeweiligen Sitz zugeordneten Clusters erfolgen kann.

Bei einigen Ausführungsformen umfasst das Ausgeben der Information ein Ansteuern einer Signalquelle in Abhängigkeit von der Information, um die Signalquelle zu veranlassen, in Abhängigkeit von der Ansteuerung ein definiertes Signal auszugeben. Die Signalquelle kann insbesondere eine Audioquelle, eine optische Signalquelle, insbesondere Anzeigevorrichtung für Bild oder Text, und/oder ein Haptik-Aktuator oder eine Kombination aus zumindest zwei der vorgenannten Signalquellen sein kann. So kann anhand der Signalisierung der erkannte Sitzbelegungszustand einem Benutzer mitgeteilt oder zur Steuerung eines anderen technischen Systems, wie etwa eines Airbag systems, genutzt werden.

Bei einigen dieser Ausführungsformen wird die Signalquelle so in Abhängigkeit von der Information angesteuert, dass sie ein, insbesondere durch die Ansteuerung definiertes, Signal ausgibt, wenn die Information aus einem Auswertungsergebnis resultiert, demgemäß zumindest ein Sitz der Sitzanordnung belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt.

Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: (i) Detektieren eines Sitzgurtanlegezustands zumindest eines Sitzes der Sitzanordnung oder Empfangen einer diesen Sitzgurtanlegezustand kennzeichnenden Sitzgurtinformation; (ii) wobei die Signalquelle so in Abhängigkeit von der Sitzgurtinformation und der Information aus dem Auswertungsergebnis angesteuert wird, dass sie ein Gurtanlegehinweissignal ausgibt, wenn gemäß der Information zumindest ein Sitz der Sitzanordnung belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt und Sitzgurtinformation angibt, dass der zugehörige Sitzgurt des Sitzes nicht angelegt ist. So lässt sich ein, insbesondere im Hinblick auf die Detektion ausschließlich, radarbasiertes Sitzgurtanlegeprüf- und -warnsystem erreichen.

Bei einigen Ausführungsformen werden die einzelnen Radarpunkte der Radarpunktwolke jeweils durch eine Position des jeweiligen Radarpunkts im dreidimensionalen Raum sowie durch zumindest einen der folgenden Parameter repräsentiert: (i) einen Doppler-Verschiebungswert des Radarsignals zum jeweiligen Radarpunkt; (iii) einen Signal-zu-Rausch-Abstands-Wert des Radarsignals zum jeweiligen Radarpunkt. Diese Parameter können insbesondere zur Vorfilterung der Radarpunktwolke im Rahmen einer der Merkmalsbestimmung vorangehenden Vorprozessierung genutzt werden.

Insbesondere kann bei einigen dieser Ausführungsformen das Bestimmen des Sitzbelegungszustands der Sitzanordnung anhand des Auswertungsmodells ausschließlich oder zumindest zahlenmäßig überwiegend auf Basis solcher Radarpunkte erfolgen, deren Doppler-Verschiebungswert bei oder oberhalb einer von Null verschiedenen vorbestimmten Verschiebungsschwelle liegt. So werden nur oder zumindest überwiegend sogenannte dynamische Radarpunkte als Basis für die Auswertung genutzt, also solche Radarpunkte, die eine Bewegung des abgetasteten Objekts anzeigen, deren Doppler-Verschiebungswert bei oder oberhalb der Verschiebungsschwelle liegt. Dies kann insbesondere zur weiteren Erhöhung der Qualität, insbesondere der Zuverlässigkeit des Verfahrens genutzt werden, weil statische, d.h. im Wesentlichen unbewegte Punkte auf den Objektoberflächen, wie etwa Punkte auf einer Sitzfläche eines Sitzes, nicht oder nur in geringerer Anzahl in die Auswertung einfließen als solche Punkte, die eine Dynamik zeigen und somit mit hoher Wahrscheinlichkeit einem Lebewesen, insbesondere einer Person oder einem Tier, zuzuordnen sind. Damit kann die Verwertung der durch die Auswertung gewonnenen, ausgegebenen Information (z.B. zur Airbag-Steuerung oder einem Gurtwarnsystem) insbesondere in Abhängigkeit davon erfolgen, ob ein Lebewesen erkannt wurde oder eine statische Objektoberfläche.

Ein zweiter Aspekt der vorliegenden Lösung betrifft ein System, insbesondere eine Datenverarbeitungsvorrichtung, zum automatisierten Erkennen eines, insbesondere jeweiligen, Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz, insbesondere mit zumindest einem Fahrzeugsitz in einem bzw. für ein Fahrzeug. Dabei weist das System eine Datenverarbeitungsvorrichtung auf, die konfiguriert ist, insbesondere mittels eines entsprechenden Computerprogramms, zum Erkennen des Sitzbelegungszustands das Verfahren nach dem ersten Aspekt auszuführen.

Ein dritter Aspekt der vorliegenden Lösung betrifft ein Computerprogramm oder Computerprogrammprodukt, aufweisend Anweisungen, die bei ihrer Ausführung auf der Datenverarbeitungsvorrichtung des Systems nach dem zweiten Aspekt, das System veranlassen, das Verfahren nach dem ersten Aspekt auszuführen.

Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen. Die Module können insbesondere dazu konfiguriert sein oder jedenfalls so einsetzbar sein, dass sie im Sinne von verteiltem Rechnen (engl. „Distributed computing“ auf verschiedenen Geräten (Computern bzw. Prozessoreinheiten ausgeführt werden, die geografisch voneinander beabstandet und über ein Datennetzwerk miteinander verbunden sind.

Das System nach dem zweiten Aspekt kann entsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm abgelegt ist. Alternativ kann das System auch eingerichtet sein, über eine Kommunikationsverbindung auf ein extern, beispielsweise auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten verfügbares Computerprogramm zuzugreifen, insbesondere um mit diesem Daten auszutauschen, die während des Ablaufs des Verfahrens bzw. Computerprogramms Verwendung finden oder Ausgaben des Computerprogramms darstellen.

Ein vierter Aspekt der vorliegenden Lösung betrifft ein Fahrzeug, aufweisend:(i) eine Sitzanordnung mit zumindest einem Sitzplatz; (ii) einen Radarsensor zur zumindest abschnittsweisen Radarabtastung der Sitzanordnung; und (iii) ein System nach dem zweiten Aspekt zum automatisierten Erkennen eines, insbesondere jeweiligen, Sitzbelegungszustands der Sitzanordnung in Abhängigkeit von einer durch den Radarsensor ausgeführten, zumindest abschnittsweisen Radarabtastung der Sitzanordnung.

Die in Bezug auf den ersten Aspekt der vorliegenden Lösung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Lösung.

Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Lösung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Figuren.

Dabei zeigt:

Fig. 1 schematisch eine beispielhafte Ausführungsform eines Fahrzeugs, das mit einem System zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung im Fahrzeug ausgerüstet ist;

Fig. 2 schematisch das Fahrzeug aus Fig. 1 , wobei hier auf dem Beifahrersitz als zu erkennendes Objekt eine Babyschale mit einem darin liegenden Baby vorhanden ist; Fig. 3A eine beispielhafte zweidimensionale Darstellung einer zu einem einzelnen durch einen Radarsensor des Fahrzeugs aus Fig. 2 aufgenommenen Messrahmen korrespondierenden (einzelnen) Radarpunktwolke;

Fig. 3B eine beispielhafte zweidimensionale Darstellung einer akkumulierte Radarpunktwolke, die durch Akkumulation aus den jeweiligen einzelnen Radarpunktwolken mehrerer aufeinanderfolgender entsprechend Fig. 3A aufgenommener Messrahmen hervorgegangen ist;

Fig. 3C eine beispielhafte Darstellung einer Clusterung der akkumulierten Radarpunktwolke Ausführung 3B gemäß den Positionen der einzelnen Sitzplätze der Sitzanordnung;

Die Fig. 4 ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform eines Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung;

Fig. 5A eine beispielhafte Darstellung des Verlaufs des Werts einer charakteristischen Kenngröße für einzelne Radarpunktwolken für eine Abfolge von Messrahmen; und

Fig. 5B eine beispielhafte Darstellung des Verlaufs des Werts einer charakteristischen Kenngröße für bereits akkumulierte Radarpunktwolken für dieselbe Abfolge von Messrahmen wie in Fig. 5A;

In den Figuren bezeichnen gleiche Bezugszeichen gleiche, ähnliche oder einander entsprechende Elemente. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich werden. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können, soweit nicht ausdrücklich anders angegeben, auch als indirekte Verbindung oder Kopplung implementiert werden. Funktionale Einheiten können insbesondere als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.

Die in Fig. 1 schematisch dargestellte beispielhafte Ausführungsform eines Fahrzeugs 100 weist eine Sitzanordnung 105 mit fünf einzelnen Sitzen bzw. Sitzplätzen 105a bis 105e auf. Jeder der Sitzplätze 105a bis 105e ist geeignet, eine Person als Passagier des Fahrzeugs 100 aufzunehmen. Das Fahrzeug 100 weist des Weiteren einen Radarsensor 110 auf, der innerhalb der Fahrzeugkabine an deren Decke montiert und so konfiguriert ist, dass er die Sitzanordnung 105, zumindest im Wesentlichen, mithilfe von Radarstrahlen abtasten kann. Dementsprechend liegen die Sitzplätze 105a bis 105e, insbesondere deren Sitzflächen, zumindest jeweils überwiegend, innerhalb eines durch den Radarsensor 110 abtastbaren Beobachtungsfelds 1 10a. Darüber hinaus weist das Fahrzeug 100 ein System 1 15 zum automatisierten Erkennen eines Sitzbelegungszustands der Sitzanordnung 105 in Abhängigkeit von einer durch den Radarsensor 1 10 ausgeführten, zumindest abschnittsweise bezüglich des Beobachtungsfelds 110a ausgeführten Radarabtastung der Sitzanordnung 105 auf.

Das System 1 15 weist insbesondere eine Datenverarbeitungseinheit 115a mit zumindest einen Mikroprozessor sowie einen damit signalverbundenen Speicher 115b auf, in dem ein zur Durchführung des im Weiteren unter Bezugnahme auf Fig. 4 beschriebenen Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands der Sitzanordnung 105 konfiguriertes Computerprogramm gespeichert ist. Des Weiteren können in dem Speicher 1 15b die vom Radarsensor 1 10 bei der Radarabtastung erzeugten Sensordaten oder daraus bereits durch Weiterverarbeitung gewonnene Informationen abgelegt sein oder werden.

Das in Fig. 2 dargestellte Fahrzeug 100 entspricht dem Fahrzeug aus Fig. 1 , wobei hier jedoch auf dem Beifahrersitz 105b als ein im Sinne einer Sitzbelegungsprüfung zu erkennendes Objekt eine Babyschale B mit einem darin liegenden Baby angeordnet ist. Bei der weiteren folgenden Diskussion der Figuren 3A bis 5B wird auf die Konstellation aus Fig. 2 Bezug genommen.

Nachfolgend wird nun auf die Figuren 3A bis 3C Bezug genommen, die jeweils eine Radarpunktwolke darstellen, wobei zum Zwecke der Darstellbarkeit die jeweilige, an sich dreidimensionale Radarpunktwolke durch Projektion der Positionen der Radarpunkte der Radarpunktwolke auf eine durch zwei ihrer Dimensionen aufgespannte Ebene auf zwei Dimensionen reduziert wurde.

In Fig. 3A ist eine beispielhafte einzelne Radarpunktwolke 300 illustriert, wie sie innerhalb eines einzelnen Messrahmens, d. h. als Ergebnis einer Radarabtastung der Sitzanordnung 105 durch den Radarsensor 1 10 während eines festgelegten Zeitintervalls (Messzeitraum) erfasst wurde. Die Lage der einzelnen Radarpunkte innerhalb der Radarpunktwolke 300 kann durch Raumkoordinaten dargestellt werden, beispielsweise kann man der Zeichenebene und entsprechend jedem einzelnen Punkte kartesische Koordinaten X und Y zuordnen. Tatsächlich kommt in Wirklichkeit, wenn die Dimensionsreduzierung aufgrund der Zeichnung außer Acht gelassen wird, noch eine dritte Koordinate Z für die dritte Raumdimension zu.

Wenn bei der Radarabtastung nicht nur die räumlichen Positionen der Stellen, an denen der Radarstrahl von den abgetasteten Objekten reflektiert wird, als Koordinaten erfasst werden, sondern auch eine jeweilige Dopplerverschiebung gemessen wird, dann können die einzelnen Radarpunkte in Abhängigkeit vom Betrag dieser Dopplerverschiebung klassifiziert, insbesondere in zwei verschiedene Klassen eingeteilt werden. Letzteres kann etwa dadurch erfolgen, dass die Dopplerverschiebung mit einer vordefinierten Verschiebungsschwelle, die zu einer bestimmten Verschiebungsgeschwindigkeit korrespondiert, verglichen werden. In Abhängigkeit vom Ergebnis des Vergleichs können diejenigen Radarpunkte 310, die gemäß dem Wert ihrer zugeordneten Dopplerverschiebung keine Geschwindigkeit oder eine Geschwindigkeit der Objektoberfläche am Reflexionspunkt aufweisen, die unterhalb der Verschiebungswelle liegt, als „statische“ Radarpunkte klassifiziert werden (in den Figuren 3A-3C jeweils mit einem gefüllten schwarzen Kreis dargestellt). Umgekehrt können diejenigen Radarpunkte 315, die eine Dopplerverschiebung oberhalb der Verschiebungsschwelle aufweisen, als „dynamische“ Radarpunkte 315 klassifiziert werden (in den Figuren 3A-3C jeweils mit einem schwarzen Ring dargestellt).

Die Klassifizierung der Radarpunkte 310 und 315 entsprechend ihrer Dopplerverschiebung ist nicht zwingend erforderlich, sie kann jedoch genutzt werden, um die Radarpunktwolke 300, insbesondere im Rahmen einer vor ihrer Auswertung erfolgenden Vorprozessierung zu verarbeiten, insbesondere in Abhängigkeit von der Klassifizierung zu filtern. Beispielsweise könnte eine solche Filterung derart erfolgen, dass nur dynamische Radarpunkte 315 für die Auswertung berücksichtigt werden, um etwa nur bewegte Objekte zu erkennen.

In Fig. 3B ist eine akkumulierte Radarpunktwolke 305 dargestellt, die durch Akkumulieren mehrerer einzelner Radarpunktwolken, beispielsweise durch Akkumulieren von sechs (d.h. N=6) einzelnen Radarpunktwolken aus sechs, insbesondere aufeinanderfolgenden, Messrahmen, generiert wurde. Im vorliegenden Beispiel ist die einzelne Radarpunktwolke 300 aus Fig. 3A eine dieser durch Akkumulation zusammengefassten Radarpunktwolken, sodass sich ihre Radarpunkte 310 und 315 auch in Fig. 3B wiederfinden. Durch Vergleich der Figuren Fig. 3A und Fig. 3B lässt sich leicht erkennen, dass aufgrund der Akkumulation die durchschnittliche Radarpunktdichte in Fig. 3B deutlich höher ist als in Fig. 3A. Insbesondere lässt sich auch erkennen, dass in den jeweils durch Kreise markierten Bereichen 320 eine besonders hohe Radarpunktdichte herrscht, die insbesondere sowohl statische Radarpunkte 110 als auch dynamische Radarpunkte 1 15 aufweist. Dies weist darauf hin, dass sie mit hoher Wahrscheinlichkeit ein Objekt vorhanden ist (hohe Radarpunktdichte), welches sich zumindest teilweise bewegt (hohe Punktdichte von dynamischen Radarpunkten).

N = 6 stellt hier eine besonders vorteilhafte Wahl für N dar, weil damit sowohl mehrere Perioden des in Fig. 3B erkennbaren periodischen Atemvorgangs abdeckt werden als auch die Akkumulation bezüglich der Anzahl der per Akkumulierung zusammengefassten einzelnen Radarpunktwolken kurz genug ist, um in der sich ergebenden akkumulierten Radarpunktwolke 305 alle wichtigen Daten (wie das Atemmuster selbst und die Länge eines Atemzugs) für die nachfolgende Auswertung zu erhalten.

In Fig. 3C ist dieselbe Radarpunktwolke 305 wie in Fig. 3B dargestellt. Zusätzlich sind hier jedoch quaderförmige (3D-Fall) bzw. in der vorliegenden 2D-Darstellung rechteckige, ausgewählte Raumbereiche 325a bis 325e eingezeichnet, die räumlich der jeweiligen Lage der einzelnen Sitzplätze 105a bis 105e zugeordnet sind. Die Definition dieser Raumbereiche 325a bis 325e kann nun herangezogen werden, um die akkumulierte Radarpunktwolke 305 zu Clustern, wobei jeder Radarpunkt 310 bzw. 315, soweit möglich, demjenigen Raumbereich 325a bis 325e zugeordnet wird, in dem er liegt. Alle nicht in einem der Raumbereiche 325a bis 325e liegenden Radarpunkte können im Weiteren unberücksichtigt bleiben. Man sieht insbesondere, dass die Bereiche 320 mit besonders hoher Radarpunktdichte im Bereich des Beifahrersitzes 105b liegen, auf dem sich gemäß Fig. 2 die Babyschale mit dem Baby B befindet.

Die Fig. 4 zeigt ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform 400 eines Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung. Das Verfahren kann insbesondere als computerimplementiertes Verfahren ausgebildet sein. Dazu kann es insbesondere im Speicher 115b des Systems 115 als Computerprogramm abgelegt sein und auf der Datenverarbeitungseinheit 115a ablauffähig sein.

Bei dem Verfahren 400 erfolgt zunächst ein Initialisierungsprozess 405, durch den Initialwerte für verschiedene Parameter des Verfahrens gesetzt werden. Insbesondere können ein Zähler i für Messrahmen sowie ein Zähler j für generierte akkumulierte Radarpunktwolken mitinitialisiert werden, beispielsweise mit i = 0 und j = 0. Des Weiteren kann hier insbesondere ein Parameter N initialisiert werden, der eine Anzahl von jeweils zu einer entsprechenden Anzahl verschiedener Messrahmen korrespondierenden einzelnen Radarpunktwolken (z.B. Radarpunktwolke 300) angibt, die zu einer akkumulierten Radarpunktwolke (z.B. akkumulierte Radarpunktwolke 305) zusammengefasst werden sollen. Zudem kann ein weiterer Parameter M initialisiert werden, der im Rahmen eines rollierenden Akkumulierens angibt, wie viele neue Messrahmen beim jeweils nächsten Schritt des Rollierens hinzukommen, wobei zugleich eine entsprechende Anzahl alter Messrahmen dafür ausscheidet. Zudem kann als weiterer Parameter eine Anzahl L von Messrahmen definiert sein, die im Rahmen des rollierenden Akkumulierens insgesamt miteinbezogen worden sein müssen, bevor eine Auswertung der erzeugten Abfolge von akkumulierten Radarpunktwolken im Hinblick auf das Erkennen eines Sitzbelegungszustands erfolgt. Im vorliegenden Beispiel wird beispielhaft N = 6, M = 1 und L = 48 gesetzt.

Nachdem der Initialisierungsprozess 405 abgeschlossen ist, beginnt eine weitere Phase des Verfahrens 400, in dem Radarmessdaten, im vorliegenden Beispiel vom Radarsensor 1 10 des Fahrzeugs 100, empfangen werden und weiterverarbeitet werden, um eine oder mehrere akkumulierte Radarpunktwolken zu bilden. Dazu werden in einem Prozess 410 zunächst die Radarmessdaten zu einem neuen Messrahmen aus einer zeitlichen, insbesondere periodischen, Abfolge mehrerer Messrahmen empfangen. Zugleich wird der Zähler i inkrementiert, um den Empfang der Radarmessdaten eines neuen Messrahmens anzuzeigen. In einem weiteren Prozess 415 wird nun geprüft, ob bereits Radarmessdaten zu N Messrahmen empfangen wurden. Ist dies nicht der Fall (415 - nein so wird), der Prozess 410 so lange wiederholt, bis die Radarmessdaten zu N Messrahmen, die jeweils eine zu einem zu den jeweiligen Messrahmen korrespondierenden Zeitpunkt oder Zeitraum gemessene einzelne Radarpunktwolke repräsentieren, empfangen wurden.

Dann erfolgt in einem weiteren Prozess 420 ein Akkumulieren der N ersten empfangenen einzelnen Radarpunktwolken 300 zu einer akkumulierten Radarpunktwolke 305. Optional kann dabei eine Filterung dahingehend erfolgen, dass statische Radarpunkte, d. h. Radarpunkte deren Dopplerverschiebungswert geringer als eine vordefinierte Dopplerverschiebungsschwelle ist, ausgefiltert werden. Die Dopplerverschiebungsschwelle kann gegebenenfalls insbesondere ebenfalls im Initialisierungsprozess 405 initialisiert werden.

Die nun vorliegende akkumulierte Radarpunktwolke 305 kann sodann in einem weiteren Prozess 425 geclustert werden, in dem für jeden ihrer Radarpunkte geprüft wird, ob er innerhalb von einem der definierten Raumbereiche 325a bis 325e (vgl. Fig. 3C) liegt und gegebenenfalls in welchem. Somit kann jeder der aller Punkte entweder einen der Raumbereiche 325a bis 325e oder dem sonstigen Beobachtungsfeld zugeordnet werden. Alle Radarpunkte, die innerhalb desselben Raumbereichs 325a bis 325e liegen, werden zu einem jeweiligen Cluster zusammengefasst. Im Ergebnis ist somit jedem der Sitzplätze 105a bis 105e ein entsprechendes Cluster der akkumulierten Radarpunktwolke 305 zugeordnet. Dies bildet die Basis dafür, dass im Weiteren je Sitzplatz 105a bis 105e individuell eine Auswertung dahingehend erfolgen kann, ob der jeweilige Sitzplatz 105a bis 105e während des durch die N Messrahmen, auf deren Basis die akkumulierte Radarpunktwolke 305 gebildet wurde, belegt ist bzw. war oder nicht.

Um die nachfolgende Auswertung der geclusterten akkumulierten Radarpunktwolken 305 zu erleichtern, kann für jeden der Cluster in einem Prozess 430 eine entsprechende Kenngröße K(i) bestimmt werden, wobei diese Kenngröße K(i) insbesondere als die Anzahl der Radarpunkte in dem Cluster definiert sein kann. Soweit keine Filterung gemäß Dopplerverschiebungswert stattgefunden hat, kann es sich dabei um eine gemeinsame Zählung sowohl der statischen als auch der dynamischen Radarpunkte 310 bzw. 315 handeln. Falls jedoch die statischen Radarpunkte 310 zuvor, beispielsweise, wie erwähnt, im Prozess 420 ausgefiltert wurden, handelt es sich nur noch um eine Zählung der dynamischen Radarpunkte 315.

Da die nachfolgende Auswertung auf Basis eines Verlaufs der Kenngröße K(i) über einen durch den Parameter L definierten Wertebereich des Zählers i erfolgen soll, wird in einem Prozess 435 geprüft, ob bereits insgesamt L Messrahmen verarbeitet wurden. Ist dies nicht der Fall (435 - nein) kehrt das Verfahren zum Schritt 410 zurück, um einen weiteren Messrahmen zu empfangen und die weiteren eine neue akkumulierte Radarpunktwolke sowie deren Kenngröße zu bestimmen. Andernfalls (435 - ja) kann mit dem Bestimmen eines Sitzbelegungszustands in einem Prozess 440 fortgefahren werden, wie im Weiteren erläutert werden wird.

Zunächst soll jedoch auf die Figuren 5A und 5B eingegangen werden, die jeweils einen beispielhaften Verlauf des Werts der Kenngröße K(i) für den zum Sitzplatz 105b bzw. dem Raumbereich 325b gebildeten Cluster ist in den Figuren 5A und 5B illustrieren.

Dabei ist in Fig. 5A zum Zwecke eines Vergleichs mit Fig. 5B die Anzahl K(i) der zu zählenden Radarpunkte je einzelnem Messrahmen i dargestellt, ohne dass eine Akkumulation stattfindet. Insgesamt ist hier die Anzahl K(i) für die ersten L = 48 Messrahmen dargestellt. Im Gegensatz dazu ist in Fig. 5B entsprechend dem Verfahren 400 eine dazu korrespondierende Darstellung eines Verlaufs 505 der Kenngröße K(i) dargestellt, wobei rollierend über je N = 6 Messrahmen akkumuliert wurde. Der Zähler i entspricht hier jeweils einen Index des ersten im Rahmen der Akkumulation berücksichtigten Messrahmen. Die akkumulierte Anzahl der Radarpunkte, welche sich bei einem Akkumulieren der ersten N = 6 Messrahmen 1 bis 6 ergibt, ist somit im Diagramm der Fig. 5B einem Zählerwert i = 1 zugeordnet. Die Die akkumulierte Anzahl der Radarpunkte aus der nachfolgenden Akkumulation der Messrahmen 2 bis 7 ist dann dem Wert i = 2 zugeordnet, usw.

Entsprechend der im vorliegenden Beispiel gewählten Initialisierung von N = 6 und M = 1 , werden also jeweils sechs Messrahmen bzw. deren zugehörige einzelne Radarpunktwolken 300 akkumuliert und beim Übergang von einer Akkumulation zur nächsten jeweils der erste Messrahmen aus der nächsten Akkumulation herausgenommen und durch einen in der Abfolge der Messrahmen folgenden, bislang noch nicht berücksichtigten Messrahmen ersetzt. Dies ist im Fig. 5B durch die Klammern im unteren linken Bildbereich angedeutet. Das rollierende Akkumulieren erfolgt, bis insgesamt die dritte Parameter L definierte Anzahl von Messrahmen verarbeitet wurde, im vorliegenden Beispiel also insgesamt L = 48 Messrahmen im Rahmen der Akkumulation zur Bildung der verschiedenen akkumulierten Radarpunktwolken berücksichtigt wurden.

Beim Vergleich der Verläufe von K(i) aus den Figuren 5A und 5B lässt sich leicht erkennen, dass der Verlauf von K(i) aus Fig. 5B gegenüber demjenigen aus Fig. 5A geglättet ist. Das charakteristische periodische Muster, welches insbesondere durch einen bei der Radarmessung detektierend Atemvorgang des Babys B auf dem Sitz 105b bedingt sein kann, bleibt jedoch aufgrund der geeigneten Wahl von N=6 erhalten. Je größer N ist, desto eher besteht jedoch die Gefahr, dass derartige Muster im Rahmen der Glättung abgeflacht werden oder verschwinden, so dass N hier zweckmäßigerweise im Hinblick auf die Erhaltung derartiger Muster festgelegt werden sollte.

Nun wieder auf Fig. 4 Bezug nehmend, kann nun die Auswertung des Verlaufs der Kenngröße K(i) für den Cluster zum Sitz 105b erfolgen (gleiches kann analog für die jeweiligen Cluster zu den anderen Sitzplätzen erfolgen). Dazu wird im Prozess 440 der Verlauf der Kenngröße K(i) aus Fig. 5B als Eingangsgröße einem Auswertungsmodell zur Verfügung gestellt. Dies kann insbesondere ein auf maschinellem Lernen beruhendes Modell sein, wie etwa ein künstliches neuronales Netz oder ein Entscheidungsbaum-basiertes Modell (engl. „Decision tree(s)“). Die für das vorausgehende Training benutzten Trainings- und gegebenenfalls Validierungsdaten können dabei so strukturiert sein, dass sie jeweils der Art nach der Figur 5B entsprechende Verläufe der Kenngröße K(i) für eine Vielzahl verschiedener Radarpunktwolken bzw. Cluster davon sowie je Verlauf von K(i) eine zugeordnete korrekte Klasse einer Klassifizierung möglicher Sitzbelegungszustände enthalten. So kann das Modell im Sinne eines überwachten Lernens (Supervised learning) trainiert und validiert werden. Im einfachsten Fall geben dabei Sitzbelegungszustände an, ob der Sitz belegt ist oder nicht. Es sind jedoch auch weiter entwickelte Klassifikationen denkbar, bei denen im Falle der Anwesenheit eines Objekts zusätzlich durch die jeweilige Klasse angegeben wird, welche Art von Objekt es sich handelt, beispielsweise um ein bewegtes oder um ein unbewegtes, und im Fall eines bewegten Objekts insbesondere, ob es sich um eine Person handelt (grundsätzlich insbesondere anhand eines Atemmusters im Verlauf der Kenngröße K(i) erkennbar).

Als Alternative zu einem Machine-Learning-Modell, kann insbesondere auch ein einfacher Vergleichsalgorithmus herangezogen werden, bei dem im Sinne einer mathematischen Funktion der Verlauf der Kenngröße K(i) als Eingangsgröße verwendet und mit einer oder mehreren Vergleichsschwellen verglichen wird, um ein Klassifikationsergebnis zu erhalten. Auch ist es denkbar, dass, insbesondere zum Erkennen einer Atemfrequenz als Basis der Vornahme der Klassifizierung, eine Frequenzanalyse von K(i) erfolgt, beispielsweise anhand einer Fourier-Transformation.

Wenn im Prozess 440 anhand des Auswertungsmodells ein Sitzbelegungszustand für die Sitzanordnung 105 bestimmt wurde, insbesondere für einen oder mehrere ihrer Sitzplätze 105a bis 105e individuell, kann dieses Ergebnis als entsprechende Information im Prozess 445 ausgegeben werden, beispielsweise an einer Benutzerschnittstelle des Fahrzeugs oder in Form von Daten zur Weiterverarbeitung durch ein oder mehrere andere Systeme, insbesondere Systeme des Fahrzeugs.

Im vorliegenden Beispiel soll diese Information insbesondere dazu verwendet werden, zu prüfen, ob in Abhängigkeit vom Sitzbelegungszustand eines jeweiligen Sitzes 105a bis 105e und dem Ergebnis einer Prüfung dahingehend, ob ein entsprechender Sicherheitsgurt für diesen Sitz angelegt wurde oder nicht, ein Gurtwarnsignal auszugeben oder nicht.

Dazu kann im Prozess 450 geprüft werden, ob der Sicherheitsgurt zum betreffenden Sitz (hier beispielsweise zum Sitz 105b) angelegt ist und im Schritt 455 eine Funktionalität des Fahrzeugs 100 in Abhängigkeit vom der im Prozess 445 ausgegebenen Information zum Sitzbelegungszustand und dem im Prozess 450 bestimmten Status des Sicherheitsgurts gesteuert werden. Insbesondere kann dies so erfolgen, dass im Prozess 455 eine Signalquelle zur Ausgabe eines insbesondere optischen und/oder akustischen Gurtstatussignals angesteuert wird, um einem oder mehreren anderen Insassen des Fahrzeugs gegebenenfalls zu signalisieren, dass ein Sitz zwar belegt aber dort der Sicherheitsgurt nicht angelegt ist. Danach verzweigt das Verfahren zurück zum Schritt 410, um einen weiteren Schleifendurchlauf zu starten.

Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.

BEZUGSZEICHENLISTE

B Baby in Babyschale

100 Fahrzeug

105 Sitzanordnung

105a-e Sitze bzw. Sitzplätze

110 Radarsensor

110a Beobachtungsfeld des Radarsensors 110

115 System zum automatisierten Erkennen eine Sitzbelegungszustands

115a Datenverarbeitungseinheit

115b Speicher

300 (einzelne) Radarpunktwolke

305 akkumulierte Radarpunktwolke

310 statische Radarpunkte

315 dynamische Radarpunkte

320 Bereiche der akkumulierten Radarpunktwolke 305 mit hoher

Radarpunktdichte

325a-e Raumbereiche zur Clusterdefinition

400 Verfahren zum automatisierten Erkennen eines Sitzbelegungszustands

405-455 einzelne Prozesse oder Verfahrensschritte im Rahmen des Verfahrens 400

500 Verlauf der Kenngröße K(i) für einen einzelne Radarpunktwolke

505 Verlauf der Kenngröße K(i) für eine kumulierte Radarpunktwolke