Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SIMULATION OF STATISTICALLY MODELLED SENSOR DATA
Document Type and Number:
WIPO Patent Application WO/2019/197324
Kind Code:
A1
Abstract:
The invention relates to a sensor data simulation device (10). The sensor data simulation device (10) comprises a physical engine (11) for producing first simulated sensor data (SSD1) on the basis of a physical model (PM). Part of the sensor data simulation device is also a statistical model unit (12) for producing second simulated sensor data (SSD2, SSTK) on the basis of a trained statistical model (STM) which has been produced by training with real sensor data (RSD) and is designed to reproduce a time-dependent statistical behaviour of the real sensor data (RSD). The invention also relates to a training device (20). The invention furthermore relates to a method for simulating sensor data (KSSD) using the sensor data simulation device (10). Furthermore, the invention relates to a training method for training the sensor data simulation device (10).

Inventors:
KETABDAR HAMED (DE)
NOURANI-VATANI NAVID (DE)
Application Number:
PCT/EP2019/058785
Publication Date:
October 17, 2019
Filing Date:
April 08, 2019
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SIEMENS MOBILITY GMBH (DE)
International Classes:
G05B17/02
Foreign References:
EP3270252A12018-01-17
US20060025961A12006-02-02
US20070203864A12007-08-30
US20090043536A12009-02-12
Other References:
None
Download PDF:
Claims:
Patentansprüche

1. Sensordaten-Simulationsvorrichtung (10), aufweisend:

- eine Physik-Engine (41) zum Erzeugen von ersten simulierten Sensordaten (SSD1) auf Basis eines physikalischen Modells (PM) ,

- eine statistische Modelleinheit (42) zum Erzeugen von zwei ten simulierten Sensordaten (SSD2, SSTK) auf Basis eines trainierten statistischen Modells (STM) , welches durch Trainieren mit echten Sensordaten (RSD) gewonnen wurde und dazu eingerichtet ist, ein zeitabhängiges statistisches Verhalten der echten Sensordaten (RSD) wiederzugeben.

2. Sensordaten-Simulationsvorrichtung (10) nach Anspruch 1, ferner ausweisend eine Fusionseinheit (43) zum Erzeugen eines Satzes von kombinierten simulierten Sensordaten (KSSD) durch Kombination der ersten simulierten Sensordaten (SSD1) mit den zweiten simulierten Sensordaten (SSD2, SSTK) unter Anwendung eines trainierten Kombinationsmodells (KM) auf die ersten si mulierten Sensordaten (SSD1) und die zweiten simulierten Sen sordaten (SSD2, SSTK), wobei das trainierte Kombinationsmo dell (KM) durch Trainieren mit echten Sensordaten (RSD) und simulierten ersten und zweiten Sensordaten (SSD1, SSD2, SSTK) gewonnen wurde .

3. Sensordaten-Simulationsvorrichtung nach Anspruch 1 oder 2, wobei das trainierte statistische Modell (STM) das dynamische Verhaltens eines Sensors wiedergibt, dessen echte Sensordaten (RSD) dazu genutzt wurden, das statistische Modell (STM) zu trainieren .

4. Sensordaten-Simulationsvorrichtung nach einem der vorste henden Ansprüche, wobei das statistische Modell (STM) das Rauschverhalten eines Sensors und/oder von dem Sensor erzeug te Artefakte simuliert, dessen echte Sensordaten (RSD) dazu genutzt wurden, das statistische Modell (STM) zu trainieren.

5. Sensordaten-Simulationsvorrichtung nach einem der vorste henden Ansprüche, wobei das physikalische Modell (PM) dazu eingerichtet ist, bei dem Trainieren des statistischen Mo dells (STM) gesammelte Metadaten, welche die Umweltbedingun gen bei der Erzeugung der echten Sensordaten (RSD) betreffen, bei dem Erzeugen der ersten simulierten Sensordaten (SSD1) zu berücksichtigen .

6. Sensordaten-Simulationsvorrichtung nach einem der vorste henden Ansprüche, wobei das trainierte statistische Modell (STM) durch Trainieren von echten Sensordaten (RSD) , denen unterschiedliche Werte von Metadaten zugeordnet sind, erzeugt wurde .

7. Sensordaten-Simulationsvorrichtung nach Anspruch 6, wobei die Metadaten mindestens eine der folgenden Datenarten umfas sen :

- Wetterdaten,

- Tageszeit,

- physikalische Randbedingungen.

8. Trainingsvorrichtung (20), aufweisend:

- eine erste Schnittstelle zum Empfangen von zweiten simu lierten Sensordaten (SSD2, SSTK) , welche mit einem zu trai nierenden statistischen Modell (STM) erzeugt werden,

- eine Modelltrainingseinheit (22) zum Trainieren des statis tischen Modells (STM) mit echten Sensordaten (RSD) und den über die erste Schnittstelle empfangenen zweiten simulier ten Sensordaten (SSD2, SSTK) .

9. Trainingsvorrichtung (20) nach Anspruch 8, ferner aufwei send :

- eine zweite Schnittstelle zum Empfangen von kombinierten Sensordaten (KSSD) ,

- eine dritte Schnittstelle zu einer Physik-Engine (41) zum Erzeugen von ersten simulierten Sensordaten (SSD1) zum Trainieren eines Kombinationsmodells (KM) , - eine Kombinations-Modelltrainingseinheit (24) zum Trainie ren des Kombinationsmodells (KM) auf Basis von echten Sen sordaten (RSD) und der simulierten ersten und zweiten Sen sordaten (SSD1, SSD2, SSTK) .

10. Sensordaten-Simulationsvorrichtung (10) nach einem der Ansprüche 1 bis 7, aufweisend eine Trainingsvorrichtung (20) nach Anspruch 8 oder 9.

11. Verfahren zum Simulieren von Sensordaten (KSSD) unter An wendung der Sensordaten-Simulationsvorrichtung (10) nach ei nem der Ansprüche 1 bis 7 oder 10, aufweisend die Schritte:

- Erzeugen von ersten simulierten Sensordaten (SSD1) auf Ba sis des physikalischen Modells (PM) ,

- Erzeugen von zweiten simulierten Sensordaten (SSD2, SSTK) auf Basis des trainierten statistischen Modells (STM) .

12. Verfahren nach Anspruch 11, wobei ein Satz von kombinier ten simulierten Sensordaten (KSSD) durch Kombination der ers ten simulierten Sensordaten (SSD1) mit den zweiten simulier ten Sensordaten (SSD2, SSTK) unter Anwendung des trainierten Kombinationsmodells (KM) auf die ersten simulierten Sensorda ten (SSD1) und die zweiten simulierten Sensordaten (SSD2, SSTK) erzeugt wird.

13. Trainingsverfahren zum Trainieren einer Sensordaten- Simulationsvorrichtung (10) nach einem der Ansprüche 1 bis 7 oder 10, aufweisend die Schritte:

- Erzeugen von ersten simulierten Sensordaten (SSD1) auf Ba sis des physikalischen Modells (PM) ,

- Trainieren des statistischen Modells (STM) mit echten Sen sordaten (RSD) ,

- Erzeugen von zweiten simulierten Sensordaten (SSD2, SSTK) mit dem trainierten statistischen Modell (STM) .

14. Verfahren nach Anspruch 13, wobei

ein Kombinationsmodell (KM) mit den echten Sensordaten (RSD) und den simulierten ersten und zweiten Sensordaten (SSD1, SSD2, SSTK) trainiert wird.

15. Verfahren nach Anspruch 13 oder 14, wobei als Trainings verfahren eine der folgenden Verfahrensarten genutzt wird:

- ein maschinelles Lernverfahren,

- ein Deep-Learning-Verfahren .

16. Verfahren nach einem der Ansprüche 11 bis 15, wobei bei dem Schritt des Trainierens des statistischen Modells (STM)

- eine statistische Komponente (STK) jeweils aus den echten Sensordaten (RSD) extrahiert wird,

- das Trainieren eines sequentiellen statistischen Modells (SSTM) auf Basis der statistischen Komponente (STK) er folgt, wobei das zeitabhängige Verhalten der statistischen Komponente (STK) gelernt wird.

17. Verfahren nach Anspruch 16, wobei das Extrahieren der statistischen Komponente (STK) durch Anwenden einer zeitli chen Ableitung und/oder eines Hochpassfilters auf die echten Sensordaten (RSD) erfolgt.

18. Verfahren nach Anspruch 16 oder 17, wobei das sequentiel le statistische Modell (SSTM) die Technik des langen Kurz zeitgedächtnisses (KZLZG) umfasst.

19. Computerprogrammprodukt mit einem Computerprogramm, wel ches direkt in eine Speichereinheit einer Rechnereinheit lad bar ist, mit Programmabschnitten, um alle Schritte eines Ver fahrens nach einem der Ansprüche 11 bis 18 auszuführen, wenn das Computerprogramm in der Rechnereinheit ausgeführt wird.

20. Computerlesbares Medium, auf welchem von einer Rechner einheit ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 11 bis 18 auszuführen, wenn die Programmabschnitte von der Rechner- einheit ausgeführt werden.

Description:
Beschreibung

Simulieren von statistisch modellierten Sensordaten

Die Erfindung betrifft eine Sensordaten-Simulationsvorrich- tung. Weiterhin betrifft die Erfindung eine Trainingsvorrich tung. Überdies betrifft die Erfindung ein Verfahren zum Si mulieren von Sensordaten. Außerdem betrifft die Erfindung ein Trainingsverfahren zum Trainieren einer Sensordaten-Simula- tions V orrichtung .

Sensordaten aus dem laufenden Betrieb zu erhalten, kann sehr kompliziert und teuer sein, insbesondere in der Eisenbahnin dustrie. Das Organisieren von Testläufen bringt eine Menge von frühzeitigen Planungsprozessen, hohen Kosten und techni schen Komplikationen mit sich. Zudem ist es schwierig, si cherzustellen, dass ein Testlauf alle Umweltaspekte berück sichtigen kann, die einen Sensor beeinflussen können. Bei spielsweise kann nicht garantiert werden, dass genügend

Schnee oder überhaupt Schnee während eines anberaumten Test laufs vorhanden ist, wenn die Funktionalität eines Sensors mit Wetterbedingungen, wie zum Beispiel Schnee, korreliert ist .

Aus den genannten Gründen ist es erforderlich, dass Sensor messungen auf Basis der physikalischen Gesetze simuliert wer den können. Eine solche Vorgehensweise stellt sicher, dass eine höhere Variabilität in den Sensordaten beobachtet werden kann. Allerdings ist es nicht möglich, alle Parameter zu be rücksichtigen, die das Verhalten eines Sensors und der Umge bung des Sensors beeinflussen, als physikalische Gesetze zu berücksichtigen, da beispielsweise eine Vielzahl physikali scher Simulationen berücksichtigt werden sollen.

Es besteht also die Aufgabe, eine Vorrichtung und ein ent sprechendes Verfahren zu entwickeln, welche mit wenig Aufwand realistische Sensordaten liefern. Diese Aufgabe wird durch eine Sensordaten-Simulationsvor- richtung gemäß Patentanspruch 1, durch eine Trainingsvorrich tung gemäß Patentanspruch 8, durch ein Verfahren zum kombi nierten Simulieren von Sensordaten gemäß Patentanspruch 11 und durch ein Trainingsverfahren gemäß Patentanspruch 13 ge löst.

Die erfindungsgemäße Sensordaten-Simulationsvorrichtung weist eine Physik-Engine zum Erzeugen von ersten simulierten Sen sordaten auf Basis eines physikalischen Modells auf.

Ein physikalisches Modell beschreibt einen mathematischen Zu sammenhang zwischen verschiedenen physikalischen Größen. Im engeren Sinn geht es bei dem erfindungsgemäßen Verfahren um eine mathematische Beschreibung des Zusammenhangs zwischen physikalischen Größen, die die Umwelteinflüsse auf einen be treffenden Sensor beschreiben, sowie den Sensor und dessen Antwortverhalten kennzeichnende physikalische Größen. Ein solches physikalisches Modell kann zum Beispiel durch eine Physik-Engine erzeugt werden. Die Physik-Engine berücksich tigt auch Einschränkungen und Randbedingungen in ihren ver wendeten modellhaften Gleichungen. Beispielsweise wird die Dicke von Leitungen sowie die Länge der Leitungen dazu ge nutzt, um einen Wärmeverlust zu berechnen.

Teil der erfindungsgemäßen Sensordaten-Simulationsvorrichtung ist auch eine statistische Modelleinheit zum Erzeugen von zweiten simulierten Sensordaten auf Basis eines trainierten statistischen Modells, welches durch Trainieren mit echten Sensordaten gewonnen wurde und dazu eingerichtet ist, das zeitabhängige statistische Verhalten der echten Sensordaten wiederzugeben .

Ein trainiertes statistisches Modell soll in diesem Zusammen hang ein statistisches Modell umfassen, welches auf Basis ei nes Lernalgorithmus, beispielsweise eines maschinellen Lern verfahrens, erzeugt wird. Als statistisches Modell soll in diesem Zusammenhang ein Modell verstanden werden, welches ei- ne zeitliche Variabilität der Sensorwerte statistisch be schreibt .

Indem die erfindungsgemäße Sensordaten-Simulationsvorrichtung modellhaft das statistische Verhalten der Sensordaten durch Lernen anhand von echten Sensordaten berücksichtigt, lassen sich simulierte Sensordaten erzeugen, die mit den Daten des physikalischen Modells eine gewisse Komplementariät aufwei sen. Auf diese Weise können exaktere Sensordaten über einen größeren Parameterbereich erzeugt werden. Zudem kann ein auf wändiges Akquirieren von echten Testdaten durch die Simulati on reduziert werden.

Indem die erfindungsgemäße Sensordaten-Simulationsvorrichtung modellhaft das statistische Verhalten der Sensordaten durch Lernen anhand von echten Sensordaten berücksichtigt, lassen sich simulierte Sensordaten erzeugen, die exakter dem tat sächlichen Verhalten der Sensoren entsprechen. Gleichzeitig kann durch die Einbindung des physikalischen Modells eine ho he Variabilität erzielt werden. Zudem kann ein aufwändiges Akquirieren von echten Testdaten durch die Simulation redu ziert werden.

Die erfindungsgemäße Trainingsvorrichtung umfasst eine erste Schnittstelle zum Empfangen von zweiten simulierten Sensorda ten, welche mit einem zu trainierenden statistischen Modell erzeugt werden, und eine Modelltrainingseinheit zum Trainie ren des statistischen Modells mit echten Sensordaten und den über die erste Schnittstelle empfangenen zweiten simulierten Sensordaten. Mit Hilfe der Trainingsvorrichtung lässt sich das statistische Modell an veränderliche Bedingungen, was das Antwortverhalten der Sensoren und die Umweltbedingungen be trifft, anpassen.

Bei dem erfindungsgemäßen Verfahren zum Simulieren von Sen sordaten unter Anwendung der erfindungsgemäßen Sensordaten- Simulationsvorrichtung werden erste simulierte Sensordaten auf Basis eines physikalischen Modells erzeugt. Es werden zudem zweite simulierte Sensordaten auf Basis des trainierten statistischen Modells erzeugt. Das trainierte statistische Modell wurde in einem vorhergehenden Trainings prozess durch Trainieren mit echten Sensordaten gewonnen und gibt das zeitabhängige statistische Verhalten der echten Sen sordaten wieder. Das erfindungsgemäße Verfahren teilt die Vorteile der erfindungsgemäßen Sensordaten-Simulationsvor- richtung .

Bei dem erfindungsgemäßen Trainingsverfahren zum Trainieren der erfindungsgemäßen Sensordaten-Simulationsvorrichtung wer den erste simulierte Sensordaten auf Basis des physikalischen Modells erzeugt. Es wird weiterhin ein statistisches Modell mit echten Sensordaten trainiert. Überdies werden zweite si mulierte Sensordaten mit dem trainierten statistischen Modell erzeugt .

Teile der erfindungsgemäßen Sensordaten-Simulationsvorrich- tung und der Trainingsvorrichtung können zum überwiegenden Teil in Form von Softwarekomponenten ausgebildet sein. Dies betrifft insbesondere Teile der Physik-Engine, der statisti schen Modelleinheit und der Modelltrainingseinheit . Grund sätzlich können diese Komponenten aber auch zum Teil, insbe sondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötig ten Schnittstellen, beispielsweise wenn es nur um eine Über nahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.

Eine teilweise softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher für Sensordatensimulation genutzte Rechnersysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein ent sprechendes Computerprogrammprodukt mit einem Computerpro- gramm gelöst, welches direkt in eine Speichereinrichtung ei nes solchen Rechnersystems ladbar ist, mit Programmabschnit ten, um alle Schritte des Verfahrens zum Simulieren von Sen sordaten und/oder des Trainingsverfahrens zum Trainieren der erfindungsgemäßen Sensordaten-Simulationsvorrichtung auszu führen, wenn das Computerprogramm in dem Rechnersystem ausge führt wird.

Ein solches Computerprogrammprodukt kann neben dem Computer programm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen

Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein compu terlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest einge bauter Datenträger dienen, auf welchem die von einer Rechner einheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikropro zessoren oder dergleichen aufweisen.

Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhän gigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rah men der Erfindung auch die verschiedenen Merkmale unter schiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.

Bevorzugt umfasst die erfindungsgemäße Sensordaten-Simula- tionsvorrichtung auch eine Fusionseinheit zum Erzeugen eines Satzes von kombinierten simulierten Sensordaten durch Kombi nation der ersten simulierten Sensordaten mit den zweiten si- mulierten Sensordaten unter Anwendung eines trainierten Kom binationsmodells auf die ersten simulierten Sensordaten und die zweiten simulierten Sensordaten, wobei das trainierte Kombinationsmodell durch Trainieren mit echten Sensordaten und simulierten ersten und zweiten Sensordaten gewonnen wur de .

Als trainiertes Kombinationsmodell soll ein Modell verstanden werden, welches auf Basis eines Lernalgorithmus, beispiels weise eines maschinellen Lernverfahrens, kombinierte simu lierte Sensordaten erzeugt. Dabei erfolgt das Lernverfahren quasi als zweistufiges Lernverfahren. Denn für das Training des Kombinationsalgorithmus werden zunächst zweite simulierte Sensordaten benötigt, die ihrerseits wieder modellbasiert bzw. auf einem Lernalgorithmus basierend mit Hilfe von echten Sensordaten als Testdaten erzeugt wurden. Die im Rahmen des Lernprozesses durch Kombination erzeugten Sensordaten, können dann im Rahmen eines Matching-Prozesses zusammen mit den Testdaten zur Anpassung des Lernalgorithmus genutzt werden.

Indem die erfindungsgemäße Sensordaten-Simulationsvorrichtung modellhaft das statistische Verhalten der Sensordaten durch Lernen anhand von echten Sensordaten berücksichtigt, lassen sich simulierte Sensordaten erzeugen, die exakter dem tat sächlichen Verhalten der Sensoren entsprechen. Gleichzeitig kann durch die Einbindung des physikalischen Modells eine ho he Variabilität erzielt werden. Zudem kann ein aufwändiges Akquirieren von echten Testdaten durch die Simulation redu ziert werden.

In einer bevorzugten Ausgestaltung der erfindungsgemäßen Sen- sordaten-Simulationsvorrichtung gibt das trainierte statisti sche Modell das dynamische Verhalten des Sensors wieder, des sen echte Sensordaten dazu genutzt wurden, das statistische Modell zu trainieren. Indem das zeitabhängige statistisch beschreibbare Verhalten des Sensors mitberücksichtigt wird, ergeben sich realistischer simulierte Sensordaten im Ver- gleich zu herkömmlich durch eine Physik-Engine simulierten Sensordaten .

In einer Ausgestaltung der erfindungsgemäßen Sensordaten- Simulationsvorrichtung simuliert das statistische Modell das Rauschverhalten des Sensors und/oder Artefakte, welche durch den Sensor erzeugt wurden, dessen echte Sensordaten dazu ge nutzt wurden, das statistische Modell zu trainieren. Vorteil haft kann das tatsächliche Antwortverhalten eines Sensors be sonders exakt simuliert werden.

In einer effektiven Ausgestaltung der erfindungsgemäßen Sen sordaten—Simulationsvorrichtung berücksichtigt das physikali sche Modell bei dem Trainieren des statistischen Modells ge sammelte Metadaten, welche die Umweltbedingungen bei der Er zeugung der echten Sensordaten betreffen, bei dem Erzeugen der ersten simulierten Sensordaten. Vorteilhaft kann das phy sikalische Modell in Kenntnis spezifischer Werte der Metada ten präziser gestaltet werden.

In einer vorteilhaften Variante der erfindungsgemäßen Sensor- daten-Simulationsvorrichtung wurde das trainierte statisti sche Modell durch Trainieren von echten Sensordaten, denen unterschiedliche Werte von Metadaten zugeordnet sind, er zeugt. Vorteilhaft können auch bei dem Trainieren des statis tischen Modells Werte von Metadaten berücksichtigt werden, so dass das statistische Modell noch präziser gestaltet werden kann und besonders realistische simulierte zweite Sensordaten erzeugt werden können.

In einer Variante der erfindungsgemäßen Sensordaten-Simula- tionsvorrichtung umfassen die Metadaten mindesten eine der folgenden Datenarten:

- Wetterdaten,

- die Tageszeit,

- physikalische Randbedingungen,

- den Sensorzustand

- den Typ des Schienenfahrzeugs, - Reisemetadaten.

Der Sensorzustand soll in diesem Zusammenhang den aktuellen physikalischen Zustand des Sensors umfassen, welcher zum Bei spiel die Versorgungsspannung, die Stromstärke und die Sen sortemperatur umfasst. Der Sensorzustand umfasst auch unter schiedliche Modi, in denen ein Sensor betrieben werden kann. Die Reisemetadaten umfassen den Abfahrtsort, den Ankunftsort sowie die Fahrplandaten.

Die genannten Informationen beeinflussen das Antwortverhalten eines Sensors. Es ist somit vorteilhaft, diese Daten bei der Erzeugung von simulierten Sensordaten mit zu berücksichtigen, um eine differenziertere, der Realität besser angepasste Si mulation zu erreichen.

Teil der erfindungsgemäßen Trainingsvorrichtung sind vorzugs weise auch eine zweite Schnittstelle zum Empfangen von kombi nierten Sensordaten und eine dritte Schnittstelle zu einer Physik-Engine zum Erzeugen von ersten simulierten Sensordaten zum Trainieren eines Kombinationsmodells. Die erfindungsgemä ße Trainingsvorrichtung weist überdies vorzugsweise eine Kom binations-Modelltrainingseinheit zum Trainieren des Kombina tionsmodells auf Basis von echten Sensordaten und der simu lierten ersten und zweiten Sensordaten auf. Die beiden Model le, d.h. das statistische Modell und das Kombinationsmodell können gemeinsam miteinander simultan trainiert werden, sie können aber auch unabhängig voneinander trainiert werden. Vorteilhaft ist der Kombinationsalgorithmus der auf Basis un terschiedlicher Modelle erzeugten simulierten Sensordaten durch die Kombinations-Modelltrainingseinheit an spezifische Bedingungen anpassbar.

In einer besonders bevorzugten Variante weist die Sensorda- ten-Simulationsvorrichtung die erfindungsgemäße Trainingsvor richtung auf. Vorteilhaft lassen sich Teile der Sensordaten- Simulationsvorrichtung, wie zum Beispiel die Physik-Engine, die statistische Modelleinheit und die Fusionseinheit, auch für den Trainingsvorgang nutzen, so dass bei einem direkten Zusammenwirken der beiden erfindungsgemäßen Vorrichtungen diese Elemente nur einmal benötigt werden.

Überdies wird vorzugsweise im Rahmen des erfindungsgemäßen Verfahrens zum Simulieren von Sensordaten unter Anwendung der erfindungsgemäßen Sensordateneinrichtung ein Satz von kombi nierten simulierten Sensordaten durch Kombination der ersten simulierten Sensordaten mit den zweiten simulierten Sensorda ten unter Anwendung des trainierten Kombinationsmodells auf die ersten simulierten Sensordaten und die zweiten simulier ten Sensordaten gewonnen. Das trainierte Kombinationsmodell wurde in einem vorhergehenden Trainingsprozess durch Trainie ren mit echten Sensordaten und simulierten ersten und zweiten Sensordaten gewonnen. Vorteilhaft erfolgt auch der Kombina tionsvorgang basierend auf einem trainierten Kombinationsmo dell, welches individuell an unterschiedliche Trainingsdaten sätze anpassbar ist.

In einer Variante des erfindungsgemäßen Trainingsverfahrens zum Trainieren der erfindungsgemäßen Sensordaten-Simulations- vorrichtung erfolgt ein Trainieren des Kombinationsmodells mit den echten Sensordaten und den simulierten ersten und zweiten Sensordaten. Vorteilhaft wird auch die Kombination der simulierten Sensordaten mit in den Trainingsprozess ein bezogen, so dass besonders realitätsnahe Sensordaten simu liert werden können.

In einer besonders vorteilhaften Ausgestaltung des erfin dungsgemäßen Trainingsverfahrens wird eine der folgenden Ver fahrensarten genutzt:

- ein maschinelles Lernverfahren,

- ein Deep-Learning-Verfahren .

Ein maschinelles Lernverfahren lässt sich im Gegensatz zu ei nem starren Modell deutlich flexibler und präziser an Szena rien anpassen, die entweder nur unzureichend, mit hohem Auf- wand oder gar nicht durch ein physikalisches Modell be schreibbar sind.

In einer Ausgestaltung des erfindungsgemäßen Trainingsverfah rens wird bei dem Schritt des Trainierens des statistischen Modells eine statistische Komponente jeweils aus den echten Sensordaten extrahiert und es erfolgt das Trainieren eines sequentiellen statistischen Modells auf Basis der statisti schen Komponente, wobei das zeitabhängige Verhalten der sta tistischen Komponente gelernt wird. Diese Vorgehensweise ist besonders effektiv, wenn ein Rauschverhalten oder Artefakt verhalten eines Sensors beschrieben werden soll.

Ein sequentielles statistisches Modell dient dazu, Sequenzen von Ereignissen zu modellieren. Beispiele hierfür sind das Hidden-Markov-Modell oder rekurrente neuronale Netzwerke.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Trainingsverfahrens erfolgt das Extrahieren der statistischen Komponente durch Anwenden einer zeitlichen Ableitung und/oder eines Hochpassfilters auf die echten Sensordaten. Mit Hilfe der beschriebenen Vorgehensweise lassen sich Rauschkomponen ten von Sensordaten separieren.

In einer speziellen Variante des erfindungsgemäßen Trainings verfahrens umfasst das sequentielle statistische Modell die Technik des langen Kurzzeitgedächtnisses (im Englischen als „long short term memory" bezeichnet, abgekürzt LSTM) .

Die Erfindung wird im Folgenden unter Hinweis auf die beige fügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:

FIG 1 eine schematische Darstellung einer Sensordaten-Simu- lationsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung, FIG 2 ein Flussdiagramm, welches ein Verfahren zum Simulieren von Sensordaten gemäß einem Ausführungsbeispiel der Er findung veranschaulicht,

FIG 3 ein Flussdiagramm, welches ein Trainingsverfahren zum Trainieren der in dem in FIG 2 veranschaulichten Ver fahren genutzten Modelle gemäß einem Ausführungsbei spiel der Erfindung veranschaulicht,

FIG 4 ein Flussdiagramm, welches ein Trainingsverfahren gemäß einem Ausführungsbeispiel der Erfindung darstellt.

In FIG 1 ist eine Sensordaten-Simulationsvorrichtung 10 gemäß einem Ausführungsbeispiel der Erfindung schematisch darge stellt. Die Sensordaten-Simulationseinrichtung 10 weist eine Simulationskomponente 10a und eine Trainingsvorrichtung 20 auf. Mit der Simulationskomponente 10a wird eine modellhafte Simulation von Sensordaten KSSD durchgeführt. Dagegen dient die Trainingsvorrichtung 20 dem Erzeugen von auf einem ma schinellen Lernverfahren basierenden Modellen STM, KM auf Ba sis von echten Sensordaten RSD. Die erzeugten Modelle STM,

KM, ein statistisches Modell STM und ein Kombinationsmodell KM, werden zur Erzeugung simulierter Sensordaten SSD2, KSSD für spezifische Sensoren genutzt und werden nach ihrer Erzeu gung durch die Trainingsvorrichtung 20 in einer Sensormodell- Datenbank SMDB bzw. in einer Kombinationsmodelldatenbank KMDB abgespeichert, die jeweils Teil der Simulationskomponente 10a sind .

Die Simulationskomponente 10a umfasst eine Physik-Engine 11, die dazu eingerichtet ist, erste simulierte Sensordaten SSD1 auf Basis eines physikalischen Modells für einen spezifischen Sensor zu erzeugen. Teil der Simulationskomponente 10a ist auch eine statistische Modelleinheit 12, die dazu eingerich tet ist, zweite simulierte Sensordaten SSD2 auf Basis eines trainierten statistischen Modells STM zu erzeugen. Das trai nierte statistische Modell, welches spezifisch für einen be stimmten Sensor ist, ist in der bereits genannten Sensormo delldatenbank SMDB abgespeichert und kann bei Bedarf, d.h., wenn eine Sensordatensimulation für einen spezifischen Sensor durchgeführt werden soll, aus dieser Sensormodelldatenbank SMDB an die statistische Modelleinheit 12 übermittelt werden. Das statistische Modell STM wurde durch Trainieren mit echten Sensordaten RSD eines jeweiligen Sensors gewonnen und gibt das zeitabhängige statistische Verhalten der echten Sensorda ten wieder. Teil der Simulationskomponente 10a ist auch eine Fusionseinheit 13, die mit der Physik-Engine 11 und der sta tistischen Modelleinheit 12 über Kommunikationskanäle verbun den ist und von diesen die ersten simulierten Sensordaten SSD1 und die zweiten simulierten Sensordaten SSD2, welche beispielsweise simulierte Rauschkomponenten oder simulierte Artefakte umfassen, empfängt. Die Fusionseinheit 13 ist dazu eingerichtet, einen Satz von kombinierten simulierten Sensor daten KSSD durch Kombination der ersten simulierten Sensorda ten SSD1 mit den zweiten simulierten Sensordaten SSD2 zu er zeugen. Der Kombinationsvorgang findet unter Anwendung eines durch ein maschinelles Lernverfahren trainierten Kombinati onsmodells KM auf die ersten simulierten Sensordaten SSD1 und die zweiten simulierten Sensordaten SSD2. Das dabei verwende te trainierte Kombinationsmodell KM wurde mit Hilfe der Trai ningsvorrichtung 20 durch Trainieren mit echten Sensordaten RSD und simulierten ersten und zweiten Sensordaten SSD1, SSD2 gewonnen. Die erzeugten kombinierten simulierten Sensordaten KSSD können über eine Ausgangsschnittstelle 14, die ebenfalls Teil der Simulationskomponente 10a ist, ausgegeben werden. Es wird ausdrücklich erwähnt, dass die Fusionseinheit 13 ein op tionales Merkmal darstellt und auch Ausführungsformen ohne eine Fusionseinheit 13 sinnvoll und ausführbar sind.

Die Trainingsvorrichtung 20 weist eine statistische Modell trainingseinheit 22 und eine Kombinations-Modelltrainings- einheit 24 auf. Die Modelltrainingseinheit 22 dient dazu, ein statistisches Modell STM für einen bestimmten Sensor mit ech ten Sensordaten RSD mit Hilfe eines maschinellen Lernverfah rens zu trainieren. Hierzu weist die statistische Modelltrai ningseinheit 22 eine Modellanpassungseinheit 22a und eine Vergleichseinheit 22b auf. Im Rahmen des Trainingsvorgangs erzeugt die Modellanpassungseinheit 22a zunächst ein initial- es Modell STM eines spezifischen Sensors bzw. dessen Verhal tens und übermittelt dieses Modell STM an die bereits erwähn te statistische Modelleinheit 12, welche auf Basis des erhal tenen Modells STM zweite simulierte Sensordaten SSD2 erzeugt, und auch an die Vergleichseinheit 22b.

Die zweiten simulierten Sensordaten SSD2 werden im Rahmen des maschinellen Lernprozesses an die Vergleichseinheit 22b über mittelt, welche einen sogenannten Matching-Prozess durch führt, bei dem mit Rauschkomponenten STK behaftete echte Sen sordaten RSD, welche in der Test-Datenbank TDB abgespeichert sind, mit den erzeugten zweiten simulierten Sensordaten SSD2 abgeglichen werden. Falls bei dem Matching-Prozess ermittelt wurde, dass die erzeugten Sensordaten SSD2 ausreichend mit den echten Sensordaten RSD übereinstimmen bzw. der Matching- Prozess ein positives Ergebnis aufweist, so wird das zuletzt an die Vergleichseinheit 22b übermittelte statistische Modell STM in der Sensormodelldatenbank SMDB abgespeichert. Andern falls werden in Abhängigkeit von dem Ergebnis des Matching- Prozesses Korrekturparameter KD an die Modellanpassungsein heit 22a übermittelt. Die Modellanpassungseinheit 22a erzeugt darauf in Abhängigkeit von den erhaltenen Korrekturparametern KD ein korrigiertes statistisches Modell STM und übermittelt dieses Modell STM wiederum an die statistische Modelleinheit 12 sowie an die Vergleichseinheit 22b. Die statistische Mo delleinheit 12 erzeugt darauf erneut zweite simulierte Sen sordaten SSD2, welche wiederum von der Vergleichseinheit 22b einem Matching-Prozess mit den echten Sensordaten RSD unter zogen werden. Der beschriebene Prozess wird weiter durchge führt, bis das Ergebnis des Matching-Prozesses keine weiteren Korrekturen mehr nötig macht. Anschließend wird das zuletzt genutzte statistische Modell STM in der Sensormodelldatenbank SMDB abgespeichert.

Die Kombinations-Modelltrainingseinheit 24 weist eine Initia lisierungseinheit 24a auf, mit der in Abhängigkeit von der Testdatenbank TDB empfangenen echten Sensordaten RSD für ei nen spezifischen Sensor eine Erzeugung von ersten simulierten Sensordaten SSD1 in der Physik-Engine 11 angewiesen wird und eine Simulation von zweiten simulierten Sensordaten SSD2 in der statistischen Modelleinheit 12 angewiesen wird (Kommuni kationsleitungen zwischen der Initialisierungseinheit 24a und der Physik-Engine 11 sowie der statistischen Modelleinheit 12 sind der Übersichtlichkeit nicht gezeigt) . Weiterhin weist die Kombinations-Modelltrainingseinheit 24 eine Modellanpas sungseinheit 24b auf, die auf Basis von echten Sensordaten RSD, welche sie von der Testdatenbank TDB erhält, ein initi ales Kombinationsmodell KM an die Kombinationseinheit 13 übermittelt. Die Kombinationseinheit 13 kombiniert die zu Trainingszwecken erzeugten ersten und zweiten simulierten Sensordaten SSD1, SSD2 miteinander und übermittelt die kombi nierten simulierten Sensordaten KSSD an eine Vergleichsein heit 24c, die ebenfalls Teil der Kombinations-Modelltrai- ningseinheit 24 ist.

Die kombinierten simulierten Sensordaten KSSD werden im Rah men des maschinellen Lernprozesses an die Vergleichseinheit 24c übermittelt, welche einen sogenannten Matching-Prozess durchführt, bei dem echte Sensordaten RSD, welche in der Test-Datenbank TDB abgespeichert sind, mit den erzeugten kom binierten simulierten Sensordaten KSSD abgeglichen werden. Falls bei dem Matching-Prozess ermittelt wurde, dass die er zeugten kombinierten simulierten Sensordaten KSSD ausreichend mit den echten Sensordaten RSD übereinstimmen bzw. der

Matching-Prozess ein positives Ergebnis aufweist, so wird das zuletzt an die Vergleichseinheit 24c übermittelte statisti sche Modell STM in der bereits erwähnten Kombinationsmodell datenbank KMDB abgespeichert.

Andernfalls werden in Abhängigkeit von dem Ergebnis des

Matching-Prozesses Korrekturparameter KD an die Modellanpas sungseinheit 24b übermittelt. Die Modellanpassungseinheit 24b erzeugt darauf in Abhängigkeit von den erhaltenen Korrektur parametern KD ein korrigiertes Kombinationsmodell KM und übermittelt dieses Modell KM wiederum an die Kombinationsmo delleinheit 13 sowie an die Vergleichseinheit 24c. Die Kombi- nationsmodelleinheit 13 erzeugt darauf erneut kombinierte si mulierte Sensordaten KSSD, welche wiederum von der Ver gleichseinheit 24b einem Matching-Prozess mit den echten Sen sordaten RSD unterzogen werden. Der beschriebene Prozess wird weiter durchgeführt, bis das Ergebnis des Matching-Prozesses keine weiteren Korrekturen mehr nötig macht. Anschließend wird das zuletzt genutzte Kombinationsmodell KM in der Kombi nationsmodelldatenbank KMDB abgespeichert, in der es für Si mulationen zur Verfügung steht.

In FIG 2 ist ein Flussdiagramm 200 gezeigt, welches ein Ver fahren zum Simulieren von Sensordaten gemäß einem Ausfüh rungsbeispiel der Erfindung veranschaulicht.

Bei dem Schritt 2.1 werden mit Hilfe einer Physik-Engine für definierte Sensor-Parameter und Umwelt-Parameter eine Viel zahl von ersten simulierten Sensordaten SSD1 erzeugt. Zusätz lich werden bei dem Schritt 2. II von einem statistischen Mo dell STM, welches durch ein maschinelles Lernverfahren trai niert wurde, eine Vielzahl von zweiten simulierten Sensorda ten SSD2 für dieselben definierten Sensor-Parameter und Um welt-Parameter erzeugt, die auch bei dem Schritt 2.1 verwen det wurden. Das statistische Modell STM wurde durch maschi nelles Lernen mit echten Sensordaten RSD bzw. auf diesen ba sierenden statistischen Komponenten gewonnen. Die zweiten si mulierten Sensordaten SSD2 können zum Beispiel eine statisti sche Komponente umfassen, wie zum Beispiel Rauscheffekte oder Artefakte, welche durch Umwelteinflüsse oder bauartbedingt auftreten können. Anstatt vollständiger zweiter simulierter Sensordaten SSD2 können auch nur die diesen zugeordneten sta tistischen Komponenten erzeugt werden.

Schließlich werden bei dem Schritt 2. III die ersten und zwei ten simulierten Sensordaten SSD1, SSD2 dazu genutzt, einen Satz von kombinierten simulierten Sensordaten KSSD zu erzeu gen. Der Satz von kombinierten simulierten Sensordaten KSSD wird durch Kombination der ersten simulierten Sensordaten SSD1 mit den zweiten simulierten Sensordaten SSD2 erreicht. Die Kombination erfolgt durch Anwenden eines durch maschinel les Lernen trainierten Kombinationsmodells KM, welches dazu trainiert wurde, die ersten und zweiten Sensordaten SSD1,

SSD2 derart miteinander zu kombinieren, dass die bei der Kom bination erzeugten kombinierten simulierten Sensordaten KSSD, möglichst exakt den für das Training genutzten echten Sensor daten RSD entsprechen. Es werden also maschinelle Lernverfah ren sowohl für das Erzeugen statistischer Komponenten von si mulierten Sensordaten genutzt als auch zusätzlich für die Kombination dieser simulierten statistischen Komponenten mit simulierten Sensordaten, welche durch ein physikalisches Mo dell erzeugt wurden. Durch die Berücksichtigung der statisti schen Daten wird eine exaktere und naturgetreuere Simulation von Sensordaten erreicht.

In FIG 3 ist ein Flussdiagramm 300 gezeigt, welches ein Trai ningsverfahren zum Trainieren einer Sensordaten-Simulations- vorrichtung gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Bei dem in FIG 3 veranschaulichten Verfahren werden bei dem Schritt 3.1 zunächst mit einem physikalischen Modell PM, welches durch eine Physik-Engine realisiert wird, erste statistische Sensordaten SSD1 für bestimmte definierte Umwelt-Parameter und Sensor-Parameter erzeugt, wobei die ent sprechenden Parameter bzw. deren Werte variiert werden, um simulierte Sensorwerte für einen entsprechend breiten Parame terbereich zu erhalten. Der Parameterbereich hängt unter an derem von den vorhandenen echten Sensordaten RSD ab bzw. von dem diesen zugeordneten Parameterwertebereich.

Bei dem Schritt 3. II wird ein dynamisches statistisches Mo dell STM durch maschinelles Lernen MLM anhand von echten Sen sordaten RSD trainiert. Die echten Sensordaten RSD können zum Beispiel aus einer Testdatenbank TDB (siehe FIG 1) stammen. Die echten Sensordaten RSD können beispielsweise statisti sche, d.h. über die Zeit statistisch variierende Komponenten aufweisen, die zum Trainieren des dynamischen statistischen Modells STM genutzt werden. Die statistischen Komponenten können zum Beispiel das Rauschverhalten der simulierten Sen sordaten betreffen.

Bei dem Schritt 3. III werden anschließend mit Hilfe des trai nierten statistischen Modells STM zweite simulierte Sensorda ten SSD2 erzeugt. Die zweiten simulierten Sensordaten SSD2 umfassen die beschriebene statistische Komponente von Sensor daten .

Bei dem Schritt 3. IV erfolgt dann ein Trainieren eines Kombi nationsmodells KM. Das Kombinationsmodell KM soll dazu die nen, die über das physikalische Modell simulierten ersten Sensordaten SSD1 und die mit dem statistischen Modell STM si mulierten zweiten Sensordaten SSD2 geeignet zu kombinieren, d.h. derart zu kombinieren, dass die durch das Kombinations modell KM erzeugten kombinierten Sensordaten KSSD den für das Training genutzten echten Sensordaten RSD entsprechen, und zwar für die diesen zugeordneten spezifischen Parameterwerte.

In FIG 4 ist ein Flussdiagramm 400 gezeigt, welches ein Trai ningsverfahren zum Trainieren von Modellen zum Simulieren von Sensordaten gemäß einem zweiten Ausführungsbeispiel der Er findung veranschaulicht. Bei dem Schritt 4.1 werden ebenso wie in dem in FIG 3 veranschaulichten Ausführungsbeispiel erste simulierte Sensordaten SSD1 mit Hilfe einer Physik- Engine bzw. eines von der Physik-Engine realisierten physika lischen Modells PM erzeugt. Anders als bei dem in FIG 3 ver anschaulichten Ausführungsbeispiel werden bei dem Schritt 4. II aus den echten Sensordaten RSD Rauschkomponenten STK ex trahiert. Das Extrahieren dieser Rauschkomponenten STK er folgt in dem in FIG 4 gezeigten Ausführungsbeispiel durch An wendung eines Hochpassfilters auf die dem Trainingsvorgang zugrunde gelegten echten Sensordaten RSD. Die Rauschkomponen ten STK werden dann bei dem Schritt 4. III mit Hilfe eines se quentiellen statistischen Modells prozessiert, in diesem Fall ist es ein als „Kurzzeitlangzeitgedächtnis" KZLZG bezeichne- tes Modell, mit dem das Rauschverhalten der Sensordaten RSD in Abhängigkeit von der Zeit maschinell gelernt wird. Nachdem bei dem Schritt 4. III das „Kurzzeitlangzeitgedächtnis" KZLZG mit Rauschkomponenten STK ausreichend trainiert wurde, kann es dann bei dem Schritt 4. IV dazu genutzt werden, simulierte Rauschkomponenten SSTK, als Zeitserien zu erzeugen. Diese si mulierten Rauschkomponenten SSTK werden anschließend bei dem Schritt 4.V gemeinsam mit den ersten simulierten Sensordaten SSD1 sowie den echten Sensordaten RSD dazu genutzt, ein Kom binationsmodell KM maschinell zu lernen. Das Kombinationsmo dell KM soll dazu dienen, die über das physikalische Modell PM simulierten ersten Sensordaten SSD1 und die mit dem als „Kurzzeitlangzeitgedächtnis" KZLZG bezeichneten statistischen Modell simulierten Rauschkomponenten SSTK geeignet zu kombi nieren, d.h. derart zu kombinieren, dass die durch das Kombi nationsmodell KM erzeugten kombinierten Sensordaten KSSD den für das Training genutzten echten Sensordaten RSD für die diesen zugeordneten Parameterwerte entsprechen.

Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen le diglich um bevorzugte Ausführungsbeispiele der Erfindung han delt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständig keit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.