Die vorliegende Erfindung betrifft ein System zum Detektieren, Klassifizieren und/oder Segmentieren eines Objekts und/oder einer Eigenschaft eines Objekts mit einer Simulationseinheit und einer Künstlichen-Intelligenz-Einheit, wobei die Simulationseinheit dazu ausgebildet ist, simulierte Messdaten einer simulierten Sensoreinheit über ein virtuelles Objekt und/oder einer Eigenschaft eines virtuellen Objekts in einer virtuellen Umgebung zu erzeugen und das virtuelle Objekt, die Eigenschaft des virtuellen Objekts und/oder die virtuelle Umgebung zu annotieren und daraus Simulationsdaten zu erzeugen.

Für die Simulation von Radar- bzw. Funksignalen im Allgemeinen sind eine Reihe unterschiedlicher Ansätze, welche auf Ray-Tracing-Algorithmen basieren aus dem Stand der Technik bekannt.

Ein weit verbreiteter Ansatz vor allem für die Simulation von Radardaten im Automo- tive-Umfeld ist der Shooting and Bouncing Rays (SBR) Ansatz. Dieser wird in Fig. 8 illustriert. Ein von einer Sendeantenne T ausgehender Strahl TR wird an den Facetten F reflektiert und wird von der Empfangsantenne R empfangen. Eine recheneffiziente Variante zur Simulation von Radardaten ist, das Objekt mittels sogenannter Streuzielen zu beschreiben. Diese Streuziel-Modelle können durch Messungen oder durch eine aufwändigere SBR-Simulation erstellt werden. Ein bedeutender Nachteil dieser Technik ist, dass Streuzentren für jedes Objekt einzeln berechnet oder gemessen werden müssen und Effekte wie Verdeckung oder Mehr- fachreflektionen nicht oder nur sehr eingeschränkt simuliert werden können, wodurch insgesamt eine realitätsnahe Simulation erschwert wird.

Durch den verstärkten Einsatz von neuronalen Netzen wurden auch datengetriebene Ansätze entwickelt. Hierbei lernt ein statistisches Model oder ein künstliches neuronales Netz aus gemessenen Radardaten neue unbekannte Radardaten künstlich zu generieren. Der größte Nachteil dieser Variante ist, dass nur Daten von existierenden Sensoren mit vorhanden Messdaten erzeugt werden können. Eine flexible oder zufällige Sensorkonfiguration ist somit im Gegensatz zu den Ray-Tracing-Ansätzen hier nicht ohne weiteres möglich.

Weiterhin ist die Qualität bzw. Realitätsnähe der generierten Daten der beiden letztgenannten Verfahren immer noch merklich schlechter im Vergleich zu einer weitestgehend physikalisch korrekten SBR-Simulation.

Künstliche Intelligenz findet nach dem Stand der Technik Anwendung im Bereich der Detektion und Klassifikation von Objekten im Automotive-Radar-Umfeld. Das Anwendungsspektrum reicht von der einfachen Detektion von Objekten bis hin zur deren Klassifikation, welche oft unter Ausnutzung des Doppler-Spektrums geschieht.

Auch zur Verbesserung der Winkelauflösung werden Machine-Learning-Algorith- men, also künstliche Intelligenz eingesetzt.

Weiterhin wird künstliche Intelligenz zur Bilderverbesserung im Bereich der Radar- bildgebung und im Bereich der menschlichen Bewegungsklassifikation eingesetzt. Eines der größten Probleme bei Nutzung künstlichen Intelligenz für Radarsignale ist die Generierung einer sogenannten Ground-Truth. Diese erfordert das Annotieren von Daten, wobei möglichst vielen individuellen Bereichen und/oder Teilen der Radardaten möglichst präzise Label, wie „Fußgänger“, „Fahrradfahrer“ oder „Auto“ etc. zugeordnet werden.

Der einfachste Ansatz zur Generierung von Ground-Truth ist eine manuelle Annotation, allerdings stellt dies insbesondere bei großen Datenmengen einen erheblichen Aufwand dar.

Anders als bei Radardaten ist das manuelle Annotieren von natürlichen Bildern, z.B. von Fotos zwar aufwändig, aber durch genügend Personal prinzipiell möglich. Bei Radardaten ist dies nicht ohne weiteres der Fall. Radardaten lassen sich nur durch Expertenwissen effektiv klassifizieren, da sich diese stark von natürlichen Bildern unterscheiden und deshalb schwer durch Menschen interpretierbar sind. Allerdings können selbst mit Expertenwissen nicht alle Radarbildeffekte richtig eingeordnet werden.

Verglichen mit optischen Bildern, die auf sichtbarem Licht basieren, hängt dies vor allem mit dem unterschiedlichen Reflexionsverhalten von elektromagnetischen Wellen im Frequenzbereich herkömmlicher Radarsysteme, der niedrigeren (Winkel-)Auf- lösung und der unterschiedlichen Datenprozessierung zusammen.

Beispielsweise gehören selbst Nebenkeulen im Frequenzspektrum einer Zielreflexion noch zum eigentlichen Ziel, obwohl diese lokal teilweise weit entfernt sind. Auch kann durch Mehrfachreflexionen ein einziges Objekt mehrere Zieldetektionen im Radarbild abbilden, welche örtlich weit voneinander entfernt sind.

Eine weitere Möglichkeit Ground-Truth Daten zu generieren, ist diese automatisch zu annotieren. Diese Art des Lernens wird häufig als Self-Supervised bezeichnet. Es ist bekannt, prozessierte Radarpunktwolken teilautomatisch mit Hilfe eines Lidar- Sensors und/oder eines Kamerasensors zu annotieren.

Auch GPS bzw. Odometriesensoren können als Referenz, z.B. bei der Fahrspurschätzung bzw. Road-Course-Estimation eingesetzt werden.

Weiterhin werden bereits Simulationen eingesetzt, um Ground-Truth-Daten für Radaranwendungen zu erstellen.

Simulationen werden allerdings nur sehr begrenzt für die Klassifikation von einzelnen Objekten eingesetzt. Eine umfassende automatische Segmentierung von komplexen Simulationsszenarien auf Basis von Radarrohdaten, welche für die Anwendung im Automotive-Radar Umfeld essenziell ist, ist nicht bekannt.

Ein Grund hierfür ist nicht nur, dass es sehr aufwändig und rechenintensiv ist, komplexe Welten zu simulieren. Ein fundamentales Problem ist auch, dass selbst bei Simulationen die 3D-Umgebung auf die Simulationsdaten richtig übersetzt werden muss. Das heißt, dass jedes Objekt bzw. sogar jede Reflexion im Radarsignal richtig annotiert oder gelabelt werden muss.

Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein vorbezeichnetes System, insbesondere im Hinblick auf die Annotierung von Objekten, zu verbessern.

Diese Aufgabe wird durch das Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Demnach ist erfindungsgemäß vorgesehen, dass die Künstliche-Intelligenz-Einheit dazu ausgebildet ist, auf Grundlage der simulierten Messdaten und der Simulationsdaten, ein Objekt und/oder eine Eigenschaft eines Objekts auf Grundlage der simulierten Messdaten oder auf Grundlage von anderen simulierten Messdaten und/oder auf Grundlage von aus einer realen Messung erzeugten Messdaten zu detektieren, klassifizieren und/oder zu segmentieren.

Das System ist vorzugsweise zur Annotation und zum anschließenden optimalen Training der Künstlichen-Intelligenz-Einheit ausgebildet. Die Annotation erfolgt vorzugsweise in der Simulationseinheit.

Vorzugsweise ist es möglich aber nicht erforderlich, virtuelle Objekte in einer virtuellen Umgebung oder virtuelle Welten vollständig zu annotieren.

Eine Eigenschaft eines virtuellen Objekts ist vorzugsweise jede Art von Information, die mit dem Objekt verknüpft ist, wie beispielsweise eine vektorielle Geschwindigkeit, vorzugsweise eines jeden Bildpunkts oder Strahls, der das Objekt trifft, Rauschen und/oder Nebenkeulen, die vom Objekt ausgehen, Temperatur, Matenaleigenschaft, Farbe etc.

Annotation bezeichnet vorzugsweise den Vorgang einem Objekt oder einem Pixel oder einem Bildbereich ein Label oder eine Bezeichnung zu geben, welches insbesondere in einem Trainingsprozess von einer Künstlichen-Intelligenz-Einheit interpretiert werden kann.

Die Künstlichen-Intelligenz-Einheit ist vorzugsweise dazu ausgebildet, gemeinsame Merkmale von Objekten, Pixeln oder Bildbereichen zu erkennen.

Detektion bezeichnet vorzugsweise den Vorgang ein Objekt und/oder einer Eigenschaft eines Objekts zu erkennen. Beispielsweise kann durch die Detektion erkannt werden, ob es sich bei einem Objekt um einen Menschen oder ein Auto handelt.

Klassifikation bezeichnet vorzugsweise den Vorgang ein Objekt und/oder einer Eigenschaft eines Objekts einer Klasse zuzuordnen. Dabei kann eine Wahrscheinlich- keit angegeben werden, mit der ein Objekt einer Klasse zuzuordnen ist. Beispielsweise kann durch Klassifikation ein Objekt mit einer Wahrscheinlichkeit von 96 % der Klasse „Mensch“ zugeordnet werden.

Segmentierung bezeichnet vorzugsweise den Vorgang ein Objekt in Segment, wie beispielsweise Pixel, aufzuteilen, wobei jedes Segment detektiert und/oder klassifiziert wird.

Vorzugsweise ist vorgesehen, dass die Simulationseinheit dazu ausgebildet ist, mehr als ein virtuelles Objekt mit mehr als einer Eigenschaft zu simulieren und/oder dazu ausgebildet ist, das virtuelle Objekt und/oder die Eigenschaft des virtuellen Objekts oder die virtuellen Objekte und/oder die Eigenschaften der virtuellen Objekte und/oder die virtuelle Umgebung vollständig zu annotieren.

Vorzugsweise ist vorgesehen, dass das System ferner Mittel aufweist, mittels derer eine Erzeugung des virtuellen Objekts und/oder eine Erzeugung der virtuellen Umgebung mittels 3D-lnformationen, welche aus einer Game-Engine erzeugt wurden oder auf Basis von Karteninformationen, Luftbildern, Erdfernerkundungsinformatio- nen und/oder Messdaten eines Kamerasystems und/oder eines Laserscanners oder anderer Sensorsysteme erfolgt.

Vorzugsweise ist vorgesehen, dass die simulierte Sensoreinheit einer realen Sensoreinheit nachgebildet und/oder dass die simulierte Sensoreinheit, insbesondere im Hinblick auf Auflösungsvermögen, Signal-Rausch-Verhältnis und/oder Eindeutigkeitsbereichen gegenüber einer realen Sensoreinheit verbessert ist.

Denkbar ist, dass die simulierte Sensoreinheit ein Radar, eine Kamera, ein Lidar und/oder ein Ultraschallgerät simuliert. Vorzugsweise ist vorgesehen, dass die simulierten, anderen simulierten oder aus einer realen Messung erzeugten Messdaten Bilddaten sind und/oder dass die Künst- I iche-l ntel ligenz-E inheit dazu ausgebildet ist, rohe und verarbeitete oder prozessierte Sensorsignale in den Messdaten zu verbessern.

Denkbar ist, dass die Umgebung eine dynamische, dreidimensionale Umgebung ist.

Vorzugsweise ist vorgesehen, dass das System oder die Künstliche-Intelligenz-Ein- heit Bestandteil eines Fahrzeugs ist und/oder dass die aus der realen Messung erzeugte Messdaten durch ein Radar, eine Kamera, ein Lidar und/oder ein Ultraschallgerät erzeugt wurden.

In anderen Worten kann durch das Annotieren eine Bilderkennung erfolgen.

In anderen Worten wird vorzugsweise mindestens ein Objekt, vorzugsweise eine möglichst vielfältige, dynamische 3D-Szene simuliert, beispielsweise in einer Game- Engine oder auf Basis von Karteninformationen oder von Messdaten von Kamerasystemen und/oder Laserscannern oder anderer Sensoren einer realen Szene o- der eines realen Setups.

In dieser Objekt- und/oder Weltsimulation werden vorzugsweise anschließend Radare simuliert, die ausgehend von ihrer Position im Raum und ihrer simulierten Antennen Radarsignale mit einem Ray-Tracing-Ansatz in diese Welt aussenden und die Reflexionen empfangen und auswerten, wodurch digitale Radar-ADC-Daten simuliert werden können. Die simulierte Welt und das simulierte Signal sind vorzugsweise so realitätsnah, dass das simulierte Signal einem echten Signal möglichst ähnlich ist.

Da die simulierte Welt bekannt ist, können die Label bzw. Annotationen für die Radardaten direkt und vollumfassend miterzeugt werden. Diese Radardaten samt Label können für das Training einer künstlichen Intelligenz (Kl), z.B. einem neuronalen Netz verwendet werden, beispielsweise zur Objektdetektion, Objektklassifikation, Segmentierung oder zur Bildverbesserung (Image Enhancement).

Vorzugsweise werden das simulierte Objekt und/oder die simulierten Welten einmal mit und einmal ohne Störeffekte simuliert. Somit können neuronale Netze trainiert werden, die diese Störeffekte in der Realität weitestgehend unterdrücken.

Vorzugsweise wird einmal das der Realität nachempfundene Radar als „Digital Twin“ simuliert und einmal ein deutlich verbesserter „Advanced Digital Twin“. Dieser kann beispielsweise ein deutlich größeres oder voller besetztes Antennenarray aufweisen, um Radarbilder mit einer besseren Winkelauflösung zu simulieren. Trainiert man nun ein neuronales Netz bzw. eine Kl mit den Simulationsdaten des „Digital Twin“ und des „Advanced Digital Twin“, kann die Kl die echten Radarmessdaten, insbesondere im Hinblick auf Auflösung, Signal-Rausch-Verhältnis, Eindeutigkeitsbereiche etc. verbessern.

Vorzugsweise bekommt jeder Strahl des Ray-Tracing-Ansatzes bei einer Reflexion die Objekt-ID des Objektes, an dem es reflektiert wurde, als zusätzliches Attribut. Damit ist es möglich, jedes Partialecho eines Objektes vollständig diesem Objekt zuzuordnen. Dieses Attribut entspricht somit vorzugsweise einem optimalen Label bzw. einer optimalen Annotation. Dadurch können Kl-Anwendungen z.B. zur Objektklassifikation optimal trainiert werden, weil das Netz lernt, alle Informationen aus dem kompletten (Frequenz-)Spektrum zu nutzen.

Vorzugsweise bilden die simulierten Welten die Realität möglichst gut ab, indem man bestehende Datensätzen aus der Erdfernerkundung, von Kartendiensten oder von Luftbildern verwendet. Es ist denkbar, dass die simulierten Welten aus echten Messdaten erzeugt werden. Beispielsweise können Daten aus einer Messfahrt mit hochauflösenden Laserscan- nern derart akkumuliert werden, dass die echte Welt in Form von Dreiecksnetzen (o.ä.) nachgebaut werden kann.

Denkbar ist, dass statt dem Radarsignal Lidar-, Kamera- oder Ultraschallsignale simuliert werden.

Vorzugsweise wird ein effizientes und automatisiertes Einlernen bzw. Trainieren von künstlichen Intelligenzen für die Interpretation oder Verbesserung von Radar- und anderen Sensorsystemen ermöglicht.

Vorzugsweise werden zielgerichtet beliebige Objekte oder umfassenderen Szenen bzw. Welten in einer Simulationsumgebung simuliert. Vorzugsweise werden danach in dieser Simulationsumgebung möglichst realitätsnahe Radar-ADC-Daten oder anderen Sensor-Rohdaten mittels Ray-Tracing-Ansätzen erzeugt. Vorzugsweise wird hierbei jedem simulierten Strahl (Ray) ein oder mehrere Attribute zugewiesen, die alle Objekte, an denen dieser Strahl reflektiert wurde bzw. mit denen dieser Strahl interagiert hat, beschreiben und identifizieren.

Beispielsweise kann direkt die Bewegung eines Objektes in Form eines Geschwindigkeit-Vektors für jeden Reflexionspunkt bzw. jeden Strahl maximal detailliert erfasst werden. So haben z.B. Fußgänger nicht eine einzige Geschwindigkeit, da sich jeder Punkt des Körpers individuell bewegt. Die Arme schwingen, ein Standbein steht, der Torso bewegt sich relativ konstant etc. Genau diese Mikrodoppler-Signatur, also das Zusammenspiel aller Geschwindigkeiten, kann von einem Radar gut ausgewertet werden und kann vollständig korrekt annotiert oder gelabelt werden.

Äquivalent hierzu können wir auch weitere Objekteigenschaften wie unter anderem Temperatur (nicht relevant für Radar), Materialeigenschaft, Farbe (nicht relevant für Radar), Informationen über den Übertragungskanal (Regen, Nebel, usw) übergeben und dadurch Vorteile für Kl-Einheiten erwirken. Da somit jedes Objekt im Rohsignal rückwirkend eindeutig und vollständig identifiziert werden kann, können die simulierten Daten danach direkt als automatisch annotierte, hochqualitative Ground-Truth-Daten für das Einlernen oder Trainieren künstlicher Intelligenzen verwendet werden. Durch die Nutzung einer Simulationsumgebung ist es vorzugsweise möglich, eine beliebig große Zahl vollständig annotierter Trainingsdaten in kurzer Zeit zu generieren.

Mit den eingelernten bzw. trainierten künstlichen Intelligenzen können die Sensordaten einerseits beispielsweise interpretiert, klassifiziert, segmentiert, oder anderweitig beschrieben werden. Andererseits können durch die Anpassung der Simulationsumgebung und der simulierten Sensoren auch Radardaten mit verbesserten Eigenschaften, wie beispielsweise Auflösung und Eindeutigkeitsbereiche sowie mit drastisch reduzierten Störeffekten generiert werden. Dadurch können die Parameter von Algorithmen des maschinellen Lernens automatisch, also Self-Supervised derart trainiert werden, dass sie die Ausgangsdaten realer Sensoren, beispielsweise durch Super-Resolution und Noise-Suppression signifikant verbessern.

Die Erfindung betrifft auch ein Verfahren zum Detektieren, Klassifizieren und/oder Segmentieren eines Objekts und/oder einer Eigenschaft eines Objekts mit einem System nach einem der vorhergehenden Ansprüche mit den folgenden Schritten: a) Erzeugen von simulierten Messdaten einer simulierten Sensoreinheit über ein virtuelles Objekt und/oder eine Eigenschaft eines virtuellen Objekts in einer virtuellen Umgebung; b) Annotieren des virtuellen Objekts, der Eigenschaft des virtuellen Objekts und/oder der virtuellen Umgebung und Erzeugen von Simulationsdaten, wobei auf Grundlage der simulierten Messdaten und der Simulationsdaten, ein Objekt und/oder eine Eigenschaft eines Objekts auf Grundlage der simulierten Messdaten oder auf Grundlage von anderen simulierten Messdaten und/oder auf Grundlage von aus einer realen Messung erzeugten Messdaten detektiert, klassifiziert und/oder segmentiert wird. Die Erfindung betrifft auch ein Verfahren zum Trainieren einer Künstlichen-Intelli- genz-Einheit eines Systems nach einem der Ansprüche 1 bis 8, wobei die Künstlichen-! ntell igenz-Ei nheit dazu trainiert wird auf Grundlage von simulierten Messdaten und der Simulationsdaten, ein Objekt und/oder einer Eigenschaft eines Objekts auf Grundlage der simulierten Messdaten oder auf Grundlage von anderen simulierten Messdaten und/oder auf Grundlage von aus einer realen Messung erzeugten Messdaten zu detektieren, klassifizieren und/oder zu segmentieren.

Es erfolgt vorzugsweise das Training einer Künstlichen-Intelligenz-Einheit auf Basis von simulierten Daten. Die Künstlichen-Intelligenz-Einheit kann sodann vorzugsweise reale oder auch simulierte Messdaten interpretieren oder verbessern.

Das virtuelle Objekt und/oder die virtuelle Umgebung kann einem realen Objekt und/oder einer realen Umgebung nachgebildet sein.

Mit dem Verfahren erfolgt vorzugsweise eine vollständige Annotation des virtuellen Objekts, der Eigenschaft des virtuellen Objekts und/oder der virtuellen Umgebung. Dies erfolgt beispielsweise durch Objekt-IDs. Jeder Reflexion auf dem Weg eines Strahls oder jede Bewegungsinformation wird vorzugsweise annotiert. Beispielsweise wird ein Strahl erst an einer statischen Hauswand und dann am mit 3 m/s schwingenden Arm eines Fußgängers reflektiert. Diese Informationen werden in der Annotation beibehalten.

Die hierin beschriebenen Merkmale sind mutatis mutandis vorzugsweise Merkmale des Systems als auch der Verfahren.

Die Erfindung betrifft auch ein Computerprogramm, welches Befehle umfasst, die bewirken, dass das erfindungsgemäße System die Verfahrensschritte eines erfindungsgemäßen Verfahrens ausführt.

Die Erfindung betrifft auch ein computerlesbares Medium, auf dem das erfindungsgemäße Computerprogramm gespeichert ist. An dieser Stelle wird darauf hingewiesen, dass die Begriffe „ein“ und „eine“ nicht zwingend auf genau eines der Elemente verweisen, wenngleich dies eine mögliche Ausführung darstellt, sondern auch eine Mehrzahl der Elemente bezeichnen können. Ebenso schließt die Verwendung des Plurals auch das Vorhandensein des fraglichen Elementes in der Einzahl ein und umgekehrt umfasst der Singular auch mehrere der fraglichen Elemente. Weiterhin können alle hierin beschriebenen Merkmale der Erfindung beliebig miteinander kombiniert oder voneinander isoliert beansprucht werden.

Weitere Vorteile, Merkmale und Effekte der vorliegenden Erfindung ergeben sich aus der nachstehenden Beschreibung bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren, in welchen gleiche oder ähnliche Bauteile durch dieselben Bezugszeichen bezeichnet sind. Hierbei zeigen:

Fig. 1 : ein Blockdiagramm einer Ausführungsform eines erfindungsgemäßen Systems.

Fig. 2: ein Blockdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens.

Fig. 3: eine Ansicht einer realen Messszene (links) und eine Ansicht einer dreidimensionalen Nachbildung dieser Messszene (rechts).

Fig. 4: ein Strahlenmuster aus einem bekannten Simulationsverfahren (links) und ein Strahlenmuster aus einer Ausführungsform eines erfindungsgemäßen Simulationsverfahrens (rechts).

Fig. 5: eine Ansicht einer dreidimensionalen Nachbildung einer Messszene (links), eine Ansicht eines darauf basierenden Radarbilds (Mitte) und eine Ansicht eines darauf basierenden erweiterten Radarbilds (rechts). Fig. 6: eine Ansicht einer realen Messszene (links), eine Ansicht eines darauf basierenden Radarbilds (Mitte) und eine Ansicht eines darauf basierenden erweiterten Radarbilds (rechts).

Fig. 7: eine Ansicht einer Antennenanordnung.

Fig. 8: eine schematische Ansicht einer Antennenanordnung.

In Fig. 1 ist ein Blockdiagramm eines erfindungsgemäßen Systems mit einem Radarsystem 10, bzw. einem „Radar System“ 10, einem digitalen Zwilling 20, bzw. einem „Digital Twin“ 20, einem verbesserten digitalen Zwilling 30, bzw. einem „Advanced Digital Twin“ 30 und einer künstlichen Intelligenz 50, bzw. einem „Deep Neural Networks (DNN)“ 50 dargestellt.

Als Ausgabe ergibt sich aus dem System ein erweitertes Radarbild 40, bzw. ein „Enhanced Radar Image“.

Die Einheiten des Systems können in Einheiten in der Realität 100 und Einheiten im virtuellen Raum 200 gruppiert werden. Das Radarsystem 10 und das erweiterte Radarbild 40 befinden sich in der Realität 100 und der digitale Zwilling 20 sowie der verbesserte digitale Zwilling 30 befinden sich im virtuellen Raum 200. Die künstliche Intelligenz vermittelt zwischen der Realität 100 und dem virtuellen Raum 200.

Das Radarsystem 10 liefert Messdaten 15, beispielsweise in Form eines Radarbilds an die künstliche Intelligenz 50 und Parameter und Informationen12 über das Antennenarray des Radarsystems 10 an den digitalen Zwilling 20. Der digitale Zwilling 20 liefert Trainingsdaten 25 an die künstliche Intelligenz 50 und verbesserte Parameter und Informationen 23 über das Antennenarray des Radarsystems 10 an den verbesserten digitalen Zwilling 30. Der verbessere digitale Zwilling liefert Trainingsdaten 35 an die künstliche Intelligenz 50. Die künstliche Intelligenz 50 verarbeitet die Messdaten 50, die Trainingsdaten 25 und 35 und gibt als Ausgang 54 ein erweitertes Radarbild 40 aus. Es werden vorzugsweise fortschrittliche Radarsensoren ohne unerwünschte Effekte simuliert, um reale Radarbilder zu verbessern.

Das Künstliche-Intelligenz-Einheit kann ein Aufmerksamkeits-U-Netz, trainiert auf 9000 Bildern für eine Regressionsaufgabe sein.

Die Entfernungsauflösung des digitale Zwillings 20 sowie des verbesserten digitalen Zwillings 30 ist vorzugsweise möglichst klein, vorzugsweise kleiner oder gleich als die eines echten Sensors und beträgt beispielsweise 7,5 cm. Die laterale Auflösung des digitalen Zwillings 20 ist vorzugsweise gleich der eines echten Sensors und beträgt beispielsweise 5,3°. Die laterale Auflösung des verbesserten digitalen Zwillings 30 ist vorzugsweise kleiner als die eines echten Sensors und ist insbesondere kleiner als 1 ° und beträgt beispielsweise 0,4°. Der verbesserte digitale Zwilling 30 weist im Vergleich zum digitalen Zwilling 20 keine oder weniger Unordnung und Rauschen auf. Die Rekonstruktion beim digitalen Zwilling 20 erfolgt auf Basis einer schnellen Fourier-Transformation (FFT). Die Rekonstruktion beim verbesserten digitalen Zwilling 30 erfolgt auf Basis eines passenden Filters.

Es ist eine Dopplersimulation eines laufenden Menschen denkbar.

In Fig. 2 sind Verfahrensschritte eines beispielhaften Verfahrens dargestellt.

In einer Simulationsumgebung können 3D-Karten aus einem Open-Source Simulator, also eine Simulationseinheit exportiert werden. Diese Daten bestehen aus Dreiecksnetzen, die im Bereich Computergraphik, Spieleentwicklung und Computer Aided Design (CAD) verbreitet sind.

Ähnlich wie in der Computergraphik kann jedem Dreieck bzw. jedem Objekt ein Material zugeordnet werden. Dieses Material bestimmt hauptsächlich die Reflexionseigenschaften des Radarsignals. Diese Dreiecksnetze können nicht nur aus bestehenden Simulatoren exportiert werden, sondern es können auch 3D-Daten aus Game-Engines oder Computerspielen direkt verwendet werden.

Weiterhin können realistische 3D-Daten aus Kartendiensten mit entsprechender Software generiert werden. Auch besteht die Möglichkeit aus den Daten von hochauflösenden Lidarsensoren oder auf Basis von Photogrammmetrie ein genaues Abbild der realen Umgebung zu erstellen. Mit entsprechendem Aufwand lässt sich also eine enorm große und theoretisch unbeschränkte Menge an 3D-Umgebungsdaten erzeugen.

Eine Nachbildung einer realen Messszene mittels eines 3D-Grafikprogramms zeigt Fig. 3. In Fig. 3 ist die reale Messszene 101 und eine dieser Messszene 101 nachgebildete Messszene 201 in einer Simulationsumgebung zu sehen.

Auch bewegte Objekte können beispielsweise durch Animationen exportiert oder selbst mittels 3D-Grafikprogrammen erstellt werden.

Der Simulator unterstützt vorzugsweise diffuse und metallähnliche Reflexionen, Doppler-Simulationen und Animationen, Okklusion und Mehrwegeffekte, MIMO- Aperturen mit flexiblen Radarparametern und/oder beliebige 3D-Meshes von Drittan- bietern.

Es erfolgt also eine simulative Erzeugung von Objekten und/oder Szenen mit Schritt S1.

In der Simulation wird dann die Animation Schritt für Schritt bzw. diskretisiert für jede Radarmessung, z.B. für jeden Chirp weiterbewegt und jeder Snapshot einzeln simuliert. Dies wird vom Schritt S2, Simulation von Sensor-Rohdaten umfasst. Der Simulator arbeitet sehr ähnlich zu dem bekannten SBR-Prinzip, in dem von vorab definierten Sendeantennen Radarstrahlen (Rays) ausgesendet werden, welche wiederum von der Umgebung (Dreiecksnetzen) reflektiert werden, bis sie eine als Kugel definierte Empfangsantenne treffen. Aus den so empfangenen Strahlen lässt sich ein IF-Signal auf Basis der Strahllänge und Echo-Energie bzw. -Amplitude generieren. In der folgenden Gleichung (1 ) wird das am Beispiel eines FMCW-Signals beschrieben. Dieses Verfahren kann auf OFDM-, CW-, Puls- oder andere Radare oder Modulationsarten übertragen werden. Gleichung (1 )

Im Unterschied zum bekannten SBR-Prinzip, welches üblicherweise darauf basiert, dass nur ein einzelner Radarstrahl ein Dreieck trifft und sog. Double-Counts möglichst vermieden werden, basiert der Simulator auf einem statistischen Ansatz, welcher Strahlen statistisch verteilt reflektiert. Diese Materialmodelle sind vor allem in Ray-Tracing-Verfahren der Computergraphik etabliert, da sich diese gut dafür eignen, komplexe Oberflächeneigenschaften wie Rauigkeit und diffuse Streuung zu beschreiben. Da sich die Signalausbreitung bei Automobilradaren durch die hohen Sendefrequenzen von ca. 77 bis ca. 300 GHz zunehmend wie optische Strahlen verhalten, können Effekte wie Beugung zunehmend vernachlässigt werden. Im Simulator können diese Materialmodelle die Umgebung deshalb sehr realitätsnah abbilden.

Anders als bei dem typischen SBR-Ansatz werden im Simulator sehr viele Strahlen zufällig ausgesendet, um äußerst realistische Radarbilder zu erzeugen. Dies geht aus Fig. 4 hervor, die ein Strahlenmuster 1 , welches nach einem Fibonacci-Gitter ausgebildet ist und ein Strahlenmuster 2, welches gleichförmig auf einer Kugeloberfläche verteilt ist, zeigt.

Ein Beispiel für einen Simulator findet sich in der folgenden Publikation: „C. Schüßler, M. Hoffmann, J. Bräunig, I. Ullmann, R. Ebelt and M. Vossiek, "A Realistic Radar Ray Tracing Simulator for Large MIMO-Arrays in Automotive Environments," in IEEE Journal of Microwaves, vol. 1 , no. 4, pp. 962-974, Oct. 2021 , doi: 10.1109/JMW.2021 .3104722“.

Die Simulation von bewegten Objekten bzw. die Simulation von Doppler- bzw. Micro- Doppler-Signaturen kann dadurch ermöglicht werden, dass die Umgebung zunächst mit einer initialen Simulation abgetastet wird und die entsprechenden Strahltreffer im Speicher gehalten werden. In den nachfolgenden Doppler-Simulationen werden dann Radarstrahlen an exakt dieselben Positionen gesendet. Würden die Strahlen für jeden Doppler-Snapshot immer zufällig und damit an leicht unterschiedliche Positionen gesendet, würde dies zu Phasenverzerrungen im Doppler-Spektrum führen, was eine sinnvolle Verwendung kaum möglich macht.

Dadurch können auch bewegte Ziele oder Objekte besonders gut annotiert werden. In der Annotation sind vorzugsweise schon Informationen über die Bewegung des Objekts mit enthalten.

Es können damit insbesondere auch direkt Annotationen oder Label für die Bewegung erzeugt werden. Dies kann z.B. bei einem Menschen sehr detailliert erfolgen.

Jeder Reflexionspunkt weist vorzugsweise eine eigene, insbesondere vektorielle, Geschwindigkeitsinformation auf. Dies Information ist wesentlich verbessert gegenüber der Information, dass sich ein Objekt mit einer bestimmten Geschwindigkeit bewegt.

Es wird vorzugsweise eine perfekte Annotation der Mikrodopplersignatur erzeugt. Dies ist im Stand der Technik nicht möglich und ist insbesondere für Radarsysteme sehr wertvoll, da typischerweise hauptsächlich die Mikrodopplersignatur in Künstli- chen-Intelligenz-Anwendungen genutzt wird, um zu klassifizieren und/oder segmentieren. In Fig. 5 ist nun eine Ansicht einer dreidimensionalen Nachbildung einer Messszene 201 , eine Ansicht eines darauf basierenden Radarbilds 215 und eine Ansicht eines darauf basierenden erweiterten Radarbilds 240 zu sehen.

In Fig. 6 ist eine Ansicht einer realen Messszene 101 , eine Ansicht eines darauf basierenden Radarbilds 115 und eine Ansicht eines darauf basierenden erweiterten Radarbilds 140 zu sehen.

Um Mehrfachsimulation zu vermeiden kann nur eine einzelne Simulation durchführt werden und die Länge der Radarstrahlen nachträglich verändert werden. Dadurch dass die Geometrie und die Bewegung aller Objekte vorher bekannt sind, wird lediglich jeder Radarstrahl zu jedem Dreieck und Objekt assoziiert und gespeichert, wobei dessen Länge nachträglich in der IF-Signalgenerierung angepasst werden kann. Dieses Vorgehen wurde für Radarsimulationen basierend auf dem Image Ansatz implementiert und wird dort als Dynamic Ray-Tracing bezeichnet.

Dieses Vorgehen wird in Fig. 7 illustriert. Dort wird schematisch eine effiziente Simulation von mehreren Antennen gezeigt. Um Phasenfehler zu vermeiden, können die gesendeten Strahlen von allen Antennen und in jedem Simulationsschritt (Chirp) so berechnet werden, dass sie jeweils das Dreieck an der gleichen Stelle treffen. Dies wird in Fig. 7 gezeigt. Der von der Sendeantenne T ausgesendete Strahl TF trifft an derselben Stelle auf die Facette F, wie der von der Sendeantenne T ausgesendete Strahl TR1 . Es wird nur der Strahl TR1 weitersimuliert. Für eine weitere Optimierung genügt es, nur eine Antennenkombination zu simulieren und die Strahllänge für alle anderen Antennen zu berechnen.

Eine ähnliche optimierte Vorgehensweise lässt sich für große Antennenarrays anwenden. Statt alle Antennenkombinationen zu simulieren, kann lediglich eine einzige Antenne simuliert werden und die Strahllänge für alle anderen Kombination können berechnet werden. Es kann mit entsprechender Computerhardware eine beliebige Menge an sehr realistischen Radarsimulationen mit beliebigen Parametern generiert werden.

Um künstliche Intelligenzen wie neuronale Netze auf Basis simulierter Daten trainieren zu können, wird im ersten Schritt ein digitaler Zwilling (Digital Twin) in der Simulationsumgebung aufgebaut. Antennenkonfiguration, relevante Hardwareeigenschaften und Signalparameter werden vorzugsweise realitätsgetreu für die Simulation übernommen. Außerdem können auch Einflüsse durch die Antennencharakteristiken oder Kalibrierungsartefakte berücksichtigt werden.

Während der Simulation können einzelne Signalanteile bzw. Strahlen direkt annotiert werden, da alle simulierten Objekte bekannt sind bzw. nachvollzogen werden können. Im Anschluss können Signale erzeugt werden, die direkt als Ground-Truth dienen.

Es ist bekannt Simulationen zur automatischen Annotation für Objektdetektionen zu verwenden. Als Ergebnis werden dabei beispielsweise die Objekte in einem Range- Doppler-Bild mittels Boundingboxen annotiert, um ein YOLO-Netzwerk zu trainieren.

Dies ist allerdings nicht ausreichend, um komplexe Messszenarien zu klassifizieren, da hier beispielsweise Nebenkeulen, Rauschen und Mehrfachreflexionen nicht berücksichtigt werden, welche sich nur ungenügend durch einfache Boundingboxen beschreiben lassen und auch bisher nicht manuell oder automatisch annotiert werden können.

Durch den verbesserten digitalen Zwilling kann eine Rauschreduktion verbessert werden, in dem Rauschanteile, Nebenkeulen etc. annotiert werden können.

Digitale Zwillinge lassen sich nicht nur für die Klassifikation bzw. Segmentierung von Daten verwenden. Mit ihnen lässt sich auch die Rohdatensignalverarbeitung insgesamt verbessern. Hierzu zählt unter anderem:

- die Beseitigung von unerwünschten Mehrfachreflexionen; - die Reduktion von elektronischem Rauschen;

- die künstliche Verbesserung der Antennenabstrahlcharakteristik;

- die Beseitigung von Mehrdeutigkeiten, z.B. in der Winkel- oder Dopplerdimension;

- die Reduktion von Kalibrierungsfehlem durch Übersprechen der Antennen.

Eine Signalverbesserung kann dadurch erreicht werden, dass nicht nur Radardatensätze simuliert werden, welche dem echten Sensor möglichst nahekommen. Vorzugsweise wird zusätzlich ein Sensor simuliert, der eine höhere Auflösung, z.B. durch ein größeres Antennenarray aufweist und dessen simulierte Hardware und simulierte Welt frei von den oben genannten Artefakten und Störungen ist.

Eine höhere Auflösung kann beispielsweise dadurch erreicht werden, dass wesentlich mehr Antennen als im ursprünglichen Sensor simuliert werden. Die Anzahl der Antennen kann höher sein, als es bei jedem realen Sensor möglich wäre. Störungen durch Mehrwegeausbreitung, wie Multipath-Reflections können dadurch beseitigt werden, dass die Anzahl der möglichen Strahlreflexionen begrenzt werden.

Die anderen beschriebenen Artefakte und Störungen lassen sich auf ähnliche Weise eliminieren. Der zusätzlich simulierte Sensor kann als Advanced Digital Twin bezeichnet werden.

Sind die Signale von beiden virtuellen Sensoren vorhanden, kann eine beliebige künstliche Intelligenz trainiert werden, um die Daten des Digital Twin zu verbessern.

Dies erfolgt, indem die Daten des Advanced Digital Twin als Ground-Truth-Daten verwendet werden. Somit lässt sich nicht nur die Auflösung und Geschwindigkeits-, Entfernungs- und Winkeleindeutigkeit des Eingabesensors erhöhen, sondern auch beliebige oder alle der oben genannten Artefakte vermeiden bzw. unterdrücken oder zumindest reduzieren.

Sind die Radarsimulationen ausreichend realitätsnah, kann die so gelernte bzw. trainierte künstliche Intelligenz direkt auf einen echten Sensor angewendet werden. Dies findet sich für einige der oben genannten Artefakte in der folgenden Publikation: „C. Schüßler, M. Hoffmann, I. Ullmann, R. Ebelt and M. Vossiek, "Deep Learning Based Image Enhancement for Automotive Radar Trained With an Advanced Virtual Sensor," in IEEE Access, vol. 10, pp. 40419-40431 , 2022, doi: 10.1109/ACCESS.2022.3166227“.

In der Simulation kann jeder empfangene Strahl mit seiner Umgebung assoziiert werden, in welcher dieser so oft von der Umgebung reflektiert, bis er eine Empfangsantenne trifft. Jeder Strahl kann beliebige Metadaten mit sich tragen, wie die Strahllaufzeit oder die Strahlenergie.

Vorzugsweise werden diese Metadaten um eine Liste von Objekt Identifiers (Objekt- IDs), die beispielsweise anzeigen, an welchem spezifischen Objekt ein Strahl reflektiert wurde und vorzugsweise um alle Informationen, wie beispielsweise vektorielle Geschwindigkeit, vorzugsweise eines jeden Bildpunkts oder Strahls, Rauschen, Temperatur, Matenaleigenschaft und/oder Farbe, die zum Labeln oder Annotieren benötigt werden, erweitert. Somit ist bei der Generierung der Radarsignale vollständig bekannt, welcher Strahl welchen Objekttyp und welche Entität getroffen hat. Somit können die Daten derart annotiert werden, dass anhand der Label nicht nur verschiedene Objektklassen, wie bspw. Fußgänger und Radfahrer voneinander unterschieden werden können, sondern auch individuelle Objekte einer selben Objektklasse, wie bspw. einzelne Fußgänger untereinander.

Da das simulierte IF-Signal, wie beispielsweise in Gleichung (1 ) für FMCW-Signale dadurch entsteht, dass der Signalanteil für jede einzelne Strahllänge aufaddiert wird, können bereits vor der eigentlichen Prozessierung für jedes einzelne Objekt IF- Signale erstellt werden, die somit in der nachfolgenden Signalverarbeitung automatisch klassifiziert bzw. annotiert werden können. Das bedeutet auch, dass jede Nebenkeule, jede Mehrfachreflexion und ausnahmslos jeder andere zugehörige Signalanteil, wie die Geschwindigkeit, einem Objekt eindeutig zugeordnet werden kann. Herkömmliche Probleme in der korrekten Zuordnung von Signalanteilen und Objekten, die beispielsweise durch Verdeckung entstehen, lassen sich dadurch direkt beheben. Im beispielhaften Fall eines Fußgängers, der sich hinter einer Wand befindet, würde sich in den Strahldaten kein Fußgänger befinden und die Segmentierung eines Fußgängers würde richtigerweise von den Ground-Truth-Daten ausgeschlossen werden. Auch weit komplexere Szenarien lassen sich dadurch lösen, z.B. falls ein Fußgänger hinter einem Auto läuft oder steht, und somit lediglich durch Mehrfachreflexionen im Radarsignal zu erkennen ist.

Probleme dieser Art lassen sich nicht durch andere Referenzsensoren wie z.B. Lidar- und Kamerasysteme lösen, da diese einer anderen Strahlphysik unterliegen bzw. eine abweichende Datenprozessierung aufweisen. Auch eine einfache Annotation, in denen die 3D-Geometrie direkt auf die Radarbilder gelegt wird, ist in diesem Fall nicht ausreichend, da nicht alle Signalanteile im Spektrum zugeordnet werden können, da eine räumliche Zugehörigkeit bei Nebenkeulen und Mehrwegeausbreitung nicht gegeben ist.

Die Annotation des Radarsignals bzw. der Spektraldaten kann einerseits erstmals komplett vollständig erfolgen, da ausnahmslos jeder zum Radarsignal beitragende Strahl alle Objektinformationen beinhaltet und als perfektes Label eingesetzt werden kann. Andererseits kann die Annotation vollautomatisiert und recheneffizient als Teil der Simulations-Prozesskette implementiert werden, sodass kein zusätzlicher manueller Aufwand erforderlich ist.

Vorzugsweise lassen sich nahezu unbegrenzt viele, realistische, perfekt annotierte Daten erzeugen. Dadurch werden die drei bedeutendsten Kriterien Datenqualität und -menge sowie Güte der Annotation für das Einlernen oder Trainieren künstlicher Intelligenzen wie neuronale Netze in einem unerreichten Ausmaß erfüllt. Die resultierenden künstlichen Intelligenzen können sich folglich deutlich vom bisherigen Stand der Technik abheben und wesentlich komplexere Szenarien auflösen und beispielsweise eine deutlich aufwändigere Segmentierung, wie z.B. eine vollständige panoptische Segmentierung realisieren. Die vorgestellte Vorgehensweise lässt sich nicht nur auf Radarsensoren anwenden, sondern auch auf eine große Zahl anderer Sensorsysteme, wie Kamera-, Lidar- oder Ultraschallsysteme.

Für Kameradaten werden Superresolution-Algorithmen üblicherweise dadurch trainiert, dass die Auflösung eines bestehenden Sensors reduziert wird und die zugehörigen Bilder als Eingabedaten verwendet werden. Die Daten mit der ursprünglichen Auflösung werden dann als Ground-Truth verwendet. Bestehende Ray-Tracing-Si- mulationen in der Computer-Graphik sind allerdings schon sehr ausgereift und realitätsnah. Deshalb ist es naheliegend, alternativ Kamerabilder mit höheren Auflösungen als bei konventionellen Kameras zu simulieren. Durch diesen Ansatz kann das vorgestellte Prinzip des Advanced Digital Twin direkt übertragen werden.

Lidar-Systeme können ebenfalls mit Ray-Tracing-Ansätzen simuliert werden. Die Strahlverfolgung ist sehr ähnlich zu der Simulation von Radardaten, da sich die optischen Lidar-Strahlen eine kleinere Wellenlänge als Radar-Strahlen aufweisen, müssen lediglich die Matenaleigenschaften angepasst werden. Darüber hinaus spielen Mehrfachreflexionen bei Lidar-Daten eine untergeordnete Rolle. Die Auflösung eines Lidar-Systems kann virtuell beispielsweise dadurch verbessert werden, dass die Anzahl der Strahlen oder die Drehrate und/oder Messrate des Systems erhöht wird und dadurch eine dichtere Punktewolke generiert wird. Diese Daten können nach dem oben beschriebenen Verfahren ebenfalls direkt als Ground-Truth-Daten verwendet werden.

Ultraschallsensoren arbeiten zwar im Gegensatz zu Radar- und Lidar-Systemen nicht mit elektromagnetischen Wellen, sondern mit akustischem Schall, da die Signale aber ebenfalls als Wellen beschrieben werden, ist die Signalverarbeitung für Ultraschalldaten sehr ähnlich und sogar oft identisch. Ultraschallsignale können dadurch ähnlich simuliert werden wie Radarsignale. Es sind hier lediglich je nach Wellenlänge andere Effekte wie Beugung oder Transmission zu berücksichtigen und die Simulationsumgebung ist an die jeweiligen Parameter anzupassen. Der vorgestellte Ansatz kann jedoch nach Anpassen der Simulationsumgebung direkt übernommen werden.

Auch beliebige Sensorfusionen verschiedener oder gleicher Sensorsysteme lassen sich realisieren. Dadurch können auch direkt umfassendere und kompliziertere Szenerien simuliert werden, um beispielsweise direkt Applikationen für das autonome Fahren zu trainieren.

Das Operationsprinzip der Simulationseinheit basiert vorzugsweise auf dem SBR- Ansatz. Die Beschreibung von virtuellen Objekten und/oder der virtuellen Umgebung erfolgt vorzugsweise über Dreiecksnetze. Die Simulationseinheit wird vorzugsweise über eine moderne Ray-Tracing-Enginge beschleunigt. Es erfolgt ein schnelles und einfaches Aufsetzen von virtuellen Objekten und/oder der virtuellen Umgebung.

Es können vorzugsweise an virtuellen Objekten und/oder in der virtuellen Umgebung diffuse und metallische Reflektionen simuliert werden. Ebenso können eine Dopplersimulation und Animationen erfolgen. Es sind in der Simulationseinheit vorzugsweise die Simulation von Okklusionen und/oder Multi-Pfad-Effekten möglich. MIMO- Aperturen können mit flexiblen Radarparametern simuliert werden. Es sind beliebige Netze von Drittanbietern in der Simulation denkbar.

Besonders relevante Einsatzgebiete für die Erfindung sind unter anderem:

- Automotive: Autonomes Fahren und Fahrerassistenzsysteme (u.a. Signal Enhancement, umfangreiches Training, Klassifikation bzw. Segmentierung von statischen und dynamischen Objekten und Verkehrsteilnehmern);

- Smart Home Applikationen (u.a. Erkennung von Menschen und Bewegungen; Sturz- und Präsenzdetektion, Energiespartechniken);

- Medizintechnik und medizinische Anwendungen (u.a. Vital Sign Monitoring, Bewegungsanalyse (Gang, Verletzung etc.), Stresserkennung, Palliativmedizinisches Monitoring, Schlafanalyse, generelle Diagnostik und Überwachung); - Verkehrsraumüberwachung (u.a. Straßen-, Durchfahrts- und Parkraum-Monitoring);

- Industrial Applications (u.a. in Logistik- oder Robotik-Applikationen);

- Industrieautomatisierung und 6G-Anwendungen;

- Militärtechnik (u.a. autonome Robotik, Drohnen, Zielerkennung).